Skip to main content
Novita AI proporciona métricas de monitoreo completas para tu uso de la API de LLM. Estas métricas te ofrecen información sobre la disponibilidad y el rendimiento de tus solicitudes a la API de LLM. Puedes acceder a estas métricas a través de la Consola de métricas de LLM.

​
Métricas disponibles

Todas las siguientes métricas están dimensionadas por modelo y se muestrean por minuto, pero según el intervalo que selecciones, es posible que los puntos de muestreo no se muestren por minuto. En esos casos, los puntos de muestreo dentro de ese intervalo de tiempo se promediarán antes de mostrarse.
Solicitudes por minuto (RPM) Muestra la cantidad de solicitudes a la API realizadas por minuto, lo que te ayuda a comprender los patrones de uso y los niveles de concurrencia de la API. Tasa de éxito de solicitudes Muestra el porcentaje de respuestas exitosas de la API (códigos de estado que no son 5xx) realizadas por minuto, lo que indica la disponibilidad de la API. Recuento promedio de tokens por solicitud Muestra la cantidad promedio de tokens de entrada y salida por solicitud realizada por minuto, útil para comprender los patrones de consumo de tokens. Latencia de extremo a extremo (E2E) Muestra el tiempo total que tarda el modelo en generar la respuesta completa para las solicitudes realizadas por minuto. Incluye métricas de latencia del percentil 99, percentil 95 y promedio. Tiempo hasta el primer token (TTFT)
Esta métrica solo se registra para solicitudes de streaming cuando el parámetro stream=true está habilitado.
Muestra el tiempo necesario para procesar el prompt y generar el primer token de salida para las solicitudes realizadas por minuto. Incluye métricas de latencia del percentil 99, percentil 95 y promedio. Tiempo por token de salida (TPOT)
Esta métrica solo se registra para solicitudes de streaming cuando el parámetro stream=true está habilitado.
Muestra el tiempo promedio entre tokens de salida consecutivos para las solicitudes realizadas por minuto. Incluye métricas de latencia del percentil 99, percentil 95 y promedio.
Última modificación el 10 de agosto de 2026