Skip to main content
Novita AI fournit des métriques de surveillance complètes pour votre utilisation de l’API LLM. Ces métriques vous donnent des informations sur la disponibilité et les performances de vos requêtes à l’API LLM. Vous pouvez accéder à ces métriques via la console des métriques LLM.

​
Métriques disponibles

Toutes les métriques suivantes sont dimensionnées par modèle et échantillonnées à la minute, mais selon l’intervalle que vous sélectionnez, les points d’échantillonnage peuvent ne pas être affichés à la minute. Dans ce cas, les points d’échantillonnage au sein de cet intervalle de temps seront moyennés avant d’être affichés.
Requêtes par minute (RPM) Affiche le nombre de requêtes API effectuées par minute, ce qui vous aide à comprendre les schémas d’utilisation et les niveaux de concurrence de l’API. Taux de réussite des requêtes Affiche le pourcentage de réponses API réussies (codes d’état non-5xx) effectuées par minute, indiquant la disponibilité de l’API. Nombre moyen de tokens par requête Affiche le nombre moyen de tokens d’entrée et de sortie par requête effectuée par minute, utile pour comprendre les schémas de consommation de tokens. Latence de bout en bout (E2E) Affiche le temps total nécessaire au modèle pour générer la réponse complète pour les requêtes effectuées par minute. Inclut les métriques de latence au 99e percentile, au 95e percentile et moyenne. Temps jusqu’au premier token (TTFT)
Cette métrique n’est suivie que pour les requêtes en streaming lorsque le paramètre stream=true est activé.
Affiche le temps nécessaire pour traiter le prompt et générer le premier token de sortie pour les requêtes effectuées par minute. Inclut les métriques de latence au 99e percentile, au 95e percentile et moyenne. Temps par token de sortie (TPOT)
Cette métrique n’est suivie que pour les requêtes en streaming lorsque le paramètre stream=true est activé.
Affiche le temps moyen entre des tokens de sortie consécutifs pour les requêtes effectuées par minute. Inclut les métriques de latence au 99e percentile, au 95e percentile et moyenne.
Dernière modification le 10 août 2026