LLM モニタリング

Novita AI は、大規模言語モデル（LLM）API の使用状況に関する包括的なモニタリング指標を提供します。これらの指標により、LLM API リクエストの可用性とパフォーマンスについて深い洞察を得ることができます。 モニタリング指標は LLM モニタリングページ で確認できます。

​

指標の説明

• Requests Per Minute (RPM)

1 分あたりに送信された API リクエスト数を表示します。これにより、使用パターンと API の同時実行レベルを把握できます。

• Request Success Rate

1 分あたりの成功した API レスポンス（5xx 以外のステータスコード）の割合を表示し、API の可用性を示します。

• Average Token Count per Request

1 分あたりのリクエストごとの入力トークン数と出力トークン数の平均を表示し、トークン消費パターンの監視に役立ちます。

• End-to-End (E2E) Latency

1 分あたりの各リクエストで、モデルが完全なレスポンスを生成するために必要な合計時間を表示します。指標には、99 パーセンタイル、95 パーセンタイル、および平均レイテンシが含まれます。

• Time to First Token (TTFT)

1 分あたりの各リクエストで、プロンプトを処理し、最初の出力トークンを生成するまでにかかる時間を表示します。99 パーセンタイル、95 パーセンタイル、および平均レイテンシが含まれます。

• Time Per Output Token (TPOT)

1 分あたりの各リクエストで、連続する出力トークン間の平均時間を表示します。99 パーセンタイル、95 パーセンタイル、および平均レイテンシが含まれます。