モデルの機能
大規模言語モデル（LLM）は、深層学習と自然言語処理技術を用いて構築されたAIモデルの一種です。大量のテキストデータで学習した後、人間の言語を理解、生成、処理できます。LLMには主に次の機能があります：- テキスト生成 LLMは文脈に基づいて論理的に一貫したコンテンツを生成し、必要に応じて出力スタイルを調整できます。
- 言語理解 LLMは入力テキストの意味を正確に理解し、文脈を考慮した会話をサポートできます。
- テキスト翻訳 LLMは言語をまたいだ理解と生成が可能で、異なる言語間の翻訳を実現します。
- 知識ベースのQ&A 広範な知識基盤により、LLMは文化、科学、歴史などの領域をまたいで質問に回答できます。
- コードの理解と生成 LLMはコード（Python、Java、C++など）を理解・生成し、コードエラーを検出して提案を行えます。
- テキスト分類と要約 LLMは複雑な文を理解し、情報を分類・抽出し、要点を要約できます。
モデルの選択
LLMサービスページで、サポートされているモデルの一覧を閲覧し、モデルの基本情報と料金を確認できます。特定のモデルをクリックすると、詳細ページを開いてオンラインデモを試せます。さまざまなモデルをタスクで試した後、比較して最適なものを選択できます。API統合
Novita AIはオープンソースモデル向けに高速で信頼性の高いAPIを提供し、トップクラスのLLM APIの使いやすさと信頼性を、オープンソースLLMの柔軟性とコスト効率と組み合わせています。- ChatCompletion: ストリーミングモードと非ストリーミングモードの両方をサポートします。
- Completion: 同様にストリーミングモードと非ストリーミングモードをサポートします。
ChatCompletionまたはCompletion APIをすでに使用している場合は、ベースURLを api.novita.ai/openai に設定し、APIキーを取得して設定し、必要に応じてモデル名を更新するだけで、LLMサービスを使い始められます。
コード例
Python
Curl
主要なパラメータ
基本パラメータ
model: 対象のLLM。完全な一覧はLLMサービスページを参照してください。
メッセージ
ChatCompletion専用
messages: LLMとやり取りする際の入力と出力。各メッセージは1つの役割に属します。メッセージはより良い出力を得るのに役立ちます。より良い結果を得るためにさまざまな方法を試せます。
content: メッセージ内容。role: 話者を定義します:system: AIの役割を設定し、モデルにその役割や振る舞いを伝えます。user: ユーザーの入力。assistant: AIの応答。ユーザーは事前に出力例を与えて、現在のリクエストにどのように回答すべきかをモデルに伝えられます。
name（任意）: 同じ役割を持つメッセージの書き手を区別します。
プロンプト
ChatCompletion専用
prompt: ユーザーがモデルにタスクを明確に伝えるためにLLMへ記述する、補完生成用の指示テキスト。
出力制御
パラメータの組み合わせを変えることで、モデルがより満足のいくコンテンツを生成できるようになります。 テキストの多様性‘temperature’ と ‘top_p’ は生成されるテキストの多様性を制御できます。どちらか一方のみを設定することをおすすめします。設定値が大きいほど、テキストの多様性が増します。設定値が小さいほど、テキストはより正確になります。
temperature: ランダム性を制御します。値が高い = より創造的。top_p: ニュークリアスサンプリング。累積確率を制御します。top_k: 候補トークン数を制限します。
presence_penalty: テキスト内のトークンの繰り返しを制御します。あるトークンがすでにテキスト内に存在する場合、ペナルティが適用され、その結果テキスト内のトークンが増えます。frequency_penalty: テキスト内のトークン頻度を制御します。同じトークンがテキスト内に存在するたびにペナルティが発生し、その結果、今後テキスト内で同じトークンが減ります。repetition_penalty: 繰り返しを罰するか促します。
出力制限
max_tokens: 1回の応答における最大トークン数。この値を超えた後のテキスト内容は切り捨てられます。stream: ストリーミングを使用するかどうか。長い出力の場合、タイムアウトエラーを防ぐためにストリーミングモードの使用をおすすめします:true: 生成され次第、部分的な結果をストリーミングします。false: 処理後の完全な結果。
stop: 遭遇したときに生成を終了させる文字列。