Grands modèles de langage

​

Capacités des modèles

• Génération de texte Les LLM peuvent générer un contenu logiquement cohérent en fonction du contexte et ajuster le style de sortie selon les besoins.
• Compréhension du langage Les LLM peuvent comprendre avec précision le sens du texte saisi et prendre en charge une conversation contextuelle.
• Traduction de texte Les LLM sont capables de compréhension et de génération interlingues, permettant la traduction entre différentes langues.
• Questions-réponses basées sur les connaissances Grâce à une vaste base de connaissances, les LLM peuvent répondre à des questions dans des domaines tels que la culture, la science et l’histoire.
• Compréhension et génération de code Les LLM peuvent comprendre et générer du code (Python, Java, C++, etc.), détecter les erreurs de code et proposer des suggestions.
• Classification et résumé de texte Les LLM peuvent comprendre des phrases complexes, catégoriser et extraire des informations, et résumer les points clés.

​

Sélection des modèles

​

Intégration API

• ChatCompletion : prend en charge les modes streaming et non streaming.
• Completion : prend également en charge les modes streaming et non streaming.

​

Exemples de code

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Paramètres clés

​

Paramètres de base

​

Messages

ChatCompletion uniquement

• content : contenu du message.
• role : définissez l’interlocuteur :
  • system : définissez le rôle de l’IA, en indiquant au modèle son rôle ou son comportement.
  • user : l’entrée de l’utilisateur.
  • assistant : la réponse de l’IA. Les utilisateurs peuvent donner à l’avance des exemples de sortie, en indiquant au modèle comment répondre à la demande actuelle.
• name (facultatif) : sépare les auteurs de messages ayant le même rôle.

​

Prompt

ChatCompletion uniquement

​

Contrôle de la sortie

‘temperature’ et ‘top_p’ peuvent contrôler la diversité du texte généré ; nous vous conseillons de n’en définir qu’un seul. Plus la valeur est élevée, plus le texte sera diversifié. Plus la valeur est faible, plus le texte sera précis.

• temperature : contrôle le caractère aléatoire. Plus élevé = plus créatif.
• top_p : échantillonnage par noyau (nucleus sampling). Contrôle la probabilité cumulée.
• top_k : limite le nombre de tokens candidats.

• presence_penalty : contrôle les tokens répétés dans les textes. Si un token existe déjà dans le texte, une pénalité s’applique, ce qui entraîne davantage de tokens dans le texte.
• frequency_penalty : contrôle la fréquence des tokens dans les textes. Chaque fois que le même token existe dans le texte, une pénalité s’applique, ce qui entraîne moins de répétitions de ce même token par la suite dans le texte.
• repetition_penalty : pénalise ou encourage la répétition.

​

Limites de sortie

• max_tokens : nombre maximal de tokens dans une réponse. Le contenu après cette valeur dans le texte sera tronqué.
• stream : indique s’il faut utiliser le streaming. Pour les sorties longues, nous vous conseillons d’utiliser le mode streaming afin d’éviter les erreurs de délai d’attente :
  • true : résultats partiels diffusés au fur et à mesure de leur génération.
  • false : résultat complet après traitement.
• stop : chaînes qui termineront la génération lorsqu’elles seront rencontrées.