Grote taalmodellen

​

Modelmogelijkheden

• Tekstgeneratie LLM’s kunnen logisch samenhangende inhoud genereren op basis van context en de uitvoerstijl indien nodig aanpassen.
• Taalbegrip LLM’s kunnen de betekenis van invoertekst nauwkeurig begrijpen en contextbewuste gesprekken ondersteunen.
• Tekstvertaling LLM’s zijn in staat tot cross-linguaal begrip en generatie, waardoor vertaling tussen verschillende talen mogelijk is.
• Kennisgebaseerde Q&A Met een uitgebreide kennisbasis kunnen LLM’s vragen beantwoorden op gebieden zoals cultuur, wetenschap en geschiedenis.
• Code begrijpen en genereren LLM’s kunnen code begrijpen en genereren (Python, Java, C++ enzovoort), codefouten detecteren en suggesties geven.
• Tekstclassificatie en -samenvatting LLM’s kunnen complexe zinnen begrijpen, informatie categoriseren en extraheren, en kernpunten samenvatten.

​

Modelselectie

​

API-integratie

• ChatCompletion: Ondersteunt zowel streaming- als niet-streamingmodi.
• Completion: Ondersteunt ook streaming- en niet-streamingmodi.

​

Codevoorbeelden

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Belangrijkste parameters

​

Basisparameters

​

Messages

Alleen voor ChatCompletion

• content: berichtinhoud.
• role: Definieert de spreker:
  • system: Stelt de rol van de AI in en vertelt het model zijn rol of gedrag.
  • user: De invoer van de gebruiker.
  • assistant: Het antwoord van de AI. Gebruikers kunnen van tevoren voorbeelden van uitvoer geven om het model te vertellen hoe het op het huidige verzoek moet antwoorden.
• name (optioneel): scheidt afzenders van berichten met dezelfde rol.

​

Prompt

Alleen voor ChatCompletion

​

Uitvoerbeheer

‘temperature’ en ‘top_p’ kunnen de diversiteit van de gegenereerde tekst bepalen; we raden aan slechts één van beide in te stellen. Hoe groter de waarde die u instelt, hoe diverser de tekst wordt. Hoe kleiner de waarde die u instelt, hoe nauwkeuriger de tekst wordt.

• temperature: Bepaalt de willekeur. Hoger = creatiever.
• top_p: Nucleus-sampling. Bepaalt de cumulatieve waarschijnlijkheid.
• top_k: Beperkt het aantal kandidaat-tokens.

• presence_penalty: Bepaalt herhaalde tokens in de tekst. Als een token al in de tekst voorkomt, volgt een straf; dit resulteert in meer verschillende tokens in de tekst.
• frequency_penalty: Bepaalt de tokenfrequentie in de tekst. Elke keer dat hetzelfde token in de tekst voorkomt, volgt een straf, wat resulteert in minder dezelfde tokens later in de tekst.
• repetition_penalty: Straft herhaling af of moedigt herhaling aan.

​

Uitvoerlimieten

• max_tokens: Maximaal aantal tokens in één antwoord. Inhoud na deze waarde in de tekst wordt afgekapt.
• stream: Of streaming moet worden gebruikt. Voor uitvoer die lang kan zijn, raden we u aan de streamingmodus te gebruiken om time-outfouten te voorkomen:
  • true: Gestreamde, gedeeltelijke resultaten terwijl ze worden gegenereerd.
  • false: Volledig resultaat na verwerking.
• stop: Strings die de generatie beëindigen wanneer ze worden aangetroffen.