Große Sprachmodelle

​

Modellfähigkeiten

• Textgenerierung LLMs können basierend auf dem Kontext logisch kohärente Inhalte generieren und den Ausgabestil nach Bedarf anpassen.
• Sprachverständnis LLMs können die Bedeutung von Eingabetexten genau verstehen und kontextbewusste Konversationen unterstützen.
• Textübersetzung LLMs sind zu sprachübergreifendem Verständnis und sprachübergreifender Generierung fähig, was die Übersetzung zwischen verschiedenen Sprachen ermöglicht.
• Wissensbasierte Fragen und Antworten Mit einer umfangreichen Wissensbasis können LLMs Fragen aus Bereichen wie Kultur, Wissenschaft und Geschichte beantworten.
• Codeverständnis und -generierung LLMs können Code verstehen und generieren (Python, Java, C++ und so weiter), Codefehler erkennen und Vorschläge machen.
• Textklassifizierung und -zusammenfassung LLMs können komplexe Sätze verstehen, Informationen kategorisieren und extrahieren sowie Kernpunkte zusammenfassen.

​

Modellauswahl

​

API-Integration

• ChatCompletion: Unterstützt sowohl Streaming- als auch Nicht-Streaming-Modi.
• Completion: Unterstützt ebenfalls Streaming- und Nicht-Streaming-Modi.

​

Codebeispiele

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Wichtige Parameter

​

Basisparameter

​

Nachrichten

Nur ChatCompletion

• content: Inhalt der Nachricht.
• role: Definiert den Sprecher:
  • system: Legt die Rolle der KI fest und teilt dem Modell seine Rolle oder sein Verhalten mit.
  • user: Die Eingabe des Benutzers.
  • assistant: Die Antwort der KI. Benutzer können im Voraus Beispiele für Ausgaben geben und dem Modell mitteilen, wie es auf die aktuelle Anfrage antworten soll.
• name (optional): Trennt Nachrichten mit derselben Rolle.

​

Prompt

Nur ChatCompletion

​

Ausgabesteuerung

‘temperature’ und ‘top_p’ können die Vielfalt des generierten Textes steuern; wir empfehlen, nur einen von beiden festzulegen. Je größer der Wert, den Sie festlegen, desto vielfältiger wird der Text. Je kleiner der Wert, desto genauer wird der Text.

• temperature: Steuert die Zufälligkeit. Höher = kreativer.
• top_p: Nucleus-Sampling. Steuert die kumulative Wahrscheinlichkeit.
• top_k: Begrenzt die Anzahl der Kandidaten-Token.

• presence_penalty: Steuert wiederholte Token in den Texten. Wenn ein Token bereits im Text vorhanden ist, wird eine Strafe verhängt; dies führt zu mehr Token im Text.
• frequency_penalty: Steuert die Token-Häufigkeit in den Texten. Jedes Mal, wenn dasselbe Token im Text vorkommt, wird eine Strafe verhängt, was dazu führt, dass dasselbe Token künftig seltener im Text vorkommt.
• repetition_penalty: Bestraft oder fördert Wiederholungen.

​

Ausgabegrenzen

• max_tokens: Maximale Anzahl an Token in einer Antwort. Inhalt nach diesem Wert im Text wird abgeschnitten.
• stream: Ob Streaming verwendet werden soll. Bei langen Ausgaben empfehlen wir die Verwendung des Streaming-Modus, um Timeout-Fehler zu vermeiden:
  • true: Gestreamt, Teilergebnisse werden während der Generierung ausgegeben.
  • false: Vollständiges Ergebnis nach der Verarbeitung.
• stop: Zeichenfolgen, die die Generierung beenden, wenn sie angetroffen werden.