Grandes Modelos de Linguagem

​

Capacidades do Modelo

• Geração de Texto Os LLMs podem gerar conteúdo logicamente coerente com base no contexto e ajustar o estilo da saída conforme necessário.
• Compreensão de Linguagem Os LLMs podem entender com precisão o significado do texto de entrada e oferecer suporte a conversas com reconhecimento de contexto.
• Tradução de Texto Os LLMs são capazes de compreensão e geração entre idiomas, possibilitando a tradução entre diferentes línguas.
• Perguntas e Respostas Baseadas em Conhecimento Com ampla base de conhecimento, os LLMs podem responder a perguntas em domínios como cultura, ciência e história.
• Compreensão e Geração de Código Os LLMs podem entender e gerar código (Python, Java, C++ e assim por diante), detectar erros de código e oferecer sugestões.
• Classificação e Sumarização de Texto Os LLMs podem entender frases complexas, categorizar e extrair informações e resumir pontos principais.

​

Seleção de Modelo

​

Integração com a API

• ChatCompletion: Suporta modos streaming e não streaming.
• Completion: Também suporta modos streaming e não streaming.

​

Exemplos de Código

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Parâmetros Principais

​

Parâmetros Básicos

​

Mensagens

Somente ChatCompletion

• content: conteúdo da mensagem.
• role: Define o falante:
  • system: Define o papel da IA, informando ao modelo seu papel ou comportamento.
  • user: A entrada do usuário.
  • assistant: A resposta da IA. Os usuários podem fornecer exemplos de saída antecipadamente, informando ao modelo como responder à solicitação atual.
• name (opcional): separa autores de mensagens com o mesmo papel.

​

Prompt

Somente ChatCompletion

​

Controle de Saída

‘temperature’ e ‘top_p’ podem controlar a diversidade do texto gerado; recomendamos definir apenas um deles. Quanto maior o valor definido, mais diverso será o texto. Quanto menor o valor definido, mais preciso será o texto.

• temperature: Controla a aleatoriedade. Maior = mais criativo.
• top_p: Amostragem de núcleo (nucleus sampling). Controla a probabilidade cumulativa.
• top_k: Limita a contagem de tokens candidatos.

• presence_penalty: Controla tokens repetidos nos textos. Se um token já existir no texto, haverá penalidade, o que resulta em mais tokens no texto.
• frequency_penalty: Controla a frequência de tokens nos textos. Cada vez que o mesmo token existir no texto, haverá penalidade, o que resulta em menos ocorrências do mesmo token no futuro no texto.
• repetition_penalty: Penaliza ou incentiva a repetição.

​

Limites de Saída

• max_tokens: Máximo de tokens em uma resposta. O conteúdo após esse valor no texto será truncado.
• stream: Se deve usar streaming. Para saídas longas, recomendamos usar o modo streaming para evitar erro de timeout:
  • true: Resultados parciais transmitidos conforme são gerados.
  • false: Resultado completo após o processamento.
• stop: Strings que encerrarão a geração quando encontradas.