Modelos de lenguaje grandes

​

Capacidades de los modelos

• Generación de texto Los LLM pueden generar contenido lógicamente coherente basado en el contexto y ajustar el estilo de salida según sea necesario.
• Comprensión del lenguaje Los LLM pueden comprender con precisión el significado del texto de entrada y admitir conversaciones con reconocimiento de contexto.
• Traducción de texto Los LLM son capaces de comprender y generar entre distintos idiomas, lo que permite la traducción entre diferentes lenguas.
• Preguntas y respuestas basadas en conocimiento Con una amplia base de conocimiento, los LLM pueden responder preguntas en diversos dominios como cultura, ciencia e historia.
• Comprensión y generación de código Los LLM pueden comprender y generar código (Python, Java, C++, etc.), detectar errores de código y ofrecer sugerencias.
• Clasificación y resumen de texto Los LLM pueden comprender oraciones complejas, categorizar y extraer información, y resumir puntos clave.

​

Selección de modelo

​

Integración de API

• ChatCompletion: admite modos con streaming y sin streaming.
• Completion: también admite modos con streaming y sin streaming.

​

Ejemplos de código

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-v4.1-flash"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-v4.1-flash",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Parámetros clave

​

Parámetros base

​

Mensajes

Solo ChatCompletion

• content: contenido del mensaje.
• role: define el hablante:
  • system: establece el rol de la IA, indicando al modelo su rol o comportamiento.
  • user: la entrada del usuario.
  • assistant: la respuesta de la IA. Los usuarios pueden proporcionar ejemplos de salida de antemano, indicando al modelo cómo responder a la solicitud actual.
• name (opcional): separa a los autores de mensajes con el mismo rol.

​

Prompt

Solo ChatCompletion

​

Control de salida

‘temperature’ y ‘top_p’ pueden controlar la diversidad del texto generado; te recomendamos configurar solo uno de ellos. Cuanto mayor sea el valor que configures, más diverso será el texto. Cuanto menor sea el valor que configures, más preciso será el texto.

• temperature: controla la aleatoriedad. Mayor = más creativo.
• top_p: muestreo de núcleo. Controla la probabilidad acumulada.
• top_k: limita el número de tokens candidatos.

• presence_penalty: controla los tokens repetidos de los textos. Si un token ya existió en el texto, se aplicará una penalización; esto da como resultado más tokens en el texto.
• frequency_penalty: controla la frecuencia de tokens de los textos. Cada vez que el mismo token existe en el texto, se aplicará una penalización, lo que da como resultado menos tokens iguales en el futuro en el texto.
• repetition_penalty: penaliza o fomenta la repetición.

​

Límites de salida

• max_tokens: máximo de tokens en una respuesta. El contenido posterior a este valor en el texto se truncará.
• stream: si se usa streaming. Para salidas largas, te recomendamos usar el modo streaming para evitar errores de timeout:
  • true: en streaming, resultados parciales a medida que se generan.
  • false: resultado completo después del procesamiento.
• stop: cadenas que terminarán la generación cuando se encuentren.