LLM

Light

Llama-3.1-8B-Instruct

Descripción general

Llama‑3.1‑8B‑Instruct es un modelo generativo de lenguaje optimizado para diálogo multilingüe. Usa una arquitectura transformer avanzada y se alineó con preferencias humanas mediante supervised fine-tuning y reinforcement learning with human feedback. Admite function calling y streaming, y sus 8.000 millones de parámetros lo hacen adecuado para asistencia conversacional con buena capacidad de respuesta.


Especificaciones técnicas

  • SEDE DEL PROVEEDOR: Fuera de la UE
  • PARÁMETROS: 8B
  • CONTEXTO MÁX.: 128K token
  • LICENCIA: Llama 3.1 Community License
  • FUNCIONALIDADES: Function calling, Multilingüe
  • FORMATOS DE SALIDA: Raw_text, Json_object, Json_schema

Casos de uso

  • Asistente conversacional multilingüe
  • Generación de textos
  • Chatbot para atención al cliente
  • Prototipado rápido de aplicaciones de IA

Ejemplos de implementación

Input
curl --request POST \
--url https://apiaruba.it/aiplatform/v1/chat/completions \
--header 'content-type: application/json' \
--header 'x-aruba-api-key: *****' \
--data '{
"model": "Llama-3.1-8B-Instruct",
"messages": [
{
"role": "system",
"content": "Sei un assistente conciso."
},
{
"role": "user",
"content": "Spiega cos'\''è un embedding."
}
],
"temperature": 0.7,
"max_tokens": 300
}'
Output
{
"id": "chatcmpl-3b8b1020-a4f7-4b63-a55a-09306eb74de7",
"created": 1787560677,
"model": "Llama-3.1-8B-Instruct",
"object": "chat.completion",
"choices": [
{
"finish_reason": "stop",
"index": 0,
"message": {
"content": "Un embedding (in italiano \"inserimento\") è un concetto fondamentale nell'apprendimento automatico e nella rappresentazione dei dati. \n\nIn generale, un embedding è una rappresentazione di un oggetto o di un'entità (ad esempio un testo, un'immagine, un'etichetta) in uno spazio vettoriale di dimensioni fisse, in modo da poter rappresentare in modo numerico e comprensibile le caratteristiche e le relazioni tra gli oggetti stessi.\n\nL'obiettivo di un embedding è quello di mappare gli oggetti in uno spazio vettoriale in cui gli oggetti simili o correlati sono vicini tra loro, mentre gli oggetti diversi sono più lontani.\n\nEsempi di embedding:\n\n- **Word Embedding**: rappresentazione dei vocaboli in uno spazio vettoriale, in modo che parole simili (ad esempio \"gatto\", \"gatto nero\") siano vicine tra loro.\n- **Image Embedding**: rappresentazione di immagini in uno spazio vettoriale, in modo che immagini simili (ad esempio due immagini di un gatto) siano vicine tra loro.\n- **Node Embedding**: rappresentazione dei nodi di un grafo in uno spazio vettoriale, in modo che nodi simili (ad esempio nodi di un gruppo di amici) siano vicini tra loro.\n\nGli embedding sono fondamentali nell'apprendimento automatico perché consentono di applicare tecniche di apprendimento automatico come la classificazione, la regressione e la clustering in modo più efficace.",
"role": "assistant",
"provider_specific_fields": {
"reasoning": null,
"refusal": null
}
},
"provider_specific_fields": {}
}
],
"usage": {
"completion_tokens": 376,
"prompt_tokens": 52,
"total_tokens": 428
}
}

Coste

0,0164 € + IVA / 1M token (input)
0,0409 € + IVA / 1M token (output)

Recursos