LLM

Light

Llama-3.1-8B-Instruct

Aperçu

Llama‑3.1‑8B‑Instruct est un modèle de langage génératif optimisé pour le dialogue multilingue. Il utilise une architecture transformer avancée et a été aligné sur les préférences humaines par supervised fine-tuning et reinforcement learning with human feedback. Il prend en charge function calling et streaming ; ses 8 milliards de paramètres conviennent aux assistants conversationnels réactifs.


Spécifications techniques

  • SIÈGE DU FOURNISSEUR: Hors UE
  • PARAMÈTRES: 8B
  • CONTEXTE MAX.: 128K token
  • LICENCE: Llama 3.1 Community License
  • FONCTIONNALITÉS: Function calling, Multilingue
  • FORMATS DE SORTIE: Raw_text, Json_object, Json_schema

Cas d'usage

  • Assistant conversationnel multilingue
  • Génération de textes
  • Chatbot pour le service client
  • Prototypage rapide d’applications IA

Exemples de mise en œuvre

Input
curl --request POST \
--url https://apiaruba.it/aiplatform/v1/chat/completions \
--header 'content-type: application/json' \
--header 'x-aruba-api-key: *****' \
--data '{
"model": "Llama-3.1-8B-Instruct",
"messages": [
{
"role": "system",
"content": "Sei un assistente conciso."
},
{
"role": "user",
"content": "Spiega cos'\''è un embedding."
}
],
"temperature": 0.7,
"max_tokens": 300
}'
Output
{
"id": "chatcmpl-3b8b1020-a4f7-4b63-a55a-09306eb74de7",
"created": 1787560677,
"model": "Llama-3.1-8B-Instruct",
"object": "chat.completion",
"choices": [
{
"finish_reason": "stop",
"index": 0,
"message": {
"content": "Un embedding (in italiano \"inserimento\") è un concetto fondamentale nell'apprendimento automatico e nella rappresentazione dei dati. \n\nIn generale, un embedding è una rappresentazione di un oggetto o di un'entità (ad esempio un testo, un'immagine, un'etichetta) in uno spazio vettoriale di dimensioni fisse, in modo da poter rappresentare in modo numerico e comprensibile le caratteristiche e le relazioni tra gli oggetti stessi.\n\nL'obiettivo di un embedding è quello di mappare gli oggetti in uno spazio vettoriale in cui gli oggetti simili o correlati sono vicini tra loro, mentre gli oggetti diversi sono più lontani.\n\nEsempi di embedding:\n\n- **Word Embedding**: rappresentazione dei vocaboli in uno spazio vettoriale, in modo che parole simili (ad esempio \"gatto\", \"gatto nero\") siano vicine tra loro.\n- **Image Embedding**: rappresentazione di immagini in uno spazio vettoriale, in modo che immagini simili (ad esempio due immagini di un gatto) siano vicine tra loro.\n- **Node Embedding**: rappresentazione dei nodi di un grafo in uno spazio vettoriale, in modo che nodi simili (ad esempio nodi di un gruppo di amici) siano vicini tra loro.\n\nGli embedding sono fondamentali nell'apprendimento automatico perché consentono di applicare tecniche di apprendimento automatico come la classificazione, la regressione e la clustering in modo più efficace.",
"role": "assistant",
"provider_specific_fields": {
"reasoning": null,
"refusal": null
}
},
"provider_specific_fields": {}
}
],
"usage": {
"completion_tokens": 376,
"prompt_tokens": 52,
"total_tokens": 428
}
}

Alternatives dans le catalogue


Coût

0,0164 € + TVA / 1M token (input)
0,0409 € + TVA / 1M token (output)

Ressources