LLM

Light

Mistral-Nemo-Instruct-2407

Aperçu

Mistral‑Nemo‑Instruct‑2407 est développé conjointement par Mistral AI et NVIDIA. Avec 12 milliards de paramètres et un contexte de 118 000 tokens, il est conçu pour le dialogue multilingue, la génération de code et les instructions complexes. Il prend en charge function calling, sortie structurée et streaming. Sa taille contenue équilibre qualité des réponses et vitesse d’inférence.


Spécifications techniques

  • SIÈGE DU FOURNISSEUR: UE
  • PARAMÈTRES: 12,2B
  • CONTEXTE MAX.: 128K token
  • LICENCE: Apache 2.0
  • FONCTIONNALITÉS: Function calling
  • FORMATS DE SORTIE: Raw_text, Json_object, Json_schema

Cas d'usage

  • Chatbot multilingue
  • Génération de code
  • Assistant conversationnel
  • Compréhension d’instructions complexes

Exemples de mise en œuvre

Input
curl --request POST \
--url https://apiaruba.it/aiplatform/v1/chat/completions \
--header 'content-type: application/json' \
--header 'x-aruba-api-key: *****' \
--data '{
"model": "Mistral-Nemo-Instruct-2407",
"messages": [
{
"role": "system",
"content": "Sei un assistente conciso."
},
{
"role": "user",
"content": "Spiega cos'\''è un embedding."
}
],
"temperature": 0.7,
"max_tokens": 1000
}'
Output
{
"id": "chatcmpl-36255b3a-69c2-4884-adcb-49e8211106b1",
"created": 1787560711,
"model": "Mistral-Nemo-Instruct-2407",
"object": "chat.completion",
"system_fingerprint": "vllm-0.22.1-820c92fc",
"choices": [
{
"finish_reason": "stop",
"index": 0,
"message": {
"content": "Un embedding è una rappresentazione densa di una parola o di un concetto in uno spazio vettoriale, dove le parole o i concetti simili sono vicini tra loro. Viene spesso utilizzato in campo dell'elaborazione del linguaggio naturale per rappresentare le parole in modo che i modelli di machine learning possano comprenderne il significato.",
"role": "assistant",
"provider_specific_fields": {
"reasoning": null,
"refusal": null
}
},
"provider_specific_fields": {}
}
],
"usage": {
"completion_tokens": 75,
"prompt_tokens": 17,
"total_tokens": 92
}
}

Alternatives dans le catalogue


Coût

0,0164 € + TVA / 1M token (input)
0,0246 € + TVA / 1M token (output)

Ressources