Quand sera-t-il possible d'utiliser la feature "structured output" d'Open AI sur les AI endpoints ?

Public Cloud
1

Depuis quelques mois, il est possible d'utiliser la fonctionnalité "Structured Output" sur l'API d'OpenAI. Elle permet de typer fortement les résultats de réponse du LLM. Cela permet entre autres d'améliorer la qualité des réponses entre les agents IA.

Sur la version actuelle des AI Endpoints (quel que soit le modèle), cela génère l'erreur suivante :

HTTP Request: POST https://mistral-nemo-instruct-2407.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1/chat/completions "HTTP/1.1 422 Unprocessable Entity" [llm/error] [chain:LangGraph > chain:planner > chain:RunnableSequence > llm:ChatOVH] [136ms] LLM run errored with error: "UnprocessableEntityError('Failed to deserialize the JSON body into the target type: response_format.type: unknown variant json_schema, expected text or json_object at line 1 column 2619')"

Le json_schema ne semble pas être interprété correctement.

Dans l'hypothèse où vous utiliseriez vLLM, cette fonctionnalité a été intégrée à partir de la version v0.6.5. J'en profite pour vous demander quelle est la solution que vous utilisez pour héberger vos modèles ? Car cela influence également d'autres fonctionnalités que nous souhaiterions utiliser comme le tool calling et le reasoning.

Merci.



2

Bonjour @Cleyrop et merci d'avoir posé votre question sur Community.

Actuellement, la fonctionnalité "Structured Output" n'est pas disponible, mais nous prévoyons de commencer à l'activer modèle par modèle à partir du lancement général.
En attendant, beaucoup d'utilisateurs utilisent le "Structured Output" via prompt.
En demandant au modèle de répondre en json, en lui transmettant un exemple de format puis en contrôlant la réponse (via regex par ex).

N'hésitez pas si vous avez d'autres questions.
^JLam

3

Merci pour cette réponse.

Est il possible d'avoir une idée de la date ou bien de la période où vous comptez intégrer la fonctionnalité "Structure Ouptut" ainsi que les modèles qui seront concernés s'il vous plait ?