Comment streamer la réponse d'un LLM avec FastAPI ?

Découvrez comment streamer la réponse d'un LLM avec FastAPI grâce aux Server-Sent Events.

Publié le par Gabriel Trouvé (mis à jour le )

2 minutes

Vous avez certainement déjà copié-collé vos notes de réunion dans ChatGPT pour créer des comptes rendus. Mais quand vous avez des tâches récurrentes qui reviennent chaque semaine, et pour plusieurs collaborateurs il peut être utile d'avoir un outil dédié.

Avoir son propre outil comporte plusieurs avantages :

  • un prompt écrit une seule fois pour des comptes rendus structurés de manière homogènes

  • pas de copier-coller, le résultat peut être enregistré ou envoyé par mail

  • le choix du modèle avec un paiement à l'usage

Nous allons développer un petit outil internet pour l'entreprise de Patrick : Boréal Systèmes. Patrick colle ses notes et le compte rendu s'écrit en direct sous ses yeux.

Nous utiliserons FastAPI qui gère nativement le streamling depuis la version 0.135.0 sortie en mars 2026, PydanticAI et l'API d'OpenAI.

Bravo, tu es prêt à passer à la suite

Rechercher sur le site

Inscris-toi à Docstring

Pour commencer ton apprentissage.

Tu as déjà un compte ? Connecte-toi.