LLM : Qu’est ce que le Fan out ?

par Aurélien Bardon

Lorsqu’un LLM comme chatGPT traite un prompt, il analyse et génère une réponse.

Sa réponse n’est pas pas toujours identique et pour répondre efficacement il doit souvent explorer plusieurs pistes.

Il peut explorer plusieurs pistes (suite de tokens) en parallèle, évaluer la probabilité de chaque et enfin choisir la réponse (la + cohérente, la + probable ou la + diversifiée)

ou même  construire une réponse en fonction des multiples pistes explorées si cela est pertinent.

Cette exploration parallèle, ce découpage en plusieurs parties (sous prompt) c’est le fan-out

Pourquoi le fan-out est utile ?

  • Accélérer la génération (travaille en parallèle de plusieurs pistes)
  • Améliorer la qualité de la réponse (en testant plusieurs pistes et en gardant la plus cohérente)
  • Réduire les hallucinations et/ou incohérences
  • Mieux gérer l’incertitude dans les réponses ouvertes ou manquant de précisions (plusieurs pistes cela aide ^^)

Aurélien Bardon
Dites STOP aux régressions SEO avec Oseox

Je vous recommande de lire également

  • Outil Webperf d’Oseox : Notre tableau de KPI lié à la vitesse d’un site
  • Auditer la difficulté du top 3 Google sur n’importe quel mot clé avec Oseox
  • Comparaison temps de travail et age de départ à la retraite
  • Auditer la popularité et la visibilité SEO d’un nom de domaine