Lorsqu’un LLM comme chatGPT traite un prompt, il analyse et génère une réponse.
Sa réponse n’est pas pas toujours identique et pour répondre efficacement il doit souvent explorer plusieurs pistes.
Il peut explorer plusieurs pistes (suite de tokens) en parallèle, évaluer la probabilité de chaque et enfin choisir la réponse (la + cohérente, la + probable ou la + diversifiée)
ou même construire une réponse en fonction des multiples pistes explorées si cela est pertinent.
Cette exploration parallèle, ce découpage en plusieurs parties (sous prompt) c’est le fan-out
Pourquoi le fan-out est utile ?
- Accélérer la génération (travaille en parallèle de plusieurs pistes)
- Améliorer la qualité de la réponse (en testant plusieurs pistes et en gardant la plus cohérente)
- Réduire les hallucinations et/ou incohérences
- Mieux gérer l’incertitude dans les réponses ouvertes ou manquant de précisions (plusieurs pistes cela aide ^^)