Si vous utiliser chatgpt via un compte gratuit ou le compte payant de base, vous utilisez certainement la version la moins capable de l’IA.
Non pas que les autres IA sont meilleures que cela soit Gemini ou Claude ou Mistral.
Pour l’usage du grand public elles sont globalement assez similaires.
Cela ne veut pas dire que c’est nul cela signifie que ce que vous utilisez ne correspond en rien aux capacités réelles actuelles de l’IA.
Il faut comprendre les outils SAAS et les coûts de fonctionnement des outils comme Chatgpt pour en avoir conscience.
Chaque seconde accordée à un utilisateur représente un coût.
En termes de :
- Puissance de calcul
- Energie
- Usure de matériel
- Temps de calcul
A cela s’ajoute des contraintes liées à la satisfaction des utilisateurs
- Réponse plus ou moins rapidement
- Capacité à traiter l’ensemble de demandes du monde entier
- Précision / Pertinente / qualité de la réponse
Repérer et réparer des hallucination c’est possible. Mais cela coute plus cher.
Prendre en compte d’avantage le contexte de l’utilisateur c’est possible mais c’est plus long et plus cher.
Etc…
Ceci étant dit, ce que vous utilisez correspond à ce que les outils veulent bien vous donner à un moment donné.
Les résultats chatgpt semblent par exemple souvent meilleurs en France le matin que le soir.
Vous avez compris. Ce qu’on utilise n’a rien à voir avec l’état de l’art.
Si Xia décide d’utiliser la totalité de la puissance de son Colossus et de lui donner beaucoup de temps alors les capacités de son IA à traiter un problème décuplerait d’une manière inimaginable.
La personnalisation des IA
En plus de la notion de coût/temps accordés à une IA, s’ajoute la notion de spécialisation.
La plupart des modèles utilisés par le grand public sont des modèles génériques. On peut leur demander n’importe quoi.
Les modèles les plus puissants sont des modèles dédiés à certaines problématiques ultra précises.
Exactement comme dans la vie.
Un dev full stack est moins fort en Python qu’un dev qui a poncé phyton pendant 10 ans.
Un bricoleur du dimanche qui sait faire un peu tout est moins faire qu’un plaquiste qui ne fait que cela depuis 10 ans.
C’est ainsi par exemple qu’une IA a pu créer des protéines inédites, qu’une IA a pu prédire qu’une molécule allait mieux soigner certains types de cancer, qu’une IA repère mieux certains cancers que les meilleurs experts du domaine, qu’une IA a trouvé une nouvelle classe d’antioBio…
Les solutions haut de gamme
Quand on commence à jouer avec des modèles à 200$/mois et qu’on peut leur donner à manger beaucoup de données les choses changent considérablement.
Il existe différentes manières d’alimenter un LLM dont le fameux RAG (Retrieval-Augmented Generation) et celui plus connu qui consiste à prendre en compte tout un contexte que cela soit dans une fenêtre de discussion (fonctionnement actuel de ChatGPT) et/ou via quelques sources ajoutées manuellement comme dans notebookLM.
Le traitement coûte alors plus ou moins cher (on parle en tokens) et la pertinence varie d’un modèle à l’autre.
Il existe aussi des approches bien entendu hybrides.
La stabilité des réponses
Vous l’avez compris, proposer un LLM en SAAS c’est une histoire de gros sous.
La pertinence et la consistance des réponses peut varier énormément.
Il est capital de comprendre cela pour les SEO (monitoring de prompts) mais aussi pour n’importe quel usage pro qui demanderait de la constance.
On édite chez Oseox, un outil IA qui s’appelle CONTENT. Il permet de générer des textes optimisés pour le SEO.
Il y a de nombreux prompts derrière chaque utilisation mais aussi des contrôles coté serveur.
Ces contrôles sont indispensables.
D’un part parce que chatgpt n’a pas une qualité constante et d’autre part parce qu’il y a des updates ^^
Et là, on est en plein dans la blackbox.
Il n’y a pas le choix, il faut régulièrement mettre à jour les prompts.
L’avenir
Tout cela pour dire que ce qu’on voit et utilise c’est du pipi de chat par rapport à ce dont sont vraiment capables les IA.
Il n’est pas possible de proposer ces modèles à moindre coût au grand public.
Ce qui serait soit dit en passant donner de lard aux cochons ^^
Cette problématique explique 2 éléments essentiels
- L’énergie pas cher est une des clés (Fission puis fusion)
- L’envolé des prix de la RAM, des GPU et la pénurie qui arrive pour les usages des particuliers