Azazello a écrit:
Mais tu n'en sais rien de comment marche l'intelligence
Personne ne sait exactement comment fonctionne l'intelligence.
C'est justement pour ça qu'on ne peut pour l'instant pas la reproduire.
Azazello a écrit:
et comment marche les LLMs, et globalement personne ne le sait,
Tu es sérieux ?
C'est documenté, et c'est loin d'être un secret.
Les LLM calculent la réponse la plus probable, basée sur le set de données dont ils disposent. C'est pour ça que quand tu ouvres une nouvelle instance de ChatGPT et que tu lui demandes un nombre de 0 à 100 pris au hasard, il te donnera quasiment toujours 73 : il ne te donne pas un vrai nombre random, mais il te donne la réponse la plus fréquemment fournie par les humains dans son dataset.
Azazello a écrit:
Ce qu'on peut dire c'est que les LLMs ont une "intelligence" différente des humains,
Non. Les LLM n'ont aucune intelligence, parce que par définition, ils ne comprennent rien : ils font des proba.
Azazello a écrit:
Mais justement c'est l'application qui est le seul moyen de juger des avancées, les meilleurs matheux doivent utiliser l'IA, et l'IA accélère les découvertes mathématiques sur des problèmes majeurs (Millenium Prize quand même, le 2e résolu depuis 2000 seulement, même si la 'résolution' est décevante, c'est du progrès réel et irréfutable), je suis un pur pragmatique sur le sujet parce que toutes discussions de principe sur ce sujet sont inacessibles, dire qu'il faut une autre architecture pour voir des progrès ce n'est pas ce qui se passe dans la réalité.
Ben je te dis que les progrès qu'on a actuellement, ils reposent sur une architecture qui date de GPT 4 et qui n'a presque pas évolué depuis.
Et à moins d'un nouveau
generational leap (et on n'en prend pas le chemin), toutes les applications futures découleront de cette architecture, qui stagne.