Forum de FilmDeCulte

Ce n'est pas faire des erreurs, le problème.
Le problème, c'est que l'IA ne SAIT PAS ce qu'elle fait. Elle n'a conscience de rien. Elle se contente de régurgiter le résultat le plus probable.

Qu'elle te dise un truc vrai ou un truc faux, c'est pareil pour elle : elle ne ment pas, elle ne cherche pas à dire la vérité, elle n'a pas de but. Elle te donne juste, à chaque fois, la réponse la plus probable.

_________________
Renseigne-toi sur Eric Trexler, neuneu !

en elle même l'IA n'a pas de corps et n'est pas spontanément reliée à des sorties. Le principal problème incontournable est d'ordre écologique, lié à leur consommation en resources, qui sont finalement au même plan que données entrantes (on peut considérer l'eau qui refroidit le hardware comme une donnée, ou en tout cas un type de contrainte uniforme et "normalisé" qui constitue l'environnement au sens large du modèle, c'est plus ou moins les idées de Bruno Latour, il n'y a qu'un Jerzy qui l'ouvre en grand comme la carrière d'Hambach mais qui ne comprend rien à que dalle pour l'attaquer comme un défenseur de "Maman Gaïa", alors que c'est l'inverse).


Il faut bien que quelqu'un prenne la décision de relier les données qu'elle produit à un dispositif physique pour qu'elle devienne dangereuse (un pilote automatique, un fichier de police, un radar de défense ou à un lance-missile, un GPS, uen application de dating, un appareil médical, une imprimante qui sort une orodnnance etc...). Mais ce lien est externe. Les IA n'ont pas créés un monde B (en tut cas moins que les Smartphones et le web avant elles).

C'est pour cela que je suis assez dubitatif lorsque je lis que les bots d'Open Ia auraient décidés d'eux-même d'attaquer Hugging Face, sauf à supposer que personne chez OpenAI n'a jamais configuré un pare-feu de sa vie.

Ceci dit, j'ai observé qu'il ya quelque mois que l'arrivée desIA a créé des attentes techniques démesurées chez des cadres et décideurs politiques, qui n'avaient pas uen connaissance du domaine plsu profinde que celle du grand public, et menaient à des déicions absurdes (du type de considérer qu'un modèle pourrait rempalcer l'ensemble des systèmes informatiques d'une administration, quite à détruire les données qui la font fonctionner). Des décisions, ou plutôt des orientations, radicales ont été prise sans vraie compréhension de son fonctionnement et des données qu'elle produit, en espérant des gains de prodcutivité ou réduction de cout immédiats.

Par ailleurs, où je travaille, l'autorité publique tend à l'utilsesr comme un critère pour des audits interne d'institutions et de service, et pour évaluer leur productivité et les classer, ou accélérer des réformes et dégraissages, mais de façon générale et grossière. Cela sert bien les boîtes car accélère indirectement la mise en place de situation de marché monopolistique.

Mais j'ai l'impression que par ailleurs les boîtes d'AI ont tendance à insister voire susciter la panique sur les limites et risques des IA car elles craignent d'être impliquées dans des appels d'offr et marchés dans ce contexte; auxquels elles ne veulent pas répondre, moins pour des raisons éthiques que juridiques et financières (elles n'ont pas forcément envie de se retrouver en procès avec de grosses administrations parce que tel ou tel truc programme coputeux ne fonctionne pas, parce qu'il est utilisé dans un contexte qui n'a rien à voir avec ou détourne le besoin initial), ou liées tout simplement à leur capacités à satisfaire la demande.
Elles se souviennent sans doute des causes informatiques du crash boursier de 1987.

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

J'avais lu que ces attaques, c'était un exercice interne assez commun pour benchmarker les IA.
Et l'erreur, ç'aurait été de laisser les bots aller sur internet au lieu de les confiner au réseau interne de l'entreprise.

L'article suggérait très fort que ça avait été fait volontairement pour faire le buzz (et si je me souviens bien de la chronologie des événements, une semaine après, c'était Anthropic qui se vantait du même exploit, en mode "Nos modèles sont trooooop dangereux, arrêtez-nous !).

_________________
Renseigne-toi sur Eric Trexler, neuneu !

Ben oui bloquer un port et un range d'IP en sortie dans un firewall c'est quand-même pas un truc de Prix Nobel. A moins que la boite ait remplacé ses adminsitrateurs réseau par son propre produit, ou qu'ils soient infoutus d'en paramétrrer un, mais alors ce serait d'une connerie sidérale.

+ le rachat d'Huggin Face par Nvidia a finalement eu lieu peu de temps après, il y a peut-être quelque-chose à creuser de ce côté-là (l'administration Trump est très encline à discréditer la sécurité des applications Open-Source, sur le motif que leur failles sont publiques, or celles-ci son un instrument se souveraineté numérique pour les administrations et entreprises de pays hors USA). Cela peut être aussi une attaque spéculative ou de l'ingénierie sociale pour faire baisser la valeur de la boîte juste avant ce rachat. Cela en a en tout cas une forte odeur.

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

Tout à fait cf. HuggingFace, les LLMs hallucinent tout le temps soi-disant, mais sont quand même capables de monter une opération de hacking complexe sans qu'on leur demande rien, donc bon...



Tu as discuté récemment avec un LLM, tu as des exemples concrets d'hallucination qui bloque l'exécution d'une tache? Le taux d'hallucination d'Astra est inférieur à des versions précédentes, pareil pour Claude, les LLMs ont un taux d'incertitude, mais est-ce que ce taux d'incertitude est un blocage infranchissable une fois pris en compte, c'est la question, et c'est plus facile de contourner ça en maths oui, mais je ne vois pas pourquoi on ne pourrait pas rajouter des boucles d'itération en théorie pour améliorer la précision dans d'autres domaines que les maths/la programmation, c'est plus difficile c'est tout, mais voilà on utilise tous les jours des outils imprécis, ça n'empêche pas les progrès.
Ce que je dis sur le distingo "pragmatisme" vs "philosophie", ok en théorie les hallucinations sont un problème, mais en pratique on arrive à faire beaucoup de choses malgré ça.



Oui c'est ce que je dis, tu penses avoir la position juste sur un sujet hyper complexe en te basant sur ton feeling, bon on se rassurera ailleurs.

Tout dépend de l'usage et du domaine, les hallucinations sont quand-même un peu plus emmerdantes dans un pilote automatique d'avion ou même de voiture que dans un JSON-LD m pour que le site web de la boîte soit bien indexé par Google quand on tape "Robert Dupont".

Et paradoxalement leur rareté et leur subtilité peut augmenter le coût d'une validation humaine.

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

Bien sûr.
J'utilise les LLM comme dictionnaire des synonymes : c'est bourré d'erreurs, de propositions débiles, de mots inventés.

Autre exemple : GTP 5.6 m'assurant (sans que je lui demande) que le poids du vélo et du cycliste n'a aucune incidence sur le nombre de calories brûlées dans une cote. Et m'assurant le contraire dans un autre prompt.

C'est juste... pas fiable.




Mais qui t'a dit qu'on ne pouvait rien faire ?
Je te répète depuis le début que les LLM seront toujours, et de façon irrémédiable, limitées par leur architecture, pas qu'on ne peut rien faire avec.

(et il faut vraiment que tu révises ta définition du mot philosophie)



Non mais tu crois sérieusement que l'AGI est une possibilité via les LLM ?
Tu es sûr d'avoir déjà discuté avec une IA ?

_________________
Renseigne-toi sur Eric Trexler, neuneu !

Y a pas besoin de conscience/intentionnalité pour être dangereux justement, un modèle avec d'immenses capacités peut être dangereux sans avoir aucune conscience/intention, c'est même littéralement le cas de base des "doomers" (les maximisateurs de trombones) Ce qui est dangereux c'est la capacité.

.

Il s'est même trompé sur des questions de physique fondamentale comme la mécanique quantique donc bon...



Oui tout à fait.

Le fait qu'un LLM réussisse à prouver un conjecture mathématique difficile n'est pas si surprenant.
C'est un domaine de recherche ancien, le formalisme est celui qui se prête le mieux à une mise en algorithme et la solution peut s'apparenter à une exploration exhaustive de chemins (ou le facteur critique est le hardware).

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

J'ai jamais vu ça perso... je doute pas que la littérature soit un point faible des LLMs mais bon...



Ta "limitation" est une pétition de principe, rien de plus, tu veux convaincre qui avec ton histoire d'architecture?



Je n'en sais rien. J'ai déjà dit que les LLMs ont une "intelligence" différente des humains, est-ce que ça les empêchera de dépasser les humains dans la plupart des domaines importants, je ne vois pas comment en être sur.



Rétrospectivement oui, mais il y a 3 ans tous les anti-LLMs t'aurait juré la main sur le coeur que c'est impossible, donc voilà la situation actuelle.
C'est ça dont je parle, mois après mois les progrès applications des LLMs ne vont jamais dans le sens des sceptiques, donc comment les croire sur leurs critiques fondamentales de l'architecture des LLMs (qu'ils ne maitrisent pas)?

Les sceptiques sont nécessaires pour formuler des seuils, et comprendre qu'ils ont été franchis. La notion d'Uncanny valley que je ne sais plus quel scientifique japonais avait formulée a disparu ou en tout cas fortement érodée. Pas seulement du fait de l'IA, mais du fait que les smartphones amènent les êtres humains à se comporter et à agur eux-même comme des robots.
Il s'agit moins de croyance que de perception

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

Ah, l'exemple du vélo, c'est de la littérature ?



Non mais tu auras beau le répéter 10 000 fois, ton affirmation reste du pur bullshit.
C'est à cause de leur architecture probabiliste que les LLM hallucinent ou racontent de la merde, puisqu'une hallucination peut, statistiquement, être la réponse la plus probable.

Et ça, malgré tout le fine-tuning du monde, ça ne sera jamais corrigé, parce que c'est inhérent au fonctionnement des modèles. C'est pas du principe, c'est de la pure pratique.

_________________
Renseigne-toi sur Eric Trexler, neuneu !

Je dubite mais bon...



Non la pratique c'est qu'il y a des progrès spectaculaires dans différents domaines, donc les maths, coding, médecine, etc... malgré l'existence des hallucinations, donc ce n'est pas un argument suffisant sur les limitations des LLMs.

C'est un argument suffisant pour dire ce que je te dis depuis le début :
que ça ne pourra jamais être plus qu'un outil limité qui nécessite énormément de vérifications humaines derrière, en raison de sa tendance (native) à se tromper.

Si j'en crois Terence Tao, en math, c'est facile de vérifier, donc ce n'est pas plus gênant que ça. Tant mieux, ça fera au moins une application où ça sert effectivement à quelque chose.
Dans les autres domaines, c'est une autre histoire (y compris en codage, hein, le vide coding, c'est loin d'être la panacée décrite par les boosters, ça demande énormément de QC derrière).

_________________
Renseigne-toi sur Eric Trexler, neuneu !