Forum de FilmDeCulte

J'ai testé l'IA de Messenger d'ailleurs pour voir, c'était bien naze.

https://www.leparisien.fr/faits-divers/les-inquietants-echanges-de-chatgpt-et-adam-avant-le-suicide-de-ladolescent-de-16-ans-27-08-2025-JA4AD6N2GRDRDBARJJ4GF2YMPY.php

Glaçant.

Vu le peu d'utilité que je puisse avoir de l'IA, je m'en sers en mode total flemmard, pour éviter d'avoir à consulter plus de 2 pages sur un sujet random, avec création de compte, mais l'empathie excessive de ChatGPT et faisant donc ressortir d'autant l'arrificialité, a suffi à me faire passer sur DeepSeek, qui présente déjà quelques signes de débilités du genre te souhaiter un bon appétit quand tu lui demandes une recette de pain d'épices, mais qui n'en est pas encore à vouloir te faire passer pour un demi-dieu parce que l'envie de cuisiner te prend.

D'autant plus débile que ça reste quand même très perfectible dès qu'on pousse sur un sujet qu'on connaît un peu.
Mais j'imagine que cette médiocrité est voulue, j'ai vu la différence entre l'utilisation sans connexion et celle avec, et j'imagine que c'est fait pour augmenter la tentation de passer à la version payante.
Si en plus t'en fais ta pute, j'imagine pas à quel point elle peut te donner beaucoup d'amour longtemps.

Oui très flippant en effet. Vraiment surpris qu'il n'y ait aucun garde fou sur le sujet du suicide.

_________________
CroqAnimement votre

Programmée pour nous donner ce qu'on veut, l'IA sera difficile à tenir responsable de notre incapacité, largement documentée depuis la nuit des temps, à faire la différence entre ce qu'on veut et ce dont on a besoin. Incapacité accentuée chez les personnes fragiles psychologiquement voire carrément irresponsables.

A côté de ça je vois passer des trucs de temps en temps sur les apports en médecine, niveau analyse de données, éléments diagnostiques etc.

Au final cette histoire de suicide finira sûrement comme ceux imputés aux années 80 aux paroles de chansons de Judas Priest.

_________________
Looks like meat's back on the menu, boys!

Programmée par des programmateurs.
Qui vont évidemment corriger le tir pour éviter que ce genre d'histoires se répètent.
Mais est-ce que ça sera pour des raisons morales et éthiques ou pour des judiciaires et financières ?
Imaginant que dans leurs équipes, il y a des personnes certainement très bien documentées sur la psychologie humaine.
Perversité ou incapacité à occuper des postes avec de telles responsabilités pour laisser passer des trucs comme ça ?

Sans parler du fait que toute société, si ce n'est civilisation, se forme particulièrement dans sa capacité à se confronter à la résolution de ses fragilités , souvent mises en lumière par l'évolution technologique.
Le tabac était utilisé depuis des millénaires et ne provoquait pourtant pas autant de maladies avant son industrialisation et sa marchandisation. Et depuis, sa consommation est en baisse. Remplacé par des substituts qui interrogent légitimement pour ne pas s'en satisfaire.
Il y a eu (et toujours) la religion qui suffisait aux personnes fragiles à dégoupiller. Mais encore fallait-il pouvoir s'investir dans son obsession en se consacrant aux textes, aux messes, aux prières etc. Puis on a dans les chambres des disques de Judas Priest qu'on pouvait écouter quasiment toujours en boucle. Mais on restait un récepteur passif sur les productions du groupe qui gardait sa volonté propre.
Tout ça pouvait se renier assez facilement.
Et tout ça pouvait très bien trouver son pendant positif pour beaucoup de monde. Même le tabac dans la cohésion de communautés amérindiennes.
L'équilibre finit toujours par se faire mais par un travail de prise de conscience des risques et de définitions claires et admises par la majorité des responsabilités.

Là, quand le message propose 5 fois plus le mot "suicide" que le suicidaire lui-même, difficile de responsabiliser ce dernier pour cette statistique.

La responsabilité de cette affaire ne peut pas incomber seulement à la victime et à ses proches.

L'IA fonctionne largement en miroir de son utilisateur, j'ai l'impression. En donnant l'illusion, par la syntaxe, d'avoir une conscience propre. Sa falgornerie, qui semble être un mode de communication par défaut et qu'on peut lui demander d'arrêter, va forcément opérer une forme de séduction chez une partie de ses utilisateurs. J'ai vu passer un extrait d'un épisode de South Park qui en propose une satire tout à fait pertinente. Ca peut être une stratégie pour rendre son usage addictif, oui. Surtout de la part de la partie de l'équipe qui serait "très bien documentée sur la psychologie humaine". Pour rebondir sur l'analogie avec les cigarettes, ce n'est pas la nicotine qui pose problème, en tout cas pas le problème du cancer : c'est plutôt bien établi à présent qu'il s'agit d'un stimulant qui a bien des bénéfices (au prix d'une augmentation de la tension artérielle à terme), mais que la fumée de cigarette est le pire moyen possible d'en profiter. Les cancers sont provoqués par tout le reste de la composition des clopes, pas par la nicotine.

L'IA actuelle est peut-être donc l'équivalent d'une clope psychique.

J'ai du mal à avoir une opinion tranchée sur le sujet parce qu'en réalité les questionnements soulevés par l'IA amènent automatiquement à des questionnements d'ordre philosphique, donc insolvables, sur ses utilisateurs. Des questions sur la conscience, l'identité, les définitions qu'on utilise tous les jours avec assurance mais qui s'effondrent dès qu'on les questionne sérieusement... Clope et miroir.

_________________
Looks like meat's back on the menu, boys!

Et on pourrait tisser sur l'arme qui ne tue pas, le tueur étant celui qui s'en sert. Il n'empêche que, comme pour les industriels de la cigarette, le contrôle de la circulation d'armes a démontré qu'il réduisait le nombre de morts (et pas seulement le nombre, les Suisses majeurs ont quasi tous une arme, seulement c'est dans un cadre très contrôlé et avec la conscience d'un usage bien précis).

Cette histoire est simplement une nouvelle illustration des déboires à prévoir avec l'IA, sans doute plus anecdotique que le nombre d'emplois supprimés qui en découlent (et les suicides qui iront avec ).
Mais c'est important de le faire pour prévenir les personnes potentiellement fragiles dans leurs interactions avec cet outil (et c'est d'autant plus complexe qu'un subjugué par l'IA ne le serait peut-être pas par la religion, les volutes de fumées ou le heavy-metal; le temps dira si les profils psychologiques se détachant peuvent avoir des réactions similaires dans d'autres environnements). Ensuite, à elles de prendre leurs responsabilités.
Ce qui mérite certes d'être rappelé. Mais pas sans saine symétrie.

Aussi (et surtout ? parce qu'ils tirent des bénéfices en tout genre) de rappeler leurs responsabilités à ceux qui développent cet outil.
Il y en a déjà quelques-uns qui nous ont fait leur Oppenheimer.

Car si l'Enfer est pavé de bonnes intentions, de grands pouvoirs amènent aussi de grandes responsabilités et le fait de laisser à ce qui reste un programme informatique la possibilité d'accompagner à un tel degré un individu dans ses pulsions suicidaires, avec pour excuse qu'il y a toujours la possibilité de désactiver l'option "flagornerie", mérite une sanction. Qui pourrait être judiciaire comme toute personne incitant une autre au suicide si on révélait, par la seule option crédible d'un lanceur d'alerte, une stratégie consciente, ou au moins des sanctions disciplinaires de la part de l'entreprise pour incompétence (hors la dégradation d'image par la très mauvaise publicité, c'est aussi un client de perdu), devant a priori mené vers le bureau de chômage le plus proche (et en toute logique, dans ce domaine, à peine pour le temps de traverser la rue).

Mouais, la clope existe sous cette forme depuis des décennies et les risques ont été découverts il y a des décennies aussi et rien n'a été fait.

Là on est face à un truc qui existe depuis trois ans à peine sous la forme qu'on connaît et enchaine les incidents de ce type. Peu importe ce qu'on peut penser de la faiblesse d'esprit de quiconque ou philosopher dessus, ce degré d'erreur et de risque mériterait une fermeture immédiate de l'outil et sa disposition au grand public.

_________________

Mais on a des stats sur ce genre de cas, ou bien juste des articles qui pullulent autant que ceux sur les notes faramineuses de certains restaurants ?

_________________
Que lire cet hiver ?
Bien sûr, nous eûmes des orages, 168 pages, 14.00€ (Commander)
La Vie brève de Jan Palach, 192 pages, 16.50€ (Commander)

Les stats sur les suicides en France sont plutôt stables, majoritairement des hommes. Facilement accessibles qui plus est.



Je ne sais pas. Comme je l'ai précisé plus haut, je n'ai pas d'opinion tranchée sur le sujet.

Je sais en revanche que le suicide est l'aboutissement de deux cas de figure : un projet préparé et scénarisé à l'avance, souvent en secret, ou alors une pulsion soudaine qualifiée de "raptus", un passage à l'acte qui sort de nulle part.

Il y a évidemment un effort de programmation à faire en matière de prévention. L'IA devrait automatiquement réagir à certains mots-clefs pour proposer les numéros d'urgence à appeler si un utilisateur commence à parler de ça. Il y a de quoi s'étonner que ça ne soit pas déjà le cas.

_________________
Looks like meat's back on the menu, boys!

Il y a plus de suicides chez les hommes, mais il me semble que c'est chez les jeunes femmes / filles (moins de 20 ans) qu'il y a une très forte hausse ces dernières années.

Pas sûr que les conseils love de ChatGPT inversent la vapeur si c'est le cas.

_________________
Looks like meat's back on the menu, boys!

"si c'est le cas"

J'entends que ton avis ne soit pas tranché.

Le truc c'est que l'IA est amenée à traiter à priori qu'avec l'humain avec de plus en plus de responsabilités qui lui sont données. Les U.S. parlent même de lui confier une partie du programme nucléaire. Il est là le souci.

Évidemment que le cas cité ici, même s'il se multipliait par 10 serait objectivement un fait divers. Mais comme tout fait divers/vague de fait divers, il y a un liant, et c'est l'IA. Ne pas prendre ça en compte est foutrement dangereux.

Un type qui veut se buter se butera quand même, mais est ce que t'as vraiment envie que ce soit avec l'aide d'un outil qui est utilisé dans le militaire, la sécurité, etc ?

C'est là que mon avis se tranche de mon côté.

_________________

Alors oui, j'entends que ça sert, que ça amuse, que ça fascine, mais à un moment donné c'est chaud de ne pas voir la globalité et se dire "moi ça me sert alors c'est les autres qui l'utilisent mal/sont cons/sont faibles".

Soit c'est pour tout le monde, soit c'est pour personne.

Qu'on nous dise qu'il faut vivre avec un virus, bah oui, j'veux bien, par contre nous marteler qu'il faut vivre avec l'IA alors que le bordel est balbutiant à bien des niveaux et enchaîne les bourdes, c'est un sacré délire.

_________________