Forum de FilmDeCulte

Tiens d'ailleurs, Gontrand, dans ta boîte, tu dois tokenmaxxer ?
Comment réagissent tes managers au modèle pay-per-use qui est en train d'arriver et qui coûte une fortune ?

_________________
"Je vois ce que tu veux dire, mais..."
"Je me suis mal exprimé, pardon."

Alors bonne question.

Pour l'usage, on a des machine avec des GPU Nvidia, et on télécharge les modèles dessus avec Huggin Face (une sorte de Git Hub de l"IA) et on les exécute via une API Python, Transformer, via CUDA, une librairie bas-niveau NVIDIA. Le seul LLM d'envergure accessible dessus est à ma connaissance Qwen sous différentes formes, mais il est intéressant pour ce que nous faisons, et il nous permet d'apprendre un peu le domaine
On utilise aussi des modèles plus petits de reconnaissance d'images comme YOLO, intéressants parce qu'ils nous permettent de faire un peu de fine tuning voire d'entraînement.

Certains services ne souhaitent pas que des données plus sensibles transitent par des API de services. Les coûts principaux sont les machines et nos salaires.

On n'est pas tokenmaxxés, je travaille pour une administration et un institut de recherche, donc ce n'est pas la culture. Et en interne, on serait un peu dans une situation où on s'évaluerait nous-mêmes. Sauf s'ils passent de la consultance ou nous rattachent à une structure plus grosse, et ils en discutent.
J'utilise aussi des interfaces de développement simples (Notepad++, il est peu sécurisé mais je l'aime bien, et Gedit), or le tokenmaxxing va passer par l'intégration avec les IDE.

Par contre les bourses nationales pour les projets scientifiques de l'équivalent belges du CNRS imposent l'IA sur des thématiques qui n'ont pas grand chose à voir (anthropologie africaine, muséologie) et c'est indirectement un critère de sélection et d'évaluation des scientifiques. C'est à la fois une stratégie politique (plaire à l'opinion et aux ministres qui voient l'IA comme un outil d'amélioration et de mesure de la productivité) et un prétexte pour réduire le financement public de la recherche dans des secteurs comme les sciences humaines et la biologie environnementale qui ont peu de lien avec le secteur privé.

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

Donc si j'ai bien compris, votre seule utilisation de l'IA, ce sont des modèles Open Source que vous exécutez en local ?

Ca va, t'as de la chance. Parce que dans les grosses boîtes, apparemment, les ingénieurs deviennent dingues à cause de l'IA imposée pour tout par des managers qui ne comprennent rien à ce qu'ils font et qui exigent des résultats délirants dont l'IA est incapable.

_________________
"Je vois ce que tu veux dire, mais..."
"Je me suis mal exprimé, pardon."

En gros oui, même si je ne suis pas sûr que tous les modèles accessibles sur Hugging Face soient open-source
Ils sont en tout cas gratuits avec un paramétrage modifiable.
On utilise aussi quand-même ChatGPT ou Claude via l'agent public pour coder ou rentrer dans des applications et frameworks que nous ne connaissons pas (facteur qui ne facilite pas la rationnalisation et l'économie), par exemple des vieux systèmes.
On utilise en effet beaucoup d'open source pour développer, sauf pour le data-center en VMWare, devenu impayable.


Oui j'ai de la chance je suis dans une administration qui a son propre datacentrer (mais on est clairement menacé) et je fais du développement full stack voire du devop, un peu d'ingénierie de données et d'administration de systèmes (mais pas de réseau), un peu de scripting pour les scientifiques,je vais pas me plaindre. Mais à mon âge cette versatilité n'est pas forcément bien perçue par le marché du travail.

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

On est en train de déployer l'IA dans ma boîte également (mélange de Claude et de Mistral en local si j'ai bien compris).
Le choix qui a été fait a été de l'ouvrir dans un premier temps à un échantillon d'utilisateurs pour trouver des cas d'usages concrets.
A partir de là, on aura des prompts pré-écrits.

_________________
You are a ghost driving a meat covered skeleton made from stardust riding a rock floating through space.
FEAR NOTHING

BILANS CINEMA : 2023 I 2024 I 2025

Partir dans une technologie quand-même assez lourde sans idée des use-cases mmm.

Dans notre cas ils sont assez identifiés : OCR et reconnaissance de textes manuscrits (quand des logiciels éprouvés comme Tesseract ne suffisent pas), traduction et génération automatiques de métadonnées (par exemple pour du JSON-LD ou schema.org), extraction de mots-clés dans des documents, sous un angle plus axé recherche reconnaissance automatique d'espèces animales ou de bois pour des problématiques de santé publique (espèces vectrices de maladies parasites) ou identification de trafic de bois à la douane (même si dans les faits l'IA ne reconnait que le genre dans notre cas, ile ne faut pas s'attendre à des miracles, mais l'idée est aussi de collaborer avec des scientifiques et informaticiens du Sud) etc...



Ce sont aussi des use-cases un peu secondaires (à part l'OCR au centre d'un projet) et exploratoires, on ne prend ainsi pas trop de risques en cas de difficultés.

On n'en est pas encore à relier directement l'IA à des moteurs de recherche dans des bases de données par exemple (les approches qui nous sont accessibles compte tenu de nos moyens comme MCP ou RAG sont encore émergentes, les petits jeunes sont aussi plus à l'aise avec elles que nous).

_________________
je croyais que dans leur monde bouclé par le sadisme, eux-mêmes vivaient en parfaite sécurité

Imre Kertész

Je te dis ça, je suis très loin du projet
Y'a sûrement des recherches de cas d'usage d'abord avec des tests avant de tenter à plus grande échelle.

_________________
You are a ghost driving a meat covered skeleton made from stardust riding a rock floating through space.
FEAR NOTHING

BILANS CINEMA : 2023 I 2024 I 2025