Faire fonctionner son propre ChatGPT sur un Raspberry Pi 5 ?
Vous pensez qu'il est impossible de faire fonctionner son propre ChatGPT sur un Raspberry PI 5 ?
Détrompez-vous ! Des petits LLM 7B semblent parfaitement bien fonctionner sur des petits Raspberry Pi 5 équipés de 8GB de RAM seulement et d'un disque SSD externe.
C'est tout juste pensable et pourtant, plusieurs vidéos sur Youtube semblent bien démontrer le contraire ... La puissance du Raspberry Pi 5 semblerait être suffisante pour faire fonctionner des LLM avec un petit nombre de paramètres.
Comment cela est possible ?
Tout cela est accessible facilement grâce à Ollama que je ne vous présente plus. C'est un logiciel à découvrir absolument si vous ne le connaissez pas. Il permet de faire fonctionner facilement des LLMs (Large Language Model) sur des PC sous Linux et sur Mac OS, son usage est très similaire à Docker.
Voici une vidéo de Data Slayer qui partage son retour d'expérience avec Ollama sur un Raspberry PI 5. Vous y verez un modèle Mistral dans sa démo.
Une opportunité pour créer des assistants vocaux Opensource ?
Ollama et les LLM Opensource sont une très bonne opportunité dans la création d'assistants personnels ouverts.
Associés à des librairies de Speech to Text et de Text to Speech, ils peuvent permettre de créer des assistants vocaux conversationnels assez facilement.
Pour vous simplifier le travail, Node-Red peut être un excellent allié pour construire vos propres robots autonomes capables d'intéragir avec vos équipements domestiques et Internet.
Si le sujet des agents autonomes boostés aux LLM vous intéresse, Autogen / Autogen Studio est probablement un projet Opensource qui devrait occuper quelques unes de vos soirées.
Pour aller plus loin sur les cas d'usage d'IA sur Raspberry PI, le dongle Google Coral USB Edge TPU ML permet d'augmenter les capacités d'un Raspberry PI pour des cas d'usage de reconnaissance d'image ou de son :
Malheureusement ce type de matériel n'est pas encoree suffisement puissant pour faire fonctionner des LLM : https://github.com/ollama/ollama/issues/990