Helicone

Helicone est une solution de monitoring Open Source spécialisée pour les intégations de LLM. La solution fonctionne à date pour OpenAI.

Lorsque vous intégrez un LLM, vous allez rapidement être confronté à un effet boîte noire : quelle entrée a généré telle sortie ?

Helicone répond spécifiquement à cette problématique en venant intercepter vos requêtes à OpenAI et en les journalisant (logs). La solution permet également de pouvoir reinjecter les paramètres dans un playground pour éventuels les retravailler. Nous pensons que l'intégration de ce type de brique est un élément essentiel des LLMOps.

La solution est disponible en self-hosting ou en hébergement cloud managé (par les éditeurs de Helicone). Au vu du pricing très faible, nous conseillons cette solution qui vous fera gagner beaucoup de temps.

Le déploiement est très simple : il suffit de remplacer l'URL racine de l'API OpenAI par celle d'Helicone. Le reste de vos appels ne changent pas. Helicone se place ainsi en middleware et comme dit précédemment, viendra intercepter chacune des requêtes.

Nous recommandons une implémentation moins naïve en production, en limitant cette approche à certains utilisateurs ayant donné leur consentement par exemple.