LiteLLM

LiteLLM est une bibliothèque Python open-source qui fournit une interface unifiée pour appeler plus de 100 fournisseurs de LLM (OpenAI, Anthropic, Google, Mistral, Cohere, etc.) via un format d'appel unique compatible OpenAI. Elle inclut également un proxy serveur pour centraliser et gérer les appels LLM à l'échelle d'une équipe.

Ses caractéristiques :

• API unifiée : un seul format d'appel (completion()) compatible OpenAI pour interroger n'importe quel fournisseur de modèles.
• 100+ providers : support de tous les principaux fournisseurs (OpenAI, Anthropic, Google Vertex, Azure, Bedrock, Mistral, etc.).
• Proxy serveur : un serveur proxy qui centralise les appels, gère les clés API, le rate limiting et le load balancing entre modèles.
• Observabilité : logging intégré des appels, des coûts et des latences pour le suivi en production.
• Légèreté : une bibliothèque ciblée sur l'appel aux modèles, sans les abstractions de chaînage ou d'agents de LangChain.

Nous surveillons LiteLLM comme alternative plus simple à LangChain pour les cas d'usage qui ne nécessitent pas toute la machinerie d'agents et de chaînage. Quand le besoin se limite à appeler différents modèles via une API unifiée — typiquement un proxy LLM pour une équipe ou un switch facile entre fournisseurs — LiteLLM fait le travail avec beaucoup moins de complexité. Nous évaluons la solution pour déterminer les contextes où elle est préférable à LangChain.