OpenMockLLM
activeOpenMockLLM est un serveur d'API mock LLM basé sur FastAPI qui simule plusieurs fournisseurs d'API de grands modèles de langage. Il permet de tester et de prototyper des applications utilisant des LLM sans dépendre des services externes.
Python
MITDocumentationFeatures
- Simulation de différents backends LLM
- API compatible OpenAI
- Tests et prototypage facilités
Tech Stack
Dépendances
FastAPIUvicornPydanticMistralAIOpenAIFakerTiktoken
Composants
- API REST FastAPI
- Backends : vLLM, Mistral, TEI
- Schémas Pydantic
Tags
Changelog
Changelog : OpenMockLLM (derniers 30 jours)
Résumé
Cette version apporte des améliorations significatives au backend Mistral, notamment la prise en charge du streaming. Des corrections ont également été apportées au backend TEI pour assurer la conformité de la génération de schéma et des tests unitaires ont été ajoutés. Enfin, des mises à jour des endpoints vLLM ont été implémentées.
Évolutions fonctionnelles
- Ajout du streaming pour le backend Mistral (#8)
- Amélioration des endpoints vLLM.
- Correction de la génération du fichier
openapi.jsonpour le backend TEI (#8) - Correction de la génération JSON pour le backend TEI (#8)
Évolutions techniques
- Génération du schéma TEI à partir de l'OpenAPI specification et ajout de tests unitaires (#8)
Autres changements
- Publication de la version 0.1.3
- Publication de la version 0.1.4
Métriques
- Stars
- 4
- Forks
- 1
- Open Issues
- 0
- Last Activity
- 1 months ago
Information
- Target Audience
- Professionnels
- Authentication
- api-key
- Testing
- Pytest