InfraScale
activeInfraScale est un outil développé par l'équipe Albert API pour estimer les besoins en GPU pour l'inférence LLM à grande échelle. Il fournit une méthodologie reproductible, ouverte et pratique pour estimer les besoins en GPU.
Python
DocumentationFeatures
- Estimation des besoins en GPU
- Calcul de la mémoire requise
- Optimisation des ressources
- Analyse des performances
Tech Stack
Dépendances
streamlitnumpypandasJinja2jsonschemaprotobufgrpciopyarrow
Composants
- Frontend Streamlit
- Backend Python
- Modèles d'estimation
- Base de données JSON (gpu.json, models.json)
Tags
Métriques
- Stars
- 7
- Forks
- 1
- Open Issues
- 0
- Last Activity
- 5 months ago
Information
- Target Audience
- Professionnels
- Authentication
- none
- Testing
- Notebooks Jupyter (calibration.ipynb, solver.ipynb)