trackdechets-data
activeCette plateforme contient les briques de la plateforme data du projet Trackdéchets, incluant des outils d'orchestration, de stockage, de transformation et de visualisation de données.
Python
DocumentationFeatures
- Gestion de données
- ETL
- Visualisation de données
- Analyse de données
Tech Stack
Dépendances
AirflowClickHousedbtMetabasePostgreSQLuvpandaspolarssqlalchemy
Composants
- Frontend Metabase
- Backend Airflow
- Base de données ClickHouse
- Pipeline ETL avec dbt
- Scripts Python
Tags
Changelog
Changelog : trackdechets-data (derniers 30 jours)
Résumé
Ce changelog résume les améliorations apportées à la plateforme trackdechets-data au cours des 30 derniers jours. Les modifications concernent principalement l'ajout de nouvelles données et d'améliorations au niveau des pipelines de données, notamment dans dbt et Airflow, pour une meilleure qualité et clarté des informations.
Évolutions fonctionnelles
- Ajout de la colonne
ecoOrganismePartnersIdsau modèleCompanydans dbt, permettant d'identifier les partenaires des éco-organismes. (#62) - Ajout de la colonne
is_dormantaux modèlescartographie_etablissementsdans dbt, indiquant si un établissement est inactif. (#59) - Ajout d'une colonne dans le modèle
unite_legaldans Airflow et validation des en-têtes dans la fonctionel_base_sirene. (#56)
Évolutions techniques
- Standardisation des noms de colonnes dans le modèle
installations_rubriques_2026dans dbt pour une meilleure cohérence. (#57) - Amélioration de la condition de rafraîchissement du token dans Airflow, ajustée à 100 secondes avant expiration. (#55)
- Amélioration de la journalisation (logging) dans la fonction
extract_companiesd'Airflow pour faciliter le débogage et le suivi. (#54) - Ajout de descriptions aux modèles
cartographie_icpedans dbt pour une meilleure compréhension et contextualisation. (#62)
Autres changements
- Mise à jour du modèle de pull request pour supprimer les sections "contexte" et "motivation", simplifiant ainsi le processus de contribution. (#58)
Métriques
- Stars
- 3
- Forks
- 0
- Open Issues
- 1
- Last Activity
- 1 weeks ago
Information
- Target Audience
- Professionnels
- Authentication
- none
- CI/CD
- deploy-to-prod.yml, deploy-to-sandbox.yml