From 23eaea03d6e3c545774809a641d1bc5f2718544f Mon Sep 17 00:00:00 2001 From: Christophe Combelles Date: Thu, 19 Sep 2024 14:00:06 +0200 Subject: [PATCH] move the db files above the repo --- data/README.md | 8 ++++---- data/import_ecoinvent.py | 4 ++-- data/import_food.py | 18 ++++++++++++------ data/import_method.py | 2 +- 4 files changed, 19 insertions(+), 13 deletions(-) diff --git a/data/README.md b/data/README.md index 2c3c8a2a6..403e2c3f4 100644 --- a/data/README.md +++ b/data/README.md @@ -6,7 +6,7 @@ Comment générer les données json utilisées par le frontal elm : - Si vous êtes sur Mac avec architecture ARM, affectez 6Go de RAM à Docker dans Docker Desktop : Settings → Ressources → Advanced → Memory = 6G - Préparez les bases de données à importer, elle ne font pas partie du dépôt : - - Agribalyse : compressé dans un fichier `AGB3.1.1.20230306.CSV.zip` dans le dossier `data/dbfiles/` + - Agribalyse : compressé dans un fichier `AGB3.1.1.20230306.CSV.zip` dans un dossier `dbfiles/` au dessus du dépôt - Autres bases alimentaire : consultez les noms de fichier dans `import_food.py` - Ecoinvent : décompressé dans un dossier `ECOINVENT3.9.1` dans ce même dossier - Lancez **`make`** ce qui va successivement : @@ -21,11 +21,11 @@ d'abord un `make clean_data` (qui supprime le volume docker). - `make image` : pour construire l'image docker choisie - `make import_food` : pour importer les bases de données alimentaire dans Brightway. - Assurez-vous d'avoir les bon fichiers de données dans `data/dbfiles` + Assurez-vous d'avoir les bon fichiers de données dans `dbfiles/` au dessus du dépôt - `make import_ecoinvent` : pour importer Ecoinvent 3.9.1. dans Brightway. - Assurez-vous d'avoir le bon dossier de données dans `data/dbfiles` + Assurez-vous d'avoir le bon dossier de données dans `dbfiles/` au dessus du dépôt - `make import_method` : pour importer EF 3.1 adapted dans Brightway. - Assurez-vous d'avoir le bon fichier de données dans `data/dbfiles` + Assurez-vous d'avoir le bon fichier de données dans `dbfiles/` au dessus du dépôt - `make export_food` : pour exporter les json pour le builder alimentaire - `make delete_database DB=` : pour supprimer une base de données (Ex avec espace: make delete_database DB="Ecoinvent\ 3.9.1") - `make delete_method` : pour supprimer la méthode EF3.1 diff --git a/data/import_ecoinvent.py b/data/import_ecoinvent.py index dee96e388..df70ba327 100755 --- a/data/import_ecoinvent.py +++ b/data/import_ecoinvent.py @@ -23,12 +23,12 @@ def main(): add_missing_substances(PROJECT, BIOSPHERE) if (db := "Ecoinvent 3.9.1") not in bw2data.databases: - import_simapro_csv(join("dbfiles", EI391), db) + import_simapro_csv(join("..", "..", "dbfiles", EI391), db) else: print(f"{db} already imported") if (db := "Ecoinvent 3.10") not in bw2data.databases: - import_simapro_csv(join("dbfiles", EI310), db) + import_simapro_csv(join("..", "..", "dbfiles", EI310), db) else: print(f"{db} already imported") diff --git a/data/import_food.py b/data/import_food.py index 2cf28f8d5..55cb32781 100755 --- a/data/import_food.py +++ b/data/import_food.py @@ -223,7 +223,7 @@ def remove_some_processes(db): # AGRIBALYSE 3.1.1 if (db := "Agribalyse 3.1.1") not in bw2data.databases: import_simapro_csv( - join("dbfiles", AGRIBALYSE31), + join("..", "..", "dbfiles", AGRIBALYSE31), db, migrations=AGRIBALYSE_MIGRATIONS, excluded_strategies=EXCLUDED, @@ -235,7 +235,7 @@ def remove_some_processes(db): # AGRIBALYSE 3.2 if (db := "Agribalyse 3.2 beta 08/08/2024") not in bw2data.databases: import_simapro_csv( - join("dbfiles", AGRIBALYSE32), + join("..", "..", "dbfiles", AGRIBALYSE32), db, migrations=AGRIBALYSE_MIGRATIONS, first_strategies=[remove_some_processes], @@ -248,14 +248,16 @@ def remove_some_processes(db): # PASTO ECO if (db := "PastoEco") not in bw2data.databases: for p in PASTOECO: - import_simapro_csv(join("dbfiles", p), db, excluded_strategies=EXCLUDED) + import_simapro_csv( + join("..", "..", "dbfiles", p), db, excluded_strategies=EXCLUDED + ) else: print(f"{db} already imported") # GINKO if (db := "Ginko") not in bw2data.databases: import_simapro_csv( - join("dbfiles", GINKO), + join("..", "..", "dbfiles", GINKO), db, excluded_strategies=EXCLUDED, other_strategies=GINKO_STRATEGIES, @@ -266,13 +268,17 @@ def remove_some_processes(db): # CTCPA if (db := "CTCPA") not in bw2data.databases: - import_simapro_csv(join("dbfiles", CTCPA), db, excluded_strategies=EXCLUDED) + import_simapro_csv( + join("..", "..", "dbfiles", CTCPA), db, excluded_strategies=EXCLUDED + ) else: print(f"{db} already imported") # WFLDB if (db := "WFLDB") not in bw2data.databases: - import_simapro_csv(join("dbfiles", WFLDB), db, excluded_strategies=EXCLUDED) + import_simapro_csv( + join("..", "..", "dbfiles", WFLDB), db, excluded_strategies=EXCLUDED + ) else: print(f"{db} already imported") diff --git a/data/import_method.py b/data/import_method.py index 5ad33e7c6..5e0bf2f86 100755 --- a/data/import_method.py +++ b/data/import_method.py @@ -24,7 +24,7 @@ # Agribalyse BIOSPHERE = "biosphere3" METHODNAME = "Environmental Footprint 3.1 (adapted) patch wtu" # defined inside the csv -METHODPATH = os.path.join("dbfiles", METHODNAME + ".CSV.zip") +METHODPATH = os.path.join("..", "..", "dbfiles", METHODNAME + ".CSV.zip") # excluded strategies and migrations EXCLUDED_FOOD = [