feat: normalize: clean normalization of text input (#15) #49

KameniAlexNea · 2022-09-22T20:16:53Z

No description provided.

KameniAlexNea · 2022-09-22T20:24:15Z

J'ai sauvegardé sous le format zip à cause de la limite d'espaces dans un commit (taille du fichier).

À la fin, je vais voir comment réduire tout ça.

billmetangmo · 2022-09-23T12:21:02Z

Bien reçu, je vais regarder ça

KameniAlexNea · 2022-10-27T14:34:36Z

Sinon, je pense avoir fait le tour, si tout est bon pour vous aussi, @billmetangmo peut merger

billmetangmo · 2022-10-28T16:35:39Z

oki les chagements sont validés @KameniAlexNea .
J'ai rajouté ton fichier 4.xxxx dans un dossier experiment et j'ai ajouté tes functions de normalisation filter-cameroon.ipynb.
J'ai aussi supprimé ton fichier zip aussi , il est pas nécessaire d'après ton commentaire.

Cf 72ac285

KameniAlexNea · 2022-10-28T16:42:33Z

J'ai l'impression que tu n'as pas fait de merge de ma branche

billmetangmo · 2022-10-29T07:54:21Z

Yes t'as raison. Je suis revenu à l'état précédent.
En fait les commits de main que j'ai rajouté se trouvent au-dessus des tiens dans ton historique.
Du coup on aura un commit de plus qui sera un commit de merge avec résolution du conflit.

Ce qu'il faudrait faire pour y rémédier c'est que les commits tirés depuis main soient au-dessous des tiens. Comme si tu avais fait refait ta base à partir de main. C'est un rebase.

etape 1: reset ta branche sur ton commit

git checkout alex 
git reset --hard 8b60776e711b512f0ec32679221ed666deffd66b

étape 2: mettre à jour main

git checkout main
git pull --rebase origin main

étape 3: rebase alex sur main

git checkout alex
git rebase master

Ensuite, il faudra modifier ton commit pour ajouter entre parenthèses le numéro de l'issue. ça permet d'avoir sur le commit dans github un lien vers l'issue. C'est l'issue Normalisez le titre et l'objet #15 pour toi.
git commit --amend -m "an updated commit message"

ça ressemblera donc à ça:

billmetangmo

Créer un dossier experiments dans etl pour y mettre le fichier 4.Process_data.ipynb étant donné que les bouts de code importants seront rajoutés dans filter-cameroon.ipynb . C'est pour garder le fichier néanmoins. On utilisera désormais ce dossier experiments pour faire des premiers tests en dehors du code même filter-cameroon. T'en penses koi ?
Sinon, on pourrait supprimer le fichier etl/ref-rna-real-mars-2022-enriched-not-qualified-process.zip . Je pense d'après ton commentaire précédent qu'il n'est plus nécessaire

billmetangmo · 2022-10-29T08:10:24Z

etl/filter-cameroon.ipynb

+    "def remove_closed(df):\n",
+    "    return df[df[\"position\"].str.contains(\"D|S\") == False]\n",
+    "\n",
+    "def normalize(df):\n",


J'ai introduit une fonction normalize en utilisant les pipelines. Tu pourras reporter dans cette fonction, le code te permettant te modifier de supprimer les guillemets sur objet, titre car ici on n'a pas encore les libellés d'objet social.

Désolé, je ne suis pas sûr de comprendre la fin

C'est une bonne idée d'avoir un dossier spécial pour l'ensemble du code juste.

En fait, je disais qu'il faudrait rajouter ton code qui permet de supprimer les guillemets sur la colonne objet et titre à l'intérieur de la fonction normalize ici:

Tu comprends mieux ?

billmetangmo · 2022-10-29T08:12:49Z

etl/filter-cameroon.ipynb

-    "    geometry=[Point(xy) for xy in zip(df3.longitude, df3.latitude)])\n",
-    "gdf.to_file(\"ref-rna-real-mars-2022.geojson\", driver=\"GeoJSON\")"
+    "\n",
+    "def format_libelle_for_gogocarto(df):\n",


C'est ici qu'il faudra rajouter aussi la supression des guillemets pour les colonnes objets libellés 1 & 2

Ici il faut utiliser toujours ta même fonction sui supprime les guillemets mais sur les champs libellés:

KameniAlexNea · 2022-10-31T06:43:57Z

Stp @billmetangmo tu peux vérifier si ce que j'ai fait est bien dans la direction attendue ? On n'a pas encore pu discuter du prochain point

billmetangmo · 2022-11-02T11:41:50Z

Stp @billmetangmo tu peux vérifier si ce que j'ai fait est bien dans la direction attendue ? On n'a pas encore pu discuter du prochain point

Oui @KameniAlexNea c'est dans la bonne direction. T'as fait 70% du boulot. Il reste plus qu'à:

Rajouter ton code de supression des guillements comme décrit ici et là
L'historique n'est pas toujours bon. Mais c'est ma faute, j'ai oublié de te dire qu'il fallait que tu supprimes tous les commits que tu avais pris depuis main avant de rebase.

En fait, il faudrait quitter de ça

Vers ceci

Pour cela,

git checkout -b alex2 
git reset --hard 8b60776e711b512f0ec32679221ed666deffd66b
git checkout main && git pull --rebase origin main && git checkout -
git rebase main
git cherry-pick 80054ed3dd5a4b5d3d2bab414fbf27a8ce91e8a7
git checkout alex
git reset --hard alex2
git push --force

Enfin, il faut modifier tous tes messages de commit de façon à ajouter (#15)

Sinon pour la suite, je te propose de bosser sur #48 puis #50 et #46 ( dans cet ordre). Les 3 sont liés ( les 2 premières étant plutôt rapides à priori) , il s'agit d'utiliser un certain nombre de bonnes pratiques . L'objectif étant de préparer en amont le pouvoir faire la #8 sans trop de soucis.

KameniAlexNea · 2022-11-07T04:29:17Z

@billmetangmo c'est quand tu veux pour merger

billmetangmo · 2022-11-10T21:07:43Z

oui @KameniAlexNea tout est bon là. Je merge 👍🏾

billmetangmo force-pushed the main branch from 2e05c27 to 42e365e Compare October 21, 2022 11:20

billmetangmo self-requested a review October 21, 2022 11:37

billmetangmo linked an issue Oct 21, 2022 that may be closed by this pull request

Normalisez le titre et l'objet #15

Closed

billmetangmo closed this Oct 28, 2022

billmetangmo reopened this Oct 29, 2022

billmetangmo force-pushed the alex branch from 72ac285 to 8a23721 Compare October 29, 2022 08:06

billmetangmo requested changes Oct 29, 2022

View reviewed changes

KameniAlexNea changed the title ~~feat: normalize: clean normalization of text input~~ feat: normalize: clean normalization of text input (#15) Oct 30, 2022

KameniAlexNea force-pushed the alex branch from 80054ed to da87556 Compare November 5, 2022 09:43

aneakameni and others added 2 commits November 5, 2022 10:51

feat: normalize: clean normalization of text input (#15)

78b226b

moves processing to experiments folder (#15)

5656472

KameniAlexNea force-pushed the alex branch from da87556 to 5656472 Compare November 5, 2022 09:53

moves normalize funct into filter-cameroon (#15)

43ea1f8

billmetangmo merged commit 8e14615 into main Nov 10, 2022

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

feat: normalize: clean normalization of text input (#15) #49

feat: normalize: clean normalization of text input (#15) #49

KameniAlexNea commented Sep 22, 2022

KameniAlexNea commented Sep 22, 2022

billmetangmo commented Sep 23, 2022

KameniAlexNea commented Oct 27, 2022

billmetangmo commented Oct 28, 2022 •

edited

Loading

KameniAlexNea commented Oct 28, 2022

billmetangmo commented Oct 29, 2022 •

edited by KameniAlexNea

Loading

billmetangmo left a comment •

edited by KameniAlexNea

Loading

billmetangmo Oct 29, 2022

KameniAlexNea Oct 30, 2022

KameniAlexNea Oct 30, 2022

billmetangmo Nov 2, 2022 •

edited

Loading

billmetangmo Oct 29, 2022

billmetangmo Nov 2, 2022

KameniAlexNea commented Oct 31, 2022

billmetangmo commented Nov 2, 2022 •

edited by KameniAlexNea

Loading

KameniAlexNea commented Nov 7, 2022

billmetangmo commented Nov 10, 2022

feat: normalize: clean normalization of text input (#15) #49

feat: normalize: clean normalization of text input (#15) #49

Conversation

KameniAlexNea commented Sep 22, 2022

KameniAlexNea commented Sep 22, 2022

billmetangmo commented Sep 23, 2022

KameniAlexNea commented Oct 27, 2022

billmetangmo commented Oct 28, 2022 • edited Loading

KameniAlexNea commented Oct 28, 2022

billmetangmo commented Oct 29, 2022 • edited by KameniAlexNea Loading

etape 1: reset ta branche sur ton commit

étape 2: mettre à jour main

étape 3: rebase alex sur main

billmetangmo left a comment • edited by KameniAlexNea Loading

Choose a reason for hiding this comment

billmetangmo Oct 29, 2022

Choose a reason for hiding this comment

KameniAlexNea Oct 30, 2022

Choose a reason for hiding this comment

KameniAlexNea Oct 30, 2022

Choose a reason for hiding this comment

billmetangmo Nov 2, 2022 • edited Loading

Choose a reason for hiding this comment

billmetangmo Oct 29, 2022

Choose a reason for hiding this comment

billmetangmo Nov 2, 2022

Choose a reason for hiding this comment

KameniAlexNea commented Oct 31, 2022

billmetangmo commented Nov 2, 2022 • edited by KameniAlexNea Loading

KameniAlexNea commented Nov 7, 2022

billmetangmo commented Nov 10, 2022

billmetangmo commented Oct 28, 2022 •

edited

Loading

billmetangmo commented Oct 29, 2022 •

edited by KameniAlexNea

Loading

billmetangmo left a comment •

edited by KameniAlexNea

Loading

billmetangmo Nov 2, 2022 •

edited

Loading

billmetangmo commented Nov 2, 2022 •

edited by KameniAlexNea

Loading