feat(pipeline): scraping réseau alpha

[ColinMaudry]

Scraping des formations et des structures recensées sur https://reseau-alpha.org/.

Le notebook contient une description du process en en-tête.

Finalement on transpose le notebook en pipeline.

Todo :

• ajouter les fonctions extract, read, load
• Résoudre le problème de la conversion du HTML de la présentation en markdown (le markup HTML est assez complexe, un conversion simple avec trafilatura donne un format peu digeste, désactivé pour l'instant)
• ajouter les streams dans settings.py
• dbt : rédiger le SQL pour l'étape staging
• dbt : rédiger le SQL pour l'étape intermediate avec
  • traitement des adresses
  • ajout aux tables int__services et int__structures
  • rajouter les champs présents dans le schéma mais absents des données source (NULL AS...)
  • test des références croisées de structure_id
  • test des références croisées de adresse_id

[ColinMaudry]

Après le notebook qui sert de PoC, la prochaine itération consiste à lancer le scraping via un DAG airflow.

J'ai transformé le notebook en tâche Python et ait créé une fonction extract() à utiliser dans import_sources.py.

Pour l'étape read, utils.read_json() suffit car le JSON n'a pas de structure ou contenu particulier à retraiter.

[ColinMaudry]

@vmttn La fonction extract de reseau_alpha.py renvoie bien un buffer que read_json peut convertir en DataFrame exploitable (j'ai print un df.info() juste après l'exécution de read_fn()). Donc d'après mes tests, le pipeline est OK jusqu'à l'étape load comprise.

Reste donc la partie dbt.

[ColinMaudry]

@vmttn J'ai géré les conflits. À voir où on place cette source dans les priorités et qui fait la partie dbt.

[ColinMaudry]

Les id de services ne sont pas uniques, ce bout de code ne fait pas le boulot.

[vmttn]

Première passe