Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

l'annulation de l'import d'un nouveau fichier dans un corpus existant engendre la suppression de toutes les données. #2148

Open
AnaelKremer opened this issue Sep 13, 2024 · 2 comments
Labels
Feature Request Souhait ou besoin à étudier pour un prochain développement 👷‍♂️ Ready to go Le besoin ou le problème est validé, il prêt à être développé..

Comments

@AnaelKremer
Copy link
Collaborator

Si l'on souhaite réaliser de nouveaux imports de fichiers dans un corpus déjà existant, et si par erreur on se trompe de fichier par exemple et que l'on souhaite annuler l'import pendant la phase de chargement, ou si ce dernier échoue pour une quelconque raison, alors l'annulation engendre la suppression de toutes les données de l'instance.

Serait-il possible de corriger le code pour qu'en cas d'annulation on retrouve notre instance telle quelle avant annulation du dernier import ?

Mais cela n'est peut être pas si simple, par exemple si le dernier import est sensé écraser des données déjà présentes donc avec le même uri mais des propriétés différentes...

@AnaelKremer AnaelKremer added Feature Request Souhait ou besoin à étudier pour un prochain développement Triage Nouveau problème ou besoin à étudier et à classer labels Sep 13, 2024
@touv
Copy link
Contributor

touv commented Sep 13, 2024

lodex fonctionne comme cela, si il recoit une demande d'annulation il vide la base:
https://github.com/Inist-CNRS/lodex/blob/master/src/api/workers/import.js#L58-L60

Et effectivement, ce n'est pas simple car si on pourrait retrouver les nouveaux documents, comme restaurer les documents modifiés par une mise à jour via le même identifiant.

La solution la plus propre serait gérer une transaction (comme pour les BDD classiques) mais avec mongodb ce fonctionnement n'est pas si simple à mettre en place, à étudier

@touv touv removed the Triage Nouveau problème ou besoin à étudier et à classer label Sep 13, 2024
@Alexmarmelab Alexmarmelab added the 👷‍♂️ Ready to go Le besoin ou le problème est validé, il prêt à être développé.. label Oct 15, 2024
@Alexmarmelab
Copy link
Collaborator

Alexmarmelab commented Oct 24, 2024

Carte à estimer avant de prioriser

Lors de l'import de nouvelles données, cela doit fusionner
Les lignes qui ont le même identifiants doit être fusionnées

Option 1 : Supprimer uniquement ce qui a été importé mais que fait-on des lignes fusionnées ?
Option 2 : Stopper l'import au moment de l'annulation et laisser les données dans l'état (on conserve ce qui a été importé)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Feature Request Souhait ou besoin à étudier pour un prochain développement 👷‍♂️ Ready to go Le besoin ou le problème est validé, il prêt à être développé..
Projects
None yet
Development

No branches or pull requests

3 participants