Doppelte Imports verhindern

[j3nsch]

Der Import sollte in der Lage sein zu erkennen, ob ein Document bereits importiert wurde. Es sollte möglich sein, die Dokumente der letzten Wochen zu importieren und dann den gleichen Import noch einmal zu starten, ohne dass Duplikate in OPUS 4 entstehen.

Beim BibTeX-Import machen wir das über Hashes der normalisierten Metadaten. Für DeepGreen gibt es sicherlich einfachere Möglichkeiten wie eine eindeutige ID für jeden Datensatz. Die DOI könnte dafür reichen, wenn sie innerhalb von DeepGreen immer unique ist, also als Key verwendet werden könnte.

Es geht hier nicht, um das Erkennen von Duplikaten bei denen der OPUS 4 Datensatz nicht ursprünglich von DeepGreen gekommen ist. Das wäre der Fall, wenn das Dokument lokal angelegt wurde und über DeepGreen später der Volltext hinzugefügt werden soll. Das zu Handhaben liegt in der Verantwortung des nachgeschalteten OPUS 4 Import Workflows.