Baixar les memòries de translatewiki

[jordimas]

Josep M. Ferrer:

Fa temps es va crear una tasca sol·licitant un bolcat de les traduccions de translatewiki.net (https://phabricator.wikimedia.org/T299493), ja que les extraccions online destinades a les MT fallaven per un consum excessiu de recursos.
Finalment, ahir es va crear el primer bolcat d'aquestes traduccions:

• hi ha un fitxer que conté el nom del fitxer amb el bolcat de les traduccions:
  https://translatewiki.net/static/translation-dump/info.txt
• hi ha el fitxer que conté totes les traduccions (tots els mòduls de https://translatewiki.net/ amb tots els idiomes):
  https://translatewiki.net/static/translation-dump/translations-2024-05-28.tar.gz
  Aquest arxiu comprimit ocupa 2,3 GiB, i 17,4 GiB descomprimit, i es genera semestralment segons s'indica a la tasca del Phabricator.
  Per tal de poder aprofitar aquestes traduccions a les MT, suposo que caldria:
  a) Fer un procés semestral que baixi l'arxiu generat semestralment en un directori de treball de SC. Cal tenir en compte que el fitxer «info.txt» conté el nom de l'arxiu generat, ja que depèn de la data en la qual es genera.
  b) Descomprimir l'arxiu generat: té un estructura de directoris-fitxers del tipus /tmp/tmp.hoAGqhA1S2/subprojecte/lang.po
  c) Seleccionar només els fitxers ca.po dins de l'estructura de l'arxiu descomprimit, per a cada subprojecte (i canviar el seu nom a subrojecte-ca.po).
  d) Mantenir els fitxers subprojecte-ca.po seleccionats fins a l'execució semestral següent. Per a estalviar espai i procés, potser caldria eliminar les cadenes no traduïdes.
  Finalment, el procés de baixada del projecte Translatewiki de les MT hauria de seleccionar tots els fitxers creats en el pas "d" anterior que estan en un directori de treball de SC, i a partir d'aquí, generar els informes corresponents i integrar la memòria de Translatewiki per als usos corresponents (MT, Traductor neuronal,...)
  Són correctes les meves suposicions, o millor fer una altre classe de processos? Igualment, no tinc ni idea per on començar, i necessitaria una mica de guia per començar a implementar aquests processos.
  Gràcies per avançat!
  Gràcies!

Jordi Mas:

Un primer problema que hi ha es que això és un bolcat de tot el que tenen a la platform de traducció mentre que nosaltres organizem les coses per projectes. Hi ha enllaços tipus "https://translatewiki.net/wiki/Special:ExportTranslations a diversos projectes

Una cosa que es podria fer també és cachejar el fitxer perquè només es baixi un cop durant l'execució, i que llavors cada projecte el referenciï amb el path que vol extraure. Això ens permet tenir integrar-ho a les memòries, només baixar-lo un cop i encara tenir els fitxers corresponents per projecte.
Efectivament, el problema és que el bolcat té tots els projectes de la plataforma de traducció, i tots els idiomes de cada projecte. Per aquest motiu és un fitxer enorme.
Però cal dir que cadascun dels projectes està en un subdirectori de l'arxiu, i per tant, és perfectament individualitzable. És a dir, es poden aconseguir fitxers individuals del tipus "Translatewiki-adiutor-ca", "Translatewiki-ajapaik-flutter-app-ca", "Translatewiki-ajapaik-web-ca",... "Translatewiki-xtools-ca".
Com que l'arxiu del bolcat només es genera cada 6 mesos, penso que no té sentit baixar-lo en cada execució de les MT (un cop cada setmana com a mínim). I d'aquí la meva proposta de fer una única baixada i tractament del bolcat cada 6 mesos.
Potser seria millor parlar-ho en alguna reunió mensual.