diff --git a/data/expressions/0 b/data/expressions/0
index b6a079b..83091fb 100644
--- a/data/expressions/0
+++ b/data/expressions/0
@@ -1560,7 +1560,6 @@
 à part que|à part|CONJS+7
 à part||A+EPC+z1
 à part||ADV+PCPN+z1
-à part||ADV+PCPN+z1
 à part||PREP+Prépconjs+7
 à participation ouvrière||A+EPCA+z1
 à partie égale avec||PREP+EPCPN+z1
diff --git a/data/expressions/a b/data/expressions/a
index b1e1807..dd5a513 100644
--- a/data/expressions/a
+++ b/data/expressions/a
@@ -5684,7 +5684,6 @@ arrêt de quitus||N+NDN+Conc:ms
 arrêt de renvoi||N+NDN+Conc:ms
 arrêt de serrure||N+NDN+Conc:ms
 arrêt de travail||N+NDN:ms
-arrêt de travail||N+NDN:ms
 arrêt de travail||N+NDN+Conc:ms
 arrêt de volée||N+NDN:ms
 arrêt des essais nucléaires||N+NPNA:ms
@@ -7783,7 +7782,6 @@ autre chose en tête||GN+A1P2+z1
 autre côté de la Manche||N+ANPN+Conc:ms
 autre côté de la Méditerranée||N+ANPN+Conc:ms
 autre monde||N+AN:ms
-autre monde||N+AN:ms
 autre monde||N+AN+HumColl:ms
 autre paire de manches||N+ANPN:fs
 autre part||ADV+PAC+z1
diff --git a/data/expressions/b b/data/expressions/b
index ef52420..702ba2a 100644
--- a/data/expressions/b
+++ b/data/expressions/b
@@ -999,14 +999,12 @@ bas de cycle||N+NDN:ms:mp
 bas de fleur||N+NDN+Conc:ms:mp
 bas de gamme||A+EAPC+z1:ms:mp
 bas de gamme||N+NDN:ms
-bas de gamme||N+NDN:ms
 bas de guide||N+NDN+Conc:ms:mp
 bas de l'|bas de|NDET+Dnom7
 bas de l'échelle sociale||N+NPNA+HumColl:ms
 bas de l'échelle||N+NDN:ms
 bas de la|bas de|NDET+Dnom7
 bas de laine||N+NDN:ms:mp
-bas de laine||N+NDN:ms:mp
 bas de laine||N+NDN+Conc:ms:mp
 bas de Noël||N+NDN+Conc:ms:mp
 bas de plafond||A+EAPC+z1:ms:mp
@@ -2177,10 +2175,8 @@ bien trouvés|bien trouvé|A+EPA+z1:mp
 bien vacant||N+NA:ms
 bien venu||A+EPA+z1:ms
 bien venu||N+XN+Hum:ms
-bien venu||N+XN+Hum:ms
 bien venue|bien venu|A+EPA+z1:fs
 bien venue|bien venu|N+XN+Hum:fs
-bien venue|bien venu|N+XN+Hum:fs
 bien venues|bien venu|A+EPA+z1:fp
 bien venues|bien venu|N+XN+Hum+z1:fp
 bien venus|bien venu|A+EPA+z1:mp
@@ -2271,7 +2267,6 @@ bijouterie en plaqué||N+NPN+Conc+z1:fs
 bijoux bourrés|bijou bourré|N+NA+Conc:mp
 bijoux de famille||N+NDN+Conc:mp
 bijoux de famille|bijou de famille|N+NDN+Conc:mp
-bijoux de famille|bijou de famille|N+NDN+Conc:mp
 bijoux en diamant|bijou en diamant|N+NPN+Conc:mp
 bijoux en or|bijou en or|N+NPN+Conc:mp
 bijoux en or|bijou en or|N+NPN+Conc+z1:mp
@@ -2645,7 +2640,6 @@ bloc de marbre||N+NDN+Conc:ms
 bloc de marbre||N+NDN+Hum:ms
 bloc de pierre||N+NDN+Conc:ms
 bloc de pierre||N+NDN+Hum:ms
-bloc de pierre||N+NDN+Hum:ms
 bloc de poudre||N+NDN+Conc:ms
 bloc de sel gemme||N+NPNA:ms
 bloc de||NDET+Dnom10
@@ -3068,7 +3062,6 @@ bombe à mèche||N+NAN+Conc:fs
 bombe à neutrons||N+NAN+Conc:fs
 bombe à retardement||N+NAN+Abst:fs
 bombe à retardement||N+NAN+Conc:fs
-bombe à retardement||N+NAN+Conc:fs
 bombe à souffle||N+NAN+Conc:fs
 bombe A||N+NN+Conc+z2:fs
 bombe aérosol||N+NN+Conc:fs
@@ -3186,7 +3179,6 @@ bon génie||N+AN+Hum:ms
 bon genre||GN+A1+z1
 bon goût||N+AN+Abst:ms
 bon goût||N+AN+Conc:ms
-bon goût||N+AN+Conc:ms
 bon grain||N+AN:ms
 bon gré mal gré||ADV+PCONJ+z1
 bon gros||N+AN+Hum:ms
@@ -3207,7 +3199,6 @@ bon plaisir||N+AN:ms
 bon poids||ADV+PAC+z1
 bon point||N+AN+Abst:ms
 bon point||N+AN+Conc:ms
-bon point||N+AN+Conc:ms
 bon pour l'asile||A+EAPC+z1:ms
 bon pour la casse||A+EAPC+z1:ms
 bon pour la réforme||A+EAPC+z1:ms
@@ -3291,7 +3282,6 @@ bonne chose||N+AN:fs
 bonne citoyenne|bon citoyen|N+AN+Hum:fs
 bonne conscience||GN+A1+z1
 bonne conscience||N+AN:fs
-bonne conscience||N+AN:fs
 bonne copine|bon copain|N+AN+Hum:fs
 bonne correction||N+AN:fs
 bonne d'enfants|bonne d'enfant|N+NDN+Hum:fs
@@ -3343,7 +3333,6 @@ bonne question||N+AN:fs
 bonne renommée||N+AN:fs
 bonne réputation||GN+A1+z1
 bonne réputation||N+AN:fs
-bonne réputation||N+AN:fs
 bonne santé commerciale||N+ANA:fs
 bonne santé économique||N+ANA:fs
 bonne santé financière||N+ANA:fs
@@ -3363,7 +3352,6 @@ bonne visibilité||N+AN:fs
 bonne vivant|bon vivant|N+AN+Hum:fs
 bonne volonté||N+AN+Abst:fs
 bonne volonté||N+AN+Hum:fs
-bonne volonté||N+AN+Hum:fs
 bonne vue d'ensemble||N+ANPN:fs
 bonne vue||N+NA+E01+z1:fs
 bonnes à grand chose|bon à grand chose|A+EAPC+z1:fp
@@ -3403,10 +3391,8 @@ bonnes notes|bonne note|N+AN:fp
 bonnes nouvelles|bonne nouvelle|N+AN:fp
 bonnes oeuvres||N+AN:fp
 bonnes oeuvres|bonne oeuvre|N+AN+HumColl:fp
-bonnes oeuvres|bonne oeuvre|N+AN+HumColl:fp
 bonnes paroles||N+AN:fp
 bonnes paroles|bonne parole|N+AN:fp
-bonnes paroles|bonne parole|N+AN:fp
 bonnes parties|bonne partie|N+AN:fp
 bonnes pâtes|bonne pâte|N+AN+Hum:fp
 bonnes pour l'hosto|bon pour l'hosto|A+EAPC+z1:fp
@@ -3498,7 +3484,6 @@ bons pères de famille|bon père de famille|N+ANPN+Hum:mp
 bons petits enfants|bon petit enfant|N+AAN+Hum:mp
 bons points|bon point|N+AN+Abst:mp
 bons points|bon point|N+AN+Conc:mp
-bons points|bon point|N+AN+Conc:mp
 bons pour la casse|bon pour la casse|A+EAPC+z1:mp
 bons pour la réforme|bon pour la réforme|A+EAPC+z1:mp
 bons pour le rebut|bon pour le rebut|A+EAPC+z1:mp
@@ -3678,7 +3663,6 @@ bouche sensuelle||N+NA+E01+z1:fs
 bouche volcanique||N+NA+Conc:fs
 bouchée à la financière||N+NAN+Conc:fs
 bouchée de pain||N+NDN:fs
-bouchée de pain||N+NDN:fs
 bouchée de pain||N+NDN+Conc:fs
 bouchée de||NDET+Dnom7
 bouchées à la financière|bouchée à la financière|N+NAN+Conc:fp
@@ -3779,7 +3763,6 @@ bouée d'ancre||N+NDN+Conc:fs
 bouée de brume||N+NDN+Conc:fs
 bouée de sauvetage||N+NDN+Abst:fs
 bouée de sauvetage||N+NDN+Conc:fs
-bouée de sauvetage||N+NDN+Conc:fs
 bouée meule||N+NN+Conc:fs
 bouées d'amarrage|bouée d'amarrage|N+NDN+Conc:fp
 bouées d'ancre|bouée d'ancre|N+NDN+Conc:fp
diff --git a/data/expressions/c b/data/expressions/c
index 3ec6852..635addc 100644
--- a/data/expressions/c
+++ b/data/expressions/c
@@ -7396,7 +7396,6 @@ coup de téléphone anonyme||N+NPNA:ms
 coup de téléphone urgent||N+NPNA:ms
 coup de téléphone||N+NDN:ms
 coup de tête||N+NDN:ms
-coup de tête||N+NDN:ms
 coup de tête||N+NDN+Conc:ms
 coup de théâtre||N+NDN:ms
 coup de tonnerre dans un ciel serein||N+NX4:ms
diff --git a/data/expressions/d b/data/expressions/d
index 346260a..f9b089e 100644
--- a/data/expressions/d
+++ b/data/expressions/d
@@ -2825,7 +2825,6 @@ dents de lait|dent de lait|N+NDN+Conc:fp
 dents de sanglier|dent de sanglier|N+NDN+Conc:fp
 dents de scie|dent de scie|N+NDN+Abst:fp
 dents de scie|dent de scie|N+NDN+Conc:fp
-dents de scie|dent de scie|N+NDN+Conc:fp
 dents du bas||N+NDN+Conc:fp
 dents faciales|dent faciale|N+NA+Conc:fp
 dents longues||N+NA+E01+z1:fp
@@ -3803,7 +3802,6 @@ Deuxième Bureau||N+AN:ms
 deuxième bureau||N+AN+HumColl:ms
 deuxième chaîne||N+AN:fs
 deuxième classe||N+AN:fs
-deuxième classe||N+AN:fs
 deuxième classe||N+AN+Hum:ms
 deuxième couche de peinture||N+ANPN+Conc:fs
 deuxième cycle||N+AN:ms
diff --git a/data/expressions/e b/data/expressions/e
index a79ddb2..e68acbe 100644
--- a/data/expressions/e
+++ b/data/expressions/e
@@ -4444,7 +4444,6 @@ espace commercial||N+NA+z1:ms
 espace courbe||N+NA:ms
 espace culturel||N+NA+z2:ms
 espace de liberté||N+NDN:ms
-espace de liberté||N+NDN:ms
 espace de liberté||N+NDN+Conc:ms
 espace de rangement||N+NDN+Conc:ms
 espace de survie||N+NDN+Conc:ms
diff --git a/data/expressions/f b/data/expressions/f
index 2af2610..f1a3aeb 100644
--- a/data/expressions/f
+++ b/data/expressions/f
@@ -142,7 +142,6 @@ facteur de baisse||N+NDN:ms
 facteur de coagulation||N+NDN:ms
 facteur de croissance||N+NDN+Abst:ms
 facteur de croissance||N+NDN+Conc:ms
-facteur de croissance||N+NDN+Conc:ms
 facteur de pianos|facteur de piano|N+NDN+Hum:ms
 facteur de pluie||N+NDN:ms
 facteur de progrès||N+NDN:ms
@@ -1144,7 +1143,6 @@ fer de blanchisseuse||N+NDN+Conc:ms
 fer de forme||N+NDN+Conc:ms
 fer de lance||N+NDN+Abst:ms
 fer de lance||N+NDN+Conc:ms
-fer de lance||N+NDN+Conc:ms
 fer de pioche||N+NDN+Conc:ms
 fer doux||N+NA+Conc:ms
 fer électrolytique||N+NA+Conc:ms
@@ -2990,7 +2988,6 @@ fonds de boutique|fond de boutique|N+NDN+Conc:mp
 fonds de cale|fond de cale|N+NDN:mp
 fonds de commerce||N+NDN+Conc:ms:mp
 fonds de commerce|fond de commerce|N+NDN+Conc:mp
-fonds de commerce|fond de commerce|N+NDN+Conc:mp
 fonds de court terme||N+NPAN:ms:mp
 fonds de culotte|fond de culotte|N+NDN+Conc:mp
 fonds de développement||N+NDN:ms:mp
@@ -3118,7 +3115,6 @@ force de défense||N+NDN+HumColl:fs
 force de dissuasion||N+NDN:fs
 force de dissuasion||N+NDN+HumColl:fs
 force de frappe||N+NDN:fs
-force de frappe||N+NDN:fs
 force de frappe||N+NDN+HumColl:fs
 force de gravitation||N+NDN:fs
 force de l'âge||N+NDN:fs
@@ -3182,7 +3178,6 @@ forces d'appui aérien||N+NPNA:fp
 forces d'appui terrestre||N+NPNA:fp
 forces de défense||N+NDN+HumColl:fp
 forces de défense|force de défense|N+NDN+HumColl:fp
-forces de défense|force de défense|N+NDN+HumColl:fp
 forces de l'ordre||N+NDN+HumColl:fp
 forces de la réaction||N+NDN+HumColl:fp
 forces de liaison||N+NDN+HumColl:fp
@@ -4409,7 +4404,6 @@ frontières administratives|frontière administrative|N+NA+z2:fp
 frontières artificielles|frontière artificielle|N+NA+z2:fp
 frontières de la connaissance||N+NDN:fp
 frontières de la connaissance|frontière de la connaissance|N+NDN:fp
-frontières de la connaissance|frontière de la connaissance|N+NDN:fp
 frontières ethniques|frontière ethnique|N+NA:fp
 frontières fiscales|frontière fiscale|N+NA:fp
 frontières intracommunautaires|frontière intracommunautaire|N+NA:fp
diff --git a/data/expressions/g b/data/expressions/g
index d3065ae..88df702 100644
--- a/data/expressions/g
+++ b/data/expressions/g
@@ -1543,7 +1543,6 @@ grain de riz||N+NDN+Conc:ms
 grain de sable||N+NDN+Conc:ms
 grain de sel||N+NDN+Abst:ms
 grain de sel||N+NDN+Conc:ms
-grain de sel||N+NDN+Conc:ms
 grain de semence||N+NDN+Conc:ms
 grain de tabac||N+NDN+Conc:ms
 grain de||NDET+Dnom5
@@ -1621,8 +1620,6 @@ grand âge||N+AN:ms
 grand aigle||N+AN+Conc:ms
 grand air||GN+A1+z1
 grand air||N+AN:ms
-grand air||N+AN:ms
-grand air||N+AN+Abst:ms
 grand air||N+AN+Abst:ms
 grand amiral||N+AN+Hum:ms
 grand amour||N+AN+Hum:ms
@@ -1875,7 +1872,6 @@ grande école d'ingénieurs||N+ANPN:fs
 grande école de commerce||N+ANPN:fs
 grande école||N+AN+Conc:fs
 grande école||N+AN+HumColl:fs
-grande école||N+AN+HumColl:fs
 Grande Encyclopédie||N+AN:fs
 grande entreprise||N+AN+HumColl:fs
 grande famille||N+AN+HumColl:fs
@@ -1962,17 +1958,14 @@ grandes eaux||N+AN:fp
 grandes écoles de commerce|grande école de commerce|N+ANPN:fp
 grandes écoles||N+AN:fp
 grandes écoles|grande école|N+AN+Conc:fp
-grandes écoles|grande école|N+AN+Conc:fp
 grandes entreprises|grande entreprise|N+AN+HumColl:fp
 grandes familles||N+AN+HumColl:fp
 grandes familles|grande famille|N+AN+HumColl:fp
-grandes familles|grande famille|N+AN+HumColl:fp
 grandes feudataires|grand feudataire|N+AN+Hum:fp
 grandes figures|grande figure|N+AN+Hum:fp
 grandes filles|grande fille|N+AN+Hum:fp
 grandes fortunes||N+AN+HumColl:fp
 grandes fortunes|grande fortune|N+AN+Hum+Abst:fp
-grandes fortunes|grande fortune|N+AN+Hum+Abst:fp
 grandes fresques|grande fresque|N+AN:fp
 grandes gagnantes|grand gagnant|N+AN+Hum:fp
 grandes gigues|grande gigue|N+AN:fp
@@ -1983,14 +1976,12 @@ grandes invalides de guerre|grand invalide de guerre|N+ANPN+Hum:fp
 grandes libertés d'expression|grande liberté d'expression|N+ANPN:fp
 grandes lignes||N+AN:fp
 grandes lignes|grande ligne|N+AN+Conc:fp
-grandes lignes|grande ligne|N+AN+Conc:fp
 grandes littératures|grande littérature|N+AN:fp
 grandes mangeuses|grand mangeur|N+AN+Hum:fp
 grandes manifestations|grande manifestation|N+AN:fp
 grandes manoeuvres||N+AN:fp
 grandes marées||N+AN:fp
 grandes marées|grande marée|N+AN:fp
-grandes marées|grande marée|N+AN:fp
 grandes marques|grande marque|N+AN:fp
 grandes migrations du mois d'août||N+NX4:fp
 grandes occasions||N+AN:fp
@@ -2022,7 +2013,6 @@ grandes valeurs|grande valeur|N+AN:fp
 grandes véneries|grande vénerie|N+AN:fp
 grandes villes||N+AN+HumColl:fp
 grandes villes|grande ville|N+AN+Conc:fp
-grandes villes|grande ville|N+AN+Conc:fp
 grandes virtuosités|grande virtuosité|N+AN:fp
 grandes vitesses|grande vitesse|N+AN:fp
 grandeur apparente||N+NA+z2:fs
@@ -2544,7 +2534,6 @@ gros sel||N+AN:ms
 gros sou||N+AN:ms
 gros sous||N+AN:mp
 gros sous|gros sou|N+AN:mp
-gros sous|gros sou|N+AN:mp
 gros sur la conscience||GN+A1P2+z1
 gros sur la patate||GN+A1P2+z1
 gros sur le coeur||GN+A1P2+z1
@@ -2556,12 +2545,10 @@ gros tirages|gros tirage|N+AN:mp
 gros titre||N+AN:ms
 gros titres||N+AN:mp
 gros titres|gros titre|N+AN:mp
-gros titres|gros titre|N+AN:mp
 gros travail||N+AN:ms
 gros travailleur||N+AN+Hum:ms
 gros travaux||N+AN:mp
 gros travaux|gros travail|N+AN:mp
-gros travaux|gros travail|N+AN:mp
 groseille rouge||N+NA+Conc:fs
 groseilles à maquereau||N+NAN:fp
 groseilles au naturel||N+NAN+Conc:fp
diff --git a/data/expressions/h b/data/expressions/h
index 8439f69..0f45290 100644
--- a/data/expressions/h
+++ b/data/expressions/h
@@ -303,7 +303,6 @@ haut de casse||N+NDN+Conc:ms
 haut de cuisse||N+NDN+Conc:ms
 haut de gamme||A+EAPC+z1:ms:fs:mp:fp
 haut de gamme||N+NDN:ms
-haut de gamme||N+NDN:ms
 haut de l'échelle sociale||N+NPNA+HumColl:ms
 haut de plage||N+NDN+Conc:ms
 haut débit||N+AN:ms
@@ -934,7 +933,6 @@ histoire de cuisses||N+NDN:fs
 histoire de fantômes||N+NDN:fs
 histoire de Gascon||N+NDN:fs
 histoire de l'art||N+NDN:fs
-histoire de l'art||N+NDN:fs
 histoire de l'art||N+NDN+Conc:fs
 histoire de rire||ADV+PCDC+z1
 histoire de voir||ADV+PCDC+z1
diff --git a/data/expressions/j b/data/expressions/j
index c7b9119..414e8a4 100644
--- a/data/expressions/j
+++ b/data/expressions/j
@@ -267,7 +267,6 @@ jeu de bonneteau||N+NDN:ms
 jeu de boules||N+NDN:ms
 jeu de calcul||N+NDN:ms
 jeu de cartes||N+NDN:ms
-jeu de cartes||N+NDN:ms
 jeu de cartes||N+NDN+Conc:ms
 jeu de clefs||N+NDN+Conc:ms
 jeu de construction||N+NDN+Conc:ms
diff --git a/data/expressions/l b/data/expressions/l
index b7edcff..85fbb08 100644
--- a/data/expressions/l
+++ b/data/expressions/l
@@ -1137,7 +1137,6 @@ le jour du|le jour|PREP+Prépconjs+5
 le jour et la nuit avec||ADV+E1PN+z1
 le jour et la nuit||ADV+PCONJ+z1
 le jour et la nuit||GN+NCN:mp
-le jour et la nuit||GN+NCN:mp
 le jour même de||PREP+PCDN+z1
 le jour même de||PREP+PCDN1+z1
 le jour même du||PREP+PCDN+z1
@@ -1658,7 +1657,6 @@ les puissants et les riches||GN+NCN+HumColl:mp
 les questions et les réponses||GN+NCN:fp
 les recettes et les dépenses||GN+NCN:fp
 les riches et les pauvres||GN+NCN:mp
-les riches et les pauvres||GN+NCN:mp
 les riches et les pauvres||GN+NCN+HumColl:mp
 les riches et les puissants||GN+NCN+HumColl:mp
 les Sciences et les Lettres||GN+NCN:fp
diff --git a/data/expressions/m b/data/expressions/m
index 30bd7bd..d7d4d82 100644
--- a/data/expressions/m
+++ b/data/expressions/m
@@ -2360,7 +2360,6 @@ mauvais départ||N+AN:ms
 mauvais drôle||N+AN+Hum:ms
 mauvais esprit||GN+A1+z1
 mauvais esprit||N+AN+Hum:ms
-mauvais esprit||N+AN+Hum:ms
 mauvais esprits|mauvais esprit|N+AN+Hum:mp
 mauvais état général||N+ANA:ms
 mauvais garçon||N+AN+Hum:ms
@@ -2408,7 +2407,6 @@ mauvaise blague||N+AN:fs
 mauvaise circulation||N+AN:fs
 mauvaise conscience||GN+A1+z1
 mauvaise conscience||N+AN:fs
-mauvaise conscience||N+AN:fs
 mauvaise diablesse|mauvais diable|N+AN+Hum:fs
 mauvaise étoile||N+AN:fs
 mauvaise fée||N+AN+Hum:fs
@@ -2437,7 +2435,6 @@ mauvaise rencontre||N+AN+Hum:fs
 mauvaise renommée||N+AN:fs
 mauvaise réputation||GN+A1+z1
 mauvaise réputation||N+AN:fs
-mauvaise réputation||N+AN:fs
 mauvaise saison||N+AN:fs
 mauvaise santé financière||N+ANA:fs
 mauvaise surprise||N+AN:fs
@@ -2477,7 +2474,6 @@ maux de gorge|mal de gorge|N+NDN:mp
 maux de reins||N+NDN:mp
 maux de tête||N+NDN:mp
 maux de tête|mal de tête|N+NDN:mp
-maux de tête|mal de tête|N+NDN:mp
 maux espagnols|mal espagnol|N+NA:mp
 maux moraux|mal moral|N+NA+z2:mp
 maux physiques|mal physique|N+NA+z2:mp
@@ -2796,7 +2792,6 @@ meilleur marché qu'|meilleur marché que|CONJS+E1PN+z1
 meilleur marché que||CONJS+E1PN+z1
 meilleur second rôle||N+AAN+Abst:ms
 meilleur second rôle||N+AAN+Hum:ms
-meilleur second rôle||N+AAN+Hum:ms
 meilleur spécialiste||N+AN+Hum:ms
 meilleure des choses||N+NDN:fs
 meilleure offre||N+AN:fs
@@ -2806,7 +2801,6 @@ meilleures spécialistes|meilleur spécialiste|N+AN+Hum:fp
 meilleurs prix||N+AN:mp
 meilleurs seconds rôles|meilleur second rôle|N+AAN+Abst:mp
 meilleurs seconds rôles|meilleur second rôle|N+AAN+Hum:mp
-meilleurs seconds rôles|meilleur second rôle|N+AAN+Hum:mp
 meilleurs spécialistes|meilleur spécialiste|N+AN+Hum:mp
 mélange appauvri||N+NA:ms
 mélange carburant||N+NA+Conc+z2:ms
@@ -3012,7 +3006,6 @@ menacés de disparition|menacé de disparition|A+EAPC+z1:mp
 menaces de fermeture|menace de fermeture|N+NDN:fp
 menaces de mort||N+NDN:fp
 menaces de mort|menace de mort|N+NDN:fp
-menaces de mort|menace de mort|N+NDN:fp
 menaces de sanctions|menace de sanctions|N+NDN:fp
 menaces déguisées|menace déguisée|N+NA+E01+z1:fp
 menaces judiciaires|menace judiciaire|N+NA+z2:fp
@@ -3932,7 +3925,6 @@ militantes politiques|militant politique|N+NA+Hum+z1:fp
 militantes syndicales|militant syndical|N+NA+Hum+z1:fp
 militants anti-avortement|militant anti-avortement|N+NPAN+Hum:mp
 militants anti-avortement|militant anti-avortement|N+NXN+Hum:mp
-militants anti-avortement|militant anti-avortement|N+NXN+Hum:mp
 militants bolcheviques|militant bolchevique|N+NA+Hum:mp
 militants communistes|militant communiste|N+NA+Hum+z1:mp
 militants de base|militant de base|N+NDN+Hum:mp
@@ -6002,7 +5994,6 @@ mouvements dada|mouvement dada|N+NA+HumColl+z2:mp
 mouvements de baisse|mouvement de baisse|N+NDN:mp
 mouvements de capitaux||N+NDN:mp
 mouvements de capitaux|mouvement de capitaux|N+NDN:mp
-mouvements de capitaux|mouvement de capitaux|N+NDN:mp
 mouvements de colère|mouvement de colère|N+NDN:mp
 mouvements de consommateurs|mouvement de consommateurs|N+NDN+HumColl:mp
 mouvements de contestation|mouvement de contestation|N+NDN:mp
diff --git a/data/expressions/n b/data/expressions/n
index 8cce755..18907f8 100644
--- a/data/expressions/n
+++ b/data/expressions/n
@@ -1153,14 +1153,12 @@ nouveaux arrivants|nouvel arrivant|N+AN+Hum:mp
 nouveaux arrivés|nouvel arrivé|N+AN+Hum:mp
 nouveaux élus||N+AN+HumColl:mp
 nouveaux élus|nouvel élu|N+AN+Hum:mp
-nouveaux élus|nouvel élu|N+AN+Hum:mp
 nouveaux mariés||N+AN+HumColl:mp
 nouveaux modèles de développement|nouveau modèle de développement|N+ANPN:mp
 nouveaux moyens technologiques||N+ANA:mp
 nouveaux occupants|nouvel occupant|N+AN+Hum:mp
 nouveaux pauvres||N+AN+HumColl:mp
 nouveaux pauvres|nouveau pauvre|N+AN+Hum:mp
-nouveaux pauvres|nouveau pauvre|N+AN+Hum:mp
 nouveaux riches|nouveau riche|N+AN+Hum:mp
 nouveaux venus|nouveau venu|N+AN+Hum:mp
 Nouvel an chinois||N+ANA:ms
@@ -1183,7 +1181,6 @@ nouvelle financière||N+NA+Conc+z2:fs
 nouvelle génération||N+AN+HumColl:fs
 nouvelle jeunesse||N+AN+Abst:fs
 nouvelle jeunesse||N+AN+HumColl:fs
-nouvelle jeunesse||N+AN+HumColl:fs
 nouvelle lune||N+AN:fs
 nouvelle policière||N+NA+Conc+z2:fs
 nouvelle recrue||N+AN+Hum:fs
diff --git a/data/expressions/o b/data/expressions/o
index 29555cf..5eb8722 100644
--- a/data/expressions/o
+++ b/data/expressions/o
@@ -644,7 +644,6 @@ oiseau de mauvais augure||N+NPAN+Hum:ms
 oiseau de Minerve||N+NDN+Anl:ms
 oiseau de nuit||N+NDN+Anl:ms
 oiseau de nuit||N+NDN+Hum:ms
-oiseau de nuit||N+NDN+Hum:ms
 oiseau de paradis||N+NDN+Anl:ms
 oiseau de pelouse||N+NDN+Anl:ms
 oiseau de proie||N+NDN+Anl:ms
@@ -672,7 +671,6 @@ oiseaux d'eau migrateurs|oiseau d'eau migrateur|N+NPNA+Anl:mp
 oiseaux de chasse|oiseau de chasse|N+NDN+Anl:mp
 oiseaux de nuit|oiseau de nuit|N+NDN+Anl:mp
 oiseaux de nuit|oiseau de nuit|N+NDN+Hum:mp
-oiseaux de nuit|oiseau de nuit|N+NDN+Hum:mp
 oiseaux de poing|oiseau de poing|N+NDN+Anl:mp
 oiseaux des îles|oiseau des îles|N+NDN+Anl:mp
 oiseaux grimpeurs|oiseau grimpeur|N+NA+Anl:mp
diff --git a/data/expressions/p1 b/data/expressions/p1
index 6cc13c1..b4d3945 100644
--- a/data/expressions/p1
+++ b/data/expressions/p1
@@ -1053,7 +1053,6 @@ paradis des enfants||N+NDN+Conc:ms
 paradis fiscal||N+NA+z1:ms
 paradis fiscaux|paradis fiscal|N+NA+z1:mp
 paradis sur terre||N+NPN+Conc:ms
-paradis sur terre||N+NPN+Conc:ms
 paradis sur terre||N+NPN+Conc:ms:mp
 paradis sur terre||N+NPN+Conc+z1:ms:mp
 paradis terrestre||N+NA+z1:ms
@@ -1410,7 +1409,6 @@ part d'intérêt||N+NDN:fs
 part de butin||N+NDN+Conc:fs
 part de gâteau||N+NDN+Abst:fs
 part de gâteau||N+NDN+Conc:fs
-part de gâteau||N+NDN+Conc:fs
 part de l'|part de|NDET+Dnom12b
 part de la|part de|NDET+Dnom12b
 part de leur|part de|NDET+Dnom12b
@@ -1477,7 +1475,6 @@ parti conservateur||N+NA+HumColl+z1:ms
 parti d'opposition||N+NDN+HumColl:ms
 parti de Dieu||N+NDN+Abst:ms
 parti de Dieu||N+NDN+HumColl:ms
-parti de Dieu||N+NDN+HumColl:ms
 parti de droite||N+NDN+HumColl:ms
 parti de gauche||N+NDN+HumColl:ms
 parti de l'ordre||N+NDN+HumColl:ms
@@ -1970,7 +1967,6 @@ passage couvert||N+NA+Conc+z1:ms
 passage de l'|passage de|NDET+Dnom12b
 passage de la|passage de|NDET+Dnom12b
 passage de relais||N+NDN:ms
-passage de relais||N+NDN:ms
 passage de relais||N+NDN+Abst:ms
 passage de||NDET+Dnom12b
 passage difficile||N+NA+A12:ms
@@ -3151,7 +3147,6 @@ pension d'orphelin||N+NDN:fs
 pension de famille de||NDET+Dnom7
 pension de famille||N+NDN+Conc:fs
 pension de famille||N+NDN+HumColl:fs
-pension de famille||N+NDN+HumColl:fs
 pension de guerre||N+NDN:fs
 pension de retraite||N+NDN:fs
 pension de réversion||N+NDN:fs
@@ -3815,7 +3810,6 @@ petit ange||N+AN+Hum:ms
 petit axe d'une ellipse||N+ANPN:ms
 petit banc||N+AN+Conc:ms
 petit bassin||N+AN:ms
-petit bassin||N+AN:ms
 petit bassin||N+AN+Conc:ms
 petit bébé||N+AN+Hum:ms
 petit bétail||N+AN+AnlColl:ms
@@ -4070,7 +4064,6 @@ petites gens||N+AN+HumColl:fp
 petites gouttes|petite goutte|N+AN:fp
 petites heures||N+AN:fp
 petites heures|petite heure|N+AN:fp
-petites heures|petite heure|N+AN:fp
 petites horreurs|petite horreur|N+AN:fp
 petites idées|petite idée|N+AN:fp
 petites jeunes filles|petite jeune fille|N+AAN+Hum:fp
@@ -4144,7 +4137,6 @@ petits faits|petit fait|N+AN:mp
 petits filets d'eau|petit filet d'eau|N+ANPN+Conc:mp
 petits formats|petit format|N+AN:mp
 petits fours||N+AN+Conc:mp
-petits fours||N+AN+Conc:mp
 petits fours|petit-four|N+AN:mp
 petits frères|petit frère|N+AN+Hum:mp
 petits garçons|petit garçon|N+AN+Hum:mp
@@ -4979,7 +4971,6 @@ pierre de savon||N+NDN+Conc:fs
 pierre de taille||N+NDN+Conc:fs
 pierre de touche||N+NDN+Abst:fs
 pierre de touche||N+NDN+Conc:fs
-pierre de touche||N+NDN+Conc:fs
 pierre des Amazones||N+NDN+Conc:fs
 pierre divine||N+NA+Conc:fs
 pierre du poumon||N+NDN+Conc:fs
@@ -5644,7 +5635,6 @@ plan de stabilisation||N+NDN:ms
 plan de supports||N+NDN:ms
 plan de travail||N+NDN+Abst:ms
 plan de travail||N+NDN+Conc:ms
-plan de travail||N+NDN+Conc:ms
 plan de vibration||N+NDN:ms
 plan de vol||N+NDN:ms
 plan de||NDET+Dnom8
@@ -7761,7 +7751,6 @@ porte de service||N+NDN+Conc:fs
 porte de slalom||N+NDN+Conc:fs
 porte de sortie||N+NDN+Abst:fs
 porte de sortie||N+NDN+Conc:fs
-porte de sortie||N+NDN+Conc:fs
 porte de visite||N+NDN+Conc:fs
 porte dérobée||N+NA+Conc+E01+z1:fs
 porté déserteur||A+EAPC+z1:ms
@@ -9152,7 +9141,6 @@ première cause de mortalité chez les femmes||N+NX4:fs
 première chaîne||N+AN:fs
 première chirurgicale||N+NA+z1:fs
 première classe||N+AN:fs
-première classe||N+AN:fs
 première classe||N+AN+Hum:ms
 première communiante|premier communiant|N+AN+Hum:fs
 première communion||N+AN:fs
diff --git a/data/expressions/p2 b/data/expressions/p2
index fd765e2..2d13f26 100644
--- a/data/expressions/p2
+++ b/data/expressions/p2
@@ -679,7 +679,6 @@ produit de queue||N+NDN+Conc:ms
 produit de régime||N+NDN+Conc:ms
 produit de remplacement||N+NDN+Conc:ms
 produit de substitution||N+NDN:ms
-produit de substitution||N+NDN:ms
 produit de substitution||N+NDN+Conc:ms
 produit de synthèse||N+NDN+Conc:ms
 produit de tête||N+NDN+Conc:ms
diff --git a/data/expressions/q b/data/expressions/q
index 99cc477..9d31d4e 100644
--- a/data/expressions/q
+++ b/data/expressions/q
@@ -466,7 +466,6 @@ queue de peloton||N+NDN+HumColl:fs
 queue de pie||N+NDN+Conc:fs
 queue de poisson||N+NDN+Abst:fs
 queue de poisson||N+NDN+Conc:fs
-queue de poisson||N+NDN+Conc:fs
 queue de poussée||N+NDN:fs
 queue de rat||N+NDN+Conc:fs
 queue de vache||N+NDN:fs
diff --git a/data/expressions/r b/data/expressions/r
index 5fdd7be..e9e2909 100644
--- a/data/expressions/r
+++ b/data/expressions/r
@@ -754,7 +754,6 @@ rayures jaunes|rayure jaune|N+NA:fp
 raz de marée électoraux|raz de marée électoral|N+NPNA:mp
 raz de marée politique||N+NPNA:ms
 raz de marée||N+NDN:ms:mp
-raz de marée||N+NDN:ms:mp
 raz de marée||N+NDN+Abst:ms:mp
 ré bémol||N+NA:ms:mp
 ré majeur||N+NA:ms
@@ -4229,7 +4228,6 @@ rideau brise-vent||N+NPAN+Conc:ms
 rideau d'ombre||N+NDN:ms
 rideau de brume||N+NDN+Conc:ms
 rideau de fer||N+NDN:ms
-rideau de fer||N+NDN:ms
 rideau de fer||N+NDN+Conc:ms
 rideau de fond||N+NDN+Conc:ms
 rideau de fumée||N+NDN+Conc:ms
diff --git a/data/expressions/s b/data/expressions/s
index 3b5c239..71abf69 100644
--- a/data/expressions/s
+++ b/data/expressions/s
@@ -684,7 +684,6 @@ sans discourir||ADV+PV+z1
 sans distinction de race ou de religion||A+EPCDC+z1
 sans domicile fixe||A+EPCA+z1
 sans domicile fixe||N+ANA+Hum:ms:fs:mp:fp
-sans domicile fixe||N+ANA+Hum:ms:fs:mp:fp
 sans dommage pour||PREP+EPCPN+z1
 sans douleur||A+EPC+z1
 sans doute||ADV+PC+z1
@@ -743,7 +742,6 @@ sans le moindre nuage||A+EPAC+z1
 sans le rond||A+EPDETC+z1
 sans le sou||A+EPDETC+z1
 sans le sou||N+NXN+Hum:fs
-sans le sou||N+NXN+Hum:fs
 sans le vouloir||ADV+PV+z1
 sans lendemain||A+EPC+z1
 sans mal||ADV+PC+z1
@@ -1470,7 +1468,6 @@ seconde à nul autre|second à nul autre|A+EAPC+z1:fs
 seconde augmentée||N+NA:fs
 seconde centrale||N+NA:fs
 seconde classe||N+AN:fs
-seconde classe||N+AN:fs
 seconde classe||N+AN+Hum:ms
 seconde couche de peinture||N+ANPN+Conc:fs
 seconde d'inattention||N+NDN:fs
diff --git a/data/expressions/t b/data/expressions/t
index aaa94a7..fecde5b 100644
--- a/data/expressions/t
+++ b/data/expressions/t
@@ -1023,7 +1023,6 @@ temps fort||N+NA+Conc+z1:ms
 temps forts||N+NA+Abst+z1:mp
 temps forts|temps fort|N+NA+Abst+z1:mp
 temps forts|temps fort|N+NA+Conc+z1:mp
-temps forts|temps fort|N+NA+Conc+z1:mp
 temps frisquets|temps frisquet|N+NA+E01+z1:mp
 temps futurs||N+NA+z1:mp
 temps géologiques||N+NA:mp
diff --git a/data/expressions/v b/data/expressions/v
index 68f03ff..a3edf43 100644
--- a/data/expressions/v
+++ b/data/expressions/v
@@ -240,7 +240,6 @@ valeur de référence||N+NDN:fs
 valeur de remplacement||N+NDN:fs
 valeur de symbole||GN+A1+z1
 valeur de symbole||N+NDN:fs
-valeur de symbole||N+NDN:fs
 valeur disponible||N+NA:fs
 valeur dominante||N+NA+z2:fs
 valeur douteuse||N+NA+z2:fs
@@ -1189,7 +1188,6 @@ verrues plantaires|verrue plantaire|N+NA+Conc+z2:fp
 verrues séniles|verrue sénile|N+NA+Conc:fp
 vers à soie||N+NAN:ms:mp
 vers à soie|ver à soie|N+NAN+Conc:mp
-vers à soie|ver à soie|N+NAN+Conc:mp
 vers acatalectiques|vers acatalectique|N+NA:mp
 vers acéphale||N+NA:ms
 vers adoniens|vers adonien|N+NA:mp
@@ -1626,7 +1624,6 @@ vie de quartier||N+NDN:fs
 vie de renoncement||N+NDN:fs
 vie de tous les jours||N+NDN:fs
 vie de tous les jours||N+NPNPN:fs
-vie de tous les jours||N+NPNPN:fs
 vie des autres||N+NDN:fs
 vie difficile||N+NA+E01+z1:fs
 vie domestique||N+NA+z1:fs
@@ -1719,7 +1716,6 @@ vie végétale||N+NA:fs
 vie végétative||N+NA+z1:fs
 vieil armagnac||N+AN:ms
 vieil homme||N+AN:ms
-vieil homme||N+AN:ms
 vieil homme||N+AN+Hum:ms
 vieil instituteur||N+AN+Hum:ms
 vieil original||N+AN+Hum:ms
diff --git a/data/mots/a2 b/data/mots/a2
index b82a90d..b19c989 100644
--- a/data/mots/a2
+++ b/data/mots/a2
@@ -9316,7 +9316,6 @@ avant-dernier||N+PN+Hum:ms
 avant-dernier||N+PN+Hum+z1:ms
 avant-dernière|avant-dernier|A+XA:fs
 avant-dernière|avant-dernier|N+PN+Hum:fs
-avant-dernière|avant-dernier|N+PN+Hum:fs
 avant-derniers|avant-dernier|N+PN+Hum+z1:mp
 avant-dîner||N+PN+z2:ms
 avant-fins|avant-fin|N+PN:fp
@@ -9333,7 +9332,6 @@ avant-gardismes|avant-gardisme|N+PN+z1:fp
 avant-gardiste||A+EPA+z1:ms:fs
 avant-gardiste||A+XA:ms:fs
 avant-gardiste||N+PN+Hum:ms:fs
-avant-gardiste||N+PN+Hum:ms:fs
 avant-gardistes|avant-gardiste|A+EPA+z1:mp:fp
 avant-gardistes|avant-gardiste|A+XA:mp:fp
 avant-gardistes|avant-gardiste|N+PN+Hum+z1:mp:fp
diff --git a/data/mots/b1 b/data/mots/b1
index 46fc6bc..9d5031e 100644
--- a/data/mots/b1
+++ b/data/mots/b1
@@ -1770,7 +1770,6 @@ bas-côtés|bas-côté|N+AN+Conc:mp
 Bas-Empire||N+AN+HumColl:ms
 bas-fonds||N+AN+HumColl:mp
 bas-fonds|bas-fond|N+AN+Conc:mp
-bas-fonds|bas-fond|N+AN+Conc:mp
 bas-foyers|bas-foyer|N+AN+Conc:mp
 bas-jointées|bas-jointé|A+EPA+z1:fp
 bas-mâts|bas-mât|N+AN+Conc:mp
@@ -1780,7 +1779,6 @@ bas-ports|bas-port|N+AN+Conc:mp
 bas-relief||N+AN+Conc:ms
 bas-reliefs|bas-relief|N+AN+Conc:mp
 Bas-Rhin||N+AN:ms
-Bas-Rhin||N+AN:ms
 bas-ventre||N+AN:ms
 bas-ventres|bas-ventre|N+AN:mp
 bas||A+z1:ms:mp
@@ -4086,7 +4084,6 @@ biélorusses|biélorusse|A+z2:mp:fp
 Biélorusses|Biélorusse|N+z2:mp:fp
 bien-aimé||A+XA:ms
 bien-aimé||N+XN+Hum:ms
-bien-aimé||N+XN+Hum:ms
 bien-aimée|bien-aimé|A+XA:fs
 bien-aimée|bien-aimé|N+XN+Hum:fs
 bien-aimée|bien-aimé|N+XN+Hum+z1:fs
@@ -4105,7 +4102,6 @@ bien-pensant||A+XA:ms
 bien-pensant||N+XN+Hum:ms
 bien-pensante|bien-pensant|A+XA:fs
 bien-pensante|bien-pensant|N+XN+Hum:fs
-bien-pensante|bien-pensant|N+XN+Hum:fs
 bien-pensantes|bien-pensant|A+XA:fp
 bien-pensantes|bien-pensant|N+XN+Hum:fp
 bien-pensants|bien-pensant|A+XA:mp
diff --git a/data/mots/e b/data/mots/e
index 2d01537..e2f5712 100644
--- a/data/mots/e
+++ b/data/mots/e
@@ -5311,7 +5311,6 @@ eurasiennes|eurasien|N+z1:fp
 eurasiens|eurasien|A+z1:mp
 eurasiens|eurasien|N+z1:mp
 Eure-et-Loir||N+NCN+Conc:fs
-Eure-et-Loir||N+NCN+Conc:fs
 euréka||ADV+z1
 eurêka||INTJ+z1
 eurhodol||N:ms
diff --git a/data/mots/f b/data/mots/f
index 1e04cfc..edf5e76 100644
--- a/data/mots/f
+++ b/data/mots/f
@@ -5971,7 +5971,6 @@ framycétines|framycétine|N:fp
 franc-bord||N+AN:ms
 franc-bourgeoises|franc-bourgeois|N+AN+Hum:fp
 franc-comtois||N+AN:ms
-franc-comtois||N+AN:ms
 Franc-Comtoise|Franc-Comtois|N+AN+Hum:fs
 franc-fief||N+AN+Conc:ms
 franc-jeu||N+AN:ms
@@ -5998,7 +5997,6 @@ francfortois||A+z1:ms:mp
 francfortoise|francfortois|A+z1:fs
 francfortoises|francfortois|A+z1:fp
 Franche-Comté||N+AN+Conc:fs
-Franche-Comté||N+AN+Conc:fs
 franche|franc|A+z1:fs
 franchement||ADV+PADV+z1
 franchement||ADV+VADV+z1
diff --git a/data/mots/g b/data/mots/g
index 37b3c8a..62363b9 100644
--- a/data/mots/g
+++ b/data/mots/g
@@ -1078,7 +1078,6 @@ garde-côte||N+NN+Hum+z1:ms
 garde-côte||N+VN+Conc:ms:mp
 garde-côtes|garde-côte|N+NN+Hum+z1:ms
 garde-côtes|garde-côte|N+VN+Conc:ms:mp
-garde-côtes|garde-côte|N+VN+Conc:ms:mp
 garde-côtière||N+NA+HumColl+z2:fs
 garde-crotte||N+VN+Conc:ms:mp
 garde-cuisses|garde-cuisse|N+VN+Conc:mp
@@ -5452,7 +5451,6 @@ grand-angle||N+AN+Conc:ms
 grand-barrage||N+AN+Conc:ms
 grand-chantre||N+AN+Hum:ms
 grand-croix||N+AN:fs
-grand-croix||N+AN:fs
 grand-croix||N+AN+Hum:ms:fs:mp:fp
 grand-duc||N+AN+Hum:ms
 grand-ducal||A+EPA+z1:ms
diff --git a/data/mots/h b/data/mots/h
index eed45f6..6ccd03d 100644
--- a/data/mots/h
+++ b/data/mots/h
@@ -1233,7 +1233,6 @@ haut-fourniste||N+AN+Hum:ms
 haut-parleur||N+AN+Conc:ms
 haut-parleurs|haut-parleur|N+AN+Conc:mp
 Haut-Rhin||N+AN:ms
-Haut-Rhin||N+AN:ms
 haut||A+z1:ms
 haut||ADV+PADV+z1
 haut||ADV+z1
@@ -1254,22 +1253,16 @@ hautboïste||N:ms:fs
 hautboïstes|hautboïste|N:mp:fp
 Haute-Autorité||N+AN+HumColl:fs
 haute-contre||N+AN:fs
-haute-contre||N+AN:fs
 haute-contre||N+AN+Hum:ms
 haute-fidélité||N+AN:fs
 Haute-Garonne||N+AN+Conc:fs
-Haute-Garonne||N+AN+Conc:fs
 haute-lisse||N+AN:fs
 haute-lissière|haute-lissier|N+AN+Hum:fs
 Haute-Loire||N+AN+Conc:fs
-Haute-Loire||N+AN+Conc:fs
-Haute-Marne||N+AN+Conc:fs
 Haute-Marne||N+AN+Conc:fs
 Haute-Savoie||N+AN+Conc:fs
-Haute-Savoie||N+AN+Conc:fs
 haute-taille||N+AN:fs
 Haute-Vienne||N+AN+Conc:fs
-Haute-Vienne||N+AN+Conc:fs
 Haute-Volta||N+AN+Conc:fs
 haute||N:fs
 haute|haut|A+z1:fs
@@ -1282,10 +1275,8 @@ hauteriviennes|hauterivien|A:fp
 hauteriviens|hauterivien|A:mp
 hauteriviens|hauterivien|N:mp
 Hautes-Alpes||N+AN+Conc:fp
-Hautes-Alpes||N+AN+Conc:fp
 hautes-pièces|haute-pièce|N+AN:fp
 Hautes-Pyrénées||N+AN+Conc:fp
-Hautes-Pyrénées||N+AN+Conc:fp
 hautes-températures||N+AN:fp
 hautes|haut|A+z1:fp
 hautes|haute|N:fp
diff --git a/data/mots/i b/data/mots/i
index edb47e6..e7249cf 100644
--- a/data/mots/i
+++ b/data/mots/i
@@ -643,7 +643,6 @@ il||PRO+z1:3ms
 ilangs-ilangs|ilang-ilang|N+NN+Conc:mp
 ilangs|ilang|X:mp
 Ile-de-France||N+NDN+Conc:fs
-Ile-de-France||N+NDN+Conc:fs
 iléadelphe||N:ms
 iléadelphes|iléadelphe|N:mp
 iléal||A:ms
@@ -720,7 +719,6 @@ illatifs|illatif|N:mp
 illation||N:fs
 illations|illation|N:fp
 Ille-et-Vilaine||N+NCN+Conc:fs
-Ille-et-Vilaine||N+NCN+Conc:fs
 illégal||A+z1:ms
 illégale|illégal|A+z1:fs
 illégalement||ADV+z1
diff --git a/data/mots/j b/data/mots/j
index 205007d..268eb97 100644
--- a/data/mots/j
+++ b/data/mots/j
@@ -1200,7 +1200,6 @@ judéo-allemand||N+XN+z1:ms
 judéo-allemande|judéo-allemand|A+XA:fs
 judéo-arabe||A+XA:ms:fs
 judéo-arabe||N+XN+Hum:ms:fs
-judéo-arabe||N+XN+Hum:ms:fs
 judéo-arabes|judéo-arabe|N+XN+Hum:mp:fp
 judéo-chrétien||A+EPA+z1:ms
 judéo-chrétien||A+XA:ms
diff --git a/data/mots/l b/data/mots/l
index 561da3b..ba8294f 100644
--- a/data/mots/l
+++ b/data/mots/l
@@ -5325,7 +5325,6 @@ lointaines|lointain|A+z1:fp
 lointains|lointain|A+z1:mp
 lointains|lointain|N+z1:mp
 Loir-et-Cher||N+NCN+Conc:ms
-Loir-et-Cher||N+NCN+Conc:ms
 loir||N+z2:ms
 loirs|loir|N+z2:mp
 lois-cadres|loi-cadre|N+NN+z2:fp
@@ -5688,7 +5687,6 @@ losangiques|losangique|A:mp:fp
 loseyite||N:fs
 loseyites|loseyite|N:fp
 Lot-et-Garonne||N+NCN+Conc:ms
-Lot-et-Garonne||N+NCN+Conc:ms
 lot||N+z1:ms
 lote||N:fs
 loterie||N+z1:fs
diff --git a/data/mots/m1 b/data/mots/m1
index cfa8a54..4c013ca 100644
--- a/data/mots/m1
+++ b/data/mots/m1
@@ -7857,7 +7857,6 @@ micro-économique|microéconomique|A+XA:ms:fs
 micro-gravité|microgravité|N+XN:fs
 micro-informatique||A+XA:ms:fs
 micro-informatique||N+XN:fs
-micro-informatique||N+XN:fs
 micro-injection||N+XN:fs
 micro-instruction||N+XN+z1:fs
 micro-instruments|micro-instrument|N+XN+Conc:mp
@@ -7866,7 +7865,6 @@ micro-modules|micromodule|N+XN+Conc:mp
 micro-onde||N+XN:fs
 micro-onde||N+XN+Conc:ms
 micro-ondes|micro-onde|N+XN:fp
-micro-ondes|micro-onde|N+XN:fp
 micro-ondes|micro-onde|N+XN+Conc:mp
 micro-ondes|micro-onde|N+XN+Conc+z1:mp
 micro-ordinateur||N+XN+Conc:ms
@@ -8811,7 +8809,6 @@ mille-feuille|millefeuille|N+AN+Conc:ms
 mille-feuilles||N+AN+Conc:fp
 mille-feuilles|millefeuille|N+AN+Conc:fp
 mille-feuilles|millefeuille|N+AN+Conc:mp
-mille-feuilles|millefeuille|N+AN+Conc:mp
 mille-fleurs||N+AN+Conc:fs:fp
 mille-pattes||N+AN+Anl:ms:mp
 mille-trous||N+AN+Conc:ms
diff --git a/data/mots/n b/data/mots/n
index 4a06d7a..d113169 100644
--- a/data/mots/n
+++ b/data/mots/n
@@ -1437,7 +1437,6 @@ néo-libéral|néolibéral|A+XA:ms
 néo-libéral|néolibéral|N+XN+Hum+z1:ms
 néo-libérale|néolibéral|A+XA:fs
 néo-libérale|néolibéral|N+XN+Hum:fs
-néo-libérale|néolibéral|N+XN+Hum:fs
 néo-libérales|néolibéral|A+XA:fp
 néo-libérales|néolibéral|N+XN+Hum:fp
 néo-libéralisme|néolibéralisme|N+XN+z1:ms
@@ -1462,7 +1461,6 @@ néo-nazies|néonazi|N+XN+Hum+z1:fp
 néo-nazis|néo-nazi|A+EPA+z1:mp
 néo-nazis|néonazi|A+XA:mp
 néo-nazis|néonazi|N+XN+Hum:mp
-néo-nazis|néonazi|N+XN+Hum:mp
 néo-nazisme|néonazisme|N+XN+z1:ms
 néo-nazismes|néonazisme|N+XN+z1:mp
 néo-paganisme|néopaganisme|N+XN:ms
@@ -1491,7 +1489,6 @@ néo-syriaque|néosyriaque|N+XN:ms
 néo-thomisme|néothomisme|N+XN:ms
 néo-zélandais||A+XA:ms:mp
 Néo-Zélandais||N+XN+Hum:ms:mp
-Néo-Zélandais||N+XN+Hum:ms:mp
 néo-zélandaise|néo-zélandais|A+XA:fs
 Néo-Zélandaise|Néo-Zélandais|N+XN+Hum+z1:fs
 néo||N+z1:ms
@@ -3862,7 +3859,6 @@ non-animé||A+XA:ms
 non-animées|non-animé|A+XA:fp
 non-animés|non-animé|A+XA:mp
 non-animés|non-animé|N+XN:mp
-non-animés|non-animé|N+XN:mp
 non-appartenance||N+XN:fs
 non-assistance||N+XN:fs
 non-assistance||N+XN+z1:fs
@@ -3933,7 +3929,6 @@ non-initié||N+XN+Hum:ms
 non-initiées|non-initié|A+XA:fp
 non-initiés|non-initié|A+XA:mp
 non-initiés|non-initié|N+XN+Hum:mp
-non-initiés|non-initié|N+XN+Hum:mp
 non-inscription||N+XN:fs
 non-inscrit||A+XA:ms
 non-inscrit||N+XN+Hum:ms
@@ -4712,7 +4707,6 @@ noyés|noyé|N+z1:mp
 nozigues||N:mp
 nu-pieds||A+EAPC+z1:ms:fs:mp:fp
 nu-pieds||N+AN+Conc:ms:mp
-nu-pieds||N+AN+Conc:ms:mp
 nu-tête||A+EAPC+z1:ms:fs:mp:fp
 nu||A+z1:ms
 nu||N+z1:ms
diff --git a/data/mots/p2 b/data/mots/p2
index edfb1c8..320218e 100644
--- a/data/mots/p2
+++ b/data/mots/p2
@@ -7219,7 +7219,6 @@ postzygotique||A:ms:fs
 postzygotiques|postzygotique|A:mp:fp
 pot-à-feu||N+NAN+Conc:ms
 pot-de-vin||N+NDN:ms
-pot-de-vin||N+NDN:ms
 pot-de-vin||N+NDN+Conc:ms
 pot-pourri||N+NA+z1:ms
 pot||N+z1:ms
@@ -7386,7 +7385,6 @@ potosies|potosie|N:fp
 potron-minet||N+XN:ms
 pots-à-feu|pot-à-feu|N+NAN+Conc:mp
 pots-de-vin|pot-de-vin|N+NDN:mp
-pots-de-vin|pot-de-vin|N+NDN:mp
 pots-de-vin|pot-de-vin|N+NDN+Conc:mp
 pots-pourris|pot-pourri|N+NA+z1:mp
 pots|pot|N+z1:mp
diff --git a/data/mots/s1 b/data/mots/s1
index bcb3924..15d9844 100644
--- a/data/mots/s1
+++ b/data/mots/s1
@@ -580,15 +580,12 @@ saint-amour||N+AN+Conc:ms
 saint-benoît||N+AN+Conc:ms
 saint-bernard||N+AN+Anl+Hum:ms:mp
 saint-cyrien||N+AN+Hum:ms
-saint-cyrien||N+AN+Hum:ms
 saint-cyrienne|saint-cyrien|N+AN+Hum:fs
 saint-cyriens|saint-cyrien|N+AN+Hum:mp
-saint-cyriens|saint-cyrien|N+AN+Hum:mp
 saint-émilion||N+AN:fs
 Saint-Empire||N+AN:ms
 saint-esprit||N+AN+Conc:ms
 Saint-Esprit||N+AN+Hum:ms
-Saint-Esprit||N+AN+Hum:ms
 saint-estèphe||N+AN:fs
 saint-frusquin||N+AN+Conc:ms
 saint-germain||N+AN+Conc:ms
@@ -604,13 +601,11 @@ saint-nectaire||N+AN+Conc:ms
 Saint-Office||N+AN+HumColl:ms
 saint-péray||N+AN:fs
 Saint-Père||N+AN+Hum:ms
-Saint-Père||N+AN+Hum:ms
 saint-pierre||N+AN+Anl:ms
 saint-Pourcin||N+AN:fs
 Saint-Sépulcre||N+AN:ms
 saint-sépulcre||N+AN+Conc:ms
 Saint-Siège||N+AN+HumColl:ms
-Saint-Siège||N+AN+HumColl:ms
 saint-simonien||N+AN+Hum:ms
 saint-simonienne|saint-simonien|N+AN+Hum:fs
 saint-simoniens|saint-simonien|N+AN+Hum:mp
@@ -619,7 +614,6 @@ saint-sulpiceries|saint-sulpicerie|N+AN:fp
 saint-sulpicien||N+AN+Hum:ms
 saint-sulpicienne|saint-sulpicien|N+AN+Hum:fs
 Saint-Sylvestre||N+AN:fs
-Saint-Sylvestre||N+AN:fs
 saint-synode||N+AN+HumColl:ms
 saint||A+z1:ms
 saint||N+z1:ms
@@ -4166,7 +4160,6 @@ seime||N:fs
 seimes|seime|N:fp
 sein||N+z1:ms
 Seine-et-Marne||N+NCN+Conc:fs
-Seine-et-Marne||N+NCN+Conc:fs
 seine||N:fs
 seines|seine|N:fp
 seineur||A:ms
@@ -4615,7 +4608,6 @@ semi-nasaux|semi-nasal|A+EPA+z1:mp
 semi-nomade||N+XN+Hum:ms:fs
 semi-nomades|semi-nomade|A+XA:mp:fp
 semi-nomades|semi-nomade|N+XN+Hum:mp:fp
-semi-nomades|semi-nomade|N+XN+Hum:mp:fp
 semi-nomadisme||N+XN:ms
 semi-normes|semi-norme|N+XN:fp
 semi-officiel||A+EPA+z1:ms
@@ -7728,7 +7720,6 @@ sociablement||ADV+z2
 sociables|sociable|A+z1:mp:fp
 social-démocrate||A+EPA+z1:ms:fs
 social-démocrate||N+AN+Hum:ms
-social-démocrate||N+AN+Hum:ms
 social-démocrates|social-démocrate|A+EPA+z1:mp:fp
 social-démocratie||N+AN:fs
 social-révolutionnaire||N+AN+Hum:ms
@@ -7770,7 +7761,6 @@ sociatries|sociatrie|N:fp
 sociaux-chrétiens||N+AN+HumColl:mp
 sociaux-démocrates||N+AN+HumColl:mp
 sociaux-démocrates|social-démocrate|N+AN+Hum:mp
-sociaux-démocrates|social-démocrate|N+AN+Hum:mp
 sociaux|social|A+z1:mp
 sociétaire||A+z2:ms:fs
 sociétaire||N+z2:ms:fs
@@ -9305,7 +9295,6 @@ sous-développé||N+PN+Hum:ms
 sous-développé||N+PN+Hum+z1:ms
 sous-développée|sous-développé|A+EPA+z1:fs
 sous-développée|sous-développé|N+PN+Hum:fs
-sous-développée|sous-développé|N+PN+Hum:fs
 sous-développées|sous-développé|A+EPA+z1:fp
 sous-développées|sous-développé|N+PN+Hum+z1:fp
 sous-développement||N+PN:ms
@@ -9334,7 +9323,6 @@ sous-ensemble||N+PN+z1:ms
 sous-ensembles|sous-ensemble|N+PN+z1:mp
 sous-entendu||A+EPA+z1:ms
 sous-entendu||N+PN:ms
-sous-entendu||N+PN:ms
 sous-entendue|sous-entendu|A+EPA+z1:fs
 sous-entendues|sous-entendu|A+EPA+z1:fp
 sous-entendus|sous-entendu|A+EPA+z1:mp
@@ -9391,7 +9379,6 @@ sous-joints|sous-joint|N+PN+Conc:mp:fp
 sous-lacustre||A+EPA+z1:ms:fs
 sous-lieutenances|sous-lieutenance|N+PN:fp
 sous-lieutenant||N+PN:ms
-sous-lieutenant||N+PN:ms
 sous-lieutenant||N+PN+Hum+z1:ms
 sous-ligneuse|sous-ligneux|A+EPA+z1:fs
 sous-liminaire||A+EPA+z1:ms:fs
@@ -9411,7 +9398,6 @@ sous-marinier||N+PN+Hum:ms
 sous-mariniers|sous-marinier|N+PN+Hum:mp
 sous-marins|sous-marin|A+EPA+z1:mp
 sous-marins|sous-marin|N+PN+Conc:mp
-sous-marins|sous-marin|N+PN+Conc:mp
 sous-marque||N+PN:fs
 sous-marques|sous-marque|N+PN:fp
 sous-matrices|sous-matrice|N+PN:fp
diff --git a/data/mots/t1 b/data/mots/t1
index 5e4a9bf..e61f040 100644
--- a/data/mots/t1
+++ b/data/mots/t1
@@ -3328,7 +3328,6 @@ tétartoédries|tétartoédrie|N:fp
 tête-à-queue||N+NAN:ms:mp
 tête-à-tête||N+NAN+Abst:ms:mp
 tête-à-tête||N+NAN+Conc:ms:mp
-tête-à-tête||N+NAN+Conc:ms:mp
 tête-de-chat||N+NDN+Conc:fs
 tête-de-Maure||N+NDN+Conc:fs
 tête-de-mort||N+NDN+Conc:fs
diff --git a/data/mots/t2 b/data/mots/t2
index 958bbf8..2bddd92 100644
--- a/data/mots/t2
+++ b/data/mots/t2
@@ -397,7 +397,6 @@ trois-mâts||N+AN+Conc:ms:mp
 trois-pièces||N+AN+Conc:ms:mp
 trois-quarts||N+AN+Conc:ms:mp
 trois-quarts||N+AN+Hum:ms:mp
-trois-quarts||N+AN+Hum:ms:mp
 trois-quatre||N+AA:ms
 trois||DET+z1:mp:fp
 trois||N+z1:ms:mp
diff --git a/data/mots/u b/data/mots/u
index 2d89155..abbbb29 100644
--- a/data/mots/u
+++ b/data/mots/u
@@ -167,7 +167,6 @@ ultra-sensibles|ultra-sensible|A+EPA+z1:mp:fp
 ultra-vide|ultravide|N+AN+Conc:ms
 ultra-violet|ultraviolet|A+XA:ms
 ultra-violet|ultraviolet|N+AN:ms
-ultra-violet|ultraviolet|N+AN:ms
 ultra-violets|ultraviolet|A+XA:mp
 ultra-violets|ultraviolet|N+AN:mp
 ultra||A+z1:ms:fs
diff --git a/data/mots/v b/data/mots/v
index c5a5371..dafc3fe 100644
--- a/data/mots/v
+++ b/data/mots/v
@@ -3616,7 +3616,6 @@ viruries|virurie|N:fp
 virus||N+z1:ms:mp
 vis-à-vis||ADV+PCDN+z1
 vis-à-vis||N+NAN+Hum:ms:mp
-vis-à-vis||N+NAN+Hum:ms:mp
 vis||N+z1:fs:fp
 visa||N+z1:ms
 visage||N+z1:ms