Utilser de l'apprentissage profond .. wouhou

[dhdaines]

Après plusieurs semaines de travail acharné j'ai trouvé un modèle tendance qui fait vraiment la job pour la segmentation. Bien sûr les Transformers sont parfaitement inutiles pour cette tâche étant donné que chaque page peut avoir plusieurs milliers de tokens. Le bon vieux CRF discrète fonctionnait assez bien pour nos documents mais se généralisait mal à des mises en page différentes, et ne pouvait surtout pas bien integrer les informations textuelles.

À date ce qui fait mieux la job c'est un RNN-CRF. Mais attention! Il ne faut absolument pas entraîner ce modèle de zero, parce que notre jeu de données est très dèséquilibrée, et la pondération des classes se fait très mal avec un CRF. En plus, l'objectif CRF stricte (avec des contraintes que I-Chose doit absolument suivre B-Chose ou I-Chose et pas I-Machin) est mal aligné avec notre vrai objectif ce qui est d'identifier les B-Chose correctement - en forçant la cohérence entre les I (qui améliore l'exactitude du séquence au complet) on fini par perdre la précision des étendues des blocs de texte. C'est quand même utile, par contre, de distinguer I-Chose de I-Patente durant l'entraînement puisque le deux ont des contenus et des mises en pages différents.

Donc, on fait un entraînement d'un RNN (avec des embeddings et pour le texte, et pour la mise en page en chiffres intégraux, ce qui fonctionne mieux que des valeurs continues) ordinaire en premier temps, puis on procède à geler ses paramètres et faire un court entraînement d'un CRF (sans contraintes) par-dessus, ce qui donne un peu plus de cohérence à la sortie mais ne nuit pas à l'essentiel du modèle.

(Notez que si on avais un Longformer, etc, etc, oui, on pourrait l'utiliser de la même façon)

Noté que l'extraction des liens, etc, pourra aussi se faire, c'est la prochaine étape.