Myriam Lechelt

[GramOOo] M�moire et Slides

Voici le m�moire de stage et les slides de soutenance de Myriam

La qualit� de son travail linguistique a �t� soulign� par ses examinateurs. Ce rapport est assur�ment un document fondateur pour plusieurs d�veloppements ult�rieurs pour des outils linguistiques libres.

Son travail pr�liminaire est int�gr� � Gramadoir, correcteur grammatical libre de Kevin Scannel, de l'universit� de Saint Louis, disponible ici : http://borel.slu.edu/gramadoir/

Laurent Godard.

[GramOOo] Bilan

J'arrive bient�t � la fin de mon stage chez Nuxeo/Indesko.
Le projet du correcteur grammatical n'est �videmment pas fini, mais nous arrivons � quelques r�sultats encourageants pour la suite.

D'ici � la fin du mois, sera disponible mon rapport de stage. Celui-ci pr�sentera tout le travail effectu�, les r�sultats, les limites du syst�me et les perspectives futures.
Il servira de guide � quiconque continuera le projet.

Ce stage marquant la fin de mes �tudes, j'aurai moi-m�me la possibilit� d'y contribuer encore un peu...

[GramOOo] petite r�ctification

A mon grand regret, j'ai appris que malgr� que �tait consid�r� comme correct par l'accad�mie fran�aise.

J'ai donc retir� cette r�gle de mon correcteur, qui dor�navant ne marquera plus malgr� que comme faux.

[GramOOo] Premiers exemples de fautes corrig�es

Nous avons choisi de continuer avec l'outil Gramadoir pour la phase de grammaire.
Apr�s la cr�ation de quelques r�gles, on peut montrer quelques exemples de sortie.
Gramadoir renvoie la phrase, les fautes sont not�es en rouge et sur la deuxi�me ligne appara�t un message qui d�crit l'erreur.

Il faut pr�ciser que ces messages ne sont pas d�finitifs. Pour le moment, nous avons juste test� si les r�gles s'appliquaient correctement. Nous reviendrons sur le sujet.

Voici donc une copie de la console qui donne la sortie de Gramadoir:

1: Ceci est un tests avec des grosse fautes .
Faute d'accord.

1: Ceci est un tests avec des grosse fautes .
Faute d'accord.

1: Malgr� que je sois linguiste , je r�digent des fautes �norme.
Cette combinaison de mots n'est pas correcte.

1:Malgr� que je sois linguiste , je r�digent des fautes �norme.
Faute d'accord entre le sujet et le verbe.

1:Malgr� que je sois linguiste , je r�digent des fautes �norme.
Faute d'accord.

2: Se test montre que sa fonctionne.
Faute.

2: Se test montre que sa fonctionne.
Faute.

3: Elles sont recherch� mes fautes .
Faute d'accord du participe pass�.

4: ils parle de �a soeur
Faute d'accord.

4: ils parle de �a soeur
Faute.

[GramOOo] tests de r�gles grammaticales et construction des r�gles

Je suis en train de tester quelques r�gles grammaticales sur les deux moteurs, Gramadoir et Languagetool, pour voir celui qui serait le mieux adaptable au fran�ais.

Nous l'avons dit, nous aurons besoin de travailler sur deux niveaux, que nous avons appel�s "intrachunk" et "interchunk". Le premier concerne les r�gles qui d�finissent des erreurs au sein d'un chunk, � savoir des accords de type nom-adjectifs. Le deuxi�me niveau va permettre de corriger des fautes d'accords sujet-verbes par exemple.

Nous commencerons par les r�gles intrachunks.
Un exemple avec Gramadoir:
<D f s>ANYTHING</D> <J f p>ANYTHING</J> <N f s>ANYTHING</N>:ERREURACCORD

Un d�terminant f�min singulier, suivit d'un adjectif f�minin pluriel, suivit d'un nom f�minin singulier est une faute, car il n'y a pas unification du trait nombre.

<D m s>ANYTHING</D> <J f p>ANYTHING</J> <N f s>ANYTHING</N>:ERREURACCORD
<D f s>ANYTHING</D> <J f s>ANYTHING</J> <N m s>ANYTHING</N>:ERREURACCORD
<D f p>ANYTHING</D> <J f p>ANYTHING</J> <N f s>ANYTHING</N>:ERREURACCORD

Notre lexique comporte 6 types de d�terminants, 9 d'adjectifs et 9 de noms, plus de nombreux verbes. Je vous laisse calculer le nombre de combinaisons possibles pour d�crire les erreurs... En effet, les syst�mes d�crivent des r�gles d'erreurs et supposent donc de pr�voir toutes les erreurs possibles (ou du moins le plus possibles).

C'est pour cela que nous avons d�cid� de g�n�rer automatiquement les r�gles. Nous commen�ons par g�n�rer toutes les combinaisons possibles et nous supprimons celles qui sont correctes.

Pour l'instant nous n'avons g�n�r� que les cas suivants:
<D ...> <N ...>
<D ...> <J ...> <N ...>
<D ...> <J ...> <J ...> <N ...>
Nous obtenons alors 4244 r�gles d'erreurs.

Reste � savoir si les syst�mes ne seront pas "perturb�s" par de si nombreuses r�gles...

[GramOOo] n�cessit� d'un segment interm�diaire entre les mots et la phrase

En examinant quelques fautes de fran�ais, et en se demandant comment il est possible de les corriger, on se rend vite compte de la difficult� � laquelle on est confront�.

Nous avons d�sambigu�s� les mots par rapport au contexte imm�diat, gauche ou droit. On voit bien qu'on pourra faire la m�me chose pour corriger un accord entre un nom et un adjectif par exemple.
Si un adjectif masculin singulier est suivit d'un nom f�minin singulier, il y a faute, car il n'y a pas concordance, unification des traits.

Mais prenons la phrase suivante:

* La gr�ve des lyc�ens continuent.
( l'ast�risque signifie que la phrase est agramaticale)

Comment le programme va-t-il d�tecter que le verbe continuer doit s'accorder avec le nom gr�ve et non pas lyc�ens si on se base uniquement sur le contexte imm�diat?
Nous avons besoin d'un segment interm�diaire entre les mots et la phrase. On parle de syntagme (groupe) ou de chunk (notion introduite par Abney).
Pour l'exemple, on pourrait effectuer le d�coupage suivant:

* [La gr�ve [des lyc�ens]] [continuent].

[ ] est un syntagme nominal (SN)
[ ] est un syntagme verbal (SV)
[ ] est un syntagme pr�positionnel (SP)

Chaque syntagme comporte une t�te qui est l'�l�ment principal: nom, verbe, pr�position (ici de car des est la contraction de de les), etc.
Le SN s'accorde avec le SV. Si le propri�t�s du SN ne correspondent pas � celles du SV, alors il y a faute.
Ici, le SN est f�minin singulier, le verbe est au pluriel, il y a pas d'unification de traits, il y a faute.

Si notre outil ne se limite pas seulement aux mots et permet la notion de groupes sup�rieurs, nous pourrons alors corriger bien des fautes.

[GramOOo] [tagging] Pr�cision et d�cision, fin du tagging

Nous arrivons � la fin du temps que nous avions fix� pour l'�tape de tagging.
Bien s�r, il reste encore beaucoup de travail, on ne peut pas avoir un excellent outil en si peu de temps.

Toujours est-il que nous avons atteint 98,47 % de d�cision et 84,4 % de pr�cision (uniquement sur les cat�gories grammaticales).
Nous avons pu am�liorer notre base de r�gles "brutes" (r�gles par d�faut), gr�ce � un article de J. Vergne et E. Giguet.

M�me si le tagger n'est pas parfait, ceci pourra faire l'objet d'un prochain travail, nous commen�ons maintenant l'�tape de d�tection d'erreurs grammaticales.

La premi�re chose � faire, est de choisir parmi les deux outils d�vellop�s libres dont nous disposons : continuer avec Gramadoir, ou choisir Language tool?

[GramOOo] [tagging] Pr�cision et d�cision (premiers r�sulats)

Nous avons pu nous procurer les outils de la campagne de GRACE afin de mesurer l'avancement de notre tagger.
Nous avions d�j� mesur� la d�cision qui atteint, apr�s l'ajout de quelques r�gles "brutes", un taux de 97%. Cela signifie que 97 mots reconnus sur 100 (les mots inconnus n'entrent pas en compte) ne sont pas ambigus.
Pour mesurer si ces mots sont correctement �tiquet�s, il nous faut le taux de pr�cision. Pour le moment, comme nous travaillons encore sur ces mesures nous avons pu comparer uniquement les cat�gories grammaticales (noms, verbes, pronoms, etc.) et nous avons obtenu un taux de 73%.
73% des mots sont donc �tiquet�es correctement vis-�-vis de leurs cat�gories grammaticales.
La perfection serait �videmment d'atteindre 100 % tant en d�cision qu'en pr�cision (ce qui se traduit par une position en haut � droite sur le graphique d�cision/pr�cision).
Mais en attendant, il nous faut faire un choix en fonction du moteur de grammaire qui va d�tecter les fautes.
Peut-on garder des ambigu�t�s ou faut-il que chaque mot ne comporte absolument qu'une seule �tiquette quitte � ce que celle-ci ne soit pas forc�ment correcte? En effet, gagner en d�cision peut faire perdre en pr�cision et inversement.
Les r�gles "brutes" qui disent par exemple que "n'importe quel nom ambigu est un nom", permettent de friser les 100% de d�cision (les mots ne sont plus ambigus). Mais elles n�cessitent d'�tre affin�es si l'on veut progresser en pr�cision.

[GramOOo] [tagging] petit test

J'ai test� notre tagger avec le petit texte suivant :

Voici une blague de Toto qui fait du surf. Seulement, sur la piste, la neige est mauvaise, elle a fondu. Et Toto qui ne sait pas surfer se casse la figure. Alors il hurle:
"Dor�navant je ne ferai plus de surf le week-end de P�ques !"
Les personnes qui ont ski� ce week-end comprendront. Je sais, ce texte ne fait pas trop rigoler. Je voulais voir la fa�on dont il �tait d�sambigu�s�. Il est d�sambigu�s� !

Voici la sortie du tagger sans qu'aucune r�gle ne soit appliqu�e:
Les mots ambigus sont entre balises 

<?xml version="1.0" encoding="utf-8" standalone="no"?>
<!DOCTYPE teacs SYSTEM "/dtds/gramadoir.dtd">
<teacs>
<line> <Z><A/></Z> Voici <Z><D f s/><J f s/><N f s/></Z>une <Z><N f s/><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>blague de <N m s>Toto</N> <R rel e sp>qui</R> <Z><J m s/><N m s/><V ind pres 3 s/><V ppa m s/></Z>fait <D m s>du</D> <N m s>surf</N>. </line>
<line> <A>Seulement</A>, <Z><J m s/></Z>sur <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <N f s>piste</N>, <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <Z><N f s/><V ind pres 3 s/><V sub pres 3 s/></Z>neige <Z><J e p/><J e s/><N m s/><V etre ind pres 3 s/></Z>est <Z><J f s/><N f s/></Z>mauvaise, <R pers suj 3 f s>elle</R> <Z><N m sp/><V avoir ind pres 3 s/></Z>a <Z><J m s/><N m s/><V ppa m s/></Z>fondu. </line>
<line> <C coor>Et</C> <N m s>Toto</N> <R rel e sp>qui</R> <A>ne</A> <V ind pres 3 s>sait</V> <Z><A/><N m sp/></Z>pas <V inf>surfer</V> <R pers obj 3 sp>se</R> <Z><N f s/><N m s/><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>casse <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <Z><N f s/><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>figure. </line>
<line> <A>Alors</A> <R pers suj 3 m s>il</R> <Z><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>hurle: "<A>Dor�navant</A> <R pers suj 1 s>je</R> <A>ne</A> <V ind futu 1 s>ferai</V> <Z><A/><D e p/><D e s/><N m sp/><V ind psim 1 s/><V ind psim 2 s/><V ppa m p/></Z>plus de <N m s>surf</N> <Z><D m s/><R pers obj 3 m s/></Z>le <N m s>week-end</N> de <N f p>P�ques</N> !" </line>
<line> <R pers suj 1 s>Je</R> <Z><V ind pres 1 s/><V ind pres 2 s/></Z>sais, <Z><D m s/><R dem e s/></Z>ce <N m s>texte</N> <A>ne</A> <Z><J m s/><N m s/><V ind pres 3 s/><V ppa m s/></Z>fait <Z><A/><N m sp/></Z>pas <A>trop</A> <V inf>rigoler</V>. </line>
<line> <Z><D e p/><R pers obj 3 p/></Z>Les <N f p>personnes</N> <R rel e sp>qui</R> <V avoir ind pres 3 p>ont</V> <V ppa m s>ski�</V> <Z><D m s/><R dem e s/></Z>ce <N m s>week-end</N> <V ind futu 3 p>comprendront</V>. </line>
<line> <R pers suj 1 s>Je</R> <Z><V ind impa 1 s/><V ind impa 2 s/></Z>voulais <V inf>voir</V> <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <N f s>fa�on</N> <R rel e sp>dont</R> <R pers suj 3 m s>il</R> <V etre ind impa 3 s>�tait</V> <Z><J m s/><V ppa m s/></Z>d�sambigu�s�. </line>
</teacs>

Et voici la sortie apr�s application des r�gles :

<?xml version="1.0" encoding="utf-8" standalone="no"?>
<!DOCTYPE teacs SYSTEM "/dtds/gramadoir.dtd">
<teacs>
<line> Voici <D f s>une</D> <N f s>blague</N> de <N m s>Toto</N> <R rel e sp>qui</R> <V ind pres 3 s>fait</V> <D m s>du</D> <N m s>surf</N>. </line>
<line> <A>Seulement</A>, sur <D f s>la</D> <N f s>piste</N>, <D f s>la</D> <N f s>neige</N> <V etre ind pres 3 s>est</V> <J f s>mauvaise</J>, <R pers suj 3 f s>elle</R> <V avoir ind pres 3 s>a</V> <V ppa m s>fondu</V>. </line>
<line> <C coor>Et</C> <N m s>Toto</N> <R rel e sp>qui</R> <A>ne</A> <V ind pres 3 s>sait</V> <A>pas</A> <V inf>surfer</V> <R pers obj 3 sp>se</R> <V ind pres 1 s>casse</V> <D f s>la</D> <N f s>figure</N>. </line>
<line> <A>Alors</A> <R pers suj 3 m s>il</R> <V ind pres 1 s>hurle</V>: "<A>Dor�navant</A> <R pers suj 1 s>je</R> <A>ne</A> <V ind futu 1 s>ferai</V> <A>plus</A> de <N m s>surf</N> <D m s>le</D> <N m s>week-end</N> de <N f p>P�ques</N> !" </line>
<line> <D e s>Les</D> <N f p>personnes</N> <R rel e sp>qui</R> <V avoir ind pres 3 p>ont</V> <V ppa m s>ski�</V> <D m s>ce</D> <N m s>week-end</N> <V ind futu 3 p>comprendront</V>. </line>
<line> <R pers suj 1 s>Je</R> <V ind pres 1 s>sais</V>, <D m s>ce</D> <N m s>texte</N> <A>ne</A> <V ind pres 3 s>fait</V> <A>pas</A> <A>trop</A> <V inf>rigoler</V>. </line>
<line> <R pers suj 1 s>Je</R> <V ind impa 1 s>voulais</V> <V inf>voir</V> <D f s>la</D> <N f s>fa�on</N> <R rel e sp>dont</R> <R pers suj 3 m s>il</R> <V etre ind impa 3 s>�tait</V> <V ppa m s>d�sambigu�s�</V>. </line>
<line> <R pers suj 3 m s>Il</R> <V etre ind pres 3 s>est</V> <V ppa m s>d�sambigu�s�</V> ! </line>
</teacs>

[GramOOo] [tagging] ordre des r�gles et plusieurs passages

L'ordre des r�gles est tr�s important dans Gramadoir. La premi�re que trouve le programme est appliqu�e. Il faut donc mettre les plus g�n�rales � la fin.
Si le contexte qui sert � d�sambigu�ser est lui m�me ambigu, la r�gle ne s'applique pas.
Prenons les trois mots suivants:

<line> <R pers suj 3 f s>elle</R> <V etre ind pres 3 s>est</V> <V ppa f s>prise</V> </line>

"Elle" n'est pas ambigu. Il permet de d�sambigu�ser "est" qui peut �tre un nom, un adjectif ou le verbe �tre. S'il est pr�c�d� d'un pronom personnel, alors c'est un verbe. Ensuite, il faut que la r�gle qui concerne la d�sambigu�sation du participe pass� soit plac�e apr�s, sinon, elle ne va pas s'appliquer si "est" n'est pas encore desambigu�s�. Mais par contre, il faut qu'elle soit plac� avant les r�gles sur l'indicatif sinon prise sera �tiquet� :

<V ind pres 1 s>prise</V> (verbe priser)

Prenons maintenant le cas "il s'est tu". Mettons de c�t� le probl�me du pronom "se" car nous en l'avons pas encore trait�. Si l'on place la r�gle des participes apr�s celle qui dit que "tu" par d�faut et un pronom personnel (de m�me que "il"), on aura:

<line> <R pers suj 3 m s>il</R> s' <V etre ind pres 3 s>est</V> <R pers suj 2 s>tu</R> </line>.

"Tu" est �tiquet� comme un pronom personnel.
Ceci est probl�matique car la r�gle des pronoms personnels n�cessite d'�tre plac�e avant la d�sambigu�sation de verbes sinon cette derni�re ne peut pas se faire.

On pourrait donc avoir besoin de deux passages pour l'application des r�gles. Mais ceci serait-il vraiment n�cessaire? Le mot n'attendra pas le deuxi�me passage pour se d�sambigu�ser, il matchera la premi�re r�gle qu'il trouvera.

[GramOOo] [tagging] progression

Aujourd'hui nous avons atteint un taux de mots non ambigus de 77% (le taux sans aucune r�gle �tait de 54%). C'est un bon avancement au niveau de la quantit� � d�sambigu�ser. Mais cela ne veut pas dire que 77% de mots sont bien �tiquet�s, cela signifie que 77% des mots n'ont qu'un seul tag. D'o� l'importance de taux tels que "pr�cision" et "d�cision" qui mesurent � la fois le nombre de mots non ambigus et le nombre de mots correctement �tiquet�s.

[GramOOo] [tagging] difficult� de d�sambigu�ser ce qui n'est pas parfait

Nous devons garder � l'esprit que les r�gles vont servir � d�sambigu�ser non seulement des phrases correctes, mais aussi et surtout des phrases fausses.
Comme la d�sambigu�sation se fait sur le contexte droit ou gauche, il faut tenir compte du fait qu'il puisse contenir des erreurs.
Imaginons que l'utilisateur �crive:
Des chats noir

Et que l'on ait la r�gle suivante:

<N m s>ANYTHING</N> <Z>ANYJMS</Z>ANYTHING:<J m s>

Cette r�gle ne va d�sambigu�ser seulement les adjectifs maculins singuliers qui sont pr�c�d�s de noms masculins singuliers. Elle ne d�sambigu�se que ce qui est correct grammaticalement et ne d�sambiguisera donc pas l'exemple ci-dessus car chats est pluriel et noir singulier. Par cons�quent, on ne pourra pas corriger cette faute.
Ici la solution est de g�n�raliser le nom qui pr�c�de:

<N>ANYTHING</N> <Z>ANYJMS</Z>ANYTHING:<J m s>
(un adjectif masculin singulier ambigu pr�c�d� de n'importe quel nom est un adjectif masculin singulier).

Un autre exemple et celui de ne ... pas.
J'ai cr�� une r�gle qui dit que si le mot pas est pr�c�d� de ne, alors il n'est pas un nom mais un adverbe:

[Nn]e ANYTHING pas:<A>

Or, il nous arrive souvent d'oublier le ne pour la n�gation. Dans ce cas, ma r�gle ne pourra pas d�sambigu�ser pas, et on ne pourra donc pas corriger cette faute.

Les r�gles de d�sambigu�sation (qu'elles soient manuelles ou bas�es sur une m�thode statistique) sont des r�gles contextuelles (se basent sur le contexte) et pr�supposent donc une coh�rence morphosyntaxique. Or, le but d'un correcteur grammatical est justement de rep�rer des fautes de coh�rence morphosyntaxique.
Il faut donc tenir compte de cela lors de la cr�ation des r�gles de desambigu�sation.

[GramOOo] [tagging] �valuation de la progression

Nous avons sorti quelques chiffres afin de mesurer l'avancement de notre tagger.
Sans qu'aucune r�gle ne soit appliqu�e (ni aucune fr�quence car elles n'entreront en jeu que s'il y a �chec des r�gles), Gramadoir donne 60% de mots non ambigus, soit 6 mots sur 10.
Avec des r�gles d�sambigu�sant uniquement les det�rminants "le" et "la", on gagne 2%. On passe � 65% de non ambig�s avec quelques r�gles sur les d�terminants, les noms et les adjectifs.
Notons que ces derni�res ne sont pas encore optimales et vont �tre am�lior�es. Le gain qu'elles apportent devrait �tre bien plus cons�quent. En effet, les SN (= syntagmes nominaux, c'est-�-dire notament d�terminant, nom, adjectif) sont nombreux dans la langue et les noms sont tr�s souvent ambig�s.

Nous allons �galement utiliser les taux de pr�cision et de d�cision d�finis par la campagne d'�valuation de GRACE (http://www.up.univ-mrs.fr/veronis/Atala/TALN/pdf/A76.pdf) et qui servent � �valuer des taggers et diff�rents outils linguistiques. La pr�cision mesure la capacit� � donner un tag, la d�cision, la capacit� � donner le bon.
Gr�ce � ces taux nous pourrons voir l'avancement de notre travail de mani�re pr�cise.

[gramOOo] [tagging] premi�res r�gles

Les choses avancent!
Voici un exemple de sortie avant qu'aucune r�gle de d�sambigu�sation ne soit appliqu�e.

<Z><D m s/><N m s/><R pers obj 3 m s/></Z>le <Z><A/><J m s/><N m s/></Z>petit <N m s>test</N>

Les tags et <Z> servent � marquer les mots ambigus.
"Le" �tait donc �tiquet� comme un d�terminant, un nom et un pronom personnel objet .
"petit" �tait un adverbe (erreur dans le lexique probablement), un adjectif et un nom.

J'ai appliqu� trois premi�res r�gles tr�s simples selon la structure de Gramadoir:

[Pp]etit <N>ANYTHING</N>:<J m s>
[Ll]e <N>ANYTHING</N>:<D m s>
[Ll]e <J>ANYTHING</J>:<D m s>

La premi�re signifie que si le mot ambigu "petit" (avec ou sans majuscule) est suivit par n'importe quel mot qui est un nom, alors il est un adjectif masculin singulier.
La deuxi�me et la troisi�me signifient : si le mot ambigu "le" est suivit par un nom ou un adjectif alors il est un d�terminant masculin singulier.

Apr�s application de ces r�gles la sortie est donc:

<D m s>le</D> <J m s>petit</J> <N m s>test</N>

Ces pemi�res r�gles appliqu�es, nous pourrons maintenant en construire de plus g�n�rales gr�ce � des expressions r�guli�res.

[gramOOo] [tagging] Gramadoir, quelques fichiers importants

Quelques mots sur les principaux fichiers de Gramadoir.
- lexicon-fr.txt : contient toutes les formes fl�chies du lexique avec le nombre qui correspond � leur tag.
- pos-fr.txt : liste tous les tags et le nombre qui leur correspond
- aonchiall-fr.in : r�pertorie les r�gles de d�sambigu�sation du tagging
- macra-fr.meta.pl : macro qui permet de d�finir des mots qui globalisent certains mots pour les r�gles, � l'aide d'expressions r�guli�res (ex si l'on veut dire "n'importe quoi" ou "tous les adjectifs").
- unigram-fr-txt : liste les tags par fr�quences.

Pour plus de d�tails : http://borel.slu.edu/gramadoir/manual/c409.html

[gramOOo] [tagging] installation de Gramadoir

Quelques mots sur l'installation de Gramadoir-fr.
Vous devez avoir deux dossiers :
- engine
- gramadoir-fr-0.01
Ensuite, il faut taper les lignes de commande suivantes:
$ cd engine
$ ./configure
$ cd ../gramadoir-fr-0.01
$ ./configure
$ make rebuildlex

Ensuite, il n'y a plus qu'� suivre les indications sur le site de Kevin P. Scannell (http://borel.slu.edu/gramadoir/manual/x378.html) :

$ make
(dans le dossier gramadoir-fr-0.01)
$ cd Lingua-FR-Gramadoir
$ perl Makefile.PL
$ make
$ make test
$ make install
Attention, pour cette derni�re ligne, vous devez avoir les droits root.

Pour tester gramadoir, il suffit de faire
$ gram-fr.pl monfichier.txt
Pour tester uniquement la phase de tagging:
$ gram-fr.pl --no-unigram monfichier.txt

La d�sambigu�sation du tagging se fait en deux �tapes. D'abord l'aplication des r�gles, puis si c'est r�gles apr�s deux passages n'ont pas r�ussi � d�sambigu�ser, on applique la fr�quence la plus haute aux mots encore ambig�s. Gramadoir n'est pas un syst�me probabiliste mais il se sert quand m�me de probabilit�s!
C'est pour cela que l'on utilise l'option --no-unigram pour tester l'application de nos r�gles, mais avant que les fr�quences ne soient appliqu�es (elles le sont par d�faut, pour les voir, on peut faire l'option --xml)

Lorsqu'on modifie un fichier, par exemple une r�gle dans le fichier aonchiall-fr.in (l� o� toutes les r�gles de d�sambigu�sation sont inscrites)
il faut refaire l'installation � partir du "make".

[GramOOo] [tagging] avancement du projet

Nous avons maintenant une liste de tags et lexique tagg�, les ressources pour d�marrer le travail de tagging.
Nous les avons soumises � Kevin P. Scannell qui a adapt� son programme pour le ga�lique (qui contenait moins de 255 tags alors que nous en avons plus) pour que nous puissions faire une version fran�aise.
J'en profite pour remercier Kevin qui est tr�s pr�sent et nous aide beaucoup.
Il a donc vu que son programme pouvait prendre en compte le fran�ais et a sorti un premier r�sultat:

<line> <N f s>Une</N> <N f s>premi�re</N> <N f s>version</N> <V ind pres 3 s>fonctionne</V> <A>parfaitement</A>. </line>

Nous voyons d�j� dans cet exemple, qu'il y a deux mots ambigus qui ont plusieurs �tiquettes dans le lexique:
Une a trois tags, premi�re en a deux :
une <J f s>
une <D f s>
une <N f s>
premi�re <N f s>
premi�re <J f s>
Le tag D correspond � un d�terminant, J � un adjectif et N � un nom.
Une autre version du tagging est donc par exemple:

<line> <D f s>Une</D> <J f s>premi�re</J> <N f s>version</N> <V ind pres 3 s>fonctionne</V> <A>parfaitement</A>. </line>

Le programme de Gramadoir pose les tags sur les noms � l'aide du lexique. Notre travail va maintenant �tre de cr�er des r�gles fran�aises afin de d�sambigu�ser pour arriver � la suite correcte par exemple ici : <D>+<J>+<N>. Les attributs "f" et "s" serviront entre autres pour les accords lors de l'�tape de construction des r�gles grammaticales.

[GramOOo] la liste des tags

Nous avons dress� la liste de toutes les informations morphosyntaxiques qui nous seront n�cessaires pour faire des r�gles de grammaires efficaces. Ces informations sont contenues dans les tags qui �tiquettent chaque mot.
Outre la cat�gorie grammaticale (nom, verbe, pronoms etc.) il nous faut distinguer genre, nombre, personne, temps, mode mais aussi les pronoms relatifs des pronoms personnels, mais encore les pronoms personnels sujets des pronoms personnels objets etc.
Ceci permettra de corriger les fautes d'accord comme ils danse ou des fautes comme me lave, il y a un pronom personel objet mais cette phrase n'a pas de sujet.
Nous avons aussi sp�cialement taggu� les auxiliaires �tre et avoir de mani�re � pouvoir g�rer les temps compos�s et les accords de participes pass�s. Par exemple:
Elle est aim�
On a l'auxiliaire �tre + participe pass�, donc il doit y avoir accord en genre et en nombre avec le pronom personnel sujet, donc il y a erreur.

Tout cela para�t �tre un d�tail, mais ce n'est pas le cas, plus nous aurons d'informations sur les mots, plus nous pourrons construire des r�gles grammaticales par la suite, et plus elles seront pr�cises et efficaces.

[GramOOo] le lexique pour le tagging

Nous avons donc commenc� l'�tape de tagging du correcteur grammatical sur le mod�le de Gramadoir.
Pour cela, nous avons besoin d'un lexique tagg� c'est-�-dire une liste de mots avec les �tiquettes morphosyntaxiques qui leur correspondent. Nous avons choisi DICO le dictionnaire de l'ABU, la biblioth�que universelle. Il a fallut r�adapter ce dictionnaire au format dont nous avions besoin. Nous avons aussi cr�� une liste de tags qui nous serons n�cessaires.
DICO est de la forme:
abaisse abaisse Nom:Fem+SG
abaisse abaisser Ver:IPre+SG+P1:IPre+SG+P3:SPre+SG+P1:SPre+SG+P3:ImPre+SG+P2
Et Laurent a fait un programme permettant de le transformer avec les tags:
abaisse <N f s>
abaisse <V ind pres s 1>
abaisse <V ind pres s 3>
abaisse <V sub pres s 1>
abaisse <V sub pres s 3>
abaisse <V imp pres s 2>
...

Nous pouvons noter que ces tags sont tr�s proches d'une structure XML. Nous ferons dans peu de temps un autre programme permettant de transformer ces tags en r�el format XML. De celle mani�re, notre tagger pourra �tiquetter des textes en format XML, ce qui augmentera son utilit�.

Ensuite, nous avons transform� les tags en codes num�riques, ce qui nous donne le fichier suivant, moins lourd qu'un fichier balis�:
abaisse 37
abaisse 230
abaisse 236
abaisse 261
abaisse 265
abaisse 216
...

Nous avons �galement d� faire quelques modifications sur DICO. En effet, c'est un dictionnaire qui a �t� �tiquet� automatiquement, il comporte donc des bugs et quelques petites incoh�rences, parfois, d'�tiquetage.
Nous avons donc maintenant un lexique pr�t � �tre employ�, qui comporte 345338 entr�es et de nombreuses informations morphosyntaxiques qui nous seront n�cessaires. Il n'est sans doute ni parfait ni complet, mais nous pourrons le mettre � disposition de quiquonque voudra bien signaler erreurs et/ou omissions.

[GramOOo] Choix pour l'�tape de tagging

Nous avons maintenant pris une d�cision en ce qui concerne le choix d'un mod�le pour l'�tape du tagging (�tiquetage). Le tagging et les r�gles grammaticales qui d�tectent les fautes sont deux �tapes diff�rentes et qui peuvent �tre ind�pendantes. Nous avons donc �tabli deux �tapes � notre projet.
En effet, un tagger peut �tre une base pour un autre outil, et pas seulement la d�tection de fautes (par exemple le r�sum� automatique ou la cr�ation d'exercices p�dagogiques). C'est le traitement lingiustique qui est la base � toute analyse de texte.
Il est important de s'attarder sur cette phase de tagging car si elle contient trop d'erreurs, elle ne permettra pas de d�tecter les fautes grammaticales. A titre d'illustration, 10% de tagging, sur une moyenne de 10 mots par phrase repr�sentent une erreur par phrase et donc r�duirait consid�rablement la d�tection de fautes.

Donc la phase de conception d'un correcteur grammatical passe in�vitablement par la conception d'un taggeur, et � l'heure actuelle, nous avons d�cid� d'uliliser le mod�le de Gramadoir de Kevin P. Scannell. C'est un mod�le � base d'un lexique et de r�gles de d�sambigu�sation.
Nous avons choisi Gramadoir plut�t qu'un mod�le statistique car ce dernier n�cessite un corpus tagg�, que nous n'avons pas � disposition car il n'en existe pas en libres droits. De plus, comme le tagging statistique effectue un apprentissage sur corpus, l'�tiquetage est d�pendant de ce corpus, et donc s'il y a des erreurs, il n'y a aucun recours, tandis qu'avec des r�gles, on peut retrouver d'o� vient l'erreur d'�tiquetage.
Voil� les raisons qui nous ont conduis � choisir Gramadoir pour le tagging.

[GramOOo] Les diff�rentes m�thodes de tagging

Il existe plusieurs m�thodes de tagging, soit � partir de r�gles, soit � partir de probabilit�s. La m�thode bas�e sur des probabilit�s prend en entr�e un corpus �tiquet� sur lequel va s'effectuer un apprentissage automatique. Cela signifie que les r�sultats seront enti�rement d�pendants de ce corpus qui doit donc contenir un maximum de mots et sans erreurs d'�tiquetage pour �tre efficace. On peut y ajouter des r�gles qui permettront de tagger les mots inconnus. Par exemple, "si un mot se termine par -isme, c'est un nom masculin singulier".
Il n'existe � l'heure actuelle aucun corpus tagg� libre de droits, et la construction d'un tel corpus est un travail colossal devant �tre effectu� � la main par plusieurs linguistes.

La m�thode bas�e sur des r�gles s'appuie sur un lexique (ou dictionnaire) contenant des informations morphosyntaxiques, c''est-�-dire la cat�gorie, le genre, le nombre, le temps, le mode... Chaque mot est �tiquet� � partir de ce lexique, puis est d�sambigu�s� � l'aide de r�gles. Par exemple, si un mot est suivi par un adjectif et un nom, ce doit �tre un d�terminant.
Des lexiques du fran�ais libres de droits existent. On en trouve par exemple sur www.lexique.org ou http://abu.cnam.fr/DICO/mots-communs.html.
Lors d'un projet universitaire, nous avons utilis�s ces deux dictionnaires pour les fusionner et cr�er un dictionnaire destin� aux TAL (traitement automatique des langues). Malheureusement, le r�sultat n'est pas encore d�finitif et il n'est donc pas utilisable dans l'imm�diat.

Conernant les m�thodes de tagging, il a �t� r�alis� une campagne d'�valuation de corpus, GRACE (Grammaire et Ressources pour les Analyseurs de Corpus et leur �valuation) de 1994 � 1998. Cette campagne a test� plusieurs taggers et plusieurs m�thodes de tagging.

[GramOOo] R�gles d'erreurs ou r�gles prescriptives ?

M�me si nous n'en sommes pas encore arriv� l�, une grande question se pose concernant la cr�ation de r�gles grammaticales visant � d�tecter les erreurs.
Vaut-il mieux �crire des r�gles d'erreurs, c'est-�-dire d�crire toutes les erreurs possibles, ou vaut-il mieux d�crire ce qui est juste, c'est-�-dire faire des r�gles de la grammaire telle qu'elle devrait �tre (grammaire prescriptive)?
Si la phrase colle avec une r�gle, c'est qu'il y a une faute. Dans le deuxi�me, si la phrase ne colle avec aucune des r�gles, c'est qu'il y a une faute.

Cas 1: R�gles d'erreurs:
Exemple: Nfem sing + Adj fem plur = erreur
La g�n�ration de r�gles d'erreurs serait infinie. Il semble impossible ou du moins bien limit� de pouvoir d�crire toutes les fautes imaginables dans la langue. Cette m�thode � l'avantage de ne cr�er que peu ou pas de bruit, mais laisse des silences, des fautes seront oubli�es.
Le bruit est la g�n�ration de "fausses fautes", c'est-�-dire que des mots justes seront d�tect�s comme �tant faux. Le silence correspond � des fautes qui ne sont pas d�tect�es.
Dans ce cas donc, on peut dire que lorsque l'on d�tecte une faute, on peut �tre s�r que c'est une "vraie faute", mais on ne peut pas toutes les d�tecter.

Cas 2: R�gles prescriptives
La g�n�ration de r�gles dites pr�scriptives, qui d�crivent la grammaire "correcte" serait peut �tre moins longue mais apporterait �norm�ment de bruit puisque tout ce qui ne correspondra pas � ce qui a �t� d�crit comme "juste", tout ce qui ne correspondra � aucune r�gle, sera faux.
Cette m�thode pourrait donc proposer des mots faux alors qu'ils sont justes. Il faut penser � l'utilisateur, cela peut �tre g�nant qu'on nous dise que l'on a fait une erreur alors que ce n'est pas le cas.

En r�sum�:
   - r�gles d'erreurs:
       r�gles infinies
         peu de bruit, mais du silence.
   - r�gles prescriptives:
        moins de r�gles
        mais beaucoup de bruit

Je ne sais pas si j'ai �t� claire, mais nous reviendrons sur cette question...

[GramOOo] [Gramadoir] principes

Gramad�ir ( http://borel.slu.edu/gramadoir/ ) est un correcteur grammatical d�velopp� pour le ga�lique, en Perl par Kevin P. Scannell. D'autres versions sont disponibles ou en cours d'�laboration pour d'autres langues "minoritaires" telles que le wallon, le gallois, le breton, le norv�gien, le tagalog, etc.
L'entr�e de Gramad�ir est une liste de mots �tiquet�s, avec une ligne par forme, m�me pour les mots ambig�s. Par exemple:
couvent: N masc sing
couvent: V 3�me pers plur ind pr�sent

A partir de cette liste, apr�s avoir d�coup� le texte � traiter en phrases et en mots, il tagge les mots. Puis il les d�sambigu�se � l'aide de r�gles. Puis, gr�ce � des r�gles grammaticales construites � partir de tags et d'expressions r�guli�res, il d�tecte les erreurs grammaticales. Il retourne la phrase � l'utilisateur, avec la s�quence fausse en rouge en sugg�rant par exemple:
forme non conforme, utilisez plut�t /scata/.

Le programme principal est gram-xx.pl (xx �tant le code ISO 639-1 pour le pays).

Les trois fichiers de bases de r�gles sont:

Comhshuite-xx.in : Chunking
Aonchiall-xx.in : D�sambigu�sation des POS tags � partir de r�gles.
Rialacha-xx.in : R�gles d'erreurs de grammaire, et exceptions.

Toutes les fonctions Perl utilis�es sont d�crites dans le programme Gramadoir.pm.

[GramOOo] Importance du tagging

Afin de corriger des fautes de grammaire, un pr�-traitement efficace du texte est indispensable. En effet, pour reconnaitre une faute d'accord entre un nom et son adjectif par exemple, il faut avoir d�tect� sans erreur que tel mot est un nom et tel mot est un adjectif. Ceci est la phase de tagging. Il s'agit de donner une �tiquette morpho-syntaxique � chaque mot. Et il ne suffit pas seulement d'�tiqueter avec "nom" ou "adjectif", mais il est n�cesaire d'inclure des traits comme genre (f�minin, masculin) et nombre (singulier, pluriel) qui permettront de d�tecter que si l'adjectif est au masculin et que le nom est au f�minin, il y a une faute d'accord.
Cette �tape de tagging est la base du traitement pour une analyse grammaticale. Elle est indispensable et de sa qualit� et ses r�sultats d�pendront la r�daction des r�gles de d�tection d'erreurs.
De plus, en fran�ais, de nombreux mots peuvent �tre ambig�s, il est donc important de bien les traiter pour ne pas fausser la d�tection d'erreurs.

[GramOOo] [Grac] principes

Maxime Biais d�velloppe actuellement Grac, un correcteur grammatical ind�pendant d'une langue particuli�re et programm� en Python.

Grac n�cessite une phase d'apprentissage, afin de cr�er une base de connaissances probabiliste et une base de r�gles de grammaire. Il faut donc un corpus �tiquet� et un corpus ne contenant aucune erreur grammaticale.

On d�coupe le texte en phrases et en mots. On traite le texte avec un tagger afin d'�tiqueter les mots non ambigus. Puis on utilise un syst�me de probabilit�s bas� sur des encha�nements de trois tags possibles pour �tiqueter les mots ambigus. Les encha�nements possibles sont contenus dans une base.

Ensuite, on passe par deux phases de d�tection d'erreurs grammaticales (GDE). La premi�re est la phase d'apprentissage qui se base sur un corpus �tiquet�, sans erreur de grammaire pour cr��r des r�gles qui sont une liste de TAG probables. La deuxi�me phase se base sur ces r�gles pour d�terminer les erreurs. Quand on applique ces r�gles au texte � traiter, si aucune ne correspond, c'est qu'il y a une faute.

Grac ne poss�de pas encore de documentation tr�s d�taill�e car il est encore en cours de d�velloppement.

Les parties GED ne sont � l'heure actuelle pas encore d�velopp�es.

[GramOOo] [Languagetool] programmes et r�gles

Le programme de Languagetool se divise en plusieurs modules python: SentenceSplitter, Tag, tagger, chunk, Check, rules... TextChecker est le programme principal. On peut t�l�charger la derni�re version du package � l'adresse : http://sourceforge.net/cvs/?group_id=110216.
Les r�gles sont d�crites en XML dans les fichiers grammar.xml, words.xml et false_friends.xml (tous trois pr�c�d�s de en, hu, ou de selon qu'il s'agit de l'anglais, du hongrois ou de l'allemand). Les r�gles d�crites pour l'anglais corrigent surtout des fautes de proximit� orthographique ou phon�tique telle que there au lieu de their, us/use, no/now, etc.
Ces r�gles sont pr�cises et permettent de traiter beaucoup de fautes, mais n�cessiteraient d'�tre affin�es, notamment celles qui concernent les accords sujet/verbe qui ne sont pas toujours trait�s justement. Quoi qu'il en soit, elles pourront servir de mod�le � l'�criture de r�gles propres � la grammaire fran�aise.

[GramOOo] El�ments linguistiques n�cessaires

Nous n'avons pas encore d�cid� quel correcteur sera le mieux adaptable au fran�ais, mais une certitude selon moi est que pour faire un bon outil, il nous faut une analyse syntaxique compl�te : d�coupage en formes, tagging (c'est-�-dire �tiquetage morphosyntaxique), chunking (d�coupage en syntagmes verbaux, nominaux etc.).
Des outils de tagging existent. Certains sont probalilistes, d'autres bas�s sur des r�gles (par exemple WinBrill) et d'autres, comme celui de languagetool combinent r�gles et probabilit�s.
Winbrill, cr�� par Eric Brill est un bon �tiquetteur dont on pourra s'insirer.
Nous aurons �galement besoin d'un corpus �tiquet� du fran�ais pour la phase d'apprentissage du tagger. De la finesse des tags d�pendra la qualit� du traitement et donc du correcteur.

[GramOOo] [Languagetool] Principes

Languagetool est un correcteur de style et de grammaire pour l'anglais cr�� par Daniel Naber. Il est �crit en Python.
C'est un syst�me � rule-based �, c'est-�-dire bas� sur des r�gles syntaxiques �crites � la main.
Il proc�de � plusieurs �tapes d'analyse grammaticale.
Il faut d�couper le texte en phrases, puis � chaque espace pour obtenir une liste de mots. Il �tiquette ces mots (phase de tagging), puis il d�coupe en syntagmes (chunks) c'est-�-dire des groupes nominaux, verbaux etc. Ensuite, il applique des r�gles �crites en XML.
Le tagging est bas� sur des probabilit�s et des r�gles. Il cr�� deux tableaux associatifs. Le premier expose le mot, son �tiquette (c'est-�-dire sa cat�gorie grammaticale et des informations morphologiques) et la probabilit� qui correspond au tag. Le deuxi�me montre une suite de deux tags avec la probabilit� correspondant � cette s�quence (par exemple sequence [(DET, AJ0)] = 0,1] signifie que la probabilit� qu'un adjectif suive un d�terminant est de 0,1).
Plusieurs mots peuvent �tre ambigus, on prend alors une suite une s�quence de trois mots et on regarde les probabilit�s que ces trois mots se suivent (par exemple qu'un d�terminant soit suivit d'un nom et d'un adjectif) et on s�lectionne la plus haute probabilit�. On avance d'un mot et on continue le traitement.
Daniel Naber ajoute une phase � son tagger probabiliste. Si le r�sultat du tagger n'est pas correct et des mots n�cessites d'�tre d�sambigu�s�s, des r�gles �crites manuellement sont appliqu�es.
Ensuite vient la phase de chunking qui est bas�e sur des r�gles. Par exemple, un NP (noun phrase c'est-�-dire un syntagme nominal) se compose d'un d�terminant et d'un nom.
Enfin vient la phase de grammaire bas�e sur de r�gles XML. Ces r�gles sont d�pendantes des �tiquettes. Elles se composent de plusieurs �l�ments :
- id et name qui sont l'identifiant et le nom de la r�gle
- pattern qui d�crit ce qui est incorrect,
- message qui est l'�nonciation de la r�gle et qui est destin� � l'utilisateur, et
- example qui est l'exemple de l'erreur.
On a par exemple une r�gle d'accord sujet verbe.

Un correcteur grammatical pour OOo

Je suis nouvelle stagiaire chez Nuxeo/Indesko. J'ai commenc� hier � travailler pour le projet qui vise � d�velopper un correcteur grammatical pour la suite de OpenOffice.org. C'est un gros projet qui lorsqu'il sera men� � bien sera tr�s utile et tr�s utilis� je pense! Mais il n'en est qu'� son commencement, il ne faut pas prendre ce qui suit pour d�finitif.

Plusieurs correcteurs existent d�j� dans diff�rentes langues, nous en avons retenu trois pour nous servir de mod�les : GRAC, languagetool et Gramad�ir.

Grac, � GRAmmar Checker �, (http://grac.sourceforge.net/) est d�velopp� en Python par Maxime Biais. Il est bas� sur un algorithme d'apprentissage, et se veut ind�pendant d'un langage particulier. C'est un mod�le probabiliste. Ce projet en est � son tout d�but.

Languagetool, de Daniel Naber (http://www.danielnaber.de/languagetool/), �galement programm� en Python, est un correcteur de grammaire et de style pour l'anglais, bas� sur un syst�me de r�gles (une quarantaine). Le traitement s'effectue en plusieurs phases:

d�coupage en phrases
tagging qui est l'�tiquetage des mots (ex: N, V, ADJ, ...)
d�coupage en chunks, c'est-�-dire en propositions (ex: syntagme nominal, syntagme verbal, ...)
application de r�gles �crites � la main.

Gramad�ir est un correcteur ga�lique d�velopp� en Perl par Kevin P. Scannell (http://borel.slu.edu/gramadoir/). Il est bas� sur des r�gles et sur le � pattern matching �. Il se compose de plusieurs � filtres � qui d�coupent en mots, les �tiquettent, recherchent les erreurs grammaticales etc.

Une fois l'�tude de ces trois correcteurs termin�e, il nous faudra ensuite choisir celui qui sera le mieux adaptable au fran�ais pour l'�tendre aux r�gles grammaticales fran�aises. L'objectif final reste son insertion dans OpenOffice.org (tout en restant disponible pour d'autres projets).