Myriam Lechelt

[GramOOo] M�moire et Slides

mlechelt — 2005-11-30

Voici le m�moire de stage et les slides de soutenance de Myriam

La qualit� de son travail linguistique a �t� soulign� par ses examinateurs. Ce rapport est assur�ment un document fondateur pour plusieurs d�veloppements ult�rieurs pour des outils linguistiques libres.

Son travail pr�liminaire est int�gr� � Gramadoir, correcteur grammatical libre de Kevin Scannel, de l'universit� de Saint Louis, disponible ici : http://borel.slu.edu/gramadoir/

Laurent Godard.

[GramOOo] Bilan

mlechelt — 2005-06-02

J'arrive bient�t � la fin de mon stage chez Nuxeo/Indesko.
Le projet du correcteur grammatical n'est �videmment pas fini, mais nous arrivons � quelques r�sultats encourageants pour la suite.

D'ici � la fin du mois, sera disponible mon rapport de stage. Celui-ci pr�sentera tout le travail effectu�, les r�sultats, les limites du syst�me et les perspectives futures.
Il servira de guide � quiconque continuera le projet.

Ce stage marquant la fin de mes �tudes, j'aurai moi-m�me la possibilit� d'y contribuer encore un peu...

[GramOOo] petite r�ctification

mlechelt — 2005-04-29

A mon grand regret, j'ai appris que malgr� que �tait consid�r� comme correct par l'accad�mie fran�aise.

J'ai donc retir� cette r�gle de mon correcteur, qui dor�navant ne marquera plus malgr� que comme faux.

[GramOOo] Premiers exemples de fautes corrig�es

mlechelt — 2005-04-27

Nous avons choisi de continuer avec l'outil Gramadoir pour la phase de grammaire.
Apr�s la cr�ation de quelques r�gles, on peut montrer quelques exemples de sortie.
Gramadoir renvoie la phrase, les fautes sont not�es en rouge et sur la deuxi�me ligne appara�t un message qui d�crit l'erreur.

Il faut pr�ciser que ces messages ne sont pas d�finitifs. Pour le moment, nous avons juste test� si les r�gles s'appliquaient correctement. Nous reviendrons sur le sujet.

Voici donc une copie de la console qui donne la sortie de Gramadoir:

1: Ceci est un tests avec des grosse fautes .
Faute d'accord.

1: Ceci est un tests avec des grosse fautes .
Faute d'accord.

1: Malgr� que je sois linguiste , je r�digent des fautes �norme.
Cette combinaison de mots n'est pas correcte.

1:Malgr� que je sois linguiste , je r�digent des fautes �norme.
Faute d'accord entre le sujet et le verbe.

1:Malgr� que je sois linguiste , je r�digent des fautes �norme.
Faute d'accord.

2: Se test montre que sa fonctionne.
Faute.

2: Se test montre que sa fonctionne.
Faute.

3: Elles sont recherch� mes fautes .
Faute d'accord du participe pass�.

4: ils parle de �a soeur
Faute d'accord.

4: ils parle de �a soeur
Faute.

[GramOOo] tests de r�gles grammaticales et construction des r�gles

mlechelt — 2005-04-22

Je suis en train de tester quelques r�gles grammaticales sur les deux moteurs, Gramadoir et Languagetool, pour voir celui qui serait le mieux adaptable au fran�ais.

Nous l'avons dit, nous aurons besoin de travailler sur deux niveaux, que nous avons appel�s "intrachunk" et "interchunk". Le premier concerne les r�gles qui d�finissent des erreurs au sein d'un chunk, � savoir des accords de type nom-adjectifs. Le deuxi�me niveau va permettre de corriger des fautes d'accords sujet-verbes par exemple.

Nous commencerons par les r�gles intrachunks.
Un exemple avec Gramadoir:
<D f s>ANYTHING</D> <J f p>ANYTHING</J> <N f s>ANYTHING</N>:ERREURACCORD

Un d�terminant f�min singulier, suivit d'un adjectif f�minin pluriel, suivit d'un nom f�minin singulier est une faute, car il n'y a pas unification du trait nombre.

<D m s>ANYTHING</D> <J f p>ANYTHING</J> <N f s>ANYTHING</N>:ERREURACCORD
<D f s>ANYTHING</D> <J f s>ANYTHING</J> <N m s>ANYTHING</N>:ERREURACCORD
<D f p>ANYTHING</D> <J f p>ANYTHING</J> <N f s>ANYTHING</N>:ERREURACCORD

Notre lexique comporte 6 types de d�terminants, 9 d'adjectifs et 9 de noms, plus de nombreux verbes. Je vous laisse calculer le nombre de combinaisons possibles pour d�crire les erreurs... En effet, les syst�mes d�crivent des r�gles d'erreurs et supposent donc de pr�voir toutes les erreurs possibles (ou du moins le plus possibles).

C'est pour cela que nous avons d�cid� de g�n�rer automatiquement les r�gles. Nous commen�ons par g�n�rer toutes les combinaisons possibles et nous supprimons celles qui sont correctes.

Pour l'instant nous n'avons g�n�r� que les cas suivants:
<D ...> <N ...>
<D ...> <J ...> <N ...>
<D ...> <J ...> <J ...> <N ...>
Nous obtenons alors 4244 r�gles d'erreurs.

Reste � savoir si les syst�mes ne seront pas "perturb�s" par de si nombreuses r�gles...

[GramOOo] n�cessit� d'un segment interm�diaire entre les mots et la phrase

mlechelt — 2005-04-15

En examinant quelques fautes de fran�ais, et en se demandant comment il est possible de les corriger, on se rend vite compte de la difficult� � laquelle on est confront�.

Nous avons d�sambigu�s� les mots par rapport au contexte imm�diat, gauche ou droit. On voit bien qu'on pourra faire la m�me chose pour corriger un accord entre un nom et un adjectif par exemple.
Si un adjectif masculin singulier est suivit d'un nom f�minin singulier, il y a faute, car il n'y a pas concordance, unification des traits.

Mais prenons la phrase suivante:

* La gr�ve des lyc�ens continuent.
( l'ast�risque signifie que la phrase est agramaticale)

Comment le programme va-t-il d�tecter que le verbe continuer doit s'accorder avec le nom gr�ve et non pas lyc�ens si on se base uniquement sur le contexte imm�diat?
Nous avons besoin d'un segment interm�diaire entre les mots et la phrase. On parle de syntagme (groupe) ou de chunk (notion introduite par Abney).
Pour l'exemple, on pourrait effectuer le d�coupage suivant:

* [La gr�ve [des lyc�ens]] [continuent].

[ ] est un syntagme nominal (SN)
[ ] est un syntagme verbal (SV)
[ ] est un syntagme pr�positionnel (SP)

Chaque syntagme comporte une t�te qui est l'�l�ment principal: nom, verbe, pr�position (ici de car des est la contraction de de les), etc.
Le SN s'accorde avec le SV. Si le propri�t�s du SN ne correspondent pas � celles du SV, alors il y a faute.
Ici, le SN est f�minin singulier, le verbe est au pluriel, il y a pas d'unification de traits, il y a faute.

Si notre outil ne se limite pas seulement aux mots et permet la notion de groupes sup�rieurs, nous pourrons alors corriger bien des fautes.

[GramOOo] [tagging] Pr�cision et d�cision, fin du tagging

mlechelt — 2005-04-08

Nous arrivons � la fin du temps que nous avions fix� pour l'�tape de tagging.
Bien s�r, il reste encore beaucoup de travail, on ne peut pas avoir un excellent outil en si peu de temps.

Toujours est-il que nous avons atteint 98,47 % de d�cision et 84,4 % de pr�cision (uniquement sur les cat�gories grammaticales).
Nous avons pu am�liorer notre base de r�gles "brutes" (r�gles par d�faut), gr�ce � un article de J. Vergne et E. Giguet.

M�me si le tagger n'est pas parfait, ceci pourra faire l'objet d'un prochain travail, nous commen�ons maintenant l'�tape de d�tection d'erreurs grammaticales.

La premi�re chose � faire, est de choisir parmi les deux outils d�vellop�s libres dont nous disposons : continuer avec Gramadoir, ou choisir Language tool?

[GramOOo] [tagging] Pr�cision et d�cision (premiers r�sulats)

mlechelt — 2005-04-05

Nous avons pu nous procurer les outils de la campagne de GRACE afin de mesurer l'avancement de notre tagger.
Nous avions d�j� mesur� la d�cision qui atteint, apr�s l'ajout de quelques r�gles "brutes", un taux de 97%. Cela signifie que 97 mots reconnus sur 100 (les mots inconnus n'entrent pas en compte) ne sont pas ambigus.
Pour mesurer si ces mots sont correctement �tiquet�s, il nous faut le taux de pr�cision. Pour le moment, comme nous travaillons encore sur ces mesures nous avons pu comparer uniquement les cat�gories grammaticales (noms, verbes, pronoms, etc.) et nous avons obtenu un taux de 73%.
73% des mots sont donc �tiquet�es correctement vis-�-vis de leurs cat�gories grammaticales.
La perfection serait �videmment d'atteindre 100 % tant en d�cision qu'en pr�cision (ce qui se traduit par une position en haut � droite sur le graphique d�cision/pr�cision).
Mais en attendant, il nous faut faire un choix en fonction du moteur de grammaire qui va d�tecter les fautes.
Peut-on garder des ambigu�t�s ou faut-il que chaque mot ne comporte absolument qu'une seule �tiquette quitte � ce que celle-ci ne soit pas forc�ment correcte? En effet, gagner en d�cision peut faire perdre en pr�cision et inversement.
Les r�gles "brutes" qui disent par exemple que "n'importe quel nom ambigu est un nom", permettent de friser les 100% de d�cision (les mots ne sont plus ambigus). Mais elles n�cessitent d'�tre affin�es si l'on veut progresser en pr�cision.

[GramOOo] [tagging] petit test

mlechelt — 2005-03-29

J'ai test� notre tagger avec le petit texte suivant :

Voici une blague de Toto qui fait du surf. Seulement, sur la piste, la neige est mauvaise, elle a fondu. Et Toto qui ne sait pas surfer se casse la figure. Alors il hurle:
"Dor�navant je ne ferai plus de surf le week-end de P�ques !"
Les personnes qui ont ski� ce week-end comprendront. Je sais, ce texte ne fait pas trop rigoler. Je voulais voir la fa�on dont il �tait d�sambigu�s�. Il est d�sambigu�s� !

Voici la sortie du tagger sans qu'aucune r�gle ne soit appliqu�e:
Les mots ambigus sont entre balises 

<?xml version="1.0" encoding="utf-8" standalone="no"?>
<!DOCTYPE teacs SYSTEM "/dtds/gramadoir.dtd">
<teacs>
<line> <Z><A/></Z> Voici <Z><D f s/><J f s/><N f s/></Z>une <Z><N f s/><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>blague de <N m s>Toto</N> <R rel e sp>qui</R> <Z><J m s/><N m s/><V ind pres 3 s/><V ppa m s/></Z>fait <D m s>du</D> <N m s>surf</N>. </line>
<line> <A>Seulement</A>, <Z><J m s/></Z>sur <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <N f s>piste</N>, <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <Z><N f s/><V ind pres 3 s/><V sub pres 3 s/></Z>neige <Z><J e p/><J e s/><N m s/><V etre ind pres 3 s/></Z>est <Z><J f s/><N f s/></Z>mauvaise, <R pers suj 3 f s>elle</R> <Z><N m sp/><V avoir ind pres 3 s/></Z>a <Z><J m s/><N m s/><V ppa m s/></Z>fondu. </line>
<line> <C coor>Et</C> <N m s>Toto</N> <R rel e sp>qui</R> <A>ne</A> <V ind pres 3 s>sait</V> <Z><A/><N m sp/></Z>pas <V inf>surfer</V> <R pers obj 3 sp>se</R> <Z><N f s/><N m s/><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>casse <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <Z><N f s/><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>figure. </line>
<line> <A>Alors</A> <R pers suj 3 m s>il</R> <Z><V imp pres 2 s/><V ind pres 1 s/><V ind pres 3 s/><V sub pres 1 s/><V sub pres 3 s/></Z>hurle: "<A>Dor�navant</A> <R pers suj 1 s>je</R> <A>ne</A> <V ind futu 1 s>ferai</V> <Z><A/><D e p/><D e s/><N m sp/><V ind psim 1 s/><V ind psim 2 s/><V ppa m p/></Z>plus de <N m s>surf</N> <Z><D m s/><R pers obj 3 m s/></Z>le <N m s>week-end</N> de <N f p>P�ques</N> !" </line>
<line> <R pers suj 1 s>Je</R> <Z><V ind pres 1 s/><V ind pres 2 s/></Z>sais, <Z><D m s/><R dem e s/></Z>ce <N m s>texte</N> <A>ne</A> <Z><J m s/><N m s/><V ind pres 3 s/><V ppa m s/></Z>fait <Z><A/><N m sp/></Z>pas <A>trop</A> <V inf>rigoler</V>. </line>
<line> <Z><D e p/><R pers obj 3 p/></Z>Les <N f p>personnes</N> <R rel e sp>qui</R> <V avoir ind pres 3 p>ont</V> <V ppa m s>ski�</V> <Z><D m s/><R dem e s/></Z>ce <N m s>week-end</N> <V ind futu 3 p>comprendront</V>. </line>
<line> <R pers suj 1 s>Je</R> <Z><V ind impa 1 s/><V ind impa 2 s/></Z>voulais <V inf>voir</V> <Z><D f s/><N m sp/><R pers obj 3 f s/></Z>la <N f s>fa�on</N> <R rel e sp>dont</R> <R pers suj 3 m s>il</R> <V etre ind impa 3 s>�tait</V> <Z><J m s/><V ppa m s/></Z>d�sambigu�s�. </line>
</teacs>

Et voici la sortie apr�s application des r�gles :

<?xml version="1.0" encoding="utf-8" standalone="no"?>
<!DOCTYPE teacs SYSTEM "/dtds/gramadoir.dtd">
<teacs>
<line> Voici <D f s>une</D> <N f s>blague</N> de <N m s>Toto</N> <R rel e sp>qui</R> <V ind pres 3 s>fait</V> <D m s>du</D> <N m s>surf</N>. </line>
<line> <A>Seulement</A>, sur <D f s>la</D> <N f s>piste</N>, <D f s>la</D> <N f s>neige</N> <V etre ind pres 3 s>est</V> <J f s>mauvaise</J>, <R pers suj 3 f s>elle</R> <V avoir ind pres 3 s>a</V> <V ppa m s>fondu</V>. </line>
<line> <C coor>Et</C> <N m s>Toto</N> <R rel e sp>qui</R> <A>ne</A> <V ind pres 3 s>sait</V> <A>pas</A> <V inf>surfer</V> <R pers obj 3 sp>se</R> <V ind pres 1 s>casse</V> <D f s>la</D> <N f s>figure</N>. </line>
<line> <A>Alors</A> <R pers suj 3 m s>il</R> <V ind pres 1 s>hurle</V>: "<A>Dor�navant</A> <R pers suj 1 s>je</R> <A>ne</A> <V ind futu 1 s>ferai</V> <A>plus</A> de <N m s>surf</N> <D m s>le</D> <N m s>week-end</N> de <N f p>P�ques</N> !" </line>
<line> <D e s>Les</D> <N f p>personnes</N> <R rel e sp>qui</R> <V avoir ind pres 3 p>ont</V> <V ppa m s>ski�</V> <D m s>ce</D> <N m s>week-end</N> <V ind futu 3 p>comprendront</V>. </line>
<line> <R pers suj 1 s>Je</R> <V ind pres 1 s>sais</V>, <D m s>ce</D> <N m s>texte</N> <A>ne</A> <V ind pres 3 s>fait</V> <A>pas</A> <A>trop</A> <V inf>rigoler</V>. </line>
<line> <R pers suj 1 s>Je</R> <V ind impa 1 s>voulais</V> <V inf>voir</V> <D f s>la</D> <N f s>fa�on</N> <R rel e sp>dont</R> <R pers suj 3 m s>il</R> <V etre ind impa 3 s>�tait</V> <V ppa m s>d�sambigu�s�</V>. </line>
<line> <R pers suj 3 m s>Il</R> <V etre ind pres 3 s>est</V> <V ppa m s>d�sambigu�s�</V> ! </line>
</teacs>

[GramOOo] [tagging] ordre des r�gles et plusieurs passages

mlechelt — 2005-03-29

L'ordre des r�gles est tr�s important dans Gramadoir. La premi�re que trouve le programme est appliqu�e. Il faut donc mettre les plus g�n�rales � la fin.
Si le contexte qui sert � d�sambigu�ser est lui m�me ambigu, la r�gle ne s'applique pas.
Prenons les trois mots suivants:

<line> <R pers suj 3 f s>elle</R> <V etre ind pres 3 s>est</V> <V ppa f s>prise</V> </line>

"Elle" n'est pas ambigu. Il permet de d�sambigu�ser "est" qui peut �tre un nom, un adjectif ou le verbe �tre. S'il est pr�c�d� d'un pronom personnel, alors c'est un verbe. Ensuite, il faut que la r�gle qui concerne la d�sambigu�sation du participe pass� soit plac�e apr�s, sinon, elle ne va pas s'appliquer si "est" n'est pas encore desambigu�s�. Mais par contre, il faut qu'elle soit plac� avant les r�gles sur l'indicatif sinon prise sera �tiquet� :

<V ind pres 1 s>prise</V> (verbe priser)

Prenons maintenant le cas "il s'est tu". Mettons de c�t� le probl�me du pronom "se" car nous en l'avons pas encore trait�. Si l'on place la r�gle des participes apr�s celle qui dit que "tu" par d�faut et un pronom personnel (de m�me que "il"), on aura:

<line> <R pers suj 3 m s>il</R> s' <V etre ind pres 3 s>est</V> <R pers suj 2 s>tu</R> </line>.

"Tu" est �tiquet� comme un pronom personnel.
Ceci est probl�matique car la r�gle des pronoms personnels n�cessite d'�tre plac�e avant la d�sambigu�sation de verbes sinon cette derni�re ne peut pas se faire.

On pourrait donc avoir besoin de deux passages pour l'application des r�gles. Mais ceci serait-il vraiment n�cessaire? Le mot n'attendra pas le deuxi�me passage pour se d�sambigu�ser, il matchera la premi�re r�gle qu'il trouvera.