Showing papers by "Patrick Paroubek published in 2002"

Méthodologies d'évaluation des systèmes de dialogue parlé : réflexions et expériences autour de la compréhension

Abstract: L'evaluation des systemes de dialogue oral homme-machine est un probleme qui suscite une activite scientifique importante dont temoignent les projets EAGLES, DISC, AUPELF ARCB2, COMMUNICATOR. Actuellement, on cherche des solutions automatiques pour reduire les couts de developpement et pour comparer les approches au moyen d'indicateurs fiables avec des techniques d'evaluation generiques, independantes du systeme et de la tâche. Jusqu'a present, la plupart des evaluations ont ete effectuees, soit en considerant le systeme de dialogue dans sa globalite, soit sur des mesures locales independantes du contexte dialogique. Apres un tour d'horizon des methodes existantes, nous relatons nos experiences notamment d'application du paradigme PARADISE et proposons une methodologie de l'evaluation des capacites de comprehension en contexte des systemes de dialogue: PEACE.

A Protocol for Evaluating Analyzers of Syntax (PEAS)

Abstract: Providing a comparative framework for parsers is a task that has already been tried in the past, e.g. (Abeille, 1991), (Atwell and Sutcliffe, 1997), (Black et al., 1991), and studied in the literature (Black, 1993), (Black, 1994), (Carroll et al., 1998), (Gaizauskas et al., 1998), (WEPS-98, ), (Mengel and Lezius, 2000), but mainly for English. In this paper, we present PEAS: a Protocol for Evaluating Analyzers of Syntax (in French: Protocole d’Evaluation pour les Analyseurs Syntaxiques), based on an ongoing experiment at LIMSI which aims at developing and testing a generic quantitative black-box evaluation protocol for parsers of French. Two fully operational parsers will be used to test the evaluation protocol; they are: the parser (Giguet and Vergne, 1997) developed at GREYC (Caen University) and the latest version of the parser developed at Rank Xerox Research Center in Grenoble (Ait-Mokhtar and Chanod, 1997)