Répondre à des questions à réponses multiples : premières expérimentations
Résumé
Question-answering systems have multiples problems dealing with answer extraction from retrieved documents, especially when cross-checking is needed for questions expecting multiple answers. We focused on answer extraction and answer crossing by building an ideal corpus for a dozen of multiple answer questions. We performed a fine-grained evaluation on each strategy for answer extraction and validation. We compare the results of two question- answering systems : FIDJI which has successfully participated to several evaluation campaigns and Citron which is designed for multiple answer extraction and cross-checking.
Une des difficultés majeures des systèmes de question-réponse concerne l'extraction des bonnes réponses depuis les documents sélectionnés par un moteur de recherche. En effet, il est souvent difficile de procéder à un recoupement des candidats réponses, notamment dans le cas des questions qui attendent plusieurs réponses. Afin de nous focaliser sur les condi- tions d'extraction et de recoupement de réponses multiples, nous avons construit un corpus en u conditions idéales » pour une dizaine de questions à réponses multiples. Nous mesurons en- suite l'apport de plusieurs techniques d'extraction et de validation des réponses et comparons les résultats obtenus sur ce corpus par deux systèmes de question-réponse : celles du système de question-réponse FIDJI (orienté vers les campagnes d'évaluation) et celles de Citron spécialisé dans l'extraction et le recoupement de réponses multiples.
Origine : Fichiers produits par l'(les) auteur(s)