Data Mining Practical Machine Learning Tools and Techniques

How to Do Things With Words

We consider the problem of classifying documents not by topic, but by overall sentiment, e.g., determining whether a review is positive or negative. Using movie reviews as data, we flnd that standard machine learning techniques deflnitively outperform human-produced baselines. However, the three machine learning methods we employed (Naive Bayes, maximum entropy classiflcation, and support vector machines) do not perform as well on sentiment classiflcation as on traditional topic-based categorization. We conclude by examining factors that make the sentiment classiflcation problem more challenging.

/pdf/thumbs-up-sentiment-classiflcation-using-machine-learning-1m4vdmh1b0.pdf

Thumbs up? Sentiment Classiflcation using Machine Learning Techniques

http://cfile28.uf.tistory.com/attach/23159E3D57117DF7107077

Twitter mood predicts the stock market.

The measurement of meaning

This paper presents the outcomes of the MAPA project, a set of annotated corpora for 24 languages of the European Union and an open-source customisable toolkit able to detect and substitute sensitive information in text documents from any domain, using state-of-the art, deep learning-based named entity recognition techniques. In the context of the project, the toolkit has been developed and tested on administrative, legal and medical documents, obtaining state-of-the-art results. As a result of the project, 24 dataset packages have been released and the de-identification toolkit is available as open source.

MAPA Project: Ready-to-Go Open-Source Datasets and Deep Learning Technology to Remove Identifying Information from Text Documents

Dans cette démonstration, nous présenterons les travaux en cours pour l’annotation d’un nouveau corpus de questions-réponses en langue Française. Contrairement aux corpus existant comme “FQuad” ou “Piaf”, nous nous intéressons à l’annotation de questions-réponses “non factuelles”. En effet, si dans la littérature, de nombreux corpus et modèles de questions-réponses pré-entraînés sont disponibles, ceux-ci ne privilégient que rarement les annotations s’appuyant sur un schéma de raisonnement issue de l’agrégation de différentes sources ou contextes. L’objectif du projet associé est de parvenir à la création d’un assistant virtuel pour l’éducation, ainsi des réponses explicatives, de raisonnement et/ou d’agrégation de l’information sont à privilégier. Notons enfin, que la volumétrie des données doit être conséquente, en particulier par la considération d’approches neuronales génératives ou extractives. Actuellement, nous disposons de 262 questions et réponses obtenues durant l’étape de validation de la campagne d’annotation. Une deuxième phase d’annotation avec une volumétrie plus importante débutera fin mai 2022 (environ 8000 questions).

Un corpus annoté pour la génération de questions et l’extraction de réponses pour l’enseignement (An annotated corpus for abstractive question generation and extractive answer for education)

In this paper, we present the 2014 DEFT text mining shared task, dedicated to the analysis of literature texts (corpus Short Edition) and scientific texts (TALN archives) through four tasks: identifying the literary type, eval- uating writing quality, determining whether the quality of a work achieves consensus among the reviewers, and finally identifying the conference session of a scientific paper. In order to evaluate the results, we used normalized discounted cumulative gain (NDCG, task 1), accuracy of the relative distance to the mean solution (EDRM, task 2), precision (task 3), and correction (task 4). The results obtained by the participants are highly contrasted and reveal the difficulty of each task, although one system reached the maximal performance in task 4. Mots-cles : Fouille d'opinion, classification automatique, evaluation.

Analyse automatique de textes littéraires et scientifiques : présentation et résultats du défi fouille de texte DEFT2014

AppFM 1 est un outil a mi-chemin entre un environnement de creation de chaines modulaires de TAL et un gestionnaire de services systemes. Il permet l’integration d’applications ayant des dependances complexes en des chaines de traitements reutilisables facilement par le biais de multiples interfaces.

AppFM, une plate-forme de gestion de modules de TAL (AppFM, a tool for managing NLP modules).

Le traitement informatique du langage a privilegie depuis trente ans les methodes d’apprentissage automatique qui ont permis des avancees technologiques operationnelles dans un nombre croissant d’applications. Celles-ci ont ete rendues possibles par la disponibilite de corpus d’apprentissage, par le developpement du paradigme d’evaluation (shared tasks) et par la creation d’infrastructures d’evaluation de technologie. Mais les corpus doivent etre de taille suffisante pour representer la realite linguistique et toutes les langues ne disposent pas des ressources appropriees ni des moyens pour les produire. Les experiences ont montre que la taille des donnees d’apprentissage peut remplacer la complexite algorithmique ou les connaissances expertes, mais a-t-on atteint les limites de ce type d’approche ?

Patrick Paroubek

Papers

MAPA Project: Ready-to-Go Open-Source Datasets and Deep Learning Technology to Remove Identifying Information from Text Documents

Un corpus annoté pour la génération de questions et l’extraction de réponses pour l’enseignement (An annotated corpus for abstractive question generation and extractive answer for education)

Analyse automatique de textes littéraires et scientifiques : présentation et résultats du défi fouille de texte DEFT2014

AppFM, une plate-forme de gestion de modules de TAL (AppFM, a tool for managing NLP modules).

De l’évaluation et ses ressources en traitement automatique des langues