This paper proposes relation-based sequence representation that enhances offline handwritten mathematical expressions (HMEs) recognition. Commonly, a LaTeX-based sequence represents the 2D structure of an HME as a 1D sequence. Consequently, the LaTeX-based sequence becomes longer, and HME recognition systems have difficulty in extracting its 2D structure. We propose a new representation for HMEs according to the relations of symbols, which shortens the LaTeX-based representation. We use an offline end-to-end HME recognition system that adopts weakly supervised learning to evaluate the proposed representation. Recognition experiments indicate that the proposed relation-based representation helps the HME recognition system achieve higher performance than the LaTeX-based representation. In fact, the HME recognition system achieves recognition rates of 53.35%, 52.14%, and 53.13% on the dataset of the Competition on Recognition of Online Handwritten Mathematical Expressions (CROHME) 2014, 2016, and 2019, respectively. These results are more than 2 percentage points higher than the LaTeX-based system.

Relation-Based Representation for Handwritten Mathematical Expression Recognition.

Im Fokus informationstechnischer Entwicklung stehen zunehmend neue, multimodale Interaktionskonzepte zwischen Mensch und Maschine, die sich in der Gestaltung der Anwendungsschnittstelle niederschlagen. Dabei sind Losungen gesucht, die Benutzern mit unterschiedlichsten Vorkenntnissen einen unkomplizierten, annahernd naturlichen und intuitiven Umgang mit Computern ermoglichen. Die Frage, wie der breitere Informationsaustausch in der Mensch-Maschine-Interaktion gestaltet werden soll, wird in einem Projekt des Heinrich-Hertz-Instituts Berlin (HHI) untersucht, in dem ein experimentelles Multimodalsystem entwickelt wird. Die vorgestellte empirische Untersuchung zur Blickinteraktion sollte mittels Leistungsdaten (Bearbeitungszeit und Fehler), subjektiver Einschatzung der Beanspruchung und subjektiver Praferenz zur Auswahl einer Gestaltungsvariante dienen. Die Ergebnisse zeigen, dass bei blickgestutzter Mensch-Computer-Interaktion mit zuverlassiger Blickortbestimmung eine Ruckmeldung der gemessenen Blickkoordinaten nicht erforderlich ist.

Untersuchung von Gestaltungsvarianten blickgestützter Mensch-Computer-Interaktion

http://ieeexplore.ieee.org/iel4/6046/16151/00748166.pdf

R.V. Cox

Papers

Multiple Perspectives On Multimedia [Editorial]