Beste Bewertungsmethode für Echtzeit-Maschinenübersetzung?

Question

Ich bin mir bewusst, dass es viele verschiedene Methoden wie BLEU, NIST, METEOR usw. gibt. Sie alle haben ihre Vor- und Nachteile, und ihre Wirksamkeit unterscheidet sich von Korpus zu Korpus. Ich interessiere mich für die Übersetzung in Echtzeit, so dass zwei Personen eine Konversation führen können, indem sie jeweils ein paar Sätze eingeben und sofort übersetzen lassen.

Welche Art von Korpus würde dies zählen? Wäre der Text zu kurz, um mit den meisten herkömmlichen Methoden richtig bewertet zu werden? Würde die Tatsache, dass der Sprecher ständig wechselt, den Kontext schwieriger machen?

Answer 1

Was für Sie fragen, gehört zur Domäne von Konfidenzschätzung, heute (innerhalb der Machine Translation (MT) Gemeinschaft), besser bekannt als Qualitätsschätzung, dh „die Zuordnung einer Punktzahl zu MT Ausgang ohne Zugang zu eine Referenzübersetzung ".

Für MT Auswertung (mit BLEU, NIST oder METEOR) benötigen Sie:

1. Eine Hypothese Übersetzung (MT-Ausgabe)
2. Eine Übersetzung Referenz (aus einem Test-Set)

In Ihr Fall (Echtzeit-Übersetzung), haben Sie nicht (2). Sie müssen also die Leistung Ihres Systems abschätzen, basierend auf den Merkmalen Ihres Quellsatzes und Ihrer Hypothesenübersetzung und auf dem Wissen, das Sie über den MT-Prozess haben.

Ein Baseline-System mit 17 Merkmalen ist beschrieben in:

• Spezialfut, L., Turchi, M., Cancedda, N., Dymetman, M., & Cristianini, N. (2009b). Schätzung der Satzqualität von maschinellen Übersetzungssystemen. 13. Konferenz der Europäischen Vereinigung für Maschinelle Übersetzung, (pp. 28-37)
• Welche Sie here

Qualitätsschätzung finden kann, ist ein aktives Forschungsgebiet. Die neuesten Fortschritte können auf den Websites der WMT-Konferenzen verfolgt werden. Suchen Sie nach den freigegebenen Aufgaben zur Qualitätsschätzung, z. B. http://www.statmt.org/wmt17/quality-estimation-task.html