Buchbeitrag
Statistisch basierte Sprachmodelle und maschinelle Übersetzung
Statistische Methoden finden derzeit in der Sprachtechnologie vielfache Verwendung. Ein Grundgedanke dabei ist das Trainieren von Programmen auf große Mengen von Daten. Für das Trainieren von statistischen Sprachmodellen gilt zur Zeit das Motto „Je mehr Daten desto besser“. In unserem System zur maschinellen Übersetzung sehen wir eine fast konstante qualitative Verbesserung (gemessen als BLEU-Score) mit jeder Verdoppelung der monolingualen Trainingsdatenmenge. Selbst bei Mengen von ca. 20 Milliarden Wörtern aus Nachrichtentexten und ca. 200 Milliarden Wörtern aus Webseiten ist kein Abflachen der Lernkurve in Sicht. Dieser Artikel gibt kurze Einführungen in statistische maschinelle Übersetzung, die Evaluation von Übersetzungen mit dem BLEU-Score, und in statistische Sprachmodelle. Wir zeigen, welch starken Einfluß die Größe der Trainingsdaten des Sprachmodells auf die Übersetzungsqualität hat. Danach wird die Speicherung großer Datenmengen, das Trainieren in einer parallelen Architektur und die effiziente Verwendung der bis zu 1 Terabyte großen Modelle in der maschinellen Übersetzung beschrieben.
- Language
-
Deutsch
- Subject
-
Maschinelle Übersetzung
Korpus <Linguistik>
Germanische Sprachen; Deutsch
- Event
-
Geistige Schöpfung
- (who)
-
Brants, Thorsten
- Event
-
Veröffentlichung
- (who)
-
Berlin [u.a.] : de Gruyter
- (when)
-
2018-09-25
- Last update
-
06.03.2025, 9:00 AM CET
Data provider
Leibniz-Institut für Deutsche Sprache - Bibliothek. If you have any questions about the object, please contact the data provider.
Object type
- Buchbeitrag
Associated
- Brants, Thorsten
- Berlin [u.a.] : de Gruyter
Time of origin
- 2018-09-25
Other Objects (12)
Maschinelle Übersetzung – Gegenwart und Perspektiven
Zur maschinellen Rekonstruktion natürlich-sprachlicher Dialoge
Räumliche Implikationen einer auf Wissen basierten Wirtschaftsentwicklung
Konstruktionsprinzipien für ein Lexikon in der maschinellen Sprachverarbeitung
Möglichkeiten der maschinellen Unterstützung bei der Arbeit mit Interaktionskorpora
Der Aufbau einer maßgeschneiderten XML-basierten Modellierung für ein Wörterbuchnetz
TEI-basierte Modellierung von Retrodigitalisaten (am Beispiel des Trierer Wörterbuchnetzes)
Zur Dokumentation und maschinellen Bearbeitung von Zeitungstexten in der Außenstelle Bonn
Internetbasierte Kommunikation als Textformen-basierte Interaktion: ein neuer Vorschlag zu einem alten Problem
Meta-computerlexikografische Bemerkungen zu Vernetzungen in XML-basierten Onlinewörterbüchern – am Beispiel von "elexiko"
Rechtschreibreform und maschinelle Sprachverarbeitung. Oder: Von der Unwahrscheinlichkeit, in Computern Liebe genossen zu haben
Determinantien und Pronomina unter dem Aspekt einer maschinellen Syntaxanalyse der deutschen Gegenwartssprache : zur syntaktischen Definition von Wortklassen
Maschinelle Übersetzung – Gegenwart und Perspektiven
Zur maschinellen Rekonstruktion natürlich-sprachlicher Dialoge
Räumliche Implikationen einer auf Wissen basierten Wirtschaftsentwicklung
Konstruktionsprinzipien für ein Lexikon in der maschinellen Sprachverarbeitung
Möglichkeiten der maschinellen Unterstützung bei der Arbeit mit Interaktionskorpora
Der Aufbau einer maßgeschneiderten XML-basierten Modellierung für ein Wörterbuchnetz
TEI-basierte Modellierung von Retrodigitalisaten (am Beispiel des Trierer Wörterbuchnetzes)
Zur Dokumentation und maschinellen Bearbeitung von Zeitungstexten in der Außenstelle Bonn
Internetbasierte Kommunikation als Textformen-basierte Interaktion: ein neuer Vorschlag zu einem alten Problem
Meta-computerlexikografische Bemerkungen zu Vernetzungen in XML-basierten Onlinewörterbüchern – am Beispiel von "elexiko"
Rechtschreibreform und maschinelle Sprachverarbeitung. Oder: Von der Unwahrscheinlichkeit, in Computern Liebe genossen zu haben
Determinantien und Pronomina unter dem Aspekt einer maschinellen Syntaxanalyse der deutschen Gegenwartssprache : zur syntaktischen Definition von Wortklassen
Maschinelle Übersetzung – Gegenwart und Perspektiven
Zur maschinellen Rekonstruktion natürlich-sprachlicher Dialoge
Räumliche Implikationen einer auf Wissen basierten Wirtschaftsentwicklung
Konstruktionsprinzipien für ein Lexikon in der maschinellen Sprachverarbeitung
Möglichkeiten der maschinellen Unterstützung bei der Arbeit mit Interaktionskorpora
Der Aufbau einer maßgeschneiderten XML-basierten Modellierung für ein Wörterbuchnetz
TEI-basierte Modellierung von Retrodigitalisaten (am Beispiel des Trierer Wörterbuchnetzes)
Zur Dokumentation und maschinellen Bearbeitung von Zeitungstexten in der Außenstelle Bonn
Internetbasierte Kommunikation als Textformen-basierte Interaktion: ein neuer Vorschlag zu einem alten Problem
Meta-computerlexikografische Bemerkungen zu Vernetzungen in XML-basierten Onlinewörterbüchern – am Beispiel von "elexiko"
Rechtschreibreform und maschinelle Sprachverarbeitung. Oder: Von der Unwahrscheinlichkeit, in Computern Liebe genossen zu haben