Buchbeitrag
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
When comparing different tools in the field of natural language processing (NLP), the quality of their results usually has first priority. This is also true for tokenization. In the context of large and diverse corpora for linguistic research purposes, however, other criteria also play a role – not least sufficient speed to process the data in an acceptable amount of time. In this paper we evaluate several state-ofthe-art tokenization tools for German – including our own – with regard to theses criteria. We conclude that while not all tools are applicable in this setting, no compromises regarding quality need to be made.
- Sprache
-
Englisch
- Thema
-
Korpus <Linguistik>
Software
Automatische Sprachanalyse
Daten
Deutsch
Englisch, Altenglisch
- Ereignis
-
Geistige Schöpfung
- (wer)
-
Diewald, Nils
Kupietz, Marc
Lüngen, Harald
- Ereignis
-
Veröffentlichung
- (wer)
-
Mannheim : IDS-Verlag
- (wann)
-
2022-07-12
- URN
-
urn:nbn:de:bsz:mh39-111245
- Letzte Aktualisierung
-
06.03.2025, 09:00 MEZ
Datenpartner
Dieses Objekt wird bereitgestellt von:
Leibniz-Institut für Deutsche Sprache - Bibliothek. Bei Fragen zum Objekt wenden Sie sich bitte an den Datenpartner.
Leibniz-Institut für Deutsche Sprache - Bibliothek. Bei Fragen zum Objekt wenden Sie sich bitte an den Datenpartner.
Objekttyp
- Buchbeitrag
Beteiligte
- Diewald, Nils
- Kupietz, Marc
- Lüngen, Harald
- Mannheim : IDS-Verlag
Entstanden
- 2022-07-12
Ähnliche Objekte (12)
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
DeReKo durchbricht Drei-Milliarden-Grenze
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
Der Programmbereich Korpuslinguistik am IDS: Gegenwart und Zukunft
Evaluating a Dependency Parser on DeReKo
The German Reference Corpus: New developments building on almost 50 years of experience
Einleitung
CMC Corpora in DeReKo
Von monolingualen Korpora über Parallel- und Vergleichskorpora zum Europäischen Referenzkorpus EuReCo
Visualisierung als aufmerksamkeitsleitendes Element bei der Analyse sehr großer Korpora
Das Deutsche Referenzkorpus DEREKO im Jubiläumsjahr 2014
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
DeReKo durchbricht Drei-Milliarden-Grenze
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
Der Programmbereich Korpuslinguistik am IDS: Gegenwart und Zukunft
Evaluating a Dependency Parser on DeReKo
The German Reference Corpus: New developments building on almost 50 years of experience
Einleitung
CMC Corpora in DeReKo
Von monolingualen Korpora über Parallel- und Vergleichskorpora zum Europäischen Referenzkorpus EuReCo
Visualisierung als aufmerksamkeitsleitendes Element bei der Analyse sehr großer Korpora
Das Deutsche Referenzkorpus DEREKO im Jubiläumsjahr 2014
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
DeReKo durchbricht Drei-Milliarden-Grenze
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
Tokenizing on scale. Preprocessing large text corpora on the lexical and sentence level
Der Programmbereich Korpuslinguistik am IDS: Gegenwart und Zukunft
Evaluating a Dependency Parser on DeReKo
The German Reference Corpus: New developments building on almost 50 years of experience
Einleitung
CMC Corpora in DeReKo
Von monolingualen Korpora über Parallel- und Vergleichskorpora zum Europäischen Referenzkorpus EuReCo
Visualisierung als aufmerksamkeitsleitendes Element bei der Analyse sehr großer Korpora