Artikel
Building linguistic corpora from Wikipedia articles and discussions
Wikipedia is a valuable resource, useful as a lingustic corpus or a dataset for many kinds of research. We built corpora from Wikipedia articles and talk pages in the I5 format, a TEI customisation used in the German Reference Corpus (Deutsches Referenzkorpus - DeReKo). Our approach is a two-stage conversion combining parsing using the Sweble parser, and transformation using XSLT stylesheets. The conversion approach is able to successfully generate rich and valid corpora regardless of languages. We also introduce a method to segment user contributions in talk pages into postings.
- Sprache
-
Deutsch
- Thema
-
Wikipedia
Korpus <Linguistik>
Computerlinguistik
Germanische Sprachen; Deutsch
- Ereignis
-
Geistige Schöpfung
- (wer)
-
Margaretha, Eliza
Lüngen, Harald
- Ereignis
-
Veröffentlichung
- (wann)
-
2014-12-16
- URN
-
urn:nbn:de:bsz:mh39-33306
- Letzte Aktualisierung
-
06.03.2025, 09:00 MEZ
Datenpartner
Dieses Objekt wird bereitgestellt von:
Leibniz-Institut für Deutsche Sprache - Bibliothek. Bei Fragen zum Objekt wenden Sie sich bitte an den Datenpartner.
Leibniz-Institut für Deutsche Sprache - Bibliothek. Bei Fragen zum Objekt wenden Sie sich bitte an den Datenpartner.
Objekttyp
- Artikel
Beteiligte
- Margaretha, Eliza
- Lüngen, Harald
Entstanden
- 2014-12-16
Ähnliche Objekte (12)
Building linguistic corpora from Wikipedia articles and discussions
DeReKo-Archiv jetzt mit fünf Milliarden Textwörtern
Mining corpora of computer-mediated communication: analysis of linguistic features in Wikipedia talk pages using machine learning methods
Mining corpora of computer-mediated communication: Analysis of linguistic features in Wikipedia talk pages using machine learning methods
A TEI P5 Document Grammar for the IDS Text Model
DEREKO - Das Deutsche Referenzkorpus. Schriftkorpora der deutschen Gegenwartssprache am Institut für Deutsche Sprache in Mannheim
DEREKO - Das Deutsche Referenzkorpus. Schriftkorpora der deutschen Gegenwartssprache am Institut für Deutsche Sprache in Mannheim
Interview mit Dr. Harald Lüngen zu den Wikipedia-Korpora in DeReKo
Reply relations in CMC: types and annotation
Linguistische Annotationen für die Analyse von Gliederungsstrukturen wissenschaftlicher Texte
Recent developments in DeReKo
Zur Erstellung und Interpretation der Zeitverlaufsgrafiken
Building linguistic corpora from Wikipedia articles and discussions
DeReKo-Archiv jetzt mit fünf Milliarden Textwörtern
Mining corpora of computer-mediated communication: analysis of linguistic features in Wikipedia talk pages using machine learning methods
Mining corpora of computer-mediated communication: Analysis of linguistic features in Wikipedia talk pages using machine learning methods
A TEI P5 Document Grammar for the IDS Text Model
DEREKO - Das Deutsche Referenzkorpus. Schriftkorpora der deutschen Gegenwartssprache am Institut für Deutsche Sprache in Mannheim
DEREKO - Das Deutsche Referenzkorpus. Schriftkorpora der deutschen Gegenwartssprache am Institut für Deutsche Sprache in Mannheim
Interview mit Dr. Harald Lüngen zu den Wikipedia-Korpora in DeReKo
Reply relations in CMC: types and annotation
Linguistische Annotationen für die Analyse von Gliederungsstrukturen wissenschaftlicher Texte
Recent developments in DeReKo
Zur Erstellung und Interpretation der Zeitverlaufsgrafiken
Building linguistic corpora from Wikipedia articles and discussions
DeReKo-Archiv jetzt mit fünf Milliarden Textwörtern
Mining corpora of computer-mediated communication: analysis of linguistic features in Wikipedia talk pages using machine learning methods
Mining corpora of computer-mediated communication: Analysis of linguistic features in Wikipedia talk pages using machine learning methods
A TEI P5 Document Grammar for the IDS Text Model
DEREKO - Das Deutsche Referenzkorpus. Schriftkorpora der deutschen Gegenwartssprache am Institut für Deutsche Sprache in Mannheim
DEREKO - Das Deutsche Referenzkorpus. Schriftkorpora der deutschen Gegenwartssprache am Institut für Deutsche Sprache in Mannheim
Interview mit Dr. Harald Lüngen zu den Wikipedia-Korpora in DeReKo
Reply relations in CMC: types and annotation
Linguistische Annotationen für die Analyse von Gliederungsstrukturen wissenschaftlicher Texte
Recent developments in DeReKo