Computerlinguïstiek
Computerlinguïstiek is het analyseren van natuurlijke taal met behulp van computers. Het wordt ook wel natuurlijke taalverwerking genoemd, taaltechnologie, computationele taalkunde en NLP (natural language processing).
Wat doen wij op gebied van computerlinguïstiek?
Bij het Instituut voor de Nederlandse Taal wordt veel aan computerlinguïstiek gedaan. Het beschrijven van de woordenschat gebeurt op basis van corpora die met behulp van verschillende computerprogramma’s worden geanalyseerd en verrijkt. Dit gebeurt zowel voor hedendaags Nederlands als voor historische teksten. Er zijn bijvoorbeeld programma's die woordsoorten bij woorden zoeken (‘part-of-speech tagging’), die namen herkennen (‘named entity recognition’) en die woorden morfologisch analyseren. Al deze informatie wordt aan de oorspronkelijke teksten toegevoegd. Hierdoor kan vervolgens met behulp van andere programmatuur lexicografisch interessante informatie op een efficiënte manier uit de teksten worden gehaald, zoals bijvoorbeeld frequentiegegevens of betekenisgerelateerde woorden.
Enkele voorbeelden:
GiGaNT
GiGaNT (Groot Geïntegreerd Lexicon van de Nederlandse Taal) wordt een computationeel lexicon van het Nederlands van de zesde eeuw tot nu. Computerlinguïstische tools spelen een grote rol in de totstandkoming van dit lexicon, bijvoorbeeld voor de morfologie en voor het zoeken van attestatiemateriaal. Bovendien zijn er juist ook veel taaltechnologische programma's die hun voordeel kunnen doen met de informatie uit GiGaNT, bijvoorbeeld spellingsvariatiemodules, part-of-speechtaggers en lemmatiseringssoftware.
Spelling
Het Instituut voor de Nederlandse Taal is een autoriteit op het gebied van spelling. Computerlinguïstische software kan veelvoorkomende spelfouten opsporen en neemt ook fonetische kenmerken mee (zodat bijvoorbeeld obergine kan worden herkend als aubergine). Dit soort software is ingezet voor HulK (Hulpmiddel Keurmerk). Bij HulK kunnen bijvoorbeeld woordenboekleveranciers hun trefwoordenlijst op spelling laten controleren.
IMPACT
IMPACT (Improving Access to Text) is een Europees project met als doel het verbeteren van het digitaliseren en toegankelijk maken van historische teksten.
Softwarepakket voor lexiconbouw en -toepassing
Het Instituut voor de Nederlandse Taal heeft een softwarepakket ontwikkeld waarmee computationele lexica van historisch taalmateriaal gemaakt en toegepast kunnen worden. Het bevat zowel software voor automatische bewerking als uitvoerig uitgewerkte werkomgevingen om handmatig taaldata te bewerken.
Voorbeelden:
- Een spellingvariatiemodule
- Een programma voor het automatisch afleiden van spellingvariatieregels uit woordmateriaal van een bepaalde periode
- Een lemmatiseerder: een programma dat automatisch een modern equivalent toekent aan elk woord in een tekst
Andere taaltechnologische hulpmiddelen
Het Instituut voor de Nederlandse Taal heeft de bestaande technieken verbeterd voor Named Entity Recogntion (automatische herkenning van namen) in historisch materiaal. Daarnaast is er een programma ontwikkeld voor morfologische analyse van woorden. Dit programma kan gebruikt worden tijdens de digitalisering van teksten. Alle software die ontwikkeld is, kan ook voor andere talen worden ingezet.
Europese samenwerking
Aan IMPACT doen, buiten het Instituut voor de Nederlandse Taal, ongeveer 30 bibliotheken en onderzoeksinstellingen mee uit de volgende (voornamelijk Europese) landen:Duitsland, Oostenrijk, Frankrijk, Spanje, Tsjechië, Slovenië, Polen, Bulgarije, Griekenland, Groot-Brittannië, Israël, Rusland en Nederland.
Computational linguistics
Computational linguistics is the analysis of natural language with the help of computers. It is also referred to as ‘natural text processing’, ‘language technology’, and ‘NLP’ (natural language processing).
How do we use and contribute to computational linguistics?
At the Dutch Language Institute, computer linguistics plays a very important role. The description of the Dutch vocabulary is based on corpora that are analyzed and enriched with the help of various computer programs, both for contemporary Dutch and for historical texts. For example, programs are used that match words to their word classes (‘part-of-speech tagging’), that recognize names (‘named entity recognition’), or that morphologically analyze words. All of this information is added to the original texts, allowing other programs to efficiently extract lexicographically interesting information from the texts, such as frequency data or semantically related words.
Some examples:
GiGaNT
GiGaNT (Great Integrated Lexicon of the Dutch Language) is a computational lexicon in the making, comprised of the Dutch spoken from the sixth century up to now. Computational linguistic tools play a large part in the realization of this lexicon. They are used, for example, for morphological analysis and the detection of attestation material. Many language technology programs can in turn benefit from the information in GiGaNT, such as spelling variation modules, part-of-speech taggers, and lemmatization software.
Spelling
The Dutch Language Institute is an authority in the field of spelling. Computational linguistic software can spot common spelling errors, also taking into account phonetic features (so that, for instance, obergine can be recognized as aubergine). Software of this type was used for spelling certification mark HulK. HulK can for example be used by dictionary makers to check their list of keywords for spelling errors.
IMPACT
IMPACT (Improving Access to Text) is a European project that aims to improve the digitization of and access to historical texts.
Software package for the building and application of lexicons
The Dutch Language Institute has developed a software package for the building and application of computational lexica of historical language material. It contains both software for automatic editing, and elaborate work environments for manually editing language data.
Examples:
- A spelling variation module
- A program for automatically deducing spelling variation rules from lexical material from a given period
- A lemmatizer: a program automatically assigning a modern equivalent to every word in a text
Other language technology tools
The Dutch Language Institute has improved the existing techniques for Named Entity Recognition in historical material. It has also developed a program for the morphological analysis of words. This program can be used during the digitization of texts. All developed software can also be applied to different languages.
European co-operation
Apart from the Dutch Language Institute, about 30 libraries and research institutes of the following mostly European countries take part in IMPACT: Germany, Austria, France, Spain, the Czech Republic, Slovenia, Poland, Bulgaria, Greece, Great Britain, Israel, Russia, and the Netherlands.
Links
