Korpuso
Ĉi tiu artikolo temas pri Korpuso (tekstaro). Por informoj pri divido de armeo, vidu la artikolon Korpuso (armeo).Korpuso (aŭ tekstaro) estas aro da tekstoj aŭ transskribitaj konversacioj/paroloj, kiun oni uzas kiel tuton por studo. Komputado ne necesas, sed tre faciligas la pretigon kaj uzon de tekstaroj. Ankaŭ aro da parolregistraĵoj estas korpuso.
Multaj lingvistoj insistas, ke tekstaro devas esti morfologie markita por ebligi serĉon de gramatikaj formoj en kuntekstoj.
Celoj
redaktiSama tekstaro povas taŭgi por pluraj celoj. En la tekstoj oni eble serĉos ekzemplojn de vortuzo por vortarfarado por stilesploro, oni eble atentos oftecon de esprimoj por lingvevolua, filologia enketo, aŭ el ne lingvistika vidpunkto, oni rigardos ĝin materialo por historio aŭ socioscienco.
Tipoj
redaktiPreparante korpuson oni laŭ la ebloj kaj celoj elektas la kvantojn kaj specojn de tekstoj. Kvantojn oni mezuras per vortnombroj. Tekstospecojn oni prefere variigas, se la tekstaro estas por ĝenerala lingvesploro: gazetaĵoj, beletraĵoj, sciencaj artikoloj, kompaniaj raportoj, leteroj... male oni striktigas la elekton se la celo specialas: leteroj kaj privataj dokumentoj se oni observas spontanean parolon, politikaj paroladoj kaj komentoj se oni havas ian sociologian celon, samspecaj tekstoj el sinsekvaj epokoj se oni esploras lingvan evoluon...
Simpla kunmeto de dokumentoj ne estas korpuso. Minimume la tekstoj ricevu unu saman komputan strukturon, iliaj lingvo, dato, aŭtoro aŭ deveno estu laŭeble klare kaj unuece indikitaj laŭ bibliografia normo, kaj bazaj esplorrimedoj estu provizitaj: nombradoj, indeksoj, serĉiloj...
Pro tio, kaj ankaŭ por faciligi la komparon de rezultoj de esploroj super pluraj tekstaroj, oni provis normigi la prezentaĵojn, ordinare surbaze de sgml aŭ xml. La tekstokoda iniciato, mallonge angle TEI, estas tia sufiĉe konata normo komencita en la jaro 1988, sed ĝi ne estas la sola.
La lingvistikaj bezonoj ne limiĝas je haveblo de vortoj. Ofte lingvistoj bezonas pliajn informojn pri vortklasoj, vortroloj aŭ aliaj gramatikaĵoj, kaj ankaŭ aliaj sciencistoj pli facile studas la temojn de tekstoj se antaŭanalizo estas provizita. Tial oni distingas inter senmarkaj tekstaroj el nudaj dokumentoj nur formate glatigitaj, kaj markhavaj tekstaroj en kiuj vortojn, frazojn aŭ aliajn erojn akompanas kritikaj informoj. La markojn oni ĵargone nomas etikedoj.
Problemoj
redaktiPerfekte tipa, kompleta tekstaro ne vere ekzistas, ĉar la kvanto de diversspecaj tekstoj en la mondo ne estas superrigardebla. Tekstaro necese entenos 0, 10 aŭ 36 elcentojn da gazetaj artikoloj, sed aserti ke en iu lingvo ekzistas tia aŭ tia elcento da gazetaj tekstoj simple sensencas.
Eĉ en tre granda tekstaro, iuj lingvaj fenomenoj maloftas kaj sekve aperas nur en hazardaj kuntekstoj. La sama esploro super diversgrandaj tekstaroj ofte rezultas malsimile. La ĝusta interpreto de tekstaraj esploroj do komence facilas, sed baldaŭ necesigas almenaŭ prudenton, kaj pli bone statistikan kompetenton.
Ju pli detala la teksta markado des pli malalta estas la precizo de la etikedoj.[1]
Ekzemplaj korpusoj
redaktiDanke al la teĥnika progreso komputaj tekstaroj aperis fine de la 1960-aj jaroj kaj iĝis vaste uzataj en la 1990-aj kun interreta aliro.
Frua epokfara ekzemplo estis la Brown-universitata korpuso de nuntempa usonangla lingvo, el la fino de la 1960-aj, kiu estis la unua atingi unu milionon da vortoj. Ĝi estas markhava tekstaro kun propra sortimento de lingvosciencaj vortklasaj markoj.
Esperantaj korpusoj
redaktiLa plej grava tekstaro de Esperanto estas la Tekstaro de Esperanto, kiu estas pure skriblingva kaj, en novembro 2018, enhavis 5.177.208 da vortoj.[2] Nuntempe ESF financas projekton por krei parollingvan korpuson (EPAK). Pli ampleksa ol la Tekstaro de Esperanto estas la Tekstaro de Eckhard Bick[3] kun 18 milionoj da vortoj; ĝiaj tekstoj tamen estas malpli atenteme kolektitaj, kaj ĝi havas multe malpli da serĉfunkcioj ol la Tekstaro de Esperanto.
Ankaŭ OSCAR project (Open Super-large Crawled Aggregated coRpus) kiu estas malfermfonta projekto celanta disponigi ret-bazitajn plurlingvajn rimedojn kaj datumarojn, haveblaj en 166 lingvoj, por maŝinlernado (ML) kaj aplikoj de Artefarita Intelekto (AI) kiel ekzemple por EsperBerto, kiu elektis Esperanton por trejni novan lingvan modelon de nulo[4].
Kreado de korpuso de inter 150-200 milionoj da vortoj
redaktiJesper Lykke Jacobsen en artikolo "Pri la utiçlo krei grandegan korpuson de revuoj en Esperanto", aperinta en Literatura Foiro (aŭgusto 2024), ke li helpe de Simon Davies sciis fari kolekton de inter 150 kaj 200 milionoj da vortoj alirebla per serĉilo. La kolekto enhavas ĉiujn jarkolektojn de 63 Esperanto-revuoj.
Referencoj
redakti- ↑ Renate Reichardt, Valency sentence patterns and meaning interpretation, https://etheses.bham.ac.uk/id/eprint/4645/
- ↑ Tekstaro de Esperanto, https://tekstaro.com/
- ↑ Corpuseye https://corp.hum.sdu.dk
- ↑ (en) Julien Chaumond, How to train a new language model from scratch using Transformers and Tokenizers, Hugging Face, la 14-an de februaro 2020.
Vidu ankaŭ
redaktiEksteraj ligiloj
redakti- Serĉilo por la Tekstaro de Esperanto
- Tekstaro de Eckhard Bick
- Interreto uzata kiel tekstaro Arkivigite je 2005-03-05 per la retarkivo Wayback Machine
- korpuso de la Esperanta Vikipedio - senmarka, sed libere elŝutebla
- (en) Projekto OSCAR