NL8900587A - Werkwijze voor het bepalen van de semantische verwantheid van lexicale componenten in een tekst. - Google Patents

Description

- Werkwijze voor het bepalen van de semantische verwantheid van lexicale componenten in een tekst.

De uitvinding heeft betrekking op een werkwijze voor het bepalen van de mate waarin twee of meer lexicale componenten (morfemen, woorden, woordsamenstellingen of frasen) behorend tot een voorafbepaald tekstcorpus in een willekeurige bepaalde taal semantisch aan elkaar gerelateerd zijn.

De kennis omtrent semantische relaties tussen twee of meer lexicale componenten in een tekst is van belang, onder andere in computerprogramma's voor tekstverwerking en programma's voor het automatisch vertalen van een tekst in een natuurlijke taal naar een tekst in een andere natuurlijke taal.

Tot nu toe was het gebruikelijk om bij het bepalen van semantische relaties uit te gaan van in een woordenlijst gecompileerde gegevens. De woordenlijst bevat dan voor elk daarin opgenomen woord een identificatiecode die aangeeft welke semantische eigenschappen het woord heeft. Ook kan gebruik worden gemaakt van een classificatiecode die het semantische type van elk woord classificeert of er kan een analyse uitgevoerd worden tot op het niveau van semantische componenten of primitieven. Alhoewel dergelijke methoden door taalonderzoekers veel worden toegepast, zijn ze zeer arbeidsintensief en moeilijk om op een grote schaal consistent toe te passen als gevolg van de subjectieve persoonlijke beoordeling, die bij het bepalen van de semantische relaties op deze wijze een grote rol speelt.

De uitvinding heeft nu ten doel aan te geven op welke wijze de semantische gerelateerdheid van twee of meer lexicale componenten op automatische wijze kan worden vastgesteld zonder dat de persoonlijke beoordeling van de gebruiker daarbij een rol speelt.

Aan deze doelstelling wordt nu volgens de uitvinding voldaan door een werkwijze voor het bepalen van de mate waarin twee of meer lexicale componenten behorend tot een voorafbepaald tekstcorpus in een willekeurige bepaalde taal semantisch aan elkaar gerelateerd zijn, omvattende de volgende stappen: a) het opsporen van een aantal zinnen in het genoemd tekstcorpus waarin een of meer van de betreffende twee of meer lexicale componenten voorkomen, b) het ontleden van elk van de opgespoorde zinnen met behulp van een daartoe geschikt ontleedsysteem teneinde van elk van de genoemde zinnen de syntactische afhankelijkheidsstructuur te bepalen, c) het aan de hand van de gevonden syntactische afhankelijkheids-structuur voor elke zin bepalen van de contextuele relaties die de genoemde lexicale componenten daarin hebben, d.w.z het bepalen van die elementen uit de context die een directe syntactische relatie hebben met de in de betreffende zin voorkomende genoemde lexicale componenten tesamen met die syntactische relatie, d) het voor elk van de genoemde lexicale componenten bepalen van het totaal aantal contextuele relaties, gevonden in stap c), e) het bepalen van het aantal contextuele relaties die de genoemde lexicale componenten gemeenschappelijk hebben, f) het op grond van de resultaten uit de stappen d} en e) bepalen van de statistische waarschijnlijkheid dat een bepaalde gemeenschappelijke relatie zal voorkomen.

Als resultaat van deze werkwijze wordt een indicatie verkregen omtrent de statistische waarschijnlijkheid van een bepaalde gemeenschappelijke semantische relatie. Aan de hand daarvan is een eventueel tekstverwerkingsprogramma of automatisch vertaalprogramma of dergelijke in staat om zelfstandig automatisch een beslissing te nemen en op basis daarvan eventuele verdere bewerkingsstappen uit te voeren.

Alhoewel er meerdere statistische analysemethoden kunnen worden toegepast voor het bepalen van de statistische waarschijnlijkheid verdient het de voorkeur dat stap f) is opgesplitst in twee deelstappen: f1} het bepalen van het op grond van louter toeval te verwachten aantal gemeenschappelijke relaties, f2) het vergelijken van het in stap f 1) gevonden aantal met het in stap e) gevonden aantal.

Bij voorkeur wordt de vergelijking in stap f2) uitgevoerd door berekening van de volgende formule: nabijheid = (C-E)/(C+K), waarin: C = aantal gemeenschappelijke relaties gevonden in stap e) E * op grond van louter toeval te verwachten aantal relaties gevonden in stap f1) K a een constante.

Alhoewel de werkwijze volgens de uitvinding in veel gevallen al een goed resultaat kan opleveren bij een beperkt aantal zinnen, genomen uit de betreffende tekstcorpus, zal het in het algemeen de voorkeur verdienen dat in stap a) alle zinnen uit de tekstcorpus worden opgespoord waarin een of meer van de genoemde lexicale componenten voorkomen. Alleen als alle semantische relaties tussen de genoemde twee of meer lexicale componenten worden vastgesteld, met andere woorden als alle zinnen uit de tekstcorpus worden opgespoord, waarin de betreffende lexicale componenten voorkomen, wordt de statistische waarschijnlijkheid met de grootste mate van zekerheid bepaald.

De uitvinding zal in het volgende nader worden besproken aan de hand van uitvoeringsvoorbeelden.

Voorbeeld 1: Het meten van de semantische afstand of semantische nabijheid tussen de engelse woorden DISCARD en REMOVE.

In het volgende zal als voorbeeld van de werkwijze de semantische afstand worden bepaald tussen twee woorden waarbij uitgegaan wordt van een aantal zinnen, die ontleend zijn aan een engelstalig vliegtuig-onderhoudshandboek. In dit voorbeeld worden voor elk van de beide sleutelwoorden slechts enkele zinnen gebruikt, maar het zal duidelijk zijn, dat voor het verkrijgen van een nauwkeurig resultaat een zo groot mogelijk aantal zinnen moet worden gebruikt en bij voorkeur uitgegaan moet worden van alle zinnen uit het totale tekstcorpus (in dit geval het gehele onderhoudshandboek), waarin de gezochte woorden voorkomen. In het onderhavige geval zal gezocht worden naar de semantische afstand tussen de engelse woorden DISCARD en REMOVE. Uit het handboek werden de volgende vijf zinnen geselecteerd waarin in elk geval het woord DISCARD voorkomt: [1] Remove and DISCARD the O-rings (9 and 12).

[2] Remove and DISCARD the split pins (18) and remove the nuts (17) and washers (16) from the clamp rods (11).

[3] DISCARD the gasket (9).- [4] Remove and DISCARD the two split pins which safety the autopilot cable end fittings (21).

[5] DISCARD the lockwire from the glandnuts (2).

Met het opsporen en verzamelen van deze zinnen is stap a) van de werkwijze volgens de uitvinding gedeeltelijk voltooid. (Het andere gedeelte van stap a) bestaat uit het selecteren van de zinnen waarin REMOVE voorkomt, zoals in het volgende nog wordt besproken). Vervolgens moet, volgens stap b) van de werkwijze, elk van deze opgespoorde zinnen worden ontleed met behulp van een daartoe geschikt ontleedsysteem, teneinde van elke zin de syntactische afhankelijkheidssstructuur te bepalen. Dergelijke geschikte ontleedsystemen, in het algemeen aangeduidt met de engelse term "parser", zijn op zichzelf voor de deskundige bekend. Wordt bijvoorbeeld voor de laatste zin uit de bovenstaande verzameling de syntactische afhankelijkheidsboom geconstrueerd met behulp van een dergelijke op zichzelf bekende parser dan zal het resultaat bijvoorbeeld als volgt kunnen worden gepresenteerd: [GOVERNOR, 'discard', [DIRECT-OBJECT, 'lockwire', [DETERMINER, 'the'], [PREPOSITIONAL-ADJUNCT, 'from', [PREPOSITIONAL-ARGUMENT, 'glandnuts', [DETERMINER, 'the'],

[EPITHET, '(2)'] J ] ] I

(De in de bovenstaande representatie gebruikte linguïstische termen worden voor een deskundige bekend verondersteld en behoeven geen nadere uitleg).

Uit deze afhankelijkheidsstructuur kan nu het sleutelwoord (of eventueel de sleutelwoorden als beide woorden in de betreffende zin voorkomen) worden gehaald, tezamen met die elementen uit zijn context die een directe relatie met het sleutelwoord (of de sleutelwoorden) hebben. Uit de bovenstaande afhankelijkheidsstructuur van de vijfde zin bijvoorbeeld blijkt dat het sleutelwoord DISCARD via de OBJECT-relatie direct gerelateerd is aan het onderwerp "lockwire". Dergelijke relaties kunnen ook voor alle andere zinnen uit de gevonden afhankelijkheidsstructuur worden afgeleid.

Verder worden uit de gevormde afhankelijkheidsstructuren tevens de sleutelwoorden gehaald die een indirecte relatie met een ander woord hebben via een functiewoord zoals een prepositie of een conjunctie.

Wordt bijvoorbeeld de afhankelijkheidsstructuur van de eerste zin bepaald dan blijkt dat de beide sleutelwoorden REMOVE en DISCARD een indirecte relatie bezitten via het voegwoord AND.

Worden alle relaties die via de syntactische afhankelijkheidsstructuren voor de genoemde trefwoorden uit de bovenstaande zinnen kunnen worden gevonden in een tabel gezet, dan resulteert het volgende:

De nummercode aan het begin van elke rij in de bovenstaande tabel geeft het nummer van de zin, corresponderend met de nummering die in de bovenstaande reeks van zinnen is gebruikt en daarna een rangnummer voor de in deze zin gevonden relatie waarin ten minste één van de trefwoorden voorkomt. Het blijkt dat in enkele gevallen relaties worden gevonden tussen de beide trefwoorden.

Een volledig identieke procedure kan nu worden uitgevoerd voor het tweede trefwoord REMOVE. Daarvoor kunnen bijvoorbeeld de volgende vijf zinnen uit het handboek worden gebruikt: [1] Lift the loosened bus-bars (7) from the terminal studs (6) and REMOVE the contactor (14) from the interface (12).

[2] When power to main ac bus 1 (2) is REMOVED, the following events occur.

[3] Do not REMOVE the nuts (5).

[4] REMOVE the lockwire and REMOVE the sensor connector (9) from the receptacle (10).

[5] REMOVE and discard the split pins (18) and REMOVE the nuts (17) and washers (16) from the clamp rods (11).

Uit deze zinnen kunnen nadat elk van deze zinnen onderworpen is aan een structuuranalyse en van elke zin de syntactische afhankelijkheidsstructuur is verkregen de volgende relaties worden gehaald:

Ook in dit geval worden voor REMOVE enerzijds relaties gevonden met willekeurige andere woorden en anderzijds ook relaties met het andere trefwoord DISCARD. Verder blijkt dat zowel REMOVE als DISCARD relaties hebben met identieke andere woorden, hetgeen in bovenstaande tabel met * is aangegeven. Het woord "pin" heeft bijvoorbeeld een directe object-relatie met zowel DISCARD als ook met REMOVE.

Een vergelijking tussen de beide tabellen laat al duidelijk zien dat het identificeren van de syntactische relaties in de context de mogelijkheid biedt om betekenisvolle overeenstemmingen op te sporen in de contextuele patronen van semantisch-gerelatêerde woorden, zoals in het onderhavige geval de woorden DISCARD and REMOVE. Zelfs met de beperkte aantallen zinnen, die in het voorbeeld zijn gebruikt worden al een aantal gemeenschappelijke contextuele elementen gevonden. Als uit de gehele tekst alle zinnen worden genomen waarin ten minste één van de trefwoorden voorkomt, dan zal het totaal aantal zeker nog stijgen. Hoe meer contextuele relaties de twee sleutelwoorden gemeen hebben, hoe kleiner hun semantische afstand zal zijn, met andere woorden hoe meer de betekenis of uitleg van beide woorden met elkaar overeenstemt of aan elkaar gelijk is. Er kunnen nu in overeenstemming met de werkwijze volgens de uitvinding statistische methoden worden toegepast op de bovengenoemde relatieverzamelingen om een numerieke indicatie te krijgen van deze semantische afstand.

De semantische afstand moet een functie zijn van: a) het aantal contextuele relaties waarin de beide trefwoorden voorkomen, en b) het aantal contextuele relaties dat voor elk trefwoord in de gekozen verzameling van zoekzinnen is te vinden. (In het ideale geval moet voor de gekozen verzameling van zoekzinnen het gehele tekstcorpus worden genomen).

In het bovenstaande voorbeeld hangt de semantische afstand van de woorden DISCARD en REMOVE niet alleen af van het aantal gemeenschappelijke relaties zoals bijvoorbeeld de OBJECT-relatie die beide woorden hebben met "pin", maar ook van het totaal aantal contextuele relaties, dat de woorden DISCARD en REMOVE in het tekstcorpus dat dienst doet als bron van lexicale kennis.

Er is een groot aantal manieren om op statistische wijze de mate van semantische afstand tussen twee woorden tot uitdrukking te brengen. Het verdient echter de voorkeur dat de in stap f) genoemde semantische verwantheid wordt gevonden door van het in stap e) gevonden aantal het op grond van louter toeval te verwachten aantal af te trekken, waarna het resultaat daarvan wordt gedeeld door het in stap e) gevonden aantal, vermeerderd met een constante. Met andere woorden, berekend wordt: nabijheid = (C-E)/(C+K).

Daarin is: C = aantal gemeenschappelijke relaties E = op grond van louter toeval te verwachten aantal relaties K = een constante.

Het op grond van louter toeval te verwachten aantal relaties kan theoretisch worden berekend uit: E = A x B/f(N), waarin: A = aantal relaties eerste woord B = aantal relaties tweede woord f(N) = een functie van het aantal verschillende relaties N in het totale tekstcorpus.

Stel dat er in het onderhavige voorbeeld voor het woord DISCARD in het totaal 300 relaties in de tekst zijn gevonden en voor het woord REMOVE in het totaal 500 relaties zijn gevonden, terwijl er verder 50 relaties gemeenschappelijk blijken te zijn. Stel verder dat voor de functie F(N) van het aantal verschillende relaties N in de tekstcorpus experimenteel een getalwaarde van 15.000 is vastgesteld en dat voor de constante K de waarde 1 is gekozen. Het op grond van louter toeval te verwachten gemeenschappelijke relaties wordt dan aan de hand van de bovenstaande formule bepaald als: E = A x B/f(N) = 300 x 500/15,000 = 10.

Voor de mate van verwantheid ofwel semantische nabijheid van de twee woorden DISCARD en REMOVE wordt dan in overeenstemming met de bovengegeven formule een numerieke waarde gevonden, die gelijk is aan: nabijheid = (C-E)/(C+K) = (50-10)/(50+1) =0,784.

Hoe groter het aantal gemeenschappelijke relaties en hoe kleiner het aantal te verwachten relaties hoe dichter de gevonden numerieke waarde uiteindelijk nadert naar de waarde 1.

In de praktijk zal het berekenen van f(N) niet triviaal zijn aangezien de distributie van de verschillende relaties niet gelijk zal zijn en onderhevig zal zijn aan allerlei beperkingen, bijvoorbeeld voor verschillende woordsoorten. De waarde van f(N) kan echter ook experimenteel worden vastgesteld door die waarde te kiezen die de meest aanvaardbare resultaten geeft.

Ook de waarde van K hangt af van de toepassing van de methode. De invloed van deze constante is in eerste instantie normaliserend. Door toevoeging van deze constante aan de noemer van de bovenstaande uitdrukking wordt de semantische verwantheid uitgedrukt met een getalwaarde die ligt tussen 0 en 1. Bovendien heeft deze constante als resultaat dat de semantische verwantheid gebaseerd op een zeer kleine waarde van C (dus een waarde die aangeeft dat het aantal gemeenschapplijke relaties relatief klein is) wordt afgezwakt. Dit kan nuttig zijn om de invloed van statistisch toeval te beperken, zijn immers de aantallen relatief klein dan zullen ook in het algemeen de conclusies die daaruit kunnen 'worden getrokken, minder betrouwbaar zijn.

In het geval er geen gemeenschappelijke relaties worden gevonden tussen de genoemde lexicale componenten, maar er wel een aantal gemeenschappelijke relaties op grond van louter toeval verwacht zou worden, dan wordt de getalwaarde, die de semantische verwantheid uitdrukt, negatief. In dat geval verdient het de voorkeur dat in de noemer van de bovengenoemde uitdrukking de term C vervangen wordt door de term E in welk geval de verkregen getalwaarde wordt genormaliseerd in een traject tussen 0 en -1. In dat geval wordt de berekening gelijk aan: nabijheid = (C-E)/(E-K),

Een andere mogelijkheid om de mate van semantische afstand tussen twee woorden tot uitdrukking te brengen, bestaat uit het delen van het totaal aantal gemeenschappelijke relaties C door de som van het totaal aantal relaties A dat afzonderlijk voor het eerste woord en het totaal aantal relaties B dat afzonderlijk voor het tweede woord is gevonden.

Het resultaat daarvan is een numerieke waarde die in feite een maat vormt voor de nabijheid (eng: proximity) van beide woorden. Met andere woorden: nabijheid = C/(A + B) A = aantal relaties eerste woord B = aantal relaties tweede woord C = aantal gemeenschappelijke relaties

Deze formule levert bij twee sleutelwoorden een numerieke waarde op die afhankelijk van de getalwaarden verloopt tussen 0 en een 1/2, bij drie sleutelwoorden een numerieke waarde die verloopt tussen 0 en 1/3. Om overeenstemming te krijgen met de algemene praktijk waarin een waarschijnlijkheid numeriek kan worden uitgedrukt met een getalwaarde die ligt tussen 0 en 1 (of 0% en 100%) verdient het de voorkeur om de teller van de bovenbeschreven breuk te vermenigvuldigen met het aantal sleutelwoorden dat bij de beschouwing is betrokken. Dus in het algemeen: nabijheid = (aantal sleutelwoorden) C/(A + B)

Stel weer dat er in het onderhavige voorbeeld voor het woord DISCARD in het totaal 300 relaties in de tekst zijn gevonden en voor het woord REMOVE in het totaal 500 relaties zijn gevonden, terwijl er verder 50 relaties gemeenschappelijk blijken te zijn dan wordt voor de mate van gerelateerdheid ofwel de semantische nabijheid van de twee woorden DISCARD en REMOVE een numerieke waarde gevonden die gelijk is aan 2 * 50/(300 + 500) = 0,125, Hoe groter het aantal gemeenschappelijke relaties hoe dichter de gevonden numerieke waarde uiteindelijk nadert naar de waarde 1.

Een dergelijke semantische afstands- of nabijheidsberekening kan bijvoorbeeld in de praktijk worden gebruikt bij het vervaardigen van machinale vertalingen. Als voorbeeld kan worden gewezen op de franse vertaling van het engelse woord "smooth". Dit woord heeft in het frans een aantal mogelijke equivalenten met duidelijk verschillende betekenis: lisse, uni, poli, doux, insinuant.

Uit traditionele woordenboeken is het bekend om in een dergelijk geval, waar er meerdere mogelijkheden zijn om één en hetzelfde woord in een andere taal te vertalen (met verschillende betekenissen) het betreffende woord te voorzien van een aantal gecodeerde contextuele aanduidingen en deze alternatieven met de bijbehorende betekenis en/of vertaling op te slaan in een tweetalige woordenlijst, zoals bijvoorbeeld: smooth (leather) = lisse smooth (road) = uni smooth (glass) = poli smooth (skin) = doux smooth (talk) = insinuant

Blijft dan nog over het probleem om uit de tekst af te leiden welke betekenis in het onderhavige geval moet worden gebruikt en hoe dus het betreffende woord moet worden vertaald. Als bijvoorbeeld het woord "smooth" voorkomt in de combinatie "smooth path", dan moet het systeem in staat zijn om te beslissen welk van de aangegeven vertalingen in de woordenlijst de meest geschikte is, met andere woorden welke vertaling van "smooth" het best past bij het woord "path". In het onderhavige geval zal dat waarschijnlijk het franse woord "uni" zijn. Wordt het tekstcorpus nu onderzocht met behulp van de werkwijze volgens de uitvinding dan zal uit deze werkwijze een nabijheidsindex resulteren, die aangeeft dat er, gezien de gevonden relaties, een hoge mate van nabijheid is tussen het woord "road" en het woord "path", terwijl eventuele andere relaties tot een veel lagere nabijheidswaarde zullen leiden, zodat op grond daarvan kan worden besloten dat het franse woord "uni" de juiste vertaling van het woord "smooth" zou zijn.

Dit voorbeeld toont aan waarom het aantal gemeenschappelijke relaties moet worden bekeken in verhouding tot het totaal aantal relaties dat voor elk woord wordt gevonden. Als bijvoorbeeld wordt gevonden dat de woorden A en B 50 gemeenschappelijke relaties hebben en dat de woorden A en C slechts 10 gemeenschappelijke relaties hebben dan kan daaruit worden geconcludeerd dat A in betekenis dichter bij B staat dan bij C, vooropgesteld evenwel dat voor zowel B als C eenzelfde totaal aantal relaties in de tekst wordt gevonden. Als anderzijds dit totaal aantal verschillend is dan moet daarmee rekening worden gehouden. Het vinden van 10 gemeenschappelijke relaties tussen A en C kan statistisch van veel meer betekenis zijn dan de 50 gemeenschappelijke relaties tussen A en B als B een woord is met een hogere voorkomensfrequentie, zoals bijvoorbeeld "road", en C een relatief zeldzaam gebruikt woord is, bijvoorbeeld "gasket".

Voorbeeld 2: Het meten van de mate van semantische associatie tussen twee woorden zoals PRESSURE en VALVE.

Voordat dit voorbeeld nader wordt uitgewerkt wordt er op gewezen dat er verschil bestaat tussen semantische associatie en semantische nabijheid. De woorden PRESSURE en VALVE hebben zeker niet dezelfde betekenis, het ene woord (pressure) heeft betrekking op een abstractie, terwijl het andere woord (valve) betrekking heeft op een concreet stuk apparatuur. Daarom zal waarschijnlijk de semantische afstand relatief groot zijn, met andere woorden de numerieke nabijheidsindex laag zijn.

De in het bovenstaande beschreven werkwijze kan echter met succes worden gebruikt om niet zozeer de semantische afstand of nabijheid dan wel de semantische associatie te bepalen, zoals in het volgende zal worden verklaard.

Op gelijke wijze als in voorbeeld 1 worden de beide sleutelwoorden PRESSURE en VALVE gebruikt om uit een gehele tekstcorpus die zinnen te lichten, waarin althans één van deze woorden vookomt. Deze keer wordt in het bijzonder alleen gezocht naar zinnen waarin beide sleutelwoorden voorkomen. Tien zinnen uit een als voorbeeld gebruikte tekst zijn in het onderstaande aangegeven: [1] A temperature-compensated PRESSURE switch, a fill VALVE and a safety device are installed on the bottle.

[2] The spool VALVE supplies PRESSURE to the hydraulic motor.

[3] If the isolation VALVE cuts off the PRESSURE to the system application of the brake is automatic.

[4] The PRESSURE goes through the second-stage poppet of the shutoff VALVE to the high PRESSURE ports of the spool VALVE.

[5] A PRESSURE relief-VALVE prevents an overpressure in the hydraulic system.

[6] A bleed-air regulating and relief VALVE controls the air-PRESSURE in the system reservoir.· [7] The off loader VALVE decreases the PRESSURE to 2750 - 3430 kPa (400-500 psi) if the hydraulic systems are not used.

[8] Two vacuum relief-VALVES prevent a negative PRESSURE.

[9] The selector VALVE supplies oil PRESSURE to move the piston in the control cylinder.

[10] The system-accumulator nitrogen-lines connect the gas chamber of the system accumulator to its charging VALVE and its PRESSURE gage.

Ook deze zinnen moeten elk afzonderlijk worden ontleed met behulp van een parser of ontleedsysteem om de syntactische structuur van elke zin te bepalen. Zodra deze syntactische structuur beschikbaar is, kan in elk van de structuren een onderzoek worden uitgevoerd om vast te stellen of: 1) de twee sleutelwoorden direct in de syntactische structuur met elkaar zijn gekoppeld of 2) de twee sleutelwoorden via een tussenliggend knooppunt toch een onderlinge relatie hebben.

De volgende tabel toont de soort van informatie die, nadat elk van de zinnen is ontleed en voor elk van de zinnen de analyse structuur is vastgesteld, uit deze structuur kan worden gehaald.

1 switch valve + switch ATTRIBUTE pressure 2 supply SUBJECT valve + supply OBJECT pressure 3 cut SUBJECT valve + cut OBJECT pressure 4 port OF valve + port ATTRIBUTE pressure 5 valve ATTRIBUTE relief + relief ATTRIBUTE pressure 6 control SUBJECT valve + control OBJECT pressure 7 decrease SUBJECT valve + decrease OBJECT pressure 8 prevent SUBJECT valve + prevent OBJECT pressure 9 supply SUBJECT valve + supply OBJECT pressure 10 valve AND gage + gage ATTRIBUTE pressure

Uit deze tabel blijkt dat de woorden PRESSURE en VALVE via een relatie met andere woorden zoals "switch, supply, cut, port, relief, control, decrease, prevent, gage” toch een onderlinge relatie bezitten. Het identificeren van deze syntactische relaties in de context maakt het nu mogelijk om niet alleen de mate of sterkte van de associatie tussen bepaalde woorden vast te stellen, maar om ook de soort van deze associatie te identificeren. Uit de bovenstaande tabel zal het onmiddellijk duidelijk zijn dat het dominerende associatietype dat type is waarin VALVE het subject is, terwijl PRESSURE het directe object is van een willekeurig gemeenschappelijk werkwoord. De werkwoorden die in de bovenstaande tabel in dat verband worden aangetroffen, zijn "supply, cut, control, decrease, prevent". Daarmee wordt ook duidelijk welke betrekking de functie van VALVE heeft op PRESSURE.

Deze toepassingsmogelijkheid van de werkwijze volgens de uitvinding bewijst in het bijzonder zijn waarde bij het maken van een keuze in het geval er een dubbelzinnigheid optreedt in woordcombinaties met een impliciete relatie zoals bijvoorbeeld voorkomt bij reeksen van naamwoorden in de engelse taal. In het bovenstaande voorbeeld zijn weliswaar alleen indirecte relaties in de diverse zinnen aangetroffen, maar het was ook mogelijk geweest dat een directe syntactische relatie in de tekst was aangetroffen, zoals in de woordsamenstelling "pressure-valve" . Dit zou bovendien de associatie-index tussen de twee woorden hebben versterkt. De expliciete karakterisering van de associatie wordt nu verkregen uit de in het bovenstaande getoonde indirecte relaties.

Evenals in het eerste voorbeeld wordt de mate of sterkte van de associatie tussen twee woorden numeriek uitgedrukt als functie van het aantal verbindingsrelaties, dat tussen de twee woorden wordt gevonden en als functie van het totaal aantal relaties voor de afzonderlijke woorden zelf.

De mate van semantische associatie kan, uitgedrukt op een geschikte wijze, ook een rol spelen bij programma's waarmee vertalingen worden vervaardigd. Als voorbeeld wordt gewezen op de volgende twee zinnen: [1] Remove the pins from the bandages.

[2] Remove the pins from the bolts.

Als er in de taal, waarin deze engelse zinnen moeten worden vertaald, bijvoorbeeld de nederlandse taal, duidelijk te onderscheiden verschillende vertalingen bestaan voor het woord "pin", bijvoorbeeld het woord "speld" in de eerste zin en het woord "splitpen" in de tweede zin, dan wil dat zeggen dat er tijdens de vertaling een situatie optreedt waarin een keuze moet worden gemaakt. De relatie tussen het woord "pin" en het woord "remove" biedt in dit geval geen houvast omdat zowel een speld als een splitpen kunnen worden "removed". De oplossing van het keuzeprobleem hangt dermate af van het feit of er een relatie kan worden gelegd tussen enerzijds "pins" en "bandages" (in welk geval "pin" door "speld" vertaald zou moeten worden) en anderzijds tussen "pins" en "bolts" (in welk geval "pin" door "splitpen" vertaald zou moeten worden). Met andere woorden de keuze hangt af van de mate van associatie tussen de genoemde woorden gebaseerd op de contextuele patronen, die optreden in de taal waarnaar vertaald moet worden (de doeltaal).

Wordt met behulp van de werkwijze volgens de uitvinding deze associatie bepaald dan zal blijken dat er een sterkere associatie is tussen spelden en "bandages" dan tussen spelden en "bolts". Anderzijds zal er een sterkere associatie zijn tussen splitpennen en "bolts" dan tussen splitpennen en "bandages". Aan de hand van de sterkte van de vastgestelde associatie kan derhalve een juiste keuze worden gemaakt van het woord dat in de vertaling voor "pin" moet worden gebruikt. Hoe sterker de associatie tussen de bepaalde woorden, hoe beter deze keuze kan worden onderbouwd.

Claims (6)

1. Werkwijze voor het bepalen van de mate waarin twee of meer lexicale componenten behorend tot een voorafbepaald tekstcorpus in een willekeurige bepaalde taal semantisch aan elkaar gerelateerd zijn, omvattende de volgende stappen: a) het opsporen van een aantal zinnen in de genoemde tekst waarin een of meer van de betreffende twee of meer lexicale componenten voorkomen, b) het ontleden van elk van de opgespoorde zinnen met behulp van een daartoe geschikt ontleedsysteem teneinde van elk van de genoemde zinnen de syntactische afhankelijkheidsstructuur te bepalen, c) het aan de hand van de gevonden syntactische afhankelijkheids-structuur voor elke zin bepalen van de contextuele relaties die de genoemde lexicale componenten daarin hebben, d.w.z het bepalen van die elementen uit de context die een directe syntactische relatie hebben met de in de betreffende zin voorkomende genoemde lexicale componenten tesamen met die syntactische relatie, d) het voor elk van de genoemde lexicale componenten bepalen van het totaal aantal contextuele relaties, gevonden in stap c), e) het bepalen van het aantal contextuele relaties die de genoemde lexicale componenten gemeenschappelijk hebben, f) het op grond van de resultaten uit de stappen d) en e) bepalen van de statistische waarschijnlijkheid dat een bepaalde gemeenschappelijke relatie zal voorkomen.

2. Werkwijze volgens conclusie 1, met het kenmerk, dat stap f) is opgesplitst in twee deelstappen: f1) het bepalen van het op grond van louter toeval te verwachten aantal gemeenschappelijke relaties, f2) het vergelijken van het in stap £1) gevonden aantal met het in stap e) gevonden aantal.

3. Werkwijze volgens conclusie 2, met het kenmerk, dat de vergelijking in stap f2) wordt uitgevoerd door berekening van de volgende formule: nabijheid = (C-E)/(C+K), waarin: C = aantal gemeenschappelijke relaties gevonden in stap e) E = op grond van louter toeval te verwachten aantal relaties gevonden in stap f1) K = een constante.

4. Werkwijze volgens conclusie 2, met het kenmerk, dat voor het geval het op grond van louter toeval te verwachten aantal relaties, gevonden in stap f1) groter is dan het aantal gemeenschappelijke relaties gevonden in stap e) de vergelijking in stap f2) wordt uitgvoerd door berekening van de volgende formule: nabijheid = (C-E)/(E-K),

5. Werkwijze volgens conclusie 1, met het kenmerk, dat de in stap f) genoemde statistische waarschijnlijkheid wordt gevonden door de som te bepalen van de in stap d) gevonden aantallen voor de afzonderlijke lexicale componenten en vervolgens het in stap e) gevonden aantal door de genoemde som te delen.

5. Werkwijze volgens conclusie 2, 3 of 4, met het kenmerk, dat de bepaling in stap f1) wordt uitgevoerd door het berekenen van de volgende formule: E = A X B/f(N), waarin: A = het in stap d) gevonden aantal voor de eerste lexicale component, B = het in stap d) gevonden aantal voor de tweede lexicale component, f(N) = een functie van het aantal verschillende relaties in het totale genoemde voorafbepaalde tekstcorpus.

6. Werkwijze volgens conclusie 5, met het kenmerk, dat de genoemde som wordt vermenigvuldigd met het aantal lexicale componenten waarvoor de mate van gerelateerdheid wordt bepaald.