SE524595C2 - Förfarande och datorprogram för normalisering av stilkast - Google Patents

Description

25 30 35 524- 595 . . A n en 2 Sammanfattning av uppfinningen Ett syfte med föreliggande uppfinning är att undanröja problemet med förlust av information som är förenat med stilkastokänslighet respektive problemet med stora ordtypuppsättningar som är förenat med stilkastkänslighet, två tillvägagångssätt bibehålls. Detta syfte åstadkoms samtidigt som fördelarna med dessa genom ett förfarande för automatiskt särskiljande av betydelsefulla från betydelselösa varianter med stor och liten bokstav i ett antal inmatade ordtyper enligt de bifogade patentkraven.

Uppfinningen baseras på insikten att lokal information, såsom förekomsten av och platsen för stor bokstav i ordtyper, tillsammans med global information, såsom förekomsten av ordtyper som endast skiljer sig från varandra med avseende på en eller flera bokstävers stilkast, i bokstavens stilkast är betydelsefull eller inte. kan användas för fastställande av om skillnaden Enligt en aspekt av uppfinningen tillhandahålls ett förfarande för automatisk särskiljande av betydelselösa från betydelsefulla skillnader mellan stor och liten bokstav i ett antal inmatade ordtyper med hjälp av en dator. Enligt förfarandet hänförs en inmatad ordtyp en av ett antal disjunkta lokala grupper baserat på stilkasten på och platsen för bokstäver som tillsammans bildar ordtypen. Vidare hänförs ordtypen till ett antal disjunkta globala grupper baserat på vilka lokala grupper som stilkastvarianter av den inmatade ordtypen tillhör.

Slutligen normaliseras nämnda inmatade ordtyps stilkast i enlighet med i förväg bestämda regler som är associerade med de globala grupperna som nämnda inmatade ordtyp tillhör.

Enligt denna aspekt av uppfinningen matas ett stort antal ordtyper som har identifierats i en väldigt stor textdatabas in till en dator. Ordtyperna matas in såsom de uppträder i textdatabasen, d v s stilkasterna på ordtypernas bokstäver bibehålls. Således kommer två - - n Q . « . u nu 10 15 20 25 30 35 524 595 . + . . .- u u . v ø : | f. 3 löpord i textdatabasen som är identiska med undantag av en eller flera bokstävers stilkast att matas in som tvá olika ordtyper, medan tvà löpord i textdatabasen som är identiska även vad beträffar bokstävernas stilkast kommer att matas in som en ordtyp. Förfarande som utförs helautomatiskt med hjälp av en dator använder sedan både lokal information och global information beträffande ordtypernas stilkast. Den lokala informationen är stilkasterna pà och platserna för bokstäverna som tillsammans bildar ordtyperna, såsom begynnelsebokstavens stilkast och icke-initiala bokstävers stilkast. Vad beträffar den globala informationen används enligt uppfinningen det faktum att det finns ordtyper som endast skiljer sig från varandra med avseende pà en eller flera bokstävers stilkast. Dessa ordtyper är stilkastvarianter av en gemensam ordtyp. Det har insetts att det, genom att man fastställer vilka olika stilkastvarianter som finns för en gemensam ordtyp, är möjligt att med en rimlig säkerhetsnivà fastställa om skillnaden mellan stilkastvarianterna är betydelsefull eller inte och, om den inte är det, till vilken stilkastvariant som stilkastvarianterna skall normaliseras. Termen hänförs i uttrycket "hänförs till ett antal disjunkta lokala grupper" och "hänförs till ett antal disjunkta globala grupper" skall tolkas brett sà att det inte endast täcker en verklig gruppering av de inmatade ordtyperna utan även en mer teoretisk insikt om att det finns olika typer av ordtyper vad beträffar de lokala och globala egenskaperna av intresse. Vidare innefattar de i förväg bestämda reglerna även regler som detekterar när ingen normalisering skall göras vilket inträffar när stilkasterna pà bokstäverna i ordtyperna anses vara betydelsefulla. inmatade ordtyper som inte har nägra stilkastvarianter På detta sätt bevaras stilkasterna för de och för de inmatade ordtyper som har stilkastvarianter för vilka stilkastskillnaderna anses vara betydelsefulla medan stilkasterna normaliseras för inmatade ordtyper för 10 15 20 25 30 35 -524 595 . « . I n; n . u | « - u 4 vilka stilkastskillnaderna anses vara betydelselösa. En fördel med detta förfarande är att antalet ordtyper, som exempelvis skall lagras i en databas, minskas. Samtidigt bevaras den information som meddelas av stilkasten när stilkasten anses vara betydelsefullt. Således kommer storleken på databasen att minskas vilket kommer att minska kostnaden för databasen och öka hastigheten på uppslag i databasen.

Förfarandet är generellt, språkoberoende och tillämpbart på teckenuppsåttningar i språk för vilka standardortografi skiljer på stor ock liten bokstav.

Förfarandet har tillämpningar i indexerings- och uppslagsförfaranden i system för informationsàtervinning och i komponenter för lexikal analys hos system för textanalys.

I en utföringsform av förfarandet enligt uppfinningen normaliseras stilkastvarianterna av en inmatad ordtyp till en given stilkastvariant som är i förväg bestämd för en given global grupp för den inmatade ordtypen. Således finns det för varje global grupp en stilkastform som anses var normalformen och alla stilkastvarianter av en ordtyp av en given global grupp normaliseras till den normalformen. Detta baseras på insikten att olika typer av ordtyper, såsom namn, akronymer, substantiv etc., kommer att förekomma i en viss uppsättning av stilkastvarianter i en text på naturligt språk, och att uppsättningen av stilkastvarianter för en ordtyp som återfinns i en stor text på naturligt språk indikerar vilken typ av ordtyp ordtypen är.

I en annan utföringsform av förfarandet enligt uppfinningen associeras varje ordtyp med en frekvens som anger antalet förekomster av den inmatade ordtypen i texten pà naturligt språk. Stilkastvarianterna av en inmatad ordtyp normaliseras sedan i enlighet med i förväg bestämda regler som är associerade med (a) den globala grupp som den inmatade ordtypen tillhör och (b) - u n ø u vn 10 15 20 25 30 35 524 595 šïï; . » u v ø no 5 frekvensen för stilkastvarianterna av den inmatade ordtypen. I denna utföringsform används sàledes den ytterligare informationen avseende antalet gånger varje ordtyp har förekommit i texten på naturligt språk i fastställandet av om och hur en inmatad ordtyp skall normaliseras. Exempelvis kan information om frekvensen för varje stilkastvariant av en ordtyp indikera att standardnormaliseringen som är associerad med den globala gruppen av stilkastvarianterna inte skall tillämpas. Även om det finns en form vad beträffar stilkast som anses vara normalformen till vilken alla stilkastvarianter av en ordtyp skall normaliseras, skall detta inte göras i vissa fall. Detta kan exempelvis vara fallet när en stilkastvariant som anses vara normalformen har en frekvens som är avsevärt mindre än frekvensen för en annan stilkastvariant. Detta baseras på insikten att det, även om uppsättningen av stilkastvarianter som en ordtyp har i en text pá naturligt språk indikerar vilken typ av ordtyp ordtypen är, finns undantag frán detta. Dessa undantag kan identifieras genom att hänsyn tas även till frekvensen för varje stilkastvariant. Detta förbättrar förfarandets prestanda vad beträffar normaliseringens korrekthet.

I ytterligare en utföringsform av förfarandet enligt uppfinningen associeras varje inmatad ordtyp med en meningsposition som indikerar om den inmatade ordtypen förekom i en meningsintern position och/eller i en meningsinledande position i texten pà naturligt språk.

Stilkastvarianterna av en inmatad ordtyp normaliseras sedan i enlighet med i förväg bestämda regler som hänför sig till den globala gruppen för den inmatade ordtypen och till meningspositionerna för stilkastvarianterna av den inmatade ordtypen. I denna utföringsform kan även information avseende varje specifik grupp av stilkastvarianter vägas in vid fastställande av om och hur en inmatad ordtyp skall normaliseras. Information avseende meningspositionen för varje stilkastvariant av | ~ n ~ « -ø 10 15 20 25 30 35 524 595 | » . | .u n u « . . . ., 6 en ordtyp kan exempelvis indikera att standardnormaliseringen som är associerad med den globala gruppen för stilkastvarianterna inte skall tillämpas. Även om det finns en stilkastform som anses vara normalformen till vilken alla stilkastvarianter av en ordtyp skall normaliseras, skall detta således inte göras i vissa fall. När en stilkastvariant med en stor begynnelsebokstav och en annan stilkastvariant med en liten begynnelsebokstav båda uppträder i meningsinterna positioner i den naturliga texten, indikerar detta exempelvis att stilkastskillnaderna är betydelsefull och att ingen normalisering skall göras. Detta baseras pà insikten att det även om uppsättningen stilkastvarianter av en ordtyp indikerar vilken typ av ordtyp som ordtypen är finns undantag för detta. Dessa undantag kan identifieras genom att hänsyn tas även till vilken meningsposition som varje stilkastvariant har förekommit i. Detta förbättrar förfarandets prestanda vad beträffar bevarandet av betydelsefulla stilkastskillnader.

Kort beskrivning av ritningarna I det följande àskàdliggörs föreliggande uppfinning medelst exempel och inte begränsning med hänvisning till de åtföljande ritningarna, pà vilka: figur 1 är ett flödesschema över en första utföringsform av ett förfarande enligt uppfinningen; figur 2 är ett flödesschema över en andra utföringsform av ett förfarande enligt uppfinningen; och figur 3 är ett flödesschema över en tredje utföringsform av ett förfarande enligt uppfinningen.

Detaljerad beskrivning av uppfinningen I figur 1 visas ett flödesschema över en första utföringsform av ett förfarande enligt uppfinningen. Ett antal ordtyper har identifierats i en stor textdatabas som innefattar text pà naturligt språk. Ordtyperna matas sedan in till en dator eller liknande. Ordtyperna matas 10 15 20 25 30 35 5-24 595 . - n | .o v q u ~ u ao 7 in såsom de uppträder i textdatabasen, d v s stilkasterna på bokstäverna hos ordtyperna bibehålls. Således kommer två löpord i textdatabasen som är identiska med undantag av en eller flera bokstävers stilkast att matas in som två olika ordtyper medan två löpord i textdatabasen som är identiska även vad beträffar bokstävernas stilkast kommer att matas in som en ordtyp. Ordtyper som skiljer sig från varandra endast med avseende på en eller flera bokstävers stilkast kommer i det följande att kallas stilkastvarianter av en gemensam ordtyp. Enligt utföringsformen av förfarandet hänförs varje ordtyp som börjar med ett alfabetiskt tecken till en av fyra disjunkta lokala grupper i steg 110. En ordtyp hänförs till en lokal grupp på basis av stilkasten på ordtypens begynnelsebokstav och stilkasten på ordtypens icke- initiala bokstäver. Närmare bestämt hänförs i steg 1l5A varje ordtyp som har en stor begynnelsebokstav och inte har någon liten icke-initial bokstav till en första lokal grupp (LGl). I steget ll5B hänförs varje ordtyp som har en stor begynnelsebokstav och åtminstone en liten icke- initial bokstav till en andra lokal grupp (LG2). I steg 115C hänförs varje ordtyp som har en liten begynnelsebokstav och inte har någon liten icke-initial bokstav till en tredje lokal grupp (LG3). I steg ll5D hänförs varje ordtyp som har en liten begynnelsebokstav och åtminstone en stor icke-initial bokstav till en fjärde lokal grupp (LG4). Efter identifieringen av lokal information, d v s information som kan erhållas genom att varje ordtyp betraktas endast i sin lokala kontext, hänförs varje ordtyp till en av fyra globala grupper i steg 120. En ordtyp hänförs till en global grupp på basis av de lokala grupper vilka stilkastvarianterna av ordtypen tillhör. Identifieringen av stilkastvarianterna, d v s ordtyper som är lika varandra med undantag för en eller flera bokstävers stilkast kan göras pà flera olika sätt som är uppenbara för en fackman inom området. När alla stilkastvarianter har hittats för en gemensam ordtyp ~ . ø o n n n n .nu 10 15 20 25 30 35 524 595 ---- -- . o « . uu 8 identifieras de lokala grupper vilka stilkastvarianterna tillhör. Om åtminstone en stilkastvariant tillhör den första lokala gruppen och åtminstone en stilkastvariant av ordtypen tillhör den andra lokala gruppen samt inga stilkastvarianter tillhör den tredje lokala gruppen, hänförs ordtypen till en första global grupp (GGl) i steg 125A. Om åtminstone en stilkastvariant tillhör den första lokala gruppen och åtminstone en stilkastvariant av ordtypen tillhör den tredje lokala gruppen samt inga stilkastvarianter tillhör den andra lokala gruppen, hänförs ordtypen till en andra global grupp (GG2) i steg l25B. Om åtminstone en stilkastvariant tillhör den andra lokala gruppen och åtminstone en stilkastvariant av ordtypen tillhör den tredje lokala gruppen samt inga stilkastvarianter tillhör den första lokala gruppen, hänförs ordtypen till den tredje globala gruppen (GG3) i steg 125C. Om åtminstone en stilkastvariant tillhör den första lokala gruppen och åtminstone en stilkastvariant av ordtypen tillhör den andra lokala gruppen samt åtminstone en stilkastvariant tillhör den tredje lokala gruppen, hänförs ordtypen till den fjärde globala gruppen (GG4) i steg 125D. På detta sätt identifieras global information, d v s information som kan erhållas genom analys av förekomsten av en ordtyp och stilkastvarianter av ordtypen i en fullständig databas. Den globala informationen används sedan i steg 130 vid normalisering av ordtypernas stilkast i enlighet med i förväg bestämda regler som är associerade med varje global grupp. De i förväg bestämda reglerna baseras på empirisk kunskap om betydelsen av stilkast för ordtyper som förekommer som vissa stilkastvarianter i en textdatabas och den mest sannolika normalformen vad gäller stilkast för dessa ordtyper. I denna utföringsform normaliseras varje inmatad ordtyp som tillhör den första globala gruppen till stilkastvarianten som tillhör den andra lokala gruppen. Varje imatad ordtyp som tillhör den andra globala gruppen normaliseras till stilkastvarianten av V 10 15 20 25 30 35 524- 595 | ø o » un 9 ordtypen som tillhör den tredje lokala gruppen. Varje inmatad ordtyp som tillhör den tredje globala gruppen normaliseras till stilkastvarianten som tillhör den tredje lokala gruppen. Varje inmatad ordtyp som tillhör den fjärde globala gruppen normaliseras till ordtypen som tillhör den andra lokala gruppen.

För exemplifiering av utföringsformen som beskrivs med hänvisning till figur 1 kommer fyra olika exempel som är associerade med olika globala grupper att ges i det följande. I ett första exempel har de två ordtyperna "CALIFORNIA" och "California" matats in till förfarandet.

Dessa ordtyper är stilkastvarianter av en gemensam ordtyp. Stilkastvarianten "CALIFORNIA" hänförs till den första lokala gruppen och stilkastvarianten "California" hänförs till den andra lokala gruppen. Således hänförs de två stilkastvarianterna båda till den första globala gruppen och kommer att normaliseras till stilkastvarianten som tillhör den andra lokala gruppen, d v s stilkastvarianten "California". En anledning till att normaliseringen görs till stilkastvarianten som tillhör den andra lokala gruppen är att ordtyper som tillhör den första globala gruppen normalt är namn som har förekommit i en rubrik (första lokala gruppen) och i vanlig text (andra lokala gruppen). Således anses stilkastskillnaden mellan de tvä stilkastvarianterna inte vara betydelsefull och stilkastvarianterna som tillhör den första globala gruppen normaliseras till stilkastvarianten som tillhör den andra lokala gruppen, som anses vara normalformen.

I ett andra exempel har de två ordtyperna "SUMMARY" och "summary" matats in till förfarandet. I detta exempel hänförs stilkastvarianten "SUMMARY" till den första lokala gruppen och hänförs stilkastvarianten "summary" till den tredje lokala gruppen. Således hänförs de tvà stilkastvarianterna båda till den andra globala gruppen och kommer att normaliseras till den stilkastvariant som tillhör den tredje lokala gruppen, d v s p - o o | - u c u vn 10 15 20 25 30 35 un con o c n; e' .n i oi v o 0 o nu n | n I b- a v o n o o n s ' n; u; n' o n n n; c s z u \ø n « o a ' U e n 10 stilkastvarianten "summary". En anledning till att normaliseringen görs till stilkastvarianten som tillhör den tredje lokala gruppen är att ordtyper som hänförs till den andra globala gruppen normalt är substantiv, verb, prepositioner, etc. som har förekommit i en rubrik (första lokala gruppen) och i vanlig text (tredje lokala gruppen). Således anses stilkastskillnaden mellan de två stilkastvarianterna inte vara betydelsefull och stilkastvarianterna som tillhör den andra globala gruppen normaliseras till stilkastvarianten som tillhör den tredje lokala gruppen som anses vara normalformen.

I ett tredje exempel har de två ordtyperna "Often" och "often" matats in till förfarandet. I detta exemplet till den andra lokala till den hänförs stilkastvarianten "Often" gruppen, tredje lokala gruppen. Således hänförs de två och hänförs stilkastvarianten "often" stilkastvarianterna båda till den tredje globala gruppen och kommer att normaliseras till stilkastvarianten som tillhör den tredje lokala gruppen, d v s stilkastvarianten "often". En anledning till att normaliseringen görs till stilkastvarianten som tillhör den tredje lokala gruppen är att ordtyper som tillhör den tredje globala gruppen normalt är substantiv, verb, prepositioner, etc. som har förekommit både i en begynnelseposition i en mening (andra lokala gruppen) och en intern position i en mening (tredje lokala gruppen).

Således anses stilkastskillnaden inte vara betydelsefull och stilkastvarianterna som tillhör den tredje globala gruppen normaliseras till den stilkastvariant som tillhör den tredje lokala gruppen, som anses vara normalformen.

Slutligen har i ett fjärde exempel de tre ordtyperna "ALICE, detta exempel hänförs stilkastvarianten "ALICE" till den "Alice" och "alice" matats in till förfarandet. I första lokala gruppen, hänförs stilkastvarianten "Alice" till den andra lokala gruppen och hänförs stilkastvarianten "alice" till den tredje lokala gruppen.

Således hänförs de tre stilkastvarianterna alla till den 10 15 20 25 30 35 524 595 - . u w - | - ø u. ll fjärde globala gruppen och kommer att normaliseras till den stilkastvariant som tillhör den andra lokala gruppen, d v s stilkastvarianten "Alice". En anledning till att normalisering görs till stilkastvarianten som tillhör den andra lokala gruppen är att ordtyper som tillhör den fjärde globala gruppen normalt är namn som har förekommit i en rubrik (första lokala gruppen), i normal text (andra lokala gruppen) och exempelvis i en e-postadress (tredje lokala gruppen). Således anses stilkastskillnaden inte vara betydelsefull och stilkastvarianterna som tillhör den fjärde globala gruppen normaliseras till stilkastvarianten som tillhör den andra lokal gruppen, som anses vara normalformen.

I figur 2 visas ett flödesschema över en andra utföringsform av ett förfarande enligt uppfinningen.

Såsom i utföringsformen som beskrivs med hänvisning till figur 1 matas ett antal ordtyper som har identifierats i en stor textdatabas som innefattar text på naturligt språk in till en dator. Enligt denna andra utföringsform associeras varje inmatad ordtyp med en frekvens som indikerar antalet förekomster av den inmatade ordtypen i texten på naturligt språk. Stegen att hänföra ordtyperna till de lokala grupperna och de globala grupperna skiljer sig inte från den första utföringsformen. Följaktligen beskrivs dessa inte ytterligare här. Skillnaden från den första utföringsformen påträffas i steget 230 där stilkast normaliseras. I denna utföringsform normaliseras en inmatad ordtyps stilkast i enlighet med i förväg bestämda regler som är associerade med (1) den inmatade ordtypens globala grupp (2) frekvensen för varje stilkastvariant av den inmatade ordtypen. Närmare bestämt normaliseras, för inmatade ordtyper som tillhör den första globala gruppen, den andra globala gruppen eller den tredje globala gruppen, stilkast till stilkasten på den stilkastvariant av den inmatade ordtypen som har den största frekvensen. I fallet med oavgjort resultat vid låga frekvenser för stilkastvarianter normaliseras 10 15 20 25 30 35 -524 595 - . | ~ n 12 stilkast till den förinställda normalformen för respektive global grupp. I fallet med oavgjort resultat vid höga frekvenser är skillnaden mellan stilkastvarianter betydelsefull och normalisering blockeras. För inmatade ordtyper som tillhör den fjärde globala gruppen finns två alternativ. Om frekvensen för stilkastvarianten som tillhör den andra lokala gruppen är större än frekvensen för stilkastvarianten som tillhör den första lokala gruppen, normaliseras stilkast till den stilkastvariant som tillhör den andra lokala gruppen. Om frekvensen för stilkastvarianten som tillhör den andra lokala gruppen är mindre än frekvensen för stilkastvarianten som tillhör den första lokala gruppen, så normaliseras stilkasten på den inmatade ordtypen till stilkastvarianten som tillhör den första lokala gruppen.

Behandlingen av det andra paret som består av stilkastvarianten som tillhör den första lokala gruppen och stilkastvarianten som tillhör den tredje lokala gruppen är analog.

För exemplifiering av utföringsformen som beskrivs med hänvisning till figur 2 kommer tvà olika exempel som är associerade med olika globala grupper att ges i det följande. I ett första exempel har de två ordtyperna "UNESCO" två ordtyper är stilkastvarianter av en gemensam ordtyp.

Stilkastvarianten "UNESCO" hänförs till den första lokala och "Unesco" matats in till förfarandet. Dessa gruppen och stilkastvarianten "Unesco" hänförs till den andra lokala gruppen. I detta exempel associeras de två stilkastvarianterna med sina respektive frekvenser och är större än Trots att stilkastvarianterna tillhör den första globala gruppen, frekvensen för stilkastvarianten "UNESCO" frekvensen för stilkastvarianten "Unesco". för vilken den förinställda normalformen är stilkastvarianten som tillhör den andra lokala gruppen, kommer de således att normaliseras till stilkastvarianten som tillhör den första lokala gruppen istället, d v s stilkastvarianten "UNESCO". Detta beror pà att respektive 10 15 20 25 30 35 524 595 | A . ~ n» p - - . « . - - v : ~ | ~ u 13 frekvens av stilkastvarianterna åsidosätter de i förväg bestämda reglerna som är associerade med de globala grupperna. I detta exempel är stilkastvarianterna akronymer för vilka stilkastvarianten som tillhör den första globala gruppen anses vara normalformen.

I ett andra exempel har de tre ordtyperna "ATM", "Atm" och "atm" matats in till förfarandet. I detta exempel associeras de tre stilkastvarianterna med sina frekvenser och frekvensen för stilkastvarianten "ATM" är större än frekvensen för stilkastvarianten "Atm". Trots att stilkastvarianterna hänförs till den fjärde globala gruppen kommer de således att normaliseras till stilkastvarianten som tillhör den första lokala gruppen, d v s den första stilkastvarianten "ATM". Detta beror pà att respektive frekvens för stilkastvarianterna åsidosätter de i förväg bestämda reglerna som är associerade med den globala gruppen. I detta exempel är stilkastvarianterna akronymer för vilka stilkastvarianterna som tillhör den första globala gruppen anses vara normalformen.

I figur 3 visas ett flödesschema över en tredje utföringsform av ett förfarande enligt uppfinningen.

Sàsom i utföringsformen som beskrivs med hänvisning till figur 1 matas ett antal ordtyper som har identifierats i en stor textdatabas som innefattar text pà naturligt språk in till en dator. Enligt denna tredje utföringsform associeras varje inmatad ordtyp även med en meningsposition som indikerar om den inmatade ordtypen förekom i en meningsintern position och/eller i en begynnelseposition av en mening i texten pà naturligt språk. Stegen att hänföra ordtyperna till de lokala grupperna och de globala grupperna skiljer sig inte fràn den första utföringsformen. Således beskrivs dessa inte ytterligare här. Skillnaden fràn den första utföringsformen påträffas i steget 330 där stilkast normaliseras. I denna utföringsform normaliseras varje inmatad ordtyps stilkast i enlighet med i förväg bestämda 10 15 20 25 30 35 » . - ~ n u n 14 regler som är associerade med (1) den inmatade ordtypens globala grupp och (2) meningspositionen för varje stilkastvariant av den inmatade ordtypen. Närmare bestämt normaliseras en inmatad ordtyps stilkast enligt samma regler som i utföringsformen som beskriv med hänvisning till figur 1 med tvà undantag. Om en inmatad ordtyp tillhör den tredje eller fjärde globala gruppen, kommer normaliseringen inte att utföras om stilkastvarianten som tillhör den andra globala gruppen är associerad med en meningsposition som indikerar att den inmatade ordtypen förekom i en meningsintern position i texten pà naturligt spräk.

För exemplifiering av utföringsformen som beskrivs med hänvisning till figur 3, kommer ett exempel att ges i det följande. I exemplet har de tvà ordtyperna "Bill" och "bill" matats in till förfarandet. Dessa ordtyper är stilkastvarianter av en gemensam ordtyp.

"Bill" gruppen och stilkastvarianten "bill" hänförs till den Stilkastvarianten hänförs till den andra lokala tredje lokala gruppen. I detta exempel associeras de tvä stilkastvarianterna med meningspositionsinformation.

Meningspositionsinformationen avseende stilkastvarianten "Bill" bàde i en meningsinledande position och i en indikerar att stilkastvarianten har förekommit meningsintern position i texten pà naturligt språk.

Således kommer ingen normalisering av stilkast att "bill". beror på att meningspositionen för stilkastvarianterna utföras för stilkastvarianterna "Bill" och Detta indikerar att de i förväg bestämda reglerna som är associerade med den globala gruppen inte skall användas.

I detta exempel meddelar skillnaden i stilkast information som skall bevaras. Närmare bestämt kan "Bill" vanligt engelskt substantiv. Om de tvä ordtyperna "Car" stilkastvarianten bàde vara ett namn och ett och "car" har matats in till förfarandet och meningspositionsinformationen avseende stilkastvarianten "Car" indikerar att denna stilkastvariant endast 10 15 n n nnn n n n: nn nn n nu nnnn _ n u n n n » n n n n n n nn n u n n n n n n . n n n n n n n n.. n ~ n n nn - . n n n n n n n n n n n n n :n n . n n n n n n c n n n un: nn ~.n 15 förekommer i en meningsinledande position medan meningspositionsinformationen avseende stilkastvarianten "car" indikerar att denna variant endast förekommer i en meningsintern position, skulle reglerna hos utföringsformen som beskrivs med hänvisning till figur 1 användas och de tvà stilkastvarianterna normaliseras till stilkastvarianten som tillhör den tredje lokala gruppen, d v s stilkastvarianten "car".

Utföringsformerna som beskrivs ovan kan implementeras i ett datorprogram som innefattar datorexekverbara instruktioner för utförande av stegen.

Datorprogrammet kan sedan lagras pà ett godtyckligt datorläsbart medium och utföringsformen kan sedan utföras med hjälp av en generell dator som har tillgång till detta medium. Vidare kan utföringsformerna även realiseras direkt i maskinvara, såsom en eller flera datorprocessorer som är anordnade att utföra stegen.

Claims (15)

10 15 20 25 30 35 524 595 - . | . nu 16 PATENTKRAV

1. Förfarande för automatiskt särskiljande av betydelsefulla fràn betydelseslösa skillnader mellan stor och liten bokstav i ett antal inmatade ordtyper från en text pà naturligt spräk med hjälp av en dator, innefattande stegen: att hänföra en inmatad ordtyp till en av ett antal disjunkta lokala grupper baserat pá stilkasten pà och positionen för bokstäverna som tillsammans bildar ordtypen; att hänföra nämnda inmatade ordtyp till en av ett antal disjunkta globala grupper baserat pà vilka lokala grupper som stilkastvarianter av den inmatade ordtypen tillhör; att normalisera stilkast för nämnda inmatade ordtyp och i enlighet med i förväg bestämda regler som är associerade med den globala gruppen som nämnda inmatade ordtyp tillhör.

2. Förfarande enligt patentkrav 1, varvid steget att normalisera stilkast innefattar steget: att normalisera nämnda inmatade ordtyp enligt stilkasterna på den stilkastvariant av nämnda inmatade ordtyp som tillhör en lokal grupp som är i förväg bestämd för den globala gruppen som nämnda inmatade ordtyp tillhör.

3. Förfarande enligt patentkrav 1 eller 2, varvid steget att hänför en inmatad ordtyp till en av ett antal disjunkta lokala grupper innefattar steget: att hänföra en inmatad ordtyp till en av ett antal disjunkta grupper baserade pà stilkasten på nämnda ordtyps begynnelsebokstav och stilkasterna pà nämnda ordtyps icke-initiala bokstäver. 10 15 20 25 30 35 -524 595 Q . - e v. n 1 - v v Q u : - . » - n » . - n. 17

4. Förfarande enligt patentkrav 1 eller 2, varvid nämnda steg att hänföra en inmatad ordtyp till en av ett antal disjunkta lokala grupper innefattar stegen: att hänföra en inmatad ordtyp till en av ett antal disjunkta lokala grupper baserat på stilkasten pà ordtypens begynnelsebokstav och huruvida det finns några icke-initiala bokstäver hos nämnda inmatade ordtyp som har ett annat stilkast än den inmatade ordtypens begynnelsebokstav eller inte.

5. Förfarande enligt patentkrav 1 eller 2, varvid steget att hänföra en inmatad ordtyp till en av ett antal disjunkta lokala grupper innefattar stegen: att hänföra en inmatad ordtyp, som har en stor begynnelsebokstav och inte har nägra smà icke-initiala bokstäver, till en första lokal grupp; att hänföra en inmatad ordtyp, som har en stor begynnelsebokstav och har åtminstone en liten icke- initial bokstav, till en andra lokal grupp; att hänföra en inmatad ordtyp, som har en liten begynnelsebokstav och inte har nâgra små icke-initiala bokstäver, till en tredje lokal grupp; och att hänföra en inmatad ordtyp, som har en liten begynnelsebokstav och àtminstone en stor icke-initial bokstav, till en första lokal grupp.

6. Förfarande enligt patentkrav 5, varvid steget att hänföra nämnda inmatade ordtyp till en av ett antal disjunkta globala grupper innefattar stegen: att hänföra nämnda inmatade ordtyp till en första global grupp om en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda första lokala grupp, en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda andra lokala grupp och inte någon stilkastvariant av nämnda inmatade ordtyp tillhör nämnda tredje lokala 9rUPPi 10 15 20 25 30 35 524 595 « . - - . u n u u n ~ . ~ ~ s ~ . a nu 18 att hänföra nämnda inmatade ordtyp till en andra global grupp om en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda första lokala grupp, en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda tredje lokala grupp och inte någon stilkastvariant av nämnda inmatade ordtyp tillhör nämnda andra lokala grupp; att hänföra varje inmatad ordtyp till en tredje global grupp om en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda andra lokala grupp, en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda tredje lokala grupp och inte någon stilkastvariant av nämnda inmatade ordtyp tillhör nämnda första lokala grupp; att hänföra varje inmatad ordtyp till en fjärde och global grupp om en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda första lokala grupp, en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda andra lokala grupp och en stilkastvariant av nämnda inmatade ordtyp tillhör nämnda tredje lokala grupp.

7. Förfarande enligt patentkrav 6, varvid steget att normalisera stilkast innefattar stegen: att normalisera stilkast pà nämnda ordtyp enligt stilkasterna pä den stilkastvariant av nämnda inmatade ordtyp som tillhör nämnda andra lokala grupp om nämnda inmatade ordtyp tillhör nämnda första globala grupp; att normalisera stilkast pä nämnda ordtyp enligt stilkasterna pà den stilkastvariant av nämnda inmatade ordtyp som tillhör nämnda tredje lokala grupp om nämnda inmatade ordtyp tillhör nämnda andra globala grupp; att normalisera stilkast pà nämnda ordtyp enligt stilkasterna pà den stilkastvariant av nämnda inmatade ordtyp som tillhör nämnda tredje lokala grupp om nämnda inmatade ordtyp tillhör nämnda tredje globala grupp; och att normalisera stilkast pà nämnda ordtyp enligt stilkasterna pä den stilkastvariant av nämnda inmatade 10 15 20 25 30 35 19 ordtyp som tillhör nämnda andra lokala grupp om nämnda inmatade ordtyp tillhör nämnda fjärde globala grupp.

8. Förfarande enligt patentkrav l, varvid de inmatade ordtyperna var och en är associerade med en frekvensindikator som indikerar antalet förekomster av den inmatade ordtypen i nämnda text pà naturligt spràk, och varvid steget att normalisera stilkast innefattar steget att: normalisera stilkast pà nämnda inmatade ordtyp i enlighet med i förväg bestämda regler som är associerade med den globala gruppen som nämnda inmatade ordtyp tillhör och frekvensindikatorerna som stilkastvarianterna av nämnda ordtyp är associerad med.

9. Förfarande enligt patentkrav 6, varvid den inmatade ordtypen när associerad med en frekvensindikator som indikerar antalet förekomster av ordtypen i nämnda text pà naturligt språk, och varvid steget att normalisera innefattar steget att: normalisera stilkast pà nämnda inmatade ordtyp enligt stilkasterna pà den stilkastvariant av nämnda inmatade ordtypen som är associerad med den största frekvensindikatorn om nämnda inmatade ordtyp tillhör nämnda första globala grupp, nämnda andra globala grupp eller nämnda tredje globala grupp; att normalisera stilkast pà nämnda inmatade ordtyp enligt den stilkastvariant av nämnda inmatade ordtyp som tillhör den andra lokala gruppen om nämnda inmatade ordtyp tillhör den fjärde globala gruppen och stilkastvarianten av nämnda inmatade ordtyp som tillhör nämnda andra lokala grupp är associerad med en frekvensindikator som är större än frekvensindikatorn som stilkastvarianten av nämnda inmatade ordtyp som tillhör den första lokala gruppen är associerad med; och att normalisera stilkast pà nämnda inmatade ordtyp enligt den stilkastvariant av nämnda inmatade ordtyp som 10 l5 20 25 30 35 | u - v » u. 20 tillhör den första lokala gruppen om nämnda inmatade ordtyp tillhör den fjärde globala gruppen och stilkastvarianten av nämnda inmatade ordtyp som tillhör nämnda andra lokala grupp är associerad med en frekvensindikator som är mindre än frekvensindikatorn som stilkastvarianten av nämnda inmatade ordtyp som tillhör den första lokala gruppen är associerad med.

10. Förfarande enligt patentkrav 1, varvid nämnda inmatade ordtyper var och en är associerad med en meningspositionsindikator som indikerar om den inmatade ordtypen förekom i en intern position av en mening och/eller i en inledande position av en mening i nämnda text pà naturligt språk, och varvid steget att normalisera innefattar steget: att normalisera stilkast för nämnda inmatade ordtyp i enlighet med i förväg bestämda regler som är associerade med den globala gruppen som nämnda inmatade ordtypen tillhör och meningspositionsindikatorn som stilkastvarianterna av nämnda inmatade ordtyp är associerade med.

11. ll. Förfarande enligt patentkrav 6, varvid nämnda inmatade ordtyper var och en är associerad med en meningspositionsindikator som indikerar om den inmatade ordtypen förekom i en intern position av en mening och/eller i en inledande position av en mening i nämnda text på naturligt spràk, och varvid steget att normalisera stilkast innefattar stegen: att normalisera stilkast pà nämnda inmatade ordtyp enligt stilkasterna pà stilkastvarianten av nämnda inmatade ordtyp som tillhör nämnda andra lokala grupp om nämnda inmatade ordtyp tillhör nämnda första globala grupp; att normalisera stilkast pà nämnda inmatade ordtyp enligt stilkasterna på den stilkastvariant av nämnda inmatade ordtyp som tillhör nämnda tredjelokala grupp om 10 15 20 25 30 35 ' Ü ' (I aa! 21 nämnda inmatade ordtyp tillhör nämnda andra globala grupp; att normalisera stilkast på nämnda inmatade ordtyp enligt stilkasterna på den stilkastvariant av nämnda inmatade ordtyp som tillhör nämnda tredje lokala grupp om nämnda inmatade ordtyp tillhör nämnda tredje globala grupp och stilkastvarianten av nämnda inmatade ordtyp som tillhör nämnda andra lokala grupp inte är associerad med en meningspositionsindikator som indikerar att den inmatade ordtypen förekom i en intern position av en mening i nämnda text pà naturligt språk; och att normalisera stilkast pà nämnda inmatade ordtyp enligt stilkasterna på den stilkastvariant av nämnda inmatade ordtyp som tillhör nämnda andra lokala grupp om nämnda inmatade ordtyp tillhör nämnda fjärde globala grupp och stilkastvarianten av nämnda inmatade ordtyp som tillhör nämnda andra lokala grupp inte är associerad med en meningspositionsindikator som indikerar att den inmatade ordtypen förekom i en intern position av en mening i nämnda text på naturligt språk.

12. Förfarande enligt något av patentkraven l-ll, vidare innefattande steget att: lagra nämnda inmatade ordtyper med normaliserade stilkast i ett elektroniskt lagringsorgan.

13. Datorprocessor som är anordnad att utföra stegen som omnämns i något av kraven l-12.

14. Datorläsbart medium som har datorexekverbara instruktioner för att en dator skall utföra stegen som omnämns i något av kraven l-12.

15. Datorprogram som innefattar datorexekverbara instruktioner för att en dator skall utföra stegen som omnämns i något av kraven 1-12.