Wikipedia:ORES

ORES (Objective revision evaluation service) is een computer-leersysteem (Machinaal leren, Artificial Intelligence of AI) en webservice dat wordt ontwikkeld door de Wikimedia Foundation, en die als ondersteuning van diverse tools op de projecten ingezet kan worden.

Op dit moment kan ORES op de Nederlandstalige Wikipedia de data voor twee zaken leveren: data over de kwaliteit van bewerkingen, en data over de kwaliteit van artikelen.

Kwaliteit van bewerkingen

Op de Nederlandstalige Wikipedia kan de RTRC tool gebruikt worden voor het beoordelen van bewerkingen door anoniemen.

Een zorg bij de open projecten van Wikimedia is de controle van mogelijk schadelijke bijdragen (bewerkingen). Het is ook noodzakelijk om bewerkers te identificeren die van goede wil zijn (maar per ongeluk schade berokkenen) en hen ondersteuning te bieden. Deze modellen maken het filteren van bewerkingen in de Speciaal:RecenteWijzigingen makkelijker. ORES biedt twee niveaus van ondersteuning aan modellen die de bewerkingskwaliteit voorspellen: basis en gevorderd.

ORES is sinds 2016 actief als Beta-feature op de Nederlandstalige Wikipedia. Het systeem is getraind dankzij een (zeer) actief gebruik van labelen van bewerkingen. Door gebruik van deze labels leert het systeem ook nog steeds bij.

Krinkles RTRC-tool maakt gebruik van ORES en kan gebruikt worden op de Nederlandstalige Wikipedia voor de controle en beoordeling van anonieme bijdragen. Deze wordt geactiveerd door het toevoegen van deze code voor de gadget aan je persoonlijke common.js, waarna de links achter de tijdsaanduidingen in de controlelijst je naar de extensie brengen.

Basis-niveau

Ervan uitgaande dat de meeste schadelijke bewerkingen worden teruggedraaid en dat bewerkingen die niet schadelijk zijn niet worden teruggedraaid, kan een overzicht van bewerkingen (en teruggedraaide bewerkingen) van een wiki gemaakt worden. Een dergelijk model is eenvoudig op te zetten, maar het lijdt onder alle terugdraaiingen die om andere redenen dan schade en vandalisme gedaan worden. Om dit probleem te verhelpen, is een model ontworpen dat gebaseerd is op ongewenste woorden.

teruggedraaid – voorspelt of een bewerking op een gegeven moment teruggedraaid zal worden.

Gevorderd niveau

Liever dan slechts aannames te doen, wordt bewerkers gevraagd om ORES te leren welke bewerkingen beschadigend zijn en welke bewerkingen aangemerkt moeten worden als goede wil. Dit vraagt aanvullende inspanningen van de gemeenschap, maar het maakt een nauwkeurigere en meer afgewogen voorspelling van de kwaliteit van een bewerking mogelijk. Veel tools werken alleen als een gevorderd beschermingsniveau op de betreffende wiki is aangezet.

beschadigend – voorspelt of een bewerking het project schaadt
goede wil – voorspelt of een bewerking is gedaan vanuit goede wil (maar wel ongelukkig uitpakt)

Kwaliteit van artikelen

De kwaliteit van artikelen op Wikipedia is een belangrijke zorg. Nieuwe pagina's moeten beoordeeld worden, zodat spam, vandalisme en andere ongewenste inhoud niet in de encyclopedie blijven staan. Artikelen die de eerste beoordeling doorstaan, worden met enige onregelmatigheid beoordeeld op hun kwaliteit, maar dit is behoorlijk arbeidsintensief.

In mei 2020 is erover gesproken om op proef te gaan werken met het inschatten van de artikelkwaliteit door ORES. Er wordt gewerkt aan een schaalindeling, op basis waarvan ORES een specifieke schaal voor de Nederlandstalige Wikipedia kan creëren. Deze extensie kan worden geactiveerd door "Toon ORES-kwaliteitsschaal boven artikelen." in te schakelen op het uitbreidingen tabblad van de gebruikersvoorkeuren. Het online aanroepen van de beoordeling kan via deze link^{[dode link]} en het revisienummer van de te beoordelen versie van het artikel.

De ORES-artikelkwaliteit gadget geeft op Wikipedia per versie van een artikel een waardeoordeel, gebaseerd op een gewogen som van allerlei aspecten waaruit een lemma kan bestaan. Het waardeoordeel wordt onder meer gebaseerd op de hoeveelheid paragrafen, wel of geen infobox, het aantal afbeeldingen en bronnen en het al dan niet gebruik van citeer-sjablonen. Het systeem is ook getraind om vandalistische termen, zoals scheldwoorden, te detecteren. Het kan echter géén algemene inhoudelijke beoordeling geven. Er kan dus niet geconstateerd worden of de algemene tekst feitelijke onjuistheden bevat of dat het lemma grammaticale of stijlfouten heeft. Het systeem kan ook niet beoordelen of de lemmatekst overeenkomt met die in de bronnen of dat die bronnen geschikt zijn.

Ondersteuning bij de initiële beoordeling

Hoe sneller problematische artikelen verbeterd of desnoods verwijderd worden, hoe beter het is. Het beoordelen van nieuw gecreëerde pagina's kan veel werk zijn. Net als bij het tegengaan van vandalisme in bewerkingen, kunnen ook hier computerondersteunde voorspellingen de beoordelaars helpen om de meest problematische artikelen als eerste te beoordelen. Op basis van de redenen die moderatoren opgeven bij het verwijderen van een pagina (zie het logboek) kan een model opgesteld worden dat voorspelt welke pagina's in aanmerking komen voor directe verwijdering. Zie Wikipedia:Criteria voor directe verwijdering voor een overzicht van de redenen voor directe verwijdering op de Nederlandse Wikipedia. Voor het Engelse model is uitgegaan van "vandalism", "attack", en "spam".

acceptabel – voorspelt of het artikel waarschijnlijk voor directe verwijdering in aanmerking komt (spam, vandalisme, privacyschending of veilig)

Ondersteuning voor beoordeling

Voor artikelen die behouden blijven na de eerste beoordeling, evalueren sommige grotere Wikipedia's de kwaliteit van artikelen op een schaal die grofweg overeenkomt met versie 1.0 van de beoordelingsschaal van de Engelse Wikipedia ('kwaliteit van artikelen'). Deze beoordelingen helpen de voortgang te overzien en lacunes op te merken (bijvoorbeeld populaire artikelen die van lage kwaliteit zijn). Het is een uitdaging deze evaluaties actueel te houden. Dit is waar het machinaal-leermodel voor de evaluatie van de artikelkwaliteit van pas komt. Door het model te leren om de kwaliteitsevaluatie zoals menselijke bewerkers deze uitvoeren, na te doen, kunnen we automatisch ieder artikel, en iedere herziening, van een beoordeling voorzien. Dit model is gebruikt om Wiki-projecten te helpen het opnieuw evalueren van de kwaliteit van nieuwe versies van artikelen en om de bewerkingspatronen die leiden tot betere artikelen te onderzoeken.

De kwaliteitsevaluatie van artikelen is gebaseerd op structurele kenmerken van een artikel. Voorbeelden van deze kenmerken zijn: het aantal paragrafen, de aanwezigheid van een infobox, het aantal bronnen en het gebruik van citeer-sjablonen. De beoordeling kijkt niet naar de feitelijke juistheid, het taalgebruik, de opbouw of de toonzetting van het artikel (bijvoorbeeld of er vanuit een niet-neutraal standpunt geschreven is).

artikelkwaliteit – voorspelt de kwaliteit van artikelen, vergelijkbaar met de beoordelingen volgens Wikipedia 1.0.

Meer informatie

Paper over ORES in 2020: de samenwerking met nlwp wordt genoemd in Hfdstk.5.

mw:ORES - ORES op Mediawiki zal altijd de laatste informatie over het project in het algemeen hebben: deze pagina is een afgeleide daarvan.
Phabricator ticket - huidige stand van zaken mbt het bouwen van het kwaliteitsmodel voor artikelen
ORES API
Wikipedia:ORES/Kwaliteitsschaal voor artikelen - voorstel schaalindeling voor artikelen
Wikipedia:Labels/Kwaliteit van artikelen - testen door de gemeenschap met de kwaliteitsschaal in 2021
- Vreemde eenden: plek om vreemde kwaliteitsuitslagen te melden