Wyszukiwarka internetowa
Wyszukiwarka internetowa – program komputerowy lub strona internetowa odnajdująca w internecie informacje według podanych przez użytkownika słów kluczowych lub wyrażeń sformułowanych w języku naturalnym[1].
Umożliwia użytkownikom wyszukiwanie – co do zasady – wszystkich stron internetowych lub stron internetowych w danym języku za pomocą zapytania na jakikolwiek temat przez podanie słowa kluczowego, wyrażenia lub innej wartości wejściowej. W wyniku przedstawia odnośniki, pod którymi można znaleźć informacje związane z zadanym zapytaniem[2].
Określenie „wyszukiwarka” stosowane jest w odniesieniu do:
- stron internetowych serwisów wyszukujących – czyli implementacji oprogramowania wyszukującego działającego z interfejsem WWW ogólnodostępnym dla internautów
- oprogramowania przeznaczonego do indeksowania i wyszukiwania informacji w Internecie.
Wyszukiwarki gromadzą w sposób automatyczny informacje o dokumentach tekstowych oraz plikach zgromadzonych w sieci (z obszaru wyznaczonego do indeksowania).
Historia wyszukiwarek
[edytuj | edytuj kod]Historia wyszukiwarek na świecie
[edytuj | edytuj kod]- 1992
- 1993
- 1994
- 1995
- 1996
- Google na Uniwersytecie Stanforda (pod adresem: google.stanford.edu)[3]
- HotBot
- 1997
- 1998 Google (Google.com)[4]
- 2000 Baidu
- 2004 hakia
- 2006
- 2008
- 2009
- 2013
- 2020 Petal Search
- 2021 Brave Search
Historia wyszukiwarek w Polsce
[edytuj | edytuj kod]- 1991 Emulti[7]
- 1994 Polski Archie[8][9]
- 1996
- 1997
- Sieciowid kończy działalność
- Polski Infoseek ICM[8][9][10]
- 1998 polska wersja Google
- 1999
- 2000
- 2001
- Szukacz[13]
- AltaVista Interia
- Polski Yandex[14]
- 2002
- Netsprint pojawia się w WP[4]
- 2005
- koniec NEToskopu
- koniec polskiej wersji wyszukiwarki Yandex
- 2008
- koniec Infoseek Onet, wyszukiwarkę zastąpiło Google
- koniec AltaVista Interia, wyszukiwarkę zastąpiło Google
- 2011
- 2012
- 2014
- Xtem Search, w języku angielskim
Podział wyszukiwarek
[edytuj | edytuj kod]Wyszukiwarki oparte na analizie treści strony
[edytuj | edytuj kod]Ponieważ Internet rośnie znacznie szybciej niż jakakolwiek grupa ludzi może go katalogować oraz z powodu wad katalogów (np. pod danym hasłem może znajdować się tysiące stron), powstały wyszukiwarki, które przeszukują Internet, analizując zawartość stron. Kiedy użytkownik poda wyszukiwarce zapytanie, ona odpowie mu łączami do stron, które uzna, w zależności od użytego algorytmu, za najbardziej odpowiednie.
Wyszukiwarki oparte na tej zasadzie mogą objąć znacznie większą część sieci niż katalogi. Niestety są one bardzo podatne na nadużycia, przez co użytkownik zamiast użytecznych informacji dostaje linki na strony niemające nic wspólnego z jego zapytaniem. Szczególnie wyspecjalizowały się w tym strony pornograficzne.
Wyszukiwarki oparte na analizie topologii sieci
[edytuj | edytuj kod]Żeby przeciwdziałać temu, stosuje się wyszukiwarki, w których na szczycie list pojawiają się strony, do których odnosi się najwięcej stron dotyczących danego zapytania. Tak więc stronę uważa się za odpowiadającą zapytaniu „britney spears”, jeśli wiele stron na temat „britney spears” do niej linkuje. Strona porno z nagimi zdjęciami Britney, niezależnie od własnej treści i niezależnie od całkowitej liczby linków (głównie z innych stron porno) na nią, nie będzie w ten sposób uznana za związaną z tematem. Natomiast jeśli zada się zapytanie „britney spears nude”, strona ta zostanie uznana za istotną, ponieważ linkuje na nią wiele stron o tematyce „nude”.
Początkowa istotność na podstawie prostej heurystyki, po czym zwykle używa się algorytmu losowego skakania po linkach. Pierwszą wyszukiwarką, która zastosowała zaawansowane algorytmy analizy topologii sieci był Google.
Wyszukiwarki oparte na analizie topologicznej są często uważane za bardzo odporne na nadużycia. W rzeczywistości stosunkowo częstym atakiem są spam-systemy automatycznej wymiany linków. Inną formą ataku jest stworzenie dużej ilości gęsto linkowanych stron, z czego wszystkie na ten sam temat. Jest to jednak zadanie trudne i wymagające dużego nakładu pracy, a modyfikując heurystykę wartości początkowych, można znacznie ograniczyć ten proceder, którego skala na razie jest minimalna.
Wyszukiwarki oparte na zasadzie aukcji miejsc
[edytuj | edytuj kod]Osobnym pomysłem jest wprowadzony przez Overture system, gdzie strony płacą wyszukiwarce kilka centów za każde kliknięcie, przy czym miejsca są licytowane – strona, która daje więcej za kliknięcie znajdzie się wyżej na liście rezultatów. Pozycje płatne są oznaczone jako takie, razem z ceną. System ten jest korzystny dla właścicieli stron – płacą oni tylko za wejścia nie za wyświetlenia. Twórcy twierdzą, że jest on również korzystny dla użytkownika, gdyż tylko strony, które oferują coś użytecznego z danej dziedziny mogą sobie pozwolić na taką reklamę. Z drugiej jednak strony wiele użytecznych stron jest niekomercyjnych, a nawet przy stronach komercyjnych wyniki będą często nieoptymalne – np. na taką reklamę nie mogą sobie pozwolić strony, które mają niskie marże i oferują produkty po niskich cenach, a jedynie te, które mają wysokie marże i oferują produkty drożej.
Reklamy w wyszukiwarkach
[edytuj | edytuj kod]Wyszukiwarki stanowią wymarzony cel reklamodawców, ponieważ mają oni praktycznie pełną gwarancję, że osoba wyszukująca dane hasło jest nim zainteresowana. Tak więc większość wyszukiwarek oferuje reklamy zależne od treści zapytań (np. Google Ads oferowany przez Google). Nie zawsze są one właściwie oddzielone od wyników poszukiwań, co stało się źródłem protestów grup ochrony praw konsumentów oraz kilku do dziś nierozstrzygniętych spraw sądowych. Ze względu na szeroką krytykę procederu nieoddzielania reklam od wyników, większość wyszukiwarek z niego zrezygnowała i wyraźnie zaznacza teraz reklamy.
Oprogramowanie wyszukiwarek
[edytuj | edytuj kod]Oprogramowanie wyszukiwarek to zestaw programów, modułów, z których każdy ma oddzielne zadanie. W skład zestawu wchodzą takie elementy jak:
- Crawler, Robot, Pająk, Spider, Bot – moduły pobierające dokumenty z sieci
- Indekser – moduł analizujący i oceniający
- Searcher – interfejs wyszukujący wyszukiwarki/podsystem odpowiadający na zapytania/analizator zapytań oraz moduł prezentacji wyników
Oraz dochodzą do tego:
- programy konwersji dokumentów (np. PDF)
- programy archiwizujące repozytorium (najczęściej w postaci skompresowanej)
- programy analizy i wykrywania technik niepożądanych (spam)
- moduły administracyjne
Współczesne oprogramowanie wyszukiwarek jest wysoce skomplikowanym systemem rozproszonym uruchamianym zwykle w wielu oddzielnych etapach na tysiącach oddzielnych komputerów – zarówno ze względu na rozmiar i skalę przeszukiwanej sieci, jak i ze względów na poprawienie dostępności usługi w wypadku awarii poszczególnych komponentów.
Algorytmy stosowane w wyszukiwarkach
[edytuj | edytuj kod]Algorytmy oceny istotności (tzw. relewancji) dokumentu względem szukanej frazy – algorytmy oceny zawartości strony
- Binarne
- Ważenie częstością słów TF – częstość wystąpień słowa
- Częstość słów – odwrotna częstość w dokumentach TFIDF – model wektorowy
- PageRank
- In-degree
- Metoda Robertsona i Sparck-Jones (1997)
- Okapi BM-25 TF – Metoda Robertsona (1994)
- KL-Dir Model Markova
- Metoda bazowa B
- Liczba wizyt (tzw. klikohit)
- HITS
- PHITS
- PLSA
- PLSA/PHITS
Poprawa istotności oraz jakości wyników wyszukiwania
[edytuj | edytuj kod]- grupowanie (klasteryzacja oraz automatyczne łączenie wyników w łatwo przeszukiwalne kategorie)
- dostosowanie wyniku do osoby (personalizacja)
- tezaurus (użycie synonimów), podpowiedzi, weryfikacja pisowni, odmiana przez przypadki, wyszukiwanie słów o podobnym rdzeniu lub z pomyłkami
- stop-words (ignorowanie krótkich powszechnie występujących słów, takich jak spójniki i zaimki, np. „i”, „z”).
Pozycjonowanie stron w wyszukiwarkach
[edytuj | edytuj kod]- Cloaking
- Doorway page Jump Pages, Portal Pages
- keyword stuffing (meta tag stuffing)
- spamdexing
- ukryty tekst
- link farm Farmy linków
- biasing
- client pull (odświeżanie)
Zobacz też
[edytuj | edytuj kod]Przypisy
[edytuj | edytuj kod]- ↑ Wiesław Babik: Słownik encyklopedyczny informacji, języków i systemów informacyjno-wyszukiwawczych. Warszawa: Stowarzyszenie Bibliotekarzy Polskich, 2002, s. 305, seria: Nauka, Dydaktyka, Praktyka. ISBN 83-87629-84-7.
- ↑ Dyrektywa Parlamentu Europejskiego i Rady (UE) 2016/1148 z dnia 6 lipca 2016 r. w sprawie środków na rzecz wysokiego wspólnego poziomu bezpieczeństwa sieci i systemów informatycznych na terytorium Unii CELEX: 32016L1148
- ↑ a b c d e f g h i j k Wyszukiwarki [online], Młody Technik [dostęp 2023-01-30] (pol.).
- ↑ a b c d e f Historia wyszukiwarek – cz.1 – „Dawniej” [online], Fine Performance, 17 września 2010 [dostęp 2023-01-30] (pol.).
- ↑ a b AltaVista odchodzi na zasłużoną emeryturę [online], dobreprogramy, 1 lipca 2013 [dostęp 2023-01-30] (pol.).
- ↑ a b c d Czy czekają nas przeglądarkowe wojny? Małe serwisy rosną pomimo dominacji Google [online], serwisy.gazetaprawna.pl, 8 maja 2015 [dostęp 2023-01-30] (pol.).
- ↑ 2.6 Wyszukiwarki [online], www.fuw.edu.pl [dostęp 2023-01-30].
- ↑ a b 10 lat polskiego Internetu [online], www.pcworld.pl [dostęp 2023-01-30] (pol.).
- ↑ a b Wydarzenia w polskim internecie - kalendarium [online], kalendarium.icm.edu.pl [dostęp 2023-01-30].
- ↑ a b c d Dariusz Baran, Polish Internet at the end of the 20th century, [w:] Katarzyna Pokorna-Ignatowicz (red.), The Polish media system : 1989-2011, Kraków: Oficyna Wydawnicza AFM, 2012, s. 44, ISBN 978-83-7571-217-9, OCLC 866938507 [dostęp 2023-01-30] (ang.).
- ↑ a b Kolejne polskie portale stosują wyszukiwarkę Google [online], Computerworld [dostęp 2023-01-30] (pol.).
- ↑ 10 lat polskiego Internetu [online], www.pcworld.pl [dostęp 2023-01-30] (pol.).
- ↑ a b NEKST – nowa, polska wyszukiwarka. Aby miała sens, technologia musi stać się produktem [online], Gadżetomania, 14 stycznia 2014 [dostęp 2023-01-30] (pol.).
- ↑ Proformat, Yandex- rosyjski odpowiednik Google- czym jest i co ma do zaoferowania? [online], Proformat, 18 lipca 2021 [dostęp 2023-01-30] (pol.).
- ↑ Wyszukiwarka NEKST. [dostęp 2018-03-20].
- ↑ O wyszukiwarce NEKST. [dostęp 2018-03-20].
Linki zewnętrzne
[edytuj | edytuj kod]- Herman Tavani, Search Engines and Ethics, [w:] Stanford Encyclopedia of Philosophy, CSLI, Stanford University, 8 lipca 2016, ISSN 1095-5054 [dostęp 2017-06-07] (ang.). (Wyszukiwarki internetowe a etyka)