Comenzi Personalizate Online

I. Notiuni teoretice utilizate la elaborarea proiectului

1.1 Motoare de cautare, definitie, istorie, mecanisme de functionare, indexare crawler

Definitie

Un motor de căutare este un apelabil program căutător, care accesează Internetul în mod automat şi frecvent şi care stochează titlul, cuvinte cheie şi, parţial, chiar conţinutul paginilor web într-o bază de date. În momentul în care un utilizator apelează la un motor de căutare pentru a găsi o informaţie, o anumită frază sau un cuvânt, motorul de căutare se va uita în această bază de date şi, în funcţie de anumite criterii de prioritate, va crea şi afişa o listă de rezultate (engleză: hit list ).

Problema nu este de loc trivială, deoarece:

- există deja peste 100 milioane de situri web, sumând în total miliarde de pagini web, distribuite pe tot globul

- conţinutul acestori pagini nu este static, ci chiar extrem de dinamic (se schimbă frecvent)

- răspunsul la o comandă de căutare trebuie să vină repede, în general în mai puţin de o jumătate de secundă, chiar atunci când lista de rezultate conţine, să zicem, zeci de mii de pagini web potrivite la criteriile de căutare folosite.

Istorie

Motoarele de cautare au aparut in jurul anului 1990 cand Alan Emtage, un student la universitatea McGill din Montreal, a creat o unealta de cautare numita "Archie" Scopul era de a cauta prin informatiile de pe serverele FTP În timp ce fisierele de pe aceste servere erau disponibile oricui, nu te puteai folosi de ele decat daca stiai adresa exacta a serverului si denumirea exacta a fisierului respectiv.

Archie cauta aceste baze de date si aduna listele cu fisiere pentru fiecare server în parte. Facand asta, folosea ceea ce se numea potrivire de expresie care folosea caractere si bucati de fraze pentru a aduce utilizatorii la adresa serverului pe care era fisierul gazduit.

Archie poate parea acum o metoda antica de cautare în baza de date, dar crearea sa a dus la un start frenetic în cursa motorului de cautare perfect. Cum publicul a devenit din ce în ce mai constient de noul World Wide Web, nevoia pentru o unealta de cautare web a devenit imediat vizibila. A fost introdus conceptul de spidering prin care roboti software au inceput sa indexeze web-ul urmarind link-urile de la un site la altul, salvand tot textul din fiecare website într-o baza de date pentru cautari.

In 1994 si 1995 au aparut trei motoare de cautare importante - AltaVista, Lycos si WebCrawler - promitand baze de date cat mai mari cu sit-uri, si utilizare la folosire. Yahoo! a aparut cam tot în aceasi perioada, însa Yahoo! nu e un motor de cautare. Yahoo! este un director organizat si sustinut de editori. Cu timpul Yahoo! a facut parteneriate cu cateva motoare de cautare importante ca Inktomi.

Astazi, motoarele de cautare se afla într-o intensa competitie. In momentul actual exista pe internet cateva sute de motoare de cautare, din care numai cateva "majore".

Acest mic grup de motoare de cautare este "responsabil" pentru mai mult de 90% din toate cautarile de pe internet.

Mecanisme de functionare

Aceste sisteme folosesc algoritmii astfel încât căutarea prin pagini se face aproape instantaneu iar rezultatul este constituit doar din acele pagini care prezinta interes în legătură cu cuvântul cheie sau fraza din care e alcătuită interogarea.

În articolul lui Danny Sullivan din iulie 2003 despre modul de funcţionare a sistemelor de căutare şi modul în care acestea ‘rânduiesc’ paginile web, se face comparaţia dintre un bibliotecar şi un motor de căutare. Însa, în primul caz, interogarea se face mult mai simplu, chiar prin mai multe întrebări. Din păcate, în cazul motoarelor de căutare, acestea nu au posibilitatea de a pune mai multe întrebări pentru a focaliza căutarea noastră.

În cazul în care fiecare sistem trebuie să găsească răspunsuri din sute de milioane de pagini web, acestea urmează un set de reguli, numit algoritm. Acesta este ţinut secret de către companiile producătoare, dar majoritatea urmează, în general, aceleaşi reguli.

În privinţa listei de rezultate, robotul reţine fiecare legătură a paginii X către pagina Y ca un vot dat de X pentru Y, astfel, lista este ordonată în funcţie de voturile fiecărei pagini web (cele cu un număr de voturi mai mare sunt situate în faţa listei). Regula principală după care se alcătuieşte acest algoritm de votare implică locaţiile si frecvenţele cuvintelor cheie în fiecare legătură. Precum în cazul bibliotecarului, care, după aflarea cererii caută cartea după un anume titlu, la fel procedează şi sistemele de căutare în web. Acestea consideră pagina mai relevantă aceea care are cuvântul cheie în titlul paginii HTML. De asemenea ţin cont de găsirea subiectului căutat la începutul paginii, în titlul articolului respectiv sau cel putin în primele paragrafe. Aceste reguli se bazează pe faptul că dacă o anume pagină este relevantă cu subiectul atunci cuvântul cheie trebuie să se afle la începutul ei.

Un alt element important care reflectă relevanţa unei pagini este frecvenţa. Sistemul analizează de câte ori apare în cadrul paginii cuvântul cheie în legătură cu alte cuvinte. Cu cât frecvenţa acestora este mai mare, cu atât pagina este pusă mai în faţă în lista de rezultate.