Teksten er hentet fra boken Digital studieteknikk av Marianne Hagelia

Søkemotorer har roboter, eller crawlers, som går gjennom tekster for å lese av hva som finnes, og den går gjennom linker fra en nettside til en annen for å registrere disse. En søkemotor går altså gjennom nettsider, både hovedsidene og sider nedover i hierarkiet, og indekserer enorme mengder data for å gi deg hurtige svar når du søker. Det er blant annet derfor du får forskjellige svar når du bruker forskjellige søkemotorer. Nye nettsider er heller ikke så lette å finne, fordi de ofte ikke har blitt indeksert, strukturert og søkbare, enda. Mulighetene for å få med oppdatert informasjon avhenger derfor av hvor ofte søkemotoren blir oppdatert. En søkemotor blir ikke bedre enn sine roboter. Derfor bør du bruke flere søkemotorer.

Bildet er lånt fra http://www.itportal.in/2012/02/what-is-web-crawler-information.html

Mange er ikke klar over at informasjon er en salgsvare. Før en kjenner faget, er det vanskelig å finne ut om noe har god kvalitet. Da er det naturlig å lete etter de sidene som er mye brukt, og tenke at «disse sidene må jo være gode og informative». I så fall bruker man følgende spørsmål som kvalitetssikring: Er nettsiden mye besøkt? Har den mange brukere? Har den mange lenker ut til andre sider? Har mange andre lenker til denne siden? Nettsider som oppfyller dette, kommer gjerne høyt opp på en treffliste. Men en søkemotor er bare et program som gjør det programmereren forteller at den skal gjøre. Den drives av algoritmer, som er matematikk. Den vet ikke hva som er kvalitet. Den har «lært» av sin programmerer hva som er viktig å se etter. Men den er ikke klokere enn sin programmerer. Du vil altså ikke nødvendigvis få de beste svarene, for deg, om ikke du setter opp gode søk. Informasjon er ikke bare informasjon. Det er også kvalitetsmessig forskjell på informasjon.

En søkemotor vil altså først gi deg de nettsidene som er mest besøkt (mange klikk), og den vekter/vurderer automatisk dine svar for deg. Dette er en utfordring på flere måter. Et nettsted kan tiltrekke seg mange klikk på mange måter. For eksempel er det vanlig å lure brukere inn på en side for å få mange klikk, for å komme høyt opp på søkeresultatene. Høy treffrate gir bedre reklameinntekter. Derimot vil en vurdering av hvor lenge brukerne er der, si mer om kvalitet, men det måles ikke. Det er ikke slik at de sidene med mest besøk alltid er de beste.

En annen utfordring er at mange klikker seg kun rundt på første side av søket når de er ute etter informasjon. Vi gidder ikke å lete oss langt bakover i svarene vi får fra søkemotoren. For alle nettsider er det derfor et mål å komme så høyt opp på svarlistene på søkemotorene som mulig. Mange nettsider betaler derfor for å få høy rangering på søkemotorene. Når du søker, får du mange betalte svar. Du må lære deg å se hvilke sider som er betalt, altså som er reklame. Disse kommer alltid helt øverst og på siden, og disse skal være merket. Ofte kan du faktisk bruke disse om du bare søker etter et enkelt svar. Søker du derimot etter informasjon til en skoleoppgave, er som regel de første treffene svært sjelden av interesse.