Hoe werkt een zoekmachine?
Een zoekmachine werkt in drie opeenvolgende stappen. Die stappen zijn bij elke zoekmachine hetzelfde, of het nu Google, Bing of een AI-platform is.
Crawlen
Bots verkennen het web en ontdekken pagina's
Indexeren
Gevonden pagina's worden opgeslagen in de database
Ranken
Het algoritme sorteert op relevantie voor de zoekopdracht
Stap 1: crawlen
Zoekmachines sturen continu geautomatiseerde programma’s het web op, ook wel crawlers of bots genoemd. Deze volgen links van pagina naar pagina en ontdekken zo nieuwe en gewijzigde content. Het is een doorlopend proces, want het web verandert constant.
Voor SEO betekent dit: een pagina die niet gecrawld kan worden, bestaat niet voor een zoekmachine. Technische problemen zoals een verkeerde robots.txt instelling, een geblokkeerde URL of een te trage laadsnelheid kunnen ervoor zorgen dat een crawler je pagina overslaat. Daarmee valt alle andere SEO-inspanning direct in het water.
Stap 2: indexeren
Pagina’s die succesvol gecrawld zijn, worden opgeslagen in de index van de zoekmachine. Dat is de gigantische database waaruit geput wordt zodra iemand iets zoekt. Denk aan een bibliotheek met miljarden boeken, waarbij elke pagina op het web een boek is.
Staat een pagina niet in de index, dan verschijnt die nooit in de zoekresultaten. In de praktijk staan er bij veel websites meer pagina’s buiten de index dan verwacht. Denk aan dunne pagina’s, dubbele content of pagina’s met een noindex-tag die per ongeluk is blijven staan.
Stap 3: ranken
Op het moment dat iemand een zoekopdracht intypt, haalt de zoekmachine de meest relevante pagina’s uit de index en sorteert die op volgorde van relevantie. Wat je dan ziet is de SERP, de Search Engine Results Page.
Hoe die ranking tot stand komt, bepaalt het algoritme. Dat kijkt naar honderden signalen tegelijk: de inhoud van de pagina, de technische kwaliteit van de website, hoeveel andere websites naar de pagina linken en hoe goed de pagina aansluit op de intentie achter de zoekopdracht.
Hoe bepaalt een zoekmachine wat relevant is?
Relevantie is geen eenvoudig begrip voor een zoekmachine. Het gaat niet alleen om de vraag of een pagina het juiste zoekwoord bevat. Een zoekmachine probeert te begrijpen wat iemand werkelijk wil weten of doen op het moment van zoeken.
Google gebruikt daarvoor onder andere het E-E-A-T-framework: Experience, Expertise, Authoritativeness en Trustworthiness. Vrij vertaald: heeft de maker van deze content aantoonbare ervaring en kennis? Wordt deze website door anderen als betrouwbaar beschouwd? Is de informatie actueel en correct?
Dat betekent concreet dat een pagina geschreven door een erkende specialist op een gevestigde website sneller als relevant wordt beoordeeld dan een dunne pagina op een onbekend domein, zelfs als beide dezelfde zoektermen bevatten. Kwaliteit en autoriteit wegen zwaarder dan het simpelweg aanwezig zijn van een zoekwoord.
Daarnaast kijkt een zoekmachine naar zoekintentie. Iemand die zoekt op “espressomachine” is waarschijnlijk aan het oriënteren. Iemand die zoekt op “espressomachine Siemens EQ900 kopen” wil direct bestellen. Een zoekmachine herkent dat verschil en toont andere types pagina’s voor elke zoekopdracht.
Hoe het algoritme zich heeft ontwikkeld
In de beginjaren van het internet was het algoritme van zoekmachines relatief simpel. Hoe vaker een zoekwoord op een pagina voorkwam, hoe hoger die pagina scoorde. Dat leidde tot misbruik: websites stopten zoekwoorden met hoog zoekvolume in hun pagina’s om hoog te ranken, ook als de inhoud daar totaal niet bij aansloot. Bezoekers kwamen op een pagina terecht die hun vraag niet beantwoordde.
Google reageerde met steeds complexere algoritme-updates. Panda, Penguin, Hummingbird, en later BERT en MUM: elk update maakte het algoritme beter in het herkennen van echte kwaliteit versus trucs. Vandaag de dag begrijpt Google context, synoniemen, de relatie tussen woorden en de intentie achter een zoekopdracht. Een pagina die uitsluitend is geoptimaliseerd op zoekwoorden maar geen echte waarde biedt, wordt daar niet meer mee beloond.
Die ontwikkeling is ook de reden waarom white-hat SEO de enige duurzame aanpak is. Het algoritme wordt slimmer, niet minder slim. Investeren in kwaliteit is investeren in een positie die meegaat met die ontwikkeling.
Hoe vaak herindexeert een zoekmachine?
Een veelgestelde vraag is hoe snel een zoekmachine een nieuwe of gewijzigde pagina oppikt. Het eerlijke antwoord is: dat verschilt.
Google crawlt en herindexeert pagina’s op basis van crawlbudget. Dat is de hoeveelheid tijd en capaciteit die Google aan een website besteedt. Een grote, goed gelinkte website met veel bezoekers wordt vaker gecrawld dan een kleine website met weinig activiteit.
Gemiddeld duurt het enkele dagen tot enkele weken voordat een nieuwe pagina in de index verschijnt. Voor wijzigingen op bestaande pagina’s geldt hetzelfde. Wil je dit versnellen, dan kun je via Google Search Console een URL handmatig aanmelden voor indexering. Dat is geen garantie, maar het helpt Google in de goede richting.
- Nieuwe pagina’s: enkele dagen tot weken voordat ze in de index staan
- Gewijzigde content: afhankelijk van hoe actief Google je site crawlt
- Handmatig aanmelden via Search Console versnelt het proces
- Meer interne links naar een pagina vergroot de kans dat Google die sneller oppikt
Zoekmachines en privacy
Zoekmachines verzamelen data. Elke zoekopdracht die je intypt, elke link waarop je klikt en hoe lang je op een pagina blijft, dat zijn allemaal signalen die worden opgeslagen en gebruikt. Google gebruikt die data om zoekresultaten te personaliseren en advertenties relevanter te maken.
Dat heeft een praktisch gevolg dat veel mensen niet kennen: twee mensen die op hetzelfde zoekwoord zoeken, zien niet altijd dezelfde resultaten. Google past de resultaten aan op basis van locatie, zoekgeschiedenis en gedrag. Dat maakt het ook lastig om je eigen positie objectief te beoordelen. Tools zoals Google Search Console geven een betrouwbaarder beeld dan handmatig zoeken in je eigen browser.
Voor bedrijven is het ook relevant om te weten dat Google data gebruikt om concurrenten van adverteerders te targeten. Een gebruiker die net op jouw website is geweest, kan op andere platformen advertenties van concurrenten te zien krijgen. Dat is hoe het advertentiemodel van Google werkt.
Welke zoekmachines zijn er?
De markt voor zoekmachines wordt al jaren gedomineerd door een handjevol namen. Google staat veruit bovenaan, maar er zijn meer spelers die de moeite waard zijn om te kennen.
~90% marktaandeel
Bing
~5% marktaandeel
Yahoo
~1% marktaandeel
DuckDuckGo
Privacy gericht
Voor SEO geldt in de meeste gevallen: optimaliseer voor Google en je doet het op de andere zoekmachines automatisch ook goed. De onderliggende principes, relevantie, technische kwaliteit en autoriteit, zijn universeel.
Er zijn wereldwijd tientallen andere zoekmachines, van regionale spelers zoals Baidu in China en Yandex in Rusland tot nicheplatformen voor specifieke doeleinden. Toch heeft Google een marktaandeel van meer dan 90 procent in de meeste westerse landen. Dat maakt Google voor vrijwel elke website en SEO-strategie het primaire platform. De keuze om op Google te focussen is dan ook geen voorkeur maar een logische afspiegeling van waar de gebruiker zit.
AI-zoekmachines: een nieuw speelveld
Naast de klassieke zoekmachines zijn er de afgelopen jaren nieuwe platformen opgekomen die het zoekgedrag veranderen. ChatGPT, Perplexity en Google’s AI Overviews geven gebruikers direct een antwoord in plaats van een lijst met links. De gebruiker hoeft niet meer door te klikken naar een website.
Dat klinkt als een bedreiging voor organisch verkeer. Deels is dat ook zo. Maar de manier waarop deze AI-platformen tot een antwoord komen is niet zo anders als het lijkt. Ze halen informatie op uit content die online beschikbaar is, beoordelen de betrouwbaarheid van de bron en selecteren wat het meest relevant is voor de vraag.
Wat betekent dit voor jouw website?
Een zoekmachine kan jouw website alleen vinden, begrijpen en tonen als aan een paar basisvoorwaarden is voldaan. Drie vragen om jezelf te stellen:
- Is mijn website crawlbaar? Kunnen zoekmachinerobots alle pagina’s bezoeken die je wil laten indexeren? Controleer je robots.txt en zoek naar geblokkeerde pagina’s via Google Search Console.
- Staan mijn belangrijkste pagina’s in de index? Gebruik de site:-operator in Google om te controleren welke pagina’s zijn opgenomen. Ontbreken er pagina’s, zoek dan naar technische oorzaken.
- Sluit mijn content aan op wat zoekmachines beloningen? Relevante, goed gestructureerde content die de vraag achter een zoekopdracht beantwoordt. Dat is wat een zoekmachine naar boven haalt.
Een zoekmachine is geen mysterie. Het is een systeem met logica. Begrijp je die logica, dan kun je er ook op inspelen.
Samengevat:
- Een zoekmachine doorzoekt, organiseert en presenteert content via crawlen, indexeren en ranken
- Relevantie bepaalt een zoekmachine op basis van kwaliteit, autoriteit, betrouwbaarheid en zoekintentie, niet alleen het zoekwoord
- Organische resultaten zijn verdiend op basis van relevantie. Betaalde resultaten zijn advertenties die per klik worden afgerekend
- Nieuwe pagina’s verschijnen na enkele dagen tot weken in de index. Via Search Console kun je dit versnellen
- Zoekmachines personaliseren resultaten op basis van locatie en zoekgeschiedenis. Gebruik Search Console voor een objectief beeld van je posities
- Google heeft meer dan 90% marktaandeel. Optimaliseer je voor Google, dan doe je het op andere zoekmachines automatisch ook goed
- AI-platformen werken op dezelfde basisprincipes als klassieke zoekmachines: autoriteit en relevantie bepalen wat wordt opgepikt
