U zoekt specifieke informatie op een website, maar deze blijft onvindbaar na meerdere klikken. Het hoofdmenu vermeldt slechts een handvol secties, en de rest van de inhoud lijkt ergens verborgen. Het verkennen van alle pagina’s van een website vereist geen geavanceerde technische vaardigheden, zolang u maar weet waar u moet kijken en welke tools u moet gebruiken.
Het sitemap-bestand, een kaart die zelden door bezoekers wordt geraadpleegd
Elke goed gebouwde website heeft een bestand dat sitemap wordt genoemd. Dit XML-bestand vermeldt alle pagina’s die de eigenaar van de site toegankelijk wil maken voor zoekmachines. Het fungeert als een uitgebreide inhoudsopgave, veel completer dan het zichtbare navigatiemenu.
Zie ook : Hoe je gemakkelijk toegang krijgt tot 1jour1film in 2026: complete gids en tips
Om toegang te krijgen, voegt u eenvoudig /sitemap.xml aan het einde van het webadres toe. Bijvoorbeeld, op een site met het adres voorbeeld.fr, typt u voorbeeld.fr/sitemap.xml in uw browser. U krijgt een ruwe lijst van URL’s, soms georganiseerd in verschillende thematische subsitemaps.
Een nog directere reflex is om het robots.txt-bestand van de site te raadplegen (door /robots.txt na de domeinnaam in te typen). Dit bestand geeft vaak de exacte locatie van de sitemaps aan, inclusief geneste sitemaps die u anders niet zou vinden. Dit is trouwens het beste startpunt voor een volledige verkenning, omdat het URL’s onthult die een eenvoudige Google-zoekopdracht niet altijd terugbrengt.
Aanvullende lectuur : Hoe je gemakkelijk gratis parkeren in Arcachon kunt vinden: onze tips en belangrijke locaties
Om alle pagina’s van Excargot te ontdekken, biedt deze benadering via de sitemap een onmiddellijk overzicht van de algehele structuur van de site en zijn verschillende secties.
Site: operator in Google om geïndexeerde pagina’s te filteren
Heeft u ooit opgemerkt dat Google soms beter op de hoogte is van een site dan de eigenaar zelf? De zoekoperator site: maakt het mogelijk om alle pagina’s te vermelden die een zoekmachine heeft geïndexeerd voor een bepaald domein.
Typ in Google: site:voorbeeld.fr (zonder spatie na de dubbele punt). De resultaten tonen elke geïndexeerde pagina, met de titel en beschrijving. U kunt verfijnen door een trefwoord toe te voegen na de opdracht. Bijvoorbeeld, site:voorbeeld.fr recept toont alleen de pagina’s die de term “recept” bevatten.
Deze methode heeft een duidelijke beperking: het toont alleen de geïndexeerde pagina’s. Pagina’s die zijn geblokkeerd door een robots.txt-bestand, beschermd door een wachtwoord of gemarkeerd als “noindex” zullen niet verschijnen. Daarom blijft het combineren van deze techniek met de sitemap de meest betrouwbare aanpak.
Structuur en interne links, de structuur van een site lezen
De navigatie van een site is gebaseerd op zijn structuur, dat wil zeggen de hiërarchische organisatie van zijn pagina’s en secties. Het begrijpen van deze structuur helpt om inhoud te vinden die niet in het hoofdmenu wordt benadrukt.
De categorieën analyseren vanuit de voettekst
De voettekst (footer) van een site bevat vaak links naar secundaire secties: juridische vermeldingen, HTML-sitemap, pagina’s van diepere categorieën. Voordat u een externe tool gebruikt, scrolt u naar beneden op de pagina. Veel sites bieden een HTML-sitemap die toegankelijk is voor bezoekers, apart van de XML-sitemap die voor zoekmachines is bedoeld.
Volg de interne links van pagina naar pagina
Elke pagina van een site bevat links naar andere pagina’s van dezelfde site. Door systematisch op deze interne links te klikken, verkent u de werkelijke structuur van de inhoud. Het is handwerk, maar het stelt u in staat om weespagina’s (zonder inkomende links vanuit het menu) of minder zichtbare secties te identificeren.
Crawl-tools om een site grondig te verkennen
Wanneer een site honderden pagina’s bevat, bereikt handmatige verkenning snel zijn grenzen. Crawl-tools automatiseren deze taak door elke interne link te doorlopen, precies zoals een zoekmachine-robot zou doen.
Deze moderne tools combineren verschillende benaderingen tegelijkertijd:
- Lezen van de XML-sitemap om de door de site opgegeven URL’s te verzamelen
- Crawl van de interne links om de pagina’s te ontdekken die daadwerkelijk toegankelijk zijn vanuit de navigatie
- JavaScript-rendering om dynamisch geladen inhoud te detecteren, die onzichtbaar is bij een eenvoudige HTTP-lading
De ingebouwde deduplicatie elimineert duplicaten en produceert een platte en complete lijst van alle URL’s van de site. Onder de gratis of toegankelijke oplossingen dekken Screaming Frog (beperkte gratis versie) en de verkenningsfuncties van Google Search Console de meeste behoeften.
Een aandachtspunt: de regels van het robots.txt-bestand respecteren en de crawl-snelheid beperken. Een te agressieve crawl kan de server van de doelwebsite overbelasten of blokkeringen veroorzaken. Serieuze tools hebben een automatisch systeem voor het beperken van het aantal verzoeken per seconde geïntegreerd.
Bronnen combineren om ontbrekende pagina’s te identificeren
Geen enkele methode garandeert een compleet overzicht van een website. De meest effectieve praktijk is om minstens drie waarheidsbronnen te combineren:
- De officiële sitemap van de site (wat de eigenaar verklaart)
- Een crawl van de interne links (wat daadwerkelijk toegankelijk is)
- De index van de zoekmachine via de site: operator (wat Google kent)
De afwijkingen tussen deze drie lijsten onthullen concrete situaties. Een pagina die in de sitemap staat maar niet in de Google-index voorkomt, heeft waarschijnlijk een indexeringsprobleem. Een pagina die door de crawl is gevonden maar niet in de sitemap staat, is een pagina die door de webmaster is vergeten. Een pagina die door Google is geïndexeerd maar niet toegankelijk is via de interne navigatie, is een weespagina, vaak benadeeld in SEO.
Het vergelijken van deze lijsten kost enkele minuten met een spreadsheet. Exporteer elke lijst naar CSV, voeg ze samen en sorteer op ontdekkingsbron. De regels die alleen in één kolom verschijnen, verdienen uw aandacht.
Een site in zijn geheel verkennen komt uiteindelijk neer op het combineren van eenvoudige handelingen (de sitemap raadplegen, de site: operator gebruiken, de interne links doorlopen) met een crawl-tool wanneer het aantal pagina’s dat rechtvaardigt. Het combineren van deze benaderingen blijft de enige betrouwbare manier om een complete inventaris op te stellen, zonder blinde vlekken.