Belangrijke inhoud moet bereikbaar zijn op een echte URL
Een crawler moet een pagina rechtstreeks kunnen aanvragen en de betekenisvolle inhoud kunnen vinden zonder afhankelijk te zijn van onvoorspelbare interacties.
Een crawler moet een belangrijke pagina rechtstreeks via haar URL kunnen ophalen. De response hoort betekenisvolle HTML, een duidelijke title en een canonical te bevatten zonder dat eerst complexe interacties nodig zijn. Voor dynamische apps kan JavaScript nog steeds een grote rol spelen, maar publieke kenniscontent verdient een voorspelbare server- of prerenderlaag.
Interne links en sitemaps helpen discovery
Een sitemap is nuttig, maar vervangt geen goede interne linking. Pagina’s die nergens logisch gelinkt worden zijn voor gebruikers én crawlers moeilijker te ontdekken.
Discovery komt uit meerdere signalen. Een sitemap helpt zoekmachines routes vinden, maar interne links tonen hoe pagina’s inhoudelijk bij elkaar horen. Een artikel dat vanuit een kenniscluster, dienst en relevante case bereikbaar is staat veel duidelijker in de architectuur dan een pagina die alleen in sitemap.xml bestaat.
Canonicals en robots moeten elkaar niet tegenspreken
Indexeerbare pagina’s horen een consistente canonical en toegankelijke robotsinstellingen te hebben. Stagingomgevingen worden juist bewust noindex gehouden.
Robots, canonicals en statuscodes moeten hetzelfde verhaal vertellen. Een pagina kan niet tegelijk gecanonicaliseerd worden naar zichzelf en via robots geblokkeerd zijn zonder een goede reden. Staging en productie verdienen daarom aparte instellingen, zodat testomgevingen veilig noindex blijven terwijl de publieke site crawlbaar is.