EWC Crawler

De EWC bot is een web crawler die een web pagina analyseerd. Het aantal pagina's dat gecrawled wordt is altijd gelimiteerd zodat servers niet overbelast worden. De data die we verzamelen van publieke websites wordt gebruikt om veelvoorkomende problemen op gebied van digitale toegankelijheid, mobiel vriendelijkheid en zoekmachine optimalisatie in kaart te brengen.

Algemene informatie

Hoe we Robots.txt gebruiken

Robots.txt wordt geladen voordat andere urls geladen worden. De Robots.txt wordt geparsed met Google's Robots.txt validator. De inhoud van de Robots.txt wordt gecached voor een korte periode. De crawl rate is standaard laag voor de freemium versies van de ExcellentWebCheck diensten.

Externel urls vanuit uw website

Voor enkele diensten van ExcellentWebCheck is het alleen van belang om te weten of een url een juiste response geeft. Dit is het geval bij de Broken link checker. In dat geval wordt alleen een HEAD request uitgevoerd. Een server moet met een valide HTTP status code reageren. Als een server geen HEAD request ondersteunt verwacht de EWC bot de volgende HTTP response:

Als een server geen HEAD request ondersteunt voeren we alsnog een GET request uit.

Redirects

De EWC-bot volgt redirects op. Meerdere opeenvolgende redirects is strikt gelimiteerd. Zorg ervoor dat opeenvolgende redirects zoveel mogelijk worden voorkomen.

Hoe blokkeer ik de EWC bot?

Als u de EWC bot wil blokkeren kunt u het volgende aan uw robots.txt toevoegen: 

User-agent: excellentwebcheck-bot
Disallow: /

Problemen met de EWC bot

Als u problemen ervaart met de EWC-bot kunt u een mail sturen naar support@solureal.com.

De EWC crawler is met grote zorg ontwikkeld. Mocht u problemen ervaren met de EWC-bot stuurt u dan het IP adres mee van de bot. Het kan zijn dat een andere bot de user-agent van de EWC bot misbruikt en zich voordoet als de ExcellentWebCheck bot. Door het meesturen van het IP adres kunnen wij vaststellen of de EWC bot de problemen veroorzaakt heeft.