Regelmatig ontvangen wij de vraag of de aanwezigheid van een website in Google’s zoekresultaten negatief kan worden beïnvloed doordat de site niet beschikbaar is op het moment dat de Googlebot deze probeert te crawlen. Soms is downtime van een website niet te vermijden: een webmaster kan besluiten een site offline te halen wegens onderhoud of wegens wettelijke of culturele redenen. Downtime die niet duidelijk als zodanig is aangegeven kan een negatieve invloed hebben op een site’s reputatie. Hoewel we geen crawling, indexering of ranking kunnen garanderen, zijn er wel enkele methoden die normaal gesproken geen negatief effect hebben op de zichtbaarheid van de site in de zoekresultaten.

In plaats van bijvoorbeeld het retourneren van een 404 (Not Found) HTTP melding of het laten zien van een foutmelding met de status 200 (OK) wanneer een pagina wordt opgeroepen, is het beter om een 503 HTTP (Service Unavailable) melding te retourneren. Dit vertelt de crawler dat de downtime tijdelijk is. Daarnaast geeft het webmasters de mogelijkheid om bezoekers en bots een geschatte tijd te geven van wanneer de site weer online zal komen. De totale lengte van de downtime in seconden of de datum en tijd wanneer de site weer beschikbaar komt kunnen indien bekend worden gespecificeerd in een optionele Retry-After-Header, die door Googlebot kan worden gebruikt voor het bepalen van de volgende crawl van de betreffende URL.

Het retourneren van een 503 HTTP melding kan in een aantal andere situaties ook uitkomst bieden. Wij ondervinden veel problemen met sites die een 200 (OK) melding retourneren voor server errors, downtime, overschreiding van de bandbreedte, of voor tijdelijke pagina’s (“Under Construction”). In deze situaties is een 503 HTTP melding de oplossing. In het geval van geplande downtime van de server, bijvoorbeeld voor hardware onderhoud, is het verstandig om een aparte server beschikbaar te hebben om de 503 HTTP melding te retourneren. Het is echter belangrijk om 503 meldingen niet te zien als een permanente oplossing: aanhoudende 503 meldingen kunnen uiteindelijk worden gezien als teken dat de server permanent onbereikbaar is. Dit kan resulteren in het verwijderen van de URL's uit de Google index.

Als je een 503 (Service Unavailable) melding opzet kan de header informatie er als volgt uit zien bij het gebruik van PHP:

header('HTTP/1.1 503 Service Temporarily Unavailable');
header('Retry-After: Sat, 8 Oct 2011 18:27:00 GMT');

Vergelijkbaar met hoe je 404 pagina’s duidelijker kan maken voor gebruikers, is het ook een goed idee om relevante 503 meldingen weer te geven. Relevante meldingen omschrijven de omstandigheden aan bezoekers en geven weer wanneer de site weer beschikbaar zal zijn. Voor meer informatieover HTTP meldingen, zie RFC 2616.

Artikel door Tomer Honen en Kaspar Szymanski, Search Quality Team, Google Dublin