GoFestivalBot
Ce robot visite la page d'accueil des sites de festivals de cinéma pour y relever les dates, les conditions d'inscription et les actualités publiées publiquement.
- Il respecte le fichier robots.txt de chaque site.
- Il attend plusieurs secondes entre deux requêtes vers un même site.
- Il repasse au plus une fois par semaine sur une même fiche.
Pour ne plus être visité, ajoutez « User-agent: GoFestivalBot » puis « Disallow: / » à votre robots.txt.