Depuis déjà 3 mois le bot d’Oseox est officiellement listé comme BOT dans CloudFlare
https://radar.cloudflare.com/fr-fr/bots/directory/oseox
Bien entendu, il faut toujours par sécurité, ajouter des règles sur votre compte CloudFlare pour whitelister notre bot et notre IP
- Sécurité
- WAF
- Régles d’accès IP : Ajouter l’IP du bot Oseox
Il est aussi possible d’ajouter une règle dans l’onglet Firewall.
Avec cela, nous pourrons vous crawler sans aucun problème et notre robot Rob sera content.
Le fait d’être dans l’annuaire des bots de Cloudeflare permet de limiter les blocages et captcha (JavaScript challenges et de Bot Fight Mode / Super Bot Fight Mode)
C’est aussi une belle visibilité publique et crédibilité pour Oseox.