Frank Grandjean · Consultant SEO Lyon · Visibilité dans les IA · Apparaître dans ChatGPT et les autres · Accès des robots IA
Les robots des moteurs IA peuvent-ils accéder à mon site ?
Un site peut être accessible dans un navigateur et rencontrer des obstacles lorsqu'un service automatisé tente de le consulter. Pour vérifier cette situation, il faut identifier le service visé et la fonction du robot concerné.
L'accès technique est un point de contrôle. Il ne garantit pas qu'une entreprise sera citée dans une réponse.
Distinguer les fonctions
Chez OpenAI, OAI-SearchBot intervient pour la recherche, tandis que GPTBot concerne des contenus susceptibles de servir à l'entraînement. ChatGPT-User correspond à certaines consultations déclenchées par les utilisateurs. Ces fonctions ne doivent pas être confondues. Documentation des robots OpenAI.
Chez Google, Google-Extended n'est pas un robot mais un jeton de contrôle : une mention que l'on écrit dans le robots.txt, le fichier texte placé à la racine du site par lequel on demande aux robots de ne pas parcourir certaines adresses, pour indiquer si le contenu exploré peut servir à entraîner les futures générations de modèles Gemini et à alimenter leurs réponses. Google indique qu'il n'a aucune incidence sur l'inclusion d'un site dans la recherche Google et qu'il n'y est pas utilisé comme signal de classement. Il précise aussi que Google-Extended ne dispose pas d'une chaîne user-agent de requête HTTP distincte, c'est-à-dire d'une signature qui lui soit propre dans les journaux du serveur : ne le cherchez donc pas dans ces journaux, son absence n'y prouve rien. Documentation des robots et contrôles Google.
Les règles doivent donc être examinées fournisseur par fournisseur, à partir de la documentation à jour. Un réglage présenté comme "autoriser les IA" peut masquer plusieurs décisions différentes.
Examiner les obstacles possibles
Commencez par quelques pages importantes pour l'entreprise. Un mot sur la dernière ligne du tableau ci-dessous : les journaux du serveur sont le relevé automatique de toutes les demandes reçues par le site, y compris celles des robots ; votre hébergeur peut vous y donner accès.
| Élément | Vérification proposée |
|---|---|
| robots.txt | Quelle règle s'applique au robot étudié ? |
| Réponse du serveur | La page est-elle servie correctement ? |
| Protection du site | Un pare-feu ou un défi d'accès interrompt-il la consultation ? |
| Contenu disponible | Le texte utile est-il effectivement renvoyé ou accessible au service ? |
| Journaux serveur | Des accès ou des refus pertinents sont-ils observables ? |
Un test utilisant seulement le nom d'un robot ne reproduit pas nécessairement son comportement réel. Pour interpréter les journaux, vérifiez également l'identité des requêtes avec les moyens publiés par le fournisseur.
Documenter avant de modifier
Conservez la règle actuelle, l'effet recherché et les pages concernées. Une restriction peut avoir été mise en place volontairement ; sa modification doit correspondre aux choix de l'entreprise.
Testez sur un périmètre limité et vérifiez l'effet constaté. L'absence de passage dans les journaux ne prouve pas à elle seule une interdiction : elle peut simplement signifier qu'aucune visite n'a été observée pendant la période étudiée.
Relier l'accès à la visibilité réelle
Une page consultable doit encore apporter une réponse pertinente et compréhensible. Revenez au diagnostic apparaître dans ChatGPT, Gemini ou Perplexity pour examiner le contenu et les informations sur l'entreprise.
Pour observer les résultats, distinguez les citations dans les réponses des visites identifiables provenant des IA.
L'audit commence par les éléments publics. Si nécessaire, l'analyse des journaux et des configurations permet d'affiner le diagnostic.
Poursuivre le diagnostic
Revenir à Apparaître dans ChatGPT, Gemini et Perplexity ou consulter les autres problématiques de visibilité dans les IA.
A porter sur les deux lignes : 1332 et 1398.
Pour situer cette analyse dans votre entreprise : audit et conseil SEO à Lyon. Vous pouvez aussi présenter votre problème de visibilité.
Ce que fait un consultant SEO à Lyon pour vérifier l'accès des robots des moteurs IA
Frank Grandjean, consultant SEO à Lyon, distingue d'abord les fonctions des robots, l'exploration pour l'entraînement, la recherche en direct, la lecture d'une page à la demande, parce qu'un site peut en autoriser une et en refuser une autre. Il examine les obstacles possibles, fichier robots.txt, pare-feu, pages rendues par script, documente l'état existant avant toute modification, et relie l'accès à la visibilité réelle : un robot autorisé ne garantit pas une citation, un robot bloqué l'interdit. L'audit et le conseil sont gratuits. La démarche complète est décrite sur la page du consultant SEO à Lyon.
Qui réalise cette analyse. Frank Grandjean, consultant SEO et GEO à Lyon, dans le web depuis 1997. Je réalise moi-même l'audit et le conseil présentés ici, et je m'appuie sur les mesures que je conduis sur des sites d'essai en conditions réelles, pour établir ce que Google et les intelligences artificielles reprennent vraiment d'une page. L'audit et le conseil sont gratuits. La démarche en détail.