Frank Grandjean · Consultant SEO Lyon · Visibilité dans les IA · Apparaître dans ChatGPT et les autres · Accès des robots IA
Les robots des moteurs IA peuvent-ils accéder à mon site ?
Un site peut être accessible dans un navigateur et rencontrer des obstacles lorsqu'un service automatisé tente de le consulter. Pour vérifier cette situation, il faut identifier le service visé et la fonction du robot concerné.
L'accès technique est un point de contrôle. Il ne garantit pas qu'une entreprise sera citée dans une réponse.
Distinguer les fonctions
Chez OpenAI, OAI-SearchBot intervient pour la recherche, tandis que GPTBot concerne des contenus susceptibles de servir à l'entraînement. ChatGPT-User correspond à certaines consultations déclenchées par les utilisateurs. Ces fonctions ne doivent pas être confondues. Documentation des robots OpenAI.
Chez Google, Google-Extended n'est pas un robot mais un jeton de contrôle : une mention que l'on écrit dans le robots.txt, le fichier texte placé à la racine du site par lequel on demande aux robots de ne pas parcourir certaines adresses, pour indiquer si le contenu exploré peut servir à entraîner les futures générations de modèles Gemini et à alimenter leurs réponses. Google indique qu'il n'a aucune incidence sur l'inclusion d'un site dans la recherche Google et qu'il n'y est pas utilisé comme signal de classement. Il précise aussi que Google-Extended ne dispose pas d'une chaîne user-agent de requête HTTP distincte, c'est-à-dire d'une signature qui lui soit propre dans les journaux du serveur : ne le cherchez donc pas dans ces journaux, son absence n'y prouve rien. Documentation des robots et contrôles Google.
Les règles doivent donc être examinées fournisseur par fournisseur, à partir de la documentation à jour. Un réglage présenté comme "autoriser les IA" peut masquer plusieurs décisions différentes.
Examiner les obstacles possibles
Commencez par quelques pages importantes pour l'entreprise. Un mot sur la dernière ligne du tableau ci-dessous : les journaux du serveur sont le relevé automatique de toutes les demandes reçues par le site, y compris celles des robots ; votre hébergeur peut vous y donner accès.
| Élément | Vérification proposée |
|---|---|
| robots.txt | Quelle règle s'applique au robot étudié ? |
| Réponse du serveur | La page est-elle servie correctement ? |
| Protection du site | Un pare-feu ou un défi d'accès interrompt-il la consultation ? |
| Contenu disponible | Le texte utile est-il effectivement renvoyé ou accessible au service ? |
| Journaux serveur | Des accès ou des refus pertinents sont-ils observables ? |
Un test utilisant seulement le nom d'un robot ne reproduit pas nécessairement son comportement réel. Pour interpréter les journaux, vérifiez également l'identité des requêtes avec les moyens publiés par le fournisseur.
Documenter avant de modifier
Conservez la règle actuelle, l'effet recherché et les pages concernées. Une restriction peut avoir été mise en place volontairement ; sa modification doit correspondre aux choix de l'entreprise.
Testez sur un périmètre limité et vérifiez l'effet constaté. L'absence de passage dans les journaux ne prouve pas à elle seule une interdiction : elle peut simplement signifier qu'aucune visite n'a été observée pendant la période étudiée.
Relier l'accès à la visibilité réelle
Une page consultable doit encore apporter une réponse pertinente et compréhensible. Revenez au diagnostic apparaître dans ChatGPT, Gemini ou Perplexity pour examiner le contenu et les informations sur l'entreprise.
Pour observer les résultats, distinguez les citations dans les réponses des visites identifiables provenant des IA.
L'audit commence par les éléments publics. Si nécessaire, l'analyse des journaux et des configurations permet d'affiner le diagnostic. Une intervention technique au-delà du conseil pourra faire l'objet d'un devis Aerial Group.
Poursuivre le diagnostic
Revenir à Apparaître dans ChatGPT, Gemini et Perplexity ou consulter les autres problématiques de visibilité dans les IA.
A porter sur les deux lignes : 1332 et 1398.
Pour situer cette analyse dans votre entreprise : audit et conseil SEO à Lyon. Vous pouvez aussi présenter votre problème de visibilité.
Qui réalise cette analyse. Frank Grandjean est directeur des opérations digitales d'Aerial Group, agence web en activité depuis 1998. Il réalise lui-même l'audit et le conseil présentés ici, dans le cadre du laboratoire de mesure qu'il conduit au sein de l'agence : des sites d'essai en conditions réelles, qui servent à établir ce que Google et les intelligences artificielles reprennent vraiment d'une page. L'audit et le conseil sont gratuits ; ce qui est facturé, c'est l'intervention sur le site, et c'est Aerial Group qui établit le devis. La démarche en détail.