Vous voulez que les moteurs de recherche vous comprennent mieuxWordPressSite web ? Il est essentiel de configurer correctement votre fichier robots.txt ! Ce fichier discret est comme la carte de navigation du site web, qui peut guider intelligemment le moteur de recherche pour explorer le contenu important et éviter les pages non pertinentes, ce qui peut réduire la charge sur le serveur et améliorer les résultats du référencement. Cet article utiliseYoast SEOLe plugin configure facilement le fichier robots.txt pour permettre aux robots d'explorer avec précision et d'optimiser l'effet de l'inclusion du site web.

1) Qu'est-ce que le fichier robots.txt ?

robots.txt Il s'agit d'un fichier texte situé dans le répertoire racine d'un site web, utilisé pour indiquer aux robots des moteurs de recherche les pages qui peuvent être explorées et celles qui ne peuvent pas l'être.

La syntaxe de base comprend

User-agent : [Nom du robot]
Disallow : [Chemins interdits à l'exploration]
Allow : [Chemins autorisés]

Exemple :

User-agent : *
Disallow : /wp-admin/
Allow : /wp-admin/admin-ajax.php

Cela signifie que tous les crawlers ne peuvent pas explorer le backend wp-admin, mais sont autorisés à explorer le fichier admin-ajax.php.

2. Pourquoi la configuration de robots.txt est-elle importante ?

• Améliorer l'efficacité de l'exploration

Empêcher les robots d'indexation de gaspiller leur budget d'indexation sur des pages dupliquées ou sans valeur.

• Protection du contenu privé

Empêcher les moteurs de recherche d'accéder aux chemins d'accès sensibles, tels que le backend ou les fichiers système.

• Prévention de l'inclusion de contenu dupliqué

Utilisé conjointement avec le noindex, il permet d'éviter l'impact des pages dupliquées ou dénuées de sens. RéFéRENCEMENT.

Notez toutefois que le fichier robots.txt n'est qu'une "requête" pour les robots d'indexation et que certains robots malveillants peuvent ignorer les règles qu'il contient.

3. Yoast SEO en relation avec robots.txt

Yoast SEO lui-même ne génère pas de fichiers robots.txt directement, mais il fournit un point d'entrée pratique pour éditer des fichiers robots.txt sans avoir à passer par le processus de création de fichiers robots.txt. FTP Modifier les fichiers du serveur.

Comment éditer robots.txt avec Yoast SEO ?

• Connectez-vous au backend de WordPress
• Cliquez sur le menu de gauche Yoast SEO > Outils

• Sélectionner l'éditeur de fichiers

• Si votre WordPress Avec un accès en écriture, vous verrez la bo?te d'édition de robots.txt

• Saisissez vos règles d'exploration ici et cliquez sur [Enregistrer les modifications] pour qu'elles prennent effet !

Si l'invite ne peut pas être modifiée, vous devez créer manuellement le fichier robots.txt via FTP ou votre panneau de contr?le d'hébergement.

4. Exemple de configuration de robots.txt

Vous trouverez ci-dessous des exemples de configurations courantes du fichier robots.txt de WordPress, qui peuvent être adaptées à la structure de votre site :

4.1 Configuration de base

User-agent : *
Disallow : /wp-admin/
Allow : /wp-admin/admin-ajax.php

Cette configuration empêche le crawler d'explorer le répertoire backend, mais permet au crawler d'explorer le répertoire backend. Ajax Demande de documents.

4.2 Masquage du répertoire du plug-in

Si vous souhaitez cacher le répertoire des plugins, vous pouvez l'ajouter :

Disallow : /wp-content/plugins/

Cependant, il n'est généralement pas recommandé de les désactiver complètement, sauf s'il est établi que ces chemins n'affectent pas la fonctionnalité du front-end.

4.3 Permettre une capture complète

Si vous voulez que le crawler explore tout le contenu du site :

User-agent : *
Disallow.

4.4 Balises de masquage et pages de résultats de recherche

(/tag/) et les pages de résultats de recherche sur le site ont généralement une forte influence sur les résultats de la recherche. RéFéRENCEMENT Le crawling peut être désactivé s'il est de faible valeur et s'il a tendance à créer du contenu dupliqué :

Disallow : /?s=
Refuser : /tag/

Note : Si l'option noindex a été définie pour ces pages, l'exploration peut également être conservée afin d'éviter l'erreur de l'option Google Search Console Avertissement "page noindex bloquée par robots.txt".

5. les meilleures pratiques pour configurer robots.txt

• élaborer des règles basées sur la situation réelle et éviter de copier aveuglément les configurations des autres.
• Ne pas interdire CSS avec l'exploration des fichiers JS, sinon cela affectera l'évaluation par le moteur de recherche de la mise en page et de l'adaptation mobile.
• Parallèlement à la soumission de sitemap.xml, ajoutez le lien sitemap dans le fichier robots.txt, par exemple :

Plan du site : https://www.yoursite.com/sitemap_index.xml

• Une fois la configuration terminée, utilisez l'outil de test robots.txt de Google Search Console pour vérifier qu'elle répond aux attentes.
• s'adapter Yoast SEO paramètre noindex pour une gestion souple de l'état de l'indexation des pages

6. erreurs de configuration courantes

• Le site entier a été refusé par erreur, ce qui a eu pour conséquence de ne pas l'indexer.
• Désactiver l'exploration des répertoires wp-content, ce qui entra?ne des exceptions au niveau du chargement des styles et des scripts
• S'appuyer sur robots.txt pour bloquer le contenu privé sans protection par mot de passe constitue un risque pour la sécurité.

résumés

Le fichier robots.txt est un élément fondamental de la stratégie de référencement d'un site web qui ne peut être ignoré, et la fonction d'édition de fichiers de Yoast SEO facilite la gestion du fichier robots.txt. robots.txtLa nouvelle fonctionnalité est une nouvelle fa?on de guider les robots des moteurs de recherche afin d'améliorer l'efficacité de l'exploration et les performances globales du référencement.

Contactez nous
Vous n'arrivez pas à lire le tutoriel ? Contactez-nous pour une réponse gratuite ! Aide gratuite pour les sites personnels et les sites de petites entreprises !	Service clientèle WeChat
① Tel : 020-2206-9892
② QQ咨詢：1025174874
(iii) Courriel : info@361sale.com
④ Horaires de travail : du lundi au vendredi, de 9h30 à 18h30, jours fériés.