Créer et Optimiser le Fichier robots.txt sur Votre Site : Un guide complet et son importance

Dans cet article, nous allons vous présenter comment faire les robots txt sur votre site internet afin de booster votre site sur les moteurs de recherche.

Dans cet article, nous allons couvrir :

1. Ce qu’est un fichier robots.txt, et pourquoi c’est important

2. Où se trouve le fichier robots.txt sur WordPress.

3. Comment créer un fichier robots.txt.

4. Quelles règles sont à inclure dans votre fichier robots.txt WordPress.

5. Comment tester le fichier robots.txt, et le soumettre dans la Google Search Console ?

Signification de ce fichier robots.txt :

Le user-agent nommé Googlebot n'est pas autorisé à explorer les URL commençant par

 ♻️ https://example.com/nogooglebot/.

Tous les autres user-agents sont autorisés à explorer l'ensemble du site. Cette partie peut être omise sans que cela ne change rien au résultat. Par défaut, les user-agents sont autorisés à explorer l'ensemble du site.

Le fichier sitemap du site se trouve à l'adresse comme suite : 

♻️ https://www.example.com/sitemap.xml.

il suffit de remplacer example.com par votre site web.

Voici un fichier robots.txt simple à deux règles si vous utiliser adsence :

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.arbaho.com/sitemap.xml

Ou 

User-agent: Mediapartners-Google

Allow: /

User-agent: Googlebot

Disallow: /nogooglebot/

User-agent: *

Allow: /

Sitemap: https://www.example.com/sitemap.xml

Finalement, après avoir ajouter le fichier robots.txt pour votre site web sur la platforme Blogger, veuillez-cocher les case suivantes : 

❖ Activer les balises d'en-tête robots personnalisées comme suite;

Activer les balises d'en-tête robots personnalisées

❖  Tags de la page d'accueil

❖  Tags des pages d'archives et de recherche

❖  Tags des articles et des pages

À la fin de notre article, vous aurez tout ce dont vous avez besoin pour configurer un fichier robots.txt parfait pour votre site web sur la platforme WordPress. 

Exemple  fichier robots.txt pour WordPress

User-agent: *

Allow: /

# Disallowed sous répertoirs

Disallow: /checkout/

Disallow: /images/

Disallow: /forum

Vous remarquerez également une ligne qui indique allow: / en haut du fichier. Elle fait savoir aux robots qu’ils peuvent parcourir toutes les pages de votre site web, à part les exceptions que vous allez définir ci-dessous. 

# Disallowed sous répertoires

Disallow: /checkout/

Disallow: /images/

Disallow: /forum

De même, vous noterez que nous définissons ces règles comme étant universelles.

Business à découvrir sur notre site :

♦️ Business sur terrain et en ligne

♦️ Freebitcoin pour gagner des Bitcoins et des intérêts quotidiens

♦️ Comment gagner de l'argent sur Youtube

♦️ Attention à ce site Internet qui vous propose d'investir

Nous cherchons beaucoup afin de vous fournir le meilleur, n'hésitez pas si vous pouvez nous aidez à partager nos sujets avec vos amis en cliquant sur les icons ci-dessous ou par commentaire pour nous encourager ou même aimer notre page facebook.