Ursprünglich: Beginner • SEO Wissen | 28. September 2019
In meinen root Verzeichnis, meiner WordPress Installation von seo-praxis.de habe ich die robots.txt auf meinem Server folgendermaßen angepasst:
Useragent: *
Disallow: /wp-content/Anschließend habe ich die Seite mit:
- dem Screaming Frog
- aktivierten JavaScript Rendering
- HTML abspeichern
… gecrawlt.
In den Einstellungen habe ich zusätzlich den Googlebot Mobile: Smartphone ausgewählt.
Mit diesen Einstellungen kann man sehen, wie der Googlebot Smartphone die Seite rendern würde. Genau so:
Sperrt man das Verzeichnis, indem elementar wichtige:
- Stylesheets (CSS)
- oder JavaScript Files
liegen, kann der Crawler die Seite nicht mehr korrekt rendern.
Wenn die Seite undesignt und schlecht leserlich ist, wird das das Ranking der Seite negativ verändern.
So sieht die Seite über den SEO Manager eigentlich aus.
Alle Infos zum Google Crawler und der robots.txt findest du hier:
https://developers.google.com/search/reference/robots_txt