WordPress robots.txt und potentielle Crawlprobleme

In meinen root Verzeichnis, meiner WordPress Installation von seo-praxis.de habe ich die robots.txt auf meinem Server folgendermaßen angepasst:

Useragent: *
Disallow: /wp-content/

Anschließend habe ich die Seite mit dem Screaming Frog + aktivierten JavaScript Rendering + HTML abspeichern gecrawlt. In den Einstellungen habe ich zusätzlich den Googlebot Mobile: Smartphone ausgewählt. Mit diesen Einstellungen kann man sehen, wie der Googlebot Smartphone die Seite rendern würde. Genau so:

Sperrt man das Verzeichnis, indem elementar wichtige Stylesheets (CSS) oder JavaScript Files liegen, kann der Crawler die Seite nicht mehr korrekt rendern.

Wenn die Seite undesignt und schlecht leserlich ist, wird das das Ranking der Seite negativ verändern.

So sieht die Seite über den SEO Manager eigentlich aus.

Alle Infos zum Google Crawler und der robots.txt findest du hier
https://developers.google.com/search/reference/robots_txt

SEO-Praxis