robots.txt dosyası hakkında

google'in bize güvenmesi için ne şekilde bir robots.txt dosyası hazırlanmalıdır

Wordpress için örnek bu yeterli. Diğer sistemler için User-agent: * ve site haritası kısmı olsun olay bitiyor zaten.

User-agent: *
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.r10.net/sitemap.xml