Kalau kita cek semua URL yang diindeks, meski diblokir oleh robots.txt ini adalah semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.
Seperti yang ditunjukan bahwa halaman-halaman tersebut diindeks, meski diblokir oleh robots.txt. Itu karena blogger menggunakan robots.txt seperti berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domainanda.com/sitemap.xmlNamun karena halaman-halaman search tersebut ditautkan di blog seperti pada breadcrumb, menu, atau widget label atau pada navigasi next prev, maka halaman-halaman tersebut tetap dirayapi bot.
Untuk mengatasi masalah ini, sebaiknya halaman-halaman tersebut diperbolehkan untuk dirayapi bot dan ditampilkan di hasil pencarian.
Silahkan ganti robots.txt dengan kode berikut ini jika Anda menggunakan robots.txt seperti di atas.
User-agent: *
Disallow:
Sitemap: https://www.domainanda.com/sitemap.xml
Sitemap: https://www.domainanda.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domainanda.com/feeds/posts/default
Sitemap: https://www.domainanda.com/sitemap-pages.xmlKemudian silahkan simpan kode meta tag noindex berikut di bagian
<head> blog untuk memblokir bot pada halaman arsip dan tidak menampilkannya di halaman hasil percarian Google untuk menjaga duplikat konten dengan halaman search.
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>Setelah semua hal di atas di lakukan, silahkan submit robots.txt baru Anda di robots.txt testing tool agar Google cepat mengenali robots.txt baru Anda.
Kemudian masuk ke Console dan lakukan validasi pada warning Diindeks, meski diblokir oleh robots.txt dan silahkan pantau terus Search Console.
Untuk hasil lainnya nanti saya update postingan ini.