Meta robots etiketi bir HTML dokümanının head bölümünde durur. Bu da bir boşluk bırakır. PDF'in, görselin, CSV çıktısının ya da video dosyasının etiketi koyacağı bir head'i yoktur. X-Robots-Tag bu boşluğu, aynı direktifleri HTTP yanıt başlığında göndererek kapatır.
Sözdizimi aynıdır. X-Robots-Tag: noindex dosyayı indeksin dışında tutar, noindex, nofollow link davranışını da ekler, unavailable_after ise süreli içerik için son kullanma tarihi belirler. Tek bir crawler'ı hedeflemek için user-agent adı verilebilir, birden fazla direktif ayrı başlıklar olarak gönderilebilir.
En yaygın gerçek kullanım, siteden indirilebilmesi gereken ama kendisini anlatan HTML sayfalarıyla yarışmaması gereken PDF arşivleridir. Ayar sunucu ya da CDN katmanında, dosya uzantısı veya yol eşleştirmesiyle yapılır.
İnsanları yanıltan kural meta robots ile ortaktır. robots.txt ile engellenmiş bir URL hiç çekilmez, dolayısıyla X-Robots-Tag başlığı hiç okunmaz. Bir sayfayı indeksten çıkarmak istiyorsanız crawler'ın ona ulaşmasına ve direktifi okumasına izin verin.
Uygulamadan sonra doğrulama şart. Başlığın gerçekten gittiğini görmek için dosyayı curl ile çekip yanıt başlıklarına bakmak yeterli. Search Console'un URL denetleme aracı da Google'ın o URL için hangi direktifi gördüğünü söyler. CDN katmanında yapılan ayarların origin'den gelen başlıkları ezdiği durumlar sık yaşandığı için bu kontrol atlanmamalı.