Robots.txt Oluşturucu
Web siteniz için saniyeler içinde robots.txt dosyası oluşturun. Arama motoru botları için tarama kurallarını yapılandırın.
Robots.txt Nedir?
Robots.txt dosyası arama motoru tarayıcılarına sitenizin hangi sayfalarını ziyaret edip edemeyeceklerini söyler. Web sitenizin kök dizinine yerleştirilir (ör. example.com/robots.txt) ve tarayıcıların sitenizi ziyaret ederken kontrol ettikleri ilk dosyalardan biridir.
AI Tarayıcıları Engelleme
Web içeriğinden eğitilen AI modellerinin artmasıyla, birçok site sahibi AI tarayıcılarının içeriklerine erişmesini engellemek istiyor. GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini) ve diğer AI'ya özgü tarayıcılar için otomatik olarak kurallar eklemek üzere "AI tarayıcıları engelle" onay kutusunu kullanın.
SSS
Robots.txt sayfalarımın dizine eklenmesini engeller mi?
Robots.txt yalnızca taramayı engeller, dizine eklemeyi değil. Sayfanıza dış bağlantılar varsa, arama sonuçlarında görünmeye devam edebilir. Dizine eklemeyi engellemek için meta noindex etiketi kullanın.
Robots.txt dosyasını nereye koymalıyım?
Robots.txt dosyası web sitenizin kök dizinine yerleştirilmelidir, yani example.com/robots.txt adresinden erişilebilir olmalıdır. Alt klasörde olursa arama motorları okuyamaz.
AI tarayıcılarını engellemeli miyim?
İhtiyaçlarınıza bağlıdır. İçeriğinizin AI modellerini eğitmek için kullanılmasını istemiyorsanız, GPTBot, ClaudeBot ve diğerlerini engellemek iyi bir seçenektir. Bu, arama motorlarındaki görünürlüğünüzü etkilemez.
RELATED TOOLS