مُولّد ملف Robots.txt
إنشاء ملف robots.txt لموقعك الإلكتروني في ثوانٍ. إعداد قواعد الزحف لروبوتات محركات البحث.
ما هو ملف robots.txt؟
ملف robots.txt يخبر زواحف محركات البحث بالصفحات التي يمكنها أو لا يمكنها زيارتها. يتم وضعه في الدليل الجذري لموقعك.
حظر زواحف الذكاء الاصطناعي
مع ازدياد نماذج الذكاء الاصطناعي التي تتدرب على محتوى الويب، يمكنك استخدام خيار حظر الزواحف لمنع GPTBot و ClaudeBot وغيرها.
الأسئلة الشائعة
هل يمنع ملف robots.txt فهرسة صفحاتي؟
ملف robots.txt يمنع الزحف فقط وليس الفهرسة. إذا كانت هناك روابط خارجية تشير إلى صفحتك، فقد تظهر في نتائج البحث. لمنع الفهرسة استخدم وسم meta noindex.
أين أضع ملف robots.txt؟
يجب وضعه في الدليل الجذري لموقعك بحيث يكون متاحاً على example.com/robots.txt. لن تقرأه محركات البحث إذا كان في مجلد فرعي.
هل يجب حظر زواحف الذكاء الاصطناعي؟
يعتمد ذلك على احتياجاتك. إذا كنت لا تريد استخدام محتواك في تدريب نماذج الذكاء الاصطناعي، فإن حظر GPTBot و ClaudeBot وغيرها خيار جيد. لا يؤثر ذلك على ظهورك في محركات البحث.
RELATED TOOLS