مُولّد ملف Robots.txt
إنشاء ملف robots.txt لموقعك الإلكتروني في ثوانٍ. إعداد قواعد الزحف لروبوتات محركات البحث.
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي بسيط يُوضع في الدليل الجذري لموقعك الإلكتروني (example.com/robots.txt). يُخبر هذا الملف زواحف محركات البحث — مثل Googlebot و Bingbot — بالصفحات التي يُسمح لها بزيارتها والصفحات التي لا يُسمح لها بذلك.
يتبع الملف بروتوكول استبعاد الروبوتات (RFC 9309) وهو أول ملف تقرأه الزواحف عند زيارة موقعك. يُستخدم لـ:
- منع فهرسة صفحات الإدارة والصفحات الخاصة
- توجيه الزواحف نحو خريطة الموقع (
sitemap.xml) - حظر زواحف الذكاء الاصطناعي من تدريب نماذجها على محتواك
- تقليل الحمل على الخادم عبر تحديد تأخير الزحف (
Crawl-delay)
كيفية استخدام مُولّد Robots.txt
- اختر User-agent — استخدم
*لتطبيق القواعد على جميع الزواحف، أو اختر زاحف محدد مثل Googlebot أو GPTBot. - أضف مسارات Disallow — المسارات التي تريد حظرها، مسار واحد في كل سطر (مثال:
/admin/). - أضف مسارات Allow — لفتح مسارات فرعية داخل مجلد محظور (اختياري).
- أضف رابط Sitemap — لمساعدة الزواحف على اكتشاف صفحاتك بسرعة.
- فعّل خيار حظر زواحف الذكاء الاصطناعي لإضافة قواعد GPTBot و ClaudeBot و Google-Extended تلقائياً.
- انسخ الملف المُولّد وارفعه إلى جذر موقعك.
صيغة ملف Robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /admin/admin-ajax.php Sitemap: https://example.com/sitemap.xml
حظر زواحف الذكاء الاصطناعي في 2026
مع ازدياد نماذج الذكاء الاصطناعي التي تتدرب على محتوى الويب، أصبح ملف robots.txt الأداة الأساسية للتحكم في استخدام محتواك. الزواحف الرئيسية التي يمكنك حظرها:
- GPTBot — زاحف التدريب الخاص بـ OpenAI (لا يؤثر على ChatGPT Search)
- ClaudeBot — زاحف التدريب الخاص بـ Anthropic (لا يؤثر على Claude-User)
- Google-Extended — للتحكم في تدريب Gemini (لا يؤثر على ترتيب Google Search)
- CCBot — زاحف Common Crawl (مصدر بيانات للعديد من النماذج)
- Meta-ExternalAgent — زاحف Meta لتدريب نماذج LLaMA
استخدم خانة "حظر زواحف الذكاء الاصطناعي" في الأداة أعلاه لإضافة هذه القواعد تلقائياً. للاطلاع على القائمة الكاملة، زر دليل زواحف الذكاء الاصطناعي.
قوالب جاهزة
WordPress
حظر /wp-admin/ والمسارات الداخلية مع إبقاء admin-ajax.php مفتوحاً. استخدم إضافة Yoast SEO أو Rank Math لإدارة الملف.
Shopify
منصة Shopify تُولّد ملف robots.txt تلقائياً. يمكنك تخصيصه عبر قالب robots.txt.liquid.
أين تضع ملف robots.txt؟
يجب أن يكون الملف متاحاً على https://yourdomain.com/robots.txt تماماً. طرق الرفع:
- المواقع الثابتة — ضع الملف في مجلد
public/(Astro, Next.js) أوstatic/(Hugo) - WordPress — استخدم إضافة SEO أو ارفع عبر SFTP
- Cloudflare Pages / Vercel / Netlify — أضف الملف للمستودع وسيُنشر تلقائياً
أخطاء شائعة يجب تجنبها
- حظر ملفات CSS/JS — Google يحتاجها لعرض صفحاتك. لا تحظرها أبداً.
- استخدام robots.txt كأداة أمان — الملف عام ويمكن لأي شخص قراءته. استخدم مصادقة HTTP للمحتوى الخاص.
- نسيان سطر Sitemap — إضافة رابط خريطة الموقع تُسرّع اكتشاف صفحاتك بشكل كبير.
الأسئلة الشائعة
هل يمنع ملف robots.txt فهرسة صفحاتي؟
ملف robots.txt يمنع الزحف فقط وليس الفهرسة. إذا كانت هناك روابط خارجية تشير إلى صفحتك، فقد تظهر في نتائج البحث بدون مقتطف. لمنع الفهرسة استخدم وسم <meta name="robots" content="noindex">.
أين أضع ملف robots.txt؟
يجب وضعه في الدليل الجذري لموقعك بحيث يكون متاحاً على example.com/robots.txt. لن تقرأه محركات البحث إذا كان في مجلد فرعي مثل /blog/robots.txt.
هل يجب حظر زواحف الذكاء الاصطناعي؟
يعتمد ذلك على احتياجاتك. إذا كنت لا تريد استخدام محتواك في تدريب نماذج الذكاء الاصطناعي، فإن حظر GPTBot و ClaudeBot وغيرها خيار جيد. لا يؤثر ذلك على ظهورك في محركات البحث — زواحف الذكاء الاصطناعي منفصلة تماماً عن Googlebot.
هل حظر Google-Extended يؤثر على ترتيبي في بحث Google؟
لا. Google-Extended هو معرّف منفصل خاص بتدريب Gemini و Vertex AI. حظره لا يؤثر على Googlebot الذي يُستخدم لترتيب نتائج البحث.
ما الفرق بين GPTBot و ChatGPT-User؟
GPTBot يجمع بيانات التدريب لنماذج GPT المستقبلية. أما ChatGPT-User فيجلب الصفحات فقط عندما يطلب مستخدم ChatGPT قراءة رابط محدد. إذا أردت منع التدريب مع البقاء مرئياً في إجابات ChatGPT، احظر GPTBot واترك ChatGPT-User مسموحاً.
هل يدعم ملف robots.txt الرموز البدل (wildcards)؟
نعم، بالنسبة لمعظم الزواحف الحديثة. * يطابق أي سلسلة من الأحرف، و $ يثبت النمط في نهاية الرابط. مثال: Disallow: /*.pdf$ يحظر جميع ملفات PDF.
RELATED TOOLS