مولّد robots.txt وأداة اختباره

أمران في صفحة واحدة: بناء الملف من قواعد، واختبار الملف الذي لديك أصلًا. لا يقول الجواب «مسموح» أو «محظور» فحسب، بل أي سطر هو الذي حسم.

قالب

زاحف

Crawl-delay بالثواني

يتجاهل Google التوجيه Crawl-delay، بينما يقرؤه Yandex وBing.

Disallow — مسار في كل سطر

Allow — استثناءات

عنوان خريطة الموقع robots.txt

مجانًا
ملفاتك لا تغادر جهازك
بدون تسجيل
بلا حد لعدد الملفات

طريقة الاستخدام

اختر قالبًا أو اذكر المسارات التي تريد إغلاقها، مسارًا في كل سطر.
أضف الاستثناءات تحت Allow وعنوان خريطة موقعك.
انسخ النتيجة أو نزّلها وضعها في جذر الموقع.
انتقل إلى «اختبار»، الصق ملفك، وافحص عنوانًا محدّدًا لزاحف محدّد.

معلومات مفيدة

تفوز القاعدة الأطول لا القاعدة الأولى

يختار Google ويانديكس القاعدة بطول المسار المطابق لا بترتيبها في الملف. لهذا ينجح الاقتران المعتاد «Disallow: /wp-admin/» مع «Allow: /wp-admin/admin-ajax.php»: المسار الثاني أطول فيفوز لذلك الملف وحده بينما يبقى بقية المجلد مغلقًا. أما أداة تقرأ الملف من أعلى إلى أسفل فستعطي الجواب المعاكس.

قاعدة فوق أوّل User-agent لا تخصّ أحدًا

توجيه Disallow المكتوب قبل أي سطر User-agent تتجاهله كل الزواحف: يُقرأ الملف مجموعاتٍ، والقاعدة خارج المجموعة بلا صاحب. تبدو سليمة تمامًا ولا تغلق شيئًا — وهي أغلى خطأ في robots.txt. تُبرزها أداة الاختبار على حدة مع رقم السطر.

الأسئلة الشائعة

هل يزيل ملف robots.txt صفحةً من نتائج البحث؟

لا — إنما يمنع الزحف. قد يظل العنوان المحظور ظاهرًا في النتائج بلا وصف إذا ربطت به مواقع أخرى. لإبقاء الصفحة خارج الفهرس، اتركها مفتوحة للزاحف وضع فيها وسم noindex: على الروبوت أن يحمّل الصفحة كي يرى ذلك الوسم.

أين يوضع الملف؟

في جذر النطاق فقط: ‎https://example.com/robots.txt‎. الملف داخل مجلد فرعي لا يُقرأ أصلًا، والنطاق الفرعي يحتاج ملفه الخاص — فملف example.com لا ينطبق على shop.example.com.

كيف أمنع زواحف الذكاء الاصطناعي؟

أضف مجموعة لكل روبوت: GPTBot وClaudeBot وPerplexityBot وCCBot موجودة في قائمة الزواحف هنا. تحترم هذه الروبوتات ملف robots.txt، لكن المنع يجري بالاسم — ولا تشملها مجموعة النجمة إذا كانت لها في الملف مجموعة خاصة.

هل يستحقّ Crawl-delay الضبط؟

يتجاهله Google تمامًا، بينما يقرؤه يانديكس وBing. اضبطه فقط إذا كان الخادم يعاني فعلًا من حمل الزحف؛ وإلا فهو يؤخّر اكتشاف صفحاتك الجديدة لا أكثر.

الفئات

الأدوات الأكثر استخدامًا