robots.txt जनरेटर और टेस्टर

एक ही पेज पर दो काम: नियमों से फ़ाइल बनाना, और जो फ़ाइल पहले से है उसे जाँचना। जवाब सिर्फ़ «अनुमत» या «अवरुद्ध» नहीं कहता, बल्कि यह भी बताता है कि किस पंक्ति ने तय किया।

टेम्पलेट

क्रॉलर

Crawl-delay, सेकंड

Google Crawl-delay को अनदेखा करता है; Yandex और Bing इसे पढ़ते हैं।

Disallow — प्रति पंक्ति एक पथ

Allow — अपवाद

साइटमैप का पता robots.txt

मुफ़्त
फ़ाइलें आपके डिवाइस से बाहर नहीं जातीं
बिना रजिस्ट्रेशन
फ़ाइलों की कोई सीमा नहीं

कैसे इस्तेमाल करें

एक टेम्पलेट चुनें या बंद करने वाले पथ प्रति पंक्ति एक करके लिखें।
Allow में अपवाद और अपने साइटमैप का पता जोड़ें।
नतीजा कॉपी करें या डाउनलोड करके साइट की जड़ में रखें।
«जाँचें» पर जाएँ, अपनी फ़ाइल पेस्ट करें और किसी क्रॉलर के लिए कोई पता जाँचें।

जानने योग्य बातें

जीतता सबसे लंबा नियम है, पहला नहीं

Google और Yandex दोनों नियम को फ़ाइल के क्रम से नहीं, मेल खाने वाले पथ की लंबाई से चुनते हैं। इसीलिए «Disallow: /wp-admin/» और «Allow: /wp-admin/admin-ajax.php» की जानी-पहचानी जोड़ी काम करती है: दूसरा पथ लंबा है, इसलिए उसी एक फ़ाइल के लिए वह जीतता है जबकि बाक़ी फ़ोल्डर बंद रहता है। ऊपर से नीचे पढ़ने वाला टेस्टर इसका उल्टा जवाब देगा।

पहले User-agent से ऊपर लिखा नियम किसी का नहीं होता

किसी भी User-agent पंक्ति से पहले लिखा Disallow हर क्रॉलर अनदेखा कर देता है: फ़ाइल समूहों में पढ़ी जाती है, और समूह के बाहर के नियम का कोई मालिक नहीं होता। वह बिल्कुल ठीक दिखता है और कुछ भी बंद नहीं करता — robots.txt की सबसे महँगी ग़लती यही है। टेस्टर इसे पंक्ति संख्या के साथ अलग से बताता है।

अक्सर पूछे जाने वाले सवाल

क्या robots.txt पेज को खोज से हटा देता है?

नहीं — वह सिर्फ़ क्रॉल रोकता है। अगर दूसरी साइटें लिंक करती हैं तो बंद किया पता बिना विवरण के भी नतीजों में दिख सकता है। पेज को इंडेक्स से बाहर रखने के लिए उसे क्रॉलर के लिए खुला रखें और उस पर noindex मेटा टैग लगाएँ: वह टैग देखने के लिए रोबोट को पेज डाउनलोड करना ही पड़ता है।

फ़ाइल कहाँ रखनी चाहिए?

सिर्फ़ डोमेन की जड़ में: https://example.com/robots.txt। सबफ़ोल्डर की फ़ाइल पढ़ी ही नहीं जाती, और सबडोमेन को अपनी अलग फ़ाइल चाहिए — shop.example.com पर example.com की फ़ाइल लागू नहीं होती।

AI क्रॉलर कैसे रोकें?

हर बॉट के लिए एक समूह जोड़ें: GPTBot, ClaudeBot, PerplexityBot और CCBot यहाँ की सूची में हैं। ये robots.txt मानते हैं, पर रोक नाम के हिसाब से लगती है — अगर फ़ाइल में उनका अपना समूह भी है तो तारांकन वाला समूह उन पर लागू नहीं होगा।

क्या Crawl-delay लगाना चाहिए?

Google इसे पूरी तरह अनदेखा करता है; Yandex और Bing अब भी पढ़ते हैं। इसे तभी लगाएँ जब सर्वर सचमुच क्रॉल के भार से जूझ रहा हो — वरना यह सिर्फ़ आपके नए पेजों के मिलने की रफ़्तार घटाता है।

श्रेणियाँ

लोकप्रिय टूल