Robots.txt file क्या है और Seo के लिए Perfect कैसे बनाए

Robots.txt file क्या है और Seo के लिए Perfect कैसे बनाए

Robots.txt kya hai? अगर आपका कोई Blog या फिर वेबसाइट है, तो आपके दिमाग में एक सवाल ज़रूर आया होगा की Robots.txt file क्या है, और कैसे काम करती है।

आज मैं आपको इस Article के माध्यम से Robots.txt file के बारे में पूरी जानकारी देने वाला हूँ, की Robots.txt file क्या है? कैसे काम करती है? Robots.txt file कैसे बनाई जाती इस तरह के और भी सवालों के जवाब और जानकारी इस पोस्ट में मैं आपको देने वाला हूँ तो इस Article को पूरा ज़रूर पढ़े।

Robots.txt file Internet पर मौजूद सभी Blog या Website का एक हिस्सा है। लेकिन बहुत से लोगों को इसके बारे में पता नहीं होता है।

इस फाइल को Search engine के साथ काम करने के लिए बनाया जाता है, Seo में भी इस फाइल का एक महत्वपूर्ण रोल होता है।

तो चलिए जानते है Robots.txt file के बारे में पूरी जानकारी Step by step। 

Robots.txt file kya hai

Robots.txt file क्या है 

Robots.txt file क्या है(What is robots.txt in hindi) Robots.txt file एक Text फाइल होती है, जो Search engine के Robots को निर्देश देती है, की अपनी Website या Blog के कौन से Pages को Crawl करना है, और कौन से Pages को Crawl नहीं करना है।

सीधा सीधा कहाँ जाए तो Robots.txt file Search engine robots को Instructions देने का काम करती है।

की आपके Website को कैसे Crawl और Search engine में Index करना है।

Robots.txt File कैसे काम करती है

अब बात करते है, Robots.txt file kaise kam karti hai। हमने ऊपर ही बात की थी Robots.txt file Search engine के Robots को निर्देश देने का काम करती है।

और Search engine basically दो मुख्य काम करता है, एक है Crawling और दूसरा है Indexing ये दो काम Search engine करता है।

जब Search engine के Robots या Spider किसी Website के Pages को Crawl करने के लिए किसी Website पर पोहचते है, तो वो Robots किसी Page को Crawl करने से Website की Robots.txt file को ढूंढ़ते है, और उस फाइल को पढ़ते है, क्योंकि की Robots.txt file में ये जानकारी होती है, की Search engine को कैसे Crawl करना है, और वेबसाइट के कौन से Pages को Crawl करना है, Search engine के Crawler को ये जानकारी देने का काम Robots.txt file करती है।

अगर Crawler को किसी Website पर Robots.txt file नहीं मिलती है, तो वो Website Crawl करने के लिए आगे बढ़ेगा। और हमें जो Pages search engine में Index नहीं कराने है, Search engine के Crawler उन्हें Crawl करेगा और Search engine में Index करेगा।

इस तरह से Robots.txt file Search engine के Bots को निर्देश देने का काम करती है।

Robots.txt फ़ाइल क्यों महत्वपूर्ण है

अब हम बात करते है की हमारे Blog या Website के लिए Robots.txt file क्यों ज़रूरी है, या महत्वपूर्ण है।

आपके Website पर कुछ ऐसे भी Pages हो सकते है, जिन्हे आप Search में Index नहीं करना चाहते है, और उन pages को Search engine में रैंक भी नहीं करना चाहते है, अगर आप robots.txt file नहीं बनाएंगे तो Search engine को नहीं पता चलेगा की Pages को crawl करना है या नहीं, और search engine उन सभी pages को crawl और index कर सकता है जिन्हे आप चाहते नहीं हो की वो Internet publish हो।

Robots.txt file नहीं बनाने से आपके Website के Pages ठीक से Crawl और Index होने में भी Problem हो सकती है।

हमारे Website पर कुछ Duplicate pages, Pdf file, और Images भी होती है, जो हम Search engine में Index नहीं करना चाहते है।

ये सभी काम करने के लिए Robots.txt file Website या Blog में होना ज़रूरी है। 

इस तरह से और भी कहीं कारण है, Robots.txt file बनाने के।

Technical Robots.txt Syntax कौन से है

Robots.txt syntax का मतलब है, Robots.txt file बनाने वक्त जिन शब्दों का प्रयोग किया जाता है, उन्हें Robots.txt syntax कहाँ जाता है, तो चलिए देखते है Robots.txt file बनाते समय कौन से शब्दों का प्रयोग किया जाता है।

ये कुछ ऐसे शब्द है इनका उपयोग Website की Robots.txt file बनाने वक्त किया जाता है।

1. User-agent

User agent का मतलब है, वो Search engine के Web crawler जिन्हे आप Website crawl के निर्देश दे रहे है। User agent में उन Web crawler की लिस्ट होती है, जिन्हे आप Crawl करने के निर्देश देते है।

2. Disallow

Robots.txt file में Disallow शब्द ये बताता है की User agent को Website या Blog के किस Url या Page को Crawl नहीं करना है।

3. Allow 

Allow सिर्फ Googlebot के लिए लागु होता है, Allow googlebot को यह बताता है, की वो किसी Pages या Subfolder पर जा सकता है।

4. Crawl-delay

Crawl-delay इस Command को Googlebot स्वीकारता नहीं है। ये Command Bots को ये बताता है, की Pages और सामग्री को Load और Crawling होने से पहले Bots को कितना समय इंतजार करना है।

5. Sitemap 

Sitemap command का सिर्फ Google, yahoo और Bing जैसे ही Search engine support करते है। Xml sitemap का उपयोग Url संबंधित Sitemap को Crawl करने के लिए किया जाता है।

इन Syntax का उपयोग करके हम अपने Website या Blog के लिए एक बेहतरीन Robots.txt file बना सकते है। एक Robots.txt file किस तरह से बनायीं जाती है ये हम नीचे देखने वाले है।

Internet पर अपने Blog या Website की Robots.txt File कैसे देखे 

अगर आपको अपने Blog या Website की Robots.txt file देखना है, तो ये एक आसान काम है इंटरनेट पर अपनी Robots.txt file देखना।

इंटरनेट पर Robots.txt file देखने के लिए आपको कुछ आसान Steps को Follow करना होगा जिसकी मदद से आप Robots.txt file आसानी से देख सकते हो।

Step 1. सबसे पहले आप अपने Computer या mobile पर Browser open कर ले।

Step 2. Browser के search बार में आपके Website या Blog का Url डालें।

Example:- “digitalakshayy.in” इस तरह से, आपके वेबसाइट का Url डालना है, और Url के आख़िरी में “/robots.txt” करें और Search करें।

Search करने पर आपको आपके Website या Blog की Robots.txt file दिख जाएगी।

Robots.txt फ़ाइल कैसे बनाएं 

अब बात करते है, Robots.txt file कैसे बनाई जाती है, Robots.txt file बनाने के लिए आपको Notepad या Text edit का उपयोग करना चाहिए।

अगर आपके Website या Blog में पहले से ही Robots.txt file बनी है तो कोई बात नहीं, अगर आपको नई Robots.txt file बनानी है तो आप नीचे दिए Steps को Follow करके बना सकते हो।

Robots.txt file बनाने के लिए जिन Technical syntax का उपयोग किया जाता हैं, उन्हें हमने ऊपर देखा है। अब बात करते है Robots.txt file कैसे बनायीं जाती है।

अब मैं आपको कुछ आसान Steps में Robots.txt file कैसे बनायीं जाती है ये बताने जा रहा हु।

हम इस फाइल को इस तरह से बनाने वाले है ताकि ये File Web robots पर सही तरीके से लागू हो।

  • सबसे पहले आप User-agent इस शब्द को “User-agent:*” इस तरह से लिखे।
  • नीचे के लाइन में “Disallow:” करके छोड़ दे।
  • अब नीचे के लाइन में “Allow:” लिखे।
  • नीचे के लाइन में आपको “Sitemap: https://yoursite.com/sitemap.xml” लिखना है।

Yoursite में आपको आपके Site url डालना है।

बस आपकी Robots.txt file तैयार हो गया है, अब सिर्फ आपको इस फाइल को अपने Website या Blog के हिसाब से Optimize करना होगा।

तो चलिए हम नीचे जानते है की Robots.txt file को Seo के लिए कैसे Optimize किया जाता है।

Robots.txt file को आप Internet पर Free tool का इस्तेमाल करके भी बना सकते हो। इसके लिए आपको इंटरनेट पर Robots.txt file generator लिख कर Search करना होगा, Internet बहुत सारी Website मिलेंगी जिसकी मदद से आप Robots.txt file बना सकते हो।

Seo के लिए Robots.txt File को Optimize कैसे करें 

अब आपको अपने Robots.txt file Optimize करना होगा चलिए देखते है की हम किस तरह Robots.txt file को Optimize कर सकते है।

अब आपको आपके website के जिस सामग्री को Crawl नहीं करना और Search engine में Index नहीं करना है उसे इस तरह से लिखे। हमने ऊपर Disallow लिखा था उसी के आगे स्पेस देके  “Disallow: /wp-admin/” इस तरह से लिखना है जो आप अपने Website की सामग्री index नहीं करना चाहते है।

Search engine bots को आप विशिष्ट Pages को Crawl करने से रोकने के लिए आप Disallow: लिख कर दो स्लैश(//) के बीच url डाल कर Crawl करने से रोक सकते हो।

आप अपने Blog या Website के Thank you pages को भी Crawl करने से रोक सकते हो।

इस तरह से आप Robots.txt file बना सकते हो, और उसे Serach engine robots के लिए Optimization कर सकते हो।

Robots.txt file बनाने के फायदे 

  • Robots.txt file सही तरीके से बनाने से Seo में फायदे मिलते है।
  • Robots.txt file से आप जिन Pages को आप Search engine में Index नहीं करना चाहते है, उसे रोक सकते है।
  • इस फाइल से Search engine के Bots सही Pages Crawl करने में मदद मिलती है।
  • आपकी Website फास्ट Crawl होती है।
  • Robots.txt file में आपके आवश्यकता के अनुसार बतलाव कर सकते है।

Conclusion – निष्कर्ष

आशा करता हूँ की आपको Robots.txt kya hai पता चल गया होगा, और Seo के लिए एक Perfect Robots.txt file कैसे बनाते है ये पता चल गया होगा। आपको ये Post पसंद आयी हो तो Comment ज़रूर करें।

मैं Regular इस Blog में Seo और Blogging संबंधित जानकारी Share करता हूँ, जो आपको और आपके Website को लाभ दे सकती है।

अगर आपको Robots.txt संबंधित या इस Article संबंधित कोई सवाल हो, तो Comment करके ज़रूर पूछे।

Leave a Comment