Ads

Robots.txt क्या है और सही Robots.txt कैसे बनाए।

Robots.txt क्या है?और हम अपने ब्लॉग क लिए  सही robots.txt कैसे बनाए। दोस्तो एक ब्लॉग के Ranking Factor के लिए Robots.txt बहुत मायने रखता है। और सही से robots.txt files का उपयोग न करने से Google spider को आपके पोस्ट से सही instructions नहीं मिल पाती। जिसके वजह से पोस्ट जल्दी index नही होते।

robots.txt files क्या होता है।  क्या आपने कभी इसके बारे में सुना है। यदि नहीं तो आज  में आप लोगों को Robots.txt के बारे में जानकारी प्रदान करने वाला हूँ।


दोस्तो आपने अपने  ब्लॉग या फिर वेबसाइट में कभी  यह महसूस किया है के आपके ब्लॉग की information जानकारी  इंटरनेट में पब्लिक हो जाते है। और आपके लिखे गए Quality Content भी search engine में index नहीं होते। ऎसा क्यों होता है। दोस्तो इस का कारण है। Robots.txt files इस विषय में हम आगे जानते है। के Robots.txt  क्या है। और सही parfect robot.txt कैसे बनाते है।  



Robots.txt files क्या है

Robots.txt file क्या है यह एक छोटा सा Text फ़ाइल होता है जो आपके साइट के Root folder में रहता है। यह सर्च इंजन Bots spider को बताता है कि साइट के किस किस भाग को Crawl और Index करना है। और किस भाग को नहीं। 

पर ये Search engine के लिए  mandatory नहीं है के हर बार पेज क्रॉल करने आये तो इस में दी गई instruction को फॉलो करे लेकिन search engine इसपर अत्यंत ध्यान देते है। इस लिए Robots.txt को Root directory में बेहद जरूरी है। कोई भी search engines या Web Spiders यदि आपके website या blog को पहली बार आये हैं तो वो पहले आपके robot.txt file को Scan करते हैं। 

क्यूंकि इसमें आपके website को लेकर सारी जानकारी होती है। की किन चीज़ों को crawl नहीं करना है। और किन्हें नहीं। और वो आपके बताए गए pages को index कर देती हैं। जिससे की आपके indexed pages search engine results में प्रदर्शित होते हैं।  जानते हैं की आखिर ये Robots.txt क्या है और इसके क्या फायेदे है।




Robots.txt files ब्लॉग वेबसाइट के लिए क्यों जरूरी है

Search engine spiders bots जब हमारी वेबसाइट या ब्लॉग पर आते हैं।  तो वे robots.txt file को follow करते है। और कंटेंट को crawl करते हैं। लेकिन आपकी साईट में Robots.txt file नहीं होगी। तो सर्च इंजन Bots आपके वेबसाइट के सभी कंटेंट को index और crawl करना शुरू कर देंगे जिन्हें आप Index करना नहीं चाहते हैं।

अगर हम इस फाइल के द्वारा सर्च इंजन Bots को Instructions नहीं देते हैं। तो वे हमारी पूरी साईट को तो Index कर लेते हैं। साथ ही कुछ ऐसे भी डेटा को index कर लेते हैं, जिन्हें आप index नहीं करना चाहते थे। सर्च इंजन Bots किसी भी वेबसाइट को इंडेक्स करने से पहले robots file को खोजते हैं। 

जब उन्हें Robots.txt file द्वारा कोई Instructions नहीं मिलता है।  तो ये वेबसाइट के सभी कंटेंट को Index करना शुरू कर देते हैं। और कोई Instructions मिलता है, तो उसका पालन करते हुए वेबसाइट को Index करते हैं।




सही और parfect robots.txt file कैसे बनाए ( How to create a correct and parfect robots.txt file )

अगर आपने अभी तक अपने website या blog के लिए robot.txt file नहीं बनाया है। तो आपको  जल्द ही बना लेना चाहिए। क्यूंकि ये आगे चलकर आपके लिए काफी फायेदेमंद साबित होने वाला है।  

अपने ब्लॉग के लिए robot.txt  कैसे बनाए इसे बनाने के लिए आपको कुछ Steps को Follow करना होगा।  तो आप को Google में "yoursite.com/robots.txt"  type करना है। Yoursite मतलब साइट का URL type करें बाद आपके सामने एक  text Page open होंगा। यह ही आपके ब्लॉग का Robot.txt को होंगा। 

उसे अब अपने website के root directory में upload कर लीजिये। अगर आप subdomains का इस्तमाल करते हैं। तब आपको सभी subdomain के लिए अलग अलग robots.txt file बनाने की जरुरत है।



Robots.txt की Syntax क्या है ( what is syntax of Robots.txt )

Robot.txt files में हम कुछ syntax का उपयोग करते है। जिनके बारे में हमको जानना बेहद जरुरी है।Robots.txt फाइल की Basic format बहुत सिंपल है। और यह कुछ इस तरह होती है।

•  User-Agent: वो robot जो की ये सारी rule को follow करते हैं और जिनमें ये applicable हैं।

•  Disallow: इसका उपयोग करने का मतलब है की वो pages, files को index नहीं करना चाहते है।इस के लिए  files के पहले disallow लिखने की जरुरत है)

•  Noindex  इसके उपयोग से search engine को हम ये instruction दे रहे है। हमारे ब्लॉग के कोई भी Content को index ना  करे।

•  सारे User-Agent/Disallow group को separate करने के लिए एक blank line का इस्तमाल करना चाहिए, लेकिन यहाँ ध्यान दें की दो groups के बिच कोई भी blank line न हो (User-agent line और the last Disallow के बिच gap नहीं होना चाहिए .

•  Hash symbol (#) का उपयोग comments देने के लिए किया जा सकता है।  robots.txt file, जहाँ की सभी चीज़ें जिसके पहले # की symbol होगी उन्हें ignore कर दिया जायेगा। 



Robots.txt files को उपयोग करने के फायदे | Advantages of using Robots.txt

Blog में Robot.txt files को USE करने बहुत फायदे है। जिसके बारे हम discuss करेंगे। और आपको इसके फायदे बताएंगे।जैसे

• Robot.txt  files से  हम अपने ब्लॉग की संवेदनशील जानकारी को प्राइवेट रख सकते है।

• Canonicaliazation problem  दूर कर सकते है। इस files के trough



Robots.txt file का उपयोग नहीं करने से क्या होगा

यदि हम अपने ब्लॉग में robots.txt file का USE नहीं करे। तब seach engines पर कोई पाबन्दी नहीं के वह पेज को किस तरह crawl करना है। वह आपकी पूरी वेबसाइट को Crawl कर जाता है। यदि हम कुछ अच्छे practice की बात करें तब हमें robots.txt file का इस्तमाल करना चाहिए क्यूंकि इससे search engines को आपके pages को index करने में आसानी होती हैं, और उन्हें सारे pages को बार बार जाने की जरूरत नहीं पड़ती।



आज आप क्या सीखे

 इस पोस्ट को पढ़ने के बाद मुझे पूरी उम्मीद है के आप जान गए होंगे Robots.txt files क्या  है और सही robot.txt कैसे बनाए। अगर आपको यह पोस्ट पसंद आया होतो। आप इस जानकारी को अपने facebook twitter accounts पर Share करें।  जिससे उन्हें भी Robots.txt files कैसे बनते है। और अपने ब्लॉग में कैसे लगाते है। सीखने का मौका मिले। और आपके मन में कोई भी सवाल हो तो कोपया comment करें। ताकि हमें भी आपके विचारों से कुछ सीखने और कुछ सुधारने का मोका मिले। 

No comments:

Powered by Blogger.