Creating robot.txt file and optimizing it

8.12 Creating robot.txt file and optimizing it and Where to submit it

definition of robot.txt file in Hindi

robot.txt फाइल से हम गूगल को यह permission देते हैं कि उसने हमारी वेबसाइट में से क्या-क्या चीजें crawl करनी है और क्या-क्या चीजें करोल नहीं करनी है, कब crawl करना है, कब crawl नहीं करना है.

Creating robot.txt file and optimizing it and Where to submit it
robot.txt फाइल
How do google crawlers work?

जब हम robot.txt फाइल कस्टमाइज कर देते हैं, तो उसके बाद में गूगल के क्रॉलर या गूगल के bots ya robots हमारी वेबसाइट में आते हैं और जिन पेजेस या जिन पोस्ट कि हमने परमिशन दी है. उन पोस्ट या उन पेजेस पर आकर सारा डाटा कॉपी करके ले जाते हैं और अपनी डेटाबेस या अपनी डायरेक्टरी में सेव कर लेते हैं और उसके बाद में सर्च इंजन जैसे के गूगल में अगर कोई सर्च करता है और उसी टॉपिक पर अगर हमने कुछ लिखा हुआ है तो वह यूजर को हमारा डाटा दिखा देते हैं. इस तरह से गूगल के क्रॉलर काम करते हैं.

Robot Text Example
User-Agent: *
Disallow: /wp-admin/
Disallow: /* .pdf$
Disallow: type nay url after domain name and strat with / e.g /how-to-choose-your-domain/
Crawl-delay: 20
Sitemap: https://www.yoursite.com/sitemap_index.xml
Robot Text Example
robot.txt files में जो हम lines लिखते हैं उनका क्या मतलब होता है?

* का मतलब होता है BOT or Robot or Crawler

Disallow का मतलब जिन चीजों को आप अल्लोव नहीं कर रहे हैं।

/wp-admin/ का मतलब है की admin dashboard में जितनी भी चीजे हैं उनको crawl नहीं करना है।

Disallow: /* .pdf$ का मतलब है की pdf को crawl नहीं करना है।

Disallow: type nay url after domain name and strat with / e.g /how-to-choose-your-domain/ का मतलब है की इस url को crawl नहीं करना है।

Crawl-delay: 20 का मतलब है की एक page को crawl करने के बाद 20 mili second का gap लेना है। इससे हमारे server पर pressure नहीं आता है।

यह complete होने के बाद हमने sitemap submit कर देने हैं।

Creating robot.txt file and optimizing it and Where to submit it

इस पुरे URL को कॉपी करके google Search Console में sitemap वाली ऑप्शन में सबमिट कर देना है।

ये ऊपर जो मैंने robot.txt फाइल बनानी सिखाई है। उसमें से यह जरूरी नहीं है कि आप सारी लाइनों को बनाओ। आपको जिन जिन पॉइंट्स की जरूरत है. आप उन्हें पॉइंट्स को सबमिट करो और आपने यह फाइल कहां पर डालनी है, उसके लिए आप नीचे इमेज में देख सकते हो. यह फाइल आपने rank math में जाकर submit करनी है।

Where to submit robot.txt file?

go to rank math>> general setting>> edit robot.txt >>write robot.txt file>> save changes

Creating robot.txt file and optimizing it and Where to submit it

 61 total views,  1 views today

Leave a Comment

Your email address will not be published.