क्रॉल बजट की जांच कैसे करें और क्रॉल अपशिष्ट को कैसे ठीक करें

यदि आपकावेबसाइटउचित रूप से अनुक्रमित नहीं किया जा रहा है या नई सामग्री को Google पर प्रदर्शित होने में बहुत समय लगता है, समस्या आपकी सामग्री नहीं हो सकती है; यह आपका हो सकता हैक्रॉल बजट.

Google जैसे खोज इंजन एक निश्चित समय सीमा के भीतर आपकी साइट पर क्रॉल करने के लिए सीमित संख्या में पेज आवंटित करते हैं। इस आवंटन को आपके क्रॉल बजट के रूप में जाना जाता है। यदि वह बजट टूटे हुए लिंक, डुप्लिकेट सामग्री, या कम-मूल्य वाले यूआरएल पर बर्बाद हो जाता है, तो आपके उच्च-प्राथमिकता वाले पृष्ठों को नजरअंदाज किया जा सकता है। यह समस्या, जिसे क्रॉल अपशिष्ट कहा जाता है, चुपचाप आपकेको रोक सकती है एसईओविकास।

इस गाइड में, मैं आपकोके बारे में बताऊंगा अपना क्रॉल बजट कैसे जांचें using tools like जैसे टूल का उपयोग करना गूगल सर्च कंसोलऔर फ़ाइलें लॉग करें, और आपकोके लिए कार्रवाई योग्य रणनीतियाँ दिखाएं क्रॉल अपशिष्ट को ठीक करेंइसलिए आपकी साइट अधिक कुशलता से क्रॉल और अनुक्रमित हो जाती है।

क्रॉल बजट क्या है?

क्रॉल बजटयह उन पृष्ठों की संख्या है, जिन्हें Googlebot जैसा कोई खोज इंजन क्रॉलर एक विशिष्ट समय सीमा के भीतर आपकी वेबसाइट पर क्रॉल करने के लिए तैयार और सक्षम है। यह अनिवार्य रूप से इस बात के बीच संतुलन है कि आपकी साइट को कितनी बार क्रॉल किया जा सकता है और इसे क्रॉल करने की कितनी मांग है।

क्रॉल बजट मुख्य रूप से दो कारकों द्वारा निर्धारित होता है:

1. क्रॉल दर सीमा

यह उन अनुरोधों की संख्या को संदर्भित करता है जो Googlebot आपके सर्वर पर बिना ओवरलोड किए प्रति सेकंड कर सकता है। यदि आपका सर्वर धीमा हो जाता है या बहुत अधिक त्रुटियाँ लौटाता है, तो Google पीछे हट जाएगा और क्रॉल दर कम कर देगा।

2. क्रॉल डिमांड

क्रॉल मांग यह दर्शाती है कि Google निम्न के आधार पर आपकी साइट को कितना क्रॉल करना चाहता है:

• The लोकप्रियताआपके पृष्ठों का
• The ताज़गीआपकी सामग्री का
• कोई महत्वपूर्णअद्यतनया आपकी साइट पर परिवर्तन

यदि Google बार-बार परिवर्तन देखता है या विशिष्ट पृष्ठों में उच्च उपयोगकर्ता रुचि का पता लगाता है, तो वह उन्हें अधिक बार क्रॉल करने को प्राथमिकता दे सकता है।

इस पर और पढ़ें: क्या AI SEO की जगह लेगा? एआई-एसईओ रणनीतिकार के रूप में मेरे विचार

क्रॉल बजट क्यों मायने रखता है

क्रॉल बजट का प्रबंधन बड़ी वेबसाइटों, ई-कॉमर्स स्टोर या हजारों यूआरएल वाले समाचार पोर्टलों के लिए महत्वपूर्ण है। यदि खोज इंजन गैर-आवश्यक या डुप्लिकेट पृष्ठों को क्रॉल करने में समय बर्बाद करते हैं, तो वे महत्वपूर्ण पृष्ठों को छोड़ सकते हैं, जिसके परिणामस्वरूप खराब अनुक्रमण और ट्रैफ़िक खो सकता है अवसर।

इस पर और पढ़ें:Garage2Global द्वारा स्थानीय SEO सेवाएँ जो वास्तव में फुट ट्रैफ़िक को बढ़ाती हैं

क्रॉल अपशिष्ट क्या है?

जबकिक्रॉल बजटयह इस बारे में है कि खोज इंजन आपकी वेबसाइट को कितनी बार और कितनी गहराई से क्रॉल करते हैं,क्रॉल अपशिष्टसंदर्भित करता है कि उस बजट का कितना भाग उन पृष्ठों पर खर्च किया गया हैजरूरत नहीं हैयालायक नहींरेंगना.

क्रॉल अपशिष्ट के उदाहरण:

• डुप्लीकेट पेजयूआरएल पैरामीटर या प्रिंटर-अनुकूल संस्करणों के कारण
• पतली सामग्री वाले पृष्ठबहुत कम या कोई एसईओ मूल्य के साथ
• अनाथ पन्नेजिनकी ओर इंगित करने वाला कोई आंतरिक लिंक नहीं है
• पृष्ठांकित पुरालेखजो नई या मूल्यवान सामग्री प्रदान नहीं करता है
• पुनर्निर्देशित शृंखलाएँऔर 404 (नहीं मिला) त्रुटियाँ
• टैग और श्रेणी पृष्ठजो अति-अनुक्रमित हैं

जब Googlebotइन पृष्ठों को क्रॉल करने में समय व्यतीत करता है, यहहो सकता है अपनी मूल्यवान सामग्री छोड़ें, इंडेक्सेशन में देरी और दृश्यता कम करना।

इस पर और पढ़ें:बेचना या बेचना - मार्केटिंग में सबसे अच्छा क्या काम करता है?

क्रॉल अपशिष्ट को ठीक करना क्यों मायने रखता है

क्रॉल अपशिष्ट को कम करने से Google को अपने क्रॉल प्रयासों पर ध्यान केंद्रित करने में मदद मिलती है:

• ताजा सामग्री
• मनी पेज (उत्पाद/सेवा/लीड जेन पेज)
• अद्यतन या पुनः अनुकूलित सामग्री

इस तरह आप इंडेक्सेशन को बढ़ावा देते हैं और अपने एसईओ प्रयासों से बेहतर परिणाम प्राप्त करते हैंबिनाअधिक सामग्री प्रकाशित करना.

इस पर और पढ़ें:एसईओ अनुकूलन के लिए इकाइयां कैसे खोजें

क्रॉल बजट कैसे जांचें (उपकरण और तरीके)

अ��ने क्रॉल बजट को समझना एक बात है; इसे मापने का तरीका जाननावही आपको नियंत्रण देता है। क्रॉल बजट की सटीक जांच और निगरानी के लिए सबसे प्रभावी उपकरण और तकनीकें नीचे दी गई हैं.

1. Google खोज कंसोल - क्रॉल आँकड़े रिपोर्ट

Google खोज कंसोल (GSC) एकप्रदान करता है क्रॉल आँकड़े रिपोर्टयह इस बात की सीधी जानकारी देता है कि Googlebot आपकी वेबसाइट के साथ कैसे इंटरैक्ट करता है।

कैसे पहुंचें:

• जीएससी में लॉग इन करें
• Go to पर जाएँ सेटिंग्स→क्रॉल आँकड़े

जांचने के लिए मुख्य मेट्रिक्स:

• कुल क्रॉल अनुरोध: समय के साथ क्रॉल किए गए यूआरएल की संख्या
• औसत प्रतिक्रिया समय: धीमी साइट क्रॉल दर को कम कर देती है
• प्रतिक्रिया प्रकार के अनुसार: देखें कि कितने यूआरएल ने 200, 301, 404, आदि लौटाए क्रॉल की गई फ़ाइल प्रकार
• : एचटीएमएल बनाम सीएसएस, जेएस, छवियांक्रॉल उद्देश्य
• : डिस्कवरी बनाम रिफ्रेश: Discovery vs. refresh

2. लॉग फ़ाइल विश्लेषण

लॉग फ़ाइलेंखोज इंजन बॉट से प्रत्येक विज़िट को रिकॉर्ड करें। इन फ़ाइलों का विश्लेषण करने से:

• में विस्तृत दृश्यता मिलती है कौन से पेज क्रॉल किये जा रहे हैं
• जब उन्हें क्रॉल किया जा रहा हो
• कितनी बार करता हैGooglebot वापसीविशिष्ट अनुभागों के लिए

लॉग विश्लेषण के लिए उपकरण:

• चिल्लाता हुआ मेंढक लॉग फ़ाइल विश्लेषक
• सेमरश लॉग फ़ाइल विश्लेषक
• पायथन + रेगेक्स

का उपयोग करके कस्टम पार्सिंग 3. चिल्लाता हुआ मेंढक SEO स्पाइडर

हालांकि मुख्य रूप से एक क्रॉलर, स���क्रीमिंग फ्रॉग आपकी साइट के आंतरिक क्रॉल को इस बात से जोड़ने में भी मदद करता है कि खोज इंजन आपकी साइट को कैसे देख सकते हैं।

इस पर और पढ़ें:10 सर्वश्रेष्ठ एसईओ पुनर्विक्रेता: विशेषज्ञों द्वारा समीक्षा

इसका उपयोग करें:

• गैर-अनुक्रमणीय या अनाथ पृष्ठ ढूंढें
• ��्रॉल किए गए यूआरएल बनाम अनुक्रमित यूआरएल की तुलना करें
• क्रॉल गहराई के मुद्दों की पहचान करें (पेज बहुत गहरे दबे हुए हैं)

4. वैकल्पिक उपकरण (अतिरिक्त जानकारी के लिए)

ये उपकरण क्रॉल आँकड़े और स्वास्थ्य जाँच प्रदान करते हैं, हालाँकि हमेशा 100% सटीक नहीं होते:

• अहेरेफ़्स: साइट ऑडिट → क्रॉल वितरण और गहराई
• सेमरश: साइट ऑडिट →क्रॉलेबिलिटीएवं लॉग फ़ाइल अनुभाग
• जेटऑक्टोपसयाबोटिफाई(एंटरप्राइज़-स्तरीय क्रॉल डायग्नोस्टिक्स के लिए बढ़िया)

और पढ़ें:ईकॉमर्स के लिए मैगेंटो एसईओ अनुकूलन - युक्तियाँ और उपयोग के मामले

क्रॉल अपशिष्ट की पहचान कैसे करें

एक बार जब आप Google सर्च कंसोल, लॉग फ़ाइलें, या स्क्रीमिंग फ्रॉग जैसे क्रॉल टूल से क्रॉल डेटा एकत्र कर लेते हैं, तो यह पहचानने का समय आ गया है कि कौन से यूआरएल हैंअपना क्रॉल बजट बर्बाद कर रहे हैं.

यहाँ क्या देखना है:

1. चेन और लूप्स को रीडायरेक्ट करें

• वे पृष्ठ जो कई बार रीडायरेक्ट करते हैं या अनंत लूप बनाते हैं।
• ये ड्रेन क्रॉल दक्षता और बॉट्स को निराश करते हैं।
• ठीक करें: ��्रत्यक्ष 301 रीडायरेक्ट का उपयोग करें और लंबी श्रृंखलाओं को समाप्त करें।

2. टूटे हुए यूआरएल (404 पृष्ठ)

• Googlebot बार-बार मृत पृष्ठों तक पहुँचने का प्रयास कर रहा है।
• यह खराब साइट स्वास्थ्य का संकेत देता है और क्रॉल अनुरोधों को बर्न कर देता है।
• ठीक करें: आंतरिक लिंक साफ़ करें, रीडायरेक्ट जोड़ें और अपना साइटमैप अपडेट करें।

3. डुप्लीकेट या पतली सामग्री वाले पेज

• वे पृष्ठ जो कम या समान सामग्री प्रदान करते हैं (जैसे, टैग संग्रह, फ़िल्टर)।
• Google अभी भी उन्हें क्रॉल कर सकता है, भले ही वे मददगार न हों।
• ठीक करें: सामग्री को समेकित करें, कैनोनिकल टैग या नोइंडेक्स का उपयोग करें।

4. अनाथ पन्ने

• साइट पर कहीं से भी पेज आंतरिक रूप से लिंक नहीं हैं।
• बॉट पुराने साइटमैप या बाहरी लिंक से उन तक पहुंच सकते हैं, लेकिन उन्हें प्राथमिकता न दें।
• ठीक करें: उन्हें आंतरिक लिंकिंग में पुनः एकीकृत करें या यदि अनावश्यक हो तो हटा दें।

5. पहलूबद्ध और पैरामीटरयुक्त यूआरएल

• फ़िल्टर संयोजन वाले URL (जैसे,?color=red&sort=desc) अक्सर अनंत क्रॉल पथ बनाते हैं।
• ठीक करें: उन्हें robots.txt के माध्यम से ब्लॉक करें या GSC में URL पैरामीटर कॉन्फ़िगर करें।

6. कम मूल्य वाले पृष्ठ

• बिना ट्रैफ़िक या रूपांतरण वाले टैग पृष्ठ, संग्रह सूची या लैंडिंग पृष्ठ।
• Google मनी पेजों के बजाय उन्हें क्रॉल करने में समय बर्बाद करता है।
• ठीक करें: जोड़ेंनोइंडेक्स, robots.txt को अपडेट करें, या पूरी तरह से हटा दें।

इस पर और पढ़ें:क्या AI SEO को ख़त्म कर देगा

क्रॉल अपशिष्ट को कैसे ठीक करें और क्रॉल बजट को अनुकूलित करें

एक बार जब आप क्रॉल अपशिष्ट की पहचान कर लेते हैं, तो इसे साफ़ करने का समय आ गया है। लक्ष्य यह सुनिश्चित करना है कि खोज इंजनपर ध्यान केंद्रित करें उच्च-मूल्य, सूचकांक-योग्य पृष्ठ.

क्रॉल को ठीक करने और अपने क्रॉल बजट से अधिकतम लाभ उठाने का तरीका यहां बताया गया है:

1. कम-मूल्य वाले पथों को ब्लॉक करने के लिए robots.txt का उपयोग करें

पथों को ब्लॉक करें जैसे:

• /wp-एडमिन/,/कार्ट/,/चेकआउट/
• फ़िल्टर किए गए यूआरएल (उदाहरण के लिए,?sort=,?filter=यदि उपयोगी नहीं है)
• आंतरिक खोज परिणाम पृष्ठ (/search?q=)

उदाहरण:

txtCopyEditउपयोगकर्ता-एजेंट: *
अस्वीकृत: /कार्ट/
अस्वीकृत: /खोज

2. पतले या डुप्लीकेट पेजों पर नोइंडेक्स लागू करें

Use the का प्रयोग करें नोइंडेक्समेटा टैग पर:

• टैग अभिलेखागार
• लेखक पृष्ठ (यदि बनाए नहीं रखा गया है)
• कम सामग्री वाले या टेम्प्लेट वाले पृष्ठ

नोट:robots.txt के विपरीत,नोइंडेक्सक्रॉलर्स को पेज देखने दें, लेकिन उन्हें बताएं कि इसे इंडेक्स न करें।

3. आंतरिक लिंकिंग में सुधार

बिना आंतरिक लिंक वाले पेज (अनाथ पेज) शायद ही कभी क्रॉल होते हैं।

• सुनिश्चित करें कि मनी पेज नेविगेशन या हब सामग्री से जुड़े हुए हैं
• एंकर-समृद्ध, प्रासंगिक लिंकिंग संरचनाओं का उपयोग करें

इस पर और पढ़ें:विकसित हो रहे खोज परिदृश्य में लॉन्ग-टेल एसईओ के भविष्य के रुझान क्या हैं?

4. डुप्लिकेट सामग्री को हटाएँ या मर्ज करें

• समान पोस्ट या उत्पाद सूची को समेकित करें
• संरक्षित करने के लिए कैनोनिकल टैग जोड़ेंलिंक इक्विटी
• सत्र आईडी या पैरामीटर-आधारित दोहराव से बचें

5. 404 त्रुटियों को ठीक करें और श्रृंखलाओं को पुनर्निर्देशित करें

• टूटे हुए लिंक ढूंढने के लिए क्रॉल टूल या जीएससी का उपयोग करें
• 404s की ओर इशारा करने वाले आंतरिक लिंक साफ़ करें
• लंबी रीडायरेक्ट श्रृंखलाओं को डायरेक्ट 301s

से बदलें 6. जीएससी में यूआरएल पैरामीटर कॉन्फ़िगर करें

यदि आपकी साइट बहुत सारे पैरामीटरयुक्त यूआरएल उत्पन्न करती है (?color=red&sort=desc), तो यह Google को बताता है कि उन्हें कैसे संभालना है:

• Go to पर जाएँ ���ोज कंसोल→विरासत उपकरण→यूआरएल पैरामीटर्स
• परिभाषित करें कि कौन से पैरामीटर सामग्री को नहीं बदलते हैं

7. क्रॉल गतिविधि की नियमित रूप से निगरानी करें

• Google खोज कंसोल क्रॉल आँकड़े मासिक रूप से जाँचें
• आवधिक लॉग फ़ाइल विश्लेषण चलाएँ
• क्रॉल त्रुटियों या क्रॉल ड्रॉप्स में स्पाइक्स के लिए अलर्ट सेट करें

इस पर और पढ़ें: सही तकनीकी एसईओ एजेंसी कैसे चुनें

एक स्वस्थ क्रॉल बजट बनाए रखने के लिए सर्वोत्तम अभ्यास

एक स्वस्थ क्रॉल बजट बनाए रखने के लिए, खोज इंजन आपकी साइट के साथ कैसे इंटरैक्ट करते हैं, इसे लगातार सुव्���वस्थित करना आवश्यक है।

यह सुनिश्चित करके प्रारंभ करें कि आपके XML साइटमैप में केवल उच्च-मूल्य, अनुक्रमित करने योग्य पृष्ठ शामिल हैं, और क्रॉल संसाधनों को बर्बाद करने से बचने के लिए पुराने, पुनर्निर्देशित, या गैर-अनुक्रमित URL हटा दें।

साइट की गति भी एक महत्वपूर्ण भूमिका निभाती है: आपकी साइट जितनी तेज़ी से लोड होती है, Googlebot उतनी ही अधिक कुशलता से उसे क्रॉल कर सकता है। छवियों को अनुकूलित करें, रेंडर-अवरुद्ध स्क्रिप्ट को समाप्त करें, और सर्वर प्रतिक्रिया समय को कम करें।

उच्च-प्राधिकरण अनुभागों, जैसे मुखपृष्ठ या स्तंभ सामग्री, से अपने सबसे आवश्यक पृष्ठों को आंतरिक रूप से लिंक करें, और सुनिश्चित करें कि कोई भी पृष्ठ अनाथ न रह जाए।

Limit the indexation of low-value pages like tag archives, filter-based URLs, or thin content by using का उपयोग करके कम-मूल्य वाले पृष्ठों जैसे टैग अभिलेखागार, फ़िल्टर-आधारित यूआरएल, या पतली सामग्री के अनुक्रमण को सीमित करें। नोइंडेक्सrobots.txt के माध्यम से उन्हें टैग करना या ब्लॉक करना।

प्राधिकरण को मजबूत करने और दोहराव से बचने के लिए पुराने या ओवरलैपिंग पृष्ठों को समेकित करें, 301 का उपयोग करके पुराने संस्करणों को लगा���ार पुनर्निर्देशित करें।

अपनी साइट की वास्तुकला को सपाट रखें ताकिआवश्यक पृष्ठतीन क्लिक के भीतर पहुंच योग्य हैं।

अंत में, Google खोज कंसोल में नियमित रूप से क्रॉल आंकड़ों की निगरानी करने की आदत बनाएं, क्रॉल त्रुटियों या अप्रत्याशित क्रॉल गतिविधि में स्पाइक्स की तल���श करें जो नए क्रॉल अपशिष्ट का संकेत दे सकते हैं।

जानें कि कैसे SEO डॉक्टरों को अधिक नियुक्तियाँ पाने में मदद करता है

इस पर और पढ़ें:50+ प्रेरणादायक और व्यावसायिक उद्धरण जो आपको प्रेरित करते हैं.
��स पर और पढ़ें:डीलरशिप के लिए ऑटो इन्वेंटरी विज्ञापन कीवर्ड युक्तियाँ

अक्सर पूछे जाने वाले प्रश्न