راهنمای رفع خطای crawled currently not indexed در سرچ کنسول

1. تاخیر در ایندکس شدن

2. عدم تطابق کیفیت صفحه با استانداردهای گوگل

3. صفحه دی ایندکس شده

4. لینک سازی داخلی ضعیف

5. صفحه با محتوای تکراری

6. URL های صفحه‌بندی شده

7. محتوای نازک (Thin Content)/ محتوای با کیفیت پایین

خطای Crawled Currently not indexed در سرچ کنسول، بخش Coverage و تب Excluded نمایش داده می‌شود. نکته مهم در متن این خطا این است که از کلمه currently (در حال حاضر) استفاده شده است؛ یعنی ممکن است خود گوگل به رفع خطای کرال شده ولی ایندکس نشده بپردازد و نیاز به اقدام خاصی نباشد؛ اما این خطا به چه دلایلی رخ می‌دهد و حل مشکل crawled currently not indexed به چه صورت انجام می‌شود?

خطای crawled currently not indexed در سرچ کنسول به چه معناست؟

خطای crawled currently not indexed"به این معنی است که گوگل این صفحه را خزیده است اما در حال حاضر تصمیم گرفته ایندکس نکند و در نتیجه در نتایج جستجو نشان داده نمی‌شود. گوگل به صورت دقیق توضیح نداده است که به چه دلیل این اتفاق می‌افتد اما طبیعتا هنگامی این اتفاق رخ می‌دهد که گوگل این‌طور فکر کند که این صفحه کیفیت لازم برای ایندکس شدن را ندارد و برای حل مشکل crawled currently not indexed باید دلیل آن را پیدا و برطرف کرد.

خطای crawled currently not indexed به چه علت رخ می‌دهد؟

در این بخش توضیح می‌دهیم که خطای crawled currently not indexed به چه دلایلی ممکن است اتفاق بیفتد:

• لینک سازی داخلی ضعیف: اگر سایت شما لینک سازی داخلی ضعیفی دارد یا آن صفحه لینک داخلی ندارد، ممکن است گوگل تصمیم بگیرد که آن صفحه ارزش ایندکس شدن را ندارد. به صفحه‌ای که هیچ لینکی به آن اشاره نمی‌کند، صفحه یتیم می‌گویند.
• محتوای نازک (Thin Content)/ محتوای با کیفیت پایین: صفحاتی با تعداد کلمات کم ممکن است فاقد اطلاعات ارزشمند باشند و از نظر گوگل محتوای نازک در نظر گرفته شوند. اگر این‌طور باشد، ممکن است صفحه را بخزند اما آن را از صفحه نتیجه جستجو حذف کنند. محتوای نازک زمانی اتفاق می‌افتد که صفحه شما کلمات کمتری نسبت به سایر صفحات برتر داشته باشد. به عنوان مثال، اگر همه نتایج جستجو دارای توضیحات عمیق با بیش از 3000 کلمه باشند، صفحه شما با 100 کلمه احتمالاً محتوای نازک در نظر گرفته می‌شود.
• هدف جستجو: یکی دیگر از دلایل این خطا می‌تواند عدم تطابق در هدف جستجو باشد. این بدان معناست که بین محتوای شما و محتوای نتایج جستجو فاصله وجود دارد؛ مثلا فرض کنید عبارت «چگونگی محاسبه مالیات» را جستجو می‌کنید. این عبارت اطلاعاتی است و نتایج متفاوتی از جمله ماشین‌حساب‌های مالیاتی، ویدئوها و مقاله‌های "چگونگی" وجود دارد؛ بنابراین، هنگامی‌که این عبارت را هدف قرار می‌دهید، ممکن است با انواع مختلف محتوا مواجه شوید. بااین‌حال، هنگام هدف قرار دادن عبارت "ماشین‌حساب مالیاتی"، احتمال موفقیت شما با ابزار ماشین‌حساب بیشتر است تا با مقاله "چگونگی".
• صفحه با محتوای تکراری: یکی از چیزهایی که گوگل دوست ندارد محتوای تکراری است. جان مولر اعلام کرده هیچ مجازاتی برای محتوای تکراری وجود ندارد، اما این بدان معنا نیست که گوگل آن را ایندکس می‌کند. اگر گوگل فکر کند یکی از صفحات سایت شما کپی شده است، چه کاری انجام خواهد داد؟ به احتمال زیاد، صفحه دارای برچسب "crawled currently not indexed" خواهد بود.
• عدم تطابق داده‌های ساختاریافته (Structured Data): داده‌های ساختاریافته به موتورهای جستجو کمک می‌کند تا محتوای یک صفحه را درک کنند این امر به ویژه برای سایت‌های فروشگاهی که محصولات فیزیکی می‌فروشند مهم است؛ مثلا برای یک سایت فروشگاهی، اطلاعات موجودی کالا در داده‌های ساختاریافته، باید با اطلاعات صفحه کالا یکسان باشد. وجود سیگنال‌های گیج‌کننده می‌تواند باعث خزیدن گوگل شود اما این صفحات را فهرست نمی‌کند.
• مثبت کاذب (False Positives): زمانی است که سرچ کنسول گوگل صفحه‌ای را به عنوان حذف شده گزارش می‌کند، اما در ایندکس گوگل قرار دارند. می‌توانید این کار را با اضافه کردن ”Site:” قبل از URL صفحه انجام دهید. اگر صفحه شما در نتایج جستجو ظاهر می‌شود به این معنی است که ایندکس شده است.
• URL های صفحه‌بندی شده: معمولا وبلاگ‌ها و سایت‌های فروشگاهی دارای URL های صفحه‌بندی شده هستند. این‌گونه صفحات معمولا شامل این خطا می‌شوند.
• آدرس‌های فید RSS: اگر در سایت شما از RSS Feed استفاده است ممکن است با URL هایی مواجه شوید که خطای crawled currently not indexed را مشاهده کنید.

آموزش رفع مشکل crawled currently not indexed در سرچ کنسول

در این بخش به راه‌حل‌های موارد گفته شده در قسمت قبل اشاره می‌کنیم و توضیح می‌دهیم که برای رفع خطای crawled currently not indexed به چه صورت است:

1. لینک سازی داخلی ضعیف: برای رفع مشکل صفحات یتیم یا بهبود لینک سازی داخلی، با رفتن به یک صفحه موجود در سایت خود شروع کنید، بخشی از مقاله مربوط به صفحه موضوعی را که می‌خواهید گوگل ایندکس کند پیدا کنید و یک لینک اضافه کنید. همچنین صفحات دیگر که مرتبط با کلمات کلیدی صفحه یتیم هستند به آن لینک دهید.
2. محتوای نازک (Thin Content)/ محتوای با کیفیت پایین: راه‌حل محتوای نازک، اضافه کردن اطلاعات بیشتر به صفحه است. صفحه را به اندازه‌ای طولانی کنید که موضوع را به طور جامع پوشش دهد بدون اینکه مطالب غیرضروری اضافه کنید. نوشتن یک مقاله فشرده و کامل که مورد توجه خوانندگان باشد، توسط گوگل با رتبه‌های بالا پاداش می‌گیرد.
3. هدف جستجو: برای رفع این موضوع نیاز است که محتوای صفحه خود را بازنویسی کرده و دقیق‌تر بنویسید تا گوگل آن را به عبارت‌های سرچ شده مناسب نمایش دهد.
4. صفحه با محتوای تکراری: برای رفع مشکل محتوای تکراری، اگر محتوای شما مشابه صفحه دیگری است از تگ کنونیکال استفاده کنید؛ اما اگر این‌طور نیست حتما محتوای یکی از صفحات را تغییر دهید تا گوگل متوجه شود که محتوای آن‌ها شبیه به هم نیست.
5. عدم تطابق داده‌های ساختاریافته (Structured Data): جان مولر پیشنهاد می‌کند که برای حل این مشکل همیشه صفحات و داده‌های ساختاریافته خود را به‌روزرسانی کنید و اتصال درگاه پرداخت و سبد خرید مطمئن شوید.
6. مثبت کاذب (False Positives): در این حالت نیازی به انجام کاری نیست و فقط اشتباه سرچ کنسول است.
7. URL های صفحه‌بندی شده: این مورد مشکلی ایجاد نمی‌کند و فقط پیشنهاد می‌شود در صفحات پیجر حتما از تگ‌های کنونیکال استفاده کنید.
8. آدرس‌های فید RSS: اگر گوگل می‌خزد اما فیدهای RSS شما را ایندکس نمی‌کند، مشکلی وجود ندارد و نباید نگران باشید.

جمع‌بندی

در این وبلاگ به بررسی خطای crawled currently not indexed پرداختیم و دلایل و راه‌حل‌های آن‌ها را بررسی کردیم. البته نمی‌توان برای همه سایت‌هایی که دچار این خطا شده‌اند یک نسخه کلی پیچید اما دلایل عمده بروز این خطا، مواردی که گفته شد هستند. به‌طورکلی گزارش وضعیت ایندکس شدن از قدرتمندترین ابزارها در سرچ کنسول گوگل است که به بازاریابان دیجیتال پیشنهاد می‌شود داده‌ها و گزارشات این قسمت را به دقت بررسی و تحلیل کنند.

حل مشکل Crawled Currently Not Indexed

Crawled-Currently-Not-Indexed شاید این پیغام را در سرچ کنسول گوگل دیده باشید. اما دلیل این مشکل چیست و چگونه می تواند حل شود؟

در حقیقت گوگل مشخص نکرده چرا این پیام را می دهد ولی تا جایی که ما برای حل مشکل Crawled-Currently-Not-Indexed گوگل جستجو و تحقیق کردیم این مشکل یک دلیل ندارد. در گام اول از ابزار URL Inspection استفاده کنید چرا که اطلاعات به روزتری به نسبت Index Coverage report به شما می دهد و اگر مشکل حل نشد ادامه ی مطلب را بخوانید…

دلایل ظاهر شدن Crawled Currently Not Indexed 

۱-تاخیر در ایندکس شدن

این که دلیل ظاهر شدن این پیغام چنین چیزی باشد اصلا بعید نیست، چرا که گوگل فقط ۵۶ درصد از URLهایی که قابلیت ایندکس شدن را دارا هستند پس از یک روز از انتشارشان ایندکس می کند و عجیب تر اینکه بعد از دو هفته تنها ۸۷ درصد از URL ها ایندکس می شوند. در واقع سر گوگل بسیار شلوغتر از آن چیزیست که می پندارید. ولی با ترفندهایی نظیر ایجاد لینک داخلی در صفحاتی که برایتان مهم هستند(مثل ساختار پیلار کلاستر که به طور کامل در موردش توضیح داده ایم) می توانید راحتتر بین گوگل و محتوای سایتتان ارتباط برقرار کنید و کمک کنید کراولر صفحات سایتتان را بشناسد… همچنین استفاده از سایت مپ حسابی به شما کمک خواهد کرد که URLهای مهم را به کراولر گوگل نشان دهید و شانس ایندکس شدنشان را بالا ببرید.

۲-عدم تطابق کیفیت صفحه با استانداردهای گوگل

گوگل نمی تواند تمام پیج ها را ایندکس کند، چرا؟ چون فضای کافی برای ذخیره سازی ندارد. پس ناچار است برای خود استانداردهایی راتعریف کند و پیج هایی که کمتر از سطح آن استانداردها عمل کرده اند را فیلتر کرده و ایندکس نکند.برای گوگل اولویت در ایندکس کردن صفحاتی است که بهترین پاسخ را به عبارت جستجو شده توسط کاربر داده اند و توانسته اند کاربر را  مدت زمان زیادی درون سایت نگاه دارند.پس چاره این است که محتوای غنی و با کیفیت تولید کنید.این محتواها باید شامل اطلاعات واقعی، نتایج تحقیقات و گزارشها و تحلیل های صحیح باشند. این که پیج ارزش اشتراک گذاری یا بوک مارک کردن داشته باشد برای گوگل بسیار حائز اهمیت است. از طرفی اگر یک فوروم داشته باشید که سوال ها در آن بی جواب می مانند گوگل از کارتان راضی نخواهد بود در این صورت بهتر است سوالهای بی جواب را با عبارتی مثل unanswered در URL مشخص کنید در این صورت فایل  robots.txt  تمام صفحاتی که در URL خود عبارت unanswered را دارند بلاک می کند.وقتی جواب سوال ها داده شد می توانید URL را تغییر دهید و اینگونه به کراولر گوگل مجوز دهید صفحه را کراول کند.

۳-صفحه دی ایندکس شده

منظورمان از دی ایندکس شدن صفحه چیست؟ فرض کنید صفحه شما در گذشته کرال و ایندکس شده و ناگهان با پیام Crawled – Currently Not Indexed در سرچ کنسول مواجه می شوید. چرا؟ چه اتفاقی افتاده؟ متاسفانه صفحه شما با صفحه ای با محتوای با کیفیت تر جایگزین شده است.در این موارد تنها راهکار این است که همواره محتوای وبسایتمان را با الگوریتم های گوگل مطابقت دهیم و از آپدیت مدام الگوریتم ها غافل نشویم. بعد از اینکه صفحه تان ایندکس شد همیشه به آن سر بزنید و با تغییرات الگوریتم ها به روز رسانی اش کنید تا با این مشکل مواجه نشوید.

۴-ساختار وبسایت

فرض کنید کرالر وارد سایت مپ شما شد و صفحات سایتتان را که محتوای غنی دارند شناخت ولی باز با این پیغام روبرو شدید. دلیل چیست؟ به نظر می آید عدم استفاده به جا از لینک های داخلی دلیل بروز چنین مشکلی باشد.

۵-محتوای تکراری

اگر گوگل تشخیص بدهد محتوای سایتتان تکراری است و یک صفحه با آن محتوا در سایتتان موجود است یکی از صفحات را ایندکس می کند و برای دیگری در Index Coverage report لیبل  Duplicate را می زند.گوگل همیشه به دنبال محتوای خاص می گردد این نکته را همیشه در ذهنتان نگهدارید.

تفاوت  Discovered-currently not indexed و Crawled- Currently Not Indexed

هر چند هر دوی این پیام ها به معنای ایندکس نشدن صفحه است اما تفاوت عمده این دو پیغام این است که در حالت اول URLهنوز توسط کرالر کرال نشده است.