امکان مشاهده و رفع خطاهای گوگل وبمستر یکی از قابلیت های بسیار کاربردی کنسول جدید گوگل است. بعد از نصب گوگل سرچ کنسول و ثبت سایت در کنسول گوگل می توانید با استفاده از بخش coverage آن اقدام به مشاهده و رفع خطاهای موجود نمایید. در این مقاله قصد داریم شما را با انواع خطاهای گوگل وبمستر و نحوه کار با گوگل سرچ کنسول به منظور رفع این خطاها، آشنا کنیم.

موضوعاتی که در این مقاله مورد بررسی قرار خواهند گرفت:

رفع خطاهای گوگل وبمستر از طریق بخش coverage

یکی از مهم ترین مزیت هایی که سرچ کنسول گوگل برای صاحبان وب سایت ها دارد این است که با ارائه اطلاعاتی ارزشمند در زمینه سئو و رفع خطاهای گوگل وبمستر به آنها کمک می کنند. در واقع search console google به شما می گوید که کدام یک از صفحات وب سایتتان عملکرد خوبی را دارند و کدام یک از آنها نیاز به بهبود دارند. اما وبمستر تولز تنها به ارائه اطلاعات درباره نکات مثبت و منفی وب سایت اکتفا نمی کند و روش رفع مشکلات و خطاهای موجود را نیز به شما آموزش می دهد.

در سرچ کنسول جدید گوگل این امکان وجود دارد که:

در بخش coverage سرچ کنسول شما با 4 وضعیت مختلف رو به رو می شوید. در واقع اطلاعات مربوط به هر یک از این موارد به طور دقیق و با جزئیات قرار گرفت است که برای رفع خطاهای گوگل وبمستر می توان از آنها استفاده نمود. در ادامه به معرفی هر یک از این قست ها و انواع خطاهای موجود در آنها خواهیم پرداخت.

خب حالا برای اینکه شما هم وضعیت سایتتان را بررسی نمایید مراحل زیر را دنبال کنید تا ببینید چه تعداد صفحه ایندکس شده و نشده، ارور و اعلان دارید.

سپس بر اساس توضیحاتی که در ادامه ذکر می شود، اقدام نمایید و گزارشات خود را تحلیل کنید. در این قسمت 4 حالت کلی وجود دارد که عبارتند از:

1. Error: صفحات این قسمت ایندکس نشده و فرآیند ایندکس با خطا رو به رو شده است.
2. Warnng: صفحه مورد نظر ایندکس شده است اما خطایی وجود دارد که نیاز است آن را رفع نمایید.
3. Valid: صفحه مورد نظر ایندکس شده است.
4. Excluded: صفجات قرار گرفته در این بخش به خواست و اختیار صاحب دامنه ایندکس نشده است.

1. بخش error سرچ کنسول گوگل

همان طور که پیش تر ذکر شد در قسمت coverage با 4 حالت کلی مواجه می شویم که یکی از آن ها error نام دارد.

در این قسمت سرچ کنسول گوگل می توانید تعداد لینک هایی که در هنگام ایندکس شدن با مشکل رو به رو شده اند را مشاهده نمایید. URL های قرار گرفته در این بخش با خطاهایی جدی رو به رو هستند که باید برای رفع خطاهای گوگل وبمستر در این قسمت اقدام نمایید. در ادامه انواع خطاهایی که در این بخش قرار می گیرند را به شما معرفی خواهیم کرد.

همان طور که در تصیویر بالا مشاهده می کنید این بخش شامل چندین ستون به شرح زیر است:

• • در ستون status می بینیم که این ها، ارورهای بخش coverage  هستند.
  • ستون validation یا اعتبار سنجی را داریم.
  • در ستون Trend روند این خطا را میبنییم.
  • ستون Pages تعداد کل صفحاتی که مشمول این ارور هستند.
  • در ستون type از بخش error، نوع ارور نمایش داده شده که شامل موارد زیر هستند و در ادامه به شرح مفصل تمام ارورها خواهیم پرداخت.
    1. server error
    2. redirect error
    3. submitted URL blocked by robots.txt
    4. Submitted URL marked noindex
    5. Submitted URL seems to be a Soft 404
    6. Submitted URL returns unauthorized request 401
    7. Submitted URL not found 404
    8. Submitted URL has crawl issue

1. server error

این خطا که با عنوان خطای 500 نیز شناخته می شود به این معنا است که سروری که دامنه شما روی آن قرار گرفته است در هنگام دریافت درخواست صفحه مورد نظر خطای 500 را نشان می دهد. در چنین شرایطی مشکلی در سرور شما وجود دارد که از دسترسی گوگل به صفحه مورد نظر جلوگیری می شود.

به منظور رفع خطاهای گوگل وبمستر در ابتدا بهتر است لینک مورد نظر را بررسی کنید و ببینید که آیا صفحه بارگذاری می شود یا نه. اگر صفحه بدون هیچ مشکلی بارگذاری شد، پس احتمالا مشکل مرتفع شده است. اما اگر همچنان مشکل باقی مانده بود، باید این مشکل را از طریق سرویس ارائه دهنده خدمات میزبانی وب خود بررسی نمایید.

2. redirect error

خطای ریدایرکت می تواند بنا به دلایل زیادی روی دهد. برخی از آنها عبارتند از:

رفع خطای redirected در fetch as google سرچ کنسول گوگل با درست کردن حلقه های ریدایرکت صورت می گیرد. ربات های گوگل باید روزانه صفحات زیادی را crawl کنند. به همین دلیل اگر ریدارکت های زیاد مواجه شود، در زمینه crawl و ایندکس کردن محتواهای این صفحات دچار مشکل می شود.

3. submitted URL blocked by robots.txt

زمانی با این خطا رو به رو می شوید که صفحه مورد نظر خود را برای ایندکس کردن ثبت کرده اید اما URL آن صفحه در فایل robots.txt بلاک شده است. فایل robots.txt یک فایل متنی است که میزان دسترسی crawler ها را به صفحات یک وب سایت تعیین می کند. اگر در این فایل دسترسی به یک صفحه مشخص بلاک شود، آنگاه با خطای بالا رو به رو می شوید.

به منظور رفع این خطا باید وارد فایل robots.txt خود شده و کدهایی که از ایندکس شدن سایت یا صفحات آن جلوگیری می کنند را حذف نمایید.

4. Submitted URL marked noindex

زمانی که شما اقدام به ایندکس کردن یک صفحه مشخص می کنید اما این فرآیند توسط یک دستورالعمل noindex بلاک شده است با این خطا مواجه می شوید. این دستورالعمل معمولا از طریق یک متا تگ یا هدر HTTP برای یک صفحه قرار می گیرد.

در راستای رفع خطاهای گوگل وبمستر در صورتی که می خواهید URL تعیین شده ایندکس شود، باید دستورالعمل noindex تعیین شده را حذف نمایید. چرا که این دستورالعمل دقیقا مثل این است که به گوگل بگویید می خواهم صفحه ایندکس شود اما نمی خواهم خزنده های گوگل آن را crawl کنند. به منظور حذف متا تگ یا HTTP Header می توانید از طریق CMS سایت خود اقدام کرده یا مستقیما به بخش های کدنویسی سایت بروید و تگ noindex را حذف کنید.

5. Submitted URL seems to be a Soft 404

هنگامی که شما URL یک صفحه که دارای خطای Soft 404 است را ایندکس می کنید، در بخش error سرچ کنسول گوگل با Submitted URL seems to be a Soft 404 مواجه می شوید. soft 404 یکی از ارورهای پیچیده گوگل است که شناخت دقیق آن می تواند کمی دشوار باشد. به منظور رفع این ارور با توجه به نوع صفحه می توانید به این شکل اقدام کنید که:

• اگر صفحه مورد نظر دیگر وجود ندارد، باید تعیین کنید که می خواهید این صفحه کد 404 یا 410 را نشان دهد.

اما…

• اگر صفحه مورد نظر وجود دارد و تنها جا به جا شده است، باید از ریدایرکت 301 استفاده کنید.

6. Submitted URL returns unauthorized request 401

جالب است بدانید که برخی صفحات به دلیل نیاز به ثبت نام یا وارد کردن پسورد اجازه crawl را ندارد، در نتیجه در چنین مواقعی با این ارور رو به رو می شوید. به عنوان مثال ممکن است استفاده از صفحاتی از وب سایت شما ملزم به ثبت نام کاربر در سایتتان باشد.

برای از بین بردن این ارور در فرآیند رفع خطاهای گوگل وبمستر باید نیاز به ثبت نام یا وارد کردن پسورد برای ورود به صفحات را بردارید. همچنین می توانید با تایید هویت ربات های گوگل دسترسی به صفحات مورد نظر را برای آنها فراهم کنید.

7. Submitted URL not found 404

هر زمان که شما صفحه ای را از سایت خود حذف می کنید اما سایت مپ خود را به روز رسانی نمی کنید، این خطا به نمایش گذاشته می شود. خزنده های سایت نمی توانند URL صفحه را پیدا کنند که بتوانند آن را ایندکس نمایند. به منظور رفع این خطا باید به صورت منظم نقشه سایت خود را آپدیت کنید.

8. Submitted URL has crawl issue

هر زمان که شما لینکی را ثبت می کنید اما به دلیلی جز دلایل عنوان شده امکان ایندکس شدن را ندارد، این خطا نمایش داده می شود. برای رفع این خطا باید لینک مورد نظر را در URL inspection جستجو نمایید تا ببینید که تحلیل گوگل از خطای موجود چیست و چه راه حلی را برای رفع آن به شما ارائه می دهد. سپس طبق آن اقدام نمایید.

2. بخش warning گوگل سرچ کنسول

در هنگام تلاش برای رفع خطاهای گوگل وبمستر باید بدانید که صفحاتی که در این دسته بندی قرار می گیرند، به توجه شما نیاز دارند.

تفاوت error و warnings در میزان شدت و اهمیت آنهاست. صفحاتی که در دسته warning قرار می گیرند، ممکن است ایندکس شده باشند یا اینکه در حین ایندکس شدن دچار مشکل شده اند. به همین دلیل بهتر است ارورهایی که در این بخش نشان داده می شوند را حتما بررسی نمایید.

در این قسمت یک نوع اخطار تحت عنوان Indexed, though blocked by robots.txt مشاهده می شود.

Indexed, though blocked by robots.txt

معمولا در این حالت صفحات با وجود بلاک شدن در فایل robots.txt ایندکس شده اند. چرا که وقتی به چنین صفحه ای لینک داده شده باشد، گوگل نمی تواند دستور بلاک شدن در فایل robots.txt را در نظر بگیرد. به همین دلیل نیز در سرچ کنسول گوگل این خطا در دسته warning قرار می گیرد.

در واقع گوگل نمی تواند اطمینان حاصل کند که شما خودتان تصمیم به بلاک شدن این صفحه داشته اید یا این اتفاق اشتباها رخ داده است. پس با قرار دادن URL مورد نظر در این قسمت تلاش می کند تا توجه شما را به آن جلب کند.

اگر شما تصمیم دارید که صفحه را بلاک کنید، نمی توانید تنها به فایل robots.txt اتکا کنید. در این صورت می بایست با استفاده از یک تگ noindex یا کد auth دسترسی به صفحه موجود را محدود کنید. اگر هم تصمیم به بلاک کردن آن صفحه ندارید، تنها کاری که باید انجام دهید، به روز رسانی فایل robots.txt است.

3. بخش valid کنسول گوگل

سرچ کنسول گوگل برای URL هایی که ایندکس شده اند نیز قسمتی را تعیین کرده است. این بخش با نام Valid شناخته می شود.

معمولا تصور بر این است که لینک های قرار گرفته در این قسمت دیگر مشکلی از نظر ایندکس شدن ندارند. اما گوگل برای بهتر کردن این لینک ها نیز پیشنهاداتی را برای شما خواهد داشت که برای رفع خطاهای گوگل وبمستر باید به آنها نیز توجه داشت. برخی از آن را در ادامه توضیح خواهیم داد.

همواره در ستون type این قسمت، با دو مورد مواجه می شویم:

1. Submitted and indexed
2. Indexed, not submitted in sitemap

1. Submitted and indexed

زمانی که با این پیغام رو به رو شدید، باید بدانید که URL ثبت شده بدون هیچ مشکلی ایندکس شده است. در واقع این حالت را می توان ایده آل ترین حالت ممکن دانست. لینک های قرار گرفته در این بخش هیچگونه مشکل یا خطایی ندارند و به راحتی ایندکس شده اند.

2. Indexed, not submitted in sitemap

این URL توسط گوگل شناسایی و ایندکس شده است. اما لینک مورد نظر در نقشه سایت وجود ندارد. به همین دلیل گوگل با نشان دادن این پیغام به شما پیشنهاد می دهد که سایت مپ خود را به روز رسانی کنید و لینک مورد نظر را در آن قرار دهید. اگر به دنبال رفع خطاهای گوگل وبمستر هستید، حتما sitemap خود را به روز رسانی کنید.

4. بخش Excluded سرچ کنسول گوگل

صفحاتی که در این دست قرار می گیرند، معمولا ایندکس نشده اند و گوگل نیز بر این باور است که این اتفاق به خواست مالک دامنه افتاده است.

URL های آن را می توانیم به دو دسته اصلی تقسیم کنیم:

در این قسمت typeهای زیر را داریم:

1. Excluded by ‘noindex’ tag
2. Blocked by page removal tool
3. Blocked by robots.txt
4. Blocked due to unauthorized request 401
5. Crawl anomaly
6. Crawled – currently not indexed
7. Discovered – currently not indexed
8. Alternate page with proper canonical tag
9. Duplicate without user-selected canonical
10. Duplicate, Google chose different canonical than user
11. Not found 404
12. Page removed because of legal complaint
13. Page with redirect
14. Soft 404
15. Duplicate, submitted URL not selected as canonical

1. Excluded by ‘noindex’ tag

زمانی که گوگل تلاش می کند تا لینکی را ایندکس کند اما با تگ noindex رو به رو می شود، نمی تواند URL مورد نظر را ایندکس نماید:

1. اگر خودتان چنین قصدی را داشته اید که بهتان تبریک می گوییم. چون هدفی که داشته اید بدون مشکل به نتیجه رسیده است.
2. اما اگر قصد داشتید که صفحه مورد نظر ایندکس شود و به دنبال رفع خطاهای گوگل وبمستر هستید، باید تگ noindex را برداشته و برای ایندکس شدن لینک اقدام کنید.

2. Blocked by page removal tool

در این حالت صفحه توسط یک درخواست حذف URL بلاک شده است. اگر مالکیت شما در سرچ کنسول گوگل تایید شده است، می توانید از ابزار حذف URL استفاده کنید تا متوجه شوید چه کسی درخواست حذف URL را ارسال کرده است. در نظر داشته باشید که این درخواست تنها برای حدود 90 روز معتبر است. بعد از این مدت حتی اگر شما درخواست ایندکس دوباره ای را نیز ارسال نکنید، باز هم ربات های گوگل برای ایندکس کردن این URL برمی گردند. اگر نمی خواهید این صفحه ایندکس شود، از تگ noindex استفاده کنید.

3. Blocked by robots.txt

در این حالت ربات گوگل توسط فایل robots.txt بلاک شده است. اما باید توجه داشته باشید که بلاک شدن در این فایل تضمینی برای ایندکس نشدن صفحه مرتبط با آن URL نخواهد بود. چرا که اگر گوگل اطلاعات دیگری درباره آن صفحه پیدا کند، آن را ایندکس می کند. در چنین شرایطی باید از تگ noindex استفاده شود.

4. Blocked due to unauthorized request 401

در چنین حالتی ربات گوگل توسط یک درخواست برای مجوز بلاک شده است. اگر به دنبال رفع خطاهای گوگل وبمستر هستید پس در این خصوص باید به گوگل اجازه دسترسی صفحات وب سایت خود را بدهید.

5. Crawl anomaly

این اتفاق زمانی به وقوع می پیوندد که مشکلی در خصوص fetch کردن لینک مورد نظر وجود داشته باشد

• مشکل موجود می تواند توسط سرور شما به وجود آمده باشد.
• یا اینکه صفحه ای که اقدام به fetch کردن آن نموده اید، بخشی از یک زنجیر ریدایرکت باشد.
• شاید هم صفحه مورد نظر به صفحه ای که خطای 404 را نشان می دهد ریدایرکت شده است.
• حتی ممکن است خود آن صفحه دیگر وجود نداشته باشد که گوگل بخواهد آن را ایندکس کند.

در این حالت کاری که باید انجام دهید این است که از ابزار URL inspection استفاده کنید تا ببینید که با چه نوع مشکلی مواجه می شوید. سپس طبق راه حل ارائه شده اقدام کنید.

6. Crawled – currently not indexed

این اعلان مربوط به وقتی است که که صفحه ای crawl شده اما ایندکس نشده. پس در زمان تلاش برای رفع خطاهای گوگل وبمستر، با این خطا رو به رو می شوید. این URL می تواند در آینده ایندکس شود یا شاید امکان ایندکس شدن را نداشته باشد. زمانی که این خطا روی داد، نیازی به تلاش برای ایندکس کردن آن نیست. چرا که گوگل این کار را انجام می دهد.

7. Discovered – currently not indexed

صفحه توسط گوگل شناسایی شده اما هنوز آن را crawl نکرده است. معمولا این اتفاق زمانی رخ می دهد که گوگل اقدام به crawl کردن صفحه کرده است اما به دلیل بارگذاری بیش از حد وب سایت موفق نشده این کار را انجام دهد. در چنین شرایطی گوگل در زمانی دیگر دوباره برای خزیدن در لینک انتخابی اقدام خواهد کرد.

8. Alternate page with proper canonical tag

هر زمان که صفحه ای توسط گوگل تکراری شناخت شود، با این خطا مواجه می شوید. این صفحه به طور دقیق به یک صفحه کانونیکال اشاره دارد، به همین دلیل شما نمی توانید کاری انجام دهید.

9. Duplicate without user-selected canonical

صفحه دارای نسخه های تکراری است اما هیچ یک از آنها به عنوان صفحه کانونیکال مشخص نشده اند. شما باید به طور دقیق مشخص کنید که صفحه کانونیکال شما کدام است و آن را به گوگل نشان دهید. بدین ترتیب می توانید در مسیر رفع خطاهای گوگل وبمستر عملکرد موفقیت آمیزی را داشته باشید.

10. Duplicate, Google chose different canonical than user

هنگامی که شما صفحه ای را به عنوان صفحه کانونیکال انتخاب می کنید که با مورد انتخابی گوگل یکی نیست، این خطا نمایش داده می شود. در چنین شرایطی گوگل صفحه انتخابی خود را ایندکس می کند.

11. Not found 404

زمانی که درخواستی ارسال می شود اما ارور 404 را می بینیم! در واقع گوگل نمی تواند برای این URL یک درخواست صریح یا یک نقشه سایت پیدا کند. معمولا صفحات این چنینی به عنوان یک لینک از وب سایت دیگری شناخته می شوند یا اینکه صفحه پیش تر وجود داشته اما اکنون حذف شده است. هیچ راهی برای اینکه به گوگل بگویید که این URL را به طور کامل فراموش کند وجود ندارد. معمولا ربات گوگل هر از چند گاهی به سراغ این لینک آمده و تلاش می کند تا آن را ایندکس کند. ارور 404 در صورتی که به خواست خودتان نشان داده می شود از نظر گوگل ایرادی ندارد. اما اگر صفحه اشتباها این خطا را نشان می دهد، بهتر است از ریدایرکت 301 برای انتقال آن صفحه به یک صفحه جدید استفاد کنید.

12. Page removed because of legal complaint

لینک به دلیل یک شکایت حقوقی از لیست ایندکس گوگل حذف شده است. این یکی دیگر از خطاهایی است که هنگام تلاش برای رفع خطاهای گوگل وبمستر ممکن است با آن مواجه شوید.

13. Page with redirect

منظور از این پیغام این است که URL ریدایرکت شده است. به همین دلیل به لیست ایندکس گوگل اضافه نشده است.

14. Soft 404

در مسیر رفع خطاهای گوگل وبمستر ممکن است با این خطا رو به رو شوید. در این حالت صفحه به صفحه ای دیگر برگرداننده می شود که به اعتقاد سرچ کنسول گوگل آن صفحه همان ارور soft 404 است. منظور از این پیغام این است که کاربر با پیام «یافت نشد» به جای کد 404 رو به رو می شود.

15. Duplicate, submitted URL not selected as canonical

در این حالت لینکی که مشخص شده است یکی از URL های تکراری که صفحه کانونیکال آنها مشخص نشده می باشد. حال شما از گوگل صراحتا می خواهید که  این صفحه را ایندکس کند اما از آنجایی که این صفحه تکراری می باشد، گوگل بر این باور است که بهترین گزینه برای صفحه کانونیکال نیست، پس آن را ایندکس نمی کند. به جای آن لینکی که تصور می کند صفحه کانونیکال مناسب است را ایندکس می کند. باید در نظر داشته باشید که گوگل تنها صفحه کانونیکال را ایندکس می کند و صفحات تکراری آن دیگر ایندکس نخواهند شد.

یکی از بهترین امکاناتی که سرچ کنسول گوگل در اختیار افراد قرار داده است، امکان دریافت بازخورد از سمت گوگل برای URL های یک سایت در زمان crawl و ایندکس کردن آنهاست. شما با استفاده از اطلاعات قرار گرفته در این بازخورد می توانید درک بهتری را درباره لینک های وب سایت خود داشته باشید و در راستای بهینه سازی آنها تلاش کنید.

موفق باشید.