خطاهای خزش یا crawl error چیست؟

crawl error هنگامی رخ می دهد که موتور جستجو سعی می کند به صفحه ای در وب سایت شما برسد اما موفق نمی شود.خزیدن فرایندی است که در آن موتور جستجو سعی می کند از هر صفحه وب سایت شما از طریق ربات هایش بازدید کند. ربات موتور جستجو ابتدا لینک و مسیری به وب سایت شما پیدا می کند .

سپس تمام صفحات عمومی شما را از آن جا جستجو می کند. این ربات ها صفحات را خزیده و همه محتویات را برای استفاده در گوگل فهرست بندی یا اصطلاحا ایندکس می کند. یکی از وظایف اصلی شما به عنوان یک متخصص سئو، این است که مطمئن شوید ربات های موتور جستجو می توانند به تمام صفحات وب سایت شما وارد شوند. اگراین فرآیند به شکست بیانجامد، گوگل خطایی را نشان می دهد که ما آن را خطای خزش یا crawl error می نامیم.

سرچ کنسول گوگل، بهترین ابزار برای شناسایی خطای کراول

Google Search Console ابزاری است که برای شناخت با خطاهای کراول، بهترین دوست وب سایت شما است. شما با استفاده از این ابزار رایگان می توانید نحوه خزیدن ربات ها را در سایتتان بررسی کنید.

 خطاهای کراول باعث می شود وب سایت شما در جایی مانند گرداب دیجیتال گم شود و به مخاطب موردنظر شما نرسد و تلاش شما برای دیده شدن سایت در  صفحه نتایج گوگل بی نتیجه بماند.

 پس مهم است که برای برخورد با خطاهای کراول، مهارت کار با ابزار Google Search Console را به دست آورید. این ابزار رایگان به شما امکان می دهد نقشه های سایت، خطاهای خزیدن و ترافیک وب سایت را بررسی کنید

انواع خطای کراول

حالا که درک کردیم خطاهای کراول چیست و می تواند چه تاثیری بر سئو وب سایت داشته باشد، وقت آن رسیده تا با انواع خطاهای خزش یا Crawl errors آشنا شویم.

گوگل خطاهای کراول را به دو دسته تقسیم می کند:

• خطای سایت یا site error

این خطا به این معناست که تمام صفحات سایت شما برای ربات های گوگل غیر قابل دسترس است و قابل خزیدن نیست.

• خطای URL یا URL error

این خطا تنها به یک آدرس URL خاص مربوط می شود. نگه داری و رفع این خطاها نسبت به حالت قبل آسان تر است.

خطای سایت (Site error)

دلایل زیادی پشت وقوع خطای سایت وجود دارد. این خطاها شامل موارد زیر است:

• خطای DNS

خزنده های موتور جستجو قبل از دسترسی به سایت شما باید به سرور DNS سایت شما متصل شوند. اگر این اتصال به شکست منجر شود، خطای DNS رخ می دهد.طراحی سایت در اصفهان،سئو سایت

خطاهای DNS را می توان به صورت زیر دسته بندی کرد:

• DNS Timeout: این خطا زمانی اتفاق می افتد که سرور DNS نتواند در محدوده زمانی خاصی به درخواست گوگل پاسخ دهد.
• DNS lookup: این خطا زمانی اتفاق می افتد که سرور DNS نتواند نام هاست را تشخیص دهد.

خطاهای DNS باید فوراً رفع شوند زیرا باعث محدود شدن اتصال گوگل به سایت شما می شود.

نحوه رفع خطای DNS

برای رفع خطای DNS، توصیه می شود از ابزار سرچ کنسول گوگل برای مشاهده نحوه خزیدن ربات های گوگل در صفحه استفاده کنید. اگر این ابزار هم نتوانست سایت شما را واکشی کند، به ارائه دهنده سرویس DNS خود پیام دهید تا ببینید مشکل کار کجاست.

خطای سرور

این خطا به این معنی است که ربات های گوگل نمی توانند به آدرس وب سایت شما دسترسی پیدا کنند. این عدم دسترسی می تواند به این دلیل باشد که زمان درخواست (request time) شما به پایان رسیده یا سایت مشغول است. این مشکل همچنین ممکن است به این معنی باشد که سایت شما دارای تعداد بالایی از بازدیدکنندگان است که سرور فعلی شما قادر به رسیدگی به تمام درخواست ها نیست.

قبل از رفع خطای سرور خود، ابتدا باید ببینید کدام نوع خطای سرور را دریافت می کنید زیرا انواع مختلفی دارند:

• Timeout: زمان پاسخ سرور به یک درخواست بیش از حد طول می کشد و بدون پاسخ به پایان می رسد.
• Truncated Headers: گوگل می تواند به سرور شما متصل شود، اما قبل از ارسال کامل هدر، اتصال قطع می شود.
• Connection reset: سرور شما درخواست گوگل را با موفقیت پردازش می کند، اما هیچ محتوائی را باز نمی گرداند زیرا اتصال با سرور ریست شده است.سئو سایت در اصفهان
• Truncated Response: اتصال به سرور قبل از این که پاسخ کامل دریافت شود، قطع می شود و پاسخ به صورت کوتاه شده دریافت می شود.
• Connection Refused: گوگل نمی تواند به سایت شما دسترسی پیدا کند زیرا سرور شما اتصال را رد کرده است. ممکن است هاست شما ورود ربات های گوگل را مسدود کرده باشد، یا ممکن است مشکلی در پیکربندی فایروال آن ایجاد شده باشد.
• Connection Failed: گوگل نمی تواند به سرور شما متصل شود زیرا شبکه غیرقابل دسترس یا خراب است.
• No Response: گوگل می تواند به سرور شما متصل شود، اما قبل از ارسال هرگونه داده توسط سرور، اتصال بسته می شود.سئو سایت

توجه داشته باشید: خطاهای سرور با خطاهای DNS متفاوت است. خطای DNS بدین معناست که ربات ها به دلیل مشکلات DNS نمی توانند آدرس اینترنتی شما را جستجو کنند، در حالی که خطاهای سرور به این معنی است که اگرچه ربات می تواند به سایت شما متصل شود، اما به دلیل خطاهای سرور نمی تواند صفحه را بارگیری کند.

نحوه رفع خطای سرور

در صورت بروز مشکل در اتصال، وقفه یا پاسخ سرور، با ارائه دهنده سرویس هاست خود مشورت کنید.

اطمینان حاصل کنید که ورود ربات های گوگل را با پیکربندی نادرست فایروال، سیستم حفاظتی DoS یا CMS مسدود نکرده اید.

از سرچ کنسول گوگل استفاده کنید تا بررسی کنید آیا ربات های گوگل در حال حاضر می توانند در سایت شما حرکت کند. اگر سرچ کنسول گوگل محتوای صفحه اصلی شما را بدون مشکل بازگرداند، می توانید فرض کنید که گوگل به طور کلی قادر است به درستی به سایت شما دسترسی پیدا کند.سئو سایت

خطای Robots.txt

ربات های گوگل قبل از خزیدن در صفحات وب سایت، سعی می کنند فایل robots.txt شما را بررسی کند که آیا در وب سایتتان صفحاتی وجود دارد که نمی خواهید ایندکس شوند (صفحات با تگ no index). مشکل زمانی رخ می دهد که ربات نتواند به فایل robots.txt دسترسی داشته باشد. در این صورت، Google خزیدن را به تعویق می اندازد تا به فایل robots.txt برسد. در نتیجه اطمینان از این که فایل robots.txt همیشه در دسترس است ضروری است.

نحوه رفع خطای Robots.txt

اگر صفحاتی در وب سایت وجود دارد که نمی خواهید ایندکس شوند، هر دامنه و زیر دامنه باید دارای فایل robots.txt مربوط باشد. همچنین اگر می خواهید صفحات خود را از حالت no index خارج کنید، باید منابع مسدود شده را از فایل robots.txt خود حذف کنید تا مطمئن شوید صفحات مهم در نتایج موتورهای جستجو ظاهر می شوند.

خطای URL

همان طور که گفتیم، خطاهای URL محدود به صفحات خاصی در سایت شما هستند. انواع مختلفی از خطای URL وجود دارد که احتمالاً با آن روبرو می شوید:

خطای Soft 404

در سال 2014، مدیران برخی وب سایت ها شروع به دریافت خطاهای “Soft 404” برای برخی از صفحات محتوای خود کردند.

خطای “Soft 404” هنگامی رخ می دهد که ربات های گوگل هنگام ورود به یک صفحه، فکر می کنند باید یک صفحه 404 باشد. در حالی که در واقعیت این طور نیست. در واقع این روش گوگل می خواهد این هشدار را بدهد که محتوای موجود در این صفحه ضعیف است!

نحوه رفع خطای soft 404

اگر صفحه ای که دچار این خطا شده، صفحه ی مهمی برای شما نیست، می توانید آن را به صفحه ای با ارزش بیشتر ریدایرکت 301 کنید.

اگر آدرس صفحه “Soft 404” یکی از صفحات محتوای واقعی شما باشد، یعنی گوگل محتوای شما را بی کیفیت می داند. پس، مطمئن شوید که محتوای ارزشمندی را در وب سایت خود قرار دهید.

خطای 404 یا Not found

خطای 404 به این معنی است که ربات های گوگل سعی کرده اند صفحه ای را که در سایت شما وجود ندارد ببینند. شاید بپرسید چطور ممکن است ربات های گوگل سعی در خزیدن در صفحه ای کنند که وجود ندارد؟

در واقع، ربات ها این صفحات را از طریق لینک هایی که به آن صفحه داده شده، پیدا می کنند.

اگر صفحه ای که دچار این خطا شده، صفحه ای مهم بوده که به هر دلیلی حذف شده و جایگزینی برای آن وجود ندارد، باید آن را رفع کنید.

در غیر این صورت برای سایر صفحات بی ارزش اصلا نگران نباشید. بسیاری از خطاهای 404 ارزش اصلاح ندارند، زیرا 404 ها به فهرست بندی یا رتبه بندی سایت شما آسیب نمی رسانند.

نحوه رفع خطای 404

اگر برای صفحه ای که دچار خطای 404 شده، جایگزینی وجود دارد، حتما آدرس آن را ریدایرکت 301 کنید.

بسیاری از مواقع اشتباه تایپی در لینک سازی های داخلی و خارجی باعث به وجود آمدن این خطا می شود. مثلا (www.example.com/redshoos به جای www.example.com/redshoes) در این حالت، می توانید با ایجاد ریدایرکت 301 به آدرس صحیح، این مشکل را رفع کنید.

همچنین می توانید با مدیر وب سایتی که دارای لینک نادرست است تماس بگیرید و درخواست به روز رسانی یا حذف لینک کنید.

خطای 403 یا Access Denied

خطای Access Denied زمانی رخ می دهد که ازخزیدن ربات های موتور جستجو در یک صفحه خاص جلوگیری شود.

خطای 403

مانند خطای 404، اگر صفحاتی که دارای این مشکل هستند، برایتان مهم نیستند و اگر نمی خواهید این صفحات توسط گوگل ایندکس شوند، نگران نباشید. اما اگر صفحه ای است که باید ایندکس شود، می توانید برای رفع این خطا، موارد زیر را امتحان کنید:

نحوه رفع خطای 403

اگر برای ورود به صفحه مورد نظر به جزئیات ورود به سیستم (لاگین) نیاز است، آن را حذف کنید.

آدرس صفحه را از فایل robots.txt سایت حذف کنید.

از ارائه دهنده هاست خود بپرسید که آیا آن ها موتورهای جستجو را از خزیدن سایت شما منع می کنند یا خیر.

خطای Not followed

خطای “Not followed” به این معنی است که Google نمی تواند آن نشانی اینترنتی خاص را دنبال کند. خطای ” Not followed” به URL هایی اشاره می کند که به آدرس دیگری ریدایرکت شده اند، اما این تغییر مسیر درست اعمال نشده است.

برای رفع این خطا ریدایرکت ها را بررسی کنید.

خطای 500 سرور و DNS

این همان خطای سرور و DNS است که در بخش خطاهای سایت ذکر شد. تنها تفاوت این خطا با حالت قبل این است که این خطا برای چند آدرس اینترنتی اتفاق می افتد، نه کل سایت. برای رفع این خطا همان روشی را که قبلاً ذکر شد دنبال کنید.

برای کسب اطلاعات بیشتر با ما تماس بگیرید.

طراحی سایت در اصفهان