گری ایلیش میگوید که ناوبری وجهی و پارامترهای عملیاتی، بخش عمدهای از اتلاف خزش گوگل را تشکیل میدهند و رباتها را در URLهای بینهایت به دام میاندازند و بر سرورها فشار میآورند.
گوگل در مورد گزارش پایان سال ۲۰۲۵ خود پیرامون چالشهای خزش و فهرستبندی برای جستجوی گوگل بحث و گفتگو کرد. به گفته گری ایلیش از گوگل، ناوبری وجهی و پارامترهای عملیاتی، مهمترین مسائل بودند که تقریباً ۷۵ درصد از مشکلات را شامل میشدند. او این موضوع را در آخرین پادکست Search Off the Record که امروز صبح منتشر شد، مطرح کرد.
مشکل چیست؟ مشکلات خزش میتوانند سرعت سایت شما را به شدت کاهش دهند، سرور شما را بیش از حد بارگذاری کنند و وبسایت شما را غیرقابل استفاده یا غیرقابل دسترس کنند. اگر یک ربات در یک حلقه خزش بینهایت گیر کند، بازیابی میتواند زمانبر باشد.
- ایلیش بیان کرد: «هنگامی که مجموعهای از URLها را کشف میکند، نمیتواند تصمیم بگیرد که آیا آن فضای URL خوب است یا خیر، مگر اینکه بخش بزرگی از آن فضای URL را بخزد.» در آن زمان دیگر دیر شده و سرعت سایت شما متوقف شده است.
بزرگترین چالشهای خزش. بر اساس گزارش، اینها مسائل اصلی هستند که گوگل مشاهده میکند:
- ۵۰ درصد مربوط به ناوبری وجهی است. این موضوع در سایتهای تجارت الکترونیک رایج است، جایی که فیلترهای بیشمار برای اندازه، رنگ، قیمت و گزینههای مشابه، ترکیبات تقریباً بینهایت از URLها را ایجاد میکنند.
- ۲۵ درصد مربوط به پارامترهای عملیاتی است. اینها پارامترهای URL هستند که به جای تغییر معنیدار محتوای صفحه، اقدامات خاصی را تحریک میکنند.
- ۱۰ درصد مربوط به پارامترهای نامربوط است. این شامل شناسههای سشن (session IDs)، برچسبهای UTM و سایر پارامترهای ردیابی اضافه شده به URLها میشود.
- ۵ درصد مربوط به افزونهها یا ویجتها است. برخی از افزونهها و ویجتها URLهای مشکلسازی تولید میکنند که خزندهها را گیج میکنند.
- ۲ درصد مربوط به “موارد عجیب دیگر” است. این دسته کلی شامل مسائلی مانند URLهای دو بار کدگذاری شده و موارد خاص مرتبط است.
چرا این موضوع اهمیت دارد. یک ساختار URL تمیز و بدون تله برای رباتها، برای حفظ سلامت سرور شما، تضمین بارگذاری سریع صفحات و جلوگیری از سردرگمی موتورهای جستجو در مورد URLهای متعارف شما ضروری است.
این قسمت. چالشهای خزش: گزارش پایان سال ۲۰۲۵ چه چیزی به ما میگوید.
