من به طور روزانه از خزنده وب استفاده می کنم. در حالی که آنها بسیار مفید هستند ، آنها فقط از رفتار خزنده های موتور جستجو تقلید می کنند ، این بدان معنی است که شما همیشه تصویر کاملی را دریافت نمی کنید.
تنها ابزاری که می تواند یک نمای کلی درباره نحوه خزیدن موتورهای جستجو در سایت شما به شما بدهد ، پرونده های ورود به سیستم هستند. با وجود این ، بسیاری از مردم هنوز هم با بودجه خزیدن وسواس دارند - تعداد URL های Googlebot می تواند و می خواهد خزیدن.
تجزیه و تحلیل فایل ورود به سیستم ممکن است URL هایی را در سایت شما کشف کند که هیچ ایده ای در مورد آنها ندارید اما موتورهای جستجو به هر حال درحال خزیدن هستند - هدر رفتن عمده منابع سرور Google ( وبلاگ Google Webmaster ):
"هدر دادن منابع سرور در صفحاتی مانند این ، باعث خالی شدن فعالیت خزیدن از صفحاتی می شود که در واقع دارای ارزش هستند ، که ممکن است باعث تاخیر قابل توجهی در کشف مطالب عالی در یک سایت شود."
در حالی که این یک موضوع جالب است ، واقعیت این است که اکثر سایت ها نیازی به نگرانی در مورد بودجه خزیدن ندارند- مشاهده هایی که توسط جان مولر (تحلیلگر روندهای وب مستر در گوگل) به اشتراک گذاشته شده است .
با این حال ، هنوز هم ارزش زیادی در تحلیل سیاهههای مربوط به آن خزنده ها وجود دارد. این نشان می دهد که چه صفحاتی در حال خزیدن گوگل است و در صورت نیاز به رفع هر چیزی.
وقتی دقیقاً می دانید که پرونده های ورود به سیستم به شما چه می گویند ، در مورد چگونگی خزیدن و مشاهده سایت شما از سایت ، اطلاعات ارزشمندی به دست می آورید ، به این معنی که می توانید برای افزایش ترافیک ، این داده ها را بهینه کنید. و هرچه سایت بزرگتر باشد ، تأثیر برطرف شدن این مسائل بیشتر خواهد بود .
سیاهههای مربوط به سرور چیست؟
یک پرونده log ، ضبط کردن همه چیزهایی است که از سرور وارد و خارج می شوند. به عنوان یک مدیر درخواست های خزنده ها و کاربران واقعی فکر کنید. شما دقیقاً می توانید ببینید که Google چه منابعی در حال خزیدن در سایت شما است.
همچنین می توانید ببینید چه خطایی به توجه شما نیاز دارد. به عنوان مثال ، یکی از مسائلی که با آنالیز خود کشف کردیم این بود که CMS ما برای هر صفحه دو URL ایجاد کرده است و Google هر دو را کشف کرده است. این منجر به تکرار مسائل مربوط به محتوا شد زیرا دو آدرس اینترنتی با همان محتوای در برابر یکدیگر رقابت می کردند.
تجزیه و تحلیل سیاهههای مربوط به علوم موشکی نیست - منطق همان است که هنگام کار با جداول در Excel یا Google Sheets است. سخت ترین قسمت دسترسی به آنهاست - صادر کردن و فیلتر کردن آن داده ها.
دیدن اولین بار در یک پرونده ورود به سیستم ممکن است کمی دلهره آور باشد زیرا وقتی یک پرونده را باز می کنید ، چیزی شبیه به این را مشاهده می کنید:
آرام باشید و نگاه دقیق تری به یک خط واحد بیندازید:
66.249.65.107 - - [08 / Dec / 2017: 04: 54: 20 -0400] "GET / contact / HTTP / 1.1" 200 11179 "-" "Mozilla / 5.0 (سازگار؛ Googlebot / 2.1؛ + http: // www.google.com/bot.html) "
شما به سرعت آن را تشخیص خواهید داد:
66.249.65.107 آدرس IP است (چه کسی)
[08 / دسامبر / 2017: 04: 54: 20 -0400] Timestamp است (زمان)
GET روش است
/ contact / URL درخواستی (چیست)
200 کد وضعیت (نتیجه) است
11179 Bytes Transferred (اندازه) است
"-" URL (منبع) ارجاع دهنده است - خالی است زیرا این درخواست توسط یک خزنده انجام شده است
Mozilla / 5.0 (سازگار؛ Googlebot / 2.1؛ + http: //www.google.com/bot.html) نماینده کاربر (امضا) است - این نماینده کاربر Googlebot (دسک تاپ) است
وقتی می دانید که هر خط از چه چیزی تشکیل شده است ، چندان ترسناک نیست. این فقط اطلاعات زیادی است. اما اینجاست که مرحله بعدی مفید است.
ابزاری که می توانید استفاده کنید
ابزارهای زیادی وجود دارد که می توانید از بین آنها انتخاب کنید و به شما در تجزیه و تحلیل پرونده های ورود به سیستم کمک می کند. من به فهرست کامل موارد موجود نمی پردازم ، اما دانستن تفاوت بین ابزارهای استاتیک و در زمان واقعی بسیار مهم است.
استاتیک - این تنها یک پرونده استاتیک را تجزیه و تحلیل می کند. شما نمی توانید چهارچوب زمانی را تمدید کنید. می خواهید دوره دیگری را تحلیل کنید؟ شما باید یک پرونده ورود جدید درخواست کنید. ابزار مورد علاقه من برای تجزیه و تحلیل پرونده های استاتیک Power BI است.
زمان واقعی - به شما امکان دسترسی مستقیم به سیاهههای مربوط را می دهد. من واقعاً از منبع باز ELK Stack (Elasticsearch ، Logstash و Kibana) خوشم می آید. برای پیاده سازی آن یک تلاش متوسط طول می کشد اما پس از آماده شدن پشته ، به من این امکان را می دهد تا بدون نیاز به تماس با توسعه دهندگان خود ، بازه زمانی را بر اساس نیازهای خود تغییر دهم.
شروع به تجزیه و تحلیل کنید
با امید به یافتن چیزی فقط به سیاهههای مربوطه غرق نشوید - شروع به سؤال کنید. اگر سؤالات خود را در ابتدا شکل ندهید ، در یک سوراخ خرگوش بدون جهت و هیچ بینش واقعی قرار خواهید گرفت.
در اینجا چند نمونه از سؤالاتی که من در شروع تحلیل من استفاده می کنم آورده شده است:
کدام موتورهای جستجو وب سایت من را خز می کنند؟
کدام URL ها اغلب خزنده می شوند؟
کدام نوع محتوا اغلب خزنده می شوند؟
کد کد وضعیت بازگشت داده می شود؟
اگر می بینید که Google صفحات غیر موجود را خز می کند (404) ، می توانید شروع به سؤال کنید که کدامیک از آن URL های درخواستی کد وضعیت 404 را برگردانده است.
لیست را با تعداد درخواست ها سفارش دهید ، صفحات با بالاترین تعداد را ارزیابی کنید تا صفحات با بالاترین اولویت (بیشتر درخواست ها ، اولویت بالاتر) را پیدا کنید و در نظر بگیرید که آیا آن URL را تغییر مسیر دهید یا اقدام دیگری انجام دهید.
اگر از یک سرور CDN یا حافظه نهان استفاده می کنید ، برای بدست آوردن تصویر کامل ، باید این داده ها را نیز دریافت کنید.
داده های خود را بخش بندی کنید
گروه بندی داده ها به بخش ها تعداد کل را ارائه می دهد که تصویر بزرگی به شما می دهد. این امر باعث می شود با مشاهده فقط URL های فردی ، روندهایی را که احتمالاً از دست داده اید آسان تر کنید. می توانید بخش های مشکل ساز را پیدا کرده و در صورت نیاز سوراخ کنید.
روش های مختلفی برای گروه بندی URL ها وجود دارد:
گروه براساس نوع محتوا (صفحات تک محصول در مقابل صفحات دسته)
گروه به زبان (صفحات انگلیسی در مقابل صفحات فرانسوی)
گروه بر اساس گاه (گاه کانادایی در مقابل گاه ایالات متحده)
گروه بندی با فرمت پرونده (JS در مقابل تصاویر در مقابل CSS)
فراموش نکنید که داده های خود را توسط کاربر عامل خرد کنید. با نگاهی به Google Desktop ، Google Smartphone و بینگ همه در کنار هم قرار نمی گیرند.
تغییرات رفتار را با گذشت زمان کنترل کنید
سایت شما به مرور زمان تغییر می کند ، این بدان معناست که رفتار خزنده ها نیز چنین خواهد شد. Googlebot اغلب بر اساس عواملی مانند سرعت صفحه ، ساختار پیوند داخلی و وجود تله های خزیدن ، سرعت خزیدن را کاهش یا افزایش می دهد.
این ایده خوبی است که با پرونده های ورود به سیستم خود در طول سال یا هنگام اجرای تغییرات وب سایت وارد شوید. من تقریباً به صورت هفتگی در هنگام انتشار تغییرات مهم برای وب سایت های بزرگ ، به سیاهههای مربوط می شوم.
حداقل با تجزیه و تحلیل سیاهههای مربوط به سرورها در سال ، حداقل می توانید تغییرات در رفتار خزنده را انجام دهید.
مراقب ی باشید
هرمه ها و اسکرابر دوست ندارند مسدود شوند ، بنابراین می توانند هویت خود را جعلی کنند - آنها از عامل کاربر Googlebot برای جلوگیری از فیلترهای اسپم استفاده می کنند.
برای تأیید اینکه آیا یک خزنده وب که به سرور شما دسترسی دارد Googlebot است ، می توانید یک جستجوی مع DNS و سپس یک جستجوی DNS به جلو انجام دهید. اطلاعات بیشتر در مورد این موضوع را می توانید در مرکز راهنمای Google Webmaster پیدا کنید .
ادغام سیاههها با سایر منابع داده
اگرچه اتصال به منابع داده دیگر لازم نیست ، انجام این کار سطح بینشی و زمینه دیگری را باز خواهد کرد که تجزیه و تحلیل منظم ورود به سیستم ممکن است نتواند به شما بدهد. امکان اتصال به راحتی چندین مجموعه داده و استخراج بینش از آنها دلیل اصلی چرا Power BI ابزار انتخاب من است ، اما می توانید از هر ابزاری که با آن آشنا هستید استفاده کنید (به عنوان مثال Tableau ).
ترکیب سرورها با چندین منبع دیگر مانند داده های Google Analytics ، رتبه بندی کلمات کلیدی ، نقشه های سایت ، داده های خزیدن و شروع به پرسیدن سؤالاتی مانند:
کدام صفحات در نقشه سایت.xml موجود نیستند اما به صورت گسترده خزنده هستند؟
چه صفحاتی در فایل Sitemap.xml گنجانده شده اما خزنده نیستند؟
آیا صفحات درآمدزایی اغلب خزنده هستند؟
آیا اکثر صفحات خزنده نمایه می شوند؟
ممکن است شما از بینش هایی که کشف می کنید متعجب شوید که می تواند به تقویت استراتژی سئو شما کمک کند شگفت زده شوید. به عنوان مثال ، کشف اینکه تقریبا 70 درصد درخواست های Googlebot برای صفحاتی است که قابل فهرست شدن نیستند ، بینشی است که می توانید روی آن عمل کنید.
می توانید نمونه های بیشتری از ترکیب پرونده های ورود به سیستم با سایر داده های موجود در پست من در مورد تجزیه و تحلیل پیشرفته ورود به سیستم را مشاهده کنید .
برای اشکالزدایی از Google Analytics از سیاههها استفاده کنید
به سیاهههای مربوط به سرور فقط به عنوان یک ابزار SEO دیگر فکر نکنید. همچنین گزارش ها منبع ارزشمندی از اطلاعات هستند که می توانند به اشتباهات فنی کمک کنند ، قبل از اینکه به یک مشکل بزرگتر تبدیل شوند.
سال گذشته ، Google Analytics از جستجوی ارگانیک برای نمایش داده شدگان جستجوی مارک ما خبر داد. اما ابزار ردیابی کلمات کلیدی ما ، STAT Search Analytics و سایر ابزارها هیچ حرکتی را نشان ندادند که قطره را تضمین کند. پس چه شد؟
سیاهههای مربوط به سرور به ما در درک وضعیت کمک کردند: افت ترافیکی واقعی مشاهده نشد. این WAF (Firewall برنامه کاربردی وب) که اخیراً مستقر شده بود ، بیشترین رأی را به ارجاع داد و باعث شد برخی از ترافیک ارگانیک به صورت نادرست به عنوان ترافیک مستقیم در Google Analytics طبقه بندی شوند.
استفاده از پرونده های log به همراه ردیابی کلمات کلیدی در STAT به ما کمک کرد تا کل داستان را کشف کنیم و این مسئله را به سرعت تشخیص دهیم.
همه اش رو بذار کنار هم
تجزیه و تحلیل ورود به سیستم یک کار ضروری است ، به خصوص هنگامی که شروع به کار با وب سایت های بزرگ کنید.
توصیه من این است که با تقسیم داده ها و نظارت بر تغییرات در طول زمان شروع کنید. هنگامی که احساس آمادگی کردید ، امکان ترکیب گزارش ها با داده های خزنده یا Google Analytics خود را کشف کنید. اینجاست که بینشهای عالی پنهان است.
می خواهید بیشتر؟
برای یادگیری نحوه ترک خوردن و ردیابی موارد دیگر آماده هستید؟ دسترسی پیدا کنید و از نسخه ی نمایشی درخواست کنید تا بتوانید مسیر STAT را متناسب با مسیر خود انجام دهید.
سئو در ایران google ,داده ,خزنده ,پرونده ,توانید ,سایت ,سیاهههای مربوط ,google analytics ,انجام دهید ,عنوان مثال ,رفتار خزنده ,تحلیل سیاهههای مربوط ,ردیابی کلمات کلیدی منبع
درباره این سایت