10 روش ایندکس سریع صفحات در گوگل

اگر گوگل وب سایت شما را ایندکس نمی کند، یعنی شما نامرئی هستید. هنگام جستجوی هیچ کدام از کلمات کلیدی دیده نمی شوید و هیچ ترافیکی دریافت نمی کنید.

علت ایندکس نشدن مقاله ممکن است متفاوت باشد. این مقاله به شما می آموزد که چگونه هر یک از این سه مشکل را برطرف کنید:

1. کل وب سایت شما ایندکس نشده است.
2. برخی از صفحات شما ایندکس می شوند، اما برخی دیگر ایندکس نمی شوند.
3. صفحات وب تازه منتشر شده شما به اندازه کافی سریع ایندکس نمی شوند.

خزیدن و ایندکس چیست؟

گوگل با خزیدن در صفحات، مقاله های جدید را کشف می کند و سپس این صفحات جدید را به فهرست خود اضافه می کند. این کار با استفاده از یک ربات وب به نام Googlebot انجام می شود.

• خزیدن: به فرآیند دنبال کردن لینک‌ها در وب سایت ها برای کشف محتوای جدید خزیدن گوگل می گویند.
• ایندکس: فرآیند ذخیره هر صفحه وب در یک پایگاه داده وسیع است.
• Web spider: نرم افزاری است که برای انجام فرآیند خزیدن طراحی شده است.
• Googlebot: ربات گوگل برای خزیدن در صفحات جدید

زمانی که چیزی را در گوگل جستجو می‌کنیم، در واقع از گوگل می‌خواهیم که همه صفحات مرتبط با مطلب مورد نظر را به صورت فهرست در اختیار ما قرار دهد. ممکن است میلیون‌ها صفحه متناسب با کلمات مد نظر وجود داشته باشد. برای جلوگیری از گمراهی کاربر، گوگل با استفاده از الگوریتم های رتبه بندی صفحات را رتبه بندی می کند و مرتبط ترین نتایج را در اختیار کاربر قرار می دهد. نکته مهم این است که باید به خاطر داشته باشید که ایندکس شدن و رتبه بندی کاملا متفاوت هستند. یعنی ممکن است مقاله شما ایندکس شود ولی در جستجوی گوگل رتبه ای نداشته باشید.

برسی ایندکس شدن در گوگل

در قسمت سرچ گوگل عبارت site:yourwebsite.com را جستجو کنید.

عدد نوشته شده به طور تقریبی نشان می دهد که گوگل چه تعداد از صفحات شما را ایندکس کرده است. اگر می‌خواهید وضعیت یک URL خاص را بررسی کنید، site:yourwebsite.com/web-page-slug operator را در سرچ گوگل تایپ کنید.

اگر صفحه ایندکس نشده باشد، هیچ نتیجه ای نشان داده نمی شود. اگر کاربر جدید در کنسول جستجوی گوگل(webmaster) هستید، می‌توانید از گزارش در قسمت Coverage برای دریافت اطلاعات دقیق تری از وضعیت وب‌سایت خود استفاده کنید.

Google Search Console > Index > Coverage

به تعداد صفحات valid دقت کنید. اگر مجموع valid و valid with warning چیزی جز صفر باشد، یعنی گوگل حداقل برخی از صفحات وب سایت شما را ایندکس کرده است. اما اگر عدد مد نظر صفر باشد، مشکل شدیدی وجود دارد و هیچ یک از صفحات وب شما ایندکس نشده است.

همچنین می‌توانید از کنسول جستجو (webmaster) برای بررسی ایندکس شدن یک صفحه خاص استفاده کنید. برای انجام این کار، URL را در قسمت URL Inspection کپی کنید. اگر عبارت «URL is on Google» نشان داده شد به دین معناست که صفحه ایندکس شده است.

اگر صفحه ایندکس نشده باشد، عبارت «URL is not on Google» را خواهید دید.

نحوه ایندکس شدن توسط گوگل

اگر صفحه ی شما ایندکس نشده است، می توانید به صورت دستی درخواست ایندکس دهید. در این حالت رباط های گوگل سریع تر به صفحه ی مد نظر شما سر می زنند.

1. به کنسول جستجوی گوگل بروید.
2.به ابزار بررسی URL بروید.
3. آدرسی را که می‌خواهید گوگل بررسی کند در نوار جستجو قرار دهید.
4. منتظر بمانید تا گوگل URL را بررسی کند.
5.روی دکمه “Request indexing” کلیک کنید.

زمانی از این روش استفاده کنید که محتوای جدید در سایت قرار داده اید یا تغییراتی در آن ایجاد کرده اید. در صورتی که تغییری ایجاد نشده باشد یا محتوای جدیدی قرار نگرفته باشد، با درخواست برای ایندکس شدن تنها این مرحله را به عقب می اندازید.

از آن جایی که ایندکس شدن با رتبه بندی متفاوت هستند، درخواست ایندکس شدن مشکلات اساسی را که مانع از رتبه بندی می شود حل نمی کند. برای قرار گرفتن در رتبه بندی گوگل باید مشکل اصلی را پیدا کنید. تهیه چک لیست از مشکلات احتمالی در این پروسه کمک به سزایی خواهد داشت:

1. خزنده های گوگل را در فایل txt خود حذف کنید.
2. برچسب های noindex را حذف کنید.
3. صفحه را در site map خود قرار دهید.
4. برچسب های canonical را حذف کنید.
5 بررسی کنید که صفحه orphaned نباشد.
6. لینک های داخلی nofollow را رفع کنید.
7. پیوندهای داخلی powerfull را اضافه کنید.
8. مطمئن شوید که صفحه با ارزش و منحصر به فرد است.
9. صفحات با کیفیت پایین را حذف کنید (برای بهینه سازی «بودجه خزیدن»).
10. ایجاد بک لینک با کیفیت بالا

1) خزنده های گوگل را در فایل robots.txt خود حذف کنید

یکی از دلایل ایندکس نشدن ممکن است به دلیل خزنده های گوگل به نام robots.txt باشد. برای بررسی این مشکل، به yourdomain.com/robots.txt بروید.

به دنبال هر یک از دو کد زیر بگردید:

1.

User-agent: Google bot
Disallow: /

2.

User-agent: *
Disallow: /

هر دوی این دستورات به Googlebot می‌گویند که آن ها مجاز به خزیدن در یک صفحه ی خاص از صفحات سایت شما نیستند. برای رفع مشکل کافی ست کدها را پاک کنید.

در حالت قبلی، به Googlebot اجازه بررسی سایت داده نمی شد. اگر گوگل یک صفحه را ایندکس نمی کند، می تواند به علت وجود خزنده گوگل در robots.txt باشد. برای بررسی، URL را در قسمت بررسی URL در کنسول جستجوی گوگل کپی کنید. روی بلوک Coverage کلیک کنید تا جزئیات بیشتر نشان داده شود. عبارت “Crawl allowed? No: blocked by robots.txt” نشان دهنده ی مسدود شدن صفحه در robots.txt است.

2) برچسب های noindex را حذف کنید

اگر URLها در قسمت noindexing باشد، گوگل آن ها را ایندکس نخواهد کرد. اگر می خواهید صفحه ای از سایت شما، خصوصی باقی بماند می توانید از این گزینه استفاده کنید:

روش 1: تگ متا

صفحاتی که هر کدام از این تگ های متا را در بخش <head> خود دارند توسط Google ایندکس نمی شوند:

1.

<meta name=“robots” content=”noindex”>

2.

<meta name=“googlebot” content=“noindex”>

با استفاده از این کدها می توان به موتورهای جستجو اعلام کرد که آیا می توانند صفحه را ایندکس کنند یا نه!

روش 2: X-Robots-Tag

ربات های خزنده در هدر به X-Robots-Tag HTTP پاسخ می دهند. شما می توانید با استفاده از یک زبان برنامه نویسی سرور مانند PHP یا فایل htaccess. یا تغییر پیکربندی سرور تغییرات مد نظر را اعمال کنید.

با استفاده از جستجو URL می توان بررسی کرد که علت ایندکس نشدن، وجود هدر است یا خیر. URL خود را به سرچ کنید، عبارت “Indexing allowed? No: ‘noindex’ detected in ‘X-Robots-Tag’ http header” نشاند هنده ی این است که هدر مد نظر مانع از ایندکس شدن صفحه می شود.

صفحاتی که باید ایندکس شوند نباید زیر تگ هدر باشند. برای این کار نیاز است که برنامه نویس یا طراح سایت، تغییرات لازم را انجام دهد.

3) صفحه را در site map خود قرار دهید

Site map تعیین کننده اهمیت یا عدم اهمیت صفحه سایت است. برای بررسی وجود یک صفحه در site map، از بررسی دستی URL در کنسول جستجو استفاده کنید. اگر خطای «URL is not on Google» و «Sitemap: N/A» را مشاهده کردید، URL مد نظر شما ایندکس نشده است.

4) برچسب های canonical را حذف کنید

یک تگ canonical به گوگل می گوید که نسخه ترجیحی یک صفحه کدام است. چیزی شبیه این به نظر می رسد:

<link rel=”canonical” href=”/page.html/”>

اکثر صفحات یا فاقد canonical tag هستند یا canonical tag خود را به عنوان مرجع معرفی می کنند. Tag canonical به گوگل می‌گوید که خود صفحه بهترین و احتمالاً تنها نسخه است. به عبارت دیگر، شما می خواهید این صفحه ایندکس شود.

برای بررسی tag canonical، می توان از بررسی URL در گوگل استفاده کرد.

5) بررسی کنید که صفحه یتیم نباشد

صفحات یتیم، صفحاتی هستند که هیچ پیوندی به آن ها اشاره نمی کند. از آنجایی که گوگل با خزیدن در وب محتوای جدید را کشف می کند، صفحات یتیم از این فرآیند بی بهره می مانند. علاوه بر ربات های گوگل، بازدیدکنندگان وب سایت نیز نمی توانند آنها را پیدا کنند.

برای مطمئن شدن از وجود تمامی صفحات در site map  ابتدا یک لیست کامل از صفحات سایت خود را دانلود کنید (از طریق CMS). سپس درخواست ایندکس برای صفحات سایت ثبت کنید و به لیست URL ها ارجاع دهید. هر URL که در حین خزیدن یافت نشود، صفحات یتیم هستند.

برای اصلاح صفحات یتیم از دو روش می توانید استفاده کنید:

• اگر صفحه بی اهمیت است، آن را حذف کرده و site map را اصلاح کنید.
• اگر صفحه مهم است، آن را در ساختار لینک داخلی وب سایت خود بگنجانید.

6) لینک های داخلی nofollow را رفع کنید

لینک های Nofollow لینک هایی با برچسب “rel=“nofollow هستند. گوگل صفحات با لینک های nofollow را بررسی نمی کنند. طبق نظریه گوگل: استفاده از nofollow باعث می شود که پیوندها از نمودار کلی وب حذف شوند. با این حال، اگر سایت‌های دیگر بدون استفاده از nofollow به آن‌ها پیوند دهند، یا اگر URLها در site map به گوگل ارسال شوند، ممکن است صفحات همچنان در فهرست ظاهر شوند.

به طور خلاصه، باید مطمئن شوید که تمام پیوندهای داخلی ارجاع داده شوند. برای آنکه گوگل صفحه را ایندکس کند، تگ nofollow را از این لینک های داخلی حذف کنید.

7) پیوندهای داخلی “قدرتمند” اضافه کنید

گوگل با خزیدن در وب سایت محتوای جدید را کشف می کند. اگر از پیوند داخلی به صفحه مورد نظر غفلت کنید، ممکن است موتور های جستجو نتوانند آن را پیدا کنند. یکی از راه حل های آسان برای ایندکس شدن صفحه، اضافه کردن چند لینک داخلی به صفحه است. می توانید این کار را از طریق هر صفحه وب دیگری که گوگل بررسی کرده وایندکس شده است، انجام دهید.

نکته حرفه ای

صفحه ای را که پیوند داخلی به آن اضافه کرده اید در ابزار بررسی URL گوگل قرار دهید. بر روی “درخواست ایندکس” کلیک کنید تا به گوگل اطلاع دهید که چیزی در صفحه تغییر کرده است و باید در اسرع وقت آن را دوباره بررسی کند. این روش ممکن است  ایندکس کردن را سرعت بخشد.

8) مطمئن شوید که صفحه ارزشمند و منحصر به فرد است

گوگل صفحات با کیفیت پایین را ایندکس نمی کند. اگر می خواهید گوگل وب سایت شما را ایندکس کند، باید “عالی و الهام بخش” باشد. اگر مشکلات فنی برای عدم ایندکس را پشت سر گذاشته اید، بی ارزش بودن محتوای صفحه می تواند علت اصلی برای ایندکس نشدن باشد. بهتر است دوباره به مرور محتوای صفحه بپردازید و با چشمانی تازه! اصلاحات لازم را انجام دهید.

با این کار، ارزش را به صفحاتی که قابل ایندکس هستند و در حال حاضر هیچ ترافیکی دریافت نمی کنند، برمی گردانید. به عبارت دیگر، احتمال ایندکس شدن آن ها بالا می رود. از جمله مسائل مهم در بررسی محتوای صفحه، تکراری نبودن محتوا است. گوگل صفحات تکراری یا تقریبا تکراری را حذف می کند.

9) صفحات با کیفیت پایین را حذف کنید.

داشتن صفحات زیاد با کیفیت پایین در وب سایت شما فقط باعث هدر رفتن امتیاز می شود. با این حال، حذف صفحات با کیفیت پایین از وب سایت چیز بدی نیست و می تواند تأثیر مثبتی بر روند ایندکس داشته باشد.

10) بک لینک های با کیفیت بالا بسازید

بک لینک ها به گوگل می گویند که یک صفحه وب مهم است. گوگل فقط صفحات وب با بک لینک را ایندکس نمی کند بلکه تعداد زیادی (میلیاردها) صفحه ایندکس شده بدون بک لینک وجود دارد. اما گوگل صفحات با لینک های با کیفیت را در الویت قرار می دهد.

نمایه سازی ≠ رتبه بندی

ایندکس شدن وب سایت  شما در گوگل معادل رتبه بندی یا ترافیک نیست. ایندکس شدن به این معنی است که گوگل وب سایت شما را خوانده است ولی سایت شما بر اساس محتوا رتبه بندی می شود. به کمک سئو می توان در رتبه بندی تغییرات زیادی ایجاد کرد:

• پیدا کردن آنچه مشتریان شما به دنبال آن هستند.
• ایجاد محتوا پیرامون موضوعات مد نظر مشتریان یا کاربران
• بهینه سازی صفحات برای کلمات کلیدی مد نظر
• ساخت بک لینک
• به روز رسانی مرتب محتوا باعث می شود تا رتبه خود را بهتر حفظ کنید.

سخن نهایی

تنها دو دلیل احتمالی وجود دارد که چرا گوگل وب سایت یا صفحه وب شما را ایندکس نمی کند:

• مسائل فنی: بروز مشکل در سایت باعث می شود تا اندکس شدن به عقب بیوفتد و یا رتبه بندی سایت تغییر کند.
• سایت از لحاظ محتوایی ارزش زیادی ندارد.

مسائل فنی بسیار رایج تر هستند. مشکلات فنی باعث می شود تا محتوا کم ارزش یا حتی بی ارزش دیده شود. ایندکس شدن را به تعویق می اندازد و با کاهش امتیاز همراه است. از آنجایی که ایندکس شدن و رتبه بندی یکی نیستند، برای گرفتن امتیاز در رتبه بندی و کسب ترافیک، همچنان سئو از اهمیت بالایی برخوردار است. تیم پشتیبانی سئو آماده ارائه خدمات در زمینه مشکلات فنی و تیم سئو در زمینه سئو می باشد.

منبع: https://ahrefs.com/blog/google-index