ملف robots.txt وخريطة الموقع ليسا زرًا لتصدر نتائج البحث. الأول يوضح للزواحف المسارات التي يمكنها طلبها، والثانية تساعدها على اكتشاف عناوين مهمة. الفهرسة قرار منفصل، والترتيب يعتمد على عوامل أخرى. في متجر زد، ابدأ بفحص ما تنشره المنصة فعليًا وما يظهر في الروابط والصفحات، ثم غيّر الإعداد المتاح فقط إذا وجدت تعارضًا مثبتًا.
ما وظيفة كل إشارة؟
| العنصر | وظيفته الأساسية | ما لا يضمنه |
|---|---|---|
robots.txt |
توجيه الزاحف بشأن طلب مسارات معينة | لا يضمن إزالة الرابط من الفهرس، ولا يمنع ظهوره إذا عرفه Google من روابط أخرى |
noindex |
طلب عدم إدراج صفحة قابلة للزحف في نتائج محرك يدعم الإشارة | لا يعمل إذا منعت الزاحف من الوصول للصفحة قبل أن يقرأه |
sitemap.xml |
تقديم قائمة بعناوين تريد من محرك البحث اكتشافها ومعرفة تحديثها | لا يضمن الزحف لكل URL أو فهرسته أو ترتيبه |
| الروابط الداخلية | ربط الصفحات ببنية متجر يمكن للزاحف والعميل اتباعها | لا تعالج وحدها رابطًا محظورًا أو صفحة بلا قيمة كافية |
تشرح Google أن robots.txt يُستخدم لإدارة الزحف، وليس لإخفاء صفحة من النتائج. ولمنع الفهرسة تحتاج الصفحة إلى أن تكون قابلة للزحف كي يقرأ محرك البحث noindex، أو تستخدم طريقة مناسبة أخرى. كما أن sitemap اقتراح للاكتشاف وليست ضمان إدراج. مقدمة robots.txt · منع الفهرسة باستخدام noindex · استكشاف الزحف
راجع الإعداد المنشور، لا اسم الإعداد فقط
افتح https://نطاق-متجرك/robots.txt وhttps://نطاق-متجرك/sitemap.xml بعد استبدال النطاق بنطاقك. إذا اختلفت الاستجابة، تحقق مما إذا كانت المنصة تستخدم مسارًا آخر أو خريطة فهرس تجمع عدة ملفات. لا تعدّل الملف عبر طريقة خارجية قبل معرفة من يملكه وكيف تُنشر التغييرات في متجرك.
في robots.txt، اقرأ القواعد كاملة لكل مجموعة User-agent، ولا تفترض أن وجود Allow في نهاية الملف يلغي دائمًا Disallow أوسع من دون فحص القاعدة المحددة. راجع خصوصًا مسارات المنتجات والفئات والصور والملفات التي يعتمد عليها عرض الصفحة. لا تحظر موارد لازمة لرؤية الصفحة كما يراها العميل أو الزاحف.
في sitemap، تحقق أن كل URL:
- يعيد الصفحة النهائية المقصودة دون تحويل غير ضروري.
- يستخدم HTTPS والنطاق الأساسي الصحيح.
- قابل للزحف والفهرسة، وليس صفحة تسجيل أو سلة أو بحث داخلي أو رابط تتبع.
- هو النسخة الأساسية التي تربط إليها الصفحات الداخلية؛ تجنب إدراج نسخ مكررة للمعاملات أو المتغيرات بلا قرار واضح.
- يحتوي
<lastmod>فقط عندما يعكس تاريخ تعديل حقيقيًا، لا تاريخًا يتغير آليًا مع كل بناء.
استخدم أدوات المتجر المتاحة لإدارة الظهور أو sitemap إذا كانت موجودة، وتحقق من السلوك النهائي بعد الحفظ. إعدادات المنصات تتطور، لذلك لا تعتمد على شرح قديم لمكان زر أو صيغة ملف من دون مقارنة النتيجة المنشورة.
لا تجعل sitemap بديلًا عن بنية الروابط
توصي Google بأن يصل الزاحف للمنتجات من روابط HTML عبر القوائم والفئات والفئات الفرعية. مربع البحث داخل المتجر لا يكفي كمسار اكتشاف، لأن الزاحف لا يبحث فيه عادةً. أضف رابطًا واضحًا لكل منتج تريد أن يكتشفه الزاحف، واستخدم sitemap كإشارة مساعدة خاصة عندما يكون اكتشاف بعض الصفحات من الروابط أصعب. إرشادات بنية المتجر
قسّم الروابط إلى مجموعات مفهومة: صفحات أساسية، منتجات نشطة، فئات مفيدة، ومحتوى تحريري. افحص المنتجات التي نفدت أو حُذفت، والصفحات المتغيرة باللون أو المقاس، وروابط الفلاتر والترتيب. لا تُبقِ URL في sitemap لمجرد أن النظام يستطيع توليده؛ اسأل هل تريد أن تكون هذه النسخة صفحة مستقلة قابلة للفهرسة؟
تشخيص حالات شائعة
الرابط ظاهر في sitemap لكن لا يُفهرس: افحص URL Inspection لمعرفة هل جرى الزحف، وما canonical الذي اختاره Google، وهل الصفحة مكررة أو لا تقدم فائدة واضحة. وجود الرابط في الخريطة لا يتجاوز هذه الاعتبارات.
الرابط محظور في robots.txt وتريد إزالته من النتائج: لا تستخدم الحظر وحده كإزالة؛ قد يحتفظ Google بعنوان URL دون محتوى إذا وصلته روابط خارجية. حدد هل تريد منع الزحف أو الفهرسة، ثم اختر الإشارة التي تحقق الغرض ولا تجمع إشارات متعارضة.
صفحات المنتج غير معروفة: تحقق من الروابط الداخلية أولًا، ثم من sitemap ومسارها وحالة الاستجابة. طلب الفهرسة يصلح لعدد قليل من الصفحات بعد إزالة المانع؛ ليس بديلًا عن تنظيم مئات الروابط.
الصفحة تظهر «مكتشفة حاليًا غير مفهرسة» أو «تم الزحف إليها حاليًا غير مفهرسة»: هذه الحالة لا تُصلح بإضافة Allow تلقائيًا. اقرأ سبب الاستبعاد، ثم قيّم الجودة والتكرار والإشارات والطلب. امنح التغييرات وقتًا حتى يعيد المحرك المعالجة؛ لا تتوقع تحديثًا فوريًا.
سير عمل آمن من أربع مراحل
- جرد: احفظ نسخة من الملفات المنشورة والإعدادات الحالية، وسجّل نطاق الموقع والمنصة والقوالب المتأثرة.
- اختبار: افحص URL واحدًا من كل نوع: منتج عادي، متغير، فئة، صفحة غير متاحة، ورابط بمعامل.
- تغيير ضيق: غيّر قاعدة واحدة فقط إذا ثبت أنها تمنع صفحة ينبغي السماح بها، أو تُدخل صفحات لا تريدها في الخريطة. لا تغيّر قواعد عامة اعتمادًا على التخمين.
- تحقق: أعد فتح الملف المنشور، واختبر الصفحة الحية، ثم راقب Search Console أو Bing Webmaster Tools. سجّل التغيير وتاريخه وأثره المرصود.
إذا لم تستطع منصة زد تعديل robots.txt يدويًا في باقتك أو إعداداتك، لا تحاول تجاوز المنصة بملف منسوخ في مكان آخر. وثّق القيود وافحص ما تسمح به أدواتها الأصلية. ولا تغيّر URLs لتصحيح خريطة الموقع؛ ذلك قد يخلق تحويلات وأخطاء جديدة.
مصادر Google الرسمية للزحف والفهرسة
- Google: robots.txt
- Google: إدارة sitemap
- Google: بنية مواقع التجارة الإلكترونية
- Google: أخطاء الزحف والفهرسة
هذه إرشادات عامة من Google؛ لا تفترض أن كل خيار لوحة تحكم في زد يطابق مثالًا تقنيًا بعينه. تحقق من إعداد متجرك وواجهته المنشورة قبل التطبيق.
سكريبت فيديو قصير: الخريطة ليست ضمان فهرسة
المدة: ٤٥ ثانية. اللقطة: افتح sitemap ثم robots.txt مع إخفاء النطاق الخاص عند الحاجة.
الخطاف: «حاطط منتجاتك في sitemap ولسه مش ظاهرة؟ ده مش تناقض.»
المشهد الأول: «الخريطة تساعد على اكتشاف الرابط، لكنها ما تضمنش فهرسته.»
المشهد الثاني: «افحص robots.txt للزحف، وnoindex للفهرسة، وcanonical للنسخة الأساسية.»
المشهد الثالث: «وبعدين تأكد إن المنتج مربوط من فئة برابط HTML واضح.»
الخاتمة: «اختبر الرابط قبل تعديل ملف عام؛ كل إشارة لها وظيفة مختلفة.»
لا تستخدم لقطة لوحة شخص آخر دون إذنه، ولا تعرض رموز تحقق أو بيانات خاصة.
كاروسيل تعليمي: أربع إشارات وأربع وظائف
- الغلاف: «Robots.txt وsitemap: مين بيعمل إيه؟»
- Robots.txt: يوجّه طلبات الزحف، ولا يخفي الصفحة تلقائيًا من نتائج البحث.
- Noindex: يطلب عدم الفهرسة، ويجب أن يستطيع الزاحف قراءة الإشارة.
- Sitemap: يساعد على اكتشاف URLs الأساسية، ولا يضمن إدراجها.
- الروابط الداخلية: توضح علاقة المنتج بالفئة والموقع.
- التحقق: افتح النسخة المنشورة واختبر URL من كل نوع.
- الخلاصة: «لا تستخدم كل الإشارات للغرض نفسه».
سلسلة تجربة ميدانية: راجع تأثير إصلاح قاعدة محددة
هذه خطة اختبار مقترحة وليست تقرير نتائج.
الفرضية: بعض صفحات المنتجات الأساسية غير قابلة للزحف بسبب قاعدة منشورة في robots.txt.
- اختر عينة صغيرة من المنتجات التي ينبغي أن تظهر، وسجّل عنوان كل صفحة وحالتها في Search Console.
- افحص الملف المنشور وتأكد من وجود قاعدة تنطبق فعليًا على مسارها. لا تعتمد على اسم القاعدة وحده.
- افحص مجموعة مقارنة من الصفحات التي لا تطابق القاعدة، وسجّل الاختلافات في القالب والروابط والعمر.
- إذا أثبت الفحص أن قاعدة واحدة تحظر الصفحات المطلوبة، عدّلها عبر المسار الرسمي للمنصة، مع حفظ الحالة السابقة وإجراء التغيير في نافذة مضبوطة.
- اختبر الملف المنشور وعينة الصفحات الحية فورًا؛ إذا ظهرت مشكلة وصول، أعد القاعدة السابقة.
- راقب الزحف والفهرسة على مدى مناسب وسجّل النتائج الفعلية دون نسب أي تغير إلى السبب وحده إذا تغيرت عوامل أخرى.
قرار التوقف: لا تغيّر الملف إذا لم تستطع تحديد القاعدة المتسببة أو استعادة الحالة السابقة.
حزمة مطالبات محايدة للأدوات: لمراجعة الملفات
تحليل robots.txt
حلّل النص المنشور التالي مع URL المراد فحصه: [النص] و[URL]. حدّد القاعدة المطابقة حرفيًا، واشرح حدود استنتاجك واختلافات التفسير المحتملة. لا تقترح تعديلًا قبل تحديد هدف الزحف والفهرسة.
مراجعة sitemap
صنّف روابط sitemap التالية إلى: صفحة أساسية، متغير، إعادة توجيه، خطأ، أو صفحة غير مرغوبة. استخدم بيانات الاستجابة المقدمة فقط، ولا تخمن حالة الفهرسة. أخرج الصفوف غير المؤكدة للمراجعة البشرية.
خطة تحقق بعد التعديل
بناء على التغيير التالي [وصفه]، أنشئ قائمة تحقق لملف robots.txt وsitemap وURL حي وروابط داخلية. اذكر لكل نقطة الدليل المطلوب ومعيار التراجع. لا تدّع ضمان الزحف أو الترتيب.
ملف أمثلة: أوقف هذا: في إعدادات المتجر
أوقف: «أضف كل روابط المتجر إلى sitemap وخلاص».
استخدم: «أدرج URLs الأساسية القابلة للفهرسة، وافحص التحويلات والنسخ المتكررة والصفحات غير المرغوبة».
أوقف: «امنع الرابط في robots.txt عشان يختفي من Google».
استخدم: «حدد هل المطلوب منع الزحف أم منع الفهرسة؛ robots.txt لا يحل محل noindex».
أوقف: «وجود الرابط في sitemap معناه هيتفهرس».
استخدم: «وجوده يسهل اكتشافه؛ افحص قابلية الجلب والنسخة الأساسية والقيمة ثم تابع الحالة».
الخطاف والقيمة والقالب: توضيح الأدوار
الخطاف: «sitemap موجودة، بس صفحات المنتجات مش بتتفهرس؟»
القيمة: «افصل بين اكتشاف الرابط، السماح بالزحف، السماح بالفهرسة، واختيار النسخة الأساسية. ثم راجع الروابط التي توصل إلى المنتج.»
القالب: «افتح [الملف المنشور] ← افحص [قاعدة URL] ← راجع [noindex وcanonical] ← اختبر [رابطًا حيًا] ← وثّق [الحالة بعد إعادة الزحف].»
مثال: «الرابط موجود في sitemap، لكن URL Inspection يظهر أنه محظور بالزحف؛ راجع القاعدة التي تنطبق على المسار قبل تغيير الملف كله.»