زواحف الذكاء: كيف تعرف أنّ موقعك ليس محجوباً عنها

تكتب صفحاتٍ جيّدة وتنتظر أن يذكرك ChatGPT أو Gemini حين يُسأل عن نشاطك، ولا يحدث. قبل أن تراجع المحتوى، راجع شيئاً أبسط: هل يستطيع زاحف النموذج أن يفتح صفحتك أصلاً؟ إن كان الجواب لا، فكلّ ما تكتبه بعد ذلك لا يُقرأ.

والحجب في الغالب ليس قراراً اتّخذته. قاعدة واحدة في ملفّ نصّي، أو مفتاح في لوحة حماية عنوانه «امنع روبوتات الذكاء»، تكفي لإغلاق الباب — ولا شيء في الموقع يبدو معطوباً بعدها. الصفحات تعمل، والزوّار يدخلون، وجوجل يفهرس. الغائب وحده لا يشتكي.

الزواحف ليست واحدة — وهذا هو الفخّ

الخطأ الشائع أن يُقال «سمحت لـGPTBot، إذاً أنا ظاهر في ChatGPT». لكلّ شركة أكثر من زاحف، ولكلّ زاحفٍ وظيفة مختلفة، والسماح لواحدٍ لا يعني السماح للآخر:

• GPTBot — يجمع لتدريب نماذج OpenAI. لا علاقة له بما يظهر في إجابةٍ الآن.
• OAI-SearchBot — هذا هو الذي يبني فهرس البحث الذي تستند إليه إجابات ChatGPT.
• ChatGPT-User — يفتح صفحتك لحظة يطلب مستخدمٌ ذلك داخل المحادثة.
• ClaudeBot وClaude-User — زاحفا Anthropic للتدريب وللتصفّح بطلب المستخدم.
• PerplexityBot — يبني فهرس Perplexity.
• Google-Extended — لا يزحف شيئاً، بل يضبط استعمال جوجل لمحتواك في تدريب Gemini. منعُه لا يخرجك من نتائج البحث.
• Applebot-Extended وMeta-ExternalAgent — نظيراهما عند Apple وMeta.

الحجب الصامت يسكن ثلاثة مواضع

أوّلها ملفّ robots.txt. سطر واحد فيه يمنع زاحفاً بالاسم، وغالباً وصل مع قالبٍ جاهز أو إضافة سيو فيها خيارٌ افتراضيّ لمنع «روبوتات الذكاء».

وثانيها طبقة الحماية أمام موقعك — كلاود فلير أو ما يشبهها. فيها مفتاح واحد يحجب زواحف الذكاء على مستوى الشبكة، فلا يصل الطلب إلى موقعك ولا يظهر أثره في robots.txt مهما قرأته. وقد يكون شريكك التقنيّ فعّله لتوفير استهلاك، أو جاء مفعّلاً في الباقة.

وثالثها إعدادات الاستضافة نفسها: قاعدة في htaccess تردّ على وكلاء المستخدم غير المعروفين، أو جدار تطبيقات يقرأ الزاحف الجديد اعتداءً لأنّه لا يعرف اسمه.

الفحص الأول: اقرأ robots.txt بعينك

افتح متصفّحك واذهب إلى نطاقك متبوعاً بـ robots.txt. الملفّ نصّ قصير تقرؤه في دقيقة، ولا تحتاج أداة لتفسيره:

1. ابحث عن أسماء الزواحف أعلاه. كلّ اسم تجده يعني قاعدة تخصّه.
2. تحت كلّ اسم، انظر إلى سطر Disallow: خطّ مائل وحده يعني منع الموقع كلّه.
3. انتبه للقاعدة العامّة التي تخاطب الجميع — فهي تسري على كلّ زاحفٍ لا قاعدة باسمه.
4. تأكّد أنّ رابط خريطة الموقع مذكور في آخر الملفّ؛ هو أرخص طريقة تدلّ بها الزاحف على صفحاتك.

الفحص الثاني: الملفّ يطلب، والخادم يقرّر

‏robots.txt اتّفاق أدبيّ لا حاجز. وهذا يعمل في الاتّجاهين: زاحفٌ مسموحٌ له في الملفّ قد يُردّ عند الباب من جدار الحماية. ولهذا الفحص الحقيقيّ أن تطلب صفحتك منتحلاً هويّة الزاحف وتنظر ماذا يعود إليك.

من سطر الأوامر، اطلب صفحتك مع تحديد وكيل المستخدم باسم الزاحف الذي تفحصه، ثمّ اقرأ رمز الاستجابة. مئتان تعني أنّ الباب مفتوح. أمّا 403 أو صفحة تحقّق بشريّ فتعني أنّ طبقةً بينك وبين النموذج ترفضه — ولن تعرف ذلك من robots.txt أبداً.

• كرّر الطلب لكلّ زاحفٍ يهمّك، لا لواحد وتعمّم النتيجة.
• افحص صفحةً داخلية لا الرئيسية وحدها؛ الحجب أحياناً يخصّ مسارات بعينها.
• قارن ما يعود للزاحف بما يعود لمتصفّح عاديّ — إن اختلفا فالفرق مقصود من أحدٍ ما.

هذا الفحص هو ما يشغّله وكيل منجز على موقعك: يطلب صفحاتك باسم اثني عشر زاحفاً ويعرض النتيجة كجدولٍ يقول لك أيّها يدخل وأيّها يُردّ، وأين وقع الردّ — في الملفّ أم في الشبكة أم في الاستضافة. الفرق أنّه يعيد الفحص دورياً، فالمفتاح الذي يقلبه تحديثُ إضافةٍ بعد شهرين يظهر في التقرير لا بعد أن تلاحظ الغياب.

القرار: ما تفتحه وما تغلقه

الفحص يكشف الحال، ويبقى القرار قراركَ أنت. الصيغة التي تناسب أغلب المتاجر والخدمات: افتح زواحف البحث الحيّ كلّها — فهي طريقك إلى أن تُذكر في جواب — وقرّر في زواحف التدريب على حدة حسب طبيعة محتواك.

أمّا من يبيع محتوىً مكتوباً أو يملك أرشيفاً هو رأس ماله، فله وجهٌ في منع التدريب مع إبقاء البحث مفتوحاً. والخسارة الوحيدة في المنع الشامل أنّك تختفي من واجهةٍ يسأل فيها الناس فعلاً، مقابل حمايةٍ لا يفرضها الملفّ بذاته.

الحجب الذي لم تختره ليس حماية، بل غياب لم يخبرك به أحد.

الخلاصة

1. افتح robots.txt واقرأه بعينك — ابحث عن أسماء الزواحف وعن القاعدة العامّة.
2. اطلب صفحتك باسم كلّ زاحفٍ يهمّك، واقرأ رمز الاستجابة لا الملفّ وحده.
3. افحص طبقة الحماية أمام موقعك؛ مفتاحها لا يظهر في robots.txt.
4. افصل زواحف البحث الحيّ عن زواحف التدريب، وقرّر في كلّ مجموعةٍ على حدة.
5. أعد الفحص بعد كلّ تحديث قالبٍ أو إضافة — هناك يعود الباب فيُغلق بصمت.

وحين يمرّ الباب مفتوحاً، تبدأ المرحلة الثانية: صياغة صفحاتك بحيث تصلح للاقتباس — جواب في السطر الأول، وعنوان فرعيّ لكلّ سؤال. وكيل منجز يتابع الاثنين معاً، ويعرض عليك كلّ تعديل قبل تنفيذه.