الأدوات / مولّد robots.txt للذكاء الاصطناعي
🚦 مجاني وبلا حدود

مولّد robots.txt لزواحف الذكاء الاصطناعي

اسمح لكل زاحف ذكاء اصطناعي أو امنعه عن معرفة بما يفعله فعلًا، ثم انسخ الكتلة التي ستضيفها إلى ملف robots.txt.

GPTBot وOAI-SearchBot: قراران لا قرار واحد

يجمع GPTBot الصفحات لتدريب نماذج OpenAI. حظره لا أثر له على حضورك داخل ChatGPT. أما OAI-SearchBot فيغذّي فهرس البحث في ChatGPT: هو الذي يقرّر ما إذا كانت صفحتك قابلة للاسترجاع والتلخيص والاستشهاد بها مع رابط. حظره يخرجك من إجابات ChatGPT. كثير من المواقع نسخت حظرًا لـ GPTBot وأضافت إليه OAI-SearchBot «للاحتياط»، فأقصت نفسها بنفسها عن قناة الزيارات التي كانت تسعى إلى كسبها. قرّر سطرًا بسطر، لا دفعة واحدة.

إعدادات جاهزة
يفتح كل ما يمكنه الاستشهاد بك، ويغلق الجامعين الذين لا يستشهدون أبدًا.
GPTBot OpenAI تدريب

يجمع الصفحات لتدريب نماذج OpenAI.

حظره لا يخرجك من إجابات ChatGPT. هو قرار يخصّ بياناتك، لا ظهورك.

OAI-SearchBot OpenAI بحث واستشهاد

يفهرس الصفحات لبحث ChatGPT.

هذا هو الزاحف الذي يحدّد ظهورك مع رابط داخل إجابات ChatGPT. حظره يحذفك من الاستشهادات.

OAI-AdsBot OpenAI إعلان

يفحص صفحات الوصول المستخدمة في إعلانات ChatGPT Ads.

ضروري إن كنت تنوي شراء إعلانات داخل ChatGPT: بدونه لا يمكن التحقّق من صفحات الوصول لديك.

ChatGPT-User OpenAI جلب يطلبه مستخدم

يجلب صفحة مباشرةً لأن مستخدمًا شارك الرابط أو طرح سؤالًا عنه.

زيارات يطلقها شخص حقيقي في الزمن الفعلي. حظره يعني رفض زيارة طلبها أحدهم صراحةً.

ClaudeBot Anthropic تدريب

يجمع الصفحات لنماذج Claude.

تشغّل Anthropic أيضًا Claude-User للجلب المباشر وClaude-SearchBot للبحث: وكلاء منفصلون يستحقّون قرارات منفصلة.

PerplexityBot Perplexity بحث واستشهاد

يفهرس الصفحات للإجابات المدعومة بالمصادر في Perplexity.

يعرض Perplexity مصادره دائمًا. حظره يعني التخلّي عن تلك الاستشهادات وعن الزيارات المرتبطة بها.

Google-Extended Google تدريب

رمز يتحكّم في استخدام محتواك لتغذية Gemini وترسيخ الإجابات.

ليس زاحف فهرسة: فهو لا يغيّر فهرستك ولا ترتيبك في Google Search.

CCBot Common Crawl تدريب

يبني مجموعة بيانات عامة يُعاد استخدامها في تدريبات كثيرة.

لا فائدة مباشرة من حيث الظهور: Common Crawl لا يستشهد بأحد. وهو أول مرشّح للحظر إن كنت تحمي محتواك.

Bytespider ByteDance تدريب

يجمع الصفحات لنماذج ByteDance.

معروف بوتيرة زحف عدوانية. تحظره مواقع كثيرة لأسباب تتعلّق بحمل الخادم بقدر ما تتعلّق بالحقوق.

meta-externalagent Meta تدريب

يجمع الصفحات لنماذج Meta ولخدمة Meta AI.

تشغّل Meta عدة وكلاء. هذا هو زاحف الفهرسة الموثّق المستخدم للتدريب.

Applebot-Extended Apple تدريب

رمز يتحكّم في استخدام محتواك لتغذية Apple Intelligence.

لا يمسّ Applebot الذي يغذّي Siri وSpotlight: حضورك في بحث Apple لا يتأثّر.

مسار في كل سطر. مفيد لمنطقة العملاء أو سلة الشراء أو بيئة الاختبار.
يُضاف في نهاية الملف. اتركه فارغًا لتجاوزه.
مجاني، بلا حدود، وبلا حساب

تعمل هذه الأداة داخل متصفحك بالكامل. لا شيء مما تكتبه هنا يصل إلى خوادمنا، ولا شيء يُخزَّن، ولا حساب يُنشأ ولا حصة تُراعى. نقدّمها بلا مقابل لأنها لا تكلّفنا شيئًا.

ما الذي تفعله هذه الأداة

ملف robots.txt سيّئ المعايرة هو أسرع طريقة للاختفاء من إجابات الذكاء الاصطناعي دون أن تنتبه. وأكثر الالتباسات شيوعًا وكلفةً يخصّ OpenAI: فـ GPTBot وOAI-SearchBot لا يؤدّيان العمل نفسه، وحظر أحدهما بدل الآخر يؤدّي إلى نتائج متعاكسة. تعرض هذه الأداة الدور الحقيقي لكل زاحف قبل أن تترك لك القرار.

  • أحد عشر زاحف ذكاء اصطناعي مغطّى، كلٌّ بدوره الحقيقي: التدريب، والبحث والاستشهاد، والجلب الذي يطلبه مستخدم، والإعلان.
  • أربعة إعدادات جاهزة، منها واحد يحتفظ بالاستشهادات ويرفض في الوقت نفسه جمع بيانات التدريب.
  • إضافة مسارات ممنوعة تنطبق على الزواحف التي تسمح بمرورها، لحماية منطقة العملاء أو سلة الشراء.
  • سطر Sitemap يُضاف في نهاية الملف، وتعليقات تذكّر بدور كل زاحف.
  • توليد محلي: الملف يُبنى في متصفحك ولا شيء يُرسَل.

الأسئلة الشائعة

هل يخرجني حظر GPTBot من ChatGPT؟
لا. يخدم GPTBot تدريب النماذج. أما ما يحدّد حضورك في إجابات ChatGPT فهو OAI-SearchBot، إضافةً إلى ChatGPT-User للجلب المباشر. يمكنك رفض التدريب والبقاء قابلًا للاستشهاد تمامًا.
هل تحترم الزواحف robots.txt فعلًا؟
الوكلاء الموثّقون لدى OpenAI وAnthropic وGoogle وApple وPerplexity يعلنون احترامه، ويفعلون ذلك عمليًا. ويبقى robots.txt عرفًا لا حاجزًا تقنيًا. وإن كنت تحتاج فعلًا إلى منع الوصول، فالحظر يجب أن يكون على مستوى جدار الحماية التطبيقي أو شبكة CDN، مع التحقّق من نطاقات عناوين IP المنشورة.
أين يوضع هذا الملف؟
في جذر النطاق وهناك فقط: https://example.com/robots.txt. الملف الموضوع في مجلد فرعي لا يُقرأ أبدًا. ولكل نطاق فرعي ملف robots.txt خاص به.
هل يمكنني حظر جزء من الموقع فقط؟
نعم. حقل المسارات الممنوعة يضيف أسطر Disallow لكل زاحف تتركه مسموحًا: يحتفظ بالوصول إلى الموقع لكن ليس إلى تلك المجلدات. وهذا هو النهج الصحيح لمنطقة العملاء أو لمسار الشراء.
كيف أتحقّق من أن قواعدي مطبّقة فعلًا؟
انظر في سجلات خادمك: هي وحدها التي تخبرك أي الزواحف تمرّ فعلًا وعلى ماذا. وهذا بالضبط عمل محلّل سجلات زواحف الذكاء الاصطناعي لدينا، الذي يرصد أيضًا الحظر غير المقصود من جدار الحماية أو شبكة CDN.

إلى ما هو أبعد من المولّد

هذه الأدوات المصغّرة تنتج ملفًا. أما ماسحات Ready2GEO فتذهب لترى ما يجري فعليًا على موقعك وداخل إجابات محرّكات الذكاء الاصطناعي.

📣 ChatGPT Ads Readiness

يتحقّق مما إذا كان موقعك مؤهّلًا فعليًا وقابلًا للاستخدام من منصّة إعلانات ChatGPT: وصول الزواحف، والبنية، والإشارات التجارية.

اختبر موقعي 🕷️ محلّل سجلات زواحف الذكاء الاصطناعي

الصق سجلات خادمك لترى أي زواحف ذكاء اصطناعي تمرّ فعلًا، وبأي وتيرة، وعلى أي صفحات تتعثّر.

حلّل سجلاتي 🧭 تدقيق GEO كامل

يجمع التدقيق الشامل كل الماسحات في تقرير واحد، مع إصلاحات مرتّبة حسب الأولوية وتصدير PDF.

ابدأ التدقيق

جميع أدوات Ready2GEO

🔖مولّد زر Preferred Source 💡مولّد context hints 🧮حاسبة ميزانية ChatGPT Ads 🔗أداة بناء روابط UTM 📄مولّد llms.txt { }مولّد schema بصيغة JSON-LD 🧰اطّلع على المجموعة الكاملة