الصق رابط وشوف Googlebot وBingbot وبوتات الـ AI مسموحلهم يدخلوه ولا لأ — وأنهي قاعدة بالظبط اللي بتقرر.
مجاناً — من غير فيزا. سجّل بجوجل (مجاناً) عشان تكمّل الفحص وتحفظ نتايجك، ومدى الحياة بيفتح القوايم كاملة.
robots.txt أول ملف أي زاحف بيقراه. سطر واحد غلط — 'Disallow: /' اتنسى بعد تجديد الموقع — ممكن يمنع جوجل من الموقع كله. وبوتات الـ AI زي GPTBot وClaudeBot بتلتزم بيه كمان، وده بيحدد مساعدات الـ AI تقدر تقرا صفحاتك وتستشهد بيها ولا لأ.
نقطي بيحمّل ملف robots.txt ويراجع كل سطر، ويختبر رابطك لـ 10 زواحف كبار بنفس قواعد جوجل (أطول تطابق بيكسب، Allow بيكسب Disallow لو اتساووا، وعلامات * و$).
لأ — بيمنع الزحف مش الأرشفة. الرابط المحجوب ممكن يظهر (من غير وصف) لو مواقع تانية بتلينك عليه. استخدم noindex عشان تمنع الظهور.
قرارك. حجب GPTBot وClaudeBot بيبعد محتواك عن تدريبهم وإجاباتهم، بس كمان بيقلل فرصة إن مساعدات الـ AI تستشهد بيك.
في جذر كل هوست: https://example.com/robots.txt. الدومينات الفرعية محتاجة ملف لوحدها.
جوجل بيعتبر خطأ السيرفر 'متزحفش على حاجة' لفترة. أما 404 فمعناه 'ازحف على كله'.
مستكشف المواقع ومستكشف الكلمات وفحص المواقع وتتبع الترتيب والظهور في الذكاء الاصطناعي — تسجيل واحد بجوجل، من غير فيزا.
مجاني 100%
بيانات حية
كل رقم مشروح
عربي وإنجليزي
ابدأ مجاناً بجوجل