Robots.txt Oluşturucu
Alan adı, user-agent’lar, allow/disallow yolları, sitemap ve crawl-delay ile robots.txt oluşturun—Toolomix sunucularında üretilir.
Pratik ipuçları
Joker agent ile başlayın
* user agent için bir kural, daha spesifik bir bloğu olmayan tarayıcılara uygulanır.
Sitemap’inizi listeleyin
Bir Sitemap URL’si eklemek, tarayıcıların XML sitemap’inizi robots.txt üzerinden keşfetmesine yardımcı olur.
Yayınlayın ve doğrulayın
Yüklemeden sonra canlı dosyanın oluşturduğunuzla eşleştiğini doğrulamak için https://yoursite.com/robots.txt adresini açın.
Birden fazla user agent
*, Googlebot veya Bingbot gibi ayrı agent’lar ekleyin; her birinin kendi yol kuralları olsun.
Allow ve disallow yolları
Her agent’ın isteyip istememesi gereken yolları bildirin.
Sitemap ve crawl-delay
İsteğe bağlı olarak bir Sitemap satırı ve 0 ile 3600 saniye arasında crawl-delay ekleyin.
Kopyala veya indir
Oluşturulan metni kopyalayın veya site kökünüze yerleştirmek için bir robots.txt dosyası indirin.
Bu araç ne yapar
Robots.txt Oluşturucu, form alanlarını—alan adı, user agent’lar, disallow/allow yolları, sitemap ve isteğe bağlı crawl-delay—indirilebilir bir robots.txt gövdesine dönüştürür.
Çıktı, tarayıcılar için düz metin direktifleridir. Dosyayı kendi origin’inizde barındırmanız gerekir; Toolomix sizin için yayınlamaz.
Nasıl kullanılır
Alan adınızı girin
Zorunlu web sitesi alan adını veya tam URL’yi sağlayın.
Agent ve yolları ekleyin
User agent’ları ve her biri için disallow/allow yollarını listeleyin.
İsteğe bağlı sitemap ve crawl-delay
Gerekirse bir Sitemap URL’si ve 0–3600 saniye arası crawl-delay ekleyin.
Oluşturun, sonra kopyalayın veya indirin
Formu gönderin, oluşturulan metni inceleyin, ardından kopyalayın veya dosyayı site kökünüze indirin.
Desteklenen girdiler ve çıktı
Girdi: alan adı (zorunlu), userAgents, disallow yolları, allow yolları, sitemap URL’si, crawlDelay (0–3600). /seo-tools/GenerateRobotsTxt adresine gönderilir.
Çıktı: kopyalayabileceğiniz veya indirebileceğiniz oluşturulmuş robots.txt düz metni—arama motorlarına otomatik gönderim değildir.
İşleme ve gizlilik
Oluşturma Toolomix sunucularında çalışır. Form değerleriniz dosya içeriğini oluşturmak için HTTPS üzerinden gönderilir.
Toolomix’in istekleri ve günlükleri nasıl işlediği için Gizlilik Politikası’na bakın. Bu araç sitenizi Google veya diğer tarayıcılara kaydetmez.
Sınırlamalar
Bilinen sınırlar
- Yalnızca metin üretir—robots.txt’yi kendi host’unuza yüklemelisiniz
- Dosyayı Google Search Console ile göndermez veya doğrulamaz
- Crawl-delay bazı büyük tarayıcılar tarafından yok sayılır
- Robots.txt bir güvenlik sınırı değildir
- Oluşturma için alan adı alanı zorunludur
Sorun giderme
Oluşturma başarısız olursa alan adı alanının dolu olduğunu doğrulayın ve tekrar deneyin. Yol girdilerinin siteye göreli yollar kullandığını kontrol edin (örneğin /admin).
Tarayıcılar hâlâ engellenen URL’leri ziyaret ediyorsa, robots.txt’nin tavsiye niteliğinde olduğunu unutmayın—gerçek erişim denetimi için kimlik doğrulama veya sunucu kuralları kullanın ve canlı dosyayı /robots.txt adresinde doğrulayın.
Sıkça sorulan sorular
robots.txt nerede oluşturulur?
Toolomix sunucularında. Form /seo-tools/GenerateRobotsTxt adresine POST eder; yanıt metni yalnızca tarayıcıda değil, sunucu tarafında (StringBuilder) birleştirilir.
Alan adı zorunlu mu?
Evet. Oluşturmadan önce alan adı / site URL’si alanı zorunludur.
Bu, robots.txt’mi Google’a gönderir mi?
Hayır. Araç yalnızca barındırmanız için robots.txt metni üretir. Google Search Console’a veya herhangi bir tarayıcıya ping atmaz veya yüklemez.
Dosyayı nereye koyarım?
Web sitenizin köküne robots.txt olarak kaydedin; böylece https://yoursite.com/robots.txt adresinden erişilebilir olsun.
Crawl-delay aralığı nedir?
Arayüz crawl-delay’i 0 ile 3600 saniye arasında kabul eder. Googlebot dahil bazı tarayıcılar crawl-delay’i yok sayar.
robots.txt erişim denetimini zorlar mı?
Hayır. İyi davranan tarayıcıların genellikle saydığı bir istektir; kimlik doğrulama veya güvenlik duvarı değildir.
Tarayıcı başına farklı kurallar tanımlayabilir miyim?
Evet. Her biri kendi allow ve disallow yollarına sahip birden fazla user agent ekleyin.
Daha fazla ücretsiz araç keşfedin
Robots.txt Oluşturucu’yu kullanın
Alan adınızı ve kurallarınızı girin, robots.txt’yi Toolomix sunucularında oluşturun, ardından dosyayı kopyalayın veya indirin.
