Kirim email

Dalam pengembangan. Pendaftaran belum dibuka.

Crawler BabahSEO-Audit

Anda mungkin menemukan user agent ini di log server. Ini crawler yang menjalankan audit situs untuk BabahSEO, produk yang dikembangkan PT Babah Algo Digital di Indonesia.

BabahSEO masih dalam pengembangan. Halaman ini menjelaskan aturan yang dirancang untuk dipatuhi crawler tersebut.

Yang terlihat di log Anda

User agentBabahSEO-Audit/<versi> (+https://babahseo.com/bot)

Permintaan
Hanya GET dan HEAD
Laju
1 per detik per host
Sekaligus
Paling banyak 2
Batas waktu
15 detik per permintaan
Ukuran respons
Paling besar 5 MiB
Halaman per audit
Bawaan 500, paling banyak 2.000
robots.txt
Dipatuhi, Crawl-delay sampai 10 detik
Ini batas bawaan. Lewat robots.txt, Anda bisa membuat crawler lebih lambat atau membatasi halaman yang diambilnya.

Kapan crawler datang

Hanya setelah pemilik situs menambahkan situsnya ke BabahSEO dan membuktikan bahwa ia mengendalikannya. Crawler ini tidak menjelajahi web secara umum.

Buktinya berupa salah satu dari tiga hal ini:

  • Record DNS TXT di _babahseo-verify.<domain Anda>
  • Meta tag babahseo-verification di halaman awal
  • Berkas di /.well-known/babahseo-verification.txt

Bukti itu diperiksa ulang setiap minggu. Bila hilang, audit dijeda sesudah masa tenggang 72 jam.

Anda tidak merasa menambahkan situs Anda?

Berarti seseorang yang punya akses ke DNS, halaman awal, atau berkas situs Anda telah memasang bukti itu. Hapus buktinya untuk menjeda audit, atau kirim email kepada kami.

Cara crawler bekerja

Crawler hanya membaca halaman publik dari situs yang sudah diverifikasi.

Yang dilakukan

  • Hanya mengirim permintaan GET dan HEAD
  • Tetap di host yang sudah diverifikasi
  • Mematuhi aturan robots.txt untuk user agent-nya dan menghormati Crawl-delay sampai 10 detik
  • Mengirim 1 permintaan per detik per host, paling banyak 2 sekaligus
  • Berhenti menunggu sesudah 15 detik dan membaca paling banyak 5 MiB dari setiap respons
  • Secara bawaan mengambil paling banyak 500 URL per audit, dan tidak pernah lebih dari 2.000
  • Melewati jalur sensitif seperti /admin, /wp-admin, /login, /cart, /checkout, dan /api/, serta tautan dengan parameter seperti token, session, atau password

Yang tidak pernah dilakukan

  • Mengirim cookie atau masuk ke akun
  • Mengirim formulir
  • Mengikuti tautan atau pengalihan ke host lain, termasuk subdomain seperti app. atau admin.
  • Menjalankan script di halaman Anda
  • Mencoba menembus proteksi bot

Membatasi atau memblokir

Tambahkan grup untuk BabahSEO-Audit di berkas robots.txt pada akar situs Anda. Halaman yang Anda larang tidak diambil, dan audit mencatat alasan halaman itu dilewati.

Larang satu folder

User-agent: BabahSEO-Audit
Disallow: /private/

Blokir seluruh situs

User-agent: BabahSEO-Audit
Disallow: /

Perlambat

User-agent: BabahSEO-Audit
Crawl-delay: 10

Bila Anda memakai proteksi bot

Crawler tidak pernah mencoba melewati halaman tantangan atau CAPTCHA. Ia tidak mengganti user agent, tidak memakai browser tanpa tampilan (headless), dan tidak mengulang permintaan secara agresif. Halaman yang terblokir dilewati, audit ditandai parsial, dan pemilik situs diberi tahu cara mengizinkannya. Agar audit bisa berjalan, izinkan user agent BabahSEO-Audit di pengaturan proteksi bot Anda.

Pertanyaan tentang crawler

Kirim email ke hello@babahseo.com.

Kami belum menerbitkan daftar alamat IP crawler. Siapa pun bisa meniru user agent. Bila ada permintaan yang terlihat janggal, kirimkan waktu, URL, dan baris log lengkapnya agar kami bisa memeriksanya.