アクセスリストを見ていると、非常に多くてうざいのでrobots.txtではなく、.htaccessで弾くことに。
order allow,deny
order allow,deny
allow from all
SetEnvIfNoCase User-Agent "^MJ12bot/v?1\.[01]\.[0-9]{1,2}" shutout
SetEnvIfNoCase User-Agent "MJ12bot" shutout
SetEnvIfNoCase User-Agent "Baiduspider" shutout
SetEnvIfNoCase User-Agent "Slurp" shutout
Deny from env=shutout
以上のコードを追加した。正規表現は適当なので間違ってるかも。