Jak blokować dostęp do strony dla robotów?

Aby zablokować robota internetowego po jego nazwie, należy w pliku .htaccess dopisać:

SetEnvIfNoCase User-Agent "NAZWA_ROBOTA" bad_bots
Order allow,deny
Allow from all
Deny from env=bad_bots

W pierwszej lini SetEnvIfNoCase… zamiast NAZWA_ROBOTA należy wpisać nazwę robota, który ma zostać zablokowany. W przypadku gdy zablokowanych ma być więcej niż jeden robot, należy skopiować linię SetEnvIfNoCase… np.

SetEnvIfNoCase User-Agent "NAZWA_ROBOTA_1" bad_bots
SetEnvIfNoCase User-Agent "NAZWA_ROBOTA_2" bad_bots
SetEnvIfNoCase User-Agent "NAZWA_ROBOTA_3" bad_bots
SetEnvIfNoCase User-Agent "NAZWA_ROBOTA_4" bad_bots
Order allow,deny
Allow from all
Deny from env=bad_bots

Po zablokowanu wybranych robotów, utracą one dostęp do strony.