Apache中禁止網(wǎng)絡(luò)爬蟲，之前設(shè)置了很多次的，但總是不起作用，原來是是寫錯(cuò)了，不能寫到Dirctory中，要寫到Location中
1 2 3 4 5 6 7 8 9 | <Location /> SetEnvIfNoCase User-Agent "spider" bad_bot BrowserMatchNoCase bingbot bad_bot BrowserMatchNoCase Googlebot bad_bot Order Deny,Allow #下面是禁止soso的爬蟲 Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209 Deny from env=bad_bot </Location> |
1 | SetEnvIfNoCase User-Agent "spider" bad_bot |
這是禁止了所有包含spider字符的爬蟲。
如果要針對(duì)性的禁止爬蟲，改成精確匹配的爬蟲字符串，如果bingbot、Googlebot等等
服務(wù)熱線：
4006-75-4006(7*24小時(shí)在線)
總機(jī)直撥：
0871-63886388（工作日9:00-18:00）
售前咨詢
售后咨詢
備案咨詢
二維碼
TOP
