方法1,打开apache/install/ target=_blank class=infotextkey>apache配置文件httpd.conf,配置如下:
 
复制代码 代码示例:
<Directory /> 
   Options FollowSymLinks
    AllowOverride all 
    Deny from www.bing.com   //屏蔽蜘蛛
    Deny from search.msn.com  //屏蔽蜘蛛
</Directory>
方法2,robots.txt 文件
 
User-agent: *  
Disallow: /newcar/
建议用第一种方法,因为第二种方法,有些垃圾搜索引擎根本不予理会,仍然继续抓取。
另外,还可以考虑用iptables直接禁止相关IP地址段的访问。