问题场景： 客户使用虚拟主机，网站被搜索引擎爬虫访问耗费大量流量和带宽，如何处理。 解决方法： 可以通过在站点根目录下创建 Robots.txt，Robots.txt 文件是网站的一个文件，搜索引擎蜘蛛抓取网站首先就是抓取这个文件，根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下，...