互联网诞生之初，是为了让人们更容易的分享数据、交流通讯。互联网是桥梁，连接了世界各地的人们。网站的点击、浏览都是人为的，与你聊天的也是活生生的人。
，技术上很容易假扮他人），比如，Google的爬虫叫做Googlebot，百度的爬虫叫做Baiduspider。
二、大数据时代的网络爬虫时代在发展，数据变得越来越重要，“大数据”已经成为各行各业讨论的话题，人们对数据的渴望也变成贪婪，数据也就成了“石油”，爬虫也就成了“钻井机”。
因为大量爬虫的行为会给网站带来网络带宽、服务器计算力等方面很大的压力，却几乎不带来任何利益。
为了降低这种毫无利益的压力和避免自己的数据被他人集中收集，网站肯定要通过技术手段来限制爬虫；另一方面，爬虫为了获取石油般的数据，就想方设法来突破这种限制。
