几乎每个人都有需要从网上批量获取信息的需求，比如需要批量采集网站上的邮箱、批量采集1688、58同城上的商家信息、联系方式，如果让你去学编程语言?我看很多人连软件都不会装，更何况一门完整的编程语言，还要学会更正网页知识;学习火车头软件?一是贵，二是操作非常麻烦。
今天就推荐一款Google研发的数据采集插件，这款插件可以自带cookies，自带反爬虫能力，非常容易上手，按照流程下来，基本上10分钟就能学会了。我平时也经常用它采集微博、知乎、豆瓣、58同城、大众点评、汽车之家等等网站的内容，非常方便。
Web scraper是google强大插件库中非常强大的一款数据采集插件，有强大的反爬虫能力，只需要在插件上简单地设置好，可以快速抓取知乎、简书、豆瓣、大众、58等大型、中型、小型的90%以上的网站，包括文字、图片、表格等内容，最后快速导出csv格式文件。Google官方对web scraper给出的说明是：
使用我们的扩展，您可以创建一个计划(sitemap)，一个web站点应该如何遍历，以及应该提取什么。使用这些sitemaps,Web刮刀将相应地导航站点并提取所有数据。稍后可以将剪贴数据导出为CSV。
本系列是关于web scraper的系类介绍，将会完整介绍流程介绍，用知乎、简书等网站为例介绍如何采集文字、表格、多元素抓取、不规律分页抓取、二级页抓取、动态网站抓取，以及一些反爬虫技术等全部内容。
Ok，今天就介绍web scraper的安装以及完整的抓取流程。
一、web scraper的安装
Web scraper是google浏览器的拓展插件，只需要在google浏览器上安装就可以了，介绍2种安装方法：
1、打开google浏览器更多工具下的拓展程序——进入到chrome 网上应用点——搜索web scraper——然后点击安装就可以了，如下图所示。
但是以上的安装方法需要翻墙到国外的网站上，所以需要用到vpn，如果有vpn的就可以用这种方法，如果没有就可以用下面的第二种方法：
2、通过链接：http://pan.baidu.com/s/1skXkVN3 密码：m672，下载web scraper安装程序。然后直接将安装程序拖入到chrome中的拓展程序就可以完成安装了。
完整完后就马上可以使用了。
二、以知乎为例介绍web scraper完整抓取流程
1、打开目标网站，这里以采集知乎第一大v张佳玮的关注对象为例，需要爬取的是关注对象的知乎名字、回答数量、发表文章数量、关注着数量。
文章TAG：数据 数据采集 淘宝
