爬虫在平时也经常用，但一直没有系统的总结过，其实它涉及了许多的知识点。这一系列会理一遍这些知识点，不求详尽，只希望以点带面构建一个爬虫的知识框架。这一篇是概念性解释以及入门级爬虫介绍（以爬取网易新闻为例）。

爬虫基础

什么是爬虫

爬虫说白了其实就是获取资源的程序。制作爬虫的总体分三步：爬－取－存。首先要获取整个网页的所有内容，然后再取出其中对你有用的部分，最后再保存有用的部分。

爬虫类型

网络爬虫
网络爬虫，是一种按照一定的规则，自动的 抓取万维网信息的程序或者脚本。网络爬虫是搜索引擎系统中十分重要的组成部分，爬取的网页信息用于建立索引从而为搜索引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，其性能的优劣直接影响着搜索引擎的效果。
传统爬虫
从一个或若干初始网页的URL开始，获得初始网页的URL，在抓取网页过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

工作原理

根据一定的网页分析算法过滤与主题无关的链接，保留有用链接并将其放入等待抓取的URL队列
根据一定的搜索策略从队列中选择下一步要抓取的网页URL，重复上述过程，直到达到指定条件才结束爬取
对所有抓取的网页进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

爬取策略

广度优先

完成当前层次的搜索后才进行下一层次的搜索。一般的使用策略，一般通过队列来实现。

最佳优先

会有评估算法，凡是被算法评估为有用的网页，先来爬取。

深度优先

实际应用很少。可能会导致trapped问题。通过栈来实现。

URL（ Uniform Resource Locator: 统一资源定位符）

互联网上资源均有其唯一的地址，由三部分组成。

模式/协议
文件所在IP地址及端口号
主机上的资源位置
例子：http://www.example.com/index.html

Web Server／Socket如何建立连接和传输数据的

web server 的工作过程其实和打电话的过程差不多（买电话–>注册号码–>监听–>排队接听–>读写–>关闭），经典的三步握手（有人在吗？我在呢，你呢？我也在）在排队接听时进行。下面一张图足以解释一切。

Crawler端需要一个socket接口，向服务器端发起connect请求，完成连接后就可以和服务器交流了，操作完毕会关闭socket接口。服务器端更复杂一点，也需要一个socket接口，并且这个socket接口需要绑定一个地址（bind()），这就相当于有一个固定的电话号码，这样其他人拨打这个号码就可以找到这个服务器。绑定之后服务器的socket就开始监听（listen()）有没有用户请求，如果有，就接收请求（accept()），和用户建立连接，然后就可以交流。

HTML DOM

DOM 将 HTML 文档表达为树结构
定义了访问和操作 HTML 文档的标准

由服务器端生成，发送给 User-Agent(一般是浏览器)，浏览器会将 Cookie 的 key/value 保存到某个目录下的文本文件哪，下次访问同一网站时就发送该 Cookie 给服务器。

HTTP

GET 直接以链接形式访问，链接中包含了所有的参数

PUT 把提交的数据放到 HTTP 包的包体中

eg.
import urllib
import urllib2
url='http://www.zhihu.com/#signin'
user_agent='MOZILLA/5.0'
values={'username':'252618408@qq.com','password':'xxx'}
headers={'User-Agent':user_agent}
data=urllib.urlencode(values) # urlencode 是 urllib 独有的方法
request=urllib2.Request(url,data,headers) # write a letter
response=urllib2.urlopen(request) # send the letter and get the reply
page=response.read() # read the reply

urllib 仅可以接受 URL，这意味着你不可以伪装你的 User Agent 字符串等，但 urllib 提供了 urlencode 方法用来GET查询字符串等产生，而 urllib2 没有。
因此 urllib, urllib2经常一起使用。

Headers 设置

User-Agent: 部分服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type: 使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析
application/xml: 在 XMl RPC, 如 RESTful/SOAP 调用时使用
application/json: 在 JSON RPC 调用时使用
application/x-www-form-urlencoded: 浏览器提交 Web 表单时使用

爬虫难点

爬虫的两部分，一是下载 Web 页面，有许多问题需要考虑。如何最大程度地利用本地带宽,如何调度针对不同站点的 Web 请求以减轻对方服务器的负担等。一个高性能的 Web Crawler 系统里，DNS 查询也会成为急需优化的瓶颈，另外，还有一些“行规”需要遵循（例如robots.txt）。
而获取了网页之后的分析过程也是非常复杂的，Internet 上的东西千奇百怪，各种错误百出的 HTML 页面都有，要想全部分析清楚几乎是不可能的事；另外，随着 AJAX 的流行，如何获取由 Javascript 动态生成的内容成了一大难题；除此之外，Internet 上还有有各种有意或无意出现的 Spider Trap ，如果盲目的跟踪超链接的话，就会陷入 Trap 中万劫不复了，例如这个网站，据说是之前 Google 宣称 Internet 上的 Unique URL 数目已经达到了 1 trillion 个，因此这个人 is proud to announce the second trillion 。

最简单的爬虫

requests 库

import requests
url = "http://shuang0420.github.io/"
r = requests.get(url)

urllib2 库

import urllib2
# request source file
url = "http://shuang0420.github.io/"
request = urllib2.Request(url)  # write a letter
response = urllib2.urlopen(request)  # send the letter and get the reply
page = response.read()  # read the reply
# save source file
webFile = open('webPage.html', 'wb')
webFile.write(page)
webFile.close()

这是一个简单的爬虫，打开 webPage.html 是这样的显示，没有css.

实例：爬取网易新闻

爬取网易新闻 [代码示例]
– 使用 urllib2 的 requests包来爬取页面
– 使用正则表达式和 bs4 分析一级页面,使用 Xpath 来分析二级页面
– 将得到的标题和链接,保存为本地文件

分析初始页面

我们的初始页面是 http://news.163.com/rank

查看源代码

我们想要的是分类标题和URL，需要解析 DOM 文档树,这里使用了 BeautifulSoup 里的方法。

def Nav_Info(myPage):
    # 二级导航的标题和页面
    pageInfo = re.findall(r'<div class="subNav">.*?<div class="area areabg1">', myPage, re.S)[
        0].replace('<div class="subNav">', '').replace('<div class="area areabg1">', '')
    soup = BeautifulSoup(pageInfo, "lxml")
    tags = soup('a')
    topics = []
    for tag in tags:
        # 只要 科技、财经、体育 的新闻
        # if (tag.string=='科技' or tag.string=='财经' or tag.string=='体育'):
        topics.append((tag.string, tag.get('href', None)))
    return topics

然而，Beautiful Soup对文档的解析速度不会比它所依赖的解析器更快,如果对计算时间要求很高或者计算机的时间比程序员的时间更值钱,那么就应该直接使用 lxml。换句话说,还有提高Beautiful Soup效率的办法,使用lxml作为解析器。Beautiful Soup用lxml做解析器比用html5lib或Python内置解析器速度快很多。bs4 的默认解析器是 html.parser，使用lxml的代码如下：

BeautifulSoup(markup, "lxml")

分析二级页面