最近想做一个关于用一些指数基金与余额宝组成的简单 风险-无风险 投资组合的实验计算，发现通达信之类的行情软件并没有提供完整的余额宝收益信息，如通达信仅有年化收益率的数据，并没有万份收益的数据。因此考虑利用 Python 做一个小的爬虫程序获取相关数据。

数据来源

简单的搜索了一下，发现网上推荐的网站多数指向一个叫理财收益网 的网站，这里的较为详细的数据，不过这个网站的数据仅仅提供到2016年的12月底，17年的1月到2月并没有，所以不怎么符合条件。

然后再看了一下天天基金网 ，进入余额宝页面，在走势图旁边有一个 历史收益 的栏目，点击进去，可以看到有 历史净值 的数据，而且数据从 2013-5-30 到最近一天的数据，这里的数据比较适合，因此就选择从这里爬取数据。

网页分析

在编写爬虫程序之前，我们先分析一下这个网页。

讯享网

Paste_Image.png

我们可以看到，这张表格下面有一个分页栏，点击下面的页数切换数据。到这里，一般思路是先看看能不能找到这个网页的数据更新的 api，如果有，就可以直接通过拼接 url 传入参数来获取数据，如果不能的话，那可以考虑使用 selenium 之类的工具模拟点击实现。

我们先用 chrome 浏览器自带的开发者工具，尝试是否能够获取的数据更新的 api 。比较幸运，这个网站是可以获取到更新数据的 url 的。url 如下：

http://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code=000198&page=1&per=20

然后这个 url 的返回值如下：

var apidata=

{ content:"

,records:1386

,pages:70

,curpage:1};

我们可以通过返回数据得到总页数，然后通过更改 url 中的page参数，再解释 content 里面的内容就可以获取到我们想要的数据了。

Python 爬虫程序

有了上面的分析和思路，我们就可以开始编写程序了。我的 python 环境为基于 Anaconda2 的 python 2.7.12 版本，代码在 macOS Sierra 10.12.3 通过。

第一步，我们首先要拿到数据的总页数，这里有个小 Tips，这个获取数据的 url 可以不需要 per 参数，然后它的输出是默认一页10行，我在代码中为了让 url 更短小好看，因此就省略了 per 参数。

获取总记录，总页数，当前页面的代码如下：

def obtain_info_of_data(symbol):

response = requests.get('http://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code=' + str(symbol))

# return format: var apidata={...};

# filter the tag

content = str(response.text.encode('utf8')[13:-2])

content_split = content.split(',')

# obtain the info of data, curpage, pages, records

curpage = content_split[-1].split(':')[-1]

pages = content_split[-2].split(':')[-1]

records = content_split[-3].split(':')[-1]

return {'curpage': curpage, 'pages': pages, 'records': records}

在这段代码中，有几个地方需要稍微注意一下。首先这个返回值要注意编码的问题 (python2.7)，然后这个返回值的格式有点像 json 格式但其实它并不是，它的前面有一个 var apidata = 以及最后多了一个 ; 。 我们可以选择把它整理成 json 的格式，然后再做处理，不过我这里直接把前面到 { 的内容切掉，然后后面把 } 后的内容切掉，这样就可以得到一个以 , 分割的字符串，我们通过 split 函数对 , 进行分割，这样既可方便的把返回的字符串截取成 4 个我们需要的部分，然后后面的处理就比较简单了。

拿到这个数据相关描述信息后，我们可以开始接着爬去数据了，相关代码如下：

def obtain_data(symbol, dict_data_info):

cur_pages = int(dict_data_info['pages'])

pages = dict_data_info['pages']

records = dict_data_info['records']

data_return = []

url = 'http://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code=%s&page=%s'

for cp in range(int(pages), 0, -1):

response = requests.get(url % (symbol, str(cp)))

content = response.text.encode('utf8')[13:-2]

data = content.split(',')[0][10:-1]

data_soup = bs4.BeautifulSoup(data, 'lxml')

line_of_data = len(data_soup.select('table > tbody > tr'))

for i in range(line_of_data, 0, -1):

row_of_data = []

date = data_soup.select('table > tbody > tr:nth-of-type(%i) > td:nth-of-type(1)' % i)[0].text

earning_per_10k = data_soup.select('table > tbody > tr:nth-of-type(%i) > td:nth-of-type(2)' % i)[0].text

annualized_return = data_soup.select('table > tbody > tr:nth-of-type(%i) > td:nth-of-type(3)' % i)[0].text

row_of_data.append(date)

row_of_data.append(earning_per_10k)

row_of_data.append(annualized_return)

data_return.append(row_of_data)

print 'Finished %i' % cp

cur_pages -= 1

if cur_pages == 1 and len(data_return) != int(records):

print 'Data Missing..'

return pd.DataFrame(data_return)

这段代码主要分为两个部分，一个是遍历页面，另一个是在页面用遍历每一行的数据。这里我们用到了 BeautifulSoup 库来处理 HTML 的内容，然后在函数的最后添加了一个简单的数据完整性炎症，最后以 pandas DataFrame 的格式返回。

小结

这个获取余额宝历史收益数据的小爬虫其实并不难，只要耐心分析一个网站的结构，理顺思路就可以完成，不过代码到这里，其实并不是很完善。如果希望将这些数据更方便的用于量化交易以及其他的一些实验，还需要把 Dataframe 里面的数据再做一些处理，如万分收益率转为以1为单位的收益率可能更方便计算，然后年化收益率规整话，去掉那个百分号等。

以上代码已经上传的 Github，可以下载运行。