讯享网

 <p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Fb3292c9bj00qrhlq2000zc000ht00b5m.jpg&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p>　　爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种：</p><p>　　文件：txt、csv、excel、json等，保存数据量小。</p><p>　　关系型数据库：mysql、oracle等，保存数据量大。</p><p>　　非关系型数据库：Mongodb、Redis等键值堆形式存储数据，保存数据量大。</p><p>　　二进制文件：保存爬取的图片、视频、音频等格式数据。</p><p>　　首先，爬取豆瓣读书《平凡的世界》的3页短评信息，然后保存到文件中。</p><p>　　具体代码如下（忽略异常）：</p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2F0b9cf09ep00qrhlq2002jc000ht00c8m.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p>　　爬到评论数据保存到列表中：</p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Fb5341b4dp00qrhlq2006mc000fa007lm.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p>　　1.使用open()方法写入文件</p><p>　　保存数据到txt</p><p>　　将上述爬取的列表数据保存到txt文件：</p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2F0806d60ap00qrhlq2000mc000ht002cm.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Fb4dbb4fdp00qrhlq2004qc000fa006pm.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p>　　2.保存数据到csv</p><p>　　CSV（Comma-Separated Values、逗号分隔值或字符分割值）是一种以纯文件方式进行数据记录的存储格式，保存csv文件，需要使用python的内置模块csv。</p><p>　　写入列表或者元组数据： 创建writer对象，使用writerow()写入一行数据，使用writerows()方法写入多行数据。</p><p>　　使用writer对象写入列表数据，示例代码如下：</p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Fd4p00qrhlq2001jc000ht00a7m.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p>　　写入字典数据： 创建DictWriter对象，使用writerow()写入一行数据，使用writerows()方法写入多行数据。</p><p>　　使用 DictWriter 对象写入字典数据，示例代码如下：</p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Fb14c508fp00qrhlq20015c000ht006am.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p>　　将上述爬取到的数据保存到csv文件中：</p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Fe89ed290p00qrhlq2003ac000ht00g7m.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Ff0ae2a14p00qrhlq2005hc000fa00a7m.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p>　　3.使用pandas保存数据</p><p>　　pandas支持多种文件格式的读写，最常用的就是csv和excel数据的操作，因为直接读取的数据是数据框格式，所以在爬虫、数据分析中使用非常广泛。</p><p>　　一般，将爬取到的数据储存为DataFrame对象（DataFrame 是一个表格或者类似二维数组的结构，它的各行表示一个实例，各列表示一个变量）。 pandas保存数据到excel、csv</p><p>　　pandas保存excel、csv，非常简单，两行代码就可以搞定：</p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2Fa5a0d171p00qrhlq2000lc000ht001wm.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p><p class="f_center">　　<img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F0413%2F6a6f4985p00qrhlq20063c000fa008km.png&thumbnail=660x&quality=80&type=jpg"/><br/><br/></p>