Python加载数据的5种不同方式(1)，你的技术真的到天花板了吗

大家好，我是讯享网，很高兴认识大家。

为了检查第一次迭代，我使用了一个名为checkcol 的布尔变量，它为False，并且在第一次迭代中为false时，它将第一行的数据存储在 col中，然后将checkcol 设置为True，因此我们将处理数据列表并将其余值存储在数据列表中。

逻辑

这里的主要逻辑是，我使用readlines（） Python中的函数在文件中进行了迭代。此函数返回一个列表，其中包含文件中的所有行。

当阅读标题时，它会将新行检测为 \ n 字符，即行终止字符，因此为了删除它，我使用了 str.replace 函数。

由于这是一个的.csv 文件，所以我必须要根据不同的东西逗号，所以我会各执一个字符串，用 string.split（“”）。对于第一次迭代，我将存储第一行，其中包含列名的列表称为 col。然后，我会将所有数据附加到名为data的列表中。

为了更漂亮地读取数据，我将其作为数据框格式返回，因为与numpy数组或python的列表相比，读取数据框更容易。

输出量

讯享网利弊

重要的好处是您具有文件结构的所有灵活性和控制权，并且可以以任何想要的格式和方式读取和存储它。

您也可以使用自己的逻辑读取不具有标准结构的文件。

它的重要缺点是，特别是对于标准类型的文件，编写起来很复杂，因为它们很容易读取。您必须对需要反复试验的逻辑进行硬编码。

仅当文件不是标准格式或想要灵活性并且以库无法提供的方式读取文件时，才应使用它。

2. Numpy.loadtxt函数

这是Python中著名的数字库Numpy中的内置函数。加载数据是一个非常简单的功能。这对于读取相同数据类型的数据非常有用。

当数据更复杂时，使用此功能很难读取，但是当文件简单时，此功能确实非常强大。

要获取单一类型的数据，可以下载此处虚拟数据集。让我们跳到代码。

df = np.loadtxt(’ convertcsv.csv’, delimeter = ', ')

这里，我们简单地使用了在传入的定界符中作为 '，'的 loadtxt 函数，因为这是一个CSV文件。

现在，如果我们打印 df，我们将看到可以使用的相当不错的numpy数组中的数据。

print (df[: 5，:])

在这里插入图片描述

由于数据量很大，我们仅打印了前5行。

利弊

使用此功能的一个重要方面是您可以将文件中的数据快速加载到numpy数组中。

缺点是您不能有其他数据类型或数据中缺少行。

3. Numpy.genfromtxt（）

我们将使用数据集，即第一个示例中使用的数据集“ 100 Sales Records.csv”，以证明其中可以包含多种数据类型。

让我们跳到代码。

data = np. genfromtxt(‘100 Sales Records.csv’, delimiter=', ')

在这里插入图片描述

为了更清楚地看到它，我们可以以数据框格式看到它，即

这是什么？哦，它已跳过所有具有字符串数据类型的列。怎么处理呢？

只需添加另一个 dtype 参数并将dtype 设置为None即可，这意味着它必须照顾每一列本身的数据类型。不将整个数据转换为单个dtype。

data = np. genfromtxt(‘100 Sales Records.csv’, delimiter=', ', dtype=None)

然后输出

pd.DataFrame(df3).head ()

在这里插入图片描述

比第一个要好得多，但是这里的“列”标题是“行”，要使其成为列标题，我们必须添加另一个参数，即名称，并将其设置为 True，这样它将第一行作为“列标题”。

即

df3 = np.genfromtxt(‘100 Sales Records.csv’, delimiter=‘,’, dtype=None, names=True, encoding=‘utf-8’)

我们可以将其打印为

pd. DataFrame(df3) .head()

在这里插入图片描述

4. Pandas.read_csv()

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

Python加载数据的5种不同方式(1)，你的技术真的到天花板了吗

相关推荐