本文介绍: 为了解决这些问题,它还在内部添加了很多特殊处理,在过去,DataFrame中的静默数据类型更改带来了很大的困扰。大家好,Pandas 2.1于2023年8月30日发布,跟随本文一起看看这个版本引入哪些内容,以及它如何帮助用户改进Pandas工作负载包含了一系列改进一组新的弃用功能他们目标是尽可能简化基于NumPy的DataFrame切换过程,着重解决修复性能瓶颈的问题,因为这些问题曾经导致意料之外的减速。是唯一可以容纳整数字符串数据类型,这对许多用户来说是一个很大的问题

大家好,Pandas 2.1于2023年8月30日发布,跟随本文一起看看这个版本引入哪些新内容,以及它如何帮助用户改进Pandas的工作负载,包含了一系列改进和一组新的弃用功能

Pandas 2.1在Pandas 2.0中引入的PyArrow集成基础上进行了大量改进。本文主要关注了对新功能支持,这些新功能有望在Pandas 3.0中成为默认功能,下面将详细介绍最重要的改进。

避免在字符串列中使用NumPy对象类型

pandas中的一个主要问题是低效的字符串表示,Pandas团队花了相当长的时间研究这个问题第一个基于PyArrow字符串dtypepandas 1.3中可用,它有潜力将内存使用量减少约70%并提高性能

Pandas团队决定引入一个新的配置选项,将所有字符串列存储在PyArrow数组中,不再需要担心转换字符串列,它会自动工作

可以通过以下方式打开选项

pd.options.future.infer_string = True

这个行为将在pandas 3.0中成为默认行为,这意味着字符串列将始终由PyArrow支持,必须安装PyArrow才能使用此选项

PyArrow与NumPy对象dtype不同的行为,可能会让人难以详细理解。Pandas实现用于选项字符串dtype,以与NumPy的语义兼容。它的行为与NumPy对象列完全相同

改进的PyArrow支持

设计者在pandas 2.0中引入了基于PyArrow的DataFrame,其过去几个月的主要目标之一是改进pandas内部集成他们目标是尽可能简化从基于NumPy的DataFrame切换过程,着重解决修复性能瓶颈的问题,因为这些问题曾经导致意料之外的减速。

接下来查看一个示例

import pandas as pd
import numpy as np

df = pd.DataFrame(
    {
        "foo": np.random.randint(1, 10, (1_000_000, )),
        "bar": np.random.randint(1, 100, (1_000_000,)),
    }, dtype="int64[pyarrow]"
)
grouped = df.groupby("foo")

本文的DataFrame有100万行和10个组,现在来比较一下pandas 2.0.3pandas 2.1的性能:

pandas 2.0.3
10.6 ms ± 72.7 µs per loop (mean ± stddevof 7 runs, 100 loopeach)

# pandas 2.1.0
1.91 ms ± 3.16 µs per loop (mean ± stddevof 7 runs, 1,000 loopeach)

这个特定的例子在新版本上快了5倍,merge是另一个常用函数,现在速度会更快。

写入复制(Copy-on-Write

写入复制(Copy-on-Write)最初在pandas 1.5.0中引入,并预计将成为pandas 3.0默认行为,写入复制已经在pandas 2.0.x上提供了良好的体验。Pandas团队主要专注于修复已知的错误提高运行速度建议生产环境中使用此模式,现在已经可以看到写入复制可以将实际的工作流程性能提高50%以上。

弃用setitem操作中的静默类型转换

一直以来,如果将不兼容的值设置pandas列中pandas会默默地更改该列的数据类型接下来查看一个示例:

ser = pd.Series([1, 2, 3])

0    1
1    2
2    3
dtypeint64

本示例有一个包整数系列结果将是整数数据类型。现在将字母"a"设置第二行中:

ser.iloc[1] = "a"

0    1
1    a
2    3
dtypeobject

这会将Series数据类型改为objectObject唯一可以容纳整数字符串数据类型,这对许多用户来说是一个很大的问题。Object列会占用大量内存,导致计算无法正常进行、性能下降等许多问题。为了解决这些问题,它还在内部添加了很多特殊处理,在过去,DataFrame中的静默数据类型更改带来了很大的困扰。现在这种行为已被弃用,并将引发FutureWarning

FutureWarning: Setting an item of incompatible dtype is deprecated and will raise in a future 
error opandas. Value 'a' hadtype incompatible with int64, please explicitly cast to a 
compatible dtype first.
  ser.iloc[1] = "a"

类似本文示例的操作将在pandas 3.0中引发错误,DataFrame的数据类型不同操作之间将保持一致。当想要更改数据类型时,则必须明确指定,这会增加一代码量,但对于后续开发人员来说更容易理解这个变化会影响所有的数据类型,例如将浮点值设置到整数列中也会引发异常

升级到新版本

可以使用以下命令安装新的pandas版本

pip install -U pandas

或者:

mamba install -c conda-forgpandas=2.1

这将在用户环境安装版本

原文地址:https://blog.csdn.net/csdn1561168266/article/details/133420745

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_41146.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注