本文介绍: 在数据处理时,经常会因为index报错而发愁。不要紧,本次来和大家聊聊pandas处理索引几种常用方法

数据处理时,经常会因为index报错而发愁。不要紧,本次来和大家聊聊pandas处理索引几种常用方法

1.读取指定索引

很多情况下,我们数据源是 CSV 文件假设一个名为文件data.csv包含以下数据

date,temperature,humidity
07/01/21,95,50
07/02/21,94,55
07/03/21,94,56

默认情况下,pandas将会创建一个从0开始的索引行,如下

>>> pd.read_csv("data.csv", parse_dates=["date"])
        date  temperature  humidity
0 2021-07-01           95        50
1 2021-07-02           94        55
2 2021-07-03           94        56

但是,我们可以导入过程通过index_col参数设置为某一列可以直接指定索引列。

>>> pd.read_csv("data.csv", parse_dates=["date"], index_col="date")
            temperature  humidity
date                             
2021-07-01           95        50
2021-07-02           94        55
2021-07-03           94        56

2. 使用现有的 DataFrame 设置索引

当然,如果已经读取数据或做完一些数据处理步骤后,我们可以通过set_index手动设置索引。

>>> df = pd.read_csv("data.csv", parse_dates=["date"])
>>> df.set_index("date")
            temperature  humidity
date                             
2021-07-01           95        50
2021-07-02           94        55
2021-07-03           94        56

这里两点需要注意下。

  1. set_index方法默认创建一个新的 DataFrame。如果要就地更改df的索引,需要设置inplace=True

df.set_index(“date”, inplace=True)
  1. 如果要保留将要被设置为索引的列,可以设置drop=False

df.set_index(“date”, drop=False)

3. 一些操作重置索引

处理 DataFrame 时,某些操作例如删除行、索引选择等)将会生成原始索引的子集,这样默认数字索引排序就乱了。如要重新生成连续索引,可以使用reset_index方法

>>> df0 = pd.DataFrame(np.random.rand(5, 3), columns=list("ABC"))
>>> df0
          A         B         C
0  0.548012  0.288583  0.734276
1  0.342895  0.207917  0.995485
2  0.378794  0.160913  0.971951
3  0.039738  0.008414  0.226510
4  0.581093  0.750331  0.133022
>>> df1 = df0[df0.index % 2 == 0]
>>> df1
          A         B         C
0  0.548012  0.288583  0.734276
2  0.378794  0.160913  0.971951
4  0.581093  0.750331  0.133022
>>> df1.reset_index(drop=True)
          A         B         C
0  0.548012  0.288583  0.734276
1  0.378794  0.160913  0.971951
2  0.581093  0.750331  0.133022

通常,我们是不需要保留旧索引的,因此可将drop参数设置为True。同样,如果要就地重置索引,可设置inplace参数True,否则将创建一个新的 DataFrame。

4. 将索引从 groupby 操作转换为列

groupby分组方法是经常用的。比如下面通过添加一个分组team来进行分组

>>> df0["team"] = ["X", "X", "Y", "Y", "Y"]
>>> df0
          A         B         C team
0  0.548012  0.288583  0.734276    X
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
3  0.039738  0.008414  0.226510    Y
4  0.581093  0.750331  0.133022    Y
>>> df0.groupby("team").mean()
             A         B         C
team                              
X     0.445453  0.248250  0.864881
Y     0.333208  0.306553  0.443828

默认情况下,分组会将分组编程index索引。但是很多情况下,我们不希望分组列变成索引,因为可能有些计算或者判断逻辑还是需要用到该列的。因此,我们需要设置一下让分组列不成为索引,同时也能完成分组的功能

有两种方法可以完成所需的操作,第一种是用reset_index,第二种是在groupby方法里设置as_index=False个人更喜欢第二种方法,它只涉及两个步骤,更简洁

>>> df0.groupby("team").mean().reset_index()
  team         A         B         C
0    X  0.445453  0.248250  0.864881
1    Y  0.333208  0.306553  0.443828
>>> df0.groupby("team", as_index=False).mean()
  team         A         B         C
0    X  0.445453  0.248250  0.864881
1    Y  0.333208  0.306553  0.443828

5.排序后重置索引

当用sort_value排序方法时也会遇到这个问题,因为默认情况下,索引index跟着排序顺序变动,所以是乱雪。如果我们希望索引不跟着排序变动,同样需要sort_values方法中设置一下参数ignore_index即可

>>> df0.sort_values("A")
          A         B         C team
3  0.039738  0.008414  0.226510    Y
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
0  0.548012  0.288583  0.734276    X
4  0.581093  0.750331  0.133022    Y
>>> df0.sort_values("A", ignore_index=True)
          A         B         C team
0  0.039738  0.008414  0.226510    Y
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
3  0.548012  0.288583  0.734276    X
4  0.581093  0.750331  0.133022    Y

6.删除重复后重置索引

删除重复项和排序一样,默认执行后也会打乱排序顺序。同理,可以drop_duplicates方法中设置ignore_index参数True即可

>>> df0
          A         B         C team
0  0.548012  0.288583  0.734276    X
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
3  0.039738  0.008414  0.226510    Y
4  0.581093  0.750331  0.133022    Y
>>> df0.drop_duplicates("team", ignore_index=True)
          A         B         C team
0  0.548012  0.288583  0.734276    X
1  0.378794  0.160913  0.971951    Y

7. 索引的直接赋值

我们有了一个 DataFrame 时,想要使用不同数据源或单独的操作分配索引。在这种情况下,可以直接将索引分配现有的 df.index

>>> better_index = ["X1", "X2", "Y1", "Y2", "Y3"]
>>> df0.index = better_index
>>> df0
           A         B         C team
X1  0.548012  0.288583  0.734276    X
X2  0.342895  0.207917  0.995485    X
Y1  0.378794  0.160913  0.971951    Y
Y2  0.039738  0.008414  0.226510    Y
Y3  0.581093  0.750331  0.133022    Y

8.写入CSV文件忽略索引

数据导出到 CSV 文件时,默认 DataFrame 具有从 0 开始的索引。如果我们不想在导出的 CSV 文件包含它,可以to_csv方法中设置index参数

>>> df0.to_csv("exported_file.csv", index=False)

如下所示导出的 CSV 文件中,索引列未包含文件中。

图片

其实,很多方法中都有关于索引的设置,只不过大家一般比较关心数据,而经常忽略了索引,才导致继续运行可能报错。以上几个高频的操作都是有索引设置的,建议大家平时用的时候养成设置索引的习惯,这样会节省不少时间

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划最后大家分享一份全套的 Python 学习资料,给那些想学习 Python小伙伴们一点帮助!

一、Python所有方向学习路线

Python所有方向技术点做的整理,形成各个领域知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应学习资源,保证自己学得较为全面。

在这里插入图片描述

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频,看视频学习是最快捷也是最有效果方式,跟着视频老师思路,从基础到深入,还是很容易入门的。

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例学习

五、Python练习题

检查学习结果

六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里腾讯字节等一线互联网大厂最新面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作

 最后大家天天进步!!

上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。

原文地址:https://blog.csdn.net/Java_Joker/article/details/132378366

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_37428.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注