python数据的清洗_python 图形界面

激活谷笔记 • 2025-01-17 23:12 • 阅读 18

在Python中，数据清洗可以通过使用Pandas库来完成，下面是一些基本步骤和示例代码：

步骤：

导入必要的库

 import pandas as pd

读取数据

 data = pd.read_csv（'data.csv'）

查看数据的前几行

 print（data.head（））

检查数据中是否有缺失值

 print（data.isnull（）.sum（））

处理缺失值

删除缺失值

 data.dropna（inplace=True）

填充缺失值

 data.fillna（data.mean（）, inplace=True）

检查重复值并删除

 data.drop_duplicates（inplace=True）

数据类型转换

 data['column'] = data['column'].astype（int）

清除数据中的异常值

 data = data[（data['column'] >= min_value） & （data['column'] <= max_value）]

保存清洗后的数据

 data.to_csv（'cleaned_data.csv', index=False）

示例代码：

 import pandas as pd import numpy as np 创建空的DataFrame，保存测试数据 test_df = pd.DataFrame（{'K1': ['C1', 'C1', 'C2', 'C3', 'C4', 'C2', 'C1'], 'K2': ['A', 'A', 'B', 'C', 'D', np.NaN, np.NaN]}） 按K1列进行分组，组内进行unique操作（去除重复素，返回组或列表） test_df_unique = pd.DataFrame（test_df.groupby（['K1']）['K2'].agg（'unique'）） 自定义函数判断组中是否含有nan def has_nan（list）: flag = False for x in list: if x is np.NaN: flag = True break return flag 自定义函数判断组中是否不含有nan def no_nan（list）: flag = True for x in list: if x is np.NaN: flag = False break return flag 获取K2列含有nan的数据 test_df_unique_has_nan = test_df_unique[test_df_unique['K2'].apply（has_nan）] 获取K2列不含有nan的数据 test_df_unique_no_nan = test_df_unique[test_df_unique['K2'].apply（no_nan）]

以上步骤和代码可以帮助你进行基本的数据清洗工作。根据你的具体需求，你可能需要进一步定制这些步骤和代码。

python数据的清洗_python 图形界面

相关推荐