python 删除列表重复数据_python怎么找出列表中的重复数据

激活谷笔记 • 2025-03-04 16:36 • 阅读 93

在Python中，删除列表中的重复素可以通过多种方法实现。以下是几种常见的方法：

1. 使用集合（set）：

 lst = [1, 2, 3, 2, 4, 5, 3, 6] unique_lst = list（set（lst）） print（unique_lst） 输出：[1, 2, 3, 4, 5, 6]

2. 使用列表推导式：

 lst = [1, 2, 3, 2, 4, 5, 3, 6] new_lst = [] [new_lst.append（x） for x in lst if x not in new_lst] print（new_lst） 输出：[1, 2, 3, 4, 5, 6]

3. 使用字典的`fromkeys`方法：

 lst = [1, 2, 3, 2, 4, 5, 3, 6] unique_ordered = list（dict.fromkeys（lst）） print（unique_ordered） 输出：[1, 2, 3, 4, 5, 6]

4. 使用`sort`方法和`index`：

 lst = [10, 1, 2, 20, 10, 3, 2, 1, 15, 20, 44, 56, 3, 2, 1] lst.sort（key=lst.index） print（lst） 输出：[1, 2, 3, 10, 15, 20, 44, 56]

5. 循环遍历删除：

 l1 = [1, 1, 2, 2, 3, 3, 3, 3, 6, 6, 5, 5, 2, 2] for i in range（len（l1））: if l1.count（l1[i]） > 1: l1.remove（l1[i]） print（l1） 输出：[1, 2, 3, 6, 5]

选择哪种方法取决于你的具体需求，例如是否需要保持素的原始顺序。如果你需要处理的是表格数据，特别是Excel文件中的数据，可以使用`pandas`库来简化操作。

例如，要删除Excel文件中的重复行，你可以使用以下代码：

 import pandas as pd 读取Excel文件中的数据 data = pd.read_excel（'test.xls', 'Sheet1'） 查看数据内容 print（data） 删除重复行 no_re_row = data.drop_duplicates（） 输出到新的Excel文件 no_re_row.to_excel（'test2.xls', index=False）

这段代码会读取名为`test.xls`的Excel文件中的`Sheet1`工作表，删除重复行，并将结果保存到名为`test2.xls`的新Excel文件中。

如果你需要处理的是更复杂的重复项问题，例如根据某些条件合并重复项，你可能需要编写更复杂的逻辑。例如，根据`Name`列去重并保留`Score`最高的那一项，可以使用以下代码：

 import pandas as pd 读取Excel文件 df = pd.read_excel（'input.xlsx'） 根据Name列去重，保留Score最高的那一项 df = df.sort_values（by=['Name1', 'Name2', 'Score'], ascending=[True, True, False]） df = df.drop_duplicates（subset=['Name1', 'Name2']） 输出到新的Excel文件 df.to_excel（'output.xlsx', index=False）

这段代码会读取名为`input.xlsx`的Excel文件，根据`Name1`和`Name2`列去重，并只保留`Score`最高的那一行，然后将结果保存到名为`output.xlsx`的新Excel文件中。

请根据你的具体需求选择合适的方法，并适当修改代码以满足你的数据处理要求

python 删除列表重复数据_python怎么找出列表中的重复数据

相关推荐