python查重函数_基于python的查重系统

激活谷笔记 • 2026-05-04 17:56 • 阅读 1

在Python中，查找重复值可以通过多种方法实现，以下是一些常见的方法：

1. 使用循环遍历列表或数组，比较每个素与其后面的素，找出重复值。

python

def find_duplicates（arr）:

duplicates = []

for i in range（len（arr））:

for j in range（i + 1, len（arr））:

if arr[i] == arr[j] and arr[i] not in duplicates:

duplicates.append（arr[i]）

return duplicates

arr = [1, 2, 3, 4, 4, 5, 6, 6]

print（find_duplicates（arr））输出： [4, 6]

2. 利用集合（Set）的特性，将列表或数组转换为集合，重复值会被自动去除。

python

def find_duplicates（arr）:

return list（set（arr））

arr = [1, 2, 3, 4, 4, 5, 6, 6]

print（find_duplicates（arr））输出： [1, 2, 3, 4, 5, 6]

3. 使用`collections`模块中的`Counter`类，统计列表或数组中每个素的出现次数，出现次数大于1的表示有重复值。

python

from collections import Counter

def find_duplicates（arr）:

return [item for item, count in Counter（arr）.items（） if count > 1]

arr = [1, 2, 3, 4, 4, 5, 6, 6]

print（find_duplicates（arr））输出： [4, 6]

4. 利用字典统计素出现次数，保留原始数据的顺序信息。

python

def find_duplicates（data）:

count_dict = {}

for item in data:

if item in count_dict:

count_dict[item] += 1

else:

count_dict[item] = 1

return [item for item, count in count_dict.items（） if count > 1]

data = [1, 2, 3, 2, 4, 3, 5]

print（find_duplicates（data））输出： [2, 3]

5. 使用`difflib`库进行自动查重，主要介绍了`SequenceMatcher`和`Differ`两个类的用法。

python

import difflib

def find_duplicates_text（text1, text2）:

d = difflib.Differ（）

diffs = list（d.compare（text1.splitlines（）, text2.splitlines（）））

duplicates = [line for line in diffs if line.startswith（'-'）]

return duplicates

text1 = "This is a test text."

text2 = "This is another test text."

print（find_duplicates_text（text1, text2））输出包含重复行的列表

6. 对于文件查重，可以使用`find_same_file`库，该库基于MD5值来查找相同的文件。

python

import find_same_md5_file

find_same_md5_file.print_same（'C:/'）输出相同MD5值的文件路径

以上方法可以帮助你在Python中查找重复值。请根据你的具体需求选择合适的方法

python查重函数_基于python的查重系统

相关推荐