正文

巧用Python，轻松识别并合并同名或相似文件

/0 浏览量
0807

在处理大量文件时，常常会遇到同名或相似文件的情况。这些文件可能因为各种原因被重复上传或生成，这不仅浪费存储空间，也增加了管理的难度。本文将介绍如何利用Python轻松识别并合并同名或相似文件。

一、同名文件识别

1.1 准备工作

首先，我们需要确定文件所在目录以及需要识别的同名文件的条件。例如，我们可以设置文件名完全相同或仅文件名部分相同。

1.2 编写代码

以下是一个简单的Python脚本，用于识别同名文件：

import os

def find_duplicate_files(directory):
    file_dict = {}
    for root, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(root, file)
            if file in file_dict:
                file_dict[file].append(file_path)
            else:
                file_dict[file] = [file_path]

    for key, value in file_dict.items():
        if len(value) > 1:
            print(f"同名文件：{key}")
            for file_path in value:
                print(file_path)

# 使用示例
find_duplicate_files("/path/to/directory")

1.3 说明

  • os.walk() 函数用于遍历目录及其子目录。
  • file_dict 字典用于存储文件名及其对应的文件路径列表。
  • 如果某个文件名在字典中已存在，则将其路径添加到对应列表中。
  • 如果某个文件名的路径列表长度大于1，则说明存在同名文件。

二、相似文件识别

2.1 准备工作

相似文件识别需要借助一些图像处理或文件内容比较的库，如Pillow、opencv-python或difflib。

2.2 使用Pillow库识别相似图片

以下是一个使用Pillow库识别相似图片的示例：

from PIL import Image
import numpy as np
import os

def find_similar_images(directory, threshold=0.9):
    image_dict = {}
    for root, dirs, files in os.walk(directory):
        for file in files:
            if file.lower().endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
                file_path = os.path.join(root, file)
                image = Image.open(file_path)
                image_array = np.array(image)
                image_hash = np.linalg.norm(image_array)
                if image_hash in image_dict:
                    image_dict[image_hash].append(file_path)
                else:
                    image_dict[image_hash] = [file_path]

    for key, value in image_dict.items():
        if len(value) > 1:
            print(f"相似图片：{value}")
            for file_path in value:
                print(file_path)

# 使用示例
find_similar_images("/path/to/directory")

2.3 使用difflib库比较文本文件

以下是一个使用difflib库比较文本文件相似度的示例：

from difflib import SequenceMatcher

def find_similar_text_files(directory, threshold=0.9):
    file_dict = {}
    for root, dirs, files in os.walk(directory):
        for file in files:
            if file.lower().endswith(('.txt', '.md')):
                file_path = os.path.join(root, file)
                with open(file_path, 'r', encoding='utf-8') as f:
                    content = f.read()
                content_hash = hash(content)
                if content_hash in file_dict:
                    file_dict[content_hash].append(file_path)
                else:
                    file_dict[content_hash] = [file_path]

    for key, value in file_dict.items():
        if len(value) > 1:
            print(f"相似文本文件：{value}")
            for file_path in value:
                print(file_path)

# 使用示例
find_similar_text_files("/path/to/directory")

2.4 说明

  • np.linalg.norm() 函数用于计算图像矩阵的范数，即哈希值。
  • SequenceMatcher 类用于比较两个字符串的相似度。
  • threshold 参数用于设置相似度阈值，可以根据实际需求进行调整。

三、合并同名或相似文件

3.1 合并同名文件

对于同名文件，我们可以直接删除其中一份，或者将它们重命名，以便区分。

以下是一个删除同名文件的示例：

import os

def delete_duplicate_files(directory):
    file_dict = {}
    for root, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(root, file)
            if file in file_dict:
                os.remove(file_path)
            else:
                file_dict[file] = file_path

# 使用示例
delete_duplicate_files("/path/to/directory")

3.2 合并相似文件

对于相似文件，我们可以根据文件类型选择合适的合并方式。以下是一个合并文本文件的示例：

import os

def merge_similar_text_files(directory):
    file_dict = {}
    for root, dirs, files in os.walk(directory):
        for file in files:
            if file.lower().endswith(('.txt', '.md')):
                file_path = os.path.join(root, file)
                with open(file_path, 'r', encoding='utf-8') as f:
                    content = f.read()
                content_hash = hash(content)
                if content_hash in file_dict:
                    file_dict[content_hash].append(file_path)
                else:
                    file_dict[content_hash] = [file_path]

    for key, value in file_dict.items():
        if len(value) > 1:
            merged_content = ""
            for file_path in value:
                with open(file_path, 'r', encoding='utf-8') as f:
                    merged_content += f.read() + "\n"
            output_path = os.path.join(root, f"{key}.txt")
            with open(output_path, 'w', encoding='utf-8') as f:
                f.write(merged_content)

# 使用示例
merge_similar_text_files("/path/to/directory")

3.3 说明

  • os.remove() 函数用于删除文件。
  • os.path.join() 函数用于连接路径。
  • with 语句用于确保文件在读取或写入后正确关闭。

四、总结

本文介绍了如何利用Python识别并合并同名或相似文件。通过编写简单的脚本，我们可以轻松地管理文件，提高工作效率。在实际应用中，可以根据具体需求调整代码，以满足不同场景的需求。

-- 展开阅读全文 --