当前位置: 代码迷 >> 综合 >> 利用python整理重复的文件
  详细解决方案

利用python整理重复的文件

热度:84   发布时间:2024-01-15 21:43:02.0

发现硬盘里不少重复的文件,包括不同时期备份的手机照片,各种不同时间段下载学习视频:)

如果大文件很多,占用空间太多。必须清除。

写了脚本,遍历了硬盘,算出MD5,看看有多少重复文件。本文只保存结果到excel 中, 可以自行增加判断重复的md5 即可删除。或者将文件移动到新目录中。代码中解决了 utf8 和 gbk编码的问题(windows 系统的文件名是gbk编码)

环境 python 2.7 + win7 64bit

# coding:utf-8import os
import hashlib
import pandas as pddef get_file_size(file_name_path):# 获取文件的大小,结果保留两位小数,单位为MBf_size = os.path.getsize(file_name_path)f_size = f_size/float(1024*1024)return round(f_size, 2)def get_file_md5(filename):if not os.path.isfile(filename):returnmy_hash = hashlib.md5()f = open(filename, 'rb')while True:b = f.read(8096)if not b:breakmy_hash.update(b)f.close()return my_hash.hexdigest()def check_all_files(check_path):list_files = []# 列出文件夹下所有的目录与文件cur_list = os.listdir(check_path)for i in range(0 ,len(cur_list)):file_path = os.path.join(check_path, cur_list[i])if os.path.isdir(file_path):list_files.extend(check_all_files(file_path))if os.path.isfile(file_path):list_files.append([cur_list[i], file_path, get_file_size(file_path), get_file_md5(file_path)])return list_filesdir_str = u'E:\电影'.encode('gbk')a_list = check_all_files(dir_str)
for i in range(len(a_list)):a_list[i][0] = a_list[i][0].decode('gbk')a_list[i][1] = a_list[i][1].decode('gbk')
mydf = pd.DataFrame(a_list,columns=['file', 'path', 'size(MB)', 'md5'])
mydf.to_excel(r"file_list.xlsx",sheet_name="list")

 

  相关解决方案