【已解决】删除同名文件的重复内容

屡败屡战 · 发表于 2018-2-24 20:14:09

本帖最后由屡败屡战于 2018-3-6 18:04 编辑

各位论坛大伽过年好！！
我有个请求：
假设有3~5个文件夹，其中各个文件夹内文件是同名的（即文件标题是相同的），其中同名文件中的内容，有80%·90%内容是相同的，多少会有一些出入。
我想要实现的结果是：在这几个文件夹中，在同名文件之间，若发现有相同的“行”内容，则全部删除不保留，在原始文件中只保留不重复的内容。
不知遒是否能够实现。

ivor · 发表于 2018-2-24 23:22:55

测试文件夹d:\1,d:\2
同文件名不重复的数据输出到d:\3文件夹
Python 3.5

import os
dic = {}
def extract(dirPath='.'):
for i in os.listdir(dirPath):
with open('%s\%s' % (dirPath, i), 'r') as file:
for line in file:
if i not in dic:
dic[i] = []
if line not in dic[i]:
dic[i].append(line)
def save(dirpath='.'):
for i in dic:
with open(r'%s\%s' % (dirpath, i), 'w') as file:
file.writelines(dic[i])
#multiple source folder
for i in [r'D:\1',r'D:\2']:
extract(i)
#save folder
save(r'D:\3')
#print(dic)

复制代码

ivor · 发表于 2018-2-25 10:40:19

#!/usr/bin/python
# -*- coding:utf-8 -*-
#在这几个文件夹中，在同名文件之间，若发现有相同的“行”内容，则全部删除不保留，在原始文件中只保留不重复的内容。
import os
dic = {}
def uniq(dirPath='.'):
for i in os.listdir(dirPath):
with open('%s\%s' % (dirPath, i), 'r+') as file:
print("%s\n%s\n%s" % ('{:*<30}'.format(''), i, '{:*<30}'.format('')))
f = file.readlines()
file.seek(0)
file.truncate()
for line in f:
if i not in dic:
dic[i] = []
if line not in dic[i]:
dic[i].append(line)
file.write(line)
print(line)
#multiple source folders
for i in [r'D:\1',r'D:\2']:
uniq(i)

复制代码

屡败屡战 · 发表于 2018-2-25 12:49:41

ivor老师：
你真得很好，热心帮助菜鸟，很感谢！！
同时觉得您的代码好像很高深，麻烦您指点下，代码该“另存为”什么样的后缀名？要下载什么软件运行代码？及如何运行代码？？
我的是win7 64位系统。

ivor · 发表于 2018-2-25 12:58:32

回复 5# 屡败屡战

下载地址：https://www.python.org/ftp/python/3.6.4/python-3.6.4.exe

代码保存后缀 .py

屡败屡战 · 发表于 2018-2-25 16:10:57

ivor老师：
请帮忙改个代码，此代码是给多个txt文本内容批量添加顺序数字的，
例如顺数第一行、第二行... 依次添加【0】、【1】、【2】.....等等顺序数字
现在，我要反其道为之。
即“倒数”的第一行、第二行... 依次添加【0】、【1】、【2】.....等等顺序数字
要求顺序数字是由“下”向“上”依次添加的。
如此倒着添加“顺序数字”，便于我日后提取xx行內容。
代码如下：

@echo off&setlocal enabledelayedexpansion
for /r %%i in (*.txt) do (
set num=0
for /f "usebackq delims=" %%a in ("%%~nxi") do (
echo 【!num!】￥%%a>>temp.txt
set /a num+=1
)
move temp.txt "%%i"
)
pause

复制代码

效果图：
修改前：

修改后：

ivor · 发表于 2018-2-25 17:43:22

本帖最后由 ivor 于 2018-2-25 18:06 编辑

回复 7# 屡败屡战

<# :
@echo off
rem 增强代码兼容性,代码保存为 ".bat"、".cmd"、".ps1"均可执行
powershell Set-ExecutionPolicy -ExecutionPolicy RemoteSigned
more +8 "%~f0" >"%~dpn0.ps1"
powershell -File "%~dpn0.ps1"
del "%~dpn0.ps1" & pause & exit /b
#>
dir *.txt | foreach {
$con = get-content $_
$n = 0
del $_
for ($i=$con.Count-1; $i -ge 0; $i-- -and $n++)
{
"【{0}】￥{1}" -f $n,$con[$i]
"【{0}】￥{1}" -f $n,$con[$i] | out-file -FilePath $_ -Append
}
}

复制代码

屡败屡战 · 发表于 2018-2-25 20:09:26

ivor老师：
   此代码运行完美，但我这里有些小问题，我的计算机好像不太支持“powershell 代码”（我安装powershell 文件好多遍，均安装失败）。于是我将此代码“另存为”.bat时，其代码运行只针对“桌面”的文件夹有效。但在其它盘符运行，则无效。自己估计，好傢是本地计算机不支持“powershell 代码”所致。
   望求个“纯”的批处理代码，使其可以在其它盘符运行。

   同样：我的另外求助贴，【求助】批量提取N个文本的倒数任意行内容？？
其中，老师的代码（增强代码兼容），也是如此，不知道咋回事？？

ivor老师：如果勉为其难，就算了，我将待处理文件移至桌面，代码也可以使用

代码在其他盘符运行错误：

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 【已解决】删除同名文件的重复内容

评分