设为首页收藏本站
切换到宽版

 找回密码
 注册
搜索
批处理之家»论坛 › 批处理专区: BAT CMD DOS › BAT求助&讨论 › 请问去重复行的批处理如何修改为批量处理？ ...
[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
123下一页
返回列表 发新帖
查看: 90699|回复: 31

[文本处理] 请问去重复行的批处理如何修改为批量处理？

[复制链接]
娜美
发表于 2023-9-18 14:42:23 | 显示全部楼层 |阅读模式
  1. @echo off
  2. setlocal
  3. (for /f "delims=" %%i in (a.txt) do (
  4.     if not defined %%i (
  5.         echo,%%i
  6.         set %%i=1
  7.     )
  8. ))>b.txt
  9. endlocal
  10. pause
复制代码
改为批量执行会错误, 结果不对, 请问如何修改为批量处理


  3. @echo off
  4. setlocal
  5. (for /f "delims=" %%i in (%%i.txt) do (
  6.     if not defined %%i (
  7.         echo,%%i
  8.         set %%i=1
  9.     )
  10. ))>%%i.txt
  11. endlocal
  12. pause
复制代码
回复

举报

pd1
发表于 2023-9-18 16:58:11 | 显示全部楼层
%%i.txt  是什么
  1. @echo off
  2. setlocal
  3. for /f "delims=" %%a in ('dir /b *.txt') do (
  4. (for /f "delims=" %%i in (%%a) do (
  5.     if not defined %%i (
  6.         echo,%%i
  7.         set %%i=1
  8.     )
  9.     set  %%i=
  10. )))>%%a.txt
  11. endlocal
  12. pause
复制代码
回复

举报

娜美
 楼主| 发表于 2023-9-18 17:12:39 | 显示全部楼层
本帖最后由 娜美 于 2023-9-18 17:25 编辑

回复 2# pd1
  1. @echo off
  2. setlocal
  3. for /f "delims=" %%a in ('dir /b *.txt') do (
  4. (for /f "delims=" %%i in (%%a) do (
  5.     if not defined %%i (
  6.         echo,%%i
  7.         set %%i=1
  8.     )
  9.     set  %%i=
  10. )))>%%a.txt
  11. endlocal
  12. pause
复制代码
主题代码是去重复行的  执行后, 输出了整个原文本, 似乎失效,  不知道啥原因
例
1.txt
C
B
A
C

2.txt
A
B
C
A
回复

举报

pd1
发表于 2023-9-18 17:30:15 | 显示全部楼层
  1. @echo off
  2. powershell -c "dir *.txt|%{gc $_|Select-Object -Unique|sc $_}"
  3. pause
复制代码
回复

举报

pd1
发表于 2023-9-18 17:33:59 | 显示全部楼层
我不知道那个是去重的，所以就随便改了应该是我改的有问题吧
批处理水平不行，还得再学习
回复

举报

thp2008
发表于 2023-9-18 19:11:19 | 显示全部楼层
Python 保存xxx.py  要先安装Python
  1. # 获取输入文件名
  2. input_file = input("请输入需要去除重复行的文本文件名: ")

  4. # 确保输入文件存在
  5. try:
  6.     with open(input_file, 'r', encoding='utf-8') as file:
  7.         lines = file.readlines()
  8. except FileNotFoundError:
  9.     print(f"文件 '{input_file}' 不存在，请确保文件名正确。")
  10.     exit(1)

  12. # 创建输出文件名
  13. output_file = input_file.replace('.', '-BuCF.')

  15. # 去除重复行并保存到输出文件，保持原始顺序
  16. unique_lines = []
  17. seen = set()
  18. for line in lines:
  19.     if line not in seen:
  20.         unique_lines.append(line)
  21.         seen.add(line)

  23. with open(output_file, 'w', encoding='utf-8') as file:
  24.     file.writelines(unique_lines)

  26. print(f"已去除重复行并保存到 '{output_file}' 文件中。")
复制代码
回复

举报

thp2008
发表于 2023-9-18 19:13:51 | 显示全部楼层
批量版本的
  1. import os

  3. # 创建 output 子目录
  4. if not os.path.exists('output'):
  5.     os.mkdir('output')

  7. # 获取当前目录下的所有 *.txt 文件
  8. txt_files = [filename for filename in os.listdir() if filename.endswith('.txt')]

  10. for input_file in txt_files:
  11.     # 确保输入文件存在
  12.     try:
  13.         with open(input_file, 'r', encoding='utf-8') as file:
  14.             lines = file.readlines()
  15.     except FileNotFoundError:
  16.         print(f"文件 '{input_file}' 不存在，请确保文件名正确。")
  17.         continue

  19.     # 创建输出文件名
  20.     output_file = os.path.join('output', input_file.replace('.', '-BuCF.'))

  22.     # 去除重复行并保存到输出文件，保持原始顺序
  23.     unique_lines = []
  24.     seen = set()
  25.     for line in lines:
  26.         if line not in seen:
  27.             unique_lines.append(line)
  28.             seen.add(line)

  30.     with open(output_file, 'w', encoding='utf-8') as file:
  31.         file.writelines(unique_lines)

  33.     print(f"已去除重复行并保存到 'output/{output_file}' 文件中。")
复制代码
回复

举报

娜美
 楼主| 发表于 2023-9-18 19:38:57 | 显示全部楼层
哥哥们怎么搞的变复杂了

只想将主题代码改为批量执行后输出对应文件名就行
2楼哥哥理解正确, 但是执行后没有发挥作用
用bat只因为要添加到bat脚本中,
回复

举报

Five66
发表于 2023-9-18 20:07:53 | 显示全部楼层
本帖最后由 Five66 于 2023-9-18 20:41 编辑

已编辑，看10~12楼
回复

举报

buyiyang
发表于 2023-9-18 20:20:37 | 显示全部楼层
回复 9# Five66


    set %%i=1这里可能会有问题，可能会有行以数字开头， 而变量名不能以数字开头。
回复

举报

buyiyang
发表于 2023-9-18 20:24:40 | 显示全部楼层
这个方法去重有一个局限，批处理单个环境变量最大为8192B，所有变量的总共不能超过65536KB，如果单行字符过多、单个文件过大会有误差。
回复

举报

aloha20200628
发表于 2023-9-18 20:28:22 | 显示全部楼层

采用变量字典的去重方案有几点注意，虽是老调重弹，但用于大数据场合依然有限》
一。单个文件行数限制
二。单行字符长度限制
三。文本行皆为a-zA-Z字母时，变量字典定义因不区分大小写而失误

  2. @echo off
  3. for /f "delims=" %%a in ('dir /b/a-d *.txt') do (
  4.         setlocal enabledelayedexpansion
  5.         (for /f "usebackq delims=" %%i in ("%%~a") do if not defined _%%i (
  6.                 set "_%%i=1" &echo,%%i))>"%%~a.new"
  7.         endlocal
  8. )
复制代码
回复

举报

Five66
发表于 2023-9-18 20:34:35 | 显示全部楼层
回复 10# buyiyang


    感谢，涨姿势了
回复

举报

Batcher
发表于 2023-9-18 20:53:15 | 显示全部楼层
回复 2# pd1


根据楼主的描述来猜测，把setlocal放到循环内部比较合适：
  1. @echo off
  2. for /f "delims=" %%a in ('dir /b /a-d *.txt') do (
  3.     setlocal
  4.     (for /f "delims=" %%i in ('type "%%~a"') do (
  5.         if not defined _%%i (
  6.             set "_%%i=1"
  7.             echo,%%i
  8.         )
  9.     ))>"%%~a.new"
  10.     endlocal
  11. )
复制代码

评分

参与人数 1技术 +1 收起 理由
pd1 + 1 我还没搞明白这个setlocal endlocal。 要 ...

查看全部评分

回复

举报

娜美
 楼主| 发表于 2023-9-18 21:02:32 | 显示全部楼层
回复 14# Batcher


   对了, 原来可以这样, 谢谢哥哥
回复

举报

下一页 »
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|批处理之家 ( 渝ICP备10000708号 )

GMT+8, 2026-3-18 13:25 , Processed in 0.023326 second(s), 9 queries , File On.

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表