thp2008

Python 保存xxx.py  要先安装Python

# 获取输入文件名
input_file = input("请输入需要去除重复行的文本文件名: ")

# 确保输入文件存在
try:
    with open(input_file, 'r', encoding='utf-8') as file:
        lines = file.readlines()
except FileNotFoundError:
    print(f"文件 '{input_file}' 不存在，请确保文件名正确。")
    exit(1)

# 创建输出文件名
output_file = input_file.replace('.', '-BuCF.')

# 去除重复行并保存到输出文件，保持原始顺序
unique_lines = []
seen = set()
for line in lines:
    if line not in seen:
        unique_lines.append(line)
        seen.add(line)

with open(output_file, 'w', encoding='utf-8') as file:
    file.writelines(unique_lines)

print(f"已去除重复行并保存到 '{output_file}' 文件中。")
复制代码

thp2008

批量版本的

import os

# 创建 output 子目录
if not os.path.exists('output'):
    os.mkdir('output')

# 获取当前目录下的所有 *.txt 文件
txt_files = [filename for filename in os.listdir() if filename.endswith('.txt')]

for input_file in txt_files:
    # 确保输入文件存在
    try:
        with open(input_file, 'r', encoding='utf-8') as file:
            lines = file.readlines()
    except FileNotFoundError:
        print(f"文件 '{input_file}' 不存在，请确保文件名正确。")
        continue

    # 创建输出文件名
    output_file = os.path.join('output', input_file.replace('.', '-BuCF.'))

    # 去除重复行并保存到输出文件，保持原始顺序
    unique_lines = []
    seen = set()
    for line in lines:
        if line not in seen:
            unique_lines.append(line)
            seen.add(line)

    with open(output_file, 'w', encoding='utf-8') as file:
        file.writelines(unique_lines)

    print(f"已去除重复行并保存到 'output/{output_file}' 文件中。")
复制代码