[问题求助] poweshell 合并不同编码文本

娜美

需要将不同编码文本合并，有ANSI  UTF8  带BOM UTF8   有UTF16LE  UTF16BE  Unix和dis格式的

文件夹下有很多文本，大概有3000个，将需要合并的1000多文件名称已经写进一个b.txt文本内了，只需要按b.txt内文件名先后顺序合并即可，防止文本前后行串接，在拼接处，需要留空一行。出来后的文本为ANSI编码，

合并过程中，如果产生识别不了文件名的或者没有此文件啥的原因。需要返回一个提示没有此文件的名称，失败名称存放在另一个文本中bug.txt

由于有不同编码文本，所以优先考虑用poweshell 来完成，代码最好是简单性能又快又准确又帅
谢谢各位poweshell大哥哥啦

基本模型构想

#@&cls&powershell "type %~s0|out-string|iex"&pause

$text = "b.txt"
$out = "all.tmp"
$FailName =bug.txt

#读取b.txt内名称顺序列表
Get-Content  $txt

# 合并
Get-Content $text.FullName | Add-Content $out

# 失败的文件名称
Get-Content $FailName
复制代码

例
1.txt
a
b
c

3.txt
d
e

2.txt
f
g


#  按b.txt 名单顺序先后次序合并,   名单长这样, 名称中文也有一些符号
1.txt
3.txt
2.txt


#  如果产生识别不了文件名的或者没有此文件啥的原因, 需写入报告
bug.txt
2.txt

#  将它们合并后样式
all.tmp
a
b
c

d
e

f
g

czjt1234

powershell不熟悉，vbs来一个

Const b_txt    = "b.txt"
Const out_text = "all.tmp"
Const FailName = "bug.txt"

Set oFSO = CreateObject("Scripting.FileSystemObject")
Set oTextStream1 = oFSO.OpenTextFile(out_text, 2, True)
Set oTextStream2 = oFSO.OpenTextFile(FailName, 2, True)

Set oStream = CreateObject("ADODB.Stream")
oStream.Type = 2    'adTypeText
oStream.Mode = 3    'adModeReadWrite
oStream.Charset = "GBK"
oStream.Open()
oStream.LoadFromFile b_txt
arr = Split(oStream.ReadText(), vbCrLf)
oStream.Close()

For Each i In arr
    If oFSO.FileExists(i) Then
        oStream.Charset = checkCharset(i)
        oStream.Open()
        oStream.LoadFromFile i
        s = oStream.ReadText()
        oStream.Close()
        s = RePlace(s, vbCrLf, vbCr)
        s = RePlace(s, vbLf, vbCr)
        s = RePlace(s, vbCr, vbCrLf)
        oTextStream1.WriteLine s & vbCrLf
    Else
        oTextStream2.WriteLine i
    End If
Next

MsgBox "ok"

Function checkCharset(ByVal file)
    Dim oStream, oRegExp, arr(), s
    Set oStream = CreateObject("ADODB.Stream")
    oStream.Type = 1    'adTypeBinary
    oStream.Mode = 3    'adModeReadWrite
    oStream.Open()
    oStream.LoadFromFile file
    If oStream.Size >= 2 Then
        s = Hex(AscB(oStream.Read(1)))
        s = s & Hex(AscB(oStream.Read(1)))
        If s = "FFFE" Or s = "FEFF" Then
            checkCharset = "Unicode"
            Exit Function
        End If
    End If
    oStream.Position = 0
    ReDim arr(oStream.Size - 1)
    For s = 0 To oStream.Size - 1
        arr(s) = ChrW(AscB(oStream.Read(1)))
    Next
    oStream.Close()
    s = "[\xC0-\xDF]([^\x80-\xBF]|$)"        & _
        "|[\xE0-\xEF].{0,1}([^\x80-\xBF]|$)" & _
        "|[\xF0-\xF7].{0,2}([^\x80-\xBF]|$)" & _
        "|[\xF8-\xFB].{0,3}([^\x80-\xBF]|$)" & _
        "|[\xFC-\xFD].{0,4}([^\x80-\xBF]|$)" & _
        "|[\xFE-\xFE].{0,5}([^\x80-\xBF]|$)" & _
        "|[\x00-\x7F][\x80-\xBF]"            & _
        "|[\xC0-\xDF].[\x80-\xBF]"           & _
        "|[\xE0-\xEF]..[\x80-\xBF]"          & _
        "|[\xF0-\xF7]...[\x80-\xBF]"         & _
        "|[\xF8-\xFB]....[\x80-\xBF]"        & _
        "|[\xFC-\xFD].....[\x80-\xBF]"       & _
        "|[\xFE-\xFE]......[\x80-\xBF]"      & _
        "|^[\x80-\xBF]"
    Set oRegExp = New RegExp
    oRegExp.MultiLine = False
    oRegExp.Pattern = s
    checkCharset = "GBK"
    If Not oRegExp.Test(Join(arr, "")) Then checkCharset = "UTF-8"
End Function
复制代码

aloha20200628

回复 1# 娜美

        powershell确实为转换文件编码提供了.net资源中可靠而高效的方法，但未能直接提供准确率较高的文件编码‘推测’方法。目前已被业界广为采用的文件编码‘推测’方法是源自火狐(firefox)提供的开源代码（如python/c#/java等已均有成熟的接口），还可从有关网站下载其专门编译好的命令行实用工具。如果已经安装了python环境及其chardetect应用，即可直接在其安装主目录下找到...\Scripts\chardetect.exe，用其在命令行直接运行即可获取指定文本文件的编码‘推测’结果。另一个便捷方法是从网址》https://github.com/JetDemo/uchardet 下载源自火狐开源代码采用c++编译好的命令行实用工具 uchardet.exe。
        以下给出的批处理代码就是利用uchardet.exe的‘推测’结果，据此调用powershell的[io.file]方法，实现 utf-8/utf-8+BOM/utf-16le/utf-16be 到简中编码(gb2312)的高速转换，顺便修复了源文件中的unix换行符，生成最终结果文件allinOne.txt。代码中另外附加了文件名分隔标注行，如不需要可删除第4行。

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1-2 delims=-" %%a in (' uchardet.exe "%%~F" ') do (
		if /i "%%a" neq "unknown" (echo,	/// %%~F ///>>"allinOne.txt")
		if /i "%%a"=="utf" if "%%b"=="8" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::utf8);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) else if /i "%%a"=="utf" if "%%b"=="16" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::unicode);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) 
		if /i "%%a"=="ascii" (
			more "%%~F">>"allinOne.txt"
		) else if /i "%%a"=="gb18030" (
			more "%%~F">>"allinOne.txt"			
		) else if /i "%%a"=="unknown" (
			echo,"unknown -- %%F"&echo,%%F>>"bug.txt"
		) 
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

娜美

谢谢2位大哥哥thanks

娜美

回复 3# aloha20200628


   大哥哥 thanks 如果用poweshell可以直接合并所有文本应该是最直接的, 不用管它们是什么编码。 不做所有文件编码判断,  如果用的poweshell合并应该也不会出啥问题  另外poweshell合并时还可以提高一下速度吗

czjt1234

回复 4# 娜美


    运行结果反馈下，看看有没有问题

娜美

回复 6# czjt1234


   大哥哥, 小文本可以没有问题 , 结果倒是正确, 只是有点慢,。它似乎是读写进内存去处理, 如果是有稍大一点文件, 会使内存挤满, 如果挤满了内存等很久都没出结果

娜美

O K 谢 谢  thanks

娜美

回复 3# aloha20200628


   aloha20200628 大哥哥,是不是似乎还可以做些优化 ?  uchardet.exe 它现在需要读完所有文本才能检测出编码, 这似乎要浪费这些没用的时间过程(因为要从头到尾读一遍)   

但是, 如果让它只读文本的前几行就能判断文本编码, 这是不是会更好 ?

aloha20200628

回复 9# 娜美

楼主随便看看有关‘文件编码识别’为何至今未有终解的网页论述即知其中一二了...
好吧再给一个简单版本，就用本坛可下载的coder.exe置换3楼代码中的uchardet.exe，因前者不排查非文本文件类型故可使3楼代码进一步简化...
有劳powershell用.net的[io.file]方法，把utf-8/utf-8+BOM‘兄弟俩’一锅烩了，把utf-16be/utf-16le‘兄弟俩’也一锅烩了，为码农省事了...

@echo off &setlocal &del /q "allinOne.txt" "bug.txt" 2>nul
for /f "delims=" %%F in (b.txt) do if not exist "%%~F" (echo,"badFile -- %%F"&echo,%%F>>"bug.txt") else (
	for /f "tokens=1 delims=_" %%a in (' coder.exe -s -a gc -f "%%~F" ') do (
		echo,	/// %%~F ///>>"allinOne.txt"
		if /i "%%a"=="utf-8" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::utf8);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) else if /i "%%a"=="utf-16" (
			powershell "$s=[io.file]::readalllines('%%~F',[text.encoding]::unicode);[io.file]::appendalllines('allinOne.txt',$s,[text.encoding]::default)"
		) else if /i "%%a"=="ansi" (more "%%~F">>"allinOne.txt")
	)
	echo,>>"allinOne.txt"
)
endlocal&pause&exit/b
复制代码

娜美

回复 10# aloha20200628


   谢谢大哥哥这次更帅了哦,  还请帮我看看8楼修改下, 准备另一个备用

aloha20200628

回复 11# 娜美

8楼代码段 for /r %%a in (*.txt) 只能获取按文件名升序排列的全路径文件名列表，效果与 dir /b/s/a-d *.txt 相同，1楼b.txt中的文件名被人为排序显然与其不符。在命令行运行 dir /? 即可了解》采用 dir 获取文件名列表可通过 文件名或扩展名升降序/文件尺寸/时间属性 来调整排序结果，没有其他更便捷的方法了...

Five66

快和准确不可兼得
简单跟帅也不可兼得
用第三方 file 也能获得编码 http://bcn.bathome.net/s/tool/index.html?key=file

娜美

回复 12# aloha20200628


   thanks

娜美

回复 13# Five66


   1楼(小容量文件)    3楼 and 10楼 是很好解决方案  帅的