[文本处理] 比较文件内容，请大神们给个思路

dailyad

我现在下载了4个数据的smiles格式数据，打开后里面里面才一行，以空格结尾，如：

C([C@@H](C(=O)O)N)c1ncn(C)c1	
复制代码

四个数据的命名规律都不一样，每个数据库文件1-2万，现在想去掉重复的项，思路有两个，请大神们指导一下
1.先提取文件名+数据，保存为CSV，再想办法处理
2.批处理遍历比较内容，输出有相同内容的文件名称。

dailyad

可以先以文件大小来排序，再根据大小去重，cmd好像是有提供一个命令来判断文件是否相同的，自己help看看
wujunkai 发表于 2020-5-22 22:01

    仔细比较了一下，有一些文件空格后面还可能带有字符，此外，相通大小的文件超级多，所以比较大小不是很靠谱，搜索空格前面的字符，看起来工作量很大。

dailyad

多谢二位