[文本处理] [已解决]批处理如何对比处理2个文本之间重复的内页域名？

yiduancang

各位大大 我有2个文本 假设为A B或者新 旧。。新文本里有http://www.bathome.net/1  http://www.bathome.net/2   这样的网站二级域名内页网址  然后旧文本里有http://www.bathome.net/123   http://www.bathome.net/4565  这样的网址  批处理有办法去除新文本里在旧的文本已经包含的二级域名吗？

再举个简单的例子  
比如我第一份文本里 有WWW.XXX.COM/123 第二份里有www.xxx.com/234
这样就判断为重复、、这样说来的简单点、、 对了。。因为要求的结果是二级域名保存下来。。所以没办法用一些手段去掉后面/123 内页域名 保留顶级域名 不然网上倒是有几款现成的软件可以处理

大概就是这样了 请问下各位大大神批处理能提取这样不重复的网址吗  或者直接删除新文本里跟旧文本比较起来重复的内容也行、、、重点是数据量比较大 十几W 几十W的网址这样。。处理多了会崩溃不  试用过notepad++这个文本神器。。。 可能是我太菜了 不会正则表达。 求解啊。。这个问题困扰我蛮久了。。日常工作中。。依靠人肉去 去重复实在太坑爹了。。。。 求大神解救于我水生火热之中。。拜谢。。

batman

说实话，看了半天硬是不明白楼主所说的重复概念。。。

问题倒是很简单。。。

find

请分别从两个文件里面各取10行真实数据贴出来，然后把你希望得到的结果也贴出来。

yiduancang

回复 3# find


   好的  可能我意思表达的不太清楚  假设下面10条网址是我的旧资源
http://pluesystem.com/seo.html
http://plumbingcosydney.com.au/links
http://pn-kuningan.go.id/node/2
http://pnsbfc.com/v2/node/118
http://pnwoutdoors.com/hunting/1380-meet-swingers-threesomes.html
http://pocketpaindoctor.com/?q=node/21
http://pocketpaindoctor2.corporateconstipation.com/?q=node/21
http://pocketshark.com/blog/page/joseshin?entry=wonderful_prospect_for_the_industry
http://pointspread.com/news/mlb/brandon-league-hasn’t-blown-closer’s-role-yet.html

再下面这10条是我的新资源
http://pluesystem.com/s23423523522424eo.html
http://plumbingcosydney.com.au/links114124141313412
http://pn-kuningan.go.id/node/222222222222222224241414
http://pnsbfc.com/v2/node/11812222222222124124
http://pnwoutdoors.com/hunting/1380-meet-swingers-threesomes.html14444411214

http://guardian.co.uk/books/2004/oct/27/booksforchildrenandteenagers
http://guardiannews.us
http://guccihoody.medykblog.pl
http://gudangfiles.com/showpads.php?cat=desktop::screen%20savers:%20other
http://guernicamag.com/blog/2133/okey_ndibe_my_debt_to_nigerias

然后这5个网址是我想要的结果
http://guardian.co.uk/books/2004/oct/27/booksforchildrenandteenagers
http://guardiannews.us
http://guccihoody.medykblog.pl
http://gudangfiles.com/showpads.php?cat=desktop::screen%20savers:%20other
http://guernicamag.com/blog/2133/okey_ndibe_my_debt_to_nigerias

我这样举例不知道版主和这位大大能否看明白没  你门仔细看就会发现 旧资源中有http://pluesystem.com/seo.html   而新资源中有http://pluesystem.com/s23423523522424eo.html  它们同是http://pluesystem.com 这个网站的内页域名。。。也就是说 我的排除条件 是建立在http://pluesystem.com 这种主域名上的 再说的土点 就是到.com(当然网址后缀不止是.com。。总之就是以网站主域名来判断）这里为判断是否重复条件  而不是看整条网址 这样不知道能否做到。。。提醒下 在下处理的数据量都是几十W级别的。。如果批处理的话 在数据量大的时候不知道会出错不  还望版主及各位大侠出手啊

yiduancang

回复 2# batman


哈哈 抱歉。。表达能力比较差= =！ 例子我已经举例在楼下了 麻烦版主帮忙看下 谢谢。。

ArdentMan

几十万条无法测试效率

@Echo Off
For /F "Tokens=2 Delims=/" %%a In (旧文本) Do Set "%%a=a"
(For /F "Tokens=2* Delims=/" %%a In (新文本) Do (
  If Not Defined %%a Echo http://%%a/%%b
))>$
move $ 新文本
复制代码

yiduancang

回复 6# ArdentMan


测试了下 木有动静啊  文本命名为 新文本  旧文本

yiduancang

回复 6# ArdentMan

生成出来的文件 为 未知文件

yiduancang

回复 2# batman

召唤版主 各路神仙

yiduancang

哎 最终还是个朋友帮忙解决了 不过还是感谢上面的大大