批处理FOR /F 中的Delims和Tokens总结

cjiabing

本篇为《FOR入门与精通秘籍》的补充内容。由于《FOR入门与精通秘籍》是当初刚开始学FOR时一边学一边写的，思维难免受人家影响，思考的也不够全面，所以存在很多缺点，但又不想做过多修改，只好补写了这篇东西。

在For命令语句的参数F中，最难理解的就是Delims和Tokens两个选项，本文简单的做一个比较和总结。
“For /f”常用来解析文本，读取字符串。分工上，delims负责切分字符串，而tokens负责提取字符串。如果把字符串当作蛋糕，Delims像刀子，用来切蛋糕，tokens像叉子，用来取切好的蛋糕。下面我们用实例来进行理解。

把以下内容保存为文本文件“歌曲列表.txt”，注意扩展名为“.txt”：
序号、歌手名-歌曲名.后缀名
1、饶天亮-玫瑰爱人.wma
2、高一首-我不愿错过.mp3
3、黃凱芹-傷感的戀人.MP3
4、黄灿-黄玫瑰.lrc
5、黎姿-如此这般的爱情故事.mp3

代码1：显示全部内容
@echo off
for /f %%i in (歌曲列表.txt) do echo %%i
pause>nul
运行结果：
序号、歌手名-歌曲名.后缀名
1、饶天亮-玫瑰爱人.wma
2、高一首-我不愿错过.mp3
3、黃凱芹-傷感的戀人.MP3
4、黄灿-黄玫瑰.lrc
5、黎姿-如此这般的爱情故事.mp3

讲解：
如果不使用参数“/f”，运行结果只显示括号里的文字字符“歌曲列表.txt”，而不能读取文本文件“歌曲列表.txt”中的内容。可见，“/f”是解析文本字符串的好工具。

一、delims
假如只要序号，不要歌手名、歌曲名和后缀名，如何办到？
代码2：默认提取第一列
@echo off
for /f    "delims=、"   %%i in (歌曲列表.txt) do echo %%i
pause>nul
运行结果：
序号
1
2
3
4
5

讲解：
"delims=、"表示定义顿号“、”为分隔符，并用该分隔符“、”切分文本字符串。字符串就是“歌曲列表.txt”里的内容，也就是文件里的文字和标点符号。
该顿号是原文中就有的。除了顿号“、”，原文中还有减号“-”和点号“.”，因此你也可以用它们来做分隔符。

代码3：用减号“-”做分隔符
@echo off
for /f    "delims=-"   %%i in (歌曲列表.txt) do echo %%i
pause>nul
运行结果：
序号、歌手名
1、饶天亮
2、高一首
3、黃凱芹
4、黄灿
5、黎姿

讲解：
因为，当减号“-”被用做分隔符时，每行内容被减号“-”分隔成前后两半，默认只显示前半部分，而后半部分连同分隔符减号“-”都被忽略（省略）了。

代码4：用点号“.”做分隔符
@echo off
for /f    "delims=."   %%i in (歌曲列表.txt) do echo %%i
pause>nul
运行结果：
序号、歌手名-歌曲名
1、饶天亮-玫瑰爱人
2、高一首-我不愿错过
3、黃凱芹-傷感的戀人
4、黄灿-黄玫瑰
5、黎姿-如此这般的爱情故事

讲解：
默认情况下，单纯使用delims而不用tokens时，只显示第一个分隔符前的内容，第一个分隔符和第一个分隔符后面的内容将被忽略。

代码5：定义多个分隔符
@echo off
for /f    "delims=、-."   %%i in (歌曲列表.txt) do echo %%i
pause>nul
运行结果：
序号
1
2
3
4
5

讲解：
原因是，当定义顿号“、”、减号“-”和点号“.”三个标点符号为分隔符后，原文被分隔成四个部分。
如第二行“1、饶天亮-玫瑰爱人.wma”将被分隔成“1”、“饶天亮”、“玫瑰爱人”和“wma” 四个部分。
从第一行到最后一行，每行的每个部分对应下来相当于一个竖列。因此，原文就有“序号”、“歌手名”、“歌曲名”、“后缀名”四列。
一般情况下，只读取第一列的内容。后面的内容需要用tokens选项提取。


更多请阅读：

批处理：FOR参数/F之tokens详解（原创）
批处理：FOR的参数/F之delims详解下（原创）
批处理：FOR的参数/F之delims详解上（原创）

cjiabing

二、tokens
假如只要歌手名和歌曲名，不要序号和后缀名，如何办到？
代码6：提取单列
@echo off
for /f    "tokens=2 delims=、."   %%i in (歌曲列表.txt) do echo %%i
pause>nul
运行结果将显示：
歌手名-歌曲名
饶天亮-玫瑰爱人
高一首-我不愿错过
黃凱芹-傷感的戀人
黄灿-黄玫瑰
黎姿-如此这般的爱情故事

讲解：
用delims定义顿号“、”和点号“.”作为分隔符，将原文分成三部分。
如第六行“5、黎姿-如此这般的爱情故事.mp3”被分割成：
第一部分（第一列）：5
第二部分（第二列）：黎姿-如此这般的爱情故事
第三部分（第三列）：mp3
“tokens=2”表示用tokens提取第二列的字符串，即“黎姿-如此这般的爱情故事”。
没有被tokens定义提取的第一列和第三列将被忽略。

假如只要序号和歌曲名，而不要歌手名和后缀名，如何办到？
代码7：提取多列
@echo off
for /f    "tokens=1,3 delims=、-."   %%i in (歌曲列表.txt) do echo %%i   %%j
pause>nul
运行结果将显示：
序号   歌曲名
1  玫瑰爱人
2  我不愿错过
3  傷感的戀人
4  黄玫瑰
5  如此这般的爱情故事

讲解：
“delims=、-.”表示定义顿号、减号和点号为分隔符。
“tokens=1,3”表示只提取第一列和第三列。
“%%i %%j”对应于“token”后面的列数。有多少列就要有多少个输出变量，并且各变量中的字母存在先后顺序。


如何只提取文字，不要标点符号？
代码8：忽略分隔符
@echo off
for /f    "tokens=1,2-4 delims=、-."   %%i in (歌曲列表.txt) do echo %%i   %%j %%k %%l
pause>nul
运行结果：
序号   歌手名 歌曲名 后缀名
1  饶天亮 玫瑰爱人 wma
2  高一首 我不愿错过 mp3
3  黃凱芹 傷感的戀人 MP3
4  黄灿 黄玫瑰 lrc
5  黎姿 如此这般的爱情故事 mp3

讲解：
默认情况下，用做分隔符的标点符号将被忽略。
“tokens=1,2-4”中的“2-4”表示第二至第四列。

三、小结

“For /f”
一句话总结：解析文本，读取字符串。

Delims的语法：
FOR /F   "Delims=符号集"  %%I

   IN (Command1)    DO
Command2
一句话总结：忽略分隔符，切分字符串。

delims的意义包括两个方面：
第一、指定原文中的标点符号作为分隔符。使得文本被划分为许多小部分，方便使用批处理命令读取和编辑。
第二、读取第一个分隔符之前的内容。忽略第一个分隔符和分隔符后面的内容，如需读取和编辑，需要使用tokens等命令。

注意分隔符和标点符号的联系和区别。
分隔符就是原文中的标点符号，可以是一个标点符号也可以是多个。但原文中的标点符号不一定是分隔符。并且分隔符不一定是标点符号，字母和中文也是可以用作分隔符的。
分隔符需要定义，即用”delims=”来指定，等于号后面跟被用来做分隔符的标点符号，该标点符号来自原文。
当有多个标点符号被定义为分隔符时，标点符号之间没有空格。当用空格做分隔符时，空格应该放在其它用作分隔符的标点符号之后。
即使不使用delims，默认情况下，批处理也将空格作为分隔符。如文件名“Program Files”中含有空格时，批处理一般只读取空格前的“Program”，剩下的“Files”被忽略了。
例：
代码9：空格默认作为分隔符
@echo off
for /f "delims=" %%a in ("伟大的中国人民万岁 万岁 万万岁") do echo %%a
pause>nul
运行结果：
伟大的中国人民万岁 万岁 万万岁
讲解：
“delims=”等号后面没有空格，代表取消默认以空格作为分隔符，相当于“tokens=*”，提取全部字符；等号后面有空格时表示定义空格为分隔符，此时delims可以省略。
批处理默认空格是分隔符，分隔符会隐藏第一个分隔符后面的所有内容。为了显示完整的信息，所以有必要取消该功能。
因此，当文件名或路径中含有空格时，需要用双引号括住。如果不使用双引号，括号内的内容将被当做文件名，如果文件名不存在，将提示“系统找不到……”。
如果不使用“delims=”，即使使用双引号，也只能显示第一个空格前面的字符串，后面的字符串将被默认忽略。


Tokens的语法：
FOR /F   "tokens=x,y,m-n"  %%I

   IN (Command1)    DO
Command2
一句话总结：提取列。

Tokens的意义就是，提取指定的列。
注意列与句的联系与区别。
文本内容由许多文字字符串组成，它们被标点符号分隔，两个标点符号之间的语句我们称为“句子”。
当标点符号被“tokens=”指定为分隔符之后，文字将被分成多个部分。对应的每行的每个部分我们称之为“列”。
一列可能是一个句子，也可能包含多个句子，视delims定义的标点符号而定。
其它方面：关于“行”的提取，前面做过一个很简单的：
    @echo off
    del _test.txt
    set /p p=请输入要文本路径：
    findstr /n .* %p%>>_test.txt
    set /p m=请输入要定位的行：
    echo.
    for /f "tokens=1,* delims=:" %%a in ('findstr /b   "%m%"   _test.txt') do if %%a==%m% echo %%b
    echo.
pause


更详细的讲解请阅读《FOR入门与精通秘籍》。
批处理：FOR参数/F之tokens详解（原创）
批处理：FOR的参数/F之delims详解下（原创）
批处理：FOR的参数/F之delims详解上（原创）


[ 本帖最后由 cjiabing 于 2010-8-29 11:53 编辑 ]

gohai

真心谢谢楼主的详细讲解，正缺这块呢，呵呵,

cmbatd

下愁着呢
我搜索到这了

sjzong

谢谢楼主，下载慢慢看

sjzong

非常详细！值得学习！！

zclx2003

我看了这么多，终于在这里看懂了，谢谢LZ

yolila

如果需要以双引号分隔呢，比如这样，需要提取IP地址：218.57.221.18:80
                <proxy name="山东省东营市 网通" address="218.57.221.18:80" type="0" id="1"/>
delims="不行吧

cjiabing

原帖由 yolila 于 2009-5-10 09:02 发表
如果需要以双引号分隔呢，比如这样，需要提取IP地址：218.57.221.18:80
               
delims="不行吧

@echo off
for /f "tokens=6 delims== "  %%a in ("<proxy name="山东省东营市 网通" address="218.57.221.18:80" type="0" id="1"/>") do echo %%~a 
pause
复制代码

定义（delims）“=”和空格为分隔符，提取第六列。使用%%~a取消外面的双引号。

yolila

如果不考虑使用替代方法，就要以引号分隔（"），怎么使用delims达到这个要求

caimingbing

这个挺不错的收藏了

a1011082042

讲解得如此清楚明白,太好了!!!

James_vivi

懂是懂了，可就是不能举一反三，哎

wpy4206

回复 2# cjiabing


    没有分隔符号，可以用/f，提取第一个字符吗？  A123，B234，C456，D789...