aa77dd@163.com

回复 14# idctop

可能你改错了, 你把修改的代码贴出来看看

-h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao
复制代码

这里的这些参数中

-p123456    已经指定了密码, 不会要输入密码的,  -p后是不跟空格的, 你是不是用了给加了空格了, 成了
-p 123456

idctop

回复 15# aa77dd@163.com


   path环境变量我没做，但是我填写了绝对路径的。是连上mysql了，一直提示输入密码。
我控制台进入是正常的。

idctop

@if(0)==(0) echo off
set str="code,name,description,market,suggestion,closing_price,price,exchange rate,price earnings ratio,the main cost,institutional participation"
dir /b *.txt | cscript -nologo -e:jscript %0 %str%
for /f "delims=" %%a in ('dir /b *.txt') do (
echo %%a
"%ProgramFiles%\MySQL\MySQL Server 5.6\bin\mysql.exe" -h 127.0.0.1 -P 3306 -u root -p 123456 -D gupiao -e "LOAD DATA LOCAL INFILE '%%a' INTO TABLE `zuoriqgqp` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n' IGNORE 1 LINES (`code`, `name`, `description`, `market`, `suggestion`, `closing_price`, `price`, `exchange rate`, `price earnings ratio`, `the main cost`, `institutional participation`);"
)
pause & exit
@end
var fso = new ActiveXObject("Scripting.FileSystemObject");
var s = WScript.Arguments.Item(0);
var re = new RegExp("^" + s, "i");
var reg = /.*\[标签:内容\].*/g;
var fso = new ActiveXObject("Scripting.FileSystemObject");
while (!WScript.StdIn.AtEndOfStream){
    var filename = WScript.StdIn.Readline();
    var text = adoLoadText(filename, 'UTF-8').replace(/\r?\n/ig,'');
    while (!(re.test(text))){
       text = s + "\r\n" + text.replace(/&sbquo/ig,',').replace(/","/ig,'\r\n').replace(reg,'');
       TextToFile(text, filename);
    }
}
function adoLoadText(filename, charset) {
    var fs, text;
    fs = new ActiveXObject("ADODB.Stream");
    fs.type = 2;
    fs.charset = charset;
    fs.open();
    fs.loadFromFile(filename);
    text = fs.readText(-1);
    fs.close();
    return text;
}
function TextToFile(text, filename) {
    var fs = new ActiveXObject("Adodb.Stream");
    fs.Charset = 'UTF-8';
    fs.Open();
    fs.WriteText(text);
    fs.SaveToFile(filename, 2);
    fs.Close();
}
复制代码

aa77dd@163.com

回复 18# idctop


" -h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao -e "

上面的这部分(不包括红色的引号), 严格的按我给你的处理, 不要修改大小写! 不要另加空格!

idctop

回复 19# aa77dd@163.com


    非常感谢。我按你要求 明天试试。 呵呵习惯了加空格。

idctop

我表内字段要比文本文件内多一个，会不会有影响？
多了个id自动编号的字段。第一个字段就是id然后才是code字段name字段等等。

aa77dd@163.com

回复 21# idctop

(`code`, `name`, `description`, `market`, `suggestion`, `closing_price`, `price`, `exchange rate`, `price earnings ratio`, `the main cost`, `institutional participation`)
复制代码

指定了导入的数据是要插入到哪些字段, 每行数据都会按顺序和这些字段对应,
id 没有在上面指定, 是不会有影响的, 它是自动增长的, 也不能由数据给出, 只能由系统自动处理.
如果一个输入行含有过多的字段，则多余的字段被忽略，并且警告的数量增加。
如果一个输入行含有的字段过少，则输入字段缺失的表中的列被设置为默认值。
如果字段值缺失，则对一个空字段值会被按不同方式理解：
·         对于字符串类型，列被设置为空字符串。
·         对于数字类型，列被设置为0。
·         对于日期和时间类型，列被设置为该类型相应的“zero”。

你给出的样本数据中, 有很多行数据是有缺失的, 如果在 mysql 控制台, 你就会看到它们产生的警告信息

If an input line has too many fields, the extra fields are ignored and the number of warnings is incremented.

If an input line has too few fields, the table columns for which input fields are missing are set to their default values. Default value assignment is described in Section 11.6, “Data Type Default Values”.

An empty field value is interpreted different from a missing field:

For string types, the column is set to the empty string.

For numeric types, the column is set to 0.

For date and time types, the column is set to the appropriate “zero” value for the type. See Section 11.3, “Date and Time Types”.

http://dev.mysql.com/doc/refman/5.6/en/load-data.html

idctop

回复 22# aa77dd@163.com


    按照你给的方法测试成功了！赞~
但是还存在2个问题：
1、怎么只导入了1000行？实际文件有3875行，有的还要多些。
2、我有多个文件，发现这种方式导入不是新增记录，而只存了1000条记录。所存的还是第一个文件的内容。我对比过了。
就算1个文件只导入了1000行，那么200个文件应当导入200000条记录啊。

idctop

我测试了下。
我提的要求是，每个未经处理的文本文件经过处理后导入数据库，而不重复导入。
那么说明，已经经过处理的文本文件，我再次运行批处理的时候，它是不会被导入到数据库的。
经过测试，我放进未处理的文本文件，执行一次后，现在是导入数据库了，不过就导入了1000行。
然后我清空数据表，再执行，结果这个已经被处理过的文本文件又导入进去了。
应当是已经处理过的，就说明已经导入过了，新的未被处理过的文本文件，处理后导入数据库。

idctop

回复 7# terse


    请教下，你写的这段代码是在哪里判断文件已经处理过，不再重复处理的呢？能否把当前要处理或者说正在处理的文件名写入一个变量，然后输出到屏幕。
我想使用这个的一个变量，用在导入数据库。这样导入也避免了重复。

aa77dd@163.com

回复 24# idctop

在 18 楼代码里新增两行

if not exist done md done
move /y *.txt done\
复制代码

放在第 8 行

pause & exit
复制代码

的上面

被处理过的文件会被转移到 done\ 目录中, 不会被再次处理

关于只导入了 1000 行数据, 可能是数据库的配置上对表的大小作了限制

idctop

回复 26# aa77dd@163.com

如果我想在数据库中多增加两个字段，riqi，为当前日期2015-06-12这样格式；shijian,为当前世界11:49
就是我执行导入当前的日期和时间。
但是文本文件中是没有这样的记录的，这个能操作吗？

原文本文件名倒是有，文件名是这样的  股票数据2015-06-12 11-45-20.txt

我想知道两种方式的操作：
1、以当前执行批处理的日期时间来
2、取文件名上的日期时间来

aa77dd@163.com

回复 23# idctop

可以用下面的批处理代码 检查下 表  zuoriqgqp   的配置信息, 看有没有相关的限制

@echo off
if exist "d:\tab_info" del /f /s /q "d:\tab_info"

"%ProgramFiles%\MySQL\MySQL Server 5.6\bin\mysql.exe" -h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao -e "SELECT 'TABLE_NAME','ENGINE','AVG_ROW_LENGTH','MAX_DATA_LENGTH','CREATE_OPTIONS' UNION ALL select TABLE_NAME, ENGINE, AVG_ROW_LENGTH, MAX_DATA_LENGTH, CREATE_OPTIONS from information_schema.`TABLES` where table_schema = 'gupiao' and table_name = 'zuoriqgqp' INTO OUTFILE 'd:/tab_info';"

type "d:\tab_info"

pause
exit
复制代码

idctop

回复 28# aa77dd@163.com


    检查结果
TABLE_NAME        ENGINE        AVG_ROW_LENGTH        MAX_DATA_LENGTH        CREATE_OPTIONS
zuoriqgqp        InnoDB        0        0       

我上面提的问题帮我看下

aa77dd@163.com

回复 27# idctop

经测试的完全代码, 注意包括原来的 jscript 代码也在多处作了修改, mysql 改成你自己的全路径即可了

@if(0)==(0) echo off
set str="code,name,description,market,suggestion,closing_price,price,exchange rate,price earnings ratio,the main cost,institutional participation"
dir /b *.txt | cscript -nologo -e:jscript %0 %str%

set "mysql=%ProgramFiles(x86)%\MySQL\MySQL Server 5.6\bin\mysql.exe"
set "server=127.0.0.1"
set "port=3306"
set "username=root"
set "userpwd=123456"
set "dbname=gupiao"
set "tabname=zuoriqgqp"

REM 下行代码为 表 %tabname% 新增两个字段 riqi 和 shijian, 如果字段还没有建立, 就运行一次, 之后就不要再运行了.
rem "%mysql%" -h%server% -P%port% -u%username% -p%userpwd% -D%dbname% -e "ALTER TABLE `%tabname%` ADD COLUMN (`riqi` DATE, `shijian` TIME);"

for /f "delims=" %%a in ('dir /b *.txt') do (
  echo %%a
  "%mysql%" -h%server% -P%port% -u%username% -p%userpwd% -D%dbname% -e "LOAD DATA LOCAL INFILE '%%a' INTO TABLE `%tabname%` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n' IGNORE 1 LINES (`riqi`, `shijian`, `code`, `name`, `description`, `market`, `suggestion`, `closing_price`, `price`, `exchange rate`, `price earnings ratio`, `the main cost`, `institutional participation`);"
)

if not exist done md done
move /y *.txt done\

pause & exit
@end
var fso = new ActiveXObject("Scripting.FileSystemObject");
var s = WScript.Arguments.Item(0);
var re = new RegExp("^" + s, "i");
var reg = /.*\[标签:内容\].*/g;
var fso = new ActiveXObject("Scripting.FileSystemObject");
var now = new Date();
var s_date = now.getFullYear() + '-' + (now.getMonth() + 1) + '-' + now.getDate();
var s_time = now.getHours() + ':' + now.getMinutes() + ':' + now.getSeconds();

var time_source = 'file_name'; // 值为 'file_name' : 从数据文件名获取时间;  否则, 获取系统当前时间;

while (!WScript.StdIn.AtEndOfStream){
    var filename = WScript.StdIn.Readline();
    if (time_source == 'file_name') {
      var s_dt = filename.replace(/股票数据|\.txt/gi, '').split(' ');
      s_date = s_dt[0];
      s_time = s_dt[1].replace(/-/g, ':');
    }
    var text = adoLoadText(filename, 'UTF-8').replace(/\r?\n/ig,'');
    while (!(re.test(text))){
       text = s + "\r\n" + s_date + ',' + s_time + ',' + text.replace(/&sbquo/ig,',').replace(/","/ig,'\r\n' + s_date + ',' + s_time + ',').replace(reg,'');
       TextToFile(text, filename);
    }
}
function adoLoadText(filename, charset) {
    var fs, text;
    fs = new ActiveXObject("ADODB.Stream");
    fs.type = 2;
    fs.charset = charset;
    fs.open();
    fs.loadFromFile(filename);
    text = fs.readText(-1);
    fs.close();
    return text;
}
function TextToFile(text, filename) {
    var fs = new ActiveXObject("Adodb.Stream");
    fs.Charset = 'UTF-8';
    fs.Open();
    fs.WriteText(text);
    fs.SaveToFile(filename, 2);
    fs.Close();
}
复制代码