设为首页收藏本站
切换到宽版

 找回密码
 注册
搜索
批处理之家»论坛 › 批处理专区: BAT CMD DOS › 开源原创工具 › 强劲的多线程下载器 purl.exe
[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发新帖
查看: 21480|回复: 8

强劲的多线程下载器 purl.exe

[复制链接]
happy886rr
发表于 2017-8-25 22:10:36 | 显示全部楼层 |阅读模式
本帖最后由 happy886rr 于 2017-8-26 08:54 编辑
控制台下强劲的多线程下载器，快如闪电。支持purl.ini配置文件。批量下载各类url资源链。
用法：
purl -i[配置文件.ini] -l[输出日志] -n[线程数] -r[根目录]\n\
配置文件书写格式
#############################################################################
http://www.a.com/[:0].[:1]
#############################################################################
[:0]=01-99
#############################################################################
[:1]=jpg,gif,png,bmp
[:2]=
[:3]=
...
其中[:0]到[:9]为URL通配符，启用[:0]后具有多线程效益，启用[:9]具有尾加速功能。这10个通配符可以是数字范围如：[:0]=1-9；也可以是字符范围，如[:1]=a-z；还可以是字符串枚举，如：[:2]=jpg,mp3,txt,doc

为节省论坛空间，不提供任何附件下载，源码发行。
  1. /*
  2.         THE THREAD DOWNLOAD TOOL, COPYRIGHT@2017~2019 BY HAPPY, VERSION 1.0
  3.         PURL.EXE
  4. */
  5. #include   <stdio.h>
  6. #include  <stdlib.h>
  7. #include  <string.h>
  8. #include <windows.h>
  9. #include <process.h>
  10. #include  <direct.h>
  11. #include    <time.h>
  12. #include    <math.h>
  13. #include      <io.h>

  15. #pragma comment(lib, "Ws2_32.lib")
  16. #pragma comment (lib,"urlmon.lib")

  18. /*************宏量定义*************/
  19. #define SAFE_SIZE  512
  20. #define FILE_EXIST 0

  22. //定义配置文件
  23. #define PURL_INI "\
  24. #################################################################\n\
  25. http://\n\
  26. #################################################################\n\
  27. [:0]=\n\
  28. #################################################################\n\
  29. [:1]=\n\
  30. [:2]=\n\
  31. [:3]=\n\
  32. [:4]=\n\
  33. [:5]=\n\
  34. [:6]=\n\
  35. [:7]=\n\
  36. [:8]=\n\
  37. #################################################################\n\
  38. [:9]=\n\
  39. #################################################################\n"

  41. //定义帮助说明
  42. #define HELP_INFORMATION "\
  43. -----------------------------------------------------------------\n\
  44. purl -i[inifile] -l[outlog] -n[threadnum] -r[rootdir]\n\
  45. -----------------------------------------------------------------\n\
  46.      -h Show help information\n\
  47.      -i Set the purl inifile\n\
  48.      -l Set the log output directory\n\
  49.      -n Set the number of concurrent threads to download\n\
  50.      -r Set the download root directory\n\
  51. -----------------------------------------------------------------\n\
  52. version 1.0"

  54. /*************全局变量*************/
  55. static int M[10], N[10], Z[10];
  56. static int prointThread=0, nowsThread=0, trueDownload=0, totalCYC=1;

  58. static char murl[SAFE_SIZE], outlog[SAFE_SIZE], inifile[SAFE_SIZE]=".\\purl.ini", mpath[SAFE_SIZE]=".\", settingini[10][SAFE_SIZE*2], *S[10][SAFE_SIZE];

  60. static BOOL renMARK[10];
  61. static BOOL urlMARK=FALSE;

  63. FILE* logfp;

  65. //进度条容器
  66. static const char* proGRESS="[                                                      ]\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b";

  68. /*************事件变量*************/
  69. //创建事件对象
  70. HANDLE ghDataEvent;

  72. /*************功能函数*************/
  73. //切分字串
  74. int ArgsSpliy(char* Str, int SN)
  75. {
  76.         int i=0;
  77.         char* pstr=strtok(Str, " \t\n,");

  79.         while(pstr !=NULL){
  80.                 S[SN][i]=(char*)calloc(strlen(pstr)+1, sizeof(char));
  81.                 strcpy(S[SN][i++], pstr);
  82.                 pstr=strtok(NULL, " \t\n,");
  83.         }       
  84.         return i;
  85. }
  86. //判断字母
  87. BOOL isLetter(char* p)
  88. {
  89.         return (p && (('A'<=*p&&*p<='Z')||('a'<=*p&&*p<='z'))&&(*(p+1)=='\0'))?TRUE:FALSE;
  90. }
  91. //彩显函数
  92. int ColorString(HANDLE handle_out, char* pstrA, char* pstrB, int colorA, int colorB, int num)
  93. {
  94.         SetConsoleTextAttribute(handle_out, colorA);  //项目色
  95.         fprintf(stdout, pstrA);
  96.         SetConsoleTextAttribute(handle_out, colorB);  //数据色
  97.         (num<0)?fprintf(stdout, pstrB):fprintf(stdout, "%d\n", num);
  98.         return 0;
  99. }
  100. //光标函数
  101. BOOL DispyCursor(int size,bool mode)
  102. {
  103.         CONSOLE_CURSOR_INFO cinfo ={(DWORD)size, mode};
  104.         return SetConsoleCursorInfo(GetStdHandle(STD_OUTPUT_HANDLE), &cinfo);         
  105. }
  106. //域名IP解析
  107. int DownloadURLtoIP(HANDLE handle_out, const char* downloadURL)
  108. {
  109.         WSADATA wsaData;  
  110.         WSAStartup(MAKEWORD(2,2), &wsaData);

  112.         char *pstr=(char*)downloadURL, *urlweb=(char*)calloc(SAFE_SIZE, sizeof(char)), *tstr=urlweb;

  114.         while(*pstr!=':'){pstr++;}
  115.         pstr+=3;
  116.         while(*pstr!='/'&& *pstr!='\n' && *pstr!='\0'){
  117.                 *tstr++=*pstr++;
  118.         }

  120.         const char* pszUrl=(const char*)urlweb;

  122.         if (LOBYTE(wsaData.wVersion) != 2 || HIBYTE(wsaData.wVersion) != 2)  
  123.         {
  124.                 //fprintf(stdout, "Init socket faile\n");  
  125.                 return 1;  
  126.         }
  127.         struct hostent *pHost = gethostbyname(pszUrl);

  129.         //释放空间
  130.         free(urlweb);

  132.         if (pHost == NULL)  
  133.         {  
  134.                 WSACleanup();  
  135.                 //fprintf(stdout, "pHost == NULL \n");  
  136.                 return 1;  
  137.         }

  139.         //主机正式名称
  140.         ColorString(handle_out, "[URL-HOST] ", (pHost)?pHost->h_name:"NULL", 4|8, 1|2|8, -1);
  141.         fprintf(stdout, "\n");

  143.         //主机别名,可以有多个
  144.         int iIndex = 0;  
  145.         while(pHost->h_aliases[iIndex])  
  146.         {
  147.                 ColorString(handle_out, "[URLALIAS] ", pHost->h_aliases[iIndex], 4|8, 1|2|8, -1);
  148.                 fprintf(stdout, "\n");
  149.                 iIndex++;  
  150.         }

  152.         //地址字节数,IPV4是4,IPV6是6
  153.         if(pHost->h_length==4)
  154.         {
  155.                 ColorString(handle_out, "[IPV-TYPE] ", "IPV4\n", 4|8, 4|8, -1);
  156.         }
  157.         else if(pHost->h_length==6)
  158.         {
  159.                 ColorString(handle_out, "[IPV-TYPE] ", "IPV6\n", 4|8, 4|8, -1);
  160.         }

  162.         iIndex = 0;
  163.         while(pHost->h_addr_list[iIndex])  
  164.         {
  165.                 ColorString(handle_out, "[IP-ADDRE] ", inet_ntoa(*(struct in_addr*)pHost->h_addr_list[iIndex]), 4|8, 4|2|8, -1);
  166.                 fprintf(stdout, "\n");
  167.                 iIndex++;  
  168.         }   
  169.         WSACleanup();
  170.         return 0;
  171. }
  172. //开关解析
  173. int OPTIND=1, OPTOPT;
  174. char *OPTARG;
  175. int GetOpt(int nargc, char *nargv[], char *ostr)
  176. {
  177.         static char* place="";
  178.         static char* lastostr=(char *) 0;
  179.         register char* oli;
  180.         char* index();
  181.         if(ostr!=lastostr){
  182.                 lastostr=ostr;
  183.                 place="";
  184.         }
  185.         if(!*place)
  186.         {
  187.                 if(
  188.                         (OPTIND>=nargc)              ||
  189.                         (*(place=nargv[OPTIND])!='-')||
  190.                         (!*(++place))
  191.                 ){
  192.                         place="";
  193.                         return(EOF);
  194.                 }
  195.                 if (*place == '-' && place[1] == 0){
  196.                         ++OPTIND;
  197.                         return(EOF);
  198.                 }
  199.         }
  200.         if ((OPTOPT=(int)*place++)==(int)':' || !(oli=strchr(ostr, OPTOPT))){
  201.                 if(!*place){++OPTIND;}
  202.         }
  203.        
  204.         if (oli != NULL && *(++oli) != ':'){
  205.                 OPTARG=NULL;
  206.                 if(!*place){++OPTIND;}
  207.         }
  208.         else{
  209.                 if(*place){
  210.                         OPTARG=place;
  211.                 }else if(nargc<=++OPTIND){
  212.                         place="";
  213.                 }else{
  214.                         OPTARG=nargv[OPTIND];
  215.                 }
  216.                 place="";
  217.                 ++OPTIND;
  218.         }
  219.         return(OPTOPT);
  220. }

  222. /*************获取配置*************/
  223. int ReadSetting(char* pfile)
  224. {                       
  225.         //读取脚本文件
  226.         FILE* fp;
  227.         if( (fp=fopen(pfile, "r"))==NULL ){
  228.                 fprintf(stdout, "Reading settings failed!\n");
  229.                 exit(1);
  230.         }

  232.         int SN;
  233.                
  234.         //分配行容器
  235.         char* LCache=(char*)calloc(1025, sizeof(char));
  236.         //辅助行指针
  237.         char* Line=NULL;

  239.         while(!feof(fp)){

  241.                 memset(LCache, 0,  1024*sizeof(char));
  242.                 fgets(LCache, 1024, fp);

  244.                 //指针置换
  245.                 Line=LCache;
  246.                
  247.                 //将尾部换行符注掉
  248.                 while(*Line!='\n'&& *Line!='\0'){Line++;}
  249.                 *Line='\0';
  250.                 Line=LCache;               

  252.                 //过滤行TAB缩进或前空格
  253.                 while(*Line=='\t'|| *Line==' '){Line++;}

  255.                 //过滤注释符
  256.                 if(Line[0]=='#'||strlen(Line)<=5){
  257.                         continue;
  258.                 }

  260.                 //提取URL
  261.                 if(       
  262.                         (!urlMARK)                    &&
  263.                         (Line[0]=='h' ||Line[0]=='H') &&
  264.                         (Line[1]=='t' ||Line[1]=='T') &&
  265.                         (Line[2]=='t' ||Line[2]=='T') &&
  266.                         (Line[3]=='p' ||Line[3]=='P') &&
  267.                         (
  268.                                 Line[4]==':' ||
  269.                                 (
  270.                                         (Line[4]=='s'||Line[4]=='S') &&
  271.                                         (Line[5]==':')
  272.                                 )
  273.                         )
  274.                 ){
  275.                         if(strlen(Line)<10){
  276.                                 fprintf(stdout, "Please fill the url!\n");
  277.                                 exit(1);
  278.                         }

  280.                         strcpy(murl, Line);
  281.                         while(*Line !='\0'){
  282.                                 if(*Line=='[' && *(Line+1)==':' && ('0'<=*(Line+2) && *(Line+2)<='9') && *(Line+3)==']'){
  283.                                         renMARK[*(Line+2)-48]=TRUE;
  284.                                         Line+=4;
  285.                                 }else{
  286.                                         Line++;
  287.                                 }
  288.                         }
  289.                         urlMARK=TRUE;
  290.                         continue;
  291.        
  292.                 }else if(
  293.                         (urlMARK)                     &&
  294.                         (Line[0]=='[' &&Line[1]==':') &&
  295.                         ('0'<=Line[2] &&Line[2]<='9') &&
  296.                         (Line[3]==']' &&Line[4]=='=')
  297.                        
  298.                 ){
  299.                         SN=Line[2]-48;
  300.                         if(!renMARK[SN]){continue;}

  302.                         strcpy(settingini[SN], Line);

  304.                         if(strchr(Line+5, ',')){
  305.                                 M[SN]=0;
  306.                                 N[SN]=ArgsSpliy(Line+5, SN)-1;

  308.                         }else if(renMARK[SN]){

  310.                                 char *snumsrc=strtok(Line+5, " \t-"), *tmps=(snumsrc!=NULL)?strtok(NULL, " \t-"):NULL, *zp=snumsrc;

  312.                                 if(isLetter(snumsrc) && isLetter(tmps)){
  313.                                         int exnum1=*snumsrc, exnum2=*tmps;
  314.                                         Z[SN]=-1;
  315.                                         M[SN]=(exnum1 <= exnum2)?(N[SN]=exnum2, exnum1):(N[SN]=exnum1, exnum2);

  317.                                 }else if(tmps!=NULL){               
  318.                                         if(*zp=='0'){
  319.                                                 while('0'<= *zp && *zp <='9'){
  320.                                                         Z[SN]++;
  321.                                                         zp++;
  322.                                                 }
  323.                                         }
  324.                                         M[SN]=atoi(snumsrc), N[SN]=atoi(tmps);
  325.                                         if(M[SN]>N[SN]){
  326.                                                 int exnum=M[SN];
  327.                                                 M[SN]=N[SN], N[SN]=exnum;
  328.                                         }
  329.                                 }
  330.                         }       
  331.                 }
  332.         }       
  333.         fclose(fp);
  334.        
  335.         //统计总循环次数
  336.         for(int i=0; i<10; i++){totalCYC *=N[i]-M[i]+1;}
  337.         return 0;
  338. }

  340. /*************下载函数*************/
  341. UINT WINAPI FastDownload(void* ptr)
  342. {
  343.         //分配URL字串
  344.         char* ptftr=(char*)calloc(16, sizeof(char));
  345.         char* aurl =(char*)calloc(SAFE_SIZE, sizeof(char));
  346.         char* dest =(char*)calloc(SAFE_SIZE, sizeof(char));
  347.         char* durl =(char*)calloc(SAFE_SIZE, sizeof(char));
  348.         char* titl =(char*)calloc(SAFE_SIZE, sizeof(char));
  349.         durl[0]='.', durl[1]='\\';

  351.         //接受线程传参
  352.         int nThreadID = *((int*)ptr);
  353.         int snum      = *((int*)ptr+1);
  354.         int lnum      = *((int*)ptr+2);

  356.         SetEvent(ghDataEvent);
  357.         nowsThread++;
  358.         if(*outlog != 0){
  359.                 //fprintf(logfp, "\nThe %dth thread start.\n", nThreadID+1);
  360.         }

  362.         //创建循环变量数组
  363.         int i[10]={0}, SN;

  365.         //创建下载状态变量
  366.         BOOL preMARK=FALSE, nowMARK=FALSE;

  368.         //定义URL指针
  369.         char *purl=NULL, *surl=NULL, *pdit=NULL;
  370.        
  371.         //启动十层循环
  372.         for(i[0]=snum; i[0]<=lnum; i[0]++)
  373.         for(i[1]=M[1]; i[1]<=N[1]; i[1]++)
  374.         for(i[2]=M[2]; i[2]<=N[2]; i[2]++)
  375.         for(i[3]=M[3]; i[3]<=N[3]; i[3]++)
  376.         for(i[4]=M[4]; i[4]<=N[4]; i[4]++)
  377.         for(i[5]=M[5]; i[5]<=N[5]; i[5]++)
  378.         for(i[6]=M[6]; i[6]<=N[6]; i[6]++)
  379.         for(i[7]=M[7]; i[7]<=N[7]; i[7]++)
  380.         for(i[8]=M[8]; i[8]<=N[8]; i[8]++)
  381.         for(i[9]=M[9]; i[9]<=N[9]; i[9]++){

  383.                    surl=murl, purl=aurl;

  385.                 while(*surl !='\0'){

  387.                         //替换正则标签
  388.                         if(*surl=='[' && *(surl+1)==':' && '0'<=*(surl+2) && *(surl+2)<='9' && *(surl+3)==']' && renMARK[*(surl+2)-48]){

  390.                                 SN=*(surl+2)-48;
  391.                                
  392.                                 if(S[SN][0] !=NULL){
  393.                                         pdit=S[SN][i[SN]];
  394.                                 }else{                       
  395.                                         if(Z[SN] >0){
  396.                                                 sprintf(ptftr, "%%0%dd", Z[SN]);
  397.                                                 sprintf(dest, ptftr, i[SN]);

  399.                                         }else if(Z[SN]==-1){
  400.                                                 sprintf(dest, "%c",  (char)i[SN]);

  402.                                         }else{
  403.                                                 sprintf(dest, "%d",  i[SN]);
  404.                                         }
  405.                                         pdit=dest;
  406.                                 }
  407.                                
  408.                                 while(*pdit !='\0'){
  409.                                         *(purl++)=*(pdit++);               
  410.                                 }
  411.                                 surl+=4;
  412.                                        
  413.                         }else{
  414.                                 *(purl++)=*(surl++);
  415.                         }
  416.                 }
  417.                 //置结束符
  418.                 *purl='\0';

  420.                 //显示当前下载的URL
  421.                 prointThread++;

  423.                 sprintf(titl, "[%03dT]-[%03dF] %s", nowsThread, trueDownload, aurl);
  424.                 SetConsoleTitleA(titl);

  426.                 //处理下载路径
  427.                 char* turl=strstr(aurl, "://")+3;
  428.                 char* sp=durl+2;

  430.                 //根据网址创建目录
  431.                 while(*turl != '\0'){
  432.                         switch(*turl)
  433.                         {
  434.                         case '/':
  435.                                 *sp='\0';
  436.                                 if(_access(durl, FILE_EXIST) != 0){
  437.                                         _mkdir(durl);
  438.                                 }
  439.                                 *sp='\\';
  440.                                 break;
  441.                                
  442.                         case ':':
  443.                         case '*':
  444.                         case '?':
  445.                         case '"':
  446.                         case '>':
  447.                         case '<':
  448.                         case '|':
  449.                                 *sp='@';
  450.                                 break;
  451.                                
  452.                         default:
  453.                                 *sp=*turl;
  454.                                 break;
  455.                         }               
  456.                         //指针移位
  457.                         sp++, turl++;
  458.                 }
  459.                 //置结束符
  460.                 *sp='\0';

  462.                 //调用API下载
  463.                 URLDownloadToFileA(NULL, aurl, durl, 0, NULL);
  464.        
  465.                 //下载状态
  466.                 nowMARK=(_access(durl, FILE_EXIST)==0)?TRUE:FALSE;

  468.                 //增速判断
  469.                 if(preMARK && !nowMARK && i[9]!=M[9]){
  470.                         break;
  471.                 }

  473.                 //显示下载成功的文件
  474.                 if(nowMARK){
  475.                         trueDownload++;
  476.                         if(*outlog != 0){fprintf(logfp, "[*]%s\n", aurl);}
  477.                 }

  479.                 //下载状态更新
  480.                 preMARK=nowMARK;
  481.         }

  483.         //释放数组内存
  484.         free(aurl);
  485.         free(durl);
  486.         free(dest);
  487.         free(titl);
  488.         free(ptftr);
  489.        
  490.         //线程结束
  491.         nowsThread--;
  492.         if(*outlog != 0){
  493.                 //fprintf(logfp, "\nThe %dth thread end!\n\n", nThreadID+1);
  494.         }
  495.         return (UINT)0;
  496. }

  498. /*************MAIN函数*************/
  499. int main(int argc, char** argv)
  500. {
  501.         int threadNUMS=100;
  502.         char K, *outLOG=NULL;
  503.         while((K=GetOpt(argc,argv,"hi:n:p:l:"))!=-1)
  504.         {
  505.                 switch(K)
  506.                 {
  507.                 case 'h':
  508.                 case 'H':
  509.                         fprintf(stdout, HELP_INFORMATION);
  510.                         exit(0);

  512.                 case 'i':
  513.                 case 'I':
  514.                         if(OPTARG !=NULL){
  515.                                 strcpy(inifile, OPTARG);
  516.                         }
  517.                         break;

  519.                 case 'l':
  520.                 case 'L':
  521.                         if(OPTARG !=NULL){
  522.                                 strcpy(outlog, OPTARG);
  523.                         }
  524.                         break;

  526.                 case 'n':
  527.                 case 'N':
  528.                         if(OPTARG !=NULL){
  529.                                 int exnum=atoi(OPTARG);
  530.                                 threadNUMS=(0<exnum && exnum<SAFE_SIZE*4)?exnum:SAFE_SIZE*4;
  531.                         }
  532.                         break;

  534.                 case 'r':
  535.                 case 'R':
  536.                         if(OPTARG !=NULL){
  537.                                 strcpy(mpath, OPTARG);
  538.                         }
  539.                         break;

  541.                 default:
  542.                         fprintf(stdout, "Unknown switch '%c'\n", K);
  543.                         exit(1);
  544.                 }
  545.         }

  547.         //判断配置文件是否存在
  548.         if(access(inifile, FILE_EXIST)!=0){
  549.                 FILE* fp=fopen(inifile, "w");
  550.                 fprintf(fp, PURL_INI);
  551.                 fclose(fp);
  552.                 fprintf(stdout, "Please fill in the setting file\n");
  553.                 fprintf(stdout, HELP_INFORMATION);
  554.                 exit(1);
  555.         }

  557.         if(argc==1){
  558.                 //无参数则退出
  559.                 fprintf(stdout, HELP_INFORMATION);
  560.                 exit(0);
  561.         }

  563.         //判断根目录是否存在
  564.         if(_access(mpath, FILE_EXIST)!=0){
  565.                 _mkdir(mpath);
  566.         }
  567.         if(_access(mpath, FILE_EXIST)==0){
  568.                 //切换至下载目录
  569.                 _chdir(mpath);
  570.         }else{
  571.                 //无法创建根目录则退出
  572.                 fprintf(stdout, "Can not creat the root folder\n");
  573.                 exit(1);       
  574.         }

  576.         //读取purl配置文件
  577.         ReadSetting(inifile);
  578.         if(! urlMARK){
  579.                 fprintf(stdout, "Please fill in the download url\n");
  580.                 exit(1);
  581.         }

  583.         //获取控制台输出句柄
  584.         HANDLE handle_out=GetStdHandle(STD_OUTPUT_HANDLE);

  586.         //线程传参数组
  587.         int inum[3]={0};

  589.         //判断是否使用多线程正则符[:0]
  590.         if(! renMARK[0]){
  591.                 threadNUMS=1;
  592.         }

  594.         //线程数
  595.         int nThreadCount=N[0]-M[0];
  596.         if(nThreadCount<=0 && threadNUMS!=1){
  597.                 fprintf(stdout, "\nThe '[:0]' don't get incremental value\n");
  598.                 exit(1);
  599.         }

  601.         //创建时间结构体
  602.         time_t startTIME, endTIME;
  603.         struct tm* timeinfo;
  604.         time(&startTIME);
  605.         timeinfo=localtime(&startTIME);

  607.         //计算线程分组数
  608.         int rThreadAdd   =(int)ceil((nThreadCount + 1)*1.0/threadNUMS);
  609.         int rThreadRange =(int)ceil((nThreadCount + 1)*1.0/(rThreadAdd?rThreadAdd:1.0));

  611.         //是否开启日志输出
  612.         if(*outlog != 0){
  613.                 logfp=fopen(outlog, "w");
  614.                 if(logfp == NULL){
  615.                         fprintf(stdout, "Open log failed\n");
  616.                         exit(1);
  617.                 }else{
  618.                         fprintf(logfp,
  619.                                 "================================================================\n"
  620.                                 "The purl log file, Time: %s"
  621.                                 "================================================================\n\n"
  622.                                 ,asctime(timeinfo)
  623.                         );
  624.                         fprintf(logfp, "[Threads num]\n%d\n\n", rThreadRange);
  625.                         fprintf(logfp, "[Root path]\n%s\n\n", mpath);
  626.                         fprintf(logfp, "[The URL regular]\n%s\n\n", murl);
  627.                         fprintf(logfp, "[Setting ini]\n");
  628.                         for(int i=0; i<=9; i++){
  629.                                 if(settingini[i][0]!=0){
  630.                                         fprintf(logfp, "%s\n", settingini[i]);
  631.                                 }
  632.                         }
  633.                         fprintf(logfp, "\n[Start the download time]\n%s\n", asctime(timeinfo));
  634.                         fprintf(logfp, "[Successfully downloaded URL]\n");
  635.                 }
  636.         }
  637.         //隐藏光标
  638.         DispyCursor((DWORD)25, FALSE);
  639.         //显示目标网站IP
  640.         DownloadURLtoIP(handle_out, murl);

  642.         //分配线程句柄数组
  643.         HANDLE* phaThread =(HANDLE*)calloc(rThreadRange, sizeof(HANDLE));
  644.        
  645.         //创建事件对象
  646.         ghDataEvent =CreateEventA(NULL, FALSE, FALSE, NULL);
  647.        
  648.         //错误号
  649.         int nErr=0;

  651.         for(int i=0; i<rThreadRange; i++){

  653.                 inum[0]=i, inum[1]=M[0]+i*rThreadAdd, inum[2]=M[0]+i*rThreadAdd+rThreadAdd-1;
  654.                 if(inum[2]>N[0]){inum[2]=N[0];}

  656.                 phaThread[i]=(HANDLE)_beginthreadex(NULL, 0, FastDownload, &inum, 2048, NULL);

  658.                  if(phaThread[i]==0){
  659.                             nErr=GetLastError();
  660.                             if(nErr==0x08){
  661.                                         printf("\nOpen thread failed, lack of storage space!\n");
  662.                         }else{
  663.                                 printf("\nOpen thread failed, error number%d\n", nErr);
  664.                         }
  665.                         break;
  666.                 }
  667.                 WaitForSingleObject(ghDataEvent, INFINITE);
  668.         }

  670.         //色彩代码 紫色1|4|8，红色4|8，绿色2|8，兰色1|2|8，黄色2|4|8，白色1|2|4|8；

  672.         //显示最大线程
  673.         ColorString(handle_out, "[MAX-THRE] ", "", 4|8, 4|8, rThreadRange);

  675.         //显示开始时间
  676.         ColorString(handle_out, "[STA-TIME] ", asctime(timeinfo), 4|8, 1|4|8, -1);

  678.         //绘制进度框
  679.         ColorString(handle_out, "[DOWNLOAD] ", (char*)proGRESS, 4|8, 2|4|8, -1);

  681.         //绘制进度条
  682.         int spi=0;
  683.        
  684.         do{
  685.                 //进度百分数
  686.                 int i=(totalCYC==0)?100:(prointThread*100/totalCYC), j=i/2;
  687.                 if(spi==j){
  688.                         //缓解CPU占用
  689.                         Sleep(30);
  690.                         continue;
  691.                 }

  693.                 //显示递增进度
  694.                 while(spi<j){
  695.                         fputc('=', stdout);
  696.                         spi++;
  697.                 }

  699.                 //显示进度百分比
  700.                 fprintf(stdout, "%3d%%\b\b\b\b", i);

  702.                 //线程退出器
  703.                 if(prointThread==totalCYC){
  704.                         break;
  705.                 }

  707.         }while(nowsThread);

  709.         //补全百分百进度
  710.         if(prointThread==totalCYC){
  711.                 while(spi<50){
  712.                         fputc('=', stdout);
  713.                         spi++;
  714.                 }
  715.                 fprintf(stdout, "100%%");
  716.         }
  717.         fprintf(stdout, "\n");

  719.         //显示结束时间
  720.         time(&endTIME);
  721.         timeinfo=localtime(&endTIME);
  722.         ColorString(handle_out, "[END-TIME] ", asctime(timeinfo), 4|8, 1|4|8, -1);

  724.         //显示花费时间
  725.         ColorString(handle_out, "[USE-TIME] ", "", 4|8, 1|2|8, -1);
  726.         fprintf(stdout, "Takes %gs\n", difftime(endTIME, startTIME));

  728.         //颜色归位
  729.         SetConsoleTextAttribute(handle_out, 1|2|4);//白色

  731.         //关闭日志读写
  732.         if(*outlog != 0){
  733.                 fprintf(logfp, "\n[End the download time]\n%s\n", asctime(timeinfo));
  734.                 fprintf(logfp, "[Download time-spending]\n%g seconds\n\n", difftime(endTIME, startTIME));
  735.                 fprintf(logfp, "[Percent of completion]\n%d%%\n\n", (prointThread==totalCYC)?100:spi*2);
  736.                 fprintf(logfp, "[Successfully downloaded files]\n%d", trueDownload);
  737.                 fclose(logfp);
  738.         }
  739.         return 0;
  740. }
复制代码

评分

参与人数 2技术 +2 收起 理由
freesoft00 + 1 +1
老刘1号 + 1 666

查看全部评分

回复

举报

freesoft00
发表于 2017-8-26 01:13:46 | 显示全部楼层
是我用错了吗？怎么不行。

https://download.mozilla.org/?product=firefox-55.0.3-SSL&os=win&lang=zh-CN
http://ftp.mozilla.org/pub/firefox/releases/55.0.3/win32/zh-CN/Firefox%20Setup%2055.0.3.exe
https://ipmsg.org/archive/ipmsg470src.zip


把这三个网址分别添加到purl.ini中，也不行。弹出错误。
回复

举报

happy886rr
 楼主| 发表于 2017-8-26 08:26:01 | 显示全部楼层
本帖最后由 happy886rr 于 2017-8-26 09:07 编辑

回复 2# freesoft00
代码已经修复，这是多线程批量下载器，只支持批量地址下载，比如www.a01.com, www.a02.com, www.a03.com就是批量的网址，而不是说单一下载某个文件。
单独下载某个文件请使用pget。
purl的目的是针对有规律的数字递增网址，批量多线程下载，而且必须是几千、几万的批量网址才可以成功下载。线程过少的话，主程序很快就跑完了，子线程也就结束了。我把下载量调到5000，你的文件都成功下载了[:0]=0-5000
purl是针对繁重的批量下载任务定制的，个别几个小文件的下载多线程会得不偿失，小文件请使用pget。
回复

举报

freesoft00
发表于 2017-8-26 11:46:23 | 显示全部楼层
回复 3# happy886rr


    哦，知道了。用途不一样呀。
回复

举报

llh931886
发表于 2017-9-14 14:39:01 | 显示全部楼层
支持  ssh 链接的 sftp  下载吗？
回复

举报

CrLf
发表于 2017-10-10 00:37:58 | 显示全部楼层
请教下要怎么编译？
gcc和vs均未通过
回复

举报

523066680
发表于 2017-10-10 09:49:20 | 显示全部楼层
本帖最后由 523066680 于 2017-10-10 10:02 编辑

回复 6# CrLf


    试了 MinGW GCC， 稍微改一下可以

添加 <stdbool.h>
注释掉两个 lib 的引入（改为手动）
  1. #include <stdbool.h>

  3. // #pragma comment(lib, "ws2_32.lib")
  4. // #pragma comment (lib,"urlmon.lib")
复制代码
gcc purl.c -lws2_32 -lurlmon
回复

举报

happy886rr
 楼主| 发表于 2017-10-10 13:39:14 | 显示全部楼层
本帖最后由 happy886rr 于 2017-10-10 14:10 编辑

回复 6# CrLf
大师，好久不见。（后缀一定要改为cpp）
编译现在都已经实现一键了，请参看我之前的帖子http://www.bathome.net/thread-44180-1-1.html
下载那个精简的vc++2010编译器（仅22M大小），把.cpp文件直接拖拽到VC.CMD批处理脚本上，就会自动生成exe。
别看体积小，编译功能与原版VS几乎没有差别。
   
另外我还发布过手机版的gcc编译器，可以实现代码直接编译为 安卓上可运行的二进制文件。从而实现 win、linux、安卓 各平台通吃。

评分

参与人数 1技术 +1 收起 理由
CrLf + 1 666

查看全部评分

回复

举报

netdzb
发表于 2019-6-28 13:11:34 | 显示全部楼层
回复 8# happy886rr

手机版本的编译器在哪里？
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|批处理之家 ( 渝ICP备10000708号 )

GMT+8, 2026-3-16 23:22 , Processed in 0.024810 second(s), 8 queries , File On.

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表