自己动手写爬虫下载notepad++官网代码

元始天尊

1. import java.io.File;import java.io.FileOutputStream;
   
2. import java.io.IOException;
   
3. import java.io.InputStream;
   
4. import java.net.URL;
   
5. import java.net.URLConnection;
   
6. 
   
7. import org.jsoup.Jsoup;
   
8. import org.jsoup.nodes.Document;
   
9. import org.jsoup.nodes.Element;
   
10. import org.jsoup.select.Elements;
    
11. 
    
12. public class notepadplusplus
    
13. {
    
14.         public static String url="http://svn.tuxfamily.org";
    
15.         public static String path="k:/notepad++";
    
16.         public static int filethreadnum=0;
    
17.        
    
18.         public static boolean setinit=false;//是否强制初始化
    
19.         public static String[] initstring={};//初始化目录位要开始更新的目录，按深度顺序
    
20.         public static int curdepth=0;//当前初始化深度
    
21. 
    
22.         public static class FileThread extends Thread
    
23.         {
    
24.                 String curnode;
    
25.                 String filepath;
    
26.                
    
27.                 FileThread(String curnode,String filepath)
    
28.                 {
    
29.                         this.curnode=curnode;
    
30.                         this.filepath=filepath;
    
31.                 }
    
32.                
    
33.                 public void run()
    
34.                 {
    
35.                         try
    
36.                         {
    
37.                                 while(filethreadnum>30)
    
38.                                 {
    
39.                                         sleep(1000);
    
40.                                 }
    
41.                                 filethreadnum++;
    
42.                                
    
43.                                 int byteread=0;
    
44.                                 int bytesum=0;
    
45.                                 URL weburl=new URL(url+curnode.replaceAll("view=.*$","view=co"));
    
46.                                 URLConnection con=weburl.openConnection();
    
47.                                 InputStream instream=con.getInputStream();
    
48.                                 FileOutputStream fs=new FileOutputStream((path+filepath).replace("%20"," "));
    
49.                                 byte[] buffer=new byte[65536];
    
50.                                 while((byteread=instream.read(buffer)) != -1)
    
51.                                 {
    
52.                                          bytesum+=byteread;
    
53.                                          fs.write(buffer,0,byteread);
    
54.                                          System.out.println("\t\t当前下载文件："+filepath+curnode+"\t当前大小："+bytesum);
    
55.                                 }
    
56.                                 fs.close();
    
57.                                 instream.close();
    
58. 
    
59.                                 filethreadnum--;
    
60.                         }
    
61.                         catch(Exception e)
    
62.                         {
    
63.                                 System.out.println("error");
    
64. //                                new File(path+filepath).deleteOnExit();;
    
65.                         }
    
66.                 }
    
67.         }
    
68.        
    
69.         public static String escape(String src)
    
70.         {
    
71.                 StringBuffer sbuf=new StringBuffer();
    
72.                 int len=src.length();
    
73.                 for(int i=0;i<len;i++)
    
74.                 {
    
75.                         int ch=src.charAt(i);
    
76.                         if(ch == '\\' || ch == '*' || ch == '?' || ch == '"' || ch == '<' || ch == '>' || ch == '|')
    
77.                                 sbuf.append('x');//忽略不能做文件名的字符
    
78.                         else
    
79.                                 sbuf.append(ch);
    
80.                 }
    
81.        
    
82.                 return sbuf.toString();
    
83.         }
    
84.        
    
85.         public static String createFolder(String folderPath)
    
86.         {
    
87.                 String txt = folderPath;
    
88.                 txt.replace('\\','/');
    
89.                 if(txt.charAt(txt.length()-1) != '/')
    
90.                         txt+='/';
    
91.                 try
    
92.                 {
    
93.                         File myFilePath = new File(txt);
    
94.                         txt = folderPath;
    
95.                         if (!myFilePath.exists())
    
96.                         {
    
97.                                 if(!myFilePath.mkdir())
    
98.                                 {
    
99.                                         String newpath=folderPath.substring(0,folderPath.length()-1);
    
100.                                         newpath=newpath.substring(0,newpath.lastIndexOf('/'));
     
101.                                         createFolder(newpath);
     
102.                                         myFilePath.mkdir();
     
103.                                 }
     
104.                         }
     
105.                 }
     
106.                 catch (Exception e)
     
107.                 {
     
108.                         System.out.println("错误!");
     
109.                 }
     
110.                 return txt;
     
111.         }
     
112.        
     
113.         public static void myresolve(Element e) throws IOException
     
114.         {
     
115.                 try
     
116.                 {
     
117.                         String curnode=e.attr("href");
     
118.                         System.out.println(curnode);
     
119.                         if(setinit)
     
120.                         {
     
121.                                 if(!curnode.equals(initstring[curdepth]))
     
122.                                         return;
     
123.                                 else
     
124.                                         curdepth++;
     
125.                                 if(curdepth >= initstring.length)
     
126.                                         setinit=false;
     
127.                         }
     
128.           
     
129.                         if(!curnode.contains(".."))
     
130.                         {//非父目录
     
131.                                 if(curnode.charAt(curnode.length()-1) == '/')
     
132.                                 {//目录
     
133.                                         createFolder((path+curnode).replace("%20"," "));
     
134.                                         Document doc=Jsoup.connect(url+curnode).timeout(0).get();
     
135.                                         System.out.println("当前目录："+url+curnode);
     
136.                                         Elements items = new Elements();
     
137.                                         Elements items1=doc.select("tr.vc_row_even td[style] a");
     
138.                                         items.addAll(items1);
     
139.                                         items1=doc.select("tr.vc_row_odd td[style] a");
     
140.                                         items.addAll(items1);
     
141.                                         for(Element ele:items)
     
142.                                         {
     
143.                                                 myresolve(ele);
     
144.                                         }
     
145.                                 }
     
146.                                 else
     
147.                                 {//文件
     
148.                                         String filepath=curnode.substring(0,curnode.lastIndexOf('/')+1)+e.attr("name");
     
149.                                         File curfile=new File((path+filepath).replace("%20"," "));
     
150.                                         if(curfile.exists())
     
151.                                                 return;
     
152.                                         while(filethreadnum>30)
     
153.                                         {
     
154.                                                 Thread.sleep(1000);
     
155.                                         }
     
156.                                         (new FileThread(curnode,filepath)).start();
     
157.                                 }
     
158.                         }
     
159.                 }
     
160.                 catch(Exception exc)
     
161.                 {
     
162.                         System.out.println("错误!");
     
163.                 }
     
164.         }
     
165.        
     
166.         public static void main(String[] args) throws IOException
     
167.         {
     
168.                 try
     
169.                 {
     
170.                         Document doc = Jsoup.connect(url+"/").timeout(0).get();
     
171.                         Elements items=doc.select("tr.vc_row_even a");
     
172.                         items.addAll(doc.select("tr.vc_row_odd a"));
     
173.                         createFolder(path);
     
174.                         for(Element e:items)
     
175.                         {
     
176.                                 myresolve(e);
     
177.                         }
     
178.                 }
     
179.                 catch(Exception exc)
     
180.                 {
     
181.                         System.out.println("错误!");
     
182.                 }
     
183.         }
     
184. }

复制代码

0xAA55

为毛每次都要我帮你重新排版哟……我成擦屁股的了