【爬虫】利用python批量爬取人民教育出版社电子教材

13*0217

爬取完成：


示例代码：

1. # coding:utf-8
   
2. '''
   
3.     批量下载人民教育出版社电子教材（根据个人电脑环境参数设定）
   
4. '''
   
5. import requests
   
6. import re
   
7. 
   
8. # -- 参数设定 ------------------------------------------------------------------------------------------
   
9. pageBegin = 758857                                  # 起始页码
   
10. pageEnd = 758828                                    # 截止页码
    
11. path = "C:\\Users\\hkcmd\\Desktop\\path\"          # 自定义桌面路径，需要事先创建path文件夹
    
12. rootA = "http://old.pep.com.cn/gzsx/jszx_1/czsxtbjxzy/qrzptgjzxjc/dzkb/decxza/201008"   # 爬取Url根路径
    
13. # -- 结束设定 ------------------------------------------------------------------------------------------
    
14. 
    
15. pattern1 = re.compile("<IMG.*>", re.M)
    
16. pattern2 = re.compile("/.*jpg", re.M)
    
17. num = pageBegin - pageEnd + 1          # 页数
    
18. rootB = "http://old.pep.com.cn"
    
19. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}
    
20. 
    
21. for i in range(num):
    
22.     file = "/t20100826_" + str(pageBegin - i) + ".htm"
    
23.     pageUrl = rootA + file
    
24.     r = requests.get(pageUrl, headers = headers)
    
25.     if r.status_code == 200:
    
26.         imgStr = re.search(pattern1, r.text)
    
27.         srcStr = re.search(pattern2, imgStr.group()).group()
    
28.         if re.search('"', srcStr) == None:
    
29.             imgUrl = rootB + srcStr
    
30.         else:
    
31.             srcStrx = re.search('/.*"', srcStr).group()[0:-1]
    
32.             imgUrl = rootA + srcStrx
    
33.         img = requests.get(imgUrl, headers = headers)
    
34.         open(path + 'img' + str(i) + '.jpg', 'wb').write(img.content) # 将内容写入图片
    
35.     else:
    
36.         print(r.status_code)
    
37. print("done")

复制代码