今天要下载一些图片,这些图片全被墙了。就想着用python去下载,当然得用代理。
搜索一下发现urllib及urllib2模块都是支持代理的,但是要http代理。而我用Tunnelier建的是sock5代理,随即再搜索python使用sock5代理,发现也是有相关第三方模块的,叫SocksiPy。
下载后按说明使用,但一直不成功,汗,可能悟性太低了吧。
看来只有找个http代理了,要不用nginx搞个http代理?折腾了下,貌似也不成功。
又想到本博客另一作者写过一个sock5代理转http代理的帖子,立马找到其中提到的软件:Privoxy
下载后安装,最后版本是
我就下载的这个。安装后打开,在Options–Eidt Main Configuration
这时会用记事本打开配置文件,在这个文件的最下面加上:
forward-socks5 / 127.0.0.1:7070 .
注意最后面有一个点,最好复制。
我的Tunnelier在7070端口开的sock5代理,具体视个人情况修改。
保存后重启Privoxy。
然后在 127.0.0.1:8118 就有http代理了,8118是privoxy默认的端口。
urllib2使用代理:
import urllib2
proxy = ’127.0.0.1:8118′
opener = urllib2.build_opener( urllib2.ProxyHandler({‘http’:proxy}) )
urllib2.install_opener( opener )
sContent = urllib2.urlopen(url).read()
file1=open(filepath,’wb’)
file1.write(sContent)
file1.close()
分享到:
相关推荐
Python urllib urllib2 urllib模块安装说明
Python urllib urllib2 urllib模块
python urllib3 安装文件包
python urllib2模块实例简介.docx
pythonurllib2模块实例简介.pdf
pythonurllib2模块实例简介文.pdf
python urllib3 requests
Python 网络爬虫开发 Python爬虫入门基础教程:Python的urllib2 模块解析 共6页.pptx
python urllib 使用PPT python urllib使用PPT
python入门基础教程:python的urllib2 模块解析.pptx
python 2.7 urllib2的详细使用教程
pythonurllib模块【下载图片】共9页.pdf.zip
一、最基础的应用 ...urllib2提供了request的类,可以让用户在发送请求前先构造一个request的对象,然后通过urllib2.urlopen方法来发送请求 import urllib2 url = r'http://www.baidu.com' req = urlli
正好Python有相关的模块,所以写了个程序来进行PDF文件的下载,顺便熟悉了Python的urllib模块和ulrllib2模块。 1、问题描述 需要从http://www.cvpapers.com/cvpr2014.html上下载几百个论文的PDF文件,该网页如下图...
本文实例讲述了Python使用urllib2模块实现断点续传下载的方法。分享给大家供大家参考。具体分析如下: 在使用HTTP协议进行下载的时候只需要在头上设置一下Range的范围就可以进行断点续传下载,当然,首先服务器需要...
python urllib2详解及实例 Python开发技术文章_教程 - 红黑联盟.pdf