问题描述
我通过此过程浏览了大量的url，我使用了多个线程。 但是我使用的第一个版本
myreq.fp._sock.fp._sock.shutdown(socket.SHUT_RDWR)
关闭连接似乎并不能一直下载所有数据。 另一方面，当我改为使用
#myreq.fp._sock.recv=None # hacky avoidance
有时与某些站点的连接会挂起很长时间。 一分钟多。
编码：
useragent = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
request = urllib2.Request(url,None,useragent)
try :
myreq = urllib2.urlopen(request, timeout = threadtimeout)
html_code = myreq.read()
myreq.fp._sock.fp._sock.shutdown(socket.SHUT_RDWR)
#myreq.fp._sock.recv=None # hacky avoidance
myreq.close()
except Exception :
html_code = ""
1楼
您可以从设置urllib2的超时
import socket
timeout = 10
socket.setdefaulttimeout(timeout)
myreq = urllib2.urlopen(request)
html_code = myreq.read()
2楼
由于请求会处理自动关闭的连接，因此效果更好：
useragent = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
request = urllib2.Request(url,None,useragent)
try :
import requests
response = requests.get(url, headers=useragent,timeout = threadtimeout)
html_code = response.text