使用python测试网页中超链接的连通性
在web测试，对网页中的超链接进行测试是最基本的工作，最简便的方法当然是使用像xenu之类的工具。但它具体是怎么实现的呢?我想也无外乎是通过http协议，根据超链接地址，向服务端发送请求，然后根据返回的信息进行判断连接的状态。下面是根据这种思路，用python编写的检测网页链接连通性的程序。
首先，建立一个示例网页，其中link1,lin3是不连通的，link2,link4是有效链接
使用python进行链接检测，要使用到4个重要模块，过程就是通过urllib抓取目标网页的html代码，然后通过sgmllib模块解析html，获取超链接的列表。然后使用urlparse解析超链接的url，供httplib使用。然后由httplib模块进行最后的请求及验证回复的过程。
sgmllib:用于HTML解析，解析出网页中包含的超链接
httplib:用于Http协议的操作
urllib:用于获取网页的html代码
urlparse：解析url地址，把url地址解析成几个部分。
具体实现代码如下：
#-×-coding:gb2312-*-
importhttplib,urllib,urlparse
fromsgmllibimportSGMLParser
#解析指定的网页的html，得到该页面的超链接列表
classURLLister(SGMLParser):
defreset(self):
SGMLParser.reset(self)
self.urls=[]
defstart_a(self,attrs):
href=[vfork,vinattrsifk=='href']
ifhref:
self.urls.extend(href)
#遍历超链接列表，并逐个的发送请求，判断接收后的代码，200为正常，其他为不正常
deffetch(host):
usock=urllib.urlopen(host)
parser=URLLister()
parser.feed(usock.read())
uhost=urlparse.urlparse(host)
forurlinparser.urls:
up=urlparse.urlparse(url)
#因为超链接有两种方式：一种是直接的http://......一种是相对路径，/.../sample.html
#所以要分别处理
ifup.netloc=="":
http=httplib.HTTP(uhost.netloc)
http.putrequest("GET","/"+up.path+"?"+up.params+up.query+up.fragment)
http.putheader("Accept","**")
http.endheaders()
errcode,errmsg,headers=http.getreply()
iferrcode==200:
printurl,":ok"
else:
printurl,":",errcode
#测试
fetch("http:////")
代码运行的结果：
http:////"http:////" target="_blank">IT培训机构:瀚银百科。http:////
- 最近发表