python的爬虫框架包括哪些模块?
一个成功的东西,他只涵盖一个整体内容吗?肯定不是的,像我们使用的任何物品,都是通过一块一块内容搭建起来的,除了实体物品,还包括我们的语言程序python,作为最经常使用的爬虫功能,大家有没有对框架里包含的模块进行了解呢?难道模块只存在一个吗?肯定不是,那不是的话,存在哪里模块呢?一起来看下吧~
1、Python标准库——urllib模块
功能:打开URL和http协议之类
实例代码:
#coding:utf-8 import urllib.request import time import platform #清屏函数(无关紧要 可以不写) def clear(): print(u"内容过多 3秒后清屏") time.sleep(3) OS = platform.system() if (OS == u'Windows'): os.system('cls') else: os.system('clear') #访问函数 def linkbaidu(): url = '' try: response = urllib.request.urlopen(url,timeout=3) except urllib.URLError: print(u'网络地址错误') exit() with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp: response = urllib.request.urlopen(url,timeout=3) fp.write(response.read()) print(u'获取url信息,response.geturl() :%s'%response.getrul()) print(u'获取返回代码,response.getcode() :%s' % response.getcode()) print(u'获取返回信息,response.info() :%s' % response.info()) print(u"获取的网页信息经存与baidu.txt") if __name__ =='main': linkbaidu()
2、Python标准库–logging模块
logging模块能够代替print函数的功能,将标准输出到日志文件保存起来,利用loggin模块可以部分替代debug
3、re模块
正则表达式
4、sys模块
系统相关模块
实际应用:
sys.argv(返回一个列表,包含所有的命令行)
sys.exit(退出程序)
5、Scrapy框架
上述给大家讲述了python的主要模块,还给大家顺带着说了大致的使用情况,希望大家可以根据以上描述,对这些模块进行合理的应用哦~
来源:PY学习网:原文地址:https://www.py.cn/article.html