爬虫知识点个人整理

任何事情都没有捷径都是博主日积月累累积的,加密的文章不便于公开大家谅解一下,爬虫实践自己专研很重要

一.爬虫原则

爬虫的盗亦有道Robots协议

二.爬虫页面获取基础

Requests库概念

深入requests库params|data|json参数

requests模块请求常用参数的写法整理

requests模块响应体属性和方法重新整理

Python3安装与使用urllib2包之小坑

爬虫防止浏览器防止debug处理

python爬虫执行js代码-execjs

三.爬虫页面解析基础

url编码本质

BeautifulSoup库概念

python爬虫网页解析之lxml模块

python爬虫网页解析之parsel模块

四.解析后内容获取

xpath路径的写法

re模块

常用的re模块的正则匹配的表达式

BeautifulSoup的重要操作

五.模仿浏览器爬取

Selenium模块的安装

深入selenium模块基础操作

深入selenium三种等待方式使用

爬虫selenium中截图

爬虫selenium中动作链接ActionChains

爬虫在linux下启动selenium-安装谷歌浏览器和驱动(傻瓜式教程)

selenium浏览器内核监测处理

python-pyppeteer模块使用汇总

六.Scrapy框架

爬虫之Scarpy.Request

Scrapy爬虫框架与常用命令

Scrapy框架的简单使用

scrapy在pycharm配置启动(无需命令行启动)无需命令行启动)

Scrapy框架-爬虫程序相关属性和方法汇总

scrapy常用配置

关于scrapy中scrapy.Request中的属性

Scrapy中response属性以及内容提取

Scrapy框架-中间件

关于scrapy中如何区分是接着发起请求还是开始保存文件

七.抓包工具

mitmproxy的使用

mitmproxy(TLS错误)

linux上安装mitmproxy

Fiddler手机抓包设置

Fiddler抓取内容自动保存本地

fiddler抓包syntaxview窗口乱码

Fiddler显示指定host请求,以及过滤无用的css,js

手机APP无法抓包(无法连接服务器)

python爬虫用drony转发进行抓包转发

VirtualXposed结合justTrustMe 模块傻瓜式破解app没法抓包问题

八.实战爬虫

爬虫防止浏览器防止debug处理

爬段子

爬图片

爬视频

练手爬虫用urllib模块获取

爬取博客园的所有随笔的url以及计数,还有对应标题

爬取新浪双色彩,信息并进行分析

对于下发的文件进行爬取

九.进阶的实战爬虫

爬虫爬取m3u8视频文件

爬虫模拟有道字典进行翻译,还发现了一条好玩的js

爬取斗图网图片,使用xpath格式来匹配内容,对请求伪装成浏览器, Referer 防跨域请求

爬虫多线程高效高速爬取图片

博客园随笔内容进行爬取至本地并转md格式

爬取千千音乐动态传输内容

写了个爬虫代理ip的脚本给大家使用

对于房天下租房信息进行爬取

模拟百度进行图片搜索,有问题可以留言

爬虫极滑块验证思路

python爬虫爬小说网站涉及到(js加密,CSS加密)

爬虫滑块计算图片之间的距离更加精确

X贝网app破解登入参数(涉及app脱壳,反编译java层,so层动态注册,反编译so层)

今日头条登入

破解知乎登入加密信息(不使用Selenium模块)(加密请见谅)

B站根据搜索词爬取视频(加密请见谅)

红薯小说爬取(加密请见谅)

极滑块验证完美攻克 (加密请见谅)

淘宝详情页sku获取无需登入 (加密请见谅)

淘宝绕过登入爬取商品url列表(加密请见谅)

得物app的newsigin的获取(加密请见谅)

斗牛app爬取 (加密请见谅)

快手加密 (加密请见谅)

十.电商相关

python获取淘宝登入cookies

pyppeteer硬钢掉淘宝登入的滑块验证

python爬虫-京东商品爬取

amazon爬取流程与思路

Flipcart 爬取流程

国外电商网站snapdeal爬取流程

十一.碰到的异常

爬虫之ssh证书警告错误

fiddler抓包syntaxview窗口乱码

execjs使用时异常

十二.airtest相关

poco对象生成的几种方式根据你使用不同的ui决定

airtest操作夜神模拟器adb冲突解决办法

Airtest操作多台云手机,进行分发,多个脚本后端调度

Airtest常见的元素定位不到

airtest本地连接和远程连接

十三.app爬取相关

adb修改手机分辨率

adb常用命令总结

adb命令将抓包工具证书从用户目录移动至系统目录,解决反爬对于本地证书认证

fiddler抓包syntaxview窗口乱码

app反编译遇到360加固,傻瓜式脱壳

APP反编译Xposed-Fdex2脱壳

APP脱壳方法三

apktool重新打包添加签名

apktool的下载,安装,反编译和重新打包

hook框架-frida使用-环境配置

hook框架-frida使用-APP在模拟器无法打开,用钩子去除限制

hook框架-frida简单使用模板以及frida相关接口

frida框架hook参数获取方法入参模板

frida框架hook常用字符串模板总结

frida- registernatives获取so层动态注册函数

frida框架hook获取方法输出参数(常用于简单的so输出参数获取,快速开发)

HOOK框架—frida—hookapp so文件的使用案例 (已加密)

安卓日常开发和逆向中常用的shell命令与非shell命令

逆向so文件调试工具ida基础知识点

对于app监测root权限或者强制升

十四.其他

python随机生成经纬度(用于爬虫参数伪造)

python坐标获取经纬度或经纬度获取坐标免费模块–geopy

python识别视频黑屏或者低清晰度

python3异步爬虫 ——aiohttp模板使用

python3配置socks5代理进行爬取

python抓取动态验证码,具体第几帧数的位置静态图片

python图片验证码识别最新模块muggle_ocr

node运行js获得输出的三种方式

python爬虫以及后端开发–实用加密模板整理

爬虫最新的库requests-html库总结

requests-html库render的使用

mongoDB

mongo客户端升级导致pymongo中使用聚合函数时出现异常

linux中crontab任务调度

python-schedule模块(定时任务)基于官方文档总结

用易语言写个简单的小爬虫其中的关键点

python爬虫以及后端开发–实用加密模板整理

GO用内置包写爬虫

爬虫计算两张验证图片的距离(情况一)