文件详情

文件信息

文件描述

├── 01_爬虫基础 │ └── 01_爬虫基础 │ ├── 01.爬虫特点介绍.flv │ ├── 02.课程结构.flv │ ├── 03.爬虫的概念.flv │ ├── 04.爬虫的作用.flv │ ├── 05.爬虫的分类.flv │ ├── 06.爬虫的流程.flv │ ├── 07.http与https的区别.flv │ ├── 08.常见的请求头与响应头.flv │ ├── 09.创建的响应状态码.flv │ └── 10.浏览器运行过程.flv ├── 02_requests模块 │ └── 02_requests模块 │ ├── 1.requests模块-简介-安装-使用.flv │ ├── 2.requests模块-响应对象的text与content之间的区别.flv │ ├── 3.requests模块-响应对象常用的参数和方法.flv │ ├── 4.requests模块-发送带请求头的请求.flv │ ├── 5.requests模块-发送带参数的请求.flv │ ├── 6.requests模块-在headers中设置cookies参数.flv │ ├── 7.requests模块-cookies参数的使用.flv │ ├── 8.requests模块-cookiejar对象的处理.flv │ ├── 9.requests模块-timeout参数.flv │ ├── 10.requests模块-代理proxies使用.flv │ ├── 11.requests模块-verify参数与ca证书.flv │ ├── 12.requests模块-post请求_金山翻译案例.flv │ ├── 13.requests-post数据来源.flv │ ├── 14.requests模块-session.flv │ └── 15.案例-github模拟登陆.flv ├── 03_数据提取 │ └── 03_数据提取 │ ├── 01.数据提取-响应内容的分类.flv │ ├── 02.xml与html.flv │ ├── 03.常用数据解析方法.flv │ ├── 04.jsonpath-场景-安装-使用.flv │ ├── 05.jsonpath-练习.flv │ ├── 06.jsonpath-案例-拉钩.flv │ ├── 07.lxml简介.flv │ ├── 08.xpathhelper简介_安装.flv │ ├── 09.xpath语法-基础节点选择.flv │ ├── 10.xpath语法-节点修饰语法.flv │ ├── 11.xpath语法-其他常用语法.flv │ ├── 12.lxml使用.flv │ ├── 13.百度贴吧.flv │ └── 14.tostring.flv ├── 04_selenium │ └── 04_selenium │ ├── 01.selenium-介绍_效果展示.flv │ ├── 02.selenium的工作原理.flv │ ├── 03.selenium-模块与driver的安装.flv │ ├── 04.selenium-简单使用.flv │ ├── 05.selenium-driver属性和方法.flv │ ├── 07.selenium-元素操作.flv │ ├── 10.selenium-cookies操作.flv │ ├── 11.selenium-执行js.flv │ ├── 12.selenium-页面等待.flv │ ├── 13.selenium-配置对象.flv │ └── 14.selenium-案例-斗鱼直播.flv ├── 05_反爬与反反爬 │ └── 05_反爬与反反爬 │ ├── 01.反爬与反反爬-反爬原因.flv │ ├── 02.反爬与反反爬-什么样的爬虫会被反.flv │ ├── 03.反爬与反反爬-常见概念与反爬方向.flv │ ├── 04.反爬与反反爬-基于身份识别的反爬.flv │ ├── 05.反爬与反反爬-及与爬虫行为的反爬.flv │ ├── 06.反爬与反反爬-基于数据加密进行反爬.flv │ ├── 07.验证码-验证码的知识.flv │ ├── 08.验证码-图像识别引擎.flv │ ├── 09.验证码-打码平台.flv │ ├── 10.chrome浏览器的使用.flv │ ├── 11.js解析-人人网登录分析.flv │ ├── 12.js解析-定位js文件.flv │ ├── 13.js解析-js代码分析.flv │ ├── 14.js解析-js2py使用.flv │ ├── 15.js解析-人人网登陆.flv │ ├── 16.有道翻译分析.flv │ ├── 17.hashlib使用.flv │ └── 18.有道翻译实现.flv ├── 06_MongoDB数据库 │ └── 06_MongoDB数据库 │ ├── 01.mongodb的介绍.flv │ ├── 02.mongodb的安装.flv │ ├── 03.mongodb简单使用-测试启动.flv │ ├── 04.mongodb简单使用-生产启动.flv │ ├── 05.mongodb简单使用-数据库操作.flv │ ├── 06.mongdb简单使用-集合操作.flv │ ├── 07.mongodb的数据类型.flv │ ├── 08.mongdb插入数据.flv │ ├── 09.mongodb查询数据.flv │ ├── 10.mongodb查询结果操作.flv │ ├── 11.mongodb-修改&删除.flv │ ├── 12.聚合管道-分组管道.flv │ ├── 13.聚合管道-其他管道.flv │ ├── 14.mongodb-索引.flv │ ├── 16.mongodb权限管理-普通用户.flv │ └── 17.pymongo使用.flv ├── 07_scrapy基础 │ └── 07_scrapy基础 │ ├── 01.scrapy-概念&作用.flv │ ├── 02.scrapy-工作流程.flv │ ├── 03.scrapy-各模块功能.flv │ ├── 04.项目开发流程-1框架安装&流程简介.flv │ ├── 05.项目开发流程-2创建项目.flv │ ├── 06.项目开发流程-3创建爬虫.flv │ ├── 07.项目开发流程-4完成爬虫.flv │ ├── 08.项目开发流程-5保存数据.flv │ ├── 09.项目开发流程-数据建模&流程完善.flv │ ├── 10.请求对象-请求&网易招聘简介.flv │ ├── 11.请求对象-案例-网易招聘.flv │ ├── 12.请求对象-其他参数.flv │ ├── 13.请求对象-meta传参.flv │ ├── 14.scrapy模拟登陆-cookies参数使用.flv │ ├── 15.scrapy模拟登陆-FormRequest发送post请求.flv │ ├── 16.scrapy管道的使用.flv │ ├── 17.crawlspider.flv │ ├── 18.tencent_crawl.flv │ ├── 19.中间件-分类与作用.flv │ ├── 20.中间件-豆瓣爬虫.flv │ ├── 21.中间件-随机请求头.flv │ ├── 22.中间件-随机ip代理.flv │ └── 23.中间件-selenium动态加载.flv ├── 08_scrapy-redis │ └── 08_scrapy-redis │ ├── 01.scrapy-redis-分布式的概念_原理.flv │ ├── 02.scrapy-redis-断点续爬.flv │ ├── 03.scrapy-redis-源码分析.flv │ ├── 04.scrapy-redis-分布式爬虫实现.flv │ ├── 05.scrapy-redis-分布式爬虫编写流程.flv │ ├── 06.scrapy-redis-京东爬虫-简介.flv │ ├── 07.scrapy-redis-京东爬虫-图书分类页面.flv │ ├── 08.scrapy-redis-京东爬虫-图书列表页面.flv │ ├── 09.scrapy-redis-京东爬虫-图书价格.flv │ └── 10.scrapy-redis-京东爬虫-修改成分布式爬虫.flv ├── 09_scrapy其他 │ └── 09_scrapy其他 │ ├── 01.splash-介绍_环境配置.flv │ ├── 02.splash-使用.flv │ ├── 03.scrapy-日志信息.flv │ ├── 04.scrpay配置-常用配置.flv │ ├── 05.scrapy配置-其他配置.flv │ ├── 06.使用scrapyd进行爬虫部署.flv │ └── 07.使用Gerapy进行爬虫管理.flv ├── 10_appium │ └── 10_appium │ ├── 01.appium简介.flv │ ├── 02.appium环境搭建.flv │ ├── 03.appium环境联调测试.flv │ └── 04.appium使用.flv └── 爬虫课件完整版本(HTML版本) └── 爬虫课件完整版本(HTML版本) ├── 01-爬虫基础 │ ├── images │ │ ├── content-type.webp │ │ ├── http的请求形式.png │ │ ├── http的响应形式.png │ │ ├── http发送的过程.png │ │ ├── http作用.png │ │ ├── 爬虫的工作流程.png │ │ └── 爬虫分类.png │ ├── 1.爬虫概述.html │ ├── 2.http协议复习.html │ └── index.html ├── 02-requests模块 │ ├── images │ │ ├── 4-2-2-1.jpg │ │ ├── 4-2-2-2.jpg │ │ ├── 4-2-2-3.jpg │ │ ├── 12306ssl错误.png │ │ ├── 百度翻译移动版-1.png │ │ ├── 百度翻译移动版-2.png │ │ ├── 百度翻译移动版-3.png │ │ ├── 百度翻译移动版-4.png │ │ ├── 查看移动端页面.png │ │ ├── formdata.jpeg │ │ ├── king.jpeg │ │ ├── requests-3-2-1-4.png │ │ ├── requests-3-2-3.png │ │ ├── responsedata.jpeg │ │ └── 使用代理的过程.png │ ├── index.html │ └── requests模块.html ├── 03-数据提取 │ ├── images │ │ ├── 非结构化响应内容html.png │ │ ├── 节点.png │ │ ├── 结构化响应内容json.png │ │ ├── jsonpath的方法.png │ │ ├── jsonpath使用示例.png │ │ ├── 数据解析.png │ │ ├── xml和html的区别.png │ │ ├── xml树结构.gif │ │ ├── xpath_helper插件安装-1.png │ │ ├── xpath_helper插件安装-2.png │ │ ├── xpath_helper插件安装-3.png │ │ └── xpath中节点的关系.png │ ├── 1.数据提取概述.html │ ├── 2.数据提取-jsonpath模块.html │ ├── 3.数据提取-lxml模块.html │ └── index.html ├── 04-selenium的使用 │ ├── images │ │ ├── 查看chrome版本.png │ │ ├── 查看chrome版本2.png │ │ ├── selenium的工作原理.png │ │ ├── 下载chromedriver-1.png │ │ ├── 下载chromedriver-2.png │ │ ├── 下载chromedriver-3.png │ │ └── 下载chromedriver-4.png │ ├── 1.selenium的介绍.html │ ├── 2.selenium定位获取标签对象并提取数据.html │ ├── 3.selenium的其它使用方法.html │ └── index.html ├── 05-抓包与反爬与反爬解决方案 │ ├── images │ │ ├── chrome中network更多用途.png │ │ ├── 点击美化输出.png │ │ ├── 勾选perservelog的效果.png │ │ ├── js的绑定事件.png │ │ ├── 继续在其中搜索关键字.png │ │ ├── 人人网登录的地址.png │ │ ├── 人人网手机版登录.png │ │ ├── 人人网抓包寻找url地址.png │ │ ├── searchallfile搜索关键字.png │ │ ├── 使用字体来反爬.png │ │ ├── 通过css反爬.png │ │ ├── 添加断点.png │ │ └── 新建隐身窗口.png │ ├── 1.常见的反爬手段和解决方法.html │ ├── 2.打码平台的使用.html │ ├── 3.chrome在爬虫中的使用.html │ ├── 4.JS的解析.html │ └── index.html ├── 06-mongodb数据库 │ ├── images │ │ ├── 4.3.创建索引速度对比.png │ │ ├── 7.mongodb总结.png │ │ └── mongodb的聚合.png │ ├── 1.mongodb介绍和安装.html │ ├── 2.mongodb的简单使用.html │ ├── 3.mongodb的增删改查.html │ ├── 4.mongodb的聚合操作.html │ ├── 5.mongodb的索引操作.html │ ├── 6.mongodb的权限管理.html │ ├── 7.mongodb和python交互.html │ ├── 8.mongodb总结图.html │ └── index.html ├── 07-scrapy爬虫框架 │ ├── images │ │ ├── 0.jpg │ │ ├── 1.3.1.爬虫流程-1.png │ │ ├── 1.3.2.爬虫流程-2.png │ │ ├── 1.3.3.scrapy工作流程.png │ │ ├── 1.3.4.scrapy组件.png │ │ ├── 2.1.scrapy入门使用-1.png │ │ ├── 2.2.scrapy入门使用-2.png │ │ ├── 3.1.scrapy翻页.png │ │ ├── 4.3.1request-payload.jpg │ │ ├── 7.4.2.scrapy_redis的流程.png │ │ ├── 8.3.domz运行现象.png │ │ ├── 8.4.1.redis_pipeline.png │ │ ├── 8.4.2.RFP.png │ │ ├── 8.4.3.scheduler.png │ │ ├── 9.3.1.3.splash-server.png │ │ ├── 9.4.5.2.no-splash.png │ │ ├── 9.4.5.2.with-splash.png │ │ ├── 10.1.scrapy_debug.png │ │ ├── 11.scrapyd-1.jpg │ │ ├── 11.scrapyd-2.jpg │ │ ├── 11.scrapyd-3.jpg │ │ ├── 11.scrapyd-4.jpg │ │ ├── 11.scrapyd-5.jpg │ │ ├── 11.scrapyd-6.jpg │ │ ├── 11.scrapyd-7.jpg │ │ ├── 12.scrapy总结图.png │ │ ├── 部署.png │ │ ├── 部署成功.png │ │ ├── build之后.png │ │ ├── gerapy_调度scrapy爬虫项目.png │ │ ├── gerapy_列表.png │ │ ├── gerapy_目录结构.png │ │ ├── gerapy_配置scrapyd服务器.png │ │ ├── gerapy_数据库初始化.png │ │ ├── gerapy_主机管理页面.png │ │ ├── gerapy_主机管理页面_添加.png │ │ ├── gerapy_主界面.png │ │ ├── gerapy_主机添加.png │ │ ├── project_1.png │ │ ├── project_list.png │ │ ├── project项目打包.png │ │ ├── 运行1.png │ │ └── 运行2.png │ ├── 1.scrapy的概念作用和工作流程.html │ ├── 2.scrapy的入门使用.html │ ├── 3.scrapy构造并发送请求.html │ ├── 4.scrapy模拟登陆.html │ ├── 5.scrapy管道的使用.html │ ├── 6.scrapy中间件的使用.html │ ├── 7.scrapy_redis概念作用和流程.html │ ├── 8.scrapy_redis原理分析并实现断点续爬以及分布式爬虫.html │ ├── 9.scrapy_splash组件的使用.html │ ├── 10.scrapy的日志信息与配置.html │ ├── 11.scrapyd部署scrapy项目.html │ ├── 12.gerapy爬虫管理.html │ ├── 13.gerapy爬虫管理.md │ ├── 13.scrapy总结图.html │ ├── 14.crawlspider类的使用.html │ └── index.html ├── 08-appium的使用 │ ├── images │ │ ├── 2-3-2-appiumDesktop定位界面使用方法.jpg │ │ ├── 2.1.1.1安装node.js.png │ │ ├── 2.1.2.1-安装java.jpg │ │ ├── 2.1.2.2-安装java.jpg │ │ ├── 2.1.2.3-安装java.jpg │ │ ├── 2.1.2.4-安装java.jpg │ │ ├── 2.1.2.5-安装java.jpg │ │ ├── 2.1.2.6-安装java.jpg │ │ ├── 2.1.2.7-安装java.png │ │ ├── 2.1.2.8-安装java.png │ │ ├── 2.1.3.1.jpg │ │ ├── 2.1.3.2.jpg │ │ ├── 2.1.3.3.jpg │ │ ├── 2.1.3.4.jpg │ │ ├── 2.1.3.5.jpg │ │ ├── 2.1.3.6.jpg │ │ ├── 2.1.3.7.jpg │ │ ├── 2.1.3.8.jpg │ │ ├── 2.1.3.9.jpg │ │ ├── 2.1.3.10.jpg │ │ ├── 2.1.3.11.jpg │ │ ├── 2.1.3.12.jpg │ │ ├── 2.1.3.13.jpg │ │ ├── 2.1.3.14.jpg │ │ ├── 2.1.3.15.jpg │ │ ├── 2.1.4.1.jpg │ │ ├── 2.1.4.2.jpg │ │ ├── 2.1.4.3.jpg │ │ ├── 2.1.5.1.jpg │ │ ├── 2.1.5.2.jpg │ │ ├── 2.1.5.3.jpg │ │ ├── 2.1.5.4.jpg │ │ ├── 2.2.1.1.png │ │ ├── 2.2.1.2.png │ │ ├── 2.2.2.1.png │ │ ├── 2.2.3.1_.png │ │ ├── 2.2.3.2_.png │ │ ├── 2.2.3.3_.png │ │ ├── 2.2.3.4_.png │ │ ├── 2.2.3.5.png │ │ ├── 2.2.3.6.png │ │ ├── android-sdk-manager更新-2.png │ │ ├── android-sdk-manager更新.png │ │ ├── appium-session配置.png │ │ ├── java-jdk1.8下载.png │ │ └── 元素定位.png │ ├── 1.appium环境安装.html │ ├── 2.利用appium自动控制移动设备并提取数据.html │ └── index.html ├── 09-项目-12306购票 │ ├── images │ │ ├── 1.2-12306购票项目任务分解.png │ │ ├── 6.2.1-项目代码地图.png │ │ ├── 6.3.1-项目文件结构.png │ │ ├── 登陆效果.png │ │ └── 购票成功以及手动打码的特殊情况.gif │ ├── 1.12306购票抓包分析以及任务分解.md │ ├── 2.处理验证码并完成登陆.md │ ├── 3.解析车站信息以及车辆信息.md │ ├── 4.预定订单初始化、解析用户信息以及坐席信息.md │ ├── 5.构造时间参数以及下单购票.md │ └── 6.测试运行以及完整代码.md ├── 10-项目-国家企业公示网 │ ├── images │ │ ├── 1.1.1.png │ │ ├── 1.1.2.png │ │ ├── 1.1.3.png │ │ ├── 1.1.4.png │ │ ├── 1.1.5.png │ │ ├── 1.7.gsxt-组件流程图.png │ │ ├── 4.3.png │ │ ├── 5.0.png │ │ ├── 5.1.PNG │ │ ├── 5.2.PNG │ │ ├── 5.3.PNG │ │ ├── 5.4.png │ │ ├── 5.5.PNG │ │ ├── 5.6.png │ │ ├── 5.7.PNG │ │ └── 创宇知道反爬.PNG │ ├── 1.项目分析.md │ ├── 2.webapi实现.md │ ├── 3.node_server节点任务调度.md │ ├── 4.crawler爬虫抓取数据.md │ └── 5.运行效果.md ├── gitbook │ ├── fonts │ │ └── fontawesome │ │ ├── fontawesome-webfont.eot │ │ ├── fontawesome-webfont.ttf │ │ ├── fontawesome-webfont.woff │ │ └── FontAwesome.otf │ ├── images │ │ ├── apple-touch-icon-precomposed-152.png │ │ └── favicon.ico │ ├── plugins │ │ ├── gitbook-plugin-fontsettings │ │ │ ├── buttons.js │ │ │ └── website.css │ │ ├── gitbook-plugin-highlight │ │ │ ├── ebook.css │ │ │ └── website.css │ │ ├── gitbook-plugin-search │ │ │ ├── lunr.min.js │ │ │ ├── search.css │ │ │ └── search.js │ │ └── gitbook-plugin-sharing │ │ └── buttons.js │ ├── app.js │ └── style.css ├── charback.txt ├── index.html ├── 课堂纪要 └── search_index.json