Python Scrapy爬虫

简介

使用Scrapy,Selenium和Splash做网页爬虫的完整培训课程。
应用真实案例和实践项目教学。
培训师为载昱老师，拥有十五年职业程序员与咨询顾问经历。
录播教学视频时长10小时。

前提

Python水平：中级，这个Scrapy爬虫课程假设你已经知道编写基本的Python程序，熟悉Python的核心功能（数据结构、文件处理、函数、类、模块、和库等）

教学方式

录播加一对一远程辅导

Scrapy爬虫内容

  • Scrapy与其它网页爬虫库的不同
  • 怎样创建一个Scrapy项目，搭建一个基本的爬虫从网站爬取数据
  • 探索Xpath命令，怎样在Scrapy使用Xpath来提取数据
  • 搭建一个完整的Scrapy网页爬虫来抓取多页数据以及从每页种提取数据
  • Scrapy的架构，Scrapy项目整体概览，每一部分的意义以及怎样在爬虫代码中使用
  • 网页爬虫的最佳实践，如何避免网站的限制
  • 怎样使用Scrapy来登录网站
  • 怎样创建一个高级的Scrapy网页爬虫，使用Link Extractor 对象来定义哪些连接爬取。
  • 结合Splash和Selenium，使用Scrapy创建网页爬虫爬取动态网页，当不能直接获取数据时，可以加载网页，填写表单，点击或滑动滚动条等，来抓取需要AJAX调用和JavaScrpit渲染的网页。
  • 我们也会讨论一些Scrapy的其它功能，例如网页抓取之后的处理、使用Scrapy参数等等
  • 爬虫的主要目的是抓取数据，我们将学习如何将抓取的数据保存为CSV、JSON、和XML
  • 最后，你将学习怎么样保存Scrapy抓取的数据输入进行MySQL数据库

你将学习到

  • 使用Scrapy创建网页爬虫
  • 爬取单页或多页数据
  • 使用Scrapy登录网站
  • 集成Splash爬取JavaScript网站
  • 集成Selenium爬取JavaScript网页
  • 搭建Scrapy高级爬虫
  • 爬取网页数据之后的更多Scrapy功能
  • 编辑和使用Scrapy参数
  • 提取数据到CSV、Excel、XML、和JSON文件
  • 爬取数据之后保存到MySQL数据库
  • 几个真实的网页爬虫项目
  • 提供所有练习的Python源代码

学员评价

    载昱老师的讲解由浅入深，通俗易懂，通过1个月的工作之余的学习，我已经熟练掌握了Scrapy爬虫的编写， 并应用到工作中，大幅减少了日常收集数据的工作量。
    ---某国内一线电商采购部员工 刘丹

    我是去年底跟载昱老师学习Python的，之前没有接触过编程语言，通过一个月的Python零基础课程的学习， 感觉学习效果不错，就续订了老师的Scrapy爬虫课程，载昱老师回答问题耐心，讲解清晰，让我受益匪浅。 学完Scrapy课程之后，运用到了实际工作，减少大量的数据收集等体力工作，同时自己的Python编程功力大增， 有了脱胎换骨的感觉。
    ---某国内知名券商员工 网名同仁