做网站专用图标/万网
更多内容请见： 爬虫和逆向教程-专栏介绍和目录
文章目录
- 一、Crawlee概述
- 1.1 Crawlee介绍
- 1.2 为什么 Crawlee 是网页抓取和爬取的首选？
- 1.3 为什么使用 Crawlee 而不是 Scrapy
- 1.4 Crawlee的安装
- 二、Crawlee的基本使用
- 2.1 BeautifulSoupCrawler的使用方式
- 2.2 ParselCrawler的使用方式
- 2.3 PlaywrightCrawler的使用方式
- 2.4 有头模拟器设置
- 2.5 将请求添加到抓取队列
- 2.6 限制抓取
- 2.7 过滤指向同一域名的链接
- 2.8 保存数据
- 三、Crawlee的高级使用
- 3.1 如何避免被阻塞
- 3.2 何时使用 Playwright 爬虫
- 3.3 代理管理
- 3.4 拓展爬虫
前言：本文章详细介绍使用 Crawlee 最重要的功能。它将引导您从最简单的（仅将文本打印到控制台）爬虫，逐步发展到功能齐全的（可从网站收集链接并提取数据）爬虫。
一、Crawlee概述
1.1 Crawlee介绍
Crawlee ：一个用于Python构建可靠爬虫的网络抓取和浏览器自动化库。提取AI、LLM、RAG或GPT的数据。从网站下载HTML、PDF、JPG、PNG和其他文件。适用于BeautifulSoup、Playwright和原始HTTP。头模式和无头模式。提供端到端的爬取和抓取服务，可以快速构建可靠的抓取工具。
即使使用默认配置，您的爬虫程序也能像人类一样运行，并躲过现代机器人防护措施的雷达扫描。Crawlee 为您提供各种工具，帮助您抓取网页链接、数据并以机器可读的格式持久存储数据，而无需担心技术细节。此外，由于 Crawlee 拥有丰