用Scrapio爬取竞品网站并导出JSON

本文介绍如何使用Scrapio的Crawl端点自动爬取整个竞品网站，并将结构化数据导出为JSON。通过提供起始URL数组、最大页面数（最多50）、最大深度及可选的提取模式，即可同步获取所有页面数据。示例代码展示了如何配置请求，包括设置提取模式为schema，提取标题、描述、字数、发布日期等字段。爬取完成后，结果包含页面列表和统计信息，可保存为JSON文件，并可用pandas进行数据分析，如计算平均字数、找出最长页面等。该方法可帮助了解竞品的内容策略，发现内容缺口。