应用截图

详细介绍

通过多个标签页并行将网页加载到浏览器中进行抓取。 注意:使用的标签页越多,消耗的计算机资源(CPU、内存)就越多,而且每个页面都会占用一些磁盘空间来保存内容(保存在 IndexedDB 中,可从扩展程序页面的“检查视图:背景页”访问)。 “爬虫”的工作方式如下: 1)使用当前 URL 作为起点,在新标签页中重新加载。 2)页面加载后,获取页面上的所有链接。 3)获取页面上的所有链接,包括相对 URL。 4)在所有使用的标签页中并行打开提取出的链接(默认为 3 个,可在 eventPage 中设置)。 5)重复步骤 2 至 4。 所有源代码见:https://github.com/nobodxbodon/ChromeCrawlerWildSpider