基于TP5(FastAdmin) + QueryList + Puppeteer 开发,支持采集绝大部分网站,特别适合动态数据加载的网站,模拟用户点击操作,没有繁琐的匹配规则,简单方便,是您建站的好帮手,支持插件化安装,代码100%开源。
功能说明:此软件是一款能够帮助你网站实现数据采集的工具,使用QueryList + Puppeteer解析DOM结构,QueryList使用了更加强大而优雅的CSS选择器来做DOM解析,大大降低了PHP做DOM解析的门槛,同时也让DOM解析代码易读易维护,让你从此告别晦涩难懂且不易维护的正则表达式,使用PuppeteerDOM解析JavaScript动态渲染的页面,支持使用Puppeteer所有的API,非常强大!相比其它采集软件,此软件更加简单易用,支持采集列表页和详情页,支持图片本地化,支持一次创建采集规则后续直接使用,支持数据直接发布到数据库,支持数据导出为CSV、JSON、TXT。代码完全开源,安装即用,二开无压力。
一、模板中心
设置模板相关信息,如模板名称、采集链接类型、列表切片选择器、下一页加载类型、下一页按钮选择器、列表页参数配置、详情也参数配置等,模板保存成功后可以添加到采集任务。
二、任务中心
设置采集任务信息,如果任务名称,采集地址、请求头参数、列表切片选择器、下一页加载类型、下一页按钮选择器、列表页参数配置、详情也参数配置、采集页数区间、是否图片本地化、设置图片补全地址链接等。
三、采集数据
采集数据主要显示采集数据结果以及数据操作,如果数据导出,数据发布到数据库。
四、采集调试
体验地址:https://demo.gzybo.net/demo.php
账号:demo
密码:123456