全球主机交流论坛

标题: 爬虫工具那个好用 [打印本页]

作者: javasuperrookie 时间: 2023-11-14 11:24
标题: 爬虫工具那个好用
1、方便获取稳定的 selector 。最好可以在页面上直接选取元素，获得 selector 。
2、准确提取 data 。可以解析常见数据类型，如提取文本数字。也可以自定义解析脚本。
3、存储到指定的位置。将上述的 data 与 db 对应起来，最好可以用连线的方式，可视化的编辑 1 对 1 的关系。
4、构建循环的流程。爬虫一般都有循环结构，要能简单方便的构建流程，例如简单的逻辑不需要写代码。
5、异常的处理。如果采集过程中出错，要能够指定后续的流程。是返回上一级，还是抛出异常，还是加入到队列。

作者: Bigcan 时间: 2023-11-14 12:12
多学学Python吧，简单的直接去学影刀RPA

作者: RyanLuan 时间: 2023-11-14 12:17
正在学习

作者: javasuperrookie 时间: 2023-11-14 15:43

Bigcan 发表于 2023-11-14 12:12
多学学Python吧，简单的直接去学影刀RPA

刚刚看了影刀PRA 确实好用

作者: voleta 时间: 2023-11-14 16:11
想找个开源的爬虫管理平台...

作者: ziuch 时间: 2023-11-14 21:20
easyspider

欢迎光临全球主机交流论坛 (https://www.91ai.net/)