URLCatcher设计文档
鬼谷子叔叔
- 2024-12-31 17:11
介绍
原理
Client端
catchUrl：提交抓取任务，等待抓取结果
Worker端
popCatch：领取抓取任务，执行抓取任务
updateCatch：更新抓取任务，上报抓取结果
Group（分组）：
在Client端提交抓取任务的时候指定Group，那么在Worker端领取抓取任务的时候也必须指定相同的Group，在Worker端更新抓取任务的时候同样必须指定相同的Group。
Delay模块
registerCatchGroup：给指定分组设定延迟规则
unregisterCatchGroup：撤销指定分组的延迟规则（进行中的不受影响）
resetCatchGroupData：重置指定分组针对当前Worker端的进行中的数据
相关文章推荐
- 使用Java开发微信公众号服务器后台接口 阅读：80
- Kubelet、Kubeadm、Kubectl的安装方法【20210830】 阅读：35
- 在模板里面指向站内URL地址的方法 阅读：1
- curl命令行传递Cookie参数的方法【20221009】 阅读：182
- Rancher(k8s)的配置映射Config的使用方法 阅读：318
- 做个java框架（6）——SHA1编码和URL编码【20210104】 阅读：61
- Jenkins动态重新部署docker-compose服务的方法 阅读：111
- Docker私有仓库Registry服务器开启认证配置【20220319】 阅读：297
- 做个web框架（25）——TFDO实现upsert方法功能【20210116】 阅读：26
- Python做个搜索引擎（7）网页蜘蛛代码编写（三）【20201013】 阅读：105