Crawlab(分布式爬虫管理平台)
v0.5.1免费版- 软件大小:1.1M
- 更新日期:2020/9/30
- 软件语言:简体
- 软件类别:源码相关
- 软件授权:免费软件
- 软件官网:https://www.crawlab.cn/
- 适用平台:WinAll
软件介绍精品推荐相关视频人气软件相关文章评论0下载地址
Crawlab是基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架,分为Docker、直接部署、Kubernetes三种安装方式。
相关软件软件大小版本说明下载地址
Crawlab是基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架,分为Docker、直接部署、Kubernetes三种安装方式!
软件介绍
Crawlab架构:
Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派发调度以及部署,工作节点收到任务之后,开始执行爬虫任务,并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简,去除了不必要的节点监控模块Flower,节点监控主要由Redis完成。
主节点
主节点是整个Crawlab架构的核心,属于Crawlab的中控系统。主节点负责与前端应用进行通信,并通过Redis将爬虫任务派发给工作节点。同时,主节点会同步(部署)爬虫给工作节点,通过Redis和MongoDB的GridFS。
工作节点
工作节点的主要功能是执行爬虫任务和储存抓取数据与日志,并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量,Crawlab可以做到横向扩展,不同的爬虫任务可以分配到不同的节点上执行。
MongoDB
MongoDB是Crawlab的运行数据库,储存有节点、爬虫、任务、定时任务等数据,另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。
Redis
Redis是非常受欢迎的Key-Value数据库,在Crawlab中主要实现节点间数据通信的功能。例如,节点会将自己信息通过HSET储存在Redis的nodes哈希列表中,主节点根据哈希列表来判断在线节点。
前端
前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。
精品推荐
其他版本下载
相关视频
-
没有数据
人气软件
源码下载者406KB
/简体正则表达式测试工具446KB
/简体源码行数统计(Iris Code Counter)中文版171KB
/简体1000个易语言模块大全17.2M
/简体php集成环境(DedeAMPZ)完整专业版11.9M
/简体php168整站系统(齐博CMS)11.5M
/简体GirlAndLady网上商城源码7.1M
/简体巢客文件管理系统987KB
/简体Google Blog Converters(博客数据转移器)25.7M
/英文百姓问问答系统678KB
/简体
厂商其他下载
- 电脑版安卓版IOS版Mac版
-
快车(FlashGet)7.4M
/简体VeryCD 电驴(easyMule)4.1M
/简体Opera浏览器81.8M
/简体光影魔术手19.1M
/简体360安全浏览器7.044.6M
/简体格式工厂103.0M
/多国语言[中文]365桌面日历9.6M
/简体福昕PDF阅读器(Foxit Reader)88.4M
/简体快播(QvodPlayer)12.2M
/简体快玩游戏盒31.7M
/简体
优志愿57.2M
/简体全民枪战2.01.40G
/简体北京公交103.2M
/简体泰拉瑞亚245.9M
/简体迷你世界582.3M
/简体江苏高考16.0M
/简体小米枪战1.31G
/简体腾讯疯狂贪吃蛇48.3M
/简体腾讯街头篮球544.2M
/简体深海大作战手机版30.9M
/简体
跑跑卡丁车40.7M
/简体高考志愿君app63.9M
/简体传奇战域手游491M
/简体像素车超改iphone版370.4M
/简体代号英雄iphone版371.2M
/简体人vs导弹游戏iphone版224.5M
/简体北京公交16.5M
/简体熊猫看书iPad版32.9M
/简体影音先锋iPad版0KB
/简体WPS iPad版228M
/简体
Betterzip Mac23.9M
/简体IINA Mac版77M
/英文多宝游戏盒Mac版90.2M
/简体eZip Mac版15.7M
/简体ios5.1固件802M
/简体Adobe Photoshop CS6 Mac版1.05G
/简体英雄联盟Mac版66.2M
/英文magican for mac12.1M
/简体虾歌Mac版9M
/简体欧朋浏览器for mac169.3M
/简体
相关文章
- lol新英雄Samira技能介绍 lol新英雄Samira技能详解
- 盗贼之海守望者是什么 盗贼之海crookshollow解密
- 无畏契约国服什么时候上线 无畏契约Valorant国服正式上线时间
- Mystic加入AF后WE将如何自救 LPLAD选手mystic加入AF详情一览
- iG教练Karam离队是什么情况 iG教练Karam离队详情一览
- 噬血代码AwakeMJ018怎么用 噬血代码Awakemj用处一览
- 命运2暗影要塞raid是什么意思 命运2暗影要塞raid副本攻略一览
- dnf普雷raid隐藏剧情 dnf普雷隐藏剧情介绍
- dnf普雷怪物机制介绍 dnf普雷raid怪物机制
- dnf普雷raid攻略 dnf普雷raid打法介绍
查看所有评论>>网友评论共0条
热门关键词
精彩评论