全票通过!易观开源项目DolphinScheduler进入Apache孵化器

  • 时间:
  • 浏览:0
  • 来源:大发五分排列3app下载-大发五分排列3app下载安装-大发五分排列3官网

美国时间2019年8月29日,易观开源的分布式任务调度引擎DolphinScheduler(原EasyScheduler)正式通过顶级开源组织Apache基金会的投票决议,以全票通过的优秀表现正式成为Apache孵化器项目!科技快报

根据Apache基金会邮件列表显示,在中有 1一2个多约束性投票(binding votes)和2个多无约束性投票(non-binding votes)的投票全部持赞同意见,无弃权票和反对票,投票顺利通过。科技快报

“Welcome to Apache incubator,DolphinScheduler!”科技快报

科技快报

易观贡献的DolphinScheduler进入 Apache 孵化器,是易观开源项目的重要里程碑, DolphinScheduler社区将遵循「The Apache Way」, 秉承更加兼容并包与开放简化的心态,由衷欢迎更多的开发者参与到社区中来,Committer虚位以待!科技快报

DolphinScheduler是一2个多分布式易扩展的可视化 DAG 工作流任务调度系统,致力于处置数据处置流程中错综简化的依赖关系,一起去具有强大的可视化操作界面。DolphinScheduler曾用名为“EasyScheduler”,刚刚名称已在国外某App使用,经社区讨论与投票后改名为DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,有左右脑可互相换班,终生不用睡觉)。亲戚亲戚朋友儿希望DolphinScheduler就像它的名字一样,成为一2个多“开箱即用”的灵活易用的调度系统。科技快报

易观怎么会 会 开发DolphinScheduler?科技快报

2017年,易观在运营当时人6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时,受到ETL简化的依赖关系、平台易用性、可维护性及二次开发等方面掣肘,亲戚亲戚朋友儿渴望找到一2个多具有以下功能的数据调度工具:科技快报

1.易于使用,开发人员可不能否通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员,无法编写代码的人不用 否使用此工具进行ETL操作,这类系统管理员和分析师科技快报

2.处置“简化任务依赖”什么的现象,但会 可不能否实时监视ETL运行情形科技快报

3.支持多租户科技快报

4.支持许多任务类型:Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure等科技快报

5.支持HA和线性可扩展性科技快报

易观技术团队意识到现有开源项目如此不用 达到亲戚亲戚朋友儿要求的,但会 决定自行开发你你這個 工具。亲戚亲戚朋友儿在2017年底设计了DolphinScheduler的主要架构;2018年5月完成第一2个多组织组织结构使用版本,刚刚亲戚亲戚朋友儿又迭代了2个组织组织结构版本后,系统逐渐稳定下来。科技快报

家有DolphinScheduler初长成科技快报

易观技术团队——你你這個 支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”,秉持易观“让数据能力平民化”的初心,积极拥抱开源,曾贡献过Presto Hbase Connector, Presto Kudu Connector等令开发者称赞的项目。此次在公司的支持下,也积极将当时人的开发的调度工具推动开源,旨在回馈开源的一起去,助力打造更为强大的开源生态。科技快报

团队在2019年3月初,小范围(10多家公司)开放了DS的种子用户试用,得到了非常正能量的反馈,在4月初的正式对外开放源码后,减慢就获得了许多开发人员的关注兴趣,目前github上的star现在已超过1700个,参与开发和使用的公司包括嘀嗒出行、雪球、凤凰金融、水滴互助、华润万家等(参见https://github.com/apache/incubator-dolphinscheduler/issues/57)。科技快报

DolphinScheduler的特点科技快报

DolphinScheduler提供了许多易于使用的功能,可加快数据ETL工作开发流程的传输速率。其主要特点如下:科技快报

1.通过拖拽以DAG 图的方法 将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行情形科技快报

支持充足的任务类型科技快报

2.支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,一起去支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作科技快报

3.支持工作流全局参数及节点自定义参数设置科技快报

4.支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化科技快报

5.支持工作流运行历史树形/甘特图展示、支持任务情形统计、流程情形统计科技快报

6.支持补数,并行或串行回填数据科技快报

欢迎调度小伙伴加入共建世界顶级的开源项目!科技快报

目前,DolphinScheduler在中国刚刚拥有了一2个多130多位伙伴组成的用户及开发者社区。它也被许多公司和组织广泛采用作为其ETL调度工具。亲戚亲戚朋友儿热烈欢迎更多的用户和开发者加入到贡献的队伍中来,让亲戚亲戚朋友儿国人开源的调度引擎在世界开源生态中地处一席之地!科技快报

感谢参与社区的贡献者!科技快报

很糙感谢愿意给DolphinScheduler提供指导的champion和mentors:科技快报

Champion:科技快报

l Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)科技快报

Mentors:科技快报

l Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)科技快报

l ShaoFeng Shi ( Apache Incubator PMC, shaofengshi@apache.org)科技快报

l Liang Chen ( Apache Incubator PMC, Apache member, chenliang613@apache.org)科技快报

l Furkan KAMACI ( Apache Incubator PMC, Apache member, kamaci@apache.org)科技快报

l Kevin Ratnasekera ( Apache Incubator PMC, Apache member, djkevincr@apache.org)科技快报

initial committers:科技快报

l William-GuoWei(guowei20m@outlook.com)科技快报

l Lidong Dai(lidong.dai@outlook.com)科技快报

l Zhanwei Qiao(qiaozhanwei@outlook.com)科技快报

l Liang Bao(baoliang.leon@gmail.com)科技快报

l Gang Li(lgcareer2019@outlook.com)科技快报

l Zijian Gong(quanquansy@gmail.com)科技快报

l Jun Gao(gaojun2048@gmail.com)科技快报

l Baoqi Wu(wubaoqi@gmail.com)科技快报

积极参与的贡献者:科技快报

chongchongzi 、lfyee 、mnloveyx 、李林 、白强 、杨孟霏、胡将、王金海 、风清扬、林忠俊 、jiangzhx 、HangtongLee、hymzcn、jimmy201302、feloxx、xianhu、yangqinlong、hebin、科技快报

shafi-1、mchcz、jamescheng16、xtony、chekore、LgbDemo、马泽国、刘小春、 Crossoverrr、jxauwxj科技快报

此外都要感谢数百位提出issue和建议以及使用的伙伴们的贡献和大力支持;感谢在项目早期提出指导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的伙伴!科技快报

很糙感谢github mybatis-plus社区 ,在得知DolphinScheduler想使用mybatis-plus来支持多数据库,特地发版上加了NPL协议;感谢易观前端团队开源的高质量 UI 组件库ans-ui!科技快报

写在最后科技快报

亲戚亲戚朋友儿坚信将DolphinScheduler引入Apache可不能否推动更强大,更简化的开源社区的发展。亲戚亲戚朋友儿将努力践行“Community Over Code“的Apache文化,一起去欢迎更多的公司和当时人参与到开发者队伍中来,让DolphinScheduler社区更加健壮、健康的发展,让更多人享受开源带来的技术革命!科技快报

目前DolphinScheduler的所有源代码和所有相关文档已捐赠给Apache Software Foundation。什么代码刚刚在Apache License Version 2.0下:科技快报

代码库:https://github.com/apache/incubator-dolphinscheduler科技快报

文档:https://analysys.github.io/easyscheduler_docs_cn/科技快报

在线demo:http://106.75.43.194:8888科技快报

为促进技术圈的茁壮发展,增进Apache DolphinScheduler使用者的交流与学习,易观举办 “Apache DolphinScheduler(incubator) User Meetup” 全国巡回活动,2019 年将陆续在北京、上海等地举行,邀请业内资深的技术专家,分享实战经验,促进互联网技术的普及。科技快报

本次巡回 Meetup首站将于10月26日在上海和亲戚亲戚朋友儿见面,报名链接:https://www.huodongxing.com/event/651054061030科技快报

11月23日,北京站报名链接https://www.huodongxing.com/event/251054414300科技快报

欢迎亲戚亲戚朋友儿来交流!科技快报

科技快报

Apache%20DolphinScheduler(incubator)%20User%20Meetup·Shanghai科技快报

科技快报

Date: 2019,Oct, 26 (2019年10月26日)科技快报

Meetup Place: Fourth Floor, Building 1, Founder 1107 Yuyuan Road, Changning District, Shanghai.(上海长宁区愚园路1107号创邑1号楼4楼)科技快报

Agenda(议程):科技快报

1、Introduction/overview of DolphinScheduler (William-GuoWei).科技快报

2、DolphinScheduler internals, fairly technical: how DolphinScheduler works and so on (Zhanwei Qiao).科技快报

3、DolphinScheduler practice(Draw up)科技快报

4、DolphinScheduler from Zero to One (Draw up)科技快报

5、DolphinScheduler practice(Draw up)科技快报

6、Recently released features and Roadmap (Lidong Dai)科技快报

7、Free discussion科技快报

附:DolphinScheduler偏离 功能截图:科技快报

科技快报

科技快报

科技快报

%20src="https:>%20align="center">