万亿级腾讯大数据组件TubeMQ正式开源

时间:2019-09-17 17:44:07  阅读:3047+ 作者:责任编辑。王凤仪0768

近来,一年一度的世界开源顶会ApacheCon 2019在美国举行,正值 Apache 软件基金会(Apache Software Foundation,ASF)建立 20 周年之际,腾讯作为本次大会主会受邀的仅有我国企业,宣告ApacheCon的keynotes讲演。

会上,腾讯开源办理委员会委员、腾讯开源联盟主席、Apache 软件基金会Member堵俊平向全球开源生态同伴介绍了腾讯开源路线图,宣告腾讯万亿级分布式音讯中间件TubeMQ正式对外开源,并方案捐赠给Apache基金会。这将是继参加Apache基金会白金会员后,腾讯与Apache基金会又一次严密携手。

“腾讯和Apache基金会在开源作业上具有相同的初衷和方针”,堵俊平表明:“根据Apache之道,咱们总结出腾讯开源‘三步走’的路线图,并建立起腾讯特征的开源办理机制,这激发了近年来多个优质自主开源项目的快速出现。现在,腾讯也在不断加码资源投入,活跃参加社区建造和项目奉献,希望在世界开源舞台上奉献更多的才智与创造力。”

腾讯开源路线图

获益“Apache之道”,腾讯特征开源办理机制构成

近年来,腾讯在开源上的脚步不断加速。到9月,腾讯自主开源项目已达84个,Star数超越24万,要点重视范畴包括 IaaS、容器与云原生、数据库、大数据与 AI、中间件、IoT/边际核算、小程序生态等。在不断奉献优质项目之余,腾讯也活跃奉献开源社区,除了参加Apache基金会、Linux基金会、LFAI 基金会、OpenStack基金会、MariaDB 基金会多个顶尖开源基金会的白金会员外,腾讯很多事务团队和技能人员也活跃参加到开源奉献中,已广泛参加数十个社区和项目的建造。

腾讯云也在很多事务场景下协助开源技能落地,通过立异回馈开源。典型的包括Linux、KVM、MySQL、PostgreSQL、Kubernetes、Hadoop、Spark、TensorFlow等等。以KVM为例,凭仗向KVM奉献的patch数,腾讯云现已接连两年登上KVM开源奉献排行榜,成为国内奉献度最高的公有云厂商。

腾讯开源的快速展开背面,离不开从“Apache之道”脱胎而来的腾讯特征开源办理机制。

“Apache 之道”是Apache基金会开源方法论的精华地点,其间最重要的准则之一是:社区重于代码。这意味着对开源而言,最重要的是人而不是代码,开源安排需求招引最优异的人来参加,一同推进开源的成功。根据大多数人的一致一般比投票的权力和流程更为重要,严重事项和决议需求通过敞开通明的评论来达到等准则也具有适当的普适性。

堵俊平表明,这些准则对腾讯的开源作业供给了很好的指引方向。腾讯从“Apache之道”的开源方法论中汲取了名贵经历,建立了腾讯开源办理办公室,构成了自上而下传递腾讯开源战略、自下而上落地开源技能生态的开源办理机制。在展开开源作业时,腾讯既交融了“Apache之道”的精华,协助内部的自研项目“走出去”;一起结合腾讯研制文明,有用提高开源办理与办理功率,抱以尊重和同享的精力,协助更多的外部开发者和开源项目“走进来”。

来自实在出产环境,腾讯自研TubeMQ正式发布

TubeMQ是此次腾讯在ApacheCon上最新发布的自研开源项目。它的原型是腾讯数据渠道部在2013年自研的分布式音讯中间件体系(MQ),专心于大数据场景下海量数据的高功能存储和传输,长时间服务微信付出、腾讯视频、广点通等产品。

TubeMQ项目介绍

作为我国最大的互联网公司之一,腾讯每天要处理规划惊人的数据。为支撑海量事务,腾讯组建了包括存储层、数据办理层及剖析层3层结构的数据湖协同方案,向下办理多种数据引擎,向上支撑多种数据使用需求。TubeMQ便是来源于腾讯数据湖存储层的音讯中间件体系,支撑着海量数据的流入和工作。

腾讯数据湖方案,其绝大多数组件由Apache的开源项目组成

通过近7年、万亿规划的海量数据沉积,TubeMQ现在日均接入量超越25万亿条音讯。较之于其他的开源MQ组件,TubeMQ长时间使用于实在出产环境中,在稳定性、功能和本钱方面都有着中心优势。

据了解,Apache基金会现在已为超越350个开源项目供给支撑,尤其在大数据与云核算范畴,具有很多明星开源项目。

堵俊平介绍到,作为Apache基金会在我国的首家白金赞助商,腾讯方案将TubeMQ捐赠给Apache基金会,现在现已启动了相关的孵化流程。希望以TubeMQ为重要的里程碑,在大数据范畴继续奉献优异的项目来反哺开源社区。