腾讯发布首个AI开源项目Angel 3.0 包含深度学习与图算法

截至目前,Angel在GitHub上Star数已超过4200,Fork数超过1000。Angel项目目前总共有38为代码贡献者,其他包括8位committer,他们总共提交了超过2000个commit。而腾讯开源在GitHub上整体的项目数也已突破80个,涵盖AI、云计算、安全等多个领域,累计获得了超过23万Star。

  近日,腾讯低调发布首个AI开源项目Angel 3.0版本,进化版的Angel 3.0则尝试打造一个全栈的机器学习平台。
  先来科普一下,Angle是基于参数服务器架构的分布式计算平台,致力于解决稀疏数据大模型训练以及大规模图数据分析问题,由腾讯与北京大学联合研发。
  最新版本的3.0,功能特性涵盖了机器学习的各个阶段:特征工程,模型训练,超参数调节和模型服务。

腾讯发布首个AI开源项目Angel 3.0 包含深度学习与图算法
  Angel的特征工程模块基于Spark开发,增强了Spark的特征选择功能,同时使用特征交叉和重索引实现了自动特征生成。这些组件可以无缝地整合进Spark的流水线。为了让整个系统更加的智能,Angel 3.0还新增了超参数调节的功能,目前支持随机搜索,网格搜索和贝叶斯优化三种算法。
  在模型服务方面,Angel 3.0提供了一个跨平台的组件Angel Serving, Angel Serving不仅可以满足Angel自身的需求,还可以为其他平台提供模型服务。
  在生态方面,Angel也尝试将参数服务器(PS)能力赋能给其他的计算平台,目前已经完成了Spark On Angel和PyTorch On Angel两个平台的建设。
  这两个平台各有优势和侧重,Spark On Angel使用的是Angel内置的算法核心,主要负责常见推荐领域的机器学习算法和基础图算法。 PyTorch On Angel使用PyTorch作为计算核心,主要负责推荐领域深度学习算法和图深度学习算法。
  回顾Angle 的历史。2017 年 6 月, Angel 在 Github 上低调开源。开源两周,这个项目在 Github 上已收获 183 Watch,1693 Star,389 Fork,也吸引了许多业界工程师关注与贡献。
  2018年9月,Angel 2.0版本发布,支持千亿级模型维度训练,同时算法库也更加丰富,首次引入了深度学习算法和图算法。同年,Angel加入Linux旗下深度学习基金会(现已更名为 LF AI 基金会(LF AI Foundation)),结合基金会成熟的运营,升级的Angel 2.0与国际开源社区继续深入互动,致力于让机器学习技术更易于上手研究及应用落地的目标。
  截至目前,Angel在GitHub上Star数已超过4200,Fork数超过1000。Angel项目目前总共有38为代码贡献者,其他包括8位committer,他们总共提交了超过2000个commit。而腾讯开源在GitHub上整体的项目数也已突破80个,涵盖AI、云计算、安全等多个领域,累计获得了超过23万Star。
  从1.0到3.0,Angel从一个单一的模型训练平台发展到涵盖机器学习各个流程,包含自己生态的通用计算平台,代码量也超过了50万行。
  为了后续维护和使用的方便,Angel将拆分成8个子项目,统一放在Angel-ML目录下(https://github.com/Angel-ML):angel,PyTorch On Angel,sona(Spark On Angel),serving,automl,mlcore,math2和format。
  而在应用上,据了解,自2016年年初在腾讯内部上线以来,Angel 已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。
  在过去12个月,Angel在腾讯内部的任务数量有了非常明显的增长,增幅达到150%。值得一提的是,Spark On Angel的任务数增长了10倍,为了让Spark On Angel更加的易用,3.0版本对Spark On Angel做了大幅度升级。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 我们距离云还有多远?

    云计算从最初的概念热炒到2015年真正崛起,并步入今天的加速发展期。但是,据调查发现,云计算从一个引领着信息通信产业发展方向的创新技术,转变为现实的“生产力”,仍然有很长的路要走。

    2024年4月12日
  • 《云计算白皮书》 2016发布 配合多项政策指导市场发展

    2016年9月1号上午,中国信息通信研究院在2016可信云大会上正式发布《2016云计算白皮书》。这也是中国信通院自2012年开始,第三次发布《云计算白皮书》。

    2024年1月28日
  • 边缘计算技术解读及优势分析

    假如你手机里有个文件太大装不下了,云计算的解决方法是把它传到千里之外的服务器中心帮你存着,雾计算是传到小区的服务器帮你存着,边缘计算是看看你的电脑、冰箱、洗衣机谁有地方就帮你存哪……显然,边缘计算运算设备和终端设备之间距离最近,传输效果最直接,还可以利用近距离网络和局域网络,当然运算效率也会更高一点。

    2024年4月13日
  • 美发布《国家战略性计算计划(更新版):引领未来计算》

    11月14日,美国白宫科学技术政策办公室(OSTP)发布《国家战略性计算计划(更新版):引领未来计算》。与2016年的计划相比,更新版最终更加侧重于计算机硬件、软件和整体基础设施,以及开发创新的、实际的应用程序和机会,以支持美国计算的未来。

    2024年1月30日
  • 《中国云计算产业发展白皮书》发布 5G+云+AI是重要引擎

    10月12日,国务院发展研究中心国际技术经济研究所正式对外发布《中国云计算产业发展白皮书》。

    2024年1月30日
  • 新一代国产云计算操作系统发布 安全性能显著增强

    云计算是通过网络统一组织和灵活调用软件、运行平台、计算与存储等各种资源,实现大规模计算的信息处理方式,具备超大规模、虚拟化、通用性、高可靠性、高扩展性等特点。据统计,2015年全球云计算产业规模约为1750亿美元,预计2019年可突破3000亿美元。

    2024年1月30日