现在微梦创科网络科技有限公司平台保障服务部担任资深产品运维工程师,10年的系统运维服务经验,长期关注 OpenStack,Kubernetes 等技术的服务应用。
目前在微博从事混合云和算法平台的技术保障工作。
新浪微博基于混合云搭建机器学习平台,用于服务线上信息流、关系流和消息推送流,目前支撑近百亿样本的特征工程。
超大维度的特征工程,需要按需快速提供大规模的计算能力和存储资源,在已有一定规模的互联网企业,这样的需求对有限的机架资源也提出了很大挑战。
微博利用 DCP 混合云调度平台,使用高配置的服务器,高密度的构建大规模的机器学习的支撑架构,满足了机器学习平台的业务要求。
本次分享介绍微博在使用混合云支持机器学习平台的过程中遇到的技术、业务挑战,探讨对应的解决经验。