聊聊聚焦数据管治,手举办数据管治技术交流

shitouchengr

近日,手大数据团队联合“手中学”,举办“手数据管治技术交流会”,各行业数据相关开发者报参与。手是短视频行业开创者与引领者,致力于成为全球最痴迷于为客户创造价值的,帮助人们发现所需、发挥所长,持续用有温度的科技提升每个人独特的幸福感。在过去的十年间，[url=http:///www.heikw.cn]快手刷粉丝[/url]战胜了很多的竞争对手，在摸爬滚打中奋勇前行，为客户打磨出很多的好产品。[align=center]

                               
登录/注册后可看大图

[/align]
在海量的UGC数据、业务数据、用户数据背后,支撑手数据业务的手大数据平台,秉承“以领先的大数据技术,激活数据价值,赋能业务,打造手核心竞争力”的使命。
日处理数据集群规模超过W,数据量超过EB,日入数据量超5PB,例行任务数超0W。今年9月,手曾围绕“数据架构”这一主题举办了“手大数据平台架构技术交流会”。本次交流则聚焦“数据管治”主题,明年将继续开展更多数据领域相关主题活动,欢迎在手APP搜索并关注“手大数据”官方账号获取活动资讯。
(▲出品人介绍)
(▲手数据工厂团队负责人董西成)
首先由手数据工厂团队负责人董西成带来开场致辞。他介绍,手在数据管治领域涉及的方面非常广泛,包括数据规范、资源控制、集成交换、数据建模等,为了推进数据管治,需要在技术产品、规范流程、组织等方面进行考虑。
(▲手数据管治体系)
本次交流从数据管治的标准规范、资源管控、数据质量和数据服务四个方面展开分享,由来自手的数据研发专家孙伟、程伟、杨钊、薛言、刘一凡分别带来五个主题演讲。
孙伟介绍了手在数据中台化过程中由于模型不规范带来的数据孤岛、指标不一致、模型质量差等一系列问题,并针对这些问题结合元数据驱动的思路制定了治理方案,从元数据驱动问题的发现再到治理优化,最终现数据模型的规范化。
从手EB级数据量下对于存储成本管理所遇到的涉及面广、成本意识弱、缺乏有效方法等问题出发,程伟站在成本分析的角度,制定相应的存储成本控制策略,并以专项数据治理和自驱式数据管理相结合的方式去推进落地,从而达到存储成本管理的目的。
杨钊分享了手的数据保障理念,并通过体系化的方式,保障数据完整、准确、一致、及时。基于上述保障体系,详细介绍了手在直播场景通过需求流程管理、测试、质检、应急方案等保障策略,以及这些保障策略在直播事前、事中、事后具体的执行手段,如双链路设计、压力测试、应急方案制定等,保障了在数据量巨大,指标计算复杂等困难情况下,依然能够保障整个数据产品的产出及时,数据准确。
当谈到元数据平台和相关应用在手的发展过程、现状及当前手元数据平台的架构时,薛言分析了面对数十种的资产、过亿的体规模的异构元数据,是如何进行抽象及管理的。并通过找数、全链路血缘、数据治理平台等几个主要的应用场景,展示了元数据在手大数据平台中发挥的作用和价值。
刘一凡介绍了手在数据中台化建设过程中,在指标领域建设所面临的缺乏流程、规范引起的口径不一致、反复梳理重构、缺乏统一服务引起的数据出口不一致等问题。并针对上述问题分享了流程、规范、组织以及系统方面的整体解决思路,重点阐述了OM以及OS两个核心系统模块的系统设计及其关键技术。
(▲演讲嘉宾合影:从左至右,分别为孙伟、薛言、程伟、董西成、杨钊、刘一凡)
本次交流采取线下线上结合的参会方式。线下开放了部分参会额,所有现场观众需佩戴口罩,确保测温和健康宝状态正常,在签署健康声明后方可入场,入会就座时也均保持了一定间隔。此外,交流全程还通过“手APP”直播,观看总人数超万人。
(▲现场签到)
手以技术为核心竞争力,十分重视技术创新和应用,同时也希望通过更多更广泛的技术交流,和业内开发者分享经验,碰撞出更多智慧火花,推动技术不断前进。“手中学”作为内部专业人才培养平台,旨在通过提供丰富多样的专业课堂培训、比赛、技术交流,助力人才成长,提升专业能力和专业影响力。
2021年“手中学”联合手技术团队共举办了四场技术交流活动,内容涉及移动端、前端、数据平台架构及数据管治。未来,由“手中学”举办的技术交流还将以每季度一次的频次长期开展。
(大会PPT下载地址:CN-CJKTC)