崇左新闻网

赋能行业数智升级,联通大数据科技优势凸显

随着互联网+,人工智能和云计算等新技术的出现和成熟,各种行业的大数据和深度整合引发了各种变化。诸如搜索引擎服务,电子商务,社交网络,在线音频和视频以及地理信息服务之类的互联网应用已经产生了大量数据。企业如何从海量数据,标准化,平台,智能和产品化数据中发现有价值的数据?最终,帮助企业做出正确的决策,成为企业大数据登陆的重点和难点。

“在法律合规的前提下,从海量数据中有效提取数据的应用价值是大数据着陆的关键。如果数据量很大,但无法提取数值,那就是一种负担。”数据科学数据有限公司董事陈波说。 “从登陆的角度来看,我认为大数据需要与各个行业深度整合。相同的数据可以用于不同的行业,如何从数据中形成适合行业的应用价值需要数据的价值维度和行业。应用场景有一个非常深刻的理解,“陈波补充说。

img_pic_1562054820_0.png

集中运营和维护管理,确保应用基础

作为通信运营商,中国联通早在2010年就提出了数据集中战略。2012年,它开始建立国家数据中心,覆盖全国所有省份,实现网络数据的统一集中汇聚和管理。目前,中国联通的新数据量已达到每天150TB以上。

为了有效地处理如此庞大的数据,联通大数据目前拥有数千个节点,每天运行100,000多个处理任务。这种大规模数据集群的运营和维护在业界很少见。对于联通大数据,可以直接借用的外部经验不多。它依赖于自己建立的高效集群运营和维护管理团队。长期24小时连续监测和优化。在过去的一年中,在日常数据量增加且几乎没有集群资源扩展的情况下,集群的整体资源负载是通过集群文件碎片,冗余数据库表和RPC任务管理的持续优化来实现的。相反,它下降了近30%,为大数据应用程序提供了坚实的基础。

与此同时,中国联通的大数据开发基于完全合法性和合规性。它具有非常严格的安全管理和监控机制,并坚持“敏感数据不出去”的原则;外部数据产品和服务更多主要基于区域,组统计分析和模型处理生成的标签数据,任何数据结果的输出都需要内部安全网关严格审查,从而为上层大提供可靠的安全合规性数据应用。保证。

在此过程中,联通大数据在大规模数据集群运维和大规模数据资产管理方面积累了大量实践经验,逐步形成了一套完整的运维管理机制,在大数据行业峰会初期六月。获得“2019年星河奖最佳数据资产管理实践奖”。

构建一些智能和发布应用程序值

面对数百TB和近百PB的海量数据,如何实现大数据的应用价值,陈波认为“大数据企业需要清楚地了解自己数据的核心价值维度” ,以便知道如何建立自己的数据能力系统来释放数据的应用价值。围绕自己的运营商大数据,联通大数据定义了行为兴趣,位置时间和关系图的三个主要数据值维度,并相应地构建了三大类智能平台能力系统,其后是许多NLP。关键技术,如搜索引擎,时空序列和图形计算。

在数字平台各项能力的构建和应用中,联通大数据的各种数据架构,数据模型和数据算法需要面对PB级的海量数据,需要考虑算法模型的准确性。有效性以及更多需要确保大规模数据的可用性,稳定性和运营效率。通常,例如,从数万亿信令大数据中,通过快速排序和迭代来执行基站定位工程校正;从万亿级位置时间序列数据中执行实时区域和时相相关检索,从而实现在线和离线融合。建议见解;群集聚合在数以万亿的信令中找到,对应于数亿张卡,并进行黑灰生产风险卡识别;从数十亿个顶点和数百亿个关系边缘的地图执行N度关联组。挖掘,然后协助识别业务运作等。这些功能的构建和应用程序的实现基于高质量,高性能的数据科学团队,该团队涵盖广泛的功能,包括数据分析,数据建模和AI应用程序。

通过这三类智能平台功能的结合,它支持上层广告,风险控制,洞察力,轰动力等标准产品,以及金融,政府,文化旅游,公安等行业,形成了丰富的大数据。智能应用案例和成果实现了从“大数据”向“大价值”的转变。

资源融合,实现行业升级

联通大数据已建立了强大的数据连接,运营和维护,治理,分析,应用和服务能力,并构成了大数据技术企业快速发展的动态引擎。除此之外,我们希望通过开放合作与各行业的合作伙伴共同成长。

一方面,我们将集群运营和维护,数据管理和模型构建方面的多年运营经验融入到模型化,简化和产品化的大数据平台构建计划中,该计划已经能够输出容量并帮助政府,权力和银行。教育,旅游,邮政等行业的合作伙伴建立了自己的大数据平台和应用系统,并赋予行业合作伙伴快速构建大数据应用基础的能力。

另一方面,联通大数据基于自身资源为外部合作伙伴推出了容量开放平台,为每个合作伙伴提供多租户形式的“计算能力+数据+服务”的灵敏度,安全性和个性化。发展和培训环境;合作伙伴开发的模型和应用程序可以在安全测试后打包并部署在联通的数字智能平台上,并且可以通过安全网关形成功能输出,使行业合作伙伴能够构建丰富的数据应用程序功能。

对于5G的未来,数字智能可以增长

谈到未来的发展方向,陈波表示,5G时代即将来临,未来连接的增长将不再主要在个人通信领域,而是事物与事物之间的联系更多,连接数量将达到数十个数十亿,规模达数千亿,涉及的领域还将涵盖智能穿戴,智能家居,工业监控,自动驾驶等行业和领域。未来5G时代的大数据将在数据量级,时间/空间密度和价值维度方面从定量到定性进行量化变化,但这将是一个渐进的发展过程。因此,联通大数据将紧跟5G的发展步伐,关注各行业的发展趋势,坚持“开放生态,合作共赢”的理念,与业界合作伙伴携手,挖掘应用价值业界,并继续“大数据+ AI”智能力量的数量将使未来的行业增长。

嘉宾介绍:

陈博,博士后,是联通大数据有限公司数据科学团队的负责人,负责大数据分析挖掘,机器学习建模和人工智能应用的研究和开发。陈波于2008年毕业于北京邮电大学,获工学博士学位。他的主要研究兴趣是机器学习,自然语言处理和信息检索。毕业后,他在NEC中国研究院和中国联通集团总部技术部工作。