擎朗医疗精彩亮相2024CHINC 打造全场景数智化医院解决方案Counterpoint:预计今年全球智能手机出货量同比小幅反弹 3%快狗打车 2023 年收入 7.53 亿元 同比下降 2.6%刘强东发公司全员信 对京东使命和价值观进行升级新工宝引领“互联网+灵活就业”时代 为行业注入新动力专业办公神机,TCL办公智屏三项颠覆性设计,重新定义办公大屏数智增长,绝味鸭脖爆品营销“人工智能+” ,新品爆一脖39天卖了15亿《龙之信条 2》评测,影驰 RTX 4070 SUPER 星曜搭配DLSS 即可畅玩4K!蔡怀军:以“智”提“质”,文化和科技融合的芒果思考神策数据:三大能力解读,释放小程序分析的真正价值摩托罗拉Edge 50 Ultra手机渲染:骁龙8s Gen3芯片,配柔和桃等三种颜色谷歌Pixel8手机将引入Gemini Nano本地模型:可总结录音、生成信息2024全球高端手机(600-799美元)出货量预估增长17%:苹果、华为引领1TB+独家双模双向卫星通信,Find X7 Ultra 卫星通信版预售开启顺丰控股 2023 年营收 2584 亿元,同比下降 3.39%传元戎成为长城汽车第二智驾供应商,靠激进的端到端投入谷歌DeepMind推出“超人类”AI系统SAFE,擅长事实核查,节约成本并提高准确性雷军把小爱同学喊崩了:小米SU7发布会触发全国小米音箱谷歌发布图像局部重绘项目ObjectDrop 插入物体和环境完美融合长城汽车2023年营收1,732亿元 同比增长26.12%
  • 首页 > 企业IT频道 > 数字化

    星环科技自研TDH成功替换开源CDH 春秋航空挖掘数据价值落地业务创新

    2022年12月05日 11:18:24   来源:中文科技资讯

      采用开源大数据平台CDP和CDH的用户,现在必须面对原有开源软件许可证变更和产品服务限制等方面的挑战。

      基于Hadoop的开源软件公司Cloudera与Hortonworks于2018年10月宣布合并,并在2019年推出了结合了Cloudera原有产品CDH和Hortonworks原有产品HDP的全新的大数据平台产品CDP。

      合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授权许可方式,对许可方式进行调整:Cloudera所有产品都将采用OSI批准的许可证,即Apache软件许可证(ASL)或Affero通用公共许可证(AGPL)。用户不得不面临许可变更带来的风险。

      另一方面,Cloudera对原有产品的服务支持也做出调整。Cloudera会在2022年前继续支持CDH和HDP两条产品线,给用户一个过渡期。原有的CDH和HDP用户均可通过升级至CDP获得诸多新功能。也就是说,在2022年全部用户都将迁移到CDP上来。但CDP以订阅方式提供服务,用户付费成本大幅增加。

      同时开源软件的安全事故迭出,影响巨大。同时,开源软件安全方面功能的缺失或者被限制,也成为用户应用的后顾之虑。

      如何面对许可方式的变更,产品服务方式改变所带来的成本增加,以及不断增加的安全威胁,已经成为CDP和CDH的用户不得不面对的问题。

      春秋航空公司,是国内第一家由民营资本独立经营的低成本航空公司,也是国内第一家由旅行社起家的低成本航空公司。成立37年来,春秋航空公司快速发展,从正式开航到现在,机队规模已经达到96架、国际国内航线达到210条,是国内低成本航空公司的典范。

      春秋航空用星环科技大数据基础平台TDH成功替换开源大数据平台CDH,打破了新技术与业务场景之间的隔阂,用技术为业务赋能,快速挖掘数据价值。借助星环科技TDH 极速大数据平台,春秋航空快速提高了数据处理规模和数据处理性能,增强了数据管控力度,为数据挖掘和数据分析提供了全面的数据支持,堪称大数据平台国产化替代的典范。

      春秋航空大数据平台建设需求和挑战

      春秋航空是一家倡导旅客个性化消费的航空公司,提升利润和降低成本是春秋航空一直希望做的事情。而航空公司是重资产低利润的行业,节约成本在众多提高利润的因素中占很大的比重。航空公司的航油成本占了总成本的30%到40%,所以节省航油成为降低成本的关键。

      节省航油理论上讲并不是很难,和开车的逻辑类似,按最短的路线,或控制好油门都可以省油。我们开车时能用GPS选择最短路线,对于飞机飞行来说却没有那么简单。首先,我们要对飞机的飞行日志进行分析。飞机上的QAR(Quick Access Recorder,快速存取记录器)每八分之一秒会将飞机上3000多个设备仪器的参数记录一次,飞机一天在天上要飞十几个小时,一年下来数据量非常大。每架飞机一年会记录一亿多条数据,80多架飞机一年就是80多亿条数据。因此做好节油工作首要任务是解决80多亿的数据处理问题。

      早期,春秋航空引入了开源大数据平台CDH,并基于该平台开展了个性化推荐、精准营销方面的工作,但在使用的过程中发现了很多问题。对于复杂的航空业务,原平台需要大量的开发工作来适配业务,对开发人员的要求非常高,很难实现业务的快速落地和价值挖掘。

      面对一些跨库关联的复杂分析场景需要数据的导入导出,过程较为繁琐,费时费力。数据分析人员需要对数据进行实时分析,以便对业务进行快速调整,而原平台只支持T+1的计算分析能力,不能满足业务分析的实时性需求。如刚才介绍,航空飞行产生海量的数据,精细化到毫秒级别,而原平台表现出存储和处理分析能力不足。

      另外,其混合架构以及开源特性使得解决问题的效率相对会比较低,给系统和业务运维带来很大的压力。

      星环科技TDH助力春秋航空快速实现数据价值

      当前,企业数智化转型正是信息技术自主创新和国产化替代的主战场,更是需要通过提升自主创新能力、加速数字化智能化转型,全面推动整个产业数字化进程。

      基于星环科技大数据基础平台TDH技术的先进性和独特性,春秋航空用TDH替换原先的开源CDH数据平台。借助星环科技TDH 高性能批处理及关系型分析引擎Inceptor等工具,春秋航空完成各种数据清洗,业务处理等工作,提高了数据处理规模,数据处理性能更快,增强了数据管控力度,为数据挖掘和数据分析提供了全生命周期的数据支持。

      星环科技TDH大数据基础平台采用先进的多模型统一架构,一体化构建服务于整个企业的统一数据资源库,彻底打破不同部门间的数据隔阂,支持数据跨部门灵活调用,有效降低开发运维成本。统一的计算引擎可以跟据不同的存储引擎自动匹配高性能算法,避免数据导入导出。统一的分布式存储管理系统可以轻松实现 GB~PB级多源异构数据的高效存储和统一管理,为不同的存储引擎提供公共的存储服务,有效保障数据一致性和高可用。

      基于星环大数据平台的架构设计

      系统将每天产生在Oracle的数据进行T+1抽取,业务逻辑打包成各种shell脚本等脚本,通过Transwarp Workflow任务调度软件进行调度,在大数据集群内进行各种处理,完成数据清洗,业务汇总等工作。

      关系型分析引擎Inceptor提供PB级海量数据的高性能分析服务,其同时支持完整的SQL标准语法,兼容Oracle、IBM DB2、Teradata方言,兼容Oracle和DB2的存储过程,可以平滑迁移应用。同时其支持分布式事务处理,保障数据强一致性。跟开源方案相比,Inceptor是全球首个通过分析决策系统国际基准测试TPC-DS及官方审计的产品,TPC-DS查询性能是开源Hive的7~25倍。

      实时流计算引擎Transwarp Slipstream落地即分析,提供百万级高吞吐、毫秒级低延时业务处理支撑能力,满足业务分析实时性需求,弥补之前CDH无实时分析能力的空缺。对于之前平台无二级索引和全文搜索能力,分布式搜索引擎Transwarp Scope提供PB级海量数据的交互式多维检索分析服务,能够实现高可靠、高扩展性的全文搜索与灵活查询。

      春秋航空进入数据精细化运营时代

      突破关键核心技术,加快推进国产自主可控替代计划,构建安全可控的信息技术体系,发展信创产业,是国家一项长期战略。经过多年的发展,我国国产化替代不断拓展,信创产业不断发展壮大。

      在数字经济时代,IT系统自主创新和国产化替代已经不再仅仅是进口的软硬件产品替换成国产产品,而是要以新的思路、新的应用,将数智化与信创化相结合,形成中国企业真正的国产化应用替代。

      星环科技与春秋航空的合作,成功的用国产自主可控的国产大数据平台替代国外的开源大数据平台,应用成效突出:

      利用星环科技TDH强大的数据处理能力,春秋航空完成了成本指数监控。例如上线4个月时,成本指数执行率从58%上升到69%。随后春秋航空又建立了直飞优化模型和高度优化模型,实现了飞行路线的优化。通过直飞模型可以提前分析大量的直飞机会,减少飞行距离,降低飞行成本。

      同时通过对历史飞行轨迹及优化分析,可以寻找飞机携带油量的平衡点,从而降低航油消耗。基于星环科技TDH极速大数据平台,春秋航空还建立了高度优化模型。大气层越往上越稀薄,飞机飞得越高阻力越小,意味着越节油。通过海量数据监控建立高度模型对飞机飞行高度进行优化,从而达到节省航油的目的。春秋航空节油项目取得了很好的效果,据估算80架飞机每年仅燃油成本就可节省约2400万。

      目前,基于星环科技TDH的大数据平台已成为春秋航空所有数据的中心,负责所有条线营销服务、飞行安全、维护维修的数据分析。

      星环科技大数据基础平台TDH凭借技术的先进性,在众多行业领域完成国外产品的进口替代,帮助企业加速数字化转型,更全面、更便捷、更智能、更安全地运用数据,大幅降低综合成本。基于星环科技极速大数据平台构建核心商业系统,是企业实现一站式数字化转型、加速业务创新的致胜关键。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    [No. X071]
    分享到微信

    即时探行数字人注册免费试用

    第三代骁龙8s平台,“恰逢其时”的“新生代旗舰”之选

    日前,高通举办新品发布会,推出了骁龙8旗舰移动平台诞生以来的第一款新生代旗舰平台:第三代骁龙8s,这是高通对骁龙旗舰移动平台的一次层级扩展,同时意味着广大消费者未来在旗舰手机市场也将会有更多丰富的选择。

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费探行AI视频 快速生成真人营销视频

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。