• 首页 > 3C消费频道 > 办公设备

    普通笔记本对1亿数据做探索分析,你疯了!

    2017年10月12日 11:44:12   来源:中文科技资讯

      第一部分:市场需求

      性能问题是各大金融企业的“难言之隐”,家家都有这本难念的经!!

      在以数据化运营为基础的金融行业,结构化的数据动辄上亿,甚至几十亿、上百亿,然而客户沿用的传统关系数据库以及报表软件越来越不能满足及时性数据分析需求。虽然Self-service(自助BI)被赋予了历史使命——让业务人员自己完成统计分析,但也同样难以解决效率的难题,从来没有得到相对理想的解决(低成本、高性能)!

      第二部分:必要性

      没有高性能作为前提,自助式BI只能是“看上去很美”!

      自助式BI近2年来逐渐兴起,越来越多的客户希望靠自助式BI控制IT人员成本,同时提高数据分析的效率。可是这看上去很美好的解决方案,却一直遭受着源于性能的疑虑,无论数据平台的建设方案是数千万的老牌MPP数据仓库,还是数百万的Hadoop集群。

      我们(Smartbi)一直努力提供给客户高性能的数据分析解决方案,终于在7月份与Vertica的战略合作后,结出了令人激动的硕果——Smartbi Insight V7.1高性能版。从这个版本开始,Smartbi的自助分析服务将迈入秒级阶段,让业务人员的数据分析更高效,让科技人员不再为性能调优而苦恼!

      第三部分:事实证明

      超越想象,普通笔记本分析亿级数据只要几秒钟!

      Smartbi只做最真实的测试,用事实来证明V7.1的高性能,这将是你难得一见的时刻。

      如图所示,我们测试的电脑是一台2013年的thinkpad笔记本,售价不到6000,用鲁大师检测硬件配置如下:

      而用于测试的数据包括1份数据2个模型——星型和宽表,其中星型包括产品、客户、地理三个维度,事实表0.98亿条记录,维度表数百条记录。做过性能测试的朋友一看就知道,这样一个星型模型,如果交给业务人员自己拖拽分析数据,性能是很有问题的,数据库配置不好的情况下还能直接跑死系统,更别说是一台这么普通的一台笔记本电脑了!

      接下来,我们基于这个数据模型,考虑到自助分析的场景,构建了三大类22个测试案例,以确保客观合理的测试案例覆盖度。比如用户会以年为条件,进行同期增长率的计算等等。

      交代好性能测试的基本情况,我们不兜圈,直接来看测试结果:

      简言之,星型模型因为要进行关联操作,平均响应时间为13.3秒(6.7秒——17.1秒),宽表模型没有关联操作,平均响应时间为4.5秒(2.7秒——6.3秒),总体平均为9秒!是的,你没看错,无论怎样拖拽的自助分析,平均9秒!!测试结果后,我们和你一样感到兴奋,Smartbi Insight V7.1居然可以在一台几年前的普通笔记本电脑上对1亿大数据量的自助探索在区区几秒完成分析查询!!

      第四部分:性能总结

      如果你还对这个测试结果有一丝丝疑虑,是不是这台电脑的配置作弊了,是不是数据库做特别优化了!别担心,我们很严谨的找了3台公司笔记本电脑进行了更多性能测试,都使用的默认安装(数据库还是在虚拟机里运行的)。所以,我们可以很负责任的大声说:笔记本探索亿级数据分析,确实可以做到!!

      大数据时代,得性能者得天下,尤其是提供自助分析功能的BI工具,数据分析的响应速度一定要能跟上业务人员的思维。Smartbi顺势而为,希望能为大数据分析行业贡献新的起点,创造新的价值!

      如果你对大数据分析的性能感兴趣,愿意加入我们一起进行测试、调优和研讨,请关注我们的公众号或者官网,后续的活动等着你!当然我们也不怕挑战,Come on!

      2017年9月 秋分 Smartbi老麦

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时探行数字人注册免费试用

    中兴二合一 5G 云电脑“逍遥”系列上架:一键切换双模式,

    5 月 10 日消息,据中兴通讯官微,中兴二合一 5G 云电脑“逍遥”系列已经在电商平台上架。其支持本地、云端双模式,可在电脑与平板模式之间一键切换。售价方面,型号为 W200DS 的产品首销价格为 1899 元。

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费探行AI视频 快速生成真人营销视频

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。