新闻动态

上篇,我们分享了昆仑数据秦磊先生对工业大数据所处现状及发展趋势的解读,受到业内人士的强烈追捧。   本篇汇集了满满干货,秦磊先生分析了某可再生能源企业利用机器数据获得数据价值变现,在行业领跑的案例。同时提供了工业产业机器数据分析的解决方案。以下是演讲实录:     与某可再生能源提供商一起,昆仑数据利用每台风机上历史和实时的机器数据,在生产优化、核心部件故障预测、不同环境下的策略调整领域做了大量机器数据掘金工作,已经产生数亿元的经济效益。这些大数据场景使得企业发现,机器数据真的有价值,真的可以驱动企业数字化转型战略,一幅机器数据的清明上河图开始绘制并落地。   从最底层的基础设施混合云,把各种不同的数据源有序存储管理,提供数据服务、分析服务,形成数据化产品,带动从设计研发、生产制造、运维服务、供应链伙伴、到能源互联网各个业务领域的数字化转型。   一机一设计,通过仿真自动化、数据化、智能化,使每台风机的个性化设计成为可能。   一生一档案,每台机器出厂,都有跟随一生的档案,每时每刻都会根据运行的工况和维修保养记录进行综合健康打分。   一况一策略,当风吹来的时候,可以根据风机的状态、生产环境的情况等因素,对每台风机调整策略,风大且状态好的时候,可以及时增功多发电,不仅收益增加,机器的寿命也可以延长。   这不正是工业4.0柔性化、个性化的体现!   那么,昆仑数据如何帮助工业大数据进行落地?简单地说,主要是两个方面的工作。     首先,昆仑数据做产品。我们专门为工业行业定制了一个大数据平台,希望为企业客户带来三个省心。   系统人员能在搭建、部署、运维平台的时候省心;分析人员能在分析数据时为获得更全面的数据而省心、通过并行化分析作业提升效率;开发人员的开发过程更快、更省心。   归结到一点,昆仑数据可以快速推动企业数据变现。   这个平台完全由昆仑数据自主研发,我们为其取名KMX大数据平台(K2Data MachineData Management and Analytics Platform)。     最底层数据引擎为机器数据深度定制,提供工业级可靠性,支持各个来源的机器数据。   传感器数据以高频、超高频的方式7*24小时从各个管道源源不断地倾斜到大数据湖。   我们目前支持每秒高达一毫秒的采样频率,单个节点支持每秒百万点接入,通过水平扩展,可以轻松支持每秒千万点的数据接入。   所有数据可以实现全量、全时、全工况、全在线、无损压缩,特别优化设计的无损压缩支持1:10甚至一比几十倍的压缩比。   支持数据的多副本,支持数据存储的水平扩展,海量数据增长没有任何压力。   机器大数据湖还针对机器数据特别优化了查询功能,支持在海量的历史数据中进行高效多维的数据检索,内置实现了针对机器数据的分析性语义查询。   内置的全量数据特征画像,帮助IT人员和业务人员理解其管理的机器数据资产的全貌和特征。   往常,对于一个数据分析师来说,80%的日常工作时间都花费在数据整理准备、数据修复、寻找和验证数据特征等冗余复杂的工作,仅有很少的时间用于建立数据模型和开发分析算法等创造性工作。     昆仑数据的KMX机器大数据平台有专门针对机器数据全生命周期生产线。基于这个机器数据全生命周期生产线,我们实现了机器大数据的精益分析。   不仅有开箱即用的工具帮助分析人员完成数据治理、数据清洗,实现数据全量画像,快速定位合适的样本空间。   我们还允许在样例数据集上开发的分析程序无需修改就可以直接到大数据集上运行验证,并自动把出现异常的数据样本收集下来,供分析人员在本地环境深入研究,进一步改进算法。   这样,白天分析人员在本地小样本上做研究,晚上下班前把程序甩到平台上跑并行、跑全量。   我们把这种方式叫做“白+黑”(白天加黑夜),“小+大”(小样本和大数据),让分析人员将精力集中子关键特征的探索上,让计算机集群自动验证关键特征的支持度,实现了“人”+“机”的完美组合。   实践下来,这种精益分析法可以把从数据到洞见的周期缩短,从之前的以周为单位缩减到以天为单位。     昆仑数据已经开始对特定的行业建立行业模型,描述物理世界和数字世界的映射关系,把不同数据源充分融合。德国工业4.0提到了CPS,美国GE谈到了数字挛生体,这更需要与行业深度融合。     我们提供全面开放的API,方便快速应用开发,这贯穿了数据全生命周期各个阶段以及各个层级。昆仑数据充分利用开源并贡献于开源,帮助工业企业全面拥抱开源这一个大数据时代的新技术潮流。     从交付方式来说,我们有多种选择,完全应工业企业所需。客户认为自己的数据有价值,自家的院子有油田,我们就把油井部署到客户的院子里。客户告诉我们,希望有更集成、更快捷的方式部署钻井平台,我们现在有基于超融合架构的软硬件一体机,直接快速部署于企业内部数据中心。   另外,我们也支持纯软件方式的部署,在客户的数据中心或私有云上进行部署。同时,我们也支持公有云方式,快速帮助客户实现数据收集、数字分析、数据洞察的闭环。     昆仑数据有一支非常优秀的数据科学家团队,拥有丰富的行业分析优化经验,精通各种数据模型和分析算法,曾获国际知识发现和数据挖掘竞赛冠军。可以深入客户现场,甚至到钻井平台上,和行业专家一起挖掘数据价值。   我们做的第二件事情,就是做生态,工业大数据对中国工业升级意义重大,但绝不是一家公司就可以完成,一定要大数据公司和工业企业深度合作。在合作中,昆仑数据是企业的“大数据合伙人”。一方面,这些龙头企业是客户,另一方面,又是合作伙伴,双方深度信任、互换资源,一起为整个行业服务。   合作不仅是技术方面,甚至包括资本方面,例如在垂直行业建立合资公司,推动龙头制造企业从“制造”向“制造服务”转型,带动全行业发展。   就在8月,昆仑数据和清华大学、中石油、金风科技、三一重工、台达电子、山东临工等十来家单位一起发起成立“北京工业大数据创新中心”,希望携手突破工业大数据的共性技术,让中国工业企业在GE Predix、西门子MindSphere等国外工业大数据平台之外,有中国本土创新的产品可以选择,推动大数据在工业领域的加速应用,帮助中国工业智能升级。同时也将相关技术贡献到国际大数据开源社区,希望惠及中国以外的企业。     借用《大数据预测》一书作者引用的伽利略的话:“所有可计算的都要计算,所有可测量的都要测量,对那些不可测量,要想办法让其变得可测量。”   现在我们已经到了万事万物都可以互联,都可以测量,都可以计算的大数据时代。   我们也坚信,机器每聪明一分,世界可跃前一丈!谢谢大家!...

Read More

中国大数据产业生态大会由工信部中国电子信息产业发展研究院主办,于8月2-3日在北京隆重召开。本届主题为“洞悉融合之道 释放数据价值”,汇聚业内权威专家最深刻的解读和行业大师的思想及实践精华,国内奋战在一线的杰出企业领袖进行了专业详尽的分享。以下是昆仑数据副总裁秦磊的演讲实录。     大家好,我是昆仑数据的秦磊。谢谢我们的合作伙伴赛迪邀请我们参加这次盛会,也感谢我们的投资方——达晨创投。今天我在来会场的路上,又拜读了孙家广院士昨天的讲话,发了一条微信,写了七个字“认真学习、并践行”。   今天我们大会的主题是,《洞悉融合之道 释放数据价值》。在工业大数据领域,如果要加一个定语,就是我今天的主题——释放机器数据价值 推动中国产业升级。     在过去的一段时间,我有幸接触到很多制造业企业,不知道大家怎么看中国的产业升级,你可能觉得‘很重要’,但我们看到的是‘生死存亡’。这是波士顿咨询公司在2015年8月发布的《全球制造业转移的经济学》-The Shifting Economics of Global Manufacturing ,对全球前25位领先出口经济体作了四个重要方面的分析:制造业工资、劳动力生产率、能源成本和汇率。这前25位出口经济体占全球工业制成品出口接近90%。   中国是在“面临压力”象限,美国重回“全球新兴”象限。十年前,中国制造业平均工资,大约4.35美元每小时,现在大概是12.37美元每小时,翻了三倍;在能源方面,中国的工业用电成本上升66%,天然气成本则上升138%。从2004到2014年,中国相比美国的制造业成本优势从14%下降到4%。照此趋势发展,中国的制造业成本很快会超过美国。   工业越来越走向自动化和智能化,对人力依赖越来越小,对技术依赖越来越大,照此发展,高端制造业可能会回到欧美,美国将成为“制造业新星”,而低端制造业已开始向越南等国外流——中国制造业两头受到威胁,如果不在短时间内完成产业转型、迎头赶上,中国制造业将面临“空心化”。   有危机就有机遇,麦肯锡全球研究院在2016年6月的《中国的选择:抓住五万亿美元的生产力机遇》中指出:中国以投资主导型增长模式逐渐失去了动力。中国应该果断转向以生产力为核心的增长模式,确保资金流向为生产力、增长和可持续就业进行投资的领域。到2030年,这一转型将新增5.6万亿美元GDP。   麦肯锡认为到2030年,中国将有五大机遇提升生产力。第一个就是更好地服务中产和富裕阶层消费者;第二个就是利用数字化推进新的经营模式;第三是通过创新及沿价值链上移,尤其是研发密集型产业,当前中国企业的收益仅为全球领先者的三分之一;而通过推进运营转型,如精益生产和提高能源效率等方式,可提升15%到30%的生产力;最后,“走出去”的战略,还可提升15%到30%的生产力。   在推进运营转型中,报告指出,推进工厂自动化是一大良机。中国企业采用了员工和机器人合作工作的模式。尽管中国现在已经是全球最大的机器人市场,每10000名制造业工人对应的机器人数量仍只有36个,相当于全球均值的一半,仅为韩国的十分之一。     新工业革命的本质,是在实现了自动化、信息化的工业3.0,有了数据积累后,基于数据对企业生产经营进行深度洞察、优化生产经营、提升产品质量、提高效率、减少能耗、减少人员、指导决策——这就是为什么有人说工业4.0是“工厂+大数据”。   美国提出了“工业互联网”,GE谈到了工业互联网的三大要素是智能联网的机器、人与机器协同工作及先进的数据分析能力。工业互联网的核心是通过智能联网的机器感知机器本身状况、周边环境以及用户操作行为,并通过这些数据的深入分析来提供诸如资产性能优化等制造服务。   德国提出了工业4.0,谈到了两大关键支撑技术:一个是信息物理系统(CPS);另一个就是数字化企业平台,贯穿各个生产、经营信息系统的信息集成与数据融合贯通, 建立伴随产品制造过程的完整数据流,并基于对这些数据的分析,使企业可以全面深入把握和优化提升产品质量、生产效率、资源利用率。中国在去年提出了中国制造2025。无论是美国、德国,还是中国,都认为工业大数据是新的自然资源,是工业升级的关键技术要素。     我们团队有幸参与到中国制造2025提案的工作组,也有幸参与编写了中国制造2025的绿皮书,其中在第一章《新一代信息技术》的第三节《操作系统与工业软件》,就指出了四个主攻方向,“云+端的工业大数据平台”首当其冲,这不仅是给在场的各位出了一份试卷,也是给中国的产业界出了一份开卷的命题作文。     我们认为在工业大数据领域,应该有以机器大数据为先的思维。在IDC的预测中,到2020年,全球数据宇宙中机器数据的占比将由2005年的11%增加到40%。我们都看过变形金刚,擎天柱、大黄蜂、威震天...

Read More

当奥运会次最轻量级拳击卫冕冠军尼古拉•亚当斯(NicolaAdams)步入2016年里约热内卢的拳击场,她将清楚地知道每一场她应当采用哪种策略,以确保她获胜。   相似的,当德国帆船手菲利普•布尔(Philipp Buhl)下水的时候,他也能精确地预测瓜纳巴拉湾的洋流如何影响他的船竞逐。 这是因为高科技——尤其是数据分析——自2012年伦敦奥运会以来,已经取得了巨大的进展。   “从创新的角度而言,实时数据分析也许看起来并不是什么大的飞跃,但是它有可能使本届奥运会打破更多的记录。”机械工程研究所的医疗保健负责人海伦•密斯(HelenMeese)博士如是说。     数据采集和分析对几乎每一项运动都产生影响。   一、拳击   比如,通过使用与SheffieldHallam大学联合开发的软件iBoxer,英国队的拳击手就从这种类型的分析中受益。   性能分析系统使用了大量英国队及他们对手的数据,包括详细的战斗分析揭示出每一个拳击手的威胁和机会,帮助他们改进策略。   澳大利亚运动研究所(Australian Institute of Sport (AIS))联合开发了一个数据库,澳大利亚国家运动委员会每周在利用这个数据库密切地监测大约2000名运动员(的运动数据)。   ”在那些数据录入参与度比较高的运动队里,我们可以为教练提供训练负荷的建议,进而带来受伤和伤病的减少。”澳大利亚运动研究所效能科学和革新部门副主任尼克•布朗(NickBrown)说。   “其中的科技部分包括数据库,智能数据分析以及在某些情况下利用可穿戴的感受器来引入训练数据。”   二、自行车   史蒂夫•海克(Steve Haake)教授,谢菲尔德•哈兰大学高级健康研究中心(Sheffield Hallam's Advanced WellbeingResearch Centre)主任,从2000年以来,一直与英国运动队合作。   他说他的团队的工作越来越倾向这种数据驱动的表现分析。   比如在自行车运动中,机械方面需要关注的比较少,因为自行车已经是最优化的了—他们的轴承和齿轮效率是99%。   “相反地,过去两届奥运会我们做的大部分工作是去查证这些东西在运动场上实际工作情况如何。”   海克教授说:“那是关于数据获取和多渠道获取信息复杂的数据库。”   美国场地自行车运动员甚至在训练中使用Solos公司开发的增强现实眼镜来查询实时数据。   自行车感应器采集到的数据,比如功率,时速和脚蹬转速,通过IBM的云平台定向无线发射到自行车运动员的眼镜,当自行车运动员拼命地蹬着自行车的时候,他们的眼睛无需离开赛道也可以看到自己的关键参数。   通过Solos的智能眼镜,运动员具有接收实时反馈的能力,他们可以进行动态调整,Solos的一位主任额恩奈斯特•马蒂柰兹(Ernesto Martinez)说。   “比如,如果Sarah [Hammer]或者Kelly [Catlin]在互换交接或者比赛的某个部分需要去满足一个特别的单圈时间或者功率度量,他们可以看到他们是否达到了要求,并做相应的调整。”   “这种实时反馈和调节能力可以加快骑行时间。”但是自行车运动员在比赛中不能佩戴这种眼镜。   三、团队合作   体育正在世界各地获取其他行业的灵感,尤其是在技术和工程部门。   例如,STG(德国帆船队)和商业软件公司SAP在2011年合作,寻找帆船运动在2000悉尼奥运会后在本地衰落的原因。   STG的技术领导 Marcus Baur说,“这样做的目的在于开发更好的技术帮助运动员更好的训练,更好的执行,更快的学习。” 这个技术的关键部分是根据真实数据,使用棘手的,不断变化的条件,如气流和风力进行分析,建立虚拟模型。     ▲SAP的潮汐和风力分析可以帮助运动员在比赛期间沿着最好的航线航行。     ▲但是问题在于教练愿意去相信数据吗?   “里奥的瓜纳巴拉湾有潮汐,利用这里创建一个重复模式,我们就可以进行分析和预测,”Baur先生说。   “我们做了超过3000海湾的测量值去建立一个潮汐模型,并且我们现在已经可以有效的在奥林匹克运动会中使用它”   但是Baur认为,教练和运动员必须学着信任数据。   “在西班牙举办的世界锦标赛的决赛中,德国运动员Philipp Buhl已经获得了信息,但是教练不相信我们的模型推荐的方向,他走了另一个方向结果输了比赛”,Baur说。   现在运动员将更愿意相信模型。   四、超越自我   技术对残奥会也有影响。   例如,更多和航空和航天工业关联的BAE系统,这个系统已经被应用到英国体育中,通过不同的赛车位置,使英国的轮椅运动员的加速度增加了20%。     自行车运动员丹尼斯辛德勒新的3D打印假肢是由欧特克设计   总部在美国的设计软件公司Autodesk与德国的自行车赛冠军Denise Schindler 协作,一起努力设计了一个3D打印的聚碳酸酯假肢,可为2016年里约奥运会提高动力输出。   “我们已经能够创造出更加轻巧,甚至更符合空气动力学的东西”,Autodesk的英国产品设计师Paul Sohi说。   五、公平竞争环境   但获得最好的技术给富裕国家,是否使其拥有不公平的优势?   “体育竞技建立在创造一个公平的竞争环境的基础上,不同的人可以竞争,如果通过高价购买高级技术,那么运动就没有任何意义”,STG的Baur 说。   Haake 教授说,不同运动牵扯到的科技使用程度,但“想看到一些提高”是人类的天性。   不幸的是,对于竞争优势的追求有时候表现得太过明显,尤其是在最近的兴奋剂丑闻中。   因此体育主管部门需要决定,到底使用多少高科技才算过量使用。   (转自:大数据文摘|bigdatadigest)...

Read More

8月3-6日,全球知名的数据系列会议之一Strata+Hadoop World(SHW)在京召开,聚焦于大数据、机器学习、普适计算和分析学以及大数据可以带来的商机,吸引了数据领域的最强大脑。昆仑数据CTO王晨在会中发表了题为《工业大数据系统及其应用实践》的演讲。 SHW是成为业界公认的“必须参加”的数据盛典。美国总统奥巴马曾亲自为今年2月举办的加州SHW大会助阵送去贺词。这是SHW首次登陆北京。SHW的演讲不仅涵盖了全世界大数据领域顶尖技术专家,还有各种大数据应用场景的经验介绍。成为SHW的讲师,必须经过专业背景调研和层层筛选,并保证分享富有含金量的技术干货与应用实例。 (昆仑数据CTO王晨发表演讲) 王晨在演讲中提到,工业大数据是实现工业企业实现智能制造,并向服务转型的关键支撑技术。然而,工业数据“大”的主要来源——机器数据,却是一类区别于传统关系数据的非典型结构化数据,具有“多模态、高通量、强关联”特性,而且对于商业大数据的相关性关系推荐来说,工业大数据分析必须以因果关系为导向,并且分析结果必须具备高可靠性,很难接受概率性的预测。 应对上述挑战,王晨着重分享了针对机器大数据应用的数据使用,需要实现具有时序、频域以及特定语义的复杂查询操作,以及如何通过现有的开源大数据技术以及数据管理技术的创新,构建一个全新的工业大数据管理系统。此外,他还根据在我国多家知名装备制造企业开展的工业大数据实践,分享了如何通过数据手段解决实际业务问题,以及无法规避的现实问题带来的巨大挑战。演讲引发参会者的强烈共鸣与积极互动。 (会场听众与王晨围绕议题进行讨论) 此次大会共同出席演讲的嘉宾还有Hadoop之父、Cloudera首席架构师Doug Cutting,以及来自Google、Intel、facebook、Uber以及腾讯、阿里巴巴、百度、京东等公司的资深技术专家,分享了人工智能、机器学习以及无人驾驶等热门技术领域应用实践。...

Read More

清华大学数据科学研究院(“清华数科院”)宣布与Cloudera合作。Cloudera是当前基于Apache Hadoop及最新开源技术建立的最快捷、最易用、最安全的数据管理和分析平台的全球供应商。在Cloudera CAP学术合作项目的支持下,清华大学和Cloudera将联合发布BASE (Big Analytics Skill Enablement)倡议,以解决中国大数据行业的人才稀缺困境。此次合作还将推动中国研究机构与企业参与国际大数据开源社区建设,进而推动企业大数据应用开发与价值挖掘的行业繁荣。   根据IDC研究显示,大数据解决方案将在未来四年中,帮助全球企业分享大约1.6万亿美元新增收入的数据红利。在大数据产业发展中,以Hadoop为代表的开源大数据生态成为大数据和云计算的重要技术支撑,有效推动了开源社区的用户和贡献者,带动了技术进步与商业发展。而在全球范围内,大数据行业正在面临数据专业人才短缺的困境。     与传统计算机科学和商业分析课程不同,通过CAP,清华数科院将与Cloudera共同为教师与学生提供完整的免费Hadoop课程,学生不仅能从基础的Hadoop开始,也可以学到诸如Spark,Hive,Impala等在全球Hadoop社区最新的技术,这不仅为学生们提供全面的技能培训,优秀的大数据人才将为公共事业和企业带来创新,并在全球视野内获取有竞争力的优势。   据了解,清华数科院与Cloudera的合作,还将着力推进国际大数据开源社区的相关活动在本地的融合,提高本土团队对已有项目参与度,贡献新的开源项目。双方合作的愿景是推动大数据技术在中国的大范围应用,同时将中国本土创造的技术回馈国际开源社区。   来源:电脑商情在线...

Read More