摘要:这就是大数据时代的最大不同:他更贴近我们的物理世界,更贴近我们的真实生活 日,这是一个被戏称为“光棍节”的日子,由于出现了多达六个“1”,这个“光棍节”更是被称为“有史以来最大的光棍节”,但真正让这个
这就是大数据时代的最大不同:他更贴近我们的物理世界,更贴近我们的真实生活 日,这是一个被戏称为“光棍节”的日子,由于出现了多达六个“1”,这个“光棍节”更是被称为“有史以来最大的光棍节”,但真正让这个日子变得独特的,却不是这个六个“1”,而是淘宝商城在这一天史无前例的“双十一光棍节”促销 根据淘宝商城官方市局显示,11日当天支付宝交易额突破亿,自当天零时到上午06 分,淘宝商城共计产生了万比订单,而当全天的交易量数字得到证实后人们更是大吃一惊:双十一光棍节促销当天,淘宝商城交易量为去年同日的近倍而据淘宝商城市场部整合营销部负责人魄天透露,淘宝商城的手机无线支付交易额在促销当天突破亿元大关 而与此相关的数据还包括:双十一促销话题在新浪微博上产生万条话题和评论,700 万条相关搜索结果;某物流公司承接双十一订单日发货万单,最后总计万单;11日促销前天,同淘宝商城合作的国内快递企业调集了共万人参与后续的物流配送环节 这是一次淘宝商城的狂欢,也是一次商家与消费者的狂欢,更是一次大数据的狂欢在数十亿的销售额、数百万近千万的手机终端下单、数千万的双十一销售订单以及万物流行业配送人员的背后,是由大数据所勾勒出的一条“数据链条”:从消费者的手机下单、物流公司配送、淘宝全程物流信息显示、消费者收货以及快递员利用终端机反馈送达信息,数据充斥在整个淘宝商城的促销活动中,而在淘宝商城及其物流合作伙伴的信息反馈过程中,我们看到了物联网和移动终端所创造的“大数据” 如果你有一部能够接入网络的智能手机,你就能轻松的通过手机完成从查询搜索、安全支付、评价或是退换货等一系列的流程,这也使得淘宝系电商的消费者中,使用手机移动下单和支付数量不断攀升新高;如果你想及时了解到你所购买的“宝贝”的运输情况,物流供应商把从商品签收、铁路航运起飞到达、到达地分拨中心、配送物流人员安排等一系列信息提供给你,其时差往往只在几个小时 当最后,顺丰或是申通的快递员,在你面前拿出移动终端,敲敲点点的几下之后,你就会发现整个物流配送流程已经完成,就是这么几下,他便完成了快递配送的整个流程而你的名字,会出现在淘宝物流信息页面中,上面会显示:XX时XX分,收货人XXX,本人签收 这是一个奇妙的、让你倍感顺畅的过程,但你是否想过,这一切有赖于移动终端(智能手机或是其他的智能终端)、有赖于日益完备的物联网技术,有赖于物流企业、淘宝商城以及支付宝在大数据处理方面,行之有效的解决之道 在大数据时代,信息产业所产生和处理的信息与数据日益庞大,创造他们的不再是我们的电脑或是某些服务器,信息与数据被物理世界不断的创造出来,并被物理世界和生活在物理世界中的我们所接收、处理与利用大数据,正是被我们的物理世界与真实生活所创造 如果说,我们以前只能够坐在电脑前或是身处数据中心,才能够创造数据,现在的世界已经大为不同一辆货车、一部智能手机、一个终端或是一个小小的标签,都蕴藏并不断产生着数据,而与我们紧密相连的,就是日益发展的物联网与移动终端 先谈谈物联网这不是一个新的概念,最开始的理念是把一切生活相关的设备、物品或是流程,都连接在互联网上,以“物”而不仅仅是“人”作为互联网的节点,但随着物联网的不断发展,我们发现了更大的机遇和挑战 信息的迅速膨胀远远超出人类自身的感知和信息处理能力,未来人们迫切建立在精密感知能力和海量信息处理能力之上的智能技术,这正是物联网的发展方向物联网不再仅仅是一个概念、或者说不仅仅是一个发展理念,而正在演变成为政府的行动纲领,以及资本市场的投资方向 物联网领域的大数据符合大数据时代的三个重要特征:1、大量终端产生大量的数据;2、物联网终端往往产生的半结构化或非结构化数据;3、物联网的数据只有被分析才有真正的意义 成为可用,像是危险基础设施的监控、智能家居、楼宇信息与能耗、汽车与交通运输设备、智能电表或是每个人都有的移动设备,加上越来越多的无线传感网,物联网的普及让越来越多的数据接入到信息世界当中,进一步紧密的联系了信息世界与物理世界 并由此,我们看到大量基于这些大数据的利用、大数据的分析的应用在不断涌现我们通过这些物理世界信息的互联与分析,能够像上面说的一样跟踪货物、了解交通信息、实现本地及社交服务、照顾家人的安全与健康、了解汽车的情况与驾驶状况,甚至构建更加智慧的城市 而在移动终端方面,除了物联网领域的那些如物流企业终端机、移动刷卡机之外,最重要的就是无处不在的智能手机有调查显示,中国智能手机用户的月均数据网络流量达到了 ,到年移动互联网的流量将比年增长倍以上而更为夸张的数据显示,在应用及移动互联网成熟度更高的美国市场,智能手机用户的数据网络用量平均已经超过每月 400MB 而每个人接近百兆的月均流量,可想而知在中国市场意味着什么在数据流量激增的同时,却又有更多的数据类应用出现,进一步让移动终端成为大数据浪潮的主流声音 据此前中国东方航空股份有限公司信息部总经理严振红向媒体表示,航空业现在大量利用互联网,尤其是移动互联网,像是东方航空这样的信息成熟度较高的航空公司,在电子客票、客户体验、VIP 客户服务以及常旅客等等方面都借助移动终端和移动互联网而在应用方面,以东方航空为例,其已经建立了移动应用开发平台,面向所有的移动终端平台开发应用,其 Android 版本的应用已经上线,并服务于东方航空每日穿梭在全球各地的乘客 很显然,移动终端不仅限于智能手机,据迅雷网络技术有限公司无线事业部总经理何意在日的 MacWorld2012 数字世界亚洲博览会上表示,迅雷有接近的用户时用户 这些用户不停地在分享视频、创造视频,算上所有的平板电脑的用户,产生了大量的数据上传和数据访问,这也是移动互联网对大数据时代产生的一种影响 无论是智能手机还是平板电脑,无论是移动终端还是移动机,移动网络所创造的数据量随着这些设备在我们生活中所占比重的增加在不断增加而正是这些设备,帮助我们把信息世界、数据海洋与我们的生活联系起来,让原本属于虚拟世界的信息、数据与物理世界更加融合,但这也创造了新的大数据时代特征与挑战 在物联网与移动终端的结合上,物流企业可能是最有发言权的一家规模化的物流企业,拥有大量的“传感器”:RFID 标签、货车上的定位与车况传感器、各个仓库及货运中心的联网设备等等这些都是物联网的“物理设备”与产生数据的“传感器” 与此同时,每一个快递员手中的刷卡机、移动终端,开放给用户安装在智能手机上下单、评价 App以及不断为收货/发货方手机上传递实时信息,这些移动终端及移动技术的应用,让物流企业也同时拥有与移动终端相关的大量设备、服务与业务流程 可以说,物流企业正是大数据时代下,受到物理网与移动终端影响最大的行业而也正是在信息化越来越深入、数据与信息越来越重要的这个时代,IT 已经成为物流企业的核心竞争力与转型基础 而由物联设备、移动终端以及用户创造的大数据,也正在影响着每一个物流企业的系统的发展,并继而影响了物流企业的转型计划 “2010 年,我们建立统一旅客数据库,保留旅客的偏好信息,随着东方航空推进转型,我们希望这个系统发挥巨大的作用同时,不仅是我们自己的系统,更要是合作伙伴的系统、流程和信息,都要实现集成和交换”严振红表示,东方航空近几年正在打造全新的战略,朝着“综合的服务提供商”的方向转型:从以前的客运航空供应商转变为旅客服务集成商,从货运航空运输商转变为航空物流服务企业 很显然,这不仅仅将创造巨大的旅客信息数据库,也意味着有大量的数据流动在东方航空及其合作伙伴的网络上而随着客运与货运同时向服务业转型 更好的利用 IT,更好的利用业务流程中那些物联设备、移动终端所产生的大数据,将对针对用户的个性化的、细致周到的服务有着至关重要的作用 而一些物流行业的先行者国内已经有比较高端的物流公司,通过ONE定位技术,针对携带定位手机的人员或配置专用终端的车辆,向客户提供实时监控调度、历史轨迹查询、特殊人群跟踪、位置信息查询功能的全天候全覆盖的个性化定位服务,这就是位置服务 对于物流企业来说,基于精准定位、高精度室内定位和快速定位的三大优势,可以实时跟踪物 所有这些,所有这些流程中的移动设备与物联设备,都产生了巨大的数据而这些数据同样符合大数据时代的三大特征: 2、承递物品签收、客户单据签收的图片,货运卡车的实时行车视频,这些都是非结构化数据,也同样在激增; 3、更好的分析这些数据,比如说某一个频繁交付快递的公司是否有时间特征,能够更好的合理安排物流企业的资源,对数据的分析处在非常重要的位置 这就是我们在大数据时代所要面临的最大挑战:我们需要无缝连接所有的数据,让数据“流动”而不是被固定在某处;我们需要快速的分析数据,并将所有的数据共同加以考虑,让数据“融合”而不是被分割在各处;我们需要迅速搭建大数据平台并马上着手分析数据的价值,让数据“瞬捷”可用而不是静候在某处 “罗马不是一天建成的”大数据也不是一天、一周或是一个月就能够解决的问题,解决大数据的问题是一个长期的过程,需要对大数据的发现、分析以及长期保存等各个方面加以考虑,这意味着从平台建设的角度来说,需要考虑的“完整的、适合整个大数据生命周期”的软硬件平台 大数据需要一个统一、融合以及无缝衔接的,企业需要无缝连接所有的数据,包括无线传感器、移动终端等等不同数据源的数据,从而让整个企业业务流程中的数据被统一存储和分析 另一方面,既然是大数据,其对服务器与存储的性能压力自然也变得更大,企业需要性能更强劲的服务器以及更快速的存储系统,这并不意味着在大数据时代,我们能够放松对能耗与空间的重视,否则随着数据越来越“大”,难道我们必须无休止的去增加所需的电力和数据中心的空间?这显然是一个不能接受的命题 这正是架构在过去三十年不断给与业界的“礼物”:以英特尔为代表的 x86架构平台,已经洞察到了上述大数据来临和发展的趋势,并为此作好了充分的准备 以英特尔至强系列处理器为例,其性能在每一代产品上,都能够得到高达的提升,其性能水准在全球高性能计算强中得到充分的体现而在提供如此高的性能的同时,至强处理器的能耗却有的降低,这使得企业在建立规模化的大数据处理平台 而对于更为重要的无缝扩展,IA 架构的高可扩展性也早已被业界证实事实上,正是架构的高可扩展性,业界最著名的大数据平台才会以架构为基础,提出以架构为硬件基础的大数据软硬件推荐模板 从另一个角度来看,IA 架构无缝、高效的扩展能力,能够让企业在不断增长的大数据分析负载面前,有效的扩展计算平台 当然,从存储平台上看,我们会看到相同的事情在发生现在,几乎所有主流的企业存储系统都是以英特尔处理器为核心的,各家主流供应商也都采用了英特尔推荐的整体架构设计中端甚至高端的存储系统,这让英特尔平台获得“无可比拟”的优势:当你的数据中心的服务器、存储都以英特尔平台为核心,以英特尔的推荐架构为平台设计,这也就意味着你将获得一个融合、统一以及更高性价比的数据中心这显然是应对大数据,甚至是云计算时代,最有力的优势 值得一提的是,对于商业智能来说,基于英特尔至强处理器的多路平台还具备高性能、灵活扩展以及高性价比等优势 但硬件只是基础,软件才是上层建筑,对于业界主流的大数据平台来说,仅有英特尔至强处理器平台显然是不够的,但对于企业来说,对攸关企业发展的大数据问题来说,一个开源的、无支持与服务的原生版本的平台,显然不是一个好主意更何况,国内的人才尤其是底层开发人才目前还处于空档期 Hadoop 为处理海量处理系统提供了一个超越传统存储和数据库技术的解决方案,已经成为构建海量数据构架的主流选择但基于开源社区的开源版本使企业用户在使用时不得不自己解决系统一致性、管理监控等,并且需要自己解决和修补开源版本中存在的软件缺陷,这样的要求使得企业用户在使用中遇到重重障碍 针对企业用户对技术平台的需要,英特尔发行版产品提供了一个稳定高效可管理的发行版英特尔发行版经过大量实际项目的在线使用验证,免去了企业用户的后顾之忧英特尔还提供全面的产品技术支持和顾问服务,使得企业用户在系统规划、实施和运行时都能得到专业及时的专业服务 对于企业来说,英特尔发行版最明显的功能增强在于提供跨数据中心的数据库虚拟大表功能,企业能够把不同数据中心 内的数据库联系在一起,再借助该发行版的数据库复制和备份功能,企业能够将分布在各地数据中心的数据实现统一的数据库管理以及数据保护毋庸置言,这对大数据下的企业整体数据解决方案、融合架构有多么大的意义 另一方面,英特尔基于开源框架针对英特尔平台进行了一系列优化工作,使得在英特尔平台上实现 Hadoop,比非英特尔发行版获得性能的成倍增长,其处理能力达到“接近于实时”的处理效果 要知道,在英特尔发行版中,改进后集群系统的吞吐量能够随节点数量增加而线性扩展,这对于企业长期的大数据战略必不可少 对集群系统吞吐量的改进,显示出了英特尔发行版的一项重要的不同,而这也正是我们在上文提到的,企业需要考虑的“完整的、适合整个大数据生命周期”的软硬件平台英特尔借助自己在硬件平台与软件平台上的“合力”,通过将的软件改进,结合英特尔的硬件部门,英特尔发行版简化了的安装和配置,可以根据用户的硬件环境自动生成最优化的集群配置,充分发挥集群的计算能力而英特尔将为用户提供的,是“全面的软硬件解决方案设计与服务” 从物联网到智慧城市,英特尔开始为不同的行业创建不同的解决方案,智能交通解决方案是英特尔帮助智慧城市的第一步 而更重要的是,英特尔发行版是经过测试和验证的稳定版本,在客户生产环境成功部署运营,可以确保客户生产环境小时不间断运行辅之以英特尔通过云计算上的经验积累,提供的从项目规划到实施各阶段专业的咨询服务,由此构建的分布式系统硬件平台的扩展性与性能都更加优异 最后,我们把目光转回到物联网与移动终端,转回到由这两者所产生的另外一个话题,那就是“智慧城市”通过物联网和移动终端,通过更多的传感器与数据,通过更快速的大数据分析与利用,我们所生活的物理世界 能够获得极大的改变而英特尔发行版也在朝着这个方向努力,其已经推出了“海量数据智能交通解决方案”的设计蓝本,这一方案将显著提高我们对城市交通的管理和控制 在性能测试中使用的软件及其负载可能为英特尔微处理器的性能进行了优化诸如 SYSmarkMobileMark 等测试均系基于特定计算机系统、操作系统及功能,上述任何要素的变动都有可能导致测试结果的变化请参考其他信息及性能测试(包括结合其他产品使用时的运行性能)以对目标产品进行全面评估 超线程技术的系统,请与您的电脑生产商核实系统运行性能将取决于具体的硬件与软件环境英特尔 i5-750 处理器暂不支持此项技术更多信息(包括哪些处理器支持超线程技术)敬请登陆 当越来越多的人开始谈论“大数据”这个词,你是否了解大数据究竟是什么?当大数据市场开始快速成长,企业该如何一边应对挑战、一 在目前医疗行业数据现状中,大数据和云计算技术已经变得愈发重要,可以有效促进中国医疗信息化的实现 在目前医疗行业数据现状中,大数据和云计算技术已经变得愈发重要,可以有效促进中国医疗信息化的实现 Arista 和英特尔的工程师探讨了 Hadoop* 的优势,强调计算、网络和存储的平衡 介绍什么是大数据,为何应该关注大数据以及企业应该如何利用大数据来挖掘信息并实现巨大的竞争优势 介绍什么是大数据,为何应该关注大数据以及企业应该如何利用大数据来挖掘信息并实现巨大的竞争优势 大数据促使企业又开始了转型在这个过程中,哪些行业走在了前列?哪些心得和经验值得我们学习和借鉴?来自英特尔的两位专家在本 作为业界的领导厂商,英特尔致力于构建下一代大数据存储、管理的基础数据平台在 Apache. Forrest ResearchMike Gualtieri 对大数据发展现状的看法 LiveRamp首席执行官及Rapleaf董事长Hoffman 阐述对大数据的看法 波士顿公司创始人兼首席执行官Feast 阐述对大数据和人类行为的看法 (责任编辑:admin)![]() |
谈谈您对该文章的看