【IT168 应用】大数据成为又一个被高调宣传的策略性主张,IT部门现在该为其做些什么准备呢?
你已经在为“大数据”做筹备了吗?如果还没有,或许也想了解一下如何开始进行部署。现在对大数据的宣传非常高调,大有成为未来重要的策略性商业资产的架势。这意味着其他人不久也将要获取有关大数据的知识。那么怎样向他们作介绍呢?当然,处理大量数据并非大多数IT部门最初的任务,但是分析师称,大数据其实不同于数据存储,数据挖掘和商业智能分析。
数据生成的速度及其变化的速度远超从前,和过去的数据不同,这些新生成的数据大多未结构化。
博客,社交网络,机器传感器和地理信息数据是全球未结构化数据的组成部分——当这些数据被快速捕获,管理和分析时——有助于公司了解事情并识别过去无法识别的样式。
例如,美国医疗行业可以利用与护理质量相关的数据,成功率和病历提高工作效率, 麦肯锡全球研究所五月发布的大数据报告估计该行业每年产值可超三千亿美金。该报告暗示大数据有望为零售商增加60%以上的运营利润。
行业观察家称IT行业身处这次数据革命的前沿地带。
Catalina Marketing CIO Williams和其他业内观察家称,为了带领各组织进入实时预测的智能时代,技术经理必须改善企业信息管理架构并逐步为数据存储的高级分析提供支持。
克服大数据的障碍
Gartner研究总监Marcus Collins称,大数据技术还处于发展阶段,尚未达到产品成熟期。许多新开发的大数据产品都源自开源技术,虽然已有商业分销,但是很多产品缺乏良好的第三方咨询与支持生态系统。
另外,大多数IT部门所掌握的大数据技巧参差不齐,且一般都是聚焦于创建和维护传统的结构化数据存储库。
Gartner信息管理研究副主席Mark Beyer称,在大数据成功扎根IT组织前,存储文化与传统信息管理实践方面都需要做出很多变动。 而Beyer和其他分析师都认为聪明的IT领导者不应该坐等这一技术,相反应该主动进行转变。
下面的五件事情便是IT领导者现在就要为迎接大数据时代的到来所做的准备。
清查数据
几乎每个组织都具有访问未架构化数据流的潜能——不论数据是从社交媒体还是从工厂的监控传感器传出。但是并非仅仅因为企业正生成这股信息流,我们就必须保留每个数据。
Constellation Research副主席兼首席分析师Neil Raden称,随着大数据的初步形成,人们开始感觉到需要人为对社交网络或传感器传出的数据做进一步了解。
这种焦虑可能有一部分来自供应商以及迫切希望促成大数据的顾问们。聪明的IT经理人会保持冷静,从这股信息流中汲取自己需要的东西,把自己当做是过滤器,过滤掉那些不需要与企业关系不大的数据,保留下重要的数据。
因此Raden认为,要做的第一步就是清查数据,看看哪些数据属于内部创建,哪些来自外部,还要看看有没有数据可以弥补技术的欠缺以及有利于企业的业务发展。
一旦数据的扩展上路,IT企业应该使用高度定位的项目来处理,这样便可以直接显示结果,而不是等着数据大爆炸的那一天。
让业务需求刺激数据增长
IT分析师称,虽然这听起来这像是陈词滥调,但是IT/商业联盟的这一概念对大数据这一庞大而多变的新现象至关重要。
许多最初的大数据机遇都潜藏于IT之外的领域——例如营销早就开始利用社交媒体进一步了解客户需求以及购买倾向。
虽然业务部门能知晓这些机遇,但是IT部门才应该为数据共享和数据联盟概念负责。
早在大数据形成初期,Catalina Marketing的Williams就通过财政计划和分析团队把业务经理们集中到一起,目的是通过团队的努力打造一个信息架构投资的案例。
业务部门意识到了在一些领域中新的视角可以创造价值,例如,根据购物车项目确定随后的购买意向,或是根据产品供应进行下一步购买意向的分析——而财政计划和分析团队会依据产能提升或销售业绩的提升来验证结果。
重新评估架构和数据结构
Gartner 公司的Beyer和其他专家认为大数据需要改变大多数公司中服务器,存储架构和信息管理架构。 IT经理人要准备好扩展自己的IT平台以便应对不断扩展的数据存储,这些数据包括结构化数据和未结构化数据。
需要找到最好的方法实现平台的可扩展性,然后为系统整合开发出路线图。
并非每个系统都需要进行整合;要根据公司的规模,业务实际情况以及数据需求来定位。不不过IBM大数据产品副总裁Bhambhri等认为总体目标应该是创建一个可确保系统间进行数据流通的信息管理架构。为了实现这一目的,各公司将使用到中间件,服务指向型架构和业务流程整合等技术。
同时,传统数据存储架构也面临不小的压力。Beyer称当前部署的数据仓库中有85%到2015年的时候将无法满足数据管理的需求。但可以扩展现有存储器使其有能力对内置数据进行处理。
钻研新技术
大数据时代到来的同时也会出现新的专有名词和技术。Hadoop,MapReduce和NoSQL等技术越来越成熟,开源技术也获得了最广泛的关注。这些技术虽然开始以商业形式出现,但其实技术本身并不成熟,还需要专人来操作。
新的开源选择之外,IT团队还必须确保自己能紧跟大数据技术的发展,如数据库内部分析,柱状数据库和数据库存储库装置。 IT经理人及其同僚要深入研究,至少要熟悉这些新工具才能为大数据做出适当决策。
准备好聘用相关员工或组织二次培训
不论是Hadoop专家还是数据科学家,大多数IT企业都缺少合适的人才完成大数据的下一步转变。分析技巧或许是最关键的,而且这也是目前差异最大的地带。
麦肯锡项目指出到2018年的时候在统计方法和数据分析技术领域对专家的需求将达到14万到19万,这也包括目前较热门的数据科学家职业。
此外,麦肯锡预计数据读写经理人的需求将达到150万,这些需求来自业务和技术两部门,且所需人才应经过正式培训,可以对数据进行预测性的分析和统计。
在IT部门管辖范围之内,传统数据仓储库和BI专家同样要接受二次培训。
除了信息管理,监管和数据库架构的传统技术之外,新的大数据专家还要了解语义和数学法则——更不用说在新的预测性分析工具中以及包含了大数据的数据管理平台上的专业技能。
对于某些公司而言,特别是那些处于人口较少地区的公司,员工可能将大数据的挑战复杂化。True Textiles 公司CIO Rick Cowan称大数据来临,公司应该根据区域的变化调整心态和技能。 对于中型企业,获取人才并使其与不断变化的IT环境竞赛确实是一项挑战。为了解决这种人才荒,Cowan已经开始对自己的程序员和数据库分析师进行二次培训以确保他们紧跟分析技术前进的步伐。
Beyer称IT部门的观念要转变。虽然过去最好的技术领导者要扮演好信息管理员与架构工程师的双重角色,但是未来的IT经理人将是数据科学家和业务流程工程师的结合体。