0、引言
随着云计算技术的快速普及,加之物联网、移动互联网应用的大规模爆发,人类进入了大数据时代。大数据的数据集远远超出了目前典型数据库管理系统获取、存储、管理和分析的能力。研究机构Gartner将大数据定义为需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产;国际数据公司(IDC)认为大数据是从海量规模数据中抽取价值的新一代技术和架构;IBM将大数据定义为4个V即大量化(Volume)、多样化(Va-riety)、快速化(Velocity)及产生的价值(Value)。针对大数据的特征挖掘其价值并作出决策,成为企业在大数据环境下进行决策的重要依据。
2012年1月达沃斯世界经济论坛将大数据作为主题之一,探讨了如何更好地利用数据产生社会效益;2012年5月联合国“GlobalPulse”特别分析了发展中国家面对大数据的机遇和挑战,并倡议运用大数据促进全球经济发展;2012年3月美国奥巴马政府发布“大数据研究和发展倡议”,正式启动大数据发展计划,随后英国、加拿大、澳大利亚、法国、日本等30多个国家也相继启动了大数据计划;Google、IBM、EMC、惠普、微软和阿里巴巴、百度等国内外公司正在积极抢占大数据技术市场。大数据应用领域包括客户关系管理、市场营销、金融投资、人力资源管理、供应链管理和卫生保健、教育、国家安全、食品等各个行业,已成为一个影响国家、社会和企业发展的重要因素。在互联网时代,基于数据判断、决策成为国家、企业和个人的基本技能。大数据的出现改变了企业决策环境,并将对企业的传统决策方式产生巨大影响。
1、大数据对管理决策环境的影响
1.1大数据下数据驱动的决策方式
目前人类每年产生的数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。美国互联网数据中心指出,全球已有超过150亿台连接到互联网的移动设备,互联网上的数据每年增长50%,每两年便翻一番,而目前世界上90%以上的数据是最近几年才产生的,随着数据的急剧增长,大数据时代已经到来。大数据下的决策依赖于大量市场数据,如何有效地收集和分配数据、可靠智能地分析和执行数据成为企业未来面临的挑战。基于云计算的大数据环境影响到企业信息收集方式、决策方案制定、方案选择及评估等决策实施过程,进而对企业的管理决策产生影响。舍恩伯格指出,大数据的“大”,并不是指数据本身绝对数量大,而是指处理数据所使用的模式“大”:尽可能地收集全面数据、完整数据和综合数据,同时使用数学方法对其进行分析和建模,挖掘出背后的关系,从而预测事件发生的概率。数据驱动型决策(data-drivendecisionmaking)是大数据下决策的特点。研究表明,越是以数据驱动的企业,其财务和运营业绩越好。大数据是个极丰富的数据集,数据是知识经济时代重要的生产要素,是经济运行中的根本性资源。数据生产信息,信息改善决策,进而提高生产力。可以预期,未来决定、评价企业价值的最大核心在于数据,数据积累量、数据分析能力、数据驱动业务的能力将是决定企业价值的最主要因素。
1.2大数据下决策方式应用现状
MIT沙龙主编与IBM商业价值协会通过对100个国家30多个行业的近3000名公司执行者、管理者和数据分析工作者进行调查,基于调查结果为公司提供了5条建议,其中提出对于每个机会,企业需要从问题而不是数据开始,所以应该先定义满足商务目标的问题,然后识别那些可以解答问题的数据。《经济学家》杂志2010年的一项调查显示,经营大数据已成为企业管理的热门话题,但大数据的应用目前还处于初级阶段。
2013年3月IBM的大数据调研白皮书《分析:大数据在现实世界中的应用》显示“大数据”将带来蓬勃商机,63%的受访者表示大数据和信息的分析使用为其组织创造了竞争优势,47%的受访者称当前应用处于早期规划阶段,28%的受访者正在开发试点项目或已经实施了两项甚至多项“大数据”解决方案。利用大数据将成为公司的一个关键竞争和增长基础。从这个角度看,所有公司都需要利用大数据提升企业竞争力。
大数据环境下的管理决策对于企业不仅是一门技术,更是一种全新的业务模式和决策方式,企业必须适应大数据环境对管理决策的新挑战。
2、大数据对管理决策数据的影响
大数据下决策的技术含量、知识含量大幅提高,对大数据的有效利用成为企业决策的关键,因此管理大量的数据是个挑战,如果不能找到数据,企业就可能不会收集数据,这些数据就会被丢失掉。大数据时代不仅要求企业具有搜集分析数据的能力,更需要企业具有处理、利用这些数据的能力。
2.1大数据下的数据管理
大数据环境下,数据的特点首先是规模大、类型多、结构多样,包含结构化的数据表和半结构化、非结构化的文本、图片、视频等。数据使用之前需对多源数据进行清洗、抽取和集成,保证数据的质量和可靠性,再采用统一结构来存储这些数据。传统的数据库管理系统和数据分析手段已无法适用,Google、Amazon、微软等企业都推出了大数据解决方案,它要求企业更新技术,以适应大数据处理的需要;其次是数据产生速度快,应用场景从离线(offline)转向在线(online),并出现实时处理需求。实时数据处理是大数据分析的一个核心需求,许多企业发现了实时数据的作用,开始专注于实时数据流,对实时数据的及时处理和利用也是企业面临的一大挑战;第三是大数据与其它数据的关系。
大数据的价值来自于数据碎片间关联所产生的信息。
大数据时代最大的转变是用相关关系取代因果关系,即只需知道“是什么”,而不需知道“为什么”。通过探索数据之间的关联模式,挖掘大数据中的信息,是大数据的价值所在。但这些数据之间交互广、价值密度低且呈碎片化,从大数据中提取有用信息,为管理决策提供支持,成为企业的迫切需求。
2.2大数据下的知识管理
从知识管理角度来看,数据蕴含着知识,知识是影响决策的重要因素。随着“基于资源的企业理论”的发展,人们对企业内部资源中无形知识重要性的认识越来越清晰,“基于知识”的企业能力理论逐步成为“基于资源”的企业能力理论的核心。在大数据时代,对数据进行深度挖掘可以获得更加丰富的知识,企业可以从中极大受益。潘罗斯认为,企业规模取决于管理者拥有的知识和管理能力。在大数据下企业可以对商务了解得更彻底,使用知识改进决策和绩效。收集分析海量数据,并快速获取影响未来信息的能力,是大数据技术的魅力。在管理决策过程中,数据所起的所用是无法取代的,但需要将数据的客观决策和人的主观决策相结合。
Bolloju指出,决策者在决策时承受着更复杂任务带来的压力,单纯依靠人主观决策无法应对复杂的环境,但单纯依靠数据决策也会偏离实际。美国政府发布的《大数据研发倡议》要求,在新方法下利用大数据,并集合决策者的感觉、洞察力和决策支持,将数据和人的主观能动性结合起来,以避免“唯数据论”。
3、大数据对管理决策参与者的影响
3.1大数据下的决策参与者角色变异
决策参与者在大数据时代仍然是最重要的决策因素。大数据改变了长期以来依靠经验、理论和思想的管理决策方式,直觉判断让位于精准的数据分析,大数据下决策参与者的角色发生了改变。首先对于企业高层管理者,传统的决策因为数据稀缺,重要的决策依赖企业领导者的经验,而大数据可以保证从问题出发而不用担心数据缺失或者数据获取困难,决策重心回到问题本身,而领导者的任务是发现和提出正确的问题。
其次对于企业一般管理者和员工,可以很方便地获得决策所需的信息,决策能力大大增强,决策倾向于依靠企业一线员工。大数据时代最大的挑战之一就是领导者们必须与一线员工并肩工作,提高企业决策水平。
再次,由于媒体不断宣传和数据获取便利,普通民众开始认识并利用大数据,每个人都能进入大数据世界,成为数据分析家,进而参与决策。另一方面终结了战略论,社会化媒体和大数据动摇了由张建设提出的传统战略论的决策基础,决策主体正从商业精英转向社会公众。互联网经济时代,科技正促进领域间融合,产业界限正在模糊,社会化决策正在崛起。因此,多元决策在大数据环境下更加突出,决策者来源更广泛、关系更复杂,全员参与成为大数据下企业决策的重要特点。
3.2大数据下的数据分析师
在大数据下,数据分析师在企业决策参与中起到日益重要的作用。数据分析师是运用统计分析、机器学习、分布式处理等技术,从大量数据中提取出对业务有意义的信息,以易懂的形式传达给决策者,并创造出新数据运用服务型人才。塔塔咨询服务公司(TCS)的调查显示,IT行业人才缺乏,符合条件的大数据分析人员很少,是许多企业在寻求打造与部署大数据系统所面临的五大困难之一。目前大数据从业人员面临巨大缺口,麦肯锡预测在未来6年内,美国可能缺少14万-19万拥有深度分析技术的人才(deepanalyticalposi-tions),缺少150万懂得使用相应工具分析大数据作出合理决策的管理和分析人员,而这类人才很难培养,需经过多年的培训。
4、大数据对管理决策组织的影响
4.1大数据下的企业管理决策组织
大数据下全员参与使得企业决策参与者角色发生了改变,决策权的重新分配,必然影响企业决策组织结构和决策文化,企业决策组织结构重要的两项因素就是集中决策、分散决策的选择和决策权分配问题。从集中决策和分散决策角度看,组织理论认为可预测的环境对企业的组织过程施加的影响较小,有利于形成集中分层的决策结构,而在不可预知的环境和企业面对非常规的情况下,分散式决策更为有效。在动态变化环境下,分散决策结构可能更加重要,而IT技术通常被作为一种手段来提升企业在动态改变环境中的数据处理能力。另外,企业组织结构还受知识分布、知识转移成本与权利传递成本所影响,如果知识高层领导集中分布,则对应采用集中决策结构;如果知识分散分布,则对应采用分散决策结构。大数据下的决策环境更复杂,决策时效性更强,而决策知识分布更广泛,分散式决策成为大数据下决策的主要形式。从决策权分配来看,企业决策效率低下的原因之一是没有将决策权限分配给合适的角色。员工掌握和控制的信息量越多,理论上决策权应越大,知识与权力的匹配程度越高则组织的各项指标越好。信息技术、网络技术的发展,以“金字塔”型为代表的传统组织结构被企业管理网络化、权力分散化和体现人本管理的扁平化组织结构所替代。大数据时代,普通员工也拥有了决策权利,扁平化组织结构的趋势将更明显,决策权分配应顺应这种变化。分析大数据环境对企业管理决策组织结构的新要求,基于数据的有效利用和知识的创造、吸收,研究大数据下组织结构建设措施,是大数据下企业组织创新的重要内容。
4.2大数据下的企业管理决策文化
大数据对企业管理决策文化的影响巨大,大数据时代不是“我们想的是什么,而是我们知道些什么”。
企业用大数据进行决策,首先要转变思维模式,遇到重大决策时,先进行数据收集、分析,再进行决策,企业管理者的思维变化也会提高企业员工利用大数据进行决策的执行力。企业管理者要真正用数据来驱动决策,基于规模庞大的数据量作出合理决策,需要很长的分析过程,企业员工用来自一线的大数据分析结果,推翻高层管理者的直觉判断,将是企业管理决策文化的最大变革。其次是基于决策任务的决策知识的收集、创造、共享、传递和激励制度,建立学习型企业文化,提高大数据下全员参与决策的能力和水平,培养基于数据进行决策的企业文化和制度,是大数据下决策的客观要求。
5、大数据对管理决策技术的影响
5.1基于云计算的数据处理和分析技术
数据分析是大数据应用需要解决的核心问题,传统的数据分析技术受限于能力,因不能充分利用所有数据而无法获得答案,因此寻求低成本、高度可扩展的分析平台将是企业决策过程中的重要任务。云计算是一个管理和处理大数据的有效工具,为数据处理、管理和分析等提供支撑,大数据应用在这个由云计算提供的基础架构平台上。云计算主要解决两个大数据问题,一是将大量异构和本质不同数据源结构化;二是对这些数据进行管理、处理和转换,为商业智能(BI)和企业决策服务。通过云计算加快决策资源的发现、组织和优化协调与评价,企业可利用基于云端的服务来满足数据分析需求,提升在复杂大数据环境下的信息服务质量,加快决策问题求解。对于决策来说,数据结果的展示和解释也非常重要,可以通过引入可视化技术对结果进行分析,用形象的方式向用户展示使其更易理解和接受。
5.2大数据下的知识发现技术
由于大数据类型多样、价值密度低,且可能是基于全样本数据等特征,找出隐匿于大数据中的有用知识对于提升用户决策质量具有重要意义。大数据环境下的管理决策对知识发现提出了新要求。大数据的海量性、多样性、动态性和价值稀疏性,使传统的结果最优化与算法准确率已不适应大数据下知识发现方法优劣的度量标准,亦不适用于传统的基于抽样学习的数据挖掘方法,基于全数据的知识发现方法已经成为大数据知识发现的新途径;大数据通常表现为数据流或特征流等形态,数据的价值随着时间的流逝不断减少,面向流数据的动态知识发现方法是大数据下知识发现的重要内容;大数据的价值来自数据碎片间的关联信息,数据规模的扩大形成了复杂的数据或知识的内联关系,需要挖掘大数据中隐含的复杂关联信息。建立面向半结构化和非结构化存储数据的知识发现方法、面向流数据的知识发现方法,以及多源海量信息的知识发现和知识融合技术,是大数据下知识发现技术的新挑战。
5.3大数据下的决策支持系统
大数据环境下的决策问题异常复杂,决策参与者需要恰当的决策支持系统来协助决策,以灵活应对环境变化带来的改变。传统的决策支持系统更强调应用,但它的应用和发展受限于少量的人群使用、不支持集成来自其它渠道的数据信息、不能利用分布于别处的系统资源等。大数据下人人都是决策者,分布于网络中的专家系统、管理系统等都是决策系统的一部分,因此须对传统的决策支持系统进行变革,建立适应大数据环境下全员参与的决策方法,建立开放的大群体决策体系结构和协同工作模型,建立促进群体成员之间信息沟通、共享和促进群体决策过程交互的平台,建立基于决策目标的群体分散决策一致性分析和评估机制,设计合理的决策冲突消解和聚集方法。在此基础上,结合现有云计算环境下的云服务平台,构建大数据下的数据资源池、知识资源池、模型资源池、方法资源池;构建基于服务的、集成智能分析、快速决策分析和具备自主决策功能的大数据决策支持系统接口,针对不同决策层次的决策服务推送机制,是建立大数据下决策支持系统的要求。
6、结语
大数据环境下的管理决策对于企业不仅是一门技术,更是一种全新的模式。在大数据下,企业管理决策环境的改变,导致管理决策数据和知识获取方式、决策参与者、决策组织和决策技术都发生了巨大改变,为企业管理决策创新提供了新的思路和途径。大数据的研究和应用才刚刚起步,只有认识到大数据对企业管理决策的影响,抓住这一趋势,才能改善企业在大数据环境下的数据资源利用能力,发现大数据中蕴含的知识,进而提高企业管理决策能力和效率。大数据将为企业提供更多提高竞争力的机会,使企业在激烈的市场竞争中取得优势。
