发布时间:2024-01-13 16:26:19
序言:作为思想的载体和知识的探索者,写作是一种独特的艺术,我们为您准备了不同风格的5篇大数据时代的数据分析,期待它们能激发您的灵感。
【关键词】大数据 数据分析 数据分析师
近年来,业界、学术界兴起了大数据讨论,一夜间大数据时代到来了。大数据给学术界带来了新的思潮,大数据正在颠覆着很多传统行业的模式,带来变革。有人预测,大数据必将成为商业、政府、科研、教育、医疗等各行业面临的一个挑战。在大数据时代,数据分析、数据挖掘工作面临着机遇与挑战,本文从数据分析的角度,结合国内外相关研究,试图回答大数据是什么,如何应对大数据的问题。
一、认识大数据
(一)大数据的宗旨:经过分析的数据才有价值
大数据要发挥作用必须经过分析,这是由大数据的4V特性(数据量大、数据类型多、要求处理速度快、低密度)决定的。也就是说,数据都是高维、低密度的,从单个数据中难以看出规律。因此,必须经过分析,针对高维进行降维,提炼大量低密度信息中的价值,才能发挥作用。否则,大数据背景下,反而更容易使得“活”信息混迹在大量“死”数据中被淹没。面向大数据的分析要“简单、迅速、规模化”。
(二)大数据的目标:实现基于数据的决策与资源配置
大数据最终要实现科学决策,基于信息对称的有效资源配置。随着大数据分析技术的发展,可利用数据来源从线下封闭的数据库、数据仓库扩展到开放性的O2O(Online To Offline)融合数据,可分析数据结构从原来以数值为主的结构化数据发展到涵盖文本、视频、音频等多媒体数据。从而,大数据将逐步改变我们的决策目标和社会资源配置方式。基于数据的科学决策是一贯追求的目标。然而,信息不对称是常态,因此传统决策目标是建立相对满意而非最优(决策科学家Simon提出),资源配置效率基于市场优于基于计划。大数据背景下,迅速获取分析更多辅助决策信息成为可能,因此决策目标可实现向最优的无限逼近,实现基于数据的“计划”资源配置将更有效率。
(三)大数据的角度:个性化服务+中观指数+宏观连结
目前发展大数据,主要有基于数据为客户提供个性化营销服务、预测中观行业或区域趋势指数、基于连结的宏观资源配置方案等角度。这不仅仅体现在阿里小微融资的个性化风控决策、高端品牌在线特卖品牌和定价动态决策(基于阿里巴巴网商活跃度指数和零售商品价格指数)、Discern group企业发展战略咨询报告上,还体现在阿里巴巴商务智能指数(预测经济发展态势)和基于公共气象数据的各行业资源配置优化服务上。
互联网金融是大数据发展各角度的前沿阵地。在金融领域,要实现从金融互联网向互联网金融的快速转型。传统模式下的金融企业开展网上业务,如:网上银行、网上理财,并不是真正的互联网金融。互联网金融是指通过互联网新技术为客户实现搜索或风控等服务增值,比较有代表性的是,消除供求双方结构不对称的P2P贷款,提高存取效率的保值理财产品余额宝。
(四)大数据的关键点:保证数据质量
要发展大数据分析,首先要保证数据质量。错误的输入必然导致错误的输出。没有数据质量,一切都是浮云。数据质量没有保证,是不敢用的。数据质量是一项耗时、费力的基础工作。
保证数据质量要求数据采集与清洗过程中秉持两大原则:相关性和低噪声。第一,大数据,数据并非越“大”越好,而是相关数据越“大”越好。特别是,在数据采集中,要以采集尽可能多的“相关”数据为目标,而非不加筛选越多越好。第二,大数据,首先数据获取时要保证不存在诱导倾向的干扰因素,同时进行去噪处理。
保证数据质量要建立数据的数据。针对数据质量建立数据标签,才有进步。有了对数据质量的数据,数据才能被决策者更为安全科学有效地使用。
(五)大数据竞争的核心:分析人才的竞争
大数据时代,作为一种资源,数据不再是稀缺资源。互联网、门户网站、社交网站、微博、微信等新媒体积累了大量数据,缺乏的是对这些数据的分析人员。缺乏专业的分析人才,即使守着数据的“金山”,也只能望“山”兴叹。因此,美国Turbo Financial Group采用最新的大数据分析技术聚焦被FICO遗忘的15%人群建模,阿里提出建立大数据分析的开放式平台,希望能够集结更多专家智慧,同时培养阿里分析人才,挖掘阿里数据“金矿”。
二、把握大数据
大数据对社会生活带来方方面面的影响,我们如何把握大数据时代的机遇,需要慎重对待大数据带来的挑战。总结起来,主要有三个方面:
(一)大数据时代,数据整理和清洗工作
(1)数据整理和清洗工作是数据分析的基础。大数据专家根据经验,普遍认为该工作是一项基础性工作,耗时多且简单,占到数据分析工作量的60%以上,是数据分析前提和基础。在此基上,数据分析工作需要对数据进行标识,进行深度分析,撰写专题报告,确保结果可以执行,最终落实到决策和实施。
(2)大数据时代,需要充分借助IT技术管理数据质量工作。在大数据时代,人工逐笔发现、解决数据质量问题的方式成本高、效率低,不可持续。要尽量规范化、系统化、自动化管理数据质量工作,将节省下的人力资源投入到新问题的研究中。
(二)大数据时代,数据分析的特点
(1)采用倒金字塔模式分配“思考、工作、分享”的时间比重。数据分析工作包括三部分:“思考”,分析实际问题,将实际问题转化成数学模型,提出解决方案的过程;“工作”,将解决方案程序化,得出结果的过程;“分享”,将分析的结果,转化为决策,付诸实施的过程。在时间分配上,金字塔结构或柱形结构的分布形式不是最佳结构,倒金字塔结构比较合理。即,思考的过程花得时间长些,可以减少后期工作量,少走弯路。
(2)通过数据分析进行科学决策。很多人存在误区,认为数据分析就是做报表、写报告。在大数据时代,数据分析不仅仅停留在此,需要进行深度分析,建立数据化决策的流程。要尊重数据、认识数据,但不迷信数据。在尊重数据、尊重事实的前提下,减少主观因素的干扰,快速做出数据化决策,这是一种能力。
(3)大数据时代,数据分析的要义是――简单、迅速、规模化。数据分析的结果要简洁、易懂;数据分析的时间要短,尽可能的自动化地出结果,要快速的满足客户的需求;数据分析的方法能够实现大批量规模化。优秀的数据分析师应具有全局的预见性,一有问题可以马上把该问题打成很碎、很多的问题,甚至把一个问题克隆出很多问题,从而与业务人员建立信任,降低工作量。
(4)从“死”信息中,分离出“活”的信息。大数据有数据量大的问题――产生大量的“死”数据。错误数据是指数据与实际情况不一致,异常数据是指数据正确但数据远离群体的大多数,这类数据情况的处理手段比较成熟。而大数据时代,大量数据是不活跃主体,即“死”数据。因此,需要从高维低密度数据中,提取“活”的信息,发现规律。防止由于“死”信息的存在,导致分析结果不能正确反映“活”的群体特征。
(三)大数据时代,数据分析师的培养
(1)培养核心技术人才,确保长期竞争力。美国在建立全国医疗系统时,将系统外包给了加拿大的一家公司,系统运行的第一天就出现了崩溃。美国政府为此对该模式进行了反思,概括起来有三点:①外包公司设计时只顾满足甲方的眼前利益,不会为甲方的长远利益考虑;②项目外包造成美国技术骨干人员断层,导致出现问题后自身无法解决;③采用该模式导致美国没有了核心技术。
因此,在采用项目外包模式的同时,需要掌握其核心技术。在大数据时代,从数据分析、信息管理、IT技术三个方面保持核心竞争力。需要培养和保持业务、产品设计、数据分析、数据架构等方面的骨干队伍。
(2)建立专业化的大数据分析团队。大数据分析的核心是数学建模,基础是实际业务,结果是自动化程序。在实际工作中需要正确、合理的使用数学建模的思维,构建以数学模型做为基础的数据分析,建立量化管理风险的理念。深刻认识并正确驾驭大数据分析,大数据分析的方法是处于不断发展过程中的,需要根据实际问题,结合实际数据,灵活构建模型。
参考文献:
[1]朱建平,章贵军,刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究,2014,(2).
关键词:大数据时代 数据分析 理念 辨析
中图分类号:C8 文献标识码:A 文章编号:1674-098X(2017)01(c)-0136-02
近年来,对大数据的研究和应用已经受到我国各界人士的广泛关注,国家统计局已经把信息处理技术列为关键性的创新技术工程之一。随着我国大型计算机的迅速发展,处理大规模的复杂数据的能力逐渐提升,从这些大数据中提取有效信息的能力也逐步加强,毫无疑问,我国进入大数据时代的脚步将会进一步加快,人们将会感受到大数据时代下给其带来的生活、工作上的便利。
1 大数据和大数据时代简介
1.1 大数据
大数据是指远大于一般数据的巨量资料,需要人们通过全新的处理模式才能获取其中有价值的数据信息。“大数据”这一概念最早由维克托在《大数据时代》一书中引用得来,最开始对其定义为:不通过传统的随机分析方法直接对所有数据进行分析处理,主要有大量、高速、多样和价值4个特征。
大数据可以分为大数据技术、大数据工程、大数据科学和大数据应用等领域。目前受到最多应用的是大数据技术和大数据应用。人们通过收集数据,提取有效信息就可以为企业发展或者社会活动提供最有效的实施途径。因此,可以这样说,在大数据的王国里,最成功的企业就是那些善于运用机遇的公司。
1.2 大数据时代
大数据时代是建立在信息时代的基础上,通过互联网、物联网等渠道广泛搜集海量数据资源并对其进行存储、提取和展示。在大数据时代,几乎所有人都能够享受从任一数据中获得所需要的信息,大数据时代也具有社会性、广泛性、公开性和动态性4个特征。大数据时代的发展将会引领社会众多领域和行业的变革,对人类的生产、生活方式产生深远影响。
在大数据时代下,传统的数据分析思想已经不再适用,应该做出改变。首先,应该转变抽样思想,大数据时代下的样本即总体,已经不再依靠少量样本分析事物的相关规律;其次,要转变数据精确测量的思想,大数据时代要学会接受繁冗复杂的多样性数据;最后要转变探究事物的因果关系思想,转为研究事物的相关规律。以上思想的转变,均与统计学有关,因此,下面将分析大数据对统计学带来的具体影响。
2 大数据对统计学研究工作的影响
2.1 大稻莘岣涣送臣蒲У难芯慷韵
大数据影响的领域范围非常广泛,在大数据时代,不仅能够对以结构数据为度量单位的客观主体,还可以对不能用数据衡量关系的文本、图片、音像等非结构数据进行分析,大大扩展了传统统计学的研究范畴。
2.2 大数据影响统计学的工作进程
统计学是对所搜集的数据进行整理和归纳的方法论学科。大数据时代的资料十分丰富,分析数据已经不再需要抽取样本了,因为数据总体即是样本。此时,传统的统计学抽取样本分析的工作方法已经不再适用,而是被现代化通过传感器自动采集数据的方法所取代。
3 大数据时代下数据分析理念辨析
3.1 数据分析理念
传统的数据分析是指用统计学方法将收集的数据资料进行系列分析,以便最大化地开发数据中的功能,从中提取有价值的数据,再和未经处理的数据进行对比,发挥数据的作用。大数据时代下的数据分析,由于数据量非常大,数据本身的动态特性使人们要研究的数据难度加大,因此,大数据时代的数据分析一般利用统计学的理念,采用更广泛的方法统计和分析数据,以此摆脱对数据样本的依赖,也可以避免数据的流动性给分析结果带来的不确定性。大数据时代更加注重数据的增值分析工作,研究数据的未来走向,使其中有价值的数据可以增值,将有效数据有机整合,能够及时发现问题和解决问题。
3.2 数据分析的主要程序
3.2.1 数据整理
统计数据的整理主要分为4个步骤:审核统计资料、对资料进行分组、汇总和编制统计表格或图表、保管和公布。当统计对象为数据资料庞大、类型复杂、要求处理速度快的大数据时,这些步骤就显得繁冗了,尤其是图表的绘制是没办法实现的,因此,只需要对资料进行审核和存储。大数据的审核和存储不同于传统意义上的数据审核和保存,大数据时代利用先进的现代化工具进行数据的审核和保存。
3.2.2 数据的开发
传统数据的样本量较小,目的主要着眼于解决问题,数据的时效性较强,数据的使用价值会随时间流逝而降低。而大数据的流动性很强,随着时间的推移会越来越壮大,而且具有推陈出新、价值重塑的可能,因此,在大数据时代,数据是会不断增值的,开发大数据,是一项有重要意义的工作。
3.2.3 数据的应用
其中分别对教育、运输、消费品、电力、石油与天然气、医疗护理、消费金融等进行分析和预测。根据这些行业的特点,可以总结出大数据挖掘商业价值的基本方法为:客户群体细分,为每个群体量定特别的服务;模拟现实环境,发掘新的需求的同时提高投资的回报率;降低部门联系,提高整条管理链条和产业链条的效率;降低服务成本,发现隐藏线索产品和服务的创新。从图1中可以看出,大数据的应用群体十分广泛,能否对获取的数据及时、迅速处理,对该行业的发展具有重要意义。
4 结语
该文主要对大数据时代下数据分析理念进行了相关的分析和研究。首先对大数据及大数据时代的概念做了简要阐述,接着分析了大数据对统计学的两点影响,最后分析了大数据时代下的数据分析理念。总而言之,在现代社会,大数据的应用已经成为时代新的特征,能否从海量数据中提取有价值的信息做出相应的预测,对于企业或者个人的发展具有重要意义。
参考文献
关键词:财经类高校;数据分析课程;课程建设
中图分类号:G64 文献标识码:A 文章编号:1673-9132(2016)34-0040-03
DOI:10.16657/ki.issn1673-9132.2016.34.020
一、引言
随着大数据时代的到来,数据分析在各行业的重要性日益凸显出来。大数据时代要求人才具有极强的“数据视野”、“数据意识”和“数据能力”,即对所处行业数据的形式种类详尽把握,对数据的作用深刻理解,对数据分析方法和分析软件熟练运用。其中“数据能力”是前两者的基础,是实现大数据所有思想和理念的根本保证,是现代经济管理人才的重要基本素养和技能。
我国的财经类院校肩负着为社会培养经济管理类高级专业人才的重任,在大数据时代,社会对于经济管理类高级人才在数据分析方面的要求极大增加,现代经济管理理论的发展趋势也体现出越来越重视数据分析的特点。这要求人才既有深厚的经济管理理论功底,又能够熟练使用数据分析工具对业务数据进行分析,并得到结论。特别是在研究生教育层面,对数据分析能力培养更加重要。
然而,目前在研究生数据分析能力的培养方面各财经类院校均存在着较多的不足。首先是覆盖面小,除各院校的统计学院(或类似学科的学院和专业)外,强调这方面能力的培养的学院和专业较少,导致研究生对数据的运用和分析能力不足;其次是形式单一,主要以课堂教学为主,完全忽视了数据分析的实践性,教学效果不好;再次是教学所用软件平台薄弱,多数使用SPSS,极少数专业学习SAS,对于在学术界和业界非常流行R语言、python等平台则少有涉及。因此,合理设计数据分析类型课程,提高经济管理类研究生在数据分析方面的理论水平与实践能力,是广大财经类高校不得不面对的迫切问题。本文讲就财经类高校数据分析类课程的特点、建设思路和建设方案,结合笔者在教学实践中的一些心得谈一谈自己的看法。
二、财经类高校数据分析课程的特征
数据分析的目的就是从数据中提取有价值的信息,进而形成知识。因此在绝大多数专业领域均有大量的数据分析需求,对人才的数据分析能力均有较高的需求。从财经类高校的专业分布看,可以把对数据分析能力的需求分成三个不同的类型。
第一类是以统计学院、信息学院(或类似学科的学院和专业)。这两类专业的教学主要突出理论性、基础性和方法性,立足于对学生的“数据视野”、“数据意识”和“数据能力”进行全面训练,使学生能够在毕业后在任意领域迅速承担起高级数据分析的任务。
第二类是经济学门类的相关学科。这类学科对于数据分析教学的要求偏重应用,即学生的“数据视野”、“数据意识”,但由于部分专业(如数量经济学)对数据分析能力要求较高,因此对于“数据能力”的培养也需要兼顾。
第三类是管理学门类的相关学科。当前的管理学实践离不开数据,对数据分析教学主要是应用层面的。要求学生具有良好的学生的“数据视野”和“数据意识”,而对于学生的“数据能力”的培养则并没有太高要求。
三、财经类高校数据分析课程建设的思路
基于上述分析,研究生数据分析课程建设应当采取分层设课的原则,基于不同的教学需求,设置不同的课程群。
对于上述第一类专业,需要在专业核心课程群的基础上,重点建设大数据相关课程。如分布式计算、非结构化数据分析、R语言、python语言等。在教学中,案例化教学和上机实操应当成为教学的主要形式,尤其软件类课程应当在机房进行,保证学生有足够时间熟悉操作并能随时与教师互动。
对于上述第二类专业,需要以一门基础课程为先导(如统计学导论),在配合若干专业课与软件课的组合,如计量经济学、时间序列分析、纵向数据分析与Eviews、SAS和R语言的配合。在教学时,理论与实操并重,在实操方面突出学生的软件使用能力训练,SPSS类型的软件不应当成为此类专业的主要数据分析平台(学生应当在学习专业课程时自主学习使用)。
对于上述第三类专业,可以考虑以一门数据分析课程为基础,配合合适的软件平台,同时在其他专业课程教学中突出各个课程的数据分析教学内容和实践环节,既可以基本达到教学目的。这类课程教学的重点在于对数据分析方法模型的理解,切忌死记硬背,同时辅以一定的案例和上机实操。在软件平台使用上,以SPSS这类拥有完善的GUI环境,所见即所得的平台为主,也可以使用R语言强大的图形能力作为演示工具,在演示的同时潜移默化地使学生了解R系统,进而为其进一步学习建立基层。
四、财经类高校数据分析课程建设方案――以R语言课程为例
在上述三类专业的数据分析课程建设中,R语言均扮演了重要角色。因此本部分将以R语言课程为例介绍建设方案。
(一)R语言的优势
R语言作为功能全面地数据分析平台,在国际学术界和业界得到了广泛的认同,是应用最普遍的数据分析软件之一。与其他统计分析平台(如SAS、SPSS、S-PLUS等)相比,R语言具有若干明显的优势:
第一,完全免费,完全开源。与SAS多达几十万元的价格相比,R语言是一个完全免费的平台,且功能同样强大。
第二,安装简便,更新迅速,功能完善。R语言的安装对于硬件的需求很低,且拥有Windows、Mac、Linux等多个平台的版本。并且R通过其大量的程序包实现了功能的扩展,用户总是能通过下载功能包获得最新的分析模块。
第三,R语言是被国际学术界广泛认可,绝大多数国际知名高校都将R作为基本的教学和科研工具。
第四,R语言既是编程语言,又是高度功能化的数据分析平台,同时具有编程语言的灵活性和功能化数据分析软件的易用性。
(二)开展研究生R语言教学的必要性
首先,作为一种编程语言,R语言的教学可以训练学生抽象思维、逻辑思维能力,同时作为一种数据分析平台,R语言可以训练学生数据分析模型的应用能力和实际操作能力,这一功能是其他非语言类软件系统无法实现的。
其次,在研究生教学中开设R语言课程,可以极大提升学生在求职就业、考博和出国深造方面的竞争力。由于R语言在国内外学术界和业界有着巨大的影响,因此熟练掌握R语言无疑会使我们的研究生更加具备竞争力。
(三)研究生R语言教学的现状及改革的迫切性
从当前的教学现状来看,R语言仅仅是少数专业才有的课程。但是基于本人这几年的教学和指导研究生的经验来看,当前我国财经类高校研究生的动手能力较弱。其根本原因之一是缺少数据分析能力的训练。若要在不过分增加研究生课程量的前提下迅速提高研究生这方面能力,R语言这种将抽象思维、逻辑思维、数据分析模型和数据分析实操紧密集合的平台是最好的选择。
(四)R语言教学的内容划分
R语言集合了计算机语言与数据分析系统的特点,既能像SPSS那样通过简单操作即得到结果,又能够项C语言那样进行新功能的开发,尤其是其强大的图形能力,更为数据分析人员提供了强大的数据可视化平台。为了能够为学生全面地讲授上述内容,需要对课时进行合理分配,辅以合理的教学模式和考核模式。下面本文将以48学时的研究生课程为例,介绍R语言课程的基本内容和结构。
1.教学内容和学时分配
第一部分,R语言简介(2学时),介绍R语言的历史、基本操作环境、相关网站、系统本身和软件包的安装方法以及参考书籍等。
第二部分,R语言的数据结构(12学时),介绍向量、因子、索引、数组和矩阵、数据框、列表等概念和相关算法。这部分是后面教学的基础,同时也是R语言区别于其他编程语言的重要方面,在教学时要突出对因子、索引(以及利用索引实现筛选等功能)、数据框等数据结构与数据分析的关系的介绍。
第三部分,R语言的编程结构(12学时),介绍成组、选择和循环三种结构。在这部分教学中,重点在不能按照传统程序设计语言的模式进行教学,要突出数据分析的特征,可以考虑使用R语言自己编制景点统计方法的代码,如最小二乘法、距离判别、快速聚类等。
第四部分,R语言的绘图功能(12学时),介绍高级绘图语句、低级绘图语句、交互绘图语句以及ggplot2软件包等。绘图是R语言的优势,允许使用者自由的定义图形,尤其是ggplot2软件包的出现,更是将R的绘图功能推上了新的高度。这部分不但是上述第一类、第二类专业研究生所需要掌握的内容,也是第三类专业研究生应当了解的内容。
第五部分,R语言的基本统计功能(10学时),经过前述四个部分的教学,学生已经对R语言具有了较为深入的了解,并应该具有独立编制代码的能力。在此基础上,可以进行本部分的教学,即对于使用R语言实现诸如回归分析、多元统计分析、时间序列分析的方法进行介绍。由于这一部分功能均有对应的软件包和函数,因此在软件操作方面非常简单,如果跳过前面几个步骤直接进行这部分的教学会使学生对R语言一知半解,缺少对R语言核心知识的理解。
2.教学及考核方式
由于R语言是一个操作性非常强的语言平台,传统的课堂教学+上机的教学模式会使得理论与实践脱节。因此建议该课程全程在机房进行,这种教学方法的优势有三个方面:
第一,教师讲解更到位。编程类课程重要的是思考过程而不是结果,因此传统的课堂上听讲,上机课练习的模式会使得思考过程与结果脱节。而在机房上课则可以使学生跟随教师的讲解随时练习和实验,使得教学效果更好。
第二,师生互动更容易。学习编程的过程就是不断试错的过程,学生需要不断地从发现错误――解决错误的过程中提高能力,而在这个过程中教师与学生的互动非常重要。
第三,课堂练习更直接。课堂练习在学习编程过程中具有非常高的重要性,传统授课模式下,无法做到当天的学习内容当天联系,是知识技能的掌握不牢,效率低下。
在考核方面,建议采取开卷上机考核的方式。由于R语言的教学具有极大的实践性,因此“会用”才是最终的目的。同时,由于R语言极强的可扩充性,因此单纯地考查学生对于R语言中一些功能代码的记忆没有任何意义,采取开卷的方式,重点考查学生解决数据分析问题的能力的上级考试才能够实现对学生R语言学习水平的测度目的。
五、结论
当今社会已进入大数据时代,任何财经类专业人才的培养脱离了数据分析类教学内容都是不能适应社会需求的。而数据分析课程的理论与实践并重的特点,要求在教学过程中既重视数据分析理论模型的讲解,又重视数据分析平台的训练。只有这样,才能使得财经类人才的培养跟上市场对于人才需求内容的转变,培养出符合市场需要的人才。
参考文献:
引言
目前人类每年产生的数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别,随着数据量的急剧增长,大数据时代已经到来。
随着计算机处理技术和云计算的迅速发展,人们处理大规模复杂数据的能力日益增强,从大规模数据中提取有价值信息的能力日益提高。经营管理、工业生产等数据都可以直接从互联网中提取并存储到服务器中,然后进行数据挖掘和分析,对于提高企业经营管理水平,进行生产过程控制,提高生产效率发挥着巨大的作用。
数据是德国工业4.0五大特色之一。数据是信息化时代重要的生产要素,数据生产信息,信息改善决策,进而提高生产力。可以预测,未来数据积累量、数据分析能力、数据驱动业务的能力将是决定企业价值的最主要因素,是评价企业价值的核心。
一、大数据时代的数据分析
1.大数据
大数据是维克托?迈尔-舍恩伯格在2008年的著作《大数据时代》中提出的概念。维基百科给出的定义是,大数据指所涉及的资料规模巨大,无法通过目前常规软件工具,在合理时间内达到撷取、管理、处理、整理成为有用信息的数据集合。
大数据的主要特征为大量性(Volume)、多样性(Variety)、高速性(Velocity)、价值性(Value)。
(1)大量性。是指大数据的数据量巨大。在大数据时代,个人电脑、手机、平板电脑等网络工具的使用和高度发达的网络技术的普及,数据资料的来源范围在不断拓展,数据的计量单位从PB到EB到ZB,数据量增长发生了质的飞跃。
(2)多样性。是指数据类型繁多。大数据不仅包括传统的以文本资料为主的结构化数据,还包括信息化时代所有的文本、图片、音频、视频等半结构数据和非结构化数据,且以半结构化和非结构化数据为主。
(3)高速性。指大数据处理时效性高。大数据产生速度快,有价值信息存在时间短,时效性强,在海量的数据面前,处理数据的效率关乎数据是否有使用价值,因此,能迅速有效的提取大量复杂数据中的有价值信息显得非常重要。
(4)价值性。指大数据价值巨大,但价值密度低。大数据中存在反映人们生产、生活、商业等各方面极具价值的信息,但由于大数据规模巨大,数据时时刻刻都在更新变化,这些有价值的信息可能转瞬即逝。因此,如何通过强大的机器算法迅速高效地完成数据的价值“提纯”成为大数据时代亟需解决的难题。
2.大数据时代
大数据时代是指在大量数据信息基础上所形成的新型信息时代,是建立在通过互联网、物联网等现代网络渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和展示,促进数据发挥价值的信息时代。大数据时代,数据分析过程中数据的管理和应用效率得到提高,人们几乎能够从任何数据中获得可转换为推动人们生活方式变化的有价值的知识。大数据时代的发展会促进众多领域和行业进行变革,会对人们未来生活产生深刻的影响。
3.数据分析
数据分析是指用合适的统计方法及与分析对象有关的知识,定量与定性相结合,对收集到的大量数据进行分析的过程,是为了提取有用信息和形成结论而对大量数据进行详细研究和概括总结的过程。数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息挖掘和提炼出来,进而总结出研究对象的内在规律。
数据分析在企业经营管理中具有重要意义。企业通过统计调查、整理获得的统计资料能够对客观对象的数据特征取得一定的认识,但只是停留在表面的初步认识。通过数据分析,挖掘数据背后隐藏的信息,总结隐藏在其中的内在规律,掌握事物的本质及内在的发展规律,将其应用到实际的经营管理中,可以帮助管理者进行合理的决策管理,并且及时调整企业的运营发展策略,使企业的各项管理工作不断改善和提高。
目前常用的数据分析方法有:
老七种工具,即排列图、因果图、分层法、调查表、散步图、直方图、控制图;
新七种工具,即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。
4.大数据时代的数据分析
从大数据中挖掘隐藏的有价值信息的关键在于对数据进行正确的数据分析,数据分析是大数据处理流程的核心。大数据的价值产生于分析过程,从规模巨大的数据中挖掘有价值信息所进行的分析过程就是大数据分析。
大数据分析和传统数据分析最重要的区别在于数据量。数据量的急剧增长及大数据的特征,决定了数据的存储、查询以及分析的难度增加,对数据处理技术的要求迅速提高。大数据分析建立在海量原始数据基础上,不需要预先设定研究目的和方法,而要从大量数据中通过数据挖掘技术找到数据之间的关系并建立模型,寻找导致现实情况的根源因素,甚至形成理论和新的认知,在此基础上对未来进行预测和优化,以实现社会运行中各个领域的持续改善与创新。
传统的数据分析是“向后分析”,分析的是已经发生的情况。而在大数据时代,数据分析是“向前分析”,具有预测性。传统的数据分析主要针对结构化数据,具备一整套行之有效且?V泛使用的分析体系:利用数据库存储结构化数据构建数据仓库构建数据立方体进行分析。对于从大数据中提炼更深层次更有价值的信息的需要促使数据挖掘技术的产生,并发明了聚类、关联分析、分类、回归分析、估计、预测、描述和可视化等一系列行之有效的方法。同时大数据的到来使得在线数据分析成为可能,如Web页挖掘、OLAP等。数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识,用于指导以后的行动。
二、大数据分析在企业经营管理中的意义
在企业的经营管理过程中,数据是关键且核心的因素,在关键环节进行科学的数据分析,对于提升企业的经营管理能力具有十分重要的意义与作用。
首先,对企业情况进行完整客观的反映。在收集企业全面数据报表、调查资料的基础上,利用数据分析工具进行严谨的分析,形成科学规范的数据分析报告,能发现数据背后的信息,便于理解、阅读和利用,为企业发展决策提供参考。
其次,对企业运营情况进行有效监督。监督是数据分析在企业经营管理中的一项十分重要的功能。对企业经营管理过程中所产生的数据进行监督具有十分重要的作用。在对企业数据、资料进行收集整理的过程中,能够相对较为全面、如实地知晓行业动态及本企业运行发展状况,能够对企业的相关活动产生的效果进行了解,比如企业方针政策实行与否、经营计划落实情况、经济指标完成情况等,从而进行行业对比和横向、纵向对比分析,以帮助企业良性发展。
第三,参与科学化决策。对收集整理到的数据资料有针对性的进行深层次地研究、分析,挖掘出数据资料潜在的实质涵义,促使企业管理者及相关部门能够更为完整客观地了解企业发展现状及发展方向,从而能够更有针对性地进行企业决策,计划制定,起到数据分析在企业经营管理中的参与科学化决策的作用。数据驱动型决策是大数据时代决策的特点:尽可能全面、完整综合地收集数据,在此基础上使用恰当的统计方法进行建模和分析,挖掘出数据背后的关系,预测事件发生的概率。企业利用大数据和数据分析进行决策时,首先要提高对数据的重视程度,转变思维模式,在遇到重大决策时,先进行数据收集、分析,再进行决策。其次,要重视普通员工日常积累的数据。员工在完成日常工作的同时,积累了大量最基础数据资料,企业将所有日常的数据加以整合分析,可以在决策时起到关键重要的作用。再次是建立数据辅助决策的流程和模板,建立基于决策任务的决策知识的收集、创造、共享、传递和激励机制。
三、大数据分析在工业生产过程中的应用探讨
随着信息化的推进,数据已经成为一种重要的资源。未来大数据和数据分析将在工业生产全过程中进行应用,将大力提升企业内部运营管理效率,提升企业竞争力,同?r提升制造过程中的智能化。
信息技术随着信息化与工业化的深度融合,已经渗透到了工业企业产业链的各个环节,ERP、MES等技术在工业企业中得到广泛应用。工业企业中生产线高速运转,工业设备产生大量数据,工业领域所拥有的数据日益丰富。基于大数据分析平台,对这些数据进行分析,总结经验、发现规律、预测趋势、辅助决策,充分释放和利用海量数据资源中蕴藏的巨大价值,优化公司运营结构,精准决策,降低成本,提高效率。
大数据和数据分析的应用将给工业企业带来创新和变革的新时代。信息化和工业化的深入融合,给工业领域带来深刻的变革,通过互联网、物联网等带来的低成本感知、高速移动链接、分布式计算和高级分析,给工业发展带来了更快的速度、更高的效率和更高的洞察力。大数据分析在工业领域的应用主要包括产品创新、生产流程优化、产品质量管理、生产计划制定、产品定价、产品生命周期管理、库存管理、供应商管理等各个方面。
1.产品创新。客户与工业企业之间的交易产生大量的行为动态数据,同时对产品的使用情况跟踪记录,产生产品使用动态数据,对这些数据进行挖掘和分析,将分析结果使用到产品改进设计、创新等活动中,相当于让客户参与到产品的需求分析和产品设计等创新活动中,对产品创新具有不可估量的贡献。
2.生产流程优化。现代化的工业制造生产线安装有数以千计的小型传感器,在生产的全过程中可以探测温度、压力、振动和噪声等。整个生产流程将产生大量数据,对这些数据从不同角度进行挖掘分析、比如设备诊断、能耗分析、工艺分析等。在此基础上,对生产过程建立虚拟模型,仿真并优化改进生产流程,提高设备使用率、降低能耗、减少质量事故发生几率,优化工艺等,从而提高生产效率。
3.进行质量分析,提高质量管理水平。高度自动化的设备在加工产品的同时记录了庞大的检测结果。利用检测结果进行质量分析,可以提高质量管理水平。在产品的整个寿命周期,包括从市场调研到售后服务等的各个过程中适当运用数据分析过程,可以提高质量管理的有效性。例如QC工具在工业企业的应用。QC指质量控制。针对工业生产全过程特定的工作失误或品质不良运用QC工具展开分析讨论,并将结果可视化显示在大家容易看到的地方,提醒大家,防止再次发生同样的问题,同时谁有新的建议可以随时提出,大家一起讨论修订。
六西格玛也是目前企业质量管理中运用比较广泛的工具,它是一种用于改善企业质量流程管理的技术,它以“零缺陷”的完美追求,带动质量成本的大幅度降低。质量分析工具在广泛使用,可以提高产品质量,从而最终实现财务成本的降低,同时实现企业竞争力的突破。
4.产品故障诊断与预测。无处不在的传感器、互联网技术的利用,使得产品故障诊断实时进行,提高了产品故障诊断的及时性。利用数据挖掘与分析技术,对记录的数据进行建模与仿真,可以对产品故障实行动态预测。
5.生产计划的科学制定。生产环节的大数据具有很大的利用价值,对其进行挖掘与分析,对计划制定具有指导意义。通过对计划与完成的对比分析,发现计划与实际完成的偏差,在考虑产能约束、人员技能、物料供应、工装模具等生产资源的基础上,通过智能的优化算法,建立计划制定模型,从而制定更加科学合理的生产计划。
6.进行科学合理的产品定价。产品定价的合理性需要有详细的基础数据和试验数据作为支撑。一方面能够获取更加详细的微观数据信息,使产品成品的分析更加科学精确。另一方面可以研究客户对产品定价的敏感度。通过这些数据分析,为产品定价提供决策参考。
7.实现产品生命周期管理。随着物联网的发展,条形码、二维码、RFID等能够唯一标示产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术能将产品生命周期的信息进行实时采集和分析,这些数据能够帮助企业在供应链的各个环节跟踪产品,收集产品使用信息,从而实现产品生命周期的管理。这些数据还可以用于售后服务,提高售后服务质量,从而提高产品竞争力。
8.库存管理。信息化高度发达,可以获取工业企业各方面的信息。库存信息将完全展现在管理者面前,通过数据分析和挖掘,可以准确知道产品原材料和产成品库存量。根据原材料库存量和生产计划确定原材料需求量,在此基础上进行采购,可以保证产品生产需求,有最大限度地减少了资源浪费。
9.完善供应商管理,实现准时化采购。在对原材料大量数据挖掘和分析的基础上,可以选择最合适的供应商,保证原材料质量和准时供应,产品质量得到有效控制,同时降低库存成本,增加了制造的敏捷性与柔性。
【关键词】大数据;大数据营销;京东
一、数据分析时代演变历程
(一)数据1.0时代
数据分析出现在新的计算技术实现以后,分析1.0时代又称为商业智能时代。它通过客观分析和深入理解商业现象,取缔在决策中仅凭直觉和过时的市场调研报告,帮助管理者理性化和最大化依据事实作出决策。首次在计算机的帮助下将生产、客户交互、市场等数据录入数据库并且整合分析。但是由于发展的局限性对数据的使用更多的是准备数据,很少时间用在分析数据上。
(二)数据2.0时代
2.0时代开始于2005年,与分析1.0要求的公司能力不同,新时达要求数量分析师具备超强的分析数据能力,数据也不是只来源于公司内部,更多的来自公司外部、互联网、传感器和各种公开的数据。比如领英公司,充分运用数据分析抢占先机,开发出令人印象深刻的数据服务。
(三)数据3.0时代
又称为富化数据的产品时代。分析3.0时代来临的标准是各行业大公司纷纷介入。公司可以很好的分析数据,指导合适的商业决策。但是必须承认,随着数据的越来越大,更新速度越来越快,在带来发展机遇的同时,也带来诸多挑战。如何商业化地利用这次变革是亟待面对的课题。
二、大数据营销的本质
随着顾客主导逻辑时代的到来以及互联网电商等多渠道购物方式的出现,顾客角色和需求发生了转变,世界正在被感知化、互联化和智能化。大数据时代的到来,个人的行为不仅能够被量化搜集、预测,而且顾客的个人观点很可能改变商业世界和社会的运行。由此,一个个性化顾客主导商业需求的时代已然到来,大数据冲击下,市场营销引领的企业变革初见端倪。
(一)大数据时代消费者成为市场营销的主宰者
传统的市场营销过程是通过市场调研,采集目前市场的信息帮助企业研发、生产、营销和推广。但是在大数据以及社会化媒体盛行的今天,这种营销模式便黯然失色。今天的消费者已然成为了市场营销的主宰者,他们会主动搜寻商品信息,货比三家,严格筛选。他们由之前的注重使用价值到更加注重消费整个过程中的体验价值和情境价值。甚至企业品牌形象的塑造也不再是企业单一宣传,虚拟社区以及购物网站等的口碑开始影响消费者的购买行为。更有甚者,消费者通过在社交媒体等渠道表达个人的需求已经成为影响企业产品设计、研发、生产和销售的重要因素。
(二)大数据时代企业精准营销成为可能
在大数据时代下,技术的发展大大超过了企业的想象。搜集非结构化的信息已经成为一种可能,大数据不单单仅能了解细分市场的可能,更通过真正个性化洞察精确到每个顾客。通过数据的挖掘和深入分析,企业可以掌握有价值的信息帮助企业发现顾客思维模式、消费行为模式。尤其在今天顾客为了彰显个性,有着独特的消费倾向。相对于忠诚于某个品牌,顾客更忠诚与给自己的定位。如果企业的品牌不能最大化地实现客户价值,那么即使是再惠顾也难以保证顾客的持续性。并且,企业不能奢望对顾客进行归类,因为每个顾客的需求都有差别。正是如此,大数据分析才能更好地把握顾客的消费行为和偏好,为企业精准营销出谋划策。
(三)大数据时代企业营销理念———“充分以顾客为中心创造价值”
传统的营销和战略的观点认为,大规模生产意味着标准化生产方式,无个性化可言。定制化生产意味着个性化生产,但是只是小规模定制。说到底,大规模生产与定制化无法结合。但是在今天,大数据分析的营销和销售解决的是大规模生产和顾客个性化需求之间的矛盾。使大企业拥有传统小便利店的一对一顾客关系管理,以即时工具和个性化推荐使得大企业实现与顾客的实时沟通等。
三、基于数据营销案例研究
———京东京东是最大的自营式电商企业。其中的京东商城,涵盖服装、化妆品、日用品、生鲜、电脑数码等多个品类。在整个手机零售商行业里,京东无论是在销售额还是销售量都占到市场份额一半的规模。之所以占据这样的优势地位,得益于大数据的应用,即京东的JDPhone的计划。JDPhone计划是依据京东的大数据和综合服务的能力,以用户为中心整合产业链的优质资源并联合厂商打造用户期待的产品和服务体验。京东在销售的过程中,通过对大数据的分析,内部研究出一种称为产品画像的模型。这个模型通过综合在京东网站购物消费者的信息,例如:年龄、性别、喜好等类别的信息,然后进行深入分析。根据分析结果结合不同的消费者便有诸如线上的程序化购买、精准的点击等营销手段,有效的帮助京东实现精准的营销推送。不仅如此,通过对于后续用户购物完成的售后数据分析,精确的分析商品的不足之处或者消费者的直接需求。数据3.0时代的一个特征便是企业不在单纯的在企业内部分析数据,而是共享实现价值共创。所以,京东把这些数据用于与上游供应商进行定期的交流,间接促进生产厂商与消费者沟通,了解市场的需求,指导下一次产品的市场定位。总的来说,这个计划是通过京东销售和售后环节的大数据分析,一方面指导自身精准营销,另一方面,影响供应商产品定位和企业规划,最终为消费者提供满足他们需求的个性化产品。
四、大数据营销的策略分析
(一)数据分析要树立以人为本的思维
“以人为本”体现在两个方面,一方面是数据分析以客户为本,切实分析客户的需求,用数据分析指导下一次的产品设计、生产和市场营销。另一方面,以人为本体现在对用户数据的保密性和合理化应用。切实维护好大数据和互联网背景下隐私保护的问题,使得信息技术良性发展。
(二)正确处理海量数据与核心数据的矛盾
大数据具有数据量大、类型繁多、价值密度低和速度快时效高的特点。所以在众多海量的数据中,只有反映消费者行为和市场需求的信息才是企业所需要的。不必要的数据分析只会影响企业做出时代Time2017年第04期中旬刊(总第657期)正确的决策。鉴于此,首先企业需要明确核心数据的标准;其次企业要及时进行核心数据的归档;最后要有专业的数据分析专业队数据进行分析,得出科学合理的结果以指导实践。
(三)整合价值链以共享数据的方式实现价值创造