当前位置: 首页 精选范文 大数据时代分析范文

大数据时代分析精选(十四篇)

发布时间:2024-01-17 14:41:54

序言:作为思想的载体和知识的探索者,写作是一种独特的艺术,我们为您准备了不同风格的14篇大数据时代分析,期待它们能激发您的灵感。

大数据时代分析

篇1

摘要:随着大数据时代的来临,企业的财务分析活动也出现了一系列变化。而财务数据分析作为企业财务分析的重要组成部分之一,其分析结果的准确度直接影响着财务管理水平。在大数据时代,财务分析等同于大数据分析。本文主要研究了财务分析与大数据时代的关系,并阐述了财务分析未来的发展方向。

关键词 :大数据财务数据财务分析资产

1 概述

财务分析最早起源于二十世纪,至今已有一百多年的发展历史,并初步形成了相应的分析管理体制。财务分析具有很强的时效性,其分析内容应随着经济环境的发展变化而及时改变。随着知识经济时代的到来,大数据被广泛地应用至各个领域,如保险、医疗、信息、航空航天等行业,并取得了良好成效。在财务分析中,大数据技术以其大量化、多样化、快速化优势受到了财务管理人员的一致好评,一方面它极大地提升了财务数据分析和处理的能力;另一方面还提高了财务管理的质量和水平。

2 财务分析与大数据时代

在西方,财务分析已经产生发展了近一百年的时间。但在我国,财务分析只有近十年的历史,各方面还有待进一步改进和完善。自我国改革开放以来,财务分析已受到越来越多企业利益相关者的重视,许多会计专业的相关学科也都增加了财务分析的模块。

所谓财务分析,就是指按照一定的专业方法对会计核算资料和报表资料等进行分析,从而准确评价和考察其经营活动、投资活动、分配活动、盈利能力、偿债能力等的财务活动。财务分析可以为企业的投资和经营发展提供良好依据,使其投资人、经理人、债权人等更好地了解企业的发展历史,并预测其未来发展方向,从而做出科学的决策。

会计技术是制定财务报表的基础和前提,财务报表则是财务分析的基础。管理者可以通过财务分析了解和掌握企业的运营状况,进而制定行之有效的管理制度和政策。财务分析的最终目标是使财务管理人员了解过去的经营业绩和当前的财务管理水平,从而进行科学决策,推动其财务管理的可持续发展。因此,会计技术的发展影响和决定着财务分析的产生与发展。这是一个信息化的时代,云平台如火如荼的进行,大数据概念又横空出世。与云类似,大数据起始于信息化,繁兴于物联网以及社交网络等,因此也带有很浓的互联网口味的技术“迷失在太空”的经历。互联网时代,企业注定是要遭遇一场“数据大爆炸”,尤其是大型公司和互联网公司在经营过程中产生大量的、各种各样的数据,数据量越来越大、数据类型越来越复杂、数据增长速度越来越快。概括来说,大数据除了具有庞大的特点以外,数据变化速度快,种类繁多,较高的准确性也是其主要特征。伴随微博、微信等网络媒体的快速发展,及媒体时代的来临,互联网中无时不刻都在产生大量数据,大数据时代来临已经成为了不可逆转的趋势。这给传统的数据仓库数据处理和分析技术都提出了巨大挑战。

最早提出“大数据”时代到来的是全球著名咨询公司麦肯锡。究出其本质,大数据与其说是一门技术,不如说是新环境下海量数据价值发挥的方法之一。传统企业的财务分析可利用这种方法,去进一步发挥作用。大数据,或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、整理成为帮助企业经营决策更积极目的的资讯。在《大数据时代》中大数据指不用随机分析法这样的捷径,而采用所有数据进行分析处理。大数据的4V 特点:大量、高速、多样、价值。

“大数据”在物理学、生物学等领域以及金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算之后IT 行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是最终有价值的资产。一个文化系统可以分为制度、技术和观念三个层面。文化系统的发展经历了制度主导和技术主导两个时期,如今世界正在走向观念主导的新时期发展,各民族文化通过互联网正在不断融合,从文字、服饰到生活方式,民族之间的区别正在逐步变小,在大街上,坐在饭馆里,已经不能很快分辨出不同的民族。大数据时代,需要继续保持传统文化的独立性,就是要让我们的社会和数据打上文化的烙印,要建立属于我们的数据体系系统。

目前,大数据的应用已经渗透至我们生活的方方面面。例如每天,阿里巴巴网站上都会进行大量交易,并产生大量数据。而阿里巴巴可以通过分析商户近100 天内的交易数据和管理信息就可以判断出商户是否存在资金和管理问题,并分析其交易风险系数。一旦做出科学判断,阿里巴巴就会正式启动其贷款平台模式,并积极与可能会有贷款需求的商户进行交流与沟通,并向其介绍阿里巴巴的具体贷款产品,综合分析其贷款倾向。又如,随着微信的兴起和发展,人们的学习生活方式也发生了相应的改变。据统计,每天都有超过几亿人使用微信进行交流互动,通过其记录心情和生活。每天人们都会在微信平台上分享图片、文字、声音、视频等,这就使得平台上充斥着大量的大数据。再如某综合类网站的编辑每天都要考核网站的访问量,并密切关注热点新闻。受此影响,在日常生活中该网站编辑逐渐养成了搜索新闻和风云榜的习惯,并找出一些新颖的新闻内容进行编辑整理并及时至网站上,以提高其点击率。常见的搜索引擎,如百度、谷搜狗等每天都会录入海量词汇,并进行对比分析,选出一部分网民可能感兴趣的词汇进行整理,以更好地满足网民的搜索需要。

以上都是当下大数据的应用,随着大数据的发展和进步,它会在不久的将来得到应用。

一项针对大型跨国公司高管进行的调查结果显示,目前企业中约有超过三分之二的管理人员肯定数据的价值和作用,并将其视作企业发展的无形资产,要求企业妥善利用。这就显示了,在大数据时代企业越来越认识到数据本身价值和从数据中得到价值二者之间的差异,要求进一步深化财务管理体制改革,积极运用各项信息化手段进行财务管理,不断提升其数据分析和处理能力,以更好地适应信息时代的企业财务管理需求,从而有效地增加其竞争优势。数据的分析和利用受各方面因素的影响较大,其分析难度较大,且过程较为复杂。因此,企业必须充分利用手头现有资源加强财务数据管理,不断提升其数据处理和分析能力,保证数据价值的充分发挥,实现其决策的科学化和信息化。

举个例子,保险公司的汽车险,员工可以通过搜罗数据,得到车主的驾车习惯是否良好,驾车时间和路段是否安全,停车的车库的环境等数据,进而降低驾车风险低的车主的保险费用,提高风险高的车主的保险费用,这样便从一定程度上增加了保险公司的收益,保证保险公司的利益。销售公司可以从客户的家庭水电费,煤气燃气费的消费情况,使用的手机,电脑,车子的型号,以及经常出没的餐厅,娱乐场所等信息收集,从而更加了解客户的生活水平,以便日后推广什么水平程度的产品。

要想更好地提升企业的财务管理能力,企业就必须进一步明确财务分析和大数据的关系,统筹兼顾,实现资源的优化配置。众所周知,财务数据是企业最基本的数据之一,其积累量较大,其分析结果直接影响着企业财务管理的最终质量。因此,企业在进行决策分析时,必须坚持客观公正原则,以财务数据为基础,制定明确的分析指标和依据,以保证企业财务管理的平稳推进和运行。

在进行财务分析时,财务管理人员首先应该查找和翻阅当期的管理费用明细,并将其与前一阶段的数据进行对比,找出二者的主要差异,从而找出管理费用的变化规律,最终得出变化原因。在进行原因分析时,财务管理人员可以建立一个多维度的核算项目模型,并在模型中做好变化标记。在整个分析过程中,财务人员往往要花费大量时间用于管理费用核算与验证,同时查找相关资料。在财务软件中,上述系列动作要切换不同的界面。而如果利用大数据技术,只要通过鼠标的拖拽,就可以在短短几秒钟内分析出所有管理费用明细发生在每个部门的情况。

对于企业的决策者而言,通过对财务信息的加工、搜集和深度分析,可以获得有价值信息,促使决策更加科学合理。

3 小结

随着我国社会主义市场经济体制的不断发展完善,大数据技术改善财务管理前景广阔。纵观目前的大数据提供商,主流商务软件厂商都在通过自主研发或收购的方式进入大数据的领域。数据属性的标签是人类经验判断的数据,是数据后的数据。例如,你要为一件物品打标签时,其实就已动用了你的经验数据分析,并进行了归纳总结,结合现下的环境给出了判断。若没有考虑环境影响及准确性的评估,这种经验和直觉的判断是不稳定又难以解释的。但从数据收集的角度去看,数据属性标签又是一个潜力很大的数据。在数据属性管理上,对于用户来说,每个人身上贴的标签是多种多样的,但对于企业来说,如何用一个点去将之串联,如何将这些标签归一,又如何把这些点连接起来去描述这个用户,才是核心问题。

参考文献:

[1]陈友邦,张先治.财务分析[M].东北财经大学出版社,2007.

篇2

但是,大数据到底离我们有多远,是不是只有决策者才需要大数据,或者说大数据只是为决策者服务的?答案显然是否定的,在这个大数据时代,我们每个人都是大数据的创造者,每个人也都是大数据分析福利的享用者。

随着互联网+,工业4.0等概念的提出,我们更要认清,国家正在加大力度让传统政府信息化;大数据使我们的生活更加舒适,也使我们的行为更加透明化。

名家定义大数据

Gartner:"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据科学家John Rauser:大数据就是任何超过了一台计算机处理能力的庞大数据量。

分析师布赖恩·霍普金斯和鲍里斯·埃韦尔松提出大数据的4项典型特征:海量( Volume )、多样性( Variety )、高速( Velocity )和易变性( Variability )。

定义大数据

《互联网周刊》:"大数据"的概念是涵盖了人们在大规模数据的基础上可以做的事情,而这些事情在小规模数据的基础上是无法实现的。

著名咨询公司麦肯锡:大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。但它同时强调,并不是说一定要超过特定TB值的数据集才能算是大数据。

如果您听不惯名家定义的大数据,请随我来看看,生活中大数据在哪里?它是否真的像传说中的那么神奇?

大数据故事:啤酒与尿布

生活中,处处体现着大数据

"啤酒与尿布"的故事产生于20世纪90年代的美国沃尔玛超市中,沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象:在某些特定的情况下,"啤酒"与"尿布"两件看上去毫无关系的商品会经常出现在同一个购物篮中。

"啤酒"和"尿布"两个看上去没有关系的商品摆放在一起进行销售、并获得了很好的销售收益,这种现象就是卖场中商品之间的关联性,研究"啤酒与尿布"关联的方法就是购物篮分析(market basket analysis)。

商品相关性分析是购物篮分析中最重要的部分,目前,购物篮分析的计算方法都很成熟,在进入20世纪90年代后,很多分析软件均将一些成熟的购物篮分析算法打包在自己的软件产品中,成为了软件产品的组成部分。由此可见,大数据其实体现在生活的每一个角落。

啤酒与尿布,看似风马牛不相及的商品,经过大数据的分析,得出了惊人的结论,通过这个发现,我们可以制定与之对应的策略,提高超市业绩,也发现了荒谬背后的逻辑。

大数据故事:纸牌屋

《纸牌屋》这部火遍了全中国的,讲述一名美国白宫内的政客,如何不择手段的向上攀爬,竞选成为美国总统电视剧,究竟是如何取得巨大成功,它又与大数据擦出了什么样的火花呢?

纸牌屋

据外国媒体报道毫无疑问,《纸牌屋》是"大数据"出来的。据称,该部电视剧,运用所有收集的大数据,制作了一部观众最想看的电视剧。"比你自己还要了解你"就是美国视频公司Netflix做的事。

用户只要登录Netflix,其每一次点击、播放、暂停、喜欢哪个桥段、哪里用户喜欢转发甚至看了几分钟就关闭视频,都会被作为数据进入后台分析。

每天用户在Netflix上产生3000万多个行为,Netflix的订阅用户每天还会给出400万个评分,还会有300万次搜索请求,询问剧集播放时间和设备。这样一来,就能精确定位观众的偏好,利用大数据定制《纸牌屋》。

大数据故事:保护早产婴

医疗信息化离不开大数据的支持

有数据显示,随着社会不断的发展,社会结构不断变化,产妇的产龄呈上升趋势,导致早产婴儿数量正在上升。在加拿大多伦多的一家医院,针对早产婴儿,每秒钟有超过3000次的数据读取。通过这些数据分析,医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施,避免早产婴儿夭折。

随着医疗信息化的深入发展,医院业务数据呈爆炸式增长,几乎可以纳入大数据范畴。医疗信息化必然会拥抱大数据,医疗行业本身就是具有大数据特性的行业。

大数据故事:灌篮分析

篮球大数据量化分析

专业篮球队会通过搜集大量数据来分析赛事情况,然而他们还在为这些数据的整理和实际意义而发愁。通过分析这些数据,可否找到两三个制胜法宝,或者至少能保证球队获得高分,做到知己知彼?美国的Krossover公司正致力于此。

教练只需将比赛视频上传到网上,在24小时之内,就会有四名Krossover员工组成分析团队,该团队将会从运动员每一个动作中作出完整、细致的分析。

之后,教练只要进入该网站,就可以检查任何他想要的--数据统计、比赛中的个人表现、比赛反应等等。通过分析比赛视频,毫不夸张地分析所有的可量化的数据。队员们则可以在Krossover上把他们的一系列灌篮拼接在一个视频中,分享给亲朋好友。

智贵阳大数据

2015年4月14日,全国首个大数据交易所——贵阳大数据交易所正式挂牌运营并完成首批大数据交易。

贵阳国际大数据产业博览会

2015年5月26日,在贵阳国际会议展览中心,举办了2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会。首届数博会共吸引国内外专业观众6万余人次参观、参与,相关新闻网络点击量超过4.55亿人次。

首届数博会累计有35家企业与贵阳市达成合作意向,签约大数据产业相关项目近40个,投资金额超过200亿元。预示着,贵州初步形成大数据产业发展的生态环境。

7月15日,科技部正式批复:同意支持贵阳省开展"贵阳大数据产业技术创新试验区"建设试点。贵阳试验区将加强与北京等发达地区的区域合作,探索优势互补、共同发展的新路径。

由此可见,在"互联网+"背景下,我国的大数据平台建设正在如火如荼的进行。像上面的例子,数不胜数,大数据不仅融入我们的生活,更在为社会创造利益。

大数据故事:预测未来

举一个简单的例子,2013年年末,亚马逊获得了一项名为"预判发货"的专利,亚马逊未来可能会通过对用户行为数据的分析,预测顾客的购买行为,在顾客尚未下单之前提前发出包裹,从而最大程度地缩短物流时间。同时,亚马逊还会在运送途中向潜在顾客推荐该商品,从而提升判断精准度。

显然亚马逊运用的就是自己独有的庞大的用户群,以及用户此前的订单、用户的商品搜索记录、心愿单、购物车,甚至包括用户鼠标在某商品页面的停留时间的数据信息;这些数据信息汇集在一起,就能分析出用户目前的经济水平,生活状态甚至是用户可能会购买的商品。

篇3

关键词:大数据时代;信息处理技术

前言

在“大数据”的背景时代下,信息处理方面不断的创造了奇迹,这也会对未来计算机技术发展提供了有利的条件,在面对新时代的来临,需要不断的发展自身才能够跟上时代的步伐,信息处理技术也应该用于挑战面临的机遇,为大力发展计算机技术做好前期准备。

1.信息处理技术的概念

在企业的管理数据处理中,信息处理技术占据了重要地位。通过信息处理技术,使信息数据的输送、获取和检测、处理等技术有机结合在一起。信息处理技术将计算机技术、通信技术、网络技术、传感技术、微电子技术等科学技术融合在一起,在现代社会中用途很广泛。在现代化办公中,使用信息处理技术之后,不仅能够提高办公效率,还能有效利用高科技的办公设备,实现“人机结合”。信息处理技术的出现改变了传统的办公模式,对于办公模式的影响是极大的。

2.大数据时代的新机遇

2.1云计算受到热捧

在大数据时代中,云计算得以广泛普及,随着云服务的到来,这种趋势是很明显的。云计算整合了传递过来的数据,它拟定云平台,互通电子数据。借助于云平台即可上传信息、下载必要信息。在新的环境之下,云计算拓展了常规的范畴,提升服务性能,助推了更长久的自身进展。依循自主创新,云计算提升了日常流程的性能,增添了创新性。

2.2物联网的诞生

当今社会中的物联网将新路径的信息传递、计算机新技术、通信必备的新颖体系有机结合在一起。这是一项新型的产业,将信息处理应用于成熟的网络体系之中。物联网的外延有很多,比如地铁磁卡、医疗卡、电子钱包等。现在,传统的红包逐渐被电子红包取代了,人与人之间的沟通更加密切,这些都是物联网的优势所在。

2.3新颖的数据挖掘

在数据挖掘的过程中,人们收集大量的数据,分析数据并探寻数据的内在规律。从整体上来看,数据挖掘包括初始预备阶段、探求潜在规律、表达这三个阶段。数据挖掘添加了决策流程内的更多便利。遇有海量数据,同时缺失信息,即可求助于这样的数据挖掘。这是因为,很多企业配有的数据库仅仅可以录入数值、查验并且统计。但是,一般情况下,在搜集得出的数值之中,找到必备的提炼信息的难度是很大的,更不用说发现查找规律。在这种情形之下,就很难明晰深层的某一规律,无法表达规律。如果可以准确地分辨出信息之中的侧重点,那么就可以得到潜藏着的必备信息,这样更有利于企业做出正确的决策。

2.4方便企业拟定正确的决定

通过物联网,大规模的数据分析充分展开。通过解析流程,方便各个阶段的决定的拟定。举例而言,针对企业中的目标群体,分析员工习性、爱好兴趣。通过专门的解析,从而做出准确的决策。

3.大数据时代常见的信息处理技术

3.1信息收集、加工和传播技术

在信息处理的过程中,第一个步骤就是信息的收集。仅仅只有当信息被收集之后,才可进行大量数据进行存储、计算以及传播。在对目标数据源监控之后,把数据采集存放到结构化的数据库之中,以便信息服务系统提供输入,接下来是信息加工。信息加工的目的是对信息进行分类和加工处理。最后,信息进行传播,在信息传播的过程中,信息被收集和处理,并通过社会传播,最后提升了信息的价值。

3.2信息存储技术

信息存储技术是在需要调用相关数据时,可以直接调出使用的一种技术。该技术借助网络和介质实现数据的收集和存储。在大数据时代,数据的特征是容量大、变化迅速。只有在信息存储技术可以快捷的、长时间的、稳定地对相关数据进行存储的情况下,才可节省大量的人力、物力和财力。

3.3信息安全技g

大数据时代信息系统的特征是互联性较高。大数据时代的信息安全技术不再是对孤立的数据信息的处理,而是在基于信息系统整体进行的。信息安全技术为计算机网络带来了重要的发展机遇。与此同时,他也给计算机网络带来了巨大的威胁。所以,怎样提升信息安全?本人认为,可从下面三个角度出发来考虑。第一:打造更加可靠的信息安全体系。在这个过程中,要提高相关人员的技术水平。第二:增强大数据安全技术的研发力度。在大数据时代,以往的信息安全技术可能不再适应现代信息安全的情况。所以,应当加快大数据安全技术的研发,增加人力和物力、财力的投入。第三:对于重点信息加强监测。在大数据时代的大量的信息中,系统数据泄露随时可能发生。因此,有必要重视数据的安全性,加强重要数据信息的监测。毋庸置疑,大数据时代的信息技术的创造价值极大。在信息技术发展的未来,世界将会迎来越来越多的改变。

篇4

【关键词】大数据时代;数据分析理念

前言

国内外在信息技术领域突飞猛进,越来越多地运用信息技术,大规模的信息与数据信息借助移动互联设备、互联网、社交工具、云终端以及物联网等进行传递,人类业已步入到大数据时代,数据信息的大批量传递对各个组织的决策成本产生了较大影响。

一、大数据概述

1.大数据的定义。如今人们尚未就大数据的概念取得一致意见,主要存在着下列三种看法。首先,它指的是运用相关信息技术,分析、整合大量数据,并获得举足轻重的信息汇总成果,为用户提供相关资讯。其次,认为大数据指的是一台计算机,其处理能力比较强大。第三,它指的是在限定时间内拆解与分析数据中的相关信息,获取关键信息的信息处理技术。

2.特点。第一是具有鲜明的社会性。它能够汇集全部数据与信息,以互联网方式连接绝大多数领域,以信息劳动取代了传统的手工劳动,借助大数据处理技术创造更大的价值。第二是其运用范围非常广泛。大数据时代朝着纵深方向持续发展,信息技术业已对人们的生产生活产生了较大影响,在整理、储存、融合与处理大数据方面都出现了较大变化,推动了社会经济的快速发展。第三是大数据是公开的,在当前的大数据背景下,能够公开所汇总的信息与数据,将诸多领域交换以及运用这些信息。既能够确保数据用户的相关隐私,也可以为相关机构和组织更好地利用大数据环境的优势,满足人们在工作、生活以及学习领域的需求。第四,体现出强烈的动态性。人们可以从大数据处理的结果中得到关键性的信息,然而外部环境随时都可能会发生这样那样的变化,且任何时间都会形成诸多信息和数据,因此大数据时代具有强烈的动态性。

二、大数据时代下数据分析理念探究

1.挖掘数据价值的理念。以匹配广告为作为研究事例,重点涵盖了两种类型的数据,首先是广告库,它涵盖了广告库与相关广告的具体客户信息。这种方式适宜于运用在传统类型的数据库中。其次是顾客观看了广告后的相关行为。人们可以有效地结合上述两种数据,借助相关算法来表现其价值。在具体实践中,能够充分地感受到信息与数据分析的优势。可以为顾客提供所需要的数据与信息,借助群体行为、群体智能技术,将其与以往顾客的具体使用效果做出比较和分析,采取相关的信息反馈机制,向用户提供最优质的数据与信息,或者是查询与搜索相关信息。

2.深层处理与去伪存真的理念。在具体数据分析时,应该严格按照相关的数据分析流程,对相关数据进行深层处理以及去伪存真。大数据业已运用到生产生活的方方面面,在不同地区以及不同行业间发生着相应的转化,逐步取代了传统形式的信息数据处理方式和技术。在大数据背景下,借助先进的数据分析技术,将搜集到的多种复杂信息变换成计算机能够识别的信息和数据,并对其进行分类与整合,在具体的整合分类中,剔除完全不具备实用价值的信息,深层次处理余下的信息与数据,将获得的处理结果转换到具体运用中。受到了大数据背景的强烈影响,庞大的数据规模非但会影响数据的具体处理结果,反而会为用户带来更具有价值的信息。且在数据分析与处理过程中要逐步搜集与积累相关数据。

3.把握数据分析的相关变量。之前的数据分析技术均是先假设相关变量,然后对相关结果实施线性分析。这是传统意义上的数据规模非常小,处理方法也比较简单。然而,大数据背景下,出现了庞大的数据规模,只采取线性处理技术来处理与分析显得不太现实。计算机和大数据的关系非常密切,虽然数据的数量和相关变量持续变化,然而这些变量是明确的、有规律的,不必再假设相关变量,借助数据分析技术就可以获得所需结果。

4.合理地运用统计学思想。在大数据背景下,传统意义上的抽样分析不能满足大数据分析的要求,应该采取统计学思想,更新抽样理念,将总体当作样本,探讨与某物有关的全部数据,不再依赖极少数数据样本,如此方能充分地把握事物的具体变更与发展过程,有效地处理数据表露出的相关信息。更倾向于从纷繁芜杂、不合乎常理的信息与数据中把握事务的具体状况,进一步理解数据分析的严谨性,而不再局限于只追求精确的数据。通过分析数据网络的彼此联系,不必把握反复变化的因果关系,通过分析处理相关数据,更准确地反映数据变更背后的真实状况。采取统计学思想,对收集到的相关信息与数据实施针对性较强的分类处理,更好地把握事物的具体变化情况,为人们做出正确决策提供可靠的依据。

结语

大数据涵盖了海量的信息和数据,通过云计算平台实施规模化的处理和收集活动,构建相应的数据库,对数据进行分流;数据分析理念可以进一步阐述世界、感官享受以及物质领域中的复杂网络关系,借助数据挖掘等在内的多种方法进行分析与处理,使相关数据结果有效地契合实际状况。为人们满足实际需要而进行数据分析与做出决策提供可靠的依据。

【参考文献】

篇5

关键词:财务数据;大数据时代;财务分析

信息技术的发展,使当今社会进入到了一个崭新阶段,大数据时代的到来为企业发展带来了新机遇,同时也对企业提出了新要求。财务数据与企业紧密相关,做好财务数据分析才可以更好的了解企业发展实际情况,并在这个基础上进行准确的经营决策,以使企业发展得到进一步促进。国内很多学者在研究中分析了大数据时代企业财务管理信息化的发展情况,归纳了企业大数据时代财务数据分析面临的挑战。如韩雪(2020)在研究中指出信息化建设是现代企业财务管理发展的必然趋势。胡雯清,郝方方(2020)研究中也指出,财务数据可视化是大数据时代企业财务数据分析的趋势。杨文静(2019)、周申申(2019)、金辉(2019)分别在研究中就当前企业财务数据分析所面临的问题,发现很多企业并未意识到大数据时代对企业发展的影响,因此在财务分析方面存在很多不合理的地方。除此以外,其他很多学者对企业如何应对大数据时代的财务分析提出了自己的看法,如王河山(2019)、王凯旋(2019)、付筱文(2019)等在研究中提出,企业应当合理应用大数据信息技术,对当前这个时展背景进行全面分析,并在此基础上准确进行财务分析。丛斐然,于静淼(2019)、熊义成(2019)研究中分别指出,财务数据分析应当充分结合现代信息技术,提升分析的科学性、有效性。有关财务数据分析的研究很多,这些研究从不同的视角入手,但是都肯定了大数据对企业财务数据分析的促进作用,也对大数据时代企业财务分析所面临的困难,探索了改善大数据时代企业财务数据分析的方法,这些都对本文研究有一定的促进作用。

一、大数据时代相关概述

在分析大数据时代企业财务数据分析与应用前,全面了解大数据时代的内涵与特点是关键,本章就对这方面问题进行归纳与总结。

(一)大数据时代的内涵

关于大数据时代的定义有很多,不同学者对其看法有所差异。整体而言大数据时代有狭义与广义两种,从狭义的角度,大数据是海量数据,而且种类多样,不但有传统结构化数据,还包含半结构化与非结构化数据。由此可以将大数据视为数据量很大,可以应用的软件技术很难处理的大规模数据。从广义角度,大数据处理以云计算平台的应用为基础,在近几年现代信息技术、高新技术发展得到广泛关注后,如数据分析、数据仓库等,在很多领域大数据的应用得到了重视。本文认为大数据时代是在现代互联网、物联网等渠道产生的数据资源基础上,利用现代信息技术进行数据价值的提炼与应用的时代。

(二)大数据时代的特点

与过去传统时代相比,大数据时代具有自身的特点,主要表现在以下几个方面。1.大量性大数据时代中,信息量巨大是该时代的一个特点,一方面是信息传递范围更广泛;另一方面是在信息技术平台中,各种信息层出不穷,因此在这个时代中数据量十分巨大。2.多样性由于大数据时代的信息来源十分广泛、多元化,数据种类较为繁杂、多样,如数据包括网络、在线交易等多方面的数据信息。从数据的形态上看,包括文字、视频、图片等等。3.高速性大数据时代中,信息传递以云技术为基础,在网络平台中各种信息可以通过网络在瞬间传递。4.信息密度低虽然大数据时代中数据信息量巨大,而且种类众多,不过由于信息来源广、内容杂,其中可以利用的信息量并不多,需要对这些数据信息进行进一步分析与处理,这样才可以使信息得到合理的应用。

二、大数据时代企业财务数据分析的影响

现代科技、信息技术发展促进大数据时代的到来与发展,大数据时代通过进行开放数据信息获取,并将其转换为企业发展所需的信息,这对企业发展有着十分重要的影响与意义。这个时代对企业发展有很大影响,对企业财务数据分析也有一定影响,从当前大数据时展情况入手,将其给企业财务数据分析带来的机遇与挑战进行如下总结。

(一)大数据对企业财务数据分析带来的机遇

从当前大数据时代的发展情况看,大数据给企业财务分析带来的机遇可以总结为以下几个方面。1.数据来源更充足准确在传统时代中企业财务数据分析,主要是对企业内部的数据进行分析。在大数据时代中,企业不单单可以对企业内部财务数据进行分析,还可以通过大数据技术的应用从企业利益相关者入手进行相关信息的获取,这些信息包括财务信息,也包括一些其他信息,这些丰富的数据信息,为企业进行财务数据分析提供了更多帮助与支持。企业可以通过对自身财务数据分析,结合其他企业财务数据分析的对比,以达到对企业实际发展情况有一个更准确的了解与评价。加上现代大数据时代信息技术的支持,大量的数据分析可以在信息技术的指引下,快速筛选、存储以及处理,使企业可以对这些信息更合理的应用,提升企业财务数据分析的准确性。2.财务数据分析的实时性提升财务数据分析关键在于实时性,特别是在现代社会中,市场环境瞬息万变,企业在进行财务数据分析的过程中,必须要做到实时进行,以达到随时了解企业发展的情况,并根据企业当前发展现状进行战略调整,这样才可以使企业财务数据分析为企业发展提供更大的帮助。在大数据时代中,企业可以利用现代信息技术及时进行与企业相关的数据信息搜集与整理,在进行信息处理的时候所花费的时间也较短,这就实现了企业财务数据分析的实时性,从而使企业在决策的时候可以利用自身所掌握的相关信息第一时间进行市场情况的全面了解与分析,真正掌握现代企业发展的实际情况。3.财务分析地位有所提升在大数据时代中,企业所处的市场环境发生了改变,为应对现代市场环境的变动,企业必须要对财务数据分析给予重视。为满足企业财务数据分析的需求,很多企业纷纷设立了专门的财务分析部门,安排了专门的人员,由专门财务人员进行财务数据的分析。越来越多企业管理人员将财务数据分析作为企业的一项重点工作,大幅增加这方面的投入,以达到使企业在发展的过程中财务数据分析的准确得到提升,使企业能够利用大数据优势对自身发展现状、市场环境等进行全面了解,在财务数据准确分析的基础上进行经营决策。

(二)大数据对企业财务分析带来的挑战

大数据时代在对企业财务数据分析提供一定促进的同时,也给企业发展带来了巨大挑战,根据了解将大数据时代企业财务分析所面临的挑战总结如下。1.企业财务数据收集与处理技术落后虽然在大数据时代中,很多企业在财务数据处理方面信息技术应用也随之增加,但即便是如此现代企业财务数据收集与处理技术依然处于一种落后的状态。如在财务数据分析需要的硬件设施方面,很多企业的大数据财务数据分析硬件基础无法满足现代企业的财务数据分析需求,需要进行硬件基础的扩容,可实际上大数据的硬件架构技术的提供并非单独一家厂商就可以的。从企业的实际情况看,很多企业在财务数据分析方面,所引入的信息技术还处于一个成绩阶段。除了硬件方面基础设施落后以外,当前企业财务数据分析的软件也并不成熟,即便是现代财务数据分析中信息技术应用也进一步增加,但是现有的软件并没有从大数据时代的背景入手,无法满足大数据时代的应用需求,这也不利于企业大数据时代的财务数据分析。2.现有财务分析人员专业素养落后财务工作本身就是一项专业性较强的工作,需要有一定专业知识的人员负责,若是工作人员缺乏专业素养,在工作中就无法对企业财务数据情况进行准确分析。而大数据时代的到来对企业财务工作人员提出了更高的要求,在进行财务数据分析的过程中,相关工作人员不仅仅需要对企业财务数据进行了解与分析,还要对比同行业、其他企业以及上下游企业等数据资料,通过这些数据的整理与分析,达到对企业财务数据有一个全面、准确了解的目的,在这个基础上进行企业经营决策,以使企业的发展得到进一步促进。可很多企业现有财务数据分析人员,虽然掌握了一定财务数据知识,可是对大数据时代的了解不够全面与透彻,在具体进行财务数据分析的过程中容易出现按照传统方式进行分析的情况,这种分析方式就无法对企业的发展情况有一个准确的判断与分析,这容易导致企业财务数据分析的结果与预期存在较大差异。3.信息安全缺乏保障大数据时代信息平台具有开放性,在这样一个网络平台中,企业如何保障信息公开的同时,使自身的财务数据信息存储、传输安全得到保障是关键。虽然有关信息技术加密的相关技术等都在不断完善,但是关于企业内部数据被篡改、窃取的情况依然较为严重,因为技术不够成熟,企业有关财务数据信息就容易出现被盗的情况,使企业因此受到严重损失。对企业而言,大数据时代是一个全新的时代,这个时代的发展速度快、信息技术在企业财务数据分析中的应用也是起步,因此相关技术的完善至关重要,若是技术安全得不到保障,企业想要在大数据时代做好财务数据分析工作就十分困难,还可能会因此导致企业受到不必要的损失,给企业未来发展带来严重不良影响。

三、大数据时代企业财务数据分析与应用改进建议

从当前大数据时代企业财务数据分析现状看,大数据在为企业财务数据分析提供帮助的同时,也给企业财务数据分析带来了一定挑战,为适应大数据时代对企业财务数据分析的影响,建议企业从以下几个方面入手进行财务数据分析的改进。

(一)提升企业财务数据收集与处理能力大数据时代最大的特点就是数据信息量大,信息多元化,这种情况下企业想要利用这些数据信息准确、全面、合理地进行企业财务数据分析,就需要进行相关数据的收集。在收集到了大量数据信息以后,对这些信息进行处理与分析也很重要,需要企业在短时间内对收集到的各种信息进行整理,这样才可以保障财务数据分析的科学性、准确性,使企业能够利用这些数据信息达到对企业情况有一个全面、准确的了解,并分析出企业在市场中的地位以及影响力。这需要在企业发展的过程中,进一步增加自身在软硬件建设方面的投入情况。当然企业在财务数据分析方面的软硬件建设投入的同时,也需要相关厂商进一步关注大数据时代企业财务数据分析基础设施的开发,确保企业在发展的过程中大数据时代财务分析所需的技术设施得到有效保障。如进行现代信息技术硬件设施的完善,包括电脑、网络设施建设的投入,以保障在企业进行大数据信息收集与处理的过程中,可以快速进行,保障数据传输以及处理的效率。当然在软件方面,相关厂商应当进一步加大适应大数据时代财务数据分析需求的软件开发,如增加企业内部财务数据与外部同类企业财务数据的对比分析板块,使企业可以对收集到的其他与财务相关的数据信息对比快速进行,这样可以实现企业内外数据全面对比分析,真正了解企业发展情况,市场中的地位以及影响等,这对更全面了解企业情况有一定的促进作用与意义。

(二)提高企业现有财务分析人员专业素养与能力

大数据时代是一个信息化时代,这个时代中企业财务数据工作人员必须要有更强的能力以及素质,相关工作人员需要对财务数据分析有一个全面了解,还要对现代大数据时代背景有全面了解与认识,以此为根基进行财务数据分析,这样才可以保障财务数据分析的准确性、科学性。因此为保障企业大数据时代财务数据分析工作有序进行,需要企业在发展的过程中对财务工作人员的专业性提升给予重视。从招聘入手,注重具有财务专业知识、财务从业资质的人员招聘,保障企业财务工作人员都是具备相关专业知识的人员。对现有财务工作人员的培训给予重视,通过加大培训力度,使企业财务工作人员都有机会接受培训,学习财务相关的专业知识,特别是对现代财务数据处理的信息技术技能培训给予关注,使企业财务工作人员能够及时了解到现代最前沿的财务数据相关信息技术、系统的应用方式,形成现代化财务数据分析理念,在进行财务数据分析的过程中,可以做到科学、合理。积极鼓励企业财务工作人员进行学习,提升财务工作人员自主学习能力与意识,这样在实际进行财务数据分析的过程中,工作人员就可以利用自身所掌握的专业知识,全面、准确地分析,使分析可以与现代企业所处市场环境相符。

(三)进一步提升企业财务数据分析安全保障

保障企业财务数据安全对企业发展有十分重要的影响,只有做到准确、合理地进行财务数据分析,才可以确保企业在发展的过程中各项工作规范、合理展开。这需要企业引入现代最先进的信息技术安全保密技术与措施,对软硬件设施进行加密、防护等,保障企业财务数据安全性。在进行财务数据分析的过程中,相关数据的应用、分析操作人员必须要经过授权,没有得到授权的人员不能进行财务数据信息系统的操作。相关工作人员也要有较高的职业素养,分析以后的财务数据不能随意进行泄漏,还要在进行系统操作的过程中按照要求,做好系统的安全保护工作。同时,相关信息技术公司还应当进行信息安全技术的开发,为企业进行信息技术安全工作展开所需的技术得到保障。与此同时,在实际企业发展的过程中,还应当有专门的信息安全检测与防护部门,由专人负责企业信息系统的安全防护工作,及时发现企业信息系统存在的安全隐患,并进行问题的调整,以使企业财务数据安全性得到有效保障。

四、结语

篇6

关键词 大数据时代 数据分析

一、相关概述

大数据环境下经济社会生活都出现了较大的变化,同时自然科学和人文科学等也都有了较大的提升。在此背景下,依靠计算机信息技术的不断发展,研究者能够使用一定的方法和技能对较为复杂且规模较大的海量数据进行数据处理,并有效挖掘其中的价值信息。大数据环境为统计学的研究和发展提供了好的机遇,同时也对统计学的拓展提出了一定的挑战。

大数据环境下数据在各个行业和领域中都有所渗透,并逐渐成为主要的生产要素。大数据本身具有价值密度低、数据体量大、数据类型多、数据处理速度快的特点。不过由于数据量的急速增长,也使得在数据分析和研究过程中由于数据库缺少必要的管理工具进行数据采集和管理,而导致数据搜索、数据分析、数据存取和数据共享等出现一定的困难。一般情况下,在大数据环境下,往往存在着数据存储、处理技术、数据安全等相关的技术性问题。这些问题的存在一定程度上影响和制约了数据的开发和应用效率。尽管大数据下进行数据分析存在一定困难,但是其在实践中的应用空间和领域却十分广泛,对于经济社会的发展具有重要的推动力。

二、大数据环境下数据分析过程分析

(一)数据的价值挖掘过程

面对海量的大数据环境,数据使用者应当围绕数据分析目标和具体要求对大数据进行有效挖掘,提取有用数据,摒弃无用数据,从海量数据中进行价值挖掘,结合数据类型提升数据使用价值。在进行具体的大数据挖掘时可以按照具体的案例来进行,比如在进行广告人群匹配时,在进行数据分析和数据挖掘上主要是面对着两种数据。一种是广告库数据,主要包含了广告库以及广告的客户信息等。这种数据一般都具有较高的结构性,能够在传统的数据库中进行采集和应用、分析。另外一种数据是客户的后期行为数据。通过对此两种数据的结合分析,有效挖掘其中的有效价值。与此同时,在具体的应用实践过程中,还需要积极发挥第二种信息的作用和价值,这样能够获得客户所需的信息。依靠对群体行为和群体智能的分析,最终形成具体的反馈机制和反馈流程,在此基础上为信息使用者提供优质可靠的数据处理信息,为信息使用者科学决策提供有效的信息和数据支持。

(二)数据的处理与分析过程

在此过程中,一方面要及时更新抽样调查的工作理念。一般情况下,大数据的样本资料都是之前的材料汇总,这就要求在对此数据进行分析处理时应当首先对数据整体进行梳理和了解,并逐步向数据局部进行延伸。同时在对海量数据进行分析处理时还应当解决好调查目标设定不合理、抽样框架不稳定以及样本数量受限制等问题。另一方面,也要进一步提升大数据环境下数据精确度标准。由于大数据环境下数据的来源比较广,数据处理质量和效果也各有差异,因此应当在允许数据之间存在准确度差异的同时提升数据精准度的标准。要在积极吸收各种数据资源的基础上,提升数据处理能力和质量,科学应对数据复杂性和变量关系复杂性等问题。除此之外,也应当围绕大数据中的数据分析,对数据关系的分析重点进行合理转换。既要重视对数据中因果关系的分析和梳理,同时也要重视对事物之间相关性的分析研究,及时转换分析思路,围绕数据分析目标和事物之间关联关系进行大数据环境下的数据分析工作。

三、大数据对统计的影响分析

(一)能够进一步拓展统计学研究领域

大数据环境对于各个研究领域都能够产生比较大的影响,对于统计学也是一样。统计学研究的是客体、客观事物之间的数量关系和数量特征,数量性是统计学研究对象最为主要的特征。由于在传统的统计学研究实践中实验数据和调查数据是最主要的研究数据,因此在大数据环境下,统计学研究对象既包括了之前的结构化数据,同时也包括了非结构化数据,这些非结构化数据不能够单纯地依靠数量关系来加以衡量和表示。这其中就包括了文本、声音、图片、动画等数据信息。从这个意义上讲,大数据环境下统计学的研究领域有了较大范围的扩展。

(二)能够对统计计算的规范性产生影响

按照传统的统计学研究方法,在反应事物量的特征时大都是依靠方差、平均值、相对数等来进行,这些研究方法能够反映出事物之间的界限和关系,并且也能够依靠数据计算规范来反映出具体的数据。不过在当前的大数据环境下,非结构性数据常常难以使用传统的数据计算规范来加以计算。从这个角度上讲,大数据环境下统计的数据计算规范也受到了较大的挑战。

(三)能够对统计的数据整理和分析过程产生影响

统计学中数据审核之前主要是针对数据的完整性和准确性。不过在当前的大数据环境下,数据审核除了要保障原先的数据完整性、准确性外,还应当保证数据审核的速度、效率以及数据预测的准确性等。除此之外,还应当准确确定数据处理的规模,合理确定数据量的级别。尽管大数据自身具有混乱性和不稳定性的特点,但是使用合理的数据整理方法也能够在大数据中有效挖掘出数据之间的隐蔽关系,提升数据挖掘的价值性。因此,大数据下统计研究对象本身具有准确和不准确两种情况,它们分别具有不同的价值属性,一般情况下不需要对其进行删除或者替换。

对于数据存储来讲,之前的统计研究数据存储过程中都是将审核、汇总或者编制的表格、图表等,并将它们进行适当的保存处理。不过在大数据环境下进行数据的保存就还需要重视数据存储成本的管控,并结合自身实际制定规章制度和计划合理确定数据存储的规模和目录。

(四)能够对数据开发和利用过程产生影响

这主要涉及大数据环境下数据的积累、开发以及应用。在传统的数据统计工作过程中,研究者都是围绕自身目标来对相关数据进行分类和汇总,通过存储和提取过程,对数据进行有效挖掘,并在此基础上为后续的数据分析和查询提供支撑。大数据环境下,数据量比较大,只有对数据信息进行适当处理才能够获得其中价值量比较高的信息。正是基于大数据自身的复杂性,统计研究者应当对前期数据进行适当处理。围绕数据的规模和结构、层次等进行合理分类和汇总,在确保真实性的同时提升数据的价值性。与此同时,由于大数据环境下数据具有流动性特点,使得数据本身也具有再生性特征,并进一步增加了数据的价值性。因此有必要针对统计研究中的大数据进行深入的数据挖掘,依靠数据整合提升数据价值性。在数据应用上则主要是针对统计学现象的预测和解释,实现在大数据环境下数据相关关系的预测和分析。

总的来讲,大数据环境不仅改变了经济社会生活,也对统计等相关科学产生了巨大的影响,如何实现大数据环境下的统计研究是统计学领域的重要课题。进一步强化对大数据的理解和把握,重视大数据在统计中的研究和应用,有效分析和挖掘大数据中的价值信息,更好地推动统计学的理论和实践应用。

(次世青、高东宇单位为首都航天机械公司;次青波单位为中国航天标准化研究所)

参考文献

[1] 田茂再.大数据时代统计学重构研究中的几个热点问题[J].统计研究,2015(05).

篇7

【关键词】大数据时代;城市规划;响应;以人为本

信息与通讯技术的发展引领了大数据时代的到来,大数据的概念可以简化为各种规模巨大并且无法利用手工的形式对其分析、解读、处理的大批量信息资料。大数据的运用势必会对传统城市规划方案的拟定与推行产生一定的影响,此时新的思维方式与方法应用到城市规划进程中,这是对大数据时代的响应。如何使大数据时代的实效性充分的发挥出来,这已经是城市规划工作者普遍关注的问题,本文将对其进行深入的分析与探讨[1]。

1.大数据时代在城市规划中发展的模式

1.1特征

大数据时代下各种技术能够对数据信息进行高效的处理进而使城市空间规划更具科学性,GPS等追踪定位技术的应用使规划者对城市的空间结构有更加全面、清晰的了解;大数据时代最大的特征是“大体积、大容量”,包含了城市发展的现实状况与特点,能够采集处理超大量的数据信息;

1.2发展形式

大数据时代的到来,使城市规划者积极地站在城市微观的视域下,对居民的日常生活活动进行整体的分析,从而落实城市空间规划与布局的工作任务[2]。在大数据时代背景中,城市规划者将目光放在全球定位系统、手机数据、网络日志以及公交刷卡数据等方面上,在其协助下建设出的城市规划模型更具直观性与科学性,此时的规划工作在对城市空间调整与分布时所提及到的行为方式更具规范性、合理性。

2.大数据时代中城市规划编制的响应

2.1实时化响应

在传统的城市规划工作中,先进计算设备与处理技术的缺乏降低了工作效率,且数据信息获取的周期通常是以年为单位。大数据时代的到来,使原有的城市规划状况逐渐向实时化转型,而实时化体现在数据资料收集方面的同时,也是城市规划响应的表现形式,换句话说,实时化响应是建立在大数据时代、城市规划基础之上的。此时多样化的信息通讯技术、处理技术自身的优势充分地发挥出来:这些技术提高了城市规划对数据收集、处理、分析的精准度与快捷性;使数据收集工作能够实现实时、有序的目标,并与城市规划进程同步运行。在数据库技术、计算机等现代化技术的协同配合下,城市规划者建立了高完整度的数据库,使得各类数据资料得到有序安放与保管;而对于那些近期收集到的新数据信息,相关设备对其进行筛选以后可以被直接输送到与之相匹配的数据库中储存,有助于城市规划者在最短的时间内采集到具有时效性的数据资料,以此提高城市规划模型的直观性与可靠性;

2.2多源时空数据的收集

在过去,城市规划者所获数据信息一般都是在问卷调查、统计年鉴或者是文献资料中提取出来的,数据样本容量小且不具典型性,难以在规划中体现实际参考价值。而在大数据时代导向下各种高端技术顺利的引用与应用,常见的有3S技术、云处理技术、数据挖掘技术等,这些技术的合理应用,拓宽了城市规划中数据资料来源的渠道,另外地形复杂区域时空间数据的搜集工作也不再是难题。而数据挖掘技术自身的性能又是特殊化的,能够将汇总的数据信息进行全面而深入的分析,剔除无实用价值的部分,为打造城市规划区域全景注入动力。例如,在对城市园林建设进行规划布局时,过去需要大量的人力资源去完成数据信息的采集工作,继而对其进行计算分析,而基于园林建设面积大数据处理技术的应用,海量的数据能够在极短的时间里被获取与准确的分析,这就为园林建设的科学规划布局提供了参考价值。此时的数据信息发挥了指导作用,使城市园林建设规划布局更具合理性。总之,多源时空数据参与到城市规划进程中,使城市规划、布局等工作彰显出全面性、合理性等特征。

3.大数据时代城市规划实施评价的响应

3.1静态向动态的有效转型

城市规划之所以能够从“静态、蓝图式”顺利的转型为“动态、过程式”,主要得力于相关技术的应用。在高端技术的辅助下,即使时空大数据多样化、数据信息繁杂化,但是当它们出现于城市规划方案拟定的工作中时,也不会对规划的精细度造成任何的干扰,并且还能够及时地发觉规划进程中数据信息存在遗漏、缺失等相关问题,为城市规划方案的及时调整与改进提供了辅助动力。大数据时代中城市规划在方方面面都能体现动态化的风貌,此时城市规划方案与体系的制定不再是“一次性”的,编写、规划、检验、改编、实行等环节始终处于循序运转的模式中,从而使得城市规划进程中所涉及到的各个子系统之间能够实现弹性互动的目标;

3.2以人为本的规划原则的落实与应用

在大数据时代背景中,城市规划不再以“空间为本”,而是积极地向以“以人为本”的方向转型,这主要是由于大批量数据信息的发源者为群众个体、数据更显多源化。此时大数据技术的应用,使每个居民所提供的数据得到全面而深入的分析,那么我们可以推断城市规划工作是卓有成效的。例如城市规划者参照该城市人口分布的疏密情况、土地资源使用状况等可视化信息,对公交刷卡数据、手机充值数据等基本信息的系统化进行分析,并在此基础上落实对城市规划方案的评价工作,明确城市在未来几年的发展趋势。容积率指标的应用,能够协助城市规划者快捷的完成对城市人口密集度、社会功能混合度审核与改进的工作内容,最终完成对设计效果考评的任务。

4.结束语

其实,大数据时代下,城市规划在众多方面都积极对其做出响应,提升了多维转变的可能性,例如“人工化”到“智能化”的转变、“分散化”到“协同化”的转变、“粗放化”到“精细化”的转变等。在大数据时代背景下,城市规划进程始终要坚持“以人为本”的规划原则,积极关注城市居民个体生活的品质,在先进技术的辅助下,早日落实城市规划信息化建设的伟大目标[3],为推进我国现代化城市发展的脚步提供动力支持,同时使我国社会主义市场经济健康、平、高效地发展与运行。

参考文献:

[1]席广亮,甄峰.过程还是结果?――大数据支撑下的城市规划创新探讨[J].现代城市研究,2015.

篇8

[关键词]大数据 大数据思维 铁路创新发展

中图分类号:TM76;TM63 文献标识码:B 文章编号:1009-914X(2016)25-0373-03

1 引言

半个世纪以来,随着人类对自然和社会认识的进一步加深及人类活动的进一步扩展,科学研究、互联网应用、电子商务、移动通信等诸多应用领域产生了多种多样的数量巨大的数据。这不仅使得世界充斥着比以往更多的信息,而且其增长速度也在加快。信息总量的变化最终导致了质变,最先经历信息爆炸的学科,如天文学和基因学,创造出了“大数据”这个概念。时至今日,这个概念几乎已应用到了所有人类致力发展的领域中。大数据(BIG DATA)的出现对传统的数据存储、数据处理和数据挖掘提出了新的挑战,同时也深刻地影响着人类的生活、工作和思维。

2 什么是大数据

2.1 大数据的概念

说起大数据,从字面意思来讲就是巨量数据集合,到底有多大?可能很多人并没有很具体的概念。一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。

然而大数据并非一个确切的概念。对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。而麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模(Volume)、快速的数据流转(Velocity)、多样的数据类型(Variety)和价值密度低(Value)四大特征,即4V特征。在维克托・迈尔-舍恩伯格及肯尼斯・库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。业界学者杨善林认为在海量数据的量化基础上,同时具备大分析(Big Analytics)、大带宽(Big Bandwidth)、大内容(Big Content)等三大要素的巨大数据集。谢国忠则认为大数据的本质是利用企业内部信息,将庞大的信息进行有效整合,并结合新的数据类型为企业创造价值。

2.2 大数据的特点

大数据有有它自己的特征。目前工业界普遍认为大数据具有 4V+1C 的特征:

(1)数据量大(Volume)。存储的数据量巨大,拍字节级别是常态,因而对其分析的计算量也大。

(2)多样(Variety)。数据的来源及格式多样,数据格式除了传统的格式化数据外,还包括半结构化或非结构化数据,比如用户上传的音频和视频内容,而随着人类的活动的进一步拓宽,数据的来源更加多样。

(3)快速(Velocity)。数据增长速度快,同时要求对数据的处理速度也要快,以便能够从数据中及时地提取知识,发现价值。

(4)价值密度低(Value)。需要对大量的数据处理挖掘其潜在的价值,因而,大数据对我们提出的明确要求是设计一种在成本可接受的条件下,通过快速采集、发现和分析从大量、多种类别的数据中提取价值的体系架构。

(5)复杂度(Complexity)。对数据的处理和分析难度大。

IBM在此基础上又提出了5V特征,即在4V的基础上增加了真实性(Veracity)。

3 什么是大数据思维

要想大数据为人所用, 必须改变原有对数据的认识,将大数据与创意结合,并能充分利用数据分析技术,为企业和国家决策提供依据。大数据研究专家维克托・迈尔-舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。事实上,大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。我认为,大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧。

大数据思维是一种总体思维。过去,人们对搜集数据、处理数据形成了一个思维定势,那就是我们不可能搜集到相当多数量的数据,我们只能在力所能及的条件下选择一小部分去分析和处理,为了让数据处理变得更简单,对数据的选择就尽可能到最少,也由于当时信息处理水平的限制,导致所选的数据不具备代表性,盲目因素太多。当我们进行抽样调查来分析数据的时候,往往会以调查问卷的形式选择一部分样本进行分析,这为人们提供了不少的便捷,但相应的缺点也是一览无余,这种样本分析法不管你有多深入的去挖掘,它都只能代表总体数据中的一小部分,不能代表全部数据,也许样本调查的准确性会达到90%以上,但是依然会遗漏一些很有价值的数据,就会导致数据的失真。但是随着大数据时代的到来,我们可能还没有意识到我们已经具备处理和分析大数据的能力,我们的思维正在一点点的改变,首先,我们不能一直依靠对小部分数据样本进行分析,而是转向为分析全部数据。

大数据思维是一种容错思维。在小数据时代,由于收集的样本信息量比较少,所以必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论在推及总体上就会“南辕北辙”,因此,就必须十分注重精确思维。然而,在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面也对传统的精确思维造成了挑战。维克托・迈尔-舍恩伯格指出,“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户”。也就是说,在大数据时代,思维方式要从精确思维转向容错思维,当拥有海量即时数据时,绝对的精准不再是追求的主要目标,适当忽略微观层面上的精确度,容许一定程度的错误与混杂,反而可以在宏观层面拥有更好的知识和洞察力。

大数据思维是一种相关思维。在小数据世界中,人们往往执着于现象背后的因果关系,试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系,获得更多的认知与洞见,运用这些认知与洞见就可以帮助我们捕捉现在和预测未来,而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系,以及复杂的非线性相关关系,可以帮助人们看到很多以前不曾注意的联系,还可以掌握以前无法理解的复杂技术和社会动态,相关关系甚至可以超越因果关系,成为我们了解这个世界的更好视角。维克托・迈尔-舍恩伯格指出,大数据的出现让人们放弃了对因果关系的渴求,转而关注相关关系,人们只需知道“是什么”,而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因,而只需要通过大数据分析获知“是什么”就意义非凡,这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说,在大数据时代,思维方式要从因果思维转向相关思维,努力颠覆千百年来人类形成的传统思维模式和固有偏见,才能更好地分享大数据带来的深刻洞见。

大数据思维是一种智能思维。大数据使得人可以被量化,但却让计算机更具智能。工业革命使得需要人完成的工作只用机器就可以完成了,但大数据却可以使得机器有了分析问题的能力。卫星定位系统积累的大量数据,可以制作电子地图和导航,还可以通过分析数据开发出无人驾驶汽车,让机器变得拥有智慧。如何让计算机拥有智慧,除了要拥有大数据外,必须变革思维,创新分析思路与过程,不断探索新的方法,让堆积如山的数据不断创造新的价值。例如手机上常用的地图软件,可以搜索很多路况同步数据,为用户提供出行信息。这只是大数据最基础的应用,继续延伸, 是否可以根据上下班时段的交通流量估算失业率;是否可以通过对主要商圈的监控估算消费情况;是否可以将废弃的数据重新创造价值;是否可以利用用户在拼写过程中的拼写错误让拼写检查软件更优化;是否可以通过分析各实体和产业之间的关联关系,预测各行业发展趋势,找出关键影响因素;是否可以分析顾客的偏好,量体裁衣式的为顾客提供更好的服务; 是否可以运用大数据模拟现实情境,发掘出新的需求和更好的回报;是否可以创新大数据的使用模式,将大数据深加工,用户可以很方便地结合自身情况选择适合自己的产品。

4 建立大数据思维促进中国铁路创新

4.1 以数据为核心

大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变IT系统的升级方式:从简单增量到架构变化。例如:IBM将使用以数据为中心的设计,目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下,云计算找到了破茧重生的机会,在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系:大数据与云计算是一个问题的两面,一个是问题,一个是解决问题的方法。而大数据比云计算更为落地,可有效利用已大量建设的云计算资源,最后加以利用。中国铁路信息化历经50余年的发展,取得广泛的应用,拥有海量的资源,大数据将成为推动中国铁路创新发展的新引擎。随着中国铁路信息化的到来,中国铁路发展的战略需求也发生了改变,数据的处理分析成为了一个关注重点,软件也将从编程为主转变为以数据为中心。如何高效地从海量数据中分析、挖掘所需的信息和规律,结合已有经验和数学模型等生成更高层次的决策支持信息,获得各类分析、评价数据,为设备管理、网络状态评估等提供决策支持,为铁路工作人员提供有用信息,成为铁路未来发展的趋势。

4.2 全样本考虑

统计学里头最基本的一个概念就是,全部样本才能找出规律。为什么能够找出行为规律?一个更深层的概念是人和人是一样的,如果是一个人特例出来,可能很有个性,但当人口样本数量足够大时,就会发现其实每个人都是一模一样的。在大数据时代,无论是商家还是信息的搜集者,会比我们自己更知道你可能会想干什么。现在的数据还没有被真正挖掘,如果真正挖掘的话,通过信用卡消费的记录,可以成功预测未来5年内的情况。大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一样,没有本质变化。例如:大数据助微软准确预测世界怀。微软大数据团队在2014年巴西世界足球赛前设计了世界怀模型,该预测模型正确预测了赛事最后几轮每场比赛的结果,包括预测德国队将最终获胜。预测成功归功于微软在世界杯进行过程中获取的大量数据,到淘汰赛阶段,数据如滚雪球般增多,常握了有关球员和球队的足够信息,以适当校准模型并调整对接下来比赛的预测。世界杯预测模型的方法与设计其它事件的模型相同,诀窍就是在预测中去除主观性,让数据说话。利用大数据技术可以从铁路的客票系统、货票系统、货运电子商务平台、运输信息集成平台等信息系统采集海量的原始信息,这些信息可以为市场分析和预测提供有力的支撑。与传统方法侧重于对调查抽样统计数据的分析不同,基于大数据技术的市场分析和预测技术既能够利用上述海量数据,分析客、货运量完整全面的变化过程,深入挖掘运量变化的规律性,进而预测市场的未来走势;还能够利用GPS、传感器等物联网手段采集获取精细的运输数据,并且通过互联网接入的政治、经济、其他交通方式、气候等影响因素数据,将旅客和货物流量流向的精细化分析与影响因素关联性分析相结合,挖掘各影响因素对铁路运量变化影响的方向和时滞,量化各因素对运量变化的影响。在对典型设备故障诊断与状态预测方面,可以综合利用GSM-R接口监测数据、网络管理信息、场强和服务质量动态检测数据、无线干扰检测监测数据等数据源,采用数据挖掘技术,研究监测检测数据综合分析方法、多源数据关联分析方法和适用于通信业务数的故障诊断分析方法,建立典型故障诊断模型、GSM-R网络QoS测试综合评价模型、CTCS-3列控系统降级故障表示模型等,对列车控制的车载系统、地面控制系统、无线通信网络交互作用进行可靠性评估和故障综合诊断,为列车控制系统降级原因分析、GSM-R网络维护、网络优化等提供支持。

4.3 用信息找人

互联网和大数据的发展,是一个从人找信息,到信息找人的过程。先是人找信息,人找人,信息找信息,现在是信息找人的这样一个时代。信息找人的时代,就是说一方面我们回到了一种最初的,广播模式是信息找人,我们听收音机,我们看电视,它是信息推给我们的,但是有一个缺陷,不知道我们是谁,后来互联网反其道而行,提供搜索引擎技术,让我知道如何找到我所需要的信息,所以搜索引擎是一个很关键的技术。例如:从搜索引擎――向推荐引擎转变。今天,后搜索引擎时代已经正式来到,什么叫做后搜索引擎时代呢?使用搜索引擎的频率会大大降低,使用的时长也会大大的缩短,为什么使用搜索引擎的频率在下降?时长在下降?原因是推荐引擎的诞生。就是说从人找信息到信息找人越来越成为了一个趋势,推荐引擎就是说它很懂我,知道我要知道的东西。例如,我们结合12306网站数据及实名制购票资料,对出行旅客的个人信息、出行线路、出行时间周期进行的统计分析,同时借助互联网大数据预报人员迁徙情况,最后完全勾勒出旅客的需求,使铁路可以充分了解每一位旅客,实时的知道他们旅行目的地,以及出发时间及需要的服务层次,有针对性地推送一些旅游服务、餐饮、住宿、景观等方面的产品,使得营销工作更加精准,营销效率也更高。

5 大数据思维带来的挑战

大数据的发展速度有目共睹,想要在竞争社会中走的更远,人人都需要建立大数据思维。那么在建立大数据思维中,有哪些挑战呢?

第一,大数据应用和商业回报间的矛盾。未来的大数据应用一定是可定制的、可在云上打包的服务,即将业务、数据、分析能力多面定制,一起打包。企业需要可快速部署和有明确投资回报率的应用,这涉及到数据的质量和丰富度及业务人员对数据的依赖度。这需要企业内各个部门的有效协作,并规避无法确定的风险,比如分析结果的不确定性,业务场景的复杂性,人员的能力缺失等。传统手段,比如通过社交媒体、邮件、网络文本等获得的数据量非常庞大,但解破这些数据的关系和价值却给企业带来巨大挑战。企业希望成为数据的主人,但在辨析数据的有效性、能带来哪些商业回报,以及如何帮助决策等方面却缺乏有效工具。

第二,海量数据与核心数据间的矛盾。要做大数据,首先要了解自己的企业,或者企业所在的行业的核心是什么。我们发现,有很多企业在竞争过程中,最终不是被现有竞争对手打败,而是被很多潜在未知的竞争对手打败的。举例来说,大部分人都认为亚马逊是做电商的,但其实亚马逊现在最主要的收入来自云服务,也就意味着亚马逊的核心数据(价值)是云服务。只有在此基础上,亚马逊建立的大数据才是有效的、服务于战略的。

第三,内部数据与数据间的矛盾。企业所获取的数据,很大一部分是内部数据,这让企业面对另一个挑战,如何让内部数据与相关数据产生联系并使之成长。只有让内外部数据的交融在用户场景中,才能为业务用户描绘更精准的业务发展空间。

第四,规律发现和规律失效间的矛盾。调研显示,从大数据应用总结出的规律来看,建立失效预警是特别必要的。当企业通过大数据分析发现一个规律,并在现实中应用时,必须要设立一些预警指标。当指标达到一定程度,既表明之前发现的规律已经失效,必须发现新的规律、建立新相关指标,这称为数据价值的有效性。没有根据实际应用场景的变化而及时更新的数据,挖掘得再多都是无谓的浪费,熟练应用失效预警,企业才能培养起团队对数据真实有效的敏感性。

6 结语

大数据思维把人们从旧的发展观、价值观中解放出来,复杂技术的涌现和科技进步促使人们开始从大数据思维视角重新审视世界,从而获取正确理解世界的角度性工具。大数据思维是客观存在,大数据思维是新的思维观。用大数据思维方式思考问题,解决问题是当下企业潮流。中国铁路正处于加快转变发展方式的新形势下,为了适应市场化经营要求,构建铁路运输企业的核心竞争力,提升铁路的持续发展能力和盈利能力,应用大数据思维去推动铁路创新发展具有极其重要的现实意义。

参考文献:

[1]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域――大数据的研究现状与科学思考[J].中国科学院院刊.2012(06)

[2]孟小峰,慈祥.大数据管理: 概念、技术与挑战[J].计算机研究与发展,2013,50(1)

[3]王卫东,徐贵红,刘金朝,张文轩,邢小琴.铁路基础设施大数据的应用与发展[J].2015(05)

[4]维克托・舍恩伯格,肯尼斯・库克耶.大数据时代[M].杭州:浙江人民出版社,2013.

[5]王元卓,靳小龙,程学旗.网络大数据:现状与展望[J].计算机学报. 2013(06)

[6]刘婷,徐寰春.浅析大数据时代背景下智慧城市规划[J].智能城市.2016(09)

[7]李艺杰.浅谈大数据时代数据信息现状及发展[J].中国新技术新产品. 2014(15)

[8]冯永强,张良,冯怡,朱尚杰.大数据应用的现状与展望[J].信息化建设. 2015(12)

[9]张保国.浅议大数据在公交经营管理中的应用[J].城市公共交通.2016(03)

[10]方巍,郑玉,徐江.大数据:概念、技术及应用研究综述[J].南京信息工程大学学报(自然科学版).2014(05)

[11]邬贺铨.大数据时代的机遇与挑战[J].求是.2013(04)

[12]王浩,张怡.大数据时代下人类思维方式变革的趋势[J]. 新西部(理论版). 2015(02)

[13]张康之,张桐.大数据中的思维与社会变革要求[J]. 理论探索. 2015(05)

篇9

关键词:大数据;统计学;数据分析;抽样理论;理论

重构随着信息科学技术的高速度发展,当代获取和储存数据信息的能力不断增强而成本不断下降,这为大数据的应用提供了必要的技术环境和可能.应用大数据技术的优势愈来愈明显,它的应用能够帮助人类获取真正有价值的数据信息.近年来,专家学者有关大数据技术问题进行了大量的研究工作[1],很多领域也都受到了大数据分析的影响.这个时代将大数据称为未来的石油,它必将对这个时代和未来的社会经济以及科学技术的发展产生深远的意义和影响.目前对于大数据概念,主要是从数据来源和数据的处理工具与处理难度方面考虑,但国内外专家学者各有各的观点,并没有给出一致的精确定义.麦肯锡全球数据分析研究所指出大数据是数据集的大小超越了典型数据库工具集合、存储、管理和分析能力的数据集,大数据被Gartner定义为极端信息管理和处理一个或多个维度的传统信息技术问题[23].目前得到专家们认可的一种观点,即:“超大规模”是GB级数据,“海量”是TB级数据,而“大数据”是PB及其以上级别数据[2].

一些研究学者把大数据特征进行概括,称其具有数据规模巨大、类型多样、可利用价值密度低和处理速度快等特征,同时特别强调大数据区别于其他概念的最重要特征是快速动态变化的数据和形成流式数据.大数据技术发展所面临的问题是数据存储、数据处理和数据分析、数据显示和数据安全等.大数据的数据量大、多样性、复杂性及实时性等特点,使得数据存储环境有了很大变化[45],而大部分传统的统计方法只适合分析单个计算机存储的数据,这些问题无疑增加了数据处理和整合的困难.数据分析是大数据处理的核心过程,同时它也给传统统计学带来了巨大的挑战[6].产生大数据的数据源通常情况下具有高速度性和实时性,所以要求数据处理和分析系统也要有快速度和实时性特点,而传统统计分析方法通常不具备快速和实时等特点.基于大数据的特点,传统的数据统计理论已经不能适应大数据分析与研究的范畴,传统统计学面临着巨大的机遇与挑战,然而为了适应大数据这一新的研究对象,传统统计学必须进行改进,以继续和更好的服务于人类.目前国内外将大数据和统计学相结合的研究文献并不多.本文对大数据时代这一特定环境背景,统计学的抽样理论和总体理论的存在价值、统计方法的重构及统计结果的评价标准的重建等问题进行分析与研究.

1传统意义下的统计学

广泛的统计学包括三个类型的统计方法:①处理大量随机现象的统计方法,比如概率论与数理统计方法.②处理非随机非概率的描述统计方法,如指数编制、社会调查等方法.③处理和特定学科相关联的特殊方法,如经济统计方法、环境科学统计方法等[7].受收集、处理数据的工具和能力的限制,人们几乎不可能收集到全部的数据信息,因此传统的统计学理论和方法基本上都是在样本上进行的.或者即使能够得到所有数据,但从实际角度出发,因所需成本过大,也会放弃搜集全部数据.然而,选择最佳的抽样方法和统计分析方法,也只能最大程度还原总体一个特定方面或某些方面的特征.事实上我们所察觉到的数据特征也只是总体大量特征中的一小部分,更多的其他特征尚待发掘.总之,传统统计学是建立在抽样理论基础上,以点带面的统计分析方法,强调因果关系的统计分析结果,推断所测对象的总体本质的一门科学,是通过搜集、整理和分析研究数据从而探索数据内部存在规律的一门科学.

2统计学是大数据分析的核心

数的产生基于三个要素,分别是数、量和计量单位.在用数来表示事物的特征并采用了科学的计量单位后,就产生了真正意义上的数据,即有根据的数.科学数据是基于科学设计,通过使用观察和测量获得的数据,认知自然现象和社会现象的变化规律,或者用来检验已经存在的理论假设,由此得到了具有实际意义和理论意义的数据.从数据中获得科学数据的理论,即统计学理论.科学数据是通过统计学理论获得的,而统计学理论是为获得科学数据而产生的一门科学.若说数据是传达事物特征的精确语言,进行科学研究的必备条件,认知世界的重要工具,那么大数据分析就是让数据最大限度地发挥功能,充分表达并有效满足不同需求的基本要求.基于统计学的发展史及在数据分析中的作用,完成将数据转化为知识、挖掘数据内在规律、通过数据发现并解决实际问题、预测可能发生的结果等是研究大数据的任务,而这必然离不开统计学.以大数据为研究对象,通过数据挖掘、提取、分析等手段探索现象内在本质的数据科学必须在继承或改进统计学理论的基础上产生.

统计数据的发展变化经历了一系列过程,从只能收集到少量的数据到尽量多地收集数据,到科学利用样本数据,再到综合利用各类数据,以至于发展到今天的选择使用大数据的过程.而统计分析为了适应数据可观察集的不断增大,也经历了相应的各个不同阶段,产生了统计分组法、大量观察法、归纳推断法、综合指标法、模型方程法和数据挖掘法等分析方法,并且借助计算机以及其他软件的程度也越来越深.300多年来,随着数据量以指数速度的不断增长,统计学围绕如何搜集、整理和分析数据而展开,合理构建了应用方法体系,帮助各个学科解决了许多复杂问题.现在进入了大数据时代,统计学依旧是数据分析的灵魂,大数据分析是数据科学赋予统计学的新任务.对于统计学而言,来自新时代的数据科学挑战有可能促使新思想、新方法和新技术产生,这一挑战也意味着对于统计学理论将面临巨大的机遇.

3统计学在大数据时代下必须改革

传统统计学是通过对总体进行抽样来搜索数据,对样本数据进行整理、分析、描述等,从而推断所测对象的总体本质,甚至预测总体未来的一门综合性学科.从研究对象到统计结果的评判标准都是离不开样本的抽取,完全不能适应大数据的4V特点,所以统计学为适应大数据技术的发展,必须进行改革.从学科发展角度出发,大数据对海量数据进行存储、整合、处理和分析,可以看成是一种新的数据分析方法.数据关系的内在本质决定了大数据和统计学之间必然存在联系,大数据对统计学的发展提出了挑战,体现在大样本标准的调整、样本选取标准和形式的重新确定、统计软件有待升级和开发及实质性统计方法的大数据化.但是也提供了一个机遇,体现在统计质量的提高、统计成本的下降、统计学作用领域的扩大、统计学科体系的延伸以及统计学家地位的提升[7].

3.1大数据时代抽样和总体理论存在价值

传统统计学中的样本数据来自总体,而总体是客观存在的全体,可以通过观测到的或经过抽样而得到的数据来认知总体.但是在大数据时代,不再是随机样本,而是全部的数据,还需要假定一个看不见摸不着的总体吗?如果将大数据看成一个高维度的大样本集合,针对样本大的问题,按照传统统计学的方法,可以采用抽样的方法来减少样本容量,并且可以达到需要的精度;对于维度高的问题,可以采取对变量进行选择、降维、压缩、分解等方法来降低数据的复杂程度.但实际上很难做得到,大数据涵盖多学科领域、多源、混合的数据,各学科之间的数据融合,学科边界模糊,各范畴的数据集互相重叠,合成一体,而且大数据涉及到各种数据类型.因此想要通过抽样而使数据量达到传统统计学的统计分析能力范围是一件相当困难或是一件不可能的事.大量的结构数据和非结构数据交织在一起,系统首先要认清哪个是有价值的信息,哪个是噪声,以及哪些不同类型的数据信息来自于同一个地址的数据源,等等,传统的统计学是无法做到的.在大数据时代下,是否需要打破传统意义的抽样理论、总体及样本等概念和关系,是假设“样本=总体”,还是“样本趋近于总体”,还是不再使用总体和样本这两个概念,而重新定义一个更合适的概念,等等.人们该怎样“安排”抽样、总体及样本等理论,或人们该怎样修正抽样、总体、样本的“公理化”定义,这个问题是大数据时代下,传统统计学面临改进的首要问题.

3.2统计方法在大数据时代下的重构问题

在大数据时代下,传统的高维度表达、结构描述和群体行为分析方法已经不能精确表达大数据在异构性、交互性、时效性、突发性等方面的特点,传统的“假设-模型-检验”的统计方法受到了质疑,而且从“数据”到“数据”的统计模式还没有真正建立,急切需要一个新的理论体系来指引,从而建立新的分析模型.去除数据噪声、筛选有价值的数据、整合不同类型的数据、快速对数据做出分析并得出分析结果等一系列问题都有待于研究.大数据分析涉及到三个维度,即时间维度、空间维度和数据本身的维度,怎样才能全面、深入地分析大数据的复杂性与特性,掌握大数据的不确定性,构建高效的大数据计算模型,变成了大数据分析的突破口.科学数据的演变是一个从简单到复杂的各种形式不断丰富、相互包容的过程,是一个循序渐进的过程,而不是简单的由一种形式取代另一种形式.研究科学数据的统计学理论也是一样,也是由简单到复杂的各种形式相互包容、不断丰富的发展过程,而绝不是完全否定一种理论、由另一种理论形式所代替.大数据时代的到来统计学理论必须要进行不断的完善和发展,以适应呈指数增长的数据量的大数据分析的需要.

3.3如何构建大数据时代下统计结果的评价标准框架

大数据时代下,统计分析评价的标准又该如何变化?传统统计分析的评价标准有两个方面,一是可靠性评价,二是有效性评价,然而这两种评价标准都因抽样而生.可靠性评价是指用样本去推断总体有多大的把握程度,一般用概率来衡量.可靠性评价有时表现为置信水平,有时表现为显著性水平[8].怎么确定显著性水平一直是个存在争议的问题,特别是在模型拟合度评价和假设检验中,因为各自参照的分布类型不一样,其统计量就不一样,显著性评价的临界值也就不一样,可是临界值又与显著性水平的高低直接相关.而大数据在一定程度上是全体数据,因此不存在以样本推断总体的问题,那么在这种情况下,置信水平、可靠性问题怎么确定?依据是什么?有效性评价指的是真实性,即为误差的大小,它与准确性、精确性有关.通常准确性是指观察值与真实值的吻合程度,一般是无法衡量的,而精确性用抽样分布的标准差来衡量.显然,精确性是针对样本数据而言的,也就是说样本数据有精确性问题,同时也有准确性问题.抽样误差和非抽样误差都可能存在于样本数据中,抽样误差可以计算和控制,但是非抽样误差只能通过各种方式加以识别或判断[910].大多数情况下,对于样本量不是太大的样本,非抽样误差可以得到较好的防范,然而对于大数据的全体数据而言,没有抽样误差问题,只有非抽样误差问题,也就是说大数据的真实性只表现为准确性.但是由于大数据特有的种种特性,使得大数据的非抽样误差很难进行防范、控制,也很难对其进行准确性评价.总之,对于大数据分析来说,有些统计分析理论是否还有意义,确切说有哪些统计学中的理论可以适用于大数据分析,而哪些统计学中的理论需要改进,哪些统计学中的理论已不再适用于大数据统计研究,等等,都有待于研究.所以大数据时代的统计学必是在继承中求改进,改进中求发展,重构适应大数据时代的新统计学理论.

4结论

来自于社会各种数据源的数据量呈指数增长,大数据对社会发展的推动力呈指数效应,大数据已是生命活动的主要承载者.一个新事物的出现,必然导致传统观念和传统技术的变革.对传统统计学来说,大数据时代的到来无疑是一个挑战,虽然传统统计学必须做出改变,但是占据主导地位的依然会是统计学,它会引领人类合理分析利用大数据资源.大数据给统计学带来了机遇和挑战,统计学家们应该积极学习新事物,适应新环境,努力为大数据时代创造出新的统计方法,扩大统计学的应用范围.

参考文献:

[1]陈冬玲,曾文.频繁模式挖掘中基于CFP的应用模型[J]沈阳大学学报(自然科学版),2015,27(4):296300.

[3]卞友江.“大数据”概念考辨[J].新闻研究导刊,2013,35(5):2528.

[5]靳小龙,王元卓,程学旗.大数据的研究体系与现状[J].信息通信技术,2013(6):3543.

[6]覃雄派,王会举,杜小勇,等.大数据分析:Rdbms与Mapreduce的竞争与共生[J].软件学报,2012,23(1):32-45.

[7]游士兵,张佩,姚雪梅.大数据对统计学的挑战和机遇[J].珞珈管理评论,2013(2):165171.

[8]李金昌.大数据与统计新思维[J].统计研究,2014,31(1):1017.

篇10

关键词:大数据时代;企业纳税;管理影响

企业纳税管理对于企业自身管理工作开展而言是非常重要的,要想提升企业纳税管理质量,就需要对企业纳税管理工作作出科学的分析,从而在企业纳税管理工作的科学分析处置中,能够为企业管理工作实施和优化提供指导。以大数据融合企业纳税管理,能够为企业管理工作实施提供保障,有助于提升企业纳税管理效果,为企业纳税管理工作实施奠定了基础。本文针对大数据时代对企业纳税管理的影响研究,其意义在于以现有企业纳税管理工作实施为前提,将大户数时代企业纳税管理出现的影响明确,并且制定相关管理对策,从而为大数据时代下的企业纳税管理工作规划提供帮助。

一、大数据时代企业纳税管理中存在的问题

(一)信息技术处理能力不足大数据技术的出现对于企业纳税管理工作实施也是较为重要的,按照大数据技术处理中的要求,将企业纳税信息管理工作重视起来,才能在后续纳税管理工作规划过程中,找到适合企业纳税管理工作实施对策,为企业纳税管理工作实践奠定基础。对于企业纳税管理工作规划而言,大数据技术处理中的技术实施是较为关键的,但是很多企业在针对大数据技术的运用过程中,往往存在着技术应用能力欠缺现象。

(二)智能化管理系统建设不够完善大数据技术应用与企业纳税管理工作整合中,由于对于纳税管理工作实施体系建设存在着偏差,影响了大数据技术实践在企业纳税管理工作实施中的地位。作为企业纳税管理人员,在现有企业纳税管理工作开展中,应该建立大数据企业纳税管理智能系统,从而在系统运营管理中,为企业纳税管理工作实施提供帮助。但是很多企业纳税管理工作开展中,对于智能化管理系统建设明显不够完善。

(三)人才素质水平有待提升大数据技术与企业纳税管理工作结合中,对于人才素质水平管理是较为重要的。以企业纳税管理工作实施中的要求,对人才素质管理作出科学的引导,进而保障在人才素质管理工作引导和实施中,能够为企业人才管理工作优化提供帮助。很多企业纳税管理与大数据技术应用整合中,对于人才素质管理工作明显存在着欠缺,因而影响企业纳税管理工作规划。

(四)税务管理安全难以保证大数据技术应用与企业纳税管理工作开展中,对于税务安全管理工作实施而言,税务管理工作开展中的安全管理工作实施是非常重要的。细化了税务安全管理工作实施,才能为企业纳税管理工作筹划奠定基础。但是由于大数据技术与企业纳税管理工作开展是一种新型纳税管理方式,技术管理中的安全防护还没有得到落实,因而存在着一定的隐患。

二、大数据时代企业纳税管理影响

(一)积极影响大数据技术的出现对企业纳税管理工作开展是具有重要影响的,对于企业纳税管理工作而言,科学的纳税管理调整,能够为企业自身发展建设工作实施提供保障。由于传统企业纳税管理是以财务会计管理工作实施为基础进行的,这种背景下的企业纳税管理效率较低,并且在企业纳税管理工作开展中需要核算的数据类别较多,对于纳税管理人的工作符合具有严重的影响。大数据技术出现后,企业纳税管理人员,可以以大数据管理为基础,对企业纳税管理工作实施进行科学的规划和调整,从而保障在企业纳税管理规划调整中,能够更加有效地为企业纳税管理工作规划实施提供保障。同时以大数据技术为基础的企业纳税管理工作开展中,能够丰富纳税管理数据,对于数据的优化和控制具有重要保障意义。

(二)消极影响大数据技术的出现是新时代信息化技术高速发展背景下形成的一种新型技术应用体系,在大数据技术应用管理中,需要对大数据技术应用与企业纳税管理工作作出科学的整合。而在大数据技术与企业纳税管理整合过程中,对于相关数据信息的处置需要作出科学的分析,确保在数据技术应用与企业纳税管理整合中,为企业纳税管理工作规划实施提供保障,促进二者管理工作实施的科学性整合。但是由于大数据技术与企业纳税管理融合还是一种新型的尝试,如果不能完善二者管理工作规划,就会严重影响到企业纳税管理效果。

三、大数据时代企业纳税管理对策

(一)提高纳税管理水平大数据时代下的企业纳税管理工作开展中,纳税管理人员需要以大数据管理为前提,将企业纳税管理水平作出科学的提升,从而保障在企业纳税管理工作实施中,能够为企业纳税管理工作实施和优化作出科学的调整。企业方面在迎合大数据与企业纳税管理工作融合建设中,需要对纳税管理工作实施的多方面管理因素分析,然后才能为企业纳税管理工作统筹作出科学规划。

(二)提升纳税管理效率以大数据管理为前提的企业纳税管理工作开展中,对纳税管理效率作出了全面的提升。作为企业纳税管理人员,应该以企业纳税管理工作实施为前提,对企业纳税管理工作作出科学调整,从而保障在企业纳税管理工作实施调整中,能够推进企业纳税管理工作实施,为企业纳税管理工作实施效率提升奠定基础。例如,借助大数据管理技术对企业纳税管理工作作出科学的调整,提升企业纳税管理效果,为企业纳税数据优化提供保障。

(三)降低纳税管理风险大数据应用与企业纳税管理工作整合过程中,对于纳税管理风险控制也是较为重要的。由于大数据技术应用下的企业纳税管理工作实施中存在着很多的风险,如果不能科学的调整企业纳税管理风险,就会威胁到企业纳税管理工作实施,对企业纳税管理工作实施造成了严重的影响。所以作为企业纳税管理人员,需要以企业纳税管理工作实施为基础,对企业纳税管理风险防范控制作出科学的分析,进而保障在企业纳税风险防范管理分析中,能够为企业纳税管理工作优化实施提供指导。

(四)建立大数据税务管理系统以大数据技术为基础的企业纳税管理工作开展中,需要建立专有的数据管理系统,以数据管理系统建设为基础,对企业纳税管理工作做出科学的调整。作为企业纳税管理人员,在现有企业纳税管理工作实施中,需要按照企业纳税管理工作开展中的要求,及时的对企业纳税管理工作实施方式转变,从而保障在企业纳税管理方式转变中,为企业纳税管理工作实施提供丰富的数据管理资源,细化企业纳税管理指标,提升企业纳税管理效果。

(五)完善人才培养模式对于企业纳税管理工作开展而言,人才培养工作的处置是非常重要的。以企业纳税管理为前提,将企业纳税培养人才工作重视起来,为企业纳税管理工作实施提供保障。以大数据为基础的企业纳税管理工作开展中,对于人才培养模式的构建和实施也是至关重要的,只有细化企业纳税人才培养体系,才能为企业纳税管理工作实施作出科学的规划,提升企业纳税管理特色。

篇11

关键词:大数据;信息安全;互联网

互联网的普及以及各种科技产品的推陈出新,数据、信息呈现每天爆发增长的趋势,而数据、信息的爆发似乎已经成为人们生活生产的活动中习以为常的事情。人们通过手机、电脑等各种终端和客户端享受着信息交换带来的好处,最为显著的好处就是带来了巨大的经济效益。通过手机、电脑等产生的网络传输、互动网络社交等都在产生大量的数据,依据相关统计,光是中国产生的数据信息在2013年已经超过了0.8ZB(相当于8亿TB),并且预计到2020年中国产生的数据总流量达到2013年数据量的10倍以上,超过8.5ZB[1]。在大数据时代,数据包含了四大特征:数据量大、类型繁多、价值密度低、速度快实效高。当前,社会数据得到广泛的应用,通过手机或电脑等网络相关设备,随时都可以看到网络日志、音频、视频、图片等[2]。而当数据信息量达到一定的规模和程度,数据管理和处理的难度加大,数据信息安全也存在一定的风险。信息安全风险包括个人信息、企业信息以及国家信息的泄露风险,因此在大数据时代做好数据信息的管理与安全防范非常重要。

1大数据时代信息安全面临的问题

在大数据时代,信息量庞大,在利用和交换信息的过程中还应当重视保护信息安全。信息传输与交换也日益频繁,大数据时代面临的信息安全问题也日益凸显。

1.1隐私泄漏问题

在人们的日常生活生产当中,涉及到的信息多种多样,包括自己的相关信息也包括别人的信息。总而言之,日常生活生产使用信息是不可避免的。在大数据时代背景下,信息能够更加快捷方便地交换传输,提高人们生活工作的效率[3]。但大量的数据信息汇集,用户的信息隐私等泄漏的风险也在加大。例如,用户通过微信、QQ、微博等社交平台晒自己的生活日常,以及网上购物,收发邮件等都会涉及到个人信息以及个人隐私,如手机号码、姓名、住址、照片等等,这些信息不仅会被他人的掌握,也被网络运营商掌握。通过我们的网上足迹,可以查到我们的很多的信息和隐私。以网上购物为例,新浪微博和阿里巴巴公司合作后,淘宝用户浏览的相关商品以及购物的习惯等会被记录下来,当与之关联的账户登录新浪微博时,数据库会经过特定算法推算后,精确地推荐该用户应该感兴趣的商品信息[4]。网络服务渐趋“人性化”,但与此同时也给人们的信息和隐私安全带来极大的风险。

1.2安全防护系统存在问题

随着社会信息化加强,人们在利用各种电子、信息设备时,信息安全防范意识也在不断增强,无论是手机还是电脑,都会安装一些安全防护系统如360安全卫士、手机管家、电脑管家等等安全防护软件。对于普通大众来说,这种方式可以较好地保护自己的信息和隐私。但是对于企业以及国家来说,这些安全防护系统起到的作用并不大。企业和国家的信息涉及到一定的机密成分,在数据大量储存的情况下,则需要提高安全防护系统的层次和水平。如果信息安全得不到保障,严重的会导致整个行业甚至是国家陷入危险的境地。但是,目前的安全防护系统应对不断发展的信息技术时,仍然还有许多的漏洞[5]。而安全防护系统的更新升级速度远远跟不上数据量爆炸式的增长,也不能抵御新的病毒,系统也因此瘫痪,由此大数据时代面临的信息安全问题也涉及到安全防护系统的滞后问题。

1.3网络恶意攻击

大数据时代主要的特征之一是数据量大,并且数据汇集形成大的数据库,因此容易吸引黑客。而黑客攻击数据之后能获得更多的数据,这些数据往往是比较复杂、敏感或机密的数据[6]。而这些数据一般会有较高的安全防护系统,但是黑客的攻击手段也在不断升级,并且获得大数据后黑客则可以进一步扩大攻击的影响效果。而除了黑顾客攻击网络数据以及黑客攻击企业或国家的机密数据信息外,某些个人的数据信息也会受到攻击。例如,“人肉搜索”,这种方式可以把个人信息调查得十分清楚,如2013年发生的广东“人肉搜索”第一案。这种方式可以将个人信息展露无疑,这既有好的一面,也有坏的一面。不管出于何种目的,“人肉搜索”的方式实际上也说明了信息安全存在极大的隐患。在大数据时代背景下,我们必须重视信息安全问题,重视信息数据的安全保护。

2大数据时代信息安全的保护措施

大数据时代面临的信息安全问题可以通过采取一定的措施,具体的建议如下。

2.1加强法律的监督

信息交换与传输在日常生活中是极为正常而又普遍的事情,在大数据时代背景下为保证信息安全,则需加强信息管理。而在信息安全管理中,仍会面对多种多样的问题,因此需要进一步建立和加强相关法规法律监管制度,运用法律来保障用户的信息安全[7]。通过加强法律监督的方式,用户会受到一定的约束。例如,网友“人肉搜索”其它公民的个人信息实际上已经侵犯了他人的隐私,这就需要运用法律保护个人信息,相关的法律需要进一步完善和加强,细化相关标准。而从国家和企业的角度看,同样要用法律的形式保护一些有关机密信息的安全,建立健全信息安全保护相关的法律,并加强监督。例如,在我国现有的有关网上信息保护的法律中,警察可对网上信息传输交换进行实时监督,对窃取用户信息行为进行处理,将触及到法律的行为加以管制,从而保障人们的信息安全。

2.2加快安全防护系统的更新升级

信息科技发展极为迅速,但是相关的网络安全防护系统发展还相对滞后。在当前网络环境下,数据传输与交换量非常大,与此同时机密或敏感的数据信息也会增多,因此数据管理也容易出现漏洞和风险。在这种形势下,需要随时对数据信息泄漏以及网络攻击保持警觉的态度,并加大对数据信息的监管力度。为维护信息安全,可以从提高和升级信息安全防护系统入手。信息安全防护系统的更新升级利用大数据的优势,将各类数据资源的处理和分析机制进行整合,研究当前网络攻击关键技术所在,进而提高信息安全防护的能力。首先,安全防护系统要求能识别数据中的风险能力,并能够对风险进行分析评估,进一步抵御风险或网络攻击。简而言之,就是不断开发研制出更为高级的安全防护系统。此外,用户需要增强信息保护的意识,对自身的信息进行管理,必要时需要设置保密措施。

2.3调整信息采集策略

就目前数据信息而言,数据已经朝着商品化的趋势发展,即用户的信息可以作为商品进行交易或买卖,虽然用户已经有意识地在保护自己的个人信息安全。因此为保障自身信息的安全以及私人信息不被泄露,可以对信息采集采取有效策略,并加强对程序内部数据的监督。例如,用户下载某个软件或APP,这个软件或APP有一些相关的协议,涉及到用户的隐私信息的采集。用户可以对自己的隐私数据进行限制采集,或者数据采集时该程序要对用户隐私进行保护,或者可以选择进行匿名处理。而无论是个人、企业还是国家,都可以开发相关的软件对程序内部加强监督,实施限制信息采集措施或者其他方式保护信息安全。

3结语

综上所述,大数据时代信息安全问题主要包括了信息隐私的泄漏、信息安全防护系统的滞后以及网络恶意攻击等。因此有必要加强信息安全的保护,加大对数据信息的监管,调整信息采集的策略,并从法律上约束信息泄漏以及网络攻击的行为。而加强信息安全保护最关键还在于数据信息保护的技术层面,提高信息安全防范系统的层面,并且要及时更新升级,进而处理面对信息安全问题,推动信息安全进一步发展。

作者:王小君 单位:深圳信息职业技术学院

参考文献:

[1]马晓星.大数据时代面临的信息安全问题研究[A].天津市社会科学界联合会.科学发展•协同创新•共筑梦想——天津市社会科学界第十届学术年会优秀论文集(中)[C].天津市社会科学界联合会,2014:5.

[2]方世敏.大数据面临的信息安全问题分析[J].计算机光盘软件与应用,2013(19):160-161.

[3]文佳.大数据时代面临的信息安全问题分析[J].信息与电脑(理论版),2014(11):46.

[4]胡玮玮.大数据时代下图书馆面临的信息安全问题与对策[J].创新科技,2015(3):84-86.

[5]刘泫彧.大数据时代下的信息安全问题研究[J].电脑知识与技术,2015(36):17-19.

篇12

【关键字】 大数据 电子政务建设 行动纲要 思想准备 需求创新 技术架构

一、大数据时代电子政务面临挑战与高层需求

1.1大数据时代电子政务面临挑战

《促进大数据发展行动纲要》(以下简称《行动纲要》)是中国启动大数据战略的里程碑,由国务院在2015年8月正式。电子政务如何适应大数据时代的发展要求,对政府部门是一个新的挑战。

构建基于大数据理论与技术的电子政务(以下简称大数据电子政务)将对政府的服务、管理、决策等方面的职能转变与深化改革起到巨大的支撑与推动作用。但是,大数据电子政务的建设涉及思想转换、机制创新、人才结构变化、技术方案选择、推广应用等一系列全新的工作,对建设者是一个很大的挑战。

1.2从大数据电子政务需求角度分析《行动纲要》

《行动纲要》可以概括为五大目标、七项措施、十大工程。它们不仅是大数据时代的社会发展需求,从软件工程角度来看,也是新一代电子政务的目标和高层业务需求。[1]

上述五大目标及高层业务需求是传统信息技术无法实现的,必须采用大数据技术才能实现。

二、目前大数据技术已有积累及发展趋势

2.1大数据技术总体介绍

大数据4V特点是数据量巨大、结构多样、低密度高价值、快速获得结果,由于传统信息技术无法应对,逐步发展起来的全新一代大数据技术。

自2006年左右Google三篇大数据技术及云计算概念提出,10年来大数据技术与产品快速发展。现将主要产品简析如下:

围绕大数据技术核心软件 Hadoop,产生了与其相关的一系列软件,称为Hadoop生态圈。比较著名的有:ZooKeeper分布式协作服务、Hive数据仓库工具、Sqoop关系数据ETL工具、Avro数据序列化系统、Pig数据流处理语言、Flume日志收集工具、Ambari集群监控与管理、Mahout机器学习、Oozie工作流引擎、Hue图形化管理界面、chukwa监控分析。传统应用中需要的很多系统级工具软件基本包括在内。这些都是开源的。

2.2大数据技术发展态势展望

2.2.1开源依然是大数据技术创新发展的基石

全球开发者通过开源社区来进行大数据代码的开发、维护和完善,从而集全球智慧推动大数据技术的不断进步。全球各大企业加大对 Hadoop、Spark 等开源社区的赞助和智力投入,开源技术生态系统不断壮大。[2]

2.2.2大数据平台兼容性与性能快速发展

大数据平台原来SQL不兼容、GB级数据性能不佳等不足已基本解决,分布式内存计算大幅提高处理性能。基于传统数据库的应用会逐步向大数据平台迁移。原来依赖主机高性能、存储高可靠性、高大成本解决方案,在大数据分布式平台中有了更好、更便宜的解决方案。原来觉得困难重重的去IOE行动,在大数据这一全新环境下,居然就顺理成章地解决了。因此,大数据平台在政府行业会有一个快速的普及。

2.2.3大数据生态使系统技术复杂度、应用成本快速降低

Hadoop适应各类低成本硬件(如X86架构),固态盘替代内存逐步流行,计算硬件成本大幅降低。

传统系统环境一般包括服务器操作系统、DBMS、各类中间件、工作流、数据仓库、BI工具、集群及负载均衡、数据交换等,产品厂商各异,技术复杂,采购维护成本高昂。Hadoop商业版打包的生态圈软件,包含了上述产品很大部分功能,复杂性、购置及管理成本大大降低。

阿里云、百度云等互联网企业在自身大数据应用基础上,将其产品和技术向市场输出,很多以云平台及SaaS形式提供,降低了技术复杂性。

2.2.4流技术发展使实时提醒及决策分析得到兼顾

流数据的高速检测及流处理以后马上保存到某个数据库,可以把实时数据、历史数据进行连接,这样,高速查询与迭代分析可以并行不背。例如,在对交通流做实时的检测预警分析的同时,如果在交通高峰期某区域产生拥堵,需要快速分析影响范围,防止出现连锁反应。

2.2.5虚拟化、平台化使得云计算与大数据整合逐步走向完成

基于虚拟化技术的快速发展,象Linux container、谷歌Kubernetes、YARN支持多种计算框架,mesos资源调度核心、docker工具会走向数据中心操作系统。二是Hadoop技术操作系统化、平台化,数据挖掘及展示工具适应性加强。这些助力云计算与大数据终得融合。

三、大数据电子政务建设共同性及难点分析

3.1大数据电子政务的思想准备

大数据的电子政务及社会化应用,将对政府的架构、职能等方面发生深刻的变化,主要将表现为:

3.1.1机构更加扁平化

由于信息化程度,特别是大数据处理能力对决策自动化程度的提高,再加上交通进一步的便捷,机构扁平化、减少管理层次将成为趋势,省管县的模式可能会在更大范围内推行。

3.1.2政府事务性人员降低、专业性要求更高、廉政监督更加严密

政府日常管理中很大一块工作量,就是接受申请、审核、审批等事务,除了服务态度差、部门间推诿、奇葩证明等顽症,审核、审批过程由于主要靠人为判断,流程慢且有很大的寻租机会,这些都严重影响政府形象及公信力。

随着电子政务网上申请、物联网现场监控、部门数据共享等信息化手段普及,备案制推行。政府监管对象的行动、时间及空间移动都会以数字形式被采集、传输、挖掘,原来受限于人力、时间无法做到的事,在大数据时代就是举手之劳或完全自动化,因此事务性处理人员会大幅减少。基于深度挖掘与精准推测技术支持的项目中后期监督、决策事项,不仅流程更加透明,对人员综合素质也更高[3]

同时,每个政府人员不可避免地会受到大数据无远弗届的监管,有来自体制内,也有来自非政府组织、个人的。

3.1.2基于大数据的决策成为政府工作的常规手段

大数据可视化技术使得人们用比数据表格形式更加容易识别、图形化的方式,达到展示浓缩的信息、表达新的知识、作出推荐及预警、行动命令等目的。能够精确、清楚地描述复杂信息,而且富有趣味性、便于阅读。犹如现代医生离不开化验设备一样,不仅政府工作人员日常监管会依赖实时提示、精准推测,政府官员做决策时会越来越依赖大数据的量化分析结果。因此,大数据咨询的机构会获得较大的增长空间。

3.1.4公众参与政府决策、公共事务的手段及水平更高

随着政府数据不断公开和技术发展,“大数据民主”会获得象魔镜这样的大数据供应商支持。公众参与社会事务决策的程度与水平也会水涨船高,对政府决策在深度分析基础上提出他们有数据支持的评判意见。

3.2大数据电子政务的应用阶段及功能类型分析

许多系统都喜欢挂上大数据这个名头,那么,什么样的电子政务才能算大数据应用?电子政务结合功能及数据处理技术上可划分为三个阶段:以事务处理为主的数据库应用阶段,以数据集成及查询分析为主的数据仓库阶段,以预警及预测为主的大数据阶段。宽泛一点说,带有共享、预警、分析和预测四类功能,且数据量接近TB级的系统,都可称为大数据应用。四类功能在大数据不同应用阶段所占比重是不同的。现分析如下:

3.3基于决策过程的大数据电子政务业务创新

政府决策涉及大众切身利益、耗用巨大资源、影响深远,所以,政府最大的节约就是决策的科学性。下面,以连续有限比较决策论代表人物Herbert Simon的决策四阶段划分为基础,通过解析政府最重要的决策过程,提供一个思考路径,大数据电子政务能促进政府职能转换、业务创新。

3.3.1决策前期准备阶段

决策前期准备的信息收集过程中,政府面临信息“稀缺”与“过载”并存的问题。由于部门条块分割,部门之间实现数据交换、共享仍存在不少障碍与困难。另一方面,随着互联网发展,政府工作受到新闻及网络媒体产生的信息洪流冲击,面对这些巨量的毁誉夹杂、真假难分的信息不知如何应对。

《行动纲要》明确了政府数据共享具体要求及时间表,建立具有权威性的政务数据交换制度、机构,减少部门协调成本,提高数据交换的质量,建立对社会的数据公开及购买数据服务等机制,可以有效解决信息稀缺的问题。

应该借助大数据分析工具将网络舆论中内嵌的多重利益和多元价值转化为定量化、可视化的参考信息,在科学的基础上界定决策问题、确定决策目标。[4]

3.3.2多方案设计阶段

对决策目标评估凭经验、缺乏量化分析,这是政府在方案设计阶段存在的主要问题。大数据在这一个阶段可提供很多支持,如:通过舆情分析了解决策目标公众认可度,建立如经济、人口、城建、文化、环保、技术等主题数据库,分析各种方案的适宜性、约束条件,进行方案优化。

3.3.3政策方案选择阶段

目前,方案选择以定性决策为主,依赖领导的经验。随着决策议题日趋复杂化,这种模式急需改进。发挥大数据作用,建立并不断完善政府常见决策类型的分析模型,吸纳定量决策方法的优势,形成定性和定量相结合的综合决策模式。随着大数据技术发展,政府决策也可以象军队沙盘推演一样,直接观地对多种方案在各种参数输入下模拟可能结果。

3.3.4决策执行及反馈阶段

和实施一项政策后,及时收集和评估公众的反映十分重要。由于网络公众舆情构成十分复杂,个体正当意见诉求,纯粹情绪发泄,利益集团诉求,恶性炒作,甚至敌对组织蓄意捣乱。利用大数据语义分析和行为分析等算法,获得大众正当的诉求,了解状态动态变化,对决策模型进行动态测算,有的放矢地调整政府政策,以更好地实现既定的政策目标。要充分利用网络舆论的优势,创新模式,利用其疏导误解、凝聚共识、支持政策实施。

3.4大数据电子政务的架构设计示意

电子政务相当一段时间会采用传统和大数据混合模式,常见系统架构示意如圆图1。

电子政务应用趋势是数据从传统DBMS向大数据应用环境转移,但业务处理及展示层仍会以传统技术为主。

3.5大数据电子政务建设中需关注的几个问题

3.5.1机制及模式创新

大数据应用对数据、业务、技术应用的要求更高,需要适应不断创新的环境,不是非常适应政府常规工作氛围。电子政务大数据应用可以考虑共建、外包、采购服务、政策支持等多种模式,发挥政府应用引领、市场化竞争等不同优势。

3.5.2大数据电子政务建设投资预算原则

大数据技术仍处在一个爆发初期,架构、技术都在不断变化。政府在资源投入方面需要谨慎。总体规划、分步建设、按需投入的原则与大数据分布式技术特性也非常吻合。

3.5.3大数据交换及共享的标准化

国家标准委2007年《政务信息资源交换体系》规范了传统电子政务信息资源的总体框架、技术要求、数据接口规范、技术管理要求,虽与大数据应用有一定差距,但大部分还是可以参考的。应尽快形成政务大数据交换、共享、公开、交易的相关标准与规范。

3.5.4政府数据在交换、抓取、开放方面的趋势

《行动纲要》明确要求政府间数据共享及开放,纵横交叉、市场补充的数据共享模式是一个解决方案。纵向行业数据交换中心由行业上级机构(如部、省级)建立运行,横向区域数据交换中心由当地政府建立并负责运行并对外开放。数据抓取的业务特点比较明显,各中心、甚至单位都会根据具体需要进行。只要有充分的需求,会出现专业数据交易机构,政府通过购买服务获得需要的数据。

3.5.5系统安全及数据隐私

大数据因其影响范围广,安全上应采取更加严格的要求。数据脱敏的法律法规、评估标准、国产化工具的逐步形成,才能促进与保障政府将数据开放,为社会服务,为创新创业服务。

四、大数据电子政务的展望

大数据电子政务的发展将还有一段很长的道路要走,随着数据大量积累及深度分析技术提高,对各级政府在思想、法规、机制、职能、人才甚至政治生态等各方面会带来意想不到的改变。政府管理经验的算法商业化会有一个较快的发展,技术上则要关注政府私有云平台在大数据应用方向的发展趋势。[5]

参 考 文 献

[1] 国发〔2015〕50号《国务院关于印发促进大数据发展行动纲要的通知》

[2] 陈光,大数据发展新趋势,中国建设信息化 2015年第10期,66-67

[3] 安学军,大数据对电子政务的影响及应用,天津科技 2014年,第4期,

篇13

去年12月,亚马逊获得了一项名为“预测式发货”的新专利,可以通过对用户数据的分析,在他们还没有下单购物前,提前发出包裹。“亚马逊似乎在充分利用他们庞大的数据。”美国市场研究公司Forrester Research分析师苏查里塔·穆尔普鲁(SucharitaMulpuru)说,“根据他们对用户的种种了解,他们便可依据多种因素来预测需求。”

没错,这就是大数据的贡献。如今,在互联网时代,随着电子商务的高速发展,大数据在其领域的重要性越发凸显,也可以说,大数据的存在,让电商变得更加智慧。《互联网周刊》记者与中酒网副总裁兼COO王泽旭,YOHO!有货CEO钮丛笑进行了互动,深入了解电商与大数据背后的故事。

大数据让消费更加个性化

在电商领域中,用户行为的信息量十分庞大,根据专注于电商行业用户行为分析的公司的不完全统计,一个用户在选择一个产品之前,平均要浏览5个网站、36个页面,在社会化媒体和搜索引擎上的交互行为也多达数十次。不经过大数据分析,如何将如此庞杂的数据归纳总结,进行统计分析简直是难以想象。

与此同时,大数据也让电商更具个性化。钮丛笑说道:“大数据的本质,从营销层面理解是实现产品的一对一营销,这也是营销的最高境界——专门为一个人定制的产品。此前,我们是一个产品对应一类人,千人千面,随着大数据的不断发展,最理想的状态将是一个产品只对应一个人。”他举了一个例子,在营销过程中,电商企业经常纠结一个事情,例如北方已经到了冬季,南方还在穿着短袖,那么网站页面到底该推什么商品?最好的解决方案就是一边出现冬季页面,一边出现夏季页面。“大数据的核心本质最终就是要解决一对一营销,纯研究数据并没有太大的意义。”

王泽旭则谈到,电商网站每日都会收集大量的数据,由于有了大数据的协助,让中酒的线下经营业更具有特点,例如在门店商品的选择上,酒品有2000多个种类,门店是无法放下的,经过大数据的分析,每个门店的商品陈列、陈列主次、销售结构都是不一样的,这样的经营方式大大提高了商品的转化率。另外,根据网络销售得出的区域用户行为节奏分布,对店面的选址也有帮助,可以知道选址周围人们的喜好分布,得出的促销侧重点也不同。

网络用户的“用户行为信息”(User Behavior Information)是指用户在网站上发生的所有行为,如搜索、浏览、打分、点评、加入购物筐、取出购物筐、加入期待列表(Wish List)、购买、使用减价券和退货等;甚至包括在第三方网站上的相关行为,如比价、看相关评测、参与讨论、社交媒体上的交流、与好友互动等。而个性化的推荐则会提高用户的购买率,降低无用信息的推荐,避免了无用广告的滥用骚扰,无形中就提高了用户体验。

大数据让营销更精准

互联网时代更多的是以用户为中心,大数据的存在则让这种以用户为中心的服务有了更为准确的依据。

钮丛笑谈到,不管什么行业,都会有一个标签,都需要精细化整理自己顾客的属性标签以及商品属性标签,而且在大数据到来之后,这些标签必须能够细化到单个顾客和单个商品。

在电商、零售等行业,成本控制是将利益最大化的关键因素,大数据则为成本控制和精准营销提供了依据。

钮丛笑提到了一个词:计划经济。他谈到,有货上面的销售量都是计划好的,虽然计划经济不如市场经济的调节作用好,但是为了避免销量溢出过度浪费,就可以进行宏观调控。而在大数据帮助下的数据调控也变得更有依据。

去年7月底,有货在上海举办了YO’HOOD潮流新品C2B预售会。新品预售会仅两天,线上线下预购金额就超过了2000万元。“不仅对上新有极高要求的潮流电商需要避免库存风险而尝试C2B模式,其他定位于大众平台的电商有更加迫切的供应链变革要求。”钮丛笑表示,“根据消费者的预购情况,按需生产、限量,可以让品牌商直接与消费需求对接,一方面可以有效控制库存周转;另一方面,可以预先抢占下一季度的市场。”

C2B模式虽然能够很好的将需求与企业的供应有机的结合起来,极大的节约成本,但若无数据支持,将造成供应链的极大供给短缺,大数据很好的解决了这个问题。

王泽旭在谈话中也表露了类似的观点,他表示,从IT角度讲,根据对数据的细分可以做到区域经营碎片化,让各地区经营策略不一样,价格选品,都不一样。例如搜索淘宝指数时,会有性别、年龄、星座等等区分的指数,而有意思的是,处女座的消费特征确实有所区别。王泽旭还介绍,中酒网的内部大数据叫做中酒云,每个人都可以在上面检索,其中包括四十多个维度,并且对不同维度进行组合来满足经营需要:比如大学附近销售德国啤酒,老年人比较多的地区销售黄金酒之类。

体验是用户忠诚度保持的关键

在众多电商快速崛起的今天,如何保持用户黏性,增加重复购买率成为了关键。

“我们做的不是一锤子买卖。用打价格战的方式拉拢客户,这样的客户可能会购买一次商品,但是未必会买第二次。”钮丛笑明确表示不会盲目跟风低价,“对于分众电商而言,最重要的不是要卖什么,而是知道不能卖什么。”比如有货虽然出售阿迪达斯品牌商品,但仅限于个别潮流产品线。这就是大数据告诉了企业,应该向什么方向发展,应该做什么样的决策,大数据也让电商更具智慧。

篇14

通常我们所说的财务分析就是指通过一定的专业方法对会计核算的数据资料进行全面的分析,这样一来也就使得工作人员可以更加科学合理的对企业的经营、投资和分配等能力予以考察的一系列活动,财务分析可以为企业的投资和经营活动具备更加科学合理的依据,使得企业经营中的各方都能对企业有一个更加全面的了解,同时在这一过程中也可以更好的推断出企业日后的发展方向,推动企业的科学决策。会计技术是制定财务报表的重要前提,财务报表为财务分析提供了众多的基础性数据。而管理人员可以在这一过程中借助财务分析对企业运营的基本情况予以了解和掌握,从而也就更好的制定出了一个更加科学有效的管理制度。财务分析实际上是让企业的财务人员对企业的历史和当今的经营状况有一个全面客观的了解,从而也就使得企业的财务管理工作更加的科学和完善。当前是一个信息化高速发展的大数据时代,所以这也给企业的财务分析工作带来了重大的转变。大数据是从信息化开始的,它在应用的过程中也必须要依赖于计算机网络技术,在发展的过程中,数据数量越来越多,种类也越来越繁杂,数据处理的速度也有了非常明显的提升。大数据从总体上来说是存在着一些固定特征的,它变化速度快,种类多,准确性也比较高。而且随着网络技术的不断改进和完善,大数据时代的发展已经成为历史的必然,这也给传统的数据处理和分析技术带来了非常大的挑战。

大数据在物理学和其他社会学科当中都有了非常广泛的应用,但是却一直都没有受到人们的关注,直到近几年,我国的互联网和信息技术得到了长足的发展才受到了人们的关注和重视。大数据是云计算之后在IT行业当中非常重要的一次技术变革,云计算通常是可以对数据内容进行保管,在这一过程中,数据才是最为有价值的内容。任何一个文化系统当中都可以分为三个层次,一个是制度,一个是技术,一个是观念。文化系统在发展的过程中也是逐步演变的,在初期阶段是以制度为主的,随着其不断的发展又出现了以技术为主的趋势。而在当前的发展中主要是观念上的转变。当前世界已经联系成一个整体,各国的文化都可以借助互联网进行有效的融合和交流,民族之间的差异性在逐渐减弱。而在大数据时代当中,我们需要做的就是要不断的弘扬自身优秀的文化传统,保持民族文化的独立性,根据自身的发展情况和未来的变革趋势去建立属于自己的数据系统。要想更好地提升企业的财务管理能力,企业就必须进一步明确财务分析和大数据的关系,统筹兼顾,实现资源的优化配置。众所周知,财务数据是企业最基本的数据之一,其积累量较大,其分析结果直接影响着企业财务管理的最终质量。因此,企业在进行决策分析时,必须坚持客观公正原则,以财务数据为基础,制定明确的分析指标和依据,以保证企业财务管理的平稳推进和运行。在开展财务分析工作的时候,财务管理人员一方面应该对当其的管理费用细则进行详细的了解和分析,同时还要在工作中将其与前一段的数据进行详细的分析和对比,从中总结出主要的不同点,这样也就可以更加科学合理的总结费用变化的规律,同时还能从这些规律当中找到出现这种变化的根本原因,在开展原因分析的时候应该建立一个多维度的模型,在这个模型当中,要对产生变化的要素做好标记工作。在数据分析的过程中,财务人员需要将非常大的一部分精力都放在管理和核算费用的审核上,此外在这一过程中还要查找资料。但是如果要使用大数据技术的话,这些流程只要在短短的几秒钟之内就可以全部完成,这样一来也就大大的提升了工作的效率。

2、结语