发布时间:2024-03-05 14:39:02
序言:作为思想的载体和知识的探索者,写作是一种独特的艺术,我们为您准备了不同风格的5篇大数据时代的概述,期待它们能激发您的灵感。
关键词:学习分析;数据挖掘;大数据
随着信息化技术的飞速发展,传统的教育方式也发生了翻天覆地的变化。MOOCs、云课堂等大量的在线教育模式的出现,使得教育信息化程度不断深入。各类在线学习系统已经获取和存储了海量的学生信息以及与学习过程相关的数据。如何获取、挖掘、理解、处理和利用在教育领域中产生的海量数据已成当务之急,学习分析应时而生。
一、学习分析的定义
2011年,在第一届学习分析与知识国际会议上,将学习分析定义为测量、收集、分析和报告关于学习者及其学习情景的数据,以期了解和优化学习和学习发生的情境。美国新媒体联盟(New Media Consortium)对学习分析也有类似的定义,认为学习分析是利用松散耦合的数据收集工具和分析技术,研究分析学习者学习参与、学习表现和学习过程的相关数据,进而对课程、教学和评价进行实时修正。
可以这样理解,学习分析所研究的数据是整个教育活动所产生的海量数据和学习分析过程中所产生的中间数据。这些数据包括集中式学习环境下,学生上传下载的学习资料、登录次数、每次学习时间、考试成绩等学习活动日志,以及分布式学习环境下,学生们通过邮件、短信、社交网络开展的学习讨论等。
随着可穿戴设备的不断推广和普及,可穿戴设备所捕获到的心率等各项身体活动数据,也将成为研究的数据来源。在此基础上,评估或预测学生的学习活动,并从中发现潜在的问题,为教育活动相关者提供决策支持,并进一步优化学习过程,设计更适合的学习情境。
例如,学习分析可以及时发现学生存在的问题,缺少前驱知识、某个知识技能掌握不达要求等等。这时,教师们就可以针对不同情况合理干预学生的学习活动,修改教学内容、改善教学方式等。当时,这只是一方面,学习分析所能做的远不止于此。
二、学习分析的研究内容及应用
学习分析在对学习者知识、学习者行为以及学习者本身建模的基础上发现潜在问题,通过解决问题优化教学资源和教学策略,预测未来学习趋势和结果等。能从学习分析中受益的包括教育系统相关的各个参与者,如学生、教师、研究人员、教育管理者和政策制定者等。
研究者通过学习者在线学习过程中,应答的正确率、回答问题时间、重复修改次数等抽取学习者与在线系统之间所产生的交互数据,以此来建立学习者知识模型。从模型中可以清楚地了解学习者所学习的知识和技能的掌握情况。这样,系统就可以在学习者需要时推送合适的学习内容。
学习行为建模是从在线交互数据中提取知识的学习顺序、每个知识点的点击次数、完成学习所花费的时间、线上和线下考试成绩、学习行为的变化情况等建立学习行为与学习结果之间的对应关系,以此来研究什么样的学习行为可以取得更好的学习成绩,哪些学习存在学习失败的可能性。
对学习者本身建模,是为了构建个人学习特性,例如学习的风格、偏好、目标,完成情况等,这样做的目的是对有同样学习特性的人进行分组和聚类。通过研究该模型,可以有针对性的提供个性化的学习环境,从而提高学习效率。
学习分析可以应用于优化教学资源和教学策略。它可以帮助教师实时监控网络教学情况,评估课程设计的效果,从而为教师在教学实践中做出合理决策。通过对大量的相关数据的采集和分析,能够发现隐藏在每个学习者背后的学习偏好和学习模式,为学习者提供真正适合个人的个性化学习环境和学习建议,有效提高学习效果。
云计算、数据挖掘、社会网络分析、物联网等技术使学习分析成为可能。但学习分析目前仍处于发展初期,还面临着多方面的挑战。数据来源多样、分布存储等使得数据预处理过程复杂繁琐,如何从海量数据中获取适合开展学习分析的有效数据占了大部分工作量。另外,学生隐私和档案的道德问题也是我们要格外关注的重点。随着学习分析的不断深入研究,它也将得到更加广泛的应用,为每一个学生提供更适合自己的个性化教育资源,不断深化教育信息化的发展。
参考文献:
[1]SIEMENS G, LONG P. Penetrating the fog: Analytics in learning and education[J]. Educause Review, 2011, 46(5): 30-32.
个人健康大数据,是大数据时代里医疗大数据的内容之一,指个人从出生到死亡的全生命周期过程中,因免疫、体检、门诊、住院等健康活动所产生的大数据。按照归整的部门分为医疗卫生领域、金融保险领域、公安领域等。留存于医疗卫生领域的大数据,被理解为医疗大数据。
国家对于医疗大数据也早已做了顶层设计,2014年卫计委了“46312”工程,对国家卫生、计生资源整合做了顶层设计规划,其中的“3”就是指三大数据库,分别为电子健康档案数据库、电子病历数据库和全员人口个案数据库。
医改试点城市上海,已经在信息化、大数据支持上推进医改。具体来说,就是用大数据建立分析标准、评价体系、管理机制,以及基于大数据的决策和公立医院运行模式。对于曾经的评价方式,上海市医改办副主任许速称,“现在医院的评价体系是收入、门诊量、住院病人,但这会使医院的规模越做越大、收入越来越高、病人和财政的负担越来越重。公立医院产出评价体系和管理机制,应以卫生信息化为基础,建立以公益性和效率为核心的机制。”
他表示,“公立医院的产出应主要是病种,并通过大数据研究病种和寄主的关系,病种和资源的关系,资源和医务人员的效率、符合的关系,建立标准是上海医改的核心。”
具体来说,就是基于客观数据,按照疾病诊断和技术应用设定病种组合指数,测算公立医院平均病种组合指数,形成公立医院医疗服务产出评价的度量衡。分析病种与效率、技术、费用、资源的关系,科学评价公立医院服务效率、技术水平、费用控制、资源配置的合理性。以此来落实政府政策和政府管理。
此外,利用大数据分析疾病的病理和病因还将发现其他机会,如肺癌和胃肠道癌在中国的发病率较高,这些样本和分析对于正在寻找研发目标的制药企业也极具价值。
在大数据的驱动下,未来医疗资源优化配置的路径也将发生变化,在方正证券研究所的一项报告指出,医疗卫生领域三大数据库分为健康档案库、人口库、电子病历库,其中医院内部所产生的医疗数据价值最高,尤以基于电子病历的临床数据更甚。医疗卫生信息化产品抢占数据入口,应重点关注三类产品:基于电子病历的临床信息系统(抓取底层数据)、院内“集成/开放”平台(标准化数据),区域集成平台(共享数据)。
2015年1月28日,国家卫计委下发《关于印发进一步改善医疗服务行动计划的通知》,北京协和医学院公共卫生学院院长刘远立团队在2015年底作为第三方机构,对医院、医患双方的工作效果进行了评估。数据标准化开始在监管层面应用。
根据刘远立团队的研究,临床质量测量中最重要的是结果指标。“影响临床疗效的因素很复杂,加上医院与患者个体差异,如果不进行标准化,即使有大量的电子病历,也可能是苹果和桔子相比较。”
[摘 要] 大数据时代的来临,给教育带来了全新的变革,开启了教育的新篇章。数据挖掘技术分析了当前教育存在的问题,针对问题提出了大数据技术在教育资源、教育管理、评比系统及因材施教等方面的应用,尤其针对Visual FoxPro数据库设计这门课,设计了学生反馈信息获取和教学资源共享网站,更好地实现个性化教育,从而构建可行的教学模型。
[关键词] 大数据技术;数据挖掘技术;教育资源;教育管理
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2017. 05. 133
[中图分类号] G434;TP311.13 [文献标识码] A [文章编号] 1673 - 0194(2017)05- 0244- 03
0 引 言
教育是国之根本,教育的发展预示着国家未来的发展。国家的强大离不开人才的培育,人才的培育需要一个良好的教育体制,教育体制的好坏决定了未来人才的输送。教育改革需要应用现代信息技术的各种手段,为其提供高效、便捷的沟通平台,从而实现信息的实时交流。对此,本文提出将大数据技术作为教育改革的第一手段,针对当前的教育问题制定可行性计划,有效地将数据收集、数据分析、数据处理、数据应用完美的结合到教育的改革中,从而使教育的发展脚步向前迈进一大步。
1 教育存在的问题
教育,教化育人,以现有的经验、学识推敲于人,为其解释各种现象、问题或行为,其根本是以相对成熟或理性的思维来认知新的事物,并将其见解育之他人,实现信息传承的过程。在这个传承的过程中,随着时代与科技的发展,教育的体制与核心也在不断地变化,其中的很多问题也越来越明显。
(1)教育资源繁多,选择教育方案困难。
(2)教育制度不够透明,阻碍教育的发展。
(3)传统的教育管理方法无法满足现代教育发展的需求。
(4)学生信息反馈不及时,无法做出最准确的解决方案。
2 大数据与数据挖掘
2.1 大数据
大数据,即big data或massive data,是指规模大到无法在有限的时间内用常规软件工具对其内容进行收集、管理和处理的数据集合。例如,一个学生考了99分,这只是一个“数字”,如果把考99背后的因素考虑进去,如家庭教育模式、自己努力程度、智商水平等,把他们和99分联系在一起,就成了数据。大数据的特点可以简单的概括为“4V”,即更大的容量(Volume)、更高的多样性(Variety)、更快的生成速度(Velocity)和价值(Value)。
(1)更大的容量。面对种类多样、更加复杂的数据,一个新的问题――数据的存储摆在了人们的眼前。大数据通常可以达到PB级的数据规模,因此,对于教育中每天产生的海量信息,大数据提供的数据存储都能够轻松的解决,这也为教育提供了最坚实的基础保障。
(2)更高的多样性。数据的来源有很多的渠道,如社交媒体、网络搜索、网络文章等,内容包括所有的办公格式、办公文档、图片、XML、HTML、音频、视频等。信息来源渠道的多样性及信息格式的多样性,使得大数据收集的信息拥有更高的多样性。
(3)更快的生成速度。即数据被创建和移动的速度快、时效性要求高,这是大数据区别于传统数据挖掘最显著的特征。在高速网络时代的今天,凭借着各种性能优越的硬件及高速的网络,不断生成各种各样的数据,而且这种高速度也成为了必然趋势。谷歌公司一天之内要处理几十PB的数据,Facebook产生约10亿张新的照片、300TB以上日志,淘宝交易进行数千万次、产生20TB以上的数据等。
(4)价值。每一条数据都有着其本身的价值。在当今高速的数据流通下,数据的价值密度也不断降低。所以,对于如何提高数据价值这个问题,我们还需要好好思考一下。
2.2 数据挖掘
数据挖掘(Data Mining)就是从大量不完整的、随机的、模糊的数据中抽出潜在的、有价值的数据的过程,是一类深层次的数据分析方式。数据挖掘的过程主要是信息收集、数据集成、数据规约、数据清理、数据变换、挖掘过程、模式评估、知识表示等,通过这一系列的过程给用户提供所需信息。数据挖掘能够对信息实现准确处理,帮助大数据这一个数据集合实现精准的应用,实现数据的价值,为大数据在教育中的应用,提供最有利的帮助。
3 大数据在教育中的作用
3.1 大数据下教育资源的选择
大数据不仅有着极强的数据收集、处理能力,而且可以为我们提供快捷、简单、准确的选择。面对海量的教育书籍、课堂笔记等,大数据能够轻松的收录、存储,并且根据我们的需要,通过数据处理技术,准确高效的提供有价值的信息,能够做到在大范围中寻找最优的结果。通过数据收集和处理为学生的学习减少很多不必要的选择,从而提高学习效率。例如,现在越来越火的“题库”类用,就是大数据的一个细化分支,通过对学生的查询信息的收集处理,可以显示学生目前的学习状况以及存在的知识点薄弱现象,能够帮助学生和家长以及老师开展教育工作。相对于“题库”类应用,以视频为载体的应用传播更为广泛,这些都是基于大数据技术的细化分支。
3.2 数据分析处理在教育评比系统中的应用
教育信息化不断发展,利用信息技术助力教育质量综合评比,能够使评比内容更加全面、数据收集范围更加广泛、数据形式更加趋于多样化、评比结构更加公开透明。因此,一个优秀的评价系统能够更好地推动教育的发展。20世纪90年代,欧美等发达国家与地区为确保教育质量积累了大量的数据经验,并建立了完善的高等教育人才培养评比系统。我国自20世纪90年代也开始着手于教育系统的建设,例如上海大学从1998年开始不断完善自己的教育系统,将教育系统与大数据的分析结合,经过十几年的不断完善,建成了一个完整的教育评比系统。
3.3 大数据在教育管理中的应用
教育一直都在强调要培养学生多方面能力,可是事实却是以“分”为首,很多初高中学生几乎没有课余生活,活在题海里。这样的事实是什么造成的呢?很多人说是应试教育必然的结果,其实不然。教育改革从本质上是好的,可是监管的不利、评比体系的不健全,使得更多的学生、家长、老师以及学校背离改革的初衷,更加看重考试分数。所以,一个健全的教育管理体系是多么的重要。我们可以通过采用大数据对信息收集方式多样性这一特点,更全面收集、掌握教育的发展状况。例如,可以通过学校监控视频收集学生和老师的学习授课情况,利用大数据的分析能力进行实时反馈。大数据与教育管理系统的结合,虽然不能快速的解决教育中的问题,但是其所提供的信息反馈能够更好地监督教育改革的步伐。
3.4 全面了解学生,实现因材施教
我们要想真正地做到因材施教,可以通过对教学信息的获取、存储、管理和分析,从而构建学生的学习模型,分析学生已有的学习方法和学习状态,并对其将来的学习进行一定的规划和引导。目前,教育中的大数据应用主要有教育数据挖掘和学习分析两大类,两个方向虽然同源,可是应用方向、研究对象、研究方法完全不同。教育数据挖掘是将来自教育的原始数据转换为有用信息的过程,是大数据应用于学习分析最基本的应用手段,并且通过数据挖掘自身的信息挖掘技术能够提高分析效率、扩大分析范围。学习分析是利用松散耦合的数据收集工具和分析技术,研究分析学习者学习参与、学习表现和学习过程的相关数据,进而对课程、教学和评价进行实时修正。我国学者顾小清认为,学习分析是围绕与学习者学习信息相关的数据,运用不同的分析方法和数据模型来解释这些数据,根据解释的结果来探究学习者的学习过程和情景,发现学习规律;或者根据数据阐释学习者的学习表现,为其提供相应的反馈从而促进更加有效的学习。为了达到对教育的进一步变革,我们需要建立一个数据模型,该模型以大数据为基础的数据分析与应用系统,主要存储学生和老师的日常学习与工作计划及其短期与长期目标,进而对学生和老师的需求进行全面的分析规划,实施可行的教育方案,真正的实现因材施教的最高教育目标。
笔者针对“Visual FoxPro数据库设计”这门课,设计了学生反馈信息获取和教学资源共享网站,通过采集学生反馈的信息,让老师更全面地了解学生的学习状况,更好地制定教学计划。网站还提供了教学资源共享平台,师生都可以文章等有关学习的各种资料,如图1所示,实现资源的可选择,使学生不再被动学习,可以主动选择学习内容,并在交流平台发表自己的一些看法等,如图2所示。通过网站信息的获取,进行数据分析,构建可行的教学模型,从而真正实现因材施教。
4 结 语
随着大数据时代的到来,以大数据为依托进行教育的改革能够更快速的推进教育的发展,从而为学生、教师、家长提供一个更优质的学习、教育、O督体系。大数据的应用可以使我们现在种类繁多的教育资源变得井井有条,各类资源更加清晰明了;教师制定教育规划时能够多一份准确的学生反馈信息分析,从而制订更加精准的教学计划;学生们可以脱离“题海”,转向准确、高质量的最优题区,不再做没头的苍蝇,找不到方向。在未来,大数据的应用会更加广泛,我们的教育一定会得到充分的发展,未来的教育我们也许不再需要沉重的书包、繁重的作业,需要的也许仅仅是自己对自己优势的发挥。
主要参考文献
[1]郑立海.大数据时代的教育管理模式变革刍议[J].中国电化教育,2015(7):32-36.
[2]陆Z.大数据及其在教育中的应用[J].上海教育科研,2013(9):5-8. [3]高巨山,郭健.数据挖掘技术在教育信息化中的应用研究[J].中国教育信息化,2007(9S):75-76.
[4]何蕴毅.大数据背景下教育变革的思考与实践[J].教育信息技术,2014(12):13-15.
关键词:统计学;教育改革;大数据
一、引言
最早提出大数据时代到来的机构是全球知名的麦肯锡咨询公司,该公司在一份研究报告中指出:“数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素,人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来”。
大数据是随着互联网技术的广泛应用带来的数据量和数据类型激增而衍生出来的一种现象,但大数据一词不仅指规模大、种类多的数据集,还包括对这种数据集进行采集、处理与分析以提取有价值信息和直接创造价值的技术构架和技术过程。大数据的第一个特征是数据量巨大。截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。第二个特征是数据类型繁多、异构性突出,包括网络日志、音频、视频、图片、地理位置信息等等。第三个特征是数据价值密度较低,数据中存在大量重复性和无价值性信息或噪声。如何通过强大的计算技术和统计分析等方法迅速完成数据的价值提纯,是大数据时代亟待解决的难题。第四个特征是处理速度快、时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
目前,不同的学科领域对大数据概念有着不尽相同的解释,但各种解释中大致可以从两个方面去理解。首先,大数据概念体现在数据量的巨大、种类的众多及产生速度的飞快,同时产生的数据集极有可能包含着各种半结构化和非结构化数据;其次,大数据概念还体现在对数据进行处理的手段和流程方面,由于数据量的庞大和类型复杂,利用常规的统计软件已经无法对当今的数据进行及时有效的存储、分析及处理。因此,所谓的大数据并不是单纯指数据流量的巨大,还指其结构的复杂和种类的多样,在数据处理和分析上需要采用高端计算平台或高级统计软件,以及海量数据中存在着可挖掘的潜在的大量价值信息与知识。
近年来,随着高速计算机的应用、信息技术的快速发展,特别是云计算技术的发展,使大数据的存储和分析技术得到迅速发展,目前的核心技术有MapReduce、GFS、BigTable、Hadoop,以及数据可视化等。在数据搜集上,可方便地通过在线互联网数据库获取二手数据或一手实时数据。在数据分析上,传统统计学方法采取的是基于统计模型的样本数据分析,而大数据分析技术则是通过高端计算平台,对大数据中的信息进行挖掘。
统计学作为对数据进行处理和分析的科学,必然受到大数据的影响。在大数据时代,统计学教育必须与时俱进,跟上时展步伐。近年来,有不少文献讨论了大数据环境下我国统计学教育的改革问题(例如[1]-[5]),本文在分析大数据时代特征的前提下,进一步讨论我国统计学教育的现状与挑战、统计学教育改革的内容、方法、借鉴和适应时代要求的变革问题。
二、统计学教育的现状与挑战
2013年,教育部对我国统计学专业设置进行一次新的调整,将原来的既可授予理学学位,也可授予经济学学位的统计学专业划分为统计学、应用统计学和经济统计学三个本科专业[6]。根据教育部高等学校统计类专业教学指导委员会2013年11月公布的数据,当时全国有194所高校开设了统计学专业,156所高校开设了应用统计学专业,164所高校开设了经济统计学专业[6]。目前,全国开设这三个统计学专业的高校个数和在校学生人数与2013年相比都有不少的增加。
面对大数据时代,我们目前的统计学教育无论在培养目标和教学内容上,还是在教育方式和人才培养模式上,都存在着亟待解决的挑战性问题。例如,在专业培养目标和人才培养过程中,我们比较重视课程层面上的评价,比较轻视专业层面上的整体评价,缺乏对学生综合能力的反馈机制。
关于教学内容,目前三个统计学专业在统计理论和应用统计两个方面有不同的侧重。统计理论主要包括:抽样理论、实验设计、估汁理论、假设险验、决策理论、贝叶斯统计、半参数和非参数统计、序贯分析、多元统计分析、时间序列分析、小样本理论和大样本理论等。在数据分析中,现今的统计方法基本以结构化数据为主要处理对象,而对非结构化和半结构化数据的分析和工具涉及较少。因此,现今统计学课程及内容已不能满足从事非结构型和半结构型的大数据研究和商业应用对人才培养的需要,必须进行必要的改革。
对于教育方式,鉴于大数据时代要求,统计分析人员需要具备较高的数学和现代统计学基础,具有较高的软件操作能力,掌握一定的大数据收集、整理、分析、处理和挖掘数据的技能。日本学者城田真琴认为:“数据科学家要有计算机科学专业背景,数学、统计方面的素养和使用数据挖掘软件的技能,善于利用数据可视化的手法展现晦涩难懂的信息,而且具备相应的专业知识、眼界和视野,具有适应社会发展和创造价值的能力”。现今的统计学教育方式还不能很好适应大数据时代数据科学人才培养需要,必须进行必要及时的调整和变革。
对人才培养模式,大数据时代不仅要求培养具有数据处理和分析所需的基本素质与技能,更重视培养从海量数据中发现和挖掘价值信息、把握市场机遇、创造利润的潜在能力。面对大数据时代的诸多挑战,现代统计技术、数据挖掘方法、计算机信息技术、软件工具和理念的日新月异,培养统计人才的教育模式也需要相应变化,统计学教育只有与时俱进,主动做出全面的调整和变革才能适应新时代知识进步和激烈人才市场竞争的需要,积极迎接大数据时代的挑战。
大数据时代对统计学教师有更高的要求,统计学教师需要与时俱进,跟上时代步伐。随着互联网、物联网、云计算等信息技术的发展,对数据的分析和处理的技术也随之要求更高,统计学教师固有的知识体系已不能满足培养现代统计人才的需要,必须进一步深化和更新原有的统计学理论知识,而且还需要学习掌握计算机技术、互联网、数据库和信息科学等有关知识和技术,同时还要熟悉处理非结构型和半结构型数据的知识和技能,以适应现代统计学教育对教师的知识结构和基本素质的要求。
大数据时代对统计专业的学生也提出了更高的要求,他们不仅需要掌握现代统计理论、统计方法和专业统计软件,还要学会如何分析、处理来自互联网或各种实际问题中的海量数据,如何利用统计软件和互联网技术进行数据操作,如何借助软件技术和统计准则判断数据质量,如何进行模型选择和评价模型方法的有效性,如何准确清晰地呈现统计分析结果和结论,等等。
2014年11月,美国统计学会了统计学本科专业指导性教学纲要 [7],该教学纲要对统计学专业提出四个方面的要求:(1)具有扎实的数学和统计学基础、强大的统计计算和编程能力,熟练使用统计软件和数据库;(2)分析来自现实问题的真实数据,真实数据是统计专业教育的重要组成部分;(3)掌握多样化的统计模型方法;(4)具有通过语言、图表和动画等方式解释数据分析结果的能力。美国是统计学教育和人才培养最先进的国家之一,该指导性教学纲要代表着美国统计学专业培养人才的基本要求和发展方向,对我国统计教育的改革具有重要的参考价值。以该指导性教学纲要为参考依据,对照我国目前的统计学本科专业教育,无论是在培养目标和课程设置方面,还是在教学内容和教学方法方面,都存在着亟待解决的挑战性问题。
三、统计学教育的改革
大数据时代的统计学教育不仅是各种统计方法、数据挖掘方法和信息技术手段的延续或发展,更主要的是这些方法的集成应用和在实际数据分析中的真实体验。过去,企业数据库价格昂贵,在统计学教育的教学案例或实验课教学中,很少采用真实和海量的数据库资源,基本都是采用过时或虚拟的数据。今天,像百度大数据引擎这样的数据库的逐步对外开放,将有助于开展“线上大数据统计实验”教学。为了适应大数据时代要求,有必要利用网络资源以及各种数据处理软件,搭建线上大数据分析实验教学平台,全面开展大数据统计实验教学的改革。实际上,借助大数据分析平台,本科阶段的统计学教育就可以融人联机分析和数据的可视化教学。其次,要时刻关注大数据分析理论的进展,及时将新理论新方法融入课堂教学内容。
需要指出的是,在大数据时代,经典统计理论和方法并没有过时,但需要进行改进和进一步发展。这是因为,网上采集的巨型数据集往往存在大量的重复性和无价值数据信息,使得大数据价值密度降低。在对这些数据进行分析处理之前往往需要通过去噪、分层、截断、聚类等方法的预处理,将其变成便于进行分析处理的小数据,继而借助于经典统计方法进行分析和处理。因而在大数据时代仍然需要采用传统统计学的小样本理论和方法。所以,即便是在大数据时代,经典统计方法仍然是进行统计分析的基石,其核心地位不可动摇。所以,在大数据时代仍然要强化统计学的基本理论和方法,尤其是在长期发展和实践应用中经过验证的、成熟有效的经典和现代统计方法,在大数据时代仍然没有过时,但需要结合大数据分析的需要对经典统计方法进行必要的发展和改进。
大数据科学需要统计学与数学、计算机等学科的结合。亚马逊大数据科学家John Rauser 认为:“数据科学家是统计学家和计算机工程师的结合体”。为了满足大数据时代的要求,统计学专业的课程设置需要进行必要的调整。应根据新时代人才培养的要求,增设与大数据前沿领域发展相关的课程,如计算机网络和大数据相关的软件应用,同时要加大实验课和社会实践课的比重,引导学生理解和掌握大数据概念、理论、技术和方法,培养其运用大数据的相关分析工具解决实际问题的能力。对于理论课程,除基本统计理论外,还应开设一些较为现代和深入的课程,如现代贝叶斯方法、神经网络、数据挖掘、应用随机过程论等。另外,还应开设与大数据分析相关的关联规则、决策树、机器学习、支持向量机等课程。
为了培养与时代适应的统计学人才,统计学专业教师应不断更新自身的知识结构和价值观念,改变认识数据、收集数据和分析数据的思维,主动学习和补充互联网、现代数据分析技术、数据库和数据挖掘技术,使自己的知识体系不断更新和提升,跟上时展的步伐。
在大数据时代,要注意培养学生适应社会的能力。统计专业人才培养模式应以提高本专业学生数据分析方面的能力,开阔他们的视野,培养其适应社会的能力。应积极引导学生进入实训场所动手操作和锻炼,尝试以企事业单位的财政、金融、保险、统计、咨询和信息公司等部门为主构建专业性教育实践基地。鼓励学生到大数据相关的机构部门、产业园区和企业中去调查研究和实践。此外,统计专业应积极同其他专业进行合作,联合培养适应新时代要求的数据分析人才。鉴于大数据对数据分析人员在计算机技术、行业认知、业务知识、数据分析工具和方法的要求提高,统计学科应主动与计算机、经济学、管理学等相关学科合作,培养学生的计算机能力、专业素质和业务修养。
“它山之石可以攻玉”,关于统计学专业的课程设置,可以参考和借鉴美国统计学会公布的统计学本科专业指导性教学纲要。根据该教学纲要,统计专业的课程设置应该涵盖五个模块[7]:(1)统计方法与统计理论。建立统计模型并对模型的输出结果进行评价,熟悉统计推断,能够从数据分析中得出恰当的结论。(2)数据操作和统计计算。熟练使用一款专业统计软件进行探索性数据分析,发现和清洗数据中的错误记录,具有编程能力和算法思维,可以进行各种数据操作,还应掌握统计计算技术,能够进行模拟研究。(3)数学基础。熟练掌握微积分、线性代数、矩阵论、概率论和数理统计的基础知识。(4)实践训练和表达能力。具有良好的表达和交流能力,善于通过图示和动画等听众易于理解的方式展示分析结论,并且具有团队合作精神和项目领导能力。(5)特定领域的知识。掌握特定应用领域的知识,并用统计学特有的思维方法来分析和解决特定领域的实际问题。
大数据时代是以数据为中心的时代,统计学专业的教育改革必须适应这个时代的要求。统计数据分析中软件应用能力至关重要。在众多统计软件中推荐使用R和SAS软件,因为R是免费开源软件,其统计建模、统计计算和可视化功能强大,更新迅速,是最新统计方法的主要平台,非常有利于培养学生的编程能力和知识更新能力,而SAS软件被很多公司用于数据管理和数据分析,在实际应用领域具有长期而深远的影响,是数据分析不可或缺的专业统计软件。当然,教学中也可以尝试使用其他专业统计软件,例如经济统计专业学生也可使用SPSS软件,但最好会使用SAS或R软件。在加强软件使用和编程能力的基础上,应加强学生统计计算和统计模拟能力的培养。在大数据时代,强调统计计算的重要性是大势所趋。统计模拟技术是伴随着高速计算机和信息技术的快速发展而广泛应用的现代技术,可用来解决传统学科领域中无法解决的问题。例如,在计算技术飞速发展的今天,贝叶斯统计方法过去曾经面临的计算瓶颈正在逐渐消失,基于马尔科夫链蒙特卡洛(MCMC)技术的统计模拟方法在数据分析中的强大威力正在日益显现[8]。
参考文献:
[1] 刘春杰,大数据时代对当代统计学教育的挑战,统计与决策,2015年,第8期。
[2] 孟生旺,袁卫,大数据时代的统计教育,统计研究,2015年,第32卷4期。
[3] 葛虹,韩伟,大数据时代统计教育变革的SWOT分析与发展策略,统计与决策,2015年,第4期。
[4] 张海波,黄世祥,统计学专业学生大数据分析能力的培养方式选择,统计与决策,2014年,第24期。
[5] 李卫东,大数据对统计学科发展的影响,统计与决策,2014年,第13.期。
[6] 教育部高等学校统计类专业教学指导委员会.统计学专业教学单位.http:///category/信息公开/教学单位,2013-11-15.
关键词:大数据时代 大数据理解
1大数据时代概念的提出
当前,大数据这一词汇在各行各业中出现的频率越来越高,各种媒体中也经常对这大数据这一概念进行推广,大数据时代逐渐成为了一个社会热词,昭示着大数据时代的来临。
在学界中,大数据的理论思考与实践探索一直在如火如荼的济宁这,并与经济市场,政府机关形成了良好的合作与互相支持的模式。大数据时代的来临与当前互联网时代的建设基础和发展迅速的信息技术具有重要联系,早在上个世纪末就有了关于大数据时代的理论雏形,对整合所有数据并对数据进行加工,分析,处理提出设想。这一设想的提出与同一时期的“商业智能”的具有密切的联系,所谓商业智能也是指建立数据仓库的基础上挖掘数据的深度含义,分析数据从而挖掘出数据之间的内部联系性,从而获取文化公司所需要的信息,为文化公司的发展提供决策思路和数据支持。
直到世纪,信息技术的发展导致各种数据统计工作的便捷与高效性,人们逐渐发现了进行大规模数据分析和研究对文化公司在发展过程中所能起到的作用,互联网的覆盖范围越来越广,在各行业各的应用程度愈来愈高,智能手机的普及都为大数据时代的来临打下了坚实的基础,随后大数据的概念在信息技术行业中越来越得到认可与重视,大数据的相关理论基础研究与前景展望也越来越多,为大数据时代构建了理论结构与应用前景。
2012年的达沃斯世界经济论坛中将大数据作为主题之一进行讨论,可以说变相确定了大数据在未来社会发展进程中的地位,探究了以信息技术为依托的大数据处理分析如何对人类社会的发展作为贡献。国内对大数据在未来发展中将占据的地位和起到的作用也做出了充分的认可,各大企业与高校对大数据的概念与应用已经开始进行研究与实践。
2大数据一词的概念与理解
对大数据时代的理解离不开对大数据的概念的理解。什么是大数据?就当下而言,虽然大数据一词的出现的频率极高,许多媒体,部门,论坛都在使用这一词语,但是对大数据一词的核心含义的理解却并不一定充分。当前学界内对数据一词的定义尚且没有一个统一的较为得到广泛认可的定义。对大数据一词的定义可以分为几种,例如维基百科上说大数据就是指数量、规模庞大的数据资料,无法利用常见的软件工具对其进行高效率收集,处理与分析。还有的的说法认为大数据就是单纯指数据量足够大,远超常规水平的数据集合。还有的说法主要是认为大数据进行处理的方式才是大数据一词的实质,即大数据是通过特殊处理模式能提高企业对市场形势的掌控程度,为决策提供指导的数据分析处理方法。
因此来看,大数据的特征应该包含着两方面,一是大数据处理在技术层面具有先进性,二是大数据在社会性方面具有广泛性。如上文所述,大数据一词的出现是信息技术进步的结果。大数据最先出现其是存在与IT界的术语,大数据是一个多项技术合并在一起的概念,是一个具有系统性的体系,包括对数据依托信息技术实现大规模储存与联网分享的云技术,对数据进行分析处理的分布式处理技术,指纹识别,虹膜识别等对数据进行保密管理的感知技术等等,都应该包括与大数据体系之中。与此同时,大数据还具有社会性。大数据这一概念的出现离不开信息爆炸化的时代特征,大量的信息充斥于社会的每一个角落并呈现着井喷式的增长,每一个人都是数据的创造者与传递着,国际化进程的加快使人类社会前所未有的紧密联系在一起,在这种时代背景下酝酿出来的大数据概念无法避免的具有人类社会发展的特征。
在大数据时代,人们的思维模式必须向大数据化的方向靠拢,传统的思维模式已经不适合时代的发展。信息技术的进步使我们的思维模式也可以在依托大数据提供的信息作出更准确的决策和判断。在大数据模式下,高效率的数据收集与处理是我们可以脱离传统的抽样调查得出结论的办法,不用再考虑数据模型是否具有科学性和代表性,也不用考虑抽样结果是否具有偶然性,因为我们已经可以立足于全面性的数据来对问题进行思考与判断,同时,对数据的判断要提高效率,应为判断的本身也是一个大数据的过程,提高判断的效率再借以数据统计来提高其准确性。在大数据时代,人们面对数据不需要刨根问底的研究数据出现的原因,而是应该要考虑数据之间的关联性,研究数据之间的联系,思考关联出现的原因而不是单纯研究因果关系。
大数据时代对于社会的改变在于,它变革的是人们处理数据的方式与模式,改变的是人认知世界,认知事物的方法,在数据化的信息处理中提供发现问题,解决问题,创造价值的方法。大数据作为一个新生事物能开创出一个新的时代,不得不说大数据在我们当下的社会发展进程中是极有价值的。虽然大数据的定义及体系,实践应用方面还存在许多不足,缺少经验方面的积累,但是笔者相信随着时间的推移大数据体系的形成必将越来越完备。我们当下所需要做的就是把握住大数据时代的时代脉搏,必须明确大数据时代的要求:首先,大数据时代必须充分利用信息技术来提高数据的收集与储存,利用新的数据处理模式发现数据之间的关联新,为决策提高科学性的指导与数据支持。然后,大数据是技术属性与社会属性的有机统一,所以在大数据时代中两方面工作都要双管齐下,提高技术水平的同时还要注重社会实践应用,达到改变市场运作模式,各组织的结构的目的。最后,大数据不是一个高高在上的概念性名词,而是应该作为一种新的思维方式适用于社会的各个方面,包括政府行政,企业运营和人民生活等等,是新的时代智慧与时代气息,而不是单纯的一种技术或处理数据的手段。
必须要明确大数据时代真正的思想内涵,才能是我国在新时代的发展过程中不落人后,占据着有力地位,提高国家的信息化程度与综合实力,对本论文的命题“大数据时代”对企业人力资源管理工作的影响能做出正确的分析探究。
参考文献: