发布时间:2023-10-08 17:36:40
序言:作为思想的载体和知识的探索者,写作是一种独特的艺术,我们为您准备了不同风格的5篇物联网处理技术,期待它们能激发您的灵感。
飞思卡尔亚太区微控制器业务拓展与市场经理王维先生描绘了物联网(IoT)和作为一个关键节点的家庭网关的未来开发趋势。
王维表示,对思卡尔公司来说,物联网不完全是原来意义上的M2M,更多的是把这个概念提升到设备和几种设施的互联,设备和环境的互联。另外还有设备和人体的保健互联,把整个市场应用的方向扩大了。
智能家居是物联网大概念下的一种应用场景,其他还包括楼宇自动化、智慧城市、智能照明、智能电网、智能健康、工业自动化,这些领域也正无时无刻不被卷入物联网的整个发展浪潮里。
除了将IoT的概念扩展以外,飞思卡尔还对IoT 的典型网络构架做了解释。王维表示:“在网络模型中加入网关(盒子)的概念,就是飞思卡尔所认为的网络模型。在整个系统中,WiFi会和低带宽、低功耗的其他通信方式共存。除了现有的基础设施蜂窝网络之外,我们以后更多的会在每个家庭里面有一个网关(BOX)的概念,我们将其称之为‘一体化盒子’”。
飞思卡尔一体化盒子解决方案完美结合端到端软件和融合的网关设计,也称“应用盒子”平台,为安全的物联网服务交付和管理建立一个通用开放的框架。内置在平台中的“盒子”(或服务网关)可将多个物联网服务提供商的盒子融合到一个统一的设备中。应用盒子平台将有助于简化和确保家庭、公司或其他位置的最终用户物联网服务的交付,支持大量创新的物联网服务的快速部署。
定制化图像处理器解决方案将成为手机厂商首选
随着魅族MX3高调宣布其手机相机配置了独立的富士通四通道图像信号处理器(ISP)以来,富士通半导体及其旗下Milbeaut图像信号处理器产品逐渐从幕后走向前台,为更多的工程师和手机用户所熟悉。
富士通半导体公司市场部高级经理沈弘人表示,随着智能手机的数码相机功能日益强大,特别是当分辨率超过5M像素后,近年来手机相机替代卡片式相机的趋势日益增强,独立ISP解决方案获得越来越多的手机厂商青睐。
“对相机的图像效果要求很多时候是因人而异的,不同的手机厂商在对图像信号处理解决方案的要求上会有不同的侧重甚至倾向性,因此图像信号处理器解决方案并不是标准化的产品,而是需要根据厂商的差异化需求进行定制化设计和复杂的调校工作。”沈弘人表示。事实上,用户对相机功能的要求本身就非常复杂,因此定制化的设计适合厂商满足不同市场定位的需求。
在演讲中,沈弘人强调了富士通半导体相机图像处理器解决方案的高度可定制化――硬件和固件可根据客户需求配置,解决方案可以根据客户的传感器模块充分调校。
“这种定制化的设计需求也是富士通半导体公司图像信号处理解决方案获得众多手机厂商青睐的原因吧。”沈弘人说,“定制化设计需要强大的设计服务能力,需要非常专业的Knowhow支持以及强大的设计支持团队,而这是我们的独特优势。”
Zigbee Light Link标准打通智能照明最后一关
“LED智能照明中通信芯片采用的无线传输标准有Zigbee、WiFi以及蓝牙等。为什么主流厂商都选择Zigbee作为L E D智能无线传感控制技术呢?”Marvell绿色产品部的技术销售总监Lance Zheng在现场解析道,“蓝牙的传输距离较短,且传输通道少;WiFi的功耗大,且成本较高;因此对于家居照明来讲,Zigbee更具有技术和成本两方面的综合优势,ZigBee更有望成为主流的规范。”
在2012年,由LED照明巨头Philips、GE、Osram以及半导体方案供应商共同成立的Connected Lighting Alliance了一个新的应用规范Zigbee Light Link(ZigBee灯光连接),实现了开放的互通标准协议,基于这一规范应用ZigBee网络控制灯光将更简单易用。Marvell借势发力,开发了88MZ100 ZigBee微控制器单芯片系统(SoC),该芯片是业界集成度最高、RF传输性能最佳、BOM成本最低的SoC,省掉了PA、balun以及外置闪存,适用于家庭自动化和LED照明控制应用。
Lance Zheng表示,智能照明系统不同于传统的LED照明,其包含了灯、网关、云端、UI以及相应的软件支持。Marvell作为全套方案供应商,可以提供业内最佳性能、最低物料成本、最小空间尺寸的LED驱动和Zigbee/WiFi网关方案,并积极致力于搭建涵盖智能LED灯、无线模块、网关、云端/UI以及软件各个环节的整个智能照明产业生态系统,为智能照明品牌商或者渠道商提供端到端的整体产品方案和技术支持,快速推出成本可接受并具有极佳用户体验的智能照明系统,引领智能照明产业腾飞。
触控技术未来着眼于被动笔、简约手势和指纹识别
由于薄型触控方案中LCD直接贴合触控模组,由此带来的影响则是显示面板以及充电器的干扰问题越来越严重。充电器干扰是目前终端最棘手而又不能规避的问题,相较于其它主流触控IC的固定频率段跳频或是以2KHz为单位的非动态跳频方式,采用以1KHz为单位的动态跳频方式是唯一有实际意义的。
对于用户触控习惯的变化趋势,集创北方陈馗副总裁认为被动笔将是必然的趋势。因为被动笔具有易获得性,钥匙、小刀等这些小物品可随时用来作为操作屏幕的“笔”,用户不再局限于手指操作,而且智能手机的大屏趋势也让屏幕书写的需求越来越明显,如何让消费者在手机/平板电脑上获得像在真实的纸上一样的书写体验成为触控IC厂商重点研究的课题。
关键词:城市生活垃圾;处理方式评价;物联网
1 研究背景
中国经济高速增长、城镇化速度加快,城市生活垃圾存量逐年增高。世界银行2005年一份报告开篇:“世界上没有一个国家曾经经历过像中国现在正在面临的固体废弃物数量如此之大或如此之快的增长”。垃圾分类意识薄弱,处理方式相对落后,相关技术不完善导致垃圾处理能力缺口日益增大。2012年4月国务院办公厅、发展改革委、住房城乡建设部、环境保护部组织编制了《“十二五”全国城镇生活垃圾无害化处理设施建设规划》,要求提高城镇生活垃圾无害化处理水平,切实改善人居环境。生活垃圾问题已经成为不容忽视、亟待解决的环境和民生问题,引起政府部门高度关注。
2 国内外城市生活垃圾处理现状
通用垃圾处理方法主要有卫生填埋、焚烧和堆肥三种。瑞诺瓦做为瑞典最先进的垃圾焚烧企业之一,其垃圾焚烧效能和废气排放的清洁度技术世界领先;德国重视垃圾循环利用,开发周密高效的垃圾处理体系;美国依然采用填埋处理作为主要方法,并大力发展多层次垃圾管理模式,形成以控制垃圾源头为先、垃圾再循环和堆肥处理居次、填埋或焚烧垃圾随后的多层次垃圾管理模式。
我国生活垃圾处理处置能力相对落后。仍有部分城市,尤其西部落后城市,采用露天堆放、自然填沟和坑填的简单方式处理城市生活垃圾,对土壤、河流、地下水等都造成了严重的影响和潜在的长期危害。堆肥与焚烧技术发展时间较短,尽管目前全国已有很多生产商、研究单位和大专院校在研究开发各种焚烧技术及设备,研究和开发过程仍然需要时间。
3 城市生活垃圾处理方式比较
截止2014年底,我国城市生活垃圾清运量约1.79亿吨,各类无害化处理厂818座,全年填埋量10744万吨、焚烧量5329万吨、堆肥等其他方式319.6万吨,分别占总垃圾处理量的60%、29%和1.79%,我国城市生活垃圾主要还是靠填埋为主,焚烧等技术还与世界发达国家有很大差距。
3.1 填埋场处理方式评价
卫生填埋目前是我国城市生活垃圾主要处理方式,填埋场中多采用高密度聚乙烯膜做为防渗材料以提高填埋场的防渗水平,一些大型填埋场采用填埋压实机来提高填埋作业效率。尽管如此,垃圾填埋技术仍然存在很大的问题,垃圾填埋占用大量的土地、垃圾填埋场渗滤液处理、填埋的无害化程度较低、对水资源和大气潜在影响深远、填埋资源回收率低、填埋场征地运转费上涨等。同时,我国填埋使用设备和铺设机械主要依赖国外进口;渗滤液处理技术落后,渗滤液对环境造成二次污染;防渗材料自主研发水平低,国内产品耐久性差,进口材料又导致填埋成本太高。
3.2 堆肥处理方式评价
生活垃圾的生物处理主要有好氧堆肥和厌氧发酵技术,通过创造适宜的微生物生存环境,利用自然界原有的微生物或投放菌种,氧化分解垃圾中的有机成分,从而达到无害化和资源化的目的。
生活垃圾堆肥技术工艺简单,所用机械设备少,操作简单且投资少。我国是采用堆肥技术最早的国家,开展过机械化程度较高的动态高温堆肥研究和开发,并取得了积极的成果,现在已经基本上形成了较为完整的堆肥技术。但同时堆肥技术也存在问题:传统生物处理周期长、占地大、处理能力有限、难以形成较大垃圾处理规模;好氧堆肥和厌氧发酵成本高、品质差,不具有竞争优势,难以规模生产。
3.3 焚烧处理方式评价
焚烧技术具有无害化、减量化和资源化程度高的特点,生活垃圾焚烧一般都和能源利用相结合,进入20世纪90年代,随着对废气中有害物质危害的认识,各国对新建焚烧厂开始持慎重态度,并注重对焚烧废气排放控制及污染治理的研究,力争降低焚烧可能产生的二次污染。天津双港垃圾焚烧发电厂的建成,创造了国内规模最大、自动化水平最高等多项记录。同时,焚烧发电厂把垃圾焚烧发电,废渣制砖,余热取暖,蒸汽向空中无害排放,形成一个循环经济链。
现有或正在筹建的垃圾焚烧处理厂主要是以引进国外技术和设备为主,设备费和运行费较高,下一步我国应该加强技术研发和自主知识产权,逐步实现焚烧技术进步和设备国产化。
4 城市生活垃圾处理的未来
4.1 物联网在城市生活垃圾中的运用
国务院颁布《国务院关于加快培育和发展战略性新兴产业的决定》中将新一代信息技术列为7大战略性新兴产业之一,物联网作为其中重要内容被多次提及。利用物联网技术实现对物品信息的自动识别、传输、处理,通过开放性的计算机网络实现信息交换和共享,实现物品动态、实时“可视化”管理。城市发展对生活垃圾的管理工作提出更高要求,而物联网技术的应运而生也为生活垃圾管理更加科学化、规范化、精细化提供了技术支撑。
城市生活垃圾包含源头收集、中转运输和末端处理三个环节,居民放入指定垃圾桶,社区保洁员按指定时间送至垃圾收集楼,压缩后运往垃圾中转站,经过分拣筛选处理后,运往垃圾处理场处理。
源头识别;通过嵌有RFID芯片或贴有电子标签的垃圾桶或废物箱,辅以读卡设备,掌握垃圾产生源头,为垃圾收运、收集容器配置和垃圾品质分析提供参考依据。
中转运输:通过电子围栏技术,识别环卫作业车,了解垃圾来源和清运量;GPS定位,了解环卫作业车辆线路轨迹、位置、速度等实时数据,对作业、运输全程监督,及时解决突发问题;垃圾称量联网上传至数据库,了解中转站中转量。
末端处置:各处理场的生活垃圾量及处理后残渣或副产品称量和品质监控,了解处理场所的处置负荷量、处置效果。
通过物联网技术在垃圾转运环节应用,建立完善的信息化管理平台,正确识别生活垃圾来源、成分,为垃圾分类、收费提供依据。同时,完善的管理信息平台也可对城市生活垃圾进行调配,合理安排垃圾处理设施密度和强度。
5 总结与展望
面对严峻的城市垃圾考验,我国应采取综合化的方法应对城市生活垃圾。在技术创新的同时,还要建立完善的管理体系,如转移机制、收费机制和减量机制,才能应对未来的“垃圾之战”。
参考文献
[1]“十二五”全国城镇生活垃圾无害化处理设施建设规划[J].中国环保产业.2012(07):4-13.
[2]吴丽.我国城市生活垃圾清运量预测及垃圾处理技术发展趋势研究[D].华中科技大学,2006.
[3]张瑞久,逄辰生.美国城市生活垃圾处理现状与趋势(上)[J].节能与环保.2007(10):16-18.
[4]宾晓蓓,李倩.国内外城市生活垃圾处理现状与处理技术[J].北方环境.2011,23(10):42-44.
[5]宋志伟,吕一波,梁洋,等.国内外城市生活垃圾焚烧技术的发展现状[J].环境卫生工程.2007,15(1):21-24.
[6]李如年.基于RFID技术的物联网研究[J].中国电子科学研究院学报.2009,4(6):594-597.
[7]马文.物联网:建设智慧城市的DNA[J].上海信息化.2011(3):18-21.
[8]李俊杰,宋卫恭,冯中越.模块化理论在城市垃圾处理产业的应用研究――以北京市垃圾处理产业为例[J].首都经济贸易大学学报.2009(03):81-85.
【 关键词 】 物联网;污水监测处理;方案
1 前言
物联网(The Internet of things)是 “物物相连的互联网”,即通过射频技术、红外感应器、全球定位系统等信息传感设备,按约定的协议,把任何物体与因特网连接起来,实现对物体的智能化识别、定位、跟踪、监控和管理的一种智能网络。物联网技术已成为当前各国科技和产业竞争的热点,是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。2010 年“物联网”首次写入政府工作报告,是我国推动经济转型升级和产业结构调整,推动“两化融合”的重要举措。
随着经济的发展,我国的污水排放量已越来越大,已造成地表水的严重污染,环境质量呈现不断恶化趋势。目前全国各地对污染源和排污河渠的水质监测仍停留在手工监测阶段,时间覆盖率低,样品缺乏科学性和代表性,难以反映企业及城市污水排放连续变化的情况。因此在污水的处理方面,提供一个有效、实用、先进的污水监控处理系统和解决方法,极为迫切,势在必行。
2 系统总体设计
本系统基于物联网相关理念和架构进行设计,总体按照物联网架构理论上分为三个层次,从下到上,依次是感知层、网络层和应用层。
感知层:包括所有监测点所需要的专业监测设备,数字电表、数字水表、流量计、重金属离子传感器以及各种气体所用到的专业传感器。感知层要求传感器及其接口设备具有高速、数字化、高精度作为其主要特征。
网络层:包括所有可用于数据传输的网络,3G网络、GPRS网络、WiFi网络及工业以太网将用于将感知层的数据接入后端的应用层。传输层上实现物理链路的互通性,交互协议的稳定性,数据传输的实时性、安全性将成为该层的主要特征。
应用层:主要完成对采集到的各类传感器数据进行快速处理、系统化分析、直观化展示以及海量存储等功能,从而能够实现动态监测和预警,从而预防各类事故的发生,提高应急事件处理效率,及时发现问题、处理问题和解决问题。
3 感知层设计方案
3.1 分析
生活污水处理厂项目主要消耗能源包括电力消耗、水消耗,其生产过程主要是通过生物反应改善水质,生产过程中只消耗电力用于电机等机械设备,并不排放其他有毒废弃物或有毒、有害气体,故监测需求有几种。
A 污水处理用电消耗监测,包括处理污水使用的总电压、总电流、总用电量。
B 溶解氧含量监测,包括污水进水、及排放出水口。
C PH值监测,包括污水进水、及排放出水口。
3.2 传感器及数据变送器
针对上述监测需求,传感器及变送器设计方案有几种。
A 串行连接现有数字化水表及电表设备。
在原有电力总线与水管总线以串行连接方式加装数字式计量装置,装置要求如表1。
B 溶解氧传感器。
溶解氧传感器要求如表2。
C 数据变送器。
数据变送器用于前端传感器的模拟量信号(电流或电压)转换成为标称的数字量信息,以用于数据传输和存储,并向传感器提供必要的电源输出和补偿电压(或电流)。
4 网络层设计方案
本项目工程中传输层主要用于将各类传感器的变送器采集获取的数据传输至后台服务应用平台,为了实现传输层的稳定性、可扩展性以及数据协议的一致性,所有传输层设备均使用统一的接入方式和单一的数据交互协议。
4.1 功能
数据传输节点是传感器节点与后台服务应用之间的桥梁,其主要功能包括通过MODBUS协议将传感器数据采集至节点上进行数据处理及封装;通过数据传输节点进行数据采集频率的控制;对数据进行校验及加密;对数据进行缓存;提供统一的Internet物理链路,方便系统扩展与维护。
4.2 网络选择
针对目前项目中的三种场景,采用GSM/GPRS网络作为首选数据传输网络,该网络具有一定的数据带宽及较高的覆盖范围,无需铺设网络线路,同时对于较为复杂的电磁环境能够进行稳定传输,包括建筑物阻隔等无线传输障碍问题都能很好的应对,从最大程度上保证了物理链路的稳定性与可靠性。
(1) 硬件需求
根据项目需求及网络特性,数据传输节点硬件需求如表3。
5 应用层设计方案
应用层所需硬件系统主要用于处理、存储、展示感知层所采集的物理数据,按照功能可分为Web服务器、数据存储服务器、数据响应处理服务器,硬件系统组织及功能如图1所示。
目前服务器硬件平台技术已非常成熟,商业级服务器即可满足项目需求。
6 结束语
采用物联网技术实现无线传感网络中信息的传输,通过传感器采集的信息来监测污水情况,并采用行之有效的方法进行污水处理,实现实时、精确的污水处理监测。基于物联网技术应用在污水处理上是行之有效的方案,将进一步促进物联网在环境保护领域的应用,推动环境保护整体水平的提高。
参考文献
[1] 赵静,王岩等.物联网在农业病虫灾害中的应用[J].通信技术,2010,11(43).
[2] 沈苏彬,范曲立,宗平等.物联网的体系结构与相关技术研究[J].南京邮电大学学报,2006,29(6).
[3] 任丰原,黄海宁,林闯.无线传感器网络[J].软件学报,2003,14(7).
[4] 王向明,黄文.上海市环境监测质量管理规划探讨[J].环境监测管理与技术.
[5] 周明,黄作维.基于GPRS技术的生态环境监测系统设计[J].计算机测量与控制,2010,18(5).
作者简介:
[关键词]物联网架构;智能信息;处理;关键技术
中图分类号:G72 文献标识码:A 文章编号:1009-914X(2016)08-0365-01
信息的交换、通讯的发展是物联网架构关注的主要问题,科技的发展使各种电子设备制造的实现成为可能。目前市面上出现的射频识别、红外感应器、GPS以及激光扫描仪等各种设备,他们能够为物联网的信息交换、工作传递提供支持。而我们的目的是把物联网上的物品和现实生活中要处理的工作紧密的合为一体,通过网络定位、跟踪和识别等技术来保证工作的顺利开展。智能信息处理技术能够处理大量的数据信息,智能信息处理技术和原有的信息处理方式比较起来,它的效率大大的增加。因此智能信息处理技术成为目前物联网技术的重要组成部分,所以我们要大力发展物联网架构和智能信息处理理论与关键技术。
1 物联网技术的特点
1.1离线特征
离线特征是物联网技术所具有的主要特征,具体的表现形式如下:技术人员在对飞机装置进行检查时,首先要检查飞机上的各个设备是否能正常运转;同时检查工作要迅速进行,在靠近检测物体之后就要立即完成;工作人员在完成以后进入控制室,把相关的资料交给领导。这就是物联网的离线特征,离线特征指的是物联网技术在物体上的应用中处于离线状态,但这种离线状态和WSN(Wireless Sensor Network即无线传感器网络)的离线状态有着明显的不同,他们之间的不同点主要是:物联网里面的数据链路和节点是失效的,而WSN中的数据链路和节点是完好的。
1.2海量信息
物联网架构含有的数据信息众多,但是他们对于不同物体的计算、存储和处理的能力具有很大的不同。经过这么多年的发展,物联网体系已经由以前结构单一的RFID(Radio Frequency Identification即射频识别技术或者无线射频识别)变为如今的较强处理能力的视频感知器。物联网架构含有的数据信息众多,因此对这些繁杂信息的处理成为我们目前面临的主要难题。目前我们的处理办法是通过WSN进行物联网的连接,但这种设备只适合规模较小的企业使用,难以满足大型企业的需要;所以我们当前的主要任务还是要结合现实情况大力的增加储存信息,这样才能提高大型企业的物联网应用效益。
1.3语义互操作
物联网技术的另一个重要技术就是语义互操作技术,语义操作技术目前已经成为物联网技术发展最重要的内容之一,它的具体表现形式如下:物联网里面有一个能够感知冷热的温度计,温度感知器在一定的环境中会产生相应的数值,相关的设备会把这个数值上传到数据系统中。因此就要有语义互操作技术作为技术支持,语义互操作技术是代表温度的相关代码程序,它能够明确的表示出当前温度指示情况。WSN应用系统也要通过语义互操作技术来执行相关的命令,否则可能会出现物联网瘫痪的情况,因此我们要大力发展语义互操作技术以满足当前的需要。
2 物联网的基本构架类型
物联网的构架类型分为以下几种:RFID物联网应用架构、分析传感网络应用架构和智能信息处理等等,具体情况看以下方面:
2.1 RFID(Radio Frequency Identification)物联网应用架构
物联网是连接RFID的主要形式,具有促进RFID发展的巨大作用。无线射频启动识别操作之后,系统将自动转换成另外一种类型模式。产生的新的类型模式具有以下几方面的特点:灵活性强、安全性高、能够自然转化智能物件和提高物件的可靠性等优点。而产生的新物件能够智能识别人的各种操作。无线射频技术主要应用在移动和非移动的物体上.将他们通过一系列的口令紧密的连接在一起,从而保证管理类型和发展目标的具体实现。
2.2分析传感网络应用架构
分析传感网络包括无线传输网络和人体传感网络两个方面,传感网络应用架构在不同的网络范围中起到不同的作用。目前的WSN多以无线传感器作为主要传感原件,但是加上无线传感器以后,在具体的工作过程中传感网络的温度、声音和压力等方面会产生很大的波动状况,这样将会给工作开展带来困难。而如今的无线传感器网络以自我调节作为主要传感方式,在具体的工作环境下有以下几方面的优点:数量众多和密度大。它还能够进行广播服务.在各个节点部位还可以储存海量数据。所以目前我们要大力的进行节点处的科研,加大节点的存储数据能力,从而完善分析传感网络的物联网应用架构。
3 智能信息处理理论与关键技术
智能信息处理技术作为物联网架构最主要的组成部分,它能够清楚准确的表达物联网的知识和情景感知等方面的内容。人工智能信息的处理中最重要的部分也是智能信息处理技术,这种技术涵盖和横跨多个科学技术领域,特别是计算机相关科学和情报学领域,对社会的发展起着巨大的推动作用。
工作人员在进行设备的准备布置之前,首先要详细的了解设备的检测时间和基本类型等相关的情况,以便后续操作的进行。我们需要在掌握物体出发事件信息的类型的前提下,才能进行相关数据的处理,数据信息处理完成我们就能够后正确的了解事件的种类,之后就可以通过上面讲到的RFID(Radio Frequency Identification)和WSN(Wireless Sensor Network即无线传感器网络)等技术进行自然语言、数字语言之间的转换,最后将转换好的数据储存在计算机的硬盘里即可。计算机系统在收到储存的数据以后,就能通过智能信息处理技术把上述的数据清楚的展现在屏幕上,便于我们清楚的了解各个设备的工作流程;工作人员同时就能通过电脑反馈过来的情况对相应的问题进行解决,保证整个物联网系统的有序的运行。
智能信息处理技术的主要工作是,收集和处理整个系统中出现的信息流传的信息。智能信息处理技术在获取相关的数据信息以后,就开始处理这些信息,处理完之后把信息交给客户查看,最后再利用这些信息来解决客户所面临的问题。智能信息整体化处理需要分为几个步骤,一般有以下几方面组成:多阶段信息收集、表达和量化处理。另外处理信息的服务器应该有巨大的承载能力,使他能够应对庞大的工作量带来的需求问题。
4 结语
物联网成为我国各行各业持续发展必不可少的技术之一,通过近些年的探索尝试已经取得不少的成果,但在实际的应用过程中仍然存在着很多的问题,所以我们当前的任务就是提高科研水平来解决相关难题。我们要紧紧抓住RFID物联网应用架构、分析传感网络的物联网应用架构和智能信息处理这几个方面,制定物联网架构和智能化信息理论技术的未来方向,从而为我国物联网的腾飞和经济的快速高效发展贡献自己的力量。
参考文献
[1]李娜,陈晰,吴帆,李祥珍. 面向智能电网的物联网信息聚合技术[J]. 信息通信技术. 2010(02)
[2]赵志军,沈强,唐晖,方旭明. 物联网架构和智能信息处理理论与关键技术[J]. 计算机科学. 2011(08)
关键词:物联网;海量数据;分布式内存数据库;分布式实时数据库
中图分类号:TP393
物联网技术的不断发展为各个领域的数据化提供了可能,在各个领域中的数据量不断增加。随着各个行业业务领域的不断扩大与信息化的不断深入,数据在企业的所有环节中都得到了广泛的应用。用户在对海量数据进行处理与分析的过程中,对实时性与高效性提出的更高的要求。只有提高含量数据处理与分析的实时性与有效性才能够为企业提供更加准确与详细的市场行情,为企业决策提供可靠的依据,在市场竞争中占据有利地位。物联网中各个子系统所产生的海量的、异构的数据都需要进行统一的处理与存储,因此,海量数据处理方法需要实现多个不同网络、数据源与异构的海量数据进行融合与处理。当前,传统的数据处理技术与数据库管理系统(DBMS)已经不能够满足物联网海量数据处理与存储管理的需求了。因此,本文重点分析与研究了基于物联网海量数据处理的数据库技术,包括分布式内存数据库技术与分布式实时数据库技术两种。
1 物联网数据所具有的特性
物联网(Internet of Things,IOT)指的是在物品上置入内嵌电子标签或传感器,通过这些对物品或者环境的信息进行获取,之后通过无线网络将收集到的信息向后台信息处理系统进行发送,各个信息系统之间通过互联的方式形成网络,通过这个网络实现对物品的跟踪、对环境的监测等智能化管理。
在现实情况中,物体在数量方面非常庞大,在形式方面非常多样,而且还一直处在变化之中,外界环境对其造成的影响较大。因此,物联网中的数据具有以下几个方面的特点:
1.1 物联网数据具有海量性的特点
物联网系统中通常会包含一个或者多个无线传感网络,这些无线传感网络中包含了超多的传感器节点。这些传感器节点持续地产生新的采用数据,而且数据的类型是多种多样的,不仅包括数值类采样数据,而且包括多媒体采样数据。此外,物联网系统中还会将所采集的数据进行一定时间的存储,为原处理的追溯与数据的挖掘分析提供便利。举例来讲,假设物联网系统中包含10,000个节点,每秒钟进行一次存储,每次单点占据10个字符,10年之后物联网系统中所包含的数据量将达到10,000×10×10×365×86400=31,536,000,000,000字节,而这仅仅是较为简单的数值类型数据。因此,物联网数据具有了海量性的特征。
1.2 物联网数据具有异构性的特点
传感器件在物理特性、产品特性以及系统设计等方面都存在一定的差异性,导致其采集生产的数据在类型、进度与数量方面都存在不同。这就导致了物联网数据存在多种模式,较难进行统一。例如在智能交通中,需要实现的功能包括车辆GPS定位、RFID车牌识别、路况信息、违章电子照相等,在这些功能实现的过程中通常需要种类较多的传感器,导致产生的简单数值类型数据、多媒体图像视频类型数据等异构数据。
1.3 物联网数据具有数据多维性与数据关联性的特点
物联网数据所具有的多维性特点是其较为重要也是非常必要的特点之一,视域普通的互联网数据进行区分的重要特性。物联网系统在对原始数据进行采集的过程中,默认的状态属性包括time(时间)、space(空间)、devicestamp(设备戳)。此外,物联网的物理对象并不是相互独立的,各个对象之间存在着各种不同的管理属性。例如智能电网中的用户在物理电网中的相对位置会对用户之间的关系和关联程度造成影响。物联网数据与数据属性是一个整体,缺一不可,如果没有数据属性,物联网数据就失去了代表意义。因此,数据的传输、存储与使用的过程中都应该注重属性的完整性与正确性。
1.4 物联网数据具有实时性与动态化的特点
物联网应用具有非常强的实时性,例如RFID系统、WSN系统等,都是对实时数据进行采集,在一定周期内向服务器进行数据发送。物联网系统中要对某个监控对象在某一时刻的物理状态进行查询时,仅仅依靠某个时间关键词的匹配很难实现,主要是由于数据采集具有一定的周期性。为了提供数据查询处理的有效性,应该将监控对象的采集数据形成数据序列,对监控对象制定时间的物理状态进行计算。在数据不断更新的过程中,所形成的采集数据序列也处于不断的动态变化中。
2 物联网海量数据处理中的重要技术
在物联网中包含了种类非常繁多的感知设备,这些设备所属的网络类型都是不同的,物联网在进行海量数据处理的过程中,需要采用能够对不同类型网络、不同数据源及异构含量数据进行融合的处理方法,在对海量数据进行处理的过程中进行有价值信息筛选,并对其进行有效的分析与应用。
2.1 物联网含量数据处理中的多源数据融合技术
在物联网中,如果信息获取的节点不同,这些信息的数据类型特征也不同。在对多源异构海量信息进行处理的过程中,需要实现层次化表达数据结构与本体标准的统一,以此作为标准的多元数据信息融合格式。实现多源数据融合技术与数据聚类技术、度量技术、时空转换技术等方面的有机结合,实现多源数据的一体化有效利用。
2.2 物联网海量数据处理中的数据存储、检索与查询技术
在物联网中部署了非常多的感知设备,对物联网中的数据进行采集,由于物联网中所包含的信息量巨大,采集的数据规模往往处于TB甚至是PB的级别。对物联网中海量数据的存储技术、检索技术与查询技术进行研究,能够促进海量数据处理的集中性与有效性,对这些数据实现高效的管理,将用户定制的数据进行实时、准确的传输,从而实现技术与用户信息系统的有机结合。
2.2.1 物联网海量数据存储技术
在物联网中,海量数据存储所采用的是就近存储原则,以全局摘要视图节点为中心,接收所有数据归档节点的数据分布情况报告。数据归档节点首先要向全局摘要视图节点发出查询请求,全局摘要视图节点对数据所在网络节点进行快速定位,通过这种方式能够避免物联网中出现信息泛洪式查询的情况。如果存储磁盘的设计容量已经耗尽,则需要对数据进行回收,在数据回收的过程中,首先要对查询历史进行统计,对当前系统存储容量进行核算,在此基础上为不同类型的数据动态地配置生存的周期,如果数据已经超过了配置的生存周期,那么这些数据就会被新增加是数据所覆盖。在物流网中,数据具有单次写入、较少修改、多次阅读与从不删除的特点。因此,单个网络节点在对数据储存技术进行选择的过程中,应该选择非关系数据库技术。
2.2.2 物联网数据索引技术
物联网中的数据分为两种类型,一种是时态流数据,另一种是空间流数据。物联网中依据数据的类型实现最优索引算法的自动创建。时态流数据主要采用间隔查询的查询类型,而空间流数据则通过操作方式的查询来对区域中所有符合条件的对象进行寻找,从而实现最佳索引的建立。
3 物联网数据库技术应该满足的要求
3.1 数据库技术的数据、数值及索引要求
物联网中存在着非常巨大的数据大小与数值范围,同时物联网系统中包含了多种类型风格不同的数据对象,在对这些数据进行处理的过程中,一方面要实现数据库编目管理,另一方面还要注重数据索引管理,这就对数据库的实时性提出了更高的要求。
3.2 数据库技术的查询语言要求
传统的数据库管理系统查询语言为结构化数据,这种查询语言已经不能够满足当前的需求了。可扩展标记语言(XML)所能够提供的数据表达方式具有更加松散的结构,同时能够对自定义数据描述进行支持。这种可扩展标记语言能够实现对文档及网页的整合,同时还能够查询关系数据库数据源等。
3.3 数据库技术的多相性与完整性要求
物联网中包含了众多的节点,这些节点包括感知节点与网络节点,不同节点的数据保存方式也是不同的。随着物联网中数据量与系统类型的快速增加,物联网实施数据库面临着更加严峻的异构性与互操作性问题。
3.4 数据库技术的时间序列聚集要求
传统的查询语言已经不能够适合时间序列数据的查询了,需要依据时间有序方式对物联网中实时数据进行组织与存储,能够进一步促进查询任务性能的提高、快速查询相应的提高。物联网中的实时数据具有时序特征,最佳的时间采样周期依赖于数据性质与应用领域,物流网中的实时数据库查询设备需要能够对数据进行连续的采用服务。
4 物联网实时数据库
4.1 分布式内存数据库技术
分布式数据库是在传统数据库技术与网络技术相互结合的情况下产生的,分布式数据库在物理空间的分布方面具有分散性,在计算机网络中的各个节点中进行分布,但是在逻辑方面具有同一性,是同一个系统中的数据结合,分布式数据库系统架构如图1所示。分布式内存数据库技术的特点包括:对具备物理空间自治性与逻辑全局共享性;第二,数据的冗余性与数据的独立性;第三,系统的透明性等。分布式数据库管理系统所采用的控制方式为全局控制集中、分散与部分分散方式;分布式数据库管理系统的主要组成部分包全局数据库管理系统、通信管理、全局数据字典、局部场地数据库管理系统等;分布式数据管理系统的主要功能包括局部应用的执行、局部数据库的建立与管理、场地的自治、全局事物的协调、分布透明性的提供、局部数据库管理系统的协调、更新的同步等。当前,数据库技术发展最为明显的特征为实现了数据库技术与网络通信技术、人工智能技术与并行计算技术之间的渗透与融合。
图1 分布式数据库系统架构
分布式内存数据库管理系统中,需要满足的要求包括:第一,各个网络节点中做包含的内存数据库要保持自治性;第二,内存数据库要实现集群化特征,通过垂直切分策略、读写分离策略及水平切分策略等实现海量数据的存储;第三,注重多种数据切分方式的结合,总体上采用垂直切分策略,在此基础上采用水平切分策略,依据应用与数据的具体情况选择不同的切分方式;第四,各个节点内存数据库之间要实现相互协调,所有的节点数据库都能够用作其他节点的服务端;第五,数据分布要保持一定的透明性,对数据的分布性与数据库的协调性进行满足,对物联网海量数据实时处理需求进行满足。第六,内存数据库必须具备持久性,如果内存数据库中的数据出现了变化,需要将这些变化复制到磁盘数据库中,通过两级数据库确保其持久性。
4.2 分布式实时数据库技术(DRTDBS)
分布式实时数据库技术是以云技术为基础的,其架构图如图2所示。分布式实时数据库技术指的是将数据库技术与云计算技术之间进行相互的融合,利用分布非常广泛的云计算中心服务器建立分布式实时数据库,实现数据库规模的可扩展与可伸缩,实现数据库管理系统的可靠性与可维护性。分布式实时数据库技术中主要的功能包括数据检索与处理压缩、数据存储虚拟化、内容分发网络、冲突处理、事物调度、负载均衡、故障监察、故障恢复等。
图2 分布式实时数据库架构
在分布式实时数据库的构架中,数据采集器与数据库服务器节点服务部件在进入分布式通讯服务平台是都是通过平台的中间件接口来完成的,在分布式通讯服务平台中实现与其他服务组件之间的交互过程。分布式实时数据库中的组件都是通过服务的方式实现与其他功能部件之间的连接与调用,从而能够自由的、高效的进行数据交互。此外,组件在分布式通讯服务平台中还能够实现与其他接入平台的节点进行通讯连接,分布式通讯服务平台接口还能够实现数据收发的功能。分布式通讯服务平台利用平台内部所具有的缓冲队列与异步调用机制,实现了无论接收节点处于何种状态,节点都可以进行数据发送,接收节点在数据接收的过程中采用信息回调方式。分布式数据存储平台如图3所示。
图3 分布式数据存储平台
数据采集器、数据服务器所需要的数据存储服务、数据检索服务的各个组件在云计算的基础之上接入到分布式通讯服务平台中,最终形成的统一的数据库存储服务与数据库检索服务,同时这些服务还能够对外进行提供,改变了传统的单台实时数据处理服务器所具有的孤岛模式,实现了分布式数据存储功能与数据检索功能系统的去中心化与对等化。不同的数据采集器或者是数据服务器对数据进行采集,并将采集获得的这些实时数据通过服务平台进行发送,最终发送到统一的数据存储服务功能模块中进行存储。客户端通过分布式通讯服务平台的接口或者WEB服务器与通信服务平台进行连接,向统一数据查询服务器提出数据查询服务的申请并进行查询。服务器节点通过分布式通信服务平台向其他的节点进行数据的发送,如果数据发送成功,则意味着数据写入成功;当接收节点接收到数据之后,在接收的过程中需要利用毁掉接口来完成。
5 结束语
本文在研究物联网海量数据特征的基础上对物联网海量数据处理关键技术及物联网实施数据库要求进行了列举,重点分析了分布式数据库技术与云技术实施数据库技术在物联网海量数据处理过程中所发挥的作用。首先,分布式内存数据库系统中包含多个节点数据库,这些节点数据库都保持着一定的自治性、数据分布性与数据库协调性,与数据分布所具有的透明性相互结合之后能够实现数据库平衡改进,更好地满足了物联网海量数据实时处理的要求。其次,分布式存储技术与云计算技术的相互结合形成了分布式实时数据库技术,多个数据采集器与数据服务器的数据存储部件与数据检索部件在云服务平台的基础上形成短路数据存储与数据检测服务,能够更好地满足物联网海量数据处理的要求。通过对基于物联网海量数据处理的数据库技术分析与研究,对物联网应用领域的延伸与推广提供了推进作用,进一步促进了海量数据的进一步挖掘。
参考文献:
[1]魏笑笑.基于RFID的物联网技术在农产品安全领域中的应用研究[J].安徽农业科学,2011(54):15150-15152.
[2]刘书伦,程亚维.基于物联网技术的产业集聚区服务平台研究[J].吉林工程技术师范学院学报,2014(53):88-90.
[3]朱洪波,杨龙祥,金石.物联网的协同创新体系与智慧服务产业研究[J].南京邮电大学学报(自然科学版),2014(01):1-9.
[4]黄健,冯暄,翁凯.DCQD:一种物联网高性能数据采集平台的设计与实现[J].四川大学学报(自然科学版),2014(42):707-712.
[5]袁磊,赵俊三,李红波.物联网空间数据仓库框架体系及关键技术分析[J].地理信息世界,2013(43):58-62+80.
[6]韩海雯,齐德昱,封斌.基于云计算与物联网技术的港口物流综合服务平台架构研究[J].计算机科学,2013(48):232-235+261.
[7]张桂刚,毕娅,李超.海量物联网数据安全处理模型研究[J].小型微型计算机系统,2013(54):2090-2094.
[8]丁治明,高需.面向物联网海量传感器采样数据管理的数据库集群系统框架[J].计算机学报,2012(75):1175-1191.