申请日2010.11.08
公开(公告)日2012.05.23
IPC分类号H04L1/00
摘要
本发明提供一种污水厂在线数据编码方法，其特征在于，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类型编号段以及单元编号段。通过对数据进行标准化编码，在数据采集过程中进行一次性配置，从而使数据管理的复杂度大大降低。
权利要求书
1.一种污水厂在线数据编码方法，其特征在于，
对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号 段、数据类型编号段以及单元编号段。
2.如权利要求1所述的污水厂在线数据编码方法，其特征在于，
所述污水厂编号段占5位，所述数据类型编号段占3位，所述单元编 号段占2位。
3.一种污水厂在线数据存储方法，其特征在于，
对利用权利要求1所述的污水厂在线数据编码方法进行编码的数据进 行存储，其中，对在线数据按照数据类型进行分表存储。
4.如权利要求3所述的污水厂在线数据存储方法，其特征在于，
对在线数据中的数字量数据和模拟量数据分表进行存储。
5.一种污水厂在线数据传输方法，其特征在于，
对利用权利要求1所述的污水厂在线数据编码方法进行编码的数据进 行传输，其中，污水厂数据采集终端采用OPC标准通信协议。
6.一种污水厂在线数据传输方法，其特征在于，
对利用权利要求1所述的污水厂在线数据编码方法进行编码的数据进 行传输，其中，根据数据传输网络的网速大小，自动选择数据压缩的方式 对所传输的在线数据进行压缩或者选择不进行压缩后传输数据。
7.如权利要求6所述的污水厂在线数据传输方法，其特征在于，
当数据传输网络的网速低于100k/s时，采用GZip压缩方式进行压缩 后传输;当网速高于100k/s且小于1000k/s时，采用Binary压缩方式进行 压缩后传输;当网速高于1000k/s时，不进行压缩而传输数据。
8.一种污水厂在线数据采集存储装置，其特征在于，
对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号 段、数据类型编号段以及单元编号段，并对在线数据按照数据类型进行分 表存储。
说明书
污水厂在线数据编码方法、存储方法及传输方法、以及污水厂在线数据采集存储装置
技术领域
本发明涉及污水厂在线数据的编码方法、存储方法及传输方法，具体 涉及污水厂在线数据的新型的编码方法，以及基于新型编码数据的数据存 储方法及数据传输方法。
背景技术
截至2009年底，我国累计建成城镇污水厂1993座，污水日处理能力 超过1亿立方米。随着大量污水厂建成并投入运营，对污水厂进行有效的 绩效管理，提高污水厂运营管理水平，成为污水处理行业亟需解决的问题。 市场经济体制下的绩效管理不再是简单的上级对下级的“填表考核”行为， 而是建立对污水厂各部门基础运行数据统计分析的基础之上，通过构建集 过程管理与效果评价为一体的运行绩效管理信息系统，对污水厂运行过程 的内部环节进行科学管理及评价。对污水厂生产数据的有效组织与利用是 一切绩效管理工作开展的前提。由于各污水厂的数据类型、数据量、控制 网络结构等差异性巨大，网络传输性能各异，历史数据随时间线性增长， 给数据的有效管理造成很大困难。对数据进行标准化的管理，构建标准统 一、简单高效、易于维护的数据体系成为绩效管理信息软件系统建设与应 用的核心问题。
目前，大多数污水厂基于工业以太网和通讯技术建立了水厂数据采集 系统，系统采用两层网络结构。
以甘肃省某污水厂的数据采集系统为例，该系统的网络底层采用 PROFIBUS-DP总线，传输介质为PROFIBUS专用电缆，用于连接远程I/O 从站及现场智能设备，选择西门子S7300系列PLC作为主控制器，把生 产现场的各种数据传送到上层网。通信所用交换机选用TP-LINK系列产 品TL-SL2210WEB。上层水厂信息管理网采用工业以太网，用于连接PLC、 操作员站、水厂的调度中心、厂长办公室等，传输介质为光纤，传输速率 为10Mb/s。
但是，上述污水厂数据采集系统所选择的控制网络结构和通信设备不 具备普适性，当污水厂所选PLC控制器厂家型号、自控网络结构、中控室 上位机采集系统的通信机制不尽相同时，通信设备所支持的通信协议也就 可能不适用于数据的传输。因此，不同污水厂的自控网络之间很难统一地 进行数据采集，导致很难对多个污水厂的数据进行统一的有效管理。
不仅如此，污水厂实时数据采集频率较高，数据规模会随着运行时间 的增加而线性增加，不仅给数据库存储能力带来了挑战，而且使数据的查 询分析更加耗时，更新维护更加困难，而现有实施方案要保证较好的网络 配置势必要增加网络租用费用和管理费用的开支。
发明内容
鉴于以上的以往技术中存在的问题，本发明的目的在于提供一种通过 对数据进行标准化编码，在数据采集过程中进行一次性配置，从而使数据 管理的复杂度大大降低的污水厂在线数据编码方法。
本发明的另一个目的在于，提供一种基于上述标准化编码数据的，提 高数据库的存储与检索等效率的污水厂在线数据存储方法。
本发明的再一个目的在于，提供一种基于上述标准化编码数据的，根 据网络传输状况，自动选择数据压缩方式，从而提高了数据传输效率的污 水厂在线数据传输方法。
进而，本发明希望能通过上述方法，建立一个高效率、低冗余的数据 管理机制，以提高数据的安全性、保证数据的完整性、减小网络开销、提 高响应速度，对污水厂数据的标准化管理提供技术支撑。
为达到上述目的，本发明提供一种污水厂在线数据编码方法，其特征 在于，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号 段、数据类型编号段以及单元编号段。
通过对数据进行标准化编码，在数据采集过程中进行一次性配置，从 而使数据管理的复杂度大大降低。
在上述污水厂在线数据编码方法中，优选所述污水厂编号段占5位， 所述数据类型编号段占3位，所述单元编号段占2位。
本发明还提供一种污水厂在线数据存储方法，其特征在于，对利用上 述的污水厂在线数据编码方法进行编码的数据进行存储，其中，对在线数 据按照数据类型进行分表存储。
在上述污水厂在线数据存储方法中，优选对在线数据中的数字量数据 和模拟量数据分表进行存储。
由此，本发明由于采用了上述标准化编码方式，因此能够在大量在线 数据当中，通过确认各项数据中编码的相应位，简单地区分和分类各类型 数据进行存储，大大节约了数字量数据的存储空间。进而，能够更快速地 进行相应项目的检索和擦讯。
本发明还提供一种污水厂在线数据传输方法，其特征在于，对利用上 述的污水厂在线数据编码方法进行编码的数据进行传输，其中，污水厂数 据采集终端采用OPC标准通信协议。
由此，本发明通过对的技术对水厂数据进行了标准编码配置，并且在 采集终端部署OPC标准通信协议，因此，能提高数据的可获取性和易维 护性，从而能够对不同污水厂的自控网络统一且高效率地实现数据采集和 传输。
在这里，OPC(OLE for Process Control)是以OLE(对象链接和嵌 入)/COM(部件对象模型)机制作为基础的，包括一整套接口、属性和方法 的通讯标准。OPC规范了接口函数，不管现场设备以何种形式存在，客户 都以统一的方式去访问，从而保证软件对客户的透明性，使得用户完全从 底层的开发中脱离出来，具有语言无关性、代码重用性、易于集成性等优 点。污水厂通常涉及多个处理单元和不同的种类的数据采集传输子系统， 并且各分散的子系统往往采用不同厂家的设备和方案。用户需要将这些子 系统集成，构建统一的实时监控和综合信息系统，因而需要共享各分散子 系统的数据，统一相应控制指令。OPC为解决上述问题提供了一种开放、 可靠、高效的方法。
本发明还提供一种污水厂在线数据传输方法，其特征在于，对利用上 述的污水厂在线数据编码方法进行编码的数据进行传输，其中，根据数据 传输网络的网速大小，自动选择数据压缩的方式对所传输的在线数据进行 压缩或者选择不进行压缩后传输数据。
在上述污水厂在线数据传输方法中，其特征在于，当数据传输网络的 网速低于100k/s时，采用GZip压缩方式进行压缩后传输;当网速高于 100k/s且小于1000k/s时，采用Binary压缩方式进行压缩后传输;当网速 高于1000k/s时，不进行压缩而传输数据。
数据压缩是在不丢失信息的前提下，缩减数据量以减少存储空间，提 高其传输、存储和处理效率的一种技术方法。常用的压缩方式包括Gzip 和Binary。其中，Gzip对于要压缩的文件，首先使用lz77算法进行压缩， 对得到的结果再使用huffman编码的方法进行压缩。Gzip格式已经成为使 用非常普遍的一种数据压缩格式;Binary是将对象数据以二进制的方式将 对象序列化为二进制编码，经远程传输后在客户端进行反序列化，转化为 数据对象。
各种数据压缩算法在使用过程中要进行压缩与解压缩两个过程，因此 一次应用所需的时间应该是压缩时间、传输时间、解压缩时间的总和，即 T(总)=T(压缩)+T(传输)+T(解压)，解压缩有时间损耗t1，但同时会减少数 据传输量，进而节省时间t2，当t1=t2的时候，我们称之为临界网速v， 如果网络传输速度小于v，t1
由此，本发明通过采用自适应压缩传输的机制，能根据网络条件自动 选择数据压缩方式，以使数据传输效率保持最佳，并且对海量数据的存储 和历史数据的访问建立了一个高效率、低冗余的管理机制，提高了数据的 安全性和响应速度、保证了数据的完整性、降低了网络开支。
本发明还提供一种污水厂在线数据采集存储装置，其特征在于，对污 水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类 型编号段以及单元编号段，并对在线数据按照数据类型进行分表存储。
通过如上所述的本发明的技术方案，可以得到以下的技术效果。
1)通过对数据进行标准化编码，在数据采集过程中进行一次性配置， 从而大大降低了数据管理的复杂度。
2)根据网络传输状况，自动选择数据压缩方式，从而提高了数据传 输效率。
3)通过对标准编码数据进行分类、分表存储，分类建立索引，提高 了数据库的存储与检索效率。