申请日2017.08.28
公开(公告)日2018.01.09
IPC分类号G01N21/64; G06N3/04; G06N3/08
摘要
翻译
提供了一种基于荧光水纹和荧光数据深度挖掘的污水厂尾水排放实时监测方法与系统，带有荧光探头的荧光分光光度计实时测量水样的三维荧光原始数据，采用平行因子分析(PARAFAC)提取水样有效荧光组分，从而更为准确、全面地表征水体溶解性有机物结构特征和强度大小，并使用SOM神经网络对PARAFAC荧光组分数据进行训练，观察输出敏感神经元和所述分布空间，进行水样快速归类，实时评估尾水排放的状态(正常、异常)。本发明分析监测方法实时反映污水厂尾水排放状态，控制灵活、自动化程度高，运行操作简单，运行成本低，在发生尾水排放异常时候能及时自动报警和掌握现场情况，为尽快进行污水厂工艺调节提供依据，确保污水厂稳定运行。
权利要求书
1.一种基于荧光水纹的污水厂尾水排放实时监控系统，其特征在于：
(1)尾水的原始三维荧光数据实时获取。
荧光分光光度计通过光纤适配器连接光纤探头，光纤探头置于污水厂尾水排放口中，实时获得尾水的原始三维荧光光谱数据。
(2)数据预处理。
实时三维荧光光谱仪将数据传送给计算机处理系统。基于Matlab对荧光数据进行预处理，消除瑞利和拉曼散射干扰，提高光谱解析效率。
(3)PARAFAC提取。
基于MatLab和DOMFluor软件平台，采用平行因子分析(PARAFAC)对三维荧光光谱进行解析，获得有效荧光组分数，并提取PARAFAC有效荧光组分，快速识别水质特征，实现荧光信息的“数学分离”。
(4)数据导入和SOM神经网络的初次构建。
将PARAFAC提取出来的有效荧光组分强度作为输入向量导入SOM神经网络，并进行SOM神经网络的初次构建。
(5)水样判别和归类
通过SOM网络的训练，获得各水样所对应的神经元信息，根据神经元所处的位置进行尾水水质判断和模式识别，判断尾水 排放是否正常。
2.基于权利要求1所述的方法，其特征在于：尾水为城市污水处理厂生化处理二级出水、或经过三级处理后出水，污水主要是城市生活污水，允许含少量工业废水，出水水质满足《城镇污水排放标准》一级B排放标准，氨氮≤15mg/L、COD≤60mg/L、总磷1mg/L、总氮20mg/L。
3.基于权利要求1所述的方法，其特征在于：荧光分光光度计带有实时荧光数据获取功能，光纤探头置于污水厂尾水排放口中，通过光纤适配器与荧光分光光度计连接。原始三维荧光光谱测定参数为：PMT电压800V，激发和发射波长(Ex/Em)为220-450/280-550nm，波长误差±1nm，狭缝宽度5nm，扫描速度12000nm/min，单次扫描时间小于1min。
4.基于权利要求1所述的方法，其特征在于：三维荧光光谱数据为高阶矩阵，以csv格式储存。基于Matlab对实时获取的原始三维荧光光谱数据进行预处理，将荧光区域(Ex，Ex±20nm)内的荧光强度置零，以清除一级、二级拉曼散射的影响，同时将数据中瑞利散射上方数据(20nm范围内)置零，以避免瑞利散射的干扰。
5.基于权利要求1所述的方法，其特征在于：基于MatLab和DOMFluor软件平台，实时采用平行因子分析(PARAFAC)提取三维荧光数据中的PARAFAC有效荧光组分，并获得各荧光组分的载荷得分(Fmax)，作为当前组分的荧光强度。
PARAFAC是一种高阶数据迭代算法，可以将三维荧光数据矩阵分解为3个具有实际意义的矩阵：A、B和C。原理及公式见式1。
式中：xijk为成分数;ain、bjn、ckn分别代表大小为I×N、J×N和K×N具有清晰物理意义的成分矩阵A、B、C的元素，eijk为残差立方阵的组成元素。
在荧光监测系统第一次启用初期，当数据采集次数超过100次时，开始构建PARAFAC荧光水纹模型。采用不同组分数(2-10个)的PARAFAC模型对荧光数据进行拟合，为避免陷入局部最优解，利用矩阵的奇异值分解(SVD)产生初始值，构建出来的一定组分数的PARAFAC模型采用半劈裂分析(Split-half analysis)、残差和负荷分析进行验证，获得通过验证的PARAFAC荧光组分数N，最终在此基础上构建得到N个有效荧光组分的PARAFAC荧光水纹模型。
6.基于权利要求1所述的方法，其特征在于：将当前水样的PARAFAC荧光组分强度(N个)作为输入层，输入SOM神经网络。在荧光监测系统第一次启用初期，当数据采集次数超过100次时，计算机系统将100个水样的PARAFAC荧光组分强度(100×N个)作为输入层构建SOM神经网络模型。模型构建包含：数据标准化、SOM网络初始化、SOM网络训练、SOM网络聚类分析4个步骤，模型输出层包含一定数量神经元，每个神经元同它周围的其他神经元侧向连接，排列成棋盘状平面，通过Davies-Bouldin聚类判别方法，将神经元的分布分成两类：正常神经元、异常神经元，分别代表尾水正常排放、和异常排放两种情况。
7.基于权利要求1所述的方法，其特征在于：针对每个数据采集输入进来的水样PARAFAC荧光强度，通过SOM网络的训练，观察输出的敏感神经元和所述分布空间，进行水样快速归类，实时评估尾水排放的状态(正常、异常)，并在水样异常时在计算机终端系统实时响应。
8.基于权利要求1所述的方法，其特征在于：监测系统正常使用时，每个月重新构建一次基于PARAFAC和SOM的荧光水纹模型，水样原始数据为过去半年/1年范围内随机抽取的500个水样三维荧光光谱数据。
说明书
一种基于荧光水纹的污水厂尾水排放实时监测方法与系统
技术领域
本发明涉及一种基于荧光水纹和荧光数据深度挖掘的污水厂尾水排放实时监测系统，属于污水厂运营管理和水环境监测领域中的分析方法。
背景技术
随着人口的增长和国民经济的发展，水资源供需矛盾日益突出。目前，城市污水处理厂排放出来的尾水除少部分回用外，大部分直接排放到污水厂附近的水域。尾水是经过污水处理厂的生化处理后的污水，尾水水量大，含有氮磷、有毒有害物质、病源微生物等，在其排放到环境水体后会对地表水体和地下水等水质和生态产生影响。按照每年中国污水厂排放尾水700亿吨左右计算(一级A排放标准)，会向外排放347.72万吨的COD、3.47万吨的总磷、104.31万吨的总氮和34.77万吨的氨氮。因此对污水厂尾水进行实时监控，确保污水厂尾水达标排放，具有重要的环境意义和社会价值。
当前污水处理厂通常根据国家排放标准进行监测检测分析，包括氨氮、总磷、总氮、COD等。大部分污水厂采用每日人工监测分析的方式，费时费力，无法实时反应尾水中污染物浓度的变化;此外COD等指标只是水中有机物的表观指标，无法对有机物的结构特征和强度大小进行充分表达。因此急需一种监测分析方法，对尾水中有机物能够实时监测并反映水中污染物结构特征和浓度大小。
水中溶解性有机物(DOM)在特定波长的激发光照射下会发出特定波长的发射光，不同类型具有不同的位置，因此三维荧光光谱(EEMs)可以用来表征水中DOM的组成，并且就像指纹一样与水样类型对应，称为“荧光水纹”。作为新兴的水体污染物分析技术，三维荧光光谱具有灵敏度高、不破坏样品结构等优点，广泛应用在污染物定性定量分析、河流湖泊水体检测、污染物溯源等领域。此外配有光纤探头的三维荧光光谱仪可实时在线获取荧光数据，适用于水处理工艺过程控制、环境水体在线监测与预警。
对水体的荧光水纹进行识别和判断时，通常使用“寻峰法”对荧光基团进行定性分析。但是单纯寻峰法无法对相互重叠的荧光峰进行解析，从而增大了荧光基团定性分析的难度。同时三维荧光光谱数据属于海量高阶数据，如何从海量高阶数据中提取出有效的信息并进行水样水质评价，依旧是一个需要解决的问题。
发明内容
针对三维荧光峰相互重叠影响水质定性定量分析、以及污水厂现有分析手段费时费力的弊端，本发明提供了一种基于荧光水纹和荧光数据深度挖掘的污水厂尾水排放实时监测系统与方法，带有荧光探头的荧光分光光度计实时测量水样的三维荧光原始数据，采用平行因子分析(PARAFAC)提取水样有效荧光组分，从而更为准确、全面地表征水体溶解性有机物结构特征和强度大小，并使用SOM神经网络对PARAFAC荧光组分数据进行训练，观察输出敏感神经元和所述分布空间，进行水样快速归类，实时评估尾水排放的状态(正常、异常)。本发明分析监测方法实时反映污水厂尾水排放状态，灵敏度高，快速简便。
本发明为实现上述目的，采用如下技术方案：
(1)尾水的原始三维荧光数据实时获取。荧光分光光度计通过光纤适配器连接光纤探头，光纤探头置于污水厂尾水排放口中，实时获得尾水的原始三维荧光光谱数据。
(2)数据预处理。实时三维荧光光谱仪将数据传送给计算机处理系统。基于Matlab对荧光数据进行预处理，消除瑞利和拉曼散射干扰，提高光谱解析效率。
(3)PARAFAC提取。基于MatLab和DOMFluor软件平台，采用平行因子分析(PARAFAC)对三维荧光光谱进行解析，获得有效荧光组分数，并提取PARAFAC有效荧光组分，快速识别水质特征，实现荧光信息的“数学分离”。
(4)数据导入和SOM神经网络的初次构建。将PARAFAC提取出来的有效荧光组分强度作为输入向量导入SOM神经网络，并进行SOM神经网络的初次构建。
(5)水样判别和归类。通过SOM网络的训练，获得各水样所对应的神经元信息，根据神经元所处的位置进行尾水水质判断和模式识别，判断尾水排放是否正常。
所述的污水厂尾水为：城市污水处理厂生化处理二级出水、或经过三级处理后出水，污水主要是城市生活污水，允许含少量工业废水，出水水质满足《城镇污水排放标准》一级B及以上排放标准，氨氮≤15mg/L、COD≤60mg/L、总磷1mg/L、总氮20mg/L。
所述的荧光分光光度计技术特点为：荧光分光光度计带有实时荧光数据获取功能，光纤探头置于污水厂尾水排放口中，通过光纤适配器与荧光分光光度计连接。原始三维荧光光谱测定参数为：PMT电压800V，激发和发射波长(Ex/Em)为220-450/280-550nm，波长误差±1nm，狭缝宽度5nm，扫描速度12000nm/min，单次扫描时间小于1min。
所述的三维荧光光谱原始数据预处理方法为：三维荧光光谱数据为高阶矩阵，以csv格式储存。基于Matlab对实时获取的原始三维荧光光谱数据进行预处理，将荧光区域(Ex，Ex±20nm)内的荧光强度置零，以清除一级、二级拉曼散射的影响，同时将数据中瑞利散射上方数据(20nm范围内)置零，以避免瑞利散射的干扰。
所述的PARAFAC荧光组分提取方法为：基于MatLab和DOMFluor软件平台，实时采用平行因子分析(PARAFAC)提取三维荧光数据中的PARAFAC有效荧光组分，并获得各荧光组分的载荷得分(Fmax)，作为当前组分的荧光强度。DOMFluor软件包可从www.models.life.ku.dk免费获得。
PARAFAC是一种高阶数据迭代算法，可以将三维荧光数据矩阵分解为3个具有实际意义的矩阵：A、B和C。原理及公式见式1。
i=1,2,…,I;j=1,2,…,J;k=1,2,…,k
式中：xijk为成分数;ain、bjn、ckn分别代表大小为I×N、J×N和K×N具有清晰物理意义的成分矩阵A、B、C的元素，eijk为残差立方阵的组成元素。
在荧光监测系统第一次启用初期，当数据采集次数超过100次时，开始构建PARAFAC荧光水纹模型。采用不同组分数(2-10个)的PARAFAC模型对荧光数据进行拟合，为避免陷入局部最优解，利用矩阵的奇异值分解(SVD)产生初始值，构建出来的一定组分数的PARAFAC模型采用半劈裂分析(Split-half analysis)、残差和负荷分析进行验证，获得通过验证的PARAFAC荧光组分数N，最终在此基础上构建得到N个有效荧光组分的PARAFAC荧光水纹模型。
所述的SOM神经网络数据输入和模型构建包括：将当前水样的PARAFAC荧光组分强度(N个)作为输入层，输入SOM神经网络。在荧光监测系统第一次启用初期，当数据采集次数超过100次时，计算机系统将100个水样的PARAFAC荧光组分强度(100×N个)作为输入层构建SOM神经网络模型。模型构建包含：数据标准化、SOM网络初始化、SOM网络训练、SOM网络聚类分析4个步骤，模型输出层包含一定数量神经元，每个神经元同它周围的其他神经元侧向连接，排列成棋盘状平面，通过Davies-Bouldin聚类判别方法，将神经元的分布分成两类：正常神经元、异常神经元，分别代表尾水正常排放、和异常排放两种情况。
所述的SOM神经网络水样判别和归类过程包括：针对每个数据采集输入进来的水样PARAFAC荧光强度，通过SOM网络的训练，观察输出的敏感神经元和所述分布空间，进行水样快速归类，实时评估尾水排放的状态(正常、异常)，并在水样异常时在计算机终端系统实时响应。
所述的PARAFAC荧光组分模型、SOM神经网络模型的维护要点为：监测系统正常使用时，每个月重新构建一次基于PARAFAC和SOM的荧光水纹模型，水样原始数据为过去半年/1年范围内随机抽取的500个水样三维荧光光谱数据。
本发明与现有技术相比，具有如下优点和有益效果：
1、能更准确、全面地实时表征水体溶解性有机物结构特征、强度大小，监测及时准确;
2、控制灵活、自动化程度高，运行操作简单，运行成本低;
3、利用计算系统软件平台，实现数据的自动分析和平台展示，在发生尾水排放异常时候能及时自动报警和掌握现场情况，为尽快进行污水厂工艺调节提供依据，确保污水厂稳定运行。