[发明专利]一种观测实验数据异常值的实时剔除方法

摘要

本发明提供一种观测实验数据异常值的实时剔除方法，包括：对某一变量集X已有的实验数据进行统计，确定异常值门限；根据异常值门限按给定的工程用数学模型实时检测剔除实验数据异常值。本发明通过对连续变化的待观测变量的历史实验数据进行统计，确定异常值门限，再由动态处理数学模型对实验系统观测的当前实验数据进行实时动态判断，可判断其中的异常值并将异常值剔除，有助于更真实的评估、预测或还原真实的待观测变量。本发明提供的方法不受使用条件限制，适用范围更广，提供了一种有效的观测实验数据中异常值的动态处理方法。

主权项

1.一种观测实验数据异常值的实时剔除方法，其特征在于包括以下步骤：步骤一：对某一变量集X已有的实验数据进行统计，确定异常值门限，具体步骤如下：步骤101，以{xi i＝1，2，......k}表示在以往实验中得到的对应变量集X的实验数据，可视为一个时间序列，以公式(1)表示序列{xi}前后两点差的绝对值：Yi＝|xi+1‑xi|；  (1)再按从小到大的顺序排列，即Y(1)≤Y(2)≤...≤Y(m)≤...≤Y(k‑1)；  (2)步骤102，确定异常值检出水平σ，σ取值范围为1‰～10‰；步骤103，利用公式(3)计算异常值门限的排序：b＝σ×(k‑1)  (3)上式中参数b表示按照检出水平σ计算，对应变量集X的参与统计的k个历史实验数据中异常值的数量，设m为大于等于“2×b”的最小正整数，则m即为异常值门限在(2)式中的排列顺序；步骤104，确定异常值门限，根据异常值门限的排列顺序，由(2)式可得到对应变量集X历史实验数据的异常值门限值Y(m)，将Y(m)视作变量集X的异常值门限；步骤二：根据异常值门限按给定的工程用数学模型实时检测剔除实验数据异常值，步骤如下：步骤201，设对应步骤一中的同一个变量集得到的实时实验数据时间序列为{x_i i＝1，2，......n}，x_n为时刻n观测到的实验数据，为对x_n进行异常值检测及剔除处理得到的结果，则根据公式(4)记录并处理实验数据中连续出现异常值的情况： 式中a(n)是对应变量集X的原始实验数据{xi}中连续出现的异常值的数量，a(n)的初值为0，即代表第一个观测数据认为是正常值；对于后续的观测数据，若其与前一点的异常值检测剔除处理结果之差的绝对值小于异常值门限Y(m)，则判定当前观测点观测的实验数据为正常值，对应异常值数量a(n)为0，否则a(n)累加1；步骤202，根据公式(5)确定实时观测的实验数据的异常值检测处理结果： 当a(n)不为0时，判定x_n为异常值，若x_n为异常值，则将x_n剔除，并将n‑1时刻的异常值处理结果作为n时刻的实验数据观测值；当a(n)为0时，则判定若x_n为正常值，则不进行剔除处理。