纯随机性检验

原理：

纯随机序列：平稳序列值之间没有任何相关性的序称为纯随机序列，这意味着该序列过去的行为对将来的发展没有丝毫影响。 从统计分析的角度而言， 纯随机序列没有任何分析价值。纯随机序列也称为白噪声序列。

纯随机性检验，又叫白噪声检验，一般是构造检验统计量来检验。常用的检验统计量有Q统计量、LB统计量，由样本各延迟期数的自相关系数，可以计算出检验统计量，然后计算对应的p值，如果p值大于显著性水平\alpha，则表示接受原假设，是纯随机序列，停止分析。

通过python代码来实现对Q统计量的检验。 计算Q统计量和LB统计量都是用python中statsmodels模块中的acorr_ljungbox方法。默认情况下, acorr_ljungbox只计算LB统计量, 只有当参数boxpierce=True时, 才会输出Q统计量。

讯享网

python实现：

from statsmodels.sandbox.stats.diagnostic import acorr_ljungbox qljungbox, pval, qboxpierce, pvalbp=acorr_ljungbox(x, boxpierce=True) for i in range(len(pval)): print('真实数据：qljungbox, pval, qboxpierce, pvalbp:',qljungbox[i], pval[i], qboxpierce[i], pvalbp[i]) 

结果注解：

P值大于0.05，是白噪声序列。

平稳性检验

原理：

如果时间序列在某一常数附近波动且波动范围有限，即有常数均值和常数方差，并且延迟k期的序列变量的自协方差和自相关系数是相等的，或者说延迟k期的序列变量之间的影响程度是一样的，则称该时间序列为平稳序列。

两种检验方法：

a. 根据时序图和自相关图的特征做出判断的图检验，该方法操作简单、应用广泛，缺点是带有主观性；

时序图检验：根据平稳时间序列的均值和方差都为常数的性质，平稳序列的时序图显示序列值始终在一个常数附近随机波动，且波动的范围有界。如果有明显的趋势性或周期性，通常不是平稳序列。

自相关图检验：平稳序列具有短期相关性，所以平稳序列中，只有近期的序列值对现时值得影响比较明显，间隔越远的过去值对现时值的影响越小。随着延迟期数k的增加，平稳序列的自相关系数会比较快的衰减趋向于零，并在零附近随机波动，而非平稳序列的自相关系数衰减的速度比较慢。

讯享网#自相关图 from statsmodels.graphics.tsaplots import plot_acf plot_acf(data).show() #自相关图 from pandas.plotting import autocorrelation_plot x=[random.randint(1, 200) for i in range(data.shape[0])] autocorrelation_plot(x, ax=axes[1]) axes[1].set_title('随机黑子数') plt.show() #偏自相关图 from statsmodels.graphics.tsaplots import plot_pacf plot_pacf(D_data).show() 

b. 构造检验统计量，目前最常用的方法是单位根检验。

单位根检验是指检验序列中是否存在单位根，因为存在单位根就是非平稳时间序列。

from statsmodels.tsa.stattools import adfuller dftest = adfuller(x) # 对上述函数求得的值进行语义描述 dfoutput = pd.Series(dftest[0:4], index=['Test Statistic','p-value','#Lags Used','Number of Observations Used']) for key,value in dftest[4].items(): dfoutput['Critical Value (%s)'%key] = value 

讯享网#输出 Test Statistic -7.e+00 p-value 1.e-11#概率，超过特定值则不能拒绝存在单位根 #Lags Used 0.000000e+00 Number of Observations Used 4.e+01 Critical Value (1%) -3.e+00 Critical Value (5%) -2.e+00 Critical Value (10%) -2.e+00 dtype: float64 

结果注解：

P值大于0.05，为非平稳序列。

建模流程

模型检验

模型拟合后的残差序列为白噪声序列

知识点理解

白噪声序列是平稳序列，无信息可提取；

平稳序列不一定是白噪声序列；

平稳的非白噪声序列：均值和方差是常数，最常用ARMA拟合模型；

非平稳序列均值方差不稳定，一般将其转为平稳序列，可用ARMA；如果一个序列差分后具有平稳性，则该序列为差分平稳序列，可用ARIMA。

python主要的时间序列模式算法函数

acf() 计算自相关系数 —statsmodels.tsa.stattols

plt_acf() 画自相关系数 —statsmodels.graphics.tsaplots

pacf() 计算片相关系数 —statsmodels.tsa.stattols

plot_acf() 画偏相关系数— statsmodels.graphics.tsaplots

adfuller() —对观测值序列进行单位根检验 statsmodels.tsa.stattols//ADF test

diff() —对观测值进行查分计算 pandas对象自带的方法

ARIMA() —创建一个ARIMA序列模型 statsmodels.tsa.arima_model

summary()&summaty2 —给出一分ARIMA模型的报告 ARIMA模型对象自带方法

aic/bic/hqic — 计算ARIMA模型的AIC/BIC/HQIC指标值 ARIMA模型对象自带方法

froecast() —应用构建的时间序列进行预测 ARIMA模型对象自带方法

acorr_ljungbox() —Ljung-Box检验，检验是否为白噪声 statsmodels.stats.diagnostic

python代码

#相对最优模型 data[u'销量'] = data[u'销量'].astype(float) #销量转为float类型 #定阶 pmax = int(len(D_data)/10) #一般阶数不超过length/10 qmax = int(len(D_data)/10) #一般阶数不超过length/10 bic_matrix = [] #bic矩阵 for p in range(pmax+1): tmp = [] for q in range(qmax+1): try: #存在部分报错，所以用try来跳过报错。 tmp.append(ARIMA(data, (p,1,q)).fit().bic) except: tmp.append(None) bic_matrix.append(tmp) bic_matrix = pd.DataFrame(bic_matrix) #从中可以找出最小值 p,q = bic_matrix.stack().idxmin() #先用stack展平，然后用idxmin找出最小值位置。 print(u'BIC最小的p值和q值为：%s、%s' %(p,q)) BIC最小的p值和q值为：0、1 model = ARIMA(data, (p,1,q)).fit() #建立ARIMA(0, 1, 1)模型 model.summary2() #给出一份模型报告 model.forecast(5) #作为期5天的预测，返回预测结果、标准误差、置信区间。 (array([4873. , 4923., 4973., 5023., 5073.]), array([ 73.0, 142., 187., 223., 254.]), array([[4730., 5017.], [4644., 5202.], [4606. , 5341.], [4585., 5462.], [4574.0 , 5573.]])) 

参考文献

纯随机性检验
https://mlln.cn/2017/10/26/python%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97%E5%88%86%E6%9E%90-%E7%BA%AF%E9%9A%8F%E6%9C%BA%E6%80%A7%E6%A3%80%E9%AA%8C/
时间序列分析
https://blog.csdn.net/zjlamp/article/details/
https://www.cnblogs.com/jfdwd/p/9252539.html
模型检验
https://wenku.baidu.com/view/3ea62a6b0812a21614791711cc7931b764ce7b46.html