基本概念

时间序列是什么？

定义：时间序列数据是按时间排序的观察序列，是目标在不同时间点下的一系列观察值。

所有的时间观察序列数据可以被标记为： $z_1,z_2,…,z_T$ , 可以当作T个随机变量的一个实例： $(Z_1,Z_2,..,Z_T)$

进一步定义：时间序列是一系列按照时间排序的随机变量。通常定义为双无穷随机变量序列。标记为： ${Z_t,t \in \mathbb{Z}}$ , 或者简记为： ${Z_t}$ 。时间序列是离散时间下的随机过程。

回顾线性模型，响应变量Y和多个因变量X，线性模型表示为： $Y_i=\beta_0+\beta_1X_i+\varepsilon_i$

因变量X的信息是已知的，我们希望对响应变量Y做出推断。

在时间序列分析中，我们提出如下模型： $Y_t=\beta_o+\beta_1Y_{t-1}+\varepsilon_t$

在时间序列中，已知的信息包括：

时间下标t
过去的信息

两个典型的时间序列模型如下：

$Z_t=a+bt+\varepsilon_t$

and

$Z_t=\theta_0+\phi Z_{t-1}+\varepsilon_t$

它们分别对应于确定性模型和随机模型，本文将讨论后者。

时间序列的均值，方差，协方差

均值函数（The mean function）：对于一个时间序列 ${Z_t,t \in Z}$ , 均值函数或平均序列被定义为：

$\mu_t = E(Z_t), \ t \in \mathbb{Z}$

$\mu_t$ 是在t时刻的期望值， $\mu_t$ 在不同时刻可以是不同的值。
自协方差函数（The auto-covariance function）：简记为ACVF，定义为：

$\gamma(t,s)=cov(Z_t,Z_s) \ t,s \in \mathbb{Z}$

其中，

$cov(Z_t,Z_s)=E[(Z_t-\mu_t)(Z_s-\mu_s)]=E(Z_tZ_s)-\mu_t\mu_s$
方差函数（The variance function）：特别是在s=t时，我们有：

$\gamma(t,t)=cov(Z_t,Z_t)=var(Z_t)$

这就是 ${Z_t}$ 的方差函数
自相关函数（The auto-correlation function）：简记为ACF，定义为：

$\rho(t,s)=corr(Z_t,Z_s), \ t,s \in \gamma(t,s)=cov(Z_t,Z_s) \ t,s \in \mathbb{Z}$

其中，

$corr(Z_t,Z_s)=\frac{cov(Z_t,Z_s)}{\sqrt{var(Z_t)var(Z_s)}}=\frac{\gamma(t,s)}{\sqrt{\gamma(t,t)\gamma(s,s)}}$

ACVF和ACF有如下性质：

ACVF:
$\gamma(t,t)=var(Z_t)$
$\gamma(t,s)=\gamma(s,t)$
$\vert{\gamma(t,s)} \vert \leq \sqrt{\gamma(t,t)\gamma(s,s)}$

ACF:
$\rho(t,t)=1$
$\rho(t,s)=\rho(s,t)$
$\vert{\rho(t,s)}\vert \leq 1$

一些重要的性质：

$cov(aX,Y)=acov(X,Y)$

$cov(X,aY+bZ)=acov(X,Y)+bcov(X,Z)$

$cov(c_1Y_1+c_2Y_2, d_1Z_1+d_2Z_2)=c_1d_1cov(Y_1,Z_1)+c_2d_1cov(Y_2,Z_1)+c_1d_2cov(Y_1,Z_2)+c_2d_2cov(Y_2,Z_2)$

$cov\left[\sum_{i=1}^m c_iY_i, \sum_{j=1}^n d_jZ_j\right]=\sum_{i=1}^m\sum_{j=1}^n c_id_jcov(Y_i,Z_j)$

最后一条性质经常用到。

随机游走

随机游走（The random walk）：令序列 ${a_t, t \in \mathbb{N}}$ 是服从 $i.i.d$ 独立同分布的随机变量。每个变量都是零均值，方差为 $\sigma_a^2$ , 随机游走过程 ${Z_t, t \in \mathbb{N}}$ 定义为：

$Z_t = \sum_{j=1}^t a_j, \ t \in \mathbb{N}$

另外，我们可以写作：

$Z_t=Z_{t-1}+a_t, \ t \in \mathbb{N}, Z_0=0$

${Z_t}$ 均值函数为:

$\mu_t=E(Z_t)=E\left(\sum_{j=1}^t a_j\right)=\sum_{j=1}^tE(a_j)=0$

${Z_t}$ 方差函数为:

$\gamma(t,t)=var(Z_t)=var\left(\sum_{j=1}^t a_j\right)=\sum_{j=1}^t var(a_j)=t \cdot \sigma_a^2$

注意到，这一过程，方差会随着时间线性增长。

ACVF自协方差函数：对于一切 $t \leq s$ ,

$\gamma(t,s)=cov(Z_t,Z_s) \\\\=cov \left(\sum_{j=1}^t a_j, \sum_{j=1}^s a_j\right) \\\ =cov \left(\sum_{j=1}^t a_j, \sum_{j=1}^t a_j + \sum_{j=t+1}^s a_j\right) \\\ =cov \left(\sum_{j=1}^t a_j, \sum_{j=1}^t a_j\right) \\\\=var\left(\sum_{j=1}^t a_j\right) = t \cdot \sigma_a^2$
ACF自相关函数，根据定义有：

$\rho(t,s)=\frac{\gamma(t,s)}{\sqrt{\gamma(t,t)\gamma(s,s)}} \\\ = \frac{\sigma_at}{\sqrt{\sigma_a^2t \cdot \sigma_a^2s}} \\\ = \sqrt{t/s}, \ 1 \leq t \leq s$

当s=t+1时，

$\rho(t,t+1)=corr(Z_t,Z_{t+1})=\sqrt{t/(t+1)} \approx 1, \ 当t无穷大$

理解：随机游走可以看作，在时间轴上任意行走一步（大步或小步），是若干时刻的和。

移动平均

移动平均（a moving average）：假设 ${Z_t, t \in \mathbb{Z}}$ 定义为：

$Z_t=a_t-0.5a_{t-1}, \ t \in \mathbb{Z}$

同样，a满足独立同分布，零均值，方差为 $\sigma_a^2$

${Z_t}$ 均值函数为:

$\mu_t=E(Z_t)=E(a_t)-0.5E(a_{t-1})=0, \ t \in \mathbb{Z}$
${Z_t}$ f方差函数为:

$var(Z_t)=var(a_t-0.5a_{t-1})=\sigma_a^2+0.5^2\sigma_a^2=1.25\sigma_a^2$
ACVF自协方差函数：

$cov(Z_t,Z_{t-1})=cov(a_t-0.5a_{t-1},a_{t-1}-0.5a_{t-2})=cov(a_t,a_{t-1})-0.5cov(a_t,a_{t-2})-0.5cov(a_{t-1},a_{t-1})-0.5cov(a_{t-1},a_{t-1})+0.5^2cov(a_{t-1},a_{t-2})=-0.5cov(a_{t-1},a_{t-1})$

或者表示为：

$\gamma(t,t-1)=-0.5\sigma_a^2, \forall t \in \mathbb{Z}$

对任意 $k \geq 2$ ,

$cov(Z_t, Z_{t-k})=0$

或者表示为， $\gamma(t,t-k)=0, \ \forall k \geq 2,t \in \mathbb{Z}$
ACF自相关函数：

$\rho(t,s)=-0.4, if \ \vert{t-s}\vert = 1 \\\ \rho(t,s)=0, if \ \vert{t-s}\vert \geq 2$

理解：移动平均可以看作，若干时刻的线性组合。

平稳性

强平稳性（strict stationarity）要求：时间序列 ${Z_t}$ 为强平稳，只有当对任意的自然数n, 任意的时间点 $t_1$ , $t_2$ ,.., $t_n$ 以及任意的滞后k, 都满足 $Z_{t_1}$ , $Z_{t_2}$ ,…, $Z_{t_n}$ 的联合分布和 $Z_{t_1-k}$ , $Z_{t_2-k}$ ,…, $Z_{t_n-k}$ 相同。

弱平稳性(weak stationarity)要求：时间序列为弱平稳性，只有当均值函数 $\mu_t$ 不随时间变化，并且对于任意的时间t和任意的滞后k，都有 $\gamma(t,t-k)=\gamma(0,k)$

对于弱平稳性，有如下标志：

$\mu = E(Z_t)$

$\gamma_k=cov(Z_t, Z_{t-k}), \ (\gamma_{-k}=\gamma_k)$

$\rho_k=Corr(Z_t,Z_{t-k}); \ (\rho_{-k}=\rho_k)$

强平稳性和弱平稳性关系如下：

强平稳性+有限的秒时刻 => 弱平稳性
时间序列的联合分布为多元正太分布，那么这两种定义是一致的

白噪声

白噪声（White noise）：一个很重要的关于平稳性处理的例子就是所谓的白噪声处理。它被定义为满足独立同分布的随机变量 ${a_t}$ , 零均值并且方差为 $\sigma_a^2>0$ , 简记为： $WN(0,\sigma_a^2)$

显然， ${a_t}$ 满足强平稳性要求。

对于弱平稳性，注意到 $\mu_t=E(a_t)=0$ 是一个常数，并且，

$\begin{eqnarray} \gamma(t;t-k)=\begin{cases} \sigma_a^2, k=0 \cr 0, k \neq 0 \end{cases} \end{eqnarray} :=\gamma_k$ ,

$\begin{eqnarray} \rho_k=\begin{cases} 1, k=0 \cr 0, k \neq 0 \end{cases} \end{eqnarray}$

有些书中定义白噪声为一系列不相关的随机变量。

前面我们提高的随机游走，由于 ${Z_t}$ 的方差受时间影响线性变化 $var(Z_t)=t\sigma_a^2$ ，并且协方差 $\gamma(t,s)=t\sigma_a^2$ , 因此不仅仅受滞后k的影响，故不是平稳的时间序列。

令， $X_t=\nabla Z_t=Z_t-Z_{t-1}$

则 $X_t=a_t$ , ${\nabla Z_t}$ 是平稳的。

前面我们还提到移动平均。是由白噪声构成的一个非平凡平稳时间序列。在前面那个例子里，我们有：

$\begin{eqnarray} \rho_k=\begin{cases} 1, k=0 \cr -0.4, k \pm 1 \cr 0, \vert k \vert \geq 2 \end{cases} \end{eqnarray}$