时序预测的学科边界与范式演进 / Disciplinary Boundaries and Paradigm Evolution of Time Series Forecasting

第 1 章 时序预测的学科边界与范式演进 / Disciplinary Boundaries and Paradigm Evolution of Time Series Forecasting

1.1 时间序列预测的本质：从静态回归到动态生成的认知跃迁

时间序列预测（Time Series Forecasting）作为机器学习的一个独立分支，其特殊性在跨学科实践中常被低估。许多从业者初次接触时序问题时，往往将其降维为"多了一列时间戳的回归"（regression with a temporal covariate），并直接套用标准监督学习工具。这一朴素类比掩盖了时序预测的认识论根基——观测值由动态随机过程（dynamic stochastic process）连续生成，时间顺序本身承载结构性信息，而预测的最终目的是对未观测未来的条件分布进行外推（extrapolation），而非对独立同分布（i.i.d.）样本的条件期望进行插值。

形式化地，记 $\mathcal{F}_t = \sigma(y_1, y_2, \ldots, y_t)$ 为截至时刻 $t$ 的信息域（filtration），单变量时序预测的根本问题可表述为：给定历史观测序列 $\{y_t\}_{t=1}^{T}$ 与可能的外生协变量 $\{x_t\}_{t=1}^{T+h}$，构造从 $\mathcal{F}_T$ 到未来某时刻 $T+h$ 处 $y_{T+h}$ 的条件分布（或其函数）的估计： $$\hat{p}_{T+h|T}(\cdot) \approx p(y_{T+h} \mid \mathcal{F}_T, x_{T+1:T+h})$$ 这一形式定义表面与回归任务相近，但数据生成过程的本体差异决定了二者在建模哲学、评估协议与误差来源上存在系统性鸿沟。

第一，时间依赖性的本体地位（Ontological Status of Temporal Dependence）。 在经典回归中，残差被假定为白噪声（white noise），即 $\epsilon_i \overset{i.i.d.}{\sim} (0, \sigma^2)$；观测顺序可任意置换（permutation invariance）。而时序数据中，相邻观测通过自相关结构（autocorrelation structure）、趋势项（trend component）与季节性分量（seasonal component）耦合，违反 i.i.d. 假设。例如，某零售品牌的日销售额 $\{y_t\}$ 中，$y_t$ 与 $y_{t-1}$ 的相关系数常超过 0.8，且月度季节性使得 $y_t$ 与 $y_{t-30}$ 高度相关。这种依赖并非"噪声"，而是模型应显式捕获的结构信号。

第二，分布漂移与非平稳性（Distribution Shift and Non-stationarity）。 回归模型默认训练-测试数据来自同一分布（covariate shift 之外）。时序预测则必须面对概念漂移（concept drift）：经济结构变化、消费者偏好迁移、政策冲击都可能改变 $p(y_t \mid y_{t-1}, \ldots)$ 的函数形式。这要求模型不仅拟合当前条件分布，还需具备检测、适应漂移的机制。Hyndman & Athanasopoulos（2018）在 *Forecasting: Principles and Practice* 中明确指出，时序预测的"训练-测试切分"必须尊重时间顺序，禁止随机置换——这一约束直接来自非平稳性的本体地位。

第三，预测目标的外推性（Extrapolative Nature）。 回归模型在特征空间内进行插值或局部外推，测试样本与训练样本共享相似的特征分布；时序预测则在时间维度上严格外推，测试样本在物理意义上必然位于训练样本之后。这意味着模型对长期依赖（long-range dependence）的拟合、对极端事件的鲁棒性、对未见趋势的泛化能力，比对训练集内精度的追求更为重要。

第四，不确定性量化的不可或缺性（Indispensability of Uncertainty Quantification）。 在分类任务中，类别概率本身已是不确定性表征；回归任务中，点预测加经验区间常被默认接受。但在时序预测中，决策者（如库存管理者、能源调度员）需要明确知道"明日需求的 95% 置信区间"，否则无法进行风险敏感的资源配置。这一点使得预测区间（prediction interval）与概率预测（probabilistic forecast）在时序领域享有与点预测（point forecast）同等甚至更高的地位——这也是 Gneiting & Katzfuss（2014）在 *Annual Review of Statistics* 中反复强调的认识论命题。

与异常检测的边界。 异常检测（anomaly detection）同样处理时序数据，但其目标是识别偏离常态模式的孤立点 $\hat{a}_t = \mathbb{1}\{|y_t - \hat{y}_t| > \tau\}$，其中 $\hat{y}_t$ 通常由历史观测得到。异常检测关注的是当下的偏离判定，而时序预测关注的是未来的条件分布——二者共享"残差分析"这一技术桥梁，但服务的目的不同。可以认为，预测模型为异常检测提供期望基准，而异常检测为预测模型提供训练数据清洗与分布漂移警报。

至此，我们已勾勒出时序预测区别于其他三大任务的四个本体论特征：依赖结构的外生给定、分布漂移的常态存在、预测的外推本质、不确定性量化的不可或缺。这四点构成本书后续所有方法论讨论的哲学起点。

1.2 四类预测任务的形式化定义

时序预测并非单一任务。在精算学、计量经济学、机器学习三大传统的交汇处，研究者们逐步发展出四类结构化产出的任务谱系，每一类对应不同的决策需求与评价协议。本节给出形式化定义，并讨论其数学等价性与计算权衡。

任务一：点预测（Point Forecast）。 给定信息集 $\mathcal{F}_t$，预测器输出标量 $\hat{y}_{t+h|t} \in \mathbb{R}$，作为 $y_{t+h}$ 的"最佳"单值估计。最优点预测的选择依赖于损失函数 $L(\cdot, \cdot)$：在均方误差（squared error）下，最优为条件均值 $\hat{y}^* = \mathbb{E}[y_{t+h} \mid \mathcal{F}_t]$；在绝对误差（absolute error）下，最优为条件中位数 $\hat{y}^* = \text{median}(y_{t+h} \mid \mathcal{F}_t)$；在 0-1 损失下，最优为众数。形式上， $$\hat{y}_{t+h|t} \in \arg\min_{c} \mathbb{E}[L(y_{t+h}, c) \mid \mathcal{F}_t]$$ 点预测历史最长、计算最简，但仅提供一维信息，无法支持风险敏感决策。

任务二：区间预测（Interval Forecast / Prediction Interval）。 给定显著性水平 $\alpha \in (0, 1)$，预测器输出区间 $[\ell_{t+h}, u_{t+h}]$，使得 $$\mathbb{P}\big(\ell_{t+h} \le y_{t+h} \le u_{t+h} \mid \mathcal{F}_t\big) \ge 1 - \alpha$$ 最常用的是等尾区间（equal-tailed interval）与最高密度区间（highest density region, HDR）。区间预测在统计文献中可追溯至服从高斯假设的 ARMA 模型（Box & Jenkins, 1970），在现代深度学习范式中通常通过对预测分布的分位数采样实现。

任务三：密度预测（Density Forecast）。 预测器输出条件概率密度函数 $\hat{f}_{t+h|t}(y)$，或等价的条件累积分布函数（conditional CDF）$F_{t+h|t}(y)$。这是四类任务中信息量最大的形式，因为点、区间、分位数预测均可视为密度预测的函数： $$\hat{y}_{t+h|t}^{mean} = \int y \hat{f}_{t+h|t}(y) dy, \quad [\ell, u] = \{y : \hat{f}_{t+h|t}(y) > \kappa\}, \quad \hat{q}_{\tau} = F_{t+h|t}^{-1}(\tau)$$ 密度预测在贝叶斯统计、贝叶斯深度学习（DeepAR, 2017；DeepState, 2018）、生成式模型（TimeGAN, 2019）中已成为标准输出。Gneiting, Balabdaoui & Raftery（2007）的评分规则（proper scoring rule）理论为密度预测的优劣比较提供了公理化基础。

任务四：分位数预测（Quantile Forecast）。 给定分位数水平 $\tau \in (0, 1)$，预测器输出 $\hat{q}_{\tau, t+h}$，使得 $F_{t+h|t}(\hat{q}_{\tau, t+h}) \ge \tau$。分位数预测可视为密度预测的一维切片，但实际中可独立估计（Koenker & Bassett, 1978 的分位数回归）。多任务场景下，模型可同时输出 $\{\hat{q}_{\tau_k}\}_{k=1}^{K}$ 网格，构造非参数离散 CDF 估计。分位数预测在供应链、能源、风险管理领域尤其重要，因为决策阈值常以分位数形式表达（例如"确保库存覆盖 95% 分位数的需求"）。

四类任务的层级关系。 形式上，密度预测 $\succ$ 分位数预测 $\succ$ 区间预测 $\succ$ 点预测（信息量递减）。但从计算与稳健性角度，关系部分倒置：点预测最易实现且对模型误设（model misspecification）最稳健；密度预测对模型假设敏感，但允许更精细的不确定性表征。本书将反复在统计与深度范式下讨论这一权衡。

统一的形式记号。 为后续章节建立统一的数学符号，本书约定：

• $y_t \in \mathbb{R}$：时刻 $t$ 的标量观测（或 $\mathbf{y}_t \in \mathbb{R}^d$ 表示多元情形）
• $\hat{y}_{t+h|t}$：基于 $\mathcal{F}_t$ 对 $y_{t+h}$ 的点预测
• $F_{t+h|t}(\cdot)$：基于 $\mathcal{F}_t$ 对 $y_{t+h}$ 的条件 CDF
• $\hat{f}_{t+h|t}(\cdot)$：对应的条件概率密度函数
• $\hat{q}_{\tau, t+h|t}$：对应条件 CDF 的 $\tau$-分位数估计
• $[\ell_{\alpha/2, t+h|t}, u_{1-\alpha/2, t+h|t}]$：$1-\alpha$ 等尾预测区间
• $\mathcal{H}$：预测水平（forecast horizon），默认含多步预测 $\{h = 1, 2, \ldots, H\}$
• $\mathcal{L}(\cdot, \cdot)$：损失函数（loss function）；$\mathcal{S}(\cdot, \cdot)$：评分规则（scoring rule）

这一符号系统将贯穿全书，请读者在后续章节中直接引用。

1.3 百年学术谱系：从 Yule 到 Transformer 的四次范式跃迁

时序预测的现代形态并非一蹴而就，而是近百年来统计范式与学习范式反复对话、彼此竞争与融合的结果。本节沿时间线梳理四个关键范式跃迁，并定位其认识论贡献。

```mermaid flowchart LR P1["Paradigm I 1927-1970\nLinear Autoregression\nYule 1927 / Walker 1931\nWold 1938 / Box-Jenkins 1970"] P2["Paradigm II 1970-1995\nStructured & State-Space\nKalman 1960 / Engle 1982\nBollerslev 1986 / Harvey 1989"] P3["Paradigm III 1995-2017\nNonlinear & Kernel\nSupport Vector Regression\nGaussian Processes\nEarly RNN/LSTM"] P4["Paradigm IV 2017-Present\nDeep Learning\nDeepAR 2017 / Informer 2021\nPatchTST 2023 / iTransformer 2024"] P1 -->|Foundational| P2 P2 -->|Nonlinear extension| P3 P3 -->|Data-driven scaling| P4 ```

范式一（1927–1970）：线性自回归范式的奠基。 这一时期的核心命题是：任何平稳时序可由线性随机差分方程生成。Yule（1927）在分析太阳黑子周期时，首次提出自回归（Autoregressive, AR）模型： $$y_t = c + \phi_1 y_{t-1} + \phi_2 y_{t-2} + \ldots + \phi_p y_{t-p} + \epsilon_t, \quad \epsilon_t \overset{i.i.d.}{\sim} \mathcal{N}(0, \sigma^2)$$ Walker（1931）给出 Yule-Walker 方程，将 AR 参数与自协方差函数（autocovariance function, ACVF）联系起来，使得有限样本估计成为可能。Wold（1938）提出Wold 分解定理：任意协方差平稳序列可唯一分解为确定性部分与线性随机部分的和，其中线性随机部分由白噪声驱动的单边移动平均无穷级数表示。该定理为 ARMA 范式奠定了严格的数学基础。Box & Jenkins（1970）的 *Time Series Analysis: Forecasting and Control* 将识别（identification）、估计（estimation）、诊断（diagnostic checking）三步法系统化，建立了 ARIMA $(p, d, q)$ 家族在工业预测中的统治地位，至今仍在气象、电力、宏观经济领域广泛使用。

范式二（1970–1995）：结构化与状态空间范式。 这一时期的核心命题是：许多现实时序由不可观测的"状态"驱动。状态空间模型（state space model, SSM）将可观测序列 $\{y_t\}$ 分解为观测方程（observation equation）与状态转移方程（transition equation）： $$\mathbf{s}_t = \mathbf{F} \mathbf{s}_{t-1} + \mathbf{G} \mathbf{w}_t, \quad y_t = \mathbf{H}^\top \mathbf{s}_t + v_t$$ 其中 $\mathbf{s}_t$ 为潜状态（latent state），$\mathbf{F}, \mathbf{G}, \mathbf{H}$ 为参数矩阵。Kalman 滤波（Kalman, 1960）提供了在线递推最优估计。Engle（1982）的 ARCH（Autoregressive Conditional Heteroscedasticity）模型首次显式建模条件方差的时间变化，揭示了金融收益率序列中的波动聚集（volatility clustering）现象；Bollerslev（1986）的 GARCH 进一步扩展为条件方差的自回归形式，奠定了金融计量学的核心方法论。Harvey（1989）的结构时间序列模型（Structural Time Series, STS）将趋势、季节、循环、噪声四类成分显式分离，每一成分有独立的状态方程，便于专家解读。

范式三（1995–2017）：非线性与核方法范式。 这一时期的核心命题是：线性假设过强，现实时序普遍非线性。研究者尝试将支持向量回归（Support Vector Regression, SVR）、高斯过程（Gaussian Process, GP）、早期神经网络引入时序建模。Vapnik 等人的 $\epsilon$-SVR 通过核函数（kernel function）实现高维特征空间中的线性回归，间接捕获非线性；Rasmussen & Williams（2006）的 *GPML* 教材系统化了 GP 在时序中的应用，提供了天然的不确定性量化。然而，这些方法面临两个根本瓶颈：其一，特征工程依赖人工构造（lag features、calendar features、Fourier features），限制了泛化；其二，计算复杂度通常随样本量 $N$ 二次或三次增长，难以扩展至百万级时序。这一时期，深度学习尚未展现其规模化优势，统计模型与机器学习模型各自为政。

范式四（2017 至今）：深度学习范式的崛起。 转折点出现在 Salinas 等人（2017）提出的 DeepAR：基于自回归循环神经网络的概率预测模型，将高斯似然替换为可学习的似然族（Negative Binomial、Student-t 等），并通过蒙特卡洛采样生成预测分布。DeepAR 验证了一个关键命题：端到端的概率预测可在大量相关时序上联合学习，显著优于为每条序列单独训练的统计模型。随后，Transformer 架构被引入时序预测：Informer（AAAI 2021）通过 ProbSparse 自注意力降低 $O(L^2)$ 复杂度；Autoformer（NeurIPS 2021）将序列分解（series decomposition）与自相关机制（auto-correlation mechanism）结合；FEDformer（ICML 2022）引入频域表示；PatchTST（ICLR 2023）将时间序列切分为 patch，应用通道独立（channel-independent）策略；iTransformer（ICLR 2024）则将注意力反转至变量维度，强调多元时序的协变量结构。