TimesFM是一个为时间序列数据量身定制的大型预训练模型——一个无需大量再训练就能提供准确预测的模型。TimesFM有2亿参数，并在1000亿真实世界时间点上进行了训练。可以允许额外的协变量作为特征。
在本文中，我们将介绍模型架构、训练，并进行实际预测案例研究。将对TimesFM的预测能力进行分析，并将该模型与统计和机器学习模型进行对比。
用于时间序列预测的基础模型应能够适应不同的上下文和预测长度，同时具备足够的能力来编码来自广泛预训练数据集的所有模式。所以架构的住要办函如下内容：
1、分块 — 数据的分解
这个模型通过一个称为“分块”的过程，类似地处理时间序列数据。与一次性处理整个序列不同，它将数据分成更小、更易管理的片段，称为分块。这种方法不仅加快了模型的处理速度，还帮助它专注于数据中更小、更详细的趋势。
2、仅解码器架构
这个模型是在仅解码器模式下训练的。也就是说给定一系列输入分块，通过模型优化预测下一个分块作为所有过去分块的函数。类似于大型语言模型（LLMs），这可以在整个上下文窗口上并行完成，自动实现在观察到不同数量的输入分块后的未来预测。
3、生成较长的预测输出分块
在大型语言模型（LLMs）中，输出通常是以自回归方式逐个生成的。但是对于长期预测，一次性预测整个预测期可以比多步自回归解码获得更好的准确性。这种直接预测方法在预测期长度未知时（如零样本预测）尤为挑战，这是模型的主要关注点。
为了解决这个问题，作者建议通过使用比输入分块更长的输出分块来进行预测。例如，如果输入分块长度为32，输出分块长度为128，那么模型的训练方式如下：它使用前32个时间点来预测接下来的128个时间步，使用前64个时间点来预测第65到192个时间步，使用前96个时间点来预测第97到224个时间步，依此类推。
在推断时，如果模型接收到长度为256的新时间序列，并被要求预测接下来的256个时间步，它首先会预测第257到384个时间步。然后，它将使用初始的256长度输入以及生成的输出来预测第385到512个时间步。相比之下，输出分块长度等于输入分块长度的模型需要8个自回归步骤来完成相同的任务，而论文的方法只需要2个步骤。
但是这里有一个问题如果输出分块长度过长，处理短于输出分块长度的时间序列（如预训练数据中的月度或年度时间序列）会变得困难。
TimesFM模型架构1、输入
时间序列经过预处理，被分割成连续的非重叠分块。
分块通过残差块处理，转换为大小为模型维度（model_dim）的向量。
二进制掩码也随输入一起提供给Transformer。二进制掩码用于表示相应的数据点是否应该被考虑（0）或忽略（1）。
残差块本质上是一个多层感知机块，具有一个带有跳跃连接的隐藏层。
2、Transformer架构
这个基础模型采用了堆叠Transformer的方法，每个Transformer层由两个主要组件组成：多头自注意力机制和前馈神经网络。
多头自注意力机制：每个Transformer层使用多头自注意力机制，允许模型同时关注输入序列的不同部分。这意味着对于给定的输出标记，模型可以同时考虑前面标记的多个方面，增强其捕捉数据中复杂模式和依赖关系的能力。
前馈网络：在自注意力机制之后，每个层对序列中的每个位置独立应用一个前馈网络。这进一步处理了注意力的信息，并使模型能够学习更高级别的表示。
因果注意力：在时间序列预测的背景下，作者实现了因果注意力。这确保每个输出标记只能关注其前面的标记。通过这样做，模型遵循数据的时间顺序，防止来自未来标记的信息（在预测时不应该可用）影响当前预测。
层堆叠：通过堆叠多个Transformer层，模型可以逐步构建输入数据的更抽象表示。每一层都会优化前几层学到的表示，使模型能够捕捉不同时间跨度上的复杂模式。
这包括两个关键超参数；
模型维度（Model Dimension）：确定每个Transformer层中表示空间的大小。
注意力头的数量（Number of Attention Heads）：指定模型可以同时关注输入的不同方面的数量。
如上所示的TimesFM体系结构采用特定长度的输入时间序列，并将其分解为多个输入片段。然后通过模型定义中定义的残差块将每个patch处理成一个向量，以匹配Transformer层的模型尺寸。然后将向量添加到位置编码中。具有位置编码的向量被发送到堆叠的Transformer层中。
SA是指自注意力，也就是是多头因果注意力，FFN是指全连接层。输出令牌通过一个残差块映射到一个大小为output_patch_len的输出，它构成了模型最后一个输入patch之后的时间窗口的预测。
3、输出层
输出层的任务是将输出标记映射到预测。模型采用了仅解码器模式进行训练，这意味着每个输出标记应该预测跟随最后输入分块的时间序列部分。与许多其他时间序列预测模型不同，输入分块长度不必等于输出分块长度。这意味着模型可以基于输入分块的信息预测时间序列的较大部分。
4、损失函数
研究使用的损失函数是均方误差（MSE）。由于这项工作围绕点预测展开，因此使用MSE来计算训练损失是合理的。
5、训练
模型使用标准的小批量梯度下降方法进行仅解码器的训练。该方法为每个时间序列和跨多个时间序列处理时间窗口。
训练使用的掩码策略是一个独特的特性。对于批处理中的每个时间序列，随机选择一个介于0和p−1之间的数字r，其中p是分块长度。创建一个掩码向量m1:r，其中m1设置为1，其余为零。这样可以屏蔽掉第一个输入分块的一部分。这种策略确保模型能够处理从1到最大上下文长度的输入上下文长度。以下面的相关示例可以很好地解释这一点：
假设最大上下文长度为512，分块长度p为32，r=4。在第一个分块后，输出预测被优化为使用32-4=28个时间点后进行预测。然后，下一个分块被优化为28+32个时间点后进行预测，依此类推。对所有这些r值重复此过程确保了模型可以处理所有长达512的上下文长度。
训练好的模型随后可以使用自回归解码生成任何时段的预测。
训练数据集作者使用多样化的数据集对TimesFM模型进行预训练，以确保捕捉广泛的时间模式。他们从多个来源获取数据，包括：
Google Trends：提供了超过22,000个查询在15年（2007年至2022年）的小时、日和周粒度的搜索兴趣数据，总共约50亿个时间点。
Wiki Pageviews：包括来自2012年到2023年的维基百科页面的每小时查看次数。这些数据集被聚合到日、周和月的级别，贡献了约300亿个时间点。
除了真实世界的数据外，作者还生成了合成数据，使用ARMA模型、季节模式和趋势生成了300万条合成时间序列，每条时间序列有2048个时间点。
其他真实世界数据源包括M4数据集、每小时和15分钟的电力数据以及小时交通数据。M4数据集提供了约10万条时间序列，而交通和电力数据提供了大量时间序列，进一步增强了模型的鲁棒性。
对于训练策略，作者创建了真实数据集和合成数据集的平衡组合，确保不同粒度(每小时、每天、每周、每月)的平等表示。训练批次从这些粒度中均匀取样，最小时间序列长度为256个时间点以保持一致性。时间序列按上下文均值和标准差进行缩放以标准化输入，每批包括15个主要时间序列。这种全面的方法确保了TimesFM模型为处理不同粒度的各种预测场景做好了充分准备。
代码示例对比我们将介绍如何使用TimesFM模型进行预测。然后还会比较该模型与统计(AutoETS)， ML(随机森林，XGBoost, LGBM)和其他的基础模型(TimeGPT)的性能。
本研究中使用的数据集取自Kaggle -每月黄金价格(1979-2021)- 18个不同国家的历史黄金价格
读取数据
import pandas as pddf = pd.read_csv("GoldPrices.csv")df['Date'] = pd.to_datetime(df['Date'])df = df.set_index('Date').resample('MS').mean()df = df.reset_index() # Reset index to have 'Date' as a column againprint(df.head())
可视化
#Let's Visualise the Datasetimport matplotlib.pyplot as pltimport seaborn as snssns.set(style="darkgrid")plt.figure(figsize=(10, 6))sns.lineplot(x="Date", y='India(INR)', data=df, color='green')plt.title('Monthly Gold Prices Over Time')plt.xlabel('Date')plt.ylabel('Gold Price in INR')plt.show()
对数据进行季节性分解，检查这里的趋势和季节性模式。
df.set_index("Date", inplace=True)from statsmodels.tsa.seasonal import seasonal_decomposeresult = seasonal_decompose(df['India(INR)'])fig, (ax1, ax2, ax3, ax4) = plt.subplots(4, 1, figsize=(10, 12))result.observed.plot(ax=ax1, color='green')ax1.set_ylabel('Observed')result.trend.plot(ax=ax2, color='green')ax2.set_ylabel('Trend')result.seasonal.plot(ax=ax3, color='green')ax3.set_ylabel('Seasonal')result.resid.plot(ax=ax4, color='green')ax4.set_ylabel('Residual')plt.tight_layout()plt.show()df.reset_index(inplace=True)
TimesFM期望数据在单变量时间序列数据中有三个不同的列。这些都是:
unique_id: unique_id列用于标识数据集中的不同时间序列。—可以是字符串、整数或分类类型。
它表示数据中每个时间序列的标识符。这在处理同一数据集中的多个时间序列时特别有用。
ds(日期戳):ds列表示时间序列数据的时间部分。-它应该是pandas可以解释为日期或时间戳的格式。
理想情况下，日期格式应为YYYY-MM-DD，时间戳格式应为YYYY-MM-DD HH:MM:SS。这对于MLForecast理解数据的时间方面至关重要。
y(目标变量):y想要预测的实际值。-应该是数字。这是想要预测的测量或数量。
df = pd.DataFrame({'unique_id':[1]*len(df),'ds': df["Date"], "y":df['India(INR)']})
然后进行训练-测试分割，我们将使用128个数据点用于训练，24个用于测试。
train_df = df[df['ds'] <= '31-07-2019']test_df = df[df['ds'] > '31-07-2019']
1、统计预测
#install statsforecast!pip install statsforecastimport pandas as pdfrom statsforecast import StatsForecastfrom statsforecast.models import AutoARIMA, AutoETS# Define the AutoARIMA modelautoarima = AutoARIMA(season_length=12) # Annual seasonality for monthly data# Define the AutoETS modelautoets = AutoETS(season_length=12) # Annual seasonality for monthly data# Create StatsForecast object with AutoARIMAstatforecast = StatsForecast(df=train_df, models=[autoarima, autoets], freq='MS', n_jobs=-1)# Fit the modelstatforecast.fit()# Generate forecastssf_forecast = statforecast.forecast(h=24) # Forecasting for 24 periods
这些结果存储在sf_forecast中，我们后面展示
2、机器学习方法预测
#install mlforecast!pip install mlforecastfrom mlforecast import MLForecastfrom mlforecast.target_transforms import AutoDifferencesfrom numba import njitimport lightgbm as lgbimport xgboost as xgbfrom sklearn.ensemble import RandomForestRegressorfrom statsmodels.tsa.seasonal import seasonal_decomposefrom mlforecast import MLForecastfrom mlforecast.lag_transforms import ( RollingMean, RollingStd, RollingMin, RollingMax, RollingQuantile, SeasonalRollingMean, SeasonalRollingStd, SeasonalRollingMin, SeasonalRollingMax, SeasonalRollingQuantile, ExpandingMean)models = [lgb.LGBMRegressor(verbosity=-1), # LightGBM regressor with verbosity turned off xgb.XGBRegressor(), # XGBoost regressor with default parameters RandomForestRegressor(random_state=0), # Random Forest regressor with fixed random state for reproducibility]fcst = MLForecast( models=models, # List of models to be used for forecasting freq='MS', # Monthly frequency, starting at the beginning of each month lags=[1,3,5,7,12], # Lag features: values from 1, 3, 5, 7, and 12 time steps ago lag_transforms={ 1: [ # Transformations applied to lag 1 RollingMean(window_size=3), # Rolling mean with a window of 3 time steps RollingStd(window_size=3), # Rolling standard deviation with a window of 3 time steps RollingMin(window_size=3), # Rolling minimum with a window of 3 time steps RollingMax(window_size=3), # Rolling maximum with a window of 3 time steps RollingQuantile(p=0.5, window_size=3), # Rolling median (50th percentile) with a window of 3 time steps ExpandingMean() # Expanding mean (mean of all previous values) ], 6:[ # Transformations applied to lag 6 RollingMean(window_size=6), # Rolling mean with a window of 6 time steps RollingStd(window_size=6), # Rolling standard deviation with a window of 6 time steps RollingMin(window_size=6), # Rolling minimum with a window of 6 time steps RollingMax(window_size=6), # Rolling maximum with a window of 6 time steps RollingQuantile(p=0.5, window_size=6), # Rolling median (50th percentile) with a window of 6 time steps ], 12: [ # Transformations applied to lag 12 (likely for yearly seasonality) SeasonalRollingMean(season_length=12, window_size=3), # Seasonal rolling mean with 12-month seasonality and 3-month window SeasonalRollingStd(season_length=12, window_size=3), # Seasonal rolling standard deviation with 12-month seasonality and 3-month window SeasonalRollingMin(season_length=12, window_size=3), # Seasonal rolling minimum with 12-month seasonality and 3-month window SeasonalRollingMax(season_length=12, window_size=3), # Seasonal rolling maximum with 12-month seasonality and 3-month window SeasonalRollingQuantile(p=0.5, season_length=12, window_size=3) # Seasonal rolling median with 12-month seasonality and 3-month window ] }, date_features=['year', 'month', 'quarter'], # Extract year, month, and quarter from the date as features target_transforms=[AutoDifferences(max_diffs=3)]) fcst.fit(train_df)ml_forecast = fcst.predict(len(test_df))
结果保存到ml_forecast
3、TimeGPT
!pip install nixtlafrom nixtla import NixtlaClient# Get your API Key at dashboard.nixtla.io#Instantiate the NixtlaClientnixtla_client = NixtlaClient(api_key = 'Your_API_Key')#Get the forecasttimegpt_forecast = nixtla_client.forecast(df = train_df, h=24, freq="M")
虽然TimeGPT已经被认为是一个笑话，但是我们还是要做下，如果TimesFM不如TimeGPT那说明他没有存在的意义。 结果保存到timegpt_forecast
4、TimesFM
最后就是TimesFM模型，这是我们在这项研究中的主要兴趣点。
!pip install timesfm #You might need to restart the kernal to have this installed in your w# Initialize the TimesFM model with specified parameterstfm = timesfm.TimesFm( context_len=128, # Length of the context window for the model horizon_len=24, # Forecasting horizon length input_patch_len=32, # Length of input patches output_patch_len=128, # Length of output patches num_layers=20, model_dims=1280, )# Load the pretrained model checkpointtfm.load_from_checkpoint(repo_id="google/timesfm-1.0-200m")# Generate forecasts using the TimesFM model on the given DataFrametimesfm_forecast = tfm.forecast_on_df( inputs=train_df, # Input DataFrame containing the time-series data for training freq="MS", # Frequency of the time-series data (e.g., monthly start) value_name="y", # Name of the column containing the values to be forecasted num_jobs=-1, # Number of parallel jobs to use for forecasting (-1 uses all available cores))timesfm_forecast = timesfm_forecast[["ds","timesfm"]]
这里面有一些超参数，应该还有优化的空间，不过我们先以这个进行测试。
最后我们还要把所有的日期转换成相同的格式，以解决格式不一致的问题
# Assuming the DataFrames have a common column 'ds' for the dates# Convert 'ds' to datetime in all DataFrames if necessarysf_forecast['ds'] = pd.to_datetime(sf_forecast['ds'])ml_forecast['ds'] = pd.to_datetime(ml_forecast['ds'])timegpt_forecast['ds'] = pd.to_datetime(timegpt_forecast['ds'])timesfm_forecast['ds'] = pd.to_datetime(timesfm_forecast['ds'])# Now perform the mergesmerged_fcst = pd.merge(sf_forecast, ml_forecast, on='ds')merged_fcst = pd.merge(merged_fcst, timegpt_forecast, on='ds')merged_fcst = pd.merge(merged_fcst, timesfm_forecast, on='ds')#Adding the actuals to the dataframe from test_dfmerged_fcst = pd.merge(merged_fcst, test_df, on='ds')#Keep only relevant columnsmerged_fcst = merged_fcst[["unique_id", "ds", "AutoARIMA", "AutoETS", "LGBMRegressor", "XGBRegressor", "RandomForestRegressor", "TimeGPT", "timesfm"]]
所有的预测的结果如下：
最后就是评估我们的结果
import numpy as npdef calculate_error_metrics(actual_values, predicted_values): actual_values = np.array(actual_values) predicted_values = np.array(predicted_values) metrics_dict = { 'MAE': np.mean(np.abs(actual_values - predicted_values)), 'RMSE': np.sqrt(np.mean((actual_values - predicted_values)**2)), 'MAPE': np.mean(np.abs((actual_values - predicted_values) / actual_values)) * 100 } result_df = pd.DataFrame(list(metrics_dict.items()), columns=['Metric', 'Value']) return result_df# Extract 'Weekly_Sales' as actualsactuals = merged_fcst['y']error_metrics_dict = {}for col in merged_fcst.columns[2:-1]: # Exclude 'Weekly_Sales' predicted_values = merged_fcst[col] error_metrics_dict[col] = calculate_error_metrics(actuals, predicted_values)['Value'].values # Extracting 'Value' columnerror_metrics_df = pd.DataFrame(error_metrics_dict)error_metrics_df.insert(0, 'Metric', calculate_error_metrics(actuals, actuals)['Metric'].values) # Adding 'Metric' columnprint(error_metrics_df)
可以看出，在MAE、RMSE和MAPE的基础上进行比较，TimesFM是AutoETS之后最好的模型。
总结TimesFM提供了一种可靠的时间序列基础模型方法，可以被考虑为我们工具箱中的一部分（无脑预测一波看看效果，作为基类模型对比）。TimesFM采用了仅解码器的Transformer架构，这与许多现有时间序列模型中使用的典型编码器-解码器框架形成对比。这种设计选择简化了模型，同时在预测任务中保持了高性能。正如研究所示，与另一个成功的时间序列基础模型——TimeGPT相比，TimesFM在这个实验案例中表现更好。
https://avoid.overfit.cn/post/99697006d1334ee49de3b5d95196b3c1
作者：Satyajit Chaudhuri
