如有侵权或其他问题，欢迎留言联系更正或删除。
目录
一 提出动机
二 Methodology
三. 实验结果
出处： ICLR workshop 2023
代码：Jhryu30/AnomalyBERT
可视化效果：
一 提出动机
动机：无监督 TSAD 领域内，“训练集” 也缺失：真值标签（GT）；换句话说，一个点在训练集内是否异常是未知的 →data degradation scheme
受 NLP 领域 BERT 的启发，通过替换输入数据的随机部分，训练模型以找到退化部分来修改掩模语言建模（MLM）；此方法有助于检测：真实的时序内的各类非自然序列。
二 Methodology
1. 模型架构：（基于 “分类” 的时序异常检测方法）
从标准时间序列中截取特定片段，并通过指定的异常值生成方法制造异常样本。将这些异常样本输入Transformer模型，以获取各片段的异常评分预测。该过程针对的是片段级别的异常分类任务。经过大量此类数据训练后的BERT模型，能够有效识别时间序列中每个片段是否出现异常。
2. 详细讲解：
2.1 注意力机制的改进
在每个注意力头中，自注意力的计算公式为：
添加相对位置偏置 B ，模型能更好地理解特征间的相对位置关系，提高对时序异常的检测能力。
2.2 合成异常及数据增强
随机选择每个时序窗口内的时序片段，通过下列四种 “合成异常” 方式，进行相应数据增强：
1. 带有窗口外部的加权序列（软替换），替换为：原始区间和外部区间的加权和；
2. 恒定序列（统一替换）；
3. 加长或缩短的序列（长度调整）；
4. 单个峰值（峰值噪声）。
2.3 训练损失函数：(交叉熵损失)
期望模型对人工构造的异常片段进行评分时，结果应接近1，以确保这些异常能够被准确识别。
三. 实验结果
PS. 为什么模型取名为 “Anomaly Bert” ?
个人猜想：指的是这种时序异常检测框架，与 Bert 的某种预训练方式雷同，受到其启发！
)
