预前训练是从哪一年开始?

预前训练从2017年开始，由Google团队提出BERT模型引发热潮。这一年Transformer架构成为核心，OpenAI发布GPT-1，预训练技术迅速普及。2018年GPT-2和2019年BERT的升级版进一步推动发展，2020年GPT-3展示强大能力，预训练成为自然语言处理的标准方法。

预前训练依赖大规模文本数据，通过无监督学习获取语言知识。模型先在通用语料库上训练，再针对具体任务微调。这种方法节省标注成本，提升效果。如今预训练模型覆盖翻译、问答、写作等领域，成为人工智能的重要基石。