Transformer

我拖延了几年才深入研究Transformers 。最后，不知道是什么让它们滴答作响的不适感对我来说太大了。
2017年的这篇论文中引入了转换器作为序列转导的工具——将一个符号序列转换为另一个。最常见的例子是翻译，比如从英语翻译成德语。它也被修改为执行序列完成——给出一个开始提示，以相同的方式进行。它们已迅速成为自然语言处理研究和产品开发中不可或缺的工具。
在我们开始之前，先提醒一下。我们将深入探讨矩阵乘法，并探讨反向传播（用于训练模型的算法），但您无需事先了解任何相关内容。我们将逐一添加所需的概念，并附上解释。
这不是一次短途旅行，但我希望你会很高兴你来了。

这个存储库包含我用HuggingFace的Transformers库制作的演示。

这个存储库包含我使用Transformers库制作的演示🤗 拥抱脸。目前，所有这些都在PyTorch中实现。
注：如果您不熟悉HuggingFace和/或Transformers，我强烈建议您查看我们的免费课程，该课程向您介绍了几种Transformer架构（如BERT、GPT-2、T5、BART等），以及HuggingFace库的概述，包括Transformers、Tokenizer、Dataset、Accelerate和hub。