目标读者

本书面向机器学习爱好者、工程师、研究人员、学生和从业者，旨在帮助他们深入理解大语言模型的工作原理，并从零开始构建自己的模型。无论是初学者还是经验丰富的开发者，都能够凭借已有的技能和知识掌握创建大语言模型所涉及的概念和技术。

本书的独特之处在于，它全面涵盖了构建大语言模型的整个过程，从数据集的处理到模型架构的实现，再到无标签数据的预训练，以及针对特定任务的微调。截至本书撰写之时，尚无其他资料提供如此全面且实践性强的从零开始构建大语言模型的方法。

要理解本书中的代码示例，你需要具备扎实的 Python 编程基础。尽管了解机器学习、深度学习和人工智能会有所帮助，但你无须在这些领域拥有深厚的背景知识。大语言模型是人工智能的一个独特分支，所以即使你刚踏入该领域不久，也能轻松理解书中的内容。

如果你对深度神经网络有所涉猎，那么或许会对某些概念倍感亲切，因为大语言模型正是在这些架构的基础上构建而成的。不过，熟练掌握 PyTorch 并非必要前提。附录 A 提供了 PyTorch 的简要介绍，可以帮助你掌握理解书中代码示例所需的必要技能。

如果你拥有高中以上水平的数学知识，尤其是对向量和矩阵有深入了解，那么这将有助于你理解大语言模型的内部工作原理。不过，要掌握本书中的主要概念和思想，并不需要高深的数学知识。

最重要的前提条件是具备扎实的 Python 编程基础。这样，凭借上述这些知识，你便能做好充分准备，踏入大语言模型的奇妙世界，并理解本书所呈现的概念和代码示例。