LLM大语言模型发展到今天，已经形成很多成熟的产业链。但绝大部分开发者是有没有算力条件去DIY一个完整的小模型来理解整个LLM的生命周期和训练过程的。现在以Tiny9为例帮助理解整个模型从数据、预训练到最终运行的简单过程示意，帮助理解LLM的运行机制。

大模型时代的算力焦虑与多租户挑战
自2022年底大语言模型（LLM）迎来爆发式增长以来，AI基础设施的焦点逐渐从“如何训练出更大的模型”转移到“如何高效、低成本地推理和部署模型”。在实际的商业化落地中，大模型服务通常以SaaS（Software as a Service）或MaaS（Model as a Service）的形式提供给成百上千个不同的企业或个人用户。这就引入了多租户（Multi-tenancy） 场景。

晚上和一个老同学相互交流学习到很晚，讨论持续到凌晨，关于在AI Agent应用实际开发过程中开发者都会面临的一个问题或者说是疑问：模型是无状态的也没有缓存“记忆”机制，那会话的上下文是怎么实现跟踪的呢？
带着这个疑问和思考，以下我将从设计原理到实践进行解构，帮理理解Agent开发中个最核心的问题之一。