大模型时代的算力焦虑与多租户挑战
自2022年底大语言模型（LLM）迎来爆发式增长以来，AI基础设施的焦点逐渐从“如何训练出更大的模型”转移到“如何高效、低成本地推理和部署模型”。在实际的商业化落地中，大模型服务通常以SaaS（Software as a Service）或MaaS（Model as a Service）的形式提供给成百上千个不同的企业或个人用户。这就引入了多租户（Multi-tenancy） 场景。

晚上和一个老同学相互交流学习到很晚，讨论持续到凌晨，关于在AI Agent应用实际开发过程中开发者都会面临的一个问题或者说是疑问：模型是无状态的也没有缓存“记忆”机制，那会话的上下文是怎么实现跟踪的呢？
带着这个疑问和思考，以下我将从设计原理到实践进行解构，帮理理解Agent开发中个最核心的问题之一。