3.4 分布式基础

[!] 大厂 JD 高频要求："熟悉服务化、异步、高可用、可扩展"

核心组件：

• Redis： 缓存 LLM 响应、会话管理、限流
• Kafka： 异步消息队列、日志收集
• Kubernetes： Agent 服务编排、自动扩缩容
• Prometheus + Grafana： 监控 Token 消耗、延迟、错误率

大厂面试常问：

• "如何设计一个支持 1000 并发的 Agent 系统？" → 负载均衡 + Redis 缓存 + 异步处理 + 限流降级
• "如何做 LLM 调用的缓存？" → 语义缓存（相似问题命中缓存）、Redis + 向量相似度