Context enrichment for agentic…

# LangChain 多源上下文组装方案（Token预算5000）

一、整体思路

三路信息动态竞争token预算：摘要、检索结果、用户画像按优先级裁剪，超预算时逐级降级（截断→压缩→丢弃低优先级）。

二、核心组件搭建

1. 对话历史摘要

• 用 ConversationSummaryBufferMemory（或 LCEL + RunnableWithMessageHistory 自建）
• 超过阈值时自动触发 LLM 生成摘要，保留最近 N 轮原文
• 建议预算：1500–2000 tokens

2. 知识库检索结果

• 检索 top_k 控制在 3–5 条，配合 MMR 或 reranker 提升密度
• 每条 chunk 控制长度（如 200–300 tokens），超出可让 LLM 二次压缩
• 建议预算：2000–2500 tokens

3. 用户画像

• 结构化字段（如历史问题类型、会员等级、偏好），用 JSON 紧凑序列化
• 通常很小，预算：200–500 tokens

三、Token 预算分配与裁剪逻辑

```python

from langchain.prompts import PromptTemplate

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")

def count_tokens(text):

return len(enc.encode(text))

def fit_budget(sections, budget=5000):

# sections 按优先级排序 [(name, content), ...]

parts = []

remaining = budget

for name, content in sections:

t = count_tokens(content)

if t <= remaining:

parts.append(content)

remaining -= t

else:

# 超预算：调用 summarize_chain 压缩或截断前 remaining tokens

content = summarize(content, max_tokens=remaining)

parts.append(content)

remaining = 0

return "\n".join(parts)

```

要点：

• 优先级建议：画像 > 最新检索结果 > 摘要（摘要损失容忍度最高）
• 检索结果按 rerank 相关性分数降序填充，分数低的直接舍弃

四、最终 Prompt 模板

```

【用户画像】{profile}

【相关知识】{knowledge}

【对话摘要】{history_summary}

【当前问题】{question}

请基于以上信息进行工单分类与分流。

```

五、实践建议

• 用 tiktoken 精确计数，而非字符数估算
• 摘要链用轻量模型（成本降低明显），分类用主模型
• 缓存高频知识库片段的压缩结果，减少重复调用
• 打日志统计各部分实际 token 占比，动态调优配额