Detect train-test data leakage…

# bert-base-chinese 下游数据集泄露审计方案

一、审计范围界定

• 模型层面：bert-base-chinese 是纯预训练模型（MLM 目标），不包含你的电商数据，泄露风险不在模型本身。
• 数据层面：风险点是训练集与测试集之间的重复/近似重复，以及划分时间顺序不当（用未来数据测过去）。
• 需明确：5 万条数据中训练/测试划分比例、是否已去重、是否存在按时间划分。

二、精确重复检测

• 对全量文本做标准化：去首尾空格、全角半角统一、繁简转换（电商评论常见）、去除多余空白。
• 标准化后计算哈希（如 MD5/SHA256），对哈希去重。
• 统计训练集与测试集的交集样本数及占比，任何非零交集都需处理。

三、近似重复检测（关键步骤）

精确哈希无法发现“改几个字”的泄露，建议：

• SimHash / MinHash-LSH：对文本做字符级 n-gram，聚类相似样本，重点检查跨集合的近重复对。
• TF-IDF + 余弦相似度：计算跨集合最近邻相似度，人工抽查相似度较高的样本（如 >0.9 区间）判断是否实质重复。
• 嵌入方法（可选）：用 bert-base-chinese 对文本编码，Faiss 检索跨集合最近邻，抽样人工复核。

四、弱泄露与结构性风险

• 同模板评论：电商刷单/凑字评论常是同一模板换商品名，需按模板聚类检查是否跨集合分布。
• 同一用户/同一商品：如按用户或商品 ID 可关联，检查是否同一用户或同一商品的评价同时出现在训练与测试集（标签可能直接泄露）。
• 时间顺序：若评论带时间戳，测试集时间应晚于训练集；若随机划分后时序混杂，线上效果可能高估。
• 标签一致性问题：跨集合近重复样本若标签不同，说明标注噪声大，需人工仲裁。

五、处理建议

• 去重策略：近重复样本只保留一份，统一放入训练集或全部剔除，测试集保证“干净”。
• 重新划分：优先按时间或按商品/用户分组划分，避免同源信息跨集合。
• 留痕：记录去重前后样本量、剔除规则、划分方式，写入数据卡便于复现。

六、执行顺序建议

1. 标准化 → 精确去重 → 跨集合交集统计

2. MinHash/SimHash 近重复检测 + 人工抽查

3. 时序与分组泄露检查

4. 重新划分并输出审计报告

如需，我可以帮你写对应的 Python 审计脚本框架。