最佳方案我建议是:
保留三区域 mask 的思想,但放弃“lesion / margin / background 三个均值 prototype”这个实现。改成 “lesion + distance-aware peritumoral rings + reference/normal region”的 mask-guided fusion。
也就是:mask 不丢,prototype mean pooling 要换掉。
核心判断
你现在失败的根因大概率不是“区域没用”,而是这三个问题叠加:
- background 太泛
文献支持的是 peritumoral / parenchymal / tumor-adjacent tissue,不是所有非病灶背景。 - margin 太粗
高分文章反复说明 peritumoral 宽度很关键:0–3、3–6、6–9、9–12、12–15 mm 信息不同。你现在只有一层 margin。 - mean prototype 抹掉异质性
Radiology / Nat Commun 那几篇都在强调 habitat、subregion、ecological diversity、spatial interaction。你现在每个区域一个均值向量,信息损失太大。
所以不要再继续调 alpha_feat 或 layer3/layer4 了。这个方向已经被诊断实验基本排除了。
推荐新方案:Distance-aware Peritumoral Habitat Fusion
可以叫:
Mask-guided Peritumoral Habitat Fusion, MPHF
或者更贴 FedHKD:
FedHKD-RingHabitat
1. 区域重新定义
把旧的:
1 | lesion / margin / background |
改成:
1 | lesion / peritumoral rings / reference tissue |
具体:
| 新区域 | 作用 | 对应文献启发 |
|---|---|---|
| Lesion | 病灶主体,但不能只均值 | Radiology ITH,病灶内部异质性 |
| Peri-ring1 | 近周边 | Braman 0–3 mm 与 TIL 相关 |
| Peri-ring2 | 中周边 | Braman 6–9 / 9–12 mm 有分子亚型信息 |
| Peri-ring3 | 远周边 | Luo 15 mm 最优,20 mm 过大 |
| Reference tissue | 正常/远端参考,不作为泛 background | Guo parenchymal / glioma normal control |
如果没有真实 mm spacing,就用相对尺度:
1 | ring1 = 0–0.1D |
其中 D 可以用 lesion 等效直径或 bbox 长边。
关键:不要再用整张图剩余区域当 background。
2. 特征表达方式改掉
不要:
1 | mask × feature map → mean pooling → prototype |
改成:
1 | mask × feature map → multi-stat / multi-token / habitat descriptor |
最小实现可以先做:
每个区域提取:
- mean;
- std;
- max;
- top-k pooled feature;
- region area ratio;
- lesion-peri contrast;
- peri-reference contrast。
也就是每个区域不要只有一个均值,而是至少保留分布信息。
更强版本:
- 在 lesion + peritumor 内做 patch/habitat clustering;
- 提取 habitat proportion;
- 提取 region adjacency / boundary interaction;
- 类似 NSCLC 那篇 MSI 思路。
3. 模型结构建议
我最推荐一个“安全”的结构:global branch + region residual branch。
1 | whole image backbone → global logits |
这样有两个好处:
- 如果区域没用,gate 可以学到接近 0,不会伤害 whole_image;
- 如果区域有用,它以 residual 的方式补充 whole_image。
不要让区域分支完全替代 whole-image。你的 whole-image 已经很强,区域应该是补充,不是另起炉灶。
4. 实验路线
我建议按三步走。
Phase 1:不重训,先做 probe
用现有 checkpoint 抽特征,做后验 readout:
| Probe | 目的 |
|---|---|
| current 3-region prototype LR | 旧方法锚点,已有 AUC 约 0.8876 |
| lesion-only stats | 看病灶内部特征 |
| lesion + peri-rings stats | 看周边环带是否有增量 |
| lesion + peri + reference contrast | 看正常参考是否有价值 |
| habitat / ring interaction features | 看异质性和空间关系是否有增量 |
如果 lesion + peri-rings 明显优于 current prototype,就证明:
mask 有信息,但 prototype 表达方式错了。
Phase 2:训练轻量 Region Residual Fusion
只做 5 fold × 1 seed:
| 方法 | 目的 |
|---|---|
| whole_image | 强基线 |
| current lesion_margin_bg | 旧三区域 |
| lesion + peri-rings fusion | 新方案 |
| lesion + peri-rings + reference | 验证 reference 是否有用 |
| lesion + peri-rings + background | 验证 background 是否拖后腿 |
判据还是 paired val-AUC:
1 | new_method - whole_image > 0.005 |
Phase 3:如果 Phase 2 positive,再接回 FedHKD
不要一开始就上 FedHKD 原型蒸馏。先证明区域融合本身有效。
如果有效,再做:
- region branch logits distillation;
- habitat distribution distillation;
- ring-level contrast distillation;
- 不再做旧的 class-region mean prototype L2。
最推荐的具体实现版本
如果你现在问我“最该先写哪个”,我选这个:
Lesion + 4 peritumoral rings + gated residual fusion + region statistics pooling
具体为:
1 | Input image |
暂时不加 background。
如果一定要保留“三区域”叙事,可以这样包装:
1 | lesion region |
这样你没有放弃三区域 mask,但避免了旧 background 的噪声污染。
论文叙事会更稳
你可以把现在 negative 结果写成:
Current lesion/margin/background prototype distillation did not improve AUC over whole-image classification, suggesting that coarse region-mean prototypes are insufficient to exploit mask-guided information.
然后接新方法:
Inspired by prior peritumoral radiomics, habitat imaging, and intratumoral heterogeneity studies, we redesign mask usage from coarse region averaging to distance-aware peritumoral and heterogeneity-aware fusion.
这就很顺:
- 文献支持区域;
- 你的诊断证明旧 prototype 不行;
- 新方案针对性解决旧问题;
- 不是硬救失败结果,而是自然迭代。
一句话最终建议
不要再优化原来的 lesion/margin/background prototype KD。最佳改进是:保留 mask,但把它改成 distance-aware peritumoral rings + heterogeneity/statistics pooling + gated residual fusion;先证明区域融合能超过 whole-image,再考虑 FedHKD 蒸馏。