TCI 189-2023 疾病预测模型技术规范

在TCI 189-2023《疾病预测模型技术规范》中，有一项重要的更新内容是关于数据预处理的要求。相较于旧版标准，新版对数据质量控制提出了更为严格的规定。

以“数据清洗”为例，在TCI 189-2023中明确规定了数据清洗过程中必须包括缺失值处理、异常值检测与修正以及重复记录的剔除这三个步骤。其中，对于缺失值处理，要求根据缺失比例采用不同的策略：当缺失比例小于5%时，可以使用均值填充法；若缺失比例介于5%-30%之间，则需考虑使用回归插补或者多重插补等高级方法；而对于超过30%的情况，则建议重新评估数据收集流程并可能需要补充采集数据。

异常值检测方面，推荐利用箱线图分析法结合统计学原理来识别潜在异常点，并通过领域专家确认后决定是否保留或调整这些异常值。此外，还强调了在执行上述操作时应保持完整性和透明度，确保所有改动都有据可查且能够追溯到原始数据状态。

另外，在处理重复记录时，除了常规的比对字段之外，还需考虑到不同系统间可能存在的时间戳差异等问题，在保证信息一致性的前提下合理合并或删除冗余信息。

总之，这一系列细化措施旨在提高疾病预测模型构建过程中的数据可靠性与准确性，从而为后续建模阶段奠定坚实基础。通过遵循这些具体指导原则，不仅可以有效减少因不良数据导致的偏差风险，同时也能促进整个行业朝着更加规范化方向发展。