山东大学软件学院创新实训--“智愈医院自助服务系统“-(2)-医疗视觉AI技术选型

一、背景与需求分析在“智愈”医疗自助服务系统中“病情诊断书导入分析”是核心功能之一。该功能的目标是用户上传诊断书图片、PDF或扫描件后系统自动完成文字识别、关键信息提取、结构化分析最终生成通俗化的解读报告。要实现这一目标医疗OCR光学字符识别技术的选型至关重要。1.为什么需要OCR技术在我们的系统设计中有三个用户角色游客、注册用户和管理员。其中注册用户可以使用“智能医生”模块与AI进行健康咨询互动。而“病情诊断书导入分析”功能是这个模块的重要补充——用户上传自己的诊断书系统帮助分析让用户更好地理解自己的病情和医嘱。2.OCR技术面临的挑战医疗文档识别面临三大核心挑战文档形态复杂诊断书、检验报告、出院小结等格式多样包含表格、印章、签名等干扰信息图像质量参差用户使用手机拍摄的文档常存在模糊、倾斜、反光、低光照等问题医学术语特殊需精准识别医学术语、拉丁文缩写、药物名称、ICD编码等专业内容结构化要求需要理解并提炼出“患者姓名是什么”“诊断结论是什么”“用药建议是什么”等关键信息。正是因为这些特殊性我们需要专门评估和选择适合医疗场景的OCR技术方案。二、OCR技术的基本原理我们人类看到一张图片能认出里面的字是因为我们的大脑经过了训练从小学习汉字、英文知道“日”字长什么样、“月”字长什么样。计算机本身是看不懂图片里的文字的。在计算机眼里一张图片就是一大堆数字一堆像素点。一个汉字可能是某种形状的黑色像素分布OCR技术要做的事情就是教会计算机从这些数字中“看出”文字来。OCR程序会分析这些像素的分布规律和它“学过”的字形做对比然后猜出这个字是什么。传统的OCR技术通常包含以下几个步骤第一步图像预处理。对原始图像进行处理比如转成灰度图、去除噪声、校正倾斜、二值化把图像变成黑白的等。这一步的目的是提高后续识别的准确率。第二步版面分析。分析文档的布局区分哪些是文字区域、哪些是表格、哪些是图片。对于诊断书来说这一步尤其重要因为医疗文档往往版面复杂。第三步字符分割。把文字区域切分成单个字符然后逐个识别。这也是传统OCR的一个难点——如果字符粘连或者笔画交叉分割就会出错。第四步字符识别。使用分类器如支持向量机SVM、神经网络等来识别每个字符是什么。第五步后处理纠错。利用词典、语言模型等对识别结果进行修正比如把识别错的“8”纠正为“B”如果上下文是英文。现在主流的OCR系统普遍采用深度学习技术比如CRNNCNNRNNCTC架构可以实现端到端的文字识别。相比传统方法深度学习OCR有几个明显的优势抗干扰能力强对模糊、倾斜、复杂背景的适应能力更好支持整行识别不需要先分割字符避免了分割错误准确率更高尤其是中文场景PaddleOCR等工具表现优异此外还有一种更新的思路——使用多模态大模型直接“看懂”图片中的文字。比如通义千问的VL视觉语言模型给它一张图它可以直接描述图中的内容。这种方案开发周期短、泛化能力强但成本较高、响应时间也更长。三、主流OCR调研及选定调研方向主要是国内云服务商和开源工具。在“智愈”医疗自助服务系统中“病情诊断书导入分析”功能需要将用户上传的图片/PDF诊断书转化为结构化数据供大模型进行智能分析。腾讯云OCR百度云OCRPaddleOCRQwen-VL技术路线基于深度学习技术融合图像检测和OCR大模型能力通过模板匹配实现结构化信息提取依托百度深度学习算法海量数据沉淀支持80项细分识别能力基于PaddlePaddle框架的全栈开源OCR方案采用PP-OCRv5架构阿里云通义千问系列的多模态大模型以70亿参数模型Qwen-7B为基础语言模型研发具备多模态信息理解能力文字识别能力印刷体官方宣称≥98%手写体识别率85%以上通用文字/卡证票据识别准确率≥98%手写体识别效果一般印刷体通用场景准确率约96%手写公式识别准确率超过88%印刷体超96.5%,手写体准确率高达92.9%语义理解能力无无无有。基于通义千问大语言模型能够理解文档语义和上下文逻辑可完成知识问答、图像问答、文件问答等复杂任务硬件资源需求云端调用无需本地GPU云端调用无需本地GPU低。可支持纯CPU运行的方案较高。至少需要8-12GB显存GPU处理速度快快快慢版式适应能力需定制模板需定制模板需后处理规则自动适应无需模板经过综合考量我们选择Qwen-VL作为OCR工具。原因如下第一语义理解能力。“智愈”系统不是简单的“文字识别”而是需要“理解诊断书内容并生成解读”。传统OCR只能输出文字还需要再写大量代码去解析、判断、关联——这等于自己实现半个大模型。Qwen-VL一步到位。第二技术前沿。使用多模态大模型符合“创新实训”的定位体验最新AI技术。第三手写体识别优势。医疗场景有大量手写内容处方、病历Qwen-VL在这方面表现更优。另外 Qwen-VL具有100万Token免费额度对于此创新实训项目来说完全够用。此项目无需处理大量复杂输入所以无需担心GPU的需求较高和处理速度较慢等问题。同时Qwen-VL经过真实案例验证——Fullerton Health已在生产环境使用Qwen-VL处理医疗文档。Qwen-VL不是完美的但对于“智愈”项目的诊断书OCR需求它的语义理解能力、手写体优势、零模板适应使其成为实训项目的最佳选择。下一阶段目标将OCR模型与代码架构接轨。