Tsiphen / Multimodal-RAG-for-Medical-ConsultationLinks

我提出了一个集成文本、图像文本多模态、图像的三维医学问诊系统:3DMed-RAG,该系统能够同时处理文本、图像、图像文本三种query形式,并做出高质量医学诊断。我们基于经典的RAG,在检索排位部分提出领域对齐负面拒绝机制,二次判断问诊的专业性;对于官方专家导诊文档(文档末尾一般有流程图概述),我们增强该流程图的数据,使llm在回答导诊路线相关回答时能更加详细。 对于医学图像,我们尝试基础的VQA-MedRAG模型,使用文本-图像对眼科描述问题进行尝试,为了提升准确性,使用Multimodal-RAG对index的文本、图像编码进行加权处理,对未知的患者图像进行有效的医学信息描述。
31Updated 3 months ago

Alternatives and similar repositories for Multimodal-RAG-for-Medical-Consultation

Users that are interested in Multimodal-RAG-for-Medical-Consultation are comparing it to the libraries listed below

Sorting: