diff --git a/README.md b/README.md index 01df69d..f7d724b 100644 --- a/README.md +++ b/README.md @@ -160,5 +160,7 @@ streamlit run web_demo.py --server.address=0.0.0.0 --server.port 7860 --server.e ``` ## TODO +- [ ] 语音问诊 +- [ ] 视频问诊，数字人接入。 - [ ] 问诊数据集扩充，增加更多真实的问诊数据 - [ ] Agent能力扩充，识别更多的眼病（如中心性浆液，病理性近视，视网膜脱离等），更多的模态（如OCT，裂隙灯，眼表照相等）， \ No newline at end of file diff --git a/app.py b/app.py index 15c7122..97d96ba 100644 --- a/app.py +++ b/app.py @@ -1,6 +1,8 @@ import os import time +os.system("pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118") + MODEL_DIR = "models/" MODEL_REPOSITORY_OPENXLAB = "OpenLMLab/internlm2-chat-7b" diff --git a/assets/test_case.zip b/assets/test_case.zip index 120fcf1..1aee168 100644 Binary files a/assets/test_case.zip and b/assets/test_case.zip differ diff --git a/utils/actions/fundus_diagnosis.py b/utils/actions/fundus_diagnosis.py index ad9fac2..2b747e7 100644 --- a/utils/actions/fundus_diagnosis.py +++ b/utils/actions/fundus_diagnosis.py @@ -34,7 +34,7 @@ def fundus_diagnosis(self, fundus_path: str) -> dict: Returns: :class:`dict`: 诊断结果 * msg (str): 工具调用是否成功的说明 - * glaucoma (int): 0代表青光眼，1代表非青光眼 + * glaucoma (int): 1代表可疑青光眼，0代表非青光眼 * dr_level (int): 糖尿病视网膜病变的等级，0代表健康，4代表患病程度最严重 0 为健康 1 代表轻度非增生性的糖尿病视网膜病变 diff --git a/web_demo.py b/web_demo.py index f242145..6e84584 100644 --- a/web_demo.py +++ b/web_demo.py @@ -117,12 +117,8 @@ def setup_sidebar(self): st.session_state['chatbot']._interpreter_executor = None st.sidebar.header("自我揭秘") - st.sidebar.markdown( - "你好！我是您的眼科问诊机器人，专业且贴心。我知道广泛的眼科知识，可以帮助您了解和诊断各种眼科疾病。") - st.sidebar.markdown( - "另外，我还具备**识别眼底图**的能力，这对于判断一些重要眼科疾病非常重要。通过分析眼底图，我能够帮助您了解是否存在青光眼或糖尿病视网膜病变等情况。") - st.sidebar.markdown("请随时向我提问，我将尽力为您提供专业的眼科建议和信息。您的眼健康，是我的首要关注点！") - + st.sidebar.markdown("我是您的眼科问诊机器人，你可以问我所有的眼科疾病和眼科药品信息。" + "如果有需要的话，我可以通过识别眼底图来帮助诊断 **青光眼** 和 **糖尿病视网膜病变** 。") if st.sidebar.button('清空对话', key='clear'): self.session_state.clear_state() uploaded_file = st.sidebar.file_uploader('上传文件')