【刘宏斌】从解剖结构到手术指导 - 香港试水医疗多模态大模型

　　 人工智能 及 机器人 技术风头正盛，正在缔造创科中心的香港，试图从医疗垂直领域把握这一蓝海。

　　3月28日，中国科学院香港创新院AI中心（简称“AI中心”）旗下联合实验室第壹次公开展示了三项成果：GI-SoftTech内窥镜 机器人 、ESSENCE微创手术触觉反馈技术，和外科手术规划软件 EpiNav。

　　三项成果均与医疗多模态大模型相关。GI-SoftTech搭载了AI智能，实现内镜检查的数字化和智能化；ESSENCE能在微型手术工具的末端部署分布式高密度触点，第壹次实现人手级的触觉感知能力。EpiNav则结合CARES Copilot手术大模型，在神经外科手术中为医师提供最好的手术规划方案，大幅减少手术规划时间。

　　早在两周前，AI中心发布了医疗垂直领域的AI多模态大模型CARES Copilot 1.0，目前可以在手术阶段自动识别病灶和解剖结构。

　　相比单模态，多模态大模型可以同时处理多个类型信息，从而实现更灵活地人机交互。

　　中国科学院香港创新院AI中心执行主任刘宏斌接受界面新闻采访时表示，CARES Copilot 1.0实现了图像、文本、语音、视频、MRI、CT、超声等多模态的手术数据理解，可以进行关键解剖结构的识别和手术中危险区域的提示。

　　“很多神经科医师手术时，也希望现场有人指导、做判断，以往是不会的。可是AI大模型跟 机器人 的操作结合起来可以打破这个壁垒。”刘宏斌说。

　　目前，该大模型已经与香港威尔士亲王医院神经外科合作，把系统应用于内窥镜手术中，实时分析手术过程，并提示医师现在手术的阶段和下一步需要谨防什么，例如“清除肿瘤”、“硬脑膜修复”等。今年4月份，也会开始应用于北京协和医院手术室进行技术临床实验。

　　手术 机器人 担任助手

　　脑手术是全球风险最高的手术。在香港，该手术的去世率低于5%，需要脑手术的港人逐年按上升。据介绍，有两种病人需要接受脑手术，第壹种包含脑出血的新病例，第贰种是大脑出现肿瘤，其中有一种癌症干细胞病症主要出现于儿童，而该肿瘤的出现率在香港属全球最高。刘宏斌提到，这也是其中一个驱使其研发新微创手术的原因。

　　“神经外科医师最重视的首先就是安全性，在手术进程中，他需要这个技术能够告诉他相关的解剖学，重要的神经、血管在啥位置。”刘宏斌指，“同时会有一个助手进行辅助，帮助拿器械、镜头，助手也在观察主刀医师，预判需要怎样的协助。我认为未来手术 机器人 ，例如CARES Copilot，是可以担任这个助手角色的。”

　　AI中心所使用的条件大模型是由中国科学院自动化所开发的“紫东·太初”。刘宏斌告诉界面新闻，紫东·太初为多模态的通用大模型，AI中心在这个基础上进一步研发了一个垂直领域类模型，“我们聚焦医疗健康的研发，在这个原始架构上又搭了一层，这一层是一个可追溯和解释的结构。另外，也给这个大模型研发了很多专属的小模型。垂直领域的任务，务必是一个大模型配合一个小模型。”

　　CARES Copilot就采用了大模型加小模型的形式，将其识别的图片和视频进行语义提取，运用语言大模型的能力进行更顶级的领会，最终形成手术报告工程、手术质量评估等面向临床专家的服务。根据设想，Copilot 2.0版本将延伸到手术指导，像教练一样提醒和指导医师哪个阶段应该如何操作。

　　刘宏斌提到，中科院自动化所跟AI中心是一种互补的模式，包含研究领域和应用领域上各有互补：“我们聚焦在医疗器械，自动化所的应用领域就比较广。一个健康问题，需要很多领域合作，既要有医疗器械，也要对数据进行研究分析，又涉及到AI技术。”

　　香港尽管整体产业生态上不及内地，但优势在于科研实力。刘宏斌表示，不仅跟紫东·太初大模型团队合作，也跟香港高校教授、海外AI团队和开源公司有合作，“香港高校老师的研究能力实际上就是世界级的，可是香港缺少产业，他们的成果没有一个出口，没有商业模式输出，研究也是不太可持续的。”

　　随着 人工智能 内容自动生成技术的发展，所需算力也水涨船高，尤其是智能算力。2月28日，香港财政司司长陈茂波发表最新的财政预算案，表示将拨款30亿元推行为期三年的 人工智能 资助计划，资助本地大学、研发机构及企业等运用算力。

　　3月27日，香港创新科技及工业局局长孙东表示，香港 人工智能 超算中心首阶段设施最早在下半年启用。这将填补香港无领先水平高性能计算平台的空白。

　　尚未实现商用

　　不过，对照其它垂类大模型，如生产力工具、营销类等，医疗类大模型的商用似乎仍石沉大海。

　　2023年以来，有超过50个平台公开发布了医疗大模型，但真正落地到临床诊断的屈指可数。以 科大讯飞 为例，医疗板块曾是其重点发力的两个业务之一，但由于发展不及预期，营业收入占比仅2.45%， 科大讯飞 在赴港上市时甚至分拆了医疗板块。

　　刘宏斌分析道，垂直大模型难以落地临床的槽点在于，很多大模型研发进程中没有医院的参与，缺乏临床方面的因素，造成一些看上去很炫酷的技术，实际上其实不能满足医师的切实需求。另一方面，医师通常会使用大量文本、影像、视频等数据，很多大模型还是仅以文本语言为主。

　　即便是CARES Copilot，也只是1.0版本，主要以识别和辅助医师的功能为主，尚未进入商业化落地阶段。刘宏斌表示，现在仍处于科研测试阶段，技术已经有原型机，可供医师使用，但还需要跟临床合作伙伴进行测试，进一步拓展新功能、提高参数精确度，“不过虽然是实验室的产品阶段，已经从研发中心的实验室进入了医师的实验室。”

　　刘宏斌认为，医疗大模型首先会在“医师很容易判断对错”的环节上落地应用，例如手术路径规划，原本需要花两个小时制定的手术方案，通过大模型可以缩减至半个小时，但最终决策权在医师手上。这个环节中，AI担任了一个提建议的角色。

　　“另外，大模型下人机互动的能力会更强，体现在手术室里的器械上。”手术室里的无影灯对医师来说就是一个槽点，医师抓无影灯时会把手弄脏，而助手有时候够不到无影灯的位置。“这种情景下， 机器人 能够提供一些辅助工作，应该也是最快落地的应用。”

　　至于CARES Copilot的商用前景，目前有两种可能性较大的转化模式，一种是将大模型嵌入医院的管理流程中，通过为医院降本增效获得回报；另一种商业模式是与医院的设备供货商合作，利用 人工智能 大为医疗器械赋能，提升其医疗器械的附加值。