请选择 进入手机版 | 继续访问电脑版

GVRTalk-VR引擎交流社区

北航VR技术与系统国家重点实验室李帅:虚拟医疗仿真技术的创新实践 ...

2018-10-9 09:41| 发布者: gvrtalk| 查看: 1733| 评论: 0|原作者: ww|来自: VR网

摘要: 日前,以“携手拥抱VR+ 共同开启新时代”为主题的2018国际虚拟现实创新大会在青岛国际会展中心启幕,VR网(微信公众号:VR平台)也抵达现场为大家带来更多报道。  由虚拟现实内容制作中心、中国城市科学研究会智慧城 ...

日前,以“携手拥抱VR+ 共同开启新时代”为主题的2018国际虚拟现实创新大会在青岛国际会展中心启幕,VR网(微信公众号:VR平台)也抵达现场为大家带来更多报道。

 

  由虚拟现实内容制作中心、中国城市科学研究会智慧城市联合实验室主办的虚拟现实+城市仿真专题论坛中,北航虚拟现实技术与系统国家重点实验室、副教授李帅;复旦大学人口研究所所长、教授王桂新;深圳大学建设工程生态技术研究所所长、教授刘健;中国城市科学研究会智慧城市联合实验室首席科学家、国际标准化组织智慧城市基础设施分技术委员会副主席方碧玉一同探讨了虚拟现实技术的发展在城市仿真技术中的应用。

  北航虚拟现实技术与系统国家重点实验室副教授李帅也给大家带来关于虚拟医疗仿真技术创新实践的演讲,VR网整理如下:

 

  李帅:

  今天我主要跟大家分享一下我们在VR+医疗的创新体会。其实虚拟现实+医疗仿真,我们在国际上已经有很早的研究,大致来说经历了三个阶段,第一个节是可视人的阶段,其实美国在上世纪90年代初他们就开始做美国的可视人计划,就是说对一些志愿者捐献的尸体会进行冰冻,进行切片两毫米进行拍照,大家可以想想把一个1.78米的人切成两毫米一片两毫米一片拍照,可以形成很多的数据,在此基础上做分割处理,做三维重建,用这个做教学等。我国是在2002年左右的时候,由南方医科大学还有重庆的第三军医大做了中国的可视人。

  后来逐渐从几何的表示、建模发展到物理,相当于把静态的器官给它赋予一些物理的行为,让它动起来。

  第三个阶段就是生理人的阶段,除了屋里人的特性,还要融入一些生理信号的一些特性。目前来看国际上的研究前沿还是在物理人跟生理人之间,我国基本上在这个方面不是很落后,基本上处于并跑的阶段。

  其实大家可以通过这张片子有一个直观的了解,为什么说VR+医疗在手术仿真方面有重要的作用呢?传统的手术培训,要么在动物身上试,每个医院都有很多动物中心,养很多动物,医学院的学生可以在动物身上做实验,高水平的医生可以用它做新的手术规划设计。有了这个虚拟现实技术以后,我们就可以不在动物上做实验了,可以在虚拟的人体上做实验,这样的话可以降低风险,减少成本,提高培训的效率。

  同时VR+医疗仿真还有一个重要的就是手术的导航,就跟开车一样,如果用这个导航,可能道路不是特别熟悉也可以很顺利的到达目的地,在一些重要的手术中,比如心脏换一个支架,如果用三维虚拟的导航或者4D动态导航的话就很容易找到病变的位置,把支架送到该送的位置上。另外对于开放的手术,医生做的时候一般术前拍CT,实际上拍了CT以后在临床上做手术的过程中,是不能再拍CT了,一方面CT的辐射量大,一方面也耗时。但是术前的CT,在术中病人躺的位置,以及他自己的心跳影响都会发生变化,医生在做手术的过程中需要重新在脑海中构图,根据他以前术前的CT去想象,哪个血管应该规避,只把病变的位置切除掉,达到精准手术治疗的目的。

  而现在有了VR技术以后,或者增强现实技术以后,我们可以把术前拍的CT三维重建起来,跟实际手术融入到一块,这样就减少了医生在脑海中构图的时间,可以更有效的规避一些重要的组织或者血管,比如说左上角那个图,就是用一个平板把虚实融合到一块导航手术。

  从虚拟手术的作用上来说第一个就是手术的规划和设计,这个规划和设计分两个方面,一个方面是新的手术术种的研究,比如说我们以前都知道腹腔镜手术,在你的腹部打两个控,把器械深入进去,从而进行微创的治疗。但是对于一些模特、演员,他们可能对自己的形体要求比较高,不美观,所以说基于这个要求,国外有很多人研究基于自然通道,比如说通过口进去,从内部打孔,不是从外部来做,所以像这样新手术的设计,就可以用虚拟的技术先来做规划。

  另外,对一些高危的病人,或者说病情特别复杂的情况,如果直接做手术可能会存在很大的危险,术前拍的CT等等的影像数据可以融合到一块去,把人体器官重建起来,在这个器官上先虚拟做一遍,甚至大家在一个会诊的小组或者手术方案小组,大家可以联合的会诊,联合的确定治疗方案,从而提高准确性还有手术过程实施的效率。

  另外,因为我们国家从前年开始应该建了一些重大的基础设施,转化医学研究,核心的目的是想把基础医学跟临床医学调节起来,因为有些是在实验室研究的基础,怎么能够快速转化到临床上去,而临床上遇到的问题怎么能够快速返回给基础研究到实验室,相当于从实验室到病床这样一个双向的通道。在这个过程中,确实要做好多实验,比如说药物研发,可能要做很多实验,除了动物实验还有其他的真人的实验。有了这个技术以后,可以在里面部分替代实际的实验,然后达到加速研发的目的。

  另外一个重要的应用就是说关于医患矛盾,好多医患矛盾的出现都是由于病人跟医生的沟通不及时,或者沟通的不充分造成的,如果有了这样一个技术以后,我们可以在病人的实际手术之前把他目前这个病情状态,通过动态的四维可视化的方式展现出来,同时手术之后能够达到的效果甚至量化的都展示给他,等你手术完了以后再给你拍一遍CT、拍一遍MR,把这个东西重现,你就可以做量化的比较,这样的话可以减少医患矛盾的产生。

  其实从手术模拟器这个角度来说,德、美、日、以色列这几个国家研究的比较早,他们从上世纪90年代开始做这个模拟器,而且国内大型的三乙医院里面都有这个模拟器,比如说腹腔镜的模拟器,还有心血脏管的模拟器,但是他们卖的价格很贵,因为国内没有这样的产品,基本上像我了解心血管的模拟器在中国一套就是200多万人民币,如果再加上其他穿刺的模块,每个模块加进去都要几十万人民币才能做到。而我国虽然起步的比较晚,但是跟进的比较快,也曾经有国产的模拟器在市面上销售,但是跟国外产品相比在力反馈、自由度、真实感上有比较大的差距。

  所以,我们实验室在2012年的时候就承担了一个国家自然科学基金的重大项目,这个项目当时是国家给支持了2000万,我们核心的目的就是要做可交互的数字人体器官建模以及它的虚拟手术应用。在这个课题支持下,从基础理论和关键技术方面,我们主要研究了人体物理建模、生理建模还有表现等这一系列可以支撑虚拟仿真技术的理论,在这个基础上我们研发了相关的平台,可以供各种各样的虚拟手术开发,提供二次开发的支持。同时也建立了一些建模的工具,可以快速对个性化的医学数据、影像数据进行处理,并在这个基础上构建了目前三套模拟系统,后面我会详细的介绍。

  我们当时研究了几个问题,第一个就是包括多尺度个性化人体数字模型的一致建模表示,就是人从时间还有空间这个角度来说的话,都是多尺度的,比如说一个人的分子,一个原子,一个细胞,它可能很小,微米级纳米级甚至毫米级,人的整个系统可以到厘米级甚至几十厘米级,再到人的身高可以到米级,从这个角度都是多尺度的。为了能够精确对人体器官进行仿真,对虚拟手术方面有些作用的话,必须能做多尺度的建模。

  另外一个个性化是什么?个性化是指每个人是不一样的,尽管我们人的共同的解剖图是很相似的,但是从微观这个角度来说还是有些不一样,所以说在临床上要能够用它的话,做到个性化是比较重要的方面。另外还要有数字化一致性的表示,因为我们构件这个模型不仅仅是为了看,将来还要把它跟物理模型、跟生理模型融合到一块去,去表现它的活性行为。

  第二,活性个性化数字人体器官的矢量化建模。比如说左上角我们可以看到一个心脏,但是人的这个心脏的跳动不是说像气球这样线性的收缩,它是一个典型非线性的,基本上动起来像拧着毛巾。为了能够对它这种物理行为进行建模表示,首先要对它心室、心房、心机功能的结构进行自动的划分和识别。另外要融合几何、物理活性的特性,对它的行为进行数字的建模。但是单纯的靠数字建模可以把它建起来,但是要想把它实时的动态的用三维的可视化表示出来的话,还涉及到解散的问题,比如说我可以用很复杂的程序把这个物理建模出来,但是你能不能时时解散,至少达到一秒钟解散24次,至少达到一秒钟解散24次,对人的视觉来说跟你看电影一样,只有达到一秒钟24帧才感觉到不卡,所以说还是需要有这样一些数据跟你的物理模型向混合,来共同发生作用,从不同的尺度上,从宏观的运营尺度上还有微观的行为细节的尺度上分别进行建模,并融合起来,达到最终的形似的目的。

  第三个方面的内容是,基于多尺度数字人体模型的医学仿真与评价。核心的问题是我做这个手术的好坏,或者我用这个虚拟手术做的训练的好坏,你得有个量化的评价指标,你跟什么去比?所以这个就涉及一些测量的内容,包括力的测量,在这个测量的基础上还要设立一些标准,有一些指标的体系,以及怎么根据实测的数据或者手术理论的数据,在这个指标下做匹配,做量化的计算。

  下面分别介绍一下我们在这个基础上做的三款模拟器,第一款是心血管介入手术模拟器,这款就是利用临床的影像数据,基于这个临床的影像数据以后我们利用自己开发的个性化的建模工具,可以把它的几何形态,还有物理的行为建模表示出来,最后可以把它导入到我们开发的模拟器中,对他的个性化的手术进行仿真。

  这边是给出了个性化建模工具的一些例子,其实要对这个人体器官进行个性化建模,最重要的一个步骤要能够做到精确的分割,但是对于一些医学影像来说,CT还好,CT看骨头还好,但是对于其他模态像核磁影像并不是很清楚,所以对于影像的分割到现在还是一个世界性的难题,没有一个方法是通用的自动对这个影像进行分割。所以我们开发了这个工具里面有一个重要的内容基于这个简单的交互,半自动化的分割,这个效率已经很高了,基本上在10分钟左右可以处理完一个病人的分割,这个病人可能有好多切片。同时在这个基础上我们建立了三维建模的工具,因为你分割完了以后要构件成一个三维的模型,要自动生成这样一个模具,我们结合这个技术可以把血管、心肌壁可以高效的呈现出来。

  这个模拟器的一些功能,在这个图中简单列了一下,它首先你登录进去以后有一些记录你这个用户信息,比如今天是张三训练,明天是李四训练,进入以后要登录自己的个人信息,里面的病例都是实际病例,现在放的都是从北京协和医院拿过来的真数据,他进去以后先可以看这些病人的基本信息,出一个诊断报告,基于这个诊断报告就可以在他的虚拟空间下进行这个手术的操作。在这个过程中,涉及到X光照影的仿真还有动态活性器官4D的仿真,还有手术器械,等等一些功能都是涵盖在里面的。

  这边是给出了一些X光成像的模拟效果,因为在临床上医生做手术的过程中是看X光的,X光是一个二维的东西,所以我们的技术就是基于你重建好的三维模型,能够模拟X光成像,给他生成一个假的X光照片,跟他看病人看到的影像很像。同时对不同的导管导丝进入到人体内部以后也有一个成像,以及血液对这个导丝有一个漂浮的作用,或者呼吸对你这个成像都会有动态的影响。

  此外,为了更好的供临床结合,我们还开发了一些联动表示功能,就是你术前拍的CT数据、X光,可以精确到每个断层每个器官每个点,都可以计算一下这个数据的结果,还有X光成像的结果。

  另外在力反馈方面,因为医生是需要力感的,有一个力道,如果医生这个力量掌握不好的话手术也会失败,在这个过程中需要你手上有力量,所以我们这边也研究了一个软件,可以跟踪你的导丝、导管,到你这个血管或者要转向的时候会给你这个硬件发一个力度来,反馈到训练者的手上,就可以有比较真实感的一种感觉。

  这是我们现在最新研发的机械,经过了几次的演进,这是个视频,可以简单看一下,这是看病例的过程,先看见这个病例,然后选一下他要用哪个病例做训练,这里面用的导管、导丝都是跟实际临床上做手术是一样的,这些器械我们都是直接从协和医院拿过来的,刚才看的视频中他操作的时候,真的给病人做的时候把你的胳膊或者腿上血管打一个孔,通过这个孔打到心脏,而模拟手术的时候有一些通道,你可以往里插这个导丝。因为时间的关系,我们就不细看了。

  这个是建模的过程,拿到一个个性化的CT数据,因为心脏里面的血管是比较重要的,我们首先会算它的中心线,它的半径,自动把它的个性化的血管给重建出来。

  这边是我们对心脏做的建模的物理模型,这些点都是类似于物理的智点,可以在它的带领下产生这样的形变,这个形变都是完全通过计算机仿真算出来的,大家可以看到把心脏的运动已经仿真的比较精确。

  这个图给出的其实是我们实际对它做物理建模的过程,这里面就有弹簧质子的系统,也有数据,我们实际上拍了一个人的CT,拍好多次,比如拍20次,来观察他的形变,细节的形变就要靠这种物理仿真系统来完成。同时,这个模拟器因为我们研发的时间也比较长,曾经在澳门还有瑞士参加交流的时候做了一些展示。

  我们第二个模拟器是腹腔镜手术模拟器,里面做了好几种手术的仿真,这里面给了一些例子,这个例子是胃束带,胃束带欧美用的比较多,有些人吃的太多了,太肥胖了,就把你的胃系一个绳子,达到一个减肥的目的。另外还有做胆囊切除的手术,还有直肠癌切除的手术。这个模拟器侧重更多是切和割。

  这也是一个视频,是直肠癌仿真的一个视频,大家可以看到在手术器械的作用下对黏膜进行拉拽、切割,这里的难点如何能够对它进行实时切割还有形态的仿真,为什么切割有难度呢?因为你一旦动态切了以后,这个拓扑就变了,你要做拓扑时时的更新。同理这个模拟器也参加了各种各样的展览。

  第三个是牙科的模拟器。大家可能觉得牙不是特别重要?实际上不是这样的,关于牙科的教学,其实里面对实操性的要求比较高,你要换牙或者种植牙、拔牙的过程中是一个双手操作的协同,为了解决训练的难题,我们做了这样一款模拟器,其实在里面除了基本的程序训练,还对牙科的基础理论、技能、评估都做了仿真。

  这个模拟器其实我们已经实际应用临床了,我们都知道国内最好的牙科是华西口腔,第二好的是北大口腔,这两个口腔医院分别装备了我们研发的模拟器,华西装了20台,北大口腔也差不多装配了20台,前段时间我们给西藏大学捐赠了两台,他们基于我们这个模拟器可以很好的为医生进行教学。同时我们也跟国外的同类的产品做了比较,通过这个表可以看出咱们国产的自主研发的设备还是具有很多的技术优势的。

  这个视频比较短,大家一看一下,这个就是牙科的模拟器,它的外观,人在操作的时候,下面这两个球状的东西是两个力感的设备,可以对你的手产生力感的感觉,同时包括这个钻牙,大家看看,你看看能不能钻透,其实这个力感是很重要的,对精确度的要求比较高。同时这里有一个技术难点,就是说人的视觉刚才说24帧每秒可以达到不卡的效果,所以说这里面的一些碰撞、处理方面的算法要求就比较高。

  第四个方面的工作是,我们跟协和的放射科做了甲状腺结节的智能诊断系统,根据这个超声的影像,结合深度学习,很快判断你这个结节是良性还是恶性,并且我们也做了前端的类似于APP功能研发,医生可以基于这样一个系统上传片子以后自动给你一个诊断的结果。同时我们也把这个技术在后期的研究过程中会把它用于手术的导航,因为对于每个病人实测数据以后,可以识别病人病灶的特点,比如这样一个病人这样一个特点,在你手术导航的过程中可以做一些提示,类似于你开车的时候有人给你提示这边有限速拍照,但是它的前提一定是基于你AR的识别。

  所以说总结起来,我们认为虚拟人体和虚拟手术是虚拟现实领域前沿的一个发展方向,而且虚拟手术技术从技能培训到临床辅助的升级换代是一个惊人的突破点。另外从表示方面,从几何到物理,从视觉到视力觉的融合这样一个发展将来是一个趋势。

3

鲜花

握手

雷人

路过

鸡蛋

刚表态过的朋友 (3 人)

收藏 邀请

最新评论

返回顶部