3D MINS多模态影像导航系统(Multimodal Image Navigation System)是SunyaTech研发的建立在DICOM(Digital Imaging and Communications in Medicine)图像基础之上的多模态影像导航系统,集二维影像PACS管理、三维影像层级节点管理、三维可视化、仿真教学、手术规划、手术导航、术后评估和手术机器人模块于一体的多模态影像导航系统,适用于医学院学生、临床医生、医疗科研人员等对医学影像感兴趣的研发人员,该系统支持定制开发和用户二次开发。
图1 3D MINS功能模块
图2 3D MINS主界面
∙∙∙ 系统功能 ∙∙∙ 1、数据管理
3D MINS二维影像PACS(Picture Archiving and Communication System)管理是与医院PACS系统类似的本地数据库存储便携式PACS系统,为用户提供方便快捷的DICOM影像导入导出、DICOMDIR导入导出、JPEG/BMP格式导出、远程PACS上传下载、本地及远程PACS组合条件查询、自定义视图布局浏览、二维影像交互式操作(放大、缩小、窗宽窗位调节、旋转、镜像、ROI放大、拖动、测量和标记)等功能。
图3 影像数据管理和自定义视图布局浏览
图4 本地和远程PACS组合条件查询
3D MINS三维影像层级节点管理支持多种数据格式(图像格式有DICOM格式、NRRD、NII、NII.GZ等,三维模型格式有OBJ、STL、VTK、VTP、PLY等)打开,同样支持上述格式的保存。系统对打开的各种类型数据采用层级节点管理,可以对不同类型数据节点进行相应属性设置(颜色、透明度、纹理插值、面片表现形式等)和操作处理(体绘制渲染、面绘制、面片数量消减等)。系统提供场景数据的保存功能,保存文件扩展名为scene,为系统专属格式。
2、影像工具
影像工具由影像测量、裁剪、配准、平移旋转四个工具组成。主要满足用户对三维影像的基本操作,为三维可视化和手术规划服务。
图5 影像测量、裁剪和平移旋转
图6 影像自动配准和人机交互配准
3、三维可视化
三维体绘制渲染VR(Volume Rendering)是通过对三维体数据进行采样和合成来实现,它涉及到体素(Voxel),每个体素不仅包含表面的信息,还包括内部的信息,使体绘制能够显示物体内部丰富的细节,并且保真性较高。体绘制主要应用于CT影像的展示,以便立体、直观观察不同器官和组织。系统提供九种体绘制预设效果,具有盒消隐和面消隐功能如图7所示。
图7 三维体绘制面消隐和盒消隐
图8 三维分割重建效果
4、仿真教学
仿真教学主要用于断层解剖、超声影像和虚拟内镜的学习。断层解剖学习由常规切面教学和任意切面教学两个功能组成。超声影像学习由仿真超声教学和融合超声教学两个功能组成。
常规切面教学提供了横断位、矢状位、冠状位三方位切面与相应二维切面在三维影像中位置的对照显示,另外还可以提供四视图多平面重建MPR(Multiplanar Reconstruction)显示效果,为断层解剖教学提供了直观立体的教学体验。
图9 横断位、矢状位、冠状位和MPR教学
任意切面教学使用系统提供的双目光学定位仪和切面教具实现多角度、任意切面断层影像的重建,满足用户任意切面断层影像教学的需要。
图10 任意切面断层影像教学
仿真超声教学使用系统提供的双目光学定位仪和仿真超声探头教具,实现将CT影像仿真成超声影像,为超声影像教学提供了一种新型教学方法。
11 仿真超声教学界面
影像融合解决方案超声教学使用系统提供的光学双目定位仪和无线超声仪,实现了超声影像与CT影像对照显示和融合显示,为超声影像学习提供了一种新型教学方法。
图12 超声影像与CT影像对照融合显示
虚拟内镜VE(Virtual Endoscope)教学是针对学生学习内镜影像不直观、不方便而设计的。用户可以根据自己的教学目标选择案例影像,经过三维分割重建,根据用户中心点选择生成运动路径,用户可以调整镜头视角和方向,可进行管道内表面观察,还可全面显示邻近组织与管道关系,是一种安全、无创的内镜学习方法。
5、手术规划
手术规划(Surgical Planning)是用术前获得的患者病灶处影像,对ROI(Region Of Interesting)进行三维分割重建,结合医生的解剖学和病理学知识,进行手术规划(包括手术方法,手术流程,手术切口与手术路径等)并得到手术方案。系统的手术规划包括介入消融规划、介入粒子规划、骨科假体规划、TIPS通道规划四方面术前规划。介入消融规划主要针对实体肿瘤的热消融、冷消融和化学消融的进针路径和消融范围的术前规划和模拟。图15 介入消融规划
介入粒子规划主要针对实体肿瘤近距离放射治疗的进针路径和粒子辐射范围的术前规划和模拟。
图16 介入粒子规划