改良3D打印病理切片盒在骨肿瘤病理拼接中的应用初探
1.
2.
Preliminary application of improved 3D printed pathological section box to assisting stitching pathological images of bone tumor
1.
2.
通讯作者: 艾松涛,电子信箱:ai.songtao@qq.com。
编委: 邵碧云
收稿日期: 2022-09-22 接受日期: 2023-01-11 网络出版日期: 2023-02-28
基金资助: |
|
Corresponding authors: AI Songtao, E-mail:ai.songtao@qq.com.
Received: 2022-09-22 Accepted: 2023-01-11 Online: 2023-02-28
目的·探讨基于影像后处理和3D打印技术设计的改良病理切片盒运用于骨肿瘤并辅助人工智能(artificial intelligence,AI)拼接病理图像的可行性。方法·收集于2022年2月至2022年8月间以骨肿瘤收治并行切除重建术的患者,对患者术前及其术后肿瘤标本行CT和MRI检查,以骨肿瘤的骨性结构为标志点,实现术前患者CT、MRI图像及术后肿瘤标本CT图像间的配准。设计经过改良的个性化病理切片盒并3D打印,指导病理切片方向,网格状分割病理大切片后行苏木精-伊红染色。借助AI拼接病理切片图像,并与术前肿瘤影像边界进行共定位比较。结果·收集4例使用改良病理切片盒的骨肿瘤患者(骨转移瘤2例,骨肉瘤1例,软骨肉瘤1例),男性3例,女性1例,平均年龄(40.25±25.70)岁。骨肿瘤累及股骨3例,髂骨1例。骨肿瘤最大直径为(12.10±4.02)cm。改良后的3D打印病理切片盒能较好地拟合骨肿瘤表面,解决了骨肿瘤标本在初代病理切片盒内移动度过大而导致的切割困难或切割定位不准确的问题,其能完整获得肿瘤三维病理边界的信息,并能与术前的影像肿瘤边界进行共定位比较。切片盒逐层各异的轮廓特征信息能辅助AI筛选并还原切片盒内病理碎片的相关关系,图像拼接时间由70余小时缩短为1 h,边缘符合率增加至90%。结论·基于3D打印技术的改良病理切片盒能准确辅助AI拼接病理图像,大幅提升病理图像拼接效率,为实现骨肿瘤的术前影像和病理边界精准对应提供数据支持。
关键词:
Objective ·To explore the feasibility of applying improved pathological section boxes based on image post-processing and 3D printing technology to assisting artificial intelligence (AI) in stitching pathological images of bone tumors. Methods ·Bone tumor patients who underwent tumor resection surgery between February 2022 and August 2022 were enrolled. Patients and their postoperative tumor specimens were examined by CT and MRI. The skeletal anatomical landmarks of bone tumors were used to register the preoperative CT, and MRI and the postoperative CT images. The personalized pathological slice box was improved and 3D printed to guide the cutting direction of bone tumor specimens. The large pathological slices were grid-like segmented and performed with hematoxylin-eosin staining. After AI stitching the pathological images, the pathological tumor boundaries were compared with the preoperative radiological boundaries. Results ·Four patients with bone tumors (2 bone metastatic neoplasm, 1 osteosarcoma, and 1 chondrosarcoma; 3 males and 1 female) were collected to design the pathological section box with an average age of (40.25±25.70) years. The lesions included 3 cases of femur and 1 case of ilium. The mean maximum tumor diameter was (12.10±4.02) cm. The modified 3D printed pathological section box could fit the surface of bone tumor individually,and overcame the problems of difficult cutting or inaccurate cutting location caused by excessive movement of bone tumor specimens in the primary pathological section box. The pathological boundaries could be completely obtained and compared with the preoperative MRI boundaries for colocalization. The outline features of the section boxes could help AI to restore the permutation of pathological fragments, and the image stitching time decreased from the previous seventy hours to one hour while the boundary coincidence rates increased to 90%. Conclusion ·The improved pathological section box of 3D printing can accurately assist AI in stitching pathological images, greatly improve the efficiency of pathological image stitching and achieve the colocalization between preoperative MRI and pathological images of bone tumor specimens.
Keywords:
本文引用格式
吴兵, 李小敏, 柳思宇, 赵露露, 武文, 郝永强, 艾松涛.
WU Bing, LI Xiaomin, LIU Siyu, ZHAO Lulu, WU Wen, HAO Yongqiang, AI Songtao.
骨的恶性肿瘤常伴局部复发和远处转移,致死率极高 [ 1]。术前影像学精准判定肿瘤的真实边界是术中完整切除的关键,有利于减少肿瘤原位复发和改善预后 [ 2]。磁共振成像(magnetic resonance imaging,MRI)凭借优秀的软组织分辨率成为目前评估瘤周浸润范围的主要技术,但瘤周水肿判断限度等也限制了MRI判断肿瘤边界的准确性;病理对照是金标准,肿瘤的术前MRI影像与术后病理的相关性是近年的研究热点 [ 3- 5]。既往影像病理对照研究多选择最大病理切面与MRI图像进行对照,此方法得到的是特定切面上的点对点对比,缺乏三维空间上的逐层对应,无法精准了解肿瘤边界的具体病理信息。有学者 [ 6- 8]应用3D打印技术制作切片盒,就前列腺、脑、肾、肝等软组织疾病的MRI图像与病理切片的三维配准展开探索。这些切片模具多基于术前影像的分割建模资料,而骨肿瘤术前影像模型与术中切除标本形态存在较大差异,相关经验对于骨肿瘤研究指导意义有限。本课题组此前基于术后标本的形态设计了病理切片盒,初步实现了配准骨肿瘤术前MRI图像与术后标本病理图像,证明了3D打印切片盒应用于骨盆肿瘤共定位的可行性 [ 9]。
但随后在大量临床应用研究中我们发现,部分骨肿瘤标本在初代切片盒内移动度过大,存在一端切割困难及切片定位不准确的问题。因手工拼接的效率和诊断准确率较低,现多借助人工智能(artificial intelligence,AI)拼接大块病理碎片,而拼接过程中常存在同层病理碎片顺序与方向未知、边缘无重叠、边缘不规则和切割后边缘组织缺损等问题,一定程度上影响了AI辅助病理图像拼接的效率以及拼接后病理与大体图像的拟合度 [ 10- 11]。本研究尝试改良初代3D打印切片盒,通过使模具个性化拟合骨肿瘤表面与利用切片盒逐层各异的轮廓特征信息,帮助AI筛选并还原切片盒外缘一周病理碎片的相关关系,并进一步计算出内缘范围碎片的排列,拟显著提升病理图像拼接效率,实现骨肿瘤病理大切片拼接,为肿瘤边界研究和骨肿瘤化学治疗反应研究提供循证依据,切实提高患者治疗效果。
1 材料与方法
1.1 研究对象
收集于2022年2月至2022年8月间以骨肿瘤收治并行切除术的患者。纳入标准:①以骨肿瘤收治于上海交通大学医学院附属第九人民医院骨科。②术前均行肿瘤部位CT增强、MRI增强检查和胸部CT平扫观察肺转移情况。③术后病理诊断明确。排除标准:①明显图像伪影影响诊断。②影像学检查方法缺项。
1.2 影像学检查
患者术前行CT增强和MRI增强检查,术后切除的骨肿瘤标本行CT平扫和MRI扫描,导出图像的DICOM数据。
CT检查:128排能谱CT机(Revolution CT,GE,美国)。扫描参数:管电压120 kV,基准管电流与曝光时间乘积300.0 mAs,探测器准直32 mm×0.8 mm,螺距0.8,重建视野360 mm,层厚0.6 mm,无间隔。MRI检查:3.0T MR扫描仪(Ingenia 3.0T,飞利浦,荷兰)。扫描参数见 表1。
表1 MRI扫描参数
Tab 1
Sequence | TR/ms | TE/ms | FA/( °) | ST/mm | SG/mm | FOV/cm | b value/(s·mm -2) |
---|---|---|---|---|---|---|---|
T1 | 615 (axial) | 18 | 120 | 5 | 6 | 360 | N/A |
T2 FS | 5 000 (axial) 5 000 (coronal) | 85 (axial) 80 (coronal) | 130 | 5 | 6 | 360 | N/A |
DWI | 6 100 | 74 | 90 | 3 | 3 | 360 | 1 000 |
1.3 设计与 3D打印切片盒
1.3.1 数据建模
导入患者术前和术后标本的CT数据至Medraw软件[V1,影为医疗科技(上海)有限公司,中国],勾画肿瘤/标本范围,导出三维建模数据用于图像配准。
1.3.2 图像配准
1.3.3 设计与打印切片盒
导入上述配准后的肿瘤MRI数据和三维建模数据至Medraw软件,测量肿瘤切除前后的形态大小变化。若差值较小可直接导入软件,若偏差较大则需参考术后标本来设计。根据肿瘤形态,重建贴合肿瘤表面的切片盒,在切割直径最宽处将盒子分成上下两部分,并在盒子上留出与术前MRI扫描层厚和方向一致的切割引导槽。为防止切片盒在切割时晃动,影响共定位的准确性,在引导槽内添加8~10根连接柱进行加固。引导槽宽度为1~1.2 mm,连接柱直径在2.5~3 mm。导出拔模处理后的切片盒STL文件,用128树脂(Stratasys,以色列)经3D打印机(Lite800,联泰,中国)等比例打印。
1.4 影像病理对照分析
标本行甲醛固定后,顺着骨肿瘤延伸方向放入切片盒下部,完毕扣入切片盒上部,将上部连接扣卡入下部凹槽中以保持两部分固定并扫描薄层CT。用金刚石病理切骨机(E302,EXAKT,德国)沿切片盒引导槽方向将标本片状精密切割,以便大切片与其MRI扫描方向和层厚一致,片状厚度≤5 mm。然后网状格分切样本,每个样本45 mm×60 mm以内。切片采用15% EDTA脱钙液进行脱钙,脱水浸蜡包埋后行苏木精-伊红染色(hematoxylin-eosin staining,H-E 染色) [ 14]。使用病理数字化扫描仪扫描所制切片,根据切片盒每层的边缘轮廓特征,借助AI计算各病理碎片的排列关系,完成整层病理碎片拼接和切片盒三维层次的配准。由病理医师选定切片区域进行放射病理学分析。研究流程见 图1。具体病理碎片拼接流程示意图见 图2。
图1
图2
图2
病理拼接流程示意图
Note:A. Position outline of the bone tumor on preoperative MRI. B. MRI image of the postoperative specimen. C. The contour fitting of the specimen to the slice box. D. Gross view of the specimen in the corresponding section of Figure C. E. Grid-like segmentation of large slices at the same level. F. Scanned image of the segmented pathological fragments. G. AI-assisted stitching pathological images.
Fig 2
Flow chart of stitching pathological images
2 结果
2.1 病例资料
本研究共纳入4例骨肿瘤患者,其中男性3例,女性1例。患者年龄12~62岁,平均年龄(40.25±25.70)岁,术后病理结果为骨软骨瘤1例,骨肉瘤1例,甲状腺乳头状癌骨转移1例,肾细胞癌骨转移1例;肿瘤部位为累及股骨3例,累及髂骨1例。患者均实施骨肿瘤切除术和人工关节置换术。术后骨肿瘤最大直径为(12.10±4.02)cm。患者各项临床资料见 表2。
表2 患者临床资料
Tab 2
Case No. | Gender | Age/year | Diagnosis | Tumor location | Tumor maximum diameter/cm | Surgery performed |
---|---|---|---|---|---|---|
1 | Male | 25 | Osteochondroma | Femur | 6.1 | Excision + EPR |
2 | Male | 62 | Renal cell carcinoma bone metastasis | Ilium | 13.9 | Excision + EPR |
3 | Female | 12 | Osteosarcoma | Femur | 13.8 | Excision + EPR |
4 | Male | 62 | Papillary thyroid carcinoma bone metastases | Femur | 14.6 | Excision + EPR |
2.2 案例展示
男性,62岁,右侧下肢跛行加重伴肌力减退1年余,以“右侧骨盆肿瘤”收入上海交通大学医学院附属第九人民医院骨科。术前CT和MRI增强检查示右侧髂骨、骶骨骨质破坏伴软组织占位,肿瘤最大直径13.9 cm,实施骨肿瘤切除术。骨肿瘤CT、MRI数据导入Medraw软件,根据CT和MRI图像重建骨性和软组织结构,在CT与MRI图像上逐层勾勒出肿瘤浸润范围,精准规划手术截骨区域,生成并导出骨肿瘤三维模型的STL数据。将术后标本的CT、MRI数据导入Medraw软件,配准患者的术前相影像数据,设计并打印个性化病理切片盒,结构示意图见 图3,病例资料见 图4。将固定好的骨肿瘤标本放入切片盒切片,病理结果为肾细胞癌转移。 图5中可见切片盒轮廓较好拟合肿瘤表面,限制了骨肿瘤在切片盒内的晃动,保证术后标本在切片盒中的定位与图像配准的准确性。
图3
图3
3D打印病理切片盒结构示意图
Fig 3
Schematic diagram of the structure of the 3D printed pathological section box
图4
图4
改良 3D打印病理切片盒在骨肿瘤的应用
Note:A 62-year-old renal cell carcinoma bone metastasis patient, who underwent hemi-pelvic resection plus artificial hemi-pelvic replacement surgery. A. Preoperative CT scan of bone window image. B. Preoperative MR axial T2WI with fat suppression. C. Preoperative MR contrast-enhanced T1WI with fat suppression. D. Pathological specimen of bone tumor. E. Preoperative and postoperative 3D models of pelvic tumor. F. Section image. G. Virtual individualized 3D printed pathology section box image. H. Realistic individualized 3D printed pathology section box image. I. MR image of postoperative pelvic tumor specimen.
Fig 4
Application of improved 3D printed pathological slide box to bone tumor
图5
图5
3D打印病理切片盒与骨肿瘤标本的拟合程度的 CT 图像
Note:CT images show postoperative bone tumor specimen in 3D printed pathological section box. A. Coronal image. B. Sagittal image. C. Axial image.
Fig 5
CT images of fitting degree of 3D printing pathological section box and bone tumor specimen
3 讨论
影像学精准判定肿瘤边界是临床规划手术截骨范围的基础,术后组织切缘的病理学结果则是检验影像判定肿瘤浸润范围准确与否的金标准。既往影像病理对照研究多选择术后组织的最大病理切面与MRI图像进行对照,这种指定切面上的点与点对比,缺乏三维空间上的逐层对应且定位多存在位移,无法精准了解完整肿瘤边界的病理信息。诸多学者将3D打印技术实践于病理切片盒,就前列腺、脑、肾、肝等软组织疾病的MRI图像与病理切片的三维配准展开探索 [ 15- 17]。但其对照研究主要聚焦于前列腺等小体积软组织标本。COSTA等 [ 18]利用基于MRI三维模型数据设计的病理切片盒切片实现了前列腺标本在体内外的配准,比起常规包埋切片盒,前列腺内部结构和肿瘤轮廓的配准与勾画准确率均得到了改善。其他学者 [ 6- 8]在脑、肝脏及肾脏组织标本的影像病理共定位研究方面展开了一些探究。
骨肿瘤体积与切面直径较大,临床上病理取材部位有限、随意且无明确标准,导致影像与病理共定位研究困难。既往研究对于骨肿瘤切片盒的设计指导意义有限,为此我们此前基于3D打印技术设计了初代辅助病理切片盒,初步实现了联合配准骨肿瘤术前MRI图像与术后肿瘤标本病理图像,证明了其应用于骨肿瘤共定位的可行性。但随后在实际应用中发现,由于初代切片盒只有一端贴合标本表面,另一端为平整底壁,使得个别两端不规则的标本因其底壁端周径小于切片盒周径,该端标本表面与盒外缘轮廓间隙过大,在盒内移动度过大,在沿进刀口制作大切片时,存在此端切割困难或切片定位不准确的问题。因骨肿瘤大切片直径较大,手工拼接需要根据切块的大体照片,按每个组织块的图找到对应的病理图像,将多个病理图像经过镜像、旋转、翻转,拼接成与大体照片能匹配上的病理图像,工作量大,效率和诊断准确率较低,无法在临床中广泛应用;借助AI算法拼接病理大碎片已成为主流。但网格状分割大切片后多出现同层病理碎片顺序与方向未知、边缘无重叠、边缘不规则和切割后边缘组织缺损等问题,一定程度上影响了AI辅助病理图像拼接的效率以及拼接后病理与大体图像的拟合度。
本研究设计的改良病理切片盒,改良了此前切片盒整体形态为正方体或一端为平面底壁的设计理念,通过使模具各层轮廓紧密贴合肿瘤表面,限制了骨肿瘤在切片盒内的移动度,改善了因为形态不规则和底壁端过大的盒内间隙造成的切割困难情况,能更好地精确确定每一次的标本切割方向及切割层厚,所有大体切片可以对应到术前MRI上的每一层,保证了术后组织在切片盒中定位与影像病理图像配准的准确性。更重要的是,利用个性化贴附面所带来的各层切片外缘处的个性化轮廓,借助病理和大体碎片在轮廓和纹理上存在的联系,为AI创造了既定已知的局部轮廓特征信息,能帮助其首先识别出切面外缘一周的病理碎片,计算这些碎片的最优排列、空间位置和角度后,再进一步计算出内缘碎片的排列关系,使得图像拼接时间由以往的70余小时缩短为1 h余。经计算,其边缘符合率也可高达90%(将最大截面组织切片的周径等分为若干个子单位,比较每个子单位与其对应位置的病理拼接图轮廓的直线距离,小于8 mm即为边缘符合,再统计全部子单位中的边缘符合率)。这为辅助AI高效解决影像病理图像共定位问题提供了一些潜在思路,也为基于客观定量成像和病理信息的放射组学和肿瘤边界识别AI算法数据库提供了确切数据支持 [ 19- 22]。
本研究也有一些局限。首先,本研究样本量有限,但骨肿瘤标本体积较大,病理图像拼接的巨大工作量也能在一定程度上说明本切片盒技术对于拼接效率的显著提升作用。其次,组织固定切割中可能造成的形变会影响配准准确性。研究通过AI算法提取和匹配领域特征点,结合肿瘤术前影像与术后标本差异,补偿标本的体积损失,另外标本中质硬的骨性成分可在一定程度上维持其结构的稳定性。此外,网格状分割大切片会不可避免地造成切片中央范围的病理碎片顺序方向未知,多数碎片边缘无重叠、不规则、组织缺损以及大体图像和对应病理碎片间信息缺失。这些限制会随着AI算法提取特征点能力的精进得到改善,但在相对完善的AI影像病理数据库建立之前,病理图像拼接重建的效率仍受限制。
综上所述,本研究改良了一种基于骨肿瘤MRI影像和病理联合配准的个性化3D打印病理切片盒,探讨通过使模具各层轮廓紧密拟合肿瘤表面来限制标本的移动度,保证了标本在切片盒中的定位与影像病理图像配准的准确性。利用个性化贴附面所带来的形态轮廓,为AI提供了既定的局部边缘特征信息,帮助其快速识别出切面外缘一周的病理碎片并筛选出最优的排列组合,为辅助AI高效解决影像病理图像共定位问题提供了潜在思路。随着临床病例的扩充和AI算法数据库的完善,可为揭示骨肿瘤边界的浸润侵袭范围及MRI信号特点提供具有循证意义的数据支持,最终优化手术方案,改善患者预后。
作者贡献声明
吴兵、李小敏和艾松涛参与了课题设计;吴兵、柳思宇和赵露露参与了扫描成像、数据分析和切片盒设计;吴兵、武文、郝勇强和艾松涛参与了论文的写作和修改。所有作者均阅读并同意了最终稿件的提交。
AUTHOR's CONTRIBUTIONS
The study was designed by WU Bing, LI Xiaomin and AI Songtao. WU Bing, LIU Siyu and ZHAO Lulu carried out the imaging experiments, data analysis and the 3D printed pathological section box design. The manuscript was drafted and revised by WU Bing, WU Wen, HAO Yongqiang and AI Songtao. All the authors have read the last version of paper and consented for submission.
利益冲突声明
所有作者声明不存在利益冲突。
COMPETING INTERESTS
All authors disclose no relevant conflict of interests.
参考文献
/
〈 | 〉 |