特許第6605669号(P6605669)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 同方威視技術股▲分▼有限公司の特許一覧 ▶ 清華大学の特許一覧

特許6605669CT画像を再構成する方法及びデバイス、並びに記憶媒体
<>
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000007
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000008
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000009
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000010
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000011
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000012
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000013
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000014
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000015
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000016
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000017
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000018
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000019
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000020
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000021
  • 特許6605669-CT画像を再構成する方法及びデバイス、並びに記憶媒体 図000022
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6605669
(24)【登録日】2019年10月25日
(45)【発行日】2019年11月13日
(54)【発明の名称】CT画像を再構成する方法及びデバイス、並びに記憶媒体
(51)【国際特許分類】
   G01N 23/046 20180101AFI20191031BHJP
   A61B 6/03 20060101ALI20191031BHJP
   G06T 1/00 20060101ALI20191031BHJP
【FI】
   G01N23/046
   A61B6/03 350F
   G06T1/00 290B
【請求項の数】26
【全頁数】22
(21)【出願番号】特願2018-139756(P2018-139756)
(22)【出願日】2018年7月25日
(65)【公開番号】特開2019-28073(P2019-28073A)
(43)【公開日】2019年2月21日
【審査請求日】2018年7月25日
(31)【優先権主張番号】201710615147.5
(32)【優先日】2017年7月25日
(33)【優先権主張国】CN
(73)【特許権者】
【識別番号】503414751
【氏名又は名称】同方威視技術股▲分▼有限公司
(73)【特許権者】
【識別番号】502192546
【氏名又は名称】清華大学
【氏名又は名称原語表記】Tsinghua University
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】▲シン▼ 宇 翔
(72)【発明者】
【氏名】張 麗
(72)【発明者】
【氏名】李 薦 民
(72)【発明者】
【氏名】陳 志 強
(72)【発明者】
【氏名】顧 建 平
【審査官】 田中 秀直
(56)【参考文献】
【文献】 特開2016−198507(JP,A)
【文献】 特表2007−504912(JP,A)
【文献】 特開2008−229161(JP,A)
【文献】 米国特許第09589374(US,B1)
【文献】 中国特許出願公開第104700118(CN,A)
【文献】 Kyong Hwan Jin, et al.,Deep Convolutional Neural Network for Inverse Problems in Imaging,IEEE TRANSACTIONS ON IMAGE PROCESSING,2017年 6月15日,Vol. 26, No. 9,P. 4509-4522
【文献】 GE WANG,A Perspective on Deep Imaging,IEEE Access,2016年11月 3日,Vol. 4,P. 8914-8924
(58)【調査した分野】(Int.Cl.,DB名)
G01N 23/046
A61B 6/03
G06T 1/00
JSTPlus(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
被検査物をCT走査して、第1スケールにおける投影データを得るステップと、
第1スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、
各々のスケールにおいて、第1畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるCT画像を得るステップと、
複数のスケールにおけるCT画像を融合して、被検査物の再構成画像を得るステップとを含む、CT画像を再構成する方法。
【請求項2】
前記CT走査は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つであり、
前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである、請求項1に記載の方法。
【請求項3】
前記CT走査は、円周走査あるいは螺旋走査であり、
前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む、請求項1に記載の方法。
【請求項4】
各々のスケールにおいて、第2畳み込みニューラルネットワークを利用して、各々のスケールのCT画像を処理するステップをさらに含む、請求項2または3に記載の方法。
【請求項5】
複数の他のスケールにおける投影データを生成する前に、ランプフィルターを利用して投影データをフィルタリングするステップをさらに含む、請求項4に記載の方法。
【請求項6】
第2畳み込みニューラルネットワークを利用して、各々のスケールのCT画像に対して局所的な平滑処理を行う、請求項4に記載の方法。
【請求項7】
第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、1つの次元が検知器画素シーケンスであり、もう1つの次元が走査角度であり、且つ、
第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールと走査角度の次元におけるスケールとが個別に設定される、請求項1に記載の方法。
【請求項8】
第1畳み込みニューラルネットワークは、少なくとも3つの畳み込み層を含み、
畳み込み層のそれぞれは、畳み込み処理された投影データに非線形演算を行うための1つのアクティブ関数を有する、請求項1に記載の方法。
【請求項9】
第1畳み込みニューラルネットワークは、畳み込み層により処理された投影データに逆投影演算を行うための逆投影層をさらに含む、請求項1に記載の方法。
【請求項10】
第1畳み込みニューラルネットワークにおいて、逆投影層に最も近い畳み込み層の畳み込みカーネルの長さおよび幅のサイズパラーメータは、1*1である、請求項9に記載の方法。
【請求項11】
第2畳み込みニューラルネットワークは、画像領域において再構成された画像を処理するための画像領域初期畳み込み層及び末端畳み込み層を含む、請求項4に記載の方法。
【請求項12】
画像領域初期畳み込み層に含まれる畳み込み層のそれぞれはアクティブ関数を有し、末端畳み込み層はアクティブ関数を有しない、請求項11に記載の方法。
【請求項13】
複数の畳み込みカーネルを利用して、それぞれ第1スケールの投影データと畳み込みを行って、複数の他のスケールの投影データを得る、請求項1に記載の方法。
【請求項14】
前記複数の他のスケールの投影データに対してスケールの異なるプーリングを行って、複数のスケールの異なる投影データを得る、請求項13に記載の方法。
【請求項15】
複数のスケールにおけるCT画像を融合するステップは、
アップサンプリング操作を利用して複数のスケールにおけるCT画像を段階的に融合し、最終的に被検査物の再構成画像を得るステップを含む、請求項1に記載の方法。
【請求項16】
複数のスケールにおけるCT画像を段階的に融合するステップは、最小のスケールから最大のスケールに向かって段階的に融合するステップを含み、
それぞれの段階における融合過程は、
第2スケールが最小スケールである場合に、第2スケールのCT画像にアップサンプリング操作を行って、相対的に大きな第1スケールCT画像を得ること、または、第2スケールが最小スケールではない場合に、相対的に小さい第2スケールの融合画像にアップサンプリング操作を行って、相対的に大きな第1スケールCT画像を得ることと、
再構成された第1スケールCT画像とアップサンプリング操作を行って得たCT画像とから構成された全体画像を、特定の畳み込みカーネルと畳み込みを行い、融合後の第1スケールの融合画像を得ることとを含む、請求項15に記載の方法。
【請求項17】
最大スケール融合画像を最終CT画像として出力するステップを含む、請求項16に記載の方法。
【請求項18】
複数のスケールにおけるCT画像を融合するステップは、
アップサンプリング操作を利用して、最大スケール以外の他のスケールのCT画像を最大スケールの画像に転換するステップと、
畳み込みカーネルを利用して、最大スケールのCT画像と転換して得られた最大スケール画像とを全体として処理し、融合された画像を得るステップと含む、請求項1に記載の方法。
【請求項19】
被検査物をCT走査して、投影データを得るCT走査装置と、
第1スケールの投影データから、複数の他のスケールにおける投影データを生成し、
各々のスケールにおいて、第1畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるCT画像を得て、
複数のスケールにおけるCT画像を融合して、被検査物の再構成画像を得る、ように配置されたプロセッサーとを含む、CT画像を再構成するデバイス。
【請求項20】
前記CT走査装置は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つを実行し、
前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである、請求項19に記載のデバイス。
【請求項21】
前記CT走査装置は、円周走査あるいは螺旋走査を実行し、
前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む、請求項19に記載のデバイス。
【請求項22】
前記プロセッサーは、さらに、各々のスケールにおいて、第2畳み込みニューラルネットワークを利用して、再構成された画像を処理するように配置される、請求項20または21に記載のデバイス。
【請求項23】
前記プロセッサーは、さらに、第2畳み込みニューラルネットワークを利用して、再構成された画像に対して局所的な平滑処理を行うように配置される、請求項19に記載のデバイス。
【請求項24】
前記プロセッサーは、異なる畳み込みカーネルを利用して、第1スケールの投影データと畳み込みを行って、他のスケールの投影データを得るように配置される、請求項19に記載のデバイス。
【請求項25】
前記プロセッサーは、アップサンプリング操作を利用して複数のスケールにおけるCT画像を段階的に融合し、最終的に被検査物の再構成画像を得るように配置される、請求項19に記載のデバイス。
【請求項26】
プロセッサーにより実行されることで、
第1スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、
各々のスケールにおいて、第1畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるCT画像を得るステップと、
複数のスケールにおけるCT画像を融合して、被検査物の再構成画像を得るステップとを実現する、コンピュータープログラムを記憶した、コンピューター読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施例は、放射結像に関し、具体的には、CT画像を再構成する方法及びデバイス、並びに記憶媒体に関する。
【背景技術】
【0002】
X線CT結像システムは、医療、保安検査、産業非破壊検出などの分野において広く用いられている。放射線源と検知器は、一定の軌道に沿って一連の投影データを採集し、画像再構成アルゴリズムによる復元により、被検査物の線形減衰係数の三次元空間分布を得ることができる。CT画像再構成過程は、検知器により採集されたデータから線形減衰係数分布を回復することであって、CT結像の核心的なステップである。現在、実際の応用には、フィルタ補正逆投影(Filtered Back−Projection)、FDK(Feldkmap−Davis−Kress)類の解析再構成アルゴリズムと、ART(Algebra Reconstruction Technique)、MAP(Maximum A Posterior)等の反復再構成方法とが主に用いられる。
【0003】
X線CT結像の要求がますます多様化されることにつれて、放射量の低減に対する要求もますます高くなり、従来の再構成方法が実現可能な画像の品質はもう限界に達している。新たなCT画像再構成技術の開発が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術における1つまたは複数の問題に鑑みて、再構成画像の品質を高めることができるCT画像を再構成する方法及びデバイス、並びに記憶媒体を提案する。
【課題を解決するための手段】
【0005】
本開示の一方面によると、被検査物をCT走査して、第1スケールにおける投影データを得るステップと、第1スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、各々のスケールにおいて、第1畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるCT画像を得るステップと、複数のスケールにおけるCT画像を融合して、被検査物の再構成画像を得るステップと、を含むCT画像を再構成する方法を提案する。
【0006】
本開示の実施例によると、前記CT走査は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つであり、前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである。
【0007】
本開示の実施例によると、前記CT走査は、円周走査あるいは螺旋走査であり、前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む。
【0008】
本開示の実施例によると、前記の方法は、各々のスケールにおいて、第2畳み込みニューラルネットワークを利用して、各々のスケールのCT画像を処理するステップをさらに含む。
【0009】
本開示の実施例によると、前記の方法は、複数の他のスケールにおける投影データを生成する前に、ランプフィルターを利用して投影データをフィルタリングするステップをさらに含む。
【0010】
本開示の実施例によると、第2畳み込みニューラルネットワークを利用して、各々のスケールのCT画像に対して局所的な平滑処理を行う。
【0011】
本開示の実施例によると、第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、1つの次元が検知器画素シーケンスであり、もう1つの次元が走査角度であり、且つ、第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールと走査角度の次元におけるスケールとが個別に設定される。
【0012】
本開示の実施例によると、第1畳み込みニューラルネットワークは、少なくとも3つの畳み込み層を含み、畳み込み層のそれぞれは畳み込み処理された投影データに非線形演算を行うための1つのアクティブ関数を有する。
【0013】
本開示の実施例によると、第1畳み込みニューラルネットワークは、畳み込み層により処理された投影データに逆投影演算を行うための逆投影層をさらに含む。
【0014】
本開示の実施例によると、第1畳み込みニューラルネットワークにおいて、逆投影層に最も近い畳み込み層の畳み込みカーネルの長さおよび幅のサイズパラーメータは、1*1である。
【0015】
本開示の実施例によると、第2畳み込みニューラルネットワークは、画像領域において再構成された画像を処理するための画像領域初期畳み込み層及び末端畳み込み層を含む。
【0016】
本開示の実施例によると、画像領域初期畳み込み層に含まれる畳み込み層のそれぞれはアクティブ関数を有し、末端畳み込み層はアクティブ関数を有しない。
【0017】
本開示の実施例によると、異なる畳み込みカーネルを利用して、それぞれ第1スケールの投影データと畳み込みを行って、複数の他のスケールの投影データを得る。
【0018】
本開示の実施例によると、前記複数の他のスケールの投影データに対してスケールの異なるプーリングを行って、複数のスケールの異なる投影データを得る。
【0019】
本開示の実施例によると、複数のスケールにおけるCT画像を融合するステップは、アップサンプリング操作を利用して複数のスケールにおけるCT画像を段階的に融合し、最終的に被検査物の再構成画像を得るステップを含む。
【0020】
本開示の実施例によると、複数のスケールにおけるCT画像を融合するステップは、最小のスケールから最大のスケールに向かって段階的に融合を行うステップを含み、それぞれの段階における融合過程は、第2スケールが最小スケールである場合に、第2スケールのCT画像にアップサンプリング操作を行って、相対的に大きな第1スケールCT画像を得ること、または、第2スケールが最小スケールではない場合に、相対的に小さい第2スケールの融合画像にアップサンプリング操作を行って、相対的に大きな第1スケールCT画像を得ることと、再構成された第1スケールCT画像とアップサンプリング操作を行って得たCT画像とから構成された全体画像を、特定の畳み込みカーネルと畳み込みを行い、融合後の第1スケールの融合画像を得ることと、を含む。
【0021】
本開示の実施例によると、前記の方法は、最大スケール融合画像を最終CT画像として出力するステップをさらに含む。
【0022】
本開示の実施例によると、複数のスケールにおけるCT画像を融合するステップは、アップサンプリング操作を利用して、最大スケール以外の他のスケールのCT画像を最大スケールの画像に転換するステップと、畳み込みカーネルを利用して、最大スケールのCT画像と転換して得られた最大スケール画像とを全体として処理し、融合された画像を得るステップと、を含む。
【0023】
本開示の他の一方面によると、被検査物をCT走査して、投影データを得るCT走査装置と、第1スケールの投影データから、複数の他のスケールにおける投影データを生成し、各々のスケールにおいて、第1畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるCT画像を得て、複数のスケールにおけるCT画像を融合して、被検査物の再構成画像を得る、ように配置されたプロセッサーと、を含む、CT画像を再構成するデバイスを提案する。
【0024】
本開示の実施例によると、前記CT走査装置は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つを実行し、前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである。
【0025】
本開示の実施例によると、前記CT走査装置は、円周走査あるいは螺旋走査を実行し、前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む。
【0026】
本開示の実施例によると、前記プロセッサーは、さらに、各々のスケールにおいて、第2畳み込みニューラルネットワークを利用して、再構成された画像を処理するように配置される。
【0027】
本開示の実施例によると、前記プロセッサーは、さらに、第2畳み込みニューラルネットワークを利用して、再構成された画像に対して局所的な平滑処理を行うように配置される。
【0028】
本開示の実施例によると、前記プロセッサーは、異なる畳み込みカーネルを利用して、第1スケールの投影データと畳み込みを行って、他のスケールの投影データを得るように配置される。
【0029】
本開示の実施例によると、前記プロセッサーは、アップサンプリング操作を利用して、複数のスケールにおけるCT画像を段階的に融合し、最終的に被検査物の再構成画像を得るように配置される。
【0030】
本開示のさらに他の一方面によると、プロセッサーにより実行されることで、第1スケールの投影データから、複数の他のスケールにおける投影データを生成するステップと、各々のスケールにおいて、第1畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理し、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って該当するスケールにおけるCT画像を得るステップと、複数のスケールにおけるCT画像を融合して、被検査物の再構成画像を得るステップと、を実現する、コンピュータープログラムを記憶した、コンピューター読み取り可能な媒体を提案する。
【発明の効果】
【0031】
本開示の上記の実施例の態様を利用して、より高い品質のCT画像を再構成することができる。
【0032】
本発明をよりよく理解するために、以下の図面に基づいて本発明を詳細に説明する。
【図面の簡単な説明】
【0033】
図1】本開示の一実施例のCT画像を再構成するデバイスの構成模式図を示す。
図2図1に示すようなデバイスにおける制御・再構成装置の構成模式図である。
図3】本開示の実施例によるデバイスが投影データを取得する正弦図の例を示す。
図4】本開示の実施例によるデバイスにおいて畳み込みニューラルネットワークを用いて画像を再構成する模式図を示す。
図5A】本開示の実施例によるデバイスにおいて用いられる畳み込みニューラルネットワークの構成模式図を示す。
図5B】本開示の実施例によるデバイスにおいて用いられる別の畳み込みニューラルネットワークの構成模式図を示す。
図6A】本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。
図6B】本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。
図6C】本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。
図7】本開示の実施例による方法を記述する模式的フローチャートである。
図8】本開示の別の一実施例による有限角度CT走査を実現する走査装置の模式図である。
図9】本開示のさらに別の一実施例によるスパース角度走査方式を実現する走査装置の模式図である。
図10】本開示のさらに別の一実施例による内部再構成走査方式を実現する走査装置の模式図である。
図11】本開示のさらに別の一実施例による検知器アンダーサンプリング走査方式を実現する走査装置の模式図である。
図12図8図9図10及び図11に示す異なる走査方式において正弦図に含まれるデータの模式図を示す。
図13】本開示のさらに別の一実施例による直線軌跡CT走査を実現する走査装置の模式図を示す。
【発明を実施するための形態】
【0034】
以下、本発明の具体的な実施例について詳細に説明する。注意すべきことは、以下の実施例は例示的なものであり、本発明を限定するものではない。以下の説明においては、本発明の理解を容易にするために、多くの特定的な細部について記述しているが、当業者にとって明らかに分かるように、必ずこれらの特定の細部を採用して本発明を実現することではない。その他の実例においては、本発明を混同させることを避けるために、周知の回路、材料または方法に対する具体的な記述を省略した。
【0035】
明細書の全般にかけて、「一実施例」、「実施例」、「一例」または「例」とは、当該実施例または例に記述された特定的な特徴、構成または特性を組み合わせたものは、本発明の少なくとも一実施例に含まれていることを意味する。従って、明細書の全般にかけて、記載された「一実施例において」、「実施例において」、「一例」または「例」は、必ずしも同一の実施例又は例示を指すものとは限らない。また、いずれの適宜な組合せ及び/又はサブ組合せによって、特定な特徴、構造又は特性を1つ又は複数の実施例又は例示に組み合わせることができる。また、当業者であれば理解できるように、ここで使用する「及び/又は」という専門用語は、一つまたは複数の関連の列記項目の何れかと全ての組み合わせを含む。
【0036】
従来技術の1つまたは複数の問題について、本開示の実施例はCT画像を再構成する方法及びデバイス、並びに記憶媒体を提案する。本開示の実施例によると、被検査物の投影データ(正弦図として表示され、1つの次元は検知器画素シーケンスであり、もう1つの次元は走査角度である)から、複数のスケールの投影データを生成する。そして、各々のスケールの投影データに対して、1つの畳み込みニューラルネットワークを利用して、CT走査を行って得た投影データを処理し、処理後の投影データ(例えば、投影領域における特徴が強化された正弦図)を得る。そして、各々のスケールにおいて、このように処理して得られた投影データに逆投影を行い、各々のスケールにおけるCT画像を得る。各々のスケールにおけるCT画像を融合して被検査物の再構成画像を得る。このようにして、再構成された画像の品質を向上でき、特に、検知器アンダーサンプリング、スパース角度走査、内部再構成、有限角度走査または直線軌跡走査等のような他の投影データが不完全である場合に、再構成により品質の高いCT画像が得られる。他の実施例においては、別の畳み込みニューラルネットワークを利用して、さらに、各々のスケールにおいてCT画像を処理し、上記の融合過程を実行して、再構成画像を得てもよい。
【0037】
図1は、本開示の一実施例のCT画像を再構成するデバイスの構成模式図を示す。図1に示すように、本実施例によるCTデバイスは、X線源10と、機械的運動装置50と、検知器・データ採集システム20と、制御・再構成装置60とを含み、被検査物40に対してCT走査および再構成を行う。
【0038】
X線源10は、例えば、X線機器であり、結像の分解能によって、適切なX線機器焦点サイズを選択する。他の実施例においては、X線機器を使用せず、直線型加速器等を使用してX線ビームを発生してもよい。
【0039】
機械的運動装置50は、ステージ、フレーム及び制御システム等を含む。ステージは、回転中心の位置を調整するように並進可能である。フレームは、X線源(X線機器)10、検知器及び回転中心の三者を合わせるように並進可能である。本実施例においては、回転ステージ、固定フレームの円周走査軌跡あるいは螺旋軌跡に従って記述する。ステージとフレームとの運動は相対的な運動であるので、ステージを静止させ、フレームを回転させる方式で本実施例を実現する方法を採用してもよい。
【0040】
検知器・データ採集システム20はX線検知器及びデータ採集回路等を含む。X線検知器には、固体検知器を使用してもよく、気体検知器あるいは他の検知器を使用してもよく、本開示の実施例はこれらに限られない。データ採集回路は、読み出し回路、採集トリガー回路及びデータ伝送回路等を含む。
【0041】
制御・再構成装置60は、例えば、制御プログラム及び再構成プログラムがインストールされているコンピューターデバイスを含み、機械的回動、電気的制御、安全連鎖制御等を含むCTシステム運行過程の制御を担当するとともに、投影データからのCT画像の再構成等を行う。
【0042】
図2は、図1に示すような制御・再構成デバイスの構成模式図を示す。図2に示すように、検知器・データ採集システム20により採集されたデータは、インターフェースユニット67及びバス68を介して記憶デバイス61に記憶される。ROM(Read Only Memory)62には、コンピューターデータプロセッサーの配置情報及びプログラムが記憶されている。RAM(Random Accerss Memory)63は、プロセッサー65の動作中に各種のデータを一時的に記憶するために用いられる。なお、記憶デバイス61には、データ処理のためのコンピュータープログラム、例えば、CT画像を再構成する計算プログラムなどが、さらに記憶されている。内部バス68には、上記の記憶デバイス61、ROM62、RAM63、入力装置64、プロセッサー65、表示デバイス66及びインターフェースユニット67が接続されている。
【0043】
ユーザーがキーボードー及びマウスのような入力装置64により操作命令を入力した後、コンピュータープログラムの指令コードはCT画像を再構成するアルゴリズムを実行するようにプロセッサー65に命令し、再構成結果を得た後、それをLCD表示器のような表示デバイス66に表示させたり、または、プリントのようなハードコピーの形で処理結果を直接的に出力させたりする。
【0044】
本開示の実施例によると、上記のデバイスを利用して被検査物に対してCT走査を行い、投影データを得る。通常、このような投影データは二次元の画像の形で表示できる。図3は本開示の実施例により得られた投影データの例を示す。図3に示すような正弦図の横軸方向は検知器画素シーケンス(例えば、1から256まで)を示し、縦軸は角度(例えば、1度から360度まで)を示す。そして、制御デバイスにおけるプロセッサー65は、再構成プログラムを実行して、被検査物の投影データ(正弦図として表示され、1つの次元は検知器画素シーケンスであり、もう1つの次元は走査角度である)から、複数のスケールの投影データを生成する。そして、各々のスケールの投影データに対して、第1畳み込みニューラルネットワークを利用して投影データを処理し、処理後の投影データを得て、さらに、各々のスケールにおいて処理後の投影データに逆投影操作を行って、該当するスケールのCT画像を得る。最後に、各々のスケールにおけるCT画像を融合して被検査物の再構成画像を得る。
【0045】
上記のように、本開示の実施例においては、投影データにスケール変換を行った後、投影領域において畳み込みニューラルネットワークを利用して各々のスケールの投影データを処理し、その後、逆投影操作を行って該当するスケールのCT画像を再構成するとともに、各々のスケールのCT画像を融合する。畳み込みニューラルネットワークは、畳み込み層、プーリング層、および全結合層を含んでもよい。畳み込み層は、入力データ集合のキャラクタリゼーションを認識し、畳み込み層のそれぞれは、1つの非線形アクティブ関数演算を有する。プーリング層は、特徴に対する示しを精練し、典型的な操作は平均プーリング及び最大化プーリングを含む。1層または複数層の全結合層は、高次の信号の非線形総合演算を実現し、全結合層も非線形アクティブ関数を有する。よく使われる非線形アクティブ関数には、Sigmoid、Tanh、ReLUなどがある。
【0046】
図4は、本開示の実施例によるデバイスにおいて、畳み込みニューラルネットワークを用いて画像を再構成する模式図を示す。
【0047】
具体的には、図1に示すような検査デバイスを利用して、被検査物40に対して360度の円周CT走査を行って、被検査物40の投影データを得て、正弦図410に示されたように表示する。そして、複数の畳み込みカーネルを利用して、それぞれ正弦図410と畳み込みを行い、畳み込み作用後の画像毎にスケールの異なるプーリング(例えば、プーリングステップサイズは2、3、4、6等から選択することができる)を行って、スケールの異なる投影データを得る。具体的には、図4に示すように、S個のスケールに対応する投影データ、即ち、第1スケールの投影データ410−1、第2スケールの投影データ410−2、…、第S−1スケールの投影データ410−S−1、第Sスケールの投影データ410−Sを得る。そして、S個のスケールにおける投影データに対し、対応する畳み込みニューラルネットワーク(CNN)を利用して畳み込み演算を行うとともに、逆投影を行って該当するスケールにおける再構成画像を得る。
【0048】
図4に示すように、第1スケール投影データ410−1について、第1スケールCNN 420−1を利用して畳み込み演算を行い、その後、逆投影を行って第1スケール再構成画像430−1を得る。同様に、第2スケール投影データ410−2について、第2スケールCNN 420−2利用して畳み込み演算を行い、その後、逆投影を行って第2スケール再構成画像430−2を得る。第S−1スケール投影データ410−S−1について、第S−1スケールCNN 420−S−1を利用して畳み込み演算を行い、その後、逆投影を行って第S−1スケール再構成画像430−S−1を得る。第Sスケール投影データ410−Sについて、第SスケールCNN 420−Sを利用して畳み込み演算を行い、その後、逆投影を行って第Sスケール的再構成画像430−Sを得る。
【0049】
そして、再構成画像430−1、430−2、…、430−S−1及び430−Sを融合する。具体的には、図4を参照して、第Sスケール再構成画像430−Sにアップサンプリングを行って、アップサンプリングされた第S−1スケール再構成画像440−S−1を得る。第S−1スケールにおいて、1つの畳み込みカーネルを使用して、S−1スケールの再構成画像430−S−1とアップサンプリングされた再構成画像440−S−1とからなる全体画像に畳み込みを行い、融合された第S−1スケールの再構成画像を得る。上記のアップサンプリングは、プーリングの逆過程である。アップサンプリング方法には、双線形補間、双三次補間、エッジ情報による補間法等が挙げられる。アップサンプリングする過程は、トレーニングを必要しない。例えば、再構成画像430−S−1とアップサンプリングされた画像440−S−1とのいずれもスケールがLxWである画像であれば、これらは全体的に1つのL×W×2の画像を構成する。この時、1つのスケールがc×d×2である畳み込みカーネルを用いて、このL×W×2の画像と畳み込んで1つの新たなL×W×1の画像を形成してもよい。
【0050】
続いて、融合された第S−1スケール再構成画像450−S−1にアップサンプリングを行い、アップサンプリングされた第2スケール再構成画像430−2を得る。同様に、アップサンプリングされた第2スケール再構成画像440−2を得る。第2スケールにおいて、1つの畳み込みカーネルを使用して、第2スケール再構成画像430−2とアップサンプリングして得られた再構成画像440−2とから構成された全体画像に畳み込みを行って、融合された第2スケール再構成画像450−2を得る。
【0051】
さらに、融合された第2スケール再構成画像450−2にアップサンプリングを行って、第1スケール再構成画像440−1を得る。第1スケールにおいて、1つの畳み込みカーネルを使用して、第1スケール再構成画像430−1とアップサンプリングして得られた再構成画像440−1とから構成された全体画像に畳み込みを行って、融合された第1スケール再構成画像、即ち、出力画像440を得る。
【0052】
本発明においては、アップサンプリング操作を利用して複数のスケールにおけるCT画像を段階的に融合し、最終的に被検査物の再構成画像を得る態様が好ましい。しかし、本発明は、段階的な融合に限らなく、さらに、昇順の段階的な融合方式にも限らない。最後に出力する画像が最大スケール(最大分解能)のCT画像を融合していればよく、スケールが降順である1、2、…、S−1及びS級を例にすると、まず2、…、S−1及びS級をそれぞれ第1スケールの画像にアップサンプリングした後、1つの畳み込みカーネルを利用して、最大分解能の第1スケールCT画像と残りのS−1個のアップサンプリングにより得られた画像とを全体として厚み方向において畳み込みを行って、融合された画像を得てもよい。
【0053】
図5Aは、本開示の実施例によるデバイスにおいて用いられる畳み込みニューラルネットワークの構成模式図を示す。図5Aに示すように、例えば、図4に示す第1スケールCNN 420−1、第2スケールCNN 420−2、第S−1スケール CNN 420−S−1及び第SスケールCNN 420−Sのような畳み込みニューラルネットワーク(CNN)は、異なる層がスタックされてなってもよく、これらは、入力データを出力データに変換できる。例えば、CT走査して得られた投影データ(例えば、図5Aに示す入力された投影データ511)を処理して、処理後の投影データ(例えば、図5Aに示す処理後の投影データ515)を得る。
【0054】
図5Aに示すような畳み込みニューラルネットワークは、複数の畳み込み層、例えば、第1畳み込み層512、第2畳み込み層513、…、第n+1畳み込み層514を含み、nは自然数である。これらの畳み込み層はCNNの核心的な構造セルである。各々の畳み込み層のパラーメータは、ラーニング可能な畳み込みカーネル(または、単に畳み込みカーネルと称する)の集合により構成され、畳み込みカーネルのそれぞれは、一定の受容野を持つとともに、入力データのデプスの全体にかけて延ばしている。フォーワード過程において、畳み込みカーネルのそれぞれを入力データの幅及び高さに従って畳み込みを行い、畳み込みカーネルの要素と入力データとの点乗積を算出し、当該畳み込みカーネルの二次元的なアクティブマップを生成する。結果として、ネットワークは、入力されたある空間的な位置においてある具体的な種類の特徴を見たときしかアクティブにすることができない畳み込みカーネルをラーニングできる。
【0055】
全ての畳み込みカーネルのアクティブマップをデプス方向においてスタックして、畳み込み層の全部の出力データを形成する。従って、出力データにおける要素のそれぞれは、入力中の小さな領域が見え、同じアクティブマップにおける他の畳み込みカーネルとパラーメータを共用する畳み込みカーネルの出力として解釈できる。
【0056】
【数1】
【0057】
第1畳み込み層に類似する複数の畳み込み層を設けてもよく、各々の畳み込み層の厚みはK(n)とする。
【0058】
第2畳み込み層513は第1畳み込み層512と似て、第2畳み込み層の厚みはK(2)である。例えば、C(n)を利用して前の畳み込み層により出力された正弦図をさらに処理する。図4に示すように、第2畳み込み層513の厚みは3であり、ここで、全ての畳み込みカーネルは未定のネットワークパラーメータであり、これらのネットワークパラーメータは畳み込みニューラルネットワークに対するトレーニングにより得られる。以上で言及された3は例示に過ぎなく、同様に、1つの畳み込み層に対して24個の畳み込みカーネルを設置してもよく、この場合、第2畳み込み層(ネットワークの第2層)も24個の正弦図が得られる。ここで、アクティブ関数としてReLuを選択する。別の一実施例において、第2畳み込み層において、形状/サイズパラーメータが18*1*1である畳み込みカーネルを用いて、厚み方向において畳み込みを行って第2層の出力を得て、アクティブ関数としてReLuを使用する。
【0059】
【数2】
【0060】
図5Bは、本開示の実施例によるデバイスにおいて用いられる別の畳み込みニューラルネットワークの構成模式図を示す。図5Bに示すように、入力された投影データ521、畳み込み層522、畳み込み層523及び畳み込み層524は、図5Aに示された入力された投影データ511、第1畳み込み層512、第2畳み込み層513及び第n+1畳み込み層514と似ているので、ここで説明を省略する。図5Bに示す構成は、図5Aの構成と比べて、画像領域初期畳み込み層(図5Bに示す例示は1つの畳み込み層527であるが、本発明はこれに限られない)と末端畳み込み層(畳み込み層528)とを含む第2畳み込みニューラルネットワークをさらに設け、画像領域において再構成されたCT画像に対し、例えば局所的な平滑処理を行って結果画像を出力する点で異なる。
【0061】
【数3】
【0062】
上記の構成においては、プーリング層を含んでいないが、プーリング層を設けてもよく、例えば、CT走査により完全なデータを得た場合に(例えば、全検知器360円周走査)、1つまたは複数の畳み込み層の後にプーリング層を設けてもよい。しかし、CT走査により非完全なデータが得られた場合には(例えば、検知器アンダーサンプリング、スパース角度サンプリング、有限角度、内部再構成、または、直線軌跡等の方式)、プーリング層を設けなくてもよい。
【0063】
【数4】
【0064】
ランダム勾配低下方法、運動量(momentum)更新法、Nesterov Momentum、AdaGrad、Adam等の方法により、ネットワークパラーメータの更新を行ってもよい。例えば、誤差の逆方向伝搬は下記のとおりである。
【0065】
【数5】
【0066】
具体的には、以上のように畳み込みニューラルネットワークを構築した後、ネットワークパラーメータのトレーニングを行う。例えば、基本的な走査対象の数学的モデルを構築して、実際のシステムに従ってモデリングを行って、CTシミュレーションデータを生成する。また、本開示の実施例によると、ネットワークの入力として複数の走査対象のCTシミュレーションデータを使用し、フラグとして走査対象の画像真値を使用して、ネットワークパラーメータをトレーニングしてもよい。他の実施例においても、実際のシステムにおいて、対象に走査を行ってCT走査データを取得し、このネットワークに入力して再構成テストを行う。テスト結果について、例えば、既知の局所的な平滑領域について、局所的平滑を行うような指向性のある画像処理を行う。処理後の画像をフラグとして、さらに、ネットワークをトレーニングし、ネットワークパラーメータの微細調整を実現する。
【0067】
図7は、本開示の実施例による方法を記述する模式的フローチャートである。図7に示すように、ステップS710において、被検査物をCT走査して、第1スケールにおける投影データを得る。ここで、CT走査は、シングルエネルギーのものであってもよく、マルチエネルギーのものであってもよく、本開示の実施例はこれらに限られない。
【0068】
ステップS720において、ランプフィルターを用いて第1スケールの投影データにフィルタリングを行う。例えば、RLランプフィルターを用いて投影データにフィルタリングを行う。ここで、別のフィルターを用いてもよく、または、フィルタリングを行わなくてもよいことは、当業者にとって明らかである。
【0069】
ステップS730において、第1スケールの投影データから、複数の他のスケールにおける投影データを生成する。例えば、スケールの異なる畳み込みカーネルを利用して、元の投影データ(正弦図410として表示される)と畳み込みを行って、スケールの異なる投影データを得る。
【0070】
ステップS740において、各々のスケールにおいて、第1畳み込みニューラルネットワークを利用して該当するスケールの投影データを処理して、処理後の投影データを得るとともに、処理後の投影データに逆投影操作を行って、該当するスケールにおけるCT画像を得る。例えば、畳み込みニューラルネットワーク(例えば512、513、514)を利用して、投影領域において各々のスケールにおける投影データを処理し、各々のスケールにおける処理後の投影データを得る。例えば、図5Aに示すように、トレーニングにより得られた畳み込みニューラルネットワークを利用して投影データを処理し、処理後の正弦図を得る。そして、各々のスケールにおける処理後の投影データに逆投影操作を行い、例えば、図5Aに示す逆投影層516において逆投影操作を行い、該当するスケールにおけるCT画像を得る。
【0071】
上記のように、別の実施例として、CT画像を得た後、さらに後処理を行ってもよく、例えば、第2畳み込みニューラルネットワーク527/528を利用して、再構成されたCT画像を処理して、当該スケールにおける結果画像を得てもよい。例えば、ここで、再構成された画像に対して、局所的な平滑処理、または、分割、エッジ強化及び均等化等のような他の画像処理操作を行ってもよい。
【0072】
ステップS750において、アップサンプリング及び厚み方向における畳み込みの方式により、複数のスケールにおけるCT画像を融合して、被検査物の再構成画像を得る。
【0073】
以上、主に360度円周走査により完全な投影データを得た場合について記述したが、上記の態様が非完全な投影データの場合、例えば、検知器アンダーサンプリング、スパース角度サンプリング、有限角度、内部再構成、或者直線軌跡走査等方式にも適用できることは、当業者にとって明らかである。
【0074】
図8は、本開示の別の一実施例による有限角度CT走査を実現する走査装置の模式図である。図8に示すように、放射線源10から発されたX線は視野45における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物40に対して有限角度のCT走査(例えば、130度)を行っても、品質の高い画像を再構成することができる。
【0075】
図9は、本開示のさらに別の一実施例によるスパース角度走査方式を実現する走査装置の模式図である。図9に示すように、放射線源10から発されたX線は視野45における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物40に対して幾つかの回転位置におけるCT走査(例えば、6個所)を行っても、品質の高い画像を再構成することができる。このようにして、被検査物に対してスパース角度CT走査を行っても、非完全な投影データから品質の高い画像を再構成することができる。
【0076】
図10は、本開示のさらに別の一実施例による内部再構成走査方式を実現する走査装置の模式図である。図10に示すように、放射線源10から発されたX線は視野45における被検査物40の一部を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物40に対して内部再構成CT走査を行っても、品質の高い画像を再構成することができる。
【0077】
図11は、本開示のさらに別の一実施例による検知器アンダーサンプリング走査方式を実現する走査装置の模式図である。図11に示すように、放射線源10から発されたX線は視野45における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。この例において、検知器30は、アンダーサンプリングの状態に設置されて、例えば、各々の検知器ユニットを予定の距離に離間してアンダーサンプリングを実現する。このようにして、上記の態様によると、被検査物40に対して検知器アンダーサンプリングCT走査を行っても、品質の高い画像を再構成することができる。
【0078】
図12は、図8図9図10および図11に示すような走査方式に係る不完全な投影データを記述する模式図である。図12に示すように、角度スパースサンプリングCT走査、有限角度CT走査、検知器アンダーサンプリングCT走査及び内部再構成CT走査を行って得られた投影データはいずれも不完全なものである。投影データが不完全にもかかわらず、上記の態様によると、これらの不完全な投影データから品質の高い画像を再構成することができる。
【0079】
以上、角度スパースサンプリング走査等の方式について記述したが、本開示の方法が直線軌跡CT走査システムにおいても同様に適用できることは、当業者にとって明らかである。図13は、本開示のさらに別の一実施例による直線軌跡CT走査を実現する走査装置の模式図を示す。
【0080】
図13に示すように、从射線源10から発されたX線は視野における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。この例において、被検査物40は、検知器に平行なコンベアにおいて直線の軌跡に沿って運動する。検知器は水平方向において放射線源との開き角をできるだけ大きくし、鉛直方向において物体を覆う。例えば、検知器アレイは放射線源に対向する側に置かれて、放射線の水平の開き角θは90度以上と求められ、直線軌跡CT走査の投影データを得る。上記の態様によると、被検査物40に対して直線軌跡CT走査を行っても、品質の高い画像を再構成することができる。
【0081】
本開示の実施例は、畳み込みニューラルネットワークに基づくX線CT再構成方法を提案しており、データ情報を深く発掘して、畳み込みニューラルネットワークとシステム向けのパラーメータを形成し、効率的なCT画像再構成方法を得られる。
【産業上の利用可能性】
【0082】
本開示の方法は、異なるCT走査モード及びシステム構成に柔軟的に適用でき、医学診断、産業非破壊検出及び保安検査分野に適用できる。
【0083】
以上の詳細な記述においては、模式図、フローチャート及び/又は例によりCT画像を再構成する方法とデバイスの多数の実施例を記述した。このような模式図、フローチャート及び/又は例が1つまたは複数の機能及び/又は操作を含む場合、当業者は、このような模式図、フローチャートまたは例のそれぞれの機能及び/又は操作が各種の構成、ハードウェア、ソフトウェア、ファームウェアまたは実質的にこれらの任意的な組み合わせにより単独及び/又はともに実現できることを理解すべきである。一実施例において、本発明の実施例に記載された主題の幾つかの部分はASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、または他の集積回路により実現できる。しかしながら、当業者は、ここで開示された実施例のある方面の全体または一部が等価的に集積回路において実現でき、一台または複数の台のコンピューターにおいて実行される1つまたは複数のコンピュータープログラム(例えば、一台または複数の台のコンピューターにおいて実行される1つまたは複数のプログラムとして実現でき)として実現でき、1つまたは複数のプロセッサーにおいて実行される1つまたは複数のプログラム(例えば、1つまたは複数のマイクロプロセッサーにおいて実行される1つまたは複数のプログラムとして実現でき)として実現でき、ファームウェアとして実現でき、あるいは実質的に上記形態の任意的な組み合わせとして実現できる、ことを理解すべきであり、且つ、当業者は、本開示から電路の設計及び/又はソフトウェアー及び/又はファームウェアコードの書き込み能力を持つ。また、当業者は、本開示に記載された主題のメカニズムが複数の形態のプログラム製品として配布でき、且つ、実際に配布を実行するための信号キャリア媒体がどのような種類であっても、本開示に記載された主題の例示的な実施例を適用できる、ことを理解すべきである。信号キャリア媒体の例としては、FD、HDD、CD、DVD、デジタルテープ、コンピューターメモリなどの記録可能な媒体、及びデジタル及び/又はアナログ通信媒体(例えば、光ファイバーまたは光ケーブル、導波路、有線通信回線、無線通信線路など)のような伝送型媒体を含むことができるが、これに限られない。
【0084】
幾つかの典型的な実施例を参照して本発明を記述したが、使用された用語は説明及び例示的なものであり、制限的なものではないことに注意すべきである。本発明は発明の趣旨又は実質を逸脱することなく、いろんな形態で具体的に実施できるので、上記の実施例は前述の細部に限られなく、添付の請求の範囲に限定された精神及び範囲において広義的に解釈すべきである。従って、請求の範囲又はそれと均等な範囲内の全ての変化及び改良は、添付の請求の範囲に含まれるべきである。
【符号の説明】
【0085】
10 X線源、20 検知器・データ採集システム、40 被検査物、50 機械的運動装置、60 制御・再構成装置。
図1
図2
図3
図4
図5A
図5B
図6A
図6B
図6C
図7
図8
図9
図10
図11
図12
図13