特表 2020-537555 機械学習レギュラライザを用いた画像再構成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2020-537555(P2020-537555A)

(43)【公表日】2020年12月24日

(54)【発明の名称】機械学習レギュラライザを用いた画像再構成

(51)【国際特許分類】

   A61B 6/03 20060101AFI20201127BHJP

   A61B 8/14 20060101ALI20201127BHJP

【ＦＩ】

   A61B6/03 350Z

   A61B8/14

【審査請求】未請求

【予備審査請求】未請求

【全頁数】30

(21)【出願番号】特願2020-517202(P2020-517202)

(86)(22)【出願日】2018年9月24日

(85)【翻訳文提出日】2020年5月18日

(86)【国際出願番号】US2018052472

(87)【国際公開番号】WO2019060843

(87)【国際公開日】20190328

(31)【優先権主張番号】62/562,165

(32)【優先日】2017年9月22日

(33)【優先権主張国】US

(31)【優先権主張番号】62/624,663

(32)【優先日】2018年1月31日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】518340289

【氏名又は名称】エヌビュー メディカル インク

(74)【代理人】

【識別番号】100089875

【弁理士】

【氏名又は名称】野田 茂

(72)【発明者】

【氏名】アトリア，クリスシャン

(72)【発明者】

【氏名】レイメッシュ，ニーシャ

(72)【発明者】

【氏名】セツェンコ，ディマイトリ

【テーマコード（参考）】

4C093

4C601

【Ｆターム（参考）】

4C093AA11

4C093AA22

4C093CA13

4C093FE03

4C093FE30

4C093FH06

4C601BB03

4C601EE04

4C601JB34

4C601LL38

(57)【要約】

正則化フィルタとして用いられる機械学習モデルが組み込まれた逐次近似画像再構成法を用いて被写体の画像の再構成を行うためのシステム及び方法（１００）。撮影手段により生成された被写体の画像データセットを受取り、前記被写体の画像を再構成する過程で正則化フィルタとして用いられる機械学習モデルが組み込まれた逐次近似画像再構成法（１００）を用いて前記被写体の画像の再構成を行う。前記機械学習モデルには、前記画像データ受取りステップの実行に先立って、前記撮影手段により撮影される前記被写体に関連した画像データを含む学習データセットを用いて訓練が施され、前記学習データセットは、前記機械学習モデルに訓練を施すための客観的データを提供するものであり、前記機械学習モデルが前記逐次近似画像再構成法に組み込まれることで、再構成される前記被写体の画像にオブジェクトの特徴が導入される。
【選択図】図１

【特許請求の範囲】

【請求項1】

イメージングシステムにおいて、
被写体の画像データセットを生成するように構成された撮影手段を備え、
複数のインストラクションを格納した少なくとも１つのメモリデバイスを備え、前記複数のインストラクションが少なくとも１つのプロセッサにより実行されることで、前記イメージングシステムが、逐次近似画像再構成法を用いて前記被写体の画像を再構成するようにしてあり、前記逐次近似画像再構成法に、前記被写体の画像を再構成する過程でレギュラライザとして用いられる機械学習モデルが組み込まれており、
前記機械学習モデルは、オブジェクトの特徴を把握できるように、及び／又は、画像再構成アーチファクトを除去できるように、前記画像データセットの生成に先立って、前記撮影手段により撮影しようとする前記被写体に関する画像データを含む学習データセットを用いて訓練が施されており、
前記逐次近似画像再構成法に前記機械学習モデルが組み込まれていることで、再構成される前記被写体の画像へオブジェクトの特徴が導入され、及び／又は、再構成される前記被写体の画像から画像再構成アーチファクトが除去される、
ことを特徴とするイメージングシステム。

【請求項2】

前記機械学習モデルは畳み込みニューラルネットワーク（ＣＮＮ）であるか、又は、前記機械学習モデルはユークリッド損失関数を用いた回帰ネットワークとして訓練が施されている、ことを特徴とする請求項１記載のイメージングシステム。

【請求項3】

前記ＣＮＮに訓練を施すために用いる前記学習データセットは、再構成画像ボリュームデータの２次元（２Ｄ）スライスデータと、グラウンドトゥルース画像ボリュームデータとを含むことを特徴とする請求項２記載のイメージングシステム。

【請求項4】

前記ＣＮＮに訓練を施すために用いる前記学習データセットは、再構成画像ボリュームデータの３次元（３Ｄ）ボリュームデータと、グラウンドトゥルース画像ボリュームデータとを含むことを特徴とする請求項２記載のイメージングシステム。

【請求項5】

前記被写体の画像を再構成するための画像再構成プロセスの１回のイテレーションを完了したときの前記ＣＮＮの出力を、前記画像再構成プロセスの次回のイテレーションの入力とすることを特徴とする請求項２記載のイメージングシステム。

【請求項6】

前記逐次近似画像再構成法に、前記逐次近似画像再構成法の互いに異なるステージにおいて夫々にレギュラライザとして用いられる複数の機械学習モデルが組み込まれていることを特徴とする請求項１記載のイメージングシステム。

【請求項7】

前記逐次近似画像再構成法に、前記被写体の画像を再構成する過程でレギュラライザとして用いられる少なくとも１つの非機械学習正則化フィルタが組み込まれていることを特徴とする請求項１記載のイメージングシステム。

【請求項8】

前記撮影手段は、コンピュータトモグラフィ（ＣＴ）スキャナ、コーンビームＣＴスキャナ、トモシンセシスシステム、又は超音波イメージングシステムのうちの少なくとも１つを備えることを特徴とする請求項１記載のイメージングシステム。

【請求項9】

前記複数のインストラクションが前記少なくとも１つのプロセッサにより実行されることにより、前記イメージングシステムは、
前記撮影手段により生成され又は取得された、測定イメージングデータ、測定イメージングデータに処理が施された処理イメージングデータ、または画像再構成プロセスにより生成された生成イメージングデータのうちの少なくとも１つを含む画像データセットを、少なくとも１つのリモートサーバへ送信し、前記画像データセットは、前記学習データセットに含められ、前記機械学習モデルが前記学習データセットを用いて訓練が施され、
前記画像データセットを含む前記学習データセットを用いて訓練が施された機械学習モデルを受信し、
前記機械学習モデルを前記逐次近似画像再構成法に組み込む、
ことを特徴とする請求項１記載のイメージングシステム。

【請求項10】

コンピュータにより実行される方法において、
撮影手段により生成された被写体の画像データセットを受取る画像データセット受取りステップを含み、
前記被写体の画像を再構成する過程で正則化フィルタとして用いられる機械学習モデルが組み込まれた逐次近似画像再構成法を用いて前記被写体の画像の再構成を行う逐次近似画像再構成ステップを含み、
前記機械学習モデルには、前記画像データ受取りステップの実行に先立って、前記撮影手段により撮影される前記被写体に関連した画像データを含む学習データセットを用いて訓練が施され、前記学習データセットは、前記機械学習モデルに訓練を施すための客観的データを提供するものであり、
前記機械学習モデルが前記逐次近似画像再構成法に組み込まれることで、再構成される前記被写体の画像にオブジェクトの特徴が導入され、及び／又は、再構成される前記被写体の画像から画像再構成アーチファクトが除去される、
ことを特徴とする方法。

【請求項11】

前記逐次近似画像再構成ステップの実行中に、前記撮影手段により生成された画像データを用いて前記機械学習モデルを更新する更新ステップを含み、該更新ステップは、前記逐次近似画像再構成法の１つまたは複数のステージの実行中に前記画像データを用いて前記機械学習モデルに訓練を施すことにより行うことを特徴とする請求項１０記載の方法。

【請求項12】

前記機械学習モデル訓練ステップは、
シミュレータと画像ボリュームデータとを用いて再構成画像を生成するステップと、
前記再構成画像とグラウンドトゥルース画像データとに基づいて画像を生成するステップと、
前記画像を用いて前記機械学習モデルに訓練を施し、前記画像は、軸心方向平面に沿ってスライスされた２次元（２Ｄ）スライス画像データと３次元（３Ｄ）ボリューム画像データとの少なくとも１つであることを特徴とする請求項１０記載の方法。

【請求項13】

確率的勾配降下法を用いて前記機械学習モデルに訓練を施すステップを更に含むことを特徴とする請求項１２記載の方法。

【請求項14】

畳み込みニューラルネットワーク（ＣＮＮ）における１つのニューロンへの入力ノードの個数をＴとするとき、その標準偏差が√（２／Ｔ）で表されるガウス分布に従って、前記機械学習モデルにおける複数の重みの夫々の初期値を設定するステップを更に含むことを特徴とする請求項１２記載の方法。

【請求項15】

事前訓練データセットから得られる重みの値を用いて、機械学習モデルにおける複数の重みの夫々の初期値を設定するステップを更に含むことを特徴とする請求項１２記載の方法。

【請求項16】

前記再構成画像は、被写体の画像の再構成に至る中間解を提供するものであり、前記再構成画像を用いて複数の重みの値を調節することにより、グラウンドトゥルース画像により提供されるグラウンドトゥルースを判別するための学習を機械学習モデルに施すことを特徴とする請求項１４記載の方法。

【請求項17】

前記ＣＮＮはユークリッド損失算出層を備えており、該ユークリッド損失算出層は、得られた予測値とグラウンドトゥルースデータの値との差分の二乗の総和を算出することにより、下式で表されるユークリッド損失の値Ｅを算出し、

【数3】

上式においてｘ_ｉ及びｙ_ｉは入力の強度値及びグラウンドトゥルースデータの強度値であり、Ｎはピクセルの総個数であることを特徴とする請求項１５記載の方法。

【請求項18】

前記機械学習モデルに訓練を施すために用いる前記学習データセットは、少なくとも２つの学習データセットを含み、それら学習データセットのうちの第１の学習データセットは、グラウンドトゥルースデータを提供する高画質データセットから成り、それら学習データセットのうちの第２の学習データセットは、前記第１の学習データセットと比べてより低画質の、前記機械学習モデルの学習入力データとして用いる低画質データセットから成ることを特徴とする請求項１０記載の方法。

【請求項19】

前記高画質データセットは、前記被写体に含まれるオブジェクトを高線量でスキャンして得たスキャン画像データを含み、前記低画質データセットは、前記被写体に含まれる前記オブジェクトを低線量でスキャンして得たスキャン画像データを含むことを特徴とする請求項１８記載の方法。

【請求項20】

前記学習データセットは、前記被写体に含まれるオブジェクトをコーンビームコンピュータトモグラフィ（ＣＴ）でスキャンして得たスキャン画像データを含むことを特徴とする請求項１８記載の方法。

【請求項21】

前記学習データセットは、前記撮影手段を用いて撮影しようとする前記被写体のトモシンセシス再構成画像を含むことを特徴とする請求項１８記載の方法。

【請求項22】

前記機械学習モデルに訓練を施すために用いる前記学習データセットは、少なくとも２つの学習データセットを含み、それら学習データセットのうちの第１の学習データセットは、グラウンドトゥルースデータを提供する低画質データセットから成り、それら学習データセットのうちの第２の学習データセットは、前記第１の学習データセットと比べてより高画質の、前記機械学習モデルの学習入力データとして用いる高画質データセットから成ることを特徴とする請求項１０記載の方法。

【請求項23】

複数のインストラクションが実装された非一時的マシン可読記憶媒体であって、前記複数のインストラクションが１つまたは複数のプロセッサにより実行されることで：
撮影手段により生成された被写体の画像データセットの受取りが行われ、
前記被写体の画像を再構成する過程でレギュラライザとして用いられる畳み込みニューラルネットワーク（ＣＮＮ）が組み込まれた逐次近似画像再構成法により、前記被写体の画像の再構成が行われ、
前記ＣＮＮには、前記撮影手段により撮影される前記被写体に関連した画像データを含む学習データセットを用いて訓練が施され、該学習データセットは、前記ＣＮＮに訓練を施すための客観的データを提供するものであり、
前記逐次近似画像再構成法に前記ＣＮＮが組み込まれていることで、再構成される前記被写体の画像へオブジェクトの特徴が導入され、及び／又は、再構成される前記被写体の画像から画像再構成アーチファクトが除去される、
ことを特徴とする非一時的マシン可読記憶媒体。

【請求項24】

前記非一時的マシン可読記憶媒体に、更なる複数のインストラクションが実装されており、前記更なる複数のインストラクションが前記１つまたは複数のプロセッサにより実行されることで、前記１つまたは複数のプロセッサが：
グラウンドトゥルースである画像ボリュームの順投影である２次元（２Ｄ）投影データセットを生成し、
前記画像データセットと前記２Ｄ投影データセットとの差分を算出し、
前記差分を３次元空間内へ逆投影することで更新分ボリュームデータを生成し、
前記被写体の画像を再構成する過程に前記更新分ボリュームデータを組み込み、
前記被写体の画像を再構成する過程で前記ＣＮＮを正則化フィルタとして用いて、更新された再構成画像を生成する、
ことを特徴とする請求項２３記載の非一時的マシン可読記憶媒体。

【請求項25】

前記非一時的マシン可読記憶媒体には更なる追加の複数のインストラクションが実装されており、前記更なる追加のインストラクションが前記１つまたは複数のプロセッサにより実行されるときに、前記１つまたは複数のプロセッサが：
前記撮影手段によりスキャンされる患者に関連した患者データセットによって学習データセットに増補を施す、
ことを特徴とする請求項２４記載の非一時的マシン可読記憶媒体。

【発明の詳細な説明】

【関連出願の説明】

【0001】

本件特許出願は２０１７年９月２２日付け出願の米国特許仮出願第６２／５６２，１６５号、及び２０１８年１月３１日付け出願の米国特許仮出願第６２／６２４，６６３号に基づく優先権を主張するものであり、これら２件の米国仮出願の開示内容はこの言及をもって本願開示に組み込まれたものとする。

【背景技術】

【0002】

トモグラフィとは、透過波を利用して３次元（３Ｄ）被写体の断層画像を撮影する技術であり、透過波としては様々な種類のものが用いられる。トモグラフィにおける画像再構成とは、被写体の３Ｄ画像を再構成するための数学的プロセスである。その一例として、Ｘ線コンピュータトモグラフィでは、複数の放射線投影画像から１つの断層画像を生成することができる。トモグラフィ画像の再構成とは、数学問題の一種である多次元逆問題の解を求めるプロセスであり、従って、有限個の投影データから特定の被写体の推定画像を求めるという高難度のプロセスである。投影データのデータ量が不十分な場合には、再構成画像にアーチファクトが発生し、発生するアーチファクトの重大度は、解を求める問題が如何なるものか、画像再構成法として如何なる方法を用いるか、それに、撮影する被写体が如何なるものかによって異なる。トモグラフィの数学問題の解を求める上で、投影データのデータ量が不十分な場合に、機械学習モデルを用いるということは、従来から行われていたことである。しかしながら、機械学習モデルを用いることには、解決困難な課題が付随していた。その課題とは、機械学習モデルを用いることにより、その機械学習モデルに訓練を施すために使用した学習データセットに起因するバイアスが持ち込まれてしまうことであった。従来、トモグラフィ画像を再構成するためのポスト処理において、再構成画像の画質を改善するために機械学習モデルを用いるならば、訓練データセット（学習データセット）に起因するバイアスが機械学習モデルによって持ち込まれることを甘受するか、それとも、機械学習モデルを用いることで得られるはずの強力な画質改善能力をやむなく抑制するかの、いずれかを余儀なくされていた。

【発明の概要】

【0003】

本発明は、逐次近似画像再構成法に、レギュラライザとして用いられる機械学習モデルを組み込むことで、訓練データセット（学習データセット）に起因するバイアスを抑制でき、また、撮影画像の中のオブジェクトを好適に利用して再構成画像の画質を改善できるようにしたものである。本明細書においては更に、再構成画像の画質向上のための基本概念として、実測データとの整合性を維持することで学習データセットに起因するバイアスを抑制することについても説明する。逐次近似画像再構成法に、画像を再構成する過程でレギュラライザとして用いられる機械学習モデルを組み込むことで、同様の画像の中に存在するオブジェクトの予測される特徴及び特性を導入すること、及び／又は、画像を再構成する過程で発生するアーチファクトを低減することを可能にしている。目的関数の値を最小値とすることで、解と実測値との整合性を維持することができ、また、機械学習モデルをレギュラライザとして用いるために発生するバイアスを抑制することができ、それらによって再構成画像の画質が改善される。本発明の技法は、データ量が不十分であることにより不都合が生じ得るあらゆる種類の画像再構成法（例えば、ＭＲ、ＣＴ、トモシンセシス、超音波イメージング、等々における画像再構成法）に好適に適用し得る、汎用基本技術として用い得るものである。

【0004】

以上に、本発明の特徴のうちの比較的重要性の大きな特徴について、かなり大まかに述べたが、それは、以下に提示する本発明の詳細説明の理解を容易にし、もって本発明の当業界への貢献の理解を容易にするためである。本発明のその他の特徴については、本発明の以下の詳細な説明を添付図面及び請求の範囲の記載と共に参照することにより明らかになり、また、それら特徴は本発明の実施の形態の説明からも知得されるものである。

【図面の簡単な説明】

【0005】

【図1】本発明の技法の１つの実施例に係る深層学習レギュラライザ（ＮＮ）が組み込まれた逐次近似画像再構成法を示したフローチャートである。

【図2】本発明の技法の１つの実施例に係るレギュラライザとして用いられる機械学習モデルが組み込まれた逐次近似画像再構成法を実行するべく構成された、本発明の技法の１つの実施例に係るイメージングシステムを示したブロック図である。

【図3】本発明の技法の１つの実施例に係るイメージングシステムと、当該イメージングシステムとの間で通信を行う計算環境とから成る、１つの系の具体例を示したブロック図である。

【図4】本発明の技法の１つの実施例に係る方法であって、学習データセットを用いて機械学習モデルに訓練を施す訓練プロセスの具体例と、画像を再構成する過程でレギュラライザとして用いられる機械学習モデルを試験する試験プロセスの具体例とを含む方法を示したフローチャートである。

【図5】本発明の技法の別の実施例に係る方法であって、逐次近似画像再構成法の互いに異なるステージにおいて夫々にレギュラライザとして用いられる複数の機械学習モデルを訓練する訓練プロセスの具体例を示したフローチャートである。

【図6】本発明の技法の更に別の実施例に係る方法であって、画像を再構成する過程でレギュラライザとして用いられる機械学習モデルが組み込まれた逐次近似画像再構成法を用いて、画像を再構成し、及び／又は、被写体の画像の再構成により導入されるアーチファクトを低減する方法を示したフローチャートである。

【図7】本発明の技法の１つの実施例に係る、逐次近似画像再構成法を用いて被写体の画像を再構成する方法を実行するために用いられるコンピューティングデバイスの具体例を示したブロック図である。

【図8】本発明の技法の適用例における、ソースデータセットであるＣＴ画像データセットから幾つかの画像データをランダムに選択して示した図であり、データセットの多様性を例示した図である。

【図9】本発明の技法の適用例におおける、画像を再構成する過程でＣＮＮをレギュラライザとして用いたトモシンセシス画像再構成法により生成された、下部腰部領域及び上部胸郭領域の再構成画像を可視画像として示した図である。

【図10】本発明の技法の適用例におおける、画像を再構成する過程でＣＮＮをレギュラライザとして用いたトモシンセシス画像再構成法により生成された、上部胸郭領域の再構成画像を可視画像として示した図である。

【図11】本発明の技法の適用例における、グラウンドトゥルースデータとの相互相関度の値を示したグラフである。

【0006】

以上に簡単に説明した添付図面は、本発明の様々な局面を示したものではあるが、ただし、それら添付図面から読み取れる寸法、材料、形状、配列、比率、等々は、本発明の範囲を限定せず、本発明の範囲は特許請求の範囲の記載によってのみ限定されるものである。

【発明を実施するための形態】

【0007】

以下に数々の実施例について、当業者が本発明を実施し得るよう十分に詳細に説明するが、それら実施例とは異なる実施例とすることも可能であり、また、それら実施例に対して様々な改変を加えることも可能であり、それらのものも本発明の概念及び範囲から逸脱するものではない。従って、本発明の実施例についての以下のより詳細な説明は、特許請求の範囲に記載した本発明の範囲を限定するものではなく、あくまでも具体例を提示することを目的とし、本発明の特徴及び特性を限定することを目的としておらず、本発明を運用する上での最良の形態を記載し、もって、当業者が本発明を十分に実施し得るようにするものである。従って、本発明の範囲は請求の範囲の記載によってのみ規定されるものである。

【0008】

定義
以下に、本願の明細書及び特許請求の範囲の記載に用いる語法及び用語の幾つかについて説明する。

【0009】

名詞で表されているものが単数であるか複数であるか明示されていないとき、その名詞で表されているものは単数であることもあれば複数であることもある。従って、例えば単数であるか複数であるかを明示せずに「レギュラライザ」と記載するとき、それは、ただ１つのレギュラライザを意味する場合もあれば、複数のレギュラライザを意味する場合もある。また、ある処理がなされると記載するとき、それは、当該処理が一度だけなされることを意味する場合もあれば、当該処理が２回以上に亘ってなされることを意味する場合もある。

【0010】

本願の明細書及び特許請求の範囲の記載に用いる「略々」なる用語は、記載されている時間、量、ないし数値の精度に許容度が存在することを表すものである。個々の変数の精度の許容度は、当業者であれば容易に判断し得るものである。ただし、特段の記載がある場合を除き、「略々」という用語により表される精度の許容度は、一般的には２％以下であり、また多くの場合に１％以下であり、また場合によって０．０１％以下であることもある。

【0011】

本願の明細書及び特許請求の範囲の記載に用いる「レギュラライザ」なる用語は、不良設定問題である逆問題に事前情報を導入し、当該問題の解が複数の予期される解のクラスへ近付いて行くようにバイアスをかけるために用いられるモデルをいう。トモグラフィ画像の再構成に用いられる典型的なレギュラライザは、密度制約条件（例えばポジティビティ制約条件など）を課すためのレギュラライザと、平滑度制約条件（例えばトータルバリエーション（ＴＶ）の値域を制約する制約条件など）を課すためのレギュラライザとであるが、ただしその他の種類のレギュラライザが用いられることもある。

【0012】

本願の明細書及び特許請求の範囲の記載に用いる「機械学習」なる用語は、複雑なマルチパラメータのプロセスモデルを確定し発展させるために、そのモデル化したプロセスの入力及び出力に基づいて実行する方法をいう。

【0013】

本願の明細書及び特許請求の範囲の記載に用いる「深層学習レギュラライザ」ないしは「リッチプライアーレギュラライザ」なる用語は、解剖学的形状の予測を可能にするだけの、そして画像欠陥である画像再構成アーチファクトの軽減を可能にするだけの、十分な複雑性を備えたマルチパラメータのレギュラライザをいう。この種のレギュラライザは、多くの場合、１０個以上、或いは２０個以上、３０個以上、また場合によっては１００個以上、１０００個以上、また更には１００万個以上のパラメータを含むものであることもある。リッチプライアーレギュラライザとしては、しばしば、機械学習により訓練が施された非線形畳み込みニューラルネットワークが用いられることがある。

【0014】

本願の明細書及び特許請求の範囲の記載においては、「機械学習により訓練が施されたリッチプライアーレギュラライザ」を、「機械学習モデル」と呼称することがある。

【0015】

本願の明細書及び特許請求の範囲の記載においては、理解を容易にするために、複数の構造要素、複数の構成要素、及び／又は、複数の材料を、一纏めにして列挙することがある。ただし、同一のリストに含まれている個々の要素ないし材料は、相互に関連性を有するものではなく、各々が独立した要素ないし材料として当該リストに記載されているものである。従って、同一のリストに含まれている複数の要素ないし材料は、それらが同一のリストに一纏めに列挙されていることをもって、それらが互いに均等物であると解釈してはならず、均等物である旨が明記されている場合にのみ、均等物であると解釈されるべきである。

【0016】

本願の明細書及び特許請求の範囲の記載に用いる「少なくとも１つの」という用語は、「１つまたは複数の」と同義である。例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つ」とは、Ａのみ、Ｂのみ、Ｃのみ、及び、それらのうちの２つ以上の任意の組合せを含み得るものである。

【0017】

本願の明細書及び特許請求の範囲の記載において、濃度、量、等々を表す数値データを範囲の形で記載することがある。数値を範囲の形で記載するのは簡潔明瞭を旨としたものであり、その解釈は柔軟性をもって行われねばならない。即ち、その範囲の上限及び下限を示した数値のみならず、当該範囲に含まれる全ての数値及び当該範囲に含まれる全てのより狭い範囲をも意味するものであり、従って、それら数値及びより狭い範囲が明記されている場合と同等の意味を有する。例えば、約１〜約４．５という数値範囲は、そこに明記された限界値である１及び４．５のみならず、それ以外の数値である例えば２，３，４をも含意するものであり、また、より狭い範囲である例えば１〜３，２〜４，等々をも含意するものである。また、ただ１つの数値が明記されている場合にも、同様の原則が適用され、例えば「約４．５以下」との記載でも、上記のごとき数値及び数値範囲を含意するものである。更に、かかる解釈は、数値範囲の持つ幅に対しても、また、特性についての記載に対しても適用されるものである。

【0018】

方法の発明、ないしはプロセスの発明を記載している請求項に、複数のステップが記載されているとき、当該発明は、それら複数のステップが当該請求項に記載されている順番で実行されるものに限定されず、それとは異なる順番で実行されるものも当該発明の範囲に含まれる。また、「〜する手段」との記載、それに「〜するステップ」との記載により規定されている限定要件は、（ａ）「手段」ないし「ステップ」なる用語が明記され、何を「する」かが明記されることにより限定要件を成すものである。「〜する手段」なる記載に関して、それを「する」ために要する構造、材料、または動作は本願の明細書中に例示されているところのものである。従って、本発明の範囲は特許請求の範囲に記載された発明並びにその法的均等発明として規定されるものであり、明細書の記載によって規定されるものではなく、況んや明細書中に提示されている実施例によって規定されるものではない。

【0019】

本発明の技法
以下に説明するイメージングシステムは、被写体の画像を再構成する過程でレギュラライザとして用いられる機械学習モデルが組み込まれた逐次近似画像再構成法を用いるシステムとして構成されている。機械学習モデルは、イメージングシステムに実装される前に訓練が施されており、その訓練は、複数の学習データセットを用いて行われており、しかも、訓練データセット（即ち学習データセット）に起因するバイアスが制限されるようにしている。訓練が施された機械学習モデルがイメージングシステムに実装され、その機械学習モデルが逐次近似画像再構成法に組み込まれることで、被写体の画像を再構成する過程において当該被写体の特徴及び特性が導入されるようにしている。

【0020】

１つの実施例では、少なくとも２つの学習データセットを用いて機械学習モデルに訓練が施され、それら学習データセットは適宜の撮影法を用いて撮影された被写体の複数の画像データを含むものである。ここでいう適宜の撮影法としては、医用イメージング、コンピュータトモグラフィ（ＣＴ）、トモシンセシス（例えばリアルタイムコーンビームトモシンセシスなど）、診断用イメージング、侵襲外科手術用イメージングなどがあり、またそれらのみに限定されない。また、ここでいう機械学習モデルとしては、ニューラルネットワーク（ＮＮ）モデル、畳み込みニューラルネットワーク（ＣＮＮ）モデル、ディープニューラルネットワーク（ＤＮＮ）モデルなどがあり、またそれらのみに限定されない。また、ここでいう学習データセットとしては、複数の高画質（高精細度）画像と複数の低画質（低精細度）画像とを含む画像データなどが用いられ、場合によっては任意に作成した画像データや、シミュレーションによって作成した画像データなども用いられる。高画質画像データは、機械学習モデルに教師あり学習による訓練を施すためのグラウンドトゥルースデータ、即ち客観的データとして用いられる。一方、低画質画像データは、機械学習モデルへ供給する学習用入力データとして用いられる。従って、それら学習データセットを用いて機械学習モデルに訓練を施すことができる。そして、そのように訓練を施した機械学習モデルを用いることで、再構成アーチファクトの低減ないし除去が可能となり、アルゴリズムの不備、コーディングエラー、それに設計上の不備を補うことなども可能となる。また、データ増補を行うことで訓練データセット（学習データセット）の品質を高めることができる。データ増補は、画像をその中心線で裏返す（例えば画像の上下を引っ繰り返す、画像の左右を逆にする、等々）ことや、画像を縮小ないし拡大することなどにより行うことができ、またそれらのみに限定されない。また更に、訓練データセット（学習データセット）として、様々な撮影手段を用いて撮影して得た画像データを用いるようにしてもよい（例えば、ＭＲ撮影によって得た画像データを、ＣＴ画像の再構成のための機械学習レギュラライザの訓練に用いることも可能である）。

【0021】

訓練が施された機械学習モデルは、イメージングシステムに実装され、被写体の画像を再構成するための逐次近似画像再構成法に組み込まれて、レギュラライザとして用いられる。イメージングシステムは、このイメージングシステムがみずから取得した画像データを用いて、そして、機械学習モデルが組み込まれた逐次近似画像再構成法を用いて、被写体の画像を再構成するように構成することができる。そのような１つの実施例として、イメージングシステムが、被写体に関する事前情報と、撮影手段で撮影して得られた現在画像データとを用いて、そして、機械学習モデルが組み込まれた逐次近似画像再構成法を用いて、被写体の再構成画像を生成するようにするのもよい。そうすることで、再構成画像の中の特徴がより鮮明になる。また、１つの実施例として、イメージングシステムを、このイメージングシステムが生成した現在画像データを用いて、逐次近似画像再構成法の１つ又は複数のステージにおいて機械学習モデルを更新するようにするのもよい。

【0022】

本発明の技法は、画像を再構成する過程で機械学習モデルを用いる従来の技法に付随していた問題を解決することを目的としている。具体的には、機械学習モデルを用いることにより、その機械学習モデルに訓練を施すために使用した学習データセットに起因するバイアスが持ち込まれてしまうということがある。そのため、従来、ユーザは、訓練データセット（学習データセット）に起因するバイアスが機械学習モデルによって持ち込まれることを甘受するか、それとも、画像を再構成する過程で機械学習モデルを用いることで得られるはずの強力な画質改善能力をやむなく抑制するかの、いずれかを余儀なくされていた。これに対して、本発明の技法によれば、機械学習モデルによって持ち込まれるバイアスを低減することができ、場合によっては払拭することも可能である。例えば、機械学習モデルを用いても、逐次近似画像再構成法においては、正則化が施された初期再構成画像に更に画像再構成処理が施されることで、データ整合性が回復されて機械学習モデルにより持ち込まれたバイアスが除去され、これらの効果は後期再構成画像に明確に現れる。また、後期再構成画像に更に後期機械学習モデルを用いた処理が施されることで、データ整合性の回復に伴って画像中のアーチファクトも除去されるため、アーチファクトが存在せず、バイアスもかかっていない再構成画像が得られる。

【0023】

本発明の技法を更に詳細に説明するために、以下に添付図面を参照しつつ幾つかの実施例について説明する。図１は逐次近似画像再構成法１００のブロック図であり、この逐次近似画像再構成法１００には、画像を再構成する過程でレギュラライザとして用いられる深層学習ニューラルネットワーク（深層学習ＮＮ）が組み込まれている。１つの実施例では、逐次近似画像再構成法１００において、まず最初に、画像データ取得ステップ１０２が実行される。この画像データ取得ステップ１０２では、例えば、適宜の撮影手段を用いて画像データの取得が行われる。ここでいう適宜の撮影手段としては、コンピュータトモグラフィ（ＣＴ）装置、Ｘ線撮影装置、超音波画像生成装置、それに磁気共鳴撮影（ＭＲＩ）装置などがあり、またそれらのみに限定されない。また、画像データを取得する際には、例えば、ある被写体の投影画像を複数の角度から投影撮影することにより、互いに角度の異なる複数の投影画像データ（それらは例えば１つの３Ｄ画像を生成することのできる画像データである）を生成し、それら投影画像から画像ボリュームＸを表すデータ生成する。また、ここでいう被写体としては、例えば、人間ないし動物の臓器ないし体組織、人工物の構造体ないし構成体、それに、その他の被験体などがあり、またそれらのみに限定されない。

【0024】

従って画像データの取得ステップ１０２では、画像ボリュームＸに順投影（fpj）が施されることで、複数の２次元（２Ｄ）投影データ（即ち実測データ）から成るデータセットが生成される（これは例えば、ＭＲＩの生データなどである）。こうして画像ボリュームＸから得られるデータはグラウンドトゥルースデータ（即ち客観的データ）を成すものである。図１において、図中の破線矢印は検出器座標系で表示される２Ｄ投影データを表しており、実線矢印はワールド座標系で表示される３次元（３Ｄ）ボリュームデータを表している。こうして取得された画像データ（即ち画像ボリュームＸから生成された２Ｄ投影データセット）と、再構成画像に順投影処理を施して得られる画像データ（即ち再構成画像から生成される２Ｄ投影データセット）との差分が算出され、その差分が３Ｄ空間内へ逆投影（bpj）されることで更新分ボリュームデータεが生成される。この更新分ボリュームデータεが再構成画像の３Ｄ画像ボリュームデータに加算され、そして、深層学習レギュラライザ（これは例えばニューラルネットワーク（ＮＮ）などである）が適用されることで、更新解Ｘ^⁽ⁱ⁾が求められる。ここで注目すべきことは、深層学習レギュラライザは照合フレームの枠内で機能するものであるため、深層学習レギュラライザを用いることで、オブジェクトの特徴を追加することも、アーチファクトを除去することも、いずれも容易に行えるということであり、それらが容易であるのは、オブジェクトの特徴及びアーチファクトは画質の改善がなされる照合画像上で操作されるものだからである。また、アーチファクトはイメージングシステムの固有の形状に関連していることがあり、その場合には、必然的に行われる照合が画像再構成法の改善に役立つことになる。

【0025】

深層学習ＮＮレギュラライザに訓練を施すことで、画像ボリュームＸに表されている被写体に関する事前情報を深層学習ＮＮレギュラライザに学習させることができる。訓練が施された深層学習ＮＮレギュラライザは、画像ボリュームＸに表されている被写体の画像を再構成するために実行する再構成逐次近似画像再構成法１００に組み込まれる。そして逐次近似画像再構成法の各ステップが実行される度に、再構成画像の画質が改善されて行き、この画質の改善は、深層学習ＮＮレギュラライザから得られる被写体に関する事前知識が導入されるために、解空間が局所領域に限局されることによるものである。例えば、被写体の画像データの値は実在可能な値に限られるという知識は、逐次近似画像再構成法１００にポジティビティ制約条件を課すことで画質改善に役立てられる。また、被写体の画像データの値がある一様領域の内部全域において一定のレベルの滑らかさを持つという知識は、逐次近似画像再構成法１００に平滑度制約条件を課すことで画質改善に役立てられる。図１に示した実施例は、標準的なレギュラライザを備えた上に、更にＮＮレギュラライザを備えた構成としたものである。ＮＮレギュラライザは、線形レギュラライザであり、学習した結果としてＮＮレギュラライザが課すようになる制約条件は概ね同様の条件に落ち着くものである。例えば、トモシンセシスの再構成画像のアーチファクトを低減するために、画像データのＣＴ値が、空気レベルの値（−１０００ＨＵ）から水レベルの値（０ＨＵ）までの値域内の値しか取らないというポジティビティ制約条件を課すということが一般的に行われている。また、正則化を施すことで平滑度制約条件を課すのならば、トータルバリエーション（ＴＶ）の値についての制約条件を課すようにすればよい。

【0026】

逐次近似画像再構成法１００に深層学習ＮＮレギュラライザを組み込むことで、解が信頼性の高い物理解へ高速で近付いて行くようにすることができ、それによって逐次近似画像再構成法１００の収束性が向上する。逐次近似画像再構成法１００は、収縮した後に対称性をもって拡大する経路を有するネットワーク構造を備えたものとすることで、状況に適合した局在性を有する特徴を把握できるものとなる。１つの実施例では、深層学習ＮＮレギュラライザに、再構成画像ボリュームから生成した２Ｄスライス上のユークリッド損失関数と、グラウンドトゥルースとに基づいて、回帰ネットワークとしての訓練を施すようにしている。ただし、逐次近似画像再構成法におけるイテレーションを１回実行完了する度に深層学習ＮＮレギュラライザに訓練を施すのは、場合によっては有利でないこともある。即ち、コーンビームＣＴ画像の再構成や、コーンビームトモシンセシス画像の再構成などでは、深層学習ＮＮレギュラライザに訓練を施すに際して、３Ｄボリューム上の損失関数に基づいて回帰ネットワークとしての訓練を施す方が、より有利なことがある。そのような場合には、例えば、深層学習ＮＮレギュラライザに、逐次近似画像再構成法におけるイテレーションを数回実行した後に訓練を施すようにするとよく、即ち、所定回数のイテレーションを実行完了する毎に訓練を施すという、周期的な訓練の施し方をするとよい。１つの実施例について述べると、本発明はこの実施例に限定されるものではないが、イテレーションを１０回（これはイテレーションの全反復回数の５分の１に相当する）実行する毎に、深層学習ＮＮレギュラライザの訓練を１回実行し（この訓練は例えば第２の学習データセットを用いて実行する）、そして、その訓練が施された深層学習ＮＮレギュラライザから出力された予測値を、逐次近似画像再構成法１００の実行ループへ入力する（即ち次回のイテレーションの入力とする）ようにするのもよい。ただし一般的なガイドラインとして、イテレーションを何回実行する毎に訓練を実行するかについては、例えばイテレーションを１回実行する毎に訓練を実行するようにすることもでき、イテレーションを１００回実行する毎に訓練を実行するようにすることもでき、また、そのイテレーションの回数を１回と１００回との間のどの回数とすることも可能であるが、多くの場合、５回から１０回までの間の回数とすると好適な結果が得られる。１つの具体例では、ここでいう第２の学習データセットを、被写体の実測画像データを含むデータセットとしている。より具体的には、被写体をスキャンして得られた画像データを、逐次近似画像再構成法におけるイテレーションの合間に深層学習ＮＮレギュラライザに更なる訓練を施すための学習データセットとして用いるようにしている。

【0027】

後に更に詳細に説明するように、深層学習ＮＮレギュラライザに訓練を施すために用いる学習データセットは、適宜の撮影手段を用いて撮影する被写体の画像データを含むものとすることができる。或いはまた、その学習データセットは、複数の被写体を夫々にスキャンして得た複数の画像を含むものとしてもよく、ここでいう複数の被写体とは、複数の個人などであり、それら複数の個人のうちには、撮影しようとしている当の個人が含まれていてもよい。画像データ収集ステップ１０２は、そのような学習データセットを、仮想的にスキャンするシミュレーションを行うことで画像データを収集するステップとすることもできる（このシミュレーションは、例えば、仮想患者をスキャンするシミュレーションなどになる）。また、学習データセットを用いて深層学習ＮＮレギュラライザに訓練を施すときに、解が既知である場合もある（例えば、学習データセットが被写体の鮮明な画像を含んでいる場合など）。その場合には、その学習データセットを、深層学習ＮＮレギュラライザに訓練する施す際のグラウンドトゥルースデータとして用いることができる。深層学習ＮＮレギュラライザの訓練が全て完了したならば、その訓練済みの深層学習ＮＮレギュラライザが、図１に示した逐次近似画像再構成法１００の中の「ＮＮ」と記したブロックの位置を占めるように、逐次近似画像再構成法に組み込まれる。

【0028】

図２は、以上に説明した逐次近似画像再構成法を実行するように構成された１つの実施例に係るイメージングシステム２０２を示したブロック図である。図示したごとく、イメージングシステム２０２は撮影手段２０４を備えており、この撮影手段２０４は被写体に関する画像データセットを生成するものである。また、イメージングシステム２０２は更に、コンピューティングデバイス２１２を備えており、このコンピューティングデバイス２１２には、逐次近似画像再構成モジュール２０６が実装されており、この逐次近似画素モジュール２０６は、機械学習モデル２０８をレギュラライザとして用いて被写体の画像を再構成する逐次近似画像再構成法を実行するモジュールである。イメージングシステム２０２は更に、再構成された画像を表示するための画像表示モジュール２１０を備えている。

【0029】

以上に列挙したイメージングシステム２０２の構成要素は、それら構成要素をまとめて１つのワークステーションの中に実装するようにしてもよく、或いはまた、それら構成要素を個別の装置に夫々実装して、それら装置がネットワークを介して相互通信するようにしてもよい（そのネットワークは、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、等々であってもよく、ショートレンジネットワークプロトコルを用いたネットワークであってもよい）。撮影手段２０４としては、様々な種類の適宜の撮影デバイスを用いることができ、例えば、Ｘ線ラジオグラフィ、Ｘ線コンピュータトモグラフィ、磁気共鳴イメージング、医用超音波イメージング、内視鏡イメージング、エラストグラフィ、触覚イメージング、サーモグラフィ、及び／又は、医用フォトグラフィなどのイメージング技法を採用した撮影デバイスがあり、また更に、ポジトロンエミッショントモグラフィ（ＰＥＴ）やシングルフォトンエミッションコンピュータトモグラフィ（ＳＰＥＣＴ）などの放射線治療機能を備えたイメージング技法を採用した撮影デバイスなどもある。１つの実施例では、撮影手段２０４として、コンピュータトモグラフィ（ＣＴ）スキャナ、トモシンセシスシステム、または超音波イメージングシステムを用いるようにしている。容易に理解されるように、本明細書で具体的に名称を挙げていない撮影手段を用いたものも、本開示の範囲に含まれる。例えば、米国特許第10,070,828号、及び米国特許出願公開第2017-0200271-A1号（これら２件の特許公報の開示内容はこの言及をもって本願開示に組み込まれたものとする）に記載されている種々のイメージングシステムなどは、画像再構成法を実施する上で特に有効なシステムである。

【0030】

上述したように、コンピューティングデバイス２１２には、逐次近似画像再構成モジュール２０６が実装されている。この逐次近似画像再構成モジュール２０６は、コンピューティングデバイス２１２上で実行されることで、レギュラライザとして用いられる機械学習モデル２０８が組み込まれた逐次近似画像再構成法を用いて被写体の画像の再構成を行う。そして、この画像再構成の過程で、機械学習モデル２０８がレギュラライザとして用いられることで、再構成される被写体の画像に、オブジェクトの特徴と、制約条件（例えば、密度、境界、湾曲度、等々に関する制約条件）とが導入される。被写体の画像を再構成する画像再構成プロセスにおけるイテレーションが１回実行される度に、または、イテレーションが所定の複数回実行される度に、機械学習モデル２０８から出力が送出され、その送出された出力は、画像再構成プロセスにおける次回のイテレーションの入力とされる。また、１つの実施例として、図５に示したように、逐次近似画像再構成モジュール２０６に、逐次近似画像再構成法の互いに異なるステージにおいて夫々にレギュラライザとして用いられる複数の機械学習モデル２０８が組み込まれているようにするのもよい。

【0031】

機械学習モデルが被写体の特徴を識別できるようにするための訓練に用いる学習データセットは、撮影手段２０４で撮影しようとしている被写体に関する画像データを含むものとすることができ、また、機械学習モデル２０８がレギュラライザとして用いられることで、再構成する被写体の画像に被写体の特徴が導入される。１つの実施例として、機械学習モデル２０８は、ユークリッド損失関数を採用した回帰ネットワークとしての訓練を施した畳み込みニューラルネットワーク（ＣＮＮ）とすることができ、また、ＣＮＮに訓練を施すために用いる学習データセットは、再構成画像ボリュームデータの３Ｄボリュームデータ、及び／又は、再構成画像ボリュームデータの２Ｄスライスデータ（ここでいう再構成画像ボリュームデータは、例えば、複数の再構成画像から成る集合体などである）に加えて、更に、グラウンドトゥルース画像ボリュームデータ（このグラウンドトゥルース画像ボリュームデータは、例えば、被写体の複数の実画像から成る複数のグラウンドトゥルース画像から成る集合体などである）を含むものとすることができる。また、１つの実施例として、後に図３を参照して説明するように、遠隔コンピュータ資源を用いて機械学習モデル２０８に訓練を施すようにすることもでき、また、機械学習モデル２０８をコンピューティングデバイス２１２上に展開して、その機械学習モデルを逐次近似画像再構成法モジュール２０６が利用できるようにすることもできる。

【0032】

コンピューティングデバイス２１２は、プロセッサを用いて構成したシステムとするとよく、撮影手段２０４から画像データを受取る機能と、再構成画像の画像データを画像表示モジュール２１０へ出力する機能と、逐次近似画像再構成モジュール２０６を実行する機能とを備えたデバイスである。画像表示モジュール２１０は、再構成画像をディスプレイデバイス２１４へ出力するように構成され、このディスプレイデバイス２１４は、モニタや、モバイルデバイスなどをはじめとする、再構成画像をユーザへ提示することのできる様々な種類のディスプレイであり、またここでいうユーザとは、例えば医療従事者などである。

【0033】

図３は１つの実施例に係るシステム３００を示したブロック図である。システム３００は、コンピューティング環境３０２（例えば「クラウド」環境など）と、図２を参照して上で説明したイメージングシステム３１０とで構成されている。コンピューティング環境３０２は機械学習モデル３１２に訓練を施すためのコンピューティングリソースを備えている。１つの実施例として、コンピューティングリソースは、機械学習モデルの訓練３０４に用いることのできる仮想マシンを実現するように構成したものとすることができ、これは、例えば計算インスタンスであり、その場合、仮想マシンは物理マシンをエミュレートするように構成されたマシン（即ちコンピュータ）をソフトウェアで構成したインスタンスである。１つの実施例として、コンピューティング環境３０２は、計算サービスプロバイダ（例えば「クラウド」プロバイダなど）によって提供される管理されたサービスであって、コンピューティングリソースがＧＰＵを備えたものなどである。

【0034】

１つの実施例では、学習データセット３０６と、コンピューティング環境３０２に存在するコンピューティングリソースとを用いて、機械学習モデル３１２に訓練を施すようにしている。学習データセット３０６は、画像データから成るものである。その画像データは、例えば、イメージングシステム３１０を用いて被写体をスキャンして得られるスキャン画像であってもよい。また、その画像データを、様々な施設において、様々なスキャンデバイスを用いて、様々な個人をスキャンして得られるスキャン画像とするのもよく、そうすれば、学習データセット３０６を非常に多様性に富んだものとすることができる。図４に、１つの実施例における、学習データセット３０６を用いて機械学習モデル３１２に訓練を施す訓練ステップと、画像再構成プロセスにおいてレギュラライザとして用いられる機械学習モデル３１２の試験を行う試験ステップとを示した。図４に示したように、この実施例では、ＣＴスキャン画像データ４０２からグラウンドトゥルースデータを生成するグラウンドトゥルースデータ生成４０４を実行し、生成されたグラウンドトゥルースデータは、機械学習モデルの訓練３０４に用いるＣＴデータセット４０６の一部とされる。更に、シミュレーションによって画像データ収集する画像データ収集４０８を実行し、この画像データ収集は、ＣＴデータセット４０６に対して仮想スキャン処理を実行することによって、被写体のスキャン画像データを生成するものである。このシミュレーションでは解を既知とすることができ、またＣＴデータセット４０６は機械学習モデル３１２に訓練を施す際にグラウンドトゥルースデータとして用いられるものである。

【0035】

ＣＴデータセット４０６を用いてトモシンセシス画像再構成４１０を実行することで、複数の初期再構成画像４１２が生成される。それら初期再構成画像４１２を訓練データセットとして用いて機械学習モデル３１２に訓練を施す訓練プロセス４１４を実行する。この訓練プロセス４１４により生成された複数の正則化が施された初期再構成画像４１６を用いて、更なるトモシンセシス画像再構成プロセス４１８を実行する。この更なるトモシンセシス画像再構成プロセス４１８によって生成される複数の後期再構成画像４２０を用いて、機械学習モデル３１２に訓練を施す訓練プロセス４２２を実行することで、複数の正則化が施された後期再構成画像４２４が生成される。また、別の実施例として、ＣＴスキャン画像データ４０２を用いて、直接的に更新を行うようにすることもでき、そのような実施例では、訓練プロセス４１４及び訓練プロセス４２２において、ＣＴスキャン画像データ４０２を深層学習レギュラライザへの入力として用いる。それら訓練プロセスにおいては、グラウンドトゥルース画像データから、軸心平面に沿ったスライス画像を再構成画像として生成することで、複数の２Ｄスライス画像を生成し、それら２Ｄスライス画像を用いて、そしてユークリッド損失を用いて、機械学習モデル３１２に訓練を施すようにする。更に、機械学習モデル３１２の訓練は、シンボリックマスライブラリ（例えば、オープンソースのソフトウェアライブラリであるTensorFlow（商標）など）を用いたデータフロープログラミングにより実装される確率的勾配降下法によって行うようにしてもよい。また、機械学習モデル３１２の複数の重みの夫々の初期値は、ニューラルネットワークであるこの機械学習モデル３１２における１個のニューロンへの入力ノードの個数をＴとするとき、その標準偏差が√（２／Ｔ）で表されるガウス分布を持つようにそれらの値を設定するとよい。また別法として、機械学習モデル３１２の複数の重みの夫々の初期値を、共通する１つの値に設定するようにしてもよく、或いはまた、それら初期値をランダム値に設定するようにしてもよい。そして、機械学習モデル３１２の複数の重みの夫々の値に対して、訓練データを用いて調節を施すようにするのもよく、この訓練の目的は、グラウンドトゥルースデータ（即ち、目標とする出力）を、入手可能なデータから予測するということを機械学習モデル３１２に学習させることにある（これは教師あり学習である）。また、訓練データセットの一部を用いて、過適合を最小限に抑えるための機械学習訓練の検証を行う。それには、例えば、最終的な特徴マップ上で、エネルギー関数をユークリッド損失として算出するようにすればよい。また、その場合には、ユークリッド損失算出層が、得られた予測値とグラウンドトゥルースデータの値との差分の二乗の総和を算出することにより、下式で表されるユークリッド損失の値Ｅを算出するようにすればよい。

【0036】

【数1】

上式においてｘ_ｉ及びｙ_ｉは入力の強度値及びグラウンドトゥルースデータの強度値であり、Ｎはピクセルの総個数である。逐次近似画像再構成法の互いに異なるステージにおいて夫々にレギュラライザとして用いられる複数の機械学習モデルに訓練を施すようにするのもよく、そのようにした訓練プロセスの具体例を、図５に訓練プロセス５００として示した。また、別の実施例として、逐次近似画像再構成法に、１つ又は複数の、被写体の画像を再構成する画像再構成プロセスに被写体に関する事前知識を導入するための正則化フィルタ（これは非機械学習正則化フィルタである）が組み込まれている。容易に理解されるように、逐次近似画像再構成法に、機械学習正則化フィルタ（機械学習レギュラライザ）と、非機械学習正則化フィルタ（非機械学習レギュラライザ）との両方を組込む場合に、それら２種類の正則化フィルタの個数、及び／又は、種類は、任意に選択することができる。

【0037】

説明を図３に戻す。以上のようにして訓練が施された機械学習モデル３１２は、イメージングシステム３１０に組み込まれる。即ち、機械学習モデル３１２は、逐次近似画像再構成モジュール３１４が実行する逐次近似画像再構成法に、画像を再構成する過程でレギュラライザとして用いるべく組み込まれる。また、別の実施例では、コンピューティング環境３０２に存在するコンピューティングリソースによって、機械学習モデル３１２の訓練／保持が、周期的に反復実行され、その訓練／保持された機械学習モデル３１２がイメージングシステム３１０に組み込まれるようにしている。

【0038】

１つの実施例では、イメージングシステム３１０が生成した画像データセットが、コンピューティング環境３０２の中に実装したデータストア３１６へ送られ、その画像データセットを用いて機械学習訓練３０４が実行されるようにしている。この場合の画像データセットは、イメージングシステム３１０の構成要素である撮像手段が生成したスキャン画像データ、及び／又は、イメージングシステム３１０の構成要素である逐次近似画像再構成モジュール３１４が生成した再構成画像データを含むものとすることができる。更に、複数台のイメージングシステム３１０が、それらに共通する１つおコンピューティング環境３０２を更新するようにするのもよい。この場合に、学習データセット３０６は、継続的に更新され、そのため、より多くのイメージングシステムが更なるスキャン画像データを供給し、それによって訓練データセットの質的向上がもたらされる。

【0039】

別の実施例として、逐次近似画像再構成モジュール３１４が、コンピューティング環境３０２の中に存在するコンピューティングリソースによって構築されているようにしてもよい。かかる実施例では、逐次近似画像再構成モジュール３１４とイメージングシステム３１０とはネットワーク３０８を介して通信を行い、その通信によって、イメージングシステム３１０は撮像手段が生成した画像データを送信し、逐次近似画像再構成モジュール３１４はその画像データを受信したならば、その画像データを用いて、また、上で説明した逐次近似画像再構成法を用いて、被写体の画像を再構成する。逐次近似画像再構成モジュール３１４は、こうして生成した再構成画像をネットワーク３０８を介してイメージングシステム３１０へ送信し、それによって、イメージングシステム３１０のユーザがその再構成画像を利用できるようになる。

【0040】

コンピューティング環境３０２の中で実行される様々なプロセス、及び／又は、コンピューティング環境３０２によって提供される様々な機能は、１つ又は複数のメモリモジュールに接続した１つ又は複数のプロセッサによって実行され提供されるようにすることができる。コンピューティング環境３０２は複数台のコンピューティングデバイスにより構成されたものとすることができ、ここでいう複数台のコンピューティングデバイスとは、複数台のサーバをサーババンクとして構成したもの、或いは、複数台のコンピュータをコンピュータバンクとして構成したもの、或いは、更にその他の構成としたものであってもよい。また、それら複数台のコンピューティングデバイスがコンピューティング環境を構築するためには、ハイパーバイザ、仮想マシンモニタ（ＶＭＭ）、ＧＰＵ、等々の仮想化ソフトウェアを用いるとよい。尚、「データストア」という用語は、データの格納、アクセス、編成、及び／又は、取出を行うことのできる、任意の種類のデバイス、またはデバイスの組合せをいうものであり、例えば、データサーバ、リレーショナルデータベース、オブジェクト指向データベース、クラスタストレージシステム、データストレージデバイス、データウェアハウス、ファットファイル、等々のデータ格納手段を任意の個数備えたもの、また任意の組合せ形態で組合わせたものとすることができ、またその環境形態は、集中環境、分散環境、クラスタ環境などの様々な形態とすることができる。データストアをストレージシステムとして構成する場合のシステム構成要素としては、ＳＡＮ（ストレージアリアネットワーク）、クラウドストレージネットワーク、揮発性または非揮発性のＲＡＭ、光記録媒体、それにハードドライブ型の記録媒体などを用いることができる。また、容易に理解されるように、ここでいう「データストア」とは、複数のデータストアの集合体を意味することもある。

【0041】

コンピューティング環境３０２の中に含まれるモジュールないしサービスに関連して発せられる、例えばＡＰＩコールやプロシージャコールなどのネットワークコマンドは、様々な通信技術方式に規定されたものとすることができ、それら通信術方式としては、例えば、ＲＥＳＴ（Representational State Transfer）や、ＳＯＡＰ（Simple Object Access Protocol）などがある。ＲＥＳＴとは、分散ハイパーメディアシステムのためのアーキテクチャスタイルの１つである。また、ＲＥＳＴ ＡＰＩ（RESTful API）というものもあるが、これは「RESTfulウェブサーバ」と称されることもある、ＨＴＴＰ及びＲＥＳＴを用いて実装されたウェブサービスＡＰＩである。ＳＯＡＰとは、ウェブサービスにおいて情報を交換するためのプロトコルである。

【0042】

ネットワーク３０８は、任意の種類の適宜のコンピューティングネットワークであり、具体的には、例えばイントラネット、インターネット、ローカルアリアネットワーク、ワイドアリアナット、ないしはそれらと同種のその他のネットワークとすることができ、また、それらネットワークを組合せて構成したネットワークとすることもできる。かかるシステムを構成するための構成要素は、少なくとも部分的にネットワークのタイプに応じたものであり、及び／又は、選択した環境に応じたものである。ネットワークを介して行われる通信は、有線通信であってもよく、無線通信であってもよく、両者を組み合わせたものであってもよい。

【0043】

図２及び図３に示したように、本発明の技法に関連のある幾つかの処理モジュールがあり、それら処理モジュールはコンピューティングサービスとして実装することが可能である。具体的な１つの構成例では、モジュールというものを、１つ又は複数のプロセスをサーバなどのコンピュータハードウェア上で実行するサービスであると見なしている。ここで言うサービスとは、集中実装された機能であることもあり、また、他のサービスないしコンシューマーデバイスからリクエストを受取って出力を帰すサービスアプリケーションであることもある。例えば、サービスを提要するモジュールは、サーバ、仮想サービス環境、グリッド型またはクラスタ型のコンピューティングシステム、等々に実装されたオンデマンドコンピューティングであると考えられる。複数のモジュールの各々にＡＰＩを実装することで、第１のモジュールへ第２のモジュールからリクエストを送信し、第１のモジュールの出力を第２のモジュールが受取るようにすることができる。また、そのようにＡＰＩを実装しておくことで、サードパーティーがモジュールにインターフェースして、モジュールへリクエストを送信してモジュールから出力を受取ることも可能となる。図２及び図３は以上に説明した技法を実装することのできるシステムの具体例を示したものであり、これらの図に示した環境と同様の他の環境、或いは、これらの図に示した環境と異なる環境を採用することも可能である。図面に示し異常に説明した具体例の環境は、代表的な具体例を示したものであり、本発明はかかる環境を採用することに限定されるものではない。

【0044】

図６は、機械学習モデルが正則化フィルタとして用いられる逐次近似画像再構成法によって被写体の画像を再構成する方法の１つの実施例を示したフローチャートである。ブロック６１０では、撮影手段により生成された被写体の画像データセットを受取る。この場合の画像データセットは、被写体の画像データセットを生成するように構成された撮影手段から受取るようにすることができる。１つの実施例では、撮影手段を、コンピュータトモグラフィ（ＣＴ）スキャナ、トモシンセシスシステム、または、超音波イメージングシステムとしており、またそれらのみに限定されない。

【0045】

ブロック６２０では、被写体の画像を再構成する過程で正則化フィルタ（即ちレギュラライザ）として用いられる機械学習モデルが組み込まれた逐次近似画像再構成法を用いて被写体の画像の再構成を行う。ブロック６３０では、画像データの受信に先立って、撮影手段を用いて撮影する被写体に関する画像データを含む学習データセットを用いて機械学習モデルに訓練を施し、この学習データセットは機械学習モデルに訓練を施すための客観的データを提供するものである。１つの実施例では、その機械学習モデルは、回帰ネットワークとして訓練が施された畳み込みニューラルネットワーク（ＣＮＮ）である。

【0046】

１つの実施例として、機械学習モデルに訓練を施すプロセスが、シミュレータ及び画像ボリュームデータを用いて再構成画像を生成するようにし、生成された再構成画像とグラウンドトゥルース画像とを用いて軸平面に沿った断面画像である２Ｄ画像の生成が行われるようにし、生成した２Ｄ画像を用いて機械学習モデルに訓練が施されるようにするのもよい。このプロセスにおける再構成画像は、被写体の画像を再構成するための中間解を提供するものであり、再構成画像を用いて複数の重みの値を調節することにより、グラウンドトゥルース画像により提供されるグラウンドトゥルースを判別するための学習を機械学習モデルに施すものである。

【0047】

同様に、機械学習モデルは３Ｄ画像を用いて訓練が施される。これを行うことは、２Ｄスライス画像からだけでは明確でない３Ｄ的な関連性を有するアーチファクト及びパターンを考慮に入れる上で有用である。このような３Ｄ訓練データセットは、特に、コーンビームＣＴ、コーンビームトモシンセシス、等々において有用である。

【0048】

機械学習モデルに訓練を施すために用いる学習データセットは、少なくとも２つの学習データセットを含むものとし、それら学習データセットのうちの第１の学習データセットは、グラウンドトゥルースデータを提供する高画質データセットから成り、それら学習データセットのうちの第２の学習データセットは、第１の学習データセットと比べてより低画質の、機械学習モデルの学習入力データとして用いる低画質データセットから成るものとするのもよい。１つの実施例として、高画質データセットは、被写体に含まれるオブジェクトを高線量でスキャンして得たスキャン画像データを含み、低画質データセットは、被写体に含まれるオブジェクトを低線量でスキャンして得たスキャン画像データを含むものとするのもよい。

【0049】

ブロック６４０では、逐次近似画像再構成法に機械学習モデルが組み込まれ、この機械学習モデルの組み込みによって、被写体の再構成画像にオブジェクトの特徴が導入されることになる。１つの実施例によれば、逐次近似画像再構成法を実行する際に、グラウンドトゥルースである画像ボリュームの順投影である２次元（２Ｄ）投影データセットを生成し、上述した画像データセットとその２Ｄ投影データセットとの差分を算出し、その差分を３次元空間内へ逆投影することで更新分ボリュームを生成し、被写体の画像を再構成する過程にその更新分ボリュームを組み込み、被写体の画像を再構成する過程で上述した機械学習モデルを正則化フィルタとして用いて、更新された再構成画像を生成するようにしている。

【0050】

逐次近似画像再構成法におけるイテレーションを１回実行して被写体の再構成画像を生成したならば、そのイテレーションの実行により得られた機械学習モデルの出力を、逐次近似画像再構成法の次回のイテレーションの入力とする。また更に、１つの実施例においては、逐次近似画像再構成法のプロセスを実行している間に、撮影手段により取得した画像データセットを用いて機械学習モデルの更新を行うようにしており、その更新は、逐次近似画像再構成法における１つのステージ、または複数のステージにおいて、画像データセットを用いて機械学習モデルに訓練を施すことで行われる。

【0051】

１つの実施例では、逐次近似画像再構成法に、この逐次近似画像再構成法の互いに異なるステージにおいて夫々にレギュラライザとして用いられる複数の機械学習モデルが組み込まれている。また、実施例のうちには、逐次近似画像再構成法に、被写体の画像を再構成する過程でレギュラライザとして用いられる少なくとも１つの非機械学習正則化フィルタが組み込まれているものがある。更に、実施例のうちには、撮影手段によりスキャンされる患者に関連した患者データセットによって学習データセットに増補が施されるようにしたものがある。この患者のデータセットによる学習データセットの増補は、患者のスキャンを実行する前、患者のスキャンを実行した後、及び／又は、患者のスキャンの実行中に行うようにすることができる。

【0052】

図７は、本発明に係る技法に用いられるサービスモジュールを実行可能なコンピューティングデバイス７１０を例示した図である。図示したコンピューティングデバイス７１０は、本発明に係る技法の、ハイレベルの実施例を実行可能である。コンピューティングデバイス７１０は、１つまたは複数のプロセッサ７１２を備えるものであり、かかるプロセッサはメモリデバイス７２０との間で通信を行う。また、コンピューティングデバイス７１０は、ローカル通信インターフェース７１８を備えるものであり、かかるローカル通信インターフェースはこのコンピューティングデバイス７１０の構成要素どうしの間の通信を可能にしている。このローカル通信インターフェース７１８は、例えば、ローカルデータバスなどであり、また、必要に応じてアドレスバスやコントロールバスなども含むものである。

【0053】

メモリデバイス７２０にはプロセッサ７１２が実行可能な複数のモジュール７２４が実装されている。また、メモリデバイス７２０にはそれら複数のモジュール７２４が様々なサービスを提供するために必要とされるデータが格納されている。メモリデバイス７２０に実装されている複数のモジュールのうちの１つは、逐次近似画像再構成モジュールである。更に、メモリデバイス７２０はデータストア７２２を備えており、このデータストア７２２の中に、複数のモジュール７２４に関連したデータが格納され、また、プロセッサ７１２が実行可能なその他のアプリケーション及びオペレーティングシステムに関するデータも格納されている。

【0054】

メモリデバイス７２０には、プロセッサ７１２が実行可能な更にその他のアプリケーションも格納することができる。本明細書において説明するコンポーネントであるモジュールは、高レベルのプログラミング言語を用いたソフトウェアの形で実装することもでき、その場合には、その高レベルのプログラミング言語が、適宜の方法によってコンパイルされ、或いはインタープリテーションされて、実行されるようにしておけばよい。

【0055】

コンピューティングデバイス７１０は更に、このコンピューティングデバイス７１０が利用するＩ／Ｏ（入出力）デバイス７１４にアクセスする機能を備えている。Ｉ／Ｏデバイスの具体例としては、例えば、コンピューティングデバイス７３０の出力を表示するためのディスプレイ画面８３０がある。ネットワーキングデバイス７１６などの通信デバイスも、コンピューティングデバイス７１０に装備されることがある。ネットワーキングデバイス７１６は、有線ネットワーキングデバイスであってもよく、無線ネットワーキングデバイスであってもよく、インターネット、ＬＡＮ、ＷＡＮ、或いは他のコンピューティングネットワークなどに接続する機能を提供するものである。

【0056】

図示したように、メモリデバイス７２０には複数のコンポーネントが格納されており、それらコンポーネントは、プロセッサ７１２が実行可能なモジュールである。ここで「実行可能」というのは、それらモジュールが、プロセッサ７１２がそれを実行することのできる例えばプログラムファイルなどの形態で実装されていることを意味している。より具体的には、例えば、高レベル言語で書かれたプログラムをコンパイルしてマシンコードとし、そのマシンコードをプロセッサ７１２が実行可能なフォーマットでメモリデバイス７２０のランダムアクセス可能な領域にロードするなどすればよく、また、ソースコードを別の実行可能なプログラムによってロードし、そのソースコードをインタープリテーションすることで生成したインストラクションをメモリのランダムアクセス可能な領域に展開することで、プロセッサがそれを実行し得るようにしてもよい。また、そのような実行可能なプログラムは、メモリデバイス７２０のいかなる部分に、ないしは、メモリデバイス７２０のいかなるコンポーネントに格納するようにしてもよい。例えば、メモリデバイス７２０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリなどとしてもよく、また、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロップピーディスク、磁気テープ、或いは、更にその他のメモリコンポーネントとしてもよい。

【0057】

プロセッサ７１２は、図には１つのブロックで示しているが、このブロックは必ずしも１個だけのプロセッサを表すものとは限られず、複数のプロセッサをも表し得るものである。プロセッサ７１２は、例えば、中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、ＦＰＧＡなどであり、またそれらのみに限定されない。また、プロセッサ７１２は、そのようなプロセッサを幾つも組み合わせてクラスタ配列したものとしてもよい。メモリデバイス７２０も同様であり、図には１つのブロックで示しているが、このブロックは必ずしも１個だけのメモリデバイスを表すものとは限られず、複数のメモリデバイスをも表し得るものであり、その場合に、それら複数のメモリデバイスが処理回路にとって互いに並列であるようにしてもよく、そうすることで、それら複数のメモリデバイスがシステム内のプロセス及びデータに並列処理チャネルを提供する構成とすることができる。ローカル通信インターフェース７１８によって、複数のプロセッサと複数のメモリデバイスとの間の通信が行われるようにしている。このローカル通信インターフェース７１８は、例えば、通信負荷バランシング、バルクデータ転送、等々の通信調整を行うように構成された補助的システムを備えたものとするのもよい。

【0058】

実施例
本明細書に記載の技法は様々な技法と組み合わせて利用することができ、それによって逐次近似画像再構成法に関する数々の利点を提供し得るものであることを以上に示した。これより、この技法を実装することで良好な成果が得られた幾つかの実施例について説明する。コーンビームトモシンセシス（ＣＢＴ）蛍光透視法は、略々リアルタイムの３Ｄイメージングを可能にする新規な手段である。リアルタイムのイメージングが可能であるという特性は、トモシンセシス装置が円形軌道上から蛍光透視法による画像データの収集を行い、そして、その画像データから、モデルを用いた高速画像再構成を実行することにより達成されている。ＣＢＴ蛍光透視法は、例えば、侵襲処置である外科手術を行う際に放射線透視画像による画像ガイダンスを提供するためなどに利用される。ＣＢＴ蛍光透視法の弱点は、トモシンセシスの軸心方向における解像度が不十分なことにある。本明細書に記載の技法を用いるならば、ＣＢＴ蛍光透視法の画質を改善することができ、これは、トモシンセシス画像の逐次近似画像再構成法に、トモシンセシス画像を再構成する過程でレギュラライザとして用いられる畳み込みニューラルネットワーク（ＣＮＮ）が組み込まれることで、再構成画像の解像度が向上することによるものである。

【0059】

逐次近似画像再構成法の互いに異なるステージにおいて夫々に異なるＣＮＮをレギュラライザとして用いるようにすることができる。初期ステージ用ＣＮＮは、再構成画像に追加データを導入するものであり、例えばトモシンセシスの軸心方向のデータが追加されるが、ただし、初期ステージ用ＣＮＮが用いられることで、学習データセットに起因するバイアスが再構成画像に導入されるおそれがある。後期ステージ用ＣＮＮは、再構成画像の中に存在する特徴を高精細化すると共に、再構成画像に導入される学習データセットに起因するバイアスを制限するものである。このように初期ステージ用ＣＮＮと後期ステージ用ＣＮＮとを用いる方式とすることで、解を高蓋然性物理解へ近付けることができ、それによって逐次近似画像再構成法における収束を良好且つ高速のものとすることができる。

【0060】

トモシンセシス画像の逐次近似画像再構成法の初期ステージと後期ステージとの夫々において、誤差を定量的に測定し、それによって、レギュラライザのパフォーマンスと、再構成画像の画質とを解析した。また、再構成画像に持ち込まれた学習データセットに起因するバイアスを評価し、統計的解析を実行することで、機械学習によって客観的データとの整合性の低下が発生する割合を求めた。

【0061】

設定条件及び学習条件
画像データ収集プロセスは、シミュレーションによる画像データ収集とし、このシミュレーションは、仮装スキャンによって、コーンビームトモシンセシス（ＣＢＴ）蛍光透視法におけるＣＴ画像データセットを収集するものとした（即ち、仮想患者の画像データを収集した）。このシミュレーションでは、解は既知であるものとし、収集したＣＴ画像データセットを、ＣＮＮに訓練を施すためのグラウンドトゥルースデータとして用いることとした。また、逐次近似画像再構成法における１回のイテレーションを実行完了する毎にＣＮＮに訓練を施すこととしたため、そのようにする上で好都合なように、用いるＣＮＮは、互いに異なる１つの初期ステージ用ＣＮＮと１つの後期ステージ用ＣＮＮとの、２つだけのＣＮＮとし、また、その訓練では、学習率及びモーメンタムの値を一定とし、学習率＝ｌｅ−２、モーメンタム＝０．９９とした。逐次近似画像再構成法におけるイテレーションを数回実行して初期再構成画像を生成し、その生成した初期再構成画像を訓練データセットとして用いて初期ステージ用ＣＮＮに訓練を施した。グラウンドトゥルースデータと訓練データセットとの夫々に、トモシンセシスの軸心を含む平面に沿ったスライスを切り出す処理を施して、夫々の２Ｄスライス画像データを生成し、それら２Ｄスライス画像データを用いて初期ステージ用ＣＮＮに回帰ネットワークとしての訓練を施した。訓練を施した初期ステージ用ＣＮＮにより得られた予測結果（即ち「ＣＮＮレギュラライザで正則化が施され初期再構成画像」）を用いてトモシンセシス画像の逐次近似画像再構成プロセスを続行して、後期再構成画像を生成した。その生成した後期再構成画像に後期ステージ用ＣＮＮを適用し、それによって「ＣＮＮレギュラライザで正則化が施された後期再構成画像」を生成した。

【0062】

ネットワークアーキテクチャ
初期ステージ用ＣＮＮと後期ステージ用ＣＮＮのいずれの設定も、レギュラライザとして用いられるそれらＣＮＮのアーキテクチャを、エンコーダ部とデコーダ部とを備えたアーキテクチャとした。エンコーダ部とデコーダ部の夫々のネットワークは４層構造とし、そのネットワークの第１層が、６４個の特徴チャネルを備えるものとした。エンコーダ部は、２層の３×３畳み込み層と、それに続く正規化線形ユニット層（ＲｅＬｕ層）と、それに続く２×２最大プーリング層とを備えた構造とし、ストライド＝２のダウンサンプリングを行うものとした。デコーダ部はエンコーダ部に対して相補的な構造を有するものであり、デコーダ部の各層が特徴マップのアップサンプリングを行うものとし、２×２逆畳み込み層の後に、ＲｅＬｕ層を備えた２層の３×３逆畳み込み層が続く構造とした。特徴チャネルの個数はダウンサンプリングの各ステップ毎に２分の１に減少し、アップサンプリングの各ステップ毎に２倍に増加するようにした。特徴チャネルが互いに同数の層どうしをバイパス連結することで、エンコーダ部とデコーダ部との間のスキップ接続を可能とした。以上のアーキテクチャは、収縮した後に対称性をもって拡大する経路を有するネットワーク構造であることから、状況に適合した局在性を有する特徴を把握できるものとなっている。また、畳み込みにはゼロパディングを適用して、どの畳み込みにおいても、その畳み込みの前後で画像サイズが変化しないようにした。デコードにより得られた値を１×１畳み込みを行うデコーダで処理して出力チャネルの個数を低減して、デコーダの最終層の出力チャネルの個数を１個にし、それに続くユークリッド損失算出層が、得られた予測値とグラウンドトゥルースデータの値との差分の二乗の総和を算出することにより、下式で表されるユークリッド損失の値Ｅを算出する。

【0063】

【数2】

上式においてｘ_ｉ及びｙ_ｉは入力の強度値及びグラウンドトゥルースデータの強度値であり、Ｎはピクセルの総個数である。このＣＮＮの複数の重みの夫々の初期値は、ニューラルネットワークであるこのＣＮＮにおける１個のニューロンへの入力ノードの個数をＴとするとき、その標準偏差が√（２／Ｔ）で表されるガウス分布を持つようにそれらの値を設定した。また、このＣＮＮの訓練は、オープンソースのソフトウェアライブラリであるTensorFlow（商標）を用いたデータフロープログラミングにより実装された確率的勾配降下法によって行った。

【0064】

訓練データセット
訓練データセットとしては、主としてＥＵ域内及びラテンアメリカ域内の諸処から収集された５万３千個のＣＴスキャン画像の生データを含んで成るソースデータセットを用いた。それらスキャン画像データは、様々な施設において、様々なスキャン装置を用いて、様々な患者をスキャンして得られた画像データであり、そのため、学習データセット（即ち訓練データセット）は、非常に多様性に富む画像データを含むものであった。また、このソースデータセットに含まれる画像データは、様々な体格の患者の、その胸部の様々な部位をスキャンして収集されたものであり、スキャンしたときの患者の姿勢もまた様々であった。図８の写真からは、ソースデータセットの画像データが多様性に富むものであることが見て取れる。かかるソースデータセットから、脊椎を含む多数（９７００個）のスキャン画像データを抽出して脊椎データセットとし、それらスキャン画像データにサイズ変換を施して、それら画像のサイズを２５６×２５６×２５６に統一した。１個のスキャン画像データにつき３個ずつのスライス画像をＣＮＮの訓練に用いることとした。また、かかる９７００個のスキャン画像データのうち８５００個のスキャン画像データを訓練データセットとして使用し、残りの１２００個のスキャン画像データを試験データセットとして使用した。また、訓練データセットのうち９４５個のスキャン画像データを検証のために使用した。

【0065】

インフラストラクチャ
コンピューティング環境（例えば「クラウド」環境など）に存在するコンピューティングリソースを用いて、ＣＴスキャンデータから３Ｄボリュームデータを生成し、画像再構成のプロセスに組み込まれたＣＮＮレギュラライザに訓練を施し、その訓練が施されたレギュラライザの試験を行った。

【0066】

視覚的解析結果
上部胸郭領域及び下部腰部領域のスキャンデータから成るデータセットを用いて評価を行った。図９は、下部腰部領域及び上部胸郭領域から得たデータセットに対して逐次近似画像再構成法を適用するプロセスの、夫々に異なるステージにおける再構成画像を示したものである。図９の左側から右側へ順番に、初期再構成画像、ＣＮＮレギュラライザで正則化が施された再構成画像、後期再構成画像、ＣＮＮレギュラライザで正則化が施された後期再構成画像、そしてグラウンドトゥルース画像を示している。図１０は上部胸郭領域から得られたデータセットに対応した再構成画像を示しており、図の左側から右側へ順番に、初期再構成画像、ＣＮＮレギュラライザで正則化が施された初期再構成画像、後期再構成画像、ＣＮＮレギュラライザで正則化が施された後期再構成画像、そしてグラウンドトゥルース画像を示している。

【0067】

夫々の初期再構成画像にはアーチファクトが含まれている。それらアーチファクトはデータが不十分であるために、トモシンセシス画像の画像再構成の過程で発生したものであり、ＣＮＮレギュラライザで正則化が施された初期画像では、それらアーチファクトが低減されたことで、トモシンセシスの軸心に沿ったスライス画像において回復が達成されている。しかしながら、ＣＮＮの一般的特性のために、ＣＮＮレギュラライザで正則化が施された初期再構成画像には、訓練データセットへ近付いてしまうというバイアスがかかっている。例えば、図９に示した適用例では、ＣＮＮレギュラライザで正則化が施された初期再構成画像において、椎体前壁がより不鮮明になっている。逐次近似画像再構成法においては、このＣＮＮレギュラライザで正則化が施された初期再構成画像に更に画像再構成処理が施されることで、ＣＮＮによって持ち込まれたバイアスが除去されてデータ整合性が回復され、これらのことは後期再構成画像から見て取れる通りである。尚、データ整合性の回復に伴って、この画像再構成法におけるアーチファクトであるコーナー部の輝度上昇が出現している。トモシンセシス画像を再構成する過程で発生したこのアーチファクトは、この後期再構成画像に後期ＣＮＮを用いた正則化が施される過程で除去され、それによってアーチファクトが存在せず、或いは殆ど存在せず、しかもバイアスのかかっていない再構成画像が得られる。

【0068】

定量分析
再構成画像の定量比較分析をボリュームデータと投影データとの両方で行った。再構成画像のボリュームデータとそれに対応したグラウンドトゥルースのボリュームデータとの比較結果は、再構成画像の画質の指標となるものである。また、実測投影データと数学解である再構成画像のボリュームデータに再投影処理を施して得られた投影データとの相互相関度の値は、実測データとの整合性を示す指標となるものである。下記の表１は、再構成画像とグラウンドトゥルースとを、ボリュームデータで比較した結果と投影データで比較した結果とを、相互相関度の平均値及び標準偏差値で示した表である。

【0069】

【表1】

【0070】

逐次近似画像再構成のプロセスが進展するにつれて再構成画像の画質は向上しており、このことは図１１のグラフの、再構成画像ボリュームデータと記した曲線から明らかである。実測データとの整合性は、初期再構成画像から、ＣＮＮレギュラライザで正則化が施された初期再構成画像へ、そして後期再構成画像へと向上しているが、後期再構成画像からＣＮＮレギュラライザで正則化が施された後期再構成画像へは低下している。

【0071】

投影データで比較したときのグラウンドトゥルースとの相互相関度の平均値（データセットに含まれる複数個のデータに対応した複数の再構成画像の夫々の相互相関度の値の平均値）は、初期再構成画像から、ＣＮＮで正則化が施された初期再構成画像へと上昇しているが、ただし、医用イメージングという用途においては、データセットに含まれる複数個のデータのうちのどのデータに対応した再構成画像についても、その相互相関度の値が上昇していることが有益である。下記の表２に示すように、ＣＮＮレギュラライザで正則化が施された初期再構成画像のうちの１４．７％では、投影データで比較したときのグラウンドトゥルースとの相互相関度の値が、初期再構成画像の投影データのものと比べて小さかった。このことは、場合によってはＣＮＮレギュラライザを適用することによって実測データとの整合性が却って低下するおそれがあることを意味している。しかしながら、下記の表３に示すように、グラウンドトゥルースとの相互相関度の値は、後期再構成画像の投影データと初期再構成画像の投影データとでは表３に示す通りであり、低下したデータ整合性は回復可能であって、このことは、トモシンセシス画像再構成のプロセスにＣＮＮレギュラライザを組み込んだ場合に、そのＣＮＮレギュラライザにバイアスが持ち込まれても、そのバイアスは最終的に緩和されることを示している。

【0072】

【表2】

【0073】

【表3】

【0074】

従って、本明細書に記載の新規な技法によれば、ＣＮＮレギュラライザから得られる事前情報を利用することで、トモグラフィ再構成画像の画質を向上させることができる。この技法は、データ量が不十分な場合であってもアーチファクトを発生させることなく画像を再構成するという難度の高い課題を達成するための基本概念を提供するものである。以上に記載したように、コーンビームトモシンセシス（ＣＢＴ）蛍光透視法という特に難度の高い具体例に即して本技法の試験を行ったところ、その試験結果として得られた数値はこの技法が画像再構成のプロセスを統計的に改善し得るものであることを示している。従って、本明細書に記載の技法によれば、機械学習モデルにより持ち込まれるバイアスを制限して、再構成画像のグラウンドトゥルースデータ（即ち客観的データ）に対する整合性を高めることができる。

【0075】

添付図面に示した本発明に係る技法のフローチャートでは、ステップを示すブロックが順番に並んでいるが、ステップの実行の順番は必ずしもその並び順に限られるわけではない。例えば、ブロックのうちには、その並び順を変更しても構わないものがある。また、それらブロックに示されたステップのうちには、それらステップを同時並行的に実行し得るもの、或いは、それらステップを部分的に同時並行的に実行し得るものがある。また、フローチャートの中の１つまたは幾つかのブロックに示されたステップをフローから削除し、或いは、フローの中でスキップするような実施形態もあり得る。また、フローチャートで示された論理フローに、可用性、計算能力、動作効率、計測能力、それにトラブルシューティング能力などを高めるべく、適宜の個数のカウンタ、状態変数、警告セマフォ、それにメッセージ表示などを付加した実施の形態もあり得る。

【0076】

本明細書の以上の記載では、機能単位のうちの幾つかを「モジュール」と称している。これは、それら機能単位の各々が互いに独立性をもって実装し得るものであることを強調するためである。例えば、モジュールは、ハードウェア回路の形で実装することも可能であり、その場合のハードウェア回路は、例えば、カスタムＶＬＳＩ回路やゲートアレイ、様々なオフザシェルフ半導体（例えば、論理チップ、トランジスタ、及びその他のディスクリート素子など）から成るハードウェア回路などとすることができる。また、モジュールは、プログラマブルハードウェアデバイスの形で実装することも可能であり、その場合のプログラマブルハードウェアデバイスは、例えば、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、等々とすることができる。

【0077】

更に、モジュールは、プロセッサにより実行されるソフトウェアの形で実装することも可能であり、その場合のプロセッサは、例えば、ＣＰＵ、ＧＰＵ、それらが混合した環境、それらのクラスタなどの、様々なものとすることができる。実行可能コードから成るある１つのモジュールは、例えば、複数のコンピュータインストラクションから成る１つのインストラクションブロックとすることもでき、また、そのようなインストラクションブロックを２つ以上組み合わせたものとのすることもできる。更に、そのようなインストラクションブロックは、１つのオブジェクトとして、或いは１つのプロシージャとして、ないしは１つのファンクションとして組成することも可能である。ただしその場合に、ある１つのモジュールを構成する複数の実行可能コードは、物理的に１箇所にまとめて格納されている必要はなく、離れた複数箇所に分散して格納されていてもよく、それら分散格納された実行可能コードにより構成されるモジュールが論理結合されることで、当該モジュールの目的を達成できるようにしておけばよい。

【0078】

実際に、実行可能コードから成るモジュールは、ただ１つのインストラクションしか含まないモジュールとすることもでき、多数のインストラクションを含むモジュールとすることもできる。また、実行可能コードから成るモジュールは、複数のコードセグメントに分割したものとすることもでき、複数のプログラムの中に分散させたものとすることもでき、複数のメモリデバイスに亘って格納されたものとすることもできる。同様に、オペレーショナルデータも本明細書においてはモジュールとして説明したが、オペレーショナルデータは適宜の様々な形態で実装することができ、また、適宜の様々な形式のデータ構造で構成することができる。オペレーショナルデータは単一のデータセットの形にまとめてもよく、複数の格納場所に分散して格納してもよく、後者の場合には、複数のストレージデバイスに分散させて格納するようにしてもよい。モジュールのうちには、受動モジュールであるものもあり、能動モジュールであるものもあり、目的とする動作を提供するエージェントであるものもある。

【0079】

本明細書に記載の技法はコンピュータ可読記憶媒体に格納することができ、ここでいうコンピュータ可読記憶媒体としては、例えば、非揮発性記憶媒体、揮発性記憶媒体、取外し可能記憶媒体、取外し不能記憶媒体などがあり、それら記憶媒体は、情報を格納するための様々な技法により実装することができ、ここでいう情報としては、例えば、コンピュータ可読なインストラクション、データ構造体、プログラムモジュールなどがあり、また更にその他の情報ないしデータがある。また、ここでいうコンピュータ可読記憶媒体としては、例えば、非一時的マシン可読記憶媒体（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、それにフラッシュメモリなどのメモリ類、ＣＤ−ＲＯＭやＤＶＤなどの光記憶媒体、磁気カセット、磁気テープ、磁気ディスクなどの磁気記録デバイス、それに、所望の情報及び以上に説明した技法を格納するために用い得る、その他の様々なコンピュータ記録媒体など）があり、またそれらのみに限定されない。

【0080】

本明細書において説明した様々なデバイスには、当該デバイスがその他のデバイスと通信を行うための通信接続手段としての、ネットワーク構築機器やネットワーク接続手段を装備するようにするのもよい。また、通信接続手段とは、様々な種類の通信媒体のうちの一例にすぎない。通信媒体のうちには、例えばインストラクション、データ構造体、それにプログラムモジュールなどをはじめとする様々なコンピュータ可読データを、例えば搬送波上の変調されたデータ信号の形にしたものも含まれ、また、その他の様々な情報配布媒体も含まれる。尚、ここでいう「変調されたデータ信号」とは、信号の何らかの特性を設定または変更することで当該信号に含まれる情報をエンコードしたものである。通信媒体としては、例えば、有線ネットワークや直結有線接続などの有線通信媒体もあれば、音響、電波、赤外線などを用いた無線通信媒体もあり、またそれらのみに限定されない。また、本明細書でいうところの「コンピュータ可読媒体」は通信媒体をも含むものである。

【0081】

以上、添付図面に示した数々の実施例について具体的に説明したが、本明細書に記載の技法の範囲はそれら実施例に限定されるものではない。本明細書において説明した特徴に対して改変ないし変更を加えた実施例も、また、本明細書に記載した実施例以外の応用例も、本明細書の開示の範囲内のものであると考えられる。

【0082】

更に、以上に説明した数々の特徴、構造、ないし特性は、それらを様々に組み合わせた様々な実施形態で利用し得るものである。以上の説明では、数多くの具体的な構成を提示して、例えば様々な構成形態の実施例などについて説明したが、そのようにしたのは、本明細書に記載の技法をいかに実施するかについて十全の理解を得るためである。しかしながら、容易に理解されるように、本発明に係る技法は、以上に説明した数々の具体的な構造のうちの１つまたは幾つかを備えない形態で実施することも可能であり、また、以上に示したものとは異なる方法、異なる構成要素、異なるデバイスを用いて実施することも可能である。尚、当業界において周知の構造ないし動作については図示せず詳述することも差し控えたが、そのようにしたのは、そのような構造ないし動作を図示して詳述することで、本発明の技法の独自の局面がかえって見えにくくなってしまう事態を回避するためである。

【0083】

以上に本発明の主題を、その構造上の特徴及び／又は動作を具体的に述べることで説明したが、特許請求の範囲に記載した本発明の主題は、以上に説明した具体的な特徴及び動作に必ずしも限定されない。即ち、以上に記載した具体的な特徴及び動作は特許請求の範囲に記載した主題を実施するための具体的な形態を例示したに過ぎない。以上に記載した形態に対しては様々な変更ないし代替を適用することが可能であり、そのようにしたものも本発明の技法の概念及び範囲から逸脱するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】