特許7378404非スペクトルイメージングシステムを用いたスペクトルイメージング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-02
(45)【発行日】2023-11-13
(54)【発明の名称】非スペクトルイメージングシステムを用いたスペクトルイメージング
(51)【国際特許分類】
A61B 6/03 20060101AFI20231106BHJP
G06T 7/00 20170101ALI20231106BHJP
【ＦＩ】
A61B6/03 373
A61B6/03 360T
G06T7/00 350C
G06T7/00 614
【請求項の数】
20
(21)【出願番号】P 2020538976
(86)(22)【出願日】2019-01-07
(65)【公表番号】
(43)【公表日】2021-04-30
(86)【国際出願番号】 EP2019050197
(87)【国際公開番号】W WO2019141527
(87)【国際公開日】2019-07-25
【審査請求日】2022-01-06
(31)【優先権主張番号】62/617,774
(32)【優先日】2018-01-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ゴシェン リラン
(72)【発明者】
【氏名】フレイマン モルデカイ ピンカス
【審査官】亀澤 智博
(56)【参考文献】
【文献】特表２０１７－５２５４０２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０３７１３７８（ＵＳ，Ａ１）
【文献】特開２００６－３２０４６４（ＪＰ，Ａ）
【文献】特表２０１４－５２２６９３（ＪＰ，Ａ）
【文献】特開２０１４－０００４０９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１１３６０３（ＵＳ，Ａ１）
【文献】国際公開第２０１６／１５８２３４（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０４７５１４２９（ＣＮ，Ａ）
【文献】LI, Sui et al.，Pseudo Dual Energy CT Imaging using Deep Learning Based Framework: Initial Study，arXiv，1711.07118v1 [physics.med-ph]，2017年11月20日，<URL:https://arxiv.org/abs/1711.07118>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ６／００ － ６／１４
Ｇ０６Ｔ １／００ ， ７／００
(57)【特許請求の範囲】
【請求項1】
Ｘ線放射線を放出する放射源と、Ｘ線放射線を検出し、それを示す信号を生成する検出器アレイと、
前記信号を再構成し、非スペクトル画像データを生成する再構成器と、
深層学習回帰アルゴリズムを使用して前記非スペクトル画像データからスペクトル画像を推定するプロセッサと
を備える、非スペクトルイメージングシステム。
【請求項2】
前記プロセッサが、前記信号を取得するために採用される取得パラメータと前記信号を再構成するために採用される再構成パラメータとからなるグループからのパラメータのセットに沿って前記非スペクトル画像データを処理し、前記スペクトル画像を推定するための非スペクトル画像を生成する、請求項１に記載の非スペクトルイメージングシステム。
【請求項3】
前記プロセッサが、スライディングウィンドウ深層学習回帰アルゴリズムを採用する、請求項１又は２に記載の非スペクトルイメージングシステム。
【請求項4】
前記プロセッサが、完全畳み込み回帰ネットワーク深層学習回帰アルゴリズムを採用する、請求項１又は２に記載の非スペクトルイメージングシステム。
【請求項5】
前記プロセッサが、最初に、前記非スペクトル画像データからスペクトル基底成分を推定し、次いで、前記スペクトル基底成分から前記スペクトル画像を推定する、請求項１から４のいずれか一項に記載の非スペクトルイメージングシステム。
【請求項6】
前記プロセッサが、前記非スペクトル画像データから直接、前記スペクトル画像を推定する、請求項１から４のいずれか一項に記載の非スペクトルイメージングシステム。
【請求項7】
前記スペクトル基底成分が、光電効果成分とコンプトン散乱成分とを含み、前記スペクトル画像が、エネルギーバンド画像と、仮想単色画像と、造影剤定量画像と、仮想非造影画像と、物質キャンセル画像と、有効原子番号画像と、電子密度画像とからなるグループからの少なくとも１つのスペクトル画像を含む、請求項５に記載の非スペクトルイメージングシステム。
【請求項8】
前記プロセッサが、敵対的トレーナーを、非スペクトルイメージングシステムからの非スペクトル画像からの推定されたスペクトル画像でトレーニングし、スペクトルイメージングシステムからの生成されたスペクトル画像でトレーニングして、前記推定されたスペクトル画像と前記生成されたスペクトル画像とを区別する、請求項７に記載の非スペクトルイメージングシステム。
【請求項9】
前記プロセッサが、前記深層学習回帰アルゴリズムを、トレーニングされた前記敵対的トレーナー及び差決定器を使用して非スペクトル入力データでトレーニングし、前記非スペクトル入力データが、非スペクトルイメージングシステムによって生成された非スペクトル画像と、スペクトルイメージングシステムによって生成された非スペクトル画像とを含む、請求項８に記載の非スペクトルイメージングシステム。
【請求項10】
前記プロセッサが、前記深層学習回帰アルゴリズムを、トレーニングされた前記敵対的トレーナーを使用して前記非スペクトルイメージングシステムによって生成された前記非スペクトル画像から生成された推定されたスペクトル画像でトレーニングし、前記スペクトルイメージングシステムによって生成されたスペクトル画像から作り出された前記非スペクトル画像から生成された推定されたスペクトル画像で、前記推定されたスペクトル画像と前記スペクトルイメージングシステムによって生成された前記スペクトル画像との間の誤差に基づいて、トレーニングする、請求項９に記載の非スペクトルイメージングシステム。
【請求項11】
Ｘ線放射線を放出する放射源と、Ｘ線放射線を検出し、それを示す信号を生成する検出器アレイと、
前記信号を再構成し、非スペクトル画像データを生成する再構成器と、
ハイブリッドトレーニングアルゴリズムを使用して前記非スペクトル画像データからスペクトル画像を推定するように深層学習回帰アルゴリズムをトレーニングするプロセッサと
を備える、非スペクトルイメージングシステム。
【請求項12】
前記プロセッサが、敵対的トレーナーを、非スペクトルイメージングシステムからの非スペクトル画像を生成するために使用される取得及び再構成パラメータに沿って、前記非スペクトル画像からの推定されたスペクトル画像でトレーニングし、スペクトルイメージングシステムからのスペクトル画像を生成するために使用される取得及び再構成パラメータに沿って、生成された前記スペクトル画像でトレーニングして、前記推定されたスペクトル画像と前記生成された前記スペクトル画像とを区別する、請求項１１に記載の非スペクトルイメージングシステム。
【請求項13】
前記プロセッサが、前記深層学習回帰アルゴリズムを、トレーニングされた前記敵対的トレーナー及び差決定器を使用して非スペクトル入力データでトレーニングし、前記非スペクトル入力データが、非スペクトルイメージングシステムによって生成された非スペクトル画像と、スペクトルイメージングシステムによって生成された非スペクトル画像とを含む、請求項１２に記載の非スペクトルイメージングシステム。
【請求項14】
前記プロセッサが、前記深層学習回帰アルゴリズムを、トレーニングされた前記敵対的トレーナーを使用して前記非スペクトルイメージングシステムによって生成された前記非スペクトル画像から生成された推定されたスペクトル画像でトレーニングし、前記スペクトルイメージングシステムによって生成されたスペクトル画像から作り出された前記非スペクトル画像から生成された推定されたスペクトル画像で、前記推定されたスペクトル画像と前記スペクトルイメージングシステムによって生成された前記スペクトル画像との間の誤差に基づいて、トレーニングする、請求項１３に記載の非スペクトルイメージングシステム。
【請求項15】
前記プロセッサが、スライディングウィンドウ深層学習回帰アルゴリズムを採用する、請求項１１から１４のいずれか一項に記載の非スペクトルイメージングシステム。
【請求項16】
前記プロセッサが、完全畳み込み回帰ネットワーク深層学習回帰アルゴリズムを採用する、請求項１１から１４のいずれか一項に記載の非スペクトルイメージングシステム。
【請求項17】
前記プロセッサが、最初に、スペクトル基底成分を推定し、次いで、前記スペクトル基底成分からスペクトル画像を推定する、請求項１１から１６のいずれか一項に記載の非スペクトルイメージングシステム。
【請求項18】
前記プロセッサが、前記非スペクトル画像データからスペクトル画像を直接推定する、請求項１１から１６のいずれか一項に記載の非スペクトルイメージングシステム。
【請求項19】
コンピューティングシステムのプロセッサによって実行されたとき、前記プロセッサに、放射源でＸ線放射線を放出することと、
放出されたＸ線放射線を検出器アレイで検出し、それを示す信号を生成することと、
前記信号を再構成し、非スペクトル画像データを生成することと、
トレーニングされた深層学習回帰アルゴリズムを使用して前記非スペクトル画像データからスペクトル画像を推定することと
を行わせる、コンピュータ可読命令で符号化された、コンピュータ可読記憶媒体。
【請求項20】
前記コンピュータ可読命令を実行することが、さらに、前記プロセッサに、深層スペクトルハイブリッドトレーニングプロシージャを使用して前記深層学習回帰アルゴリズムをトレーニングさせる、請求項１９に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
以下は、一般に、イメージングに関し、より詳細には、非スペクトルイメージングシステムによって作り出された非スペクトル画像からスペクトル画像を推定することに関し、コンピュータ断層撮影（ＣＴ）に対する特定の適用例で説明されるが、他の非スペクトルイメージングシステムにも適用できる。
【背景技術】
【0002】
旧来のコンピュータ断層撮影（ＣＴ）スキャナは、概して、検出器ピクセルの１つ又は複数の列を含む検出器アレイの反対側の、回転可能なガントリ上に取り付けられたＸ線管を備える。Ｘ線管は、Ｘ線管と検出器アレイとの間に位置する検査領域の周りを回転し、検査領域及びその中に載置された物体又は対象者を横断する多色放射を放出する。検出器アレイは、検査領域を横断する放射を検出し、検査領域及びその中に載置された物体又は対象者を示す投影データを生成する。
【0003】
再構成器が、投影データを処理し、検査領域及びその中に載置された物体又は対象者を示すボリュメトリック画像データを生成する。ボリュメトリック画像データは、物体又は対象者のスキャンされた部分を含む１つ又は複数の画像を生成するために処理され得る。得られた（１つ又は複数の）画像は、相対放射線濃度に対応するグレースケール値として一般に表されるピクセルを含む。そのような情報は、スキャンされた対象者及び／又は物体の減衰特性を反映し、概して、患者内の解剖学的構造、無生物内の物理的構造などの構造を示す。
【0004】
対象者及び／又は物体による放射の吸収が、その対象者及び／又は物体を通過する光子のエネルギーに依存するので、検出された放射はスペクトル情報をも含む。そのようなスペクトル情報は、対象者及び／又は物体の、組織及び／又は物質の、元素又は物質組成を示す情報（例えば、原子番号）など、追加情報を与えることができる。しかしながら、そのようなスキャナでは、検出器アレイによって出力される信号は、エネルギースペクトルにわたって積分されたエネルギーフルエンスに比例するので、投影データはスペクトル特性を反映しない。本明細書で利用される、この構成のスキャナは、本明細書では非スペクトルスキャナと呼ばれる。
【0005】
スペクトルイメージングのために構成されたコンピュータ断層撮影スキャナ（スペクトルスキャナ）が、このスペクトル情報を活用して、元素又は物質組成を示すさらなる情報を与える。１つの手法は、各々、異なるエネルギースペクトルを有するＸ線ビームを放出する、複数のＸ線管を使用することを含む。別の手法は、複数のエネルギーにおける測定がとられるように、管にわたる電圧が、異なる電圧間で切り替えられる、高速ｋＶｐ切替えを含む。別の手法は、より低いエネルギーのＸ線を検出する最上層と、より高いエネルギーのＸ線を検出する最下層とをもつ、多層間接変換検出器を含む。別の手法は、そのエネルギーが複数のエネルギー範囲において光子をビニングする、直接変換光子検出器を使用する。
【0006】
デュアルエネルギースキャナは、光電効果及びコンプトン散乱基底成分を求めるために、２つの光子エネルギーにおいてコンカレントに取得された２つの減衰値を利用する特定の構成である。２つの基底関数の任意の２つの線形独立の和が、減衰係数空間全体にわたるので、任意の物質は、２つの基底物質の線形結合によって表され得る。基底物質成分は、例えば、エネルギーバンドについての画像、仮想単色画像、造影剤定量マップ、仮想非造影画像、物質キャンセル画像、有効原子番号画像、電子密度画像、及び／又は他のスペクトル画像など、非スペクトル画像及び／又はスペクトル画像を作り出すために使用され得る。
【発明の概要】
【発明が解決しようとする課題】
【0007】
残念ながら、そのようなシステムの特殊な取得ハードウェア、すなわち、複数のＸ線管、ｋＶｐ切替えハードウェア及び回路、並びに／又はスペクトル検出器（間接変換多層又は直接変換）は、費用がかかることがあり、全体的スキャナコストを増加させる。さらに、スペクトルイメージングのために構成されたスキャナは、概して、非スペクトルスキャナの既存の取得プロトコル、再構成設定、並びに／又はデータフロー及びストレージ構成を利用することができず、したがって、取得プロトコル、再構成設定、並びに／又はデータフロー及びストレージ構成を適応させることを必要とする。結果として、画像品質が劣化し（例えば、時間分解能が低減される）、非スペクトル画像を作り出す能力が失われ、及び／又はデータ記憶容量が著しく増加されなければならない。
【0008】
本明細書で説明される態様は、上記の問題などに対処する。
【課題を解決するための手段】
【0009】
一態様では、イメージングシステムが、Ｘ線放射線を放出するように構成された放射源と、Ｘ線放射線を検出し、それを示す信号を生成するように構成された検出器アレイと、信号を再構成し、非スペクトル画像データを生成するように構成された再構成器とを備える。イメージングシステムは、スペクトル基底成分とスペクトル画像とからなるグループからのスペクトルデータを推定するために、深層学習回帰アルゴリズムを使用して非スペクトル画像データを処理するように構成されたプロセッサをさらに備える。
【0010】
一態様では、イメージングシステムは、Ｘ線放射線を放出するように構成された放射源と、Ｘ線放射線を検出し、それを示す信号を生成するように構成された検出器アレイと、信号を再構成し、非スペクトル画像データを生成するように構成された再構成器とを備える。イメージングシステムは、ハイブリッドトレーニングアルゴリズムを使用して非スペクトル画像データからスペクトルデータを推定するように深層学習回帰アルゴリズムをトレーニングするように構成されたプロセッサをさらに備える。
【0011】
別の態様では、コンピュータ可読記憶媒体が、コンピューティングシステムのコンピュータプロセッサによって実行されたとき、コンピュータプロセッサに、放射源でＸ線放射線を放出することと、放出されたＸ線放射線を検出器アレイで検出し、それを示す信号を生成することと、信号を再構成し、非スペクトル画像データを生成することと、スペクトル基底成分とスペクトル画像とからなるグループからのスペクトルデータを推定するために、深層学習回帰アルゴリズムを使用して非スペクトル画像データを処理することとを行わせる、コンピュータ可読命令で符号化される。
【0012】
当業者は、付属の説明を読み、理解すると、本出願のさらに他の態様を認識されよう。
【0013】
本発明は、様々な構成要素及び構成要素の配列での形態、並びに様々なステップ及びステップの配列での形態をとる。図面は、好ましい実施形態を示すためのものにすぎず、本発明を限定するものと解釈されるべきではない。
【図面の簡単な説明】
【0014】
【図1】スペクトル結果モジュールを備える例示的なシステムを概略的に示す図である。
【図2】ノイズ除去器とスペクトル基底推定器とスペクトル画像推定器とをもつスペクトル結果モジュールの一例を概略的に示す図である。
【図3】ノイズ除去器とスペクトル画像推定器とをもつスペクトル結果モジュールの一例を概略的に示す図である。
【図4】スペクトル基底推定器とスペクトル画像推定器とをもつスペクトル結果モジュールの一例を概略的に示す図である。
【図5】スペクトル画像推定器をもつスペクトル結果モジュールの一例を概略的に示す図である。
【図6】スペクトル基底推定器及び／又はスペクトル画像推定器の一例を概略的に示す図である。
【図7】スペクトル基底推定器及び／又はスペクトル画像推定器の別の例を概略的に示す図である。
【図8】敵対的トレーナーのトレーニングを概略的に示す図である。
【図9】敵対的トレーナーのためのさらなるトレーニングを概略的に示す図である。
【図10】トレーニングされた敵対的トレーナーと誤差決定器とを含むハイブリッド手法による、スペクトル基底推定器及び／又はスペクトル画像推定器のトレーニングを概略的に示す図である。
【図11】本明細書の一実施形態による、例示的な方法を示す図である。
【図12】本明細書の一実施形態による、別の例示的な方法を示す図である。
【発明を実施するための形態】
【0015】
図１は、非スペクトルＣＴスキャナ（すなわち、スペクトルイメージングのために構成されていないＣＴスキャナ）など、イメージングシステム１０４を備える、システム１０２を概略的に示す。イメージングシステム１０４は、概して、静止ガントリ１０６と回転ガントリ１０８とを備え、回転ガントリ１０８は、静止ガントリ１０６によって回転可能に支持され、ｚ軸を中心として検査領域１１０の周りを回転する。Ｘ線管などの放射源１１２が、回転ガントリ１０８によって回転可能に支持され、回転ガントリ１０８とともに回転し、検査領域１１０を横断する放射を放出する。
【0016】
放射感応検出器アレイ１１４が、検査領域１１０を横切って放射源１１２の反対側にある角度円弧（ａｎｇｕｌａｒ ａｒｃ）に対する。示されている放射感応検出器アレイ１１４は、層間接変換検出器要素（例えば、シンチレータ／フォトセンサー）の１つ又は複数の列を備える。アレイ１１４は、検査領域１１０を横断する放射を検出し、それを示す投影データ（線積分）を生成する。再構成器１１６が、投影データを再構成し、検査領域１１０を示す非スペクトルボリュメトリック画像データを生成する。カウチなどの対象者支持体１２０が、検査領域１１０にある物体又は対象者を支持する。
【0017】
オペレータコンソール１１８が、ディスプレイモニタ１２１などの人間が読み取れる出力デバイスと、キーボード、マウスなどの入力デバイス１２２とをもつコンピュータを備える。コンソール１１８は、プロセッサ１２４（例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサなど）と、物理メモリ、メモリデバイス、及び／又は他の非一時的記憶媒体など、（一時的媒体を除く）コンピュータ可読記憶媒体１２６とをさらに備える。プロセッサ１２４は、制御命令１２８を実行するように構成され、これは、オペレータが、取得、再構成などのプロトコルを選択する、取得、再構成などのパラメータを設定する、スキャンを開始する、動作モードを選択するなど、動作を制御することを可能にする。
【0018】
１つ又は複数のプロセッサ１２４はまた、スペクトル結果モジュール１３０とトレーニングモジュール１３２との命令を実行するように構成される。スペクトル結果モジュール１３０は、取得及び再構成パラメータに沿って非スペクトルボリュメトリック画像データを処理し、基底成分（例えば、光電電気及びコンプトン散乱など）及び／又はスペクトル画像（例えば、仮想単色、ヨウ素マップなど）など、スペクトルデータを推定するように構成される。以下でより詳細に説明されるように、一事例では、スペクトルデータを推定することは、トレーニングモジュール１３２でトレーニングされた深層学習回帰アルゴリズムを採用することを含む。トレーニングモジュール１３２はトレーニングモードで実行され、スペクトル結果モジュール１３０は動作モードで動作される。
【0019】
本明細書で説明される構成では、非スペクトルイメージングシステム１０２が、非スペクトルボリュメトリック画像データを再構成し、そこからスペクトルデータを推定する。したがって、非スペクトルイメージングシステム１０２は、スペクトルボリュメトリック画像データを作り出すための、特殊な取得ハードウェア（例えば、複数のＸ線管、ｋＶｐ切替えハードウェア及び回路、並びに／又はスペクトル検出器）を必要としない。これは、そのような専用ハードウェアに関連する全体的システムコストの増加を軽減する。さらに、非スペクトルイメージングシステム１０２は、非スペクトルスキャナの取得及び／又は再構成プロトコル、並びに／或いはデータフロー及びストレージ構成を利用することができ、これは、画像品質の劣化を軽減し、及び／又はそれらの適応を必要とする構成に対するデータ記憶容量の増加を軽減する。
【0020】
図２は、スペクトル結果モジュール１３０の一例を概略的に示す。
【0021】
この例では、スペクトル結果モジュール１３０は、入力として、非スペクトル画像、取得プロトコルパラメータ、及び再構成プロトコルパラメータを受け取る。取得プロトコルパラメータの例は、スキャンタイプ、身体部位、ｍＡ（ミリアンペア単位のＸ線管電流）、ｍＡｓ（ｍＡと秒単位の露出時間との積としてのＸ線強度）、ｋＶｐ（Ｘ線管ピークキロ電圧）、回転源１０８の回転時間、Ｘ線ビームのコリメーション、ピッチ又は対象者支持体１２０の回転当たりの速度、及び／或いは他の（１つ又は複数の）取得プロトコルパラメータを含む。再構成プロトコルパラメータの例は、再構成フィルタ、再構成アルゴリズム、スライス厚さ、スライス増分、マトリックスサイズ、視野、及び／又は他の（１つ又は複数の）再構成プロトコルパラメータを含む。スペクトル結果モジュール１３０は、スペクトルデータ（すなわち、スペクトル基底成分及び／又はスペクトル画像）を出力する。
【0022】
ノイズ除去器２０２が、ノイズ除去アルゴリズムを使用して、入力された非スペクトル画像からノイズを除去する。例示的なアルゴリズムは、その全体が参照により本明細書に組み込まれる、２０１０年１０月２９日に出願された、「Ｅｎｈａｎｃｅｄ Ｉｍａｇｅ Ｄａｔａ／Ｄｏｓｅ Ｒｅｄｕｃｔｉｏｎ」と題する米国特許出願公開第２０１２／０２２４７６０（Ａ１）号に記載されている。一事例では、これは、入力画像のコントラスト対ノイズ比（ＣＮＲ）を改善する。追加又は代替として、これは、システム１０２の性能を改善することができる。スペクトル基底推定器２０４が、ノイズ除去された非スペクトル画像を処理し、入力された取得及び再構成プロトコルパラメータに基づいて、スペクトル基底成分を推定する。この例では、スペクトル基底推定器２０４は、光電効果及びコンプトン散乱基底成分を推定する。
【0023】
スペクトル画像推定器２０６が、推定された基底成分を処理し、スペクトル画像を予測する。例示的なアルゴリズムは、その全体が参照により本明細書に組み込まれる、米国特許出願公開第２０１４／０１３３７２９（Ａ１）号、「Ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｓｐｅｃｔｒａｌ ＣＴ」に記載されている。他の好適なアルゴリズムは、Ｇｏｓｈｅｎら、「Ａｎ ｉｏｄｉｎｅ－ｃａｌｃｉｕｍ ｓｅｐａｒａｔｉｏｎ ａｎａｌｙｓｉｓ ａｎｄ ｖｉｒｔｕａｌｌｙ ｎｏｎ－ｃｏｎｔｒａｓｔｅｄ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｏｂｔａｉｎｅｄ ｗｉｔｈ ｓｉｎｇｌｅ ｓｏｕｒｃｅ ｄｕａｌ ｅｎｅｒｇｙ ＭＤＣＴ」、ＩＥＥＥ Ｎｕｃｌ Ｓｃｉ Ｓｙｍｐ Ｃｏｎｆ Ｒｅｃ（２００８年１０月）、３８６８～３８７０ページ、Ｈｅｉｓｍａｎｎら、「Ｄｅｎｓｉｔｙ ａｎｄ ａｔｏｍｉｃ ｎｕｍｂｅｒ ｍｅａｓｕｒｅｍｅｎｔｓ ｗｉｔｈ ｓｐｅｃｔｒａｌ ｘ－ｒａｙ ａｔｔｅｎｕａｔｉｏｎ ｍｅｔｈｏｄ」、Ｊｏｕｒｎａｌ ｏｆ ａｐｐｌｉｅｄ ｐｈｙｓｉｃｓ ９４．３（２００３）、２０７３～２０７９、及び、Ｊｏｓｈｉら、「Ｅｆｆｅｃｔｉｖｅ ａｔｏｍｉｃ ｎｕｍｂｅｒ ａｃｃｕｒａｃｙ ｆｏｒ ｋｉｄｎｅｙ ｓｔｏｎｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｕｓｉｎｇ ｓｐｅｃｔｒａｌ ＣＴ」、Ｐｒｏｃ ＳＰＩＥ． Ｖｏｌ．７６２２、２０１０を含む。
【0024】
図３は、スペクトル基底推定器２０４が省略された、図２のスペクトル結果モジュール１３０の変形形態を概略的に示す。この構成では、スペクトル画像推定器２０６は、ノイズ除去された非スペクトル画像から直接、スペクトル基底成分及び／又はスペクトル画像を推定する。スペクトル結果モジュール１３０は、スペクトルデータ（すなわち、スペクトル基底成分及び／又はスペクトル画像）を出力する。
【0025】
図４は、ノイズ除去器２０２が省略された、図２のスペクトル結果モジュール１３０の別の変形形態を概略的に示す。この構成では、スペクトル基底推定器２０４は、入力された非スペクトル画像から直接（すなわち、ノイズ除去なし）、基底成分を推定し、スペクトル画像推定器２０６は、そこからスペクトルデータを作り出す。スペクトル結果モジュール１３０は、スペクトルデータ（すなわち、スペクトル基底成分及び／又はスペクトル画像）を出力する。
【0026】
図５は、ノイズ除去器２０２及びスペクトル基底推定器２０４が省略された、図２のスペクトル結果モジュール１３０の別の変形形態を概略的に示す。この構成では、スペクトル画像推定器２０６は、入力された非スペクトル画像から直接（すなわち、ノイズ除去なし）、スペクトル基底成分及び／又はスペクトル画像を推定する。スペクトル結果モジュール１３０は、スペクトルデータ（すなわち、スペクトル基底成分及び／又はスペクトル画像）を出力する。
【0027】
図６及び図７は、深層学習アルゴリズムの例を概略的に示す。これらの例では、深層学習アルゴリズムは、畳み込みニューラルネットワークなどのフィードフォワード人工ニューラルネットワーク及び／又は視覚像を分析する他のニューラルネットワークを含む。別の例では、スペクトルデータ推定器２０４は、別のアルゴリズムを採用する。
【0028】
最初に図６を参照すると、ボクセルごとにスペクトル画像を推定する、スライディングウィンドウアルゴリズムが利用されている。
【0029】
アルゴリズムは、入力として、ボクセルのパッチを受け取り、これは、スペクトルデータ中の推定されるべきロケーション（ｘ，ｙ，ｚ）における非スペクトル画像のボクセル値と、そのボクセル値の周りの局所ボリューム（例えば、３×３×３、５×５×５、７×７×７など）のボクセル値とを含む。アルゴリズムは、畳み込み層／正規化線形ユニットのＮ個（ここで、Ｎは１に等しいか又はそれよりも大きい整数である）のペアを含み、畳み込み層／正規化線形ユニットのＮ個のペアは、畳み込み層６０４１と正規化線形ユニット６０６１とをもつ第１のペア６０２１、．．．、畳み込み層６０４ｉと正規化線形ユニット６０６ｉとをもつ第ｉのペア６０２ｉ、．．．、及び畳み込み層６０４Ｎと正規化線形ユニット６０６Ｎとをもつ第Ｎのペア６０２Ｎを含む。
【0030】
（本明細書では、まとめて、畳み込み層６０４とも呼ばれる）畳み込み層６０４１、．．．、６０４ｉ、．．．、６０４Ｎの各々は、畳み込み演算を入力に適用する畳み込みニューロンを含む。一事例では、これは、入力ボリュームの幅及び高さにわたってカーネルのセットを畳み込み、フィルタのエントリと入力ボリュームとの間のドット積を算出することを含む。（本明細書では、まとめて、正規化線形ユニット６０６とも呼ばれる）正規化線形ユニット６０６１、．．．、６０６ｉ、．．．、６０６Ｎの各々は、非線形活性化関数をその入力に適用し、これは、全体的ネットワークの非線形特性を増加させる。好適な関数の例は、限定はしないが、ｍａｘ（０，ｘ）と、ｔａｎｈ（ｘ）と、（１＋ｅ－ｘ）－１とを含む。
【0031】
アルゴリズムは、全結合層６０８と、全結合層／正規化線形ユニットのＭ個（ここで、Ｍは０に等しいか又はそれよりも大きい整数である）のペアとをさらに含み、全結合層／正規化線形ユニットのＭ個のペアは、全結合層６１２１と正規化線形ユニット６１４１とをもつ第１のペア６１０１、．．．、及び全結合層６１２Ｍと正規化線形ユニット６１４Ｍとをもつ第Ｍのペア６１２Ｍを含む。畳み込み層／正規化線形ユニットの最後のペア（示されている例ではペア６０２１）の後の全結合層（示されている例では層６１２Ｍ）は、入力として、その最後のペアの正規化線形ユニット６０６１の出力を、それに追加された取得及び再構成パラメータとともに受け取る。
【0032】
（本明細書では、まとめて、全結合層６１２とも呼ばれる）全結合層６１２１、．．．、及び６１２Ｍの各々は、パターンを識別するために、画像にわたって前の層によって学習された特徴のすべてを組み合わせる。（本明細書では、まとめて、畳み込み層６１４とも呼ばれる）正規化線形ユニット６１４１、．．．、及び６１４Ｍの各々は、正規化線形ユニット６０６と同様に構成され、非線形活性化関数をその入力に適用する。最終全結合層（全結合層６０８）は、推定されるスペクトル基底成分及び／又はスペクトル画像中のロケーション（ｘ，ｙ，ｚ）におけるスペクトルボクセル値を推定するために、すべての学習された特徴を組み合わせる。
【0033】
図７を参照すると、画像全体を含む、ボクセルのグループをコンカレントに推定する、完全畳み込み回帰ネットワークアルゴリズムが利用されている。
【0034】
アルゴリズムは、少なくとも２つの畳み込み層７０２（ｃｏｎｖ－ｌとも呼ばれる）と、少なくとも１つの全結合層７０４と、少なくとも１つの正規化線形ユニット７０６（ｒｅｌｕとも呼ばれる）とを含む。畳み込み層、全結合層、及び／又は正規化線形ユニットは、図６の実施形態に関して説明されたものと同じ機能を実施するように構成され、したがって、ここでは再び説明されない。アルゴリズムは、少なくとも１つのプーリング層（ＰＬ）７０８と、少なくとも１つのアップサンプリング層（ｕｐｓ－ｌ）７１０とをさらに含む。
【0035】
少なくとも１つのプーリング層７０８は、その入力を、例えば、非線形ダウンサンプリングアルゴリズムを使用して、ダウンサンプリングする。示されている例では、少なくとも１つのプーリング層７０８は、最大プーリング関数を採用し、最大プーリング関数は、重複しない矩形のセットに入力を区分し、そのような各下位領域について、最大値を出力し、入力の空間サイズを低減する。他の好適なアルゴリズムは、平均プーリング又はＬ２ノルムプーリングを含む。少なくとも１つのアップサンプリング層７１０は、その入力を、例えば、入力の元のサイズ又は他の所定のサイズに、アップサンプリングする。
【0036】
スライディングウィンドウ及び／又は完全畳み込み回帰ネットワークの例は、Ｇｏｕｋら、「Ｆａｓｔ Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、ＩＶＮＶＺ‘１４ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｎｅｗ Ｚｅａｌａｎｄ、１１４～１１８ページ、２０１４年１１月１９～２１日、「Ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２０１５、及び、Ｒｏｎｎｅｂｅｒｇｅｒら、「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）、Ｓｐｒｉｎｇｅｒ、ＬＮＣＳ、Ｖｏｌ．９３５１、２３４～２４１、２０１５にさらに記載されている。
【0037】
【0038】
最初に図８を参照すると、敵対的トレーナー８０２が、初期ネットワークパラメータのセットを使用してトレーニングされる。入力は、スペクトルイメージングシステムからの生成されたスペクトル画像を、それらが、スペクトルイメージングシステムによる生成されたスペクトル画像であるという分類とともに含み、非スペクトルイメージングシステムからの推定されたスペクトル画像を、それらが、非スペクトルイメージングシステムによって生成された非スペクトル画像からの推定されたスペクトル画像であるという分類とともに含む。敵対的トレーナー８０２は、スペクトルイメージングシステムによって生成された、生成されたスペクトル画像と、非スペクトルイメージングシステムによって生成された非スペクトル画像から推定された、推定されたスペクトル画像とを区別するようにトレーニングされる。一事例では、敵対的トレーナー８０２は、完全畳み込み分類ニューラルネットワークとしてトレーニングされる。
【0039】
次に図９において、敵対的トレーナー８０２はさらにトレーニングされる。入力は、スペクトルイメージングシステムからの生成されたスペクトル画像のセットと、非スペクトルイメージングシステムによって生成された非スペクトル画像から推定された、推定されたスペクトル画像のセットとを含む。この場合、入力データセットの分類が知られており、知られている分類及び敵対的トレーナー８０２の分類結果が、敵対的パラメータ更新器９０２に与えられ、敵対的パラメータ更新器９０２は、敵対的トレーナー８０２の分類結果を改善するためにネットワークを更新する。敵対的トレーナー８０２は、停止基準が満たされるまでトレーニングされる。停止基準の例は、正しい分類の割合、持続時間、更新反復の数、及び／又は他の停止基準を含む。敵対的ネットワークは、Ｇｏｏｄｆｅｌｌｏｗら、「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ」、Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ、２６７２～２６８０、２０１４年６月１０日で説明されている。
【0040】
次に図１０において、スペクトル結果モジュール１３０の深層学習アルゴリズムが、トレーニングされた敵対的トレーナー８０２と、初期ネットワークパラメータのセットとを使用してトレーニングされる。入力は、非スペクトルイメージングシステムからの非スペクトル画像のセットを、非スペクトル画像を作り出すために使用される取得及び再構成パラメータとともに含み、スペクトル画像を組み合わせることによって作り出されたスペクトルイメージングシステムからの非スペクトル画像のセットを、スペクトル画像を作り出すために使用される取得及び再構成パラメータ並びにスペクトル画像とともに含む。スペクトル結果モジュール１３０は、入力データセットから、そのネットワークパラメータを使用して、スペクトル画像を推定する。
【0041】
非スペクトルスキャナからの非スペクトル入力画像の場合、推定されたスペクトル画像は、トレーニングされた敵対的トレーナー８０２に与えられ、トレーニングされた敵対的トレーナー８０２は、推定されたスペクトル画像を、非スペクトル画像からの推定されたスペクトル画像、又はスペクトルイメージングシステムからの生成されたスペクトル画像のいずれかとして分類する。概して、トレーニングされた敵対的トレーナー８０２は、参照グランドトゥルーススペクトル画像データセットなしに入力を分類する。スペクトルスキャナからの非スペクトル入力画像の場合、推定されたスペクトル画像及び生成されたスペクトル画像は、誤差決定器１００２に与えられ、誤差決定器１００２は、推定されたスペクトル画像と生成されたスペクトル画像との間の差又は誤差を算出する。一事例では、差又は誤差は、２乗平均誤差（ＲＭＳＥ）として算出される。
【0042】
スペクトル結果モジュールパラメータ更新器１００４が、トレーニングされた敵対的トレーナー８０２からの分類結果と、誤差決定器１００２から決定された誤差とを受け取る。スペクトル結果モジュールパラメータ更新器１００４は、分類結果及び誤差に基づいて、スペクトル結果モジュール１３０のネットワークパラメータを調整する。一事例では、これは、少なくとも２つの項、すなわち、誤差のための１つの項及び分類のための別の項を含む、損失関数を最適化することを含む。損失関数は、推定されたスペクトル画像と生成されたスペクトル画像との間の誤差を減少させ（例えば、ＲＭＳＥを下げる）、推定された画像を、推定された画像が生成されたスペクトル画像と区別不可能であるので、生成されたスペクトル画像として分類する数を増加させるように最適化される。
【0043】
一事例では、図８～図１０で説明されるトレーニングは、１）スペクトルイメージングシステムによって生成された、生成されたスペクトル画像を組み合わせることによって作り出された、非スペクトル画像から推定された、推定されたスペクトル画像と、生成されたスペクトル画像とからなるグランドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）データセットと、２）非スペクトルイメージングシステムによって作り出された非スペクトル画像から推定された、推定されたスペクトル画像を含む、グランドトゥルーススペクトル画像なしのデータセットの両方を含む、深層回帰ニューラルネットワークハイブリッドトレーニングである。
【0044】
非スペクトルイメージングシステムからの非スペクトル画像からのスペクトル画像を予測するために、グランドトゥルースデータセットのみに関して深層回帰ニューラルネットワークをトレーニングすることは、例えば、非スペクトルイメージングシステムとスペクトルイメージングシステムとの間の画像再構成パイプラインの変動により、準最適な予測されたスペクトル画像を生じる。本明細書で説明される手法は、グランドトゥルーススペクトル画像なしのデータセットをも損失関数中に含めることによって、これを緩和する。
【0045】
図１１は、本明細書の一実施形態による、例示的な方法を示す。
【0046】
１１０２において、本明細書及び／又はその他で説明されるように、敵対的トレーナー８０２が、推定されたスペクトル画像と生成されたスペクトル画像とを区別するために、それらの画像でトレーニングされる。
【0047】
１１０４において、本明細書及び／又はその他で説明されるように、スペクトル結果モジュール１３０の深層学習アルゴリズムが、非スペクトル画像からスペクトル画像を推定するために、トレーニングされた敵対的トレーナー８０２及び誤差決定器１００２を使用してトレーニングされる。
【0048】
１１０６において、本明細書及び／又はその他で説明されるように、非スペクトル画像が、非スペクトルイメージングシステム１０２で生成される。
【0049】
１１０８において、本明細書及び／又はその他で説明されるように、トレーニングされたスペクトル結果モジュール１３０が、非スペクトル画像からスペクトルデータ（基底成分及び／又は画像）を推定する。
【0050】
図１２は、本明細書の一実施形態による、例示的な方法を示す。
【0051】
１２０２において、本明細書及び／又はその他で説明されるように、敵対的トレーナー８０２が、推定されたスペクトル画像と生成されたスペクトル画像とを区別するために、それらの画像でトレーニングされる。
【0052】
１２０４において、本明細書及び／又はその他で説明されるように、スペクトル結果モジュール１３０の深層学習アルゴリズムが、非スペクトル画像からスペクトル画像を推定するために、トレーニングされた敵対的トレーナー８０２及び誤差決定器１００２を使用してトレーニングされる。
【0053】
１２０６において、本明細書及び／又はその他で説明されるように、非スペクトル画像が、非スペクトルイメージングシステム１０２で生成される。
【0054】
１２０８において、本明細書及び／又はその他で説明されるように、トレーニングされたスペクトル結果モジュール１３０は、非スペクトル画像からスペクトル基底成分を推定する。
【0055】
１２１０において、本明細書及び／又はその他で説明されるように、トレーニングされたスペクトル結果モジュール１３０は、スペクトル基底成分からスペクトル画像を生成する。
【0056】
上記は、コンピュータ可読記憶媒体上に符号化された又は埋め込まれたコンピュータ可読命令として実施され、コンピュータ可読命令は、（１つ又は複数の）コンピュータプロセッサによって実行されたとき、（１つ又は複数の）プロセッサに、説明された行為を行わせる。追加又は代替として、コンピュータ可読命令のうちの少なくとも１つが、コンピュータ可読記憶媒体でない、信号、搬送波又は他の一時的媒体によって搬送される。
【0057】
本発明は、図面及び上記の説明において、詳細に示され、説明されてきたが、そのような例示及び説明は、図例的又は例示的と見なされるべきであり、限定的でなく、本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他の変形形態が、請求される本発明を実施する際に当業者によって、図面、本開示、及び添付の特許請求の範囲の検討により理解され、実施され得る。
【0058】
特許請求の範囲において、「備える、有する、含む」という単語は他の要素又はステップを除外せず、単数形は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載のいくつかの項目の機能を果たす。いくつかの方策が、相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組合せが有利には使用され得ないことを示しているわけではない。
【0059】
コンピュータプログラムは、他のハードウェアとともに又はそれの一部として供給される光記憶媒体又はソリッドステート媒体など、好適な媒体上に記憶／分配されるが、インターネット或いは他のワイヤード又はワイヤレス電気通信システムを介してなど、他の形態でも分配される。特許請求の範囲中のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】