特許 6981799 画像データ復元装置、画像データ復元方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6981799

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月17日

(54)【発明の名称】画像データ復元装置、画像データ復元方法、及びプログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20211206BHJP

【ＦＩ】

   A61B6/03 350P

   A61B6/03 360B

【請求項の数】15

【全頁数】24

(21)【出願番号】特願2017-142037(P2017-142037)

(22)【出願日】2017年7月21日

(65)【公開番号】特開2019-21258(P2019-21258A)

(43)【公開日】2019年2月7日

【審査請求日】2020年5月15日

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100189913

【弁理士】

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】竹島 秀則

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１６−１２３８５３（ＪＰ，Ａ）

【文献】 特表２０１４−５０８０２３（ＪＰ，Ａ）

【文献】 国際公開第２００４／０６８８６２（ＷＯ，Ａ１）

【文献】 特開２０１５−１５４９１９（ＪＰ，Ａ）

【文献】 特開２０１６−００２４６７（ＪＰ，Ａ）

【文献】 特表２０１５−５３３５３１（ＪＰ，Ａ）

【文献】 三上 拓也、浜本 隆之 ，“近赤外動画像を利用した低照度下におけるカラー動画像の取得”，映像メディア処理シンポジウム 第１７回シンポジウム資料，日本，電子情報通信学会画像工学研究専門委員会，2012年10月24日，pp.55-56

【文献】 Dong-Hoon Lee et al.，"Sparse Sampling MR Image Reconstruction Using Bregman Iteration: A Feasibility Study at Low Tesla MRI System"，2011 IEEE Nuclear Science Symposium Conference Record，米国，IEEE，2012年02月21日，pp.3446-3449

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／０３

Ｇ０６Ｔ １／００，５／００

Ｈ０４Ｎ １／４０−１／４０９

(57)【特許請求の範囲】

【請求項1】

対象について、複数のチャネルに対応する観測データを取得する取得部と、
前記複数のチャネルのうちの一部のチャネルを有するチャネルサブセットまたは前記複数のチャネルを有するチャネルフルセットを選択する選択部と、
前記対象を視覚的に復元して復元画像データを作成するために、前記チャネルサブセットに対応する第１の観測データと、前記第１の観測データに基づく第１の中間画像データとの適合度を最適化するための演算を繰り返し実行する演算部と
を備え、
繰り返し実行される前記演算が所定の条件を満たした後、
前記演算部は、前記チャネルフルセットに対応する第２の観測データと、前記第２の観測データに基づく第２の中間画像データとの適合度を最適化するための演算を実行し、前記第２の中間画像データを前記復元画像データとして出力する、
画像データ復元装置。

【請求項2】

前記適合度は、前記観測データと前記復元画像データとを対応付ける復元モデルに基づく前記復元画像データの前記観測データに対する適合度を示すデータ適合度と、前記復元画像データに関する知識を示す事前知識モデルに対する前記復元画像データの適合度を示す事前知識適合度とを含み、
前記演算部は、前記データ適合度と前記事前知識適合度を最適化するための演算を実行する、
請求項１に記載の画像データ復元装置。

【請求項3】

前記復元モデルと、前記事前知識モデルとを記憶する記憶装置
を更に具備する、
請求項２に記載の画像データ復元装置。

【請求項4】

繰り返し実行される前記演算が前記所定の条件を満たすか否かを判定する判定部
を更に具備する、請求項１から請求項３までのいずれか一項に記載の画像データ復元装置。

【請求項5】

前記所定の条件は、前記第１の中間画像データについての評価関数が閾値を越えることである、
請求項１から請求項４までのいずれか一項に記載の画像データ復元装置。

【請求項6】

前記所定の条件は、繰り返し実行される前記演算の演算回数が所定の上限値に達することである、
請求項１から請求項４までのいずれか一項に記載の画像データ復元装置。

【請求項7】

前記演算部は、前記選択部によって選択された前記一部のチャネルの数と、前記取得された観測データに対応する前記複数のチャネルの数との割合に応じて、前記データ適合度をスケーリングする、請求項２または請求項３記載の画像データ復元装置。

【請求項8】

前記演算部は、前記選択部によって選択された前記一部のチャネルに対応する観測データのノルムと、前記取得された観測データのノルムとの割合に応じて、前記データ適合度をスケーリングする、請求項２または請求項３記載の画像データ復元装置。

【請求項9】

前記取得された観測データに対応する複数のチャネルを、直交変換を適用することによって、複数の仮想チャネルに変換する変換部を更に備え、
前記選択部は、前記複数の仮想チャネルに対応する観測データの固有値の大きさに基づいて、前記実行された演算の次に繰り返される演算に使用される観測データの仮想チャネルを選択する、
請求項１記載の画像データ復元装置。

【請求項10】

前記演算は、前記復元画像データを最適化する第１演算と、内部データを最適化する第２演算と、を含み、
前記演算部は、前記第１演算と、前記第２演算とを交互に実行することにより、前記演算を繰り返し実行する、
請求項１記載の画像データ復元装置。

【請求項11】

前記複数のチャネルの各々は、ＭＲＩ装置におけるコイルごとに観測された観測データに対応し、
前記データ適合度は、前記復元画像データに対して前記復元モデルを適用したデータと、前記観測データと、の差のＬ２ノルム又はフロベニウスノルムを評価する項を含む、
請求項２または請求項３記載の画像データ復元装置。

【請求項12】

前記複数のチャネルの各々は、マルチスペクトルカメラ又はスペクトラルＸ線装置におけるスペクトルごとに観測された観測データに対応し、
前記データ適合度は、前記復元画像データに対して前記復元モデルを適用したデータと、前記観測データと、の差のＬ２ノルムを評価する項を含む、
する、請求項２または請求項３記載の画像データ復元装置。

【請求項13】

前記取得部は、前記対象を複数の時刻にわたって観測した時系列の観測データを取得し、
前記事前知識適合度は、第１時刻における前記復元画像データと、前記第１時刻と異なる第２時刻における前記復元画像データと、の差のＬ１ノルムを評価する項を含む、
請求項２または請求項３記載の画像データ復元装置。

【請求項14】

対象について、複数のチャネルに対応する観測データを取得する過程と、
前記複数のチャネルのうちの一部のチャネルを有するチャネルサブセットまたは前記複数のチャネルを有するチャネルフルセットを選択する過程と、
前記対象を視覚的に復元して復元画像データを作成するために、前記チャネルサブセットに対応する第１の観測データと、前記第１の観測データに基づく第１の中間画像データとの適合度を最適化するための演算を繰り返し実行する過程と、
繰り返し実行される前記演算が所定の条件を満たした後、前記チャネルフルセットに対応する第２の観測データと、前記第２の観測データに基づく第２の中間画像データとの適合度を最適化するための演算を実行し、前記第２の中間画像データを前記復元画像データとして出力する過程と
を備える、画像データ復元方法。

【請求項15】

請求項１乃至１３のいずれか１項に記載の画像データ復元装置が備える各部としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、複数のチャネルに対応する観測データに基づいて画像データを復元する装置に関する。

【背景技術】

【0002】

観測対象に対して複数のチャネルで観測された観測データを取得し、当該取得された観測データを利用することによって観測対象の画像データを復元する画像復元問題は、社会の様々な場面で現れる。画像復元問題を解く装置の例としては、マルチスペクトルカメラ（ハイパースペクトルカメラ）、ＣＴ（Computed Tomography）及びＸ線非破壊検査等を対象としたスペクトラルＸ線装置、並びにＭＲＩ（Magnetic Resonance Imaging）装置等が挙げられる。

【0003】

画像復元問題では、画像データを高精度に復元するために、事前知識モデルがしばしば用いられる。事前知識モデルは、閉じた形の解（Closed - form solution）が存在しない、又は閉じた解の算出が困難な非線形モデルが用いられる場合が多い。事前知識モデルとしては、例えば、圧縮センシング（Compressed sensing）、エラスティックネット（Elastic net）、及び低ランク拘束モデル（Low rank constraint model）等が挙げられる。このような画像復元問題は、例えば、マルチスペクトルカメラにおけるノイズ除去問題、スペクトラルＸ線装置におけるラドン変換を含む再構成問題、及びＭＲＩ装置におけるフーリエ変換を含む再構成問題として定式化される。

【0004】

非線形な事前知識モデルが用いられる画像復元問題の多くは、収集されたデータに対する適合度（データ適合度）、及び事前知識モデルに対する適合度（事前知識適合度）の加重和を、繰り返し解法によって最適化する手法が用いられる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許出願公開第２０１１／００８９９４９号明細書

【特許文献2】国際公開第２０１７／０２９７０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一般的に、上述の繰り返し解法では、十分な数のチャネルで観測されたデータを用いることによって、高精度に対象の画像データを復元できる。しかしながら、データ適合度の算出にはチャネル数に比例する処理量を要する。このため、画像データの復元には、データ適合度及び事前知識適合度を繰り返し計算する必要上、チャネル数が多いほど長い時間がかかる。一方、チャネル数を減らした場合、画像データの復元に要する時間は短縮できるものの、復元される画像データの画質は、全てのチャネルで観測されたデータを用いる場合よりも劣化する。

【0007】

本発明が解決しようとする課題は、上記事情を考慮してなされたものであって、画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮することができる画像データ復元装置及び画像データ復元方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

実施形態によれば、画像データ復元装置は、取得部と、記憶装置と、演算部と、判定部と、選択部と、を備える。上記取得部は、対象について、複数のチャネルに対応する観測データを取得する。上記記憶装置は、上記取得された観測データと上記対象を視覚的に復元する復元画像データとを対応付ける復元モデルと、上記復元画像データに関する事前知識を示す事前知識モデルと、を記憶する。上記演算部は、上記復元モデルに基づく上記復元画像データの上記観測データに対する適合度を示すデータ適合度と、上記事前知識モデルに対する上記復元画像データの適合度を示す事前知識適合度と、を最適化するための演算を繰り返し実行する。上記判定部は、上記演算が実行されるたびに、所定の条件が満たされるか否かを判定する。上記選択部は、上記判定部による判定結果に応じて、上記実行された演算の次に繰り返される演算に使用される観測データのチャネルを選択する。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る画像データ復元システムの構成の一例を説明するためのブロック図。

【図2】実施形態に係る画像データ復元装置の構成の一例を説明するためのブロック図。

【図3】実施形態に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。

【図4】実施形態の第１変形例に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。

【図5】実施形態の第２変形例に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。

【図6】実施形態の第３変形例に係る画像データ復元装置の構成の一例を説明するためのブロック図。

【図7】実施形態の第３変形例に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。

【発明を実施するための形態】

【0010】

以下、図面を参照して実施形態について説明する。なお、以下の説明において、同一の機能及び構成を有する構成要素については、共通する参照符号を付す。

【0011】

１． 実施形態
本実施形態に係る画像データ復元システムについて説明する。本実施形態に係る画像データ復元システムは、マルチスペクトルカメラにおける画像のノイズ除去、スペクトラルＸ線装置における画像の再構成、及びＭＲＩ装置における画像の再構成等を行うシステムに広く適用可能である。

【0012】

１．１ 構成について
１．１．１ 画像データ復元システムの構成について
まず、本実施形態に係る画像データ復元システムの構成について図１を用いて説明する。

【0013】

図１は、本実施形態に係る画像データ復元システム１の構成の一例を示すブロック図である。図１に示すように、画像データ復元システム１は、センサ２と、画像データ復元装置３と、を備えている。

【0014】

センサ２は、図示しない観測対象に対する観測を行う。センサ２は、画像データ復元装置３に対して、当該観測の結果として得られた信号を観測データｙとして出力する機能を備えている。

【0015】

センサ２は、複数のチャネルに対応する観測データｙを出力し得る。チャネルとは、例えば、センサ２が複数のセンサの集合として構成される場合における、当該複数のセンサの各々を意味し得る。より具体的には、例えば、センサ２がＭＲＩ装置に実装された複数のコイルに相当する場合、チャネルとは、当該複数のコイルの各々に相当する。また、チャネルとは、例えば、センサ２が複数のスペクトルにおいて観測を行う場合における、当該複数のスペクトルの各々を意味し得る。より具体的には、例えば、センサ２がマルチスペクトルカメラに実装されたセンサに相当する場合、チャネルとは、当該センサにおいて観測される複数のスペクトルの各々に相当する。なお、センサ２は、同一の観測対象について、複数のチャネルに対応する観測データｙを、複数回にわたって出力してもよい。

【0016】

画像データ復元装置３は、観測データ取得部１１と、記憶部１２と、画像データ復元部１３と、復元画像出力部１４と、を備えている。観測データ取得部１１、記憶部１２、画像データ復元部１３、及び復元画像出力部１４の各々は、例えば、以下に個別に示される機能構成を実現するための回路によって構成される。観測データ取得部１１、記憶部１２、画像データ復元部１３、及び復元画像出力部１４の各々に対応する回路は、例えば、図示しないプロセッサ等によって制御されることによって協働して動作し、後述の画像データ復元動作を実現可能に構成される。

【0017】

観測データ取得部１１は、センサ２で観測された複数のチャネルに対応する観測データｙを取得する。観測データ取得部１１は、例えば、観測データｙを記憶部１２に記憶させる。

【0018】

記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶媒体を含む。記憶部１２は、例えば、観測データ取得部１１及び画像データ復元部１３から読出し／書込み可能な記憶媒体であり、観測データｙを一時的に記憶する。記憶部１２は、同一の観測対象を対象として観測された複数個の観測データｙが存在する場合、当該複数個の観測データｙを、１つの観測データフルセットｙ_ｆｕｌｌとして集約して記憶する。観測データフルセットｙ_ｆｕｌｌは、画像データ復元部１３において使用され得る全てのチャネルに対応する観測データｙを含む。観測データフルセットｙ_ｆｕｌｌは、例えば、列ベクトルであり、複数のチャネルをまとめて１列にしたベクトルである。

【0019】

画像データ復元部１３は、記憶部１２から観測データフルセットｙ_ｆｕｌｌを読出し、当該観測データフルセットｙ_ｆｕｌｌに基づいて、観測対象に係る画像データ（例えば中間画像データ）を生成する。画像データとは、観測対象についての観測データｙに何らかのマッピングを施すことにより、２次元又は３次元で可視化することが可能な、２次元以上のデータである。画像データ復元部１３は、画像データを最適化することによって復元画像データｘを復元し、復元画像出力部１４に出力する。画像データ復元部１３における復元画像データｘを復元する処理の詳細については後述する。

【0020】

復元画像出力部１４は、例えば、画像データ復元部１３から復元画像データｘを受けると、当該復元画像データｘに基づいて、観測対象の復元画像を出力する。復元画像出力部１４は、例えば、表示画面（例えば、ＬＣＤ（Liquid Crystal Display）又はＥＬ（Electroluminescence）ディスプレイ等）等を含み、当該表示画面を介してユーザに観測対象に係る画像を視覚的に提供する。なお、復元画像出力部１４は、上述の例に限らず、画像データを可視化可能な機能構成を有する図示しない外部機器に対して、復元画像データｘを出力してもよい。

【0021】

１．１．２ 画像データ復元部の構成について
次に、本実施形態に係る画像データ復元部の構成について図２を用いて説明する。

【0022】

図２は、本実施形態に係る画像データ復元部１３の構成の一例を示すブロック図である。図２に示すように、画像データ復元部１３は、チャネル選択部１３１と、復元モデル１３２と、事前知識モデル１３３と、最適化演算部１３４と、判定部１３５と、を備えている。

【0023】

チャネル選択部１３１は、記憶部１２から読み出された観測データフルセットｙ_ｆｕｌｌに対応する複数のチャネルのうち、最適化演算部１３４に入力される観測データに対応するチャネルを選択する。チャネル選択部１３１は、全てのチャネルを選択する場合、観測データフルセットｙ_ｆｕｌｌを最適化演算部１３４に出力する。また、チャネル選択部１３１は、全てのチャネルのうちの一部を選択する場合、当該一部のチャネルに対応する観測データを観測データサブセットｙ_ｓｕｂとして抽出し、最適化演算部１３４に出力する。観測データサブセットｙ_ｓｕｂは、例えば、観測データフルセットｙ_ｆｕｌｌを構成する列ベクトルのうち、チャネルサブセットに対応するデータを含む新たな列ベクトルとして抽出される。

【0024】

以下の説明では、観測データフルセットｙ_ｆｕｌｌに対応する複数のチャネルを「チャネルフルセット」とも言い、観測データサブセットｙ_ｓｕｂに対応する１又は複数のチャネルを「チャネルサブセット」とも言う。

【0025】

また、チャネル選択部１３１は、最適化演算部１３４において繰り返し実行される最適化演算を打切るか否かを判定した結果を含む判定結果を、判定部１３５から受信する。チャネル選択部１３１は、例えば、当該判定結果に応じて、チャネルフルセットを選択するか、又はチャネルサブセットを選択するかを決定する。具体的には、チャネル選択部１３１は、最適化演算を打切る旨の判定結果を受けると、チャネルフルセットを選択し、最適化演算部１３４に対して観測データフルセットｙ_ｆｕｌｌを出力する。また、チャネル選択部１３１は、最適化演算を続行する（打切らない）旨の判定結果を受けると、チャネルサブセットを選択し、最適化演算部１３４に対して観測データサブセットｙ_ｓｕｂを出力する。

【0026】

なお、チャネル選択部１３１がチャネルフルセットの中からいずれのチャネルをチャネルサブセットとして選択するかは、種々の手法が適用可能である。

【0027】

例えば、チャネル選択部１３１は、チャネルサブセットをランダムに選択してもよい。この場合、チャネルサブセットは、最適化演算部１３４に観測データサブセットｙ_ｓｕｂが出力されるたびにランダムに選択されてもよいし、一旦チャネルサブセットが選択された後は固定されてもよい。このような選択方法は、チャネルサブセットの選択に要する負荷を抑えることができる。

【0028】

また、例えば、チャネル選択部１３１は、予め定められたチャネルの組をチャネルサブセットとして選択してもよい。この場合、当該チャネルの組は、例えば、事前学習結果に基づき、最も復元画像データへの寄与率が高いと判定されたチャネルの組が選択される。このような選択方法は、最適化演算部１３４の最適化演算を開始する前に事前に行うことができるため、最適化演算に要する時間を短縮することができる。また、このような選択方法は、チャネルサブセットを事前に選択しておくという性質上、事前学習時と、最適化演算の実行時と、でチャネルの性質が変化しない場合に特に有効である。

【0029】

また、例えば、チャネル選択部１３１は、観測データフルセットｙ_ｆｕｌｌに基づいて、チャネルサブセットを選択してもよい。具体的には、例えば、チャネル選択部１３１は、観測データフルセットｙ_ｆｕｌｌのＳＮＲ（Signal to Noise Ratio）を演算し、ＳＮＲの高いチャネルをチャネルサブセットとして選択してもよい。このような選択方法は、最適化演算部１３４の最適化演算に際して新たな演算を行う必要が生じるため、最適化演算に要する時間が上述の例と比較して増加する。しかしながら、チャネルサブセットを実際に観測されたデータに応じて選択できるため、事前学習時と、最適化演算の実行時と、でチャネルの性質が変化し得る場合においても有効である。

【0030】

復元モデル１３２及び事前知識モデル１３３は、最適化演算部１３４において実行される最適化演算に用いられる数学モデルである。復元モデル１３２及び事前知識モデル１３３は、例えば、記憶部１２内にデータベースとして記憶され、最適化演算部１３４によって適宜読み出される。

【0031】

復元モデル１３２は、真の画像データ（「ｘ_ｔｒｕｅ」と呼ぶ）で表現される観測対象について、誤差のない真の観測データ（「ｙ_ｔｒｕｅ」と呼ぶ）が観測された場合に、当該真の観測データｙ_ｔｒｕｅと、真の画像データｘ_ｔｒｕｅとを相互に変換可能な線形変換である。復元モデル１３２は、例えば、線形変換Ａを含む。すなわち、線形変換Ａは、ｙ_ｔｒｕｅ−Ａｘ_ｔｒｕｅ＝０を満たす。

【0032】

なお、センサ２によって実際に観測された観測データｙには、観測誤差が含まれる。また、復元画像データｘは、真の画像データｘ_ｔｒｕｅに必ずしも一致しない。このため、演算ｙ−Ａｘは、必ずしも“０”とはならないが、“０”に近づくほど、復元画像データｘが観測データｙに対して適合していると考えられる。以下の説明では、復元画像データｘが観測データｙに対して適合しているか否かを示す指標を「データ適合度」と言い、Ｅ_ｄ（ｘ）と表す。データ適合度Ｅ_ｄ（ｘ）は、例えば、その値が小さいほど、復元画像データｘが観測データｙに対して適合していることを示す。

【0033】

事前知識モデル１３３は、真の画像データｘ_ｔｒｕｅに関する既知の情報をモデル化したものである。例えば、真の画像データｘ_ｔｒｕｅの画素は、完全にランダムに分布しているわけではなく、特定の特徴を有するパターンにしたがって分布している場合があることが経験的に知られている。具体的には、例えば、隣接画素同士の輝度の変化率に着目すると、真の画像データｘ_ｔｒｕｅは、平坦な場合と部分のはっきりした部分とが比較的多く、ノイズ状の部分は全体的に少ない、等の特徴を有する場合がある。事前知識モデル１３３は、学習データを用いることによって上述のような真の画像データｘ_ｔｒｕｅに関する特徴を事前に学習し、復元画像データｘの関数Ｐ（ｘ）としてモデル化したものである。関数Ｐ（ｘ）は、実数の関数である。

【0034】

なお、関数Ｐ（ｘ）は、例えば、線形変換Ｔを用いて、Ｐ（ｘ）＝Ｔｘのように更にモデル化されることができる。以下の説明では、復元画像データｘが事前知識に対して適合しているか否かを示す指標を「事前知識適合度」と言い、Ｅ_ｐ（ｘ）と表す。事前知識適合度Ｅ_ｐ（ｘ）は、例えば、その値が小さいほど、復元画像データｘが事前知識に対して適合していることを示す。

【0035】

最適化演算部１３４は、チャネル選択部１３１から観測データフルセットｙ_ｆｕｌｌ又は観測データサブセットｙ_ｓｕｂを受信すると、記憶部１２から復元モデル１３２及び事前知識モデル１３３を読み出す。最適化演算部１３４は、復元モデル１３２及び事前知識モデル１３３に基づいて、データ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）を最適化（最小化）するための最適化演算を繰り返し実行する。最適化演算部１３４は、当該繰り返し実行される最適化演算の過程において生成される中間画像データｘ_ｋを生成する。中間画像データｘ_ｋは、最適化演算がｋ回目（ｋは、自然数）に繰り返された際に生成される画像データを示す。最適化演算部１３４は、中間画像データｘ_ｋを判定部１３５に送信してもよい。

【0036】

すなわち、最適化演算部１３４は、ｋ回目の最適化演算の後に判定部１３５から繰り返し演算要求を受けると、チャネル選択部１３１から観測データフルセットｙ_ｆｕｌｌ又は観測データサブセットｙ_ｓｕｂのいずれかを受信する。そして、最適化演算部１３４は、（ｋ＋１）回目の最適化演算を実行して、中間画像データｘ_ｋ＋１を生成し、判定部１３５に送信する。なお、最適化演算部１３４において繰り返し実行される最適化演算の詳細については、後述する。

【0037】

判定部１３５は、中間画像データｘ_ｋを受けるたびに、最適化演算部１３４による最適化演算の繰り返しの打切り条件を満たすか否かを判定する。打ち切り条件は、例えば、中間画像データｘ_ｋが算出された際における評価関数Ｅ（ｘ_ｋ）が所定の閾値に達するか否かに基づいて設定される。この場合、判定部１３５は、中間画像データｘ_ｋについて評価関数Ｅ（ｘ_ｋ）を算出し、評価関数Ｅ（ｘ_ｋ）が所定の閾値を下回った場合、打切り条件を満たすと判定し、下回らなかった場合、打切り条件を満たさないと判定する。

【0038】

なお、打切り条件は、上述の例に限らず、最適化演算の繰り返し回数の上限値として設定されてもよい。この場合、判定部１３５は、最適化演算の繰り返し回数が所定の上限値に達した場合、打切り条件を満たすと判定し、所定の上限値に達していない場合、打切り条件を満たさないと判定する。なお、打ち切り条件が繰り返し回数の上限値として設定される場合、判定部１３５は、必ずしも評価関数Ｅ（ｘ_ｋ）を算出しなくてもよい。

【0039】

判定部１３５は、ｋ回目の最適化処理の結果、打切り条件を満たさないと判定した場合、当該判定結果をチャネル選択部１３１に送信すると共に、（ｋ＋１）回目の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信する。一方、判定部１３５は、ｋ回目の最適化処理の結果、打切り条件を満たすと判定した場合、（ｋ＋１）回目の最適化演算が最後の最適化演算であると判定する。すなわち、判定部１３５は、打切り条件を満たす旨の判定結果をチャネル選択部１３１に送信すると共に、最後の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信する。

【0040】

また、判定部１３５は、最適化演算部１３４から最後の最適化演算の結果として中間画像データｘ_ｋを受け取ると、当該中間画像データｘ_ｋを復元画像データｘとして復元画像出力部１４に出力する。

【0041】

１．１．３ 最適化演算部における最適化演算について
次に、本実施形態に係る最適化演算部１３４において繰り返し実行される最適化演算の詳細について説明する。

【0042】

１．１．３．１ 繰り返し解法について
最適化演算部１３４は、以下の式（１）に示す評価関数Ｅ（ｘ）を最小化することにより、最終的に復元画像データｘを算出する。すなわち、最適化演算部１３４における最適化演算の繰り返しは、以下の式（１）を最小化する最小化問題として定式化される。

【0043】

Ｅ（ｘ）＝Ｅ_ｄ（ｘ）＋Ｅ_ｐ（ｘ） （１）
なお、画像復元問題がＭＡＰ（Maximum A Posteriori）推定における確率の最大化問題として定式化されている場合、最大化問題における評価関数は、その対数に“−１”を乗ずることによって式（１）に示す評価関数Ｅ（ｘ）の形に変形できる。このため、いずれにしても、画像復元問題は、式（１）の最小化問題に帰着できる。

【0044】

また、評価関数Ｅ（ｘ）の各項のうち、データ適合度Ｅ_ｄ（ｘ）は、以下の式（２）で定式化される。

【0045】

【数1】

【0046】

仮に事前知識適合度Ｅ_ｐ（ｘ）がデータ適合度Ｅ_ｄ（ｘ）と同様にＬ２ノルムで定式化される場合、式（１）に示される最小化問題は、評価関数Ｅ（ｘ）の微分が“０”となるような復元画像データｘを求める線形計画問題に帰着できる。このような線形計画問題は、例えば、共役勾配法等を用いることによって閉じた解を得ることができる。

【0047】

しかしながら、自然界に存在するものを観測対象とする場合、真の画像データｘ_ｔｒｕｅは、スパース性を有することが事前知識として知られている場合が多い。この場合、上述の線形計画問題の解は、真の画像データｘ_ｔｒｕｅを精度よく復元できない場合がある。したがって、復元精度を向上させるため、事前知識適合度Ｅ_ｐ（ｘ）には、スパース性を表現可能なＬ１ノルム又はトレースノルムの項を含むものが用いられることが多い。事前知識適合度Ｅ_ｐ（ｘ）は、例えば、Ｌ１ノルムを用いて、以下の式（３）のように定式化される。

【0048】

【数2】

【0049】

この場合、式（１）に示される最小化問題は、Ｌ２ノルムの場合と同様の手法で閉じた解を得ることは困難となる。一方、Ｌ１ノルムを含む最小化問題は、限定された条件を満たす形に変形することによって、閉じた解を得ることができることが知られている。

【0050】

具体的には、例えば、Ｌ１ノルムを含む最小化問題は、軟判定閾値法（Soft Thresholding）を適用することによって解くことができる。軟判定閾値法は、以下の式（４）で示される最小化問題に対して閉じた解を与える演算である。

【0051】

【数3】

【0052】

ここで、ベクトルｐ及びｐ０は列ベクトルである。設計変数αは、０以上の実数である。なお、式（４）の解を与えるベクトルｐの各要素は、上付き添え字をベクトルの要素番号として、以下の式（５）で与えられる。

【0053】

【数4】

【0054】

そこで、一般的に、式（１）に示される最小化問題は、補助変数を導入することにより、軟判定閾値法等が適用可能な最適化問題を含む２つ以上の最小化問題に分割する手法が用いられる。

【0055】

最適化演算部１３４は、上述の２つ以上に分割された最小化問題の各々を１回ずつ解く処理を１回の最適化演算として実行する。そして、最適化演算部１３４は、当該２つ以上に分割された最小化問題を交互に解くことを繰り返すことによって、最終的に式（１）を最小化する復元画像データｘを算出することができる。

【0056】

上述した繰り返し解法としては、例えば、ペナルティ法（Penalty Method）、ＡＤＭＭ法（Alternating Direction Method of Multipliers）、Split Bregman Method等、種々の解法が知られている。本実施形態における最適化演算部１３４は、上述の例に限らず、データ適合度Ｅ_ｄ（ｘ）の項を含む最適化問題を繰り返し解法によって解く任意の解法に対して適用可能である。

【0057】

１．１．３．２ ペナルティ法を適用した場合
以下では、最適化演算を繰り返し実行して復元画像データｘを得るための繰り返し解法の一例として、最適化演算部１３４にペナルティ法を適用した場合について説明する。

【0058】

ペナルティ法は、内部データとして補助変数ｚを導入することによって、式（１）をＬ２ノルムにより構成される最小化問題と、Ｌ１ノルムを含む最小化問題と、の２つの最小化問題に分離する。具体的には、最適化演算部１３４は、（ｋ＋１）回目の最適化演算において、以下の式（６）〜（８）に示す最小化問題を解く。

【0059】

【数5】

【0060】

ここで、設計変数ｃは１以上の実数であり、設計変数δ_ｋは０以上の実数である。式（８）に示す通り、設計変数δ_ｋは、最適化処理の繰り返し数がインクリメントされるたびに小さな値から徐々に大きな値に増加していく。最適化処理の繰り返しによって設計変数δ_ｋが十分な大きさの値になると、式（６）〜（８）によって得られる解は、式（１）の解と等価となる。

【0061】

なお、設計変数ｃ及びδ_ｋは、上述の例に限らず、種々の変形が可能である。例えば、設計変数ｃは、式（８）では、繰り返し数によらない定数として設定されているが、これに限らず、繰り返し数に応じて動的に設定されてもよい。また、設計変数δ_ｋは、設計変数ｃに対して、以下の式（９）を満たすように設定されてもよい。

【0062】

【数6】

【0063】

１．１．３．３ ＡＤＭＭ法を適用した場合
次に、ペナルティ法に代えてＡＤＭＭ法を最適化演算部１３４に適用した場合について説明する。

【0064】

ＡＤＭＭ法は、内部データとして補助変数ｚ及びｄを導入することによって、式（１）をＬ２ノルムにより構成される最小化問題と、Ｌ１ノルムを含む最小化問題と、の２つの最小化問題に分離する。具体的には、最適化演算部１３４は、（ｋ＋１）回目の最適化演算において、以下の式（１０）〜（１２）に示す最小化問題を解く。

【0065】

【数7】

【0066】

ここで、設計変数δは正の実数であり、設計変数γは実数である。

【0067】

なお、最適化演算部１３４において繰り返し実行される最適化演算にＡＤＭＭ法が適用される場合、ＡＤＭＭ法は、上述の式（１０）〜（１２）に限らず、より高速に演算可能な形に変形されてもよい。ＡＤＭＭ法の高速化手法については、例えば、以下に示す文献（［AADMM］）に示される手法が適用可能である。

【0068】

［AADMM］ Mojtaba Kadkhodaie et al., “Accelerated Alternating Direction Method of Multipliers”, Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 497-506.
１．２ 動作について
次に、本実施形態に係る画像データ復元装置における画像データ復元動作について説明する。図３は、本実施形態に係る画像データ復元装置の動作の一例を示すフローチャートである。

【0069】

図３に示すように、ステップＳＴ１０において、観測データ取得部１１は、センサ２において観測された、複数のチャネルに対応する観測データｙを取得する。記憶部１２は、取得された観測データｙを同一の観測対象について集約し、チャネルフルセットに対応する観測データフルセットｙ_ｆｕｌｌとして記憶する。

【0070】

ステップＳＴ２０において、チャネル選択部１３１は、チャネルフルセットのうち、チャネルサブセットとして使用するチャネルを選択する。

【0071】

以降のステップＳＴ３０〜ステップＳＴ７０において、最適化演算部１３４及び判定部１３５における最適化演算の繰り返し処理が実行される。以下の説明では、ステップＳＴ３０〜ステップＳＴ５０では、繰り返し処理が打ち切られていないｋ回目の最適化演算が実行され、ステップＳＴ６０及びステップＳＴ６０では、最後の最適化演算が実行されるものとして説明する。

【0072】

ステップＳＴ３０において、チャネル選択部１３１は、ｋ回目の最適化演算に際して使用する観測データｙとして、観測データサブセットｙ_ｓｕｂを適用する。具体的には、チャネル選択部１３１は、ステップＳＴ２０において選択されたチャネルサブセットに対応する観測データサブセットｙ_ｓｕｂを抽出し、最適化演算部１３４に送信する。

【0073】

ステップＳＴ４０において、最適化演算部１３４は、観測データサブセットｙ_ｓｕｂを用いて、復元モデル１３２に基づくデータ適合度Ｅ_ｄ（ｘ_ｋ）と、事前知識モデル１３３に基づく事前知識適合度Ｅ_ｐ（ｘ_ｋ）と、を最適化するためのｋ回目の最適化演算を実行し、中間画像データｘ_ｋを生成する。最適化演算部１３４は、中間画像データｘ_ｋを判定部１３５に送信する。

【0074】

ステップＳＴ５０において、判定部１３５は、ｋ回目の最適化演算が終了した後、最適化演算の繰り返しについて、打切り条件を満たすか否かを判定する。

【0075】

打ち切り条件を満たさないと判定した場合（ステップＳＴ５０；ｎｏ）、判定部１３５は、当該判定結果をチャネル選択部１３１に送信すると共に、（ｋ＋１）回目の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信し、ステップＳＴ３０に戻る。ステップＳＴ３０において、チャネル選択部１３１は、判定結果に基づき、（ｋ＋１）回目の最適化演算に観測データサブセットｙ_ｓｕｂを適用する。

【0076】

一方、打ち切り条件を満たすと判定した場合（ステップＳＴ５０；ｙｅｓ）、判定部１３５は、当該判定結果をチャネル選択部１３１に送信すると共に、最後の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信し、ステップＳＴ６０に進む。ステップＳＴ６０において、チャネル選択部１３１は、判定結果に基づき、（ｋ＋１）回目の最適化演算に観測データフルセットｙ_ｆｕｌｌを適用する。具体的には、チャネル選択部１３１は、チャネルフルセットに対応する観測データフルセットｙ_ｆｕｌｌを抽出し、最適化演算部１３４に送信する。

【0077】

ステップＳＴ７０において、最適化演算部１３４は、観測データフルセットｙ_ｆｕｌｌを用いて、復元モデル１３２に基づくデータ適合度と、事前知識モデル１３３に基づく事前知識適合度と、を最適化するための（ｋ＋１）回目の最適化演算を実行し、中間画像データｘ_ｋ＋１を生成する。最適化演算部１３４は、中間画像データｘ_ｋ＋１を判定部１３５に送信する。判定部１３５は、中間画像データｘ_ｋ＋１を復元画像データｘとして復元画像出力部１４に送信する。

【0078】

ステップＳＴ８０において、復元画像出力部１４は、復元画像データｘを用いて復元画像をユーザに出力する。

【0079】

以上で、画像データ復元動作が終了する。

【0080】

１．３ 本実施形態に係る効果
本実施形態によれば、画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮することが出来る。本効果につき、以下説明する。

【0081】

本実施形態に係る画像データ復元装置３の最適化演算部１３４は、データ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）を最適化するための最適化演算を繰り返し実行する。そして、判定部１３５は、当該最適化演算の繰り返し処理が実行されるたびに、繰り返しを打切るか否かを判定し、その判定結果をチャネル選択部１３１に送信する。チャネル選択部１３１は、当該判定結果に応じて、最後の最適化演算に対してはチャネルフルセットに対応する観測データフルセットｙ_ｆｕｌｌを適用し、それ以外の最適化演算に対してはチャネルサブセットに対応する観測データサブセットｙ_ｓｕｂを適用する。

【0082】

これにより、最適化演算が繰り返される間は、観測された情報のうちの一部を用いることで、最適化演算の処理量を低減することができ、ひいては処理速度を早めることができる。また、最後の最適化演算では観測された全ての情報を用いることにより、最適化演算の繰り返しの途中で一部の情報しか用いないことによる画質の劣化を抑制することができる。

【0083】

また、最適化演算部１３４は、内部データとして補助変数ｚを導入することによって、ペナルティ法又はＡＤＭＭ法を実行する。これにより、最適化演算部１３４は、復元画像データｘを最適化する演算と、内部データを最適化する演算とを交互に実行することができる。このため、最適化演算部１３４は、当該交互に実行される演算を繰り返すことにより、最終的にデータ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）を最適化することができる。

【0084】

２． 変形例
なお、本実施形態に係る画像データ復元装置は、上述の例に限らず、種々の変形が適用可能である。

【0085】

２．１ 第１変形例
上述の通り、データ適合度Ｅ_ｄ（ｘ）は、復元画像データｘの観測データｙに対する適合度を示し、事前知識適合度Ｅ_ｐ（ｘ）は、復元画像データｘの事前知識に対する適合度を示す。データ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）を最適化するためには、最適化演算の繰り返し毎に、各々の適合度の大きさのバランスが保たれることが望ましい。

【0086】

本実施形態のように最適化演算の繰り返し回数に応じて使用するチャネル数を変化させる場合、データ適合度Ｅ_ｄ（ｘ）の値は、観測データサブセットｙ_ｓｕｂを用いた場合と、観測データフルセットｙ_ｆｕｌｌを用いた場合とで、データセットの違いにより変化し得る。一方、事前知識適合度Ｅ_ｐ（ｘ）の値は、観測データフルセットｙ_ｆｕｌｌ又は観測データサブセットｙ_ｓｕｂのどちらを用いても、データ適合度Ｅ_ｄ（ｘ）ほど大きく変化しない。このため、観測データサブセットｙ_ｓｕｂを用いた場合と、観測データフルセットｙ_ｆｕｌｌを用いた場合とでデータ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）の大きさのバランスが変化してしまう可能性がある。

【0087】

したがって、各々の適合度のバランスを保つため、データ適合度Ｅ_ｄ（ｘ）の値は、観測データフルセットｙ_ｆｕｌｌ又は観測データサブセットｙ_ｓｕｂのどちらを用いても、大きく変化しないようにスケーリングされることが望ましい。

【0088】

具体的には、例えば、最適化演算部１３４は、観測データサブセットｙ_ｓｕｂを適用する場合、式（２）に代えて、以下の式（１３）を用いて、データ適合度Ｅ_ｄ（ｘ）をスケーリングしてもよい。

【0089】

【数8】

【0090】

ここで、係数β_Ｍは正の実数であり、データ適合度のスケーリングファクタを示す。

【0091】

より具体的には、例えば、最適化演算部１３４は、例えば、以下の式（１４）に示すように、チャネルサブセットの数と、チャネルフルセットの数との割合に応じて、データ適合度Ｅ_ｄ（ｘ）をスケーリングしてもよい。

【0092】

【数9】

【0093】

ここで、Ｍ_ｓｕｂはチャネルサブセットのチャネル数であり、Ｍ_ｆｕｌｌはチャネルフルセットのチャネル数である。

【0094】

また、最適化演算部１３４は、例えば、以下の式（１５）に示すように、観測データサブセットｙ_ｓｕｂのノルムの大きさと、観測データフルセットｙ_ｆｕｌｌのノルムの大きさとに応じて、データ適合度Ｅ_ｄ（ｘ）をスケーリングしてもよい。

【0095】

【数10】

【0096】

なお、観測データｙがベクトルではなく、行列の場合は、式（１０）におけるＬ２ノルムは、フロベニウスノルムとすればよい。

【0097】

図４は、本実施形態の第１変形例に係る画像データ復元動作の一例を示すフローチャートである。図４では、本実施形態に係る図３に対して、更にステップＳＴ３５が追加されている。図４の動作は、ステップＳＴ３５以外の動作については、図３と同様である。以下では、最適化演算部１３４による最適化演算に係る部分の動作（ステップＳＴ３０、ＳＴ３５、及びＳＴ４０）について説明し、その他の動作（ステップＳＴ１０、ＳＴ２０、及びＳＴ５０以降）を省略する。

【0098】

ステップＳＴ３０において、チャネル選択部１３１は、ｋ回目の最適化演算に際して使用する観測データｙとして、観測データサブセットｙ_ｓｕｂを適用する。具体的には、チャネル選択部１３１は、ステップＳＴ２０において選択されたチャネルサブセットに対応する観測データサブセットｙ_ｓｕｂを抽出し、最適化演算部１３４に送信する。

【0099】

ステップＳＴ３５において、最適化演算部１３４は、データ適合度Ｅ_ｄ（ｘ）をスケーリングする。これにより、データ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）の値のバランスは、観測データフルセットｙ_ｆｕｌｌを適用した際と同等となる。

【0100】

ステップＳＴ４０において、最適化演算部１３４は、観測データサブセットｙ_ｓｕｂを用いて、復元モデル１３２に基づくデータ適合度Ｅ_ｄ（ｘ_ｋ）と、事前知識モデル１３３に基づく事前知識適合度Ｅ_ｐ（ｘ_ｋ）と、を最適化するためのｋ回目の最適化演算を実行し、中間画像データｘ_ｋを生成する。最適化演算部１３４は、中間画像データｘ_ｋを判定部１３５に送信する。

【0101】

以上のように動作させることにより、観測データサブセットｙ_ｓｕｂを適用した場合と、観測データフルセットｙ_ｆｕｌｌを適用した場合とで、データ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）のバランスが大きく変化することを抑制することができる。このため、観測データサブセットｙ_ｓｕｂを適用した最適化問題は、観測データフルセットｙ_ｆｕｌｌを適用した最適化問題に近似した問題とみなすことができる。したがって、最適化演算を繰り返し実行する際に、適用する観測データのチャネル数を動的に変更した場合においても、収束性を損なうことなく最適化演算を実行することができ、ひいては、繰り返し演算を安定して動作させることができる。

【0102】

２．２ 第２変形例
また、本実施形態では、最適化演算の繰り返しの最後の１回に観測データフルセットｙ_ｆｕｌｌを適用し、残りの最適化演算について観測データサブセットｙ_ｓｕｂを適用する場合について説明したが、これに限られない。例えば、観測データフルセットｙ_ｆｕｌｌは、最適化演算の繰り返しの任意の回数において、適宜適用されてもよい。より具体的には、判定部１３５は、最適化演算が実行されるたびに、打切り条件を満たすか否かに加えて、チャネルサブセットを用いるか否かを更に判定してもよい。

【0103】

判定部１３５は、例えば、チャネルサブセットを用いるか否かを、最適化演算の繰り返し数に応じて判定してもよい。より具体的には、例えば、判定部１３５は、繰り返し演算の１回目には、チャネルサブセットを用いない（チャネルフルセットを用いる）旨を判定し、以降の繰り返しの際には、チャネルサブセットを用いる旨を判定してもよい。このように、繰り返し回数の初期にチャネルフルセットを用いることによって、最適化演算の初期値として復元画像データｘと適合していないデータが入力された場合においても、初期に生成される中間画像データｘ_ｋの精度を高めることができる。これにより、最適化演算の収束性を安定させることができる。

【0104】

なお、判定部１３５は、上述の例に限らず、任意の繰り返し数における最適化演算に対して、チャネルフルセットを用いる旨を判定してもよい。具体的には、例えば、判定部１３５は、最初の数回の最適化演算に対してチャネルフルセットを用いるように判定を行っても良いし、最後の数回の最適化演算に対してチャネルフルセットを用いるように判定を行っても良い。

【0105】

図５は、本実施形態の第２変形例に係る画像データ復元装置における画像データ復元動作の一例を示すフローチャートである。図５では、本実施形態に係る図３に対して、ステップＳＴ３０に代えて、ステップＳＴ３２、ＳＴ３４、及びＳＴ３６が追加されている。図５の動作は、ステップＳＴ３２、ＳＴ３４、及びＳＴ３６以外の動作については、図３と同様である。以下では、最適化演算部１３４による最適化演算に係る部分の動作（ステップＳＴ３２、ＳＴ３４、ＳＴ３６、及びＳＴ４０）について説明し、その他の動作（ステップＳＴ１０、ＳＴ２０、及びＳＴ５０以降）を省略する。

【0106】

ステップＳＴ３２において、判定部１３５は、ｋ回目の最適化演算に際して、チャネルサブセットを用いるか否かを判定する。

【0107】

判定部１３５は、チャネルサブセットを用いると判定した場合（ステップＳＴ３２；ｙｅｓ）、（ｋ＋１）回目の最適化演算に際して、チャネルサブセットを用いる旨の判定結果をチャネル選択部１３１に送信し、ステップＳＴ３４に進む。ステップＳＴ３４において、チャネル選択部１３１は、ステップＳＴ３２における判定部１３５の判定結果に基づき、（ｋ＋１）回目の最適化演算に際して、観測データサブセットｙ_ｓｕｂを適用する。

【0108】

一方、判定部１３５は、チャネルサブセットを用いないと判定した場合（ステップＳＴ３２；ｎｏ）、（ｋ＋１）回目の最適化演算に際して、チャネルフルセットを用いる旨の判定結果をチャネル選択部１３１に送信し、ステップＳＴ３６に進む。ステップＳＴ３６において、チャネル選択部１３１は、ステップＳＴ３２における判定部１３５の判定結果に基づき、（ｋ＋１）回目の最適化演算に際して、観測データフルセットｙ_ｆｕｌｌを適用する。

【0109】

ステップＳＴ４０において、最適化演算部１３４は、観測データサブセットｙ_ｓｕｂ又は観測データサブセットｙ_ｆｕｌｌを用いて、復元モデル１３２に基づくデータ適合度Ｅ_ｄ（ｘ_ｋ＋１）と、事前知識モデル１３３に基づく事前知識適合度Ｅ_ｐ（ｘ_ｋ＋１）と、を最適化するための（ｋ＋１）回目の最適化演算を実行し、中間画像データｘ_ｋ＋１を生成する。最適化演算部１３４は、中間画像データｘ_ｋ＋１を判定部１３５に送信する。

【0110】

以上のように動作させることにより、最適化演算部１３４は、任意の繰り返し回数における最適化演算に対して、チャネルフルセットを用いるか、チャネルサブセットを用いるかを使い分けることができる。これにより、最適化演算部１３４は、復元画像データｘの画質に大きな影響を与える最適化演算に対してはチャネルフルセットを用い、軽微な影響しか与えない最適化演算に対してはチャネルサブセットを用いることができる。

【0111】

より具体的には、例えば、繰り返しの序盤にチャネルフルセットを用いることにより、復元画像データｘの初期値の精度が低い場合においても、収束性を高めることができる。また、例えば、繰り返しの終盤にチャネルフルセットを用いることにより、復元画像データｘの最終的な画質の劣化を抑制することができる。

【0112】

２．３ 第３変形例
また、本実施形態では、センサ２からの観測データｙについて、実際のチャネル（センサ又はスペクトル）に基づいて最適化演算を行う場合について説明したが、これに限られない。例えば、画像データ復元部１３は、実際のチャネルに対応付けられた観測データｙを、仮想のチャネル（仮想チャネル）に対応付けられた観測データｙ’にチャネル変換し、当該観測データｙ’を用いて最適化演算を行ってもよい。

【0113】

図６は、本実施形態の第３変形例に係る画像データ復元部の構成の一例を示すブロック図である。図６に示すように、画像データ復元部１３は、チャネル変換部１３６を更に備えている。

【0114】

チャネル変換部１３６は、記憶部１２から観測データフルセットｙ_ｆｕｌｌを読み出すと、当該観測データフルセットｙ_ｆｕｌｌの実際のチャネルを仮想チャネルに変換し、観測データフルセットｙ’_ｆｕｌｌを生成する。具体的には、例えば、チャネル変換部１３６は、観測データフルセットｙ_ｆｕｌｌに対して主成分分析、又は特異値分解に基づく直交変換を含む線形変換を施す。これにより、観測データフルセットｙ_ｆｕｌｌは、固有値が比較的大きいチャネルと、ほぼ“０”に近い値となるチャネルとに分かれるような仮想チャネルに対応する観測データフルセットｙ’_ｆｕｌｌに変換される。チャネル変換部１３６は、変換された観測データフルセットｙ’_ｆｕｌｌをチャネル選択部１３１に送信する。

【0115】

チャネル選択部１３１は、観測データフルセットｙ’_ｆｕｌｌに対応する複数の仮想チャネルのうち、最適化演算部１３４に入力される観測データに対応する仮想チャネルを選択する。チャネル選択部１３１は、複数の仮想チャネルの全て（仮想チャネルフルセット）を選択する場合、観測データフルセットｙ’_ｆｕｌｌを最適化演算部１３４に送信する。また、チャネル選択部１３１は、仮想チャネルフルセットのうちの一部（仮想チャネルサブセット）を選択する場合、当該仮想チャネルサブセットに対応する観測データを観測データサブセットｙ’_ｓｕｂとして抽出し、最適化演算部１３４に送信する。観測データサブセットｙ’_ｓｕｂは、例えば、観測データフルセットｙ’_ｆｕｌｌを構成する列ベクトルのうち、固有値の比較的大きい仮想チャネルに対応する列を含む新たな列ベクトルとして抽出される。

【0116】

このように構成することにより、チャネル数を削減した最適化演算を行うことによる画像データの復元精度の劣化を抑制することができる。

【0117】

図７は、本実施形態の第３変形例に係る画像データ復元装置における画像データ復元動作の一例を示すフローチャートである。図７では、本実施形態に係る図３に対して、ステップＳＴ１５が追加されている。以下では、図３と同様な動作については説明を適宜省略しつつ、全体の動作について説明する。

【0118】

図７に示すように、ステップＳＴ１０において、観測データ取得部１１は、センサ２において観測された、複数のチャネルに対応する観測データｙを取得し、記憶部１２に記憶させる。

【0119】

ステップＳＴ１５において、チャネル変換部１３６は、観測データフルセットｙ_ｆｕｌｌに対して線形変換を施し、実際のチャネルから仮想チャネルへの変換を行う。これにより、チャネル変換部１３６は、観測データフルセットｙ’を生成し、チャネル選択部１３１に送信する。

【0120】

ステップＳＴ２０Ａにおいて、チャネル選択部１３１は、仮想チャネルフルセットのうち、仮想チャネルサブセットとして使用する仮想チャネルを選択する。

【0121】

ステップＳＴ３０Ａにおいて、チャネル選択部１３１は、ｋ回目の最適化演算に際して使用する観測データｙとして、観測データサブセットｙ’_ｓｕｂを適用する。具体的には、チャネル選択部１３１は、ステップＳＴ２０Ａにおいて選択された仮想チャネルサブセットに対応する観測データサブセットｙ’_ｓｕｂを抽出し、最適化演算部１３４に送信する。

【0122】

ステップＳＴ４０及びＳＴ５０に係る動作は、図３と同様であるため、その説明を省略する。

【0123】

ステップＳＴ６０において、チャネル選択部１３１は、ｋ回目の最適化演算に対する判定結果に基づき、（ｋ＋１）回目の最適化演算に観測データフルセットｙ’_ｆｕｌｌを適用する。具体的には、チャネル選択部１３１は、仮想チャネルフルセットに対応する観測データフルセットｙ’_ｆｕｌｌを抽出し、最適化演算部１３４に送信する。

【0124】

ステップＳＴ７０及びＳＴ８０に係る動作は、図３と同様であるため、その説明を省略する。

【0125】

以上で、画像データ復元動作が終了する。

【0126】

このように、チャネル変換部１３６は、観測データｙの実際のチャネルを仮想チャネルに変換する。これにより、チャネル選択部１３１は、有意な情報を有するチャネルの数を絞り込むことができる。チャネル選択部１３１は、例えば、固有値の大きい仮想チャネルを優先的に選択することにより、観測データｙが本来有する情報を大きく損なうことなく、最適化演算に用いるチャネル数を減らすことができる。したがって、画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮することができる。

【0127】

３． 適用例
上記実施形態及び各変形例は、種々の装置に適用することが可能である。以下に、いくつかの具体的な適用例について説明する。

【0128】

３．１ ＭＲＩ装置への適用例
まず、ＭＲＩ装置への適用例について説明する。

【0129】

上述の通り、本実施形態をＭＲＩ装置に適用する場合、最適化演算部１３４による最適化演算の繰り返しは、ｋ空間データから再構成画像を再構成する処理に相当する。すなわち、観測データｙ及び復元画像データｘはそれぞれ、ｋ空間データ及び再構成画像に相当し、チャネルは、ｋ空間データを観測するためのコイルに相当する。

【0130】

データ適合度Ｅ_ｄ（ｘ）に用いられる線形変換Ａは、例えば、コイル感度行列Ｓと、フーリエ変換行列Ｆと、を乗じて得られる行列を含む。

【0131】

コイル感度行列Ｓは、復元画像データに対するコイルごとの感度を示す。コイル感度行列Ｓは、コイル間でＳＮＲが一致しない場合や、コイル間の相関がある場合には、その補正項を含んでもよい。

【0132】

フーリエ変換行列Ｆは、センサ２がｋ空間データをCartesian Scanと呼ばれる手法を用いて観測する場合、離散フーリエ変換（Discrete Fourier Transform）として定義される。また、フーリエ変換行列Ｆは、センサ２がｋ空間データをNon-Cartesian Scanと呼ばれる手法を用いて観測する場合、非等方離散フーリエ変換（Nonequispaced Discrete Fourier Transform）として定義される。

【0133】

事前知識適合度Ｅ_ｐ（ｘ）に用いられる線形変換Ｔは、例えば、Total Variation項を含む。Total Variation項は、例えば、隣接画素間の輝度差又は微分に関する情報を含む。すなわち、事前知識適合度Ｅ_ｐ（ｘ）は、復元画像データｘの空間的な滑らかさを示す制約項として機能する。

【0134】

なお、ＭＲＩ装置が複数の時刻にわたって時系列に観測を行う場合、観測データｙ及び復元画像データｘは、時刻情報を含んでもよい。具体的には、或る時刻における観測データｙ及び復元画像データｘが列ベクトルで表現される場合、時系列の観測データｙ及び復元画像データｘは、行列の形式で表現されてもよい。

【0135】

時系列の観測データｙ及び復元画像データｘが行列の形式で表現される場合、データ適合度Ｅ_ｄ（ｘ）及び事前知識適合度Ｅ_ｐ（ｘ）はそれぞれ、以下の式（１６）及び式（１７）ように定式化することができる。

【0136】

【数11】

【0137】

事前知識適合度Ｅ_ｐ（ｘ）に対してトレースノルムを用いる場合、トレースノルムを含む式に対して最適化問題を解くことになる。これにより、事前知識適合度Ｅ_ｐ（ｘ）は、時間的な滑らかさを示す制約項としても機能する。

【0138】

トレースノルムを含む式に関する最適化問題は、特異値判定法（Singular Value Thresholding）を適用することにより、閉じた解を得ることができることが知られている。特異値判定法は、以下の手順（i）〜（iii）によって算出される行列を出力する演算である。

【0139】

（i）行列で表現される復元画像データｘに対して、特異値分解ｘ＝ＵΛＶ^＊を行う。

【0140】

(ii)対角行列Λの対角成分をベクトル化したデータに対して軟判定閾値法を適用し、係数Λ’を得る。

【0141】

(iii)係数Λ’に演算ＵΛ’Ｖ^＊を適用することによって求められた行列を出力する。

【0142】

３．２ マルチスペクトルカメラへの適用例
次に、マルチスペクトルカメラへの適用例について説明する。

【0143】

上述の通り、本実施形態をマルチスペクトルカメラに適用する場合、最適化演算部１３４による最適化演算の繰り返しは、可視化に用いるチャネルに混入するノイズ除去処理に相当する。すなわち、観測データｙ及び復元画像データｘは、ノイズを含む画像データ、及びノイズ除去された画像データに相当し、チャネルは、スペクトルに相当する。

【0144】

この場合、データ適合度Ｅ_ｄ（ｘ）に用いられる線形変換Ａは、例えば、恒等変換行列を含む。

【0145】

事前知識適合度Ｅ_ｐ（ｘ）に用いられる線形変換Ｔは、例えば、事前学習によって得られる基底行列を含む。基底行列は、例えば、同一のマルチスペクトルカメラで事前に撮像した画像データに対して主成分分析を適用することにより算出される。事前知識適合度Ｅ_ｐ（ｘ）は、例えば、復元画像データｘを事前学習によって得られた低ランク直交基底に射影した際の誤差として定式化される。

【0146】

３．３ スペクトラルＸ線装置への適用例
次に、スペクトラルＸ線装置への適用例について説明する。スペクトラルＸ線装置は、ＣＴ装置、デュアルエナジー装置、及びフォトンカウンティング装置等を含む。

【0147】

上述の通り、本実施形態をＸ線スペクトラム装置に適用する場合、最適化演算部１３４による最適化演算の繰り返しは、生データ（raw data）から物質弁別画像を再構成する処理に相当する。すなわち、観測データｙ及び復元画像データｘはそれぞれ、生データ及び再構成画像に相当し、チャネルは、スペクトルに相当する。

【0148】

データ適合度Ｅ_ｄ（ｘ）に用いられる線形変換Ａは、例えば、物質弁別画像と生データとの変換行列を含む。当該変換行列は、生データがサイノグラムである場合、ラドン変換を含む。

【0149】

事前知識適合度Ｅ_ｐ（ｘ）に用いられる線形変換Ｔは、例えば、Total Variation項を含む。

【0150】

４． その他
また、上述の実施形態は、以下に示す変更が適宜可能である。

【0151】

例えば、上述の実施形態では、最適化演算部１３４は、１つの機能ブロックとして示されているが、当該１つの機能ブロックは、複数の演算プロセッサを実装することによって実現されてもよい。具体的には、最適化演算部１３４は、データ適合度Ｅ_ｄ（ｘ）を評価するための演算部分について、当該複数の演算プロセッサによる分散処理を行うように構成されてもよい。

【0152】

すなわち、データ適合度Ｅ_ｄ（ｘ）を評価するための演算は、複数のチャネルごとに独立して行い得る。このため、複数の演算プロセッサの各々は、データ適合度Ｅ_ｄ（ｘ）の評価の際に、各々に均等に配分されたチャネルに対応する部分についての演算を担当するように構成されてもよい。これにより、データ適合度Ｅ_ｄ（ｘ）の評価に要する演算時間を短縮すると共に、１つの演算プロセッサにかかる負荷を低減することができる。

【0153】

また、上述した実施形態における画像データ復元動作で示された各ステップは、プログラムとして記述されたソフトウェアに基づいて実行されることが可能である。当該プログラムは、汎用の計算機システムに予め記憶され、画像データ復元装置３が当該プログラムを読み込むことにより、上述した実施形態における画像データ復元動作を実現してもよい。

【0154】

なお、上述したプログラムは、画像データ復元装置３が読み取り可能な任意の記録媒体に予め記憶されていてもよい。任意の記録媒体としては、例えば、磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ等）、半導体メモリ、又はこれに類する記録媒体等が挙げられる。また、記録媒体は、画像データ復元装置３と独立した媒体に限らず、ＬＡＮ（Local Area Network）及びインターネット等を介してダウンロードしたプログラムを記憶可能な画像データ復元装置３内の記憶媒体も含まれる。画像データ復元装置３は、当該記録媒体から上述したプログラムを読み込むことによって、画像データ復元動作の各ステップを画像データ復元装置３内のプロセッサに実行させることができる。なお、画像データ復元装置３は、当該記録媒体から読み込まれたプログラムの一部を、画像データ復元装置３上で稼働しているＯＳ（オペレーティングシステム）、データベース管理ソフト、及びＭＷ（ミドルウェア）等に実行させてもよい。

【0155】

なお、画像データ復元装置３は、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。

【0156】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0157】

１…画像データ復元システム、２…センサ、３…画像データ復元装置、１１…観測データ取得部、１２…記憶部、１３…画像データ復元部、１４…復元画像出力部、１３１…チャネル選択部、１３２…復元モデル、１３３…事前知識モデル、１３４…最適化演算部、１３５…判定部、１３６…チャネル変換部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】