特許 7606141 学習装置、学習方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】学習装置、学習方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241218BHJP

   G06N 3/045 20230101ALI20241218BHJP

【ＦＩ】

G06N20/00

G06N3/045

【請求項の数】 5

(21)【出願番号】P 2023531221

(86)(22)【出願日】2021-06-30

(86)【国際出願番号】 JP2021024673

(87)【国際公開番号】W WO2023276022

(87)【国際公開日】2023-01-05

【審査請求日】2023-10-02

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】曽我部 陽光

(72)【発明者】

【氏名】杉本 志織

(72)【発明者】

【氏名】黒住 隆行

(72)【発明者】

【氏名】木全 英明

【審査官】北川 純次

(56)【参考文献】

【文献】中国特許出願公開第１１２７００３７０（ＣＮ，Ａ）

【文献】特開２０２０－１６８３５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００２７２５１（ＵＳ，Ａ１）

【文献】SOGABE, Yoko, et al.，"ADMM-INSPIRED RECONSTRUCTION NETWORK FOR COMPRESSIVE SPECTRAL IMAGING"，Proceedings of 2020 IEEE International Conference on Image Processing (ICIP)，2020年09月30日，Pages 2865-2869，ISBN: 978-1-7281-6395-6, <DOI: 10.1109/ICIP40778.2020.9190998>.

【文献】WANG, Lizhi, et al.，Hyperspectral Image Reconstruction Using a Deep Spatial-Spectral Prior，Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，2019年06月20日，pp.8024-8033

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

フィルタを通して撮影された撮影対象の画像の画像データと、前記フィルタの状態を示すフィルタ状態情報とを含む学習データを取得する学習データ取得部と、
逆問題を解くことで処理対象のテンソルに最も近いテンソルを解とするテンソルを前記学習データに基づいて生成する処理である忠実化処理と、前記撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データを前記学習データに基づいて生成する処理である正則化処理と、を含む数理モデルである画像再構成モデルを実行する学習部と、
を備え、
前記忠実化処理の処理対象のテンソルの数は、前記正則化処理の処理対象のテンソルの数より大きく、前記忠実化処理の処理対象の各テンソルのサイズは、前記正則化処理の処理対象のテンソルのサイズより小さく、前記正則化処理の処理対象のテンソルは前記忠実化処理で生成された各テンソルが結合されたテンソルであり、
前記忠実化処理と前記正則化処理とは交互に実行される、
学習装置。

【請求項2】

前記フィルタの状態は、前記フィルタの光学定数の空間分布である、
請求項１に記載の学習装置。

【請求項3】

フィルタを通した撮影対象の撮影により得られた信号と、前記フィルタの状態を示すフィルタ状態情報とを含む学習データを取得する学習データ取得部と、
逆問題を解くことで処理対象のテンソルに最も近いテンソルを解とするテンソルを前記学習データに基づいて生成する処理である忠実化処理と、前記撮影対象の撮影により得られた信号が満たす統計的性質に近い性質を有する信号を前記学習データに基づいて生成する処理である正則化処理と、を含む数理モデルである画像再構成モデルを実行する学習部と、
を備え、
前記忠実化処理の処理対象のテンソルの数は、前記正則化処理の処理対象のテンソルの数より大きく、前記忠実化処理の処理対象の各テンソルのサイズは、前記正則化処理の処理対象のテンソルのサイズより小さく、前記正則化処理の処理対象のテンソルは前記忠実化処理で生成された各テンソルが結合されたテンソルであり、
前記忠実化処理と前記正則化処理とは交互に実行される、
学習装置。

【請求項4】

フィルタを通して撮影された撮影対象の画像の画像データと、前記フィルタの状態を示すフィルタ状態情報とを含む学習データを取得する学習データ取得ステップと、
逆問題を解くことで処理対象のテンソルに最も近いテンソルを解とするテンソルを前記学習データに基づいて生成する処理である忠実化処理と、前記撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データを前記学習データに基づいて生成する処理である正則化処理と、を含む数理モデルである画像再構成モデルを実行する学習ステップと、
を有し、
前記忠実化処理の処理対象のテンソルの数は、前記正則化処理の処理対象のテンソルの数より大きく、前記忠実化処理の処理対象の各テンソルのサイズは、前記正則化処理の処理対象のテンソルのサイズより小さく、前記正則化処理の処理対象のテンソルは前記忠実化処理で生成された各テンソルが結合されたテンソルであり、
前記忠実化処理と前記正則化処理とは交互に実行される、
学習方法。

【請求項5】

請求項１から３のいずれか一項に記載の学習装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、学習方法及びプログラムに関する。

【背景技術】

【0002】

推定対象の画像についての情報が少ない場合であっても、ベイズ推定を用いた推定結果を用いて元の画像を生成する技術がある。このような技術の１つは例えば圧縮センシングである。

【先行技術文献】

【非特許文献】

【0003】

【文献】Wagadarikar, Ashwin A., et al. “Video Rate Spectral Imaging Using a Coded Aperture Snapshot Spectral Imager.” Optics Express, vol. 17, no. 8, 2009, pp. 6368-6388.

【文献】Lu Gan, “BLOCK COMPRESSED SENSING OF NATURAL IMAGES”, Proc. of the 2007 15th Intl. Conf. on Digital Signal Processing (DSP 2007), 403-406.

【文献】Zhang, Jian, and Bernard Ghanem. “ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 1828-1837.

【文献】Wang, Lizhi, et al. “Hyperspectral Image Reconstruction Using a Deep Spatial-Spectral Prior.” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 8032-8041.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、そのような技術は入力される情報のべき乗に比例して演算量が増大してしまう場合があった（例えば非特許文献３及び４）。また、演算量の増大を抑制しようとすると、生成される画像の精度が低い場合があった。すなわち、演算量の増大の抑制と生成される画像の精度とを両立することは難しかった。このことは画像に限らず信号について共通する課題であった。

【0005】

上記事情に鑑み、本発明は、信号の生成に要する演算量の増大と信号の生成の精度とを両立する技術の提供を目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、フィルタを通して撮影された撮影対象の画像の画像データと、前記フィルタの状態を示すフィルタ状態情報とを含む学習データを取得する学習データ取得部と、 逆問題を解くことで処理対象のテンソルに最も近いテンソルを解とするテンソルを前記学習データに基づいて生成する処理である忠実化処理と、前記撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データを前記学習データに基づいて生成する処理である正則化処理と、を含む数理モデルである画像再構成モデルを実行する学習部と、を備え、前記忠実化処理の処理対象のテンソルの数は、前記正則化処理の処理対象のテンソルの数より大きく、前記忠実化処理の処理対象の各テンソルのサイズは、前記正則化処理の処理対象のテンソルのサイズより小さく、前記正則化処理の処理対象のテンソルは前記忠実化処理で生成された各テンソルが結合されたテンソルであり、前記忠実化処理と前記正則化処理とは交互に実行される、学習装置である。

【0007】

本発明の一態様は、フィルタを通した撮影対象の撮影により得られた信号と、前記フィルタの状態を示すフィルタ状態情報とを含む学習データを取得する学習データ取得部と、逆問題を解くことで処理対象のテンソルに最も近いテンソルを解とするテンソルを前記学習データに基づいて生成する処理である忠実化処理と、前記撮影対象の撮影により得られた信号が満たす統計的性質に近い性質を有する信号を前記学習データに基づいて生成する処理である正則化処理と、を含む数理モデルである画像再構成モデルを実行する学習部と、を備え、前記忠実化処理の処理対象のテンソルの数は、前記正則化処理の処理対象のテンソルの数より大きく、前記忠実化処理の処理対象の各テンソルのサイズは、前記正則化処理の処理対象のテンソルのサイズより小さく、前記正則化処理の処理対象のテンソルは前記忠実化処理で生成された各テンソルが結合されたテンソルであり、前記忠実化処理と前記正則化処理とは交互に実行される、学習装置である。

【0008】

本発明の一態様は、フィルタを通して撮影された撮影対象の画像の画像データと、前記フィルタの状態を示すフィルタ状態情報とを含む学習データを取得する学習データ取得ステップと、逆問題を解くことで処理対象のテンソルに最も近いテンソルを解とするテンソルを前記学習データに基づいて生成する処理である忠実化処理と、前記撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データを前記学習データに基づいて生成する処理である正則化処理と、を含む数理モデルである画像再構成モデルを実行する学習ステップと、を有し、前記忠実化処理の処理対象のテンソルの数は、前記正則化処理の処理対象のテンソルの数より大きく、前記忠実化処理の処理対象の各テンソルのサイズは、前記正則化処理の処理対象のテンソルのサイズより小さく、前記正則化処理の処理対象のテンソルは前記忠実化処理で生成された各テンソルが結合されたテンソルであり、前記忠実化処理と前記正則化処理とは交互に実行される、学習方法である。

【0009】

本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0010】

本発明により、信号の生成に要する演算量の増大と信号の生成の精度とを両立することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態の画像生成システムの概要を説明する説明図。

【図2】実施形態の画像生成システムにおける再構成ニューラルネットワークを説明する説明図。

【図3】実施形態における制御装置のハードウェア構成の一例を示す図。

【図4】実施形態における制御部の機能構成の一例を示す図。

【図5】実施形態の画像生成システムが実行する処理の流れの一例を示す図。

【図6】実施形態における学習装置のハードウェア構成の一例を示す図。

【図7】実施形態における制御部の機能構成の一例を示す図。

【図8】実施形態における学習装置が実行する処理の流れの一例を示すフローチャート。

【発明を実施するための形態】

【0012】

（実施形態）
以下、画像を例に説明を行うが、以下の説明は画像に限らず信号全般について共通に成立する。

【0013】

図１は、実施形態の画像生成システム１００の概要を説明する説明図である。まず画像生成システム１００の概要を説明する。画像生成システム１００は、撮影対象の画像の画像データを生成するシステムである。画像は例えば写真である。画像生成システム１００は、制御装置１と撮影装置２とフィルタ３とを少なくとも備える。制御装置１は、画像生成システム１００を制御する。

【0014】

撮影装置２は、１又は複数のフォトダイオードを用いるセンサであればどのようなものでもよい。センサの例としてはカメラやＸ線カメラであればなんでもよい。撮影装置２がＸ線カメラである場合、画像生成システム１００は例えばレントゲン撮影に用いられてもよい。撮影装置２は、１つのフォトダイオードで構成されてもよいし、フォトダイオードの２次元アレイであってもよい。撮影装置２は、例えばＲＧＢの原色ごとにフォトダイオードを備えてもよい。

【0015】

撮影装置２は、入射した電磁波の周波数及び強度を示す情報（以下「電磁波情報」という。）を出力する。なお、１つのフォトダイオードから構成されるのであれば電磁波情報は、周波数及び強度であり、フォトダイオードの２次元アレイから構成されるのであれば電磁波情報は周波数及び強度の空間分布を示す情報である。ここから先は撮影装置２が１つのフォトダイオードから構成される場合について説明する。

【0016】

フィルタ３は、光学定数の空間分布が電圧の印加、磁場の印加、熱の印加、荷重の印加等の所定の作用により変化する媒質である。フィルタ３は、例えばフォトリフラクティブ材料で形成された薄膜である。フィルタ３は、例えば作用の印加により誘電率又は構造が変化するフォトニック結晶であってもよい。フィルタ３の光学定数の空間分布は、制御装置１によって制御される。なお、光学定数の空間分布は、例えば開口の位置の空間分布（すなわち開口パターン）であってもよい。

【0017】

撮影装置２は、フィルタ３を通して撮影対象を撮影する。撮影装置２が１つのフォトダイオードで構成される場合、撮影装置２はフィルタ３を通して入射した信号を電気信号に変換する。なお、入射した信号を電気信号に変換する処理が撮影である。したがって、電磁波情報が示す内容は、撮影対象とフィルタ３の状態とに依存した内容である。フィルタ３の状態とは、具体的にはフィルタ３の光学定数の空間分布である。

【0018】

画像生成システム１００では、撮影装置２による電磁波情報の生成と、フィルタ状態変更処理とが、所定の終了条件が満たされるまで繰り返し実行される。フィルタ状態変更処理は、所定の終了条件が満たされるまでに得られたフィルタ状態情報及び電磁波情報に基づきフィルタ３の状態を変更する処理である。フィルタ状態情報は、フィルタ３の光学定数の空間分布を示す情報である。所定の終了条件（以下「フィルタ状態変更終了条件」という。）が満たされた時点までに得られた電磁波情報とフィルタ状態情報とに基づき逆問題を解くことで得られる情報が、記憶装置等の所定の出力先に出力される画像データ（以下「最終画像データ」という。）である。すなわち逆問題は、１又は複数の電磁波情報を用いて得られる。フィルタ状態変更処理は、制御装置１が実行する。

【0019】

フィルタ状態変更終了条件は、例えば所定の回数だけフィルタ状態変更処理が実行されたという条件である。

【0020】

フィルタ状態変更処理は、より具体的には、所定の隠蔽条件を満たす像を写さないようにフィルタ３の状態が変更される処理である。隠蔽条件は、撮影による情報の流出を抑制すべき対象の像が満たす条件である。したがって、最終画像データが示す画像（以下「最終画像」という。）には、隠蔽条件を満たす像が写っていない。隠蔽条件を満たす像は、例えば顔である。フィルタ状態変更処理は、機械学習の方法により内容が決定された処理であってもよいし、機械学習以外の方法で予め内容が決定された処理であってもよい。

【0021】

画像生成システム１００は、隠蔽条件に合致した像について、合致すると判断した時点からの情報をさらに取得しないよう画像データを生成する。言い換えると、隠蔽条件を満たす像は、隠蔽条件を満たさない像と比べて少ない情報量になるよう画像データを生成する。すなわち、画像生成システム１００は、隠蔽条件に合致した像について、光学系の制御により隠蔽条件を満たさない像と比べて少ない情報量の画像データを生成する。画像生成システム１００は、得られた画像を加工して隠蔽条件を満たす像を画像から削除し、削除の結果として隠蔽条件を満たさない像と比べて少ない情報量の画像データを得るのではない。したがって、画像生成システム１００は撮影による情報の流出を抑制することができる。

【0022】

＜フィルタ状態変更処理について＞
フィルタ状態変更処理について説明する。フィルタ状態変更処理は、画像再構成処理と、適正化処理とを含む。画像再構成処理は、電磁波情報とフィルタ状態情報とに基づき、逆問題を解く処理である。画像再構成処理は、逆問題を解くことで、撮影対象の画像の画像データを推定する。以下、画像再構成処理によって推定された画像データを再構成画像データという。以下、再構成画像データが示す画像を再構成画像という。なお、本実施例においては、画像再構成処理により少ないサンプル数から画像が再構成されることを示す。少ないサンプル数とは、例えば像を構成する画素の一部などを意図する。このように少ない情報量から画像が再構成されることで、撮影されている像を推定するために不十分な情報量からも何が撮影されているかを画像生成システム１００は推定することができる。

【0023】

逆問題を解く方法は、例えば圧縮センシングである。逆問題を解く方法は、例えば全変動最少化を正則化項としＡＤＭＭ（alternating direction method of multiplier）により求解する方法などの凸最適化の方法であってもよい。逆問題を解く方法は、例えば深層学習を用いて得られた学習済みモデルを用いた方法であってもよい。

【0024】

適正化処理は、再構成画像データに基づき、所定の隠蔽条件を満たす像を写さないようにフィルタ３の状態を変更する処理である。したがって適正化処理は、再構成画像データに基づき、フィルタ３の光学定数の空間分布を制御する処理である。したがって、適正化処理は、例えば、再構成画像データに基づき、フィルタ３の開口パターンを制御する処理である。

【0025】

＜適正化処理＞
適正化処理についてより具体的に説明する。適正化処理は、フィルタ状態情報更新処理と、更新情報適用処理とを含む。フィルタ状態情報更新処理は、再構成画像に基づきフィルタ状態情報を更新する処理である。更新後のフィルタ状態情報は、更新条件を満たすようフィルタ３の状態を示す。更新条件は、フィルタ状態情報更新処理により得られた更新後のフィルタ状態情報が示すフィルタ３の状態は、更新前よりも所定の隠蔽条件を満たす像を写さない状態である、という条件である。

【0026】

フィルタ状態情報更新処理は、再構成画像に基づき更新条件を満たすようにフィルタ状態情報を更新可能であれば、どのような方法でフィルタ状態情報を更新してもよい。

【0027】

更新情報適用処理は、フィルタ３の状態が、フィルタ状態情報更新処理によって更新された更新後のフィルタ状態情報が示す状態であるように、フィルタ３の状態を制御する処理である。

【0028】

＜フィルタ状態情報の更新の処理の１つ目の例＞
フィルタ状態情報更新処理は、例えば乱数更新処理、検出処理及びマスク処理の実行によりフィルタ状態情報を更新してもよい。

【0029】

乱数更新処理は、ガウス分布の乱数を用いてフィルタ状態情報を更新する処理である。乱数更新処理によって、フィルタ状態情報の示すフィルタ３の光学定数の空間分布が更新される。検出処理は、再構成画像に基づき隠蔽条件を満たす像を検出する処理である。隠蔽条件を満たす像の検出は、例えば隠蔽条件を満たす像が有する特徴を検出することで隠蔽条件を満たす像を検出する処理であってもよい。隠蔽条件を満たす像が例えば顔である場合、隠蔽条件を満たす像が有する特徴は、例えば目、鼻又は口である。

【0030】

マスク処理は、乱数更新処理による更新後のフィルタ状態情報が示すフィルタ３の各位置の光学定数の一部を更新する処理である。マスク処理による更新の対象は、フィルタ３の各位置のうち検出処理で検出された像に対応する位置の光学定数である。対応する位置とは、具体的には、撮影対象とフィルタ３と撮影装置２とで形成される光学系において撮影対象から来た電磁波であって撮影装置２に入射する電磁波が通過するフィルタ３上の位置である。マスク処理は、更新の対象の光学定数を、撮影対象とフィルタ３と撮影装置２とで形成される光学系において撮影対象から来た電磁波の透過率を軽減する値に変更する。

【0031】

このようにして、乱数更新処理、検出処理及びマスク処理の実行によりフィルタ状態情報が更新条件を満たすように更新される。

【0032】

＜フィルタ状態情報の更新の処理の２つ目の例＞
フィルタ状態情報更新処理は、例えば機械学習の方法により以下のフィルタ損失条件を満たすように学習が行われることで得られた学習済みモデルを用いて再構成画像データに基づきフィルタ状態情報を更新する処理（以下「機械学習処理」という。）であってもよい。フィルタ損失条件を満たすように行われる学習には、大量の画像データを模擬的な撮影対象の画像データとして用意する。学習は、上記撮影対象の画像データ（以下「第１学習データ」という。）と上記撮影対象の画像データが入力されたときに画像再構成処理を通して得られる再構成画像データ（以下「第２学習データ」という。）とが用いられる。

【0033】

フィルタ損失条件は、第１全体画像条件と、局所像違い増大条件とを含む。第１全体画像条件は、第１学習データが示す画像と第２学習データが示す画像との違いを小さくする、という条件である。局所像違い増大条件は、撮影対象の画像における隠蔽条件を満たす像と再構成画像データにおける隠蔽条件を満たす像との違いを大きくする、という条件である。このように、学習では、撮影対象の画像全体を正確に取得する一方で撮影対象の画像における隠蔽条件を満たす像については詳細の情報を取得しない処理が実行される。すなわち、学習では、撮影対象の画像における所定の隠蔽条件を満たす像を写さないようにするために、隠蔽条件を満たす像について、撮影対象の像と再構成画像の違いを大きくするという条件を満たすようにフィルタ状態情報の更新が行われる。なお、機械学習の方法は、例えば深層学習である。

【0034】

このようにして、機械学習処理の実行によりフィルタ状態情報が更新条件を満たすように更新される。

【0035】

＜敵対的学習＞
ところで、上述したように画像再構成処理は機械学習の方法により得られた学習済みモデルを用いる処理であってもよく、フィルタ状態情報更新処理もまた上述したように機械学習の方法により得られた学習済みモデルであってもよい。そこで画像再構成処理で用いられる学習済みモデルの取得と、フィルタ状態情報更新処理で用いられる学習済みモデルの取得とは互いに独立して得られてもよいが互いに独立でなくてもよい。互いに独立でないとは、具体的には、敵対的学習によって得られてもよい。

【0036】

以下、説明の簡単のため、学習の終了に関する所定の終了条件が満たされる前の数理モデルであって電磁波情報とフィルタ状態情報とに基づき再構成画像データを推定する数理モデルを、画像再構成モデルという。学習の終了に関する所定の終了条件が満たされた時点の画像再構成モデルが学習済みの画像再構成モデルであり、学習済みの画像再構成モデルが画像再構成処理で用いられる学習済みモデルである。

【0037】

以下、説明の簡単のため、学習の終了に関する所定の終了条件が満たされる前の数理モデルであって再構成画像データに基づきフィルタ状態情報を更新する数理モデル、をフィルタ状態情報更新モデルという。学習の終了に関する所定の終了条件が満たされた時点のフィルタ状態情報更新モデルが学習済みのフィルタ状態情報更新モデルであり、学習済みのフィルタ状態情報更新モデルがフィルタ状態情報更新処理で用いられる学習済みモデルである。なお、上述の機械学習処理は、フィルタ状態情報更新モデルを実行する処理であるともいえる。

【0038】

敵対的学習による画像再構成モデルが画像再構成処理で用いられる学習済みモデルとフィルタ状態情報更新処理で用いられる学習済みモデルとを得る方法を具体的に説明する。敵対的学習においては、画像再構成モデルとフィルタ状態情報更新モデルとが所定の規則にしたがって交互に更新される。フィルタ状態情報更新モデルの更新は、上述のフィルタ損失条件を満たすように更新が行われる。画像再構成モデルの更新は、再構成損失条件を満たすように更新が行われる。画像再構成モデルの更新（すなわち学習）に用いられる学習データは、電磁波情報とフィルタ状態情報とを含む。

【0039】

再構成損失条件は、第２全体画像条件と、局所像違い減少条件とを含む。第２全体画像条件は、電磁波情報とフィルタ状態情報とに基づいて得られた再構成画像の全体（すなわち第２学習データが示す画像の全体）と、第１学習データが示す画像との違いを小さくする、という条件である。局所像違い減少条件は、撮影対象の画像における隠蔽条件を満たす像と再構成画像データにおける隠蔽条件を満たす像との違いを小さくする、という条件である。

【0040】

このように敵対的学習において、フィルタ状態情報更新モデルに対しては、処理の結果得られる画像における隠蔽条件を満たす像と撮影対象の画像における隠蔽条件を満たす像との違いを大きくするように学習が行われる。一方、画像再構成モデルに対しては、処理の結果得られる画像における隠蔽条件を満たす像と撮影対象の画像における隠蔽条件を満たす像との違いを小さくするように学習が行われる。したがって、フィルタ状態情報更新モデルの学習と画像再構成モデルの学習とは敵対的な学習である。

【0041】

＜画像再構成モデルの一例＞
ここで画像再構成モデルのより具体的な例を説明する。ところで圧縮センシングで再構成画像を得てもよいことを上述したが、圧縮センシングにより解を得る１つの方法として凸最適化の方法がある。すなわち圧縮センシングは凸最適化の問題に帰着される。凸最適化の方法は、解を求める対象の数式を、補助変数を用いて忠実化項と正則化項との２つの項の和によって表し、忠実化項と正則化項とを交互に最適化していく方法である。すなわち凸最適化の方法は、忠実化項と正則化項とを自己無撞着に解く方法である。

【0042】

画像再構成モデルは、例えばこの凸最適化の方法を機械学習に反映するニューラルネットワークによって表現される。より具体的には、画像再構成モデルは、忠実化ニューラルネットワークと正則化ニューラルネットワークとをそれぞれ複数備えるニューラルネットワークによって表現される。忠実化ニューラルネットワークは、忠実化項が表す処理を表現するニューラルネットワークである。正則化ニューラルネットワークは、正則化項が表す処理を表現するニューラルネットワークである。以下、画像再構成モデルを表現するニューラルネットワークを画像再構成ニューラルネットワークという。

【0043】

なお、ニューラルネットワークは、学習により処理の内容が更新される数理モデルである。数理モデルは、実行のタイミングが予め定められた１又は複数の処理の集合である。したがって数理モデルの実行とは、数理モデルが含む各処理を予め定められた規則にしたがって実行することを意味する。

【0044】

画像再構成モデルの学習では、画像再構成ニューラルネットワークが備える各忠実化ニューラルネットワークと各正則化ニューラルネットワークとが学習により更新される。これは、忠実化項と正則化項との解を自己無撞着に算出する処理におけるパラメータの変化の仕方など、忠実化項と正則化項との解を自己無撞着に算出する処理の内容が学習により更新されることを意味する。

【0045】

ところで、上述したように、忠実化項と正則化項とは、数学的には、解を求める対象の数式を、補助変数を用いて２つに分けた際の一方と他方とである。しかしながら、忠実化項は、単に数学的に２つに分けられた一方の項を意味するのではなく、忠実化項の最適化の処理が、所定の基準との違いを最少にする値を得る処理であると解釈できるように定義された項である。正則化項は、正則化項の最適化の処理が、先験情報が示す量との違いを最少にする値を得る処理であると解釈できるように定義された項である。

【0046】

画像生成システム１００においては、忠実化項に代えて忠実化ニューラルネットワークが用いられ、正則化項に代えて正則化ニューラルネットワークが用いられるが、忠実化ニューラルネットワーク及び正則化ニューラルネットワークそれぞれについて物理的な解釈が可能な定義がなされている。以下、そのことを、図２を用いて説明する。

【0047】

図２は、実施形態の画像生成システム１００における再構成ニューラルネットワークを説明する説明図である。画像生成システム１００の再構成ニューラルネットワークは、忠実化ニューラルネットワークと正則化ニューラルネットワークとを交互に備える。すなわち、忠実化処理と正則化処理とは交互に実行される。

【0048】

画像生成システム１００において忠実化ニューラルネットワークには、１階以上のテンソルで表現される画像データが、よりサイズの小さい複数のテンソルに分割された状態で入力される。以下、よりサイズの小さい複数のテンソルを、ブロックテンソルという。ブロックは、分割前の画像データが行列で表現される場合には、小行列である。図２における分割処理が、処理対象の１階以上のテンソルで表現される画像データを複数のブロックテンソルに分割する処理である。分割処理では、ブロックテンソル同士の配置を示す情報（以下「ブロックテンソル配置情報」という。）も生成される。

【0049】

忠実化ニューラルネットワークでは、入力されたブロックテンソルごとに所定の基準との違いを最少にするテンソル（以下「第１暫定最適化ブロックテンソル」という。）を出力する処理（以下「忠実化処理」という。）が実行される。したがって忠実化ニューラルネットワークは、入力されたブロックテンソルと同数の第１暫定最適化ブロックテンソルを出力する。忠実化処理では、フィルタ状態情報も用いられる。

【0050】

忠実化処理が、忠実化ニューラルネットワークが表現する処理であって忠実化項の表す処理である。忠実化処理における所定の基準は、入力されたブロックテンソルそのものである。一般に、入力された情報から推測された結果を用いて、推測の根拠となった情報を推測する場合、必ずしも推測の根拠となった情報を得ることはできない。

【0051】

忠実化処理では、入力されたブロックテンソルから得られた結果を用いて入力されたブロックテンソルを推測し、推測の結果を入力されたブロックテンソルと比較する。忠実化処理では、その比較の結果を最小にする画像を第１暫定最適化ブロックテンソルとして出力する。すなわち、忠実化処理では逆問題を解いた際に入力されたブロックテンソルに最も近いテンソルを解とするテンソルを第１暫定最適化ブロックテンソルとして出力する。

【0052】

画像生成システム１００において正則化ニューラルネットワークには、前段の忠実化ニューラルネットワークが出力した複数の第１暫定最適化ブロックテンソルが結合された状態で入力される。図２において結合処理と記載された処理が、複数の第１暫定最適化ブロックテンソルを結合する処理である。

【0053】

結合処理では、ブロックテンソル配置情報が示す各ブロックテンソルの配置で各ブロックテンソルに対応する最適化ブロックテンソルが配置された状態、で結合される。以下、結合処理によって生成されたテンソルを結合済みテンソルという。結合済みテンソルはブロックテンソルの結合されたものであるので、結合済みテンソルのサイズの方が各ブロックテンソルのサイズよりも大きい。

【0054】

正則化ニューラルネットワークでは、入力された結合済みテンソルに対して、所定の先見情報が示す量との違いを最少にするテンソル（以下「第２暫定最適化ブロックテンソル」という。）を出力する処理（以下「正則化処理」という。）が実行される。正則化処理が、正則化ニューラルネットワークが表現する処理であって正則化項の表す処理である。

【0055】

所定の先見情報が示す量は、学習によって更新される基準である。先見情報が示す量は、具体的には、撮影対象の画像の各画素についての統計的性質を示す量である。統計的性質とは、例えば離散コサイン変換を行ったときに、多くの係数が０となる性質である。離散コサイン変換を行ったときに、多くの係数が０となる性質は、スパース性と呼ばれる。先見情報が示す量との違いが小さい画像ほど、撮影対象の画像に近い。このように、正則化処理は、撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データ（すなわち第２暫定最適化ブロックテンソル）を生成する処理である。

【0056】

以下の式（１）は忠実化処理を表現する数式の一例であり、式（２）は正則化処理を表現する数式の一例である。

【0057】

【数1】

【0058】

【数2】

【0059】

式（１）及び（２）において、ｆは撮影対象の画像の画像データを示すベクトルである。また、ｆとｈは添え字ｋを用いたときは、繰り返し計算の第ｋ回目おける撮影対象の画像の暫定再構成画像データを表す。式（１）及び（２）において、ｕは、補助変数を表す。ｋは、自己無撞着処理の繰り返しの回数である。ｆは撮影対象の画像の画像データを示すベクトルである。ｇは電磁波情報を示す。Φはフィルタ状態情報を示すテンソルである。εは勾配法におけるステップサイズを示す。ηは罰則項の重みを示す。τは重みパラメータを示す。Ｉは単位行列を示す。Ｒは正則化項を示す。関数Ｈは、式（２）をｆ及びｕを入力とした関数である。

【0060】

上述したように忠実化処理では、入力されたブロックテンソルから得られた結果を用いて、入力されたブロックテンソルを推測し、推測の結果を入力されたブロックテンソルと比較する。忠実化処理ではその比較の結果、入力されたブロックテンソルに最も近いテンソルを解とするテンソルを第１暫定最適化ブロックテンソルとして出力する。したがって、忠実化処理は、入力されたブロックテンソルに基づきフィルタ状態情報を用いて結果を得る処理と、得た結果からフィルタ状態情報を用いて逆問題を解くことで入力されたブロックテンソルを推定する処理とを実行する。逆問題を解く際に用いられるフィルタ状態情報は、より具体的には、フィルタ状態情報を表現する写像Φの逆像である。フィルタ状態情報を表現する写像は要素が実数であるので、逆像は写像Φの転置行列に比例する行列である。したがって、入力されたテンソルからフィルタ状態情報を用いて得られた結果を用いて入力されたテンソルを推定する処理を実行する忠実化処理は、写像Φを表現するテンソルのサイズのべき乗の演算量を必要とする。

【0061】

すなわち、忠実化処理では、入力された第ｋ回目おける撮影対象の画像の暫定再構成画像データ（ｈ^（ｋ））と観測した電磁波分布情報ｇとの整合性を評価し、入力された第ｋ回目おける撮影対象の画像の暫定再構成画像データを観測した電磁波分布情報と整合するように変換して出力する。この問題をステップサイズεとして勾配法を用いて求める際に、フィルタ状態情報を表現する写像Φの転置行列とフィルタ状態情報を表現する写像Φの行列積が必要である。したがって、忠実化処理では、したがって、忠実化処理は、写像Φを表現するテンソルのサイズのべき乗の演算量を必要とする。

【0062】

式（１）の第１項が示すように、忠実化処理ではフィルタ状態情報を示すΦについて、ΦとΦの転置行列との行列積を扱う。一方、関数Ｈが示すように、正則化処理では入力されたテンソルにＫ通りのフィルタを畳み込む処理が実行される。すなわち正則化処理では忠実化処理と異なり、演算量がべき乗では増加しない。

【0063】

＜分割処理と結合処理との奏する効果について＞
上述したように忠実化処理ではブロックテンソルごとに処理が実行される。各ブロックテンソルに対する演算においてΦのサイズは演算対象のブロックテンソルのサイズと同じサイズだけが用いられればよい。なぜならＲ^{（Ｌ２×Ｌ２）}に属するΦ^ＴΦとＲ^{（Ｌ２×１）}に属するｆとの積が、Ｒ^{（ｌ２×ｌ２）}に属するΦ´^ＴΦ´とＲ^{（ｌ２×１）}に属するｆ´とに分割されるからである。なお、Φは、フィルタ状態情報であり、分割可能な構造を持たせることが可能である。分割可能とは、Φとブロックテンソルの積を、それぞれ分割した後に演算しても結果が一致することを意味する。分割処理が実行されない場合、忠実化処理では入力されたテンソルのサイズＮに応じたＮの４乗の演算が必要であるが、分割処理によってｐ個のサイズＭのブロックテンソルが生成された場合には、Ｍの４乗のｐ倍の演算量でよい。なお入力されたテンソルは処理対象のテンソルである。なお、非特許文献１と非特許文献２とは、分割可能な構造を持つΦの一例である。

【0064】

上述したように正則化処理では結合処理が実行される。正則化処理では、画像全体が撮影対象の画像全体に近い画像の生成が重要である。したがって、ブロックテンソルそれぞれについての性質だけではなく、ブロックテンソル間の配置の情報が重要である。そのため忠実化処理の場合と異なり、正則化処理では結合処理で得られたテンソルが用いられる。また正則化処理では上述したように忠実化処理と異なり、演算量がべき乗では増加しない。したがって、ブロックテンソルを用いるよりも、結合処理で得られたテンソルを用いる方が良い。

【0065】

このように画像再構成モデルは、処理対象のテンソルのべき乗に比例する演算を行う処理であって逆問題を解いた際に処理対象のテンソルに最も近いテンソルを解とするテンソルを学習データに基づき生成する処理である忠実化処理を実行する。さらに画像再構成モデルでは、処理対象のテンソルに比例する演算を行う処理であって撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データを学習データに基づき生成する処理である正則化処理を実行する。

【0066】

また、ブロックテンソルの結合が結合済みテンソルであることは次のことを意味する。すなわち、忠実化処理の処理対象のテンソルの数は、正則化処理の処理対象のテンソルの数より大きく、忠実化処理の処理対象の各テンソルのサイズは、正則化処理の処理対象のテンソルのサイズより小さい。

【0067】

また画像再構成モデルの学習では、生成されるテンソルがより一層逆問題を解いた際に処理対象のテンソルに近いように忠実化ニューラルネットワークが更新される。また画像再構成モデルの学習では、生成されるテンソルがより一層撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データを生成するように正則化ニューラルネットワークが更新される。

【0068】

図３は、実施形態における制御装置１のハードウェア構成の一例を示す図である。制御装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。制御装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４、出力部１５及びフィルタ制御回路１６を備える装置として機能する。

【0069】

より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、制御装置１は、制御部１１、入力部１２、通信部１３、記憶部１４、出力部１５及びフィルタ制御回路１６を備える装置として機能する。

【0070】

制御部１１は、制御装置１が備える各種機能部の動作を制御する。制御部１１は、例えばフィルタ状態変更処理を実行する。制御部１１は、例えばフィルタ制御回路１６の動作を制御することで、フィルタ３の状態を制御する。制御部１１は、例えばフィルタ状態変更処理の実行により生じた各種情報を記憶部１４に記録する。

【0071】

入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を制御装置１に接続するインタフェースとして構成されてもよい。入力部１２は、制御装置１に対する各種情報の入力を受け付ける。

【0072】

通信部１３は、制御装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば撮影装置２である。通信部１３は、撮影装置２との通信によって、電磁波情報を取得する。

【0073】

記憶部１４は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１４は制御装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えばフィルタ状態変更処理の実行により生じた各種情報を記憶する。記憶部１４は、例えばフィルタ状態情報を記憶する。

【0074】

出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイや液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を制御装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えば最終画像データを出力する。

【0075】

フィルタ制御回路１６は、フィルタ３の状態を変化させる作用をフィルタ３に与える回路である。フィルタ制御回路１６は、例えばフィルタ３に電圧を印加する回路である。

【0076】

図４は、実施形態における制御部１１の機能構成の一例を示す図である。制御部１１は電磁波情報取得部１１１、フィルタ状態制御部１１２及び記憶制御部１１３を備える。電磁波情報取得部１１１は、撮影装置２が生成した電磁波情報を取得する。フィルタ状態制御部１１２は、フィルタ状態変更処理と、終了判定処理とを実行する。

【0077】

終了判定処理は、フィルタ状態変更終了条件が満たされたか否かを判定する処理である。記憶制御部１１３は、各種情報を記憶部１４に記録する。記憶制御部１１３は、例えばフィルタ状態制御部１１２がフィルタ３の状態を変更するたびに、制御の結果生じるフィルタ３の状態を示すフィルタ状態情報を記憶部１４に記録する。

【0078】

図５は、実施形態の画像生成システム１００が実行する処理の流れの一例を示す図である。撮影装置２が電磁波情報を生成する（ステップＳ１０１）。次に電磁波情報取得部１１１がステップＳ１０１で生成された電磁波情報を、通信部１３を介して取得する（ステップＳ１０２）。次に、フィルタ状態制御部１１２が、画像再構成処理を実行する（ステップＳ１０３）。再構成画像処理の実行により再構成画像データが生成される。

【0079】

フィルタ状態制御部１１２が、終了判定処理を実行する（ステップＳ１０４）。フィルタ状態変更終了条件が満たされた場合（ステップＳ１０４：ＹＥＳ）、処理が終了する。処理が終了した時点の再構成画像データが、最終画像データである。

【0080】

一方、フィルタ状態変更終了条件が満たされない場合（ステップＳ１０４：ＮＯ）、フィルタ状態制御部１１２が、フィルタ状態情報更新処理を実行する（ステップＳ１０５）。より具体的には、フィルタ状態制御部１１２が、記憶部１４に記憶されたフィルタ状態情報とステップＳ１０３で取得された再構成画像データとに基づき、フィルタ状態情報を更新する。

【0081】

次に、フィルタ状態制御部１１２が、更新情報適用処理を実行する（ステップＳ１０６）。更新情報適用処理の実行により、フィルタ状態制御部１１２は、フィルタ制御回路１６の動作を制御して、フィルタ３の状態が、フィルタ状態情報更新処理によって更新された更新後のフィルタ状態情報が示す状態であるように、フィルタ３の状態を制御する。次にステップＳ１０１の処理に戻る。

【0082】

画像再構成モデルは、例えば以下の図６に示す学習装置４によって生成される。図６は、実施形態における学習装置４のハードウェア構成の一例を示す図である。学習装置４は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部４１を備え、プログラムを実行する。学習装置４は、プログラムの実行によって制御部４１、入力部４２、通信部４３、記憶部４４及び出力部４５を備える装置として機能する。

【0083】

より具体的には、プロセッサ９３が記憶部４４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、学習装置４は、制御部４１、入力部４２、通信部４３、記憶部４４及び出力部４５を備える装置として機能する。

【0084】

制御部４１は、学習装置４が備える各種機能部の動作を制御する。制御部４１は、例えば画像再構成モデル学習処理を実行する。画像再構成モデル学習処理は、電磁波情報とフィルタ状態情報とに基づき画像再構成モデルを所定の終了条件（以下「学習終了条件」という。）が満たされるまで更新する処理である。

【0085】

学習終了条件は、例えば所定の回数の学習が行われたという条件である。学習終了条件は、例えば、学習による画像再構成モデルの変化が所定の変化より小さいという条件であってもよい。学習終了条件が満たされた時点の画像再構成モデルが学習済みの画像再構成モデルである。

【0086】

制御部４１は、例えば画像再構成モデル学習処理の実行により生じた各種情報を記憶部４４に記録する。

【0087】

入力部４２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部４２は、これらの入力装置を学習装置４に接続するインタフェースとして構成されてもよい。入力部４２は、学習装置４に対する各種情報の入力を受け付ける。入力部４２には、例えば電磁波情報とフィルタ状態情報との対が画像再構成モデル学習処理で用いられる学習データとして入力される。

【0088】

通信部４３は、学習装置４を外部装置に接続するための通信インタフェースを含んで構成される。通信部４３は、有線又は無線を介して外部装置と通信する。

【0089】

記憶部４４は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部４４は学習装置４に関する各種情報を記憶する。記憶部４４は、例えば入力部４２又は通信部４３を介して入力された情報を記憶する。記憶部４４は、例えば画像再構成モデル学習処理の実行により生じた各種情報を記憶する。記憶部４４は、例えば電磁波情報とフィルタ状態情報との対を学習データとして記憶する。記憶部４４は、予め更新対象の画像再構成モデルを記憶する。

【0090】

出力部４５は、各種情報を出力する。出力部４５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部４５は、これらの表示装置を学習装置４に接続するインタフェースとして構成されてもよい。出力部４５は、例えば入力部４２に入力された情報を出力する。

【0091】

図７は、実施形態における制御部４１の機能構成の一例を示す図である。制御部４１は、学習データ取得部４１１、学習部４１２、記憶制御部４１３を備える。学習データ取得部４１１は電磁波情報とフィルタ状態情報との対を学習データとして取得する。

【0092】

学習部４１２は、画像再構成モデル学習処理を実行する。画像再構成モデル学習処理の実行により、学習部４１２は、学習データ取得部４１１の取得した学習データに基づいて、画像再構成モデルの学習を行う。学習に際しては、更新対象の画像再構成モデルが実行され、画像再構成モデルの実行の結果に基づいて画像再構成モデルが更新される。画像再構成モデルは、忠実化処理と正則化処理とを含むので、画像再構成モデルの実行は、忠実化処理と正則化処理との実行でもある。

【0093】

記憶制御部４１３は、各種情報を記憶部４４に記録する。

【0094】

図８は、実施形態における学習装置４が実行する処理の流れの一例を示すフローチャートである。学習データ取得部４１１が電磁波情報とフィルタ状態情報との対を学習データとして取得する（ステップＳ２０１）。次に学習部４１２が、ステップＳ２０１で取得された学習データに基づき、画像再構成モデルを更新する（ステップＳ２０２）。次に学習部４１２は、学習終了条件が満たされたか否かを判定する（ステップＳ２０３）。学習終了条件が満たされた場合（ステップＳ２０３：ＹＥＳ）、処理が終了する。一方、学習終了条件が満たされない場合（ステップＳ２０３：ＮＯ）、ステップＳ２０１の処理に戻る。

【0095】

このように構成された実施形態における制御装置１は、フィルタ３の制御により隠蔽条件を満たす像を写さない画像の画像データを生成する。すなわち、制御装置１は、光学系の制御により隠蔽条件を満たす像を写さない画像の画像データを生成する。制御装置１は、得られた画像を加工して隠蔽条件を満たす像を画像から削除し、削除の結果として隠蔽条件を満たす像を写さない画像を得るのではない。したがって、制御装置１は撮影による情報の流出を抑制することができる。

【0096】

このように構成された実施形態における学習装置４は、忠実化処理と正則化処理とを実行する。忠実化処理は入力されたテンソルのべき乗に比例する演算を行う処理であって逆問題を解いた際に入力されたテンソルに最も近いテンソルを解とするテンソルを生成する処理である。

【0097】

正則化処理は、入力されたテンソルに比例する演算を行う処理であって撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データを生成する処理である。そして、忠実化処理の処理対象はブロックテンソルであり、正則化処理の処理対象は結合済みテンソルである。そのため、学習装置４は、画像の生成に要する演算量の増大と画像の生成の精度との両立が可能である。

【0098】

（変形例）
なお画像再構成モデル学習処理は制御装置１が実行してもよい。すなわち制御部１１は、学習データ取得部４１１と学習部４１２とを備えてもよい。

【0099】

なお、忠実化ニューラルネットワークと正則化ニューラルネットワークとは、入力されるデータの違いを除いて、以下の参考文献１に記載のニューラルネットワークであってもよい。

【0100】

参考文献１：Yoko Sogabe, Shiori Sugimoto, Takayuki Kurozumi, and Hideaki Kimata “ADMM-INSPIRED RECONSTRUCTION NETWORK FOR COMPRESSIVE SPECTRAL IMAGING” ICIP 2020, 2865-2869

【0101】

制御装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、制御装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

【0102】

学習装置４は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置４が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

【0103】

なお、制御装置１は画像生成装置の一例である。なお、電磁波情報はフィルタ３を通して撮影された撮影対象の画像の画像データの一例である。制御装置１及び学習装置４の処理対象が画像に代えて信号である場合、制御装置１及び学習装置４は、電磁波情報に代えてフィルタ３を通した撮影対象の撮影により得られた信号を用いる。また、このような場合、正則化処理が生成するものは、撮影対象の画像が満たす統計的性質に近い性質を有する画像の画像データに代えて、撮影対象の撮影により得られた信号が満たす統計的性質に近い性質を有する信号である。なお、フィルタ３は取得部の一例である。なお、撮影装置２は、変換部の一例である。なお、フィルタ３を透過した信号、すなわち撮影装置２に入射する信号は、観測信号の一例である。なお、フォトダイオードの出力する電気信号は、部分画像信号の一例である。なお、所定の隠蔽条件を満たす像は所定の属性に属する被写体の一例である。撮影対象の画像は、画像を構成する領域の一例である。

【0104】

なお、制御装置１及び学習装置４の各機能の全て又は一部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0105】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0106】

１００…画像生成システム、 １…制御装置、 ２…撮影装置、 ３…フィルタ、 ４…学習装置、 １１…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 １６…フィルタ制御回路、 １１１…電磁波情報取得部、 １１２…フィルタ状態制御部、 １１３…記憶制御部、 ４１…制御部、 ４２…入力部、 ４３…通信部、 ４４…記憶部、 ４５…出力部、 ４１１…学習データ取得部、 ４１２…学習部、 ４１３…記憶制御部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】