特開 2024-32496 学習装置、ノイズ低減装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024032496

(43)【公開日】2024-03-12

(54)【発明の名称】学習装置、ノイズ低減装置、及びプログラム

(51)【国際特許分類】

   G06T 5/70 20240101AFI20240305BHJP

   G03H 1/08 20060101ALI20240305BHJP

【ＦＩ】

G06T5/00 705

G03H1/08

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022136176

(22)【出願日】2022-08-29

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】佐々木 桃子

(72)【発明者】

【氏名】信川 輝吉

(72)【発明者】

【氏名】片野 祐太郎

【テーマコード（参考）】

2K008

5B057

【Ｆターム（参考）】

2K008AA08

2K008FF27

5B057CA08

5B057CA13

5B057CA16

5B057CB08

5B057CB13

5B057CB16

5B057CE02

5B057DA16

5B057DB03

5B057DB09

5B057DC40

(57)【要約】

【課題】再構成像の解像度とノイズ低減量がトレードオフになることなく、ホログラムのノイズを低減することができるノイズ低減装置及びその学習装置を提供する。
【解決手段】本発明のノイズ低減装置は、入力された複素振幅分布から振幅画像を抽出する振幅・位相分離部と、抽出された前記振幅画像からノイズを低減する学習済み振幅ノイズ低減モデルを備えたノイズ低減部とを備え、入力された複素振幅分布から抽出された位相情報と、前記ノイズ低減部でノイズ低減された振幅画像とを組み合わせて、ノイズ低減された複素振幅分布を出力することを特徴とする。また、本発明の学習装置は、光の複素振幅分布の振幅画像からノイズを低減するための機械学習モデルを生成することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

光の複素振幅分布の振幅画像からノイズを低減するための機械学習モデルを生成する学習装置であって、
ノイズを有する複素振幅分布の振幅画像を入力とし、ノイズの無い前記振幅画像を出力の正解データとして、前記機械学習モデルの学習を行う、学習装置。

【請求項2】

請求項１に記載の学習装置において、
前記機械学習モデルは、畳み込みニューラルネットワークで構成される、学習装置。

【請求項3】

請求項２に記載の学習装置において、
ノイズの無い前記振幅画像は、ノイズが異なる状態でホログラムを複数回撮影し、平均化して取得したノイズ無しホログラム、又はシミュレーションで作成したノイズ無しホログラムから抽出された振幅画像である、学習装置。

【請求項4】

光の複素振幅分布のノイズを低減するノイズ低減装置であって、
入力された複素振幅分布から振幅画像を抽出する振幅・位相分離部と、
抽出された前記振幅画像からノイズを低減する学習済み振幅ノイズ低減モデルを備えたノイズ低減部と
を備え、
入力された複素振幅分布から抽出された位相情報と、前記ノイズ低減部でノイズ低減された振幅画像とを組み合わせて、ノイズ低減された複素振幅分布を出力する、ノイズ低減装置。

【請求項5】

請求項４に記載のノイズ低減装置において、
前記学習済み振幅ノイズ低減モデルは、畳み込みニューラルネットワークで構成される、ノイズ低減装置。

【請求項6】

請求項５に記載のノイズ低減装置において、
撮影したホログラムから複素振幅分布を抽出する前処理装置を、前記振幅・位相分離部の前段に備えている、ノイズ低減装置。

【請求項7】

コンピュータを、請求項１乃至３のいずれか一項に記載の学習装置として機能させる、プログラム。

【請求項8】

コンピュータを、請求項４乃至６のいずれか一項に記載のノイズ低減装置として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、ノイズ低減装置、及びプログラムに関し、特に、デジタルホログラフィの技術に基づいて３次元情報を取得するための学習装置、ノイズ低減装置、及びプログラムに関する。

【背景技術】

【0002】

デジタルホログラフィの技術は、被写体の３次元像を撮影・表示できるが、その像にノイズが多く含まれる傾向にある。コヒーレントな光を用いるデジタルホログラフィでは、光源のコヒーレンスが高いことに起因したスペックルノイズが画質低下の主因であり、インコヒーレントな光を用いるデジタルホログラフィでは、干渉信号の大きさが小さいことに起因して、撮像素子のランダムノイズが画質低下の主因となる。

【0003】

このノイズを低減するため、ローパスフィルタリングに基づいた信号処理技術が多く提案されているが、ローパスフィルタリングは、上述のノイズを低減できる代わりに、再構成像の解像度が低下してしまう（被写体自体もぼやけてしまう）欠点がある。つまり、従来型の信号処理技術では、ホログラムからの再構成像の解像度とノイズ低減量がトレードオフの関係にあり、解像度を維持してノイズを低減することは困難であった。

【0004】

近年、この従来型のノイズ低減技術の欠点を改善するために、機械学習により、コヒーレント光を使ったデジタルホログラフィのノイズを低減する方法が提案されている（非特許文献１，２）。

【0005】

非特許文献１には、コヒーレント光を使ったデジタルホログラフィの分野で、撮影したホログラムに対して再構成計算を適用して得たノイズを含んだ合焦像を入力とし、ニューラルネットワークの機械学習モデルを用いてノイズを低減した合焦像を出力する、ノイズ低減手法が開示されている。

【0006】

また、非特許文献２には、コヒーレント光を使ったデジタルホログラフィの分野で、撮影したホログラムに対してバンドパスフィルタを適用することにより得られる多視点の合焦した再構成像群(ライトフィールドデータ)を生成し、これをスペックルノイズ除去用に改良したＤｎＣＮＮ（denoise convolutional neural network）に入力することで、ノイズを低減し、ノイズの少ないホログラムを生成する手法が開示されている。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】W. Jeon, et al., “Speckle noise reduction for digital holographic images using multi-scale convolutional neural networks”, Optics Letters Vol.43， No.17, pp.4240-4243, 2018年9月

【非特許文献2】D.-Y. Park, et al., “Hologram conversion for speckle free reconstruction using light field extraction and deep learning”, Optics Express Vol.28， No.4, pp.5393-5409, 2020年2月

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、非特許文献１の手法は、学習時のデータセットが合焦像に限られており、ネットワークへの入出力画像も合焦像に限定されている。したがって、奥行き方向のある一つの距離に配置された被写体を撮影する場合にしか動作しない。仮に、奥行き方向のさまざまな距離に、複数の被写体が配置されていると、デフォーカス像が多く発生し、これらの信号が誤って低減される恐れがある。さらには、デジタルホログラフィで発生するノイズは、像を再構成する際の伝搬距離に応じて、ノイズの大きさ及び統計的な性質が変化することが知られており、伝搬距離が変わった場合には機能しないことが懸念される。

【0009】

また、非特許文献２の手法は、ホログラム面（撮像素子面）から被写体の距離を十分に近くする必要があり、撮影対象が限定的となる。さらに、多視点の再構成像群は、バンドパスフィルタにより抽出するため、ノイズを低減したホログラムから再構成させる像の、面内の分解能と奥行き分解能がトレードオフの関係にある。

【0010】

このように、従来提案された機械学習を用いる方法では、ネットワークの設計思想・応用方法が、合焦した２次元の再構成像のみを扱うことに限定されており、本来デジタルホログラフィがもつ３次元像の撮影・表示機能を最大限に生かせない構成になっている。また、従来の手法は再構成像のノイズを低減する技術であるため、空間光変調器を用いて３次元映像を表示する際には、ノイズを低減した再構成像から再度、ホログラムを生成する必要があり、計算負荷が高い。

【0011】

したがって、上記のような問題点に鑑みてなされた本発明の目的は、再構成像の解像度とノイズ低減量がトレードオフになることなく、また、被写体への撮影制限がなく、ホログラムのノイズを低減することができるノイズ低減装置及びプログラムを提供することにある。また、ホログラムのノイズを低減するための学習済みモデルを生成する学習装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0012】

上記課題を解決するために本発明に係る学習装置は、
（１）光の複素振幅分布の振幅画像からノイズを低減するための機械学習モデルを生成する学習装置であって、ノイズを有する複素振幅分布の振幅画像を入力とし、ノイズの無い前記振幅画像を出力の正解データとして、前記機械学習モデルの学習を行う。

【0013】

（２）上記（１）の学習装置は、更に、前記機械学習モデルが、畳み込みニューラルネットワークで構成されることが好ましい。

【0014】

（３）上記（１）又は（２）の学習装置は、更に、ノイズの無い前記振幅画像が、ノイズが異なる状態でホログラムを複数回撮影し、平均化して取得したノイズ無しホログラム、又はシミュレーションで作成したノイズ無しホログラムから抽出された振幅画像であることが好ましい。

【0015】

上記課題を解決するために本発明に係るノイズ低減装置は、
（４）光の複素振幅分布のノイズを低減するノイズ低減装置であって、入力された複素振幅分布から振幅画像を抽出する振幅・位相分離部と、抽出された前記振幅画像からノイズを低減する学習済み振幅ノイズ低減モデルを備えたノイズ低減部とを備え、入力された複素振幅分布から抽出された位相情報と、前記ノイズ低減部でノイズ低減された振幅画像とを組み合わせて、ノイズ低減された複素振幅分布を出力する。

【0016】

（５）上記（４）のノイズ低減装置は、更に、学習済み振幅ノイズ低減モデルが、畳み込みニューラルネットワークで構成されることが好ましい。

【0017】

（６）上記（４）又は（５）のノイズ低減装置は、更に、撮影したホログラムから複素振幅分布を抽出する前処理装置を、前記振幅・位相分離部の前段に備えていることが好ましい。

【0018】

上記課題を解決するために本発明に係るプログラムは、
（７）コンピュータを、上記（１）～（３）のいずれかの学習装置として機能させる、プログラムである。

【0019】

また、上記課題を解決するために本発明に係るプログラムは、
（８）コンピュータを、上記（４）～（６）のいずれかのノイズ低減装置として機能させる、プログラムである。

【発明の効果】

【0020】

本発明におけるノイズ低減装置及びプログラムによれば、再構成像の解像度とノイズ低減量がトレードオフになることなく、ホログラムのノイズを低減することができる。ホログラム自体のノイズを低減していることから、被写体への撮影制限がなく、２次元像だけでなく、３次元像のノイズも低減することができる。また、本発明における学習装置及びプログラムによれば、ホログラムのノイズを低減するための学習済みモデルを生成することができる。

【図面の簡単な説明】

【0021】

【図1】実施の形態１の学習装置の構成の一例を示すブロック図である。

【図2】複素振幅分布の抽出について説明する図である。

【図3】ニューラルネットワークの構成例を示す図である。

【図4】実施の形態１の学習装置による学習プロセスの一例を示すフローチャートである。

【図5】実施の形態２のノイズ低減装置の構成の一例を示すブロック図である。

【図6】本発明のノイズ低減装置の効果を検証する図である。

【図7】本発明のノイズ低減装置の効果を検証する図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態について、図面を用いて説明する。

【0023】

（実施の形態１）
図１は、本発明の実施の形態１の学習装置の構成の一例を示すブロック図である。本発明の実施の形態１に係る学習装置１００は、光の複素振幅分布の振幅画像からノイズを低減するための振幅ノイズ低減モデルの学習（機械学習）を行う。学習装置１００は、その前段に学習用振幅画像作成装置１１０を備えていてもよい。学習用振幅画像作成装置１１０は、学習装置１００の入力となる学習用振幅画像（学習データ）を生成する。

【0024】

［学習データ構築］
学習データ構築の一例を説明する。本実施形態の学習装置１００は、光（物体光）の複素振幅分布の振幅画像を学習データとする。ノイズを低減するモデルの学習のためには、ノイズを有する振幅画像（入力用データ）とノイズの無い振幅画像（正解データ・出力用データ）を作成し、これらを組み合わせて学習データとする。

【0025】

複素振幅分布の振幅画像を生成するためには、まず、位相シフト量が異なる複数枚のホログラムを取得する。これらは実験で集めてもシミュレーションで集めてもよい。ここで実験とは、例えば、実際に撮影装置でホログラムを撮影することをいう。また、シミュレーションとは、撮影条件を組み込んだ光波伝搬計算のシミュレーションでホログラムを生成することをいう。

【0026】

ノイズの無いホログラムは、例えば次のような手順で作成する。実験でホログラムを集める場合、コヒーレントな光を使ったデジタルホログラフィでは、被写体への照射光を拡散板に透過させ、その拡散板を回転させることで、相関のないスペックルノイズを複数生成し、それらを平均化することで、ノイズの少ないホログラムデータが得られる。また、インコヒーレントな光を使ったデジタルホログラフィでは、撮像素子のランダムノイズが主因であるため、単に、複数枚のホログラムを撮影して、それらを平均化すればよい。シミュレーションで集める場合には、上述の物理モデルに準拠したシミュレーションモデルを構築して、ノイズの無いホログラムを計算で生成すればよい。

【0027】

したがって、一つの位相シフト量に対して、ノイズが異なる状態でホログラムを複数回撮影し、十分な枚数のホログラムを取得し、これらを平均化することで、実質的にノイズ無しのホログラムデータを作成する。或いは、シミュレーションでノイズ無しのホログラムを作成する。そして、異なる位相シフト量に対して同様の処理を行うことで、位相シフト量が異なる複数のノイズ無しのホログラムを取得することができる。

【0028】

一方、ノイズを有するホログラムは、上述の一つの位相シフト量に対して複数枚撮影したホログラムのうちの任意の１枚を用いてもよいし、或いは、ノイズ無しのホログラムに対して人為的にノイズを加えて作成してもよい。そして、異なる位相シフト量に対して同様の処理を行うことで、位相シフト量が異なる複数のノイズ有りのホログラムを取得することができる。

【0029】

位相シフト量が異なる複数枚のノイズ有りのホログラムと、複数枚のノイズ無しのホログラムに対して、例えば位相シフト法を適用し、光（物体光）の複素振幅分布（振幅・位相情報）を得る。この複素振幅分布から振幅画像（振幅情報）が得られる。

【0030】

“ノイズ有りホログラムから得た振幅画像”と、“ノイズ無しホログラムから得た振幅画像”（これは学習時の正解データとなる。）をペアとし、学習データである「ホログラム振幅データセット」が得られる。

【0031】

学習用振幅画像作成装置１１０の処理について説明する。学習用振幅画像作成装置１１０は、学習用ホログラムを入力とし、学習用振幅画像を出力する。この学習用振幅画像は、学習装置１００の入力となり、振幅ノイズ低減モデルの機械学習の学習データ（教師データ）となる。学習用振幅画像作成装置１１０は、複素振幅分布抽出部１３と、振幅画像抽出部１４とを備えている。

【0032】

複素振幅分布抽出部１３には、デジタルホログラフィの撮影装置で撮影した、あるいはシミュレーションにより生成した位相シフト量が異なる複数枚（Ｎ枚）のホログラムが、学習用ホログラムとして入力される。複素振幅分布抽出部１３は、入力された学習用ホログラムから、物体光の振幅・位相情報である複素振幅分布を抽出する。

【0033】

図２は、複素振幅分布（「複素振幅情報」ということがある。）の抽出について説明する図である。Ｎ枚（図２では、Ｎ＝４）のホログラムの強度分布を、Ｉ_j(x,y) (j=1, 2, … N) とし、各ホログラムに付与されている位相シフト量をφ_j(x,y) (j=1, 2, … N) として、（１）式に示す位相シフト法に基づく演算により、物体光の振幅Ａ(x,y)・位相φ(x,y)を合わせた複素振幅を得る。なお、虚数をｉとする。この処理により、撮影したホログラムに含まれる不要な光成分である直接光・共役像を除去できる。さらに、撮像素子のノイズ成分を低減することができる。なお、参照光に球面位相、線形位相、あるいは光学系の収差成分が含まれる場合には、それらを除去してもよい。また、複素振幅情報を得る方法として、位相シフト法に限定されることはなく、他のフーリエ縞解析、反復位相回復法、強度輸送方程式等を用いてもよい。

【0034】

【数1】

【0035】

（１）式により得られた複素振幅に対して、絶対値を計算することで振幅Ａ(x,y)を、偏角を計算することで位相φ(x,y)を、それぞれ個別に抽出できる。図２（下段）は、振幅Ａ(x,y)と位相φ(x,y)を分離して、複素振幅分布を示している。

【0036】

図１において、学習用振幅画像作成装置１１０の振幅画像抽出部１４は、複素振幅分布抽出部１３で抽出された複素振幅分布から、振幅画像（振幅Ａ(x,y)）を抽出する。この振幅画像（学習用振幅画像）のみが学習装置１００の入力となる。

【0037】

なお、学習装置１００のもう一方のデータである正解振幅画像は、学習用振幅画像と同様の手順により作成する。すなわち、前述した位相シフト量が異なる複数枚のノイズ無しのホログラムに対して、複素振幅分布抽出部１３と同等の処理を行い、ノイズの無い複素振幅分布を抽出する。さらに、振幅画像抽出部１４と同等の処理を行い、ノイズの無い振幅画像を抽出して、これを正解振幅画像としている。

【0038】

［機械学習処理］
図１の学習装置１００は、学習データである学習用振幅画像及び正解振幅画像を用いて、振幅ノイズ低減モデルの機械学習を行い、学習済み振幅ノイズ低減モデル（モデルの最適パラメータ）を生成する。学習装置１００は、振幅ノイズ低減部１１と、誤差判定部１２とを備えている。

【0039】

学習用ホログラムから抽出した学習用振幅画像が、振幅ノイズ低減部１１に入力される。振幅ノイズ低減部１１は、例えばニューラルネットワークで構成された振幅ノイズ低減モデルを備えている。振幅ノイズ低減モデルの構成例は後述する。振幅ノイズ低減部１１は、学習用振幅画像からノイズ低減された振幅画像への変換を行う。生成されたノイズ低減振幅画像は、誤差判定部１２に出力される。

【0040】

誤差判定部１２は、振幅ノイズ低減部１１が生成したノイズ低減振幅画像と、正解データとして与えられた正解振幅画像（ノイズ無しの振幅画像）との誤差を計算する。誤差の算出には、ＭＳＥ（Mean Squared Error：平均二乗誤差）などの、差が大きいほど大きな値を出す関数を使用するのが望ましい。誤差判定部１２は、算出した誤差を振幅ノイズ低減部１１にフィードバックする。

【0041】

振幅ノイズ低減部１１は、フィードバックされた誤差に基づいて、誤差が小さくなるように、振幅ノイズ低減モデルのパラメータを更新する。

【0042】

この後、学習装置１００は、学習データの読み込みからパラメータの更新（学習）を繰り返し、最適パラメータを求める。そして、学習装置１００は、所定の学習条件を満たした段階で学習を終了し、学習済み振幅ノイズ低減モデルを出力する。

【0043】

振幅ノイズ低減モデルについて説明する。振幅ノイズ低減部（振幅ノイズ低減モデル）１１は、入力を学習用振幅画像（画像サイズｈ×ｗ画素）とし、出力を入力と同サイズ（画像サイズｈ×ｗ画素）のノイズ低減振幅画像とする。振幅ノイズ低減モデルは、機械学習モデル（学習機能を有するモデル）であり、例えば、ニューラルネットワークを用いることができる。ノイズ有りホログラムから得た複素振幅分布の振幅画像を入力とし、ノイズ無しホログラムから得た正解の振幅画像を与えてニューラルネットワークを学習することによって、学習済みの「振幅ノイズ低減モデル」が生成される。

【0044】

図３は、ニューラルネットワークの構成例を示す図である。ここでは、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）のアーキテクチャ（DenseNet）を採用した場合の例を図示する。なお、本発明で適用するＣＮＮは、上述の入出力の条件を満たせばよくDenseNetに限定されないことはもちろん、Fully convolutional networks、SegNet、ResNet、Unet、GAN（Generative Adversarial Network）等、一般的に用いられているニューラルネットワークと同様の構成や、これらのアーキテクチャをもとに改良したものを使ってもよい。また、ＣＮＮに限らず、学習が可能な任意の機械学習モデルで構成してもよい。

【0045】

図３について簡単に説明する。図３の上側は、振幅ノイズ低減モデルとなるニューラルネットワークの構成例である。ニューラルネットワークは、それぞれ所定の画素数を有する入力層、中間層、出力層と、各層間の太い矢印で表される処理のブロックと、破線の矢印で示されるスキップ接続とを備えている。太い矢印が示すそれぞれの処理は、図３の下側左に示されており、矢印の模様によって処理の内容が異なる。例えば、白抜き矢印は、Dilated Convolution層とプーリング層を示し、クロスハッチングの矢印は、Dense Block 1とDownsampling transition blockを示している。各ブロックの処理内容は、図３の下側右に示されており、例えばDense Block 1は、ＢＮ（Batch Normalization）とＲｅＬＵ（Rectified Linear Unit）と畳み込みを組み合わせた処理ブロックと、各レイヤーを直接結合するスキップ接続によって構成される。また、Dense Block 2、Downsampling transition block、Upsampling transition blockは、それぞれ図示される構成を備えている。なお、本実施形態の学習処理において、誤差関数はＭＳＥを用い、パラメータ更新にはＡｄａｍ（Adaptive Moment Estimation）の最適化手法を利用し、エポック数は５０とした。

【0046】

このように、振幅ノイズ低減モデルを構成し、これを学習装置１００で機械学習させる。すなわち、上述のように構成されたニューラルネットワークに対して、ノイズ有りの振幅画像を入力し、ノイズが低減された振幅画像を出力するようにモデルを学習することにより、学習済み振幅ノイズ低減モデルを生成することができる。

【0047】

なお、これまで、学習用振幅画像作成装置１１０と学習装置１００をそれぞれ別の装置として説明したが、両者の装置を一体化して構成してもよい。

【0048】

次に、実施の形態１の学習装置について、図４に示すフローチャートによりその学習プロセスの一例を説明する。図４のフローチャートにおいて、ステップＳ１１～Ｓ１４が学習データ作成処理であり、学習用振幅画像作成装置１１０で行う処理である。また、ステップＳ１５～Ｓ１９が学習装置１００の処理である。

【0049】

ステップＳ１１：学習用振幅画像作成装置１１０は、学習用ホログラムを取得する。学習用ホログラムは撮影装置で撮影したものでも、シミュレーションにより生成したものでもよい。１つの物体光について、位相シフト量の異なる複数枚（Ｎ枚）のホログラムを取得する。

【0050】

ステップＳ１２：複素振幅分布抽出部１３は、取得した複数枚（Ｎ枚）の学習用ホログラムから、複素振幅分布を抽出する。複素振幅分布の抽出は、例えば、位相シフト法を用いるが、他の手法によってもよい。

【0051】

ステップＳ１３：振幅画像抽出部１４は、抽出した複素振幅分布から振幅画像を抽出し、これを学習用振幅画像として出力する。

【0052】

ステップＳ１４：Ｓ１１で取得した学習用ホログラムに対応するノイズの無いホログラムを取得し、同様に、複素振幅分布の抽出と振幅画像の抽出を行い、ノイズの無い振幅画像を得て、これを正解振幅画像とする。生成した学習用振幅画像（ノイズ有）と正解振幅画像（ノイズ無）と組み合わせて、ホログラム振幅データセットとする。

【0053】

ステップＳ１１からステップＳ１４で、１つのホログラム振幅データセットができる。このホログラム振幅データセットは学習装置１００の入力データとなる。なお、ステップＳ１１からステップＳ１４の処理を繰り返し、機械学習に必要な数のホログラム振幅データセットを予め作成することが望ましい。

【0054】

ステップＳ１５：学習装置１００は、一つのホログラム振幅データセットを読み込み、これから学習用振幅画像を取得して振幅ノイズ低減部１１の入力データとする。

【0055】

ステップＳ１６：振幅ノイズ低減部１１は、学習用振幅画像を振幅ノイズ低減モデルにより変換して、ノイズ低減振幅画像を生成する。振幅ノイズ低減モデルは、例えば、畳み込みニューラルネットワークで構成されている。

【0056】

ステップＳ１７：誤差判定部１２は、ホログラム振幅データセットから正解振幅画像を取得し、振幅ノイズ低減部１１から出力されたノイズ低減振幅画像と比較する。誤差判定部１２は、振幅ノイズ低減部１１が生成したノイズ低減振幅画像の誤差を計算し、振幅ノイズ低減部１１にフィードバックする。誤差判定には、任意の誤差関数（損失関数）を用いることができるが、本実施形態ではＭＳＥ（平均二乗誤差）を用いている。

【0057】

ステップＳ１８：振幅ノイズ低減部１１は、生成したノイズ低減振幅画像の誤差を最小化するように、振幅ノイズ低減モデル（ニューラルネットワーク）のパラメータを更新する。なお、パラメータ更新には、例えばＡｄａｍやＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）といった、一般的なニューラルネットワーク最適化手法が利用できる。

【0058】

ステップＳ１９：学習装置１００は、学習終了条件を満たしているか判定する。学習終了条件は、例えば、予め定められた回数分パラメータ更新を行ったか、生成したノイズ低減振幅画像の誤差量又はパラメータの更新量が予め定められた閾値より小さくなったかなどの条件を用いる。終了条件を満たした場合、学習装置１００は、学習処理を終了する。終了条件を満たしていない場合は、ステップＳ１５に戻り、再び新たなホログラム振幅データセットを読み込み、機械学習（パラメータ更新）を続ける。

【0059】

以上が、実施の形態１の学習装置における、学習プロセスの一例である。なお、学習プロセスの終了後、学習装置１００は学習済みの振幅ノイズ低減モデル（モデルの最適パラメータ）を出力してもよい。

【0060】

本発明の学習装置においては、ホログラム（複素振幅分布）の振幅成分だけをネットワークの入出力とすることで、位相を入力として扱う場合に発生しうる、初期位相のランダム性による学習の不安定化、出力誤差の増大の問題を排除することができる。また、機械学習モデルのネットワークの構成を単純化でき、学習時間の短縮、データ量の削減が可能である。

【0061】

なお、上述した学習装置１００として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、学習装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、図４に示す学習プロセスを行うためにコンピュータを好適に用いることができ、学習プロセスの各ステップの処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで、学習プロセスを実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0062】

（実施の形態２）
図５は、本発明の実施の形態２のノイズ低減装置の構成の一例を示すブロック図である。本発明の実施の形態２に係るノイズ低減装置２００は、撮影したホログラムから得られた複素振幅分布を入力とし、ノイズ低減された複素振幅分布を出力する。ノイズ低減装置２００の前段に前処理装置２１０を設けてもよい。前処理装置２１０は、ノイズ低減処理のための前処理として、撮影したホログラムから複素振幅分布を抽出する。なお、前処理装置２１０とノイズ低減装置２００を一体化して、全体を撮影ホログラム対応のノイズ低減装置２２０として構成してもよい。

【0063】

［複素振幅分布の抽出］
前処理装置２１０は、撮影したホログラムを入力とし、複素振幅分布を出力する。この複素振幅分布は、ノイズ低減装置２００の入力となる。前処理装置２１０は、複素振幅分布抽出部２４を備えている。

【0064】

まず、デジタルホログラフィの撮影装置で位相シフト量が異なる複数枚のホログラムを撮影し、前処理装置２１０の複素振幅分布抽出部２４の入力とする。複素振幅分布抽出部２４は、これらのホログラムに対して例えば位相シフト法を適用し、物体光の振幅・位相情報である複素振幅分布を得る。具体的な処理内容は、図１の学習用振幅画像作成装置１１０の複素振幅分布抽出部１３の処理と同じである。例えば、Ｎ枚のホログラムの強度分布を、Ｉ_j(x,y) (j=1, 2, … N) とし、各ホログラムに付与されている位相シフト量をφ_j(x,y) (j=1, 2, … N) として、前述の（１）式に示す位相シフト法に基づく演算により、物体光の振幅Ａ(x,y)・位相φ(x,y)を合わせた複素振幅分布を求める（図２参照）。なお、複素振幅情報を得る方法は、位相シフト法以外の方法を用いてもよい。複素振幅分布抽出部２４は、抽出した複素振幅分布（物体光の振幅・位相情報）を、ノイズ低減装置２００に出力する。

【0065】

［ノイズ低減処理］
ノイズ低減装置２００は、複素振幅分布を入力とし、ノイズ低減された複素振幅分布を出力する。ノイズ低減装置２００は、振幅・位相分離部２１と、振幅ノイズ低減部２２と、振幅・位相合成部２３とを備える。

【0066】

振幅・位相分離部２１は、入力された複素振幅分布を振幅情報（振幅画像）と位相情報に分離する。前述のとおり、複素振幅分布（（１）式により表される複素振幅）に対して、絶対値を計算することで振幅Ａ(x,y)を、偏角を計算することで位相φ(x,y)を、それぞれ個別に抽出できる。分離された振幅情報（振幅画像）は振幅ノイズ低減部２２に出力され、位相情報は振幅・位相合成部２３に出力される。

【0067】

振幅ノイズ低減部２２は、例えばニューラルネットワークで構成された学習済みの振幅ノイズ低減モデルを備えている。この学習済み振幅ノイズ低減モデルは、図１の学習装置１００の学習終了後の振幅ノイズ低減モデルをそのまま利用するか、或いは、図１の学習装置１００により学習が終了した振幅ノイズ低減モデル（最適パラメータ）を抽出して、それを振幅ノイズ低減部２２に移植をしたものである。学習済み振幅ノイズ低減モデルは、ノイズ有りの振幅画像からノイズ低減振幅画像への変換（ノイズが低減された振幅画像の推定）を行う。すなわち、振幅ノイズ低減部２２は、複素振幅分布の振幅情報（振幅画像）からノイズを低減する処理を行い、ノイズ低減振幅画像を生成する。そして、ノイズ低減振幅画像を振幅・位相合成部２３に出力する。

【0068】

振幅・位相合成部２３は、入力された位相情報（振幅・位相分離部２１が抽出分離した位相情報）と、ノイズ低減された振幅画像（振幅情報）を合成し、ノイズ低減された複素振幅分布を生成して出力する。なお、その後の信号処理において、振幅情報（振幅画像）と位相情報をそれぞれ独立して使用する場合には、振幅・位相合成部２３を設けずに、ノイズ低減された振幅画像（振幅情報）と入力の複素振幅分布に含まれる位相情報を別々に出力してもよい。

【0069】

本実施形態のノイズ低減装置２００は、位相シフト法によって得た複素振幅分布の振幅情報（振幅画像）を、ニューラルネットワークが出力したノイズを低減した振幅情報（振幅画像）に置き換えることで、ノイズの少ない複素振幅分布を提供できる。

【0070】

ノイズ低減された複素振幅分布に対して回析伝搬の計算を適用すると、再生系において、ノイズ低減された任意の距離における物体の像を再生することができる。すなわち、ノイズ低減された３次元像を再生することができる。

【0071】

例えば、インコヒーレント光により撮影したホログラムに基づく処理では、ノイズ低減された複素振幅分布Ｏ(x,y)に対して、次式（２）の伝搬計算を適用する。

【0072】

【数2】

【0073】

ここでFT[・・・]、FT^-1[・・・]は、２次元のフーリエ変換演算子、２次元の逆フーリエ変換演算子であり、ｉは虚数、ｚ_ｒは距離、λは波長、ｕ，ｖは空間周波数の変数である。この計算により、再生系において距離ｚ_ｒにおける物体の像Ｏ’(x,y;z_r)を再生することができる。本実施形態で得られたノイズ低減された複素振幅分布は、振幅情報のノイズが低減されており、再構成像の解像度を劣化させることなく、ノイズ低減された物体像を再生することができる。

【0074】

このように、本発明では、再構成像ではなく、ホログラムそのもののノイズを低減するため、撮影対象が２次元に制限されることなく、３次元の被写体に対応可能である。

【0075】

なお、前処理装置２１０とノイズ低減装置２００をそれぞれ別の装置として説明したが、両者の装置を一体化して、全体を撮影ホログラム入力に対応したノイズ低減装置２２０として構成してもよい。このときは、前処理部２１０とノイズ低減部２００とを備える、撮影ホログラム対応のノイズ低減装置２２０として構成することができる。すなわち、ノイズ低減装置２２０は、デジタルホログラフィの技術で撮影したホログラムから、ノイズの少ない複素振幅分布を生成できる。

【0076】

上述したノイズ低減装置２００（又はノイズ低減装置２２０）として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、ノイズ低減装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0077】

（効果の検証）
以下の手順で、本発明の効果の検証を行った。

【0078】

データセットの作成：ＭＮＩＳＴ（Modified National Institute of Standards and Technology （database）：手書き数字の画像データ）の画像を無作為に抽出し、これを被写体として想定した。効果の検証の実験では、まず、シミュレーションでノイズの無いホログラム作成を行い、出力用データとなる正解データを作成し、その後に出力用データに対応する入力用データを作成した。

【0079】

出力用データの準備：各被写体に対して、１０～１００ｍｍの範囲で無作為に抽出した値を伝搬距離とし、シミュレーションでホログラムを作成した。位相シフト法により複素振幅分布を生成し、その複素振幅値の絶対値をとることにより抽出した振幅画像を出力用データ（正解データ）とした。

【0080】

入力用データの準備：上述の出力用データを作成する際に生成した複素振幅分布に対して、その複素振幅値の大きさの最大値に対して０．５倍のランダムノイズを付加した。この複素振幅値の絶対値をとることにより抽出した振幅画像を入力用データとした。

【0081】

振幅ノイズ低減モデルの学習：図３に示したDenseNetのニューラルネットワークで振幅ノイズ低減モデルを構成した。上述の入力用データと出力用データを組み合わせた「ホログラム振幅データセット」のうち、所定数のものを学習データとして、ニューラルネットワークの振幅ノイズ低減モデルの機械学習を行った。なお、学習処理において、誤差関数はＭＳＥを用い、パラメータ更新にはＡｄａｍの最適化手法を利用した。学習済みの振幅ノイズ低減モデルを用いて、ノイズ低減装置２００を構成した。

【0082】

図６に基づいて、本発明のノイズ低減装置による振幅画像の改善について説明する。ネットワーク学習時には使用していない１００種類の被写体を用いて作成したホログラムから、位相シフト法により、伝搬してきた光の複素振幅分布を取得した。さらに、得られた複素振幅分布から振幅画像を抽出した。この振幅画像は、元のホログラムをシミュレーションで作成していることから、ノイズの無い振幅画像の真値となる。その内１０種類の被写体の振幅画像を、「振幅画像の真値」として、図６（ａ）に示す。

【0083】

また、同じ１０種類の被写体について、前述のランダムノイズを付加する処理を行った振幅画像を、「ノイズ有振幅画像」として、図６（ｂ）に示す。

【0084】

さらに、ノイズ有振幅画像に対して、本発明のノイズ低減装置２００によりノイズ低減を行った振幅画像を、「ノイズ低減振幅画像」として、図６（ｃ）に示す。画像右端の目盛りは、画像振幅値の強度を任意目盛りで示したものである。

【0085】

図６から、本発明のノイズ低減装置により、振幅画像において、ランダムノイズを抑制できていることがわかる。ノイズを含んだ振幅画像（ｂ）と、本発明によりノイズを低減した振幅画像（ｃ）の、それぞれの振幅画像の真値（ａ）に対するＲＭＳＥをそれぞれ求めた。１００種類の被写体すべてノイズ有り振幅画像とノイズ低減振幅画像のＲＭＳＥを評価し、それらを平均化した。その結果、本発明のノイズ低減手法を適用しない場合は、全体のＲＭＳＥの平均値は０．１６１であった。これに対して、本発明のノイズ低減手法を適用した場合には、全体のＲＭＳＥの平均値は０．０７５であり、振幅画像の画質を改善できることを検証できた。

【0086】

続いて、図６の「真値の振幅画像」、「ノイズ有振幅画像」、及び「ノイズ低減振幅画像」それぞれに、位相情報を重畳し（位相情報は共通）、複素振幅分布を再構成して被写体画像を得た結果を、図７に示す。

【0087】

図７（ａ）は「真値の振幅画像」と位相情報に基づいて、伝搬計算を適用して再構成処理を行って得られた像であり、「真の再構成画像」に相当する。また、図７（ｂ）は「ノイズ有振幅画像」と位相情報に基づいて、伝搬計算を適用して再構成処理を行って得られた像であり、図７（ｃ）は「ノイズ低減振幅画像」と位相情報に基づいて、伝搬計算を適用して再構成処理を行って得られた像である。なお、画像右端の目盛りは、再構成像の光強度を任意目盛りで示したものである。

【0088】

図７から、本発明のノイズ低減技術の導入により、再構成像においてもランダムノイズを抑制できていることがわかる。ノイズを含んだ振幅画像からの再構成像（ｂ）と、本発明によりノイズを低減した振幅画像からの再構成像（ｃ）の、それぞれの再構成像の真値（ａ）に対するＲＭＳＥをそれぞれ１００種類の被写体のすべてで評価し、それらを平均化した。その結果、本発明のノイズ低減手法を適用しない場合は、全体のＲＭＳＥの平均値は０．１６２であった。これに対して、本発明のノイズ低減手法を適用した場合には、全体のＲＭＳＥの平均値は０．１２７であり、再構成像の画質を改善できることを検証できた。

【0089】

上記の実施の形態では、学習装置１００及びノイズ低減装置２００の構成と動作について説明したが、本発明はこれに限らず、学習済みの振幅ノイズ低減モデルを作成する学習方法、或いは、学習済みの振幅ノイズ低減モデルを用いた複素振幅分布のノイズ低減方法として構成されてもよい。

【0090】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0091】

１１ 振幅ノイズ低減部
１２ 誤差判定部
１３ 複素振幅分布抽出部
１４ 振幅画像抽出部
２１ 振幅・位相分離部
２２ 振幅ノイズ低減部
２３ 振幅・位相合成部
２４ 複素振幅分布抽出部
１００ 学習装置
１１０ 学習用振幅画像作成装置
２００ ノイズ低減装置
２１０ 前処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】