特開 2023-65100 テンソルデータ復元装置、テンソルデータ復元方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023065100

(43)【公開日】2023-05-12

(54)【発明の名称】テンソルデータ復元装置、テンソルデータ復元方法、およびプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230502BHJP

【ＦＩ】

G06T5/00 705

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021175711

(22)【出願日】2021-10-27

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】小澤 圭右

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA13

5B057CA16

5B057CB08

5B057CB13

5B057CB16

5B057CE02

5B057CE05

5B057CH20

5B057DA16

5B057DB03

5B057DB09

5B057DC36

(57)【要約】      （修正有）

【課題】欠損値やノイズを含む多次元テンソルデータを復元するテンソルデータ復元装置、復元方法及びプログラムを提供する。
【解決手段】テンソルデータ復元装置１は、多次元のテンソルデータを入力する入力部１０と、入力されたテンソルデータのノイズを緩和するノイズ緩和処理部２２と、ノイズが緩和されたテンソルデータを出力する出力部１３とを備える。ノイズ緩和処理部２２は、画像平滑性を利用してテンソルデータのノイズ緩和処理を行う第１ノイズ緩和処理２３と、局所類似性を利用してテンソルデータのノイズ緩和処理を行う第２ノイズ緩和処理２４と、第１ノイズ緩和処理２３から第２ノイズ緩和処理２４への切り替えを行う切替処理２５と、を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

多次元のテンソルデータを入力する入力部と、
入力されたテンソルデータの欠損およびノイズを緩和するノイズ緩和処理部と、
欠損およびノイズが緩和されたテンソルデータを出力する出力部と、
を備え、
前記ノイズ緩和処理部は、
平滑性を利用して前記テンソルデータのノイズ緩和処理を行う第１ノイズ緩和処理と、
局所類似性を利用して前記テンソルデータのノイズ緩和処理を行う第２ノイズ緩和処理と、
前記第１ノイズ緩和処理から前記第２ノイズ緩和処理への切り替えを行う切替処理と、を行うテンソルデータ復元装置。

【請求項2】

前記切替処理は、前記第１ノイズ緩和処理によるノイズ緩和の度合いが所定の閾値以上となったときに前記第１ノイズ緩和処理から前記第２ノイズ緩和処理への切り替えを行う請求項１に記載のテンソルデータ復元装置。

【請求項3】

入力されたテンソルデータの冗長性が小さくなるようにテンソルデータを更新する冗長性更新部を備え、
前記冗長性更新部にて更新されたテンソルデータを前記ノイズ緩和処理部に入力する請求項１または２に記載のテンソルデータ復元装置。

【請求項4】

前記ノイズ緩和処理部にてノイズ緩和したテンソルデータを前記冗長性更新部に再度入力し、前記冗長性更新部による冗長性更新の処理と前記ノイズ緩和処理部によるノイズ緩和処理を、所定の終了条件を満たすまで繰り返し行う請求項３に記載のテンソルデータ復元装置。

【請求項5】

入力されたテンソルデータにおいて、データが欠損している要素を指定する欠損要素指定部を備える請求項１から４のいずれか１項に記載のテンソルデータ復元装置。

【請求項6】

テンソルデータ復元装置によって多次元のテンソルデータの欠損およびノイズを緩和する方法であって、
前記テンソルデータ復元装置に多次元のテンソルデータを入力するステップと、
前記テンソルデータ復元装置が、平滑性を利用して前記テンソルデータのノイズ緩和処理を行う第１ノイズ緩和処理ステップと、
前記テンソルデータ復元装置が、前記第１ノイズ緩和処理ステップから第２ノイズ緩和処理への切り替えを行うか判定するステップと、
前記テンソルデータ復元装置が、局所類似性を利用して前記テンソルデータのノイズ緩和処理を行う第２ノイズ緩和処理ステップと、
前記テンソルデータ復元装置が、欠損およびノイズが緩和されたテンソルデータを出力するステップと、
を備えるテンソルデータ復元方法。

【請求項7】

多次元のテンソルデータの欠損およびノイズを緩和するためのプログラムであって、コンピュータに、
多次元のテンソルデータを入力するステップと、
平滑性を利用して前記テンソルデータのノイズ緩和処理を行う第１ノイズ緩和処理ステップと、
前記第１ノイズ緩和処理ステップから第２ノイズ緩和処理への切り替えを行うか判定するステップと、
局所類似性を利用して前記テンソルデータのノイズ緩和処理を行う第２ノイズ緩和処理ステップと、
欠損およびノイズが緩和されたテンソルデータを出力するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、欠損やノイズを含む多次元のテンソルデータを復元する技術に関する。

【背景技術】

【0002】

多次元インデックスをもつデータ構造を多次元テンソルと呼ぶ。多次元テンソルの中でも、３次元テンソル構造は多くの実応用において重要である。例えば、動画像は空間を表す２次元と時間を表す１次元で３次元テンソルとみなせる。ＭＲＩ（Magnetic Resonance Imaging）データは掃引方向の１次元とそれと直交する断面像を表す２次元で３次元テンソルとみなせる。分光画像は空間を表す２次元と波長を表す１次元で３次元テンソルとみなせる（非特許文献１）。分光画像の取得には、スナップショット型カメラはベイヤフィルタや分光フィルタアレイなど様々なパターニングが施されたセンサが用いられるが、センサの各画素はそれぞれ色またはスペクトルの中で割り当てられた量を観測することになる（特許文献１）。

【0003】

３次元テンソルデータは欠損値を伴うことがある。ここで、テンソルの欠損とは、一部の要素が観測されず欠落していることである。欠損値の由来は様々だが、データ取得時の失敗など観測者の意図しないもの、測定時間を削減する目的によるもの、そしてセンシング方法固有の欠損、などが挙げられる。また、３次元テンソルデータが分光画像の場合、１つの画素はある波長またはバンドの入射光強度を観測するので、一部の要素のみ観測された３次元テンソルとみなすことができる。また、その観測要素は３次元テンソル中で構造的な配置をもつ。これは観測された３次元テンソルに構造的欠損があることと同じである。

【0004】

構造的欠損が見られる場面はこのほか、ラインスキャンを要するデータの取得時にスキャンラインが丸ごと欠損する場合などでも生ずる。センシングの方式によっては、欠損はランダムとみなせる場合もある。

【0005】

また、データは観測ノイズを伴う場合がある。ノイズの種類としてはガウシアンノイズ、インパルスノイズ、スパースに存在する強度の大きなノイズなどがある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特願２０２０－１９５６９２

【非特許文献】

【0007】

【非特許文献1】Calum Williams他「Grayscale-to-Color: Scalable Fabrication of Custom Multispectral Filter Arrays」ACS Photonics. 2019 Dec 18;6(12):3132-3141

【発明の概要】

【発明が解決しようとする課題】

【0008】

３次元テンソルデータが構造的な欠損値とノイズを伴う場合、データ解析が困難になる。例えば、動画像テンソルデータから時系列信号を取り出したいとき、欠損値やノイズにより本来は存在しない周波数成分が入り込んでしまう場合がある。また分光画像による成分分析やセグメンテーションの誤推定の原因になる。

【0009】

本発明は上記背景に鑑み、欠損値やノイズを含む多次元テンソルデータを復元する技術を提供する。

【課題を解決するための手段】

【0010】

本発明のテンソルデータ復元装置は、多次元のテンソルデータを入力する入力部と、入力されたテンソルデータの欠損およびノイズを緩和するノイズ緩和処理部と、欠損およびノイズが緩和されたテンソルデータを出力する出力部とを備え、前記ノイズ緩和処理部は、平滑性を利用して前記テンソルデータのノイズ緩和処理を行う第１ノイズ緩和処理と、局所類似性を利用して前記テンソルデータのノイズ緩和処理を行う第２ノイズ緩和処理と、前記第１ノイズ緩和処理から前記第２ノイズ緩和処理への切り替えを行う切替処理とを行う。

【0011】

このようにテンソルデータに対して性質の異なるノイズ緩和処理を行うことにより、欠損やノイズを適切に緩和し、テンソルデータを復元することができる。例えば、画像情報や時系列情報、エネルギースペクトル等のテンソルデータにおいて、近傍要素どうしの相関が高い。平滑性を利用したノイズ緩和処理は、近傍要素の情報を利用することで平滑化しノイズを緩和する方式の処理である。局所類似性を利用したノイズ緩和処理は、テンソルデータの局所（ブロック）におけるパッチ類似度を用いてノイズを緩和する方式の処理である。

【0012】

平滑性を利用した第１ノイズ緩和処理は、欠損値補完を適切に行うことができる一方でノイズを十分に除去できない場合がある。一方で、局所類似性を利用した第２ノイズ緩和処理は、周期的な欠損パターンを持つテンソルに対するノイズ緩和に適しているが、ノイズで劣化したデータを初期値として処理を行うとパターン自体に構造的なアーチファクトが残る可能性がある。本発明では、これら２つのノイズ緩和処理を切り替えて用いることで欠損構造とノイズの両方に対して適切なノイズ緩和を行うことができる。なお、第１ノイズ緩和処理から第２ノイズ緩和処理への切り替えはユーザの指示に基づいて行ってもよい。

【0013】

本発明のテンソルデータ復元装置において、前記切替処理は、前記第１ノイズ緩和処理によるノイズ緩和の度合いが所定の閾値以上となったときに前記第１ノイズ緩和処理から前記第２ノイズ緩和処理への切り替えを行ってもよい。

【0014】

このように第１ノイズ緩和処理により所定の閾値までテンソルデータを平滑化した後に、局所類似性を利用した第２ノイズ緩和処理を行うことにより、第２ノイズ緩和処理で用いる初期のテンソルデータの品質が高くなるため、第２ノイズ緩和処理を適切に行うことができる。

【0015】

本発明のテンソルデータ復元装置は、入力されたテンソルデータの冗長性が小さくなるようにテンソルデータを更新する冗長性更新部を備え、前記冗長性更新部にて更新されたテンソルデータを前記ノイズ緩和処理部に入力してもよい。

【0016】

テンソルデータは冗長性を有することが多いので、冗長性を小さくするようにテンソルデータを更新することにより、復元精度を高めると共にノイズ緩和にも効果がある。また、冗長性更新部にて更新されたテンソルデータをノイズ緩和処理部に入力することで、冗長性更新部では取り切れなかったノイズを、ノイズ緩和処理部で緩和することができる。

【0017】

本発明のテンソルデータ復元装置は、前記ノイズ緩和処理部にてノイズ緩和したテンソルデータを前記冗長性更新部に再度入力し、前記冗長性更新部による冗長性更新の処理と前記ノイズ緩和処理部によるノイズ緩和処理を、所定の終了条件を満たすまで繰り返し行ってもよい。

【0018】

このようにノイズ緩和を行ったテンソルデータについて冗長性を小さくする冗長性更新処理を行い、冗長性の更新とノイズ緩和を繰り返すことにより、テンソルデータの欠損値やノイズをより適切に緩和することができる。なお、冗長性の更新とノイズ緩和を繰り返し行う際には、第１ノイズ緩和処理、第２ノイズ緩和処理に続いて冗長性の更新を行ってもよいし、第１ノイズ緩和処理、冗長性の更新、第２ノイズ緩和処理、冗長性の更新といった具合に、第１ノイズ緩和処理と第２ノイズ緩和処理の間に冗長性の更新を挟んでもよい。

【0019】

本発明のテンソルデータ復元装置は、入力されたテンソルデータにおいて、データが欠損している要素を指定する欠損要素指定部を備えてもよい。このように欠損値を指定する構成を備えることにより、予め欠損値と分かっている要素を欠損値として指定でき、欠損値の部分にノイズが混入することを防止できる。これにより、冗長性の更新や局所類似性を利用したノイズ緩和を適切に行える。

【0020】

本発明のテンソルデータ復元方法は、テンソルデータ復元装置によって多次元のテンソルデータの欠損およびノイズを緩和する方法であって、前記テンソルデータ復元装置に多次元のテンソルデータを入力するステップと、前記テンソルデータ復元装置が、平滑性を利用して前記テンソルデータのノイズ緩和処理を行う第１ノイズ緩和処理ステップと、前記テンソルデータ復元装置が、前記第１ノイズ緩和処理ステップから第２ノイズ緩和処理への切り替えを行うか判定するステップと、前記テンソルデータ復元装置が、局所類似性を利用して前記テンソルデータのノイズ緩和処理を行う第２ノイズ緩和処理ステップと、前記テンソルデータ復元装置が、欠損およびノイズが緩和されたテンソルデータを出力するステップとを備える。

【0021】

本発明のプログラムは、テンソルデータ復元装置によって多次元のテンソルデータの欠損およびノイズを緩和するためのプログラムであって、コンピュータに、多次元のテンソルデータを入力するステップと、平滑性を利用して前記テンソルデータのノイズ緩和処理を行う第１ノイズ緩和処理ステップと、前記第１ノイズ緩和処理ステップから第２ノイズ緩和処理への切り替えを行うか判定するステップと、局所類似性を利用して前記テンソルデータのノイズ緩和処理を行う第２ノイズ緩和処理ステップと、欠損およびノイズが緩和されたテンソルデータを出力するステップとを実行させる。

【発明の効果】

【0022】

本発明によれば、平滑性を利用した第１ノイズ緩和処理と局所類似性を利用した第２ノイズ緩和処理とを切り替えて行うことで欠損とノイズの両方に対して適切なノイズ緩和を行うことができる。

【図面の簡単な説明】

【0023】

【図1】第１及び第２の実施の形態のテンソルデータ復元装置の構成を示す図である。

【図2】第１の実施の形態のテンソルデータ復元装置の動作を示すフローチャートである。

【図3】第２の実施の形態のテンソルデータ復元装置の動作を示すフローチャートである。

【図4】第３の実施の形態のテンソルデータ復元装置の動作を示すフローチャートである。

【図5】テンソルデータ復元装置の他の構成を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施の形態に係るテンソルデータ復元装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、第１の実施の形態のテンソルデータ復元装置１の構成を示す図である。本実施の形態のテンソルデータ復元装置１は、多次元テンソルデータとして、３次元テンソルデータの一つである分光画像を扱う。テンソルデータ復元装置１は、テンソルデータを入力する入力部１０と、欠損値やノイズを含むテンソルデータの復元処理を行う演算部１１と、復元されたテンソルデータを出力する出力部１２とを有している。演算部１１は、欠損要素指定部２０と、冗長性更新部２１と、ノイズ緩和処理部２２とを有している。

【0025】

欠損要素指定部２０は、入力されたテンソルデータの欠損値を指定し、指定された要素に０を割り当てる処理を行う。欠損値の指定は、例えば、テンソルデータの構造の事前知識に基づいて行う。３次元テンソルデータは、３次元のインデックスをとる。例えば、観測手法などに起因してインデックス（ｉ，ｊ，ｋ）の要素を観測しないことが決まっていれば、そのインデックスは欠損値である。例えば分光画像であれば１画素はある波長またはバンドの入射光強度を観測するので、ある波長に着目した場合には、観測された波長以外は３次元テンソルに構造的欠損があると見ることができる。また、あるインデックスの観測結果にエラーが生じたことが分かれば欠損値とみなせる。欠損要素指定部２０は、欠損値のあるインデックスの集合をΩ＝｛（ｉ，ｊ，ｋ）｜ｉ，ｊ，ｋ∈Ｎ｝とし、インデックスで指定された値に０を充てる。

【0026】

冗長性更新部２１は、テンソルの冗長性が小さくなるよう計算し、冗長性が小さく更新されたテンソルを求める。本実施の形態で取り扱う分光画像の場合、同じスペクトルが何度も現れる。このように３次元テンソルは冗長性を持ち、いわゆるテンソルの低ランク性を仮定することができることが多い。別の例を挙げると、動画像の場合には、時間軸に沿って緩やかな変化が主であり、やはり冗長性を有している。

【0027】

ここで、冗長性の更新について、近年提案されたtensor average rankを例として説明する。この低ランク性は３次元テンソルのある次元における変換先ドメインの各エネルギースペクトル（分光スペクトルと混同がないよう、エネルギースペクトルとする）における行列ランクの平均値を取るものである。これを凸緩和したものがｔＴＮＮ（transformed tensor nuclear norm）であり、３次元テンソルに対して次式で定義される。なお、次式において「３－軸」は波長方向の軸である。

【数1】

【0028】

なお、冗長性更新部２１は、行列展開ベースの低ランク性を用いるなど、任意の冗長性を用いてもよい。冗長性更新部２１は、更新したテンソルをノイズ緩和処理部２２に出力する。

【0029】

ノイズ緩和処理部２２は、方式の異なる２つの緩和処理、すなわち、第１ノイズ緩和処理２３と第２ノイズ緩和処理２４を行う。なお、欠損もノイズもいずれも完全なデータではない、すなわちエラーであるという意味では同じであり、これらのエラーを緩和する処理をノイズ緩和と総称する。ノイズ緩和処理部２２はノイズだけを緩和するのではなく、欠損も緩和する。本実施の形態において、テンソルデータ復元装置１が扱うテンソルデータは分光画像であり、第１ノイズ緩和処理２３は、画像平滑性を利用したノイズ緩和処理である。第２ノイズ緩和処理２４は、局所的な画像パッチ類似度を用いたノイズ緩和処理である。

【0030】

第１ノイズ緩和処理２３は、隣接画素間の輝度差を小さくする処理であり、空間的な輝度変化が急激でなく画像的に自然であり、かつエッジや角などの画像中の構造を保持する。第１ノイズ緩和処理２３の例は、ＴＶ（Total Variation）平滑化（１次微分）やその高次の一般化であるＴＧＶ（Total Generalized Variation）平滑化（２次微分）である。ＴＶは、例えば、A. Beck他「Fast gradient-based algorithms for constrained total variation image denoising and deblurring problems」IEEE Transactions on Image Processing (TIP), vol. 18, no. 11, pp. 2419-2434, 2009.に記載されている。またＴＧＶは、例えば、K. Bredies他「Total generalized variation」SIAM Journal on Imaging Sciences, vol. 3, no. 3, pp. 492-526, 2010.に記載されている。

【0031】

第２ノイズ緩和処理２４の例は、ＢＭ３Ｄ（Block-matching and 3D filtering）である。ＢＭ３Ｄは、シュリンケージ方式のノイズ緩和の一つであり、画像の局所類似性を利用してノイズ緩和を行う。画像の中の小さいパッチを奥行き方向に集めたブロックを作成し、ブロック中の頻出パターンを統計分析し、そのパターンを記述子として画像全体を表現する。ＢＭ３Ｄは、例えば、V. Katkovnik他「Image denoising by sparse 3D transform-domain collaborative filtering」IEEE Transactions on Image Processing, vol. 16, no. 8, pp. 2080-2095, 2007.に記載されている。なお、第２ノイズ緩和処理２４には、ＢＭ３Ｄ以外の他のシュリンケージ方式のノイズ緩和処理を用いてもよい。

【0032】

第１ノイズ緩和処理２３および第２ノイズ緩和処理２４は一般に次式で表される。

【数2】

【0033】

ここで上付添字（ｔ）は処理の回数を表す。ノイズ緩和処理部２２がｔ回目の処理を受け、ノイズが緩和されたＸ^(t+1)を出力するという処理を表す。σはノイズの緩和度合いを表し、第１ノイズ緩和処理２３や第２ノイズ緩和処理２４で用いる手法によってパラメータは変わる。

【0034】

ノイズ緩和処理部２２は、切替処理２５によって、第１ノイズ緩和処理２３から第２ノイズ緩和処理２４へ切り替える。上述したとおり、第１ノイズ緩和処理２３と第２ノイズ緩和処理２４は、その方式が異なり、相補的な特徴を持つ。切替処理２５は、適切にノイズ処理を行うために、２つの方式のノイズ緩和処理２３，２４を切り替える。

【0035】

本実施の形態では、所定の段階までは、第１ノイズ緩和処理２３により画像平滑化を行い、元々の欠損パターンの影響を受けにくくなったであろう段階で、第２ノイズ緩和処理２４に切り替える切替処理２５を行う。切替のタイミングは、例えば、画像平滑化による更新の変化度が閾値を下回ったタイミングとしてもよい。具体的には、輝度が正規化、つまり画素値が0から1の間に収まるよう変換された状態において、更新の変化度が0.01から0.0005のいずれかの閾値を下回ったタイミングであり、0.0001としてもよい。また、更新の変化度ではなく、欠損およびノイズの大きさに応じて切替タイミングを設定してもよい。

【0036】

出力部１２は、欠損やノイズを含むテンソルデータから復元したテンソルデータを出力する機能を有する。出力先は、モニタ等の表示手段でもよいし、記憶部でもよい。

【0037】

以上、本実施の形態のテンソルデータ復元装置１の構成について説明したが、上記したテンソルデータ復元装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記したテンソルデータ復元装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0038】

図２は、本実施の形態のテンソルデータ復元装置１の動作を示すフローチャートである。テンソルデータ復元装置１は、処理対象のテンソルデータの入力を受け付け（Ｓ１０）、続いて、入力されたテンソルデータに構造的な欠損値がある場合には、欠損要素を指定し、欠損要素を０とする（Ｓ１１）。次に、テンソルデータ復元装置１は、テンソルの低ランク性に基づいて、テンソル冗長性を更新する（Ｓ１２）。

【0039】

続いて、テンソルデータ復元装置１は、第１ノイズ緩和処理として、画像の平滑性を利用したＴＧＶによる補正処理を行い（Ｓ１３）、画像の更新度に基づいて、第２ノイズ緩和処理に切り替えるか否かを判定する（Ｓ１４）。第２ノイズ緩和処理に切り替えないと判定された場合には（Ｓ１４でＮＯ）、第１ノイズ緩和処理を継続して行う（Ｓ１３）。第２ノイズ緩和処理に切り替えると判定された場合には（Ｓ１４でＹＥＳ）、テンソルデータ復元装置１は、ＢＭ３Ｄによる第２ノイズ緩和処理を行う（Ｓ１５）。第２ノイズ緩和処理を行った後に、テンソルデータ復元装置１は、ノイズ緩和されたテンソルデータを出力する（Ｓ１６）。

【0040】

以上、第１の実施の形態のテンソルデータ復元装置１の構成および動作について説明した。ノイズ緩和処理は方式によって得手不得手がある。局所類似性を利用した第２ノイズ緩和処理２４は、周期的な欠損があるテンソルの場合には、欠損パターンの影響を受ける場合がある。一方で、画像平滑化を利用した第１ノイズ緩和処理２３は、第２ノイズ緩和処理２４に比べてノイズ緩和能力に劣る傾向がある。計算コストについていえば、第１ノイズ緩和処理２３は第２ノイズ緩和処理２４よりもコストが小さい。

【0041】

本実施の形態のテンソルデータ復元装置１は、相補的な特徴を持つノイズ緩和処理を適切な段階で切り替えることにより、計算コストを抑えつつ、テンソルデータのノイズや欠損値を適切に緩和することができる。

【0042】

本実施の形態では、画像平滑性を利用した第１ノイズ緩和処理２３を行った後に、局所類似性を利用した第２ノイズ緩和処理２４を行うので、第２ノイズ緩和処理２４の効果を高めることができる。本発明者の実験では、第２ノイズ緩和処理２４だけを行った場合と比較して、第１ノイズ緩和処理２３から第２ノイズ緩和処理２４にリレーしたときの方が、ノイズ緩和効果が高いことが確かめられた。

【0043】

（第２の実施の形態）
次に、本発明の第２の実施の形態のテンソルデータ復元装置について説明する。第２の実施の形態のテンソルデータ復元装置２の基本的な構成は第１の実施の形態のテンソルデータ復元装置１と同じである（図１参照）。第２の実施の形態のテンソルデータ復元装置２は、テンソルデータの冗長性更新とノイズ緩和を繰り返し行う点が第１の実施の形態とは相違する。

【0044】

図３は、第２の実施の形態のテンソルデータ復元装置２の動作を示すフローチャートである。第２の実施の形態のテンソルデータ復元装置２は、処理対象のテンソルデータの入力を受け付け（Ｓ２０）、続いて、入力されたテンソルデータに構造的な欠損値がある場合には、欠損要素を指定し、欠損要素を０とする（Ｓ２１）。次に、テンソルデータ復元装置２は、テンソルの低ランク性に基づいて、テンソル冗長性を更新する（Ｓ２２）。

【0045】

続いて、テンソルデータ復元装置２は、第１ノイズ緩和処理として画像の平滑性を利用したＴＧＶによる補正処理を行い（Ｓ２３）、画像の更新度に基づいて、第２ノイズ緩和処理に切り替えるか否かを判定する（Ｓ２４）。第２ノイズ緩和処理に切り替えないと判定された場合には（Ｓ２４でＮＯ）、第１ノイズ緩和処理を継続して行う（Ｓ２３）。第２ノイズ緩和処理に切り替えると判定された場合には（Ｓ２４でＹＥＳ）、テンソルデータ復元装置２は、ＢＭ３Ｄによる第２ノイズ緩和処理を行う（Ｓ２５）。

【0046】

第２ノイズ緩和処理を行った後、テンソルデータ復元装置２は、処理を終了するか否かを判定する（Ｓ２６）。終了判定は、例えば、第１ノイズ緩和処理と第２ノイズ緩和処理の入出力の変化（テンソルの各要素の差の２乗和の平方根等）が所定の閾値を下回ったときとすることができる。ここで閾値としては、一例として、［０－１］に正規化されたデータの場合で、１０^－４や１０^－５を用いることができる。

【0047】

この終了判定により、処理を終了しないと判定された場合には（Ｓ２６でＮＯ）、テンソルデータ復元装置２は、第２ノイズ緩和処理を行った後のテンソルデータを冗長性更新部２１に渡し、冗長性更新を行う（Ｓ２２）。そして、テンソルデータ復元装置２は、冗長性更新を行ったテンソルデータに対して、上述したのと同様にノイズ緩和処理を行う（Ｓ２３～Ｓ２５）。ただし、２回目以降のノイズ緩和処理においては、第１ノイズ緩和処理（Ｓ２３）から第２ノイズ緩和処理（Ｓ２５）への切り替えの判定（Ｓ２４）で用いる閾値を前回までの閾値とは変えてもよい。具体的には、徐々に閾値を小さくしてもよい。これにより、ノイズ緩和処理を繰り返すたびにノイズ緩和の度合いを高くしていくことができる。

【0048】

第２ノイズ緩和処理（Ｓ２５）を行った後における処理を終了するか否かの判定において、処理を終了すると判定された場合（Ｓ２６でＹＥＳ）は、テンソルデータ復元装置２は、ノイズ緩和されたテンソルデータを出力する（Ｓ２７）。

【0049】

以上、第２の実施の形態のテンソルデータ復元装置２について説明した。第２の実施の形態のテンソルデータ復元装置２は、第１の実施の形態のテンソルデータ復元装置１と同様に、計算コストを抑えつつ、テンソルデータのノイズや欠損値を適切に緩和することができるという効果を有する。

【0050】

冗長性更新部２１による処理には、テンソルデータの復元精度を高める効果のほかにノイズを緩和する効果もあり、冗長性更新部２１で取り切れなかったノイズを、ノイズ緩和処理部２２で緩和することができる。第２の実施の形態のテンソルデータ復元装置２は、冗長性更新とノイズ緩和を繰り返し行うことにより、より精度の高いノイズ緩和を行うことができる。

【0051】

（第３の実施の形態）
次に、本発明の第３の実施の形態のテンソルデータ復元装置３について説明する。第３の実施の形態のテンソルデータ復元装置３の基本的な構成は第１の実施の形態のテンソルデータ復元装置１と同じである（図１参照）。第３の実施の形態のテンソルデータ復元装置３は、第１ノイズ緩和処理と第２ノイズ緩和処理との間にテンソルデータの冗長性更新処理を挟んで、冗長性更新とノイズ緩和を繰り返し行う点が第１の実施の形態とは相違する。

【0052】

図４は、第３の実施の形態のテンソルデータ復元装置３の動作を示すフローチャートである。第３の実施の形態のテンソルデータ復元装置３は、処理対象のテンソルデータの入力を受け付け（Ｓ３０）、続いて、入力されたテンソルデータに構造的な欠損値がある場合には、欠損要素を指定し、欠損要素を０とする（Ｓ３１）。次に、テンソルデータ復元装置３は、テンソルの低ランク性に基づいて、テンソル冗長性を更新する（Ｓ３２）。

【0053】

続いて、テンソルデータ復元装置３は、ノイズ緩和処理を行うが、この際に最初のノイズ緩和処理であるか否かを判定する（Ｓ３３）。最初のノイズ緩和処理である場合には（Ｓ３３でＹＥＳ）、テンソルデータ復元装置３は、第１ノイズ緩和処理として画像の平滑性を利用したＴＧＶによる補正処理を行う（Ｓ３５）。その後、テンソルデータ復元装置３は、処理を終了するか否かを判定する（Ｓ３７）。処理を終了しないと判定された場合には（Ｓ３７でＮＯ）、テンソルデータ復元装置３は、第１ノイズ緩和処理を行った後のテンソルデータを冗長性更新部２１に渡し、テンソル冗長性を更新する処理を行う（Ｓ３２）。

【0054】

ノイズ緩和処理が最初のノイズ緩和処理でない場合には（Ｓ３３でＮＯ）、テンソルデータ復元装置３は、第２ノイズ緩和処理に切り替えるか否かを判定する（Ｓ３４）。第２ノイズ緩和処理に切り替えないと判定された場合には（Ｓ３４でＮＯ）、テンソルデータ復元装置３は、第１ノイズ緩和処理を行う（Ｓ３５）。第２ノイズ緩和処理に切り替えると判定された場合には（Ｓ３４でＹＥＳ）、テンソルデータ復元装置３は、ＢＭ３Ｄによる第２ノイズ緩和処理を行う（Ｓ３６）。

【0055】

第２ノイズ緩和処理を行った後、テンソルデータ復元装置３は、処理を終了するか否かを判定する（Ｓ３７）。終了判定は、上述した実施の形態で説明した判定を行う。この終了判定により、処理を終了しないと判定された場合には（Ｓ３７でＮＯ）、テンソルデータ復元装置３は、第２ノイズ緩和処理を行った後のテンソルデータを冗長性更新部２１に渡し、冗長性更新を行う（Ｓ３２）。そして、テンソルデータ復元装置３は、冗長性更新を行ったテンソルデータに対して、上述したのと同様にノイズ緩和処理を行う（Ｓ３４～Ｓ３７）。

【0056】

第２ノイズ緩和処理（Ｓ３６）を行った後における処理を終了するか否かの判定において、処理を終了すると判定された場合（Ｓ３７でＹＥＳ）は、テンソルデータ復元装置３は、ノイズ緩和されたテンソルデータを出力する（Ｓ３８）。

【0057】

以上、第３の実施の形態のテンソルデータ復元装置３について説明した。第３の実施の形態のテンソルデータ復元装置３は、第１の実施の形態のテンソルデータ復元装置１と同様に、計算コストを抑えつつ、テンソルデータのノイズや欠損値を適切に緩和することができるという効果を有する。

【0058】

冗長性更新部２１による処理には、テンソルデータの復元精度を高める効果のほかにノイズを緩和する効果もあり、冗長性更新部２１で取り切れなかったノイズを、ノイズ緩和処理部２２で緩和することができる。第３の実施の形態のテンソルデータ復元装置３は、冗長性更新とノイズ緩和を繰り返し行うことにより、より精度の高いノイズ緩和を行うことができる。

【0059】

ここで、第３の実施の形態のテンソルデータ復元装置３を用いた計算例と比較例を示す。計算に用いたデータは、コロンビア大学が2008年に提供したCAVEデータセット（https://www.cs.columbia.edu/CAVE/databases/multispectral/）である。CAVEデータセットのspongeの２５０×２５０ピクセルを切り出した画像にノイズを付与し、スナップショット分光画像と同じフィルタで撮影したと仮定した入力を用いて精度評価した。次の表は、真値と計算結果の乖離を、ＲＳＥ（Relative squared error）、ＰＳＮＲ（Peak Signal to Noise Ratio）[dB]、ＳＳＩＭ（Structual SIMilarity）の３つの指標で評価した結果を示す。

【表1】

【0060】

この実験結果に見られるように本実施の形態のように、第１ノイズ緩和処理と第２ノイズ緩和処理をリレーした場合に、３つの指標のいずれにおいても復元の精度が良いことが示された。また、計算時間についても、ＴＧＶのみ場合が２分、ＢＭ３Ｄのみの場合が１７分だったのに対し、本実施の形態の方法では５分であり、３倍程度の削減効果があった。

【0061】

以上、本発明のテンソルデータ復元装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
図５は、変形例に係るテンソルデータ復元装置４の構成を示す図である。変形例に係るテンソルデータ復元装置４は、第１ノイズ緩和処理２３から第２ノイズ緩和処理２４への切り替えの判定を行うための閾値の設定するための閾値設定部１３を有している。この構成により、ユーザは、処理対象のテンソルデータに応じて適切な閾値を設定することができる。

【0062】

また、第１ノイズ緩和処理２３から第２ノイズ緩和処理２４への切り替えは、ユーザが判断してもよい。具体的には、第１ノイズ緩和処理２３の処理過程でテンソルデータを表示し、表示されたテンソルデータを見てユーザが切替えのタイミングを入力することとしてもよい。

【0063】

上記した実施の形態では、欠損値を指定する欠損要素指定部２０を備える構成を挙げて説明したが、欠損要素指定部２０は任意であり、処理対象のテンソルデータによってはなくてもよい。また、冗長性更新部２１も任意であり、処理対象のテンソルデータによってはなくてもよい。第２の実施の形態において冗長性更新部２１を備えない場合には、処理終了か否かの判定において処理を終了しないと判定された場合（Ｓ２６でＮＯ）、第１ノイズ緩和処理（Ｓ２３）に戻る。

【符号の説明】

【0064】

１～４ テンソルデータ復元装置
１０ 入力部
１１ 演算部
１２ 出力部
１３ 閾値設定部
２０ 欠損要素指定部
２１ 冗長性更新部
２２ ノイズ緩和処理部
２３ 第１ノイズ緩和処理
２４ 第２ノイズ緩和処理
２５ 切替処理

【図1】

【図2】

【図3】

【図4】

【図5】