特許 7565616 深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体

(51)【国際特許分類】

   G06T 5/73 20240101AFI20241004BHJP

   G06T 3/4069 20240101ALI20241004BHJP

【ＦＩ】

G06T5/73

G06T3/4069

【請求項の数】 10

(21)【出願番号】P 2022160688

(22)【出願日】2022-10-05

(65)【公開番号】P2023161062

(43)【公開日】2023-11-06

【審査請求日】2022-10-05

(31)【優先権主張番号】202210445546.2

(32)【優先日】2022-04-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】518411338

【氏名又は名称】山東科技大学

(74)【代理人】

【識別番号】100145470

【弁理士】

【氏名又は名称】藤井 健一

(72)【発明者】

【氏名】劉暁鵬

(72)【発明者】

【氏名】傅游

(72)【発明者】

【氏名】花ロン

(72)【発明者】

【氏名】崔煥慶

(72)【発明者】

【氏名】于建志

【審査官】鈴木 明

(56)【参考文献】

【文献】中国特許出願公開第１１２８３７２３２（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４２４０７９３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００－５／９４

Ｇ０６Ｔ ３／００－３／６０８

(57)【特許請求の範囲】

【請求項1】

取得した水中画像のデータをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、行列の非負性を制御し分解することと、
分解後に得られた最後の行列を原画像に作用させ、復元後の画像が得られることと、を含むことを特徴とする深さ低ランク非負値行列因子分解を用いる水中画像復元方法。

【請求項2】

前記取得した水中画像に対して対数変換を行うのは、具体的には、取得した水中画像ｆ（ｘ，ｙ）に対して対数変換を行い、ｚ（ｘ，ｙ）が得られることを特徴とする請求項１に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。

【請求項3】

前記ｆ（ｘ，ｙ）に対して対数変換を行い、ｚ（ｘ，ｙ）が得られることは次の公式により表され、

【数17】

ここで、ｆ（ｘ，ｙ）は原画像を表し、ｚ（ｘ，ｙ）は、対数変換を行った後の画像を表すことを特徴とする請求項２に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。

【請求項4】

変換後の画像データに対してＲＧＢの３つのチャネルに基づいて並べ替え、形成した行列は以下の公式により表され、

【数18】

ここで、 Ｒ（ｘ，ｙ） Ｇ（ｘ，ｙ） Ｂ（ｘ，ｙ）はそれぞれ対数変換を行った後のＲＧＢチャンネルの画素値を表すことを特徴とする請求項１に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。

【請求項5】

変換後の行列に対して深さ低ランク非負値行列因子分解を行い、制御分解プロセスは２ステップに分け、

【数19】

が得られることを特徴とする請求項１に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。

【請求項6】

前記行列に対して深さ低ランク非負値行列因子分解を行うには、深さ低ランク非負値行列因子分解の公式は、以下の通りであり、

【数20】

ここで、Ｅは分解後の誤差を表し、誤差が小さいほど、分解後の行列ＷＨは元行列Ｍに近いことを表すことを特徴とする請求項５に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。

【請求項7】

低ランク拘束は以下の公式により表され、

【数21】

上述したように行列に対して低ランク分解をし、分解後の行列が得られ、最後の行列を光照射成分として原画像に作用させ、復元後の画像ｅ（ｘ，ｙ）が得られることを特徴とする請求項６に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。

【請求項8】

深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行するシステムは、
取得した水中画像に対して対数変換を行うための対数変換モジュールと、
変換後の画像データをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するための行列拡張分解モジュールと、
分解後の最後の行列を光照射成分として原画像に作用させ、復元後の画像が得られるための画像処理モジュールと、を含むことを特徴とする請求項１－７のいずれか１項に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行するシステム。

【請求項9】

以下のステップを含み、電子機器に請求項１～７のいずれか１項に記載の前記深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行させるプログラムが記憶された記憶媒体。
取得した水中画像に対して対数変換を行うステップ１と、
変換後の画像データをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するステップ２と、
分解後の最後の行列を光照射成分として原画像に作用させ、復元後の画像が得られるステップ３。

【請求項10】

コンピュータ読み取り可能な媒体に格納されたコンピュータプログラム製品であり、読み取り可能なプログラムを含み、電子デバイスに実行される際に、請求項１～７のいずれか一項に記載の前記深さ低ランク非負値行列因子分解方法を用いる水中画像復元方法を実行するためのユーザ入力インタフェースを提供することに使用される。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理の技術分野に関し、特に深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体に関する。

【背景技術】

【0002】

今まで、水中カラー画像について、波長の光によって、水中に伝送される際の減衰程度が異なり、物の色ずれやねじれをもたらす一方、水中の水分子と懸濁粒子による光の散乱効果は、水中画像のぼやけを引き起こす。現在の水中イメージング技術は水中画像の品質をある程度改善したが、水中画像に存在するこれらの問題は実際の応用ニーズを満たすことができず、水中探査と研究を阻害している。そのため、画像復元技術を用いて水中画像の品質を向上させる必要がある。

【0003】

画像復元は、特定の画像の特徴と存在する問題に対して関連処理を行い、画像品質を改善する方法であり、主な方法は以下の通りであり、（１）ヒストグラム均等化と、平均値フィルタ及び媒体ンフィルタのような空域に基づく画像復元方法、（２）大気乱流モデル及び水中イメージングモデルに基づく水中画像復元方法のような水中画像の劣化メカニズム及び光学特性に基づく水中画像復元方法、（３）マルチスケールＲｅｔｉｎｅｘアルゴリズムのような網膜皮質に基づく水中画像復元方法（４）ウェーブレット変換による水中画像復元方法。

【0004】

ここで、ヒストグラム均等化は一般的な画像復元方法であり、画像のヒストグラムを変更することによって画像中の各画素のグレースケールを変更し、主にダイナミックレンジの小さい画像のコントラストを強化するために用いられる。原画像は、グレースケール分布が狭い区間に集中している可能性があるため、画像が鮮明ではない。例えば、露出オーバーの画像のグレースケールは高輝度範囲に集中するのに対して、露光が不足すると画像のグレースケールは低輝度範囲に集中する。ヒストグラム均等化を採用する場合、原画像のヒストグラムを均一分布（バランス）の形式に変換することができるため、各画素間のグレースケール値の差の動態範囲を増加し、さらにコントラストを増大し、画像をはっきりさせて、画像復元の目的を達成する。１次元画像のヒストグラムは、以下のような関数により表され、

【数1】

【0005】

上式において、 ｎ_ｋは、グレースケールがｋである画素の個数であり、Ｎは画像中の画素の総数である。Ｒｅｔｉｎｅｘアルゴリズムは、物体の色が物の反射光強度の絶対値によって決定されるものではなく、物体が長波（赤）、中波（緑）、短波（青）光線に対する反射能力によって決定されるものであり、物体の色は光照射の不均一性の影響を受けず、一致性を有する。即ちＲｅｔｉｎｅｘアルゴリズムは色の恒常性に基づいたものである。Ｒｅｔｉｎｅｘアルゴリズムは、原画像Ｓが光照射画像Ｌと反射率画像Ｒの積であることを仮定すると、次の公式により表され、

【数2】

【0006】

処理中に、画像を対数ドメインに変換し、さらに積の関係を和の関係に変換し、

【数3】

【0007】

Ｒｅｔｉｎｅｘアルゴリズムの核心は、照度Ｌを予測し、画像ＳからＬ成分を推定し、Ｌ成分を除去して元反射成分Ｒを得、即ち、

【数4】

【0008】

画像復元は、主にノイズ画像から原画像の推定が得られることである。推定精度が高いほど、画像復元の効果が高いことを示す。一般的な画像復元効果評価基準は平均二乗誤差（ＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ， ＭＳＥ）とピーク信号対ノイズ比（ＰｅａｋＳｉｇｎａｌｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ，ＰＳＮＲ）であり、以下のような公式に表され、

【数5】

【0009】

【数6】

【0010】

上式において、ＭとＮは、それぞれＸ方向及びＹ方向の画像の画素数であり、ｆ（ｉ，ｊ）とｇ（ｉ，ｊ）はそれぞれ元画像と復元画像が位置（ｉ，ｊ）における値である。平均二乗誤差とピーク信号対ノイズ比の２種類の評価基準は客観基準であり、人間の視覚システムから画像品質に対する感受性を反映することができない。平均二乗誤差（ＭＳＥ）が小さいほど、ピーク信号対ノイズ比（ＰＳＮＲ）が大きくなり、復元後の画像の鮮明度が高いほど復元効果も高いことを示す。

【0011】

上記分析により、従来技術に存在する問題点及び欠陥は、従来技術における水中画像に存在する色歪みとノイズ影響の問題がある。

【0012】

以上の問題と欠陥を解決する難しさは以下の通りであり、
以上の問題に対して、多種の画像解析方法を提案して処理したが、水中の特殊なイメージングメカニズムと複雑な環境のため、これらのアルゴリズムの実際の応用は制限されている。水中画像処理の効果を高めるために特殊なハードウェアデバイスを採用することもあるが、ハードウェアデバイスは比較的高価で、操作が複雑であるとともに、同じシーンの複数の水中画像が得られることが難しく、水中探査と研究に大きな困難をもたらした。

【発明の概要】

【発明が解決しようとする課題】

【0013】

以上の問題と欠陥を解決する意義は以下の通りであり、
科学技術の発展と進歩に伴い、人類の海洋認識のプロセスは絶えず加速している。水中ロボット、ソナー、レーザー、レーダーなどの設備は水中の研究に投入され、異なる表示形式のデータが得られた。ただし、画像は最も直感的な表現である。海底で出会ったさまざまな不測の事態を処理するには、取得した画像データをリアルタイムで処理する簡単で迅速なアルゴリズムが必要である。本発明は簡便かつ効率的な特徴を有し、水中画像処理の品質を効果的に高めることができる。これは海洋環境保護、海洋資源の開発と利用及び海洋軍事応用等に重要な意義を持つ。

【課題を解決するための手段】

【0014】

従来技術に関する問題点に対して、本発明は、深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体を提供する。

【0015】

本発明はこのようにして実現され、深さ低ランク非負値行列因子分解を用いる水中画像復元方法であり、前記深さ低ランク非負値行列因子分解を用いる水中画像復元方法は、
取得した水中画像に対して対数変換を行い、データを［０，１］区間に正規化するステップ１と、
変換後の画像データをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するステップ２と、
分解後の最後の行列を光照射成分とし、原画像と乗算し、復元後の画像が得られるステップ３と、を含む。

【0016】

さらに、前記ステップ１は、具体的には、取得した水中画像ｆ（ｘ，ｙ）に対して対数変換を行い、ｚ（ｘ，ｙ）が得られる。

【0017】

さらに、前記ｆ（ｘ，ｙ）に対して対数変換を行い、ｚ（ｘ，ｙ）が得られることは次の公式により表され、

【数7】

【0018】

ここで、ｆ（ｘ，ｙ）は原画像を表し、ｚ（ｘ，ｙ）は、対数変換を行った後の画像を表す。

【0019】

さらに、前記ステップ２において、形成した行列は、以下の公式により表され、

【数8】

【0020】

ここで、Ｒ（ｘ，ｙ） Ｇ（ｘ，ｙ） Ｂ（ｘ，ｙ）はそれぞれ対数変換を行った後のＲＧＢチャンネルの画素値を表す。

【0021】

さらに、前記ステップ２において、行列に対して深さ低ランク非負値行列因子分解を行い、二つの行列を制御して分解し、

【数9】

【0022】

が得られる。

【0023】

さらに、前記行列に対して深さ低ランク非負値行列因子分解を行うには、深さ低ランク非負値行列因子分解の公式は、以下の通りであり、

【数10】

【0024】

ここで、Ｅは分解後の誤差を表し、誤差が小さいほど、分解後の行列ＷＨは元行列Ｍに近いことを表す。

【0025】

さらに、前記低ランク拘束は以下の公式により表される。

【数11】

【0026】

さらに、前記ステップ３について、具体的には、Ｈ_２ の結果を原画像と積演算を行い、分解後の画像ｅ（ｘ，ｙ）が得られる。

【0027】

本発明は、深さ低ランク非負値行列因子分解を用いる水中画像復元システムをさらに提供し、前記深さ低ランク非負値行列因子分解を用いる水中画像復元システムは、
取得した水中画像に対して対数変換を行うための対数変換モジュールと、
変換後の画像データをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するための行列拡張分解モジュールと、
分解後の最後の行列を原画像と積演算を行い、復元後の画像が得られるための画像処理モジュールと、を含む。

【0028】

本発明は、ユーザ入力プログラムを受信するための記憶媒体をさらに提供し、記憶されたコンピュータプログラムを介して、電子機器に前記深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行させるステップは、
取得した水中画像に対して対数変換を行うステップ１と、
変換後の画像データをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するステップ２と、
分解後の最後の行列を原画像と積演算を行い、復元後の画像が得られるステップ３と、を含む。

【0029】

本発明は、コンピュータ読み取り可能な媒体に格納されたコンピュータプログラム製品をさらに提供し、読み取り可能なプログラムを含み、電子デバイスに実行される際に、前記深さ低ランク非負値行列因子分解方法を用いる水中画像復元方法を実行するためのユーザ入力インタフェースを提供することに使用される。

【発明の効果】

【0030】

上述のすべての技術方案を結合して、本発明が備える利点と積極的な効果は以下の通りである。本発明における非負値行列因子分解方法は画像処理分野で広範な用途に使用され、水中画像は媒体による異なる波長の光の吸収及び水中の不純物の影響により、水中画像は色ずれと霧化の効果が現れ、深さ非負値行列因子分解に加えて低ランク拘束を加えて水中画像を復元し、水中画像の光照射成分を分解する。本発明は、水中画像の散乱成分を低ランク性を有するように拘束し、画像中の直接光照射成分が水中画像中の有用な情報を含むことを保証すると同時に、本発明は画像のコントラストを高め、画像のノイズを除去し、処理後の水中画像のカラー情報を強化し、そのピーク信号対ノイズ比（ＰＳＮＲ）はヒストグラム均等化と媒体フィルターよりも大きく、平均二乗誤差（ＭＳＥ）はヒストグラム均等化と媒体ンフィルタよりも小さく、水中画像品質が向上し、水中画像品質の改善に一定の実用価値がある。

【図面の簡単な説明】

【0031】

【図1】本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いる水中画像復元方法のフローチャートである。

【図2】本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いて水中画像を復元するフローチャートである。

【図3】本発明の実行形態に提供される処理前の水中画像効果図である。

【図4】本発明の実行形態に提供されるヒストグラム均等化方法に処理された後の効果図である。

【図5】本発明の実行形態に提供されるＲｅｔｉｎｅｘアルゴリズムに処理された後の効果図である。

【図6】本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いる水中画像復元方法の効果図である。

【発明を実施するための形態】

【0032】

本発明の目的、請求項及び利点をより明確にするために、以下に添付図面及び実行形態を組み合わせて、本発明をさらに詳細に説明する。本明細書に記載された具体的な実行形態は、本発明を説明するためだけのものであり、本発明を限定するためのものではないことを理解されたい。

【0033】

従来技術に関する問題点に対して、本発明は、深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体を提供し、以下、図面を用いて本発明を詳細に説明する。

【0034】

本発明に提供される水中画像復元方法について、当業者は、他のステップを用いて実行することもでき、図１に示す本発明に提供される水中画像復元方法は単なる具体的な実行形態である。

【0035】

図１に示すように、本発明の実行形態は、深さ低ランク非負値行列因子分解を用いる水中画像復元方法を提供し、
取得した水中画像に対して対数変換を行うＳ１０１と、
変換後の画像データをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して非負値行列因子分解を行い、二つの行列を制御し分解するＳ１０２と、
分解後の行列に対して指数演算を行い、分解後の画像が得られ、画像中の画素値を並べ替え、復元後の画像が得られるステップＳ１０３と、を含む。

【0036】

本発明の実行形態に提供されるＳ１０１は、具体的には、取得した水中画像ｆ（ｘ，ｙ）に対して対数変換を行い、ｚ（ｘ，ｙ）が得られ、
前記ｆ（ｘ，ｙ）に対して対数変換を行い、ｚ（ｘ，ｙ）が得られることは次の公式により表され、

【数12】

【0037】

ここで、ｆ（ｘ，ｙ）は原画像を表し、ｚ（ｘ，ｙ）は、対数変換を行った後の画像を表す。

【0038】

本発明の実行形態に提供されるＳ１０２は、形成した行列は、以下の公式により表され、

【数13】

【0039】

ここで、Ｒ（ｘ，ｙ） Ｇ（ｘ，ｙ） Ｂ（ｘ，ｙ）はそれぞれ対数変換を行った後のＲＧＢチャンネルの画素値を表す。

【0040】

本発明の実行形態に提供されるＳ１０２は、行列に対して非負値行列因子分解を行い、二つの行列を制御して分解し、

【数14】

【0041】

が得られる。

【0042】

ここで、行列に対して非負値行列因子分解を行い、非負値行列因子分解の公式は、以下の通りであり、

【数15】

【0043】

ここで、Ｅは分解後の誤差を表し、誤差が小さいほど、分解後の行列ＷＨは元行列Ｍに近いことを表す。

【0044】

行列分解の過程で低ランク拘束を加え、散乱とノイズの影響を制御し、低ランク拘束は以下の公式により表され、

【数16】

【0045】

本発明の実行形態に提供されるＳ１０３は、Ｈ_２の結果を原画像と積演算を行い、分解後の画像ｅ（ｘ，ｙ）が得られる。

【0046】

本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いる水中画像復元システムは、
取得した水中画像に対して対数変換を行うための対数変換モジュールと、
変換後の画像データをＲＧＢの３つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するための行列拡張分解モジュールと、
分解後の最後の行列を原画像と積演算を行い、復元後の画像が得られるための画像処理モジュールと、を含む。

【0047】

シミュレーション実験を組み合わせて本発明の技術的効果について詳細に説明する。

【0048】

ヒストグラム均等化と、Ｒｅｔｉｎｅｘアルゴリズムと、本発明に採用されるピーク信号対ノイズ比（ＰＳＮＲ）と、平均二乗誤差（ＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ， ＭＳＥ）は表１に示す。

【0049】

画像復元方法処理された後の水中画像の評価指標比対比

【0050】

【表1】

【0051】

水中画像の特徴を分析することによって、水中画像の光照射色歪み、画像ぼやけなどの特徴に対して、深さ低ランク非負値行列因子分解アルゴリズムを利用して処理を行う。

【0052】

上表のデータと図３、図４、図５、図６を比較すると、アルゴリズムにより少ない歪みとノイズを導入していることがわかる。また、処理後の画像の色調、彩度、コントラストを効果的にバランスさせることができる。サーフェースレンダリング法はより良いロバスト性と有効性を有し、本発明の方法は水中画像の復元に一定の実用価値を有する。

【0053】

なお、本発明の実行形態は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアとの組み合わせにより実現することができる。ハードウェア部分は特別論法を用いて実現することができ、ソフトウェア部分は、適切な命令実行システム、例えばマイクロプロセッサまたは専用ハードウェアによって実行されるメモリに格納することができる。上述の装置および方法は、コンピュータ実行可能命令および／またはプロセッサ制御コードに含まれる、例えば、磁気ディスク、ＣＤまたはＤＶＤ?ＲＯＭなどのキャリア媒体、読み取り専用メモリ（ファームウェア）などのプログラム可能なメモリ、または光学または電子信号キャリアなどのデータキャリアに提供されるコードを使用して実装できることを当業者は理解するであろう。本発明の装置およびそのモジュールは、超大規模集積回路またはゲートアレイ、ロジックチップ、トランジスタなどの半導体、あるいはフィールド プログラマブル ゲートアレイ、プログラマブルロジックデバイスなどのプログラマブルハードウェアデバイスのハードウェア回路によって実現されてもよく、また、さまざまなタイプのプロセッサによって実行されるソフトウェアによって実現されてもよく、上述のハードウェア回路とソフトウェアの組み合わせ、例えばファームウェアによって実現されてもよい。

【0054】

以上述べたのは、本発明の具体的な実行形態にすぎないが、本発明の保護範囲はこれに限定されるものではなく、本発明の開示された技術範囲内において、本発明の精神と原則の範囲内で行われたいかなる修正、等価交換、改良などは、本発明の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】