(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023161062
(43)【公開日】2023-11-06
(54)【発明の名称】深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体
(51)【国際特許分類】
G06T 5/00 20060101AFI20231027BHJP
G06T 3/40 20060101ALI20231027BHJP
【FI】
G06T5/00 710
G06T3/40 740
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022160688
(22)【出願日】2022-10-05
(31)【優先権主張番号】202210445546.2
(32)【優先日】2022-04-24
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】518411338
【氏名又は名称】山東科技大学
(74)【代理人】
【識別番号】100145470
【弁理士】
【氏名又は名称】藤井 健一
(72)【発明者】
【氏名】劉暁鵬
(72)【発明者】
【氏名】傅游
(72)【発明者】
【氏名】花ロン
(72)【発明者】
【氏名】崔煥慶
(72)【発明者】
【氏名】于建志
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057AA20
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE03
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC30
(57)【要約】 (修正有)
【解決手段】深さ低ランク非負値行列因子分解を用いる水中画像復元方法は、取得した水中画像をRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解し、分解後の最後の行列を光照射成分として原画像に作用させ、復元後の画像を得る。
【効果】水中画像の散乱成分を低ランク性を有するように拘束し、画像中の直接光照射成分が水中画像中の有用な情報を含むことを保証すると同時に、本発明は画像のコントラストを高め、画像のノイズを除去し、処理後の水中画像のカラー情報を強化し、そのピーク信号対ノイズ比(PSNR)はヒストグラム均等化と媒体フィルターよりも大きく、平均二乗誤差(MSE)はヒストグラム均等化と媒体フィルタよりも小さく、水中画像品質が向上し、水中画像品質の改善に一定の実用価値がある。
【選択図】
図1
【特許請求の範囲】
【請求項1】
取得した水中画像のデータをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、行列の非負性を制御し分解することと、
分解後に得られた最後の行列を原画像に作用させ、復元後の画像が得られることと、を含むことを特徴とする深さ低ランク非負値行列因子分解を用いる水中画像復元方法。
【請求項2】
前記取得した水中画像に対して対数変換を行うのは、具体的には、取得した水中画像f(x,y)に対して対数変換を行い、z(x,y)が得られることを特徴とする請求項1に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。
【請求項3】
前記f(x,y)に対して対数変換を行い、z(x,y)が得られることは次の公式により表され、
【数17】
ここで、f(x,y)は原画像を表し、z(x,y)は、対数変換を行った後の画像を表すことを特徴とする請求項2に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。
【請求項4】
変換後の画像データに対してRGBの3つのチャネルに基づいて並べ替え、形成した行列は以下の公式により表され、
【数18】
ここで、 R(x,y) G(x,y) B(x,y)はそれぞれ対数変換を行った後のRGBチャンネルの画素値を表すことを特徴とする請求項1に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。
【請求項5】
変換後の行列に対して深さ低ランク非負値行列因子分解を行い、制御分解プロセスは2ステップに分け、
【数19】
が得られることを特徴とする請求項1に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。
【請求項6】
前記行列に対して深さ低ランク非負値行列因子分解を行うには、深さ低ランク非負値行列因子分解の公式は、以下の通りであり、
【数20】
ここで、Eは分解後の誤差を表し、誤差が小さいほど、分解後の行列WHは元行列Mに近いことを表すことを特徴とする請求項5に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。
【請求項7】
前記低ランク拘束は以下の公式により表され、
【数21】
上述したように行列に対して低ランク分解をし、分解後の行列が得られ、最後の行列を光照射成分として原画像に作用させ、復元後の画像e(x,y)が得られることを特徴とする請求項6に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法。
【請求項8】
深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行するシステムは、
取得した水中画像に対して対数変換を行うための対数変換モジュールと、
変換後の画像データをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するための行列拡張分解モジュールと、
分解後の最後の行列を光照射成分として原画像に作用させ、復元後の画像が得られるための画像処理モジュールと、を含むことを特徴とする請求項1-7のいずれか1項に記載の深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行するシステム。
【請求項9】
以下のステップを含み、電子機器に請求項1-8のいずれか1項に記載の前記深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行させるプログラムが記憶された記憶媒体。
取得した水中画像に対して対数変換を行うステップ1と、
変換後の画像データをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するステップ2と、
分解後の最後の行列を光照射成分として原画像に作用させ、復元後の画像が得られるステップ3。
【請求項10】
コンピュータ読み取り可能な媒体に格納されたコンピュータプログラム製品であり、読み取り可能なプログラムを含み、電子デバイスに実行される際に、請求項1-8のいずれか一項に記載の前記深さ低ランク非負値行列因子分解方法を用いる水中画像復元方法を実行するためのユーザ入力インタフェースを提供することに使用される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理の技術分野に関し、特に深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体に関する。
【背景技術】
【0002】
今まで、水中カラー画像について、波長の光によって、水中に伝送される際の減衰程度が異なり、物の色ずれやねじれをもたらす一方、水中の水分子と懸濁粒子による光の散乱効果は、水中画像のぼやけを引き起こす。現在の水中イメージング技術は水中画像の品質をある程度改善したが、水中画像に存在するこれらの問題は実際の応用ニーズを満たすことができず、水中探査と研究を阻害している。そのため、画像復元技術を用いて水中画像の品質を向上させる必要がある。
【0003】
画像復元は、特定の画像の特徴と存在する問題に対して関連処理を行い、画像品質を改善する方法であり、主な方法は以下の通りであり、(1)ヒストグラム均等化と、平均値フィルタ及び媒体ンフィルタのような空域に基づく画像復元方法、(2)大気乱流モデル及び水中イメージングモデルに基づく水中画像復元方法のような水中画像の劣化メカニズム及び光学特性に基づく水中画像復元方法、(3)マルチスケールRetinexアルゴリズムのような網膜皮質に基づく水中画像復元方法(4)ウェーブレット変換による水中画像復元方法。
【0004】
ここで、ヒストグラム均等化は一般的な画像復元方法であり、画像のヒストグラムを変更することによって画像中の各画素のグレースケールを変更し、主にダイナミックレンジの小さい画像のコントラストを強化するために用いられる。原画像は、グレースケール分布が狭い区間に集中している可能性があるため、画像が鮮明ではない。例えば、露出オーバーの画像のグレースケールは高輝度範囲に集中するのに対して、露光が不足すると画像のグレースケールは低輝度範囲に集中する。ヒストグラム均等化を採用する場合、原画像のヒストグラムを均一分布(バランス)の形式に変換することができるため、各画素間のグレースケール値の差の動態範囲を増加し、さらにコントラストを増大し、画像をはっきりさせて、画像復元の目的を達成する。1次元画像のヒストグラムは、以下のような関数により表され、
【数1】
【0005】
上式において、 n
kは、グレースケールがkである画素の個数であり、Nは画像中の画素の総数である。Retinexアルゴリズムは、物体の色が物の反射光強度の絶対値によって決定されるものではなく、物体が長波(赤)、中波(緑)、短波(青)光線に対する反射能力によって決定されるものであり、物体の色は光照射の不均一性の影響を受けず、一致性を有する。即ちRetinexアルゴリズムは色の恒常性に基づいたものである。Retinexアルゴリズムは、原画像Sが光照射画像Lと反射率画像Rの積であることを仮定すると、次の公式により表され、
【数2】
【0006】
処理中に、画像を対数ドメインに変換し、さらに積の関係を和の関係に変換し、
【数3】
【0007】
Retinexアルゴリズムの核心は、照度Lを予測し、画像SからL成分を推定し、L成分を除去して元反射成分Rを得、即ち、
【数4】
【0008】
画像復元は、主にノイズ画像から原画像の推定が得られることである。推定精度が高いほど、画像復元の効果が高いことを示す。一般的な画像復元効果評価基準は平均二乗誤差(MeanSquaredError, MSE)とピーク信号対ノイズ比(PeakSignalto Noise Ratio,PSNR)であり、以下のような公式に表され、
【数5】
【0009】
【0010】
上式において、MとNは、それぞれX方向及びY方向の画像の画素数であり、f(i,j)とg(i,j)はそれぞれ元画像と復元画像が位置(i,j)における値である。平均二乗誤差とピーク信号対ノイズ比の2種類の評価基準は客観基準であり、人間の視覚システムから画像品質に対する感受性を反映することができない。平均二乗誤差(MSE)が小さいほど、ピーク信号対ノイズ比(PSNR)が大きくなり、復元後の画像の鮮明度が高いほど復元効果も高いことを示す。
【0011】
上記分析により、従来技術に存在する問題点及び欠陥は、従来技術における水中画像に存在する色歪みとノイズ影響の問題がある。
【0012】
以上の問題と欠陥を解決する難しさは以下の通りであり、
以上の問題に対して、多種の画像解析方法を提案して処理したが、水中の特殊なイメージングメカニズムと複雑な環境のため、これらのアルゴリズムの実際の応用は制限されている。水中画像処理の効果を高めるために特殊なハードウェアデバイスを採用することもあるが、ハードウェアデバイスは比較的高価で、操作が複雑であるとともに、同じシーンの複数の水中画像が得られることが難しく、水中探査と研究に大きな困難をもたらした。
【発明の概要】
【発明が解決しようとする課題】
【0013】
以上の問題と欠陥を解決する意義は以下の通りであり、
科学技術の発展と進歩に伴い、人類の海洋認識のプロセスは絶えず加速している。水中ロボット、ソナー、レーザー、レーダーなどの設備は水中の研究に投入され、異なる表示形式のデータが得られた。ただし、画像は最も直感的な表現である。海底で出会ったさまざまな不測の事態を処理するには、取得した画像データをリアルタイムで処理する簡単で迅速なアルゴリズムが必要である。本発明は簡便かつ効率的な特徴を有し、水中画像処理の品質を効果的に高めることができる。これは海洋環境保護、海洋資源の開発と利用及び海洋軍事応用等に重要な意義を持つ。
【課題を解決するための手段】
【0014】
従来技術に関する問題点に対して、本発明は、深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体を提供する。
【0015】
本発明はこのようにして実現され、深さ低ランク非負値行列因子分解を用いる水中画像復元方法であり、前記深さ低ランク非負値行列因子分解を用いる水中画像復元方法は、
取得した水中画像に対して対数変換を行い、データを[0,1]区間に正規化するステップ1と、
変換後の画像データをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するステップ2と、
分解後の最後の行列を光照射成分とし、原画像と乗算し、復元後の画像が得られるステップ3と、を含む。
【0016】
さらに、前記ステップ1は、具体的には、取得した水中画像f(x,y)に対して対数変換を行い、z(x,y)が得られる。
【0017】
さらに、前記f(x,y)に対して対数変換を行い、z(x,y)が得られることは次の公式により表され、
【数7】
【0018】
ここで、f(x,y)は原画像を表し、z(x,y)は、対数変換を行った後の画像を表す。
【0019】
さらに、前記ステップ2において、形成した行列は、以下の公式により表され、
【数8】
【0020】
ここで、R(x,y) G(x,y) B(x,y)はそれぞれ対数変換を行った後のRGBチャンネルの画素値を表す。
【0021】
さらに、前記ステップ2において、行列に対して深さ低ランク非負値行列因子分解を行い、二つの行列を制御して分解し、
【数9】
【0022】
が得られる。
【0023】
さらに、前記行列に対して深さ低ランク非負値行列因子分解を行うには、深さ低ランク非負値行列因子分解の公式は、以下の通りであり、
【数10】
【0024】
ここで、Eは分解後の誤差を表し、誤差が小さいほど、分解後の行列WHは元行列Mに近いことを表す。
【0025】
さらに、前記低ランク拘束は以下の公式により表される。
【数11】
【0026】
さらに、前記ステップ3について、具体的には、H2 の結果を原画像と積演算を行い、分解後の画像e(x,y)が得られる。
【0027】
本発明は、深さ低ランク非負値行列因子分解を用いる水中画像復元システムをさらに提供し、前記深さ低ランク非負値行列因子分解を用いる水中画像復元システムは、
取得した水中画像に対して対数変換を行うための対数変換モジュールと、
変換後の画像データをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するための行列拡張分解モジュールと、
分解後の最後の行列を原画像と積演算を行い、復元後の画像が得られるための画像処理モジュールと、を含む。
【0028】
本発明は、ユーザ入力プログラムを受信するための記憶媒体をさらに提供し、記憶されたコンピュータプログラムを介して、電子機器に前記深さ低ランク非負値行列因子分解を用いる水中画像復元方法を実行させるステップは、
取得した水中画像に対して対数変換を行うステップ1と、
変換後の画像データをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するステップ2と、
分解後の最後の行列を原画像と積演算を行い、復元後の画像が得られるステップ3と、を含む。
【0029】
本発明は、コンピュータ読み取り可能な媒体に格納されたコンピュータプログラム製品をさらに提供し、読み取り可能なプログラムを含み、電子デバイスに実行される際に、前記深さ低ランク非負値行列因子分解方法を用いる水中画像復元方法を実行するためのユーザ入力インタフェースを提供することに使用される。
【発明の効果】
【0030】
上述のすべての技術方案を結合して、本発明が備える利点と積極的な効果は以下の通りである。本発明における非負値行列因子分解方法は画像処理分野で広範な用途に使用され、水中画像は媒体による異なる波長の光の吸収及び水中の不純物の影響により、水中画像は色ずれと霧化の効果が現れ、深さ非負値行列因子分解に加えて低ランク拘束を加えて水中画像を復元し、水中画像の光照射成分を分解する。本発明は、水中画像の散乱成分を低ランク性を有するように拘束し、画像中の直接光照射成分が水中画像中の有用な情報を含むことを保証すると同時に、本発明は画像のコントラストを高め、画像のノイズを除去し、処理後の水中画像のカラー情報を強化し、そのピーク信号対ノイズ比(PSNR)はヒストグラム均等化と媒体フィルターよりも大きく、平均二乗誤差(MSE)はヒストグラム均等化と媒体ンフィルタよりも小さく、水中画像品質が向上し、水中画像品質の改善に一定の実用価値がある。
【図面の簡単な説明】
【0031】
【
図1】本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いる水中画像復元方法のフローチャートである。
【
図2】本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いて水中画像を復元するフローチャートである。
【
図3】本発明の実行形態に提供される処理前の水中画像効果図である。
【
図4】本発明の実行形態に提供されるヒストグラム均等化方法に処理された後の効果図である。
【
図5】本発明の実行形態に提供されるRetinexアルゴリズムに処理された後の効果図である。
【
図6】本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いる水中画像復元方法の効果図である。
【発明を実施するための形態】
【0032】
本発明の目的、請求項及び利点をより明確にするために、以下に添付図面及び実行形態を組み合わせて、本発明をさらに詳細に説明する。本明細書に記載された具体的な実行形態は、本発明を説明するためだけのものであり、本発明を限定するためのものではないことを理解されたい。
【0033】
従来技術に関する問題点に対して、本発明は、深さ低ランク非負値行列因子分解を用いる水中画像復元方法、その水中画像復元方法を実行するシステム及びその水中画像復元方法を実行するプログラムが記憶された記憶媒体を提供し、以下、図面を用いて本発明を詳細に説明する。
【0034】
本発明に提供される水中画像復元方法について、当業者は、他のステップを用いて実行することもでき、
図1に示す本発明に提供される水中画像復元方法は単なる具体的な実行形態である。
【0035】
図1に示すように、本発明の実行形態は、深さ低ランク非負値行列因子分解を用いる水中画像復元方法を提供し、
取得した水中画像に対して対数変換を行うS101と、
変換後の画像データをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して非負値行列因子分解を行い、二つの行列を制御し分解するS102と、
分解後の行列に対して指数演算を行い、分解後の画像が得られ、画像中の画素値を並べ替え、復元後の画像が得られるステップS103と、を含む。
【0036】
本発明の実行形態に提供されるS101は、具体的には、取得した水中画像f(x,y)に対して対数変換を行い、z(x,y)が得られ、
前記f(x,y)に対して対数変換を行い、z(x,y)が得られることは次の公式により表され、
【数12】
【0037】
ここで、f(x,y)は原画像を表し、z(x,y)は、対数変換を行った後の画像を表す。
【0038】
本発明の実行形態に提供されるS102は、形成した行列は、以下の公式により表され、
【数13】
【0039】
ここで、R(x,y) G(x,y) B(x,y)はそれぞれ対数変換を行った後のRGBチャンネルの画素値を表す。
【0040】
本発明の実行形態に提供されるS102は、行列に対して非負値行列因子分解を行い、二つの行列を制御して分解し、
【数14】
【0041】
が得られる。
【0042】
ここで、行列に対して非負値行列因子分解を行い、非負値行列因子分解の公式は、以下の通りであり、
【数15】
【0043】
ここで、Eは分解後の誤差を表し、誤差が小さいほど、分解後の行列WHは元行列Mに近いことを表す。
【0044】
行列分解の過程で低ランク拘束を加え、散乱とノイズの影響を制御し、低ランク拘束は以下の公式により表され、
【数16】
【0045】
本発明の実行形態に提供されるS103は、H2の結果を原画像と積演算を行い、分解後の画像e(x,y)が得られる。
【0046】
本発明の実行形態に提供される深さ低ランク非負値行列因子分解を用いる水中画像復元システムは、
取得した水中画像に対して対数変換を行うための対数変換モジュールと、
変換後の画像データをRGBの3つのチャネルに基づいて並べ替え、行列を形成し、さらに行列に対して深さ低ランク非負値行列因子分解を行い、三つの行列を制御し分解するための行列拡張分解モジュールと、
分解後の最後の行列を原画像と積演算を行い、復元後の画像が得られるための画像処理モジュールと、を含む。
【0047】
シミュレーション実験を組み合わせて本発明の技術的効果について詳細に説明する。
【0048】
ヒストグラム均等化と、Retinexアルゴリズムと、本発明に採用されるピーク信号対ノイズ比(PSNR)と、平均二乗誤差(MeanSquaredError, MSE)は表1に示す。
【0049】
画像復元方法処理された後の水中画像の評価指標比対比
【0050】
【0051】
水中画像の特徴を分析することによって、水中画像の光照射色歪み、画像ぼやけなどの特徴に対して、深さ低ランク非負値行列因子分解アルゴリズムを利用して処理を行う。
【0052】
上表のデータと
図3、
図4、
図5、
図6を比較すると、アルゴリズムにより少ない歪みとノイズを導入していることがわかる。また、処理後の画像の色調、彩度、コントラストを効果的にバランスさせることができる。サーフェースレンダリング法はより良いロバスト性と有効性を有し、本発明の方法は水中画像の復元に一定の実用価値を有する。
【0053】
なお、本発明の実行形態は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアとの組み合わせにより実現することができる。ハードウェア部分は特別論法を用いて実現することができ、ソフトウェア部分は、適切な命令実行システム、例えばマイクロプロセッサまたは専用ハードウェアによって実行されるメモリに格納することができる。上述の装置および方法は、コンピュータ実行可能命令および/またはプロセッサ制御コードに含まれる、例えば、磁気ディスク、CDまたはDVD?ROMなどのキャリア媒体、読み取り専用メモリ(ファームウェア)などのプログラム可能なメモリ、または光学または電子信号キャリアなどのデータキャリアに提供されるコードを使用して実装できることを当業者は理解するであろう。本発明の装置およびそのモジュールは、超大規模集積回路またはゲートアレイ、ロジックチップ、トランジスタなどの半導体、あるいはフィールド プログラマブル ゲートアレイ、プログラマブルロジックデバイスなどのプログラマブルハードウェアデバイスのハードウェア回路によって実現されてもよく、また、さまざまなタイプのプロセッサによって実行されるソフトウェアによって実現されてもよく、上述のハードウェア回路とソフトウェアの組み合わせ、例えばファームウェアによって実現されてもよい。
【0054】
以上述べたのは、本発明の具体的な実行形態にすぎないが、本発明の保護範囲はこれに限定されるものではなく、本発明の開示された技術範囲内において、本発明の精神と原則の範囲内で行われたいかなる修正、等価交換、改良などは、本発明の保護範囲内に含まれるべきである。