知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-06
(54)【発明の名称】水中画像、水中ビデオのカラー復元方法、及び装置
(51)【国際特許分類】
H04N 9/73 20230101AFI20231027BHJP
G06T 1/00 20060101ALI20231027BHJP
【ＦＩ】
H04N9/73
G06T1/00 510
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023524834
(86)(22)【出願日】2021-10-22
(85)【翻訳文提出日】2023-05-15
(86)【国際出願番号】 CN2021125889
(87)【国際公開番号】W WO2022083765
(87)【国際公開日】2022-04-28
(31)【優先権主張番号】202011148596.1
(32)【優先日】2020-10-23
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520159673
【氏名又は名称】影石創新科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．
【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】蘇 坦
(72)【発明者】
【氏名】高 飛
【テーマコード（参考）】
5B057
5C066
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE17
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC25
5C066AA03
5C066AA13
5C066CA08
5C066EA13
(57)【要約】
本発明は、水中画像の各画素を８ビットのＲＧＢ画素値から線形ｓＲＧＢ空間に変換して調整処理を行い、調整後の画素値を８ビットのＲＧＢ画素値に変換し、取得した８ビットのＲＧＢ画素値と調整後の画素値とを融合し、復元後の水中画像を得る水中画像のカラー復元方法を提供する。従来技術に比べて、本発明は、水中画像における各画素に対して特定のステップでカラー復元を行うため、本発明の態様で処理された水中画像又は水中ビデオの前景物のカラーが自然で豊かであるとともに、背景海水の自然な青緑色を保持し、画面全体の視聴体験が明らかに高まり、大量の手動による色調整でしか実現できない効果以上の効果も得られる。
【特許請求の範囲】
【請求項1】
水中画像のカラー復元方法であって、水中画像の各画素の８ビットのＲＧＢ画素値を取得して線形ｓＲＧＢ空間に変換し、即ち各画素の８ビットのＲＧＢにおける赤チャンネルにおける画素値ｒｉ－０、緑チャンネルにおける画素値ｇｉ－０、青チャンネルにおける画素値ｂｉ－０を変換し、各画素の線形ｓＲＧＢ空間上での赤チャンネルにおける画素値ｒｉ－１、緑チャンネルにおける画素値ｇｉ－１、青チャンネルにおける画素値ｂｉ－１を得るステップＳ１と、
ステップＳ１において取得した各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－２、緑チャンネルにおける画素値ｇｉ－２、青チャンネルにおける画素値ｂｉ－２を得るステップＳ２と、
ステップＳ２での調整後の各画素の各チャンネルにおける画素値に基づいて、各画素の重み値ωｉを計算するステップＳ３と、
ステップＳ３において取得した重み値ωｉに基づいて、画像の赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇを計算し、赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇに基づいて、ステップＳ２での調整後の各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－３、緑チャンネルにおける画素値ｇｉ－３、青チャンネルにおける画素値ｂｉ－３を得るステップＳ４と、
ステップＳ４での調整後の各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換し、変換後の各画素の赤チャンネルにおける画素値ｒｉ－４、緑チャンネルにおける画素値ｇｉ－４、青チャンネルにおける画素値ｂｉ－４を得るステップＳ５と、
それぞれステップＳ５での各チャンネルにおける各画素の画素値を大きさに従ってソートし、ソート結果に基づいて、各チャンネルの大きい調整値及び小さい調整値、即ち赤チャンネルの大きい調整値Ｒｍａｘと小さい調整値Ｒｍｉｎ、緑チャンネルの大きい調整値Ｇｍａｘと小さい調整値Ｇｍｉｎ、青チャンネルの大きい調整値Ｂｍａｘと小さい調整値Ｂｍｉｎを取得するステップＳ６と、
ステップＳ６での各チャンネルの小さい調整値及び各チャンネルの小さい調整値に基づいて、ステップＳ５での各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－５、緑チャンネルにおける画素値ｇｉ－５、青チャンネルにおける画素値ｂｉ－５を得るステップＳ７と、
ステップＳ３での重み値ωｉに基づいて、ステップＳ１において取得した各画素の８ビットのＲＧＢ画素値と、ステップＳ７での調整後の各画素の各チャンネルにおける画素値とを融合し、融合後の各画素の赤チャンネルにおける画素値ｒｉ－６、緑チャンネルにおける画素値ｇｉ－６、青チャンネルにおける画素値ｂｉ－６を得、融合後の各画素の各チャンネルにおける画素値に基づいて、復元後の水中画像を出力するステップＳ８とを含むことを特徴とする水中画像のカラー復元方法。
【請求項2】
前記ステップＳ１の前に、水中画像を他の色空間から８ビットのＲＧＢ空間に変換するステップＳ０をさらに含むことを特徴とする請求項１に記載の水中画像のカラー復元方法。
【請求項3】
前記ステップＳ２は、具体的には、各画素の赤チャンネルにおける画素平均値Ｒａ、緑チャンネルにおける画素平均値Ｇａ、青チャンネルにおける画素平均値Ｂａを取得し、緑チャンネルにおける画素平均値Ｇａが最も大きい場合、調整後の赤チャンネルにおける画素値ｒｉ－２＝ｒｉ－１＋（Ｇａ－Ｒａ）×（１．５－ｒｉ－１）×ｇｉ－１で、調整後の青チャンネルにおける画素値ｂｉ－２＝ｂｉ－１＋（Ｇａ－Ｂａ）×（１－ｂｉ－１）×ｇｉ－１で、調整後の緑チャンネルにおける画素値ｇｉ－２＝ｇｉ－１であり、青チャンネルにおける画素平均値Ｂａが最も大きい場合、調整後の赤チャンネルにおける画素値ｒｉ－２＝ｒｉ－１＋（Ｂａ－Ｒａ）×（１．５－ｒｉ－１）×ｇｉ－１で、調整後の青チャンネルにおける画素値ｂｉ－２＝ｂｉ－１で、調整後の緑チャンネルにおける画素値ｇｉ－２＝ｇｉ－１－（Ｂａ－Ｇａ）×（１－ｇｉ－１）×ｇｉ－１であり、赤チャンネルにおける画素平均値Ｒａが最も大きい場合、各画素値を調整せず、即ち赤チャンネルにおける画素値ｒｉ－２＝ｒｉ－１、緑チャンネルにおける画素値ｇｉ－２＝ｇｉ－１、青チャンネルにおける画素値ｂｉ－２＝ｂｉ－１であることを特徴とする請求項１に記載の水中画像のカラー復元方法。
【請求項4】
前記ステップＳ３において、具体的には、前記各画素の重み値の計算式は、ωｉ＝（ｒｉ－２＋α）＊β／（ｂｉ－２＋α）であり、ただし、α、βは、経験値であることを特徴とする請求項１に記載の水中画像のカラー復元方法。
【請求項5】
前記αの値は、０．０００１５で、前記βの値は、３であり、前記各画素の重み値ωｉを計算結果に基づいて調整し、ωｉの計算値が０．１よりも小さい場合、ωｉの値を０．１に調整し、ωｉの計算値が０．８よりも大きい場合、ωｉの値を０．８に調整し、ωｉの計算値が０．１と０．８との間にある場合、ωｉの値を調整しないことを特徴とする請求項５に記載の水中画像のカラー復元方法。
【請求項6】
前記ステップＳ４は、各画素の赤チャンネルにおける画素値ｒｉ－２、緑チャンネルにおける画素値ｇｉ－２、青チャンネルにおける画素値ｂｉ－２及び重み値ωｉに基づいて、各画素の赤チャンネルにおける重み付け平均値Ｒａｗ、緑チャンネルにおける重み付け平均値Ｇａｗ、青チャンネルにおける重み付け平均値Ｂａｗを計算するステップＳ４１と、
赤チャンネルのゲインＲｇ＝Ｇａｗ／Ｒａｗ及び青チャンネルのゲインＢｇ＝Ｇａｗ／Ｂａｗを計算するステップＳ４２と、
各画素の赤チャンネルのゲイン後の画素値ｒｉ－３＝ｒｉ－２＊Ｒｇ及び青チャンネルのゲイン後の画素値ｂｉ－３＝ｂｉ－２＊Ｒｇを計算し、ただし、ゲイン後の画素値が１よりも大きい場合、該画素値を１に調整するステップＳ４３とを含むことを特徴とする請求項１に記載の水中画像のカラー復元方法。
【請求項7】
前記ステップＳ６の各チャンネルの大きい調整値及び小さい調整値を以下のように取得し、まずステップＳ５での各画素の各チャンネルにおける画素値を大きい順にソートし、そして上位にソートされた各チャンネルの所定の割合の画素値及び下位にソートされた各チャンネルの所定の割合の画素値を取得し、そして計算により各チャンネルの最大平均値及び最小平均値を得ることができ、そして各チャンネルの最大平均値及び最小平均値をそれぞれ各チャンネルの大きい調整値及び小さい調整値とすることを特徴とする請求項１に記載の水中画像のカラー復元方法。
【請求項8】
前記ステップＳ６の各チャンネルの大きい調整値及び小さい調整値を以下のように取得し、まずステップＳ５での各画素の各チャンネルにおける画素値を大きい順にソートし、各チャンネルにおける小さい順に並べられた［ｎ＊０．１％］番目の画素の画素値を各チャンネルの大きい調整値とし、各チャンネルにおける小さい順に並べられた最後から［ｎ＊０．１％］番目の画素の画素値を各チャンネルの小さい調整値とし、ただし、ｎは、画素の数で、符号［］は整数化することである、ことを特徴とする請求項１に記載の水中画像のカラー復元方法。
【請求項9】
前記ステップＳ７での各画素の各チャンネルにおける画素値を以下の式により計算し、ｒｉ－５＝（ｒｉ－４－Ｒｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｒｍａｘ－Ｒｍｉｎ）＋ＲＧＢｍｉｎ、
ｇｉ－５＝（ｇｉ－４－Ｇｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｇｍａｘ－Ｇｍｉｎ）＋ＲＧＢｍｉｎ、
ｂｉ－５＝（ｂｉ－４－Ｂｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｂｍａｘ－Ｂｍｉｎ）＋ＲＧＢｍｉｎ、
ただし、ＲＧＢｍａｘ＝Ｍａｘ（Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘ）、ＲＧＢｍｉｎ＝Ｍｉｎ（Ｒｍｉｎ，Ｇｍｉｎ，Ｂｍｉｎ）であることを特徴とする請求項１に記載の水中画像のカラー復元方法。
【請求項10】
前記ステップＳ８での各画素の各チャンネルにおける画素値を以下の式により計算することを特徴とする請求項１に記載の水中画像のカラー復元方法。ｒｉ－６＝ｒｉ－５＊ωｉ＋ｒｉ－０＊（１－ωｉ）
ｇｉ－６＝ｇｉ－５＊ωｉ＋ｇｉ－０＊（１－ωｉ）
ｂｉ－６＝ｂｉ－５＊ωｉ＋ｂｉ－０＊（１－ωｉ）
【請求項11】
水中ビデオのカラー復元方法であって、復元すべき水中ビデオを取得することと、
前記復元すべき水中ビデオの各ビデオフレームを請求項１～８のいずれか１項に記載の水中画像のカラー復元方法で処理し、カラー復元後のビデオを得ることとを含むことを特徴とする水中ビデオのカラー復元方法。
【請求項12】
復元すべき水中ビデオの第１フレーム以外のビデオフレームに対してカラー復元を行う時、前記ステップＳ４での現在フレームの赤チャンネル、青チャンネルのゲインを以下の式により計算し、Ｒｇｉ＝Ｒｇｉ－１＊θ１＋Ｇａｗ／Ｒａｗ＊（１－θ１）、
Ｂｇｉ＝Ｂｇｉ－１＊θ１＋Ｇａｗ／Ｂａｗ＊（１－θ１）、
ただし、Ｒｇｉは、現在フレームの赤チャンネルのゲインで、Ｒｇｉ－１は、現在フレームの前のフレームの赤チャンネルのゲインで、Ｂｇｉは、現在フレームの青チャンネルのゲインで、Ｂｇｉ－１は、現在フレームの前のフレームの青チャンネルのゲインで、Ｒａｗは、重み値に基づいて計算される現在フレームの各画素の赤チャンネルにおける重み付け平均値で、Ｇａｗは、重み値に基づいて計算される現在フレームの各画素の緑チャンネルにおける重み付け平均値で、Ｂａｗは、重み値に基づいて計算される現在フレームの各画素の青チャンネルにおける重み付け平均値で、θ１は、更新率であることを特徴とする請求項９に記載の水中ビデオ復元方法。
【請求項13】
復元すべき水中ビデオの第１フレーム以外のビデオフレームに対してカラー復元を行う時、前記ステップＳ６での各チャンネルの大きい調整値及び小さい調整値を以下の式により計算し、Ｒｍａｘｉ＝Ｒｍａｘｉ－１＊θ２＋Ｒｍａｘ＊（１－θ２）、Ｒｍｉｎｉ＝Ｒｍｉｎｉ－１＊θ２＋Ｒｍｉｎ＊（１－θ２）、
Ｇｍａｘｉ＝Ｇｍａｘｉ－１＊θ２＋Ｇｍａｘ＊（１－θ２）、Ｇｍｉｎｉ＝Ｇｍｉｎｉ－１＊θ２＋Ｇｍｉｎ＊（１－θ２）、
Ｂｍａｘｉ＝Ｂｍａｘｉ－１＊θ２＋Ｂｍａｘ＊（１－θ２）、Ｂｍｉｎｉ＝Ｂｍｉｎｉ－１＊θ２＋Ｂｍｉｎ＊（１－θ２）、
ただし、Ｒｍａｘｉは、現在フレームの赤チャンネルの大きい調整値で、Ｒｍａｘｉ－１は、現在フレームの前のフレームの赤チャンネルの大きい調整値で、Ｒｍａｘは、現在フレームの各画素の赤チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、Ｇｍａｘｉは、現在フレームの緑チャンネルの大きい調整値で、Ｇｍａｘｉ－１は、現在フレームの前のフレームの緑チャンネルの大きい調整値で、Ｇｍａｘは、現在フレームの各画素の緑チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、Ｂｍａｘｉは、現在フレームの青チャンネルの大きい調整値で、Ｂｍａｘｉ－１は、現在フレームの前のフレームの青チャンネルの大きい調整値で、Ｂｍａｘは、現在フレームの各画素の青チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、θ２は、更新率であることを特徴とする請求項９に記載の水中ビデオ復元方法。
【請求項14】
水中画像のカラー復元装置であって、水中画像の各画素の８ビットのＲＧＢ画素値を取得するための第１取得モジュールと、
各画素の８ビットのＲＧＢ画素値を線形ｓＲＧＢ空間に変換するための第１変換モジュールと、
線形ｓＲＧＢ空間上での各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整するための第１調整モジュールと、
第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を計算し、各画素の重み値を計算するための重み計算モジュールと、
重み値に基づいて、画像の赤チャンネル、青チャンネルのゲインを計算するためのゲイン計算モジュールと、
赤チャンネル、青チャンネルのゲインに基づいて、第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を調整するための第２調整モジュールと、
第２調整モジュールにより調整された各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換するための第２変換モジュールと、
第２変換モジュールにより変換された各チャンネルの大きい調整値及び小さい調整値を取得するための第２取得モジュールであって、前記各チャンネルの大きい調整値及び小さい調整値が各チャンネルにおける各画素の画素値を大きさに従ってソートした後のソート結果に関連する第２取得モジュールと、
各チャンネルの大きい調整値及び小さい調整値に基づいて、第２変換モジュールにより変換された各画素の各チャンネルにおける画素値を調整するための第３調整モジュールと、
重み計算モジュールにより計算された重み値に基づいて、第１取得モジュールにより取得された各画素の８ビットのＲＧＢ画素値と、第３調整モジュールにより調整された各画素の各チャンネルにおける画素値とを融合することで、融合後の各画素の各チャンネルにおける画素値を得るための融合モジュールと、
融合モジュールにより融合された各画素の各チャンネルにおける画素値を出力するための出力モジュールとを含むことを特徴とする水中画像のカラー復元装置。
【請求項15】
復元すべき水中画像を他の色空間から８ビットのＲＧＢ空間に変換するためのＲＧＢ変換モジュールをさらに含むことを特徴とする請求項１２に記載の水中画像のカラー復元装置。
【請求項16】
水中ビデオのカラー復元装置であって、復元すべき水中ビデオを取得するためのビデオ取得モジュールと、
復元すべき水中ビデオの各ビデオフレームを請求項１～１０のいずれか１項に記載の水中画像のカラー復元方法で処理し、カラー復元後のビデオを得るためのビデオ復元モジュールとを含むことを特徴とする水中ビデオのカラー復元装置。
【請求項17】
電子機器であって、コンピュータプログラムが記憶されたメモリと、
前記コンピュータプログラムを実行して請求項１～１３のいずれか１項に記載の方法を実現するためのプロセッサとを含むことを特徴とする電子機器。
【請求項18】
コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、請求項１～１３のいずれか１項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、画像処理の技術分野に関し、具体的には、水中画像及び水中ビデオのカラー復元方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【0002】
水中視覚は、海洋サウンディング、水中工事モニタリングなどの科学研究活動に広く応用されているだけでなく、多くの写真愛好家の重要な撮影素材の源でもあるため、実際の水中画像を得ることが特に重要である。
【0003】
可視光の中で赤色光は、波長が長いため、水中で伝播する減衰が青色光と緑色光よりも大きく、撮影装置の画像センサの受信した赤色光情報が青色光と緑色光よりはるかに少ないため、水中で撮影した画面の赤色が深刻に不足し、水中景物のカラーが歪み、カラー全体が青色又は緑色に偏っている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
通常のカメラのオートホワイトバランスは、水中の赤色情報が深刻に欠落するシーンを処理できず、処理後の画面は、赤色情報が欠落したり、過度に補償されたりすることが多く、画面全体が紫色に偏っている。手動による後続のビデオの色調整により、適切な水中のカラーをある程度復元することができるが、多くの時間がかかり、各フレームの画面の各画素を特別に調整することができない。
【0005】
本発明の目的は、従来の水中画像の復元方法に存在する欠点を解決するために、水中画像のカラー復元方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体を提供することである。
【課題を解決するための手段】
【0006】
第１態様によれば、本発明は、
水中画像の各画素の８ビットのＲＧＢ画素値を取得して線形ｓＲＧＢ空間に変換し、即ち各画素の８ビットのＲＧＢにおける赤チャンネルにおける画素値ｒｉ－０、緑チャンネルにおける画素値ｇｉ－０、青チャンネルにおける画素値ｂｉ－０を変換し、各画素の線形ｓＲＧＢ空間上での赤チャンネルにおける画素値ｒｉ－１、緑チャンネルにおける画素値ｇｉ－１、青チャンネルにおける画素値ｂｉ－１を得るステップＳ１と、
ステップＳ１において取得した各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－１、緑チャンネルにおける画素値ｇｉ－１、青チャンネルにおける画素値ｂｉ－１を得るステップＳ２と、
ステップＳ２での調整後の各画素の各チャンネルにおける画素値に基づいて、各画素の重み値ωｉを計算するステップＳ３と、
ステップＳ３において取得した重み値ωｉに基づいて、画像の赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇを計算し、赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇに基づいて、ステップＳ２での調整後の各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－２、緑チャンネルにおける画素値ｇｉ－２、青チャンネルにおける画素値ｂｉ－２を得るステップＳ４と、
ステップＳ４での調整後の各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換し、変換後の各画素の赤チャンネルにおける画素値ｒｉ－３、緑チャンネルにおける画素値ｇｉ－３、青チャンネルにおける画素値ｂｉ－３を得るステップＳ５と、
それぞれステップＳ５での各チャンネルにおける各画素の画素値を大きさに従ってソートし、ソート結果に基づいて、各チャンネルの大きい調整値及び小さい調整値を取得し、各チャンネルの大きい調整値及び小さい調整値、即ち赤チャンネルの大きい調整値Ｒｍａｘと小さい調整値Ｒｍｉｎ、緑チャンネルの大きい調整値Ｇｍａｘと小さい調整値Ｇｍｉｎ、青チャンネルの大きい調整値Ｂｍａｘと小さい調整値Ｂｍｉｎを得るステップＳ６と、
ステップＳ６での各チャンネルの大きい調整値及び各チャンネルの小さい調整値に基づいて、ステップＳ５での各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－４、緑チャンネルにおける画素値ｇｉ－４、青チャンネルにおける画素値ｂｉ－４を得るステップＳ７と、
ステップＳ３での重み値ωｉに基づいて、ステップＳ１において取得した各画素の８ビットのＲＧＢ画素値と、ステップＳ７での調整後の各画素の各チャンネルにおける画素値とを融合し、融合後の各画素の赤チャンネルにおける画素値ｒｉ－５、緑チャンネルにおける画素値ｇｉ－５、青チャンネルにおける画素値ｂｉ－５を得、融合後の各画素の各チャンネルにおける画素値に基づいて、復元後の水中画像を出力するステップＳ８とを含む水中画像のカラー復元方法を提供する。
水中画像の各画素の８ビットのＲＧＢ画素値を取得して線形ｓＲＧＢ空間に変換し、即ち各画素の８ビットのＲＧＢにおける赤チャンネルにおける画素値ｒｉ－０、緑チャンネルにおける画素値ｇｉ－０、青チャンネルにおける画素値ｂｉ－０を変換し、各画素の線形ｓＲＧＢ空間上での赤チャンネルにおける画素値ｒｉ－１、緑チャンネルにおける画素値ｇｉ－１、青チャンネルにおける画素値ｂｉ－１を得るステップＳ１と、
ステップＳ１において取得した各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－１、緑チャンネルにおける画素値ｇｉ－１、青チャンネルにおける画素値ｂｉ－１を得るステップＳ２と、
ステップＳ２での調整後の各画素の各チャンネルにおける画素値に基づいて、各画素の重み値ωｉを計算するステップＳ３と、
ステップＳ３において取得した重み値ωｉに基づいて、画像の赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇを計算し、赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇに基づいて、ステップＳ２での調整後の各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－２、緑チャンネルにおける画素値ｇｉ－２、青チャンネルにおける画素値ｂｉ－２を得るステップＳ４と、
ステップＳ４での調整後の各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換し、変換後の各画素の赤チャンネルにおける画素値ｒｉ－３、緑チャンネルにおける画素値ｇｉ－３、青チャンネルにおける画素値ｂｉ－３を得るステップＳ５と、
それぞれステップＳ５での各チャンネルにおける各画素の画素値を大きさに従ってソートし、ソート結果に基づいて、各チャンネルの大きい調整値及び小さい調整値を取得し、各チャンネルの大きい調整値及び小さい調整値、即ち赤チャンネルの大きい調整値Ｒｍａｘと小さい調整値Ｒｍｉｎ、緑チャンネルの大きい調整値Ｇｍａｘと小さい調整値Ｇｍｉｎ、青チャンネルの大きい調整値Ｂｍａｘと小さい調整値Ｂｍｉｎを得るステップＳ６と、
ステップＳ６での各チャンネルの大きい調整値及び各チャンネルの小さい調整値に基づいて、ステップＳ５での各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－４、緑チャンネルにおける画素値ｇｉ－４、青チャンネルにおける画素値ｂｉ－４を得るステップＳ７と、
ステップＳ３での重み値ωｉに基づいて、ステップＳ１において取得した各画素の８ビットのＲＧＢ画素値と、ステップＳ７での調整後の各画素の各チャンネルにおける画素値とを融合し、融合後の各画素の赤チャンネルにおける画素値ｒｉ－５、緑チャンネルにおける画素値ｇｉ－５、青チャンネルにおける画素値ｂｉ－５を得、融合後の各画素の各チャンネルにおける画素値に基づいて、復元後の水中画像を出力するステップＳ８とを含む水中画像のカラー復元方法を提供する。
【0007】
第２態様によれば、本発明は、
復元すべき水中ビデオを取得することと、
前記復元すべき水中ビデオの各ビデオフレームを上記水中画像のカラー復元方法で処理し、カラー復元後のビデオを得ることとを含む水中ビデオのカラー復元方法を提供する。
復元すべき水中ビデオを取得することと、
前記復元すべき水中ビデオの各ビデオフレームを上記水中画像のカラー復元方法で処理し、カラー復元後のビデオを得ることとを含む水中ビデオのカラー復元方法を提供する。
【0008】
第３態様によれば、本発明は、
水中画像の各画素の８ビットのＲＧＢ画素値を取得するための第１取得モジュールと、
各画素の８ビットのＲＧＢ画素値を線形ｓＲＧＢ空間に変換するための第１変換モジュールと、
線形ｓＲＧＢ空間上での各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整するための第１調整モジュールと、
第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を計算し、各画素の重み値を計算するための重み計算モジュールと、
重み値に基づいて、画像の赤チャンネル、青チャンネルのゲインを計算するためのゲイン計算モジュールと、
赤チャンネル、青チャンネルのゲインに基づいて、第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を調整するための第２調整モジュールと、
第２調整モジュールにより調整された各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換するための第２変換モジュールと、
第２変換モジュールにより変換された各チャンネルの大きい調整値及び小さい調整値を取得するための第２取得モジュールであって、前記各チャンネルの大きい調整値及び小さい調整値が各チャンネルにおける各画素の画素値を大きさに従ってソートした後のソート結果に関連する第２取得モジュールと、
各チャンネルの大きい調整値及び小さい調整値に基づいて、第２変換モジュールにより変換された各画素の各チャンネルにおける画素値を調整するための第３調整モジュールと、
重み計算モジュールにより計算された重み値に基づいて、第１取得モジュールにより取得された各画素の８ビットのＲＧＢ画素値と、第３調整モジュールにより調整された各画素の各チャンネルにおける画素値とを融合することで、融合後の各画素の各チャンネルにおける画素値を得るための融合モジュールと、
融合モジュールにより融合された各画素の各チャンネルにおける画素値を出力するための出力モジュールとを含む水中画像のカラー復元装置を提供する。
水中画像の各画素の８ビットのＲＧＢ画素値を取得するための第１取得モジュールと、
各画素の８ビットのＲＧＢ画素値を線形ｓＲＧＢ空間に変換するための第１変換モジュールと、
線形ｓＲＧＢ空間上での各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整するための第１調整モジュールと、
第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を計算し、各画素の重み値を計算するための重み計算モジュールと、
重み値に基づいて、画像の赤チャンネル、青チャンネルのゲインを計算するためのゲイン計算モジュールと、
赤チャンネル、青チャンネルのゲインに基づいて、第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を調整するための第２調整モジュールと、
第２調整モジュールにより調整された各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換するための第２変換モジュールと、
第２変換モジュールにより変換された各チャンネルの大きい調整値及び小さい調整値を取得するための第２取得モジュールであって、前記各チャンネルの大きい調整値及び小さい調整値が各チャンネルにおける各画素の画素値を大きさに従ってソートした後のソート結果に関連する第２取得モジュールと、
各チャンネルの大きい調整値及び小さい調整値に基づいて、第２変換モジュールにより変換された各画素の各チャンネルにおける画素値を調整するための第３調整モジュールと、
重み計算モジュールにより計算された重み値に基づいて、第１取得モジュールにより取得された各画素の８ビットのＲＧＢ画素値と、第３調整モジュールにより調整された各画素の各チャンネルにおける画素値とを融合することで、融合後の各画素の各チャンネルにおける画素値を得るための融合モジュールと、
融合モジュールにより融合された各画素の各チャンネルにおける画素値を出力するための出力モジュールとを含む水中画像のカラー復元装置を提供する。
【0009】
第４態様によれば、本発明は、
復元すべき水中ビデオを取得するためのビデオ取得モジュールと、
復元すべき水中ビデオの各ビデオフレームを上記水中画像のカラー復元方法で処理し、カラー復元後のビデオを得るためのビデオ復元モジュールとを含む水中ビデオのカラー復元装置を提供する。
復元すべき水中ビデオを取得するためのビデオ取得モジュールと、
復元すべき水中ビデオの各ビデオフレームを上記水中画像のカラー復元方法で処理し、カラー復元後のビデオを得るためのビデオ復元モジュールとを含む水中ビデオのカラー復元装置を提供する。
【0010】
第５態様によれば、本発明は、
コンピュータプログラムが記憶されたメモリと、
前記コンピュータプログラムを実行して上記水中画像又は水中ビデオのカラー復元方法を実現するためのプロセッサとを含む電子機器を提供する。
コンピュータプログラムが記憶されたメモリと、
前記コンピュータプログラムを実行して上記水中画像又は水中ビデオのカラー復元方法を実現するためのプロセッサとを含む電子機器を提供する。
【0011】
第６態様によれば、本発明は、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、上記水中画像又は水中ビデオのカラー復元方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
【発明の効果】
【0012】
従来技術に比べて、本発明は、水中画像における各画素に対して特定のステップでカラー復元を行うため、本発明の態様で処理された水中画像又は水中ビデオの前景物のカラーが自然で豊かであるとともに、背景海水の自然な青緑色を保持し、画面全体の視聴体験が明らかに高まり、大量の手動による色調整で実現できる効果に達しさらに超える。
【図面の簡単な説明】
【0013】
【図1】本発明の実施例における水中画像のカラー復元方法のフローチャートである。
【図2】本発明の実施例における水中画像のカラー復元装置の構造ブロック図である。
【図3】本発明の実施例における水中ビデオのカラー復元装置の構造ブロック図である。
【図4】本発明の実施例における電子機器の構造ブロック図である。
【発明を実施するための形態】
【0014】
本発明の目的、技術案及び有益効果をより明確にするために、以下、図面及び実施例を参照して、本発明をさらに詳細に説明する。なお、ここに記載の具体的な実施例は、本発明を解釈するためのものに過ぎず、本発明を限定するために使用されない。
【0015】
本発明に記載の技術案を説明するために、以下に具体的な実施例により説明する。
実施例１
実施例１
【0016】
図１に示すように、本実施例は、水中画像のカラー復元方法を開示し、以下のステップを含む。
【0017】
本実施例における水中画像は、撮影装置が水中で撮影した写真又はビデオフレームである。
【0018】
Ｓ０：水中画像を他の色空間から８ビットのＲＧＢ空間に変換する。
【0019】
撮影した写真又はビデオフレームが本来８ビットのＲＧＢ空間であれば、直接ステップＳ１に入り、撮影した写真又はビデオフレームが他の空間（例えばＹＵＶ）であれば、８ビットのＲＧＢ空間に変換し、そしてステップＳ１に入る必要がある。
【0020】
Ｓ１：水中画像の各画素の８ビットのＲＧＢ画素値を取得して線形ｓＲＧＢ空間に変換し、即ち各画素の８ビットのＲＧＢにおける赤チャンネルにおける画素値ｒｉ－０、緑チャンネルにおける画素値ｇｉ－０、青チャンネルにおける画素値ｂｉ－０を変換し、各画素の線形ｓＲＧＢ空間上での赤チャンネルにおける画素値ｒｉ－１、緑チャンネルにおける画素値ｇｉ－１、青チャンネルにおける画素値ｂｉ－１を得る。
【0021】
まず、各画素の８ビットのＲＧＢ画素値（範囲０－２５５）における赤チャンネルにおける画素値ｒｉ－０、緑チャンネルにおける画素値ｇｉ－０及び青チャンネルにおける画素値ｂｉ－０を取得し、そしてｓＲＧＢ基準を採用して各チャンネルにおける画素値を線形ｓＲＧＢ空間に変換し、各画素の線形ｓＲＧＢ空間上での赤チャンネルにおける画素値ｒｉ－１、緑チャンネルにおける画素値ｇｉ－１及び青チャンネルにおける画素値ｂｉ－１を得、変換後の各画素の線形ｓＲＧＢ空間上での画素値の範囲は、０～１である。具体的な変換は、ｈｔｔｐｓ：／／ｗｗｗ．ｗ３．ｏｒｇ／Ｇｒａｐｈｉｃｓ／Ｃｏｌｏｒ／ｓＲＧＢを参照すればよい。
【0022】
本実施例において、水中画像のいずれかの画素に対して、その各チャンネルにおける画素値を以下のように８ビットのＲＧＢ空間から線形ｓＲＧＢ空間に変換することができる。
【0023】
取得した各画素の８ビットのＲＧＢ空間（範囲０－２５５）における各チャンネルにおける画素値をそれぞれ２５５で割り、ｒｉ－０÷２５５、ｇｉ－０÷２５５、ｂｉ－０÷２５５がいずれも０．０３９２８よりも小さい場合、変換後の各画素の線形ｓＲＧＢ空間における画素値は、それぞれｒｉ－１＝ｒｉ－０÷２５５÷１２．９２、ｇｉ－１＝ｇｉ－０÷２５５÷１２．９２、ｂｉ－１＝ｂｉ－０÷２５５÷１２．９２であり、そうではない場合、変換後の各画素の線形ｓＲＧＢ空間における画素値は、それぞれ
ｒｉ－１＝［（ｒｉ－０÷２５５＋０．０５５）÷１．０５５］＾２．４、
ｇｉ－１＝［（ｇｉ－０÷２５５＋０．０５５）÷１．０５５］＾２．４、
ｂｉ－１＝［（ｂｉ－０÷２５５＋０．０５５）÷１．０５５］＾２．４である。
ｒｉ－１＝［（ｒｉ－０÷２５５＋０．０５５）÷１．０５５］＾２．４、
ｇｉ－１＝［（ｇｉ－０÷２５５＋０．０５５）÷１．０５５］＾２．４、
ｂｉ－１＝［（ｂｉ－０÷２５５＋０．０５５）÷１．０５５］＾２．４である。
【0024】
Ｓ２：ステップＳ１において取得した各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－２、緑チャンネルにおける画素値ｇｉ－２、青チャンネルにおける画素値ｂｉ－２を得る。
【0025】
本実施例において、それぞれ各画素の赤チャンネルにおける画素平均値Ｒａ、緑チャンネルにおける画素平均値Ｇａ、青チャンネルにおける画素平均値Ｂａを取得し、緑チャンネルにおける画素平均値Ｇａが最も大きい場合、調整後の赤チャンネルにおける画素値ｒｉ－２＝ｒｉ－１＋（Ｇａ－Ｒａ）×（１．５－ｒｉ－１）×ｇｉ－１で、調整後の青チャンネルにおける画素値ｂｉ－２＝ｂｉ－１＋（Ｇａ－Ｂａ）×（１－ｂｉ－１）×ｇｉ－１で、調整後の緑チャンネルにおける画素値ｇｉ－２＝ｇｉ－１であり、青チャンネルにおける画素平均値Ｂａが最も大きい場合、調整後の赤チャンネルにおける画素値ｒｉ－２＝ｒｉ－１＋（Ｂａ－Ｒａ）×（１．５－ｒｉ－１）×ｇｉ－１で、調整後の青チャンネルにおける画素値ｂｉ－２＝ｂｉ－１で、調整後の緑チャンネルにおける画素値ｇｉ－２＝ｇｉ－１－（Ｂａ－Ｇａ）×（１－ｇｉ－１）×ｇｉ－１であり、赤チャンネルにおける画素平均値Ｒａが最も大きい場合、各画素値を調整せず、即ち赤チャンネルにおける画素値ｒｉ－２＝ｒｉ－１で、緑チャンネルにおける画素値ｇｉ－２＝ｇｉ－１で、青チャンネルにおける画素値ｂｉ－２＝ｂｉ－１である。
【0026】
Ｓ３：ステップＳ２での調整後の各画素の各チャンネルにおける画素値に基づいて、各画素の重み値ωｉを計算する。
【0027】
本実施例において、各画素の重み値ωｉの計算式は、ωｉ＝（ｒｉ－２＋α）＊β／（ｂｉ－２＋α）であり、ただし、α、βは、経験値である。具体的には、本実施例における１つの最適な態様において、αの値は、０．０００１５で、βの値は、３であり、各画素の重み値ωｉを計算結果に基づいて調整し、ωｉの計算値が０．１よりも小さい場合、ωｉの値を０．１に調整し、ωｉの計算値が０．８よりも大きい場合、ωｉの値を０．８に調整し、ωｉの計算値が０．１と０．８との間にある場合、ωｉの値を調整しない。
【0028】
Ｓ４：ステップＳ３において取得した重み値ωｉに基づいて、画像の赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇを計算し、赤チャンネルのゲインＲｇ、青チャンネルのゲインＢｇに基づいて、ステップＳ２での調整後の各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－３、緑チャンネルにおける画素値ｇｉ－３、青チャンネルにおける画素値ｂｉ－３を得る。
【0029】
本実施例におけるステップＳ４は、以下のサブステップを含む。
【0030】
Ｓ４１：各画素の赤チャンネルにおける画素値ｒｉ－２、緑チャンネルにおける画素値ｇｉ－２、青チャンネルにおける画素値ｂｉ－２及び重み値ωｉに基づいて、各画素の赤チャンネルにおける重み付け平均値、緑チャンネルにおける重み付け平均値、青チャンネルにおける重み付け平均値を計算する。ただし、赤チャンネルにおける重み付け平均値の計算式は、
緑チャンネルにおける重み付け平均値の計算式は、
青チャンネルにおける重み付け平均値の計算式は、
ただし、ｎは、画像における画素の数を表す。
【0031】
Ｓ４２：赤チャンネルのゲインＲｇ＝Ｇａｗ／Ｒａｗ及び青チャンネルのゲインＢｇ＝Ｇａｗ／Ｂａｗを計算する。
【0032】
Ｓ４３：各画素の赤チャンネルのゲイン後の画素値ｒｉ－３＝ｒｉ－２＊Ｒｇ及び青チャンネルのゲイン後の画素値ｂｉ－３＝ｂｉ－２＊Ｒｇを計算し、ただし、ゲイン後の画素値が１よりも大きい場合、各画素の線形ｓＲＧＢ空間上での画素値の範囲が０～１である要求を満たすために、該画素値を１に調整する。
【0033】
Ｓ５：ステップＳ４での調整後の各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換し、変換後の各画素の赤チャンネルにおける画素値ｒｉ－４、緑チャンネルにおける画素値ｇｉ－４、青チャンネルにおける画素値ｂｉ－４を得る。
【0034】
ｓＲＧＢ基準に基づいて、各画素の各チャンネルにおける画素値を線形ｓＲＧＢ（０－１）から８ビットのＲＧＢ（０－２５５）に変換し、変換方法は、以下のとおりである。
【0035】
ｒｉ－３、ｇｉ－３、ｂｉ－３がいずれも０．００３０４よりも小さい場合、変換後の各画素の８ビットのＲＧＢにおける画素値は、それぞれ、
ｒｉ－４＝ｒｉ－３＊２５５＊１２．９２、ｇｉ－４＝ｇｉ－３＊２５５＊１２．９２、ｂｉ－４＝ｂｉ－３＊２５５＊１２．９２であり、
そうではない場合、変換後の各画素の８ビットのＲＧＢにおける画素値は、それぞれ
ｒｉ－４＝（１．０５５＊ｒｉ－３＾（１／２．４）－０．０５５）＊２５５、
ｇｉ－４＝（１．０５５＊ｇｉ－３＾（１／２．４）－０．０５５）＊２５５、
ｂｉ－４＝（１．０５５＊ｂｉ－３＾（１／２．４）－０．０５５）＊２５５である。
ｒｉ－４＝ｒｉ－３＊２５５＊１２．９２、ｇｉ－４＝ｇｉ－３＊２５５＊１２．９２、ｂｉ－４＝ｂｉ－３＊２５５＊１２．９２であり、
そうではない場合、変換後の各画素の８ビットのＲＧＢにおける画素値は、それぞれ
ｒｉ－４＝（１．０５５＊ｒｉ－３＾（１／２．４）－０．０５５）＊２５５、
ｇｉ－４＝（１．０５５＊ｇｉ－３＾（１／２．４）－０．０５５）＊２５５、
ｂｉ－４＝（１．０５５＊ｂｉ－３＾（１／２．４）－０．０５５）＊２５５である。
【0036】
Ｓ６：それぞれステップＳ５での各チャンネルにおける各画素の画素値を大きさに従ってソートし、ソート結果に基づいて、各チャンネルの大きい調整値及び小さい調整値、即ち赤チャンネルの大きい調整値Ｒｍａｘと小さい調整値Ｒｍｉｎ、緑チャンネルの大きい調整値Ｇｍａｘと小さい調整値Ｇｍｉｎ、青チャンネルの大きい調整値Ｂｍａｘと小さい調整値Ｂｍｉｎを取得する。
【0037】
本実施例において、各チャンネルの大きい調整値及び小さい調整値を以下の２つの方式で取得することができる。
【0038】
第１方式は、以下のとおりである。まずステップＳ５での各画素の各チャンネルにおける画素値を大きい順にソートし、そして上位にソートされた各チャンネルの所定の割合（例えば０．１％）の画素値及び下位にソートされた各チャンネルの所定の割合（例えば０．１％）の画素値を取得し、そして計算により各チャンネルの最大平均値及び最小平均値を得ることができ、そして各チャンネルの最大平均値及び最小平均値をそれぞれ各チャンネルの大きい調整値及び小さい調整値、即ち赤チャンネルの大きい調整値Ｒｍａｘと小さい調整値Ｒｍｉｎ、緑チャンネルの大きい調整値Ｇｍａｘと小さい調整値Ｇｍｉｎ、青チャンネルの大きい調整値Ｂｍａｘと小さい調整値Ｂｍｉｎとする。
【0039】
第２方式は、以下のとおりである。まずステップＳ５での各画素の各チャンネルにおける画素値を大きい順にソートし、各チャンネルにおける小さい順に並べられた［ｎ＊０．１％］番目の画素の画素値を各チャンネルの大きい調整値とし、各チャンネルにおける小さい順に並べられた最後から［ｎ＊０．１％］番目の画素の画素値を各チャンネルの小さい調整値とし、ただし、ｎは、画素の数で、符号［］は整数化すること、である。
【0040】
Ｓ７：ステップＳ６での各チャンネルの大きい調整値及び各チャンネルの小さい調整値に基づいて、ステップＳ５での各画素の各チャンネルにおける画素値を調整し、調整後の各画素の赤チャンネルにおける画素値ｒｉ－５、緑チャンネルにおける画素値ｇｉ－５、青チャンネルにおける画素値ｂｉ－５を得る。
【0041】
本実施例において、まず赤チャンネルの大きい調整値Ｒｍａｘ、緑チャンネルの大きい調整値Ｇｍａｘ、青チャンネルの大きい調整値Ｂｍａｘから最大値ＲＧＢｍａｘを選択し、即ちＲＧＢｍａｘ＝Ｍａｘ（Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘ）であり、赤チャンネルの小さい調整値Ｒｍｉｎ、緑チャンネルの小さい調整値Ｇｍｉｎ、青チャンネルの小さい調整値Ｂｍｉｎから最小値ＲＧＢｍｉｎを選択し、即ちＲＧＢｍｉｎ＝Ｍｍｉｎ（Ｒｍｉｎ，Ｇｍｉｎ，Ｂｍｉｎ）であり、そして各画素の各チャンネルにおける画素値を以下の式により計算する。
【0042】
ｒｉ－５＝（ｒｉ－４－Ｒｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｒｍａｘ－Ｒｍｉｎ）＋ＲＧＢｍｉｎ
ｇｉ－５＝（ｇｉ－４－Ｇｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｇｍａｘ－Ｇｍｉｎ）＋ＲＧＢｍｉｎ
ｂｉ－５＝（ｂｉ－４－Ｂｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｂｍａｘ－Ｂｍｉｎ）＋ＲＧＢｍｉｎ。
ｇｉ－５＝（ｇｉ－４－Ｇｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｇｍａｘ－Ｇｍｉｎ）＋ＲＧＢｍｉｎ
ｂｉ－５＝（ｂｉ－４－Ｂｍｉｎ）＊（ＲＧＢｍａｘ－ＲＧＢｍｉｎ）／（Ｂｍａｘ－Ｂｍｉｎ）＋ＲＧＢｍｉｎ。
【0043】
Ｓ８：ステップＳ３での重み値ωｉに基づいて、ステップＳ１において取得した各画素の８ビットのＲＧＢ画素値と、ステップＳ７での調整後の各画素の各チャンネルにおける画素値とを融合し、融合後の各画素の赤チャンネルにおける画素値ｒｉ－６、緑チャンネルにおける画素値ｇｉ－６、青チャンネルにおける画素値ｂｉ－６を得、融合後の各画素の各チャンネルにおける画素値に基づいて、復元後の水中画像を出力する。
【0044】
本実施例において、融合後の各画素の各チャンネルにおける画素値を以下の式により計算することができる。
【0045】
ｒｉ－６＝ｒｉ－５＊ωｉ＋ｒｉ－０＊（１－ωｉ）、
ｇｉ－６＝ｇｉ－５＊ωｉ＋ｇｉ－０＊（１－ωｉ）、
ｂｉ－６＝ｂｉ－５＊ωｉ＋ｂｉ－０＊（１－ωｉ）。
ｇｉ－６＝ｇｉ－５＊ωｉ＋ｇｉ－０＊（１－ωｉ）、
ｂｉ－６＝ｂｉ－５＊ωｉ＋ｂｉ－０＊（１－ωｉ）。
【0046】
そして融合後の各画素の各チャンネルにおける画素値に基づいて、ｒｉ－６、ｇｉ－６、ｂｉ－６復元後の水中画像を出力する。
実施例２
実施例２
【0047】
本実施例において、水中ビデオのカラー復元方法を提供し、以下のステップを含む。
【0048】
ステップ１：復元すべき水中ビデオを取得する。
【0049】
ステップ２：前記復元すべき水中ビデオの各ビデオフレームを実施例１における水中画像のカラー復元方法で処理し、カラー復元後のビデオフレームを得、そしてビデオフレームを順番に出力してカラー復元後のビデオを得る。
【0050】
本実施例の最適な態様において、前記復元すべき水中ビデオの第１フレーム以外のビデオフレームに対してカラー復元を行う時、ステップＳ４での現在フレームの赤チャンネル、青チャンネルのゲインを以下の式により計算する。
【0051】
Ｒｇｉ＝Ｒｇｉ－１＊θ１＋Ｇａｗ／Ｒａｗ＊（１－θ１）、
Ｂｇｉ＝Ｂｇｉ－１＊θ１＋Ｇａｗ／Ｂａｗ＊（１－θ１）、
ただし、Ｒｇｉは、現在フレームの赤チャンネルのゲインで、Ｒｇｉ－１は、現在フレームの前のフレームの赤チャンネルのゲインで、Ｂｇｉは、現在フレームの青チャンネルのゲインで、Ｂｇｉ－１は、現在フレームの前のフレームの青チャンネルのゲインで、Ｒａｗは、重み値に基づいて計算される現在フレームの各画素の赤チャンネルにおける重み付け平均値で、Ｇａｗは、重み値に基づいて計算される現在フレームの各画素の緑チャンネルにおける重み付け平均値で、Ｂａｗは、重み値に基づいて計算される現在フレームの各画素の青チャンネルにおける重み付け平均値であり、Ｒａｗ、Ｇａｗ、Ｂａｗは、実施例１における計算式により得ることができ、θ１は、更新率で、経験値であり、本実施例において、θ１の値は、０．９８である。
Ｂｇｉ＝Ｂｇｉ－１＊θ１＋Ｇａｗ／Ｂａｗ＊（１－θ１）、
ただし、Ｒｇｉは、現在フレームの赤チャンネルのゲインで、Ｒｇｉ－１は、現在フレームの前のフレームの赤チャンネルのゲインで、Ｂｇｉは、現在フレームの青チャンネルのゲインで、Ｂｇｉ－１は、現在フレームの前のフレームの青チャンネルのゲインで、Ｒａｗは、重み値に基づいて計算される現在フレームの各画素の赤チャンネルにおける重み付け平均値で、Ｇａｗは、重み値に基づいて計算される現在フレームの各画素の緑チャンネルにおける重み付け平均値で、Ｂａｗは、重み値に基づいて計算される現在フレームの各画素の青チャンネルにおける重み付け平均値であり、Ｒａｗ、Ｇａｗ、Ｂａｗは、実施例１における計算式により得ることができ、θ１は、更新率で、経験値であり、本実施例において、θ１の値は、０．９８である。
【0052】
本実施例の別の最適な態様において、前記復元すべき水中ビデオの第１フレーム以外のビデオフレームに対してカラー復元を行う時、ステップＳ６での各チャンネルの大きい調整値及び小さい調整値を以下の式により計算する。
【0053】
Ｒｍａｘｉ＝Ｒｍａｘｉ－１＊θ２＋Ｒｍａｘ＊（１－θ２）、Ｒｍｉｎｉ＝Ｒｍｉｎｉ－１＊θ２＋Ｒｍｉｎ＊（１－θ２）、
Ｇｍａｘｉ＝Ｇｍａｘｉ－１＊θ２＋Ｇｍａｘ＊（１－θ２）、Ｇｍｉｎｉ＝Ｇｍｉｎｉ－１＊θ２＋Ｇｍｉｎ＊（１－θ２）、
Ｂｍａｘｉ＝Ｂｍａｘｉ－１＊θ２＋Ｂｍａｘ＊（１－θ２）、Ｂｍｉｎｉ＝Ｂｍｉｎｉ－１＊θ２＋Ｂｍｉｎ＊（１－θ２）、
ただし、Ｒｍａｘｉは、現在フレームの赤チャンネルの大きい調整値で、Ｒｍａｘｉ－１は、現在フレームの前のフレームの赤チャンネルの大きい調整値で、Ｒｍａｘは、現在フレームの各画素の赤チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、Ｇｍａｘｉは、現在フレームの緑チャンネルの大きい調整値で、Ｇｍａｘｉ－１は、現在フレームの前のフレームの緑チャンネルの大きい調整値で、Ｇｍａｘは、現在フレームの各画素の緑チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、Ｂｍａｘｉは、現在フレームの青チャンネルの大きい調整値で、Ｂｍａｘｉ－１は、現在フレームの前のフレームの青チャンネルの大きい調整値で、Ｂｍａｘは、現在フレームの各画素の青チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、θ２は、更新率で、経験値であり、本実施例におけるθ２は、０．９８である。
Ｇｍａｘｉ＝Ｇｍａｘｉ－１＊θ２＋Ｇｍａｘ＊（１－θ２）、Ｇｍｉｎｉ＝Ｇｍｉｎｉ－１＊θ２＋Ｇｍｉｎ＊（１－θ２）、
Ｂｍａｘｉ＝Ｂｍａｘｉ－１＊θ２＋Ｂｍａｘ＊（１－θ２）、Ｂｍｉｎｉ＝Ｂｍｉｎｉ－１＊θ２＋Ｂｍｉｎ＊（１－θ２）、
ただし、Ｒｍａｘｉは、現在フレームの赤チャンネルの大きい調整値で、Ｒｍａｘｉ－１は、現在フレームの前のフレームの赤チャンネルの大きい調整値で、Ｒｍａｘは、現在フレームの各画素の赤チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、Ｇｍａｘｉは、現在フレームの緑チャンネルの大きい調整値で、Ｇｍａｘｉ－１は、現在フレームの前のフレームの緑チャンネルの大きい調整値で、Ｇｍａｘは、現在フレームの各画素の緑チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、Ｂｍａｘｉは、現在フレームの青チャンネルの大きい調整値で、Ｂｍａｘｉ－１は、現在フレームの前のフレームの青チャンネルの大きい調整値で、Ｂｍａｘは、現在フレームの各画素の青チャンネルにおける画素値に基づいてソートして直接計算して得られた大きい調整値で、θ２は、更新率で、経験値であり、本実施例におけるθ２は、０．９８である。
【0054】
以上から分かるように、本実施例における後続フレームの各画素の調整が前のフレームに対応する画素に関連することで、隣接するビデオフレーム間の対応する画素点間のカラー変換がより順調になり、さらに色調整後のビデオ出力効果がより自然になる。
実施例３
実施例３
【0055】
図３に示すように、本実施例において、水中画像のカラー復元装置を開示し、水中画像のカラー復元装置は、水中画像の各画素の８ビットのＲＧＢ画素値を取得するための第１取得モジュールと、各画素の８ビットのＲＧＢ画素値を線形ｓＲＧＢ空間に変換するための第１変換モジュールと、線形ｓＲＧＢ空間上での各画素の各チャンネルにおける画素平均値の相対的な大きさに基づいて、各画素の各チャンネルにおける画素値を調整するための第１調整モジュールと、第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を計算し、各画素の重み値を計算するための重み計算モジュールと、重み値に基づいて、画像の赤チャンネル、青チャンネルのゲインを計算するためのゲイン計算モジュールと、赤チャンネル、青チャンネルのゲインに基づいて、第１調整モジュールにより調整された各画素の各チャンネルにおける画素値を調整するための第２調整モジュールと、第２調整モジュールにより調整された各画素の線形ｓＲＧＢ空間における画素値を８ビットのＲＧＢ画素値に変換するための第２変換モジュールと、第２変換モジュールにより変換された各チャンネルの大きい調整値及び小さい調整値を取得するための第２取得モジュールであって、前記各チャンネルの大きい調整値及び小さい調整値が各チャンネルにおける各画素の画素値を大きさに従ってソートした後のソート結果に関連する第２取得モジュールと、各チャンネルの大きい調整値及び小さい調整値に基づいて、第２変換モジュールにより変換された各画素の各チャンネルにおける画素値を調整するための第３調整モジュールと、重み計算モジュールにより計算された重み値に基づいて、第１取得モジュールにより取得された各画素の８ビットのＲＧＢ画素値と、第３調整モジュールにより調整された各画素の各チャンネルにおける画素値とを融合することで、融合後の各画素の各チャンネルにおける画素値を得るための融合モジュールと、融合モジュールにより融合された各画素の各チャンネルにおける画素値を出力するための出力モジュールとを含む。
【0056】
本実施例の最適な態様において、復元すべき水中画像を他の色空間から８ビットのＲＧＢ空間に変換するためのＲＧＢ変換モジュールをさらに含む。
実施例４
実施例４
【0057】
図４に示すように、本実施例は、水中ビデオのカラー復元装置を開示し、水中ビデオのカラー復元装置は、復元すべき水中ビデオを取得するためのビデオ取得モジュールと、復元すべき水中ビデオの各ビデオフレームを実施例２における水中画像のカラー復元方法で処理し、カラー復元後のビデオを得るためのビデオ復元モジュールとを含む。
実施例５
実施例５
【0058】
本実施例は、電子機器を開示し、この電子機器は、コンピュータプログラムが記憶されたメモリと、前記コンピュータプログラムを実行して実施例１又は実施例２における水中画像のカラー復元方法又は水中ビデオのカラー復元方法を実現するためのプロセッサとを含む。本実施例における電子機器は、具体的には、カメラ又は携帯電話であってもよい。
実施例６
実施例６
【0059】
本実施例は、コンピュータ読み取り可能な記憶媒体を開示し、該コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行される時、実施例１又は実施例２における水中画像のカラー復元方法又は水中ビデオのカラー復元方法を実現する。
【0060】
当業者であれば理解できるように、上記実施例の様々な方法のすべて又は一部のステップは、関連するハードウェアが完了するようにプログラムによって命令することができ、記憶媒体は、コンピュータ読み取り可能な記憶媒体、例えば、強誘電体メモリ（ＦＲＡＭ（登録商標）：Ｆｅｒｒｏｍａｇｎｅｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リードオンリーメモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、帯電消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュ、磁気表面メモリ、光ディスク、又は光ディスクリードオンリーメモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのメモリであってもよく、上記メモリのうちの１つ又は任意の組み合わせを含む様々な機器であってもよい。
【0061】
上記は、本発明の好適な実施例にすぎず、本発明を限定するためのものではなく、本発明の精神と原則内で行われたすべての修正、等価置換や改良などは、本発明の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】