(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-28
(54)【発明の名称】水中撮像のための方法および装置
(51)【国際特許分類】
G06T 5/50 20060101AFI20230921BHJP
【ＦＩ】
G06T5/50
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023507232
(86)(22)【出願日】2021-07-08
(85)【翻訳文提出日】2023-03-30
(86)【国際出願番号】 EP2021068976
(87)【国際公開番号】W WO2022022975
(87)【国際公開日】2022-02-03
(31)【優先権主張番号】2008098
(32)【優先日】2020-07-30
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】523032456
【氏名又は名称】イドゥエス
【氏名又は名称原語表記】Ｉ２Ｓ
(74)【代理人】
【識別番号】100139594
【弁理士】
【氏名又は名称】山口 健次郎
(72)【発明者】
【氏名】ギリエン，ジュール
(72)【発明者】
【氏名】トゥーリオ，アルノー
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057AA20
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057CE08
5B057DB02
5B057DB06
5B057DB09
5B057DC19
5B057DC40
(57)【要約】
本発明は、水中撮像のための方法（１００）であって、
偏光画像センサ（７）によって、画素からなる画像を取得するステップ（１０２）であって、取得された画像は、画素の少なくとも一部についての後方散乱ベールを含み、取得された画像は、同時に取得され、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像（１０ａ、１０ｂ、１０ｃ、１０ｄ）を含むステップと、
取得された画像の画素の光度に基づいてストークスパラメータを計算するステップ（１０４）と、
ストークスパラメータに基づいて、後方散乱ベールの偏光角を決定するステップ（１０６）と、
ストークスパラメータに基づいて、後方散乱ベールの偏光度を決定するステップ（１１２）と、
後方散乱ベールの偏光角および偏光度に基づいて後方散乱ベールの光度を計算するステップ（１１８）と、
取得された画像、および後方散乱ベールの光度に基づいて、改善された画像を計算するステップ（１２６）と
を含み、
方法は、水中撮像のための装置によって実施される、
方法に関する。
本発明はまた、そのような方法を実施する装置に関する。
要約の図：図３
偏光画像センサ（７）によって、画素からなる画像を取得するステップ（１０２）であって、取得された画像は、画素の少なくとも一部についての後方散乱ベールを含み、取得された画像は、同時に取得され、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像（１０ａ、１０ｂ、１０ｃ、１０ｄ）を含むステップと、
取得された画像の画素の光度に基づいてストークスパラメータを計算するステップ（１０４）と、
ストークスパラメータに基づいて、後方散乱ベールの偏光角を決定するステップ（１０６）と、
ストークスパラメータに基づいて、後方散乱ベールの偏光度を決定するステップ（１１２）と、
後方散乱ベールの偏光角および偏光度に基づいて後方散乱ベールの光度を計算するステップ（１１８）と、
取得された画像、および後方散乱ベールの光度に基づいて、改善された画像を計算するステップ（１２６）と
を含み、
方法は、水中撮像のための装置によって実施される、
方法に関する。
本発明はまた、そのような方法を実施する装置に関する。
要約の図：図３
【特許請求の範囲】
【請求項1】
水中撮像のための方法（１００）であって、偏光画像センサ（７）によって、画素からなる画像を取得するステップ（１０２）であって、前記取得された画像は、前記画素の少なくとも一部についての後方散乱ベールを含み、前記取得された画像は、同時に取得され、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像（１０ａ、１０ｂ、１０ｃ、１０ｄ）を含むステップと、
前記取得された画像の前記画素の光度に基づいてストークスパラメータを計算するステップ（１０４）と、
前記ストークスパラメータに基づいて、前記後方散乱ベールの偏光角を決定するステップ（１０６）と、
前記ストークスパラメータに基づいて、前記後方散乱ベールの偏光度を決定するステップ（１１２）と、
前記後方散乱ベールの前記偏光角および前記偏光度に基づいて前記後方散乱ベールの光度を計算するステップ（１１８）と、
前記取得された画像、および前記後方散乱ベールの前記光度に基づいて、改善された画像を計算するステップ（１２６）と
を含み、
前記方法は、水中撮像のための装置によって実施される、
方法。
【請求項2】
前記偏光は、直線状であり、０°、４５°、９０°、および１３５°に対応することを特徴とする、請求項１に記載の方法（１００）。
【請求項3】
偏光角を決定する前記ステップ（１０６）は、前記ストークスパラメータに基づいて偏光角値のマップを作成するステップ（１０８）、および
前記角度値のマップに基づいて前記取得された画像において前記ベールの偏光角と呼ばれる最も表される偏光角値を決定するステップ（１１０）
によって実行されることを特徴とする、請求項１または２に記載の方法（１００）。
【請求項4】
偏光度を決定する前記ステップ（１１２）は、前記ストークスパラメータに基づいて偏光度値のマップを作成するステップ（１１４）、
前記程度値のマップに基づいて前記取得された画像において前記ベールの偏光度と呼ばれる最も表される偏光度値を決定するステップ（１１６）
によって実行されることを特徴とする、請求項１～３のいずれか一項に記載の方法（１００）。
【請求項5】
無限遠における前記後方散乱ベールの前記光度を推定するステップ（１２０）をさらに含むことを特徴とする、請求項１～４のいずれか一項に記載の方法（１００）。
【請求項6】
無限遠における前記後方散乱ベールの前記光度を推定する前記ステップ（１２０）は、前記後方散乱ベールの前記偏光角および前記偏光度に基づいて光度値のマップを作成するステップ（１２２）、
前記強度値のマップに基づいて前記取得された画像において無限遠までの光度と呼ばれる最も表される強度値を決定するステップ（１２４）
によって実行されることを特徴とする、請求項５に記載の方法（１００）。
【請求項7】
前記後方散乱ベールの前記光度を計算する前記ステップ（１１８）は、すべての前記サブ画像の光度の平均を計算するステップを含むことを特徴とする、請求項１～６のいずれか一項に記載の方法（１００）。
【請求項8】
すべての前記画像処理ステップ（１０４、１０６、１１２、１１８）は、各カラーチャネルＲ、Ｇ、およびＢに対して独立して実行されることを特徴とする、請求項１～７のいずれか一項に記載の方法（１００）。
【請求項9】
水中撮像のための装置（１）であって、少なくとも１つの偏光画像センサ（７）であって、
複数の基本センサ、
各基本センサが分析器（８ａ）を備えるように配置された偏光分析器のマトリックス（８）であって、各分析器（８ａ）は、前記分析器（８ａ）の配向が前記センサ（７）の表面にわたって均質に分布されるように、少なくとも４つの異なる偏光のうちの１つに従って配向されるマトリックス（８）
を備え、
前記偏光画像センサ（７）は、同時に取得され、前記少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像（１０ａ、１０ｂ、１０ｃ、１０ｄ）を含む画像を取得するように構成される
少なくとも１つの偏光画像センサ（７）と、
画像処理モジュール（３）と
を備え、
前記装置（１）は、請求項１～８のいずれか一項に記載の方法（１００）の前記ステップを実施するように構成される、
装置（１）。
【請求項10】
遠隔操作ビークルまたは自律水中ビークルに適合可能に構成されることを特徴とする、請求項９に記載の装置（１）。
【請求項11】
請求項９に記載の水中撮像のための装置に、請求項１～８のいずれか一項に記載の水中撮像のための方法の前記ステップを実行させる命令を含む、コンピュータプログラム。
【請求項12】
請求項１０に記載のコンピュータプログラムが記録される、コンピュータ可読データ媒体。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、偏光水中撮像のための方法に関する。本発明はまた、そのような方法を実施する水中撮像のための装置に関する。
本発明の分野は、水中撮像の分野に限定されない。より詳細には、しかし非限定的に、本発明の分野は、濁水中の水中検査の分野である。
本発明の分野は、水中撮像の分野に限定されない。より詳細には、しかし非限定的に、本発明の分野は、濁水中の水中検査の分野である。
【先行技術】
【0002】
シーンの画像が煙、霧、または濁水などの拡散媒体で撮影される場合、それらのコントラストおよび輝度は、これらの媒体に懸濁した粒子の存在によって低下する可能性がある。
特に、濁った媒体中の画像の品質は、以下の２つの成分によって劣化する可能性がある：
－自然のシーンによって反射され、懸濁液中の粒子によって部分的に吸収された光、
－一般に「エアライト」と呼ばれる、空気中で撮影された画像に対して粒子によって拡散された望ましくない光。この拡散光は、画像のコントラストを低下させるベールをもたらす。
特に、濁った媒体中の画像の品質は、以下の２つの成分によって劣化する可能性がある：
－自然のシーンによって反射され、懸濁液中の粒子によって部分的に吸収された光、
－一般に「エアライト」と呼ばれる、空気中で撮影された画像に対して粒子によって拡散された望ましくない光。この拡散光は、画像のコントラストを低下させるベールをもたらす。
【0003】
画像の処理中、視認性を高めるために、拡散光の強度および色を正確に決定することができることが重要である。
ベールを排除するために、拡散媒体における画像を復元するための多数の方法が開発されてきた。これらの方法は、デヘイズ法と呼ばれ、捕捉された光のいくつかの異なる偏光についての１つの同じシーンのいくつかの画像の取得に基づく。
偏光撮像は、２つの異なる偏光を利用することによって、水中写真において特に知られている。
ベールを排除するために、拡散媒体における画像を復元するための多数の方法が開発されてきた。これらの方法は、デヘイズ法と呼ばれ、捕捉された光のいくつかの異なる偏光についての１つの同じシーンのいくつかの画像の取得に基づく。
偏光撮像は、２つの異なる偏光を利用することによって、水中写真において特に知られている。
【0004】
一般に、これらの方法を実施するシステムは、異なる画像捕捉間の偏光分析器の操作、ならびに（偏光されているか否かにかかわらず）水中シーンの人工照明を必要とする。処理方法もまた、取得される画像のサイズに応じて比較的長い。したがって、既知のデヘイズ法は、例えば映像のためにリアルタイムで画像を処理するのに適していない。
【発明の開示】
【0005】
本発明の目的は、言及された欠点を克服することを可能にする水中撮像のための方法および装置を利用可能にすることである。
【0006】
本発明の主題は、すべてのタイプの水中においてリアルタイムで鮮明かつ高コントラストの水中画像を得ることを可能にする水中撮像のための方法および装置を提案することである。
【0007】
この目的は、水中撮像のための方法であって、
偏光画像センサによって、画素からなる画像を取得するステップであって、取得された画像は、画素の少なくとも一部についての後方散乱ベールを含み、取得された画像は、同時に取得され、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像を含むステップと、
取得された画像の画素の光度に基づいてストークスパラメータを計算するステップと、
ストークスパラメータに基づいて、後方散乱ベールの偏光角を決定するステップと、
ストークスパラメータに基づいて、後方散乱ベールの偏光度を決定するステップと、
後方散乱ベールの偏光角および偏光度に基づいて後方散乱ベールの光度を計算するステップと、
取得された画像、および後方散乱ベールの光度に基づいて、改善された画像を計算するステップと
を含み、
方法は、水中撮像のための装置によって実施される、
方法によって達成される。
偏光画像センサによって、画素からなる画像を取得するステップであって、取得された画像は、画素の少なくとも一部についての後方散乱ベールを含み、取得された画像は、同時に取得され、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像を含むステップと、
取得された画像の画素の光度に基づいてストークスパラメータを計算するステップと、
ストークスパラメータに基づいて、後方散乱ベールの偏光角を決定するステップと、
ストークスパラメータに基づいて、後方散乱ベールの偏光度を決定するステップと、
後方散乱ベールの偏光角および偏光度に基づいて後方散乱ベールの光度を計算するステップと、
取得された画像、および後方散乱ベールの光度に基づいて、改善された画像を計算するステップと
を含み、
方法は、水中撮像のための装置によって実施される、
方法によって達成される。
【0008】
水中撮像のための方法は、水面下で取得された画像の品質を改善することを可能にする。方法は、画像の偏光取得および処理を実施し、処理は、捕捉された光の偏光角の分布の分析に基づく。この分析により、懸濁粒子による拡散に由来する光度を識別し、したがってその光度を排除することが可能になる。
【0009】
本発明による方法は、撮像されるシーンの人工照明を利用しない。したがって、太陽光のみがシーンを照らす。ソーラー光は、無偏光と呼ばれる光である。しかし、スネル－デカルトの法則およびマクスウェルの法則によれば、空気－水界面の効果は、光を部分的に偏光させることである。光の偏光角は、空における太陽の位置に依存する。すべての場合において、光は、空気－水界面を通過した後に十分に偏光される。光はまた、水に懸濁した粒子によって拡散されるときに部分的に偏光される。拡散光のこれら２つの現象による部分偏光は、本発明による方法の処理ステップを適用することを可能にする。
【0010】
取得された画像は、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像を含む。次いで、サブ画像が同時に取得され、それらの取得は、分析器の操作または調整を必要としない。各サブ画像は、取得された画像自体として完全にシーンを表す。
【0011】
ストークスパラメータを計算するステップ、したがって本発明による方法のすべての他の処理ステップは、取得された画像の画素の光度に基づいて実行される。これは、すべての画素を有する画像全体を使用してこの計算を行うことができることを意味する。実際、画像のエリアまたは領域は、事前に選択されない。
【0012】
画像の表面全体の処理と組み合わせた偏光測定および同時取得のために、本発明による方法は、リアルタイムで、特に映像のために実施することができる。
以下、「水中」という用語は、一般に「水面下」を意味すると理解されるべきであり、本発明による方法および装置は、海中環境での使用に適しているが、当然のことながら、湖、水流、河川などでの使用にも適している。
以下、「水中」という用語は、一般に「水面下」を意味すると理解されるべきであり、本発明による方法および装置は、海中環境での使用に適しているが、当然のことながら、湖、水流、河川などでの使用にも適している。
【0013】
有利な実施形態によれば、偏光は、直線状であり、０°、４５°、９０°、および１３５°に対応し得る。
代替の実施形態によれば、偏光のうちの２つは直線偏光であり、他の２つは左円偏光および右円偏光であり得る。
代替の実施形態によれば、偏光のうちの２つは直線偏光であり、他の２つは左円偏光および右円偏光であり得る。
【0014】
一実施形態によれば、偏光角を決定するステップは、
ストークスパラメータに基づいて偏光角値のマップを作成するステップ、および
角度値のマップに基づいて取得された画像においてベールの偏光角と呼ばれる最も表される偏光角値を決定するステップ
によって実行され得る。
ストークスパラメータに基づいて偏光角値のマップを作成するステップ、および
角度値のマップに基づいて取得された画像においてベールの偏光角と呼ばれる最も表される偏光角値を決定するステップ
によって実行され得る。
【0015】
同様に、偏光度を決定するステップは、
ストークスパラメータに基づいて偏光度値のマップを作成するステップ、
程度値のマップに基づいて取得された画像においてベールの偏光度と呼ばれる最も表される偏光度値を決定するステップ
によって実行され得る。
ストークスパラメータに基づいて偏光度値のマップを作成するステップ、
程度値のマップに基づいて取得された画像においてベールの偏光度と呼ばれる最も表される偏光度値を決定するステップ
によって実行され得る。
【0016】
一実施形態によれば、方法はまた、無限遠における後方散乱ベールの光度を推定するステップを含むことができる。
実際、無限遠において、後方散乱ベールは、規定された偏光を有する懸濁粒子に完全に起因すると仮定することができる。したがって、無限遠における光度は、粒子のベールの状態および性質（偏光、色）についての基準を構成する。したがって、撮像されたシーンまたは物体の前に存在し、物体またはシーンからの距離に関する情報を必要とせずに排除することが望ましい後方散乱の割合を推定することが可能である。
実際、無限遠において、後方散乱ベールは、規定された偏光を有する懸濁粒子に完全に起因すると仮定することができる。したがって、無限遠における光度は、粒子のベールの状態および性質（偏光、色）についての基準を構成する。したがって、撮像されたシーンまたは物体の前に存在し、物体またはシーンからの距離に関する情報を必要とせずに排除することが望ましい後方散乱の割合を推定することが可能である。
【0017】
一実施形態によれば、無限遠における後方散乱ベールの光度を推定するステップは、
後方散乱ベールの偏光角および偏光度に基づいて光度値のマップを作成するステップ、
強度値のマップに基づいて取得された画像において無限遠における光度と呼ばれる最も表される強度値を決定するステップ
によって実行され得る。
後方散乱ベールの偏光角および偏光度に基づいて光度値のマップを作成するステップ、
強度値のマップに基づいて取得された画像において無限遠における光度と呼ばれる最も表される強度値を決定するステップ
によって実行され得る。
【0018】
一実施形態によれば、後方散乱ベールの光度を計算するステップは、すべてのサブ画像の後方散乱ベールの光度の平均を計算するステップを含むことができる。
【0019】
有利には、ストークスパラメータを計算するステップは、例えば、ｎ＝４…８で、ｎ個の隣接する画素にわたってストークスパラメータを平均化することによって実行される。
このステップにより、したがってデジタルアーチファクトを回避するために、隣接する強度値が大きく異なりすぎない復元画像を得ることが可能になる。
このステップにより、したがってデジタルアーチファクトを回避するために、隣接する強度値が大きく異なりすぎない復元画像を得ることが可能になる。
【0020】
有利には、すべての画像処理ステップは、各カラーチャネルＲ、Ｇ、およびＢに対して独立して実行することができる。
これは、水中環境では、光の強度がその波長、および水中で覆われる距離に応じて減衰されるという事実を考慮している。
これは、水中環境では、光の強度がその波長、および水中で覆われる距離に応じて減衰されるという事実を考慮している。
【0021】
同じ発明の別の態様によれば、水中撮像のための装置であって、
少なくとも１つの偏光画像センサであって、
複数の基本センサ、
各基本センサが分析器を備えるように配置された偏光分析器のマトリックスであって、各分析器は、分析器の配向がセンサの表面にわたって均質に分布されるように、少なくとも４つの異なる偏光のうちの１つに従って配向されるマトリックス
を備え、
偏光画像センサは、同時に取得され、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像を含む画像を取得するように構成される
少なくとも１つの偏光画像センサと、
画像処理モジュールと
を備える、装置が提案される。
装置は、本発明による方法のステップを実施するように構成される。
少なくとも１つの偏光画像センサであって、
複数の基本センサ、
各基本センサが分析器を備えるように配置された偏光分析器のマトリックスであって、各分析器は、分析器の配向がセンサの表面にわたって均質に分布されるように、少なくとも４つの異なる偏光のうちの１つに従って配向されるマトリックス
を備え、
偏光画像センサは、同時に取得され、少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像を含む画像を取得するように構成される
少なくとも１つの偏光画像センサと、
画像処理モジュールと
を備える、装置が提案される。
装置は、本発明による方法のステップを実施するように構成される。
【0022】
有利には、装置は、遠隔操作水中ビークル（ＲＯＶ）または自律水中ビークルに適合可能に構成される。
このタイプの水中ビークルは、例えば、ダム、貯蔵庫、船殻、パイプラインの検査、またはより広範には、水中に部分的または完全に沈められた設備の任意の検査を行うことを可能にする。それらはまた、人間が行くことができない深さまたは場所で水中作業を実行することを可能にする。適用分野は、特に以下の通りである：建設、ダム、海洋再生可能エネルギー、掘削、構造物の検査、保守、および修理、遠隔通信、石油およびガス産業、プラットフォームの解体、原子力産業および防衛。
このタイプの水中ビークルは、例えば、ダム、貯蔵庫、船殻、パイプラインの検査、またはより広範には、水中に部分的または完全に沈められた設備の任意の検査を行うことを可能にする。それらはまた、人間が行くことができない深さまたは場所で水中作業を実行することを可能にする。適用分野は、特に以下の通りである：建設、ダム、海洋再生可能エネルギー、掘削、構造物の検査、保守、および修理、遠隔通信、石油およびガス産業、プラットフォームの解体、原子力産業および防衛。
【0023】
あるいは、本発明による装置は、ダイバーによって直接実行され得る。
【0024】
同じ発明のさらに別の態様によれば、本発明による水中撮像のための装置に、本発明による水中撮像のための方法のステップを実行させる命令を含む、コンピュータプログラムが提案される。
【0025】
さらに別の態様によれば、本発明は、本発明によるコンピュータプログラムが記録される、コンピュータ可読データ媒体に関する。
【図面の簡単な説明】
【0026】
他の利点および特性は、決して限定的ではない例の詳細な説明を検討すること、および添付の図面から明らかになるであろう。
【図1】本発明による水中撮像のための装置の非限定的な実施形態の例の概略図である。
【図2】本発明による装置で使用することが可能な例示的な光学センサの概略図である。
【図3】本発明による水中撮像のための方法の非限定的な実施形態の例の概略図である。
【図4】本発明による例示的な取得された画像を示す図である。
【図5】一実施形態の例による本発明の方法のステップを示す図である。
【0027】
以下に説明される実施形態は決して限定的なものではないことが、十分に理解される。特に、この特性の選択が技術的利点を与えるのに、または先行技術の状態に関して本発明を区別するのに十分である場合、記載される他の特性とは別に、以下に記載される特性の選択のみを含む本発明の変形が想定され得る。この選択は、この部分だけで技術的利点を与えるのに、または先行技術の状態に関して本発明を区別するのに十分である場合、構造上の詳細のない、または構造上の詳細の一部のみを有する、少なくとも１つの、好ましくは機能的な特性を含む。
【0028】
特に、記載されるすべての変形およびすべての実施形態は、技術的観点からこの組み合わせに異議がなければ、共に組み合わせることができる。
【0029】
図１は、本発明の場面において利用することが可能な水中撮像のための装置の非限定的な実施形態の例の概略図である。装置は、特に、本発明の方法を実施するために使用することができる。
【0030】
図１に表される装置１は、電子処理基板４を備えた防水箱５内に載置されたデジタルカメラ２を備える。カメラ２は、対物レンズ３を備える。カメラ２は、対物レンズ３が箱５の透明なポートホール６に対向して位置決めされるように配置される。
【0031】
カメラ２は、図２に示されるような偏光センサを備えている。センサ７は、複数の基本センサを有するＣＭＯＳタイプのマトリックスセンサ、および複数の分析器８ａを有する分析器マトリックス８で構成される。各基本センサは、分析器８ａに関連付けられている。
【0032】
図２は、同様に図式的に、偏光センサ７の一部を示す。図２のハッチングによって示唆されるように、回折格子の形態の偏光フィルタを各基本センサ上に載置することができる。各フィルタ上には、マイクロレンズを載置することができる。
【0033】
図１に示すように、箱５はまた、送信ケーブルが接続されることを可能にする防水コネクタ９を備え、送信ケーブルは、データを電子基板４から、例えば陸上またはボートなどの遠方の機器にリアルタイムで送信し、そこからカメラ２を使用して装置１を搭載するＲＯＶを操縦することができる。
【0034】
図３は、本発明による水中撮像のための方法の非限定的な実施形態の例の概略図である。
【0035】
図３に表される方法１００は、水中画像を取得するステップ１０２を含む。このステップ１０２は、例えば、図１および図２を参照して説明したような偏光画像センサによって実行することができる。取得された画像は、画素の少なくとも一部についての後方散乱ベールを含む。
偏光センサの性質により、取得された画像は、捕捉された光の少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像を含む。
偏光センサの性質により、取得された画像は、捕捉された光の少なくとも４つの異なる偏光に対応する少なくとも４つのサブ画像を含む。
【0036】
例として、これらの偏光は、０°、４５°、９０°、および１３５°である。これらの偏光を有する４つのサブ画像１０ａ、１０ｂ、１０ｃ、１０ｄの一例を、図４に示す。
【0037】
濁った媒体では、センサによって受信される強度Ｉは、Ｄで示される粒子のベールを通してシーンによって反射された強度、およびＡで示される後方散乱ベールの強度、すなわち、懸濁液中の粒子によって反射された強度で構成される。成分Ａは、部分的に偏光されている。Ｉは、以下のように表すことができる：
［数１］
ここで、ＤおよびＡは、以下の関係でそれぞれ表すことができる：
［数２］
［数３］
［数１］
［数２］
【0038】
Ｌは、粒子のベールによって減衰されていない光の強度を表し、Ａｉｎｆは、無限遠に位置する仮想物体についての後方散乱ベールの強度を表し、ｔ（ｚ）は、水の透過率を表す。消衰係数βが距離ｚと共に変化しないと仮定すると、画像が撮影された水の性質にかかわらず、ｔ（ｚ）は、以下のように表すことができる：
［数４］
前述の式を用いて、Ｌは、以下のように表すことができる：
［数５］
［数４］
［数５］
【0039】
ステップ１０４の間、ストークスパラメータは、捕捉された光度Ｉに基づいて取得された画像の画素の各々について計算される。ストークスパラメータは、後方散乱ベールの強度Ａ、偏光角（ＡＯＰ）θＡ、および偏光度（ＤＯＰ）ｐＡを計算するために必要である。
【0040】
０°、４５°、９０°、および１３５°の偏光に対応する４つの画像について、ストークスパラメータＳ０、Ｓ１、およびＳ２は、以下のように計算される：
［数６］
［数７］
［数８］
［数６］
【0041】
ここで、Ｓ０は、入射光の総強度を表し、Ｓ１およびＳ２は、センサに入射する光の偏光状態を表す。
【0042】
式［数６］を用いて、Ｓ０が４つのサブ画像のうちの２つのみを使用することによって計算され、したがってこのステップをより迅速に行うことを可能にすることに留意されたい。これは、０°および９０°に沿った偏光４５°および１３５°の投影を使用することによって可能である。
【0043】
［数６～８］によれば、以下の関係に従って入射光の偏光角θおよび偏光度ｐを得ることが可能である：
［数９］
［数１０］
［数９］
【0044】
本発明による方法は人工照明を利用しないため、空気－水を通過することによる、かつ懸濁液中の粒子による自然入射光の偏光のみに基づく。したがって、これらの粒子は、偏光を反射する。
【0045】
方法１００のステップ１０６の間、後方散乱ベールの偏光角θＡがストークスパラメータに基づいて決定される。図３に表される方法の実施形態では、ステップ１０６は、以下のように実行される。
【0046】
濁った環境と呼ばれる水中環境は粒子が強く負荷されているため、粒子θＡのベールのＡＯＰを推定するためには、画像におけるθの最も表される値を決定すれば十分であると仮定することができる。特に、焦点がベールのエリアだけでなく画像全体にある場合であっても、統計的に、粒子のベールの偏光角が画像において最も表されると仮定することができる。実際、ベールのエリアおよび画像全体についての偏光角のヒストグラムを比較することによって、異なるシーンの複数の画像について、最大値が両方の場合において実質的に同じ角度値であることに留意されたい。
【0047】
したがって、ステップ１０８の間、ストークスパラメータに基づく偏光角θ値のマップが、取得された画像について作成される。
次に、ステップ１１０の間、最も表される偏光角値が決定される。値のマップに基づいて、偏光角値のヒストグラムが計算され、次にヒストグラムの最大値θＡが検索される。
次に、ステップ１１０の間、最も表される偏光角値が決定される。値のマップに基づいて、偏光角値のヒストグラムが計算され、次にヒストグラムの最大値θＡが検索される。
【0048】
図５は、粒子のベールの偏光角を決定するステップを示している。図５（ａ）は、未処理の水中で撮影された画像を示す。図５（ｂ）は、画像内に存在する偏光角値のマップを示す。円は、「ベールの」エリアと呼ばれるエリア、すなわち、撮像される物体のないエリアに対応する。最後に、図５（ｃ）は、シーン全体の角度値のヒストグラム、ならびに角度θＡに対応する最大値を示す。
【0049】
方法１００のステップ１１２の間、後方散乱ベールの偏光度ｐがストークスパラメータに基づいて決定される。このステップ１１２は、偏光状態θＡにあるセンサによって受信される強度の割合を知ることを可能にする。図３に表される実施形態によれば、ステップ１１２は、偏光角を決定するステップ１０６と同じ方法で実行される。
【0050】
したがって、ステップ１１４の間、ストークスパラメータに基づく偏光度ｐ値のマップが、取得された画像について作成される。
次に、ステップ１１６の間、最も表される偏光度ｐＡ値が値のヒストグラムに基づいて決定される。
次に、ステップ１１６の間、最も表される偏光度ｐＡ値が値のヒストグラムに基づいて決定される。
【0051】
ステップ１１８の間、後方散乱ベールの光度Ａは、以下の関係に従って、後方散乱ベールの角度θＡおよび偏光度ｐＡに基づいて計算される：
［数１１］
［数１１］
【0052】
特に有利な実施形態によれば、ベールＡの強度の計算は、以下のように実行することができる：
［数１２］
［数１２］
【0053】
これは、４つの偏光に対応する４つのサブ画像Ｉ０、Ｉ４５、Ｉ９０、およびＩ１３５の各々についてＡを推定し、Ａの最終値を見つけるためにＡのこれら４つの値を平均化することに相当する。
【0054】
この実施形態は、画像復元の品質をさらに改善すること、特に復元画像におけるカラージャンプを低減することを可能にする。
【0055】
Ａに基づいて、無限遠における後方散乱ベールの強度Ａｉｎｆを推定することが可能になる。図３に表される実施形態によれば、このステップ１２０は、それぞれ偏光角および偏光度を決定するステップ１０６および１１２と同じ方法で実行される。
【0056】
したがって、ステップ１２２の間、取得された画像全体について光度値のマップが作成される。
次に、ステップ１２４の間、値のヒストグラムに基づいて、無限遠におけるベールの強度Ａｉｎｆと呼ばれる最も表される光度値が決定される。
次に、ステップ１２４の間、値のヒストグラムに基づいて、無限遠におけるベールの強度Ａｉｎｆと呼ばれる最も表される光度値が決定される。
【0057】
改善された、または復元された画像の計算に入るすべてのパラメータは、このようにして決定された（［数５］参照）。
【0058】
一実施形態によれば、画像処理を自動的にしてかつより成功させるために、補正係数が関係［数５］に導入される。これにより、ＡがＡｉｎｆに非常に近い場合、Ｌの計算における収差を回避することが可能になる。
まず、係数αを式［数５］に導入する：
［数１３］
まず、係数αを式［数５］に導入する：
［数１３］
【0059】
この係数は、０と１との間に含まれる調整可能なパラメータである。有利には、０．５の値は、異なるタイプの水での試験において良好な結果を与えるので選択される。実際、自動処理では、取得された新しい画像ごとにパラメータαを決定することを想定することはできない。０．５の値は、デジタルアーチファクトを回避しながら画像処理を低下させないことを可能にする。
【0060】
第２に、後方散乱ベールの正規化強度Ａｎｏｒｍを式［数５］に導入する：
［数１４］
これはまた、より成功した画像処理を得るためにデジタルアーチファクトを低減することを可能にする。
［数１４］
【0061】
したがって、ステップ１２６の間、懸濁粒子によって減衰されていない光の光度Ｌは、以下の式に従って計算される：
［数１５］
［数１５］
【0062】
欠陥またはデジタルアーチファクトがもはやない復元画像が得られる。
【0063】
本発明による方法１００の画像処理ステップ１０４～１２６は、取得された画像の各カラーチャネルＲ、Ｇ、およびＢに対して独立して実行される。
【0064】
本発明による水中撮像のための方法は、例えばＸｉｌｉｎｘ製のＺｙｎｑ ７０２０で構成されるＦＰＧＡ（フィールドプログラマブルゲートアレイ）タイプの電子基板上で実施することができる。このような基板は、非常に小型（７０ｍｍ×４５ｍｍ）であり、例えば、ＲＯＶに容易に搭載することができる。
【0065】
本発明の方法による画像処理は大規模に並列化可能であるため、ＶＨＤＬ（ＶＨＳＩＣハードウェア記述言語；ＶＨＳＩＣは、超高速集積回路を意味する）で処理命令を再転写することが可能であり、ＦＰＧＡの可能性を実際に活用することを可能にする。
さらに、そのような電子基板に深層学習ソリューションを実装することを想定することが可能である。
さらに、そのような電子基板に深層学習ソリューションを実装することを想定することが可能である。
【0066】
当然のことながら、本発明は、ここで説明した例に限定されるものではなく、本発明の範囲を超えることなくこれらの例に多くの修正を加えることが可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】