特許 6646667 ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6646667

(24)【登録日】2020年1月15日

(45)【発行日】2020年2月14日

(54)【発明の名称】ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20200203BHJP

   G06T 1/00 20060101ALI20200203BHJP

【ＦＩ】

   G06T5/00 705

   G06T1/00 315

【請求項の数】11

【全頁数】17

(21)【出願番号】特願2017-527249(P2017-527249)

(86)(22)【出願日】2015年11月18日

(65)【公表番号】特表2017-535884(P2017-535884A)

(43)【公表日】2017年11月30日

(86)【国際出願番号】EP2015076964

(87)【国際公開番号】WO2016079179

(87)【国際公開日】20160526

【審査請求日】2018年10月23日

(31)【優先権主張番号】1461260

(32)【優先日】2014年11月20日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】311015001

【氏名又は名称】コミサリヤ・ア・レネルジ・アトミク・エ・オ・エネルジ・アルテルナテイブ

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】シャオク，モハメド

【審査官】 片岡 利延

(56)【参考文献】

【文献】 国際公開第２０１１／０７８２６４（ＷＯ，Ａ１）

【文献】 特開２０１２−１２０６４７（ＪＰ，Ａ）

【文献】 特開２０１０−１７１９４９（ＪＰ，Ａ）

【文献】 特開２０１４−０３５７０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

初期３Ｄ画像をフィルタリングする方法であって、
−前記初期画像の各ピクセルに関連付けられた各３Ｄ点の局所解析領域を画定するステップと、
−前記局所解析領域内の各３Ｄ点に対して測定された空間コヒーレンス値（前記空間コヒーレンス値は前記点の前記局所解析領域に含まれる３Ｄ点の個数に関連付けられている）に基づいて、前記初期３Ｄ画像のピクセルの組に関連付けられた３Ｄ点の組に対して空間コヒーレンス画像を生成するステップと、
−前記局所解析領域内のピクセルに関連付けられた各３Ｄ点に対して測定された幾何学的実体値であって、前記幾何学的実体値は前記局所解析領域の空白シーンに射影された画像内で視認可能な３Ｄ点の個数に関連付けられている幾何学的実体値に基づいて、前記初期３Ｄ画像のピクセルの組に関連付けられた３Ｄ点の組に対して幾何学的実体画像を生成するステップと、
−前記空間コヒーレンスおよび前記幾何学的実体画像に基づいて二値画像を生成し、前記二値画像の各点を、前記点に対して得られた前記空間コヒーレンスおよび前記幾何学的実体値に応じてシーン点またはノイズ点として分類するステップと、
−ノイズ除去画像を得るべく前記二値画像と前記初期３Ｄ画像を組み合わせるステップとを含む方法。

【請求項2】

前記局所解析領域Ｓ（Ｐ（ｕ，ｖ））を画定するステップが、ピクセルに関連付けられた３Ｄ点の座標Ｐ（ｕ，ｖ）を中心とする固定サイズの３Ｄ空間領域を画定するステップを含む、請求項１に記載の方法。

【請求項3】

３Ｄ点の空間コヒーレンス値Ｃ_Ｓ（ｕ，ｖ）を測定するステップが、
−前記初期画像のピクセルの組を、前記ピクセルに関連付けられた３Ｄ点が前記３Ｄ点の前記局所解析領域に含まれるように決定するステップと、
−前記決定の結果に応じて前記３Ｄの空間コヒーレンス値を定義するステップとを含んでいる、請求項１または２に記載の方法。

【請求項4】

３Ｄ点に関連付けられたピクセルの幾何学的実体値Ｒ_ｇ（ｕ，ｖ）を測定するステップが、
−前記局所的解析領域を空白シーンに射影するステップと、
−前記局所解析領域を前記空白シーンに射影した画像における前記局所解析領域内で視認可能な３Ｄ点の組を決定するステップと、
−前記決定の結果に応じて前記ピクセルの幾何学的実体値を定義するステップとを含んでいる、請求項１〜３のいずれか１項に記載の方法。

【請求項5】

二値画像を生成するステップが、
−各３Ｄ点に対して、前記空間コヒーレンスおよび幾何学的実体値に基づいてフィルタリング値を生成するステップと、
−得られたフィルタリング値と閾値を比較するステップと、
−前記比較の結果に応じて前記３Ｄ点をシーン点またはノイズ点として分類するステップと、
−前記シーンおよびノイズ点の組の画像を生成するステップとを含んでいる、請求項１〜４のいずれか１項に記載の方法。

【請求項6】

前記初期画像が視差画像である、請求項１〜５のいずれか１項に記載の方法。

【請求項7】

前記初期画像が奥行き画像である、請求項１〜５のいずれか１項に記載の方法。

【請求項8】

前記局所解析領域が、球、立方体、箱形または円筒表現、あるいは３Ｄメッシュ面表現、ボクセル表現または代数表現を含むグループから選択される、請求項１〜７のいずれか１項に記載の方法。

【請求項9】

前記幾何学的実体値が予め計算されている、請求項１〜８のいずれか１項に記載の方法。

【請求項10】

初期画像をフィルタリングする装置であって、請求項１〜９のいずれか１項に記載の方法のステップを実行する手段を含んでいる装置。

【請求項11】

コンピュータプログラムであって、前記プログラムがコンピュータ上で実行された場合に請求項１〜９のいずれか１項に記載の方法のステップを実行可能にするコード命令を含んでいるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理およびコンピュータビジョンの分野、特にノイズの多い奥行きまたは視差画像の処理に関する。

【背景技術】

【0002】

画像内のシーンの解析（画像分割、背景減算、自動物体認識、およびマルチクラス検出）は主に「単一センサ」（２Ｄ）画像を対象として文献で広く扱われてきた分野である。物体は、色および／またはテクスチャの観点から整合性のある視認単位であるだけではなく、空間的に密集した単位でもあるため、シーン解析は３Ｄ知覚の最先端技術の恩恵を受けて奥行き情報の利用も図っている。

【0003】

以下のように複数の種類の３Ｄ知覚システムが知られている。
−３Ｄスキャナまたは飛行時間型（ＴＯＦ）カメラ等の機器。この種の３Ｄセンサは、各ピクセルが、シーン内の点と特定の点との距離に対応する奥行き画像を提供する。得られた奥行き画像は一般に極めて高精度であるものの、収差（例えばＴＯＦカメラの場合は「斑点」）を含んでいる。これらの機器は、一千〜数千ユーロと高価であるため、コストが主な障壁ではないアプリケーションでの利用に限定される。更に、これらの３Ｄセンサの多くは画像が低解像度であるためリアルタイムアプリケーションでは使用できない。
−特定の処理動作（例：視差計算）と組み合わせた、一般にカメラおよび／またはプロジェクタのアセンブリからなる立体視システム。これらは、コストが低い標準的なカメラまたは他のアプリケーション向けの既存のカメラ（例：反転カメラ機能）の恩恵を受ける。しかし、これらの画像はノイズが多く（照明条件に対する感度、僅かにテクスチャ化された表面での問題等）、視差マップから推論される奥行き画像は密でない。非線形変換｛視差マップ→奥行きマップ｝は、奥行きマップにおける情報密度の不均一性を示す。典型的には、カメラ付近でデータが密になり、物体境界上のデータは不明瞭になる恐れがある。

【0004】

奥行き画像または視差画像の品質は、当該画像に対して実行された処理動作の性能に重大な影響を及ぼす。立体視画像の場合、奥行き画像における重大な誤差は、実行された処理動作に対してより有害であり得る。

【0005】

従って、３Ｄシーン解析システム（例：シーン分割）は高価であるか、または奥行きマップに存在する誤差により悪影響を受ける。

【0006】

奥行きに関連付けられたデータのフィルタリングを視差マップに対して実行することができる。収差誤差は従来、メジアンフィルタにより扱われていた。当該フィルタの唯一のパラメータは補助図形（サポート）のサイズ（または形状）である。典型的には３×３または５×５の正方形の補助図形が用いられる。

【0007】

ノイズ除去能力は補助図形のサイズと共に増大するが、ノイズが存在する場合にエッジが置換される可能性と合わせて、詳細部分も除去されてしまう。これは分割との関連で、不正確な分割につながる恐れがあるが、この影響は奥行き画像または視差画像の全体にわたり均一ではない点に注意されたい。

【0008】

しかし、小型の補助図形を用いるとフィルタリング能力が低下する。ノイズのレベルが統計的に有意な場合、そのフィルタリングは部分的にしか行えない。

【0009】

従って、フィルタサイズの選択は、収差の除去と画像変形との間のトレードオフである。この選択はユーザーに委ねられており、「最適」値を自動的に決定する方法は無い。

【0010】

「Ａｕｔｏｍａｔｉｏｎ ｉｎ Ｃｏｎｓｔｒｕｃｔｉｏｎ」Ｖｏｌ．１９、ｐｐ．８９８−９０６、Ｅｌｓｅｖｉｅｒ、２０１０に発表されたＳｏｎ、ＫｉｍおよびＣｈｏｉによる論文「Ｒａｐｉｄ ３Ｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｍｏｄｅｌｉｎｇ ｕｓｉｎｇ ｒａｎｇｅ ｄａｔａ ｆｒｏｍ ｒａｎｇｅ ｉｍａｇｉｎｇ ｃａｍｅｒａ ｆｏｒ ｈｅａｖｙ ｅｑｕｉｐｍｅｎｔ ｏｐｅｒａｔｉｏｎ」において著者は、飛行時間型のカメラ、および奥行き画像のノイズを減少させ、背景要素を減算し、物体を分割して、物体を囲む空間領域を生成する連続的なステップを含む処理ソフトウェアからなる３Ｄシーン分割システムを示す。このような方式の限界は、当該システムが高価な装置である飛行時間型カメラを要し、且つフィルタリング動作がセンサに関連付けられたノイズの種類に適合されている点である。フィルタリングは、信号の局所的特徴を考慮することなく、固定補助図形、すなわち「ドロップアウト」型（センサが受信しなかった波）のフィルタリング収差値の固定閾値０．６および斑点ノイズ補正用の３×３メジアンフィルタとを組み合わせた３×３平均差フィルタを用いる。更に、上述のように、固定補助図形サイズおよび固定閾値は、信号の局所的且つ実際の特徴、特に３Ｄ方式のジオメトリに関連付けられた特徴に応じた最適化対象信号のフィルタリングと保存との間のトレードオフを許さない。最後に、分割の大域的な方式は微細な分割を可能にする高密度の３Ｄメッシュを用いるが、計算時間は１秒のオーダーのように長いままである。

【0011】

Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓによる特許出願欧州特許出願公開第２５４１４９６（Ａ２）号明細書「Ｍｅｔｈｏｄ，ｍｅｄｉｕｍ，ａｎｄ ａｐｐｒａｔｕｓ ｆｏｒ ｆｉｌｔｅｒｉｎｇ ｎｏｉｓｅ ｕｓｉｎｇ ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ」において、奥行きノイズをフィルタリングする方法は、奥行き情報に従い空間または時間フィルタリングを実行することができる。空間フィルタリングを実行するために、当該方法は、奥行き情報に基づいて空間フィルタの特徴を決定することができる。同様に、時間フィルタリングを実行するために、当該方法は、奥行き情報に基づいて特定の個数の座標系を決定することができる。この解決策は処理対象の領域の奥行きに従い適用対象のフィルタのサイズおよび係数を適応させるものであるが、依然として、特にフィルタの特徴が物体のカメラの光学中心からの距離を考慮していない点を含む短所がある。

【0012】

Ｋａｕｆｆ Ｐ．らによる特許出願国際公開第２０１３０７９６０２（Ａ１）号パンフレット「Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｄｉｓｐａｒｉｔｙ−ｍａｐ ｓｍｏｏｔｈｉｎｇ ｂｙ ｊｏｉｎｔ ｍｕｌｔｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ」において、視差マップＤ（ｐ，ｔ０）のフィルタリングを意図したフィルタ構造は、第１のフィルタ、第２のフィルタ、およびフィルタセレクタを含んでいる。第１のフィルタは、中心傾向の第１の測定に従い視差マップの特定区間をフィルタリングすることを意図している。第２のフィルタは、中心傾向の第２の測定に従い視差マップの特定区間をフィルタリングすることを意図している。フィルタセレクタは、視差マップの特定区間をフィルタリングすべく第１のフィルタまたは第２のフィルタを選択すべく提供され、選択は特定区間の少なくとも１個の局所的特性に基づいている。この方式は、視差マップでのみ有効であるが、選択対象のフィルタ用の固定閾値の選択に依存しており、物理的または幾何学的実体との整合性を欠いている。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】欧州特許出願公開第２５４１４９６Ａ２号明細書

【特許文献2】国際公開第２０１３／０７９６０２Ａ１号明細書

【非特許文献】

【0014】

【非特許文献1】Ｓｏｎ，Ｋｉｍ＆「Ｒａｐｉｄ ３Ｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｍｏｄｅｌｉｎｇ ｕｓｉｎｇ ｒａｎｇｅ ｄａｔａ ｆｒｏｍ ｒａｎｇｅ ｉｍａｇｉｎｇ ｃａｍｅｒａ ｆｏｒ ｈｅａｖｙ ｅｑｕｉｐｍｅｎｔ ｏｐｅｒａｔｉｏｎ」Ａｕｔｏｍａｔｉｏｎ ｉｎ Ｃｏｎｓｔｒｕｃｔｉｏｎ，Ｖｏｌ．１９，ｐｐ．８９８−９０６，Ｅｌｓｅｖｉｅｒ，２０１０

【発明の概要】

【発明が解決しようとする課題】

【0015】

従って従来技術において、システムのコストを低く保ちながら、奥行き画像の品質、従って後続処理の品質を向上させることが可能な解決策が存在しない。

【0016】

更に、原光信号に対して実行された動作の幾何学的実体を考慮する既知の方法は存在しない。

【0017】

従って既知の方法の短所を克服する解決策に対するニーズがある。本発明はこのニーズに応えるものである。

【課題を解決するための手段】

【0018】

本発明の主題の一つは、適応的方法を用いて視差または奥行き画像の収差をフィルタリングする装置および方法を提案することである。

【0019】

提案する方法は、光信号に対して行われる変換の幾何学的実体から導かれた基準に従い、３Ｄ近傍で空間的に整合性を有していない複数の点の局所的フィルタリングを可能にする。

【0020】

本発明の適応的フィルタリングは、３Ｄ空間全体にわたり、フィルタリング能力と詳細部分の保存との間のトレードオフを安定させ、当該トレードオフはユーザー指定可能な値に調整される点で既存の方法を改良したものである。

【0021】

提案するノイズフィルタリング方法を高密度の奥行き画像にまたは高密度の視差画像に対して実行することにより、観察されたシーンの自動分割、すなわち複数の構成要素へのシーンの自動分解等、後の処理動作の品質および効率を向上させることが可能になる。

【0022】

本発明の装置は、ノイズの多い奥行き画像またはノイズの多い視差画像の後処理として、および／または奥行き画像または視差画像を用いるシーン解析アプリケーションの前処理として処理連鎖に組み込むことができる。

【0023】

有利な特徴として、提案する解決策は、以下により特徴付けられる。
−データの空間コヒーレンス（整合性）および原信号（光波）に対して実行された動作の幾何学的実体を考慮した３Ｄデータの適応的フィルタリング、
−立体視センサの使用を介して制御されたシステムコスト、
−最小限の計算リソースを要し、標準的且つ安価なコンピューティングアーキテクチャ上でのリアルタイム実行を可能にする方式。

【0024】

有利な特徴として、フィルタリングパラメータは、光信号に対する変換の幾何学的実体を考慮しながら局所的に最適化される。

【0025】

従って、フィルタリング能力と詳細部分の保存との間のトレードオフは自動的に管理され、空間位置に適応（空間均一性）し、ユーザーの選択に委ねられ且つ問題の３Ｄ領域全体にわたり有効な１個の直観的パラメータだけに依存する。

【0026】

有利な特徴として、本発明のフィルタの特徴は、奥行きだけでなくカメラの光学中心からの物体の距離にも依存する。

【0027】

より一般的には、フィルタパラメータの適応は、経験式（本例では一次式）には基づいておらず、幾何学的変換の実体に基づいている。フィルタパラメータはまた、データの空間コヒーレンス基準に動的に依存している。

【0028】

有利な特徴として、フィルタリングされた画像を出力すべくデータにフィルタを直接適用するのではなく、提案する方法では、フィルタリングを要するピクセルの画像を生成し、その後当該ピクセルを個別に処理することが可能になる。従って、有効と考えられるピクセルはいかなる場合も変更されない。

【0029】

本発明は、３Ｄシーンの全部または一部を解析することを意図する、および入力として視差画像または奥行き画像を用いる任意のリアルタイムアプリケーションで有用である。

【0030】

ビデオ監視、ビデオ保護、またはビデオ支援の関係者全て、およびシーンの内容に関する情報のフィードバックに関わるアプリケーションを有する関係者には本発明の方法が有用であることが理解されよう。

【0031】

所望の結果を得るための方法および装置を提案する。

【0032】

特に、初期３Ｄ画像をフィルタリングする方法は以下の次ステップを含んでいる。
−初期画像の各ピクセルに関連付けられた各３Ｄ点の局所解析領域を画定するステップと、
−局所解析領域内の各３Ｄ点に対して測定された空間コヒーレンス値に基づいて、初期３Ｄ画像のピクセルの組に関連付けられた３Ｄ点の組に対して空間コヒーレンス画像を生成するステップと、
−局所解析領域内の各３Ｄ点に対して測定された幾何学的実体値に基づいて、初期３Ｄ画像のピクセルの組に関連付けられた３Ｄ点の組に対して幾何学的実体画像を生成するステップと、
−空間コヒーレンスおよび幾何学的実体画像に基づいて二値画像を生成し、当該二値画像の各点を、当該点に対して得られた空間コヒーレンスおよび幾何学的実体値に応じてシーン点またはノイズ点として分類するステップと、
−ノイズ除去画像を得るべく二値画像と初期３Ｄ画像を組み合わせるステップ。

【0033】

有利な特徴として、局所解析領域Ｓ（Ｐ（ｕ，ｖ））は、ピクセルに関連付けられた３Ｄ点の座標Ｐ（ｕ，ｖ）を中心とする固定サイズの３Ｄ空間領域からなる。

【0034】

一実施形態において、３Ｄ点の空間コヒーレンス値Ｃ_Ｓ（ｕ，ｖ）を測定するステップは、初期画像のピクセルの組を、当該ピクセルに関連付けられた３Ｄ点が前記３Ｄ点の局所解析領域に含まれるように決定するステップと、当該決定の結果に応じて前記３Ｄ点の空間コヒーレンス値を定義するステップとを含んでいる。

【0035】

一実施形態において、３Ｄ点に関連付けられたピクセルの幾何学的実体値Ｒ_ｇ（ｕ，ｖ）を測定するステップは、局所解析領域を空白シーンに射影するステップと、当該空白シーンの局所解析領域で視認可能な３Ｄ点の組を決定するステップと、当該決定の結果に応じて前記ピクセルの幾何学的実体値を定義するステップとを含んでいる。

【0036】

一実施形態において、二値画像を生成するステップは、各３Ｄ点に対して、空間コヒーレンスおよび幾何学的実体値に基づいてフィルタリング値を生成するステップと、得られたフィルタリング値と閾値を比較するステップと、比較結果に応じて当該３Ｄ点をシーン点またはノイズ点として分類するステップと、シーンおよびノイズ点の組の画像を生成するステップとを含んでいる。

【0037】

一実施形態において初期画像は視差画像である。一変型実行方式において初期画像は奥行き画像である。

【0038】

一実施形態において、局所解析領域は、球、立方体、箱形または円筒表現、あるいは３Ｄメッシュ面表現、ボクセル表現または代数表現を含むグループから選択される。

【0039】

一実施形態において、幾何学的実体値は予め計算されている。

【0040】

本発明はまた、ノイズの多い初期画像をフィルタリングする装置に関し、当該装置は請求項に記載の方法のステップを実行する手段を含んでいる。

【0041】

本発明は、プログラムがコンピュータ上で実行された場合に、請求項に記載の方法のステップを実行可能にするコード命令を含むコンピュータプログラム製品の形式で動作可能である。

【0042】

本発明の各種態様および利点は、以下の図面を参照しながら、本発明の１個の好適な、但し非限定的な実行モードの説明を通じて明らかになろう。

【図面の簡単な説明】

【0043】

【図1】本発明の一実施形態による、ノイズ除去画像を得る方法のステップを示す。

【図2】本発明の一実施形態による空間コヒーレンス画像を得る方法のステップを示す。

【図3】本発明の一実施形態による幾何学的実体画像を得る方法のステップを示す。

【図4】本発明の一実施形態による決定画像を得る方法のステップを示す。

【図5】一実施形態による本発明のフィルタリング装置の機能ブロックを示す。

【図6】本発明の一実施形態における６個の局所的補助図形の射影を示す。

【図7a】本発明の一実施形態による、図１のフィルタリング方法の各種ステップで得られた画像を示す。

【図7b】本発明の一実施形態による、図１のフィルタリング方法の各種ステップで得られた画像を示す。

【図7c】本発明の一実施形態による、図１のフィルタリング方法の各種ステップで得られた画像を示す。

【図7d】本発明の一実施形態による、図１のフィルタリング方法の各種ステップで得られた画像を示す。

【図7e】本発明の一実施形態による、図１のフィルタリング方法の各種ステップで得られた画像を示す。

【図7f】本発明の一実施形態による、図１のフィルタリング方法の各種ステップで得られた画像を示す。

【発明を実施するための形態】

【0044】

ノイズ除去画像を取得可能にする本発明の方法（１００）のステップ一般的に示す図１を参照する。本方法は、シーンを表す初期画像をノイズ除去（１０２）する必要がある場合に開始される。初期３Ｄ画像は、異なる角度から得た一対の画像によりシーンが表される立体視および３Ｄデータ処理技術を用いて取得できる。

【0045】

有利な特徴として、方法（１００）は初期視差Ｄまたは奥行きＰ画像に適用可能である。

【0046】

シーンの点の視差を計算するには、左右画像における当該点の２個の射影の座標を取得する必要があることが知られている。これを実現すべく、マッチングアルゴリズムを用いて、画像の所与の点に対して、当該点の他方の画像における対応点を求める。あるシーンの点同士の視差が計算されたならば、当該シーンの対応点の集団が生成される。

【0047】

また、シーンの点の視差「ｄ」およびカメラに関するその奥行き「ｚ」が関連付けられることも知られている。この関連付けは次式（１）で定義される。
ｚ×ｄ＝Ｂ×ｆ ［式１］

【0048】

「基線」すなわちカメラの２個の光学中心間の距離として知られる「Ｂ」、および焦点距離「ｆ」（両方のカメラで同一）が一定値を有しているため、視差「ｄ」の変化は点とカメラとの距離「ｚ」変化に直接依存する。

【0049】

座標（ｕ，ｖ）および視差「ｄ」を有するピクセルに対応するシーンの点の座標（ｘ、ｙ、ｚ）が次いで次式（２，３，４）により計算される。
ｚ＝Ｂ×ｆ／ｄ ［式２］
ｘ＝（ｕ−ｕ０）×ｚ／ｆ ［式３］
ｙ＝（ｖ−ｖ０）×ｚ／ｆ ［式４］
ここに、（ｕ０，ｖ０）は画像内の光学中心の射影の座標に対応する。

【0050】

同様に、画像内のシーンの物体の見かけの表面の面積と、当該物体の可視部分の実表面の面積との間に関係がある。物体からカメラの光学中心までの距離の変化が大きい場合、視差画像内の物体の見かけの表面の面積が顕著に変化する。この観察はまた、奥行き画像にもあてはまる。また、例えばメジアンフィルタ等、従来技術におけるように固定サイズのフィルタを用いるノイズ除去の場合、縦横比の変化が大き過ぎるため、処理は画像の限られた領域内でフィルタリング機能を実行するが、画像の他の部分では失敗する。

【0051】

更に、有利な特徴として、本発明は最適化された閾値化を用いる３Ｄデータに適した新たなフィルタリング方法を提案する。本方法は、データの空間コヒーレンスおよび信号に対して実行された動作の幾何学的実体を考慮する。これを実現すべく、２個の新たな測定値、すなわち空間コヒーレンスＣ_Ｓおよび幾何学的実体Ｒ_ｇを導入する。

【0052】

残りの記述全体にわたり以下の表記法を用いる。
−奥行き画像に対して、Ｒ（ｕ，ｖ）は奥行き画像内の座標ｕおよびｖを有するピクセルを表し、Ｐ（ｕ，ｖ）は座標（ｘ，ｙ，ｚ）を有する関連３Ｄ点を表し、
−視差画像に対して、Ｄ（ｕ，ｖ）は視差画像内の座標ｕおよびｖを有するピクセルを表し、Ｐ（ｕ，ｖ）は式（２，３，４）に従い計算される座標（ｘ，ｙ，ｚ）を有する関連３Ｄ点を表す。

【0053】

図１に戻り、初期視差または奥行き画像を受信した後で、本方法により初期画像に基づいて２個の新たな像、すなわち空間コヒーレンス画像（１０４）と称する第１の画像、および幾何学的実体画像（１０６）と称する第２の画像を生成することができる。次に、本方法により、図４を参照しながら詳述する決定画像と称する第３の画像を生成（１０８）すべく空間コヒーレンスおよび幾何学的実体画像を組み合わせることができる。

【0054】

後続ステップにおいて、解析対象シーンのノイズ除去画像を生成（１１０）すべく決定画像を初期画像と組み合わせる。

【0055】

ノイズ除去画像は次いで、画像分割、背景減算、自動物体認識またはマルチクラス検出等のシーン解析法に用いることができる。例えば、本発明をシーンを別個の実物体に分解する３Ｄ分割法と組み合わせることにより、例えば局所化された障害物検出を実行することが可能になる。有利な特徴として、品質が向上したノイズ除去画像を生成する本発明の方法により、百分の１（１／１００）秒のオーダーである分割動作の計算時間の短縮が可能になる。

【0056】

ノイズ除去画像はまた有利な特徴として、視差または奥行き画像の単純な可視化を実行すべく用いることにより、人間ユーザーにとって更に読み取りが快適で解釈が容易になる。

【0057】

図７ａ〜７ｆに、本発明の一実施形態による、図１のフィルタリング方法の各種のステップで得られた画像を示す。

【0058】

図２に、本発明の一実施形態において空間コヒーレンス画像を生成可能にする図１の方法（１０４）のステップを示す。初期画像は、視差画像または一変型実行方式では奥行き画像であってよい。

【0059】

第１のステップ（２０２）において、本方法は、点Ｐ（ｕ，ｖ）を中心とする固定サイズ「ｓ」の３Ｄ空間領域の局所的補助図形Ｓ（Ｐ（ｕ，ｖ））を選択可能にする。サイズ「ｓ」は、解析対象シーンの要素に対してユーザーが求める空間領域測定の粒度または精度である。

【0060】

補助図形「Ｓ」の以下のような各種表現を用いることができる。
−基本球、立方体、箱形または円筒表現、
−３Ｄメッシュ表現、
−ボクセル表現、あるいは、
−ｆ（ｘ，ｙ，ｚ）＝０型の陰表面等の代数表現。

【0061】

次ステップ（２０４）において、本方法により、選択された局所的補助図形Ｓ（Ｐ（ｕ，ｖ））に自身の３Ｄ射影が含まれる点の組を決定することができる。

【0062】

次ステップ（２０６）において、本実施形態による奥行きにまたは視差に関して、座標（ｕ，ｖ）の各ピクセル毎に、数えられた点の個数に基づいて空間コヒーレンス測定値を計算する。当業者は、あるピクセルの周囲の点の個数が多いほど空間コヒーレンスが良く、逆にあるピクセルの周囲の点の個数が少ないほど空間コヒーレンスが低い、すなわち当該ピクセルがノイズを表すことが理解できよう。

【0063】

従って、実際の初期画像のピクセルの組に基づいて空間コヒーレンス基準Ｃ_Ｓ（ｕ，ｖ）を、付随する３Ｄ点がＰ（ｕ，ｖ）を中心とする選択された局所的補助図形に属する関数ф（Ｅ）として設定する。すなわち、
Ｃ_Ｓ（ｕ，ｖ）＝ф（Ｅ）、ここに
−奥行き画像の場合：Ｅ＝｛Ｒ（ｕ’，ｖ’）、但しＰ（ｕ，ｖ’）∈Ｓ（Ｐ（ｕ，ｖ））｝、
−視差画像の場合：Ｅ＝｛Ｄ（ｕ’，ｖ’）、但しＤ（ｕ，ｖ’）∈Ｓ（Ｐ（ｕ，ｖ））｝。

【0064】

好適な一実施形態において、空間コヒーレンス基準は次式で定義される。
Ｃ_Ｓ（ｕ，ｖ） ＝ф（Ｅ）＝Ｃａｒｄ（Ｅ） ［式５］、ここに
「カード」関数が基数関数、すなわちＥのサイズを表す。

【0065】

初期画像の全てのピクセルに対して空間コヒーレンス値が計算されたならば、本方法により空間コヒーレンス画像を生成（２０８）することができる。

【0066】

図３に、視差画像または一変型実行方式では奥行き画像であってよい初期画像に基づいて、本発明の一実施形態において幾何学的実体画像を生成可能にする図１の方法（１０６）のステップを示す。

【0067】

第１のステップ（３０２）において、本方法は、位置Ｐ（ｕ，ｖ）に中心とする固定サイズ「ｓ」の３Ｄ空間領域Ｓ（Ｐ（ｕ，ｖ））の局所的補助図形を選択可能にする。好適な一実施形態において、方法（１０４）および（１０６）において選択された補助図形は同一である。

【0068】

本方法は次いで、各ピクセル毎に、局所的補助図形を空白シーンに射影可能にする（３０４）。射影ステップは、２Ｄ画像の任意のピクセル位置（ｕ，ｖ）にある全ての視差または奥行き値に対して、且つ予め定義された機能的範囲において、視差（それぞれまたは奥行き）の所定の機能的粒度で実行される。従って、射影は「２Ｄ対３Ｄ」変換の幾何学的実体に対応している。当該射影は、光学パラメータ（各カメラの内部較正、立体視対の調和、自身の環境における立体視ヘッドの高さと向き）が不変である限り、システムが動作している間は有効に保たれる。

【0069】

次ステップ（３０６）において、射影された補助図形に現れる点の個数、すなわち空白シーンで視認可能な点の組を決定することが可能になるため、次ステップ（３１０）で座標（ｕ，ｖ）の各ピクセル毎に、幾何学的実体の測定値Ｒ_ｇ（ｕ，ｖ）を、実行モードに応じて奥行きまたは視差に関して計算することが可能になる。

【0070】

従って、幾何学的実体基準Ｒ_ｇ（ｕ，ｖ）は、能動ピクセル、すなわち局所的補助図形の可視点に関連付けられて定義された視差または射影を有するピクセルの組に基づいて、関数として設定される。

【0071】

好適な一実施形態において、幾何学的実体基準Ｒ_ｇ（ｕ，ｖ）は、当該組の基数関数として定義され、空白シーン内の補助図形の射影画像内の局所的補助図形Ｓ（Ｐ（ｕ，ｖ））の見かけの表面の面積に対応している。

【0072】

一例として、図６に、球状補助図形の場合における、６個異なる位置（ｕ，ｖ）および視差を有する点の射影を示す。本例から、各局所的補助図形の見かけの表面の面積が座標（ｕ，ｖ）を有する対応点の幾何学的実体を表すことが分かる。

【0073】

以下のように、幾何学的実体基準の二通りの実行方式が可能である。
−全ての奥行きまたは全ての視差のいずれかに対して完全な事前計算が実行されて結果を保存する。この実行方式は、処理連鎖の計算時間が短くなる点で好ましいが、メモリ空間を要する。
−あるいは、射影毎に計算を実行する。この実行方式は、メモリが少なくて済む点が好ましいが、より長い計算時間を要する。

【0074】

当業者には、例えば圧縮および記憶領域削減を伴う事前計算を実行する等の変型実行方式が可能であることが理解されよう。当該変型例はデータを再読するために復元計算を要する。

【0075】

初期画像の全てのピクセルに対して幾何学的実体値が計算されたならば、本方法により幾何学的実体画像を生成（３１２）することができる。

【0076】

図４に、本発明の一実施形態において決定画像を生成可能にする図１の方法（１０８）のステップを示す。本方法は、空間コヒーレンスおよび幾何学的実体画像が生成されたならば開始される。第１のステップ（４０２）において、本方法により、２個の空間コヒーレンス「Ｃ_Ｓ」および幾何学的実体「Ｒ_ｇ」基準に基づいてフィルタリング基準を定義することができる。フィルタリング基準は、ピクセルがシーンの点であるかまたはノイズ点あるかを識別可能にする。フィルタリング基準は、奥行き画像（または代替的に視差画像）の座標（ｕ，ｖ）を有する各ピクセル毎に計算される。

【0077】

フィルタリング基準Ｆ（ｕ，ｖ）は、空間コヒーレンスＣ_Ｓ（ｕ，ｖ）とピクセルの幾何学的実体Ｒ_ｇ（ｕ，ｖ）を組み合わせる関数「Ｆ」で与えられ、以下のように表記される。
Ｆ（ｕ，ｖ）＝Ｆ（Ｃ_Ｓ（ｕ，ｖ），Ｒ_ｇ（ｕ，ｖ））

【0078】

一実施形態において、当該関数は次式のようにＲ_ｇのベキ乗に対するＣ_Ｓの比として選択される。
Ｆ（ｕ，ｖ）＝Ｃ_Ｓ（ｕ，ｖ）／（Ｒ_ｇ（ｕ，ｖ））^α ［式６］
ここに、パラメータαを用いて空間コヒーレンスおよび幾何学的実体の二つの基準間のトレードオフを管理する。従って、αの値が大きいほど、基準内で幾何学的実体がより好ましい。αの値はユーザーによりパラメータ指定可能であり、アプリケーションの目的に適合させることができる。

【0079】

上記にも拘わらず、特別なケースα＝１は既定値として所与であり、フィルタリング基準Ｆを充足の程度として固定することができ、コヒーレントゾーン内における能動ピクセルの割合を固定する。

【0080】

後続ステップ（４０４）において、本方法により各点（ｕ，ｖ）のフィルタリング基準の値を閾値と比較することができる。基準の値が定義された閾値未満である場合（ＮＯ分岐）、当該点はノイズ点として分類される（４０６）。基準の値が定義された閾値を上回る場合（ＹＥＳ分岐）、当該点はシーンに属する点として分類される（４０８）。

【0081】

次ステップ（４１０）は、「シーン」または「ノイズ」点として分類された点の組に基づいて決定画像「Ｆ_δ」を生成するものである。決定画像は、点が「１」に設定されて正しいと推定されたデータの組を、点が「０」にセットされてノイズであると推定されるデータの組から分離する初期データ（視差または奥行きデータ）のマスクを表す二値画像である。

【0082】

決定画像が生成された場合、全体的な方法（１００）は、原（視差Ｄ（ｕ，ｖ）または奥行きＲ（ｕ，ｖ））画像を決定画像Ｆ_δと組み合わせることにより、ノイズ除去画像を生成する（図１のステップ１１０）ことができる。２個の画像の組合せは従って対象アプリケーションに依存する。

【0083】

特定の一実行方式において、ノイズ除去画像は次式で定義される。
初期視差画像の場合：Ｄ_ｆ（ｕ，ｖ）＝Ｄ（ｕ，ｖ）×Ｆ_δ（ｕ，ｖ）＋（１−Ｆ_δ（ｕ，ｖ））×Ｅ_Ｄ（ｕ，ｖ）、
初期奥行き画像の場合：Ｒｆ（ｕ，ｖ）＝Ｒ（ｕ，ｖ）×Ｆ_δ（ｕ，ｖ）＋（１−Ｆ_δ（ｕ，ｖ））×Ｅ_Ｒ（ｕ，ｖ）、ここに
Ｅ_Ｄ（ｕ，ｖ）およびＥ_Ｒ（ｕ，ｖ）は各々、視差（Ｄ）または奥行き（Ｒ）データの局所的推定を表す。

【0084】

また、有利な特徴として、本発明の方法により、フィルタリングされた画像に対して、ピクセルの元値を保持するか推定値で代替することができる。

【0085】

特定の一実施形態において、推定関数は以下のように固定値をとる。
Ｅ_ＤｏｒＲ（ｕ，ｖ）＝Ｋ（固定値）

【0086】

この実行方式は、（奥行きまたは視差）画像のピクセルを、特に識別可能な値「Ｋ」に割り当てることにより分離するために有利である。そのようなシナリオの一つは、初めはノイズピクセルを考慮に入れないことが好ましいアプリケーションに関するものである。

【0087】

典型的な一実行方式において、ピクセルの可能な値の範囲に干渉しないよう、Ｎビットで表される信号に対してＫ＝０またはＫ＝２^Ｎ−１である。

【0088】

Ｋ＝０の場合、出力ピクセルの値は以下の通りである。
初期視差画像の場合：Ｄ_ｆ（ｕ，ｖ）＝Ｄ（ｕ，ｖ）×Ｆ_δ（ｕ，ｖ）、
初期奥行画像の場合：Ｒ_ｆ（ｕ，ｖ）＝Ｒ（ｕ，ｖ）×Ｆ_δ（ｕ，ｖ）。

【0089】

一変型実行方式において、推定関数Ｅ_ＤｏｒＲ（ｕ，ｖ）は、（ｕ，ｖ）の近接に存在する（ノイズが多くない）データＤ（ｕ，ｖ）またはＲ（ｕ，ｖ）の局所的補間であってよい。加重メジアン型の双一次補間または非線形動作を用いてもよい。この方式は、例えば可視化または圧縮目的で高密度且つ「滑らかな」フィルタリング済み画像の取得に関連するものである。実際、判別用に固定されたＫのような非典型的な値は、エントロピー符号化と整合しない。

【0090】

図５に、図１の方法を実行する本発明の装置（５００）の一実行方式の機能ブロックを模式的に示す。本装置は、シーンの初期３Ｄ視差または奥行き画像を生成可能にするブロック（５０２）を含んでいる。一実装方式において、安価な較正済み立体視センサからシーンが観察されて、（３Ｄ情報を表す）視差画像が一対の修正済み画像に基づいて生成される。

【0091】

ブロック（５０２）は、空間コヒーレンス画像を生成すべく第１の１画像生成ブロック（５０４）と、幾何学的実体画像を生成すべく第２の１画像生成ブロックとに結合される。ブロック５０２、５０４は、図２、３を参照しながら説明するステップを実行可能にする手段を含んでいる。

【0092】

ブロック５０２、５０４の出力は、フィルタリング画像を生成すべく第３の画像生成ブロック（５０８）に結合される。ブロック５０８の出力は、決定画像を生成すべく第４の画像生成ブロック（５１０）に結合される。ブロック５０８、５１０は、図４を参照しながら説明するステップを実行可能にする手段を含んでいる。

【0093】

ブロック５１０の出力は、ステップ１１０を参照しながら説明する原理に従いノイズ除去画像を生成すべく最終画像生成ブロック（５１２）に入力されるブロック５０２の出力と組み合わせる。

【0094】

従って、装置５００は、雨、反射、塵等、自然現象を発生源とするノイズ、またはセンサに起因するノイズあるいは視差計算に起因するノイズを除去すべく視差（または代替的に奥行き）画像にフィルタリングを適用可能にする。

【0095】

本発明は、３Ｄシーン分割法と組み合わせてもよい。（装置５００から出力された）ノイズ除去画像は点の集団に変換され、当該点次いでｌ×ｈ×ｐ個のセルからなる３Ｄ格子に定量化される。一般に地面を介して結合された障害物を互いに分離すべく、背景３Ｄ点を含む格子のセルを除去可能にするフィルタを適用する。残りのセルは次いで従来技術で公知の分割法を用いて空間的に結合された部分に分割される。例えば、一方法は、結合された空間毎にセルを反復的に集約するものである。

【0096】

本発明のフィルタを適用することによる、ノイズを表す点の除去は、３Ｄ分割の性能に好ましい影響を及ぼす。具体的には、分割用フィルタの利点は、障害物が多くの場合ノイズ点に関連付けられることである。この場合、各種の障害物を空間的に分割することは困難である。更に、定量化の利点は、障害物が多くの場合視差画像内で部分的に再構築されることである。従って、同一の障害物の各種の部分を、結果的に生じた点の集団に基づいて再結合することが困難である。最後に、地面に対応するセルを除去する利点は、障害物が多くの場合地面により結合されることである。従ってこれらの結合を断つことに意味がある。

【0097】

当業者には、３Ｄ障害物検出器の上記例が、本発明が提案する視差画像ノイズ除去機能の利点を引き出すことができるシーン解析の一例に過ぎないことが理解されよう。しかしながら、本発明が提案するようなフィルタリングの利用は、分割による障害物の探索に限定されず、ノイズの多い奥行き画像またはノイズの多い視差画像に基づいてシーンをリアルタイム解析する任意のシステムに関連するものである。

【0098】

本発明は、ハードウェアおよびソフトウェア要素により実行可能である。ソフトウェア要素は、電子、磁気、光、または電磁気的なコンピュータ可読媒体上のコンピュータプログラム製品の形式で存在してよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図7c】

【図7d】

【図7e】

【図7f】