特許 6866419 ビデオシーケンスにおいて動きを検出するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6866419

(24)【登録日】2021年4月9日

(45)【発行日】2021年4月28日

(54)【発明の名称】ビデオシーケンスにおいて動きを検出するための方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210419BHJP

   H04N 7/18 20060101ALI20210419BHJP

   H04N 5/232 20060101ALI20210419BHJP

【ＦＩ】

   G06T7/20

   H04N7/18 D

   H04N7/18 K

   H04N5/232 290

【請求項の数】13

【外国語出願】

【全頁数】14

(21)【出願番号】特願2019-79092(P2019-79092)

(22)【出願日】2019年4月18日

(65)【公開番号】特開2020-4389(P2020-4389A)

(43)【公開日】2020年1月9日

【審査請求日】2020年8月31日

(31)【優先権主張番号】18170829.8

(32)【優先日】2018年5月4日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】ケスキカンガス， アクセル

(72)【発明者】

【氏名】ユアン， ソン

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１７−１２３６５８（ＪＰ，Ａ）

【文献】 特開２０１５−１４９６５６（ＪＰ，Ａ）

【文献】 特開２０１１−２３８８５（ＪＰ，Ａ）

【文献】 竹ノ内利春, 外２名，“高信頼画像センシングによる人体センサ付きカメラ”，パナソニック電工技報，パナソニック電工株式会社，２００９年 ６月１９日，第５７巻, 第２号，p.40-45

【文献】 Andrej Vel'as, 外２名，"Influence of changing the parameters of the camera system on video-based motion detection"，2017 International Carnahan Conference on Security Technology (ICCST)，IEEE，２０１７年１０月２３日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの画像センサを介してもたらされる歪み画像フレームを備えるビデオシーケンスにおいて動きを検出するための方法であって、
前記歪み画像フレームに関して空間分解能分布を決定すること（１０１）と、
前記歪み画像フレームに関して動き検出感度マップを決定すること（１０２）であって、前記動き検出感度マップが、異なる動き検出感度レベルを有する領域を備え、前記動き検出感度マップが前記空間分解能分布に基づいて決定される、動き検出感度マップを決定すること（１０２）と、
前記動き検出感度マップに基づき前記ビデオシーケンスにおいて動きを検出すること（１０３）と、
を含む方法。

【請求項2】

前記歪み画像フレームは、広角レンズを通じて１つの画像センサにより捕捉することによってもたらされ、前記空間分解能分布が、前記広角レンズのレンズ多項式に基づいて決定される、請求項１に記載の方法。

【請求項3】

前記広角レンズが魚眼レンズである、請求項２に記載の方法。

【請求項4】

前記歪み画像フレームは、オプティカルドームを通じて１つの画像センサにより捕捉することによってもたらされ、前記空間分解能分布が、前記オプティカルドームのレンズ多項式に基づいて決定される、請求項２又は３に記載の方法。

【請求項5】

前記動き検出感度マップの前記領域は、前記動き検出感度マップの基準位置から径方向に延びる楕円パターンを形成し、
各領域の前記動き検出感度レベルは、前記領域から前記基準位置までの径方向距離に伴って増大する、
請求項２から４のいずれか一項に記載の方法。

【請求項6】

前記画像フレームのそれぞれは、射影アルゴリズムに基づき、１つ以上の画像センサにより捕捉される複数の一次画像のスティッチングによってもたらされる、請求項１に記載の方法。

【請求項7】

前記空間分解能分布が、前記射影アルゴリズムに基づいて決定される、請求項６に記載の方法。

【請求項8】

検出された前記動きに基づいて、物体検出を行う、物体追跡を行う、グランドプレーン検出を行う、又は、警報事象を決定することを更に含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

処理装置により実行されるときに請求項１から８のいずれか一項に記載の方法を行うようになっているコンピュータコード命令が記憶されたコンピュータ可読媒体。

【請求項10】

少なくとも１つの画像センサを介してもたらされる歪み画像フレームを備えるビデオシーケンスにおいて動きを検出するための動き検出コンポーネントであって、
前記歪み画像フレームに関して空間分解能分布を決定するようになっている空間分解能分布コンポーネントと、
前記歪み画像フレームに関して動き検出感度マップを決定するようになっている動き検出感度マップコンポーネントあって、前記動き検出感度マップが、異なる動き検出感度レベルを有する領域を備え、前記動き検出感度マップが前記空間分解能分布に基づいて決定される、動き検出感度マップコンポーネントと、
を備え、
前記動き検出コンポーネントは、前記動き検出感度マップに基づき前記ビデオシーケンスにおいて動きを検出するようになっている、動き検出コンポーネント。

【請求項11】

請求項１０に記載の動き検出コンポーネントを備えるカメラ。

【請求項12】

広角レンズを更に備え、前記広角レンズを通じて前記カメラの１つの画像センサにより画像が捕捉される、請求項１１に記載のカメラ。

【請求項13】

複数の画像センサを更に備えるとともに、前記複数の画像センサにより捕捉される複数の一次画像から画像フレームをスティッチするようになっているスティッチングコンポーネントを更に備える、請求項１２に記載のカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオシーケンスにおいて動きを検出する分野に関する。

【背景技術】

【0002】

カメラ用途における大きな分野は監視である。動き検出は、カメラ監視システムにおいて重要な機能であり、したがって、効率的な動き検出アルゴリズムを有することが有益である。動き検出アルゴリズムにおける欠点は、一般に、それらのアルゴリズムが、レクチリニアレンズを念頭に置いて、すなわち、真っ直ぐなラインが実際にその捕捉画像中で真っ直ぐのままであるレンズのために、設計されているという点である。したがって、動き検出アルゴリズムは、歪み画像フレームを備えるビデオシーケンスで機能するのに最適ではない。歪み画像フレームの従来の動き解析に関する結果は質が悪くなる可能性があり、また、解析はビデオシーケンスのより多くの処理を必要とする可能性がある。例えば、広角レンズにより捕捉されるビデオシーケンスは、レンズの性質により、歪み画像フレームを含む。そのようなビデオシーケンスは、一般に、良好な結果を伴って動き検出を行うことができる前にデワーピングプロセスが実行される必要がある。

【0003】

歪み画像フレームをもたらし得る様々な歪み源、例えば、魚眼レンズなどの広角レンズ、オプティカルドーム、及び、パノラマ画像を与えるためのスティッチング技術が存在する。スティッチングでは、１つ以上の画像センサを使用して捕捉される複数の一次画像が単一画像を形成するように組み合わせられる。幾つかの既知のスティッチングアルゴリズムの中から選択される。

【0004】

レクチリニアレンズの製造中に欠陥によって歪みが引き起こされる可能性もある。

【0005】

歪み源に応じて異なるタイプの歪み形状が存在する。１つの例は、バレル歪み、ピンクッション歪み、及び、口ひげ歪みを含む径方向の歪みであり、これらは、レンズの対称性から生じる。或いは、歪みが不規則な形状を有する可能性がある。

【0006】

歪み源及び歪みの形状にかかわらず、歪みは、画像を解析する際の課題である。例えば、多くの動き検出アルゴリズムは、歪み画像に適用されるときに大きな害を受ける。これは、大部分のアルゴリズムは、歪んでいない画像に適用されるように設計されるからである。したがって、プロセッサが、動き検出アルゴリズム又は他の同様のアルゴリズムを歪み画像に適用すると、コンピュータ的に重くなる。

【0007】

前述したように、この問題に対する解決策は、動き検出を適用する前に歪み画像でデワーピングを行うことである。デワーピングは、歪み画像を、動き検出アルゴリズムがより良く機能する線形投影画像へと反転させるためのプロセスである。しかしながら、デワーピングは、それ自体、プロセッサに負担をかけるとともに例えばプロセッサ及びスケーラユニットにおける貴重なリソース（時間、電力、帯域幅）も利用するコンピュータ的に非常に重い操作である。更に、デワーピングは、限られたリソースであるカメラシステムにおけるスケーラユニットに負担をかけ、したがって、スケーラへのアクセスも必要とする他のプロセッサが害を受ける場合がある。

【0008】

したがって、前述の問題に対処する改良された方法の必要性がある。

【発明の概要】

【0009】

本発明の一般的な目的は、歪み画像での適用を考慮して改善される動き検出方法を提供することである。本発明の具体的な目的は、広角レンズ又はオプティカルドームなどの物理的歪み源、或いは、スティッチングプロセスなどのデジタル歪み源を有するカメラシステムによりもたらされる画像で従来の動き検出感度アルゴリズムを適用するという問題に対処することである。

【0010】

第１の態様によれば、これらの目的及び他の目的は、全体的に又は少なくとも部分的に、少なくとも１つの画像センサを介してもたらされる歪み画像フレームを備えるビデオシーケンスにおいて動きを検出するための方法であって、
歪み画像フレームに関して空間分解能分布を決定することと、
歪み画像フレームに関して動き検出感度マップを決定することであって、動き検出感度マップが、異なる動き検出感度レベルを有する領域を備え、動き検出感度マップが空間分解能分布に基づいて決定される、動き検出感度マップを決定することと、
動き検出感度マップに基づきビデオシーケンスにおいて動きを検出することと、
を含む方法によって達成される。

【0011】

少なくとも１つの画像センサはカメラに備えられてもよい。本明細書中で使用される「歪み画像」又は「歪み画像フレーム」は、歪んだ射影を有する画像を意味する。歪み画像では、シーン内の真っ直ぐなラインが一般にある程度まで湾曲される。これに対し、完全にレクチリニアな画像は、シーン内の真っ直ぐなラインに対応する完全に真っ直ぐなラインを有する。この出願の文脈内では、２つのタイプの歪み源、すなわち、物理的歪み源及びデジタル歪み源が論じられる。物理的歪み源の非限定的な例は、魚眼レンズ（例えば、ｆ−θレンズ）を含む広角レンズ、オプティカルドーム、及び、不完全にレクチリニアなレンズである。レンズの欠陥は、不正確な製造によって引き起こされる場合がある。デジタル歪み源の非限定的な例は画像スティッチングアルゴリズムである。歪みパターンが不規則的又は規則的（径方向歪みなど）となり得る。捕捉画像の歪みパターンは、歪み源のうちの１つ又は歪み源の組み合わせからの結果である場合がある。

【0012】

本明細書中で使用される「空間分解能分布」は、画像フレームにおける空間分解能のマップを意味する。歪み画像では、例えば広角レンズを通じて取得されると、或いは、複数の画像フレームからスティッチされると、画像の異なり領域が異なる空間分解能を有する。言い換えると、画像フレームの同じ大きさの領域は、カメラの視野（ＦＯＶ）の異なる大きさの角度をカバーする。空間分解能は、画像フレームにおけるピクセルレベルで定められてもよく、又は、ピクセルサブグループレベルで、例えばマクロブロックレベルで決定され得る。空間分解能は、ＦＯＶ角ごとのピクセルの数として、又は、ピクセルごとのＦＯＶ角の大きさとして表されてもよい。当業者は、用途に応じてこれらの表現同士を入れ替える方法に精通している。例えば、本出願に係る方法の実施では、これらの表現のうちの１つを使用するのが好ましいかもしれない。空間分解能分布は、例えば、ピクセル又はピクセルサブグループに関する、例えばマクロブロックに関する空間分解能分布を示す表によって表されてもよい。

【0013】

本明細書中で使用される「動き検出感度レベル」は、ビデオシーケンスに適用される動き検出アルゴリズムで使用されるようになっている感度の大きさを示すレベルを意味する。異なるスケールが適用されてもよい。例えば、１〜１００のスケールが適用されてもよく、この場合、１は最も低い感度を示し（動きが検出されるために連続する画像フレーム間の大きな差が必要とされることを意味する）、１００は最も高い感度を示す（連続する画像フレーム間の小さな差でさえ検出された動きをもたらすことを意味する）。

【0014】

本明細書中で使用される「動き検出感度マップ」は、画像フレームにおける動き検出感度レベルの分布を示す。動き検出感度マップは、複数の画像フレーム、例えば画像フレームのシーケンスに関して決定されて使用されてもよい。動き検出感度マップは、動き検出感度レベルを画像フレームにおける各ピクセル又はピクセルグループに（例えば、それぞれのマクロブロックごとに）マッピングする例えば表によって或いは関数として表されてもよい。関数は、例えば、画像フレームにおける所定の位置又は所定の領域までの距離を入力として有し、動き検出感度レベルを出力として有してもよい。

【0015】

本明細書中で使用される「レンズ多項式」は、レンズにおける又はオプティカルドームにおけるレンズ屈折を表すレンズ固有の多項式を意味する。レンズ多項式は、レンズで又はオプティカルドームで例えば軸外変調伝達関数（ＭＴＦ）測定方法を使用して測定を行うことによって取得されてもよい。レンズ又はオプティカルドームの製造業者は、一般に、異なるタイプのレンズ又はオプティカルドームに関してそれらの品揃えでレンズ多項式又は歪みを表す表を提供することができる。

【0016】

本明細書中で使用される「射影アルゴリズム」は、スティッチ画像フレームを形成するために幾つの一次画像フレームがスティッチされる／組み合わされるかを表すアルゴリズムを意味する。射影アルゴリズムは、異なる目的を念頭に置いて、例えば、一次画像フレーム間のスムーズな移行をもたらすように又は結果として得られる画像フレームの歪みを最小限に抑えるように設計されてもよい。射影アルゴリズムは、異なるスティッチアルゴリズム間で異なっていてもよい。一般に、捕捉されたビデオシーケンスに関して同じ射影アルゴリズムが使用される。

【0017】

本発明は、画像フレーム領域に関してその画像フレーム領域の空間分解能に対応するように動き検出感度レベルを設定することが有益であるという発明者らの見識に依存する。空間分解能は、画像フレーム領域によってカバーされるＦＯＶの大きさを表す。より大きな角度のＦＯＶがカバーされる場合には、カバーされるＦＯＶ角における動きが画像フレーム領域内の比較的小さい動きに変換されるため、動き感度レベルがより高く設定されるべきである。したがって、より小さい角度のＦＯＶが同じサイズの画像フレーム領域によってカバーされる場合には、カバーされるＦＯＶ角における動きが画像フレーム領域内の比較的高い動きに変換されるため、動き感度レベルがより低く設定されるべきである。この見識は、歪み画像フレームにおいて特に有用である。この出願は、物理的歪み源及び／又はデジタル歪み源によって歪みが引き起こされる歪み画像フレームについて論じる。

【0018】

本発明者らによる見識に基づき、動き検出感度マップが空間分解能分布に基づいて決定される。先に規定されるように、動き検出感度マップは、ビデオシーケンスにおける画像フレームの異なる領域或いは更にはピクセルに関して動き検出中にいずれの動き検出感度を使用すべきかに関する情報を与える。使用される撮像システムに応じて、動き検出感度マップが異なって決定されるが、撮像システムのパラメータが与えられて感度マップを決定する方法は当業者の知識の範囲内である。

【0019】

動き検出感度マップは、その後、歪み画像フレームを備えるビデオシーケンスにおいて動きを検出するために、例えばプロセッサにより行われる動き検出アルゴリズムで使用される。そのような動き検出感度マップを使用すると、歪み画像フレームを備えるビデオシーケンスにおいて動き検出が更に効率的となり得る。

【0020】

ビデオシーケンスにおいては、動き検出感度マップを１回決定すれば足り得る。これは、決定の基礎となっているパラメータが一般にビデオシーケンスの捕捉中に同じままだからである。

【0021】

１つの実施形態において、歪み画像フレームは、カメラに備えられる広角レンズを通じて１つの画像センサにより捕捉することによってもたらされてもよい。この実施形態において、空間分解能分布は、広角レンズのレンズ多項式に基づいて決定されてもよい。レンズ多項式は、レンズ製造業者によって測定され又は取得されてもよい。

【0022】

広角レンズは、一種の超広角レンズである魚眼レンズであってもよい。

【0023】

１つの実施形態において、歪み画像フレームは、カメラに備えられるオプティカルドームを通じて１つの画像センサにより捕捉することによってもたらされる。この実施形態において、空間分解能分布は、オプティカルドームのレンズ多項式に基づいて決定されてもよい。オプティカルドームのレンズ多項式は、オプティカルドームの製造業者によって測定され又は取得されてもよい。

【0024】

この実施形態において、動き検出感度マップの領域は、動き検出感度マップの基準位置から径方向に延びる楕円パターンを形成してもよい。楕円パターンが円形パターンを形成してもよい。その場合、各領域は、動き検出感度マップの基準位置からの径方向距離に位置されてもよい。

【0025】

各領域の前記動き検出感度レベルは、それぞれの領域から基準位置までの距離に伴って増大するように設定されてもよい。基準位置は、例えば、マップ内の中心位置であってもよい。

【0026】

他の実施形態において、各歪み画像フレームは、射影アルゴリズムに基づき、１つ以上の画像センサにより捕捉される複数の一次画像のスティッチングによってもたらされる。複数の一次画像は、同じ又は異なるカメラに位置されてもよい複数の画像センサにより捕捉されてもよい。

【0027】

この実施形態では、空間分解能分布が射影アルゴリズムに基づいて決定されてもよい。射影アルゴリズムはスティッチングアセンブリで規定される。

【0028】

動き検出は、カメラシステムの他のアルゴリズムで使用されてもよい。例えば、動き検出は、物体検出、物体追跡、グランドプレーン検出、又は、警報事象の決定に対して入力として使用されてもよい。本発明の１つの実施形態は、撮像処理アルゴリズムを行うこと、例えば、決定された動きに基づいて、物体検出を行う、物体追跡を行う、グランドプレーン検出を行う、又は、警報事象を決定することを含む。

【0029】

第２の態様によれば、先の開示された他の目的は、全体的に又は少なくとも部分的に、処理能力を有する装置により実行されるときに第１の態様に係る実施形態のいずれか１つにしたがって方法を行うようになっているコンピュータコード命令が記憶されたコンピュータ可読媒体を備えるコンピュータプログラム製品によって達成される。

【0030】

第３の態様によれば、先の開示された他の目的は、全体的に又は少なくとも部分的に、カメラにおける少なくとも１つの画像センサを介してもたらされる歪み画像フレームを備えるビデオシーケンスにおいて動きを検出するための動き検出コンポーネントによって達成される。動き検出コンポーネントは、
歪み画像フレームに関して空間分解能分布を決定するようになっている空間分解能分布コンポーネントと、
歪み画像フレームに関して動き検出感度マップを決定するようになっている動き検出感度マップコンポーネントあって、動き検出感度マップが、異なる動き検出感度レベルを有する領域を備え、動き検出感度マップが空間分解能分布に基づいて決定される、動き検出感度マップコンポーネントと、
動き検出感度マップに基づきビデオシーケンスにおいて動きを検出するようになっている動き検出コンポーネントと、
を備える。

【0031】

第３の態様の動き検出コンポーネントは、一般に、付随する利点を伴う第１の態様の方法と同じように組み込まれてもよい。

【0032】

第４の態様によれば、先の開示された他の目的は、全体的に又は少なくとも部分的に、第３の態様又はその実施形態のいずれかに係る動き検出コンポーネントを備えるカメラによって達成される。

【0033】

１つの実施形態では、カメラが広角レンズを備えてもよく、この広角レンズを通じてカメラの１つの画像センサにより画像が捕捉される。

【0034】

他の実施形態において、カメラは、複数の画像センサを備えるとともに、複数の画像センサにより捕捉される複数の一次画像から画像フレームをスティッチするようになっているスティッチングコンポーネントを更に備えてもよい。

【0035】

本発明の適用性の更なる範囲は、以下で与えられる詳細な説明から明らかになる。しかしながら、この詳細な説明から本発明の範囲内の様々な変更及び修正が当業者に明らかになるため、詳細な説明及び特定の例が本発明の好ましい実施形態を示しつつ単なる例示として与えられることが理解されるべきである。

【0036】

そのため、この発明が装置及び方法などの前述した装置又は前述した方法のステップの特定の構成要素部分に限定されないことが理解されるべきである。また、本明細書中で使用される用語が、特定の実施形態のみを説明する目的のためであり、限定しようとするものでないことも理解されるべきである。明細書中で及び添付の特許請求の範囲で使用される冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」及び「前記（ｓａｉｄ）」は、文脈が別段明確に定めなければ、要素のうちの１つ以上が存在することを意味するように意図されることに留意しなければならない。したがって、例えば、「１つの物体」又は「その物体」への言及は、幾つかの物体等を含む場合がある。更に、用語「備える」は、他の要素又はステップを排除しない。

【0037】

ここで、添付の概略図を参照して、本発明を一例として更に詳しく説明する。

【図面の簡単な説明】

【0038】

【図1】一実施形態に係る動きを検出するための方法を示す。

【図2】画像センサにより画像フレーム内で捕捉されるシーンを示す。

【図3】一実施形態に係る動き検出感度マップを示す。

【図4】共通歪み画像フレームへとスティッチされる一次画像のセットを示す。

【図5】一実施形態に係る動き検出感度マップを示す。

【発明を実施するための形態】

【0039】

図１には、本発明の一実施形態に係るビデオシーケンスにおける動きを検出するための方法１００が示される。方法１００は、歪み画像フレームを含むビデオシーケンスに関して行われる。方法１００は、例えば、カメラシステムのプロセッサにおいて、或いは、カメラシステムとは別個の装置のプロセッサにおいて行われてもよい。方法の異なる部分は、異なる処理装置において行われてもよい。方法の幾つかの部分がカメラシステムによって行われてもよく、また、他の部分が他の１つ以上の処理装置によって形成されてもよい。

【0040】

ビデオシーケンスは、動きを検出するための本方法１００に晒される前に変更され或いはさもなければ処理されてしまってもよい。ビデオシーケンスを捕捉するために使用されるカメラシステムは、屋外監視及び／又は屋内監視に適合される監視カメラシステムであってもよい。

【0041】

方法１００は、ビデオシーケンスにおける画像フレームのうちの１つ以上に関して空間分解能分布を決定する第１のステップ１０１を含む。先に規定されたように、空間分解能分布は、１つ以上の画像フレームにおける空間分解能の表示である。空間分解能は、１つのカメラシステムに関して（例えば、ビデオシーケンスの捕捉前に）１回決定されてもよく、また、決定のためのベースが変わらない限り、そのカメラシステムにより捕捉されるビデオシーケンスに適用されてもよい。この出願では、空間分解能分布を決定する方法の２つの変形例、すなわち、レンズ多項式に基づいて空間分解能分布が決定される第１の変形例、及び、射影アルゴリズムに基づいて空間分解能分布が決定される第２の変形例が論じられる。しかしながら、この出願の範囲はこれらの変形例に限定されない。空間分解能分布を決定するための他の変形例が当業者の想到する範囲内となり得る。

【0042】

第２のステップ１０２では、ビデオシーケンスの歪み画像フレームに関して動き検出感度マップが決定される。動き検出感度マップは、画像フレームにおける動き検出感度レベルの分布を表す。動き検出感度マップの目的は、画像フレーム内のいずれの領域に関していずれの動き検出感度を使用すべきかに関する動き検出アルゴリズムへの入力として機能することである。動き検出感度マップは、例えば、以下で詳しく例示されるような表又は関数として表されてもよい。動き検出感度マップは空間分解能分布に基づいて決定される。

【0043】

第３のステップ１０３では、決定された動き検出感度マップに基づき、歪み画像フレームを備えるビデオシーケンスにおいて動きが検出される。

【0044】

本発明の重要な態様は、動き検出の基礎となる動き検出感度マップが空間分解能分布に基づいて決定されることである。この特徴により、動き検出は、画像フレームの歪み特性に更に適合されるようになり得る。以下の実施形態のより詳細な例から明らかなように、これは、広角レンズを有するカメラシステム、オプティカルドーム、又は、スティッチされた画像をもたらすマルチセンサカメラシステムを用いて捕捉されるビデオシーケンスの解析にとって非常に有益である。本発明者らは、カメラシステムにより規定される空間分解能分布と捕捉された画像フレームの動き検出感度レベルとを結び付けることによって前述の利点を得ることができることに気付いた。すなわち、歪み特性による影響がない動き検出を部分的に又は全体的に達成できる。更に、方法は、動き検出感度レベルを設定するための幾つかの既知の方法に関して当てはまるユーザ入力を必要としない。

【0045】

更に詳しく説明するべく、ここで、図２〜図３及び図４〜図５をそれぞれ参照して、２つの異なる実施形態を開示する。

【0046】

第１の実施形態から始めると、画像センサ２０４と広角レンズ２０７とを含むカメラシステムが図２に示される。広角レンズ２０７は魚眼レンズであってもよい。カメラシステムは、家２０１及び木２０２である物体を含むシーンの画像フレームを捕捉する。カメラシステムにより見られるシーンの領域は、視野（ＦＯＶ）２０５として規定される。ＦＯＶは、２０６ａ、２０６ｂ、２０６ｃにより表される等角観察領域へと分割される。この分割は、本実施形態の開示を補助するために例示されており、必ずしも方法又はカメラシステムの実施の一部とは限らない。言い換えると、開示されたカメラシステムの実現においてＦＯＶを異なる観察領域へと物理的に分けようとするものではない。

【0047】

ビデオシーケンスは、カメラシステムの画像センサ２０４によって捕捉される。ビデオシーケンスの代表的な画像フレーム２１０が図２に示される。画像フレーム２１０は、家２０１に対応する第１の撮像物体２２１と、木２０２に対応する第２の撮像物体２１２とを含む。画像フレーム２１０は、それが広角レンズ２０７の使用によって捕捉されるため、歪められる。歪みは、シーンの凸状の外観をもたらすと見なされ得る。広角レンズは、異なる外観の歪みをもたらす異なるマッピング機能を有してもよい。マッピング機能タイプの非限定的な例は、立体画法、等距離、等立体角、及び、正投影である。究極的には、それは、歪みを規定する使用されるレンズ２０７におけるレンズ多項式である。

【0048】

レンズ２０７を使用するカメラシステムにおいては、レンズ２０７におけるレンズ多項式に基づいて空間分解能分布が決定される。レンズ多項式の非限定的な例は以下の通りである。
角度＝Ｔ＿１＋Ｔ＿２^＊ｘ＋Ｔ＿３^＊ｘ＾２＋Ｔ＿４^＊ｘ＾３＋Ｔ＿５^＊ｘ＾４
この場合、角度は、センサ−レンズ軸と内側に面するレンズ表面との間の角度であり、ｘは、レンズの中心までの距離（ｍｍ）として規定され、また、Ｔパラメータには以下の値が与えられる。
Ｔ＿１＝０
Ｔ＿２＝−３５
Ｔ＿３＝−０．０３
Ｔ＿４＝−０．４０８
Ｔ＿５＝０．０１０

【0049】

レンズ多項式に基づいて、ＦＶＯ角２０６ａ、２０６ｂ、２０６ｃごとのピクセルの数として表される空間分解能分布が決定される。言い換えると、空間分解能分布は、画像フレーム２１０内の異なるピクセル領域に関して等角観察領域２０６ａ、２０６ｂ、２０６ｃのうちの１つによってカバーされるピクセル数を告げる。図示のように、画像フレーム２１０の中心領域では、画像フレーム２１０の外周領域と比べると多くの数のピクセルが１つの等角観察領域をカバーする。

【0050】

空間分解能分布は、例えば、ピクセルにおける又はピクセルのグループにおける、例えばマクロブロックにおける空間分解能を与える表として表すことができる。空間分解能がピクセルのグループに関して決定されてもよく、この場合、ピクセルのグループは、それらが画像フレームのどの領域に位置されるかに応じて異なるサイズを有する。魚眼レンズなどの広角レンズの場合、空間分解能は、例えば１６×１６サイズのより大きなマクロブロックに関しては中心領域で規定されてもよく、また、例えば４×４サイズのより小さなマクロブロックに関しては、中心領域よりも大きい歪みを有する外周領域で規定されてもよい。したがって、空間分解能分布を表すより効率的な方法が得られる。他のレンズの場合、同じ原理が適用されてもよい。すなわち、空間分解能は、低い歪みを有する画像領域に関してはより大きいピクセルグループにおいて規定されてもよく、また、高い歪みを有する画像領域に関してはより小さいピクセルグループにおいて規定されてもよい。レンズ多項式により、画像の異なる部分における歪みのレベルが決定されてもよい。

【0051】

決定された空間分解能分布に基づき、図３に示される動き検出感度マップ３００が決定される。動き検出感度マップ３００は、画像フレーム２１０（及びビデオシーケンスの他の画像フレーム）と同じ寸法を有する。動き検出感度マップ３００は、異なる動き検出感度レベルを表す領域３０２、３０３、３０４を備える。動き検出感度マップ３００は、異なる空間分解能又は空間分解能間隔に関して異なる領域を形成することによってもたらされてもよい。動き検出感度マップ３００における領域３０２、３０３、３０４は、それらが表す空間分解能又は空間分解能間隔に応じて異なる動き検出感度レベルと関連付けられる。

【0052】

この実施形態において、動き検出感度マップ３００の領域３０２、３０３、３０４は、基準位置３０１から径方向に延びる楕円パターンを形成する。楕円パターンは、画像フレーム２１０の中心位置までの距離に伴って変化する空間分解能分布によりもたらされる。ＦＯＶ角ごとのピクセルで表されると、空間分解能分布は、画像フレーム２１０の中心位置までの距離に伴って減少する。言い換えると、画像フレーム２１０の外周領域では、画像フレーム２１０の中心領域と比べると、より少ない数のピクセルが同じＦＯＶ角をカバーする。動き検出感度マップ３００は、領域３０２、３０３、３０４の動き検出感度レベルが各領域から基準位置３０１までの径方向距離に伴って増大するという点においてこの関係を反映する。動き検出感度レベルは、スケールの数値として、例えば１〜１００として表されてもよい。

【0053】

動き検出感度マップ３００に基づいて、動き検出アルゴリズムが画像フレーム２１０を含むビデオシーケンスに適用される。動き検出アルゴリズムは、従来の動き検出アルゴリズムの中から選択され得る。動き検出感度レベルは、動き検出感度マップ３００にしたがって画像フレーム２１０の異なる領域に関して設定される。言い換えると、動きは、中心領域３０２では、より外周にある領域３０４で検出される動きと比べて低い感度を伴って検出される。動き検出感度マップが決定されてしまった時点で、異なる領域に関して異なる動き感度レベルを伴って動き検出を実施する方法は、知られており、本明細書中で更に説明を要せずして当業者の想到する範囲内である。動き検出を動き検出感度マップに基づかせることにより、ビデオシーケンスの画像フレームにおける歪みにかかわらず、直線的観点で画像フレームに適用される動き検出と同じ満足できる結果を有する動き検出を適用することができる。

【0054】

動き検出感度マップ３００は、例えば表又は関数によって表されてもよい。

【0055】

表は、例えば、異なるサイズのマクロブロックなどのピクセル又はピクセルサブグループを動き検出感度レベルと関連付けることができる。

【0056】

関数は、例えば、基準位置３０１までの距離の関数としての出力として動き検出感度レベルを与えることができる。
ＭＤＳＬ＝ｆ（ｄ_ｒｅｆ）
ここで、ＭＤＳＬは動き検出感度レベルであり、ｄ_ｒｅｆは基準位置３０１までの距離である。

【0057】

第１の実施形態は、ここでは、根本的な本発明の原理の理解を容易にするために二次元態様で示される。しかしながら、当業者は、この態様を三次元的アプローチを必要とする実環境実施に変換することができる。

【0058】

広角レンズを備えるカメラシステムに適用される本発明の方法は、他のタイプの物理的な歪み源を備えるカメラシステムにも適用できる。そのようなカメラシステムの１つの例は、オプティカルドームを備えるオプティカルドームカメラであり、オプティカルドームを通じてカメラがシーンを描写する。すなわち、光、又は、画像を捕捉する他方の放射線は、レンズを備える光学素子を通り抜ける前に透明又は半透明なオプティカルドームを通じて輸送され、画像センサにより知覚される。オプティカルドームは、広角レンズカメラシステムに関して前述した態様と同じ態様で捕捉される画像フレームに関して空間分解能分布を決定するために使用され得るレンズ多項式を用いて表すことができるドーム形状を有する。

【0059】

第２の実施形態に続けると、一次画像４０１、４０２のセットが図４に示される。各一次画像４０１、４０２は、カメラシステムにおけるカメラの画像センサによって捕捉される。一次画像４０１、４０２はレクチリニアレンズを通じて捕捉されてもよい。一次画像４０１、４０２は、マルチセンサカメラシステムにおける異なる画像センサによって、又は、シーンをパンするようになっている単一の画像センサによって捕捉されてもよい。一次画像４０１は、家４０４、第１の木４０５、及び、第２の木４０６などの物体を描写する。

【0060】

射影アルゴリズムに基づく一次画像４０１、４０２のスティッチによって歪みパノラマ画像フレーム４０３がもたらされる。従来の射影アルゴリズム、例えば、画像フレーム４０３に関しては円筒射影アルゴリズムが使用されてもよい。

【0061】

射影アルゴリズムに基づいて空間分解能分布が決定されてもよい。空間分解能分布の決定方法に関する原理は、第１の実施形態に関するものと同じである。射影アルゴリズムに基づいて、異なるピクセル又はピクセルサブグループにおける空間分解能を計算することができる。

【0062】

図５に示される動き検出感度マップ５００は、空間分解能分布に基づいて決定される。動き検出感度マップ５００は、空間分解能分布を異なる動き検出感度レベルを有する異なる領域へと変換するように表され得る。この典型的な実施形態において、動き検出感度マップ５００は、真っ直ぐな水平ラインから離れるように湾曲される水平に延びる領域５０１、５０２、５０３を備える。水平ラインは、シーンの水平線の位置に対応し、したがって、カメラがどのように位置されるのかに応じて異なって位置されてもよい。各領域５０１、５０２、５０３は動き検出感度レベルを表す。

【0063】

動き検出感度マップ５００に基づいて、動き検出アルゴリズムが画像フレーム４０３を含むビデオシーンに適用される。動き検出アルゴリズムは、従来の動き検出アルゴリズムの中から選択され得る。動き検出感度レベルは、動き検出感度マップ５００にしたがって画像フレーム４０３の異なる領域に関して設定される。動き検出感度マップ５００は例えば表又は関数によって表されてもよい。

【0064】

第１の実施形態の場合と同じ原理が、この第２の実施形態に適用され、したがって、再び詳しく開示されない。第１の実施形態の開示を参照されたい。

【0065】

先の例は、たった１つの歪み源を備えるカメラシステムに方法が適用されることを開示してはいるが、当業者であれば分かるように、方法が複数の歪み源を備えるカメラシステムに適用されてもよい。歪み源の組み合わせの非限定的な例は、オプティカルドームと組み合わされる広角レンズ、スティッチングアルゴリズムと組み合わされる広角レンズ、又は、スティッチングアルゴリズムと組み合わされるオプティカルドームである。更に、本明細書中の記載に基づき、当業者は、歪み源が組み合わされたカメラシステムで本方法を適用できる。特に、その場合の空間分解能分布は複数の歪み源に基づいて決定され、これは従来の方法により行うことができる。非限定的な例は、広角レンズのレンズ多項式に基づいて及びオプティカルドームのレンズ多項式に基づいて空間分解能分布が決定されることである。

【0066】

先の開示された実施形態のそれぞれによって明らかなように、動き検出感度マップは空間分解能分布に依存している。言い換えると、異なる空間分解能分布は、異なる動き検出感度マップを与える。これは、空間分解能分布がどのように決定されるのかにかかわらず、例えば空間分解能分布がレンズ多項式に又は射影アルゴリズムに基づいているかどうかにかかわらず、空間分解能分布に当てはまる。

【0067】

当業者は、本発明が決して前述の好ましい実施形態に限定されないことを理解している。それどころか、添付の特許請求の範囲内で多くの修正及び変形が可能である。例えば、他のタイプのレンズ多項式又は射影アルゴリズムが使用されてもよい。また、方法は、歪みが本明細書中に開示されるプロセス以外のプロセスによりもたらされる歪み画像フレームを備えるビデオシーケンスでも適用できる。

【符号の説明】

【0068】

２０１ 家
２０２ 木
２０４ 画像センサ
２０５ 視野（ＦＯＶ）
２０７ 広角レンズ
２０６ａ、２０６ｂ、２０６ｃ 等角観察領域
２１０ 画像フレーム
２２１ 撮像物体
３００ 動き検出感度マップ
３１０ 基準位置
３０２、３０３、３０４ 領域
４０１、４０２ 一次画像
４０３ 画像フレーム
４０４ 家
４０５ 第１の木
４０６ 第２の木
５００ 動き検出感度マップ
５０１、５０２、５０３ 領域

【図1】

【図2】

【図3】

【図4】

【図5】