特許 7589296 自己学習型歪み補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】自己学習型歪み補正

(51)【国際特許分類】

   G06T 3/047 20240101AFI20241118BHJP

   G06T 5/80 20240101ALI20241118BHJP

   H04N 23/60 20230101ALI20241118BHJP

【ＦＩ】

G06T3/047

G06T5/80

H04N23/60 500

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2023102344

(22)【出願日】2023-06-22

(65)【公開番号】P2024007396

(43)【公開日】2024-01-18

【審査請求日】2024-04-11

(31)【優先権主張番号】22181939

(32)【優先日】2022-06-29

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】エリクソン， ヨアキム

(72)【発明者】

【氏名】ユアン， ソン

(72)【発明者】

【氏名】ステニング， ヨーアン

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０２０－０５３０１９（ＪＰ，Ａ）

【文献】特許第６５７７５５７（ＪＰ，Ｂ２）

【文献】特表２０２１－５２８７９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／０１９１４６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／０４７

Ｇ０６Ｔ ５／８０

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

非直線レンズを有するカメラ（２１０）によって上方から取り込まれた部屋の画像における歪み補正の方法（２００）であって、
ｉ）経時的に前記カメラによって上方から取り込まれた前記部屋の複数の画像（１０１、２１２）を取得すること（Ｓ２０１）と、
ｉｉ）１つ又は複数の物体の１つ又は複数の底部（１５０）が前記複数の画像のうちの少なくともいくつかの画像の中のどこに位置しているかを判定すること（Ｓ２０２）と、
ｉｉｉ）前記底部の前記判定された位置に基づいて前記部屋の床（１１０）の境界（１７０）が前記複数の画像のどこに位置しているかを判定すること（Ｓ２０３）と、
ｉｖ）前記床の前記判定された境界の周囲に、前記床の前記境界の平面から離れるように垂直に延びる１つ又は複数の壁（１７２ａ－ｄ）を画定することによって、前記部屋の三次元モデル（１０２、１０３）を生成すること（Ｓ２０４）と、
ｖ）前記複数の画像のうちの少なくとも１つの画像を前記部屋の前記三次元モデル上に投影することによって、前記部屋の歪み補正画像（１０４）を生成すること（Ｓ２０５）と
を含み、
前記判定すること（Ｓ２０３）において、前記複数の画像のうちの前記少なくともいくつかの画像の領域内の異なる場所にある、前記底部の前記判定された位置の個数が有限の時間間隔の間に閾値を超える場合に限り、前記少なくともいくつかの画像の前記領域が前記部屋の前記床に属すると見なされる、
方法（２００）。

【請求項2】

前記非直線レンズが魚眼レンズである、請求項１に記載の方法。

【請求項3】

前記底部が前記物体の足を含む、請求項１又は２に記載の方法。

【請求項4】

ステップｉｉ）が前記１つ又は複数の物体の１つ又は複数のキーポイントを特定することによって、前記部屋の前記床の上を移動した前記１つ又は複数の物体の前記底部が前記複数の画像のうちの前記少なくともいくつかの画像の中のどこに位置しているかを判定することを含む、請求項１又は２に記載の方法。

【請求項5】

非直線レンズを有するカメラによって取り込まれた部屋（１００）の画像における歪み補正のための装置であって、前記装置に請求項１に記載の方法を実行させるように構成された処理回路を含む、装置。

【請求項6】

前記装置が前記非直線レンズを有する前記カメラである、請求項５に記載の装置。

【請求項7】

非直線レンズを有するカメラによって取り込まれた部屋の画像における歪み補正のためのコンピュータプログラムであって、前記コンピュータプログラムが、装置の処理回路上で実行されると、前記装置に請求項１に記載の方法を実行させるコンピュータコードを含む、コンピュータプログラム。

【請求項8】

請求項７に記載のコンピュータプログラムが記憶されたコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、シーンの画像の歪み補正に関する。特に、本開示は、例えば、魚眼レンズなどの非直線レンズを有するカメラによって取り込まれた画像の自己学習型歪み補正に関する。

【背景技術】

【0002】

多くの状況では、１台のカメラでシーンの大部分を取り込むことができることが望ましく、広角レンズはこの目的に使用することができるこのような広角レンズは、多くの場合、非直線であり、それによって画像の強い光学的歪みが生じ、その結果、このようなレンズを使用して取り込まれたシーンの画像では、シーン内の真っ直ぐな線やその他の物体は、湾曲したり反ったりしてしまう。非直線レンズの一例は、いわゆる魚眼レンズであり、これは、例えばシーンの半球状の画像を生成することができ、多くの場合、例えば、９０度、１８０度、又は更には２７０度を超える広い画角を有する。

【0003】

上記のような状況の一例としては、例えば、部屋の天井に取り付けられた監視カメラがあり、魚眼レンズを使用して天井の下方にある部屋の大部分又は全てを取り込むように構成されている。カメラの周囲で起きていることをより多く取り込むことができるため、このようなカメラは、例えば、通常のパン／チルト／ズーム（ＰＴＺ）カメラと比較して状況認識が向上する。

【0004】

しかしながら、前述したように、このような非直線レンズを有するカメラの１つの欠点は、これらが生成する画像が歪むことである（例えば、反る）。例えば、魚眼レンズを介して取り込まれた画像をデジタル的に「反り補正」するための様々な解決策が存在するが、このような解決策では、得られる結果が十分に満足のいくものになるまで、複数のパラメータを手動で調整する必要があることが多い。更に、多くのこのようなカメラを含む設備では、各カメラの反り補正パラメータを調整するために必要な手作業は、すぐに時間がかかることになる可能性がある。

【0005】

したがって、例えば、監視カメラ設備において、非直線レンズの使用を容易にする改善された方法が必要とされている。

【発明の概要】

【0006】

上記の特定された必要性を少なくとも部分的に満たすために、本開示は、非直線レンズを有するカメラによって取り込まれたシーンの画像における歪み補正の改良された方法、このような方法を実施するように構成された装置、並びに添付の独立請求項に定義されたコンピュータプログラム及びコンピュータプログラム製品を提供する。改良された方法、装置、コンピュータプログラム及びコンピュータプログラム製品の様々な実施形態は、添付の従属請求項に定義されている。

【0007】

本開示の第１の態様によれば、非直線レンズを有するカメラによって取り込まれたシーンの画像における歪み補正の方法が提供される。本方法は、ｉ）カメラによって取り込まれるシーンの複数の画像を経時的に取得することを含む。本方法は、ｉｉ）シーン内の水平面上を移動した１つ又は複数の物体の底部が、複数の画像のうちの少なくともいくつかの中のどこに位置しているかを判定することを更に含む。本方法は、ｉｉｉ）底部の判定された位置に基づいて、シーン内の水平面の境界を判定することを更に含む。本方法は、ｉｖ）水平面の判定された境界の周囲に１つ又は複数の垂直面を画定することにより、シーンの三次元（３Ｄ）モデルを生成することを更に含む。本方法は、ｖ）少なくとも１つの画像をシーンの三次元モデル上に投影することによって複数の画像のうちの少なくとも１つの歪みを補正することを更に含む。本方法は、例えば、処理回路を含む装置などの装置／コンピュータ上で実施することができる。

【0008】

本明細書で使用される場合、「水平面」とは、例えば、シーンの床もしくは地面、又は、例えば、人々、動物もしくは他の物体が通常歩行／移動する他の任意の表面である。同様に、「垂直面」とは、例えば、部屋の床を囲む壁などの水平面の外縁の周りに配置され、床に対して垂直に延在することが多い、例えば、壁又はその他の面である。「底部」という用語は、例えば、（動物又は人の）足、（例えば、ロボット掃除機、又は同様のものの）車輪、又は物体がシーン内を移動するときに水平面と接触する物体の任意のその他の部分を含むことができる。

【0009】

シーンの例として部屋を使用すると、部屋の画像の歪み補正に関する従来の解決策は、歪み補正に必要な部屋の十分な３Ｄモデルを構築するために、部屋の画像のどの部分が部屋の床に属し、画像のどの部分が部屋の垂直面（例えば、壁など）に属するかをオペレータ／ユーザが手動で指示する必要があることが多い。本開示の解決策は、シーン内を移動する物体の底部（例えば、足など）が床と接触することが多いという認識を利用することによって、このような従来の技術を改善するものであり、しかも、部屋の画像内で底部が経時的にどのように移動するかを確認することによって、床の延伸部／境界を学習／近似することができる。この延伸部／境界の中にない画像の他の部分は、代わりに、例えば、壁の一部であると仮定することで、画像の手動によるセグメント化を必要とせずに、部屋の３Ｄモデルを自動的に構築することができる。本明細書で前述したように、これは、各カメラが本開示の解決策を使用して、部屋をモデル化する方法を自己学習し、次いで必要な歪み補正を行うことができるため、複数のカメラの大規模な設置において特に有用であり得る。

【0010】

本方法のいくつかの実施形態では、（カメラの）非直線レンズは魚眼レンズであってもよい。

【0011】

本方法のいくつかの実施形態では、底部は、物体（例えば、ヒトの足、又は動物の足など）の足部を含むことができる。

【0012】

本方法のいくつかの実施形態では、ステップｉｉ）は、１つ又は複数の物体の１つ又は複数のキーポイントを特定することを含むことができる。本明細書で使用される場合、「キーポイント」とは、例えば、画像内の物体の特定された足、膝、脚、又は任意の他の特徴であってもよく、実際の足の位置は、これらのキーポイントの位置に基づいて推定されてもよい。例えば、ソファに座っている人の膝及び／又は腰がどこに位置するか分かれば、シーンの画像に足が見えない場合でも足の位置を計算することができる。これは、例えば、ソファの前にテーブルが置かれた場合に起こり得るシナリオであり、足の位置をとにかく推測し、床の境界を判定するのに使用される。

【0013】

本方法のいくつかの実施形態では、シーンは部屋のシーンであってもよく、水平面は部屋の床であってもよい。

【0014】

本方法のいくつかの実施形態では、複数の画像のうちの少なくともいくつかはトレーニング期間中に取り込まれてもよく、有限の時間間隔の間に領域内で移動した底部の数が閾値を超えた場合、複数の画像のうちの少なくともいくつかの領域は、シーンの水平面に属すると見なし得る。その領域をシーンの水平面の一部として分類する前に、同じ領域内で複数の底部の検出を要求することで、例えば、その領域が実際に水平面の一部であるという信頼性を向上させることができる。

【0015】

本方法のいくつかの実施形態では、三次元モデルは、判定された境界によって囲まれた水平面を含むことができ、１つ又は複数の垂直面は、水平面に垂直な方向に突出することができる。例えば、水平面は部屋の床であってもよく、垂直面は、壁が床と９０度の角度を形成するように、部屋内に通常配置される壁（の表面）であってもよい。

【0016】

本方法のいくつかの実施形態では、シーンが部屋である場合、カメラは部屋の天井に配置され得る。例えば、天井が床の平面と平行な平面内に延在する場合、例えば、カメラの光軸が床の平面（又は水平面）に対して垂直になるように、カメラの光軸が、例えば、床方向に直接向くようにカメラを配置することができる。

【0017】

本開示の第２の態様によれば、非直線レンズを有するカメラによって取り込まれたシーンの画像における歪み補正のための装置が提供される。装置は処理回路を含む。処理回路は、装置に、ｉ）経時的にカメラによって取り込まれたシーンの複数の画像を取得させる、ｉｉ）シーン内の水平面上を移動した１つ又は複数の物体の底部が複数の画像のうちの少なくともいくつかの中のどこに位置しているかを判定させる、ｉｉｉ）底部の判定された位置に基づいてシーンの水平面の外側の境界を判定させる、ｉｖ）シーンの水平面の判定された境界の周囲に１つ又は複数の垂直面を画定することによって、シーンの三次元（３Ｄ）モデルを生成させる、ｖ）少なくとも１つの画像をシーンの三次元モデル上に投影することによって、複数の画像のうちの少なくとも１つの歪みを補正させるように構成される。したがって、装置は、第１の態様の方法のステップを実施するように構成される。装置は、例えば、装置の処理回路によって実行されると、装置に前述のステップｉ）～ｖ）を行わせる命令を記憶するメモリを含むことができる。したがって、装置が上記のステップｉ）～ｖ）を実施するように「構成される」ことは、このような実施形態では、処理回路がメモリに記憶された命令を読み出して実行するように構成されることを意味する。

【0018】

装置のいくつかの実施形態では、処理回路は、装置に、本明細書で説明及び開示される第１の態様の方法の実施形態を実施させるように更に構成される。

【0019】

装置のいくつかの実施形態では、装置は、例えば、魚眼レンズカメラなどの非直線レンズを有するカメラであってもよい。

【0020】

本開示の第３の態様によれば、非直線レンズを有するカメラによって取り込まれたシーンの画像における歪み補正のためのコンピュータプログラムが提供される。コンピュータプログラムは、装置の処理回路上で実行されるとき、装置に、ｉ）経時的にカメラによって取り込まれたシーンの複数の画像を取得させる、ｉｉ）シーン内の水平面上を移動した１つ又は複数の物体の底部が複数の画像のうちの少なくともいくつかの中のどこに位置しているかを判定させる、ｉｉｉ）底部の判定された位置に基づいてシーンの水平面の外側の境界を判定させる、ｉｖ）シーンの水平面の判定された境界の周囲に１つ又は複数の垂直面を画定することによって、シーンの三次元（３Ｄ）モデルを生成させる、ｖ）少なくとも１つの画像をシーンの三次元モデル上に投影することによって、複数の画像のうちの少なくとも１つの歪みを補正させるコンピュータコードを含む。したがって、コンピュータコードは、装置に第１の態様の方法のステップを実施させるようなものである。

【0021】

コンピュータプログラムのいくつかの実施形態では、コンピュータコードは、更に、装置の処理回路上で実行されるとき、本明細書で説明及び開示されるような第１の態様の方法の任意の実施形態を装置に実施させるようなものであってもよい。

【0022】

本開示の第４の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、第３の態様（又は本明細書で説明及び開示されるその任意の実施形態）によるコンピュータプログラムが記憶されるコンピュータ可読記憶媒体を含む。本明細書で使用される場合、コンピュータ可読記憶媒体は、例えば、非一時的であってもよく、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＤＤ）、ＵＳＢフラッシュドライブ、ＳＤカード、ＣＤ／ＤＶＤ、及び／又はデータの非一時的な記憶が可能な任意の他の記憶媒体として提供されてもよい。他の実施形態では、コンピュータ可読記憶媒体は一時的であってもよく、例えば、通信リンク、ワイヤ、又は同様の信号伝達手段などに存在する信号（電気的、光学的、機械的、又は同様のもの）に対応する。

【0023】

本開示の他の目的及び利点は、以下の詳細な説明、図面及び特許請求の範囲から明らかになるであろう。本開示の範囲内で、例えば、第１の態様の方法を参照して説明された全ての特徴及び利点は、第２の態様の装置、第３の態様のコンピュータプログラム、及び第４の態様のコンピュータプログラム製品にも関連し、適用され、それらと組み合わせて使用され得ることが想定され、その逆もまた同様である。

【0024】

以下、添付の図面を参照して、例示的な実施形態を説明する。

【図面の簡単な説明】

【0025】

【図1A】非直線レンズを有するカメラによって取り込まれたシーン／部屋の画像を概略的に示す。

【図1B】本開示による方法の様々な実施形態で実施される、図１Ａのシーンで移動した物体の底部の判定を概略的に示す。

【図1C】本開示による方法の様々な実施形態において実施される、図１Ｂの判定された底部に基づいて図１Ａのシーンの３Ｄモデルを生成する様々なステップを概略的に示す。

【図1D】本開示による方法の様々な実施形態において実施される、図１Ｂの判定された底部に基づいて図１Ａのシーンの３Ｄモデルを生成する様々なステップを概略的に示す。

【図1E】本開示による方法の様々な実施形態において実施される、図１Ｂの判定された底部に基づいて図１Ａのシーンの３Ｄモデルを生成する様々なステップを概略的に示す。

【図1F】本開示による方法の様々な実施形態において実施される、図１Ｂの判定された底部に基づいて図１Ａのシーンの３Ｄモデルを生成する様々なステップを概略的に示す。

【図1G】本開示による方法の様々な実施形態において実施される、図１Ｂの判定された底部に基づいて図１Ａのシーンの３Ｄモデルを生成する様々なステップを概略的に示す。

【図1H】本開示による方法の様々な実施形態によって生成された、図１Ａのシーンの歪み補正画像を概略的に示す。

【図2A】様々な機能ユニットを使用して、本開示による方法及び装置の様々な実施形態を概略的に示す。

【図2B】図２Ａの方法の流れを概略的に示す。

【図3A】本開示による装置の様々な実施形態を概略的に示す。

【図3B】本開示による装置の様々な実施形態を概略的に示す。

【図3C】本開示による装置の様々な実施形態を概略的に示す。

【発明を実施するための形態】

【0026】

図面において、特に明記しない限り、同様の要素には同様の参照数字が使用される。反対のことが明示的に述べられていない限り、図面は、例示的な実施形態を例示するために必要な要素のみを示しているが、他の要素は、明確にするために、省略されるか、又は単に示唆される場合がある。図に示すように、要素及び領域の（絶対的又は相対的な）サイズは、例示の目的のために、それらの真の値に対して誇張又は控えめにされる場合があり、したがって、実施形態の一般的な構造を説明するために提供される。

【0027】

図１Ａは、シーンの画像１００を概略的に示す。この特定の例におけるシーンは部屋のシーンである。画像１００は、非直線レンズ（例えば、魚眼レンズなど）を有するカメラによって取り込まれたものであり、画像１００は、直線が曲線として表示されるなど反っている。カメラは、部屋の天井（図示せず）に取り付けられ、その光軸は部屋の床１１０に直接向くように配置されることが想定される。床１１０は、床１１０から垂直に上方に突出する４つの壁１２０ａ－ｄによって囲まれており、床１１０とそれぞれの壁とが交わる場所に４つの角１３０ａ－ｄを形成するようになっている。壁１２０ａにはドア１４０も設けられており、ドアを通ってドア物体が部屋に出入りすることができる。画像１００が取り込まれた時点では、部屋は空であった（例えば、家具、壁装飾、又は同様のものを除く）、即ち、部屋の中に人、動物、又は他の移動体は存在しなかった。

【0028】

画像１００で分かるように、カメラの非直線レンズがカメラの画像センサ上に投影されることに起因して、床１１０に沿って角と角を結ぶ線は湾曲／反って見える。これは、画像１００内の他のほとんどの線にも当てはまり、カメラのレンズによって導入される歪みのために、画像１００内で反っている／湾曲している。したがって、このような歪みを補正し、例えば、現実世界で真っ直ぐな線は、シーンを描写する画像でも真っ直ぐのままであるようにしたいという要望がある。従来の技術を使用して、カメラの非直線レンズによって導入された画像１００の歪みを補正するために、オペレータは、画像１００のどの部分が床１１０（即ち、画像１００に示されているシーンの水平面）に属するかを手動で識別する必要がある。例えば、オペレータは、（画像１００を示すグラフィカルユーザインターフェースを使用して、）例えば、４つの角１３０－ｄを結ぶ曲線に沿ってトレースすることによって、及び／又は、例えば、４つの壁１２０ａ－ｄ及びドア１４０に対応する画像１００の領域、即ち、シーンの垂直面を手動で示すことによって、このようなタスクを実施することができる。一般に、このようなプロセスは時間がかかり、大規模なカメラ設置で歪み補正のために設定し準備するカメラが多数（例えば、数百台）ある場合には、処理できない可能性さえある。

【0029】

本開示がこの問題／課題をどのように解決するかについて、最初に図１Ｂを参照することから始めて、残りの図を参照してより詳細に説明する。以下では、「シーン」及び「部屋」という用語は互換的に使用される。同じことが、「垂直面」及び「壁」という用語、並びに同様に互換的に使用される「水平面」及び「床」という用語にも当てはまる。

【0030】

図１Ｂは、経時的に取り込まれた部屋の複数の画像１０１のオーバーレイを概略的に示しており、複数の足跡１５０は、シーン内の水平面／床の上を移動した１つ又は複数の物体の底部がどこに位置しているかを示している。画像１０１から、例えば、１つ又は複数の物体がドア１４０を通って入り、部屋の中の物体（キャビン、壁など）に移動し、その後再びドア１４０を通って出て行ったことが明らかである。足跡１５０は、必ずしも人の後に残された実際の足跡である必要はないが（例えば、靴の下の土、ゴム跡、又は同様のものによって引き起こされるもの）、代わりに、これらの物体の底部（例えば、足など）が経時的に判定された場所を図示／記号化するのに役立つことに留意されたい。キーポイント検出は、例えば、物体のそのような底部が画像内のどこに位置するかを推定するための１つの可能な手段として機能することができる。人又は他の物体が移動中に床１１０上に実際の足跡（例えば、土／ゴム跡）を実際に残す場合、もちろん、これらも検出され、このような物体の底部が画像内のどこに位置するかを示す指標として使用され得る。

【0031】

ここで、図１Ｃ～図１Ｈも参照して、想定される方法では、複数の画像１０１と「足跡」１５０を使用して、最終的には画像１０１のうちの１つ又は複数の歪み補正がどのように実施されるのかについて説明する。

【0032】

図１Ｃは、説明のために足跡１５０を使用して、底部がシーン内で経時的にどのように移動したかを概略的に示す。足跡１５０は、各足跡１５０が特定の（ｘ、ｙ）座標に位置するように、（ｘ、ｙ）座標系でプロットされる。

【0033】

図１Ｄは、図１Ｃと同じ足跡１５０を概略的に示しているが、床１１０の平面内での足跡の延伸部を示す破線形状１６０を有する。

【0034】

図１Ｅは、カメラの既知のパラメータに基づいて、足跡１５０の延伸部１６０に基づいて長方形の境界１７０がどのように画定されるかを概略的に示す。これは、例えば、非直線レンズが異なる角度から生じる光をどのように屈折させるかについての知識に基づいて行われ得る。例えば、魚眼レンズの場合、レンズが光をどのように屈折させるかは、（シーンの画像を取り込むために使用されるカメラの画像センサ上の）画素とレンズの光学中心（レンズ／カメラの光軸が延びる中心）との間の距離に基づいており、例えば、床１１０の上方のカメラの設置高さに関する知識を必要としない場合がある。境界１７０は、例えば、全ての足跡１５０について、又は、例えば、最も外側の足跡１５０についてのみ、そのような屈折を補正することによって見つけることができる。重要なことは、これが正確にどのように行われるかではなく、シーンの画像内の足跡１５０の判定された位置は、これらの位置が床１１０に対応し、そして、例えば、壁１２０ａ－ｄのいずれかに対応しないことを伝えるために使用されることである。

【0035】

図１Ｆは、境界１７０を特定した後、境界１７０が三次元モデル１０２の水平面としてどのように使用されるかを概略的に示す。図１Ｆに示すように、三次元モデル１０２は未完成であり、１つ又は複数の垂直面で完成させる必要がある。

【0036】

図１Ｇは、完全な三次元モデル１０３を形成するために、三次元モデル１０２の完成を概略的に示す。モデル１０３では、壁１７２ａ－ｄが境界１７０の周囲に画定されるように、壁１７２ａ－ｄの形状の垂直面が追加／画定されている。図１Ｇに示す例では、壁１７２ａ－ｄは、境界１７０の平面から離れるように垂直に、即ち、図１Ｇに示すようにｚ軸の正方向に延びるように追加される。したがって、図１Ｇに示す例では、三次元モデル１０３は、境界１７０によって囲まれた床１７１と、４つの角１７４ａ～１７４ｄで床１７１と互いに交差する４つの壁１７２ａ－ｄとを含む。壁１７２ａ－ｄは同じ高さｈを有する。前述のように、物体が移動していない画像の領域が、統計的に、例えば、部屋の壁に属する可能性が高いという仮定の下で、三次元モデル１０４が作成される。パラメータｈは、例えば、部屋の高さをエミュレートするために必要に応じて調整することができる。

【0037】

図１Ｈは、部屋の上面図を再び概略的に示すが、ここでは図１Ａの画像１００が三次元モデル１０３に投影されている。例えば、４つの角１３０ａ－ｄを結ぶ線がもはや以前ほどには反っても／湾曲してもいないことから分かるように、結果として得られる画像１０４は、画像１００の歪み補正バージョンである。

【0038】

本明細書で想定されるように、画像１００の三次元モデル１０３への投影を実施することは、例えば、床１７１とカメラとの間の向きに関する知識に基づくことができ、これは、例えば、カメラ／レンズの光軸が床１７１に直交すると仮定することによって得ることができる。画像１００の三次元モデル１０３への投影を実施する際のカメラの想定位置は、例えば、カメラが部屋の天井内の正確な中心にないことを補正するためなど、意図的にその真の位置から変更される場合がある。カメラの想定位置を変更することは、例えば、結果として得られる画像１０４の両側（水平及び／又は垂直）に同程度の画素数を得るのに役立ち得る。いくつかの実施形態では、例えば、部屋の床の上方にあるカメラの想定される高さは、また、投影を実施するときに、真の高さと一致しないように変更され得ることも想定される。これは、例えば、結果として得られる画像１０４の視点を変更したい場合に特に興味深い。一般に、画像１００のどの部分が、例えば、壁や床にそれぞれ対応するのかに関する知識を（水平面を横切って移動した物体の底部の位置から）得ることによって、三次元モデルを構築することができ、次いで、この三次元モデル（モデル１０３など）上に画像１００の投影を実施するために使用することができる。次いで投影が正確にどのように実施されるかは、例えば、所望の遠近法や、例えば、所望の視点（例えば、水平面に対するカメラの所望の／想定される位置）に基づいて変化し得る。

【0039】

提案された方法の精度は、もちろん、シーン内を移動する物体が、例えば、床などの全ての部分を訪れるか否かに依存し得る。提案された方法に提供されるシーンの複数の画像において、床の特定の部分を横切って移動する物体がない場合、結果として得られるシーンの三次元モデルは小さすぎる可能性が高く、想定される床の外側の物体は反って見えるであろう。しかしながら、少なくとも１つの物体が床の各領域を訪れる可能性が時間とともに高くなると仮定すれば、シーンの画像をより多く分析することで、このような影響を低減することができる。更に、前述したようにキーポイント検出を使用することによって、床とカメラとの間に、例えば、家具や他の物体が配置されているためにカメラから隠されている床の領域でも、物体の底部の真の位置を特定することができる。これにより、例えば、部屋の真の床の正確な推定値を得る可能性が更に向上する。

【0040】

想定される使用シナリオは、例えば、大きな部屋や、例えば、廊下をカバーするために複数の魚眼カメラが設置されるとき、及び各カメラを手動で設定するのに非常に時間がかかる場合などである。想定される方法を使用することにより、カメラを設置し、次いでカメラの画像のどの部分が、例えば、床や壁に対応するかをそれぞれ学習させることができる。そして、各カメラは、それに基づいて、カメラが撮影を担当するシーンの一部について独自の三次元モデルを生成し、次いで、この三次元モデルを使用してその取り込まれた画像を投影して、歪み補正を実施することができる。

【0041】

本明細書で想定されるように、床は必ずしも正方形又は長方形である必要はなく、他の形状を有することもできることにも留意されたい。例えば、部屋の１つ又は複数の壁は湾曲していてもよい。同様に、壁は、必ずしも他の壁と９０度の角度で接触する必要はない。唯一の仮定は、壁が床から垂直に延伸することである。

【0042】

ここで、（図１Ａ～図１Ｈを参照して前述したような）想定される方法を、図２Ａ及び図２Ｂも参照して更に説明する。図２Ａは、様々な機能ユニットを使用して、本明細書で想定される歪み補正のための方法２００の様々な実施形態を概略的に示し、図２Ｂは、そのような方法の流れを概略的に示す。図２Ａは、また、図３Ａ～図３Ｃを参照して本明細書で後により詳細に説明するように、方法を実施するための想定される装置３００を示すのに役立つ。

【0043】

方法２００では、カメラ２１０がシーン（例えば、部屋）を取り込むように構成される。カメラ２１０は、例えば、魚眼レンズなどの非直線レンズを有しており、カメラ２１０の視野は、カメラ２１０がシーンのより広い部分を取り込むために十分な大きさである。カメラ２１０によって取り込まれたシーンの複数の画像２１２は、第１の判定モジュール２２０に提供される。

【0044】

ステップＳ２０１において、第１の判定モジュール２２０は、カメラ２１０からシーンの複数の画像２１２を受信する。カメラ２１０は、複数の画像を一度に送信してもよいし、例えば、各画像が取り込まれるとすぐに、一度に１つの画像を送信してもよい。第１の判定モジュール２２０は、（ステップＳ２０２において）シーン内の水平面の上を移動した１つ又は複数の物体の底部の位置を推定／判定するように構成されている。これは、例えば、キーポイントを使用することによって、及び／又は１つ又は複数の物体の底部を直接特定することによって実施され得る。例えば、第１の判定モジュール２２０は、例えば、人間の足、動物の足、及び／又は、例えば、ロボット掃除機の車輪、又はシーンの床を横切って定期的に動き回る他の物体を特定するように構成されてもよい。このような底部の特定は、例えば、この目的のために一般的に利用可能な技術を使用して実施することができ、例えば、このような特徴を特定するように訓練された様々な機械学習アルゴリズムに基づいて実施することができる。シーン内の底部物体の位置が判定されると、第１の判定モジュール２２０は推定位置２２２を第２の判定モジュール２３０へ送信する。第１の判定モジュール２２０は、また、底部の複数の位置を判定するまで待ち、次いで、これらの複数の位置を第２の判定モジュール２３０に同時に送信してもよい。

【0045】

第２の判定モジュール２３０は、物体、特に、物体の底部がシーン内で経時的にどのように移動するのかに関する統計を収集するために、第１の判定モジュール２２０から底部の複数の位置２２２を受信する。特に、第２の判定モジュール２３０は、物体がどこを移動するか、即ち、それらのそれぞれの底部が部屋のどの部分を訪れるかに注目することができる。ステップＳ２０３において、第２の判定モジュール２３０は、そのような統計を使用して、部屋の床の境界を判定／推定する。部屋の床の境界が判定されると、第２の判定モジュール２３０は、判定された境界２３２を３Ｄモデルモジュール２４０に送信する。いくつかの実施形態では、第２の判定２３０モジュールは、特定の領域を部屋の床と見なす前に、画像の特定の領域内で移動した底部の数が閾値を超えるまで待機することができる。本明細書で前述したように、これは、特定の領域が実際に床の一部であることの信頼性を向上させることができる。本明細書で想定されるように、「複数の底部」は、必ずしも異なる物体の底部を意味するわけではなく、同じ物体の１つ又は複数の底部が特定の領域に位置するものとして繰り返し識別されることでもよい。より一般的には、異なる物体を区別する必要は必ずしもなく、したがって、（底部がどの特定の物体に属するかを識別することなく）底部のみを識別することができる方法も、想定される方法を実施するために使用することができる。

【0046】

３Ｄモデリングモジュール２４０は、第２の判定モジュール２３０から判定された境界２３２を受信し、床の判定された境界の周囲に１つ又は複数の壁を画定することによって、カメラ２１０によって取り込まれた部屋の三次元モデルを生成するように構成される（ステップＳ２０４）。三次元モデルが生成されると、３Ｄモデリングモジュール２４０は、三次元モデル２４２を補正モジュール２５０に送信する。三次元モデルは、例えば、境界を示す複数の座標、及び壁を示す複数の座標によって画定することができる。他の実施形態では、壁は高さ値に応じた高さを有し、床から垂直に延び、かつ多角形によって画定された床の境界に沿って延びるようなものであると仮定した場合、床は、例えば、多角形として表されてもよく、壁は、例えば、単に高さ値ｈとして表されてもよい。三次元モデルを表現／パラメータ化する他の方法も当然想定される。

【0047】

補正モジュール２５０は、三次元モデル２４２を３Ｄモデリングモジュール２４０から受信し、３Ｄモデリングモジュール２４０から受信した三次元モデル上に１つ又は複数の画像を投影することによって、カメラ２１０によって取り込まれた１つ又は複数の画像２１４の歪み補正を実施する（ステップＳ２０５）。補正モジュール２５０が歪みを適用する（同じ部屋／シーンを取り込む）１つ又は複数の画像は、例えば、１つ又は複数の画像２１４としてカメラ２１０から直接受信することができる。他の実施形態では、歪み補正が行われる１つ又は複数の画像は、例えば、そのような画像を有する任意の他のモジュールから送信されてもよい。１つ又は複数の画像２４２の少なくとも１つの歪みを補正した後、補正モジュール２５０は、例えば、補正画像２５２を出力してもよい。補正画像２５２は、例えば、ビデオストリームの一部として含まれてもよく、例えば、対応する非補正画像を置き換えてもよく、又は非補正画像に加えて提供されてもよい。歪みが補正される画像は、三次元モデルの生成に使用された画像と必ずしも同じ画像である必要はなく、代わりに、例えば、三次元モデルの生成に使用された複数の画像よりも後のインスタンスで取り込まれたシーンの画像であってもよい。

【0048】

ここで、図３Ａ～図３Ｃを参照して、非直線レンズを有するカメラを使用して取り込まれた画像の歪み補正を実施するための装置についてより詳細に説明する。

【0049】

図３Ａは、多数の機能ユニット／モジュール／ブロックの観点から、本明細書で想定される装置３００の様々な実施形態の構成要素を概略的に示す。装置３００は処理回路３１０を含む。処理回路３１０は、例えば、コンピュータ可読記憶媒体３２０の形態のコンピュータプログラム製品（本明細書には図示せず）に記憶されたソフトウェア命令を実行することができる、１つ又は複数の適切な中央処理装置（ＣＰＵ）、マルチプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）などのうちの任意の組合せを使用して提供される。処理回路６１０は、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として更に設けられてもよい。

【0050】

特に、処理回路３１０は、例えば、図２Ａ及び図２Ｂに示す方法２００を説明する際に、前述のステップＳ２０１～Ｓ２０５のうちの１つ又は複数など一連の動作、又はステップを装置３００に実施させるように構成される。例えば、記憶媒体３２０は、一連の動作を記憶することができ、処理回路３１０は、記憶媒体３２０から一連の動作を取り出して、装置３００に一連の動作を実施させるように構成され得る。一連の動作は一連の実行可能命令として提供され得る。したがって、処理回路３１０は、それによって、例えば、図２Ａ及び図２Ｂを参照して本明細書に開示される方法を実行するように構成される。

【0051】

記憶媒体３２０は、また、例えば、磁気メモリ、光メモリ、ソリッドステートメモリ、又は更には遠隔マウントメモリなどの任意の単一又は組合せの形態のメモリとすることができる永続記憶装置も含むことができる。

【0052】

装置３００は、例えば、カメラ２１０などの他のエンティティ、機能、ノード、及び装置と通信するための通信インターフェース３３０を更に含んでもよい。例えば、通信インターフェース３３０は、シーンの三次元モデルを生成するために使用されるシーンの複数の画像を受信するために、装置３００がカメラ２１０と通信することを可能にすることができる。したがって、通信インターフェース３３０は、アナログ及び／又はデジタル構成要素を含む、１つ又は複数の送信機及び受信機を含むことができる。本明細書で後により詳細に説明するように、装置３００は、いくつかの実施形態では、カメラ２１０自体であってもよく、通信インターフェース３３０は、例えば、装置／カメラ３００の処理回路３１０が装置／カメラ３００の画像センサ（図示せず）によって生成された画像データにアクセスできるようにするために必要な任意の回路を含んでもよい。

【0053】

処理回路３１０は、例えば、通信インターフェース３３０及び記憶媒体／メモリ３２０にデータ及び制御信号を送信することによって、通信インターフェース３３０からデータ及び報告を受信することによって、並びに記憶媒体３２０からデータ及び命令を取り出すことによって、装置３００の一般的な動作を制御する。当然ながら、装置３００の他の構成要素及びそれらに関連する機能性も含まれ得るが（破線のボックス３４０によって示されるように）、本明細書で提示される概念を不明瞭にしないために、それらの説明は省略される。通信バス３５０が含まれ、様々なユニット３１０、３２０及び３３０（及び任意選択で３４０も）が必要に応じて互いにデータ及び情報を交換することができるように構成される。

【0054】

図３Ｂは、本開示の様々な実施形態による装置３００の構成要素を、いくつかの機能モジュール３０１～３０５に関して概略的に示す。装置３００は、少なくとも、図２Ａ及び図２Ｂを参照して説明した方法２００のステップＳ２０２を実施するように構成された第１の判定モジュール３０１（例えば、第１の判定モジュール２２０など）と、ステップＳ２０３を実施するように構成された第２の判定モジュール３０２（例えば、第２の判定モジュール２３０など）と、ステップＳ２０４を実施するように構成された３Ｄモデリングモジュール３０３（例えば、３Ｄモデリングモジュール２４０など）と、ステップＳ２０５を実施するように構成された歪み補正モジュール３０４（例えば、補正モジュール２５０など）とを含む。

【0055】

一般的に言えば、各機能モジュール３０１～３０４は、ハードウェア又はソフトウェアで実装され得る。好ましくは、１つもしくは複数の、又は全ての機能モジュール３０１～３０４は、場合によっては通信インターフェース３３０及び／又は記憶媒体３２０と協働して、処理回路３１０によって実装され得る。したがって、処理回路３１０は、記憶媒体３２０から、機能モジュール３０１～３０４によって提供されるような命令をフェッチし、これらの命令を実行し、それによって本明細書に開示されるように、装置３００によって実施される方法２００の任意のステップを実施するように構成され得る。ハードウェアとして提供される場合、各モジュール３０１～３０４は、他のモジュールとは別個であってもよい。他の実施形態では、モジュール３１０～３０４のうちの１つ、複数、又は全ては、同じ、物理モジュールなどの一部として実装され得る。

【0056】

いくつかの実施形態では、装置３００は、例えば、添付の従属請求項によって定義されるように、装置３００の他のタスクを実施するために必要な追加の機能モジュール（破線のボックス３０５によって示される）を更に含み得る。様々な機能モジュール３０１～３０４（及び任意選択で３０５）が必要に応じてデータ及び情報を通信／交換することを可能にするために、通信バス３５２（論理的又は物理的）が設けられる。

【0057】

図３Ｃは、本明細書で想定されるカメラ３００の一実施形態を概略的に示しており、即ち、図３Ａ及び図３Ｂを参照して説明した装置３００が、実際には、シーンの複数の画像を取り込むために使用されるカメラ３００である場合を示している。図３Ａに示すように、いくつかの実施形態では、カメラ３００は、魚眼レンズ３７０を有する魚眼カメラであってもよい。カメラ３００は光軸３７２を有し、シーンの画像を取り込むとき、光軸３７２と位置合わせされたシーンの点は、取り込まれる画像の中心にある画素に対応するのが好ましい。図３Ｃにも示すように、カメラ３００は、例えば、前述の処理回路３１０を含み、例えば、メモリ（図示せず）３２０などを含むこともできる。カメラ３００は、光軸３７２が、例えば、部屋の床と直交するように、例えば、部屋の天井に取り付けられるように設定される。

【0058】

本明細書のいずれの図面及び図にも示されていないが、本開示は、本明細書で既に説明したようなコンピュータプログラム及びコンピュータプログラム製品も提供する。コンピュータプログラム製品は、想定されるコンピュータプログラムが記憶されるコンピュータ可読記憶媒体を含む。既に説明したように、コンピュータプログラムは、装置（３００など）の処理回路（３１０など）上で実行されると、コンピュータコードは、例えば、図２Ａ及び図２Ｂを参照して説明した方法２００のステップＳ２０１～Ｓ２０５を実行することによって、本明細書で開示及び説明した任意の方法を装置に実施させるコンピュータコードを含む。したがって、コンピュータプログラム及び／又はコンピュータプログラム製品は、例えば、方法２００の任意のステップを実施するための手段、及び／又は想定される装置３００を意図したとおりに動作させるための手段を提供することができる。

【0059】

コンピュータプログラム製品は、例えば、ＣＤ（コンパクトディスク）又はＤＶＤ（デジタル多用途ディスク）又はＢｌｕ－Ｒａｙディスクなどの光ディスクとして提供することができる。コンピュータプログラム製品はまた、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、又は電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）などのメモリとして、より具体的には、ＵＳＢ（ユニバーサルシリアルバス）メモリ又はコンパクトフラッシュメモリなどのフラッシュメモリなどの外部メモリ内の装置の不揮発性記憶媒体として具現化することもできる。したがって、コンピュータプログラムは、コンピュータプログラム製品に適した任意の方法で、即ち、コンピュータ可読記憶媒体に記憶することができる。

【0060】

本明細書に提示される様々な実施形態を要約すると、本開示は、非直線レンズを有するカメラによって取り込まれた画像の歪み補正を処理する改良された方法を提供する。特に、本開示は、補正を実施するために使用することができる三次元モデルを生成するために、シーンの画像のどの部分が、例えば、部屋の床に対応し、画像の他のどの部分が、例えば、部屋の壁に対応するかを判定するために、シーンの画像において物体の底部（人間の足など）がどのように動くか、又は特にどこを移動するかを観察することによって、このような補正を自己学習する方法を提供する。例えば、このような三次元モデルをどのように生成するかをカメラが経時的に学習することを可能にすることにより、カメラによって取り込まれた画像の歪みを、例えば、オペレータからの手動入力を必要とせずに補正することができるため、例えば、このようなカメラを複数設置するプロセスなどが容易になる。

【0061】

特徴や要素を特定の組合せで前述したが、各特徴や要素は、他の特徴や要素を用いずに単独で用いてもよいし、又は他の特徴や要素を用いて又は用いずに様々な組合せで用いてもよい。更に、開示された実施形態に対する変形は、図面、開示、及び添付の特許請求の範囲の研究から、特許請求された発明を実施する際に当業者によって理解され実現され得る。

【0062】

特許請求の範囲において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」や「含む（ｉｎｃｌｕｄｉｎｇ）」という語は他の要素を排除するものではなく、不定冠詞「１つの（ａ）」や「１つの（ａｎ）」は複数を排除するものではない。特定の特徴が相互に異なる従属請求項に記載されているというだけでは、これらの特徴の組合せが効果的に使用できないことを示すものではない。

【符号の説明】

【0063】

１００ シーンの画像
１０１、２１２ シーンの複数の画像
１０２、１０３、２４２ シーンの三次元モデル
１０４、２５２ シーンの歪み補正画像
１１０、１７１ 水平面／床
１２０ａ－ｄ、１７２ａ－ｄ 垂直面／壁
１３０ａ－ｄ、１７４ａ－ｄ 角
１４０ ドア
１５０、２２２ 経時的なシーン内の物体の底部の位置
１６０ 底部の境界
１７０、２３２ 水平面の境界
２００ 歪み補正の方法
Ｓ２０１～Ｓ２０５ 方法のステップ
２１０ 非直線レンズを有するカメラ
２１２ シーンの複数の画像
２２０、３０１ 第１の判定モジュール
２３０、３０２ 第２の判定モジュール
２４０、３０３ ３Ｄモデリングモジュール
２５０、３０４ 補正モジュール
３００ 装置／カメラ
３０５、３４０ 光学機能モジュール
３１０ 処理回路
３２０ メモリ
３３０ 通信インターフェース
３５０、３５２ 通信バス
３７０ 魚眼レンズ
３７２ 光軸

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】