特開 2023-70142 撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023070142

(43)【公開日】2023-05-18

(54)【発明の名称】撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品

(51)【国際特許分類】

   G06T 7/80 20170101AFI20230511BHJP

【ＦＩ】

G06T7/80

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022176108

(22)【出願日】2022-11-02

(31)【優先権主張番号】FR2111700

(32)【優先日】2021-11-04

(33)【優先権主張国・地域又は機関】FR

(71)【出願人】

【識別番号】519110386

【氏名又は名称】アイデミア・アイデンティティ・アンド・セキュリティー・フランス

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ペロー， ピエール

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA02

5L096FA66

5L096FA67

5L096FA69

5L096GA51

(57)【要約】      （修正有）

【課題】撮像装置用の較正パラメータを決定するための方法及び関連するコンピュータプログラム製品を提供する。
【解決手段】少なくとも１人の人を含む少なくとも１つの画像に基づいて撮像装置用の較正パラメータを決定するための方法であって、少なくとも１つの画像内の、各対が人に関連する頭部点ｐｔ及び足点Ｐｐを含む複数の点の対（ｐｔ，ｐｐ）を選択するステップと、人の足点の画像座標（ｘｐ，ｙｐ）及び較正パラメータに基づいて頭部点の推定画像座標の１つを決定可能な二次元推定器を使用し、較正パラメータを決定するステップと、を含む。決定するステップは、頭部点の推定画像座標と対応する頭部点の前述の画像座標との間の誤差を最小化する。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像装置（１０）によって取得され、複数の人を含む少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）又は様々な瞬間において前記撮像装置（１０）によって取得され、少なくとも１人の人を含む複数の画像（ｉ，ｉ_１～ｉ_Ｎ）に基づいて前記撮像装置（１０）用の較正パラメータ（ｆ，θ，ｃ）をコンピュータ（２０）によって決定するための方法であって、
－前記少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）内の複数の点の対（ｐｔ，ｐｐ）を前記コンピュータ（２０）によって選択するステップ（１０２）であって、点の各対（ｐｔ，ｐｐ）は人の頭に関連する頭部点（ｐｔ）及び前記人の足に関連する足点（ｐｐ）を含み、点の対（ｐｔ，ｐｐ）の各点（ｐｔ、ｐｐ）は画像横座標（ｘｔ，ｘｐ）及び画像縦座標（ｙｔ，ｙｐ）を含む画像座標によって前記少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）内で参照され、点の各対（ｐｔ，ｐｐ）は前記撮像装置（１０）の環境の三次元の現実世界における足－頭セグメント（ＰＴ）を定める、選択するステップ（１０２）と、
－較正パラメータ（ｆ，θ，ｃ）を前記コンピュータ（２０）によって決定するステップ（１０３）であって、前記コンピュータ（２０）は前記撮像装置の前記環境の前記三次元の現実世界において全ての足－頭セグメントが同じ所定の高さ（Ｈ）を有し垂直だという推量により、人の前記足点（ｐｐ）の前記画像縦座標（ｙｐ）に基づいて及び前記較正パラメータ（ｆ，θ，ｃ）に基づいて頭部点（ｐｔ）の推定画像縦座標（ｙ’ｔ）を決定可能な推定器（２１）を含む、決定するステップ（１０３）と
を含み、
前記推定器（２１）は二次元であり、前記足点（ｐｐ）の前記画像座標（ｘｐ，ｙｐ）に基づいて頭部点（ｐｔ）の推定画像横座標（ｘ’ｔ）を決定することが更にでき、前記較正パラメータ（ｆ，θ，ｃ）を決定することは前記二次元推定器によって推定される前記頭部点（ｐｔ）の前記推定画像座標（ｘ’ｔ，ｙ’ｔ）と前記対応する頭部点（ｐｔ）の前記画像座標（ｘｔ，ｙｔ）との間の誤差を最小化することを含むことを特徴とする、
較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項2】

前記較正パラメータ（ｆ，θ，ｃ）が：
－前記撮像装置（１０）の横の傾斜角（θ）、
－前記撮像装置（１０）の焦点距離（ｆ）、
－前記撮像装置（１０）が配置される高さ（ｃ）
を含み、
前記推定器（２１）が以下の方程式：

【数1】

及び

【数2】

を使用して前記推定画像座標（ｘ’ｔ，ｙ’ｔ）を決定する、
請求項１に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項3】

前記誤差最小化が、前記推定器（２１）によって推定される前記頭部点（ｐｔ）の前記推定画像座標（ｘ’ｔ，ｙ’ｔ）と、前記対応する頭部点（ｐｔ）の前記画像座標（ｘｔ，ｙｔ）との間の平均二乗誤差関数を最小化する回帰アルゴリズムを使用することを含む、請求項１又は２に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項4】

前記誤差最小化が所定の離散化領域にわたる前記較正パラメータ（ｆ，θ，ｃ）の全数探索を含む、請求項１乃至３の何れか一項に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項5】

前記誤差最小化が勾配降下法を使用することを含む、請求項１乃至４の何れか一項に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項6】

前記誤差最小化が、所定の離散化領域にわたる中間較正パラメータ（ｆｉ，θｉ，ｃｉ）の全数探索を含む第１のステップ（１０３ａ）、及び前記第１のステップから生じる前記中間較正パラメータ（ｆｉ，θｉ，ｃｉ）に初期設定される勾配降下法を使用することを含む第２のステップ（１０３ｂ）という２つのステップを含む、請求項１乃至３の何れか一項に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項7】

前記選択ステップは、前記複数の点の対（ｐｔ，ｐｐ）を選択するために前記コンピュータ（２０）が前記点の可視性の基準に基づいて前記複数の点の対（ｐｔ，ｐｐ）のうちの点の対（ｐｔ，ｐｐ）をフィルタするフィルタリングステップ（１０１）を更に含む、請求項１乃至６の何れか一項に記載の較正パラメータを決定するための方法。

【請求項8】

前記撮像装置（１０）によって取得される前記少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）が複数の領域（Ｚ１～Ｚ９）に分割され、各領域（Ｚ１～Ｚ９）が所定の閾値以下の点の対（ｐｔ，ｐｐ）の数を含むように、前記選択ステップ（１０２）内で前記複数の点の対（ｐｔ，ｐｐ）が前記コンピュータ（２０）によって選択されている、請求項１乃至７の何れか一項に記載の較正パラメータを決定するための方法。

【請求項9】

前記複数の点の対（ｐｔ，ｐｐ）は前記撮像装置（１０）によって取得される複数の画像から生じ、前記画像の数は前記撮像装置（１０）によって画像が記録される既定の期間に対応する、請求項１乃至８の何れか一項に記載の較正パラメータを決定するための方法。

【請求項10】

コンピュータによって実行されるとき、請求項１乃至９の何れか一項に記載の較正パラメータを決定するための方法のステップを実装するプログラム命令を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は撮像による監視に関し、より具体的には、とりわけ撮像装置からの画像に基づいて実際の距離を推定するために撮像装置用の較正パラメータを自動で決定するための方法に関する。

【背景技術】

【0002】

従来技術は、画像内の関心要素を識別するために例えばニューラルネットワーク、具体的には畳み込みニューラルネットワーク又はＣＮＮを使用して実装される検出アルゴリズムを開示する。

【0003】

例えばセキュリティカメラ画像内で人又は顔を検出することが知られている。

【0004】

ここから進み、カメラが配置される高さ、カメラの傾き、及びカメラの焦点距離等のカメラのパラメータ（較正パラメータと呼ぶ）が知られている場合、少しの簡単な幾何学的考察及び投影が、検出される関心要素の量を推定すること及び観察シーン内の任意の「実際の」距離を概して測定することを可能にする。

【0005】

困難は、本質的に較正パラメータを容易に決定することに関係する。実際、数千台のカメラがそのパラメータが知られることなしに既に設置されている。当然ながら、それらのカメラの全てに対する測定を行うために人を派遣することは可能だが、かかる派遣は時間がかかり、高価であり、緊縮的なプロセスである。

【0006】

その特性が知られていない撮像装置からの画像に基づいて、例えばインターネット上に投稿された映像に基づいて、或いはその高さ及び傾きが経時的に殆ど変わらないモバイル装置を使用して撮影された映像に基づいて実際の距離を推定する必要もある。

【0007】

或る自動較正方法が提案されており、その方法は（非特許文献１）に記載されている。

【0008】

この方法は、監視カメラ映像に基づいて人の身長を推定することになる。この方法ではカメラの前を歩いている既知の大きさの人を選択し、それにより空間内の様々な位置にその人がいる複数の画像を取得する。次に、前述の人の頭及び足の位置に対する回帰によって較正パラメータを決定することができる。

【0009】

この方法は、人が画像内で本質的に縦方向の表現を有し、従って足－頭ベクトルの縦座標軸に沿ったコンポーネントは前述の足－頭ベクトルの横座標軸に沿ったコンポーネントよりも多くの情報を提供し、縦軸に沿った前述のコンポーネントは較正パラメータによって人の身長に関連付けることができるという想定に基づく。従って較正パラメータは、横軸に沿う項を無視する単純化された数学的方程式を使用して容易に決定することができる。

【0010】

この方法は、カメラによって撮影される画像内の人の身長の実際の推定の限られた使用に適している欠点、及び既知の大きさの人がその間前述のカメラの前を移動する特定の事前較正シナリオを必要とする欠点を有する。

【0011】

実際、この方法は画像に基づいて任意の実際の距離を計算するための満足な較正パラメータを与えない。画像内の人の表現が遠近法の効果によって傾く場合、推定される高さは不正確である。

【0012】

代替策として、（非特許文献２）の文献は、カメラ用の較正パラメータを評価するために消失点の推定を使用することを提案した。従ってカメラからの任意の画像を、それらの画像が垂直だと考えられる多数の人を示す限り（対象者に歩くよう特に求める必要なしに）使用することができる。

【0013】

しかし、消失点を推定すること自体が相変わらず複雑な作業であることが認められており、かかる推定は広く適用するのが困難な場合があり、過度に高価な目標を構成し、この方法が満足を与えないことを意味している。

【先行技術文献】

【非特許文献】

【0014】

【非特許文献1】“Ａ ｓｉｍｐｌｉｆｉｅｄ ｎｏｎｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｈｕｍａｎ ｈｅｉｇｈｔ ｅｓｔｉｍａｔｉｏｎ ｉｎ ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ”，Ｌｉ，Ｓ．，Ｎｇｕｙｅｎ，Ｖ．Ｈ．，Ｍａ，Ｍ．ｅｔ ａｌ

【非特許文献2】“Ｓｕｒｖｅｉｌｌａｎｃｅ Ｃａｍｅｒａ Ａｕｔｏｃａｌｉｂｒａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｐｅｄｅｓｔｒｉａｎ Ｈｅｉｇｈｔ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ”，Ｊｉｎｇｃｈｅｎ Ｌｉｕ，Ｒｏｂｅｒｔ Ｔ．Ｃｏｌｌｉｎｓ，Ｙａｎｘｉ Ｌｉ

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明は、完全に自動で簡単、ロバスト、及び普遍的な撮像装置用の較正パラメータを決定するための方法を提案することによって従来技術の上述の問題を解決することを狙う。

【課題を解決するための手段】

【0016】

本発明は、撮像装置によって取得され、複数の人を含む少なくとも１つの画像又は様々な瞬間において撮像装置（１０）によって取得され、少なくとも１人の人を含む複数の画像（ｉ，ｉ_１～ｉ_Ｎ）に基づいて撮像装置用の較正パラメータをコンピュータによって決定するための方法に関し、較正パラメータを決定するための方法は以下のステップ：
－少なくとも１つの画像内の複数の点の対をコンピュータによって選択するステップであって、点の各対は人の頭に関連する頭部点及び前述の人の足に関連する足点を含み、点の対の各点は画像横座標及び画像縦座標を含む画像座標によって少なくとも１つの画像内で参照され、点の各対は撮像装置の環境の三次元の現実世界における足－頭セグメントを定める、選択するステップと、
－較正パラメータをコンピュータによって決定するステップであって、コンピュータは撮像装置の環境の三次元の現実世界において全ての足－頭セグメントが同じ所定の高さを有し垂直だという推量により、人の足点の画像縦座標に基づいて及び較正パラメータに基づいて頭部点の推定画像縦座標を決定可能な推定器を含む、決定するステップと
を含み、
推定器は二次元であり、足点の画像座標に基づいて頭部点の推定画像横座標を決定することが更にでき、較正パラメータを決定することは二次元推定器によって推定される頭部点の前述の推定画像座標と対応する頭部点の前述の画像座標との間の誤差を最小化することを含む。

【0017】

本発明の一態様によれば、選択ステップは右足点と左足点との間の中点として足点を決定することを含む。

【0018】

本発明の一態様によれば、較正パラメータは：
－撮像装置の横の傾斜角θ、
－撮像装置の焦点距離ｆ、
－撮像装置が配置される高さｃ
を含み、推定器は以下の方程式：

【数1】

及び

【数2】

を使用し、足点の画像座標（ｘｐ，ｙｐ）に基づいて推定画像座標（ｘ’ｔ，ｙ’ｔ）を決定する。

【0019】

本発明の一態様によれば、誤差最小化が、推定器によって推定される頭部点の前述の推定画像座標と対応する頭部点の前述の画像座標との間の平均二乗誤差関数を最小化する回帰アルゴリズムを使用することを含む。

【0020】

本発明の一態様によれば、誤差最小化が所定の離散化領域にわたる較正パラメータ（ｆ，θ，ｃ）の全数探索を含む。

【0021】

本発明の一態様によれば、誤差最小化が勾配降下法を使用することを含む。

【0022】

本発明の一態様によれば、誤差最小化が、所定の離散化領域にわたる中間較正パラメータの全数探索を含む第１のステップ、及び第１のステップから生じる前述の中間較正パラメータに初期設定される勾配降下法を使用することを含む第２のステップという２つのステップを含む。

【0023】

本発明の一態様によれば、選択ステップは、複数の点の対を選択するためにコンピュータが前述の点の可視性の基準に基づいて複数の点の対のうちの点の対をフィルタするフィルタリングステップを更に含む。

【0024】

本発明の一態様によれば、撮像装置によって取得される少なくとも１つの画像が複数の領域に分割され、各領域が所定の閾値以下の点の対の数を含むように、選択ステップ内で複数の点の対がコンピュータによって選択されている。

【0025】

本発明の一態様によれば、複数の点の対が撮像装置によって取得される複数の画像から生じ、画像の数は撮像装置によって画像が記録される既定の期間に対応する。

【0026】

本発明の一態様によれば、複数の画像の各画像が、１００ｍｓを上回る期間に対応するコンピュータによる撮像装置からの画像の選択から生じる。

【0027】

本発明は、コンピュータによって実行されるとき較正パラメータを決定するための方法のステップを実装するプログラム命令を含む、コンピュータプログラム製品にも関する。

【0028】

説明及び図面を読めば本発明の他の利点及び特徴が明らかになる。

【図面の簡単な説明】

【0029】

【図1】画像座標系及び実際の環境の幾何モデルを示す。

【図2】画像内の人のスケルトン点モデルを示す。

【図3】本発明による較正パラメータを決定するための方法を実装するためのシステムの一例を示す。

【図4a】本発明による較正パラメータを決定するための方法のステップを示す。

【図4b】本発明による較正パラメータを決定するための方法の最小化ステップの或る特定の実施形態を示す。

【図5a】本発明のコンピュータによって点が選択される前の、複数の領域に分割された複数の画像の重ね合わせを示す。

【図5b】本発明のコンピュータによって点が選択された後の、図５ａの複数の画像の同じ重ね合わせを示す。

【図6】３人の人が移動している５つの画像の重ね合わせを示す。

【図7】多数の人を含む画像を示す。

【発明を実施するための形態】

【0030】

図１を参照し、撮像装置用の較正パラメータは、地球基準座標系内で表されるので「実」座標と呼ばれる撮像装置のフィールド内の点の空間座標を、撮像装置によって取得される画像内のこの点の表現の「画像」座標と呼ばれる平面座標、つまりその投影とマッチするためのパラメータを意味すると理解される。

【0031】

較正パラメータは図１に示されており、
－撮像装置１０の横の傾斜角θ、つまりカメラの主軸Ａと水平方向との間の角度によって定められるピッチ角、
－撮像装置１０の焦点距離ｆ、
－撮像装置１０が配置される高さｃ
である。

【0032】

本発明の方法は、これらの３つの較正パラメータのそれぞれを決定することを含む。これらの３つのパラメータのどれか一方が直接又は間接的に知られていることが依然として完全に可能であることに留意すべきであり、例えば撮像装置は較正された焦点距離ｆを有することができ、或いは高さｃはカメラの設置時に明確に選択されている場合がある。

【0033】

図１は、地上の或る高さに配置された撮像装置１０を示す。撮像装置の環境は、その原点が撮像装置１０に対して垂直な地上の点である地球基準座標系によって三次元の現実世界内で参照される。地球基準座標系の軸は、上向きであり撮像装置１０を通過する軸Ｙ、及び撮像装置１０がその上に配置される地面内に位置する２つの軸Ｘ、Ｚを含む。撮像装置は地球基準系において座標（Ｘ，Ｙ，Ｚ）＝（０，ｃ，０）を有する。

【0034】

撮像装置１０の視野内に立っている人がいる。地球基準座標系においてこの人は、この人の頭部に関連する座標（Ｘｔ，Ｙｔ，Ｚｔ）を有する頭部点Ｐｔ及びこの人の足に関連する座標（Ｘｐ，Ｙｐ，Ｚｐ）を有する足点Ｐｐによって参照される。頭部点Ｐｔ及び足点Ｐｐは、撮像装置１０の環境の三次元の現実世界における足－頭セグメントＰＴを定める。

【0035】

撮像装置１０によって取得される画像ｉの中で二次元画像基準系が定められる。この画像基準系は原点として画像ｉの中心を有し、横座標軸ｘ及び縦座標軸ｙという２つの軸を含む。画像座標系では、人の頭部点ｐｔが座標（ｘｔ，ｙｔ）を有し、人の足点ｐｐが座標（ｘｐ，ｙｐ）を有する。

【0036】

撮像装置１０は、少なくとも較正パラメータに関して好ましくは固定される。例えば撮像装置１０は、水平の並進運動を可能にするレール上に設置することができる。但し、その動きが知られているという条件で撮像装置は完全に可動式とすることができ、基準系を変更するための対応する方程式をどのように適用するのかは当業者なら明確に分かる。

【0037】

この脈絡に関して幾つかの仮定を更に有利に行う：
－撮像装置１０のロール角は無視できると仮定し、
－撮像装置１０のヨー角は無視できると仮定し、
－撮像装置１０によって取得される画像ｉ内の歪みは無視できると仮定し、
－撮像装置１０の光学的中心は画像ｉの中心に対応し、
－撮像装置１０の環境の地面は撮像装置１０の視野内で平らである。

【0038】

図２は画像ｉを示し、頭部点ｐｔ、左足点ｐｐｇ、及び右足点ｐｐｄを含む１５点のスケルトンモデルによって人が画像ｉ内でモデリングされている。

【0039】

有利には、本発明の足点ｐｐは左足点ｐｐｇと右足点ｐｐｄとの間の中点である。

【0040】

図３は、撮像装置１０、人検出器１１、及びコンピュータ２０を含むシステムを示す。

【0041】

撮像装置１０は、自らの環境のシーンの画像ｉ_１，ｉ_２，ｉ_３を取得することができる。撮像装置１０は好ましくはビデオカメラだが、例えばシーンの画像を立て続けに撮影可能な写真用カメラでもよい。

【0042】

人検出器１１は撮像装置１０によって取得される画像ｉ_１，ｉ_２，ｉ_３内の人を検出するように、及び例えば図２に示す１５点のスケルトンを生成するために人のキーポイントを決定するように構成される。有利には、キーポイントは人の頭頂部に対応する頭部点ｐｔ、人の左のかかとに対応する左足点ｐｐｇ、及び人の右のかかとに対応する右足点ｐｐｄを含む。

【0043】

人検出器１１は互いに通信可能な２つの別個の二次装置に分けることができ、第１の装置は画像ｉ内の人を検出することができ、第２の装置は第１の装置によって検出される人に対応するスケルトン点を例えば回帰によって生成することができる。

【0044】

各スケルトン点ｐｐｇ、ｐｐｄ、ｐｔは画像ｉ_１，ｉ_２，ｉ_３内の二次元座標に関連する。

【0045】

スケルトン点の二次元座標は本発明の方法を実行するために直接、又は二次元座標が図１に記載し図示した画像基準系内で参照されない場合は基準系の潜在的な変更後にコンピュータ２０によって使用可能である。

【0046】

有利には、各スケルトン点ｐｐｇ、ｐｐｄ、ｐｔは画像ｉ_１，ｉ_２，ｉ_３内の可視性に関する可視性スコアに更に関連する。可視性スコアは画像内の前述のスケルトン点の可視性を評価することを可能にし、従ってスケルトン点の二次元座標に関する信頼性指標を表す。

【0047】

コンピュータ２０は、人検出器１１によって検出されるそれぞれの人について、人検出器１１によって提供されるスケルトン点の中から頭部点ｐｔ及び足点ｐｐを抽出可能な抽出器２４を含む。

【0048】

コンピュータ２０は、それらの頭部点ｐｔ及び足点ｐｐの中から、それ自体で又は組み合わせて解釈される以下の複数の基準に基づいて同一人物に関連する頭部点ｐｔ及び足点ｐｐを含む複数の点の対（ｐｔ，ｐｐ）を選択可能なセレクタ２３を含む：
－頭部点ｐｔ及び／又は足点ｐｐに関連する可視性スコアであって、人検出器１１によって提供されるスケルトン点に関連する可視性スコアから推論することができる、可視性スコア、
－画像ｉ_１，ｉ_２，ｉ_３内の頭部点ｐｔ及び足点ｐｐの分布、位置、及び／又は数、
－頭部点ｐｔ及び／又は足点ｐｐの互いに対する時間的又は地理的な近接性。

【0049】

コンピュータ２０は、前述の足点ｐｐの画像座標（ｘｐ，ｙｐ）に基づいて及び較正パラメータｆ、θ、ｃに基づいて頭部点ｐｔの推定画像座標を決定可能な二次元推定器２１を含む。

【0050】

コンピュータ２０は、推定器２１によって推定される頭部点ｐｔの画像座標と人検出器１１から生じる頭部点ｐｔの画像座標（ｘｔ，ｙｔ）との間の誤差を最小化することができるミニマイザ２２を含む。

【0051】

抽出器２４、セレクタ２３、推定器２１、及びミニマイザ２２は、有利にはコンピュータ２０のソフトウェアモジュールである。

【0052】

図４ａ及び図４ｂは、
－コンピュータ２０が複数の点の対（ｐｔ，ｐｐ）を選択する選択ステップ１０２であって、点の各対（ｐｔ，ｐｐ）は撮像装置１０によって撮影される画像ｉ，ｉ_１，ｉ_２，ｉ_３内の人に関連している、選択ステップ１０２、
－選択した複数の点の対（ｐｔ，ｐｐ）に基づいて撮像装置１０用の較正パラメータを決定するステップ１０３
を含む、本発明による方法のステップを示す。

【0053】

点の複数の対（ｐｔ，ｐｐ）を選択できるようにするために、コンピュータ２０は様々な瞬間において取得される撮像装置１０からの複数の画像ｉ_１，ｉ_２，ｉ_３、例えば撮像装置１０によって取得される映像からの複数の画像を概して必要とする。複数の画像ｉ_１，ｉ_２，ｉ_３は、例えば単一の人がシーン内で移動していても、コンピュータ２０が複数の点の対（ｐｔ，ｐｐ）を選択することを可能にする。

【0054】

一例によれば、図６は３人の人を含む５つの画像ｉ_１～ｉ_５の重ね合わせを示し、画像ｉ_１～ｉ_５は撮像装置１０によって様々な瞬間において撮影されている。撮像装置１０のフィールド内で３人の人が移動しているので、この画像ｉ_１～ｉ_５の重ね合わせは１５個の点の対（ｐｔ，ｐｐ）を含む。

【0055】

例えば撮像装置１０の視野内に大勢の人がいる場合、撮像装置１０によって取得される単一の画像ｉはコンピュータ２０が複数の点の対（ｐｔ，ｐｐ）を選択することを可能にする。かかる画像ｉは例えば図７に示されている。

【0056】

従ってコンピュータ２０は、撮像装置１０によって取得され、少なくとも１人の人を含む少なくとも１つの画像ｉ，ｉ_１，ｉ_２，ｉ_３、ｉ_４，ｉ_５から生じる点の対（ｐｔ，ｐｐ）を必要とする。これらの点の対（ｐｔ，ｐｐ）は、例えば上記の人検出器１１によって提供される。

【0057】

選択ステップ１０２において、コンピュータ２０は少なくとも１つの画像ｉ，ｉ_１，ｉ_２，ｉ_３、ｉ_４，ｉ_５内の複数の点の対（ｐｔ，ｐｐ）を選択し、点の各対（ｐｔ，ｐｐ）は人の頭に関連する頭部点ｐｔ及び前述の人の足に関連する足点ｐｐを含む。

【0058】

コンピュータ２０は撮像装置によって画像が取得されるとき、具体的には人検出器１１によって点が提供されるとき点の対（ｐｔ，ｐｐ）を選択することができる。

【0059】

代替策として、コンピュータ２０は複数の画像の取得後に、例えば撮像装置１０によって画像が取得される既定の取得期間後に、具体的には人検出器１１が複数の画像に対応する点を提供した後に複数の点の対（ｐｔ，ｐｐ）を選択することができる。

【0060】

点の対（ｐｔ，ｐｐ）の各点ｐｔ、ｐｐは、画像横座標ｘｔ、ｘｐ及び画像縦座標ｙｔ、ｙｐを含む画像座標（ｘｔ，ｙｔ）、（ｘｐ，ｙｐ）によって少なくとも１つの画像ｉ，ｉ_１，ｉ_２，ｉ_３、ｉ_４，ｉ_５内で参照される。

【0061】

画像ｉ内の頭部点ｐｔの座標は（ｘｔ，ｙｔ）である。

【0062】

画像ｉ内の足点ｐｐの座標は（ｘｐ，ｙｐ）である。

【0063】

較正パラメータ（ｆ，θ，ｃ）をより信頼できるやり方で決定するために、複数の点の対（ｐｔ，ｐｐ）が１つ又は複数の画像ｉ，ｉ_１，ｉ_２，ｉ_３内の均質分布に、つまり撮像装置１０の視野内の人の相対的に均質な分布に可能な限り対応することが好ましい。

【0064】

従って図５ａ及び図５ｂに示すように、特定の実施形態によれば、撮像装置１０によって取得される少なくとも１つの画像ｉ，ｉ_１，ｉ_２，ｉ_３、ｉ_４，ｉ_５が複数の領域Ｚ１～Ｚ９に、例えば図示のように９つの領域に分割される。

【0065】

様々な領域Ｚ１～Ｚ９との間の、とりわけ別の領域Ｚ１～Ｚ７と比較して点の対（ｐｔ，ｐｐ）で過度に埋められた領域Ｚ８、Ｚ９との間の過大な不均衡を回避するために、各領域Ｚ１～Ｚ９が所定の閾値以下の点の対（ｐｔ，ｐｐ）の数を含むようにコンピュータ２０は複数の点の対（ｐｔ，ｐｐ）を選択する。従って、２つの領域間の点の対の数の差はこの所定の閾値を上回ることができない。

【0066】

この選択モードによれば、コンピュータ２０は点の対（ｐｔ，ｐｐ）の数が所定の閾値以下の領域Ｚ１～Ｚ９の全ての点の対を保持する。

【0067】

この選択モードによれば、コンピュータ２０は、点の対（ｐｔ，ｐｐ）の数が所定の閾値を上回る領域Ｚ１～Ｚ９内の点の対（ｐｔ，ｐｐ）の数を、前述の領域Ｚ１～Ｚ９内の点の対（ｐｔ，ｐｐ）の数に関する前述の所定の閾値に達するまで減らす。

【0068】

代替策として、コンピュータ２０は、各領域Ｚ１～Ｚ９内の点の対（ｐｔ，ｐｐ）の数を、前述の領域Ｚ１～Ｚ９内の点の対（ｐｔ，ｐｐ）の数に関する前述の所定の閾値に達するまで選択し、例えば既定の持続時間が経過した後で点の対の選択を止める。従って、一部の領域は所定の閾値に対応する点の対（ｐｔ，ｐｐ）によって最大限まで埋められ、他の領域は、例えば撮像装置がそれらの他の領域内で既定の持続時間中により少ない人を捕捉したので、点の対（ｐｔ，ｐｐ）によってあまり埋められない。

【0069】

図５ａでは、図示の点の対（ｐｔ，ｐｐ）は、例えば１０秒間にわたって撮像装置１０によって取得される複数Ｎの画像ｉ_１～ｉ_Ｎから生じ、図示の点ｐｔ、ｐｐは人検出器１１によって検出される人に対応する。

【0070】

図５ｂでは、図示の点の対（ｐｔ，ｐｐ）は、各領域Ｚ１～Ｚ９がこの事例では２に等しい所定の閾値以下の点の対（ｐｔ，ｐｐ）の数を含むように、コンピュータ２０によって選択された複数の点の対（ｐｔ，ｐｐ）を表す。

【0071】

例えば領域Ｚ１～Ｚ９内の点の対（ｐｔ，ｐｐ）の数を所定の閾値以下の数まで制限するために点の対（ｐｔ，ｐｐ）を選択することはランダム又は疑似ランダムである。

【0072】

例えば点の対（ｐｔ，ｐｐ）の数を所定の閾値以下の数まで制限するために点の対（ｐｔ，ｐｐ）を選択することは、領域内で可能な限り均一な点の対の分布を優先するものである。

【0073】

例えば点の対（ｐｔ，ｐｐ）の数を所定の閾値以下の数まで制限するために点の対（ｐｔ，ｐｐ）を選択することは、画像内で地理的に近い画像座標を有する２つの点の対（ｐｔ，ｐｐ）について、２つの頭部点ｐｔ及び／又は２つの足点ｐｐ間の距離が所定の距離未満である場合、点の対（ｐｔ，ｐｐ）の１つを除去できるものである。

【0074】

画像内で互いに過度に地理的に近い点の対（ｐｔ，ｐｐ）の冗長性又は疑似冗長性を回避するために、コンピュータは所定の期間、例えば１００ｍｓから５００ｍｓの期間の分だけ時間的に隔たったコンピュータによる撮像装置からの画像に対応する点の対（ｐｔ，ｐｐ）を選択することができる。

【0075】

選択ステップ１０２は、複数の点の対（ｐｔ，ｐｐ）を選択するために、コンピュータ２０が点の対（ｐｔ，ｐｐ）を前述の点の可視性の基準に基づいてフィルタする任意選択的なフィルタリングステップ１０１を含む。

【0076】

例えば可視性の基準は、頭部点ｐｔ及び足点ｐｐに関連し、人検出器１１によって提供される可視性スコアに基づく。或る例示的実施形態によれば、人の頭部点ｐｔ又は足点ｐｐに関連する可視性スコアの閾値未満では、対応する点の対（ｐｔ，ｐｐ）は複数の点の対の中に保持されない。

【0077】

決定ステップ１０３では、人の足点ｐｐの画像座標（ｘｐ，ｙｐ）に基づいて及び較正パラメータ（ｆ，θ，ｃ）に基づいて頭部点ｐｔの推定画像座標（ｘ’ｔ，ｙ’ｔ）をコンピュータ２０の二次元推定器２１が決定する。

【0078】

足点ｐｐの画像座標（ｘｐ，ｙｐ）に基づいて頭部点ｐｔの推定画像座標（ｘ’ｔ，ｙ’ｔ）を決定するために、推定器２１は以下の推量を行う：
－撮像装置の環境の三次元の現実世界では人が全て同じ大きさであり、つまり全ての足－頭セグメントＰＴが同じ所定の高さＨを有する。
－撮像装置の環境の三次元の現実世界では人が全て立っていて直立であり、つまり全ての足－頭セグメントＰＴが垂直である。

【0079】

撮像装置１０の投影行列Ｐは、以下のように較正パラメータ（ｆ，θ，ｃ）に基づいて定められる：

【数3】

【0080】

地球基準座標系及び画像基準系は図１に示されている。

【0081】

画像基準系内の座標（ｘ，ｙ）を有する画像点は、較正パラメータ（ｆ，θ，ｃ）により、地球基準座標系内の座標（Ｘ，Ｙ，Ｚ）を有する実点に対応する。

【0082】

より具体的には、以下の関係を使用し、対応する実点の均質表現（Ｘｈ，Ｙｈ，Ｚｈ，１）の投影行列Ｐによる乗算により、画像点の均質表現（ｘｈ，ｙｈ，ｗｈ）を得ることができる：

【数4】

【0083】

デカルト座標に切り替えることは、画像基準系内の座標（ｘ，ｙ）を有する画像点と地球基準座標系内の座標（Ｘ，Ｙ，Ｚ）を有する実点との間の以下の関係を与える：

【数5】

【0084】

コンピュータ２０の推定器２１によって行われる推量を使用し、装置１０の視野内のどの人も高さＨの垂直な足－頭セグメントＰＴを有する。

【0085】

従って、地球基準座標系内の人について
Ｘｐ＝Ｘｔ、Ｚｐ＝Ｚｔ、Ｙｐ＝０、及びＹｔ＝Ｈ
と書くことができる。

【0086】

従って頭部点（ｐｔ）の画像座標（ｘｔ，ｙｔ）及び足点（ｐｐ）の画像座標（ｘｐ，ｙｐ）は、その実座標（Ｘｔ，Ｙｔ，Ｚｔ）、（Ｘｐ，Ｙｐ，Ｚｐ）に基づいて及び較正パラメータ（ｆ，θ，ｃ）に基づいて以下のように表すことができる：

【数6】

【0087】

これらの数式に基づいて及び単純化後、コンピュータ２０の推定器２１は画像ｉ内の人の頭部点ｐｔの推定画像座標（ｘ’ｔ，ｙ’ｔ）を以下の方程式を使用して決定する：

【数7】

及び

【数8】

【0088】

これらの方程式に関連する単位は以下の通りである：
－人の平均身長Ｈはセンチメートル単位、
－焦点距離ｆはピクセル単位、
－角度θはラジアン単位、
－高さｃはセンチメートル単位。

【0089】

高さＨは調節されるべきパラメータである。高さＨは人の平均身長を表す。

【0090】

次にコンピュータ２０のミニマイザ２２が、二次元推定器２１によって推定される頭部点（ｐｔ）の前述の推定画像座標（ｘ’ｔ，ｙ’ｔ）と対応する頭部点（ｐｔ）の前述の画像座標（ｘｔ，ｙｔ）との間の誤差の最小化を行うことによって較正パラメータ（ｆ，θ，ｃ）を決定する。

【0091】

例えば高さＨは、人の平均的な大きさに対応する所定値である１６０ｃｍに固定される。

【0092】

誤差最小化は、例えば推定器２１によって推定される頭部点ｐｔの前述の推定画像座標（ｘ’ｔ，ｙ’ｔ）と、対応する頭部点ｐｔの前述の画像座標（ｘｔ，ｙｔ）との間の平均二乗誤差関数を最小化する回帰アルゴリズムを使用することを含む。

【0093】

Ｍ個の点の対（ｐｔ，ｐｐ）を含む複数の点の対（ｐｔ，ｐｐ）では、狙いは以下の誤差関数を最小化する較正パラメータ（ｆ，θ，ｃ）を見つけることである：

【数9】

【0094】

有利には、誤差最小化は所定の離散化領域にわたる較正パラメータ（ｆ，θ，ｃ）の全数探索を含む。

【0095】

或る例示的実施形態によれば、この領域は次の３つの範囲、ｆ∈［０．１・ｈｉ，６・ｈｉ］、

【数10】

、ｃ∈［５０，４５００］によって定められ、但しｈｉはピクセル単位で表される画像の高さであり、各範囲は範囲のそれぞれにわたって均一に分布する５０個の値に離散化されている。

【0096】

従って、較正パラメータ（ｆ，θ，ｃ）の三つ組の１２５ ０００の値が確認され、二次元推定器によって推定される頭部点ｐｔの推定画像座標（ｘ’ｔ，ｙ’ｔ）と頭部点ｐｔの画像座標（ｘｔ，ｙｔ）との間の誤差を最小化する較正パラメータ（ｆ，θ，ｃ）が、コンピュータ２０のミニマイザ２２によって保持されるものである。

【0097】

平均二乗誤差関数を最小化する回帰アルゴリズムを使用する場合、平均二乗誤差関数を最小化する較正パラメータ（ｆ，θ，ｃ）が、コンピュータ２０のミニマイザ２２によって保持されるものである。

【0098】

誤差最小化は例えば勾配降下法を使用することを含む。

【0099】

具体的には、勾配降下法がＬ－ＢＦＧＳ－Ｂアルゴリズムに基づく。

【0100】

有利には、誤差最小化は上記で提案した２つの例を組み合わせる。従って誤差最小化は、所定の離散化領域にわたる中間較正パラメータ（ｆｉ，θｉ，ｃｉ）の全数探索を含む第１のステップ１０３ａ、及び第１のステップから生じる前述の中間較正パラメータ（ｆｉ，θｉ，ｃｉ）に初期設定される勾配降下法を使用することを含む第２のステップ１０３ｂという２つのステップを含む。

【0101】

平均二乗誤差関数を最小化する回帰アルゴリズムを使用する場合、勾配降下法は以下の誤差関数：

【数11】

を最小化する中間較正パラメータ（ｆｉ，θｉ，ｃｉ）に初期設定される。

【0102】

本発明の方法に必要な画像の数はコンピュータの選択方法によって決まる。

【0103】

本発明の方法によれば及び第１の方法によれば、コンピュータ２０は撮像装置１０によって画像が取得される既定の取得期間に対応する幾つかの画像ｉ_１～ｉ_Ｎに関係する点の中から複数の点の対（ｐｔ，ｐｐ）を選択する。

【0104】

撮像装置１０によって画像が取得されるときコンピュータ２０によって点の対（ｐｔ，ｐｐ）が選択される第２の方法によれば、幾つかの画像ｉ_１～ｉ_Ｎは所定値に関して到達する幾つかの選択された点の対（ｐｔ，ｐｐ）に全体的に又は画像内の領域Ｚ１～Ｚ９に関して対応する。

【符号の説明】

【0105】

１０ 撮像装置
１１ 人検出器
２０ コンピュータ
２１ 推定器
２２ ミニマイザ
２３ セレクタ
２４ 抽出器

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6】

【図7】

【手続補正書】

【提出日】2023-01-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮像装置（１０）によって取得され、複数の人を含む少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）に基づいて、又は様々な瞬間において前記撮像装置（１０）によって取得され、少なくとも１人の人を含む複数の画像（ｉ，ｉ_１～ｉ_Ｎ）に基づいて前記撮像装置（１０）用の較正パラメータ（ｆ，θ，ｃ）をコンピュータ（２０）によって決定するための方法であって、
－前記少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）内の複数の点の対（ｐｔ，ｐｐ）を前記コンピュータ（２０）によって選択するステップ（１０２）であって、点の各対（ｐｔ，ｐｐ）は人の頭に関連する頭部点（ｐｔ）及び前記人の足に関連する足点（ｐｐ）を含み、点の対（ｐｔ，ｐｐ）の各点（ｐｔ，ｐｐ）は画像横座標（ｘｔ，ｘｐ）及び画像縦座標（ｙｔ，ｙｐ）を含む画像座標によって前記少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）内で参照され、点の各対（ｐｔ，ｐｐ）は前記撮像装置（１０）の環境の三次元の現実世界における足－頭セグメント（ＰＴ）を定める、選択するステップ（１０２）と、
－較正パラメータ（ｆ，θ，ｃ）を前記コンピュータ（２０）によって決定するステップ（１０３）であって、前記コンピュータ（２０）は前記撮像装置の前記環境の前記三次元の現実世界において全ての足－頭セグメントが同じ所定の高さ（Ｈ）を有し垂直だという推量により、人の前記足点（ｐｐ）の前記画像縦座標（ｙｐ）に基づいて及び前記較正パラメータ（ｆ，θ，ｃ）に基づいて頭部点（ｐｔ）の推定画像縦座標（ｙ’ｔ）を決定可能な推定器（２１）を含む、決定するステップ（１０３）と
を含み、
前記推定器（２１）は二次元であり、前記足点（ｐｐ）の前記画像座標（ｘｐ，ｙｐ）に基づいて頭部点（ｐｔ）の推定画像横座標（ｘ’ｔ）を決定することが更にでき、前記較正パラメータ（ｆ，θ，ｃ）を決定することは前記二次元推定器によって推定される前記頭部点（ｐｔ）の前記推定画像座標（ｘ’ｔ，ｙ’ｔ）と前記対応する頭部点（ｐｔ）の前記画像座標（ｘｔ，ｙｔ）との間の誤差を最小化することを含むことを特徴とする、
較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項2】

前記較正パラメータ（ｆ，θ，ｃ）が：
－前記撮像装置（１０）の横の傾斜角（θ）、
－前記撮像装置（１０）の焦点距離（ｆ）、
－前記撮像装置（１０）が配置される高さ（ｃ）
を含み、
前記推定器（２１）が以下の方程式：

【数1】

及び

【数2】

を使用して前記推定画像座標（ｘ’ｔ，ｙ’ｔ）を決定する、
請求項１に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項3】

前記誤差最小化が、前記推定器（２１）によって推定される前記頭部点（ｐｔ）の前記推定画像座標（ｘ’ｔ，ｙ’ｔ）と、前記対応する頭部点（ｐｔ）の前記画像座標（ｘｔ，ｙｔ）との間の平均二乗誤差関数を最小化する回帰アルゴリズムを使用することを含む、請求項１に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項4】

前記誤差最小化が所定の離散化領域にわたる前記較正パラメータ（ｆ，θ，ｃ）の全数探索を含む、請求項１に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項5】

前記誤差最小化が勾配降下法を使用することを含む、請求項１に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項6】

前記誤差最小化が、所定の離散化領域にわたる中間較正パラメータ（ｆｉ，θｉ，ｃｉ）の全数探索を含む第１のステップ（１０３ａ）、及び前記第１のステップから生じる前記中間較正パラメータ（ｆｉ，θｉ，ｃｉ）に初期設定される勾配降下法を使用することを含む第２のステップ（１０３ｂ）という２つのステップを含む、請求項１に記載の較正パラメータ（ｆ，θ，ｃ）を決定するための方法。

【請求項7】

前記選択ステップは、前記複数の点の対（ｐｔ，ｐｐ）を選択するために前記コンピュータ（２０）が前記点の可視性の基準に基づいて前記複数の点の対（ｐｔ，ｐｐ）のうちの点の対（ｐｔ，ｐｐ）をフィルタするフィルタリングステップ（１０１）を更に含む、請求項１に記載の較正パラメータを決定するための方法。

【請求項8】

前記撮像装置（１０）によって取得される前記少なくとも１つの画像（ｉ，ｉ_１～ｉ_Ｎ）が複数の領域（Ｚ１～Ｚ９）に分割され、各領域（Ｚ１～Ｚ９）が所定の閾値以下の点の対（ｐｔ，ｐｐ）の数を含むように、前記選択ステップ（１０２）内で前記複数の点の対（ｐｔ，ｐｐ）が前記コンピュータ（２０）によって選択されている、請求項１に記載の較正パラメータを決定するための方法。

【請求項9】

前記複数の点の対（ｐｔ，ｐｐ）は前記撮像装置（１０）によって取得される複数の画像から生じ、前記画像の数は前記撮像装置（１０）によって画像が記録される既定の期間に対応する、請求項１に記載の較正パラメータを決定するための方法。

【請求項10】

コンピュータによって実行されるとき、請求項１に記載の較正パラメータを決定するための方法のステップを実装するプログラム命令を含む、コンピュータプログラム製品。

【外国語明細書】