特開 2024-172545 足元位置認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172545

(43)【公開日】2024-12-12

(54)【発明の名称】足元位置認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

   H04N 7/18 20060101ALI20241205BHJP

【ＦＩ】

G06T7/00 660B

H04N7/18 K

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023090333

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】角間 大輔

(72)【発明者】

【氏名】岡 雄平

(72)【発明者】

【氏名】千葉 寛也

(72)【発明者】

【氏名】江頭 和輝

(72)【発明者】

【氏名】菅野 達也

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FE13

5C054HA19

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096EA35

5L096FA69

5L096HA08

(57)【要約】

【課題】バウンディングボックスを用いてカメラ画像に含まれる人物の足元位置を認識する場合において、この認識の誤差を低減する。
【解決手段】カメラ画像に含まれる人物の足元の位置を認識する方法が提供される。この方法では、まず、カメラ画像が取得される。続いて、前記カメラ画像が所定ロール角だけ回転されて、矩形の加工画像が生成される。続いて、前記矩形の加工画像に含まれる人物を囲むバウンディングボックスが付与される。ここで、前記バウンディングボックスの４辺は、前記矩形の加工画像の各辺とそれぞれ平行に設定される。そして、前記バウンディングボックスの右下又は左下の頂点のうち、前記カメラ画像の回転方向とは反対の方向の頂点の位置が、前記バウンディングボックスにより囲まれた人物の足元位置として推定される。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラ画像に含まれる人物の足元の位置を認識する方法であって、
前記カメラ画像を取得するステップと、
前記カメラ画像を所定ロール角だけ回転させて、矩形の加工画像を生成するステップと、
前記矩形の加工画像に含まれる人物を囲むバウンディングボックスを付与するステップであって、前記バウンディングボックスの４辺が、前記矩形の加工画像の各辺とそれぞれ平行に設定されるステップと、
前記バウンディングボックスの右下又は左下の頂点のうち、前記カメラ画像の回転方向とは反対の方向の頂点の位置を、前記バウンディングボックスにより囲まれた人物の足元位置として推定するステップと、
を含む
ことを特徴とする足元位置認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラ画像に含まれる人物の足元の位置を認識する方法に関する。

【背景技術】

【0002】

特開２０１７－１２４８９７号公報は、エレベータの利用者の足元を認識する方法を開示する。この従来の方法は、エレベータの乗りかごが乗り場に到着して乗りかごのドアが開いたときに、この乗りかごの内側に取り付けられたカメラを用いて乗り場の画像を取得する。そして、この乗り場の画像解析によって乗り場から乗りかごに乗り込む利用者の足元を推定する。この画像解析では、乗り場の画像を複数のブロックに分割し、ブロックごとの平均輝度値を時系列順に並べる。そして、各時刻において取得された乗り場の画像をブロック単位で比較する。これにより、利用者の動きを検出する。また、利用者の動きが検出されたブロックであって、乗りかごのドアに最も近いブロックの中心座標を、乗りかごに乗り込む利用者の足元位置と推定する。

【0003】

本開示に関連する技術分野の技術水準を示す文献としては、特開２０１７－１２４８９７号公報の他に、特開２０２０－１４５５１１号公報及び特開２０２１－０６８０５９号公報を例示することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１２４８９７号公報

【特許文献2】特開２０２０－１４５５１１号公報

【特許文献3】特開２０２１－０６８０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、カメラ画像に含まれる人物を認識、追跡するために、この人物を囲むバウンディングボックスを用いる手法が公知である。しかしながら、バウンディングボックスの下辺の中点を人物の足元位置と推定した場合、カメラ画像内の人物の座標によってはこの足元位置の認識に誤差が生じることがある。よって、この認識の誤差を低減するための改良が求められる。

【0006】

本開示の１つの目的は、バウンディングボックスを用いてカメラ画像に含まれる人物の足元位置を認識する場合において、この認識の誤差を低減することが可能な技術を提供することにある。

【課題を解決するための手段】

【0007】

本開示は、カメラ画像に含まれる人物の足元の位置を認識する方法であり、次の特徴を有する。
前記方法は、
前記カメラ画像を取得するステップと、
前記カメラ画像を所定ロール角だけ回転させて、矩形の加工画像を生成するステップと、
前記矩形の加工画像に含まれる人物を囲むバウンディングボックスを付与するステップであって、前記バウンディングボックスの４辺が、前記矩形の加工画像の各辺とそれぞれ平行に設定されるステップと、
前記バウンディングボックスの右下又は左下の頂点のうち、前記カメラ画像の回転方向とは反対の方向の頂点の位置を、前記バウンディングボックスにより囲まれた人物の足元位置として推定するステップと、
を含む。

【発明の効果】

【0008】

カメラ画像の左右の端に位置する人物の足元の位置の推定に誤差が生じる傾向がある。この点、本開示によれば、カメラ画像を所定ロール角回転させて生成した矩形の加工画像にバウンディングボックスを付与し、このバウンディングボックスの右下又は左下の頂点のうち、カメラ画像の回転方向とは反対の方向（回転方向が右なら左下、回転方向が左なら右下）の頂点の位置を人物の足元位置と推定するので、足元位置の推定の誤差の低減が期待される。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る足元位置認識方法を説明する図である。

【図2】従来の足元位置認識方法の一例を説明する図である。

【図3】実施形態に係る方法を図２に示したカメラ画像に適用した場合を説明する図である。

【図4】実施形態に係る方法を図２に示したカメラ画像に適用した場合を説明する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本開示の実施形態について説明する。尚、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。

【0011】

実施形態に係る足元位置認識方法（以下、単に「方法」とも称す。）は、コンピュータ処理により実現される。コンピュータには、ＣＣＤカメラが有線又は無線で接続されている。ＣＣＤカメラは、例えば、信号機、歩道橋といった道路構造物、商業施設、駐車場、工場などの各種施設に設けられるインフラカメラである。インフラカメラは、道路構造物や施設の天井、支柱、壁面などに取り付けられ、事前に設定された範囲を撮像する。事前に設定された範囲には、カメラの周囲に存在する道路、床などの平坦面が含まれている。

【0012】

図１は、実施形態に係る方法を説明する図である。図１に示されるように、実施形態に係る方法では、まず、カメラ画像ＩＭＧ＿Ｏが取得される（ステップＳ１）。カメラ画像ＩＭＧ＿Ｏは、ＣＣＤカメラから取り込まれた画像、又は、この画像に対して所定のフィルタを用いた前処理を行った後の画像である。この前処理は、ＣＣＤカメラに付属の画像処理装置で行われてもよいし、実施形態に係る方法を実現するコンピュータにより行われてもよい。

【0013】

ステップＳ１の処理に続いて、矩形の加工画像ＩＭＧ＿Ｐが生成される（ステップＳ２）。加工画像ＩＭＧ＿Ｐの生成に際しては、まず、ステップＳ１で取得されたカメラ画像ＩＭＧ＿Ｏを所定ロール角だけ回転させる。ロール角は、ＣＣＤカメラの光軸周りの角度である。ロール方向は左又は右方向であり、図１ではカメラ画像ＩＭＧ＿Ｏが右方向に回転されている。所定ロール角は、例えば、０°よりも大きく４５°よりも小さい角度であり、事前に設定される。別の例では、カメラ画像ＩＭＧ＿Ｏに含まれる平坦面の傾き（ロールの度合い）を相殺する角度が所定ロール角に設定される。回転後のカメラ画像ＩＭＧ＿Ｏを「カメラ画像ＩＭＧ＿Ｒ」と称す。

【0014】

カメラ画像ＩＭＧ＿Ｒが得られたら、加工画像ＩＭＧ＿Ｐが生成される。図１には、加工画像ＩＭＧ＿Ｐの生成例が２つ示されている。第１の例（Ｅｘ．１）では、カメラ画像ＩＭＧ＿Ｒに対するクロップ処理が行われる。クロップ処理では、例えば、カメラ画像ＩＭＧ＿Ｒの中心部及び４つの角部を含む矩形の領域が切り出される。クロップ処理により得られた矩形の画像（クロップ画像）は、加工画像ＩＭＧ＿Ｐの一例である（加工画像ＩＭＧ＿Ｐ１）。

【0015】

第２の例（Ｅｘ．２）では、カメラ画像ＩＭＧ＿Ｒの周囲を塗りつぶす処理が行われる。この処理では、まず、カメラ画像ＩＭＧ＿Ｒの４つの角部を含んだ矩形の領域が設定される。続いて、設定された矩形領域とカメラ画像ＩＭＧ＿Ｒの画像領域の間の余白部分が単色（例えば、黒色）で塗りつぶされる。一連の処理により得られた矩形の画像（余白埋め画像）も、加工画像ＩＭＧ＿Ｐの一例である（加工画像ＩＭＧ＿Ｐ２）。

【0016】

ステップＳ２の処理に続いて、加工画像ＩＭＧ＿Ｐに含まれる物体を囲むバウンディングボックスＢＢが付与される（ステップＳ３）。この処理では、加工画像ＩＭＧ＿Ｐを入力とする物体検出により、物体（図１に示される例では、人物）を囲む部分にバウンディングボックスＢＢが付与（割り当て）される。バウンディングボックスを用いた画像内の物体検出技術は公知技術であり、本明細書での詳細な説明については省略する。実施形態では、付与されるバウンディングボックスＢＢの４辺が、加工画像ＩＭＧ＿Ｐの４辺の向きとそれぞれ平行とされている。つまり、バウンディングボックスＢＢの付与が、カメラ画像ＩＭＧ＿Ｏやカメラ画像ＩＭＧ＿Ｒではなく、加工画像ＩＭＧ＿Ｐを基準として行われる。

【0017】

ステップＳ３の処理に続いて、足元位置の推定が行われる（ステップＳ４）。この処理では、ステップＳ３の処理で物体に割り当てられたバウンディングボックスＢＢの右下又は左下の頂点の位置が足元位置として推定される。足元位置として推定されるのは、ステップＳ２の処理においてカメラ画像ＩＭＧ＿Ｏを回転させた方向とは反対の方向の頂点の位置である。即ち、回転方向が右方向の場合は左下の頂点が足元位置として推定され、回転方向が左方向の場合は右下の頂点が足元位置として推定される。尚、図１に示される例では、カメラ画像ＩＭＧ＿Ｏが右方向に回転されている。そのため、バウンディングボックスＢＢの左下の頂点の位置が、これによって囲まれる人物の足元位置として推定されることになる。

【0018】

図２－４は、実施形態に係る方法をより具体的に説明する図である。図２は、従来の方法の一例を説明する図であり、図３及び４は、実施形態に係る方法を図２に示したカメラ画像に適用した場合を説明する図である。

【0019】

図２に示される例では、カメラ画像ＩＭＧ＿Ｏに含まれる各人物にバウンディングボックスＢＢ１～５がそれぞれ割り当てられている。バウンディングボックスＢＢ１の下辺の中心位置ＣＬＨ＿Ｂ１は、このバウンディングボックスＢＢ１によって囲まれる人物の足元位置として推定される。中心位置ＣＬＨ＿Ｂ１同様、中心位置ＣＬＨ＿Ｂ２－ＣＬＨ＿Ｂ５は、それぞれ、バウンディングボックスＢＢ２－ＢＢ５によって囲まれる人物の足元位置として推定される。

【0020】

ここで着目すべきは、バウンディングボックスＢＢ２によって囲まれる人物の実際の足元位置と、中心位置ＣＬＨ＿Ｂ２との間にズレが生じていることである。また、僅かではあるが、バウンディングボックスＢＢ３－ＢＢ４によって囲まれる人物の実際の足元位置も、中心位置ＣＬＨ＿Ｂ３、ＣＬＨ＿Ｂ４に比べてそれぞれズレている。

【0021】

この点、図３に示される例では、カメラ画像ＩＭＧ＿Ｏを右方向に回転させた後の加工画像ＩＭＧ＿Ｐに対してバウンディングボックスＢＢ１－ＢＢ５が割り当てられている。また、図４に示される例では、カメラ画像ＩＭＧ＿Ｏを左方向に回転させた後の加工画像ＩＭＧ＿Ｐに対してバウンディングボックスＢＢ１－ＢＢ５が割り当てられている。そのため、図２に示される例との比較において、図３に示される例では、バウンディングボックスＢＢ２によって囲まれる人物の実際の足元位置が左下の頂点位置ＬＬＨ＿Ｂ２に近くなる。また、バウンディングボックスＢＢ３－ＢＢ４によって囲まれる人物の実際の足元位置も、頂点位置ＬＬＨ＿Ｂ３、ＬＬＨ＿Ｂ４にそれぞれ近くなる。また、図２に示される例との比較において、図４に示される例では、バウンディングボックスＢＢ１によって囲まれる人物の実際の足元位置が、右下の頂点位置ＲＨ＿Ｂ１に近くなる。

【0022】

このように、実施形態によれば、足元位置の推定の誤差の低減が期待される。このことは、足元位置の認識の精度の向上に繋がる。

【符号の説明】

【0023】

ＢＢ，ＢＢ１－ＢＢ５ バウンディングボックス
ＩＭＧ＿Ｏ，ＩＭＧ＿Ｒ カメラ画像
ＩＭＧ＿Ｐ，ＩＭＧ＿Ｐ１，ＩＭＧ＿Ｐ２ 加工画像
ＬＬＨ＿Ｂ１－ＬＬＨ＿Ｂ５，ＲＬＨ＿Ｂ１－ＲＬＨ＿Ｂ５ 頂点位置

【図1】

【図2】

【図3】

【図4】