特開 2024-172554 足元位置認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172554

(43)【公開日】2024-12-12

(54)【発明の名称】足元位置認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

   H04N 7/18 20060101ALI20241205BHJP

【ＦＩ】

G06T7/00 660B

H04N7/18 K

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023090343

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】角間 大輔

(72)【発明者】

【氏名】岡 雄平

(72)【発明者】

【氏名】千葉 寛也

(72)【発明者】

【氏名】菅野 達也

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FE13

5C054HA19

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA64

5L096FA69

5L096HA08

(57)【要約】

【課題】バウンディングボックスを用いてカメラ画像に含まれる人物の足元位置を認識する場合において、この認識の誤差を低減する。
【解決手段】カメラ画像に含まれる人物の足元の位置を認識する方法が提供される。この方法では、まず、カメラ画像が取得される。カメラ画像にはカメラの画角の範囲に存在する歩行面と、この画角の範囲に存在する人物とが含まれる。続いて、カメラ画像に含まれる人物を囲む矩形のバウンディングボックスが付与される。続いて、左方及び右方距離が計算される。左方及び右方距離は、カメラ画像において基準座標からバウンディングボックスの左下及び右下の頂点の座標までの各距離を示す。基準座標は、歩行面とカメラの光軸が交わる位置に対応する座標を示す。右方及び左方距離のうち短い距離を有する頂点の座標が、バウンディングボックスにより囲まれた人物の足元位置として推定される。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラ画像に含まれる人物の足元の位置を認識する方法であって、
前記カメラ画像を取得するステップであって、前記カメラ画像にはカメラの画角の範囲に存在する歩行面と、前記画角の範囲に存在する人物とが含まれるステップと、
前記カメラ画像に含まれる人物を囲む矩形のバウンディングボックスを付与するステップと、
前記カメラ画像において前記歩行面と前記カメラの光軸が交わる位置に対応する座標を示す基準座標から前記バウンディングボックスの左下の頂点の座標までの距離を示す左方距離と、前記カメラ画像において前記基準座標から前記バウンディングボックスの右下の頂点の座標までの距離を示す右方距離と、を計算するステップと、
前記右方距離及び前記左方距離のうち短い距離を有する頂点の座標を、前記バウンディングボックスにより囲まれた人物の足元位置として推定するステップと、
を含む
ことを特徴とする足元位置認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラ画像に含まれる人物の足元の位置を認識する方法に関する。

【背景技術】

【0002】

特開２０２１－０６７４６９号公報は、カメラの位置又は任意の位置から当該カメラに写った被写体までの距離を推定する方法を開示する。この従来の方法では、まず、被写体（人物）が写る画像が取得される。続いて、この画像における被写体の表示領域を囲む矩形のバウンディングボックスが付与され、被写体の足元位置が推定される。足元位置は、バウンディングボックスの下辺の中心座標から推定される。カメラの位置又は任意の位置から被写体までの距離は、この足元位置を変数とする推定モデルを用いて推定される。

【0003】

本開示に関連する技術分野の技術水準を示す文献としては、特開２０２１－０６７４６９号公報の他に、特許第６３９７３５４号公報及び特開２０２１－０５６７１７号公報を例示することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０６７４６９号公報

【特許文献2】特許第６３９７３５４号公報

【特許文献3】特開２０２１－０５６７１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、バウンディングボックスの下辺の中点を人物の足元位置と推定した場合、カメラ画像内の人物の座標によってはこの足元位置の認識に誤差が生じることがある。よって、この認識の誤差を低減するための改良が求められる。

【0006】

本開示の１つの目的は、バウンディングボックスを用いてカメラ画像に含まれる人物の足元位置を認識する場合において、この認識の誤差を低減することが可能な技術を提供することにある。

【課題を解決するための手段】

【0007】

本開示は、カメラ画像に含まれる人物の足元の位置を認識する方法であり、次の特徴を有する。
前記方法は、
前記カメラ画像を取得するステップであって、前記カメラ画像にはカメラの画角の範囲に存在する歩行面と、前記画角の範囲に存在する人物とが含まれるステップと、
前記カメラ画像に含まれる人物を囲む矩形のバウンディングボックスを付与するステップと、
前記カメラ画像において前記歩行面と前記カメラの光軸が交わる位置に対応する座標を示す基準座標から前記バウンディングボックスの左下の頂点の座標までの距離を示す左方距離と、前記カメラ画像において前記基準座標から前記バウンディングボックスの右下の頂点の座標までの距離を示す右方距離と、を計算するステップと、
前記右方距離及び前記左方距離のうち短い距離を有する頂点の座標を、前記バウンディングボックスにより囲まれた人物の足元位置として推定するステップと、
を含む。

【発明の効果】

【0008】

右方距離よりも左方距離の方が短い場合は、バウンディングボックスにより囲まれた人物がカメラ画像の右側に位置している可能性が高い。反対に、左方距離よりも右方距離の方が短い場合は、バウンディングボックスにより囲まれた人物がカメラ画像の左側に位置している可能性が高い。また、カメラ画像の右側に位置する人物の足元はバウンディングボックスの下辺の中点の座標よりも左側に寄る傾向があり、カメラ画像の左側に位置する人物の足元は、この中点よりも右側に寄る傾向がある。本開示はこの特徴に着目したものである。本開示によれば、バウンディングボックスの右下又は左下の頂点の座標のうち、基準座標からの距離が短い頂点の座標を人物の足元位置と推定することができる。従って、バウンディングボックスの下辺の中点の座標を足元位置と認識する場合に比べて、認識の誤差の低減が期待される。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る足元位置認識方法を説明する図である。

【図2】従来の足元位置認識方法の一例を説明する図である。

【図3】実施形態に係る方法を図２に示したカメラ画像に適用した場合を説明する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本開示の実施形態について説明する。尚、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。

【0011】

実施形態に係る足元位置認識方法（以下、単に「方法」とも称す。）は、コンピュータ処理により実現される。コンピュータには、ＣＣＤカメラが有線又は無線で接続されている。ＣＣＤカメラは、例えば、信号機、歩道橋といった道路構造物、商業施設、駐車場、工場などの各種施設に設けられるインフラカメラである。インフラカメラは、道路構造物や施設の天井、支柱、壁面などに取り付けられ、事前に設定された範囲を撮像する。事前に設定された範囲には、カメラの周囲に存在する道路、床などの平坦面が含まれている。この平坦面は、ＣＣＤカメラの周囲に存在する人物が歩行可能な歩行面でもある。

【0012】

図１は、実施形態に係る方法を説明する図である。図１に示されるように、実施形態に係る方法では、まず、カメラ画像ＩＭＧが取得される（ステップＳ１）。カメラ画像ＩＭＧは、ＣＣＤカメラから取り込まれた画像、又は、この画像に対して所定のフィルタを用いた前処理を行った後の画像である。この前処理は、ＣＣＤカメラに付属の画像処理装置で行われてもよいし、実施形態に係る方法を実現するコンピュータにより行われてもよい。図１には、ＣＣＤカメラの画角の範囲に存在する歩行面ＧＲと、この歩行面ＧＲ上に存在する人物（歩行者）ＰＤ１及びＰＤ２とを含むカメラ画像ＩＭＧが模式的に描かれている。

【0013】

ステップＳ１の処理に続いて、カメラ画像ＩＭＧに含まれる物体を囲む矩形のバウンディングボックスＢＢが付与される（ステップＳ２）。この処理では、カメラ画像ＩＭＧを入力とする物体検出により、物体（図１に示される例では、人物ＰＤ１及びＰＤ２）を囲む部分にバウンディングボックスＢＢ１及びＢＢ２が付与（割り当て）される。バウンディングボックスを用いた画像内の物体検出技術は公知技術であり、本明細書での詳細な説明については省略する。

【0014】

ステップＳ２の処理に続いて、左方距離ＤＬと右方距離ＤＲが計算される（ステップＳ３）。この処理に際しては、基準座標ＲＣが用いられる。基準座標ＲＣは、カメラ画像ＩＭＧにおけるＣＣＤカメラの光軸と歩行面ＧＲが交わる位置に対応する座標である。ＣＣＤカメラの光軸と歩行面ＧＲが交わる位置は、ＣＣＤカメラの設置の際に特定できる。首振り機能を有するＣＣＤカメラの場合、基準座標ＲＣは、ＣＣＤカメラ上下及び左右方向の回転角に応じて微調整してもよい。左方距離ＤＬは、カメラ画像ＩＭＧにおける基準座標ＲＣからバウンディングボックスＢＢの左下の頂点の座標までの距離であり、右方距離ＤＲは当該基準座標ＲＣから当該バウンディングボックスＢＢの右下の頂点の座標までの距離である。

【0015】

左方距離ＤＬと右方距離ＤＲは、バウンディングボックスＢＢごとに計算される。図１に示される例では、バウンディングボックスＢＢ１について左方距離ＤＬ１及び右方距離ＤＲ１が計算されている。また、バウンディングボックスＢＢ２について左方距離ＤＬ１及び右方距離ＤＲ１が計算されている。

【0016】

ステップＳ３の処理に続いて、人物ＰＤの足元位置の推定が行われる（ステップＳ４）。この処理では、まず、左方距離ＤＬと右方距離ＤＲが比較される。この比較は、バウンディングボックスＢＢごとに計算される。そして、左方距離ＤＬと右方距離ＤＲのうち、短い距離を有する頂点の座標が、バウンディングボックスＢＢにより囲まれた人物ＰＤの足元位置として推定される。

【0017】

図１に示される例では、バウンディングボックスＢＢ１の左方距離ＤＬ１＜右方距離ＤＲ１である。そのため、人物ＰＤ１の足元位置は、バウンディングボックスＢＢ１の左下の頂点の座標であると推定されることになる。一方、バウンディングボックスＢＢ２の左方距離ＤＬ２＞右方距離ＤＲ２である。そのため、人物ＰＤ２の足元位置は、バウンディングボックスＢＢ２の右下の頂点の座標であると推定されることになる。

【0018】

図２－３は、実施形態に係る方法をより具体的に説明する図である。図２は、従来の方法の一例を説明する図であり、図３は、実施形態に係る方法を図２に示したカメラ画像に適用した場合を説明する図である。

【0019】

図２に示される例では、カメラ画像ＩＭＧに含まれる各人物にバウンディングボックスＢＢ１～５がそれぞれ割り当てられている。バウンディングボックスＢＢ１の下辺の中心位置ＣＬＨ＿Ｂ１は、このバウンディングボックスＢＢ１によって囲まれる人物の足元位置として推定される。中心位置ＣＬＨ＿Ｂ１同様、中心位置ＣＬＨ＿Ｂ２－ＣＬＨ＿Ｂ５は、それぞれ、バウンディングボックスＢＢ２－ＢＢ５によって囲まれる人物の足元位置として推定される。

【0020】

ここで着目すべきは、バウンディングボックスＢＢ２によって囲まれる人物の実際の足元位置と、中心位置ＣＬＨ＿Ｂ２との間にズレが生じていることである。また、僅かではあるが、バウンディングボックスＢＢ３－ＢＢ４によって囲まれる人物の実際の足元位置も、中心位置ＣＬＨ＿Ｂ３、ＣＬＨ＿Ｂ４に比べてそれぞれズレている。

【0021】

この点、図３に示される例では、バウンディングボックスＢＢ２によって囲まれる人物の足元位置が、バウンディングボックスＢＢ２の左下の頂点位置ＬＬＨ＿Ｂ２と推定される。また、バウンディングボックスＢＢ３及びＢＢ４によってそれぞれ囲まれる人物の足元位置が、各バウンディングボックスの左下の頂点位置ＬＬＨ＿Ｂ３及びＬＬＨ＿Ｂ４と推定される。また、バウンディングボックスＢＢ１及びＢＢ５によってそれぞれ囲まれる人物の足元位置が、各バウンディングボックスＢＢの右下の頂点位置ＬＬＨ＿Ｂ１及びＬＬＨ＿Ｂ５と推定される。

【0022】

図３の説明においては、全て、各バウンディングボックスＢＢについて左方距離ＤＬと右方距離ＤＲが計算され、これらの比較の結果に基づいて各バウンディングボックスＢＢによってそれぞれ囲まれる人物の足元位置が推定されている。尚、図３には明示されていないが、基準座標ＲＣは、バウンディングボックスＢＢ１の右方、かつ、バウンディングボックスＢＢ３の左方に位置している。

【0023】

右方距離ＤＲよりも左方距離ＤＬの方が短い場合は、バウンディングボックスＢＢにより囲まれた人物がカメラ画像ＩＭＧの右側に位置している可能性が高い。反対に、左方距離ＤＬよりも右方距離ＤＲの方が短い場合は、バウンディングボックスＢＢにより囲まれた人物がカメラ画像ＩＭＧの左側に位置している可能性が高い。また、カメラ画像ＩＭＧの右側に位置する人物の足元はバウンディングボックスＢＢの下辺の中点の座標よりも左側に寄る傾向があり、カメラ画像ＩＭＧの左側に位置する人物の足元は、この中点よりも右側に寄る傾向がある。

【0024】

この点、実施形態に係る方法によれば、バウンディングボックスＢＢの右下又は左下の頂点の座標のうち、右方距離ＤＲと左方距離ＤＬのうち距離が短い頂点の座標を人物ＰＤの足元位置と推定するので、バウンディングボックスＢＢの下辺の中点の座標を足元位置と推定する場合に比べて、足元位置の推定の誤差の低減が期待される。このことは、足元位置の認識の精度の向上に繋がる。

【符号の説明】

【0025】

ＢＢ，ＢＢ１－ＢＢ５ バウンディングボックス
ＲＣ 基準座標
ＧＲ 歩行面
ＩＭＧ カメラ画像
ＰＤ，ＰＤ１，ＰＤ２ 人物
ＬＬＨ＿Ｂ１－ＬＬＨ＿Ｂ５，ＲＬＨ＿Ｂ１－ＲＬＨ＿Ｂ５ 頂点位置

【図1】

【図2】

【図3】