2025-176667 足元位置推定装置、足元位置推定方法、足元位置推定システム及び足元位置推定用コンピュータプログラムならびに移動検知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025176667

(43)【公開日】2025-12-04

(54)【発明の名称】足元位置推定装置、足元位置推定方法、足元位置推定システム及び足元位置推定用コンピュータプログラムならびに移動検知装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20251127BHJP

【ＦＩ】

G06T7/00 660B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024209655

(22)【出願日】2024-12-02

(31)【優先権主張番号】P 2024082676

(32)【優先日】2024-05-21

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】横山 博史

(72)【発明者】

【氏名】橋川 拓也

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096CA04

5L096FA10

5L096FA66

5L096FA69

5L096GA51

5L096HA05

(57)【要約】

【課題】画像に表された人物の足元位置を正確に推定することが可能な足元位置推定装置を提供する。
【解決手段】足元位置推定装置４は、所定の領域を撮影するように設けられた撮像部２により生成された画像から、所定の領域内の人物が表された人物領域を検出する検出部２１と、人物領域内の基準点から画像における消失点へ向かう線と人物領域の端辺との交点をその人物の足元位置として推定する推定部２２とを有することで、画像に表された人物の足元位置を正確に推定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

所定の領域を撮影するように設けられた撮像部により生成された画像から、前記所定の領域内の人物が表された人物領域を検出する検出部と、
前記人物領域内の基準点から前記画像における消失点へ向かう線と前記人物領域の端辺との交点を前記人物の足元位置として推定する推定部と、
を有する足元位置推定装置。

【請求項2】

前記推定部は、前記消失点と前記基準間の距離に応じて予め設定される補正距離だけ前記線に沿って前記交点から前記基準点側の位置を前記足元位置とするよう、前記足元位置を補正する、請求項１に記載の足元位置推定装置。

【請求項3】

前記推定部は、前記消失点が前記人物領域内に存在する場合、前記線上において前記消失点に近い方の前記人物領域の端辺と前記線との前記交点と前記基準点間の距離に対する、前記基準点と前記消失点間の距離の比で、前記基準点と前記消失点間を内分した位置を前記足元位置として推定する、請求項１に記載の足元位置推定装置。

【請求項4】

前記検出部は、所定期間において時系列に得られた複数の前記画像のそれぞれから前記人物領域を検出し、
前記推定部は、複数の前記画像のそれぞれにおける前記人物の足元位置を推定し、
複数の前記画像において前記検出された人物を追跡して前記所定期間における当該人物の前記足元位置の移動軌跡をもとめる追跡部と、
前記所定期間の開始時における前記検出された人物の前記足元位置と前記所定期間の終了時における前記検出された人物の前記足元位置間の距離が第１の閾値以上となり、かつ、前記所定期間の開始時から終了時までの前記移動軌跡の長さが第２の閾値以上となる場合に、前記検出された人物が前記所定期間において移動したと判定する判定部と、
をさらに有する、請求項１～３の何れか一項に記載の足元位置推定装置。

【請求項5】

前記検出部は、撮影タイミングが異なる複数の前記画像のそれぞれから前記人物領域を検出し、
前記推定部は、複数の前記画像のそれぞれから推定した前記足元位置を記憶部に記録し、
前記記憶部に記憶された前記足元位置の分布に基づいて何らかの異常が有る位置を特定する特定部をさらに有する、請求項１～３の何れか一項に記載の足元位置推定装置。

【請求項6】

所定の領域を撮影するように設けられた撮像部により生成された画像から、前記所定の領域内の人物が表された人物領域を検出し、
前記人物領域内の基準点から前記画像における消失点へ向かう線と前記人物領域の端辺との交点を前記人物の足元位置として推定する、
ことを含む足元位置推定方法。

【請求項7】

所定の領域を撮影するように設けられた撮像部と、
前記所定の領域内に位置する人物の足元位置を推定する足元位置推定装置と、
を有し、
前記足元位置推定装置は、
前記撮像部により生成された画像から、前記所定の領域内の人物が表された人物領域を検出する検出部と、
前記人物領域内の基準点から前記画像における消失点へ向かう線と前記人物領域の端辺との交点を前記人物の足元位置として推定する推定部と、
を有する足元位置推定システム。

【請求項8】

所定の領域を撮影するように設けられた撮像部により生成された画像から、前記所定の領域内の人物が表された人物領域を検出し、
前記人物領域内の基準点から前記画像における消失点へ向かう線と前記人物領域の端辺との交点を前記人物の足元位置として推定する、
ことをコンピュータに実行させるための足元位置推定用コンピュータプログラム。

【請求項9】

所定の領域を撮影するように設けられた撮像部により生成された時系列の複数の画像のそれぞれから、前記所定の領域内の人物を検出するとともに、前記検出された人物が表された１以上の画像上での前記人物の所定の部位の位置を推定する検出部と、
前記１以上の画像において前記検出された人物を追跡して所定期間における当該人物の前記所定の部位の位置の移動軌跡をもとめる追跡部と、
前記所定期間の開始時における前記検出された人物の前記所定の部位の位置と前記所定期間の終了時における前記検出された人物の前記所定の部位の位置間の距離が第１の閾値以上となり、かつ、前記所定期間の開始時から終了時までの前記移動軌跡の長さが第２の閾値以上となる場合に、前記検出された人物が前記所定期間において移動したと判定する判定部と、
を有する移動検知装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に表された人物の足元の位置を推定する足元位置推定装置、足元位置推定方法、足元位置推定システム及び足元位置推定用コンピュータプログラムならびに移動検知装置に関する。

【背景技術】

【0002】

画像上に表された人物の姿勢を推定する技術が提案されている（特許文献１を参照）。この技術では、入力画像中の人物領域について算出した特徴量から姿勢評価式に基づいて人物の姿勢が推定される。その際、この技術では、人物領域の最下点が人物の足下位置として推定される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－７９３３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

監視用途に用いられるカメラとして、できるだけ広い領域を撮影範囲に含められるように、撮像光学系として広角レンズ、場合によっては魚眼レンズを有するカメラが用いられることがある。このような場合、画像上に表された物体は、撮影光学系の歪曲収差によって大きく歪んでしまうことがある。そのため、上記の技術では、画像に表された人物の足元位置が正確に推定できないことがある。

【0005】

そこで、本発明は、画像に表された人物の足元位置を正確に推定することが可能な足元位置推定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一つの形態として、足元位置推定装置が提供される。この足元位置推定装置は、所定の領域を撮影するように設けられた撮像部により生成された画像から、所定の領域内の人物が表された人物領域を検出する検出部と、人物領域内の基準点から画像における消失点へ向かう線と人物領域の端辺との交点を人物の足元位置として推定する推定部とを有する。

【0007】

一つの実施形態において、推定部は、消失点と基準点間の距離に応じて予め設定される補正距離だけ、交点から基準点から消失点へ向かう線に沿って基準点側の位置を人物の足元位置とするよう、その足元位置を補正する。

【0008】

一つの実施形態において、推定部は、消失点が人物領域内に存在する場合、基準点から消失点へ向かう線上において消失点に近い方の人物領域の端辺とその線との交点と基準点間の距離に対する、基準点と消失点間の距離の比で、基準点と消失点間を内分した位置を人物の足元位置として推定する。

【0009】

一つの実施形態において、検出部は、所定期間において時系列に得られた複数の画像のそれぞれから人物領域を検出し、推定部は、複数の画像のそれぞれにおける人物の足元位置を推定する。そして足元位置推定装置は、複数の画像において検出された人物を追跡して所定期間におけるその人物の足元位置の移動軌跡をもとめる追跡部と、所定期間の開始時における検出された人物の足元位置と所定期間の終了時における検出された人物の足元位置間の距離が第１の閾値以上となり、かつ、所定期間の開始時から終了時までの移動軌跡の長さが第２の閾値以上となる場合に、検出された人物が所定期間において移動したと判定する判定部とをさらに有する。

【0010】

一つの実施形態において、検出部は、撮影タイミングが異なる複数の画像のそれぞれから人物領域を検出し、推定部は、複数の画像のそれぞれから推定した足元位置を記憶部に記録する。そして足元位置推定装置は、記憶部に記憶された足元位置の分布に基づいて何らかの異常が有る位置を特定する特定部をさらに有する。

【0011】

他の実施形態によれば、足元位置推定方法が提供される。この足元位置推定方法は、所定の領域を撮影するように設けられた撮像部により生成された画像から、所定の領域内の人物が表された人物領域を検出し、人物領域内の基準点から画像における消失点へ向かう線と人物領域の端辺との交点を人物の足元位置として推定する、ことを含む。

【0012】

さらに他の実施形態によれば、足元位置推定システムが提供される。この足元位置推定システムは、所定の領域を撮影するように設けられた撮像部と、所定の領域内に位置する人物の足元位置を推定する足元位置推定装置とを有する。そして足元位置推定装置は、撮像部により生成された画像から、所定の領域内の人物が表された人物領域を検出する検出部と、人物領域内の基準点から画像における消失点へ向かう線と人物領域の端辺との交点を人物の足元位置として推定する推定部とを有する。

【0013】

さらに他の実施形態によれば、足元位置推定用コンピュータプログラムが提供される。この足元位置推定用コンピュータプログラムは、所定の領域を撮影するように設けられた撮像部により生成された画像から、所定の領域内の人物が表された人物領域を検出し、人物領域内の基準点から画像における消失点へ向かう線と人物領域の端辺との交点を人物の足元位置として推定する、ことをコンピュータに実行させるための命令を含む。

【0014】

さらに他の実施形態によれば、移動検知装置が提供される。この移動検知装置は、所定の領域を撮影するように設けられた撮像部により生成された時系列の複数の画像のそれぞれから、所定の領域内の人物を検出するとともに、検出された人物が表された１以上の画像上での人物の所定の部位の位置を推定する検出部と、１以上の画像において検出された人物を追跡して所定期間におけるその人物の所定の部位の位置の移動軌跡をもとめる追跡部と、所定期間の開始時における検出された人物の所定の部位の位置と所定期間の終了時における検出された人物の所定の部位の位置間の距離が第１の閾値以上となり、かつ、所定期間の開始時から終了時までの移動軌跡の長さが第２の閾値以上となる場合に、検出された人物が所定期間において移動したと判定する判定部とを有する。

【発明の効果】

【0015】

本開示に係る足元位置推定装置は、画像に表された人物の足元位置を正確に推定することができるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】一つの実施形態による足元位置推定装置が実装された移動判定に関するシステムの概略構成図である。

【図2】足元位置推定装置のハードウェア構成図である。

【図3】足元位置推定を含む移動検知処理に関連するプロセッサの機能ブロック図である。

【図4】（ａ）及び（ｂ）は、それぞれ、乗客の足元位置の推定に関する概要の説明図である。

【図5】変形例による、乗客の足元位置の推定に関する概要の説明図である。

【図6】（ａ）及び（ｂ）は、それぞれ、移動検知判定の概要の説明図である。

【図7】足元位置推定を含む移動検知処理の動作フローチャートである。

【図8】足元位置推定の結果に基づいて異常が有る領域を特定する変形例についてのプロセッサの機能ブロック図である。

【発明を実施するための形態】

【0017】

以下、図を参照しつつ、足元位置推定装置、及び、足元位置推定装置上で実行される足元位置推定方法及び足元位置推定用コンピュータプログラムならびに足元位置推定システムについて説明する。この足元位置推定装置は、撮像部により生成された画像から、所定の領域内に位置する人物が表された人物領域を検出し、人物領域内の基準点から画像における消失点へ向かう線と人物領域の端辺との交点を人物の足元位置として推定する。これにより、この足元位置推定装置は、撮像部として、歪曲収差などによる、画像に表された物体の歪みが大きいカメラが用いられる場合でも、人物の足元位置を正確に推定することを可能とする。

【0018】

以下では、足元位置推定装置を、車両に乗車中の乗客の移動を検知するためのシステムに利用する例について説明する。乗客は、移動検知対象となる人物の一例である。また、足元は、所定の部位の一例である。ただし足元位置推定装置は、この例に限られず、鉄道車両といった乗客または乗員が乗り込むことが可能な移動物体内部に設けられる所定の領域内の人物の移動検知、あるいは、何らかの建物または施設に設けられる所定の領域内の人物の移動検知に使用されてもよい。

【0019】

図１は、一つの実施形態による足元位置推定装置が実装された移動判定に関するシステム１０の概略構成図である。足元位置推定装置が実装されたシステム１０は、車両１に搭載される。車両１は、バスといった、乗客が複数乗車することができ、かつ、乗客が立って移動できるだけの車内スペースがある車両である。システム１０は、カメラ２と、通知機器３と、足元位置推定装置４とを有する。

【0020】

カメラ２は、撮像部の一例であり、カメラ２の撮影範囲に車両１の車内において乗客が滞在することが可能な車内領域全体が含まれるように、例えば、撮像光学系として広角レンズまたは魚眼レンズを有し、車両１の車内の天井付近において下方へ向けて取り付けられる。車内領域は、撮像部により撮影される所定の領域の一例である。カメラ２は、車内領域を表す画像を所定の撮影周期（例えば1/30秒～1/10秒）ごとに生成する。カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介して足元位置推定装置４へ出力する。

【0021】

通知機器３は、車両１の車内に滞在する乗客に対して所定の通知を行うことができる機器であり、例えば、スピーカ、ブザーまたは表示装置を有し、車両１の車内に取り付けられる。通知機器３は、足元位置推定装置４からの通知信号にしたがって所定の通知、例えば、車両１内の乗客に、乗客の移動に対する注意喚起を表す通知を表す音声を出力し、あるいは、その通知に相当するメッセージを表示する。

【0022】

足元位置推定装置４はカメラ２により生成された画像に基づいて、足元位置推定処理を含む移動検知処理を実行する。

【0023】

図２は、足元位置推定装置４のハードウェア構成図である。図２に示されるように、足元位置推定装置４は、通信インターフェース１１と、メモリ１２と、プロセッサ１３とを有する。通信インターフェース１１、メモリ１２及びプロセッサ１３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

【0024】

通信インターフェース１１は、足元位置推定装置４を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース１１は、カメラ２から受信した画像をプロセッサ１３へわたす。また、通信インターフェース１１は、プロセッサ１３から受け取った通知信号を通知機器３へ出力する。

【0025】

メモリ１２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ１２は、足元位置推定装置４のプロセッサ１３により実行される、足元位置推定処理を含む移動検知処理において使用される各種のプログラム及び各種のデータを記憶する。例えば、メモリ１２は、乗員の検出に利用される識別器を特定するためのパラメータ、移動検知の判定のための閾値、消失点の位置、及び、画像上に表される車内領域の位置及び範囲などを記憶する。さらに、メモリ１２は、カメラ２から受け取った画像、及び、移動検知処理の途中で生成される各種のデータを一時的に記憶する。

【0026】

プロセッサ１３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ１３は、移動検知処理を実行する。

【0027】

図３は、足元位置推定処理を含む移動検知処理に関するプロセッサ１３の機能ブロック図である。プロセッサ１３は、検出部２１と、推定部２２と、追跡部２３と、判定部２４と、通知処理部２５とを有する。プロセッサ１３が有するこれらの各部は、例えば、プロセッサ１３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ１３が有するこれらの各部は、プロセッサ１３に設けられる専用の演算回路であってもよい。また、プロセッサ１３が有するこれらの各部のうち、検出部２１及び推定部２２により実行される処理が足元位置推定処理に相当する。

【0028】

検出部２１は、カメラ２により生成された時系列の複数の画像のそれぞれから、車内領域内に位置する乗客を検出する。本実施形態では、検出部２１は、所定の周期ごとに、カメラ２により得られた最新の画像から乗客を検出する。検出部２１は各画像に対して同じ処理を実行すればよいので、以下では、一つの画像に対する処理について説明する。

【0029】

本実施形態では、検出部２１は、画像から、個々の乗客について、その乗客が表された人物領域を検出する。

【0030】

検出部２１は、乗客の体幹と頭部とが検出されるように予め学習された識別器にカメラ２から足元位置推定装置４が受け取った画像を入力することで、乗客を検出する。そのような識別器として、いわゆるディープニューラルネットワーク(DNN)に基づくものが用いられる。例えば、識別器として、Single Shot MultiBox DetectorまたはYOLOといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNN、あるいは、Vision Transformerといった、attention機構を有するDNNが用いられる。あるいはまた、識別器として、AdaBoostといった他の機械学習手法に基づく識別器が用いられてもよい。識別器は、検出対象となる乗客が表された画像を含む多数の教師画像を利用して、誤差逆伝搬法といった、所定の学習手法にしたがって予め学習される。

【0031】

識別器は、入力された画像上の様々な領域について、乗客が表されている確からしさを表す信頼度を出力する。そして検出部２１は、信頼度が所定の検出閾値以上となる領域を人物領域として検出する。さらに、検出部２１は、人物領域が複数重なっている場合に、Non-Maximum Suppression(NMS)あるいはSoft NMSを実行することで、一人の乗客が多重に検出されることを防止する。すなわち、検出部２１は、互いに重なっている、複数の人物領域についてIntersection over Union(IoU)を算出し、IoUが所定の閾値以上である場合、信頼度が最大となる人物領域以外の人物領域を削除する。あるいは、検出部２１は、IoUが大きくなるほど、信頼度を低下させ、低下後の信頼度が所定の検出閾値未満となる人物領域を削除する。

【0032】

検出部２１は、検出された個々の乗客について、その乗客が表された人物領域の位置及び範囲を推定部２２に通知する。

【0033】

推定部２２は、検出された個々の乗客について、その乗客の足元位置を推定する。本実施形態では、推定部２２は、人物領域内の基準点から画像における消失点へ向かう線と人物領域の何れかの端辺との交点を人物の足元位置として推定する。本実施形態では、カメラ２は車内の天井から下方へ向けて取り付けられているので、直立している乗客の正中線を乗客の足元側へ延長した直線は、画像上で消失点へ向かうと推定される。ここで、人物領域内の基準点から消失点へ向かう線は、正中線を近似したものとなることから、その線と人物領域の端辺との交点に乗客の足元があると推定される。

【0034】

なお、基準点の水平方向の位置は、例えば、人物領域の水平方向の中点に設定される。また、基準点の垂直方向の位置は、人物領域の上下端のうち、消失点から遠い方の端辺から、垂直方向における人物領域の長さに、0より大きく１より小さい所定の係数α（例えば、0.5～0.6）を乗じた距離だけ人物領域の消失点に近い方の端辺側の位置に設定される。ただし、係数αは、人物領域の水平方向の長さに対する垂直方向の長さの比が大きくなるほど、大きな値に設定されてもよい。さらに、消失点と人物領域の重心とを結ぶ線と、水平方向とのなす角が45°未満となる場合、上記の説明における水平方向と垂直方向とを入れ替えて基準点の位置が設定されてもよい。このように、人物領域の形状に応じて基準点の位置を調整することで、基準点から消失点へ向かう線と人物領域に表される乗客の正中線との角度差が小さくなり、より正確に足元位置を推定することが可能となる。

【0035】

また、乗客の位置によっては、消失点が人物領域に含まれることがある。このような場合、乗客はカメラ２の鉛直下方に近い位置にいるため、乗客の足元は、乗客の身体の他の部位に隠れて見えていない可能性が高い。すなわち、乗客の足元は、人物領域の外縁よりも内側に位置している可能性が高い。そこで推定部２２は、基準点と消失点とを結ぶ直線上において、その直線と人物領域の消失点に近い側の端辺との交点と基準点間の距離に対する、基準点から消失点までの距離の比で、基準点と消失点間を内分した位置を乗客の足元の位置として推定する。さらに、基準点と消失点間の距離が十分に小さい場合、すなわち、その距離が所定の同一判定閾値（例えば、数画素）以下である場合、推定部２２は、消失点自体を乗客の足元位置としてもよい。

【0036】

図４（ａ）及び図４（ｂ）は、それぞれ、乗客の足元位置の推定に関する概要の説明図である。図４（ａ）に示される例では、人物領域４１０よりも下方に消失点４０１が存在する。そのため、人物領域４１０内の基準点４１１と消失点４０１とを結ぶ直線４１２と人物領域４１０の下端との交点４１３が、人物領域４１０に表された乗客の足元の位置として推定される。

【0037】

図４（ｂ）に示される例では、人物領域４２０内に消失点４０１が存在している。そのため、人物領域４２０内の基準点４２１と消失点４０１とを結ぶ直線４２２上において、直線４２２と人物領域４２０の消失点４０１に近い側の端辺４２３との交点４２４と基準点４２１間の距離ｄ1に対する、基準点４２１から消失点４０１までの距離d2の比r(=d2/d1)が算出される。そしてその比rで、基準点４２１と消失点４０１間の距離を内分した位置４２５が、人物領域４２０に表された乗客の足元の位置として推定される。

【0038】

また、人物領域外に消失点が存在している場合でも、カメラ２の撮像光学系の特性によっては、画像上での乗客の足元位置が人物領域内に位置することもある。そこで変形例によれば、推定部２２は、人物領域内の基準点と消失点間の距離に応じて予め設定される補正距離だけ、基準点と消失点とを結ぶ線に沿って交点から基準点側の位置を、乗客の足元位置とするよう、その足元位置を補正してもよい。この場合、基準点と消失点間の距離と、交点から実際の足元位置までの補正距離との関係が予め実験的に調べられる。その実験結果に基づいて作成された、基準点と消失点間の距離と補正距離との関係を表す参照テーブルがメモリ１２に予め記憶される。そして推定部２２は、その参照テーブルを参照することで、基準点と消失点間の距離に対応する補正距離をもとめればよい。

【0039】

図５は、この変形例による乗客の足元位置の推定に関する概要の説明図である。この例では、人物領域５１０内の基準点５１１と消失点５０１とを結ぶ直線５１２に沿って、基準点５１１と消失点５０１間の距離d1に応じた補正距離d2が設定される。そして補正距離d2だけ、直線５１２と人物領域５１０の端辺との交点５１３よりも直線５１２に沿って基準点５１１側の人物領域５１０内の位置５１４が、乗客の足元の位置として推定される。

【0040】

推定部２２は、画像から検出された個々の乗客についての足元の推定位置、人物領域の位置及び範囲を、追跡部２３及び判定部２４へ通知する。

【0041】

追跡部２３は、カメラ２により生成された時系列の複数の画像のうち、検出された乗客が表された１以上の画像においてその乗客を追跡する。追跡部２３は、複数の画像にわたって検出された個々の乗客について、同一の乗客の人物領域同士をそれら複数の画像にわたって関連付ける。

【0042】

追跡部２３は、最新の画像における個々の人物領域に対して、KLTトラッキングあるいはByteTrackといった所定のトラッキング手法を適用する。これにより、追跡部２３は、最新の画像における個々の人物領域について、その人物領域を、それ以前に得られた画像（以下、過去画像と呼ぶ）において検出され、かつ、追跡中の同じ乗客の人物領域と関連付ける。推定部２２から最新の画像についての足元位置の推定結果が通知される度に、追跡部２３は上記の処理を繰り返すことで個々の乗客を追跡する。そして追跡部２３は、追跡中の個々の乗客に対して一意となる識別番号（以下、乗客ＩＤと呼ぶ）を付すとともに、追跡中のその乗客について指定した足元位置を時間順に結んだ線をその乗客の足元位置の移動軌跡とする。最新の画像から検出された人物領域のうち、過去画像において追跡中の乗客が表された人物領域の何れにも対応付けられない人物領域について、追跡部２３は、その人物領域に表された乗客が車内領域に新たに進入したものとして新規に追跡を開始する。逆に、過去画像において追跡中の乗客の何れかについて、その乗客についての人物領域が最新の画像の何れの人物領域とも関連付けられない場合、追跡部２３は、追跡中のその乗客は車内領域から退出したものとして、追跡を終了する。

【0043】

判定部２４は、追跡部２３による追跡の結果に基づいて、検出された１以上の乗客のそれぞれについて所定期間（例えば、数秒間）の開始時における乗客の足元位置と所定期間の終了時における乗客の足元位置間の距離、及び、その期間における移動軌跡の長さをもとめる。そして判定部２４は、開始時と終了時の足元位置間の距離が第１の閾値以上となり、かつ、移動軌跡の長さが第２の閾値以上となる場合、所定期間においてその乗客が移動したと判定する。

【0044】

所定期間は、乗客が追跡されている期間中の任意の期間とすることができる。例えば、追跡部２３による追跡結果が更新される度に、判定部２４は、その更新された時を所定期間の終了時とし、その更新されたときから所定期間だけ遡ったタイミングを所定期間の開始時とすればよい。また、判定部２４は、車両１に乗車中の乗客の移動が禁止される移動禁止期間内で、上記のように所定期間の開始時及び終了時を設定するようにしてもよい。なお、移動禁止期間は、車両１の乗降口のドアが閉じている期間、あるいは、車両１が移動している期間とすることができる。そのため、判定部２４は、車両１のドアまたは走行を制御する電子制御ユニットから、ドアの開閉に関する情報または車両１の走行状態に関する情報を受信し、受信した情報に基づいて移動禁止期間を設定すればよい。

【0045】

図６（ａ）及び図６（ｂ）は、それぞれ、移動検知判定の概要の説明図である。図６（ａ）に示される例では、所定期間の開始時における乗客の足元位置Psと、所定期間の終了時における乗客の足元位置Pe間の距離d1は、第１の閾値Th1以上となっている。さらに、所定期間の開始時から終了時までの乗客の足元位置の移動軌跡６０１に沿った長さd2は、第２の閾値Th2以上となっている。そのため、この例では、乗客の移動が検知される。

【0046】

図６（ｂ）に示される例でも、所定期間の開始時の乗客の足元位置Psから終了時の乗客の足元位置Peまでの移動軌跡６１１に沿った長さd3は、第２の閾値Th2以上となっている。しかし、この例では、所定期間の開始時における足元位置Psと、所定期間の終了時における足元位置Pe間の距離d4は、第１の閾値Th1未満となっている。そのため、この例では、乗客の移動は検知されない。

【0047】

なお、判定部２４は、所定期間の開始時から終了時までの足元位置の移動軌跡に沿った長さとして、その所定期間中における、移動軌跡上の連続する二つの時点間での足元位置間の距離の和を算出する。あるいは、判定部２４は、所定期間の開始時における足元位置と所定期間中の特定時点における足元位置間の距離と、特定時点における足元位置と所定期間の終了時における足元位置間の距離との和を、所定期間の開始時から終了時までの足元位置の移動軌跡の長さとして算出してもよい。なお、特定時点は、例えば、所定期間の開始時と終了時の中間時点、あるいは、所定期間の開始時または終了時の足元位置から最も離れた足元位置となる時点とすることができる。

【0048】

また、カメラ２の個々の画素の縦横比が１：１でないことがある。そこでこのような場合、判定部２４は、距離を算出する移動軌跡上の２点間の水平距離及び垂直距離の少なくとも一方に、画素の縦横比の逆数に相当する補正係数を乗じることで、その２点間の距離を算出してもよい。

【0049】

なお、判定部２４は、乗客の追跡中において、カメラ２により画像が得られる度に上記の処理を実行し、複数回連続して上記の移動検知の条件が満たされた場合に限り、その乗客の移動を検知してもよい。

【0050】

また、判定部２４は、所定期間の終了時における乗客の足元位置が車両１の車外に出ていると、その乗客の移動を検知しないようにしてもよい。この場合、その乗客は車両１から降車した可能性が高いので、その乗客の移動を検知する意義がなくなるためである。

【0051】

判定部２４は、追跡中の何れかの乗客について移動を検知すると、その検知結果を通知処理部２５へ通知する。

【0052】

通知処理部２５は、何れかの乗客の移動が検知されたことが判定部２４から通知されると、車内の各乗客に移動しないよう注意喚起する通知信号を、通信インターフェース１１を介して通知機器３に出力する。あるいは、通知処理部２５は、車両１の走行を制御する電子制御ユニットに対して、乗客の移動が検知されたことを表す移動検知信号を、通信インターフェース１１を介して出力してもよい。電子制御ユニットは、車両１が停車しているときに移動検知信号を受信すると、移動検知信号を受信しなくなるまで、車両１が停車している状態を継続させてもよい。あるいは、電子制御ユニットは、車両１が移動している間に移動検知信号を受信すると、車内で立っている乗客が倒れない程度の減速度で車両１を減速させてもよく、さらに、車両１を路肩に停車させてもよい。

【0053】

図７は、足元位置推定処理を含む移動検知処理の動作フローチャートである。プロセッサ１３は、以下に示される動作フローチャートに従って移動検知処理を実行する。

【0054】

検出部２１は、カメラ２により生成された画像から乗客が表された人物領域を検出する（ステップＳ１０１）。推定部２２は、人物領域内の基準点と消失点とを結ぶ線に基づいて乗客の足元位置を推定する（ステップＳ１０２）。追跡部２３は、検出された乗客を追跡して、足元位置の移動軌跡をもとめる（ステップＳ１０３）。

【0055】

判定部２４は、追跡中における所定期間の開始時の足元位置と終了時の足元位置間の距離d1が第１の閾値Th1以上か否か判定する（ステップＳ１０４）。距離d1が第１の閾値Th1以上である場合（ステップＳ１０４－Ｙｅｓ）、判定部２４は、所定期間の開始時から終了時までの足元位置の移動軌跡の長さd2が第２の閾値Th2以上であるか否か判定する（ステップＳ１０５）。移動軌跡の長さd2が第２の閾値Th2以上である場合（ステップＳ１０５－Ｙｅｓ）、判定部２４は、乗客の移動を検知する。そして通知処理部２５は、通知機器３を介して車内の乗客に移動禁止の注意喚起を通知する（ステップＳ１０６）。その後、プロセッサ１３は、移動検知処理を終了する。

【0056】

また、ステップＳ１０４にて距離d1が第１の閾値Th1未満である場合（ステップＳ１０４－Ｎｏ）、あるいは、ステップＳ１０５にて移動軌跡の長さd2が第２の閾値Th2未満である場合（ステップＳ１０５－Ｎｏ）、プロセッサ１３は、乗客の移動を検知せずに移動検知処理を終了する。なお、ステップＳ１０１～Ｓ１０３において複数の乗客が検知され、かつ、追跡中である場合、プロセッサ１３は、乗客ごとにステップＳ１０４～Ｓ１０５の処理を実行し、何れかの乗客について移動が検知されると、ステップＳ１０６の処理を実行すればよい。

【0057】

以上に説明してきたように、この足元位置推定装置は、人物領域内の基準点から画像における消失点へ向かう線と人物領域の端辺との交点を、その人物領域に表された人物の足元位置として推定する。これにより、この足元位置推定装置は、撮像部として、歪曲収差などによる、画像に表された物体の歪みが大きいカメラが用いられる場合でも、人物の足元位置を正確に推定することができる。また、この足元位置推定装置は、姿勢推定モデルといった演算量の多い処理を用いなくても、人物の足元位置を正確に推定することができる。

【0058】

なお、車両１の車内には、手すりといった物体が設けられることで乗客が通行不可能な領域が存在することがある。そこで変形例によれば、車内で乗客が通行不可能な領域に対応する画像上の領域（以下、通行不能領域と呼ぶ）がメモリ１２に予め記憶される。そして判定部２４は、追跡中の乗客の移動軌跡が通行不能領域を跨ぐか否か判定する。移動軌跡が通行不能領域を跨ぐ場合、乗客の追跡に失敗している可能性が有る。そこで判定部２４は、そのような移動軌跡となる乗客については移動を検知しない。また、移動軌跡に示される乗客の移動速度があまりに速いと、乗客の追跡に失敗している可能性が高い。そこで判定部２４は、移動軌跡上の任意の連続する２点間の距離と時間差から算出される移動速度が上限速度を超えている場合、そのような移動軌跡となる乗客については移動を検知しない。

【0059】

また、追跡中の乗客のうち、連続する二つの時点間の移動距離が徐々に長くなる乗客は、加速していることが想定される。そこでそのような乗客について、追跡部２３は、直近の所定期間における、最新の画像での人物領域の検出位置から次フレームにおける人物領域の予測位置が画像上での乗客の移動方向に沿ってより離れるようにその予測位置を補正してもよい。

【0060】

また、検出部２１は、NMS処理またはSoft NMS処理における、IoUに対する閾値を、画像上の位置に応じて変更してもよい。例えば、カメラ２の撮像光学系として魚眼レンズが用いられている場合、画像の周辺に近づくほど、被写体は小さく表される。そこで、画像の周辺に近づくほど、検出部２１は、IoUに対する閾値も小さくしてもよい。同様に、追跡部２３は、追跡手法としてByteTrackが採用される場合における、追跡中の乗客についての人物領域の次フレームにおける予測位置と次フレームの画像から検出された人物領域とのIoUに対する閾値を、画像の周辺に近づくほど小さくしてもよい。あるいは、プロセッサ１３は、カメラ２により得られた個々の画像に対して、カメラ２の撮像光学系の歪曲収差などによる歪みを補正する前処理を実行してから、上記の実施形態または変形例による移動検知処理を実行するようにしてもよい。

【0061】

なお、移動検知装置の変形例によれば、検出部２１は、人物の足元位置を推定する代わりに、人物の体幹部の位置を推定してもよい。体幹部は、所定の部位の他の一例である。この場合、検出部２１が人物の検出に利用する識別器は、体幹部のみが人物領域に含まれるように予め学習されればよい。そしてこの場合、検出部２１は、人物領域の重心を体幹部の位置とする。またこの場合、追跡部２３は、人物が検出された各画像における人物領域の重心の位置を時間順に結んだ線を、検出された人物の体幹部の移動軌跡とすればよい。そして判定部２４は、体幹部の移動軌跡に基づいて、上記の実施形態と同様に、人物が移動したか否かを判定すればよい。この変形例においても、所定期間の開始時と終了時の体幹部の位置間の距離だけでなく、移動軌跡に沿った長さも参照されるので、検出された人物の移動を正確に検知することができる。

【0062】

上記の実施形態または変形例による足元位置推定装置は、移動検知以外の他の用途に利用されてもよい。例えば、プロセッサ１３は、推定した乗員の足元位置が、車両１内の所定の領域に相当する画像上の対応領域に含まれるか否かを判定してもよい。そしてその足元位置が対応領域に含まれる場合、プロセッサ１３は、乗員が所定の領域内に位置していると判定してもよい。なお、所定の領域は、例えば、車両１の乗降口近傍の領域といった、ドアの開閉時に乗員が進入することが禁止される領域とすることができる。この場合、乗員が所定領域内に進入していると判定された場合、プロセッサ１３は、通信インターフェース１１を介して、車両１のドアの開閉を制御する制御ユニットに、乗員がドアの近傍にいることを通知してもよい。その通知後、プロセッサ１３は、何れの乗員についても所定領域外であると判定した場合には、通信インターフェース１１を介して、制御ユニットに、ドアの近傍から乗員がいなくなったことを通知してもよい。そして制御ユニットは、乗員がドアの近傍にいることが通知されてから、ドアの近傍から乗員がいなくなったことが通知されるまでの間、ドアの開閉を行わないようにしてもよい。

【0063】

また、プロセッサ１３は、各乗員についての推定した足元位置に基づいて、車内で混雑しているエリアを特定してもよい。この場合、車両１内において乗員が滞在することが可能なエリアが複数のサブエリアに分割される。そしてサブエリアごとに、画像上の対応するブロックが設定される。サブエリアごとの対応するブロックの位置及び範囲は、メモリ１２に予め記憶されていればよい。プロセッサ１３は、最新の画像から検出された個々の乗員について推定した足元位置が含まれるブロックを特定することで、ブロックごとに、そのブロックに足元位置が含まれる乗員の数をカウントする。そしてプロセッサ１３は、ブロックごとに、そのブロックに足元位置が含まれる乗員の数を、そのブロックに対応するサブエリアに位置する乗員の数として特定する。そしてプロセッサ１３は、乗員の数が所定の閾値となるサブエリアを、混雑しているサブエリアとして特定する。これにより、プロセッサ１３は、車内で混雑しているサブエリア及び混雑していないサブエリアを特定することができる。

【0064】

さらに、足元位置推定装置は、各乗員の推定した足元位置の分布に基づいて、何らかの異常が有る領域を特定するために用いられてもよい。

【0065】

図８は、足元位置推定の結果に基づいて異常が有る領域を特定する変形例についてのプロセッサの機能ブロック図である。この変形例によるプロセッサ１３は、検出部２１と、推定部２２と、特定部２６とを有する。プロセッサ１３が有するこれらの各部は、例えば、プロセッサ１３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ１３が有するこれらの各部は、プロセッサ１３に設けられる専用の演算回路であってもよい。以下では、プロセッサ１３が有する各部のうち、上記の実施形態と異なる部分について説明する。

【0066】

検出部２１は、互いに異なる撮影タイミングでカメラ２が撮影することで生成された複数の画像のそれぞれから人物領域を検出する。そして推定部２２は、それら複数の画像のそれぞれについて、その画像から検出された人物領域から推定された乗員の足元位置を、その画像の撮影タイミングとともにメモリ１２に記憶する。

【0067】

特定部２６は、メモリ１２に記憶された、直近の所定期間における乗員の足元位置の分布に基づいて、異常が有る領域を特定する。例えば、車両１の車内において乗員が滞在することが可能にもかかわらず、ある程度以上の期間にわたって乗員が存在しない領域には、乗員がその領域を避ける何らかの異常が存在する可能性がある。そこで、特定部２６は、そのような、直近の所定期間にわたって乗員が存在しない領域を、異常が有る領域として特定する。なお、所定期間は、例えば、数10分～数時間とすることができる。

【0068】

そこで、上記の変形例と同様に、車両１内において乗員が滞在することが可能なエリアが複数のサブエリアに分割される。そしてサブエリアごとに、画像上の対応するブロックが設定される。サブエリアごとの対応するブロックの位置及び範囲は、メモリ１２に予め記憶されていればよい。特定部２６は、メモリ１２に記憶されている、直近の所定期間内に撮影タイミングが含まれる各画像について、その画像から検出された個々の乗員の足元位置が含まれるブロックを特定する。これにより、特定部２６は、ブロックごとに、そのブロックに含まれる足元位置の数をカウントする。そして特定部２６は、足元位置の数が所定の検出閾値（例えば、1～3）未満となるブロックに対応するサブエリアを、何らかの異常が有る領域として特定する。

【0069】

異常が有る領域が特定されると、特定部２６は、その特定した領域の位置及び範囲を表す情報、及び、車両１の識別情報を、通信インターフェース１１及び車両１に搭載された無線通信端末（図示せず）を介して、車両１を管理するサーバ（図示せず）へ送信する。あるいは、特定部２６は、特定した領域の位置及び範囲を表す情報を、通信インターフェース１１を介して、車両１の走行を制御する制御ユニットへ通知してもよい。この場合、制御ユニットは、異常が有る領域が特定されたことについて通知されると、車両１の乗員を所定の場所で降車させた後に車両１のメンテナンスが行われる場所へ車両１を走行させてもよい。

【0070】

この変形例によれば、足元位置推定装置は、各乗員の足元位置の推定結果を利用して、何らかの異常が有る領域を特定することができる。

【0071】

上記の実施形態または変形例による、足元位置推定装置４のプロセッサ１３で実行される処理をコンピュータに実行させるコンピュータプログラムは、例えば、光記録媒体あるいは磁気記録媒体といった記録媒体に記録されて配布されてもよい。

【0072】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0073】

１ 車両、 ２ カメラ、 ３ 通知機器、 ４ 足元位置推定装置、 １０ システム、 １１ 通信インターフェース、 １２ メモリ、 １３ プロセッサ、 ２１ 検出部、 ２２ 推定部、 ２３ 追跡部、 ２４ 判定部、 ２５ 通知処理部、 ２６ 特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】