特許 7517312 車両乗員の移動距離測定装置、移動距離測定プログラム、及び移動距離測定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】車両乗員の移動距離測定装置、移動距離測定プログラム、及び移動距離測定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240709BHJP

   G08G 1/127 20060101ALI20240709BHJP

   G06T 7/20 20170101ALI20240709BHJP

   G08B 21/02 20060101ALI20240709BHJP

   G06T 7/66 20170101ALI20240709BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/127 A

G06T7/20 300Z

G08B21/02

G06T7/00 660B

G06T7/66

【請求項の数】 7

(21)【出願番号】P 2021191422

(22)【出願日】2021-11-25

(65)【公開番号】P2023077916

(43)【公開日】2023-06-06

【審査請求日】2023-07-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】伊津野 貴裕

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０１３－０８４１０８（ＪＰ，Ａ）

【文献】特開２０１６－２０３９１０（ＪＰ，Ａ）

【文献】木野口 稜, 横山 想一郎, 山下 倫央, 川村 秀憲，深層学習を用いた車内モニタリングによる状態認識，電子情報通信学会技術研究報告，日本，電子情報通信学会，2020年03月01日，Vol. 119, No. 469, AI2019-58 (2020-03)，pp. 25-30

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０８Ｇ １／１２７

Ｇ０８Ｂ ２１／０２

(57)【特許請求の範囲】

【請求項1】

撮影範囲を固定して車両の車室内を撮像する撮像装置が取得した時系列のフレーム画像群のそれぞれから、移動距離の演算対象となる乗員に対応する対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出する重心位置検出部と、
前記フレーム画像群のうちの１つのフレーム画像である仮基準画像から検出された前記重心位置を中心とした安定領域を設定する安定領域設定部と、
時系列において前記仮基準画像に後続する複数のフレーム画像である後続画像から検出された前記重心位置に基づいて、閾値時間以上、前記重心位置が前記安定領域内にあると判定した場合に、前記安定領域内の所定位置を起点位置として設定する起点位置設定部と、
前記起点位置と、時系列において前記複数の後続画像に後続するフレーム画像である測定対象画像から検出された前記重心位置との間の距離に基づいて、前記対象人物像に対応する乗員の移動距離を演算する移動距離演算部と、
を備えることを特徴とする車両乗員の移動距離測定装置。

【請求項2】

前記閾値時間内に前記重心位置が前記安定領域外に位置した場合、前記安定領域設定部は、前記重心位置が前記安定領域外となった前記後続画像を前記仮基準画像として、前記安定領域を再設定する、
ことを特徴とする請求項１に記載の車両乗員の移動距離測定装置。

【請求項3】

前記重心位置検出部は、前記対象人物像の外接矩形の中心を前記重心位置とする、
ことを特徴とする請求項１又は２に記載の車両乗員の移動距離測定装置。

【請求項4】

前記車両は、自動運転可能な車両であり、
前記移動距離測定装置は、
前記移動距離演算部が演算した前記移動距離が閾値距離以上である場合、前記車両の自動運転による発進を不可とするための発進不可信号を出力する信号出力部と、
をさらに備える、
ことを特徴とする請求項１から３のいずれか１項に記載の車両乗員の移動距離測定装置。

【請求項5】

前記移動距離演算部が演算した前記移動距離が閾値距離以上である場合、前記車両の乗員に対する通知を出力する制御を行う通知制御部と、
をさらに備える、
ことを特徴とする請求項１から４のいずれか１項に記載の車両乗員の移動距離測定装置。

【請求項6】

コンピュータを、
撮影範囲を固定して車両の車室内を撮像する撮像装置が取得した時系列のフレーム画像群のそれぞれから、移動距離の演算対象となる乗員に対応する対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出する重心位置検出部と、
前記フレーム画像群のうちの１つのフレーム画像である仮基準画像から検出された前記重心位置を中心とした安定領域を設定する安定領域設定部と、
時系列において前記仮基準画像に後続する複数のフレーム画像である後続画像から検出された前記重心位置に基づいて、閾値時間以上、前記重心位置が前記安定領域内にあると判定した場合に、前記安定領域内の所定位置を起点位置として設定する起点位置設定部と、
前記起点位置と、時系列において前記複数の後続画像に後続するフレーム画像である測定対象画像から検出された前記重心位置との間の距離に基づいて、前記対象人物像に対応する乗員の移動距離を演算する移動距離演算部と、
として機能させることを特徴とする車両乗員の移動距離測定プログラム。

【請求項7】

撮影範囲を固定して車両の車室内を撮像する撮像装置が取得したフレーム画像である仮基準画像から、移動距離の演算対象となる乗員に対応する対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出し、当該重心位置を中心とした安定領域を設定する安定領域設定ステップと、
時系列において前記仮基準画像に後続する複数のフレーム画像である複数の後続画像それぞれから前記対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出し、前記複数の後続画像から検出した前記重心位置に基づいて、閾値時間以上、前記重心位置が前記安定領域内にあるか否かを判定する重心位置判定ステップと、
閾値時間以上、前記重心位置が前記安定領域内にあると判定された場合に、前記安定領域内の所定位置を起点位置として設定する起点位置設定ステップと、
時系列において前記複数の後続画像に後続するフレーム画像である測定対象画像から前記対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出し、前記起点位置と、前記測定対象画像から検出した前記重心位置との間の距離に基づいて、前記対象人物像に対応する乗員の移動距離を演算する移動距離演算ステップと、
を含むことを特徴とする車両乗員の移動距離測定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、車両乗員の移動距離測定装置、移動距離測定プログラム、及び移動距離測定方法を開示する。

【背景技術】

【0002】

従来、車両内を撮像する撮像装置が取得した撮像画像（フレーム画像）に基づいて、当該車両の乗員の移動を検出する技術が提案されている。

【0003】

例えば、特許文献１には、バス内に設けられた乗客移動検知システムであって、バス内を撮影するカメラから定期的に出力される撮像画像から人物（乗客）を検出することで、当該人物が移動しているか否かを判定し、当該人物移動している場合に、運転手に注意を促すための警報を出力する乗客移動検知システムが開示されている。また、特許文献２には、運転手の顔を撮像するカメラが出力する時系列のフレーム画像それぞれから当該運転手の顔の重心を求め、第１フレーム画像から求められた顔の重心位置と、第１フレーム画像に後続する第２フレーム画像から求められた顔の重心位置とに基づいて、重心位置の移動量を求める画像認識装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１９９１２３号公報

【文献】特開２０１５－１０８９４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車室内を撮像する撮像装置が取得した時系列のフレーム画像群のそれぞれから、移動距離の対象となる乗員に対応する対象人物像を検出した上で、当該対象人物像に基づいて当該乗員の重心位置を検出し、当該フレーム画像群の１つである第１フレーム画像から検出された重心位置と、当該フレーム画像群において第１フレーム画像に後続する第２フレーム画像から検出された重心位置との間の距離に基づいて、当該対象人物像に対応する乗員の移動距離を演算することが考えられる。

【0006】

車両内にいる乗員が移動したことを検知するために当該乗員の移動距離を演算する場合は、移動する前の乗員（移動していない乗員）を撮像した画像が、移動距離の演算の起点画像である第１フレーム画像となる。この場合、第１フレーム画像における対象人物像（当該乗員の像）の重心位置を移動距離演算の起点位置とすることができる。

【0007】

ここで、車両内の乗員が、移動したとまでは言えないが、一時的に大きく姿勢を変化させる場合が考えられる。乗員が姿勢を大きく変化させると、第１フレーム画像における対象人物像の重心位置も大きく変化することになる。そして、一時的に大きく姿勢を変化させた乗員を撮像した画像を第１フレーム画像としてしまうと、移動距離演算の起点位置が大きく姿勢を変化させた乗員の重心位置となってしまい、当該起点位置が適切な位置にならない場合がある。このような不適切な起点位置に基づいて当該乗員の移動距離を演算すると、演算された移動距離が不正確となり得る。

【0008】

本明細書で開示される車両乗員の移動距離測定装置の目的は、車室内を撮像した時系列のフレーム画像群のそれぞれから検出された対象人物像に対応する乗員の重心位置に基づいて当該乗員の移動距離を演算する際に、当該乗員が閾値時間以上安定した姿勢を保っていた場合における当該乗員の重心位置に基づく位置を移動距離演算の起点位置とすることにある。

【課題を解決するための手段】

【0009】

本明細書で開示される車両乗員の移動距離測定装置は、撮影範囲を固定して車両の車室内を撮像する撮像装置が取得した時系列のフレーム画像群のそれぞれから、移動距離の演算対象となる乗員に対応する対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出する重心位置検出部と、前記フレーム画像群のうちの１つのフレーム画像である仮基準画像から検出された前記重心位置を中心とした安定領域を設定する安定領域設定部と、時系列において前記仮基準画像に後続する複数のフレーム画像である後続画像から検出された前記重心位置に基づいて、閾値時間以上、前記重心位置が前記安定領域内にあると判定した場合に、前記安定領域内の所定位置を起点位置として設定する起点位置設定部と、前記起点位置と、時系列において前記複数の後続画像に後続するフレーム画像である測定対象画像から検出された前記重心位置との間の距離に基づいて、前記対象人物像に対応する乗員の移動距離を演算する移動距離演算部と、を備えることを特徴とする。

【0010】

かかる構成において、閾値時間以上、乗員の重心位置が安定領域内にあるということは、当該乗員が、仮基準画像の撮影時刻から閾値時間以上、大きな姿勢変化をせずに安定した姿勢を保っていたことを意味する。したがって、かかる構成によれば、当該乗員が閾値時間以上安定した姿勢を保っていた場合における当該乗員の重心位置に基づく位置を、当該乗員の移動距離演算の起点位置とすることができる。

【0011】

前記閾値時間内に前記重心位置が前記安定領域外に位置した場合、前記安定領域設定部は、前記重心位置が前記安定領域外となった前記後続画像を前記仮基準画像として、前記安定領域を再設定するとよい。

【0012】

かかる構成によれば、閾値時間内に重心位置が安定領域外に位置した場合、すなわち、仮基準画像の撮影時刻から閾値時間未満の間に当該乗員が大きな姿勢変化をした場合は、起点位置を設定せずに、再設定された安定領域に基づいて適切な起点位置の設定を試みることができる。

【0013】

前記重心位置検出部は、前記対象人物像の外接矩形の中心を前記重心位置とするとよい。

【0014】

かかる構成によれば、簡易的な処理により、対象人物像に対応する乗員の重心位置を検出することができる。

【0015】

前記車両は、自動運転可能な車両であり、前記移動距離測定装置は、前記移動距離演算部が演算した前記移動距離が閾値距離以上である場合、前記車両の自動運転による発進を不可とするための発進不可信号を出力する信号出力部と、をさらに備えるとよい。

【0016】

かかる構成によれば、乗員が移動している場合に、車両が自動運転により発進してしまうことを防止することができる。

【0017】

前記移動距離演算部が演算した前記移動距離が閾値距離以上である場合、前記車両の乗員に対する通知を出力する制御を行う通知制御部と、をさらに備えるとよい。

【0018】

かかる構成によれば、移動している乗員が居る場合に、当該乗員又は他の乗員に対して通知を出力することができる。

【0019】

また、本明細書で開示される車両乗員の移動距離測定プログラムは、コンピュータを、撮影範囲を固定して車両の車室内を撮像する撮像装置が取得した時系列のフレーム画像群のそれぞれから、移動距離の演算対象となる乗員に対応する対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出する重心位置検出部と、前記フレーム画像群のうちの１つのフレーム画像である仮基準画像から検出された前記重心位置を中心とした安定領域を設定する安定領域設定部と、時系列において前記仮基準画像に後続する複数のフレーム画像である後続画像から検出された前記重心位置に基づいて、閾値時間以上、前記重心位置が前記安定領域内にあると判定した場合に、前記安定領域内の所定位置を起点位置として設定する起点位置設定部と、前記起点位置と、時系列において前記複数の後続画像に後続するフレーム画像である測定対象画像から検出された前記重心位置との間の距離に基づいて、前記対象人物像に対応する乗員の移動距離を演算する移動距離演算部と、として機能させることを特徴とする。

【0020】

また、本明細書で開示される車両乗員の移動距離測定方法は、撮影範囲を固定して車両の車室内を撮像する撮像装置が取得したフレーム画像である仮基準画像から、移動距離の演算対象となる乗員に対応する対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出し、当該重心位置を中心とした安定領域を設定する安定領域設定ステップと、時系列において前記仮基準画像に後続する複数のフレーム画像である複数の後続画像それぞれから前記対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出し、前記複数の後続画像から検出した前記重心位置に基づいて、閾値時間以上、前記重心位置が前記安定領域内にあるか否かを判定する重心位置判定ステップと、閾値時間以上、前記重心位置が前記安定領域内にあると判定された場合に、前記安定領域内の所定位置を起点位置として設定する起点位置設定ステップと、時系列において前記複数の後続画像に後続するフレーム画像である測定対象画像から前記対象人物像を検出し、前記対象人物像に基づいて前記乗員の重心位置を検出し、前記起点位置と、前記測定対象画像から検出した前記重心位置との間の距離に基づいて、前記対象人物像に対応する乗員の移動距離を演算する移動距離演算ステップと、を含むことを特徴とする。

【発明の効果】

【0021】

本明細書で開示される車両乗員の移動距離測定装置によれば、車室内を撮像した時系列のフレーム画像群のそれぞれから検出された対象人物像に対応する乗員の重心位置に基づいて当該乗員の移動距離を演算する際に、当該乗員が閾値時間以上安定した姿勢を保っていた場合における当該乗員の重心位置に基づく位置を移動距離演算の起点位置とすることができる。

【図面の簡単な説明】

【0022】

【図1】本実施形態に係る車両乗員の移動距離測定システムの構成概略図である。

【図2】本実施形態に係る車両乗員の移動距離測定装置の構成概略図である。

【図3】仮基準画像の例を示す図である。

【図4】後続画像の第１の例を示す図である。

【図5】後続画像の第２の例を示す図である。

【図6】測定対象画像の例を示す図である。

【図7】本実施形態に係る車両乗員の移動距離測定装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0023】

図１は、本実施形態に係る車両乗員の移動距離測定システム１０の構成概略図である。移動距離測定システム１０は、車両Ａの乗員の移動距離を測定するためのシステムである。本実施形態では、車両Ａは、複数の乗客が乗り合うバスである。特に、車両Ａは、自動運転が可能な車両となっている。自動運転とは、運転制御の大部分を車両Ａに搭載された自動運転用コンピュータが行う運転である。車両Ａのオペレータが車両Ａに搭乗していてもよく、自動運転において、運転制御の一部を当該オペレータの手によって行うようにしてもよい。なお、本明細書において、乗員とは、車両Ａの乗客及びオペレータの少なくとも一方を含む概念である。

【0024】

移動距離測定システム１０は、撮像装置１２、表示装置１４、音声出力装置１６、及び移動距離測定装置１８を含んで構成される。

【0025】

撮像装置１２は、例えばデジタルカメラで構成される。すなわち、撮像装置１２は、レンズ、及び、レンズが受けた被写体からの光を電気信号に変換するＣＣＤイメージセンサなどを含んで構成される。ＣＣＤイメージセンサは、２次元に配列されたＣＣＤ素子群から構成され、各ＣＣＤ素子は、撮像装置１２で取得されるフレーム画像の各画素に対応するものである。

【0026】

撮像装置１２は、車両Ａの車室内に設けられ、撮影範囲を固定して車両Ａの車室内を撮像し、時系列のフレーム画像群を取得する。本実施形態では、撮像装置１２は車両Ａの車室内の天井付近に設けられ、その撮影範囲は、車室内の略全体となっている。

【0027】

本実施形態では、撮像装置１２はビデオカメラであり動画を撮影するものである。例えば当該動画のフレームレートが３０ＦＰＳ（Frames Per Second）であれば、当該動画は、１秒間当たり３０枚のフレーム画像で構成されるものとなる。なお、撮像装置１２は、車両Ａの車室内を撮像して時系列のフレーム画像群が取得できれば、必ずしもビデオカメラである必要はない。例えば、撮像装置１２はスチルカメラであり、スチルカメラにより間欠的に取得された静止画像群をフレーム画像群として取得するようにしてもよい。撮像装置１２により取得されたフレーム画像は、取得順（時系列順）に、順次、移動距離測定装置１８に送信される。

【0028】

表示装置１４は、例えば、デジタルサイネージ又はインジケータなどから構成される。表示装置１４は、車両Ａの車室内に設けられる。詳しくは後述するが、表示装置１４は、移動距離測定装置１８からの指示に応じて、車両Ａの乗員に対する通知を行うために用いられる。

【0029】

音声出力装置１６は、例えば、スピーカなどから構成される。音声出力装置１６は、車両Ａの車室内に設けられる。音声出力装置１６は、表示装置１４同様、移動距離測定装置１８からの指示に応じて、車両Ａの乗員に対する通知を行うために用いられる。

【0030】

図２は、移動距離測定装置１８の構成概略図である。本実施形態では、移動距離測定装置１８は、車両Ａに搭載されている。

【0031】

データ入出力インターフェース３０は、例えば種々のコネクタなどを含んで構成される。データ入出力インターフェース３０を介して、移動距離測定装置１８は、撮像装置１２、表示装置１４、及び音声出力装置１６などと、データの送受信が可能なように接続される。例えば、データ入出力インターフェース３０は、撮像装置１２から、順次フレーム画像を取得する。また、データ入出力インターフェース３０は、表示装置１４又は音声出力装置１６に対する指示信号を送信する。

【0032】

メモリ３２は、例えば、ｅＭＭＣ（embedded Multi Media Card）、ＲＯＭ（Read Only Memory）あるいはＲＡＭ（Random Access Memory）などを含んで構成される。メモリ３２には、移動距離測定装置１８の各部を動作させるための移動距離測定プログラムが記憶されている。なお、移動距離測定プログラムは、例えば、ＵＳＢ（Universal Serial Bus）メモリ又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することができる。移動距離測定装置１８は、移動距離測定プログラムが記憶された記憶媒体を読み取ることで、移動距離測定プログラムを実行することができる。

【0033】

また、図２に示す通り、メモリ３２には、撮像装置１２から受信した時系列のフレーム画像群３４が記憶される。本明細書においては、各フレーム画像の利用目的に応じて、フレーム画像群３４のうちの１つのフレーム画像を仮基準画像３４ａと呼び、仮基準画像３４ａに後続する複数のフレーム画像を後続画像３４ｂと呼び、複数の後続画像３４ｂにさらに後続するフレーム画像を測定対象画像３４ｃと呼ぶ。

【0034】

プロセッサ３６は、例えばＥＣＵ（Electronic Control Unit）やＣＰＵ（Central Processing Unit）などを含んで構成される。プロセッサ３６としては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。プロセッサ３６は、メモリ３２又は記憶媒体に記憶された移動距離測定プログラムに従って、重心位置検出部３８、安定領域設定部４０、起点位置設定部４２、移動距離演算部４４、信号出力部４６、及び、通知制御部４８としての機能を発揮する。

【0035】

重心位置検出部３８は、仮基準画像３４ａ、複数の後続画像３４ｂ、及び測定対象画像３４ｃを含むフレーム画像群３４のそれぞれから、移動距離の演算対象となる乗員に対する対象人物像を検出する。各フレーム画像からの対象人物像の検出は、既知の方法を採用することができる。例えば、撮像装置１２により、予め人物像が写っていない背景画像を取得しておき、重心位置検出部３８は、各フレーム画像と背景画像との差分を取って差分像を得る。そして、当該差分像の大きさや形状などに基づいて、当該差分像を人物像と判定する。その上で、重心位置検出部３８は、人物像から検出された特徴量の比較などによって、各フレームから検出された人物像に対応する乗員の同一性を識別する。これにより、各フレーム画像から同一の乗員に対応する対象人物像を検出することができる。

【0036】

次いで、重心位置検出部３８は、各フレーム画像において、検出した対象人物像に基づいて、当該対象人物像に対応する乗員の重心位置を検出する。ここでは、仮基準画像３４ａに対する処理を例として、対象人物像の重心位置の検出処理を説明する。図３は、仮基準画像３４ａの例を示す図である。上述の処理により、仮基準画像３４ａから対象人物像Ｐが検出されているとする。本実施形態では、重心位置検出部３８は、まず、対象人物像Ｐの外接矩形６０を設定する。そして、外接矩形６０の中心（外接矩形６０の対角線の交点）を対象人物像Ｐに対応する乗員の重心位置６２とする。すなわち、本実施形態では、重心位置検出部３８は、フレーム画像上の点（座標）を対象人物像Ｐに対応する乗員の重心位置６２として検出する。以下、仮基準画像３４ａから検出された重心位置６２を重心位置６２ａと呼ぶ。

【0037】

なお、重心位置検出部３８は、例えば対象人物像Ｐの形状に基づく方法などのその他の方法でも対象人物像Ｐに対応する乗員の重心位置６２を検出することが可能であるが、上記のような簡易的な方法で当該乗員の重心位置６２を検出することで、重心位置６２を検出するための演算量を低減することができる。特に、詳しくは後述するが、本実施形態では、撮像装置１２から順次送られてくるフレーム画像から検出した対象人物像Ｐに対応する乗員の重心位置６２を順次検出し、これによりリアルタイムに当該乗員の移動を検出するため、重心位置６２を簡易的な方法で検出することが好適である。

【0038】

重心位置検出部３８は、撮像装置１２から順次フレーム画像が送られてくる度に、受信したフレーム画像から対象人物像Ｐ及び対象人物像Ｐに対応する乗員の重心位置６２を検出する処理を実行する。

【0039】

安定領域設定部４０は、仮基準画像３４ａから検出された重心位置６２ａを中心とした安定領域６４を設定する。本実施形態では、図３に示すように、安定領域設定部４０は、画像の座標上の領域であり、重心位置６２ａの座標を中心とした半径ｒ画素分の円形領域を安定領域６４として設定する。

【0040】

後述のように、安定領域６４は、対象人物像Ｐに対応する乗員が大きく姿勢を変化させたか否かを判定するための領域である。具体的には、仮基準画像３４ａに後続する後続画像３４ｂにおいて、対象人物像Ｐに対応する乗員の重心位置６２が安定領域６４の外に出た場合、当該乗員が大きく姿勢を変化させた、と判定される。したがって、安定領域６４の大きさ（すなわち半径ｒ）は、対象人物像Ｐに対応する乗員の多少の姿勢変化は許容しつつ、当該乗員の移動距離の演算結果が不正確となる程度に当該乗員が大きく姿勢を変化させたことを検出可能なように、適宜、移動距離測定システム１０の管理者などによって定められる。なお、対象人物像Ｐに対応する乗員が撮像装置１２に近い程、仮基準画像３４ａにおいて対象人物像Ｐが大きく映るため、安定領域設定部４０は、仮基準画像３４ａにおける対象人物像Ｐの大きさに応じて半径ｒを設定する（具体的には対象人物像Ｐが大きい程半径ｒを大きく設定する）ようにしてもよい。

【0041】

起点位置設定部４２は、時系列において仮基準画像３４ａに後続する複数の後続画像３４ｂから重心位置検出部３８が検出した重心位置６２に基づいて、移動距離測定システム１０の管理者などによって予め定められた閾値時間以上、対象人物像Ｐの重心位置６２が安定領域６４内にあるか否かを判定する。図４は、後続画像３４ｂの第１の例を示す図である。以後、後続画像３４ｂから検出された重心位置６２を重心位置６２ｂと呼ぶ。

【0042】

本実施形態では、起点位置設定部４２は、複数の後続画像３４ｂについて、時系列順に、重心位置６２ｂの座標が安定領域６４内の座標であるか否かを判定していく。そして、起点位置設定部４２は、閾値時間内に取得された複数の後続画像３４ｂ（例えば撮像装置１２が撮影した動画のフレームレートが３０ＦＰＳであり、閾値時間が１秒である場合、３０枚の後続画像３４ｂ）から検出された重心位置６２ｂが、全て、図４に示すように安定領域６４内にあれば、閾値時間以上、対象人物像Ｐに対応する乗員の重心位置６２が安定領域６４内にある、と判定する。これは、仮基準画像３４ａの撮影時刻から閾値時間の間、対象人物像Ｐに対応する乗員が、大きな姿勢変化をせずに安定した姿勢を保っていたことを意味する。

【0043】

起点位置設定部４２は、閾値時間以上、対象人物像Ｐに対応する乗員の重心位置６２が安定領域６４内にあると判定した場合、安定領域６４内の所定位置を、当該乗員の移動距離の起点となる起点位置６６として設定する。ここで、所定位置（すなわち起点位置６６）は、安定領域６４内であればどこでもよい。例えば、本実施形態では、閾値時間内に取得された複数の後続画像３４ｂのうち、時系列順で最後の後続画像３４ｂから検出された重心位置６２を起点位置６６としている。また、例えば、複数の後続画像３４ｂから検出された複数の重心位置６２の中心位置、あるいは、安定領域６４の中心位置（すなわち仮基準画像３４ａから検出された重心位置６２ａ）起点位置６６としてもよい。

【0044】

図５は、後続画像３４ｂの第２の例を示す図である。図５に示すように、閾値時間内に取得された複数の後続画像３４ｂのいずれかから検出された重心位置６２ｂが安定領域６４の外に出た場合、すなわち、閾値時間内に重心位置６２ｂが安定領域６４外に位置した場合、これは、対象人物像Ｐに対応する乗員が、閾値時間の間に大きく姿勢を変化させたことを意味する。したがって、この場合、起点位置設定部４２は、当該安定領域６４内には起点位置６６を設定しない。

【0045】

この場合、安定領域設定部４０は、重心位置６２ｂが安定領域６４外となった後続画像３４ｂを仮基準画像３４ａに置き代えて、新たな仮基準画像３４ａにおいて安定領域６４を再設定する。その後、起点位置設定部４２は、時系列において新たな仮基準画像３４ａに後続する複数の後続画像３４ｂに対して上述の処理を繰り返す。

【0046】

移動距離演算部４４は、起点位置設定部４２が設定した起点位置６６と、時系列において複数の後続画像３４ｂに後続する測定対象画像３４ｃから検出された重心位置６２との間の距離に基づいて、対象人物像Ｐに対応する乗員の移動距離を演算する。図６は、測定対象画像３４ｃの例を示す図である。以後、測定対象画像３４ｃから検出された重心位置６２を重心位置６２ｃと呼ぶ。

【0047】

当然ながら、画像上の座標における起点位置６６と重心位置６２ｃとの間の距離は、実空間における対象人物像Ｐに対応する乗員の移動距離とは異なる。したがって、移動距離演算部４４は、撮像装置１２から起点位置６６までの距離、撮像装置１２から重心位置６２ｃまでの距離、及び、撮像装置１２の各ＣＣＤ素子が受ける光（すなわちフレーム画像の各画素に対応する光）の入射方向と撮像装置１２のレンズのカメラ光軸とが成す角度などに基づいて、画像上の座標における起点位置６６と重心位置６２ｃとの間の距離に補正係数をかけることで、実空間上における、対象人物像Ｐに対応する乗員の移動距離を演算する。また、撮像装置１２の撮影範囲内にある、移動しない固定物（例えば椅子や棒手すりなど）上の複数の特定位置を予め定め、特定位置間の実空間における距離を予めメモリ３２に記憶しておいた上で、移動距離演算部４４は、当該特定位置間の距離も参考にして、実空間上における対象人物像Ｐに対応する乗員の移動距離を演算するようにしてもよい。

【0048】

ここで、撮像装置１２から起点位置６６までの距離、撮像装置１２から重心位置６２ｃまでの距離は、以下のような処理によって得ることができる。例えば、“https://www.global.toshiba/jp/technology/corporate/rdc/rd/topics/19/1910-03.html”に記載されているように、学習済みの距離計測用学習器に各フレーム画像を入力することで、フレーム画像の各画素（座標）について、撮像装置１２から当該画素が示す被写体までの距離が示された距離画像を得ることができる。したがって、移動距離演算部４４は、当該距離計測用学習器に後続画像３４ｂ（又は仮基準画像３４ａ）を入力することで、撮像装置１２から起点位置６６までの距離を得ることができ、当該距離計測用学習器に測定対象画像３４ｃを入力することで、撮像装置１２から重心位置６２ｃまでの距離を得ることができる。

【0049】

移動距離演算部４４は、撮像装置１２から測定対象画像３４ｃを受信する度に、当該測定対象画像３４ｃに基づいて、実空間上における対象人物像Ｐに対応する乗員の移動距離を演算する。そして、移動距離演算部４４は、演算した対象人物像Ｐに対応する乗員の移動距離が、移動距離測定システム１０の管理者などによって定められた閾値距離以上である場合、当該乗員が移動した、と判定する。なお、当該閾値距離は、乗員の単なる姿勢の変化により生じる重心位置６２の移動距離よりも大きな値に設定される。

【0050】

信号出力部４６は、対象人物像Ｐに対応する乗員が移動したと移動距離演算部４４が判定した場合、車両Ａの自動運転による発進を不可とするための発進不可信号を自動運転用コンピュータに出力する。これにより、自動運転用コンピュータは、自動運転により車両Ａを発進させることができなくなり、乗員が移動している場合に車両Ａが自動運転により発進してしまうことが防止される。この後、自動運転用コンピュータは、例えば、車両Ａに搭乗したオペレータの操作により発進不可状態が解除された後に、自動運転を再開することができる。

【0051】

通知制御部４８は、対象人物像Ｐに対応する乗員が移動したと移動距離演算部４４が判定した場合、車両Ａの乗員に対する通知を出力する制御を行う。

【0052】

具体的には、通知制御部４８は、表示装置１４に通知表示を行わせるための通知指示信号を送信する。例えば表示装置１４がデジタルサイネージである場合には、通知制御部４８は、乗客に対する通知として、「移動しないでください」という文字列やイラストなどを含む画面をデジタルサイネージに表示させる。また、表示装置１４がインジケータである場合には、通知制御部４８は、インジケータを点灯あるいは点滅させて、オペレータに対して乗客が移動していることを通知する。

【0053】

また、通知制御部４８は、音声出力装置１６に音声通知を行わせるための通知指示信号を送信する。例えば、通知制御部４８は、乗客に対する通知として「移動しないでください」という音声を音声出力装置１６に出力させる。また、通知制御部４８は、オペレータに対する通知として、「乗客が移動しています」という音声を音声出力装置１６に出力させてもよい。

【0054】

本実施形態に係る移動距離測定システム１０の概要は以上の通りである。以下、図７に示すフローチャートに従って、移動距離測定装置１８の処理の流れを説明する。

【0055】

ステップＳ１０において、移動距離測定装置１８は、撮像装置１２から仮基準画像３４ａを受信する。そして、重心位置検出部３８は、仮基準画像３４ａから、移動距離の演算対象となる乗員に対する対象人物像Ｐを検出し、検出した対象人物像Ｐに基づいて当該乗員の重心位置６２ａを検出する。

【0056】

ステップＳ１２において、安定領域設定部４０は、ステップＳ１０で検出した重心位置６２ａを中心とした安定領域６４を設定する。ステップＳ１０及びステップＳ１２が、安定領域設定ステップに相当する。

【0057】

ステップＳ１４において、移動距離測定装置１８は、撮像装置１２から後続画像３４ｂを受信する。そして、重心位置検出部３８は、当該後続画像３４ｂから、対象人物像Ｐを検出し、対象人物像Ｐに対応する乗員の重心位置６２ｂを検出する。

【0058】

ステップＳ１６において、起点位置設定部４２は、ステップＳ１４で検出した重心位置６２ｂの座標が、ステップＳ１２で設定した安定領域６４内にあるか否かを判定する。重心位置６２ｂが安定領域６４の外にある場合はステップＳ１８に進む。

【0059】

ステップＳ１８において、安定領域設定部４０は、当該後続画像３４ｂを仮基準画像３４ａに置き代える。その上で、再度のステップＳ１２にて、安定領域設定部４０は、新たな仮基準画像３４ａにおいて安定領域６４を設定する。

【0060】

ステップＳ１６で重心位置６２ｂが安定領域６４内にある場合はステップＳ２０に進み、ステップＳ２０において、起点位置設定部４２は、仮基準画像３４ａの取得時刻から閾値時間内に取得された全ての後続画像３４ｂについて、重心位置６２ｂが安定領域６４内にあるか否かを判定する処理を終えたか否かを判定する。閾値時間内に取得された後続画像３４ｂについての当該処理が終わっていない場合は、ステップＳ１４に戻る。再度のステップＳ１４において、移動距離測定装置１８は、撮像装置１２から時系列において次の後続画像３４ｂを受信し、重心位置検出部３８は、当該後続画像３４ｂから、対象人物像Ｐを検出し、対象人物像Ｐに対応する乗員の重心位置６２ｂを検出する。閾値時間内に取得された全ての後続画像３４ｂについての当該処理が終わった場合は、ステップＳ２２に進む。ステップＳ１４、Ｓ１６、及びＳ２０が、重心位置判定ステップに相当する。

【0061】

ステップＳ２２において、起点位置設定部４２は、ステップＳ１２で設定された安定領域６４内の所定位置を起点位置６６として設定する。ステップＳ２２が、起点位置設定ステップに相当する。

【0062】

ステップＳ２４において、移動距離測定装置１８は、撮像装置１２から測定対象画像３４ｃを受信する。そして、重心位置検出部３８は、当該測定対象画像３４ｃから、対象人物像Ｐを検出し、対象人物像Ｐに対応する乗員の重心位置６２ｃを検出する。

【0063】

ステップＳ２６において、移動距離演算部４４は、起点位置６６と重心位置６２ｃとの間の距離に基づいて、対象人物像Ｐに対応する乗員の実空間における移動距離を演算する。ステップＳ２６が、移動距離演算ステップに相当する。そして、移動距離演算部４４が演算した乗員の移動距離が閾値距離以上であれば、信号出力部４６は、車両Ａの自動運転による発進を不可とするための発進不可信号を自動運転用コンピュータに出力する。また、移動距離演算部４４が演算した乗員の移動距離が閾値距離以上であれば、通知制御部４８は、車両Ａの乗員に対する通知を表示装置１４又は音声出力装置１６から出力させる制御を行う。

【0064】

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

【0065】

例えば、本実施形態では、移動距離測定装置１８が車両Ａ内に設けられていたが、移動距離測定装置１８は、例えば車両Ａの外部に設置されたコンピュータ（例えばサーバコンピュータ）であってもよい。この場合、撮像装置１２が取得したフレーム画像は、通信回線を介して順次移動距離測定装置１８に送信され、移動距離測定装置１８は、通信回線を介して受信したフレーム画像群に基づいて、上述の処理により、車両Ａの乗員の移動距離を演算する。

【符号の説明】

【0066】

１０ 移動距離測定システム、１２ 撮像装置、１４ 表示装置、１６ 音声出力装置、１８ 移動距離測定装置、３０ データ入出力インターフェース、３２ メモリ、３４ フレーム画像群、３４ａ 仮基準画像、３４ｂ 後続画像、３４ｃ 測定対象画像、３６ プロセッサ、３８ 重心位置検出部、４０ 安定領域設定部、４２ 起点位置設定部、４４ 移動距離演算部、４６ 信号出力部、４８ 通知制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】