特許 7579731 車両の制御装置、車両の制御システム、プログラム、及び車両の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-30

(45)【発行日】2024-11-08

(54)【発明の名称】車両の制御装置、車両の制御システム、プログラム、及び車両の制御方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241031BHJP

   G06V 20/59 20220101ALI20241031BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350B

G06V20/59

【請求項の数】 12

(21)【出願番号】P 2021053146

(22)【出願日】2021-03-26

(65)【公開番号】P2022150512

(43)【公開日】2022-10-07

【審査請求日】2023-08-28

(73)【特許権者】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】徳住 友稜

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０２０－０４７２７３（ＪＰ，Ａ）

【文献】特開２０１１－１２３７３３（ＪＰ，Ａ）

【文献】特開２０２０－００７８７８（ＪＰ，Ａ）

【文献】特開２０２０－０１３３４１（ＪＰ，Ａ）

【文献】運転環境における高精度関節位置推定と姿勢評価システム，マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１６）シンポジウム論文集，2016年06月29日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０８Ｇ １／００ － ９９／００

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｈ０４Ｎ ２３／９０ － ２３／９５９

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

車両のシートに着座している人物を撮像した画像から取得される、前記人物の骨格の位置を示す骨格座標が動き得る領域として予め設定された設定領域を記憶する記憶装置と、
前記設定領域を設定するためのキャリブレーション処理、及び、車室内を撮像した画像から、前記車両に乗車した利用者がシートに着座したか否かを判定する着座判定処理を実行する処理装置とを備え、
前記キャリブレーション処理は、前記人物を撮像した画像から前記人物の骨格座標を一定期間取得し、その取得された骨格座標が前記一定期間に動いた領域に基づいて、前記人物の骨格座標が動き得る領域を前記設定領域として設定し、
前記着座判定処理は、
前記車室内を撮像した画像から前記利用者の骨格座標を取得し、
その取得された前記利用者の骨格座標が前記設定領域内に所定期間含まれている場合に、前記利用者がシートに着座したものと判定する処理を含む、車両の制御装置。

【請求項2】

前記キャリブレーション処理は、前記人物の所定の部位毎に、各部位の骨格座標が動き得る領域を前記設定領域として設定し、
前記着座判定処理は、
前記車室内を撮像した画像から前記利用者の前記各部位の骨格座標を取得し、
その取得された前記利用者の前記各部位の骨格座標が前記設定領域内に所定期間含まれている場合に、前記利用者がシートに着座したものと判定する処理を含む、請求項１に記載の車両の制御装置。

【請求項3】

前記キャリブレーション処理は、前記車両のシート毎に前記設定領域を設定する、請求項１又は請求項２に記載の車両の制御装置。

【請求項4】

前記処理装置は、前記着座判定処理により前記利用者がシートに着座したものと判定された場合に、前記利用者が前記車両に乗車した後に予定されている処理を実行する、請求項１から請求項３のいずれか１項に記載の車両の制御装置。

【請求項5】

前記予定されている処理は、前記車両のドアを自動で閉めるための処理を含む、請求項４に記載の車両の制御装置。

【請求項6】

車両の車室内を撮像する撮像装置と、
前記車両のシートに着座している人物を前記撮像装置により撮像した画像から取得される、前記人物の骨格の位置を示す骨格座標が動き得る領域として予め設定された設定領域を記憶する記憶装置と、
前記設定領域を設定するためのキャリブレーション処理、及び、前記撮像装置により撮像された画像から、前記車両に乗車した利用者がシートに着座したか否かを判定する着座判定処理を実行する処理装置とを備え、
前記キャリブレーション処理は、前記人物を撮像した画像から前記人物の骨格座標を一定期間取得し、その取得された骨格座標が前記一定期間に動いた領域に基づいて、前記人物の骨格座標が動き得る領域を前記設定領域として設定し、
前記着座判定処理は、
前記撮像装置により撮像された画像から前記利用者の骨格座標を取得し、
その取得された前記利用者の骨格座標が前記設定領域内に所定期間含まれている場合に、前記利用者がシートに着座したものと判定する処理を含む、車両の制御システム。

【請求項7】

車両のシートに着座している人物を撮像した画像から前記人物の骨格の位置を示す骨格座標を一定期間取得し、その取得された骨格座標が前記一定期間に動いた領域に基づいて、前記人物の骨格座標が動き得る領域を設定するステップと、
前記設定するステップにより設定された設定領域を取得するステップと、
車室内を撮像した画像から、前記車両に乗車した利用者の骨格座標を取得するステップと、
その取得された前記利用者の骨格座標が前記設定領域内に所定期間含まれている場合に、前記利用者がシートに着座したものと判定するステップとをコンピュータにより実行するためのプログラム。

【請求項8】

前記設定するステップは、前記人物の所定の部位毎に、各部位の骨格座標が動き得る領域を前記設定領域として設定するステップを含み、
前記骨格座標を取得するステップは、前記車室内を撮像した画像から前記利用者の前記各部位の骨格座標を取得するステップを含み、
前記判定するステップは、取得された前記利用者の前記各部位の骨格座標が前記設定領域内に所定期間含まれている場合に、前記利用者がシートに着座したものと判定するステップを含む、請求項７に記載のプログラム。

【請求項9】

前記設定するステップは、前記車両のシート毎に前記設定領域を設定するステップを含む、請求項７又は請求項８に記載のプログラム。

【請求項10】

前記判定するステップにおいて前記利用者がシートに着座したものと判定された場合に、前記利用者が前記車両に乗車した後に予定されている処理を実行するステップをさらに含む、請求項７から請求項９のいずれか１項に記載のプログラム。

【請求項11】

前記予定されている処理は、前記車両のドアを自動で閉めるための処理を含む、請求項１０に記載のプログラム。

【請求項12】

車両のシートに着座している人物を撮像した画像から前記人物の骨格の位置を示す骨格座標を一定期間取得し、その取得された骨格座標が前記一定期間に動いた領域に基づいて、前記人物の骨格座標が動き得る領域を設定するステップと、
前記設定するステップにより設定された設定領域を取得するステップと、
車室内を撮像した画像から、前記車両に乗車した利用者の骨格座標を取得するステップと、
その取得された前記利用者の骨格座標が前記設定領域内に所定期間含まれている場合に、前記利用者がシートに着座したものと判定するステップとを含む、車両の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の制御装置、車両の制御システム、車両の制御に用いられるプログラム、及び車両の制御方法に関する。

【背景技術】

【0002】

特開２０１１－３２７８２号公報（特許文献１）は、セキュリティを向上可能なキーレスエントリー装置を開示する。このキーレスエントリー装置では、カメラで撮像された顔画像と、予め登録されている顔画像とを比較することにより顔照合が行なわれる。さらに、人物の手がドアノブに触れると、当該人物が携帯している電子鍵と車両の人体通信認証部との間で当該人物を介して人体通信が行なわれ、電子鍵の認証が行なわれる。そして、顔照合が確認され、かつ、電子鍵の認証が成立した場合に、ドアの開錠が行なわれる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－３２７８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、ライドシェアやカーシェアリングが普及しており、将来的には、自動運転の乗合タクシーや乗合バスの普及が予想される。このような車両では、車両に乗り込んだ利用者がシートに着座した後に車両の走行を開始可能とすることが求められる可能性がある。

【0005】

それゆえに、本開示の目的は、車両に乗り込んだ利用者がシートに着座したことを精度良く判定可能な車両の制御装置、車両の制御システム、プログラム、及び車両の制御方法を提供することである。

【課題を解決するための手段】

【0006】

本開示における車両の制御装置は、記憶装置と、処理装置とを備える。記憶装置は、車両のシートに着座している人物を撮像した画像から取得される、当該人物の骨格の位置を示す骨格座標が動き得る領域として予め設定された設定領域を記憶する。処理装置は、車室内を撮像した画像から、車両に乗車した利用者がシートに着座したか否かを判定する着座判定処理を実行する。着座判定処理は、車室内を撮像した画像から利用者の骨格座標を取得し、その取得された利用者の骨格座標が上記設定領域内に所定期間含まれている場合に、利用者がシートに着座したものと判定する処理を含む。

【0007】

また、本開示における車両の制御システムは、撮像装置と、記憶装置と、処理装置とを備える。撮像装置は、車両の車室内を撮像する。記憶装置は、車両のシートに着座している人物を撮像装置により撮像した画像から取得される、当該人物の骨格の位置を示す骨格座標が動き得る領域として予め設定された設定領域を記憶する。処理装置は、撮像装置により撮像された画像から、車両に乗車した利用者がシートに着座したか否かを判定する着座判定処理を実行する処理装置とを備える。着座判定処理は、撮像装置により撮像された画像から利用者の骨格座標を取得し、その取得された利用者の骨格座標が上記設定領域内に所定期間含まれている場合に、利用者がシートに着座したものと判定する処理を含む。

【0008】

また、本開示におけるプログラムは、車両のシートに着座している人物を撮像した画像から取得される、当該人物の骨格の位置を示す骨格座標が動き得る領域として設定される設定領域を取得するステップと、車室内を撮像した画像から、車両に乗車した利用者の骨格座標を取得するステップと、その取得された利用者の骨格座標が上記設定領域内に所定期間含まれている場合に、利用者がシートに着座したものと判定するステップとをコンピュータにより実行するためのプログラムである。

【0009】

また、本開示における車両の制御方法は、車両のシートに着座している人物を撮像した画像から取得される、当該人物の骨格の位置を示す骨格座標が動き得る領域として設定される設定領域を取得するステップと、車室内を撮像した画像から、車両に乗車した利用者の骨格座標を取得するステップと、その取得された利用者の骨格座標が上記設定領域内に所定期間含まれている場合に、利用者がシートに着座したものと判定するステップとを含む。

【発明の効果】

【0010】

本開示における車両の制御装置、車両の制御システム、プログラム、及び車両の制御方法によれば、シートに着座している人物の骨格座標が動き得る領域として予め設定された設定領域に基づいて、車両に乗り込んだ利用者がシートに着座したことを精度良く判定することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施の形態に従う制御装置が適用される車両の全体構成の一例を示す図である。

【図2】認証ＥＣＵの構成を機能的に示すブロック図である。

【図3】シートに着座している人物の骨格が検出された様子を示す図である。

【図4】キャリブレーション処理部により設定されて記憶装置に記憶されるデータの一例を示した図である。

【図5】認証ＥＣＵにより実行されるキャリブレーション処理の手順の一例を示すフローチャートである。

【図6】認証ＥＣＵにより実行される着座判定処理の手順の一例を示すフローチャートである。

【図7】利用者が乗車した後に予定されている所定の処理の実行条件を説明するフローチャートである。

【発明を実施するための形態】

【0012】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

【0013】

以下では、本開示の実施の形態に従う制御装置が適用される車両（移動サービス）として、自動運転により運行される小型乗合車両を用いた例について説明する。

【0014】

図１は、本開示の実施の形態に従う制御システムが適用される車両の全体構成の一例を示す図である。図１を参照して、車両１は、自動運転により運行される電動の小型乗合車両である。車両１は、モータジェネレータ（以下「ＭＧ（Motor Generator）」と称する。）１０と、動力伝達ギヤ２０と、ドライブシャフト３０と、駆動輪４０と、パワーコントロールユニット（以下「ＰＣＵ（Power Control Unit）」と称する。）５０と、バッテリ６０とを備える。また、車両１は、カメラ８０と、制御装置１００と、ＨＭＩ（Human Machine Interface）装置２００と、ＧＰＳ（Global Positioning System）装置３００とをさらに備える。

【0015】

ＭＧ１０は、例えばロータに永久磁石が埋め込まれた同期電動機であって、電動機（モータ）としての機能と、発電機（ジェネレータ）としての機能とを有する。ＭＧ１０の出力トルクは、減速機及び差動装置等を含んで構成された動力伝達ギヤ２０並びにドライブシャフト３０を介して駆動輪４０に伝達される。

【0016】

車両１の制動時には、駆動輪４０によりＭＧ１０が駆動され、ＭＧ１０が発電機として動作する。これにより、ＭＧ１０は、車両１の運動エネルギを電力に変換する回生制動を行なう制動装置として機能する。ＭＧ１０における回生制動力により生じた回生電力は、バッテリ６０に蓄えられる。

【0017】

ＰＣＵ５０は、ＭＧ１０とバッテリ６０との間で双方向に電力を変換する電力変換装置である。ＰＣＵ５０は、例えば、制御装置１００に含まれるＭＧＥＣＵ（Electronic Control Unit）１４０（後述）からの制御信号に基づいて動作するインバータとコンバータとを含む（何れも図示せず）。

【0018】

コンバータは、バッテリ６０の放電時に、バッテリ６０から受ける電圧を昇圧してインバータに出力する。インバータは、コンバータから供給される直流電力を交流電力に変換してＭＧ１０を駆動する。

【0019】

他方、インバータは、バッテリ６０の充電時に、ＭＧ１０により発電された交流電力を直流電力に変換してコンバータに供給する。コンバータは、インバータから受ける電力をバッテリ６０の充電に適した電圧に降圧してバッテリ６０に供給する。

【0020】

また、ＰＣＵ５０は、ＭＧＥＣＵ１４０からの制御信号に基づいてインバータ及びコンバータの動作を停止することにより充放電を休止する。なお、ＰＣＵ５０は、コンバータを省略した構成であってもよい。

【0021】

バッテリ６０は、ＭＧ１０を駆動するための電力を蓄える。バッテリ６０は、再充電可能な直流電源（二次電池）であり、複数個の単電池（電池セル）が積層され、例えば電気的に直列に接続されて構成される。バッテリ６０は、図示しない充電装置により、車両外部の電源から供給される電力により充電可能に構成されている。

【0022】

車両１は、車体２の左右の一方に乗降用ドア３を備えている。乗降用ドア３は、ドアアクチュエータ９０によって開閉される。車室４には、車室４内を撮像するカメラ８０が設けられている。カメラ８０は、車両１に乗車した人物（被写体）を撮像して、画像データを取得するものである。カメラ８０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、撮像素子上に被写体の像を結像させる光学系（レンズ、絞り、シャッター等）とを備えるデジタルカメラである。

【0023】

ＨＭＩ装置２００は、車両１に関する各種情報をユーザに提供する装置である。ＨＭＩ装置２００は、代表的には、車室４内に設けられたディスプレイであり、スピーカ等も含む。また、ＨＭＩ装置２００は、ユーザが操作可能なタッチパネルやマイクとしても作動し、ユーザのタッチパネル操作や音声によって、例えば乗員の要望を車両１や車両外部のサーバ４００に伝えることができる。

【0024】

ＧＰＳ装置２００は、ＧＰＳ情報に基づいて、車両１の現在位置（自車位置）を算出する。車両１は、現在位置と車両１の周囲情報とを用いて、走行径路を自動運転によって走行するように構成されている。なお、車両１の周囲情報は、例えば、ＬｉＤＡＲ（Light Detection and Ranging）装置、白線認識カメラ、ミリ波レーダ等（いずれも図示せず）から取得される。

【0025】

制御装置１００は、認証ＥＣＵ１１０と、通信装置１２０と、記憶装置１２５と、ドアＥＣＵ１３０と、ＭＧＥＣＵ１４０とを含む。認証ＥＣＵ１１０は、ＣＰＵ（Central Processing Unit）と、メモリ（ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory））とを含む。ＣＰＵは、ＲＯＭに格納されているプログラムをＲＡＭ等に展開して実行する。ＲＯＭに格納されているプログラムには、認証ＥＣＵ１１０により実行される各種処理が記述されている。

【0026】

認証ＥＣＵ１１０は、カメラ８０により撮像された画像を用いて、車両１に乗車した利用者の顔認証を行なう。そして、乗車した利用者の顔認証が行なわれると、認証ＥＣＵ１１０は、さらに、カメラ８０により撮像された画像を用いて、乗車した利用者がシートに着座したかを判定する。

【0027】

具体的には、認証ＥＣＵ１１０は、カメラ８０により撮像された画像から、乗車した利用者の骨格（肩、首、顔等）の位置を示す骨格座標を取得する。そして、認証ＥＣＵ１１０は、その取得された各部位（肩、首、顔等）の骨格座標が、シート毎に設定された所定の設定領域内に所定期間含まれている場合に、当該利用者がシートに着座したものと判定する。

【0028】

上記の設定領域は、後述のキャリブレーション処理によってシート毎に設定され、記憶装置１２５に記憶されている。この設定領域は、シートに人物が着座している場合に、カメラ８０により撮像された画像から取得される当該人物の骨格座標が動き得る領域として、予め設定される。記憶装置１２５は、そのようにシート毎に予め設定された設定領域を記憶している。記憶装置１２５は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等である。認証ＥＣＵ１１０の構成については、後ほど詳しく説明する。

【0029】

通信装置１２０は、各種通信Ｉ／Ｆ（インターフェース）を含んで構成される。通信装置１２０は、ＤＣＭ（Data Communication Module）を含んでもよいし、５Ｇ（第５世代移動通信システム）対応の通信Ｉ／Ｆを含んでもよい。認証ＥＣＵ１１０は、通信装置１２０を通じて車両外部のサーバ４００と無線通信を行なうことができる。

【0030】

ドアＥＣＵ１３０も、認証ＥＣＵ１１０と同様に、ＣＰＵと、メモリ（ＲＯＭ及びＲＡＭ）とを含む。ドアＥＣＵ１３０は、認証ＥＣＵ１１０の指令を受けてドアアクチュエータ９０を駆動し、乗降用ドア３の開閉を制御する。

【0031】

ＭＧＥＣＵ１４０も、認証ＥＣＵ１１０と同様に、ＣＰＵと、メモリ（ＲＯＭ及びＲＡＭ）とを含む。ＭＧＥＣＵ１４０は、認証ＥＣＵ１１０やＧＰＳ装置３００等からの信号や指令を受け、メモリに記憶されたマップ及びプログラム等の情報に基づいて、ＰＣＵ５０の動作を制御する。

【0032】

サーバ４００は、車両１と通信を行なうことができる。また、サーバ４００は、利用者の携帯端末５００と通信を行なうことができる。そして、小型乗合車両である車両１の利用者は、携帯端末５００から車両１の利用予約を行なうことができる。例えば、携帯端末５００において、利用者がアプリケーションを立ち上げ、乗車場所、乗車日時、降車場所等を入力して予約ボタンをタップすると、それらの予約情報が携帯端末５００からサーバ４００へ送信される。サーバ４００は、携帯端末５００から予約情報を受信すると、当該利用者の予約を完了する。

【0033】

図２は、認証ＥＣＵ１１０の構成を機能的に示すブロック図である。図２を参照して、認証ＥＣＵ１１０は、顔認証部１１１と、骨格検出部１１２と、キャリブレーション処理部１１３と、判定部１１４とを含む。

【0034】

顔認証部１１１は、カメラ８０で撮像した画像から顔画像を検出し、通信装置１２０を通じてサーバ４００（図１）から取得される利用者の顔画像と照合することにより、車両１に乗車した利用者の顔認証を行なう。カメラ８０で撮像した画像からの顔画像の検出方法としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた深層学習（ディープラーニング）等の機械学習アルゴリズムを用いて検出することができる。サーバ４００から取得される利用者の顔画像は、利用者の利用登録時或いは利用予約時にサーバ４００に登録される。

【0035】

骨格検出部１１２は、カメラ８０で撮像した画像から、シートに着座している人物の骨格を検出する。骨格検出は、例えば、深層学習（ディープラーニング）等の機械学習を用いた公知の骨格検出アルゴリズムを用いて行なうことができる。骨格検出により、シートに着座している人物の各部位（肩、首、顔等）の位置（座標）を取得することができる。以下では、骨格検出により得られる人物の骨格における各部位の位置（座標）を「骨格座標」と称する。

【0036】

キャリブレーション処理部１１３は、シートに人物が着座している場合に、人物の骨格座標が動き得る領域を設定するための処理（キャリブレーション処理）を実行する。キャリブレーション処理部１１３により設定される上記領域（以下「設定領域」と称する。）は、車両１の利用予約をした利用者が車両１に乗車して顔認証が行なわれた後に実行される後述の着座判定に用いられる。キャリブレーション処理は、車両１の運行に先立って事前に行なわれ、設定領域の情報は記憶装置１２５に記憶される。

【0037】

キャリブレーション処理部１１３は、シートに人物が着座している場合に、カメラ８０で撮像した画像から骨格検出部１１２により検出される骨格座標を骨格検出部１１２から取得する。キャリブレーション処理部１１３は、骨格検出部１１２から骨格座標を一定期間取得し、その期間に骨格座標が動いた領域に基づいて、人物が着座しているシートにおいて当該人物の骨格座標が動き得る領域を設定する。

【0038】

このような領域は、シートに着座している人物の部位毎（肩、首、顔等）に設定される。顔を例に説明すると、一定期間に取得される顔の骨格座標は変動するところ、その間の座標の最大値と最小値とから矩形の領域が設定される。キャリブレーション処理部１１３は、このような骨格座標が動き得る領域をシート毎に設定し、シート毎の設定領域（部位毎）を記憶装置１２５に記憶する。

【0039】

判定部１１４は、車両１の利用者が車両１に乗車して顔認証部１１１による顔認証が行なわれた後に、当該利用者のシートへの着座が完了したか否かを判定する。具体的には、カメラ８０で撮像した画像から、顔認証部１１１により車両１に搭乗した利用者の顔認証が行なわれ、顔認証をパスした利用者に対して骨格検出部１１２により骨格が検出されると、判定部１１４は、骨格検出部１１２から当該利用者の各部位の骨格座標を取得する。また、判定部１１４は、利用者が着座したシートに対してキャリブレーション処理部１１３により予め設定された上記設定領域の情報を記憶装置１２５から取得する。

【0040】

そして、判定部１１４は、骨格検出部１１２から取得される当該利用者の骨格座標が、記憶装置１２５から取得される設定領域内に所定期間含まれている場合に、当該利用者のシートへの着座が完了したものと判定する。なお、利用者の骨格座標が設定領域内に所定期間含まれているか否かは、利用者の部位毎に行なわれ、各部位（例えば、肩、首、顔）の骨格座標が対応の設定領域内に所定期間含まれている場合に、当該利用者のシートへの着座が完了したものと判定される。判定部１１４は、このような着座判定をシート毎に行なう。

【0041】

判定部１１４は、車両１に乗車した利用者全員のシートへの着座が完了したものと判定すると、利用者が車両１に乗車した後に予定されている処理（乗降用ドア３（図１）のクローズや走行開始等）の実行を指示する指令をドアＥＣＵ１３０及びＭＧＥＣＵ１４０等に出力する。

【0042】

ドアＥＣＵ１３０は、判定部１１４から実行指令を受信すると、ドアアクチュエータ９０を駆動して、乗降用ドア３を閉じる。ＭＧＥＣＵ１４０は、判定部１１４から実行指令を受信すると、乗降用ドア３が閉じていることを条件として、ＰＣＵ５０（図１）を制御し、車両１の走行を開始する。

【0043】

図３は、シートに着座している人物の骨格が検出された様子を示す図である。図３を参照して、上述のように、シートに着座している人物の骨格検出は、骨格検出部１１２により行なわれ、その検出結果が、例えばＨＭＩ装置２００の表示画面２１０に、カメラ８０の撮像画像に重畳して表示される。

【0044】

表示画面２１０の表示画像における位置は、例えばＸＹ座標で示される。この例では、表示画像の横方向及び縦方向に沿ってそれぞれＸ軸及びＹ軸が設定され、適当な位置（例えば表示画像の左下）に原点が設定される。

【0045】

表示画像において、点２１２は、骨格検出により検出された右肩の骨格座標を示し、点２１４は、骨格検出により検出された左肩の骨格座標を示す。また、点２１６は、骨格検出により検出された首の骨格座標を示し、点２１８は、骨格検出により検出された顔の骨格座標を示す。

【0046】

領域２２２は、シートに着座している人物の右肩の骨格座標が動き得る領域としてキャリブレーション処理部１１３により設定された領域である。この例では、右肩の骨格座標が一定期間取得され、その期間におけるＸ座標の最大値及び最小値、並びにＹ座標の最大値及び最小値とから、矩形の領域２２２が設定される。

【0047】

領域２２４は、シートに着座している人物の左肩の骨格座標が動き得る領域としてキャリブレーション処理部１１３により設定された領域である。右肩の場合と同様に、左肩の骨格座標が一定期間取得され、その期間におけるＸ座標の最大値及び最小値、並びにＹ座標の最大値及び最小値とから、矩形の領域２２４が設定される。

【0048】

領域２２６は、シートに着座している人物の首の骨格座標が動き得る領域としてキャリブレーション処理部１１３により設定された領域である。右肩の場合と同様に、首の骨格座標が一定期間取得され、その期間におけるＸ座標の最大値及び最小値、並びにＹ座標の最大値及び最小値とから、矩形の領域２２６が設定される。

【0049】

領域２２８は、シートに着座している人物の顔の骨格座標が動き得る領域としてキャリブレーション処理部１１３により設定された領域である。右肩の場合と同様に、顔の骨格座標が一定期間取得され、その期間におけるＸ座標の最大値及び最小値、並びにＹ座標の最大値及び最小値とから、矩形の領域２２８が設定される。

【0050】

車両１に乗車した利用者の各部位（右肩、左肩、首、顔）の骨格座標２１２～２１８がそれぞれ領域２２２～２２８内に所定期間含まれている場合に、判定部１１４（図２）により、当該利用者のシートへの着座が完了したものと判定される。

【0051】

図４は、キャリブレーション処理部１１３により設定されて記憶装置１２５に記憶されるデータの一例を示した図である。図４を参照して、この例では、複数あるシートのうち、第１シート（シート１）に対してキャリブレーション処理部１１３により部位毎に設定された領域のデータが示されている。

【0052】

具体的には、キャリブレーション処理部１１３により、第１シートに着座した人物の右肩の骨格座標が一定期間取得され、その期間におけるＸ座標の最大値Ｘ１及び最小値Ｘ２、並びにＹ座標の最大値Ｙ１及び最小値Ｙ２が記憶されている。これらのデータＸ１，Ｘ２，Ｙ１，Ｙ２から図３に示した領域２２２が設定される。

【0053】

左肩、首、及び顔の各データについても同様である。また、その他のシートについても、第１シートと同様のデータが記憶されている。

【0054】

図５は、認証ＥＣＵ１１０により実行されるキャリブレーション処理の手順の一例を示すフローチャートである。このフローチャートに示される一連の処理は、プログラムに記述されて認証ＥＣＵ１１０のメモリに格納されている。このフローチャートの処理は、例えば車両１の開発時や納車時等、車両１の運行に先立って事前に行なわれる。また、このフローチャートの処理は、車両１のシート毎に実施される。

【0055】

図５を参照して、認証ＥＣＵ１１０は、シートに着座している人物をカメラ８０により撮像した画像をカメラ８０から取得する（ステップＳ１０）。次いで、認証ＥＣＵ１１０は、取得された画像からシートに着座している人物の骨格を検出する骨格検出処理を実行する（ステップＳ１５）。上述のように、骨格検出は、例えば、深層学習（ディープラーニング）等の機械学習を用いた公知の骨格検出アルゴリズムを用いて行なうことができる。なお、このキャリブレーション処理においては、図２に示した顔認証部１１１による顔認証は行なわれない。

【0056】

認証ＥＣＵ１１０は、骨格検出処理が実行されることにより、シートに着座している人物の各部位（肩、首、顔等）の骨格座標を取得する（ステップＳ２０）。次いで、認証ＥＣＵ１１０は、取得された骨格座標が、記憶装置１２５に保存されている骨格座標の最大値よりも大きいか否かを判定する（ステップＳ２５）。

【0057】

このステップＳ２５から後述のステップＳ５０までの各処理は、ステップＳ２０において取得された部位毎に実施される。以下では、ステップＳ２５からステップＳ５０までの各処理において、「骨格座標」とは、対象の部位の骨格座標を示すものとする。すなわち、ステップＳ２５の処理について詳しく説明すると、認証ＥＣＵ１１０は、ステップＳ２０において取得された対象部位（例えば右肩）の骨格座標（Ｘ，Ｙ）が、記憶装置１２５に保存されている上記対象部位（右肩）の骨格座標の最大値（図２のＸ１，Ｙ１）よりも大きいか否かを判定する。

【0058】

ステップＳ２５において、取得された骨格座標が、記憶装置１２５に保存されている骨格座標の最大値よりも大きいと判定されると（ステップＳ２５においてＹＥＳ）、認証ＥＣＵ１１０は、取得された骨格座標で、記憶装置１２５に保存されている骨格座標の最大値を更新（保存）する（ステップＳ３０）。例えば、取得された対象部位（例えば右肩）の骨格座標Ｘの値が最大値Ｘ１よりも大きい場合、その骨格座標Ｘの値で最大値Ｘ１が更新される。骨格座標Ｙについても同様の処理が実行される。

【0059】

なお、取得された骨格座標が、記憶装置１２５に保存されている骨格座標の最大値以下であるときは（ステップＳ２５においてＮＯ）、認証ＥＣＵ１１０は、ステップＳ３０を実行することなくステップＳ３５へ処理を移行する。なお、骨格座標の最大値が記憶装置１２５に保存されていない場合は、ステップＳ２５，Ｓ３０の処理は実行されずに、ステップＳ２０において取得された骨格座標が仮の最大値として記憶装置１２５に保存される。

【0060】

次いで、認証ＥＣＵ１１０は、ステップＳ２０において取得された骨格座標が、記憶装置１２５に保存されている骨格座標の最小値よりも小さいか否かを判定する（ステップＳ３５）。より詳しくは、認証ＥＣＵ１１０は、ステップＳ２０において取得された対象部位（例えば右肩）の骨格座標（Ｘ，Ｙ）が、記憶装置１２５に保存されている上記対象部位（右肩）の骨格座標の最小値（図２のＸ２，Ｙ２）よりも小さいか否かを判定する。

【0061】

ステップＳ３５において、取得された骨格座標が、記憶装置１２５に保存されている骨格座標の最小値よりも小さいと判定されると（ステップＳ３５においてＹＥＳ）、認証ＥＣＵ１１０は、取得された骨格座標で、記憶装置１２５に保存されている骨格座標の最小値を更新（保存）する（ステップＳ４０）。例えば、取得された対象部位（例えば右肩）の骨格座標Ｘの値が最小値Ｘ２よりも小さい場合、その骨格座標Ｘの値で最小値Ｘ２が更新される。骨格座標Ｙについても同様の処理が実行される。

【0062】

なお、取得された骨格座標が、記憶装置１２５に保存されている骨格座標の最小値以上であるときは（ステップＳ３５においてＮＯ）、認証ＥＣＵ１１０は、ステップＳ４０を実行することなくステップＳ４５へ処理を移行する。なお、骨格座標の最小値が記憶装置１２５に保存されていない場合は、ステップＳ３５，Ｓ４０の処理は実行されずに、ステップＳ２０において取得された骨格座標が仮の最小値として記憶装置１２５に保存される。

【0063】

次いで、認証ＥＣＵ１１０は、カメラ８０から次の画像を取得するか否かを判定する（ステップＳ４５）。そして、次の画像を取得するものと判定されると（ステップＳ４５においてＹＥＳ）、認証ＥＣＵ１１０は、ステップＳ１０へ処理を戻し、カメラ８０から次の画像を取得する。なお、カメラ８０から次の画像を取得してステップＳ１０以降の処理を再度実行するか否かは、一連の処理の開始から時間で区切ってもよいし、カメラ８０から取得される画像の枚数（フレーム数）で区切ってもよい。

【0064】

ステップＳ４５において、カメラ８０から次の画像の取得は不要と判定されると（ステップＳ４５においてＮＯ）、認証ＥＣＵ１１０は、記憶装置１２５に保存されている骨格座標（図２）から部位毎に可動領域を作成する（ステップＳ５０）。具体的には、再び図２を参照して、例えば右肩の骨格座標について、Ｘ座標の最大値Ｘ１及び最小値Ｘ２、並びにＹ座標の最大値Ｙ１及び最小値Ｙ２によって定まる矩形領域が、右肩の可動領域として作成される。

【0065】

そして、認証ＥＣＵ１１０は、部位毎に作成される可動領域を対象のシートに対して設定する（ステップＳ５５）。なお、この部位毎の可動領域の設定は、シート毎に記憶装置１２５に記憶される。

【0066】

図６は、認証ＥＣＵ１１０により実行される着座判定処理の手順の一例を示すフローチャートである。このフローチャートに示される一連の処理も、プログラムに記述されて認証ＥＣＵ１１０のメモリに格納されている。このフローチャートの処理は、顔認証部１１１による顔認証が行なわれた利用者（搭乗者）が検知されたシート毎に実施される。

【0067】

図６を参照して、認証ＥＣＵ１１０は、対象のシートに対して、キャリブレーション処理（図５のステップＳ５５）で設定された部位毎の可動領域を記憶装置１２５から取得する（ステップＳ１１０）。

【0068】

次いで、認証ＥＣＵ１１０は、当該シートに着座している利用者の画像をカメラ８０から取得する（ステップＳ１１５）。そして、認証ＥＣＵ１１０は、取得された画像から当該利用者の骨格を検出する骨格検出処理を実行する（ステップＳ１２０）。ここでも、キャリブレーション処理で実行される骨格検出処理（図５のステップＳ１５）と同様に、骨格検出は、例えば、深層学習（ディープラーニング）等の機械学習を用いた公知の骨格検出アルゴリズムを用いて行なうことができる。

【0069】

次いで、認証ＥＣＵ１１０は、骨格検出処理が実行されることにより、当該シートに着座している利用者の各部位（肩、首、顔等）の骨格座標を取得する（ステップＳ１２５）。そして、認証ＥＣＵ１１０は、取得された骨格座標が、ステップＳ１１０で取得された可動領域の範囲内にあるか否かを判定する（ステップＳ１３０）。

【0070】

このステップＳ１３０及び後述のステップＳ１３５の各処理は、ステップＳ１２５において取得された部位毎に実施される。すなわち、ステップＳ１３０の処理について詳しく説明すると、認証ＥＣＵ１１０は、ステップＳ１２５において取得された対象部位（例えば右肩）の骨格座標（Ｘ，Ｙ）が、ステップＳ１１０で取得された当該対象部位（右肩）の可動領域の範囲内にあるか否かを判定する。取得された骨格座標が可動領域の範囲内にない場合は（ステップＳ１３０においてＮＯ）、認証ＥＣＵ１１０は、ステップＳ１１５へ処理を戻す。

【0071】

ステップＳ１３０において、取得された骨格座標が可動領域の範囲内にあると判定されると（ステップＳ１３０においてＹＥＳ）、認証ＥＣＵ１１０は、取得された骨格座標が可動領域内にある状態が所定期間経過したか否かを判定する（ステップＳ１３５）。所定期間は、一連の処理が開始されてからの時間で規定してもよいし、ステップＳ１１５で取得される画像の枚数（フレーム数）で規定してもよい。所定期間経過していない場合（ステップＳ１３５においてＮＯ）、認証ＥＣＵ１１０は、ステップＳ１１５へ処理を戻す。

【0072】

ステップＳ１３５において所定期間が経過したと判定されると（ステップＳ１３５においてＹＥＳ）、認証ＥＣＵ１１０は、ステップＳ１２５において取得された全部位で上記の所定期間が経過したか否かを判定する（ステップＳ１４０）。所定期間経過していない部位が存在する場合は（ステップＳ１４０においてＮＯ）、認証ＥＣＵ１１０は、ステップＳ１１５へ処理を戻す。

【0073】

ステップＳ１４０において、全部位において上記の所定期間が経過したと判定されると（ステップＳ１４０においてＹＥＳ）、認証ＥＣＵ１１０は、当該シートへの着座が完了したものとする（ステップＳ１４５）。

【0074】

そして、車両１に乗車した全利用者のシートへの着座が完了したものと判定されると、車両１において、利用者が乗車した後に予定されている所定の処理が実行される。

【0075】

図７は、利用者が乗車した後に予定されている所定の処理の実行条件を説明するフローチャートである。このフローチャートに示される一連の処理も、プログラムに記述されて認証ＥＣＵ１１０のメモリに格納されている。このフローチャートの処理は、図６に示した着座判定処理が開始されると実施される。

【0076】

図７を参照して、認証ＥＣＵ１１０は、顔認証部１１１による顔認証が行なわれた利用者（搭乗者）が検知されたシート全てにおいて、着座が完了したか否かを判定する（ステップＳ２１０）。上記のシート全てにおいて着座完了していないと判定されると（ステップＳ２１０においてＮＯ）、認証ＥＣＵ１１０は、所定時間が経過したか否かを判定する（ステップＳ２３０）。この所定時間は、着座判定処理によって着座が判定されるまでの平均的な時間に基づいて適宜決定される。

【0077】

所定時間経過していなければ（ステップＳ２３０においてＮＯ）、ステップＳ２１０へ処理が戻される。他方、ステップＳ２３０において所定時間経過したものと判定されると（ステップＳ２３０においてＹＥＳ）、認証ＥＣＵ１１０は、車両１に乗車した利用者のシートへの着座が完了していないことを報知するための警報処理の指令を出力する（ステップＳ２４０）。例えば、図示しないＨＭＩＥＣＵは、そのような警報処理の指令を受信すると、ＨＭＩ装置２００（図１）のディスプレイやスピーカ等を用いて、車両１に乗車した利用者へシートへの着座を促す報知を出力する。

【0078】

他方、ステップＳ２１０において、顔認証部１１１による顔認証が行なわれた利用者（搭乗者）が検知されたシート全てにおいて着座が完了したものと判定されると（ステップＳ２１０においてＹＥＳ）、認証ＥＣＵ１１０は、利用者が車両１に乗車した後に予定されている所定の処理の実行指令を出力する（ステップＳ２２０）。例えば、当該実行指令を受信したドアＥＣＵ１３０（図１）は、乗降用ドア３を閉じ、当該実行指令を受信したＭＧＥＣＵ１４０（図１）は、乗降用ドア３が閉じていることを条件として、ＭＧ１０を駆動して車両１を発進させる。

【0079】

以上のように、この実施の形態においては、キャリブレーション処理において、車両１のシートに着座している人物をカメラ８０で撮像した画像から、骨格検出部１１２により当該人物の骨格座標が検出される。そして、その検出された骨格座標が動き得る領域としての設定領域が取得され、記憶装置１２５に記憶される。

【0080】

車両１に利用者が乗車すると、カメラ８０で撮像した画像から、乗車した利用者がシートに着座したか否かを判定する着座判定処理が実行される。着座判定処理では、カメラ８０で撮像した画像から骨格検出部１１２により当該利用者の骨格座標が取得され、その取得された利用者の骨格座標が、キャリブレーション処理により取得された設定領域内に所定期間含まれている場合に、利用者がシートに着座したものと判定される。

【0081】

したがって、この実施の形態によれば、シートに着座している人物の骨格座標が動き得る領域として予め設定される設定領域に基づいて、車両１に乗り込んだ利用者がシートに着座したことを精度良く判定することができる。

【0082】

今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本開示により示される技術的範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【0083】

以上に説明した例示的な実施形態は、以下の態様の具体例である。
一態様における車両の制御システムは、撮像装置と、記憶装置と、処理装置とを備える。撮像装置は、車室内を撮像する。記憶装置は、シートに着座している人物を撮像装置により撮像した画像から取得される当該人物の骨格座標が動き得る領域として予め設定された設定領域を記憶する。処理装置は、撮像装置により撮像された画像から、乗車した利用者がシートに着座したか否かを判定する着座判定処理を実行する処理装置とを備える。着座判定処理は、撮像装置により撮像された画像から利用者の骨格座標を取得し、その取得された利用者の骨格座標が上記設定領域内に所定期間含まれている場合に、利用者がシートに着座したものと判定する処理を含む。

【0084】

上記の制御システムによれば、シートに着座している人物の骨格座標が動き得る領域として予め設定された設定領域に基づいて、乗車した利用者がシートに着座したかを精度良く判定することができる。

【0085】

上記の設定領域は、人物の所定の部位毎に、各部位の骨格座標が動き得る領域として設定されてもよい。そして、着座判定処理は、車室内を撮像した画像から利用者の各部位の骨格座標を取得し、その取得された利用者の各部位の骨格座標が上記設定領域内に所定期間含まれている場合に、利用者がシートに着座したものと判定する処理を含んでもよい。

【0086】

これにより、シートに着座している人物の各部位（肩、首、顔等）の骨格座標が動き得る領域として予め設定された設定領域に基づいて、乗車した利用者がシートに着座したかをより精度良く判定することができる。

【0087】

上記の設定領域は、人物の骨格座標が一定期間に動いた領域に基づいて設定されてもよい。

【0088】

これにより、設定領域が不必要に拡大され又は小さくなるのを回避することができる。
処理装置は、着座判定処理により利用者がシートに着座したものと判定された場合に、利用者が車両に乗車した後に予定されている処理を実行してもよい。

【0089】

これにより、利用者が乗車した後に予定されている処理が、利用者がシートに着座する前に実行されるのを回避することができる。

【0090】

上記の予定されている処理は、車両のドアを自動で閉めるための処理を含んでもよい。
これにより、利用者がシートに着座する前に車両のドアが閉じられるのを回避することができる。その結果、例えば、利用者がシートに着座する前に、ドアが閉じられたことに連動して車両の走行が開始されることを回避することができる。

【符号の説明】

【0091】

１ 車両、２ 車体、３ 乗降用ドア、４ 車室、１０ ＭＧ、２０ 動力伝達ギヤ、３０ ドライブシャフト、４０ 駆動輪、５０ ＰＣＵ、６０ バッテリ、８０ カメラ、９０ ドアアクチュエータ、１００ 制御装置、１１０ 認証ＥＣＵ、１１１ 顔認証部、１１２ 骨格検出部、１１３ キャリブレーション処理部、１１４ 判定部、１２０ 通信装置、１２５ 記憶装置、１３０ ドアＥＣＵ、１４０ ＭＧＥＣＵ、２００ ＨＭＩ装置、２１０ 表示画面、３００ ＧＰＳ装置、４００ サーバ、５００ 携帯端末。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】