特開 2023-127912 降車行動検知装置、降車行動検知方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023127912

(43)【公開日】2023-09-14

(54)【発明の名称】降車行動検知装置、降車行動検知方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230907BHJP

   G06T 7/70 20170101ALI20230907BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/70 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022031886

(22)【出願日】2022-03-02

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】水野 伸洋

(72)【発明者】

【氏名】吉澤 顕

(72)【発明者】

【氏名】柴田 真吾

(72)【発明者】

【氏名】小林 充幸

(72)【発明者】

【氏名】西井 克昌

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA04

5L096DA03

5L096FA67

5L096FA69

5L096GA51

5L096GA55

5L096KA04

(57)【要約】      （修正有）

【課題】助手席や後部座席の乗員が不用意に降車することを防止する降車行動検知装置、降車行動検知方法及び乗員の降車行動を検知するためのプログラムを提供する。
【解決手段】降車行動検知装置１は、カメラ２０にて撮影した乗員を含む画像を取得する画像取得部１０と、車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定するベース位置決定部１２と、ドアハンドルの位置とベース位置とに基づいて降車行動を検知するための領域を決定する領域決定部１３と、画像に基づいて、乗員の手が領域に入ったときに降車行動を検知する降車行動検知部１４と、乗員の降車行動を示す情報を出力する出力部１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラにて撮影した乗員を含む画像を取得する画像取得部と、
車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定するベース位置決定部と、
ドアハンドルの位置とベース位置とに基づいて降車行動を検知するための領域を決定する領域決定部と、
前記画像に基づいて、乗員の手が前記領域に入ったとき、または、前記領域に入ると推定されたときに降車行動を検知する降車行動検知部と、
乗員の降車行動を示す情報を出力する出力部と、
を備える降車行動検知装置。

【請求項2】

前記ベース位置決定部は、前記乗員の腰の位置とドア側の肩の位置とに基づいて前記ベース位置を決定する請求項１に記載の降車行動検知装置。

【請求項3】

前記ベース位置決定部は、車両が所定の閾値以上の速度で走行しているときに撮影した画像に基づいてベース位置を決定する請求項１または２に記載の降車行動検知装置。

【請求項4】

車両の停車を検知する停車検知部を備え、
前記降車行動検知部は、前記停車検知部にて車両の停車を検知している間に、降車行動の検知を行う請求項１から３のいずれか１項に記載の降車行動検知装置。

【請求項5】

降車行動検知装置によって乗員の降車行動を検知する方法であって、
前記降車行動検知装置が、カメラにて撮影した乗員を含む画像を取得するステップと、
前記降車行動検知装置が、車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定するステップと、
前記降車行動検知装置が、ドアハンドルの位置とベース位置とに基づいて降車行動を検知するための領域を決定するステップと、
前記降車行動検知装置が、前記画像に基づいて、乗員の手が前記領域に入ったとき、または、前記領域に入ると推定されたときに降車行動を検知するステップと、
前記降車行動検知装置が、乗員の降車行動を示す情報を出力するステップと、
を備える降車行動検知方法。

【請求項6】

乗員の降車行動を検知するためのプログラムであって、コンピュータに、
カメラにて撮影した乗員を含む画像を取得するステップと、
車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定するステップと、
ドアハンドルの位置とベース位置とに基づいて降車行動を検知するための領域を決定するステップと、
前記画像に基づいて、乗員の手が前記領域に入ったとき、または、前記領域に入ると推定されたときに降車行動を検知するステップと、
乗員の降車行動を示す情報を出力するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に乗っている乗員の降車行動を検知する技術に関する。

【背景技術】

【0002】

従来から、運転者が、車内（特に後部座席）の様子を確認することができるモニタ装置が知られている。特許文献１には、後部座席の映像を表示するモニタ装置の発明が記載されている。この発明では、後部座席に人が乗っていることを条件として、映像表示を開始する。また、特許文献２には同乗者の着座姿勢を検出する装置の発明が記載されている。この発明では、同乗者がシートベルトを正しい姿勢で装着しているか否かを検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－２２１９８９号公報

【特許文献2】特開２００８－１９９５１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記したように、従来から、同乗者の様子を監視し、安全を確保するためのシステムが提案されているが、車両が停車したときに、助手席や後部座席の乗員（特に子供）が、周囲を十分に確認することなく降車することを防止する技術は知られていなかった。

【0005】

そこで、本発明は、上記背景に鑑み、助手席や後部座席の乗員が不用意に降車することを防止する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の降車行動検知装置は、カメラにて撮影した乗員を含む画像を取得する画像取得部と、車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定するベース位置決定部と、ドアハンドルの位置とベース位置とに基づいて降車行動を検知するための領域を決定する領域決定部と、前記画像に基づいて、乗員の手が前記領域に入ったとき、または、前記領域に入ると推定されたときに降車行動を検知する降車行動検知部と、乗員の降車行動を示す情報を出力する出力部とを備える。

【0007】

乗員が降車行動をとるときには、ドアハンドルを操作する必要があるので、カメラにて撮影した画像から乗員の手を検出し、乗員の手の位置に基づいて降車行動を検知することが可能である。ただし、乗員がドアハンドルに触れたときに降車行動を検知したのでは、降車行動検知に基づく注意喚起等のアクションが遅れてしまうので、乗員がドアハンドルに手をかけようと行動しているときに、降車行動を検知することが望ましい。

【0008】

乗員の手がドアハンドルにかかる前に、手の位置に基づいて降車行動を検知するためには、通常の姿勢からドアハンドルに向けてどれだけ手を動かしているかを知ることが必要であるが、通常の姿勢における乗員の手の位置を定めることが難しいという課題があった。なぜなら、助手席や後部座席の乗員にはハンドルを操作するという運転タスクがないので、手を置く位置の自由度が高いからである。また、車種ごとに座席の位置が異なるし、シートの位置によって座り方も異なる。このため、ドアハンドルに向かって手を動かしたかどうかを把握することが難しかった。

【0009】

本発明では、車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定する。そして、降車行動検知装置は、ベース位置とドアハンドルの位置とに基づいて、降車行動を検知するための領域を決定する。これにより、乗員の手が当該領域に入ったか、あるいは入ると推定されたかに基づいて、乗員が降車行動をとっているかどうかを適切に検知することができる。なお、ベース位置は、乗員の手が通常おかれるであろうと推定される位置である。着座姿勢は、着座しているときの姿勢に加え、着座している位置を含む概念である。

【0010】

本発明の降車行動検知装置において、前記ベース位置決定部は、前記乗員の腰の位置とドア側の肩の位置とに基づいて前記ベース位置を決定してもよい。この構成により、手を太ももの上に置いたときの位置をベース位置として決定することができる。

【0011】

本発明の降車行動検知装置において、前記ベース位置決定部は、車両が所定の閾値以上の速度で走行しているときに撮影した画像に基づいてベース位置を決定してもよい。ここで、閾値は、例えば法定速度であってもよいし、法定速度を基準として決定してもよい。車両が一定の速度で順調に走行しているときは、乗員の着座姿勢も安定していると考えられる。

【0012】

本発明の降車行動検知装置は、車両の停車を検知する停車検知部を備え、前記降車行動検知部は、前記停車検知部にて車両の停車を検知している間に、降車行動の検知を行ってもよい。降車行動は、通常、車両が停車したときに行われるので、車両の停車を検知している間に、降車行動の検知を行うことが望ましい。車両が停車していないときには、降車行動の検知を行わないようにすることで降車行動の誤検知を低減できる。

【0013】

本発明の降車行動検知方法は、降車行動検知装置によって乗員の降車行動を検知する方法であって、前記降車行動検知装置が、カメラにて撮影した乗員を含む画像を取得するステップと、前記降車行動検知装置が、車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定するステップと、前記降車行動検知装置が、ドアハンドルの位置とベース位置とに基づいて降車行動を検知するための領域を決定するステップと、前記降車行動検知装置が、前記画像に基づいて、乗員の手が前記領域に入ったとき、または、前記領域に入ると推定されたときに降車行動を検知するステップと、前記降車行動検知装置が、乗員の降車行動を示す情報を出力するステップとを備える。

【0014】

本発明のプログラムは、乗員の降車行動を検知するためのプログラムであって、コンピュータに、カメラにて撮影した乗員を含む画像を取得するステップと、車両走行中における乗員の着座姿勢に基づいて、乗員の手のベース位置を決定するステップと、ドアハンドルの位置とベース位置とに基づいて降車行動を検知するための領域を決定するステップと、前記画像に基づいて、乗員の手が前記領域に入ったとき、または、前記領域に入ると推定されたときに降車行動を検知するステップと、乗員の降車行動を示す情報を出力するステップとを実行させる。

【発明の効果】

【0015】

本発明により、乗員が降車行動をとっているかどうかを適切に判断することができる。

【図面の簡単な説明】

【0016】

【図1】実施の形態の降車行動検知装置の構成を示す図である。

【図2】検知領域Ｒを示す図である。

【図3】実施の形態の降車行動検知装置が検知領域を決定する動作を示す図である。

【図4】実施の形態の降車行動検知装置が降車行動を検知する動作を示す図である。

【発明を実施するための形態】

【0017】

以下、本実施の形態の降車行動検知装置について図面を参照して説明する。なお、以下の説明はあくまでも好ましい態様の一例を示したものであり、特許請求の範囲に記載された発明を限定する意図ではない。

【0018】

図１は、実施の形態の降車行動検知装置１の構成を示す図である。降車行動検知装置１は、車内を撮影するカメラ２０と接続され、カメラ２０にて撮影した画像に基づいて、後部座席に乗車している乗員の降車行動を検知する。カメラ２０はリアモニタ付近に設置され、後部座席の画像を取得する。なお、本実施の形態では、後部座席の乗員を例とするが、本発明の降車行動検知装置は、助手席の乗員の降車行動の検知にも適用することがもちろん可能である。

【0019】

降車行動検知装置１は、画像取得部１０と、演算部１１と、記憶部１６と、出力部１７とを有している。画像取得部１０は、カメラ２０から画像データを取得する機能を有する。演算部１１は、カメラ画像に基づいて降車行動を検知する機能を有する。演算部１１は、ベース位置決定部１２と、領域決定部１３と、降車行動検知部１４と、停車検知部１５とを有している。

【0020】

ベース位置決定部１２は、後部座席に乗車している乗員の手のベース位置を決定する。上述したとおり、運転タスクのない乗員の手の位置は自由度が高いので、ベース位置決定部１２は、乗員の座り姿勢と座っている位置とに基づいて手のベース位置を決定する。本実施の形態では、乗員のドアハンドル側の肩と、腰の位置とに基づいてベース位置を決定する。ドアハンドル側の肩の位置をベース位置の水平方向における座標、腰の位置をベース位置の鉛直方向における座標とする。

【0021】

領域決定部１３は、ベース位置とドアハンドルの位置とに基づいて、降車行動を検知するための領域（以下「検知領域」という。）を決定する機能を有する。具体的には、ドアハンドルを中心とし、ドアハンドルの位置とベース位置との間の距離のＸ％を半径とする領域を、検知領域として決定する。

【0022】

図２は、検知領域Ｒを示す図である。ドアハンドルＨを中心とし、ドアハンドルＨの位置とベース位置Ｂとの距離Ｌを半径とする円Ｃに対し、Ｌ×Ｘ（％）の半径の領域が検知領域Ｒである。ドアハンドルＨの位置は、カメラ２０を設置する際に、その撮影方向に基づいて初期設定しておくことができる。なお、ここでは、ドアハンドルを中心とする円形の領域を検知領域Ｒとしているが、検知領域Ｒは円でなくてもよい。例えば、ドアハンドルＨとベース位置Ｂをつなぐ直線を包含する楕円形の領域でもよい。

【0023】

検知領域Ｒの半径を定める係数Ｘは、大きい値とすれば降車行動を見逃すことは少なくなるが誤検知も多くなる。係数Ｘは、適切に設定する必要があり、例えば６０％～７０％が望ましい。なお、係数Ｘは、車両停車時の状況に応じて変更してもよい。例えば、路上に停車した場合は、自宅の駐車場に駐車した場合よりも大きい値を設定してもよい。路上は他の車両が走行しているので、注意すべき度合いが大きいからである。領域決定部１３は、決定した領域のデータを記憶部１６に記憶する。

【0024】

降車行動検知部１４は、画像取得部１０にて取得した画像に基づいて、乗員が降車行動をとっているかどうかを検知する機能を有する。降車行動検知部１４は、カメラ２０の撮影によって逐次取得される画像に映る乗員の手が検知領域に入った場合に、乗員の降車行動を検知する。降車行動検知部１４は、停車検知部１５にて車両の停車を検知したときに、降車行動の検知処理を行う。

【0025】

停車検知部１５は、車速センサ２１から車両の走行速度のデータを受信し、車両が停車しているか否かを判定する。停車検知部１５は、車速が０のときに、車両が停車していることを検知する。本明細書において、停車は駐車を含む概念である。

【0026】

出力部１７は、降車行動があったことを車載機器に対して出力する機能を有する。本実施の形態では、出力部１７は、スピーカ２２またはロック装置２３に対して降車行動があったことを示すデータを出力する。

【0027】

降車行動を検知したときのアプリケーションは様々なものが考えられるが、例えば、後部座席の乗員が降車しようとしていることを、スピーカ２２を通じて運転者に報知することができる。また、後部座席の乗員に対して、車両の外をよく確認するように注意喚起することができる。別の例としては、ロック装置２３によって後部座席のドアが開かないようにロックしてもよい。降車行動の検知に応じて行う処理は、後部座席に乗っている乗員の年齢によって切り替えてもよい。乗員の年齢が小さい場合には、運転者への報知を行ったり、ドアのロックを行い、乗員の年齢がある程度大きい場合には、降車しようとしている乗員への注意喚起を行う。

【0028】

図３は、実施の形態の降車行動検知装置１が検知領域を決定する動作を示す図である。降車行動検知装置１は、カメラ２０から画像を取得する（Ｓ１０）。降車行動検知装置１は、車速センサ２１から車両の速度のデータを取得し、車速が所定の閾値以上か否かを判定する（Ｓ１１）。車速が所定の閾値に満たない場合には（Ｓ１１でＮＯ）、カメラ２０からの画像を取得する処理（Ｓ１０）に戻る。

【0029】

車速が所定の閾値以上の場合には（Ｓ１１でＹＥＳ）、降車行動検知装置１は、そのときの画像を記録する（Ｓ１２）。降車行動検知装置１は、所定量の画像が蓄積されたか否かを判定し（Ｓ１３）、所定量（例えば、５分間）の画像が蓄積されていない場合には（Ｓ１３でＮＯ）、上に述べた処理（Ｓ１０～Ｓ１２）を繰り返す。所定量の画像が蓄積された場合には（Ｓ１３でＹＥＳ）、降車行動検知装置１は、蓄積された画像に基づいて乗員の手のベース位置を決定し（Ｓ１４）、ベース位置とドアハンドルの位置とに基づいて降車行動を判断する検知領域を決定して、記憶部１６に記憶する（Ｓ１５）。なお、検知領域は、乗員に対応付けて記憶部１６に記憶しておけばよく、図３に示す動作を毎回行う必要はない。

【0030】

図４は、実施の形態の降車行動検知装置１が降車行動を検知する動作を示す図である。降車行動検知装置１は、カメラ２０から画像を取得する（Ｓ２０）。降車行動検知装置１は、車速センサ２１から車両の速度のデータを取得し、車両が停車しているか否かを判定する（Ｓ２１）。車両が停車している場合には（Ｓ２１でＹＥＳ）、カメラ２０の画像に映る乗員の手が検知領域内にあるか否かを判定する（Ｓ２２）。乗員の手が検知領域内にある場合には（Ｓ２２でＹＥＳ）、降車行動検知装置１は、乗員が降車行動をとっていると検知し、降車行動ありというデータを出力する（Ｓ２３）。乗員の手が検知領域内にない場合には（Ｓ２２でＮＯ）、カメラ２０の画像を取得する処理（Ｓ２０）に戻る。

【0031】

以上、本実施の形態の降車行動検知装置１の構成について説明したが、上記した降車行動検知装置１のハードウェアの例は、ＥＣＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＥＣＵによって当該プログラムを実行することによって、上記した降車行動検知装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0032】

本実施の形態の降車行動検知装置１は、車両の走行中に後部座席の乗員の手のベース位置を決定し、ベース位置とドアハンドルの位置に基づいて降車行動を検知するための検知領域を決定する。これにより、後部座席の乗員の降車行動を早い段階で適切に検知することができる。また、本実施の形態によれば、車種やシート位置に関係なく、機械学習等を考えても少ない学習データで降車行動の検知を行える。

【0033】

上記した実施の形態では、降車行動検知装置の構成の一例について説明したが、本発明の降車行動検知装置は、様々な変形が可能である。以下に変形例について説明する。

【0034】

（降車行動検知のタイミング）
上記した実施の形態では、車両が停車しているときに降車行動の検知を行うこととしたが、車両が完全に停車したときだけでなく、車両の速度が所定の閾値（例えば、時速４ｋｍ以下）になったときに降車行動の検知を行ってもよい。低速で走行しているときには、降車しようと思えば降車可能であるが、そのような無理な降車を防止することが望ましい。

【0035】

また、後部座席のドアハンドルがチャイルドロックにより開かないようにロックされているときには、降車行動の検知を行わないようにしてもよい。

【0036】

（降車行動検知の対象）
後部座席に座っている乗員が大人の場合には、降車行動の検知を行わない構成とすることも可能である。乗員が大人かどうかの判断は、機械学習によって行ってもよいし、頭の高さによって判定してもよい。

【0037】

（降車行動の検知）
上記した実施の形態では、乗員の手が検知領域に入ったときに、降車行動ありと検知する例について説明したが、乗員の手が検知領域に入った状態が所定フレーム数（例えば３フレーム）継続した場合に初めて、降車行動ありと検知することとしてもよい。これにより、降車行動の誤検知を低減させることができる。

【0038】

また、降車行動検知装置は、乗員の手が検知領域に入っていなくても、カメラ２０の時系列の画像から、検知領域に向かって動いており、検知領域に入ると推定されたときに降車行動ありと検知してもよい。なお、時系列画像の分析には、カルマンフィルタ等や、ダイナミックベイジアン等の機械学習を用いてもよい。

【0039】

（ドアハンドルの位置の決定）
上記した実施の形態では、ドアハンドルの位置を初期設定する例を挙げたが、ドアハンドルの位置は、カメラ画像に基づいて求めてもよい。一例として、ドアが開いたときの乗員の手の位置をドアハンドルの位置としてもよい。

【0040】

（ベース位置の決定）
上記した実施の形態では、乗員の肩と腰の位置に基づいて、乗員の手のベース位置を決定する例を挙げたが、別の方法によってベース位置を決定してもよい。例えば、肩の位置に代えて、ドアハンドル側の乗員の目や耳の位置を用いてもよい。また、腰の位置に代えて、シートの位置を用いてもよい。

【符号の説明】

【0041】

１ 降車行動検知装置
１０ 画像取得部
１１ 演算部
１２ ベース位置決定部
１３ 領域決定部
１４ 降車行動検知部
１５ 停車検知部
１６ 記憶部
１７ 出力部
２０ カメラ
２１ 車速センサ
２２ スピーカ
２３ ロック装置
Ｂ ベース位置
Ｈ ハンドル
Ｒ 検知領域

【図1】

【図2】

【図3】

【図4】