特許 7147259 車載装置、車載装置の制御方法、及び予備動作推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-27

(45)【発行日】2022-10-05

(54)【発明の名称】車載装置、車載装置の制御方法、及び予備動作推定システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220928BHJP

   G08B 21/00 20060101ALI20220928BHJP

   B60W 40/08 20120101ALI20220928BHJP

   B60W 50/14 20200101ALI20220928BHJP

【ＦＩ】

G08G1/16 A

G08B21/00 R

B60W40/08

B60W50/14

【請求項の数】 14

(21)【出願番号】P 2018094088

(22)【出願日】2018-05-15

(65)【公開番号】P2019200548

(43)【公開日】2019-11-21

【審査請求日】2021-03-01

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】西山 乘

(72)【発明者】

【氏名】井上 裕史

(72)【発明者】

【氏名】志小田 雄宇

(72)【発明者】

【氏名】寺口 剛仁

(72)【発明者】

【氏名】大久保 翔太

【審査官】藤村 泰智

(56)【参考文献】

【文献】特開２０１５－２０９１５４（ＪＰ，Ａ）

【文献】特開２０１７－１２９９７３（ＪＰ，Ａ）

【文献】特開２０１６－１１０４４９（ＪＰ，Ａ）

【文献】特開２０１８－０２２２２９（ＪＰ，Ａ）

【文献】国際公開第２０１７／０５６４０１（ＷＯ，Ａ１）

【文献】特開２０１３－０９３０１３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００４１８１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ ～ １／１６

Ｇ０８Ｂ ２１／００

Ｂ６０Ｗ ３０／００ ～ ６０／００

(57)【特許請求の範囲】

【請求項1】

車両の乗員を経時的に撮像する撮像装置と、
前記車両の周辺に存在する障害物を検出する周囲検出センサと、
前記撮像装置により撮像された撮像画像及び前記周囲検出センサの検出結果に基づく処理を実行するコントローラと、を備え、
前記車両は、前記乗員の操作に応じて部位が移動可能な外装部品を搭載し、
前記コントローラは、
前記撮像画像に基づいて、前記乗員が前記外装部品を操作しようとする予備動作を推定し、
前記予備動作、前記障害物の情報、及び、前記外装部品の形状及び可動範囲を含む前記外装部品の情報に基づいて、前記乗員に対しての警告処理、及び前記車両の車両制御処理のうち少なくとも何れか一方の処理を実行する車載装置。

【請求項2】

請求項１記載の車載装置であって、
前記コントローラは、
前記予備動作及び前記障害物の情報に基づいて、前記処理の要否を判定し、
前記処理が必要と判定した場合、前記処理を実行する車載装置。

【請求項3】

請求項１又は２記載の車載装置であって、
前記コントローラは、
過去に前記外装部品が操作された時点を基準として、前記基準の時点よりも前の前記外装部品を操作するための操作動線の情報を含む前記乗員の姿勢情報に基づいて、前記外装部品が操作される前の前記姿勢情報の傾向を特定し、
現在の前記姿勢情報と前記傾向とを比較し、
現在の前記姿勢情報が前記傾向に該当する場合、現在の前記乗員の動作を前記予備動作として推定する車載装置。

【請求項4】

車両の乗員を経時的に撮像する撮像装置と、
前記車両の周辺に存在する障害物を検出する周囲検出センサと、
前記撮像装置により撮像された撮像画像及び前記周囲検出センサの検出結果に基づく処理を実行するコントローラと、を備え、
前記車両は、前記乗員の操作に応じて部位が移動可能な外装部品を搭載し、
前記コントローラは、
前記撮像画像に基づいて、前記外装部品を操作するための操作動線の情報を含む前記乗員の姿勢情報を生成し、
過去に前記外装部品が操作された時点を基準として、前記基準の時点よりも前の前記姿勢情報に基づいて、前記外装部品が操作される前の前記姿勢情報の傾向を特定し、
現在の前記姿勢情報と前記傾向とを比較し、
現在の前記姿勢情報が前記傾向に該当する場合、現在の前記乗員の動作を、前記乗員が前記外装部品を操作しようとする予備動作として推定し、
前記予備動作及び前記障害物の情報に基づいて、前記乗員に対しての警告処理、及び前記車両の車両制御処理のうち少なくとも何れか一方の処理を実行し、
実際に前記外装部品が前記乗員により操作されたか否かを判定し、
前記乗員ごとに、前記外装部品が操作された場合の前記姿勢情報と、前記外装部品が操作されなかった場合の前記姿勢情報に分類することで、前記乗員ごとの前記傾向を学習する車載装置。

【請求項5】

車両の乗員を経時的に撮像する撮像装置と、
前記車両の周辺に存在する障害物を検出する周囲検出センサと、
前記撮像装置により撮像された撮像画像及び前記周囲検出センサの検出結果に基づく処理を実行するコントローラと、
記憶装置と、を備え、
前記車両は、前記乗員の操作に応じて部位が移動可能な外装部品を搭載し、
前記記憶装置は、過去に前記外装部品が操作された基準の時点よりも前の前記外装部品を操作するための操作動線の情報を含む前記乗員の姿勢情報、前記基準の時点での前記姿勢情報、及び前記基準の時点よりも後の前記姿勢情報を含む一連の前記姿勢情報と、前記外装部品の状態とを関連付けた情報を、前記乗員ごとに記憶し、
前記コントローラは、
前記撮像画像に基づいて、前記姿勢情報を生成し、
前記基準の時点よりも前の前記姿勢情報に基づいて、前記外装部品が操作される前の前記姿勢情報の傾向を特定し、
現在の前記姿勢情報と前記傾向とを比較し、
現在の前記姿勢情報が前記傾向に該当する場合、現在の前記乗員の動作を、前記乗員が前記外装部品を操作しようとする予備動作として推定し、
前記予備動作及び前記障害物の情報に基づいて、前記乗員に対しての警告処理、及び前記車両の車両制御処理のうち少なくとも何れか一方の処理を実行し、
前記外装部品の部位が移動開始する前の前記姿勢情報に基づいて、前記傾向を学習する車載装置。

【請求項6】

請求項３に記載の車載装置であって、
前記基準の時点よりも前の前記姿勢情報、前記基準の時点での前記姿勢情報、及び前記基準の時点よりも後の前記姿勢情報を含む一連の前記姿勢情報と、前記外装部品の状態とを関連付けた情報を、前記乗員ごとに記憶する記憶装置を、さらに備え
前記コントローラは、
前記記憶装置に記憶された前記姿勢情報及び前記外装部品の状態に基づいて、前記乗員ごとに、現在の前記姿勢情報が前記傾向に該当するか否かを判定するための閾値を設定する車載装置。

【請求項7】

請求項３～６の何れか一項に記載の車載装置であって、
前記姿勢情報は、前記外装部品の操作を実行可能な操作機器の位置又は前記外装部品の位置を基準とした際の、前記乗員の腕の位置情報、前記乗員の手の位置情報、前記乗員の肘の位置情報、前記乗員の足の位置情報、前記乗員の膝の位置情報、前記乗員の顔の向きの情報、及び前記乗員の視線の向きの情報のうち少なくとも一つの情報を含み、
前記コントローラは、前記姿勢情報に含まれる情報の種別ごとに、前記傾向を学習する車載装置。

【請求項8】

請求項７記載の車載装置であって、
前記位置情報は、位置、向き、移動方向、移動速度、及び移動距離を含む車載装置。

【請求項9】

請求項７又は８記載の車載装置であって、
前記コントローラは、前記姿勢情報に含まれる前記情報の種別ごとに、現在の前記姿勢情報と前記傾向を比較する車載装置。

【請求項10】

請求項７～９の何れか一項に記載の車載装置であって、
前記コントローラは、前記姿勢情報に含まれる前記情報の種別ごとに、現在の前記姿勢情報が前記傾向に該当するか否かを判定するための閾値を設定する車載装置。

【請求項11】

車両の乗員を経時的に撮像する撮像装置と、
前記車両の周辺に存在する障害物を検出する周囲検出センサと、
前記撮像装置により撮像された撮像画像及び前記周囲検出センサの検出結果に基づく処理を実行するコントローラと、を備え、
前記車両は、前記乗員の操作に応じて部位が移動可能な外装部品を搭載し、
前記コントローラは、
前記撮像画像に基づいて、前記車両の座席に対する前記乗員の着座位置情報の情報を含む前記乗員の姿勢情報を生成し、
前記姿勢情報に基づいて、前記乗員が前記外装部品を操作しようとする予備動作を推定し、
前記予備動作及び前記障害物の情報に基づいて、前記乗員に対しての警告処理、及び前記車両の車両制御処理のうち少なくとも何れか一方の処理を実行する車載装置。

【請求項12】

請求項１１に記載の車載装置であって、
前記姿勢情報は、前記乗員の身体情報を含む乗員情報、及び前記車両の車種情報を含む車載装置。

【請求項13】

請求項１～１２の何れか一項に記載の車載装置と、
複数の車両から取得した、前記外装部品を操作するための操作動線の情報を含む前記乗員の姿勢情報を記憶するデータベースと、
前記データベースに記憶された前記姿勢情報を分析するサーバと、を備え、
前記サーバは、
前記データベースに記憶された前記姿勢情報に基づいて、現在の前記姿勢情報が、前記外装部品が操作される前の前記姿勢情報の傾向に該当するか否かを判定するための閾値を設定し、
前記閾値の情報を前記車載装置に送信する予備動作推定システム。

【請求項14】

乗員の操作に応じて部位が移動可能な外装部品が搭載された車両の乗員を経時的に撮像する撮像装置と、前記車両の周辺に存在する障害物を検出する周囲検出センサと、コントローラとを備えた車載装置の制御方法であって、
前記撮像装置により撮像された撮像画像に基づいて、前記乗員が前記外装部品を操作しようとする予備動作を推定し、
前記予備動作、前記障害物の情報、及び、前記外装部品の形状及び可動範囲を含む前記外装部品の情報に基づいて、前記乗員に対しての警告処理、及び前記車両の車両制御処理のうち少なくとも何れか一方の処理を実行する車載装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載装置、車載装置の制御方法、及び予備動作推定システムに関する。

【背景技術】

【0002】

車両の外に存在する移動体が有する車外表示装置との間で無線通信を行う無線通信部と、車両のドアノブに対して行われる乗員の操作を検出してドア開放動作を判定するドア開放判定部と、ドア開放判定部によりドア開放動作が行われたと判定された場合、車両の位置を基準とした警告範囲内に存在する移動体が有する車外表示装置に対して、ドア開放を警告する情報の表示を指示する通知を生成し、無線通信部を介して送信する表示指示部とを備える車両ドア開放警告装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１６／１９４１４４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、ドアノブに設置されたタッチセンサへの接触動作、又はタッチセンサへの物体の近接する予備動作に基づいて、ドア開放動作を判定しているため、例えば、乗員がドアノブを掴むと同時にドア開放動作を行う場合に、ドア開放が行われる前に乗員の動作を判定できず、判定に対する処理が間に合わない、という問題がある。

【0005】

本発明が解決しようとする課題は、早期に乗員が行う予定の動作を判定することで、判定に対する処理を適切に実行することが可能な車載装置、車載装置の制御方法、及び予備動作推定システムを提供することである。

【課題を解決するための手段】

【0006】

本発明は、外装部品を操作するための操作動線の情報を含む乗員の姿勢情報を生成し、乗員の姿勢情報に基づいて、乗員が外装部品を操作しようとする予備動作を推定し、予備動作及び車両の周辺に存在する障害物の情報に基づいて、乗員に対しての警告処理、及び車両の車両制御処理のうち少なくとも何れか一方の処理を実行することで、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、早期に乗員が行う予定の動作を判定することで、判定に対する処理を適切に実行することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る予備動作推定システムのブロック構成図を示す図である。

【図2】図２は、室内カメラによる画像及び姿勢情報生成機能により得られた乗員の姿勢情報の一例である。

【図3】図３は、車載データベースに格納されている時系列データの一例である。

【図4】図４は、本実施形態に係るコントローラが実行する処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。

【0010】

≪第１実施形態≫
図１は、本実施形態に係る予備動作推定システムの構成を示す図である。図１に示すように、本実施形態に係る予備動作推定システムは、複数の車両に搭載された複数の車載システム１００と、車両の外部に設けられたデータセンタ２００とから構成される。図１では、一台の車両に搭載された車載システム１００を示しているが、予備動作推定システムは、車載システム１００を複数備える構成とすることができる。なお、コントローラ１７０を、本実施形態に係る車載装置して説明する。また、本実施形態では、ドア１１０を車両の外装部品として、ドア１１０の開操作を車両の外装部品に対する操作として説明する。

【0011】

複数の車載システム１００とデータセンタ２００とは、通信回線を介して各種情報の授受が可能となっている。通信回線としては、例えば、携帯電話網、無線ＬＡＮ網、ＤＳＲＣ（Dedicated Short Range Communications）網、及び電力線通信網などが挙げられる。また、車載システム１００がフラッシュメモリ等の着脱式の記憶媒体に各種情報を記録し、記録した各種情報を、通信機能を有する端末（例えば、パソコンやスマートフォン）経由で送受信する構成としてもよい。

【0012】

車載システム１００は、図１に示すように、ドア１１０、周囲検出装置１２０、乗員検出装置１３０、出力装置１４０、車載データベース１５０、車載通信装置１６０、及びコントローラ１７０を備える。これら装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

【0013】

ドア１１０は、車両の外装に設けられた外装部品である。ドア１１０は、ドア本体１１１、ドアセンサ１１２、室内ドアハンドル１１３、ドアノブ１１４を有している。

【0014】

ドア本体１１１は、ドアインナパネルとドアアウタパネルから構成されており、ドアヒンジを介して車両に取り付けられている。ドア本体１１１は、ドア１１０において、開閉動作に応じて移動可能な部位である。本実施形態では、説明の便宜上、「ドア１１０が開く」とは、ドア本体１１１がドアヒンジを中心に、車両の室内側から車両の外側へ回転移動する動作として説明する。また、「ドア１１０が閉じる」とは、ドア本体１１１がドアヒンジを中心に、車両の外側から車両の室内側へ回転移動する動作として説明する。

【0015】

ドアセンサ１１２は、ドア１１０の開閉状態を検出する。ドアセンサ１１２は、ドア１１０の開閉状態を示す情報を、ドア開閉情報として、コントローラ１７０に出力する。

【0016】

室内ドアハンドル１１３は、ドア本体１１１のドアインナパネル側に設けられ、乗員が車両の室内側からドアを開閉するためのハンドルである。本実施形態の室内ドアハンドル１１３は、乗員又はコントローラ１７０により操作可能なドアノブ１１４を有している。ドア１１０は、乗員又はコントローラ１７０がドアノブ１１４を操作することで、開錠又は施錠される。以降の説明では、ドア１１０を施錠するための操作を、ロック操作と称し、ドア１１０を開錠するための操作を、ロック解除操作と称して説明する。

【0017】

例えば、車両が停車した状態で、乗員がドアノブ１１４をロック操作すると、ドア１１０は施錠される。また、例えば、車両が停車した状態で、乗員がドアノブ１１４をロック解除操作すると、ドア１１０は開錠される。ドア１１０は、開錠又は施錠を示す情報を、ドア施錠情報としてコントローラ１７０に出力する。

【0018】

また、ドア１１０には、コントローラ１７０から開錠又は施錠するための制御信号が入力される。ドア１１０は、コントローラ１７０からの制御信号に応じて、開錠又は施錠される。例えば、コントローラ１７０から、開錠するための制御信号が入力されると、ドアノブ１１４は自動的にロック解除操作され、ドア１１０は開錠される。反対に、例えば、コントローラ１７０から、施錠するための制御信号が入力されると、ドアノブ１１４は自動的にロック操作され、ドア１１０は施錠される。

【0019】

周囲検出装置１２０は、車両の周辺に存在する対象物を検出する。周囲検出装置１２０としては、車載カメラ１２１、レーダー１２２が挙げられる。車載カメラ１２１は、車両の周辺を撮像する。車載カメラ１２１は、例えば、車両の前方を撮像する前方カメラ、車両の後方を撮像する後方カメラ、車両の側方を撮像する側方カメラで構成される。レーダー１２２は、車両の周辺に存在する障害物を検出する。レーダー１２２は、例えば、車両の前方に存在する障害物を前方レーダー、車両の後方に存在する障害物を後方レーダー、車両の側方に存在する障害物を検出する側方レーダーで構成される。レーダー１２２は、車両から障害物までの距離及び障害物が存在する方向を検出する。

【0020】

周囲検出装置１２０が検出する対象物としては、歩行者、自転車、バイク、自動車、路上障害物、交通信号機、路面標示、および横断歩道などが挙げられる。なお、周囲検出装置１２０として、上述した車載カメラ１２１、レーダー１２２のうちいずれか１つを用いる構成としてもよいし、２種類以上を組み合わせる構成としてもよい。周囲検出装置１２０は、撮像した情報や検出結果をコントローラ１７０に出力する。なお、周囲検出装置１２０の設置位置は特に限定されるものではない。また、周囲検出装置１２０は、一つ以上あればよく、複数個で構成されていてもよい。

【0021】

乗員検出装置１３０は、車両の乗員を検出する。本実施形態では、乗員検出装置１３０としては、室内カメラ１３１が挙げられる。なお、乗員検出装置１３０は、室内カメラ１３１に限られず、例えば、赤外線カメラ（ＩＲカメラ）であってもよい。

【0022】

室内カメラ１３１は、乗員の全身を撮像可能な位置に設けられ、乗員を撮像する。例えば、室内カメラ１３１は、インストルメンタルパネルに内蔵され、ドライバの全身を撮像する。また、例えば、室内カメラ１３１は、助手席前方に位置するグローブボックスに内蔵され、助手席に座る乗員の全身を撮像する。また、例えば、室内カメラ１３１は、バックミラーに取り付けられ、後部座席に座る乗員の全身を撮像する。なお、室内カメラ１３１の設置場所は一例であって、乗員の全身を撮像できる位置であれば特に限定されるものではない。また、室内カメラ１３１は、一つ以上あればよく、複数個で構成されていてもよい。

【0023】

また、室内カメラ１３１は、経時的に乗員を撮像し、撮像する度に、撮像画像をコントローラ１７０に出力する。撮像画像には、乗員の目、鼻、口、耳、胸、肩、肘、手首、手、指、腰、膝、及び足がうつる。なお、室内カメラ１３１が撮像する時間間隔は特に限定されない。また、室内カメラ１３１は、撮像機能だけでなく、動画機能を備えていてもよい。

【0024】

出力装置１４０は、コントローラ１７０から入力される警告情報を乗員に出力する装置である。本実施形態では、出力装置１４０は、ディスプレイ１４１、スピーカ１４２で構成される。ディスプレイ１４１は、画面表示により視覚的を通じて警告情報を乗員に通知する。スピーカ１４２は、音声により聴覚を通じて警告情報を乗員に通知する。警告情報については後述する。

【0025】

車載データベース１５０は、乗員ごとに、姿勢情報とドア開閉情報とが関連付けられた情報であって、時系列に沿って並べ替えられた時系列データを格納している。車載データベース１５０は、コントローラ１７０と双方向の通信が可能となっている。車載データベース１５０には、コントローラ１７０から時系列データが入力される。また、車載データベース１５０は、コントローラ１７０からのアクセスに応じて、乗員ごとの時系列データをコントローラ１７０に出力する。なお、時系列データを構成する姿勢情報については後述する。

【0026】

車載通信装置１６０は、電話回線網などを介して、データセンタ２００の通信装置２１０と通信可能となっている。車載通信装置１６０は、コントローラ１７０から取得した情報をデータセンタ２００に送信するとともに、データセンタ２００からの情報を受信し、コントローラ１７０を介して受信した情報を車載データベース１５０に格納する。

【0027】

コントローラ１７０は、乗員の姿勢情報及び車両の周囲に存在する障害物情報に基づいて、乗員に対しての警告処理又は車両の車両制御処理のうち少なくとも何れか一方の処理を実行するプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）から構成される。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。

【0028】

コントローラ１７０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、乗員の撮像画像を取得する乗員情報取得機能と、撮像画像に基づいて姿勢情報を生成する姿勢情報生成機能と、ドア開閉情報と姿勢情報とを関連付けて車載データベース１５０に格納する時系列データ格納機能と、ドア１１０が開操作される前の姿勢情報の傾向を特定する姿勢傾向特定機能と、姿勢情報の傾向に基づいて予備動作を推定する予備動作推定機能と、現在の姿勢情報から予備動作に該当するか否かを判定する予備動作判定機能と、車両の周辺に障害物が存在するか否かを判定する障害物判定機能と、乗員に対しての警告等の要否を判定する警告処理等要否判定機能と、警告等を実行する警告処理等実行機能と、姿勢情報の傾向の情報を乗員の傾向情報としてデータセンタ２００に送信する情報送信機能と、を備える。以下に、コントローラ１７０が備える各機能について説明する。

【0029】

コントローラ１７０は、乗員情報取得機能により、乗員検出装置１３０から乗員の情報を取得する。具体的には、コントローラ１７０は、室内カメラ１３１により経時的に撮像された複数の撮像画像を取得する。コントローラ１７０は、撮像画像に対して画像処理を実行することで、各乗員を識別することができる。コントローラ１７０は、乗員ごとに、時系列に沿って複数の撮像画像を並び替えることで、時系列的に変化する各乗員の状態を把握する。

【0030】

コントローラ１７０は、姿勢情報生成機能により、撮像画像に基づいて、乗員の姿勢情報を生成する。例えば、コントローラ１７０は、一枚の撮像画像に対して、画像処理を実行し、乗員の目、鼻、口、耳、胸、肩、肘、手首、手、指、腰、膝、及び足を識別するとともに、撮像画像における各部位の位置情報を抽出する。次に、コントローラ１７０は、時系列に沿って並べ替えられた複数の撮像画像に対して、各部位の位置情報を抽出することで、各部位ごとに、時系列に沿って連続的に変化する位置情報を取得する。コントローラ１７０は、時系列に沿って連続的に変化する各位部位の位置情報を、一の乗員あたりの姿勢情報として生成する。なお、姿勢情報の生成方法は、一例であって特に限定されるものではない。また、コントローラ１７０は、撮像画像から複数の乗員を検出した場合、乗員ごとに、姿勢情報を生成する。

【0031】

姿勢情報は、乗員の各部位ごとの位置情報を含み、例えば、３次元座標で表される。なお、姿勢情報は、３次元座標で表すことに限定されず、２次元座標で表してもよいし、姿勢情報には、その他の情報が含まれていてもよい。その他の情報には、例えば、視線の向き、手のひらの向き等の各部位の向きの情報が挙げられる。

【0032】

図２は、室内カメラ１３１により撮像された画像及び姿勢情報生成機能により得られた乗員の姿勢情報の一例である。図２（Ａ）は、室内カメラ１３１により撮像された撮像画像を示し、図２（Ｂ）は、姿勢情報生成機能により得られた乗員の姿勢情報の一例を示している。

【0033】

例えば、図２（Ａ）に示すような撮像画像がコントローラ１７０に入力された場合、まず、コントローラ１７０は、姿勢情報生成機能により、撮像画像から、乗員の姿勢を把握するのに必要な複数の部位を抽出する。例えば、抽出対象の部位は、乗員の身体情報（性別、年代）に応じて予めリスト化されており、コントローラ１７０は、撮像画像から乗員の身体情報を検出したうえで、姿勢情報の対象となる複数の部位を抽出する。次に、コントローラ１７０は、抽出した各部位の位置情報を取得するとともに、図２（Ｂ）に示すように、乗員の体型に合わせて、各部位を繋ぎ合わせて、乗員の姿勢情報を生成する。なお、図２は姿勢情報の一例であって、特に限定されるものではない。

【0034】

また、本実施形態では、コントローラ１７０は、撮像画像が入力されるたびに、姿勢情報を生成して更新する。これにより、コントローラ１７０は、乗員がドア１１０を開けようと室内ドアハンドル１１３に手を掛ける前の段階であっても、乗員の姿勢の変化を把握することができる。例えば、乗員が座席に寄りかかった状態から、室内ドアハンドル１１３に手を掛ける前に、上半身を起こした状態や手を振り上げた状態であっても、コントローラ１７０は、姿勢情報を通じて、連続的に変化する上半身の動きを把握することができる。また、コントローラ１７０は、リアルタイムで姿勢情報を更新することで、乗員の些細な変化も把握することができる。上記の例を用いて説明すると、上半身を起こそうとした乗員の頭が移動した場合、コントローラ１７０は、姿勢情報を通じて、乗員の頭が移動開始したことを把握することができる。

【0035】

コントローラ１７０は、時系列データ格納機能により、ドア開閉情報と姿勢情報が関連付けられ情報であって、時系列に沿って並べ替えられた情報を、車載データベース１５０に格納する。コントローラ１７０には、逐次、ドア１１０からドア開閉情報が入力されている。コントローラ１７０は、逐次、時系列に沿って、姿勢情報とドア開閉情報を関連付けて、車載データベース１５０に時系列データを蓄積させる。コントローラ１７０は、乗員ごとに、時系列データを車載データベース１５０に格納する。これにより、車載データベース１５０には、乗員ごとの時系列データが蓄積される。

【0036】

図３は、車載データベース１５０に格納されている時系列データの一例である。図３に示すように、車載データベース１５０は、時間、姿勢情報、ドア開閉情報から構成される時系列データを格納している。図３の例では、時間Ｔ１、Ｔ２、・・・と時間が経過していることを示しており、姿勢情報とドア開閉情報は時間ごとに関連付けられている。また、姿勢情報は、乗員の部位ごとに２次元座標で示し、ドア開閉情報は、ドアの開閉状態を示している。

【0037】

図３の例は、特定の乗員の時系列データを示している。この時系列データによると、時間Ｔ３から時間Ｔ４の間で、ドア１１０は閉じた状態から開いた状態に変化している。コントローラ１７０は、ドア開閉情報の変化したタイミングを検出することで、乗員によるドアの開閉操作が行われたことを検出することができる。本実施形態では、コントローラ１７０は、ドア開閉情報が変化した直後のタイミングを、乗員によりドア１１０が開閉操作された基準の時点として設定する。図３の例では、時間Ｔ４において、ドア開閉情報が閉じた状態から開く状態に変化したことから、コントローラ１７０は、時間Ｔ４を、乗員がドア１１０を開けた基準時点として設定する。なお、以降では、説明の便宜上、乗員がドア１１０を開ける操作を、単に開操作と称して説明する。

【0038】

コントローラ１７０は、姿勢傾向特定機能により、乗員ごとに、ドアが開操作された基準の時点よりも前の姿勢情報に基づいて、ドアが開操作される前の姿勢情報の傾向を特定する。

【0039】

図３の例を用いて、姿勢情報の傾向を特定する方法について説明する。まず、コントローラ１７０は、車載データベース１５０に格納された特定の乗員の時系列データを取得する。そして、コントローラ１７０は、時系列データの中から、ドアが開操作された基準の時点を検出する。コントローラ１７０は、検出した基準時点に対して、前後数秒間の姿勢情報を抽出し、抽出された一連の姿勢情報を、グループ化する。この抽出処理により、時系列データの中に含まれる姿勢情報は、ドアが開操作された場合の姿勢情報と、ドアが開操作されなかった場合の姿勢情報とに分類される。

【0040】

次に、コントローラ１７０は、グループ化された姿勢情報を対象にして、ドア１１０が開操作される前の姿勢情報の傾向を特定する。例えば、コントローラ１７０は、姿勢情報に含まれる各部位の位置情報について、クラスタリング処理を実行し、ドア１１０が開操作される前の乗員の動作の傾向を特定する。なお、姿勢情報の傾向の特定方法は、本願出願時に知られた手法を用いることができる。

【0041】

例えば、姿勢情報が２次元座標で示される場合、コントローラ１７０は、ドア１１０が開操作される前の傾向を示す座標を中心にして、この中心に対して所定の範囲を設定する。その際に、コントローラ１７０は、設定した範囲の淵に相当する座標を閾値として設定する。所定の範囲は、類似範囲を示すものであり、実験的に求められた値が好ましい。

【0042】

コントローラ１７０は、乗員の各部位ごとに、閾値を設定する。これにより、特定の時間での閾値であって、現在の乗員の姿勢情報が、ドアが開操作される前の姿勢情報の傾向に該当するか否かを判定するための閾値が設定される。

【0043】

また、コントローラ１７０は、時間ごとに、姿勢情報に含まれる各位部位の閾値を設定し、時系列に沿って並べ替えた閾値を、車載データベース１５０に格納する。これにより、車載データベース１５０には、時系列に沿って推移する各部位の閾値のデータが格納される。

【0044】

コントローラ１７０は、予備動作推定機能により、乗員がドア１１０を開操作しようとする予備動作を推定する。コントローラ１７０は、車載データベース１５０から、姿勢傾向特定機能により乗員の各部位ごとに設定され、経時的に変化する閾値を取得する。そして、コントローラ１７０は、時系列に沿って推移する閾値の移り変わりから、乗員がドア１１０を開操作しようとする予備動作を推定する。なお、予備動作の推定処理は、本実施形態において、必ずしも必要な処理ではない。例えば、後述するサーバ２２０から、車両に対して予備動作の情報が提供される場合には、コントローラ１７０は、予備動作推定機能による処理を実行させないこともできる。

【0045】

コントローラ１７０は、予備動作判定機能により、現在の姿勢情報の時間的な推移に基づいて、現在の乗員の動作が、ドア１１０の開操作に対する予備動作に該当するか否かを判定する。具体的には、コントローラ１７０は、現在の姿勢情報の中に、ドア１１０を操作するための予備動作（操作動線ともいう）が含まれているか否かを判定する。例えば、コントローラ１７０は、現在の姿勢情報の推移と、ドア１１０が開操作される前の姿勢情報の傾向とを比較することで、現在の乗員の動作が予備動作に該当するか否かを判定する。コントローラ１７０は、現在の乗員の姿勢情報の推移が、ドア１１０が開操作される前の姿勢情報の傾向に該当する場合、現在の乗員の動作を、ドア１１０を開操作しようとする予備動作として判定する。反対に、コントローラ１７０は、現在の乗員の姿勢情報の推移が、当該傾向に該当しない場合、現在の乗員の動作を予備動作としては推定しない。

【0046】

本実施形態では、現在の乗員の姿勢情報が、ドア１１０が開操作される前の姿勢情報の傾向に該当するか否かを判定するにあたり、車載データベース１５０に格納された閾値を用いる。

【0047】

例えば、コントローラ１７０は、所定時間（例えば、数秒程度）における姿勢情報の推移と、閾値の推移を比較することで、現在の乗員の動作が予備動作に該当するか否かを判定する。この場合、コントローラ１７０は、姿勢情報に含まれる各部位の位置情報の推移が、閾値の推移に対して一致又は類似している場合には、現在の乗員の動作を、予備動作として判定する。反対に、コントローラ１７０は、位置情報の推移と閾値の推移が非類似の場合、現在の乗員の動作を予備動作として判定しない。予備動作に該当するか否かを判定するための条件は、実験的に求められたものである。

【0048】

コントローラ１７０は、障害物判定機能により、周囲検出装置１２０から入力される情報に基づいて、車両の周辺に障害物が存在するか否かを判定する。また、コントローラ１７０は、障害物が検出された場合、ドア１１０に対する障害物の位置やドア１１０から障害物までの距離を検出する。障害物の検出方法は、本願出願時の検出方法が適宜用いられる。

【0049】

コントローラ１７０は、警告処理等要否判定機能により、現在の乗員の動作が予備動作に該当するか否かの判定結果と、障害物の情報に基づいて、乗員に対する警告処理及び車両の車両制御処理のうち少なくとも何れか一方の処理を実行する。警告処理には、ディスプレイ１４１を介して視覚を通じて乗員に対して警告する処理、スピーカ１４２を介して聴覚を通じて乗員に対して警告する処理が含まれる。また、車両制御処理には、ドア１１０に対してロック操作を行う処理が含まれる。なお、車両制御処理は、ロック操作に限られず、その他車両を制御する処理であってもよい。以降の説明では、説明の便宜上、乗員に対する警告処理、車両制御処理を、警告処理等と称して説明する。

【0050】

警告処理等が実行される条件について説明する。コントローラ１７０は、現在の乗員の動作がドア１１０を開操作しようとする予備動作に該当し、かつ、車両の周辺に障害物が存在する場合、警告処理等を実行する。例えば、コントローラ１７０は、障害物の種別、障害物の位置情報、障害物までの距離の情報（以降、障害物情報と称す）を、ディスプレイ１４１に表示する。また、例えば、コントローラ１７０は、障害物情報を、スピーカ１４２から音声出力させる。これにより、ドア１１０を開操作しようとする乗員に対して、室内ドアハンドル１１３に手を掛ける前に警告することができる。

【0051】

反対に、コントローラ１７０は、現在の乗員の動作がドア１１０を開操作しようとする予備動作に該当しない場合、又は、車両の周辺に障害物が存在しない場合、警告処理等を実行しない。この場合、乗員は、コントローラ１７０からの介入を受けることなく、そのままドア１１０を開けて降車する。

【0052】

コントローラ１７０は、情報送信機能により、乗員の姿勢情報の傾向の情報を、乗員の傾向情報としてデータセンタ２００に送信する。例えば、コントローラ１７０は、所定の周期ごとに、乗員の傾向情報を、車載通信装置１６０を介して、データセンタ２００に送信する。また、送信するタイミングは特に限定されず、イグニッションがオンされたタイミングで、車載データベース１５０から乗員の傾向情報を取得し、データセンタ２００に送信してもよい。また、コントローラ１７０は、プローブ情報の中に、乗員の傾向情報を含めることができる。これにより、プローブ情報と合わせて乗員の傾向情報を、データセンタ２００に送信することができる。

【0053】

次に、図１に示すデータセンタ２００について説明する。データセンタ２００は、通信装置２１０、サーバ２２０と、データベース２３０を備える。

【0054】

通信装置２１０は、電話回線網などを介して、車載システム１００の車載通信装置１６０と通信可能な装置である。通信装置２１０は、複数の車両それぞれに搭載された複数の車載システム１００から複数の乗員の傾向情報を受信し、受信した複数の乗員の傾向情報をサーバ２２０に出力するとともに、サーバ２２０から取得した予備動作モデルを車載システム１００に送信する。

【0055】

データベース２３０は、複数の車両から取得した複数の乗員の傾向情報を格納している。傾向情報には、ドア１１０が操作される基準時点よりも前の乗員の姿勢情報の推移が含まれている。

【0056】

サーバ２２０は、予備動作モデルを作成するためのプログラムを格納するＲＯＭと、このＲＯＭに格納されたプログラムを実行する動作回路として機能するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭとから構成される。サーバ２２０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、予備動作モデルを作成するモデル生成機能と、車載システム１００に予備動作モデルを提供する情報提供機能と、を備える。以下に、サーバ２２０が備える各機能について説明する。

【0057】

サーバ２２０は、モデル生成機能により、予備動作モデルを作成する。予備動作モデルとは、複数の乗員の傾向情報に基づいて生成されたモデルであって、汎用的なモデルである。複数の車両から複数の乗員の傾向情報が入力されると、サーバ２２０は、逐次、複数の乗員の傾向情報を、データベース２３０に格納する。サーバ２２０は、所定期間経過した後、データベース２３０から、複数の乗員の傾向情報を取得する。

【0058】

例えば、サーバ２２０は、乗員の部位ごとに、姿勢情報の傾向を分類するとともに、グループ化する。そして、サーバ２２０は、グループ化したデータに対して、分析処理を実行する。サーバ２２０は、乗員の部位ごとに分析処理を実行することで、予備動作モデルを作成する。予備動作モデルの作成方法は、特に限定されず、本願出願時に用いられるモデル構築方法を用いることができる。なお、予備動作モデルは、一種類に限られず、例えば、サーバ２２０は、乗員の性別、身長、体重ごとにカテゴリを設け、カテゴリごとに予備動作モデルを生成してもよい。

【0059】

サーバ２２０は、情報提供機能により、予備動作モデルを、複数の車載システム１００に提供する。例えば、サーバ２２０は、予備動作モデルが更新されるたびに、予備動作モデルを、複数の車載システム１００に送信する。車載システム１００では、予備動作モデルを利用して、現在の乗員の動作がドア１１０を開操作しようとする予備動作に該当するか否かの判定が実行される。これにより、一般的にドア１１０を開操作しようとする乗員の動作を基準とした場合の判定処理を実行することができる。

【0060】

次に、図４を用いて、本実施形態に係る予備動作推定システムの動作について説明する。なお、図４は、本実施形態に係るコントローラ１７０が実行する処理を示すフローチャートである。図４に示す処理は、コントローラ１７０により、一定の時間間隔で繰り返し行われる。

【0061】

ステップＳ１０１では、コントローラ１７０は、乗員情報を取得する。例えば、コントローラ１７０は、室内カメラ１３１から乗員情報として、乗員がうつる撮像画像を取得する。室内カメラ１３１は、経時的に乗員を撮像するため、コントローラ１７０は、逐次、撮像画像を取得する。

【0062】

ステップＳ１０２では、コントローラ１７０は、ステップＳ１０１にて取得した乗員情報（撮像画像）に基づいて、乗員の姿勢情報を生成する。例えば、コントローラ１７０は、撮像画像に対して、画像処理を実行し、撮像画像における乗員の各部位の位置情報を抽出する。次に、コントローラ１７０は、時系列に沿って並べ替えられた複数の撮像画像に対して、各部位の位置情報を抽出することで、各部位ごとに、時系列に沿って連続的に変化する位置情報を取得する。コントローラ１７０は、時系列に沿って連続的に変化する位置情報を、乗員の姿勢情報として生成する。乗員の姿勢情報には、乗員の各部位の位置情報の時間的な推移が含まれている。

【0063】

ステップＳ１０３では、コントローラ１７０は、ステップＳ１０２にて生成した現在の乗員の姿勢情報の時間的な推移と、予備動作の姿勢情報の傾向とを比較する。予備動作には、例えば、ドア１１０を開操作する前に、座席から上半身を起こす動作、室内ドアハンドル１１３を掴むために腕を振り上げた動作が一例として挙げられる。

【0064】

例えば、コントローラ１７０は、車載データベース１５０から、予め生成された予備動作の姿勢情報の傾向を取得する。予備動作の姿勢情報の傾向には、ドア１１０を開操作しようとする予備動作に該当するか否かを判定するために設定され、時間の経過とともに推移する閾値が含まれている。コントローラ１７０は、所定時間での姿勢情報の推移と、閾値の推移を比較する。所定時間としては、例えば、数秒程度が挙げられる。

【0065】

ステップＳ１０４では、コントローラ１７０は、ステップＳ１０３にて行われた比較結果に基づいて、現在の乗員の動作がドア１１０を開操作しようとする予備動作に該当するか否かを判定する。例えば、コントローラ１７０は、姿勢情報に含まれる各部位の位置情報の推移が、閾値の推移に対して一致又は類似している場合、現在の乗員の動作を、ドア１１０の開操作に対する予備動作に該当すると判定する。反対に、コントローラ１７０は、位置情報の推移と閾値の推移が非類似の場合、現在の乗員の動作を、ドア１１０の開操作に対する予備動作に該当しないと判定する。現在の乗員の動作は予備動作に該当すると判定した場合、ステップＳ１０５に進み、現在の乗員の動作は予備動作に該当しないと判定した場合、ステップＳ１０１に戻る。

【0066】

ステップＳ１０５では、コントローラ１７０は、車両の周辺に存在する障害物の情報を、障害物情報として取得する。例えば、コントローラ１７０は、車載カメラ１２１により撮像された車両周辺の撮像画像を取得し、レーダー１２２により検出された障害物の位置情報等を取得する。

【0067】

ステップＳ１０６では、コントローラ１７０は、ステップＳ１０５にて取得した障害物情報に基づいて、警告処理等が必要か否かを判定する。このステップには、ステップＳ１０４にて現在の乗員の動作が予備動作に該当すると判定されている場合にしか進まない。そのため、コントローラ１７０は、これから乗員がドア１１０を開操作しようとしていることを把握したうえで、車両の周辺に障害物が存在するか否か等を判定している。コントローラ１７０は、車両の周辺に障害物が存在する場合には、警告処理等が必要と判定し、ステップＳ１０７に進む。反対に、コントローラ１７０は、車両の周辺に障害物が存在しない場合には、警告処理等は不要と判定し、ステップＳ１０１へ戻る。

【0068】

ステップＳ１０７では、コントローラ１７０は、警告処理等を実行する。例えば、コントローラ１７０は、ディスプレイ１４１に障害物の情報を表示したり、スピーカ１４２から警告音を出力させたりする。ステップＳ１０７での処理が終了すると、コントローラ１７０は一連の処理を終了させる。

【0069】

以上のように、本実施形態では、車載システム１００は、車両の乗員を経時的に撮像する室内カメラ１３１と、車両の周辺に存在する障害物を検出する周囲検出装置１２０と、室内カメラ１３１により撮像された撮像画像及び前記周囲検出装置１２０の検出結果に基づく処理を実行するコントローラ１７０と、を備えている。また、車載システム１００は、乗員が室内ドアハンドル１１３を操作することでドア本体１１１が移動可能なドア１１０を備えている。コントローラ１７０は、撮像画像に基づいて、ドア１１０を操作するための操作動線の情報を含む乗員の姿勢情報を生成し、姿勢情報に基づいて、乗員がドア１１０を操作しようとする予備動作を推定し、予備動作及び障害物の情報に基づいて、警告処理等を実行する。ドア１１０の開操作が行われる前の早い段階で、乗員の動作を判定することができ、適切に警告処理等を実行することができる。

【0070】

また、本実施形態では、コントローラ１７０は、予備動作及び障害物の情報に基づいて、警告処理等の要否を判定し、警告処理等が必要と判定した場合、警告処理等を実行する。これにより、例えば、車両の周辺に障害物が存在する場合には、ドア１１０が開く前のタイミングで警告処理等を実行することができる。

【0071】

さらに、本実施形態では、コントローラ１７０は、過去にドア１１０が開操作された基準時点よりも前の姿勢情報に基づいて、ドア１１０が開操作される前の姿勢情報の傾向を特定し、現在の姿勢情報と姿勢情報の傾向とを比較し、現在の姿勢情報が姿勢情報の傾向に該当する場合、現在の乗員の動作を、ドア１１０を開操作しようとする予備動作として推定する。これにより、実績に基づいて予備動作の推定が行われるため、乗員特有の癖や仕草があった場合でも、乗員に合わせて予備動作を適切に推定することができる。

【0072】

加えて、本実施形態では、コントローラ１７０は、実際にドア１１０が乗員により開操作されたか否かを判定し、乗員ごとに、ドア１１０が開操作された場合の姿勢情報と、ドア１１０が開操作されなかった場合の姿勢情報に分類することで、乗員ごとの姿勢情報の傾向を学習する。これにより、ドア１１０の開操作につながる姿勢情報から、姿勢情報の傾向を学習することができるため、姿勢情報の傾向の特定を精度良く行うことができる。

【0073】

また、本実施形態では、車載システム１００は、ドア１１０が開操作された基準の時点よりも前の姿勢情報、基準の時点での姿勢情報、及び基準の時点よりも後の姿勢情報を含む一連の姿勢情報と、ドア１１０の開閉状態とを関連付けた情報を、乗員ごとに記憶する車載データベース１５０を備える。コントローラ１７０は、ドア本体１１１が移動開始する前の姿勢情報に基づいて、姿勢情報の傾向を学習する。これにより、上記効果と同様の効果を奏する。

【0074】

さらに、本実施形態では、コントローラ１７０は、車載データベース１５０に記憶された姿勢情報及びドア１１０の開閉情報に基づいて、乗員ごとに、現在の姿勢情報が姿勢情報の傾向に該当するか否かを判定するための閾値を設定する。これにより、現在の乗員の動作が予備動作に該当するか否かを精度良く判定することができる。

【0075】

加えて、本実施形態では、姿勢情報には、ドア１１０の位置を基準とした際の、乗員の腕の位置情報、乗員の手の位置情報、乗員の肘の位置情報、乗員の足の位置情報、乗員の膝の位置情報、乗員の顔の向きの情報、及び乗員の視線の向きの情報を含む。コントローラ１７０は、姿勢情報に含まれる情報の種別ごとに、姿勢情報の傾向を学習する。これにより、例えば、室内ドアハンドル１１３に手を掛けようとして肘を曲げた動作を、予備動作として学習することができ、姿勢情報の傾向を精度良く特定することができる。

【0076】

また、本実施形態では、コントローラ１７０は、姿勢情報に含まれる情報の種別ごとに、現在の姿勢情報と、姿勢情報の傾向とを比較する。これにより、乗員の各部位に応じて予備動作の判定が行われるため、乗員特有の些細な仕草や細かな動きに対しても、精度良く予備動作に該当するか否かの判定を行うことができる。

【0077】

また、本実施形態では、コントローラ１７０は、姿勢情報に含まれる情報の種別ごとに、予備動作に該当するか否かを判定するための閾値を設定する。これにより、上記効果と同様の効果を奏する。

【0078】

さらに、本実施形態に係る予備動作システムは、複数の車両から取得した、複数の乗員の姿勢情報の傾向を記憶するデータベース２３０と、データベース２３０に記憶された複数の乗員の姿勢情報の傾向を分析するサーバ２２０と、を備える。サーバ２２０は、複数の乗員の姿勢情報の傾向に基づいて、予備動作に該当するか否かを判定するための閾値を設定する。これにより、汎用的な予備動作モデルを生成することができ、例えば、初めて乗車する乗員に対しても、適切に予備動作に該当するか否かの判定を行うことができる。

【0079】

なお、上述した実施形態では、ドア１１０を車両の外装部品として、ドア１１０の開操作を車両の外装部品に対する操作として説明したが、これに限られず、例えば、以下のような変形例であってもよい。

【0080】

変形例では、車両の外装部品には、ドア１１０の他に、パワーウィンド、ルーフ、電動ミラー、電動幌、ワイパー、バックドア、スライドドアが含まれる。

【0081】

例えば、外装部品がパワーウィンドの場合、コントローラ１７０は、乗員がパワーウィンドを開閉するために、座席に設置されたスイッチを操作しようとする予備動作（スイッチ操作）を、現在の乗員の動作との比較対象としてもよい。

【0082】

また、例えば、外装部品がルーフの場合、コントローラ１７０は、乗員がルーフを開閉するために、ルーフ周辺に設置されたスイッチを操作しようとする予備動作（スイッチ操作）を、現在の乗員の動作との比較対象としてもよい。

【0083】

また、例えば、外装部品が電動ミラーの場合、コントローラ１７０は、乗員が電動ミラーを格納するために、運転席周辺に設置されたスイッチを操作しようとする予備動作（スイッチ操作）、又はキーＦＯＢ操作を、現在の乗員の動作との比較対象としてもよい。

【0084】

また、例えば、外装部品が電動幌の場合、コントローラ１７０は、乗員が電動幌をオープン状態にさせるために、運転席周辺に設置されたスイッチを操作しようとする予備動作（スイッチ操作）、又はキーＦＯＢ操作しようとする予備動作を、現在の乗員の動作との比較対象としてもよい。

【0085】

また、例えば、外装部品がワイパーの場合、コントローラ１７０は、乗員がワイパーを作動させるために、運転席周辺に設置されたコンビスイッチを操作しようとする予備動作（スイッチ操作）を、現在の乗員の動作との比較対象としてもよい。

【0086】

また、例えば、外装部品がバックドアの場合、コントローラ１７０は、乗員がバックドアを開閉するために、運転席周辺に設置されたスイッチを操作しようとする予備動作（スイッチ操作）、又はキーＦＯＢ操作しようとする予備動作を、現在の乗員の動作との比較対象としてもよい。

【0087】

また、例えば、外装部品がスライドドアの場合、コントローラ１７０は、乗員がスライドドアを開閉するために、運転席周辺に設置されたスイッチを操作しようとする予備動作（スイッチ操作）、又はキーＦＯＢ操作を、現在の乗員の動作との比較対象としてもよい。

【0088】

変形例では、コントローラ１７０は、上述した実施形態と同様の方法を用いて、各外装部品に対応した予備動作を予め推定し、車載データベース１５０に記憶させておく。これにより、外装部品の種別ごとに、現在の乗員の動作が予備動作に該当するか否かを適切に判定することができる。

【0089】

なお、乗員が行う外装部品に対する操作は、必ずしも操作した乗員本人に対してのものでなくもよい。例えば、運転者が後部座席のパワーウィンドを操作する場合には、コントローラ１７０は、運転者の座席近傍に位置するパワーウィンドを操作するための予備動作と、後部座席のパワーウィンドを操作するための予備動作とを、スイッチの位置の違いに応じて識別することができる。このような予備動作には、他にも、タクシーの運転手が後部座席のドアを開けようとする予備動作、バスの運転手がドアを開閉させようとする予備動作が含まれる。

【0090】

≪第２実施形態≫
次に、第２実施形態に係る車載装置について説明する。本実施形態の車載装置は、
コントローラ１７０が備える機能が上述した実施形態の機能と異なる点以外は、上述した実施形態と同様の構成を有しているため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。

【0091】

本実施形態のコントローラ１７０は、現在の乗員の動作が予備動作に該当し、かつ、車両の周辺に障害物が存在する場合に実行する処理が、上述した実施形態とは異なる。具体的には、コントローラ１７０は、障害物の存在の有無だけでなく、障害物の位置情報を考慮して、警告処理等の処理を実行する。

【0092】

コントローラ１７０は、現在の乗員の動作が予備動作に該当し、かつ、車両の周辺に障害物が存在する場合、障害物の位置情報及び移動速度と、これから操作される予定のドア１１０の位置情報とに基づいて、障害物が対象のドア１１０の外側周辺を近接するおそれがあるか否かを判定する。コントローラ１７０は、対象のドア１１０の外側周辺において、障害物が近接するおそれがあると判定した場合、対象のドア１１０に対してロック操作を実行する。その際に、コントローラ１７０は、ロック操作されたドア１１０以外のドア１１０のうち、障害物が近接するおそれがないドア１１０を検出する。そして、コントローラ１７０は、検出されたドア１１０に対してロック解除操作を実行するとともに、ディスプレイ１４１又はスピーカ１４２を介して、対象のドア１１０を操作しようとする乗員に対して、別のドア１１０をロック解除した旨を通知する。

【0093】

このように、本実施形態では、コントローラ１７０は、現在の乗員の動作が予備動作に該当すると判定し、かつ、車両の周辺に障害物が存在する場合、これから操作されようとしているドア１１０の外側周辺を、障害物が近接するおそれがあるか否かを判定する。そして、コントローラ１７０は、障害物が近接するおそれがあると判定した場合、操作対象となっていたドア１１０に対してはロック操作を実行し、別のドア１１０に対してロック解除操作を実行する。そして、コントローラ１７０は、別のドア１１０をロック解除した旨を乗員に通知する。これにより、障害物が近接するおそれのあるドア１１０が開操作されることを防ぐとともに、乗員に対して、別のドア１１０からの降車を促すことができる。

【0094】

≪第３実施形態≫
次に、第３実施形態に係る車載装置について説明する。本実施形態の車載装置は、ナビゲーション装置（不図示）を備えている点と、コントローラ１７０が備える機能が上述した２つの実施形態の機能と異なる点以外は、上述した実施形態と同様の構成を有しているため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。

【0095】

ナビゲーション装置は、ＧＰＳにより検出された自車両の位置情報に基づいて、自車両の現在位置から目的地までの経路を示してドライバに誘導する装置である。ナビゲーション装置は、地図情報を有しており、自車両の位置情報と目的地の位置情報から、自車両の走行経路を算出する。ナビゲーション装置は、自車両の位置情報及び自車両の走行経路の情報をコントローラ１７０に出力する。自車両の走行経路には、実際に自車両が走行した経路及びこれから自車両が走行する予定の経路が含まれる。

【0096】

本実施形態に係るコントローラ１７０は、ナビゲーション装置により算出された自車両の走行経路に基づいて、乗員が開操作する予定のドア１１０を予め特定する。自車両の走行経路には、走行経路の終着点又は走行経路上の途中通過点に、自車両の目的地が含まれるが、この目的地は、乗員の降車位置である可能性が高い。本実施形態では、コントローラ１７０は、走行経路上の目的地に基づいて、自車両が目的地へ到着する前に、予め目的地の周辺の道路情報、交通渋滞情報等を取得する。そして、コントローラ１７０は、室内カメラ１３１の撮像画像やナビゲーション装置に内蔵されたカメラから、目的地を設定した乗員を特定する。コントローラ１７０は、特定した乗員の座席位置から、目的地において開操作が行われる予定のドア１１０を特定する。

【0097】

次に、コントローラ１７０は、自車両が目的地に停車した状態又は目的地手前を走行している状態において、周囲検出装置１２０から、特定したドア１１０の外側周辺の情報を取得する。コントローラ１７０は、特定したドア１１０の外側周辺に障害物が存在しない、又は障害物が近接するおそれがないと判定した場合、停車状態にて、特定したドア１１０に対してロック解除操作を実行する。

【0098】

一方、コントローラ１７０は、特定したドア１１０の外側周辺に障害物が存在する、又は障害物が近接するおそれがあると判定した場合、停車状態にて、特定したドア１１０に対してロック操作を実行するとともに、別のドア１１０に対してロック解除操作を実行する。その際に、コントローラ１７０は、上述した第２実施形態と同様に、ディスプレイ１４１又はスピーカ１４２を介して、乗員に対して、障害物の情報やロック解除されたドア１１０の情報を通知する。

【0099】

このように、本実施形態では、コントローラ１７０は、自車両の走行経路上の目的地に基づいて、操作される可能性があるドア１１０を予め特定し、目的地に到着又は目的地周辺において、特定したドア１１０の外側周辺の障害物の情報を取得する。そして、コントローラ１７０は、障害物の情報に基づいて、特定したドア１１０に対してロック操作を実行するとともに、別のドア１１０に対してロック解除操作を実行する。これにより、乗員がドア１１０を開けた際に、障害物と近接することを防ぐとともに、別のドア１１０からの降車を乗員に促すことができる。

【0100】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0101】

例えば、上述した実施形態では、乗員の各部位の位置情報を、２次元又は３次元で表される座標の情報として例に挙げたが、これに限られない。位置情報には、例えば、乗員の各部位の向き、移動方向、移動速度、及び移動距離の情報が含まれていてもよい。多様な情報に基づいて、現在の乗員の動作が予備動作に該当するか否かの判定を実行することができ、乗員特有の様々な癖や仕草にも適切に判定することができる。

【0102】

また、上述した実施形態では、乗員の姿勢情報として、乗員の各部位のうち可動部位を例に挙げて説明したが、これに限られない。例えば、乗員の姿勢情報には、座席に対する着座位置の情報を含めてよい。これにより、座席に対する乗員の体位の情報を、予備動作の推定処理や判定処理に加えることができ、演算精度を向上させることができる。

【0103】

また、上述した実施形態では、警告処理等の要否判定にあたり、予備動作の判定結果及び障害物の情報を用いた例を説明したが、これに限られない。例えば、車載データベース１５０に、車両情報（車種、型番、全長、車幅、車高、重量、乗車可能人数、座席数、座席の位置、運転席の位置、外装部品の種類、外装部品の可動範囲、外装部品の操作方法など）を予め記憶させておく。コントローラ１７０は、警告処理等の要否判定にあたり、車両情報を加味してもよい。例えば、通常のドアとスライドドアとでは、ドア形状、可動範囲、乗員による操作方法が異なるため、コントローラ１７０は、障害物の位置情報とドア１１０の位置情報を比較するに際して、可動範囲を考慮して、警告処理等の要否判定を行ってもよい。

【0104】

また、例えば、本明細書では、本発明に係るコントローラを、コントローラ１７０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係る外装部品を、ドア１１０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、外装部品のうち移動可能な部位を、ドア本体１１１を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本明細書では、本発明に係る撮像装置を、室内カメラ１３１を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本明細書では、本発明に係る周囲検出センサを、車載カメラ１２１、レーダー１２２を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係る記憶装置を、車載データベース１５０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係るサーバを、サーバ２２０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係るデータベースを、データベース２３０を例に説明するが、本発明はこれに限定されるものではない。

【符号の説明】

【0105】

１００…車載システム
１１０…ドア
１１１…ドア本体
１１２…ドアセンサ
１１３…室内ドアハンドル
１１４…ドアノブ
１２０…周囲検出装置
１２１…車載カメラ
１２２…レーダー
１３０…乗員検出装置
１３１…室内カメラ
１４０…出力装置
１４１…ディスプレイ
１４２…スピーカ
１５０…車載データベース
１６０…車載通信装置
１７０…コントローラ
２００…データセンタ
２１０…通信装置
２２０…サーバ
２３０…データベース

【図1】

【図2】

【図3】

【図4】