特開 2024-123605 ディスプレイ制御方法及びディスプレイ制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123605

(43)【公開日】2024-09-12

(54)【発明の名称】ディスプレイ制御方法及びディスプレイ制御装置

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240905BHJP

   B60R 1/29 20220101ALI20240905BHJP

   G06F 3/01 20060101ALI20240905BHJP

【ＦＩ】

G01C21/36

B60R1/29

G06F3/01 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023031170

(22)【出願日】2023-03-01

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】丸尾 駿介

(72)【発明者】

【氏名】木下 由貴

【テーマコード（参考）】

2F129

5E555

【Ｆターム（参考）】

2F129AA03

2F129DD21

2F129DD34

2F129DD38

2F129DD53

2F129EE02

2F129EE43

2F129EE52

2F129EE67

2F129EE95

2F129GG17

2F129GG22

2F129GG24

2F129HH02

2F129HH12

5E555AA54

5E555AA74

5E555BA23

5E555BA38

5E555BB23

5E555BB38

5E555BC04

5E555BE10

5E555CA12

5E555CA42

5E555CB12

5E555EA22

5E555FA00

(57)【要約】

【課題】ディスプレイを操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度を高めたディスプレイ制御方法を提供する。
【解決手段】本実施形態に係るディスプレイ制御方法は、撮像画像に基づき、ディスプレイ２１の操作部２２に接近する手を識別する第１識別処理を実行し、撮像画像に基づき、乗員の手以外の人体部位、及び／又は、乗員の動きを識別する第２識別処理を実行し、第１識別処理及び第２識別処理の識別結果に基づき、手を操作部２２に近づける乗員である対象乗員が、車両内の特定座席の乗員であるか否か判定し、判定結果に基づき、操作部２２への入力操作を許可する操作許可項目を設定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

プロセッサにより実行され、車両に設けられたディスプレイを制御するディスプレイ制御方法であって、
前記プロセッサは、
前記車両の室内を撮像するカメラから撮像画像を取得し、
前記撮像画像に基づき、前記ディスプレイの操作部に接近する手を識別する第１識別処理を実行し、
前記撮像画像に基づき、乗員の前記手以外の人体部位、及び／又は、前記乗員の動きを識別する第２識別処理を実行し、
前記第１識別処理及び前記第２識別処理の識別結果に基づき、前記手を前記操作部に近づける乗員である対象乗員が、前記車両内の特定座席の乗員であるか否か判定し、
判定結果に基づき、前記操作部への入力操作を許可する操作許可項目を設定するディスプレイ制御方法。

【請求項2】

請求項１記載のディスプレイ制御方法であって、
前記プロセッサは、
前記第１識別処理の識別結果と、前記第２識別処理の識別結果との整合を行い、
整合結果から、前記対象乗員が前記特定座席の乗員であるか否か判定するディスプレイ制御方法。

【請求項3】

請求項１又は２記載のディスプレイ制御方法であって、
前記プロセッサは、
前記第２識別処理において、前記乗員の骨格を前記人体部位として識別し、
前記第１識別処理で識別された前記手が前記骨格とつながっているか否かに基づいて、前記対象乗員が前記特定座席の乗員であるか否か判定するディスプレイ制御方法。

【請求項4】

請求項１又は２記載のディスプレイ制御方法において、
前記特定座席は助手席乗員と運転席乗員であり、
前記プロセッサは、
前記対象乗員が前記助手席乗員であるか前記運転席乗員であるか判定し、
前記対象乗員が前記助手席乗員であると判定した場合には、前記対象乗員が前記運転席乗員であると判定した場合よりも、前記操作許可項目が多くなるように、前記操作許可項目を設定するディスプレイ制御方法。

【請求項5】

請求項１又は２記載のディスプレイ制御方法において、
前記特定座席は運転席乗員であり、
前記プロセッサは、
前記対象乗員が前記運転席乗員であるか判定し、
前記対象乗員が前記運転席乗員であると判定した場合には、走行中に前記運転席乗員に許可されている前記入力操作のみを受け付けるように、前記操作許可項目を設定するディスプレイ制御方法。

【請求項6】

請求項１又は２記載のディスプレイ制御方法において、
前記特定座席は助手席乗員であり、
前記プロセッサは、
前記対象乗員が前記助手席乗員であるか判定し、
前記対象乗員が前記助手席乗員であると判定した場合には、走行中に運転席乗員に許可されている前記入力操作を受け付けないように、前記操作許可項目を設定するディスプレイ制御方法。

【請求項7】

請求項１又は２記載のディスプレイ制御方法において、
前記プロセッサは、
前記第１識別処理及び前記第２識別処理の識別結果に基づき、前記対象乗員が、助手席乗員及び運転席乗員以外の乗員であると判定した場合には、前記操作部への前記入力操作を受け付けないディスプレイ制御方法。

【請求項8】

請求項１又は２記載のディスプレイ制御方法において、
前記プロセッサは、
前記第１識別処理及び前記第２識別処理の識別結果に基づき、前記対象乗員が子供であると判定した場合には、前記操作許可項目を制限するディスプレイ制御方法。

【請求項9】

車両に設けられたディスプレイを制御するコントローラを備え、
前記コントローラは、
前記車両の室内を撮像するカメラから撮像画像を取得し、
前記撮像画像に基づき、前記ディスプレイの操作部に接近する手を識別する第１識別処理を実行し、
前記撮像画像に基づき、乗員の前記手以外の人体部位、及び／又は、前記乗員の動きを識別する第２識別処理を実行し、
前記第１識別処理及び前記第２識別処理の識別結果に基づき、前記手を前記操作部に近づける乗員である対象乗員が、前記車両内の特定座席の乗員であるか否か判定し、
判定結果に基づき、前記操作部への入力操作を許可する操作許可項目を設定するディスプレイ制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレイ制御方法及びディスプレイ制御装置に関するものである。

【背景技術】

【0002】

従来より、助手席の搭乗者によるナビ操作を検出してそれを許可する車載用ナビゲーション装置が知られている（例えば特許文献１）。特許文献１記載の車載用ナビゲーション装置は、車両内に搭載されるナビゲーション情報を表示する表示部、表示部を操作する操作部、操作部の助手席側に設けられた近傍範囲内の物体を検出するセンサを有する検出部、及び車両の走行中に、検出部から出力される検出反応に基づいて表示部の操作を許可又は制限する処理部を備える。処理部が、車両の走行中に検出部から出力される検出反応に基づいて、操作部の助手席側の近傍範囲内に助手席の搭乗者の手を検出した場合、運転者ではなくその助手席の搭乗者が操作部を介して表示部を操作していると判断してその操作を許可することで、走行中であっても助手席の搭乗者によるナビ操作が可能となる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－４１８２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の車両用入力装置は、検出部の検出範囲が操作部の助手席側の近傍範囲になるよう検出部を設けており、検出部が助手席の搭乗者以外の乗員の手を検出した場合には、助手席の搭乗者が表示部を操作していると誤って判断してしまう。すなわち、ディスプレイを操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度が低いという問題がある。

【0005】

本発明が解決しようとする課題は、ディスプレイを操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度を高めたディスプレイ制御方法及びディスプレイ制御装置を提供することである。

【課題を解決するための手段】

【0006】

本発明は、撮像画像に基づき、ディスプレイの操作部に接近する手を識別する第１識別処理を実行し、撮像画像に基づき、乗員の手以外の人体部位、及び／又は、乗員の動きを識別する第２識別処理を実行し、第１識別処理及び第２識別処理の識別結果に基づき、手を操作部に近づける乗員である対象乗員が、車両内の特定座席の乗員であるか否か判定し、判定結果に基づき、操作部への入力操作を許可する操作許可項目を設定することによって、上記課題を解決する。

【発明の効果】

【0007】

本発明は、ディスプレイを操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度を高めることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施の形態に係るディスプレイ制御システムのブロック図である。

【図2】図２は、図１のコントローラの制御フローを説明する。

【図3】図３は、図２に示すステップＳ６の判定処理のサブフローチャートである。

【図4】図４は、本実施形態の変形例に係るディスプレイ制御システムを説明するためのフローチャートであり、図２に示すステップＳ６の判定処理のサブフローチャートである。

【図5】図５は、本実施形態の変形例に係るディスプレイ制御システムを説明するためのフローチャートであり、図２に示すステップＳ６の判定処理のサブフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係るディスプレイ制御システムの一例を示すブロック図である。ディスプレイ制御システムは、車両に設けられるシステムであり、車載カメラの撮像画像から乗員の手、人体部位、及び乗員の動きなどを識別し、識別結果に基づき、手をディスプレイの操作部に近づける乗員が、車両内の特定座席の乗員であるか否か判定して、判定結果に基づきディスプレイの操作許可項目を設定する。ディスプレイ制御システムは、カメラ１、車載機器２、及びディスプレイ制御装置３を備えている。

【0010】

カメラ１は、車両に設けられ、車室内を撮像するカメラである。カメラ１は、車両のパワースイッチ、またはアクセサリー電源のオンに連動して起動され、車室内を継続して撮像し、撮像画像をディスプレイ制御装置３に出力する。ここで、アクセサリー電源とは、パワースイッチがオフ時に動作する電源を指す。カメラ１は、助手席側の乗員（以下、助手席乗員とも称する）及び／又は運転席側の乗員（以下、運転席乗員とも称する）がディスプレイ２１を操作する時に、ディスプレイ２１の操作部２２に近づく乗員の手、及び、手以外の人体部位を撮像できる位置に設けられている。カメラ１は１つに限らず複数でもよい。またカメラ１は、助手席乗員及び運転席乗員以外の乗員の手などを撮影する位置に設けられてもよい。カメラ１は、車室内のある一部の空間又は全空間を撮影する。

【0011】

車載機器２は、車両に設けられる内装部品であり、ディスプレイ２１と操作部２２を有している。ディスプレイ２１は車両のインストルメントパネルに設けられており、運転席乗員及び助手席乗員の手が届く範囲に設けられている。また例えば、ディスプレイ２１には大画面の表示用パネルが使用され、インストルメントパネルにおいて、ディスプレイの画面が車幅方向に長くなるように設置されている。このような大画面のディスプレイ２１を設置することで、運転席乗員だけでなく、助手席乗員もディスプレイ２１を操作し易くなる。

【0012】

ディスプレイ２１は、ナビゲーションシステムにおける地図情報の表示、エンターテインメント等の娯楽用の画面表示、自律運転のモード設定情報や車速など、車両の走行上を示す車両情報の表示、車両周囲で自車両に接近する接近車両の情報等の周囲環境情報の表示等に使用される。

【0013】

操作部２２は、乗員がディスプレイ２１を操作するためにタッチする部分である。例えば、ディスプレイ２１がタッチパネル式である場合には、操作部２２はディスプレイ２１表示画面に相当する。また例えばディスプレイ２１の周囲に設けられたボタンにより、ディスプレイ２１を操作できる場合には、ディスプレイ２１の操作用ボタンが操作部２２に相当する。

【0014】

乗員がディスプレイ２１を操作するためには、操作部２２を指でタッチする。このタッチ操作が、操作部２２への入力操作となる。そして、ディスプレイ制御装置３が、操作部への入力操作を許可すると、ディスプレイ２１は入力された操作内容に応じた画面を表示する。入力操作を許可する操作許可項目は、車両の走行状態に応じて設定できる。操作許可項目は、ディスプレイ２１を操作可能な操作範囲に相当する。例えば、車両の走行中は、娯楽用の画像を表示するための操作は受け付けず、空調の温度や音量調整などの調整操作は受け付けるように、操作許可項目が設定されている。あるいは、車両の走行中は、ディスプレイ２１の画面の切り替えが、一定の階層までに制限されるよう、操作許可項目が設定されている。

【0015】

ところで、ディスプレイ制御システムは、運転に関する情報を表示するだけでなく、娯楽に関する情報も表示できる。そのため、利便性の面では、運転席乗員だけではなく、助手席乗員もディスプレイ２１を操作できる機会を増やすとよい。また上記のとおりディスプレイ２１が大画面化し、運転席乗員だけでなく、助手席乗員も操作し易くなっている。そのため、例えば、車両の走行中に、助手席乗員の入力操作に対して、ディスプレイ２１の娯楽機能を操作できるように操作許可項目を設定すると、運転席乗員の入力操作も許可されてしまう。そのため、ディスプレイ２１を操作しようとする乗員（以下、対象乗員とも称する）が、どの座席に乗車している乗員であるか区別して検知した上で、対象乗員に応じた操作許可項目を設定できるとよい。

【0016】

対象乗員を検知する方法としては、カメラ１の撮像画像から、操作部２２に近づく手を検知することが考えられる。しかしながら、手の検知のみで、対象乗員が助手席乗員であるか運転席乗員であるか検知するには、操作部２２に近づく手が右手であるか左手であるか検知する必要がある。例えば、右側の運転席からの操作であれば、操作する手は左手になり、左側の助手席からの操作であれば、操作する手は右手になる。しかしながら、カメラ画像から右手と左手を区別して検知するには、高い検知精度が要求される。また例えば、横長のタッチパネルディスプレイを設置した場合には、ディスプレイのあらゆる位置でタッチ操作が可能になり、左右手の検知が難しくなる。さらに例えば、操作部２２がダイヤル式である場合には、手の動きが複雑になるため、左右手の検知が難しくなる。そして、左右手の検知精度を高めるために、手のポーズ画像を予め記録して画像解析で検知しようとすると、膨大な学習データが必要になり、演算負荷が高まる。また、座席の位置に応じて、操作する手が左右のどちらの手であるか前提条件を定めた上で、左右手を区別して検知できたとしても、操作するときの左右手は、必ずしも前提条件の通りにはならない。

【0017】

本実施形態に係るディスプレイ制御システムは、カメラの撮像画像に基づき、操作部２２に接近する手を識別する第１識別処理を実行し、撮像画像に基づき、乗員の手以外の人体部位、及び／又は、乗員の動きを識別する第２識別処理を実行し、第１識別処理及び第２識別処理の識別結果に基づき、対象乗員が車両内の特定座席の乗員であるか否か判定する判定処理を実行する。対象乗員が助手席乗員であるか否かを判定する場合には、特定座席は助手席となり、対象乗員が運転席乗員であるか否かを判定する場合には、特定座席は運転席となる。そして、ディスプレイ制御システムは、判定処理の判定結果に基づき、操作部２２への入力操作を許可する操作許可項目を設定する。すなわち、操作部２２に手を近づける乗員が、助手席乗員であるか及び／又は運転席乗員であるか判定するために、撮像画像から、手を識別するだけなく、手以外の人体部分及び／又は乗員の動きを識別する。これにより、ディスプレイ２１を操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度を高めることができる。

【0018】

図１に示すように、ディスプレイ制御装置３は、カメラ１の撮像画像から乗員の行動を識別し、識別結果に基づき対象乗員が車両内の特定座席の乗員であるか否か判定し、判定結果に基づき操作部２２への入力操作を許可する操作許可項目を設定する。またディスプレイ制御装置３は、操作許可項目で許可された操作部２２への入力操作を受け付けて、入力操作に応じて車載機器２を制御する。ディスプレイ制御装置３はコントローラ３０を有している。コントローラ３０は、少なくとも撮像画像を取得する機能、乗員の行動を識別する機能、対象乗員が特定座席の乗員であるか否か判定する機能、操作許可項目を設定する機能、車載機器２を制御する機能を有しており、各機能の機能ブロックとして、画像取得部３１、識別部３２、判定部３３、許可項目設定部３４、車載機器制御部３５を有している。コントローラ３０はプロセッサと、プログラムを格納したメモリを有している。そして、プロセッサがプログラムを処理させることで、各機能が実行される。なお、コントローラ３０は、画像取得部３１等以外の機能を有してもよい。

【0019】

画像取得部３１は、カメラ１から、車室内を撮像した撮像画像を取得する。識別部３２は撮像画像から乗員の行動を識別する。識別部３２で識別される乗員の行動は、乗員の手、目、口等、体や手の部位の位置や、部位の動き、顔の表情、乗員の骨格等で識別される。乗員の行動は、乗員が操作部２２を操作するための行動である。識別部３２は、撮像画像に対して画像処理を行い、体や手の部位の位置、部位の動き、骨格などを抽出する。具体的には、乗員が操作部２２を操作するために、操作部２２に手を近づける行動、操作対象の車載機器２に視線や顔を動かす行動、乗員の身体や腕を動かく行動等である。

【0020】

識別部３２は、撮像画像に基づき第１識別処理及び第２識別処理を実行する。識別部３２は、第１識別処理として、操作部２２に接近する手を識別する。識別部３２は、画像処理により、少なくとも手の位置を特定する。そして、識別部３２は、手の位置が操作部２２の周囲に位置する場合、又は、手の位置が操作部２２に近づいている場合には、手が操作部２２に接近していると識別する。

【0021】

識別部３２は、第２識別処理として、乗員の手以外の人体部位、及び／又は、乗員の動きを識別する。手以外の人体部位は、体や腕等である。例えば、識別部３２は、手以外の人体部位として骨格を識別する。骨格には、腕の骨格や体の骨格などである。例えば助手席乗員が、インストルメントパネル中央部に設置されたディスプレイ２１を、右手でタッチ操作を操作する場合には、右腕の骨格が、右肩の位置から右手に繋がる。識別部３２は、体の骨格から右肩の位置を特定して、右肩の位置から手に位置に延びる骨格を特定する。また識別部３２は、乗員の動きとして、顔や目の動きを識別する。例えば、運転席乗員が、インストルメントパネル中央部に設置されたディスプレイ２１を操作する場合には、ディスプレイ２１を見るために、顔や目を操作部２２の方向に向ける。識別部３２は、このような顔や目の動きから、操作部２２を操作するときの乗員の動きを識別する。なお、識別部３２は、第１識別処理の後に第２識別処理を実行してもよく、第２識別処理の後に第１識別処理を実行してもよく、第１識別処理と第２識別処理を並行して実行してもよい。

【0022】

判定部３３は、第１識別処理及び第２識別処理の識別結果に基づき、対象乗員が車両内の特定座席の乗員であるか否か判定する判定処理を実行する。判定部３３は、第１識別処理の識別結果と、第２識別処理での識別結果との整合を行い、整合結果から対象乗員が車両内の特定座席の乗員であるか否か判定する。例えば、判定部３３は以下の方法で判定処理を行う。

【0023】

判定部３３は、第１識別処理の識別結果から操作部２２に手が接近したことを特定し、第２識別処理の識別結果から乗員の骨格を特定する。そして、判定部３３は、接近した手が特定座席の乗員の骨格につながるか否か判定する。特定座席が助手席である場合には、接近した手が助手席乗員の骨格とつながるか判定し、特定座席が運転席である場合には、接近した手が運転席乗員の骨格とつながるか判定する。つまり、判定部３３は、接近した手と骨格とのつながりから、第１識別処理の識別結果と第２識別処理の識別結果との整合がとれているか判定する。具体的には、手と骨格がつながる場合には、第１識別処理の識別結果と第２識別処理の識別結果との間で整合がとれることになり、手と骨格がつながらない場合には、第１識別処理の識別結果と第２識別処理の識別結果との間で整合がとれないことになる。

【0024】

例えば、車両が自律運転モードではなく手動運転モードで走行し、運転席乗員はステアリングホイールを両手で握っており、助手席乗員がディスプレイ２１を操作しようと操作部２２に手を近づけるようなシーンを想定する。このようなシーンにおいて、運転席乗員の骨格は、操作部２２に接近する手とつながらない。一方、助手席の骨格は操作部２２に接近する手とつながる。判定部３３は、第２識別処理で識別された運転席乗員の腕の骨格が、第１識別処理で識別された手とつながらないことを特定することで、対象乗員は運転席乗員ではないと判定する。また、判定部３３は、第２識別処理で識別された助手席乗員の腕の骨格が、第１識別処理で識別された手とつながることを特定することで、対象乗員は助手席乗員であると判定する。このように、判定部３３は、第１識別処理で識別された手が骨格とつながっているか否かに基づいて、対象乗員が特定座席の乗員であるか否か判定する。

【0025】

判定部３３は以下の別の方法で判定処理を行ってもよい。判定部３３は、第１識別処理の識別結果から操作部２２に手が接近したことを特定し、第２識別処理の識別結果から乗員の顔が向いている方向を特定する。判定部３３は、操作部２２に手が接近した状態で、乗員の顔がディスプレイ２１の方向を向いているか否かを判定する。特定座席が助手席である場合には、助手席乗員の顔がディスプレイ２１を向いているか判定し、特定座席が運転席である場合には、運転席乗員の顔がディスプレイ２１を向いているか判定する。つまり、判定部３３は、操作部２２に手が接近した状態で、乗員の顔が向いている方向から、第１識別処理の識別結果と第２識別処理の識別結果との整合をとれているか判定する。具体的には、操作部２２に手が接近した状態で、乗員の顔がディスプレイ２１の方向を向いている場合には、第１識別処理の識別結果と第２識別処理の識別結果との間で整合がとれることになり、乗員の顔がディスプレイ２１の方向を向いていない場合には、第１識別処理の識別結果と第２識別処理の識別結果との間で整合がとれないことになる。

【0026】

例えば、助手席乗員がディスプレイ２１を操作する際には、助手席乗員は手を操作部２２に近づけて、顔をディスプレイ２１の方向に向ける。判定部３３は、第１識別処理で手が操作部２２に接近することが識別され、第２識別処理で助手席座席の顔がディスプレイ２１を向いていることが識別された場合には、対象乗員は助手席乗員であると判定する。一方、判定部３３は、第２識別処理で運転席座席の顔がディスプレイ２１を向いていないことが識別された場合には、対象乗員は運転席乗員ではないと判定する。このように、判定部３３は、手が操作部２２に接近した状態で、乗員の顔が向いている方向に基づき、対象乗員が特定座席の乗員であるか否か判定する。なお、判定部３３は、顔の方向の代わりに、乗員が見ている方向（視線方向）に基づき、対象乗員が特定座席の乗員であるか否か判定してもよい。

【0027】

なお、判定部３３は、第１識別処理で識別された手が第２識別処理で識別された骨格とつながっているか否かの判定に加えて、乗員の顔が向いている方向、及び／又は、乗員が見ている方向（視線方向）に基づき、対象乗員が特定座席の乗員であるか否か判定してもよい。例えば、判定部３３は、第２識別処理で識別された助手席乗員の腕の骨格が、第１識別処理で識別された手とつながることを特定した上で、助手席乗員の顔の方向及び／又は視線方向がディスプレイ２１を向いている場合には、対象乗員が助手席乗員であると判定する。一方、判定部３３は、第２識別処理で識別された助手席乗員の腕の骨格が、第１識別処理で識別された手とつながることを特定した上で、助手席乗員の顔の方向及び／又は視線方向がディスプレイ２１を向いていない場合には、対象乗員が助手席乗員ではないと判定する。

【0028】

許可項目設定部３４は、判定部３３による判定処理の判定結果に基づき、操作部２２への入力操作を許可する操作許可項目を設定する。例えば、車両の走行中に、対象乗員が助手席乗員であると判定された場合には、助手席乗員に許可された入力操作を受け付けるように操作許可項目を設定する。例えば、車両の走行中、娯楽などのエンターテインメントシステムは助手席乗員の入力操作であれば機能し、助手席乗員以外の乗員の入力操作では機能しない。つまり、許可項目設定部３４は、助手席乗員による、エンターテインメントシステムを操作するための入力操作を受け付けて、助手席乗員以外の乗員の入力操作は受け付けないように、操作許可項目を設定する。また、例えば、車両の走行中、通行料金やドライブスルー時の会計などの決済システムは運転席乗員の入力操作であれば機能し、運転席乗員以外の乗員の入力操作では機能しない。つまり、許可項目設定部３４は、運転席乗員のよる、決済システムを操作するための入力操作を受け付けて、運転席乗員以外の乗員の入力操作は受け付けないように、操作許可項目を設定する。これにより、例えば対象乗員が助手席乗員である場合には、エンターテインメントシステムを操作するための入力操作は受け付けられるが、決済システムを操作するための入力操作は受け付けられない。

【0029】

例えば、判定部３３は、対象乗員が運転席乗員であるか判定し、許可項目設定部３４は、対象乗員が運転席乗員であると判定した場合には、走行中に運転席乗員に許可されている入力操作のみを受け付けるように、操作許可項目を設定する。これにより、運転席乗員が、操作許可項目に含まれない項目を機能させるために、操作部２２を操作しても、運転席乗員による入力操作は受け付つけられない。また例えば、判定部３３は、対象乗員が助手席乗員であるか判定し、許可項目設定部３４は、対象乗員が助手席乗員であると判定した場合には、走行中に運転席乗員に許可されている入力操作を受け付けないように、操作許可項目を設定する。これにより、助手席乗員が、運転席乗員に対して許可されている操作許可項目を機能させるために、操作部２２を操作しても、助手席乗員による入力操作は受け付けられない。

【0030】

車両の走行中、運転席乗員を運転に集中させるために、運転席乗員に対して許可されている操作許可項目は助手席乗員よりも少ない。すなわち、判定部３３は、対象乗員が助手席乗員であるか運転席乗員であるか判定し、対象乗員が助手席乗員であると判定した場合には、対象乗員が運転席乗員であると判定した場合よりも、操作許可項目が多くなるように、操作許可項目を設定するとよい。これにより、助手席乗員がディスプレイ制御システムを操作する際の利便性が高まる。

【0031】

車載機器制御部３５は、操作部２２への入力操作に基づき車載機器２を制御する。車載機器制御部３５は、車載機器２に含まれるディスプレイ２１を制御する際には、判定部３３により対象乗員が特定座席の乗員であると判定され、許可項目設定部３４により操作許可項目が設定された場合には、対象乗員による操作部２２への入力操作が操作許可項目で定められる許可操作に該当するか否か判定する。入力操作が操作許可項目で定められる許可操作に該当する場合には、車載機器制御部３５は入力操作を受け付けて、入力操作に応じてディスプレイ２１の表示を変える、又は、画面を切り替える。一方、入力操作が操作許可項目で定められる許可操作に該当しない場合には、車載機器制御部３５は入力操作を受け付けない。このとき、車載機器制御部３５は、入力操作を受け付けないことを示す画面をディスプレイ２１に表示してもよい。

【0032】

次に、図２及び図３を用いて、コントローラ３０の制御フローを説明する。図２はコントローラ３０の制御処理を示すフローチャートである。図３は、図２に示すステップＳ６の判定処理のサブフローチャートである。

【0033】

ステップＳ１にて、コントローラ３０は、撮影許可されているか否か判定する。例えば、プライバシー保護のために、カメラ１による撮影が許可されていない場合には、コントローラ３０は、本制御フローを終了させる（ステップＳ１の「Ｎ」）。一方、撮影許可されている場合には、ステップＳ２にて、コントローラ３０は例えば車速センサの検出に基づき、車両走行中であるか否か判定する。車両が走行中ではない場合には、コントローラ３０は、本制御フローを終了させる（ステップＳ２の「Ｎ」）。車両が走行中である場合には、コントローラ３０の画像取得部３１はカメラ１から撮像画像を取得する。

【0034】

ステップＳ４にて、コントローラ３０の識別部３２は、撮像画像に基づき、ディスプレイ２１の操作部２２に接近する手を識別する第１識別処理を実行する。ステップＳ５にて、識別部３２は、撮像画像に基づき、乗員の手以外の人体部位、及び／又は、乗員の動きを識別する第２識別処理を実行する。

【0035】

ステップＳ６にて、コントローラ３０の判定部３３は、第１識別処理及び第２識別処理の識別結果に基づき、手を操作部２２に近づける乗員である対象乗員が、助手席乗員又は運転席乗員であるか否か判定する。

【0036】

ステップＳ６の判定処理のサブフローを、図３を参照して説明する。ステップＳ６１にて、判定部３３は、第１識別処理の識別結果から、操作部２２に手が接近しているか否か判定する。操作部２２に手が接近していないと判定した場合には、コントローラ３０は、図２の制御フローを終了させる。操作部２２に手が接近していると判定した場合には、ステップＳ６２にて、判定部３３は、第２識別処理の識別結果から、乗員の骨格を特定し、接近した手が助手席乗員の骨格とつながるか否か判定する。接近した手が助手席乗員の骨格とつながると判定した場合には、判定部３３は、対象乗員は助手席乗員であると判定する（ステップＳ６３）。

【0037】

接近した手が助手席乗員の骨格とつながっていないと判定した場合には、ステップＳ６４にて、判定部３３は接近した手が運転席乗員の骨格とつながるか否か判定する。接近した手が運転席乗員の骨格とつながると判定した場合には、判定部３３は、対象乗員が運転席乗員であると判定する（ステップＳ６５）。一方、接近した手が運転席乗員の骨格とつながっていないと判定した場合には、判定部３３は、対象乗員が助手席乗員及び運転席乗員以外の他の乗員であると判定する（ステップＳ６６）。

【0038】

図２に示すように、ステップＳ６の判定結果に応じて、コントローラ３０は、ステップＳ７～Ｓ９の制御処理を行う。対象乗員は助手席乗員であると判定した場合には、コントローラ３０の許可項目設定部３４は、助手席乗員用の操作許可項目を設定する。助手席乗員用の操作許可項目は、助手席乗員からの入力操作に対して受け付けられるディスプレイ制御システム機能の項目を表している。そして、助手席乗員は、助手席乗員用の操作許可項目で決まられた範囲内で、ディスプレイ２１を操作できる。

【0039】

対象乗員は運転席乗員であると判定した場合には、コントローラ３０の許可項目設定部３４は、運転席乗員用の操作許可項目を設定する。対象乗員は他の乗員であると判定した場合には、コントローラ３０の許可項目設定部３４は、他の乗員用の操作許可項目を設定する。そして、コントローラ３０は図２の制御フローを終了させる。

【0040】

上記のように、本実施形態に係るディスプレイ制御方法及びディスプレイ制御装置３は、撮像画像に基づき、ディスプレイ２１の操作部２２に接近する手を識別する第１識別処理を実行し、撮像画像に基づき、乗員の手以外の人体部位、及び／又は、乗員の動きを識別する第２識別処理を実行し、第１識別処理及び第２識別処理の識別結果に基づき、手を操作部２２に近づける乗員である対象乗員が、車両内の特定座席の乗員であるか否か判定し、判定結果に基づき、操作部２２への入力操作を許可する操作許可項目を設定する。これにより、ディスプレイ２１を操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度を高めることができる。またディスプレイ制御システムにおける乗員の意図と異なる動作を防止できる。その結果として、安全性と利便性を併せて向上させることができる。

【0041】

また本実施形態において、コントローラ３０は、第１識別処理の識別結果と、第２識別処理の識別結果との整合を行い、その整合結果から、対象乗員が特定座席の乗員であるか否か判定する。これにより、ディスプレイ２１を操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度を高めることができる。

【0042】

また本実施形態において、コントローラ３０は、第２識別処理において、乗員の骨格を人体部位として識別し、第１識別処理で識別された手が骨格とつながっているか否かに基づいて、対象乗員が特定座席の乗員であるか否か判定する。これにより、ディスプレイ２１を操作しようとする乗員がどの座席の乗員であるか判定する際の判定精度を高めることができる。

【0043】

また本実施形態において、コントローラ３０は、対象乗員が助手席乗員であるか運転席乗員であるか判定し、対象乗員が助手席乗員であると判定した場合には、対象乗員が運転席乗員であると判定した場合よりも、操作許可項目が多くなるように、操作許可項目を設定する。これにより、ディスプレイ制御システムの利便性を高めることができる。

【0044】

また本実施形態において、コントローラ３０は、対象乗員が運転席乗員であるか判定し、対象乗員が運転席乗員であると判定した場合には、走行中に運転席乗員に許可されている入力操作のみを受け付けるように、操作許可項目を設定する。これにより、運転中の運転席乗員によるディスプレイ操作の有効範囲を必要最小限に抑えることができる。

【0045】

また本実施形態において、コントローラ３０は、対象乗員が助手席乗員であるか判定し、対象乗員が助手席乗員であると判定した場合には、走行中に運転席乗員に許可されている入力操作を受け付けないように、操作許可項目を設定する。これにより、例えば決済システム等、運転席乗員だけが操作できるシステムは、助手席座席の入力操作では操作できないようにでき、システムの利便性を高めることができる。

【0046】

また本実施形態の変形例として、コントローラ３０は、図３に示す判定処理のサブフローチャートにおいて、対象乗員の顔がディスプレイ２１を向いているか否か判定するフローを加えてもよい。図４は、図２に示すステップＳ６の判定処理のサブフローチャートである。

【0047】

変形例におけるステップＳ６１～Ｓ６６の制御処理は、図３に示す判定処理のサブフローと同じである。ステップＳ６３、Ｓ６５、Ｓ６６の制御処理の後、判定部３３は、第２識別処理の識別結果から、乗員の顔の向いている方向を特定し、特定された顔がディスプレイ２１を向いているか否か判定する（ステップＳ６７）。例えば、ステップＳ６３の判定処理のサブフローで、対象乗員が助手席乗員であると判定した場合には、判定部３３は、助手席乗員の顔がディスプレイ２１を向いているか否か判定すればよい。対象乗員の顔がディスプレイ２１を向いていないと判定した場合には、コントローラ３０は、図２の制御フローを終了させる。

【0048】

例えば、乗員がディスプレイ２１を操作する意図がない状態で、手を操作部２２に近づけた場合には、乗員は顔をディスプレイ２１の方向を向いていないケースが多い。そのため、変形例では、対象乗員の顔がディスプレイ２１を向いていないことを判定した場合には、対象乗員用の操作許可項目を設定しない。例えば、車両の走行中、助手席乗員の顔がディスプレイ２１を向いていない状態で、助手席乗員の手が操作部２２に接近し、接近した手が骨格とつながっていると判定した場合には、助手席乗員による入力操作が制限される。そして、走行中、ナビゲーションシステムにおけるディスプレイ２１の画面の表示や画面の切り替えが制限される場合には、ディスプレイ２１の操作が助手席乗員によるものであるときでも、運転席乗員による操作と同様に、操作が制限される。これにより、乗員がディスプレイ２１を操作する意図があるか否か判定できる。その結果として、乗員の意図しない操作を防止できる。なお、ステップＳ６７の制御処理において、判定部３３は、顔の方向の代わりに、目の方向（視線方向）を用いて判定処理を行ってもよい。

【0049】

また本実施形態の変形例として、コントローラ３０は、図５に示す判定処理のサブフローにより、手を操作部２２に近づける乗員である対象乗員が、助手席乗員又は運転席乗員であるか判定してよい。図５は、図２に示すステップＳ６の判定処理のサブフローチャートである。なお、図５に示すステップＳ７１、Ｓ７３、Ｓ７５、Ｓ７６の制御処理は、図３に示すステップＳ６１、Ｓ６３、Ｓ６５、Ｓ６６の制御処理と同様であり、説明を省略する。

【0050】

ステップＳ７１の判定結果として、操作部２２に手が接近していると判定した場合には、ステップＳ７２にて、判定部３３は、第２識別処理の識別結果から、助手席乗員の顔の向いている方向を特定し、顔がディスプレイ２１を向いているか否か判定する（ステップＳ７２）。助手席乗員の顔がディスプレイ２１を向いていると判定した場合には、判定部３３は、対象乗員は助手席乗員であると判定する（ステップＳ７３）。

【0051】

助手席乗員の顔がディスプレイ２１を向いていないと判定した場合には、ステップＳ７４にて、判定部３３は、運転席乗員の顔がディスプレイ２１を向いているか否か判定する。運転席乗員の顔がディスプレイ２１を向いていると判定した場合には、判定部３３は、対象乗員が運転席乗員であると判定する（ステップＳ７５）。運転席乗員の顔がディスプレイ２１を向いていないと判定した場合には、判定部３３は、対象乗員が助手席乗員及び運転席乗員以外の他の乗員であると判定する（ステップＳ７６）。

【0052】

また本実施形態の変形例として、コントローラ３０は、対象乗員が、助手席乗員及び運転席乗員以外の乗員であると判定した場合には、操作部への入力操作を受け付けなくてもよい。例えば、対象乗員が後部座席の乗員又は盗難などを目的とした不審者が、ディスプレイ２１を操作しようと、操作部２２に触れたとしても、入力操作を拒否できる。これにより、ディスプレイ制御システムは不用意な操作や不審な操作を排除できる。

【0053】

また本実施形態の変形例として、コントローラ３０は、第１識別処理及び第２識別処理の識別結果に基づき、対象乗員が子供であると判定した場合には、操作許可項目を制限してもよい。識別部３２は、第１識別処理として、操作部２２に接近する手を識別する際に、例えば手の大きさから、操作部２２に接近する手が子供の手であることを識別する。また識別部３２は、第２識別処理として、人体部位である骨格を識別する際に、例えば骨格の大きさから、子供の骨格であることを識別する。なお、識別部３２は、撮像画像に含まれる顔画像からしわや目鼻の配置などを特定することで、子供や年齢を識別してもよい。そして、コントローラ３０の許可項目設定部３４は操作許可項目を制限する。つまり、許可項目設定部３４は、一部の入力操作のみを許可する又は全ての入力操作を受け付けないようにすることで、操作許可項目を制限する。これにより子供の誤操作を防止できる。

【0054】

なお本実施形態の変形例として、コントローラ３０は、車両ユーザの顔を予め登録し、顔認証と組み合わせて、対象乗員が特定座席の乗員であるか否か判定し、判定結果に基づき、操作部２２への入力操作を許可する操作許可項目を設定してもよい。

【0055】

なお本実施形態において、図２～５に示す制御フローは全てのフローを実行する必要はなく、一部のフローを省いてもよく、フローの順序を変更してもよい。

【符号の説明】

【0056】

１ カメラ
２ 車載機器
３ ディスプレイ制御装置
２１ ディスプレイ
２２ 操作部
３０ コントローラ
３１ 画像取得部
３２ 識別部
３３ 判定部
３４ 許可項目設定部
３５ 車載機器制御部

【図1】

【図2】

【図3】

【図4】

【図5】