特許 6282188 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6282188

(24)【登録日】2018年2月2日

(45)【発行日】2018年2月21日

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180208BHJP

   G06F 3/16 20060101ALI20180208BHJP

   G06F 3/0482 20130101ALI20180208BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/16 610

   G06F3/0482

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2014-138237(P2014-138237)

(22)【出願日】2014年7月4日

(65)【公開番号】特開2016-18223(P2016-18223A)

(43)【公開日】2016年2月1日

【審査請求日】2017年3月3日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(74)【代理人】

【識別番号】100098660

【弁理士】

【氏名又は名称】戸田 裕二

(72)【発明者】

【氏名】高田 晋太郎

(72)【発明者】

【氏名】松原 孝志

(72)【発明者】

【氏名】森 直樹

【審査官】 梅岡 信幸

(56)【参考文献】

【文献】 特開２００５−１７４３５６（ＪＰ，Ａ）

【文献】 特開２０１１−１１６３０４（ＪＰ，Ａ）

【文献】 特開２０１４−１１９２９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１、３／０４８

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

ユーザによるジェスチャーを認識するジェスチャー検出部と、
表示部への出力情報を制御する出力情報制御部と、
装置制御部と、を備え
前記ジェスチャー検出部が、ユーザが手を一定時間かざしたことを検知した場合に、前記出力情報制御部は前記表示部に複数選択肢の候補をジェスチャーの動作と対応付けをして表示させ、
前記ジェスチャー検出部が、ユーザの所定のジェスチャーを検知した場合に、前記装置制御部は前記表示部に表示された選択肢の候補のうち、検知したジェスチャーと対応した候補が選択されたとみなし、
前記装置制御部は、前記ジェスチャー検出部がユーザの手かざしを検知した場合に、ユーザの手かざしの姿勢に応じて、前記表示部に表示する選択肢の数と、各選択肢に対応するジェスチャーの動作と、を変更する情報処理装置。

【請求項2】

前記装置制御部は、前記表示部に選択肢の候補を表示する前であってもユーザのジェスチャーによる選択肢候補の選択操作を受け付ける請求項１に記載の情報処理装置。

【請求項3】

前記表示部が複数ある場合に、
前記出力情報制御部は、前記装置制御部により情報を表示してもユーザの運転行動を阻害しないと判断された表示部に、複数選択肢の候補を選択したものに表示させる請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記出力情報制御部は、前記表示部に複数選択肢の候補を表示した後に、ユーザが手かざしをやめたことを前記ジェスチャー検出部が検出した場合に、選択肢の候補内容を変更できる旨と、それに対応したジェスチャー動作を示す表示と、を表示させ、
前記装置制御部は、前記ジェスチャー検出部が前記表示部が表示したジェスチャー動作に対応したジェスチャーを検知した場合に、選択肢の候補内容を変更する請求項１から請求項３までのいずれか一項に記載の情報処理装置。

【請求項5】

前記情報処理装置が設置された車両に設置された音声認識部からの音声入力、もしくはスイッチ操作部からのスイッチ操作に関する入力を取得する外部インターフェースをさらに備え、
前記装置制御部は、前記表示部が複数選択肢の候補を表示した場合に、前記音声認識部もしくは前記スイッチ操作部による選択肢の選択を受け付ける請求項１から請求項４までのいずれか一項に記載の情報処理装置。

【請求項6】

ユーザが複数の操作手段からどの操作手段を用いて操作を行うつもりかを検知する検知手段を備え、
前記装置制御部は、前記検知手段が検知した操作手段に応じて、前記表示部に表示する選択肢の選択方法を変更する請求項１から請求項５までのいずれか一項に記載の情報処理装置。

【請求項7】

ユーザの運転負荷を推定する運転負荷推定部を備え、
前記出力情報制御部は、前記運転負荷推定部が規定の運転負荷レベルを上回ると推定した場合に、ユーザの手かざし検知による選択肢の候補の表示させない請求項１から請求項６までのいずれか一項に記載の情報処理装置。

【請求項8】

前記装置制御部は、前記表示部に選択肢の候補が表示されている場合に、前記運転負荷推定部が規定の運転負荷レベルであると推定した際は、複数の操作手段から特定の手段による選択操作のみを受け付け、
前記出力情報制御部は、選択操作が終了するもしくは一定時間が経過するまで選択肢の候補を表示し続けるよう制御する請求項７に記載の情報処理装置。

【請求項9】

前記出力情報制御部は、前記表示部に現在どの操作手段による操作が有効であるかを表示させる請求項７または請求項８に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、車載機器の操作のメニューと、操作部に添えられたドライバーの手の映像とを、ヘッドアップディスプレイ（ＨＵＤ）に重畳して表示し、その映像を見ながら操作ができるようにすることで、車載機器の選択操作が簡単で早く、運転の妨げにならないように操作できる車載機器の操作装置について記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２１５１９４

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、運転中における車載機器の操作において、特許文献１に記載の技術では、操作に関わるメニューがＨＵＤに常に表示されるため、運転操作の妨げになる恐れがある。また、操作を行うためには、操作のための専用のデバイスを車内の何れかの場所に設置する必要があり、コストが増すとともに設置における制約が発生してしまう。さらに、音声のみのインターフェースを用いた場合でも、音声認識に必要な処理の処理時間や、読み上げられる音声を聞くための時間が必要となり、操作性や利便性が損なわれてしまう。

【課題を解決するための手段】

【0005】

本発明の第１の態様にかかる情報処理装置は、ユーザによるジェスチャーを認識するジェスチャー検出部と、表示部への出力情報を制御する出力情報制御部と、装置制御部と、を備え、前記ジェスチャー検出部が、ユーザが手を一定時間かざしたことを検知した場合に、前記出力情報制御部は前記表示部に複数選択肢の候補をジェスチャーの動作と対応付けをして表示させ、前記ジェスチャー検出部が、ユーザの所定のジェスチャーを検知した場合に、前記装置制御部は前記表示部に表示された選択肢の候補のうち、検知したジェスチャーと対応した候補が選択されたとみなし、前記装置制御部は、前記ジェスチャー検出部がユーザの手かざしを検知した場合に、ユーザの手かざしの姿勢に応じて、前記表示部に表示する選択肢の数と、各選択肢に対応するジェスチャーの動作と、を変更する。

【発明の効果】

【0006】

本発明によれば、運転中のドライバーによる車載機器の操作の安全性や操作性を向上することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の第一実施例における車載装置の構成図である。

【図2(a)】センシング部の設置位置の例である。

【図2(b)】ジェスチャー検知領域の例である。

【図2(c)】ジェスチャー検知領域の例である。

【図3(a)】第一実施例における動作フローの例である。

【図3(b)】第一実施例における動作フローの例である。

【図4(a)】表示部と外部表示部の表示例である。

【図4(b)】表示部と外部表示部の表示例である。

【図4(c)】表示部と外部表示部の表示例である。

【図4(d)】表示部と外部表示部の表示例である。

【図5(a)】外部表示部の表示例である。

【図5(b)】外部表示部の表示例である。

【図5(c)】外部表示部の表示例である。

【図5(d)】外部表示部の表示例である。

【図6】表示部と外部表示部の表示例である。

【図7(a)】外部表示部の表示例である。

【図7(b)】外部表示部の表示例である。

【図8(a)】センシング部の設置例である。

【図8(b)】センシング部の位置に応じた動作の対応例である。

【図9】センシング部及びユーザの手の形の例である。

【図10(a)】ユーザの手のかざし方の例である。

【図10(b)】外部表示部の表示例である。

【図11(a)】表示部の表示例である。

【図11(b)】表示内容に対する表示場所の例である。

【図11(c)】表示内容に対する表示場所の例である。

【図12(a)】動作フローの例である。

【図12(b)】外部表示部の表示例である。

【図12(c)】外部表示部の表示例である。

【図12(d)】外部表示部の表示例である。

【図12(e)】外部表示部の表示例である。

【図12(f)】外部表示部の表示例である。

【図12(g)】外部表示部の表示例である。

【図13】第二実施例における車載装置の構成図である。

【図14(a)】運転負荷レベルに応じた制御パターンの例である。

【図14(b)】運転負荷レベルに応じた制御パターンの例である。

【図14(c)】運転負荷レベルに応じた制御パターンの例である。

【図14(d)】運転負荷レベルに応じた制御パターンの例である。

【図15(a)】外部表示部の表示例である。

【図15(b)】外部表示部の表示例である。

【図16(a)】表示部の表示例である。

【図16(b)】外部表示部の表示例である。

【発明を実施するための形態】

【0008】

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

【実施例1】

【0009】

≪構成の説明≫
図１は本実施例における車載装置１０１の構成図である。
車載装置制御部１０２は本車載装置１０１の動作全体を制御する部分であり、図示しない記憶部に格納されているメッセンジャーアプリケーション１１３および出力情報制御部１１４に関するプログラムに従って演算を行うことでメッセンジャーアプリケーション１１３および出力情報制御部１１４としての機能を発現する。なお、車載装置１０１にはメッセンジャーアプリケーション１１３および出力情報制御部１１４以外のアプリケーションを搭載することができ、これらのプログラムは工場出荷時に記憶部に記憶しておくことが可能であり、また、通信部１０７を介して、もしくはＵＳＢ端子などの図示しない外部接続ＩＦを介して、ユーザの選択により記憶部に記憶させることも可能である。また、カーナビゲーションシステムとしての基本的な動作を制御するとともに、各種入力情報に基づいて、出力する内容を制御する。

【0010】

センシング部１０３はユーザの手とセンサ間の距離及び、ユーザの手振りを検出する部分であり、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電解センサ、イメージセンサ、などのセンサと、データ処理を行うマイコン、及びマイコン上で動作するソフトウェアから構成される。センシング部１０３に用いるセンサは、特に限定されず、ユーザの手までの距離と手振りを検出するために得られる信号を、得られる機能を有すればよい。

【0011】

ジェスチャー検出部１０４は、センシング部１０３から得られるセンサデータに基づいて、ユーザによる手かざしと、あらかじめ規定した所定のジェスチャー（例えば上下左右の方向への手振り動作）が行われたかどうかを検出する。例えば、手かざしは、所定のセンサ値が一定時間継続したかどうかを、ジェスチャー動作は複数のセンサ間における手の検知結果の反応時間差を解析して、それぞれ検知する。

【0012】

スイッチ操作部１０５は、車載装置の操作を行うためのハードウェアスイッチであり、ボタン押下型や、ジョグダイヤル型のものが搭載される。

【0013】

タッチ操作部１０６は、タッチされた座標を車載装置制御部１０２に送信し、車載装置の操作を行う。

【0014】

マイクロホン１１５は、車両内部の音の取得を行う。

【0015】

音声認識部１１６は、入力した音データから音声を文字コード列に変換する。

【0016】

通信部１０７は、外部のネットワークと接続し、各種情報の入出力を行う。例えば、ナビゲーションに関わる情報の入力や、メッセージの送受信、などである。

【0017】

外部スイッチ操作部１１７は、車載装置からは別の場所に設置されたスイッチ操作部であり、ハンドル付近に設置されたステアリングスイッチや、車のセンターコンソールに設置されたコマンダースイッチなどが挙げられる。

【0018】

表示部１０８は、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、などのディスプレイ装置と、映像コンテンツやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの表示処理に必要な演算処理装置やメモリを有する装置である。

【0019】

外部表示部１０９は、車載装置１０１とは別の車内の場所に設置されたディスプレイであり、映像を表示する。例えば、運転席の前方向に設置されたヘッドアップディスプレイ（ＨＵＤ）などが挙げられる。ＨＵＤは、各種情報を、ドライバー（ユーザ）前方の景色を透過しつつ表示することができる。
音出力部１１０は、音もしくは音声を出力する部分である。
スピーカー１１１は、音出力部１１０からの音を出力する。

【0020】

触覚ＩＦ出力部１１２は、ユーザに対して、何かしらの触感情報を伝える部分であり、例えば、複数の超音波素子で構成された超音波アレイで構成され、装置の任意の距離に空間上に圧力を伝える。もしくは、送風機を備え同様の効果を与えるものでもよい。また、ハンドル部などに設置され、ハンドル自体が振動をするような、振動子で構成されてもよく、構成の要素は特に限定しない。

【0021】

メッセンジャーアプリケーション１１３は、通信部１０７と、メッセージデータの受け渡しを行い、入力したメッセージを格納し、出力する制御を行う。また、メッセージを送信する場合は、送信メッセージを通信部１０７に送信する。

【0022】

出力情報制御部１１４は、表示部１０８もしくは外部表示部１０９に出力する内容を、制御する。

【0023】

図２（ａ）はセンシング部１０３の設置例である。表示部１０８に対して、右ハンドル車両におけるドライバー側に配置されており、センサ素子の地点からの物体の距離情報及び、物体の動きを検出できる。これによって、同図中の下図に示すように車載装置１０１とユーザの間の空間を複数の領域に区切り、ユーザの手がどの領域に存在しているかを詳細に検知する。図のように、センサ位置に近い領域２０１とさらに近い領域２０２のように、区別を行う。なお、センサの素子数や設置位置、検出する領域はこれに限るものではない。

【0024】

≪メイン動作フロー≫
図３（ａ）の動作フローを用いて、車載装置１０１の動作について詳細に説明する。なお、メッセンジャーアプリケーション１１３は表示部１０８、外部表示部１０９、スピーカー１１１等の出力部に映像や音声を出力する場合に、出力情報制御部１１３に映像または音声情報を送信し、出力情報制御部１１３が受信した情報を上記出力部に出力をするか否かを判断するものであるが、以後の説明では説明を簡単にするために、メッセンジャーアプリケーション１１３が映像を表示部１０８に映像を出力する、メッセンジャーアプリケーション１１３は音声を出力する、等の表現を用いる。

【0025】

まず車両のエンジンが始動するなどして、車載装置１０１の動作が開始する。動作開始時の表示部１０８（ここではセンターディスプレイとする）には、出力情報制御部１１４により図４（ａ）に示すように、ナビゲーションに関わる表示と、メッセンジャーアプリケーション１１３のアイコン４０１が表示されている。メッセンジャーアプリケーション１１３は、車載装置１０１の起動とともに車載装置制御部１０２によりバックグラウンドで実行され、アイコン４０１へのタッチ操作をタッチ操作部１０６が検出することや、ユーザの規定のジェスチャー動作（例えばセンサ前で左方向に手振り）をジェスチャー検出部１０４が検知した場合に出力情報制御部１１４によりアクティブ化される。

【0026】

また、動作開始時の外部表示部１０９（ここではＨＵＤであるとする）には、出力情報制御部１１４によりナビゲーションに関わる表示と、メッセンジャーアプリケーション１１３に関わる表示が表示されている。通信部１０７を介して外部からメッセージを受信した場合に（Ｓ３０１）、メッセンジャーアプリケーション１１３はメッセージ着信時の効果音を出力し、外部表示部１０９に受信したメッセージの総数を図４（ｂ）のアイコン４０２のように表示させ、未読件数が増加した旨をユーザに伝える。

【0027】

その後、ユーザがメッセンジャーアプリケーション１１３を起動する操作を行ったことをジェスチャー検出部１０４、音声認識部１１６、スイッチ操作部１０５、外部スイッチ操作部１１７、またはタッチ操作部１０６が検出した場合に（Ｓ３０３）、出力情報制御部１１４は図４（ｃ）のようにメッセンジャーアプリケーション１１３をアクティブ化することでアプリケーション使用時の表示に切り替える（Ｓ３０４）。その後、メッセンジャーアプリケーション１１３は、受信したメッセージを古い順から音声で読み上げた音声情報を出力する（Ｓ３０５）。図４（ｃ）は、表示部１０８の半画面を、メッセンジャーアプリケーション１１３としての表示を行った場合の表示例である。

【0028】

図４（ｃ）におけるアイコン４０３の領域へのタッチをタッチ操作部１０６が検出すると、メッセンジャーアプリケーション１１３はアイコン４０３の領域の左からそれぞれ、スタンプ返信・定型文返信、自由発話返信、メッセージ戻し／送りの各操作を行うための表示を表示部１０８に表示させる。また、メッセンジャーアプリケーション１１３は、Ｓ３０５の音声情報の出力中は外部表示部１０９に図４（ｃ）の下図における４０４のように現在の未読メッセージ件数と、読み上げ中のメッセージの送信者の名前を表示させる。メッセージの読み上げ中に、ジェスチャー検出部１０４がユーザによる規定のジェスチャー動作（例えば、上もしくは下方向への手振り動作）を検知した場合に（Ｓ３０６：Ｙｅｓ）、メッセンジャーアプリケーション１１３は未読メッセージのうちで最新のメッセージを読み上げるようにスピーカー１１１に音声情報を出力する（Ｓ３０８）。

【0029】

検知しない場合は、メッセンジャーアプリケーション１１３は引き続き未読メッセージの古い順から読み上げるように音声情報を出力し（Ｓ３０７）、最新メッセージの読み上げ制御が終了した場合、表示部１０８および外部表示部１０９に図４（ｄ）のように最後の送信者の表示をさせたまま、返信操作待ちの状態になる（Ｓ３０９）。返信操作待ちの状態では、メッセンジャーアプリケーション１１３は外部表示部１０９に図５（ａ）のように、ジェスチャーによる返信操作が可能であることを示すアイコン５０１を表示させる。

【0030】

図２（ａ）の領域２０２に手がかざされた状態で一定時間（例えば、０．５秒）が経過した場合（Ｓ３１０：Ｙｅｓ）、操作の開始条件が満たされたと判断し、外部表示部１０９に、返信操作の操作ガイドであるメニューを画面の右側からスライドするように表示を切り替え、それとともにメニューが出現する効果音を出力する（Ｓ３１１）。なお、ユーザの手が、領域２０２の中で検知された場合は、メッセンジャーアプリケーション１１３はそのことを伝える効果音を出力して聴覚で認識できるように伝えるとともに、図５（ｂ）のようにアイコン５０１を右側へ移動したり、アイコンの色を変更することで、視覚でも認識できるよう通知を行うようにしても良い。また、領域２０２ではなく、領域２０１の中でユーザの手を検知し、一定時間（例えば、０．３秒）が経過した場合、メッセンジャーアプリケーション１１３は手をかざす位置が異なることを伝える効果音を出力する。これによって、ユーザは手をかざす際に、視線を手元に送らなくても、前を見ながら手かざしの操作を行うことができる。

【0031】

ユーザの手の検知状態と効果音出力の関係について、より詳細にしたものを図２（ｂ）と（ｃ）に示す。図２（ｂ）（ｃ）は、それぞれ時間軸とセンシング部１０３のセンサ値を表したものであり、センサ値が領域２０１と２０２と判断する境界を示した図である。

【0032】

図２（ｂ）はユーザが領域２０２に向かって手を伸ばし、一定時間手をかざした場合の例である。領域２０１に手が侵入したことをジェスチャー検出部１０４が検知した場合に効果音１を出力する。続いて、領域２０２に侵入したことを検知した場合に効果音２を出力する。領域２０２に時刻Ｔ１以上（例えば０．５秒以上）ユーザの手があることを検知し続けた場合、効果音３を出力し、外部表示部１０９の表示をＳ３１１について説明したように切り替える。

【0033】

図２（ｃ）の例は、領域２０１に手をかざし続けている場合の例である。領域２０１に手が侵入したことを検知したら効果音１を出力し、領域２０１に時刻Ｔ２以上（例えば０．３秒以上）、手を検知し続けたら、効果音４を出力する。それ以後、手が領域２０２で検知されれば、図２（ｂ）の例と同様である（以降、領域２０２に時刻Ｔ1以上手をかざす操作を単に「手かざし」と言う場合がある）。

【0034】

図５（ｃ）は、スタンプ返信を行うことができる操作メニューを表示している場合の例である。アイコン５０２は、手をかざした状態で、上・左・下方向のジェスチャーを行うと、それに対応したスタンプが選択できることを意味した操作ガイドである。また、左上の１／２の表示は、表示したスタンプ候補のページ総数と現在のページを意味する。この状態で、上・左・下方向いずれかのジェスチャーを検知した場合（Ｓ３１２：Ｙｅｓ）、メッセンジャーアプリケーション１１３はその方向に対応したスタンプを選択して返信操作を行い（Ｓ３１３）、再び返信操作の待ち受け状態Ｓ３０９に遷移する。

【0035】

いずれのジェスチャーも検知されずにユーザの手が領域２０２から離れた場合（Ｓ３１２：Ｎｏ、Ｓ３１４：Ｙｅｓ）、外部表示部１０９の表示内容を図５（ｄ）のように切り替える（Ｓ３１５）。アイコン５０３は、現在選択可能なスタンプの候補を意味している。アイコン５０４は、表示された方向に対応したジェスチャー操作（上手振りもしくは下手振り）を行うと、対応した操作を行うことを意味している。また、「定型文」という表示は、返信方法を定型文返信に切り替えること、「次ページ」という表示はスタンプの選択候補をアイコン５０３で表示されているものから、次の候補群に切り替えることができることを、それぞれ意味している。一度に多数の選択肢が表示されると、ユーザが運転中にもかかわらずその選択に時間をかけてしまい、運転への集中を欠く可能性があるため、本実施例では、上、左及び下に位置する３つの選択肢を提供するにとどめる一方で、送信しようとするスタンプの選択肢を増やすためのジェスチャーを設けることで、３を超える選択肢をユーザに提供することができる。対応したジェスチャー操作が検知された場合（Ｓ３１６：Ｙｅｓ）、これに対応した操作を実行する（Ｓ３１７）。ジェスチャーが検知されず（Ｓ３１６：Ｎｏ）、領域２０２でユーザの手を検知した場合（Ｓ３１８：Ｙｅｓ）、メッセンジャーアプリケーション１１３はＳ３１１の状態に遷移し、再びスタンプの選択を行う状態になる。

【0036】

ユーザの手が検知されずにその状態で一定の時間（例えば１０秒）が経過した場合は（Ｓ３１８：Ｎｏ、Ｓ３１９：Ｙｅｓ）、メッセンジャーアプリケーション１１３は外部表示部１０９の表示から操作ガイドを消し、Ｓ３０９の返信操作待ち受け状態に遷移する（Ｓ３２０）。返信操作が実行された場合は、図６のように、メッセンジャーアプリケーション１１３は表示部１０８に返信操作結果の内容（ここでは、選択したスタンプ）を表示し、外部表示部１０９に返信操作を行ったユーザの名前が表示し、返信内容を読み上げる。

【0037】

なお、本動作フローは本発明の車載装置の動作を代表的な例に限って、説明したものであり、動作や表示、効果音などは、この例に限定するものではない。例えば、本説明ではメッセンジャーアプリケーション１１３使用時の返信操作を想定して説明を行ったが、本発明はこれに限定するものではなく、車載装置制御部１０２による複数の選択肢を選択する操作全般に適用できる。図３（ｂ）に動作フローをシンプルにしたものを示す。基本的な動作は前述の説明の通りであり、各ステップにおける動作の説明は図３（ａ）の同じステップ番号が付されたものと同様であるが、本図のＳ３１６に関しては、上下手振りに限らなく、例えばステアリングスイッチでの操作など、種々の操作を受け付けるようにしても良い。

【0038】

また、外部からメッセージを受信した場合は、受信と同時に読み上げるような構成にしても良く、また外部表示部１０９にも受信したメッセージの内容を表示しても良い。これによって、ユーザは、よりメッセージの把握がしやすくなる。また、返信操作の待ち受けは、最新メッセージが読み終わるまでを待たずとも、いつでも受け付けるような構成としても良い。これによって、ユーザはいつでも返信操作を行うことができる。また、手をかざすべき領域２０２について、その領域内に触覚ＩＦ部１１２によって、空中に触感を提示するような構成としても良い。

【0039】

例えば、領域の境界上に超音波素子アレイの圧力点が現れるようにしたり、送風機によって、領域の垂直線上に触感を与えるようにする。これによって、ユーザは前を見ながら、手かざしを行うことができ、運転中による操作でも安全に返信操作を行うことができる。また、本例では、手かざしを検知した後に、スタンプ返信操作の状態に遷移したが、その前に、返信方法の選択状態（スタンプ・定型文・自由発話など）に遷移するような構成としても良い。これによって、ユーザは返信操作開始時に自身が行いたい返信方法を選択することができる。

【0040】

また、本例では、手かざしを検知して外部表示部１０９に操作ガイドを表示してから、ジェスチャーを受け付けるようにしたが、操作ガイドを表示する一定時間前（例えば、０．２秒前）からジェスチャーを受け付けるようにしても良い。これによって、ユーザが操作に慣れ、どのジェスチャーがどの操作に対応しているかを覚えていた場合に、外部表示部１０９に余計な表示をすることなく、操作を行うことができ、また操作時間を短縮することができる。

【0041】

また、Ｓ３１９において、一定時間の経過を計測したが、この条件を満たす前に、所定の操作（例えば、左方向への手振り操作・スイッチ操作など）を検知した場合に、Ｓ３２０へ遷移するような構成としても良い。これによって、ユーザが好きなタイミングで外部表示部１０９の表示をナビゲーション向けに切り替えることができる。

【0042】

また、外部表示部１０９へ表示する操作ガイド及び、ジェスチャー方向については、３方向に限らず、任意の方向と数を用いても良い。その際は、運転席に座りながらジェスチャー操作を行いやすい方向を設定するようにするとよい。例えば、ハンドル方向へ向かって行うジェスチャーは、動作途中に手がハンドルにぶつかってしまう恐れがあるため、対象としないようにする。乗車する車のハンドルが右ハンドルか左ハンドルであるのかを、設定画面であらかじめ設定できるようにし、左ハンドルであった場合に、図７のように外部表示部１０９に表示する操作ガイドを、上・下・右の３方向を認識対象とする。なお、図７（ａ）（ｂ）は図５（ａ）（ｂ）にそれぞれ対応するものである。

【0043】

また、ハンドルの設置場所に応じて、ジェスチャーに用いる手も変わるため、アイコンの表示や向きも変更をする。さらには、ハンドルの位置によって、各種アイコンの見え方も変わるため、個別にユーザが設定できるようにしても良い。これによって、車種毎のハンドル設置位置に応じて使いやすいジェスチャー操作で操作を行うことができるようになり、ユーザが運転席に座りながら無理なく、ジェスチャーによって各種操作を行えるようになる。

【0044】

また、本例のように手をかざす位置を一か所に限定せず、複数の場所で手を行えるようにしても良い。例えば、図８（ａ）に示すように、三か所に三個のセンサを設置する。この際、どのセンサに手をかざしたかによって、返信方法を決められるようにしても良い。図８（ｂ）のように、センサ１０３Ａではスタンプ返信、センサ１０３Ｂでは定型文返信、センサ１０３Ｃでは自由発話返信、とする。これによって、ユーザは素早く返信方法を選択して、返信操作を行うことができる。どのセンサがどの方法に対応するかは、ユーザがあらかじめ指定できるようにしても良い。

【0045】

また、図９に示すようにセンシング部１０３にカメラを用いて、手の近づき及びジェスチャーを検出するような構成としても良い。あらかじめ、既定の手の形の画像を学習しておき、入力映像の画像と、学習データとのパターン認識から、ユーザの手かざしを距離や位置に関係なく検知する。この際、手をかざす際の手の形を複数検知するようにし（９０１Ａ〜９０３Ｃ）、返信方法を選択できるようにしても良い。これによって、ユーザはセンシング部１０３の前方に手を伸ばしてジェスチャー動作を行わなくとも、返信操作の開始を行うことができるようになる。

【0046】

さらに、手かざしを検知した際の、ユーザの手の位置や姿勢に応じて、受け付けるジェスチャーの方向や数を変更するような構成としても良い。例えば、図１０（ａ）に示すように、ユーザは肘掛けに肘を置いた状態で、手をあげて、手かざしを検知した場合に、図１０（ｂ）のように、左・下・右方向を認識対象とする。これは、この状況でのユーザの姿勢では、上方向のジェスチャーはやり辛いと考えられるため、この３方向を認識対象とする。さらには、ユーザがあらかじめどのジェスチャーを認識対象とするかを設定できるような構成としても良い。これらによって、ユーザは自由な姿勢でジェスチャー操作を行うことができるようになる。

【0047】

また、本例では、返信操作の操作メニューなどを外部表示部１０９に表示していたが、各種デバイスの接続状態や設置位置などに応じて、表示を行う場所及び表示内容を変更するような構成としても良い。例えば、ＨＵＤが未接続の場合は図１１（ａ）のように、ジェスチャー操作のガイドをセンターディスプレイに表示する。この際、図１１（ｂ）のように、複数のディスプレイの設置位置・接続状態を管理し、優先度を決定する処理を行う。基本的に優先度が高いディスプレイに操作のガイドを表示するが、ＨＵＤが故障した場合など、使用ができない場合は、次の優先度のディスプレイに表示を行う。その際は、優先度に応じて、ガイドを表示する時間を短くしたり、表示の情報量を減らすなどしても良い。優先度は、工場出荷時点や販売時点で設定される、ユーザが図示しない設定画面で設定する、本車載端末に接続されているディスプレイの性質等から優先度を判別するように本社債端末にプログラムされる、等の方法により設定可能である。

【0048】

さらに、図１１（ｃ）のように持ち込み外部機器（スマートフォンなど）が車載装置１０１に接続されている場合に、設置位置に応じて優先度を高くするような構成としても良い。これらによって、ＨＵＤなどの操作ガイドを表示する前提のデバイスが使用できない場合に代替のディスプレイに操作ガイドを表示し、操作を行うことが可能となる。

【0049】

また、図３（ａ）または（ｂ）におけるＳ３１１以降の返信操作において、ジェスチャー操作だけに限らず車載装置を操作可能なその他の操作手段（音声認識操作やスイッチ操作など）を用いることができるような構成としてもよい。図１２（ａ）はその際の動作フローである。Ｓ３１６のステップの後、ユーザがある操作手段を行おうとする準備動作を検知した場合に（Ｓ１２０１：Ｙｅｓ）、その動作に対応した操作ガイドを外部表示部１０９に表示する（Ｓ１２０２）。その後、選択操作が実行された場合（Ｓ１２０３：Ｙｅｓ）、選択された選択肢による返信を行う（Ｓ１２０４）。具体的には、Ｓ３１５の状態に遷移した際に、図１２（ｂ）のような操作ガイドを外部表示部１０９に表示する。アイコン１２０１は、上のアイコンはジェスチャーによる選択肢の選択を、真ん中のアイコンは音声認識による選択肢の選択を、下のアイコンはスイッチによる選択肢の選択が可能であることをそれぞれ示している。

【0050】

ユーザが、ステコン操作を行うことを検知した場合（例えば、ステアリングスイッチの任意のボタンが一度押下される、もしくはスイッチ表面に接触センサを設置しその反応が得られた場合）、図１２（ｃ）のような画面に遷移する。１２０１のアイコンはステコン操作がアクティブであることをアイコン色の変化で知らせる。１２０２の表示は、ステコンの各ボタンに対応したスタンプの候補が表示されている。押下されたステコンのボタンに応じて、対応したスタンプによる返信操作を行う。なお、一定時間が経過するか、ステコンの接触センサが反応しなくなった場合は、図１２（ｂ）の画面に戻る。

【0051】

一方、音声認識を行うことを検知した場合（音声認識開始スイッチを押下するなど）、図１２（ｄ）のような画面に遷移する。１２０１のアイコンは音声認識が待機状態であることを示し、１２０３の表示は各文字に対応した発話を行うことで、それに対応したスタンプが選択可能であることを示している。音声認識を行った結果が、選択肢の何れかと一致した場合は、対応したスタンプの返信操作を行う。図１２（ｄ）の例では「楽しい」等のアイコンに対応する文字のみが表示されているが、送信されるアイコンを文字と並べて表示することで、送信されるアイコンがひと目で分かるようにしてもよい。音声認識を利用すると、ユーザはハンドルから手を離さずに送信しようとするスタンプを選択することができるので、一層の安全運転に寄与することができる。

【0052】

なお、三種類の操作手段は、何れの操作途中状態でも、各操作の開始トリガーが検知されれば、操作手段を切り替えられるものとする。また、スイッチ操作と音声認識による操作状態であれば、その状態で上下手振りによるジェスチャー操作も受け付けるものとする。これらによって、ユーザが返信操作を行う際に、一つの操作手段に限定されることなく、運転の状況に応じて、またユーザの好みに応じて自由に返信の操作手段を選択することができる。また、それぞれの操作手段を切り替えた際に、現在どの操作手段で操作が可能なのかと、どのように操作を行えば良いかを提示することで、ユーザは操作に迷うことなく、素早く直感的に操作を行うことができる。

【0053】

また、車載装置が制御しているアプリケーションの動作状況に応じて、ユーザが手をかざした際に操作できる操作内容を変えるような構成としても良い。図１２（ｅ）は、バックグラウンドで動いているアプリケーションがナビゲーション以外無い場合に、自宅へのルート設定、現在地の地点登録、音声による目的地設定など、ナビゲーションに関わる操作を選択候補として、提示している例である。図１２（ｆ）は、音楽再生中などに、手をかざした場合に、音楽停止や、次の曲、前の曲へスキップする操作などが選択候補として、提示されている例である。図１２（ｇ）は、渋滞情報などを受信した際に、手をかざした場合に、渋滞情報の詳細を聞く操作や、リルート、目的地変更などが選択候補として提示されている例である。これらによって、ユーザの運転中の車載装置が制御しているアプリケーションの状況に応じて、様々な操作を素早く選択することが可能となる。

【0054】

以上で述べた、本発明の第一実施例による車載装置１０１によって、ユーザは運転中でも前方を見ながら、直感的にかつ素早く、操作を行うことができる。具体的には、メッセンジャーアプリケーションの表示切替えや、メッセージのスキップ操作などを、前を見ながら、素早く行える。また、複数の選択肢を選択する操作の場合において、前方向を見つつ、選択候補の内容を確認しながら、所望の選択肢を選択することができる。さらに、操作に慣れた場合は、表示を見ずとも選択肢の操作が可能となるため、より安全に素早く操作を行うことができる。

【実施例2】

【0055】

≪構成の説明≫
図１３は本実施例における車載装置１０１の構成図である。図１の構成図と比べて、車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０、地図ＤＢ（データベース）１２１が追加されている。車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０も、図示しない記憶部に格納されているプログラムに従って車載装置制御部１０２が演算を行うことで車両情報入力部１１８、操作手段制御部１１９、運転負荷推定部１２０としての機能を発現する。

【0056】

車両情報入力部１１８は走行中の車両に関わる情報を取得する部分であり、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して車両と接続し、車速やアクセル開度、ブレーキ深度、ウィンカー信号、ステアリング角度などを取得する。

【0057】

操作手段制御部１１９は、ジェスチャー検出部１０４や音声認識部１１６、各種スイッチ操作部からの操作入力をどの操作に反映するかを制御する。

【0058】

運転負荷推定部１２０は、運転操作におけるユーザの運転負荷がどれくらいのものかを推定する。例えば、上述した車両情報入力部１１８からの各種入力信号に加えて、通信部１０７から入力した情報（地図情報、走行中の道路の種類、前方車両との距離など）を統合して、運転負荷レベルを四段階（無し・低・中・高）に定義する。「無し」は信号待ちなどの停車中やＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）などドライバーが特別な操作を行わなくても走行している自動運転中の状況など、「低」は周囲に障害物が無い直線道路での走行など、「中」は一定スピード以上で、ハンドル操作を常時要求される走行状況や、交差点での右左折時など、「高」は事故が迫っていて重要な運転操作が求められる状況、などである。
地図ＤＢ１２１は、地図情報を格納したデータベースである。

【0059】

≪動作説明≫
本実施例の車載装置１０１の動作について詳細に説明する。基本的な動作は実施例１で述べた動作と同様であり、本実施例では、運転負荷推定部１２０の出力に応じて動作を制御することに特徴がある。車載装置制御部１０２は、運転負荷推定部１２０で出力された運転負荷レベルと、そのときに操作可能な操作手段と提示可能な表示内容についてあらかじめ定義している。図１４はその定義を示したものである。

【0060】

図１４（ａ）は、各運転負荷レベルにおける各操作手段の使用の可否を示したものである。運転負荷レベルが「無し」、もしくは「低」の場合は、実施例１で述べた全ての操作手段による返信操作が可能である。一方で、運転負荷レベルが「高」の場合は、全ての操作を禁止する。運転負荷が「中」の場合は、手かざしによる操作ガイドの表示と、その後のジェスチャー操作による選択肢の選択を禁止する。これは、手かざしによる操作は片手運転を強いる操作手段であることから、運転操作に集中すべき状況の場合は、この操作を禁止するものである。

【0061】

本実施例の外部表示部１０９には、図１５（ａ）のアイコン１５０３のように現在の運転負荷レベルを表示する。本図では運転負荷レベルが「中」の状態を意味しており、手の近づきによる操作ができない旨をアイコン１５０１のように手かざしによる操作が禁止されているような表示をする。また、この状態でユーザが手をかざしたことを検知した場合は、アイコン１５０１の表示や色を変えるなどして強調するとともに、警告音や警告音声などを出力し、手かざしを直ちにやめるように促す。このような制御をすることで、ユーザが、現在の運転負荷状況が把握できるとともに、ハンドル操作が必要なときにもかかわらず操作ガイドを表示させようとしてハンドルから片手を長時間離してしまうことを極力防止することができる。一方で、手を用いない音声認識による自由発話返信や一瞬の操作で完了する手振りジェスチャーは運転負荷レベルが「中」の状況においても使用可能とする。

【0062】

さらに、運転負荷レベルが「無し」もしくは「低」の状況で、手かざしを行った後の返信操作が途中であった場合において、運転負荷レベルが「中」に切り替わった場合は、その操作途中の返信操作に限って、スイッチ操作と音声認識による選択肢の選択操作を許可する。この際は図１５（ｂ）のように、三種類の操作手段のアイコンの中で、手かざしとジェスチャーによる選択肢操作が禁止されていることを示す。

【0063】

図１４（ｂ）は、運転負荷レベルとセンターディスプレイの出力内容に関する定義である。まず、運転負荷レベルが「無し」の場合は、メッセンジャーアプリケーション１１３はメッセージのテキストを全て表示する。また、画面上の操作アイコンをタッチするなどの基本的な操作からの返信操作時においては、スタンプ候補などの選択肢も全て表示する。運転負荷が「低」もしくは「中」の場合では、メッセージのテキストは非表示とし、メッセージ発信者の名前のみを表示する。また、タッチ操作を用いての操作系の表示も行わない。

【0064】

さらに、運転負荷が「高」の場合は、メッセンジャーアプリケーション１１３の画面も消し、その状況に該当する警告メッセージ（例えば、「車間注意！」など）を表示する。なお、運転負荷が「低」もしくは「中」の場合において、手かざしを行っての返信操作を行っている途中で、運転負荷レベルが「無し」に遷移した場合においては、ＨＵＤに表示されていた操作ガイドの状態を考慮して、センターディスプレイ上でのタッチ操作でもその操作を行えるようにする。例えば図１６（ａ）に示すように、ＨＵＤ上でスタンプ返信を行っている状態であったとして、スタンプ候補の内容と配置の情報を保持したまま、図１６（ｂ）のように、センターディスプレイにも表示する。

【0065】

具体的には、ＨＵＤ上でのスタンプ候補１６０１の内容と画面上での配置関係を保持した状態で１６０２のようにセンターディスプレイ上に表示する。さらに、１６０２の内容はドライバーが操作しやすいように、ドライバー側に寄せて配置し、タッチ操作によってスタンプの選択を行うことができるようにする。また、残りのスタンプ候補は、１６０３のように、画面上のドライバー側から遠い位置に配置する。逆に、停止中にセンターディスプレイ上での操作を行っている途中で、車の発進によって運転負荷が「低」、もしくは「中」に切り替わった場合は、センターディスプレイでの選択肢の表示及び選択操作を中止し、操作途中であった返信方法を保持した上で、図３（ａ）のＳ３１５のステップに遷移し、そのまま操作を引き継ぐ。

【0066】

図１４（ｃ）は、運転負荷レベルとＨＵＤの出力内容に関する定義である。まず、運転負荷レベルが「無し」もしくは「低」の場合は、メッセージ読み上げ時の発信者名を表示し、また、返信操作時の操作ガイドを表示する。運転負荷レベルが「中」の場合は、手かざしによる操作が禁止されている旨を表示したり、運転負荷レベルが「低」から「中」に変更した場合のみ、操作ガイドの表示を引き継いで表示する。運転負荷レベルが「高」の場合はその状況に該当する警告メッセージ（例えば、「車間注意！」など）を表示する。

【0067】

図１４（ｄ）は、運転負荷レベルとスピーカーからの音出力に関する定義である。運転負荷レベルが「無し」から「中」の場合においては、その時点での操作音もしくは読み上げ音声などを出力する。運転負荷レベルが「高」の場合においては、警告音のみを出力するものとする。なお、メッセージが読み上げられていた場合でもその出力を停止する。停止された読み上げメッセージは、運転負荷レベルが下がった後に再開し、そのメッセージの先頭から読み上げ直す。

【0068】

なお、運転負荷レベルに応じて、ユーザの手かざし検知アルゴリズム及びフィードバック方法を変更するような構成としても良い。例えば、運転負荷レベルが低のときでは、０．５秒以上手をかざした場合に、手かざしを検知するとしたら、運転負荷レベルが「無し」の場合では２秒以上かざした場合に検知するように変更する。さらに、運転負荷レベルが「無し」の場合は、音出力による手かざしのフィードバックをやめる。これらによって、走行中では素早く、かつ視線を前方から逸らさずに操作できるように考えられた手かざし検知アルゴリズムが、停止時ではタッチ操作やわき見が許されることを勘案し、タッチ操作などの手かざし動作以外の動作による誤検出を防ぐことができる。

【0069】

以上で述べた、本発明の第二実施例による車載装置１０１によって、ユーザは運転中でも前方を見ながら、直感的にかつ素早く、操作を行うことができることに加えて、停止中などの余裕が多いときは、より多様な手段での操作や多くの情報量を受け取ることができるとともに、運転操作に集中すべき状況の場合においては、その他の操作により運転操作以外に注意を向けてしまうことを未然に防ぎ、安全運転を行うことができる。

【0070】

なお、全ての実施例において車載装置を例に説明したが、本発明はこれに限るものではなく、パーソナルコンピュータやデジタルサイネージ、建設機、航空機、監視オペレータ装置などのディスプレイ部と操作手段を有するものにおいて適用することができる。

【符号の説明】

【0071】

１０１ 車載装置
１０２ 車載装置制御部
１０３ センシング部
１０４ ジェスチャー検出部
１０５ スイッチ操作部
１０６ タッチ操作部
１０７ 通信部
１０８ 表示部
１０９ 外部表示部
１１０ 音出力部
１１１ スピーカー
１１２ 触覚ＩＦ出力部
１１３ メッセンジャーアプリケーション
１１４ 出力情報制御部
１１５ マイクロホン
１１６ 音声認識部
１１７ 外部スイッチ操作部
１１８ 車両情報入力部
１１９ 操作手段制御部
１２０ 運転負荷推定部
１２１ 地図ＤＢ

【図1】

【図2(a)】

【図2(b)】

【図2(c)】

【図3(a)】

【図3(b)】

【図4(a)】

【図4(b)】

【図4(c)】

【図4(d)】

【図5(a)】

【図5(b)】

【図5(c)】

【図5(d)】

【図6】

【図7(a)】

【図7(b)】

【図8(a)】

【図8(b)】

【図9】

【図10(a)】

【図10(b)】

【図11(a)】

【図11(b)】

【図11(c)】

【図12(a)】

【図12(b)】

【図12(c)】

【図12(d)】

【図12(e)】

【図12(f)】

【図12(g)】

【図13】

【図14(a)】

【図14(b)】

【図14(c)】

【図14(d)】

【図15(a)】

【図15(b)】

【図16(a)】

【図16(b)】