特許 6827132 操作装置、制御方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6827132

(24)【登録日】2021年1月20日

(45)【発行日】2021年2月10日

(54)【発明の名称】操作装置、制御方法、プログラム及び記憶媒体

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20210128BHJP

   G06F 3/0488 20130101ALI20210128BHJP

   G06F 3/038 20130101ALI20210128BHJP

   G06F 3/041 20060101ALI20210128BHJP

【ＦＩ】

   G06F3/0484 120

   G06F3/0488

   G06F3/038 310A

   G06F3/041 530

【請求項の数】14

【全頁数】16

(21)【出願番号】特願2020-3602(P2020-3602)

(22)【出願日】2020年1月14日

(62)【分割の表示】特願2015-213940(P2015-213940)の分割

【原出願日】2015年10月30日

(65)【公開番号】特開2020-57441(P2020-57441A)

(43)【公開日】2020年4月9日

【審査請求日】2020年1月14日

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(72)【発明者】

【氏名】針谷 真人

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特表２０１３−５２４３９０（ＪＰ，Ａ）

【文献】 特開２０１４−１７４８８０（ＪＰ，Ａ）

【文献】 特開２０１２−０５６３５９（ＪＰ，Ａ）

【文献】 特開２０１３−０８２４４５（ＪＰ，Ａ）

【文献】 特開２０１３−１９６３４０（ＪＰ，Ａ）

【文献】 特開２００５−２１６１１０（ＪＰ，Ａ）

【文献】 特開２０１２−０２２６３２（ＪＰ，Ａ）

【文献】 特開２０１４−０２１５９６（ＪＰ，Ａ）

【文献】 特開２０１４−１４２８８２（ＪＰ，Ａ）

【文献】 国際公開第２００９／１２８１４８（ＷＯ，Ａ１）

【文献】 特開２０１４−２３５６７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１−３／０４８９

Ｂ６０Ｒ １６／０２

(57)【特許請求の範囲】

【請求項1】

複数の操作対象を出力する表示部と別体であって、前記表示部に出力される複数の操作対象ごとに対応する操作領域を備える操作部と、
前記操作対象を操作する操作者の視線を検知する視線検知部と、
前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から拡大する制御部と、
を備えることを特徴とする操作装置。

【請求項2】

前記制御部は、前記操作対象を表示する表示部に前記視線が向けられてから離れるまでの期間において、前記視線が最後に前記所定時間以上向けられた操作対象を、前記操作候補であると推定することを特徴とする請求項１に記載の操作装置。

【請求項3】

前記制御部は、前記操作候補を推定した際、前記操作候補を強調して出力することを特徴とする請求項１または２に記載の操作装置。

【請求項4】

前記制御部は、前記操作候補に対応する前記操作部の操作領域と異なる他の操作領域を操作不能とすることを特徴とする請求項１〜３のいずれか一項に記載の操作装置。

【請求項5】

前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧したかを検知する操作決定部をさらに備えることを特徴とする請求項１〜４のいずれか一項に記載の操作装置。

【請求項6】

前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧しなかった場合、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻すことを特徴とする請求項５に記載の操作装置。

【請求項7】

地図及び前記操作対象を表示する表示部と、
前記制御部が推定した前記操作候補に対応する前記操作部の操作領域が所定圧力以上で押圧されたことを検知した際に、前記操作者が前記操作候補を選択したと判定し、前記所定圧力未満での接触を検知した際に、前記地図に対する操作が行われたと判定する操作決定部と、
をさらに備えることを特徴とする請求項１〜４のいずれか一項に記載の操作装置。

【請求項8】

前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定圧力未満で押圧したことを検知した際に、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻すことを特徴とする請求項７に記載の操作装置。

【請求項9】

移動体に搭載されることを特徴とする請求項１〜８のいずれか一項に記載の操作装置。

【請求項10】

前記操作部は、前記移動体のステアリングに設けられることを特徴とする請求項９に記載の操作装置。

【請求項11】

前記操作対象は、前記視線上において前記操作部と重ならない位置に表示されることを特徴とする請求項１〜１０のいずれか一項に記載の操作装置。

【請求項12】

複数の操作対象を出力する表示部と別体であって、前記表示部に出力される複数の操作対象ごとに対応する操作領域を備える操作部を備える操作装置が実行する制御方法であって、
前記操作対象を操作する操作者の視線を検知する視線検知工程と、
前記複数の操作対象のうち、前記視線検知工程で検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から拡大する制御工程と、
を有することを特徴とする制御方法。

【請求項13】

複数の操作対象を出力する表示部と別体であって、前記表示部に出力される複数の操作対象ごとに対応する操作領域を備える操作部から電気信号を受信するコンピュータが実行するプログラムであって、
前記操作対象を操作する操作者の視線を検知する視線検知部と、
前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から拡大する制御部
として前記コンピュータを機能させることを特徴とするプログラム。

【請求項14】

請求項１３に記載のプログラムが記録されていることを特徴とする記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作者が意図する操作を的確に受け付ける手法に関する。

【背景技術】

【0002】

従来から、操作者の視線に基づき操作者の選択操作を支援する技術が知られている。例えば、特許文献１には、ディスプレイの画面に表示されたオブジェクト画像を選択する情報処理装置において、ユーザの視線上にあるオブジェクト画像が選択されやすくなるように選択基準を変更する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−２２６３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

表示物と操作対象とが別体となるシステムでは、操作者が操作対象への操作を行う際には視線が表示物から外れる。一方、特許文献１に記載の技術は、表示物と操作対象とが操作者の視線の延長線上にあるという前提の下に成り立っているため、このような場合には適用できない。

【0005】

本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、操作者が意図する操作対象に対する操作を好適に受け付けることが可能な操作装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、操作装置であって、複数の操作対象を出力する表示部と、前記表示部と別体であって、前記表示部に出力される複数の操作対象ごとに対応する操作領域を備える操作部と、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から拡大する制御部と、を備えることを特徴とする。

【0007】

また、請求項１２に記載の発明は、複数の操作対象を出力する表示部と別体であって、前記表示部に出力される複数の操作対象ごとに対応する操作領域を備える操作部を備える操作装置が実行する制御方法であって、前記操作対象を操作する操作者の視線を検知する視線検知工程と、前記複数の操作対象のうち、前記視線検知工程で検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から拡大する制御工程と、を有することを特徴とする。

【0008】

また、請求項１３に記載の発明は、複数の操作対象を出力する表示部と別体であって、前記表示部に出力される複数の操作対象ごとに対応する操作領域を備える操作部から電気信号を受信するコンピュータが実行するプログラムであって、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から拡大する制御部として前記コンピュータを機能させることを特徴とする。

【図面の簡単な説明】

【0009】

【図1】操作システムの概要図である。

【図2】車載機のディスプレイに表示される表示画面例である。

【図3】車載機の概略構成を示す。

【図4】操作システムの操作検知処理に係る機能ブロックを示す。

【図5】初期状態及び操作予測後での操作領域の各分割設定を示す。

【図6】操作検知処理のフローチャートである。

【図7】変形例に係るディスプレイの表示画面例である。

【発明を実施するための形態】

【0010】

本発明の好適な実施形態では、操作装置は、出力される複数の操作対象ごとに対応する操作領域を備える操作部と、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部と、を備える。

【0011】

上記操作装置は、操作部と、視線検知部と、制御部とを備える。操作部は、出力される複数の操作対象ごとに対応する操作領域を備える。視線検知部は、操作対象を操作する操作者の視線を検知する。制御部は、複数の操作対象のうち、視線検知部が検知した操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定する。そして、制御部は、推定した操作候補に対応する操作部の操作領域の面積を初期設定から変更する。この態様により、操作装置は、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を適切に定めることができる。

【0012】

上記操作装置の一態様では、前記制御部は、前記操作対象を表示する表示部に前記視線が向けられてから離れるまでの期間において、前記視線が最後に前記所定時間以上向けられた操作対象を、前記操作候補であると推定する。この態様により、操作装置は、操作者の視線に基づき操作される操作候補をより的確に推定することができる。

【0013】

上記操作装置の他の一態様では、前記制御部は、前記操作候補を推定した際、前記操作候補を強調して出力する。この態様により、操作装置は、推定した操作候補を好適に操作者に視認させることができる。

【0014】

上記操作装置の他の一態様では、前記制御部は、前記操作候補に対応する前記操作部の操作領域と異なる他の操作領域を操作不能とする。この態様により、操作装置は、操作者が意図しない操作を誤って検知するのを好適に抑制することができる。

【0015】

上記操作装置の他の一態様では、操作装置は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧したかを検知する操作決定部をさらに備える。

【0016】

上記操作装置の他の一態様では、前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定時間以内に押圧しなかった場合、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻す。この態様により、操作装置は、操作と関係ない視線検知に基づき変更された操作領域の面積を好適に元に戻すことができる。

【0017】

上記操作装置の他の一態様では、操作装置は、地図及び前記操作対象を表示する表示部と、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域が所定圧力以上で押圧されたことを検知した際に、前記操作者が前記操作候補を選択したと判定し、前記所定圧力未満での接触を検知した際に、前記地図に対する操作が行われたと判定する操作決定部と、をさらに備える。この態様では、操作装置は、地図に対する操作と、操作対象に対する操作とを好適に識別してそれぞれの操作を受け付けることができる。

【0018】

上記操作装置の他の一態様では、前記操作決定部は、前記操作者が、前記制御部が推定した前記操作候補に対応する前記操作部の操作領域を所定圧力未満で押圧したことを検知した際に、前記操作候補に対応する前記操作部の操作領域の面積を前記初期設定に戻す。この態様により、操作対象に対する操作が意図されていない場合に操作領域の面積を好適に初期設定の状態に戻すことができる。

【0019】

上記操作装置の他の一態様では、操作装置は、移動体に搭載される。好適には、前記操作部は、前記移動体のステアリングに設けられる。

【0020】

上記操作装置の他の一態様では、前記操作対象は、前記視線上において前記操作部と重ならない位置に表示される。この態様によっても、操作装置は、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を変更することができる。

【0021】

本発明の他の好適な実施形態では、出力される複数の操作対象ごとに対応する操作領域を備える操作部を備える操作装置が実行する制御方法であって、前記操作対象を操作する操作者の視線を検知する視線検知工程と、前記複数の操作対象のうち、前記視線検知工程で検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御工程と、を有する。操作装置は、この制御方法を実行することで、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を適切に定めることができる。

【0022】

本発明の他の好適な実施形態では、出力される複数の操作対象ごとに対応する操作領域を備える操作部から電気信号を受信するコンピュータが実行するプログラムであって、前記操作対象を操作する操作者の視線を検知する視線検知部と、前記複数の操作対象のうち、前記視線検知部が検知した前記操作者の視線が所定時間以上向けられた操作対象を、操作候補と推定し、推定した該操作候補に対応する前記操作部の操作領域の面積を初期設定から変更する制御部として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、操作者の視線に基づき操作される操作候補を的確に推定し、操作者が意図した操作ができるように操作領域の面積を適切に定めることができる。好適には、上記プログラムは、記録媒体に記録されている。

【実施例】

【0023】

以下、図面を参照して本発明の好適な実施例について説明する。

【0024】

［操作システムの概要］
図１は、実施例に係る操作システム１００の概要図である。操作システム１００は、車両Ｖｅの室内に設置された車載機１と、視線検知用カメラ２と、ステアリング（ハンドル）に設けられたタッチパッド３とを有する。操作システム１００は、タッチパッド３による車載機１への操作を好適に受け付ける。

【0025】

車載機１は、出発地から目的地までのルート案内を行うナビゲーション機能などを有し、ディスプレイ４４に地図などを表示する。車載機１は、タッチパッド３と有線又は無線により電気的に接続し、ユーザのタッチ位置を示す検出信号（「検出信号Ｓｄ」とも呼ぶ。）を受信する。また、車載機１は、視線検知カメラ２と有線又は無線により電気的に接続し、視線検知用カメラ２から画像（「カメラ画像Ｉｍ」とも呼ぶ。）を受信する。

【0026】

車載機１は、所定のタイミングにおいて、タッチパッド３の操作により選択可能な複数の選択項目（「選択項目Ｓｉ」とも呼ぶ。）をディスプレイ４４上に表示し、タッチパッド３から受信した検出信号Ｓｄに基づき、表示した選択項目Ｓｉのうちいずれが選択されたかを認識し、選択された選択項目Ｓｉに対応する動作を実行する。このとき、車載機１は、運転者の視線方向上の選択項目Ｓｉを特定し、特定した選択項目Ｓｉに対応するタッチパッド３の操作領域を大きくすることで操作性を向上させる。車載機１は、例えば、車両Ｖｅに設置される据え置き型のナビゲーション装置であってもよく、ＰＮＤ（Ｐｏｒｔａｂｌｅ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）などの携帯型端末であってもよい。車載機１及び後述するタッチパッド３は、本発明における「操作装置」の一例である。

【0027】

視線検知カメラ２は、運転者の顔が撮影範囲となる位置に設置され、生成したカメラ画像Ｉｍを車載機２へ送信する。視線検知用カメラ２は、可視光を捉える一般的なカメラであってもよく、ＬＥＤ照射機能がついた赤外線カメラであってもよい。カメラ画像Ｉｍは、運転者の視線方向を検出するのに用いられる。

【0028】

タッチパッド３（ステアリングリモコン）は、車両Ｖｅのステアリング（ハンドル）に設けられた操作用インタフェースであり、車載機２と電気的に接続している。タッチパッド３は、図４に図示するタッチ位置検出装置６を有し、ユーザのタッチ位置を検出する。タッチパッド３は、検出したタッチ位置の座標（「タッチ座標」とも呼ぶ。）を示す検出信号Ｓｄを生成し、車載機１に供給する。本実施例では、タッチパッド３は、ディスプレイ４４に表示された選択項目Ｓｉを選択する操作を受け付ける。以後では、選択項目Ｓｉを選択する操作を受け付けるタッチパッド３の検出領域を「操作領域Ｔ」と呼び、対応付けられた選択項目Ｓｉごとに操作領域を分割した場合の分割領域の各々を「分割操作領域Ｔｄ」とも呼ぶ。後述するように、各選択項目Ｓｉに対応する分割操作領域Ｔｄの大きさは、運転者が視線を向けた選択項目Ｓｉによって変動する。なお、タッチパッド３は本発明における「操作部」の一例、操作領域Ｔは本発明における「操作領域」の一例、選択項目Ｓｉは「操作対象」の一例である。

【0029】

図２は、車載機１のディスプレイ４４の表示画面の一例である。図２の表示画面では、車載機１は、現在位置周辺の地図を表示させると共に、４つの選択項目Ｓｉ（Ｓｉ１〜Ｓｉ４）を示したウィンドウ８をポップアップ表示させている。この例では、車載機１は、所定のタイミングで自動選択したお薦めの４つの楽曲のそれぞれに対応した選択項目Ｓｉ１〜Ｓｉ４を、ウィンドウ８上に表示させている。なお、図２の例では、選択項目Ｓｉ１〜Ｓｉ４は、同一形状の枠により区切られて表示されている。この場合、車載機１は、タッチパッド３から供給される検出信号Ｓｄに基づきタッチ位置を認識し、認識したタッチ位置が属する分割操作領域Ｔｄに対応する選択項目Ｓｉの楽曲を再生させる。この場合、後述するように、車載機１は、カメラ画像Ｉｍに基づき認識した運転者の視線方向に応じ、各分割操作領域Ｔｄの大きさを決定する。

【0030】

［車載機の構成］
図３は、車載機１が一般的なナビゲーション装置である場合の車載機１の概略構成を示す。図３に示すように、車載機１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０及び入力装置６０を備える。

【0031】

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

【0032】

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。

【0033】

システムコントローラ２０は、インタフェース２１、ＣＰＵ２２、ＲＯＭ２３及びＲＡＭ２４を含んでおり、車載機１全体の制御を行う。

【0034】

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

【0035】

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。

【0036】

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。

【0037】

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶する。通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース３７を介して、ＶＩＣＳ（登録商標、Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。

【0038】

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データを、ディスプレイなどの表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

【0039】

音声出力ユニット５０は、システムコントローラ２０の制御の下、ディスクドライブ３１、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

【0040】

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式である場合には、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

【0041】

なお、ＣＰＵ２２は、予めＲＯＭ２３などに記憶されたプログラムを実行することにより、本発明の「視線検知部」、「制御部」、「操作決定部」、及び本発明のプログラムを実行する「コンピュータ」として機能する。

【0042】

［操作検知処理］
次に、本実施例における操作検知処理について説明する。

【0043】

（１）機能ブロック
図４は、操作システム１００の操作検知処理に係る機能ブロック図を示す。図示のように、車載機１のＣＰＵ２２は、機能的には、視線検知部５Ａと、タッチパッド領域分割決定部５Ｂと、動作決定部５Ｃとを有する。

【0044】

視線検知部５Ａは、車載機１が視線検知用カメラ２から受信したカメラ画像Ｉｍを公知の視線認識技術に基づき解析することで、運転者の視線を検出する。この場合、視線検知部５Ａは、例えば、カメラ画像Ｉｍから公知の画像認識技術に基づき運転者の顔及び目の表示領域を抽出し、抽出した領域から虹彩、瞳孔、又は／及び角膜反射の位置を検出することで、運転者の視線方向を特定する。視線検知部５Ａは、特定した運転者の視線方向に関する情報（「視線情報Ｉｅ」とも呼ぶ。）を、タッチパッド領域分割決定部５Ｂへ供給する。

【0045】

タッチパッド領域分割決定部５Ｂは、運転者が選択する選択項目Ｓｉ及び押圧する分割操作領域Ｔｄを視線情報Ｉｅに基づき予測し、予測結果に応じて各選択項目Ｓｉに対応する分割操作領域Ｔｄの範囲を決定する。本実施例では、タッチパッド領域分割決定部５Ｂは、運転者がディスプレイ４４に視線を向けてからディスプレイ４４から視線をそらすまでの期間（「ディスプレイ注視期間」とも呼ぶ。）において、所定時間（例えば１００ミリ秒）以上継続して視線が向けられた選択項目Ｓｉが存在する場合に、当該選択項目Ｓｉに対応する分割操作領域Ｔｄを運転者が選択すると予測する。上述の所定時間は、視線を横切らせた場合に視線が選択項目Ｓｉを通過する時間よりも長い時間に、実験等に基づき設定される。このように、タッチパッド領域分割決定部５Ｂは、上述の所定時間を閾値として設けることで、単に視線を横切らせた場合に視線が通過した選択項目Ｓｉに対応する分割操作領域Ｔｄを、予測対象から好適に除外する。

【0046】

なお、タッチパッド領域分割決定部５Ｂは、ディスプレイ注視期間中に複数の選択項目Ｓｉが所定時間以上視線を向けられたと判断した場合には、最後に所定時間以上視線を向けられた選択項目Ｓｉに対応する分割操作領域Ｔｄを、運転者が選択すると予測する。一般的に、複数の選択項目Ｓｉから１つの選択項目Ｓｉを選択する場合、次に選択する選択項目Ｓｉを最後に注視する傾向がある。よって、タッチパッド領域分割決定部５Ｂは、この態様により、運転者が選択すると予測される分割操作領域Ｔｄを的確に予測することができる。

【0047】

そして、タッチパッド領域分割決定部５Ｂは、運転者が選択すると予測した選択項目Ｓｉに対応する分割操作領域Ｔｄを大きくするように、操作領域Ｔの分割設定を行う。そして、タッチパッド領域分割決定部５Ｂは、操作領域Ｔの分割設定に関する情報（「分割設定情報Ｉｓ」とも呼ぶ。）を動作決定部５Ｃに供給する。

【0048】

ここで、分割操作領域Ｔｄの範囲の決定方法について、図５を参照して説明する。図５（Ａ）は、図２に示す４つの選択項目Ｓｉ１〜Ｓｉ４の表示が行われた際の初期状態におけるタッチパッド３での操作領域Ｔの分割設定を示す図である。ここでは、操作領域Ｔ内の各位置を示すタッチ座標は、左上隅を原点（０，０）とし、右下隅を（１０００，７００）とする矩形の２次元座標空間により表されている。また、左上の分割操作領域Ｔｄ１は、図２の左上の選択項目Ｓｉ１「１．ＸＸＸＸＸＸ」に対応し、右上の分割操作領域Ｔｄ２は、図２の右上の選択項目Ｓｉ２「２．ＹＹＹＹＹＹ」に対応し、左下の分割操作領域Ｔｄ３は、図２の左下の選択項目Ｓｉ３「３．ＺＺＺＺＺＺ」に対応し、右下の分割操作領域Ｔｄ４は、図２の右下の選択項目Ｓｉ４「４．ＶＶＶＶＶＶ」に対応する。

【0049】

図５（Ａ）に示すように、初期状態における各分割操作領域Ｔｄ１〜Ｔｄ４は、全て合同であり、面積が等しい。具体的には、各分割操作領域Ｔｄ１〜Ｔｄ４は、全て横幅が「５００」、縦幅が「３５０」の矩形領域となっている。

【0050】

図５（Ｂ）は、運転者がディスプレイ注視期間において、図２の選択項目Ｓｉ１を２００ミリ秒、選択項目Ｓｉ２を２００ミリ秒、選択項目Ｓｉ４を２０ミリ秒だけ視線を順に向けた場合の各分割操作領域Ｔｄの割り当てを示す図である。この場合、タッチパッド領域分割決定部５Ｂは、所定時間（ここでは１００ミリ秒とする）以上視線が向けられた選択項目Ｓｉ１、Ｓｉ２のうち、最後に所定時間以上視線が向けられた選択項目Ｓｉ２に対応する分割操作領域Ｔｄ２が選択されると予測する。よって、図５（Ｂ）の例では、タッチパッド領域分割決定部５Ｂは、分割操作領域Ｔｄ２を、縦横ともに「１００」だけ初期状態よりも拡大させている。また、タッチパッド領域分割決定部５Ｂは、分割操作領域Ｔｄ２の拡大に伴い、他の分割操作領域Ｔｄである分割操作領域Ｔｄ１、Ｔｄ３、Ｔｄ４を、分割操作領域Ｔｄ２の拡大領域と重なる領域分だけ減少させている。図５（Ｂ）では、分割操作領域Ｔｄ１は横幅が「１００」だけ初期状態よりも減少し、分割操作領域Ｔｄ４は縦幅が「１００」だけ初期状態よりも減少し、分割操作領域Ｔｄ３は右上隅の縦横「１００」の矩形領域分だけ初期状態よりも減少している。

【0051】

次に、再び図４を参照して動作決定部５Ｃについて説明する。動作決定部５Ｃは、タッチパッド領域分割決定部５Ｂが生成した分割設定情報Ｉｓと、タッチパッド３のタッチ位置検出装置６が生成する検出信号Ｓｄとに基づき、選択された分割操作領域Ｔｄを特定する。そして、動作決定部５Ｃは、特定した分割操作領域Ｔｄに対応する選択項目Ｓｉが選択されたと判断し、選択項目Ｓｉに対応する動作を実行するように、表示ユニット４０や音声出力ユニット５０を制御する。具体的には、動作決定部５Ｃは、タッチ位置検出装置６が生成する検出信号Ｓｄをタッチパッド３から受信した場合に、検出信号Ｓｄが示すタッチ座標が属する分割操作領域Ｔｄを、分割設定情報Ｉｓを参照することで特定する。そして、動作決定部５Ｃは、検出信号Ｓｄが示すタッチ座標が属する分割操作領域Ｔｄに対応する選択項目Ｓｉを、実行対象として認識する。

【0052】

好適には、動作決定部５Ｃは、タッチパッド領域分割決定部５Ｂが分割設定情報Ｉｓを生成してから所定時間（例えば５秒）以上経過しても検出信号Ｓｄを受信しない場合には、操作領域Ｔの分割設定を、図５（Ａ）に示す初期状態に戻すとよい。これにより、動作決定部５Ｃは、操作と関連しない運転者のディスプレイ４４への注視が行われた場合であっても、操作領域Ｔの分割設定を初期設定に戻し、操作の誤検知を好適に防ぐことができる。

【0053】

（２）処理フロー
図６は、本実施例に係る操作検知処理の手順を示すフローチャートである。車載機１は、図６に示すフローチャートの処理を、システムの起動後であって、図２に示すような選択項目Ｓｉの選択画面を表示した場合に実行する。

【0054】

まず、車載機１のタッチパッド領域分割決定部５Ｂは、各分割操作領域Ｔｄの範囲を定める操作領域Ｔの分割設定を、図５（Ａ）に示す初期設定にする（ステップＳ１０１）。次に、車載機１の視線検知部５Ａは、カメラ画像Ｉｍを視線検知用カメラ２から取得する（ステップＳ１０２）。そして、視線検知部５Ａは、カメラ画像Ｉｍを公知の視線認識技術により解析することで、運転者の視線を検知する（ステップＳ１０３）。この場合、視線検知部５Ａは、例えば、車両Ｖｅ内での運転者の目の位置及び視線方向を算出し、これらの情報を視線情報Ｉｅとしてタッチパッド領域分割決定部５Ｂへ供給する。

【0055】

次に、タッチパッド領域分割決定部５Ｂは、ステップＳ１０３で視線検知部５Ａが検出した視線がディスプレイ４４に向けられているか否か判定する（ステップＳ１０４）。この場合、タッチパッド領域分割決定部５Ｂは、例えば、視線情報Ｉｅと、予め記憶した車両Ｖｅ内での車載機１の設置位置の情報及びディスプレイ４４の車載機１内での配置の情報とに基づき、視線方向上にディスプレイ４４が存在するか否か判定する。そして、タッチパッド領域分割決定部５Ｂは、視線がディスプレイ４４に向けられていると判断した場合（ステップＳ１０４；Ｙｅｓ）、ディスプレイ４４上での各選択項目Ｓｉの表示位置の情報に基づき、視線が向けられたディスプレイ４４上の選択項目Ｓｉを特定する（ステップＳ１０５）。そして、ステップＳ１０２へ処理を戻す。このように、タッチパッド領域分割決定部５Ｂは、ディスプレイ注視期間では、視線が向けられた選択項目Ｓｉを特定する処理を繰り返し実行し、ディスプレイ注視期間での視線先の選択項目Ｓｉについての時系列情報を蓄積する。

【0056】

一方、タッチパッド領域分割決定部５Ｂは、視線がディスプレイ４４に向けられていないと判断した場合（ステップＳ１０４；Ｎｏ）、ディスプレイ注視期間が終了したと判断し、当該ディスプレイ注視期間中にステップＳ１０５で蓄積した情報に基づき、選択される分割操作領域Ｔｄの予測を行う（ステップＳ１０６）。具体的には、タッチパッド領域分割決定部５Ｂは、ディスプレイ注視期間中に所定時間以上視線が向けられた選択項目Ｓｉのうち最後に視線が所定時間以上向けられた選択項目Ｓｉに対応する分割操作領域Ｔｄを、運転者が押圧する分割操作領域Ｔｄとして予測する。これにより、タッチパッド領域分割決定部５Ｂは、分割操作領域Ｔｄを押圧する前に最後に注視した選択項目Ｓｉに対応する分割操作領域Ｔｄを、運転者が押圧する分割操作領域Ｔｄとして予測する。

【0057】

次に、タッチパッド領域分割決定部５Ｂは、運転者が押圧する分割操作領域Ｔｄを予測できたか否か判定する（ステップＳ１０７）。即ち、タッチパッド領域分割決定部５Ｂは、ディスプレイ注視期間中に所定時間以上視線が向けられた選択項目Ｓｉが存在したか否か判定する。そして、タッチパッド領域分割決定部５Ｂは、運転者が押圧する分割操作領域Ｔｄを予測できた場合（ステップＳ１０７；Ｙｅｓ）、押圧が予測される分割操作領域Ｔｄを拡大した操作領域Ｔの分割設定を行う（ステップＳ１０８）。そして、タッチパッド領域分割決定部５Ｂは、ステップＳ１０８での設定内容を示す分割設定情報Ｉｓを動作決定部５Ｃへ供給する。これにより、押圧が予測される分割操作領域Ｔｄを選択しやすくし、運転者が運転操作によりタッチパッド３を注視できない状態でタッチパッド３を操作する場合であっても、操作の誤検知を好適に抑制することができる。

【0058】

なお、タッチパッド領域分割決定部５Ｂは、ステップＳ１０８の処理を、運転者がタッチパッド３へ視線を向けたと判断したときに実行してもよい。このように、タッチパッド領域分割決定部５Ｂは、運転者がタッチパッド３を今から操作すると判断できた状況に限り、押圧が予測される分割操作領域Ｔｄを拡大した操作領域Ｔの分割設定を行ってもよい。

【0059】

一方、タッチパッド領域分割決定部５Ｂは、運転者が押圧する分割操作領域Ｔｄを予測できない場合（ステップＳ１０７；Ｎｏ）、直近のディスプレイ注視期間ではいずれの選択項目Ｓｉも注視されていないと判断し、ステップＳ１０２へ処理を戻す。

【0060】

ステップＳ１０８での操作領域Ｔの分割設定後、動作決定部５Ｃは、タッチパッド３がタッチ検出したか否か判定する（ステップＳ１０９）。具体的には、動作決定部５Ｃは、タッチパッド３から車載機１が検出信号Ｓｄを受信したか否か判定する。そして、動作決定部５Ｃは、タッチパッド３によるタッチ検出があった場合（ステップＳ１０９；Ｙｅｓ）、検出信号Ｓｄに基づきタッチ位置（即ちタッチ座標）を特定する（ステップＳ１１０）。そして、動作決定部５Ｃは、分割設定情報Ｉｓを参照することで、ステップＳ１１０で特定したタッチ座標が属する分割操作領域Ｔｄを特定し、特定した分割操作領域Ｔｄに対応する選択項目Ｓｉを、実行すべき選択項目Ｓｉとして決定する（ステップＳ１１１）。そして、動作決定部５Ｃは、表示ユニット４０や音声出力ユニット５０を制御することで、ステップＳ１１１で決定した選択項目Ｓｉに応じた動作の実行を行う（ステップＳ１１２）。

【0061】

一方、動作決定部５Ｃは、タッチ検出が行われていないと判断した場合（ステップＳ１０９；Ｎｏ）、ステップＳ１０８での操作領域Ｔの分割設定後から５秒以上経過したか否か判定する（ステップＳ１１３）。そして、動作決定部５Ｃは、ステップＳ１０８での操作領域Ｔの分割設定後から５秒以上経過したと判断した場合（ステップＳ１１３；Ｙｅｓ）、操作領域Ｔの分割設定を初期設定に戻す（ステップＳ１１４）。即ち、この場合、動作決定部５Ｃは、直前のディスプレイ注視期間で検出した視線に連動したタッチパッド３の操作は行われなかったと判断する。この場合、ステップＳ１０２へ再び処理を戻す。一方、動作決定部５Ｃは、ステップＳ１０８での操作領域Ｔの分割設定後から５秒以上経過していない場合（ステップＳ１１３；Ｎｏ）、直前のディスプレイ注視期間で検出した視線に連動したタッチパッド３の操作が行われる可能性があると判断し、ステップＳ１０９で引き続きタッチパッド３によるタッチ検出を行う。

【0062】

以上説明したように、本実施例に係る車載機１は、タッチパッド３を操作する操作者の視線を検知し、ディスプレイ４４に表示される複数の選択項目Ｓｉのうち、操作者の視線が所定時間以上向けられた選択項目Ｓｉを、操作候補であると推定する。そして、車載機１は、推定した操作候補に対応する分割操作領域Ｔｄの面積を初期設定から変更する。これにより、車載機１は、操作者が運転中であってタッチパッド３を注視できない状況であっても、操作者の意図する選択項目Ｓｉに対する動作を好適に実行することができる。

【0063】

［変形例］
以下、実施例の各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。

【0064】

（変形例１）
車載機１は、図６のステップＳ１１１において、実行すべき選択項目Ｓｉを決定する場合、ステップＳ１０８で拡大させた分割操作領域Ｔｄ以外の分割操作領域Ｔｄへのタッチ操作を無効（即ち操作不能）に設定してもよい。即ち、この場合、車載機１は、ステップＳ１１０において、押圧が予測される分割操作領域Ｔｄ以外の分割操作領域Ｔｄ内のタッチ位置を検出した場合であっても、当該分割操作領域Ｔｄに対応する選択項目Ｓｉに応じた動作を実行しない。これにより、車載機１は、タッチパッド３への操作の誤検知をより確実に抑制することができる。

【0065】

（変形例２）
タッチパッド３は、選択項目Ｓｉを選択する用途に限定されない。これに加えて、タッチパッド３は、ディスプレイ４４に表示された地図の拡大、縮小、スクロール等の各種操作を受け付けるものであってもよい。

【0066】

この場合、例えば、車載機１は、所定圧力以上で押圧されたことをタッチパッド３が検知した場合に限り、選択項目Ｓｉを選択する操作（入力）が行われたと判断し、上記の所定圧力未満での接触をタッチパッド３が検知した場合には、ディスプレイ４４に表示した地図に対する操作であると判断する。この場合、検出信号Ｓｄには、タッチ位置の座標情報に加えて、接触圧力の情報が含まれており、車載機１は、検出信号Ｓｄに基づきタッチパッド３への接触圧力が所定圧力以上であるか否かの判定を行う。このようにすることで、車載機１は、地図に対する操作と、選択項目Ｓｉの選択に関する操作との両方を好適にタッチパッド３により受け付けることができる。

【0067】

好適には、車載機１は、所定圧力未満でのタッチパッド３へのタッチ操作が行われたと判断した場合、即ち地図に対する操作が行われたと判断した場合には、操作領域Ｔの分割設定を初期設定に戻すとよい。これにより、選択項目Ｓｉを選択する意思が運転者にない場合に、操作領域Ｔの分割設定を初期設定に戻すことができる。

【0068】

なお、車載機１は、タッチパッド３への押圧圧力に基づき地図に対する操作と選択項目Ｓｉの選択に関する操作とを識別する代わりに、タッチパッド３への接触時間又は接触回数等に基づき、これらの操作を識別してもよい。例えば、車載機１は、タッチパッド３への接触時間が所定時間未満となる接触を検知した場合、又は短時間で複数回の接触を検知した場合には、選択項目Ｓｉの選択に関する操作であると判定する。一方、車載機１は、タッチパッド３への接触時間が所定時間以上となる接触を検知した場合、又は短時間での連続接触を検知しない場合には、地図に対する操作であると判定する。このように、車載機１は、タッチパッド３への接触時間又は接触回数等によっても、地図に対する操作と選択項目Ｓｉの選択に関する操作とを好適に識別することができる。

【0069】

（変形例３）
図６のステップＳ１０７において、車載機１は、押圧される分割操作領域Ｔｄが予測できた場合には、当該分割操作領域Ｔｄに対応するディスプレイ４４上の選択項目Ｓｉを強調表示させてもよい。

【0070】

図７は、本変形例に係るディスプレイ４４の表示例を示す。図７の例では、選択項目Ｓｉ２に運転者の視線が向けられた結果、車載機１は、対応する図５（Ｂ）に示す分割操作領域Ｔｄ２が押圧されると予測し、当該分割操作領域Ｔｄ２が拡大するように操作領域Ｔの分割設定を行っている。この場合、車載機１は、押圧されると予測した分割操作領域Ｔｄ２に対応する選択項目Ｓｉ２を拡大表示すると共に縁取り効果を施すことで、強調している。この態様によれば、運転者は、車載機１による予測結果を視覚的に確認することができる。例えば、運転者は、選択しようとした選択項目Ｓｉと異なる選択項目Ｓｉが強調表示されていた場合には、図６のステップＳ１１３に基づき５秒経過してから再び意中の選択項目Ｓｉに視線を向けることで、誤操作を防ぐことができる。

【0071】

（変形例４）
実施例では、選択項目Ｓｉ及び分割操作領域Ｔｄはそれぞれ４つであった。しかし、本発明に適用可能な選択項目Ｓｉ及び分割操作領域Ｔｄの個数は４つに限られず、２以上の任意の数であればよい。また選択項目Ｓｉ及び分割領域Ｔｄの配置についても、実施例に限られるものではなく２以上の任意の数があればどのような配置であってもよい。この場合であっても、各選択領域Ｓｉは、いずれかの分割操作領域Ｔｄと対応関係を有する。

【符号の説明】

【0072】

１ 車載機
２ 視線検知カメラ
３ タッチパッド
５Ａ 視線検知部
５Ｂ タッチパッド領域分割決定部
５Ｃ 動作決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】