IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機モビリティ株式会社の特許一覧

<>
  • 特許-表示制御装置及び表示制御方法 図1
  • 特許-表示制御装置及び表示制御方法 図2
  • 特許-表示制御装置及び表示制御方法 図3
  • 特許-表示制御装置及び表示制御方法 図4
  • 特許-表示制御装置及び表示制御方法 図5
  • 特許-表示制御装置及び表示制御方法 図6
  • 特許-表示制御装置及び表示制御方法 図7
  • 特許-表示制御装置及び表示制御方法 図8
  • 特許-表示制御装置及び表示制御方法 図9
  • 特許-表示制御装置及び表示制御方法 図10
  • 特許-表示制御装置及び表示制御方法 図11
  • 特許-表示制御装置及び表示制御方法 図12
  • 特許-表示制御装置及び表示制御方法 図13
  • 特許-表示制御装置及び表示制御方法 図14
  • 特許-表示制御装置及び表示制御方法 図15
  • 特許-表示制御装置及び表示制御方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-26
(45)【発行日】2025-01-10
(54)【発明の名称】表示制御装置及び表示制御方法
(51)【国際特許分類】
   G06F 3/04847 20220101AFI20241227BHJP
   G06F 3/01 20060101ALI20241227BHJP
   G06F 3/0346 20130101ALI20241227BHJP
   G06F 3/0362 20130101ALI20241227BHJP
   G06F 3/038 20130101ALI20241227BHJP
【FI】
G06F3/04847
G06F3/01 510
G06F3/0346 422
G06F3/0362 461
G06F3/038 310A
【請求項の数】 8
(21)【出願番号】P 2022529131
(86)(22)【出願日】2020-06-01
(86)【国際出願番号】 JP2020021565
(87)【国際公開番号】W WO2021245729
(87)【国際公開日】2021-12-09
【審査請求日】2022-05-16
【審判番号】
【審判請求日】2023-11-10
(73)【特許権者】
【識別番号】324003048
【氏名又は名称】三菱電機モビリティ株式会社
(74)【代理人】
【識別番号】100088672
【弁理士】
【氏名又は名称】吉竹 英俊
(74)【代理人】
【識別番号】100088845
【弁理士】
【氏名又は名称】有田 貴弘
(72)【発明者】
【氏名】西川 泰浩
【合議体】
【審判長】篠塚 隆
【審判官】富澤 哲生
【審判官】北元 健太
(56)【参考文献】
【文献】特開2016-157220(JP,A)
【文献】特開2019-168837(JP,A)
【文献】特開2002-169639(JP,A)
【文献】特開2002-132248(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01,3/048-3/04895
(57)【特許請求の範囲】
【請求項1】
表示装置を制御する表示制御装置であって、
前記表示装置で表示される画像に用いられるパラメータを変更する変更操作をユーザから取得し、かつ、前記ユーザの視線を取得する取得部と、
前記視線が前記表示装置の前記画像に向いているか否かを判定する視線判定の結果に基づいて、前記変更操作の単位である操作単位あたりの前記パラメータの変更を制御する制御部と
を備え、
前記取得部が前記変更操作を取得開始した時点から予め定められた期間の間、前記視線判定の結果に関わらず、前記操作単位あたりの前記パラメータの変更は一定である、表示制御装置。
【請求項2】
請求項1に記載の表示制御装置であって、
前記制御部は、
前記視線判定の結果と、前記変更操作の速度が予め定められた閾値以上であるか否かを判定する速度判定の結果とに基づいて、前記操作単位あたりの前記パラメータの変更を制御する、表示制御装置。
【請求項3】
請求項1に記載の表示制御装置であって、
前記視線判定は、予め定められた期間内の複数の時点で行われ、
前記制御部は、
前記予め定められた期間内における、前記視線が前記画像に向いていると判定された回数、及び、前記視線が前記画像に向いていないと判定された回数に基づいて、前記操作単位あたりの前記パラメータの変更を制御する、表示制御装置。
【請求項4】
請求項1に記載の表示制御装置であって、
前記制御部は、
前記視線が前記画像に向いていないと判定され、かつ、前記取得部が前記変更操作を取得した場合に、前記表示装置で表示されている前記画像の変更に基づいて音声出力装置に音声出力させる制御を行う、表示制御装置。
【請求項5】
請求項に記載の表示制御装置であって、
前記視線が前記画像に向いておらず、かつ、前記変更操作の速度が前記閾値以上であると判定された場合の前記操作単位あたりの前記パラメータの変更は、前記視線が前記画像に向いておらず、かつ、前記変更操作の速度が前記閾値以上であると判定されなかった場合の前記操作単位あたりの前記パラメータの変更よりも大きい、表示制御装置。
【請求項6】
請求項に記載の表示制御装置であって、
前記速度判定は、予め定められた期間内の複数の時点で行われ、
前記制御部は、
前記予め定められた期間内における、前記変更操作の速度が前記閾値以上であると判定された回数、及び、前記変更操作の速度が前記閾値より小さいと判定された回数に基づいて、前記操作単位あたりの前記パラメータの変更を制御する、表示制御装置。
【請求項7】
請求項に記載の表示制御装置であって、
前記視線判定及び前記速度判定は、予め定められた期間内の複数の時点で行われ、
前記制御部は、
前記予め定められた期間内における、前記視線が前記画像に向いているという判定結果、及び、前記視線が前記画像に向いていないという判定結果のいずれかと、前記変更操作の速度が前記閾値以上であるという判定結果、及び、前記変更操作の速度が前記閾値より小さいという判定結果のいずれかと、の組み合わせの時系列のパターンに基づいて、前記操作単位あたりの前記パラメータの変更を制御する、表示制御装置。
【請求項8】
表示装置を制御する表示制御方法であって、
前記表示装置で表示される画像に用いられるパラメータを変更する変更操作をユーザから取得し、かつ、前記ユーザの視線を取得し、
前記視線が前記表示装置の前記画像に向いているか否かを判定する視線判定の結果に基づいて、前記変更操作の単位である操作単位あたりの前記パラメータの変更を制御し、
前記変更操作を取得開始した時点から予め定められた期間の間、前記視線判定の結果に関わらず、前記操作単位あたりの前記パラメータの変更は一定である、表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置及び表示制御方法に関する。
【背景技術】
【0002】
ナビゲーション装置などの表示制御装置では、表示装置に表示される地図の位置やラジオの周波数などに、装置内部のパラメータが用いられる。このような表示制御装置が、パラメータを変更する変更操作を受け付けると、パラメータの変更が行われ、その結果として地図の移動や周波数の増減などが行われる。一方、例えば特許文献1の技術では、表示装置に視線が向けられているか否かに基づいてスクロール表示のスクロール速度を変更するデジタルサイネージが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-167681号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、変更操作の単位である操作単位あたりのパラメータの変更は一定であるため、操作単位あたりの地図の移動及び周波数の増減は一定である。しかしながら、実運用上、ユーザは、操作単位あたりのパラメータの変更を小さくして、操作単位あたりの地図の移動及び周波数の増減を小さくすることを望む場合がある。逆に、ユーザは、操作単位あたりのパラメータの変更を大きくして、操作単位あたりの地図の移動及び周波数の増減を大きくすることを望む場合がある。
【0005】
そこで、本開示は、上記のような問題点を鑑みてなされたものであり、操作単位あたりのパラメータの変更を適切に制御可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る表示制御装置は、表示装置を制御する表示制御装置であって、表示装置で表示される画像に用いられるパラメータを変更する変更操作をユーザから取得し、かつ、ユーザの視線を取得する取得部と、視線が表示装置の画像に向いているか否かを判定する視線判定の結果に基づいて、変更操作の単位である操作単位あたりのパラメータの変更を制御する制御部とを備える。変更操作を取得開始した時点から予め定められた期間の間、視線判定の結果に関わらず、操作単位あたりのパラメータの変更は一定である。

【発明の効果】
【0007】
本開示によれば、視線が表示装置の画像に向いているか否かを判定する視線判定の結果に基づいて、変更操作の単位である操作単位あたりのパラメータの変更を制御するので、操作単位あたりのパラメータの変更を適切に制御することができる。
【0008】
本開示の目的、特徴、局面及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
【図面の簡単な説明】
【0009】
図1】実施の形態1に係る表示制御装置の構成を示すブロック図である。
図2】実施の形態1に係る表示制御装置の動作を示すフローチャートである。
図3】実施の形態2に係る表示制御装置の構成を示すブロック図である。
図4】実施の形態2に係るロータリスイッチを示す概要図である。
図5】実施の形態2に係る表示制御装置による変更制御を説明するための図である。
図6】実施の形態2に係る表示制御装置によるパラメータの変更を説明するための図である。
図7】実施の形態2に係る表示制御装置の動作を示すフローチャートである。
図8】視線判定及び速度判定の判定結果の一例を示す図である。
図9】実施の形態3に係る表示制御装置による変更制御を説明するための図である。
図10】実施の形態3に係る表示制御装置による変更制御を説明するための図である。
図11】実施の形態3に係る表示制御装置による変更制御を説明するための図である。
図12】実施の形態3に係る表示制御装置による変更制御を説明するための図である。
図13】その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。
図14】その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。
図15】その他の変形例に係るサーバの構成を示すブロック図である。
図16】その他の変形例に係る通信端末の構成を示すブロック図である。
【発明を実施するための形態】
【0010】
<実施の形態1>
図1は、本実施の形態1に係る表示制御装置1の構成を示すブロック図である。図1の表示制御装置1は、表示装置51と有線または無線によって接続されている。
【0011】
表示装置51は、表示制御装置1の制御によって、各種画像を表示する。以下、表示装置51に表示される画像を「表示画像」と記すこともある。表示装置51は、例えば液晶表示装置、ヘッドアップディスプレイ(HUD)などである。表示装置51は、表示制御装置1に備えられてもよいし、表示制御装置1に備えられなくてもよい。また、表示装置51及び表示制御装置1は、車両に搭載されていてもよいし、車両に搭載されていなくてもよい。
【0012】
図1の表示制御装置1は、取得部11と、制御部12とを備える。
【0013】
取得部11は、表示画像に用いられるパラメータを変更する変更操作をユーザから取得する。例えば、表示画像が地図である場合、変更操作によって変更されるパラメータには、地図の移動に用いられるパラメータが含まれる。例えば、表示画像がアルファベット順に並べられた施設や住所の名称である場合、変更操作によって変更されるパラメータには、名称の移動(変更)に用いられるパラメータが含まれる。例えば、表示画像がラジオの周波数である場合、変更操作によって変更されるパラメータには、周波数の変更に用いられるパラメータが含まれる。
【0014】
取得部11の変更操作を取得する機能には、例えばタッチパネル、ロータリスイッチ、及び、これらのインターフェースなどが用いられる。例えば、取得部11にタッチパネルが用いられる場合には、タッチパネルへのフリックなどのスクロール操作が、変更操作として用いられる。例えば、取得部11にロータリスイッチが用いられる場合には、ロータリスイッチを回転する操作が、変更操作として用いられる。
【0015】
取得部11は、ユーザの視線を取得する。取得部11の視線を取得する機能には、例えばユーザの顔画像を撮像するカメラ、当該顔画像に画像認識処理を行うことによってユーザの視線を取得する画像認識装置、及び、これらのユーザインターフェースなどが用いられる。
【0016】
制御部12は、取得部11で取得された視線が表示装置51の表示画像に向いているか否かを判定する視線判定を行う。また、制御部12は、視線判定の結果に基づいて、変更操作の単位である操作単位あたりのパラメータの変更を制御する。例えば、制御部12は、視線が表示画像に向いている場合には、操作単位あたりのパラメータの変更に、通常変更A1を設定し、視線が表示画像に向いていない場合には、操作単位あたりのパラメータの変更に、通常変更A1よりも大きいスキップ変更A2を設定する。
【0017】
制御部12は、取得部11で取得された変更操作と、操作単位あたりのパラメータの変更とに基づいてパラメータを変更する。例えば、取得部11で取得された変更操作が操作単位のB倍であり、かつ、操作単位あたりのパラメータの変更として通常変更A1が設定されている場合には、制御部12は、パラメータをA1×Bだけ変更する。例えば、取得部11で取得された変更操作が操作単位のB倍であり、かつ、操作単位あたりのパラメータの変更としてスキップ変更A2が設定されている場合には、制御部12は、パラメータをA2×Bだけ変更する。制御部12がパラメータを変更すると、表示装置51で表示されている表示画像の変更、例えば地図の移動などが行われる。
【0018】
<動作>
図2は、本実施の形態1に係る表示制御装置1の動作を示すフローチャートである。
【0019】
まずステップS1にて、取得部11は、変更操作と、ユーザの視線とを取得する。
【0020】
ステップS2にて、制御部12は、取得部11で取得された視線が表示装置51の表示画像に向いているか否かを判定する視線判定を行う。視線が表示装置51の表示画像に向いていると判定された場合には、処理がステップS3に進み、視線が表示装置51の表示画像に向いていないと判定された場合には、処理がステップS4に進む。
【0021】
ステップS3にて、制御部12は、操作単位あたりのパラメータの変更に、通常変更を設定する。その後、処理がステップS5に進む。
【0022】
ステップS4にて、制御部12は、操作単位あたりのパラメータの変更に、スキップ変更を設定する。その後、処理がステップS5に進む。
【0023】
ステップS5にて、制御部12は、取得部11で取得された変更操作と、操作単位あたりのパラメータの変更とに基づいてパラメータを変更する。その後、図2の動作が終了する。
【0024】
<実施の形態1のまとめ>
以上のような本実施の形態1に係る表示制御装置1によれば、視線が表示装置の表示画像に向いているか否かを判定する視線判定の結果に基づいて、操作単位あたりのパラメータの変更を制御する。このような構成によれば、変更操作の操作量が同じであっても、視線が表示装置51の表示画像に向いていない場合におけるパラメータの変更を、視線が表示装置51の表示画像に向いている場合におけるパラメータの変更よりも大きくすることができる。
【0025】
例えば、ユーザは、表示装置51に表示されている地図を大きく移動しようとする場合に、視線を地図から外してスクロール操作を行えば、スクロール操作の操作単位あたりの地図の移動を大きくすることができる。このため、スクロール操作を繰り返す回数や時間を減らすことができる。このことは、ユーザを運転に集中するように促すことができるなど、表示画像以外にユーザに注意を促す必要がある状況で用いられる装置に特に有効である。
【0026】
また例えば、ユーザは、表示装置51に表示されている地図を小さく移動しようとする場合に、視線を地図に向けながらスクロール操作を行えば、スクロール操作の操作単位あたりの地図の移動を小さくすることができる。このため、ユーザは、地図を見ながら繊細かつ丁寧な地図の移動を行うことができる。
【0027】
<実施の形態2>
図3は、本実施の形態2に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態2に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
【0028】
図3の表示制御装置1は、表示装置51だけでなく、ロータリスイッチ52と、カメラ53と有線または無線によって接続されている。表示装置51は、実施の形態1で説明した表示装置51と同様である。
【0029】
図4は、ロータリスイッチ52を示す概略図である。ロータリスイッチ52は、時計回り及び反時計回りに回転可能であり、自身を回転させる回転操作をユーザから受け付ける。図3のカメラ53は、ユーザの顔画像を撮像する。
【0030】
次に、表示制御装置1の構成について説明する。図3の表示制御装置1は、操作取得部11aと、視線取得部11bと、視線判定部12aと、速度判定部12bと、パラメータ変更部12cとを備える。なお、図3の操作取得部11a及び視線取得部11bは図1の取得部11の概念に含まれ、図3の視線判定部12a、速度判定部12b及びパラメータ変更部12cは図1の制御部12の概念に含まれる。
【0031】
操作取得部11aは、ロータリスイッチ52で受け付けた回転操作に基づいて変更操作を取得する。以下、操作取得部11aは、ロータリスイッチ52のサンプリング周期(例えば0.2秒)あたりに時計回りに10度だけロータリスイッチ52を回転させる回転操作を、正方向の操作単位(以下「単位」と略記することもある)の変更操作として取得するものとして説明する。このような構成によれば、例えば、サンプリング周期あたりに時計回りに90度だけ回転させる回転操作が受け付けられた場合、操作取得部11aは、当該回転操作に基づいて、正方向の9単位の変更操作を取得する。また例えば、サンプリング周期あたりに反時計回りに60度だけ回転させる回転操作が受け付けられた場合、操作取得部11aは、当該回転操作に基づいて、逆方向の6単位の変更操作を取得する。なお、操作単位の変更操作を規定する周期及び角度は上記に限ったものではない。
【0032】
視線取得部11bは、カメラ53で撮像された画像に画像認識処理を行うことによってユーザの視線を取得する。例えば、視線取得部11bは、顔画像の目全体に対する当該目の角膜の位置に基づいてユーザの視線を取得する。
【0033】
視線判定部12aは、視線取得部11bで取得された視線が表示装置51の表示画像に向いているか否かを判定する視線判定を行う。以下、視線判定部12aは、視線が表示画像に対応する範囲に含まれる場合には視線が表示画像に向いていると判定し、視線が当該範囲に含まれない場合には視線が表示画像に向いていないと判定するものとして説明する。ただし、視線判定はこれに限ったものではない。例えば、視線判定部12aは、視線が表示装置51の全画面に対応する範囲に含まれる場合には視線が表示画像に向いていると判定し、視線が当該範囲に含まれない場合には視線が表示画像に向いていないと判定してもよい。
【0034】
速度判定部12bは、操作取得部11aで取得された変更操作の速度が予め定められた閾値以上であるか否かを判定する速度判定を行う。以下、速度判定部12bは、サンプリング周期あたりに取得された変更操作が3単位の変更操作以上である場合には、速度が閾値以上であると判定し、当該変更操作が3単位の変更操作よりも小さい場合には、速度が閾値よりも小さいと判定するものとして説明する。ただし、速度の基準となる周期及び閾値は上記に限ったものではない。
【0035】
パラメータ変更部12cは、視線判定部12aによる視線判定の結果と、速度判定部12bによる速度判定の結果とに基づいて、操作単位あたりのパラメータの変更を制御する。
【0036】
図5は、本実施の形態2に係るパラメータ変更部12cによる、操作単位あたりのパラメータの変更制御を説明するための図である。
【0037】
本実施の形態2に係るパラメータ変更部12cは、視線が表示画像に向いておらず、かつ、変更操作の速度が閾値以上であると判定されなかった場合の操作単位あたりのパラメータの変更に、通常変更を設定する。つまり、(i)視線が表示画像に向いていて、かつ、変更操作の速度が閾値以上である場合、(ii)視線が表示画像に向いていて、かつ、変更操作の速度が閾値より小さい場合、(iii)視線が表示画像に向いておらず、かつ、変更操作の速度が閾値より小さい場合、のいずれかの場合には、操作単位あたりのパラメータの変更に、通常変更が設定される。
【0038】
一方、本実施の形態2に係るパラメータ変更部12cは、(iv)視線が表示画像に向いておらず、かつ、変更操作の速度が閾値以上であると判定された場合の操作単位あたりのパラメータの変更に、通常変更よりも大きいスキップ変更を設定する。以下では一例として、スキップ変更は、通常変更の2倍であるものとして説明する。
【0039】
図6は、パラメータ変更部12cによるパラメータの変更を説明するための図である。パラメータ変更部12cは、操作取得部11aで取得された変更操作と、操作単位あたりのパラメータの変更とに基づいてパラメータを変更する。
【0040】
例えば、図6の第1選択肢がカーソルの付加などによって選択候補となっているときに、ロータリスイッチ52がサンプリング周期あたりに時計周りに20度だけ回転された場合を想定する。この場合、操作取得部11aは2単位の変更操作を取得し、変更操作の速度は閾値より小さいと判定される。この場合には視線が表示画像に向いているか否かにかかわらず、図5の変更制御により、パラメータ変更部12cは、操作単位あたりのパラメータの変更に通常変更を設定するので、パラメータを2(=2×1)だけ変更する。この結果、図6の第1選択肢から2だけ移動した先にある第3選択肢が選択候補となる状態に遷移する。
【0041】
例えば、図6の第1選択肢がカーソルの付加などによって選択候補となっているときに、ロータリスイッチ52がサンプリング周期あたりに時計周りに40度だけ回転された場合を想定する。この場合、操作取得部11aは4単位の変更操作を取得し、変更操作の速度は閾値以上であると判定される。この場合に視線が表示画像に向いていると判定されると、図5の変更制御により、パラメータ変更部12cは、操作単位あたりのパラメータの変更に通常変更を設定するので、パラメータを4(=4×1)だけ変更する。この結果、図6の第1選択肢から4だけ移動した先にある第5選択肢が選択候補となる状態に遷移する。一方、上記の場合に視線が表示画像に向いていないと判定されると、図5の変更制御により、パラメータ変更部12cは、操作単位あたりのパラメータの変更にスキップ変更を設定するので、パラメータを8(=4×2)だけ変更する。この結果、図6の第1選択肢から8だけ移動した先にある第9選択肢(図示せず)が選択候補となる状態に遷移する。
【0042】
<動作>
図7は、本実施の形態2に係る表示制御装置1の動作を示すフローチャートである。
【0043】
まずステップS11にて、操作取得部11aは、ロータリスイッチ52で受け付けた回転操作に基づいて変更操作を取得する。また、視線取得部11bは、カメラ53で撮像された画像に画像認識処理を行うことによってユーザの視線を取得する。
【0044】
ステップS12にて、速度判定部12bは、操作取得部11aで取得された変更操作の速度が予め定められた閾値以上であるか否かを判定する速度判定を行う。変更操作の速度が予め定められた閾値以上であると判定された場合には処理がステップS13に進み、変更操作の速度が予め定められた閾値より小さいと判定された場合には処理がステップS14に進む。
【0045】
ステップS13にて、視線判定部12aは、視線取得部11bで取得された視線が表示装置51の表示画像に向いているか否かを判定する視線判定を行う。視線が表示装置51の表示画像に向いていると判定された場合には処理がステップS14に進み、視線が表示装置51の表示画像に向いていないと判定された場合には処理がステップS15に進む。
【0046】
ステップS14にて、パラメータ変更部12cは、操作単位あたりのパラメータの変更に通常変更を設定する。その後、処理がステップS16に進む。
【0047】
ステップS15にて、パラメータ変更部12cは、操作単位あたりのパラメータの変更にスキップ変更を設定する。その後、処理がステップS16に進む。
【0048】
ステップS16にて、パラメータ変更部12cは、操作取得部11aで取得された変更操作と、操作単位あたりのパラメータの変更とに基づいてパラメータを変更する。その後、図7の動作が終了する。
【0049】
<実施の形態2のまとめ>
以上のような本実施の形態2に係る表示制御装置1によれば、視線判定の結果と速度判定の結果とに基づいて、操作単位あたりのパラメータの変更を制御する。このような構成によれば、視線が表示画像に向いておらず、かつ、変更操作の速度が閾値以上である場合には、パラメータの変更を大きくすることができる。そして、視線が表示画像に向いておらず、かつ、変更操作の速度が閾値より小さい場合には、パラメータの変更を小さくすることができる。このような構成によれば、変更操作に慣れているユーザは、視線を表示画像に向けなくてもパラメータの微調整を行うことができる。
【0050】
<実施の形態2の変形例>
実施の形態2では、変更操作がロータリスイッチ52での回転操作であり、表示画像が図6の選択肢であり、パラメータが選択肢の一次元の移動に用いられたが、これに限ったものではない。例えば実施の形態1で説明したように、変更操作がタッチパネルでのフリックなどのスクロール操作であり、表示画像が地図であり、パラメータが地図の二次元の移動に用いられる構成であってもよい。また、この構成において、速度判定部12bは、変更操作として1秒あたりに3回以上のフリックが取得された場合に、変更操作の速度が予め定められた閾値以上であると判定してもよい。
【0051】
また実施の形態2では、パラメータ変更部12cは、視線判定及び速度判定の判定結果、つまり図5の(i)~(iv)の判定結果に基づいて、操作単位あたりのパラメータの変更を制御した。そして、図5の(i)~(iii)の判定結果における操作単位あたりのパラメータの変更として通常変更が設定され、(iv)の判定結果における操作単位あたりのパラメータの変更としてスキップ変更が設定された。つまり、図5の(i)~(iv)の判定結果における操作単位あたりのパラメータの変更は、通常変更及びスキップ変更という2通りの変更であったがこれに限ったものではなく、3通りの変更であってもよいし、4通りの変更であってもよい。
【0052】
<実施の形態3>
本実施の形態3に係る表示制御装置1の構成を示すブロック図は、実施の形態2のブロック図(図3)と同様である。以下、本実施の形態3に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
【0053】
図8は、時系列順に並べられた視線判定及び速度判定の判定結果の一例を示す図である。「視線」の「内」は、視線が表示画像に向いているという視線判定の判定結果(以下、内判定結果と記す)を示し、「視線」の「外」は、視線が表示画像に向いていないという視線判定の判定結果(以下、外判定結果と記す)を示す。「速度」の「大」は、変更操作の速度が閾値以上であるという速度判定の判定結果(以下、大判定結果と記す)を示し、「速度」の「小」は、変更操作の速度が閾値より小さいという速度判定の判定(以下、小判定結果と記す)を示す。なお、「速度」の「大」は、サンプリング周期あたりの変更操作の操作量が閾値以上であることに相当し、「速度」の「小」は、当該操作量が閾値より小さいことに相当する。
【0054】
さて、上述した実施の形態2に係る表示制御装置1は、サンプリング周期ごとに、視線判定及び速度判定の判定結果(図5の(i)~(iv))に基づいて、操作単位あたりのパラメータの変更を制御するように構成された。このような構成では、意図せずに視線をちらっと表示画像に向けてしまったこと、及び、ロータリスイッチ52をある程度の角度を超えて連続的に回転操作することが困難であることなどが原因で、(iv)の判定結果に基づく制御を連続的に行うことができない場合がある。
【0055】
つまり、ユーザが、図8の全て時点で(iv)の判定結果に基づく制御を行うことを意図しても、全ての時点で(iv)の判定結果(外判定結果かつ大判定結果)が得られずに、当該制御を行うことができない場合がある。これに対して、以下で説明する本実施の形態3では、(i)~(iv)のいずれかの判定結果に基づく制御をなるべく連続的に行うことが可能となっている。
【0056】
本実施の形態3では、視線判定及び速度判定が、少なくとも予め定められた期間内の複数時点で行われ、パラメータ変更部12cは、当該複数時点の判定結果を記憶する。以下、予め定められた期間は、現時点から1秒間であり、複数の時点は0.2秒ごと(5サンプル)であるものとして説明する。ただし、予め定められた期間、及び、複数の時点は、これに限ったものではない。
【0057】
図9は、本実施の形態3に係るパラメータ変更部12cによる、操作単位あたりのパラメータの変更制御を説明するための図である。
【0058】
パラメータ変更部12cは、予め定められた期間内における、視線が表示画像に向いていると判定された回数(内判定回数)、及び、視線が表示画像に向いていないと判定された回数(外判定回数)に基づいて、操作単位あたりのパラメータの変更を制御する。その一例として本実施の形態3では、パラメータ変更部12cは、予め定められた期間内において内判定回数が外判定回数よりも大きい場合には、予め定められた期間内の全ての時点において内判定結果が得られたと判定する。一方、パラメータ変更部12cは、予め定められた期間内において外判定回数が内判定回数よりも大きい場合には、予め定められた期間内の全ての時点において外判定結果が得られたと判定する。
【0059】
図9の場合、内判定回数は1回であり、外判定回数は4回であるため、パラメータ変更部12cは、予め定められた期間内の全ての時点(5サンプル)において外判定結果が得られたと判定する。
【0060】
図10は、本実施の形態3に係るパラメータ変更部12cによる、操作単位あたりのパラメータの変更制御を説明するための図である。
【0061】
パラメータ変更部12cは、予め定められた期間内における、変更操作の速度が閾値以上であると判定された回数(大判定回数)、及び、変更操作の速度が閾値より小さいと判定された回数(小判定回数)に基づいて、操作単位あたりのパラメータの変更を制御する。その一例として本実施の形態3では、パラメータ変更部12cは、予め定められた期間内において大判定回数が小判定回数よりも大きい場合には、予め定められた期間内の全ての時点において大判定結果が得られたと判定する。一方、パラメータ変更部12cは、予め定められた期間内において小判定回数が大判定回数よりも大きい場合には、予め定められた期間内の全ての時点において小判定結果が得られたと判定する。
【0062】
図10の場合、小判定回数は1回であり、大判定回数は4回であるため、パラメータ変更部12cは、予め定められた期間内の全ての時点(5サンプル)において大判定結果が得られたと判定する。
【0063】
図11及び図12は、本実施の形態3に係るパラメータ変更部12cによる、操作単位あたりのパラメータの変更制御を説明するための図である。図11及び図12のいずれも、内判定回数は2回であり、外判定回数は3回であるため、パラメータ変更部12cは、予め定められた期間内の全ての時点(5サンプル)において外判定結果が得られたと判定する。また、図11及び図12のいずれも、小判定回数は2回であり、大判定回数は3回であるため、パラメータ変更部12cは、予め定められた期間内の全ての時点(5サンプル)において大判定結果が得られたと判定する。
【0064】
その後、パラメータ変更部12cは、実施の形態2と同様に、上記判定の結果に基づいて、操作単位あたりのパラメータの変更を制御する。
【0065】
<実施の形態3のまとめ>
以上のような本実施の形態3に係る表示制御装置1によれば、予め定められた期間内における、視線が表示画像に向いていると判定された回数、及び、視線が表示画像に向いていないと判定された回数に基づいて、操作単位あたりのパラメータの変更を制御する。このような構成によれば、瞬間的な視線の向きの変化が、操作単位あたりのパラメータの変更制御に影響することを抑制することができる。
【0066】
また本実施の形態3によれば、予め定められた期間内における、変更操作の速度が閾値以上であると判定された回数、及び、変更操作の速度が閾値より小さいと判定された回数に基づいて、操作単位あたりのパラメータの変更を制御する。このような構成によれば、瞬間的な変更操作の速度の変化が、操作単位あたりのパラメータの変更制御に影響することを抑制することができる。
【0067】
<実施の形態3の変形例>
実施の形態3では、パラメータ変更部12cは、内判定回数、外判定回数、大判定回数、及び、小判定回数という回数に基づいて、操作単位あたりのパラメータの変更を制御したが、これに限ったものではない。
【0068】
例えば、予め定められた期間内における、内判定結果及び外判定結果のいずれかと、大判定結果及び小判定結果のいずれかとの組み合わせの時系列のパターンに、当該組み合わせの1つが予め対応付けられて記憶されていてもよい。例えば、図11の時系列のパターンに対して、内判定結果及び小判定結果という組み合わせが予め対応付けられて記憶され、図12の時系列のパターンに対して、内判定結果及び大判定結果という組み合わせが予め対応付けられて記憶されてもよい。
【0069】
このように構成されている場合に、視線判定部12aの視線判定の判定結果と、速度判定部12bの速度判定の判定結果との組み合わせの時系列のパターンが、図11の時系列のパターンと一致したとする。このような場合に、パラメータ変更部12cは、予め定められた期間内の全ての時点において、図11の時系列のパターンに予め対応付けられた内判定結果及び小判定結果という組み合わせが得られたと判定してもよい。それから、パラメータ変更部12cは、実施の形態2と同様に、内判定結果及び小判定結果に基づいて、操作単位あたりのパラメータの変更を制御してもよい。
【0070】
また上記のように構成されている場合に、視線判定部12aの視線判定の判定結果と、速度判定部12bの速度判定の判定結果との組み合わせの時系列のパターンが、図12の時系列のパターンと一致したとする。このような場合に、パラメータ変更部12cは、予め定められた期間内の全ての時点において、図12の時系列のパターンに予め対応付けられた内判定結果及び大判定結果という組み合わせが得られたと判定してもよい。それから、パラメータ変更部12cは、実施の形態2と同様に、内判定結果及び大判定結果に基づいて、操作単位あたりのパラメータの変更を制御してもよい。
【0071】
以上のように構成された表示制御装置1によれば、予め定められた期間内における、内判定結果及び外判定結果のいずれかと、大判定結果及び小判定結果のいずれかとの組み合わせの時系列のパターンに基づいて、操作単位あたりのパラメータの変更を制御する。このような構成によれば、図11及び図12のように、内判定回数、外判定回数、大判定回数、及び、小判定回数が同じであっても、時系列のパターンが異なった場合に、操作単位あたりのパラメータの変更を異ならせることができる。なお、時系列のパターンそのもの、及び、時系列のパターンと1つの組み合わせとの対応関係は、例えば人工知能等を用いた機械学習によって適宜変更されてもよい。
【0072】
<実施の形態1~3の変形例1>
変更操作に慣れたユーザは、視線を表示画像に向けることなく変更操作を開始することがある。このような場合に、操作単位あたりのパラメータの変更にスキップ変更が用いられると、当該ユーザはパラメータの変更を適切に行うことができなくなる。
【0073】
そこで、取得部11が変更操作を取得開始した時点から予め定められた期間(例えば1秒)の間、視線判定の結果に関わらず、操作単位あたりのパラメータの変更は一定であってもよい。このような構成によれば、変更操作に慣れたユーザが、視線を表示画像に向けることなく変更操作を開始しても、パラメータの変更を適切に行うことができる。
【0074】
<実施の形態1~3の変形例2>
制御部12は、視線が画像に向いていないと判定され、かつ、取得部11が変更操作を取得した場合に、表示装置51に表示されている画像の変更に基づいて図示しない音声出力装置に音声出力させる制御を行ってもよい。例えば、変更操作によって、表示装置51に有名な地名が表示された場合には、制御部12は、当該地名を音声出力装置に音声出力させてもよい。また例えば、変更操作によって、表示装置51に表示される施設や住所の名称の頭文字が「A」から「B」に変更された場合には、制御部12は、「B」を音声出力装置に音声出力させてもよい。このような構成によれば、ユーザは視線を表示画像に向けなくてもどのような画像が表示装置51に表示されているかを知ることができる。
【0075】
<その他の変形例>
上述した図1の取得部11及び制御部12を、以下「取得部11等」と記す。取得部11等は、図13に示す処理回路81により実現される。すなわち、処理回路81は、変更操作をユーザから取得し、かつ、ユーザの視線を取得する取得部11と、視線が表示装置の画像に向いているか否かを判定する視線判定の結果に基づいて、操作単位あたりのパラメータの変更を制御する制御部12と、を備える。処理回路81には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)などが該当する。
【0076】
処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。取得部11等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
【0077】
処理回路81がプロセッサである場合、取得部11等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図14に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置1は、処理回路81により実行されるときに、変更操作をユーザから取得し、かつ、ユーザの視線を取得するステップと、視線が表示装置の画像に向いているか否かを判定する視線判定の結果に基づいて、操作単位あたりのパラメータの変更を制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、取得部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
【0078】
以上、取得部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部11については専用のハードウェアとしての処理回路81、インターフェース及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0079】
以上のように、処理回路81は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【0080】
また、以上で説明した表示制御装置1は、PND(Portable Navigation Device)、ナビゲーション装置及びDMS(Driver Monitoring System)などの車両装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、車両装置及び通信端末の少なくとも1つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置1の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。
【0081】
図15は、本変形例に係るサーバ91の構成を示すブロック図である。図15のサーバ91は、通信部91aと制御部91bとを備えており、車両92のナビゲーション装置及びDMS装置などの車両装置93と無線通信を行うことが可能となっている。
【0082】
取得部である通信部91aは、車両装置93と無線通信を行うことにより、車両装置93で取得された変更操作及びユーザの視線を受信する。
【0083】
制御部91bは、サーバ91の図示しないプロセッサなどが、サーバ91の図示しないメモリに記憶されたプログラムを実行することにより、図1の制御部12と同様の機能を有している。つまり、制御部91bは、視線が表示装置の画像に向いているか否かを判定する視線判定の結果に基づいて、操作単位あたりのパラメータの変更を制御するための制御信号を生成する。そして、通信部91aは、制御部91bで生成された制御信号を車両装置93に送信する。このように構成されたサーバ91によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
【0084】
図16は、本変形例に係る通信端末96の構成を示すブロック図である。図16の通信端末96は、通信部91aと同様の通信部96aと、制御部91bと同様の制御部96bとを備えており、車両97の車両装置98と無線通信を行うことが可能となっている。なお、通信端末96には、例えば車両97の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末96によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
【0085】
なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。
【0086】
上記した説明は、すべての局面において、例示であって、限定的なものではない。例示されていない無数の変形例が、想定され得るものと解される。
【符号の説明】
【0087】
1 表示制御装置、11 取得部、12 制御部、51 表示装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16