(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0016】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0017】
<1.実施の形態>
<1−1.システムの概要>
図1及び
図2は、操作システム1の概要を示す図である。本実施の形態では、自動車などの車両に搭載された操作システム1を例に用いて説明する。
図1は、操作システム1が搭載される車両の車室内の様子を示す図である。
図2は、操作システム1の概略構成を示す図である。
【0018】
図1及び
図2に示すように、操作システム1は、制御装置10と、遠隔操作装置20と、ヘッドアップディスプレイ装置(以下「HUD装置」と記載する)30と、音声出力装置40とを備えている。制御装置10は、遠隔操作装置20、HUD装置30及び音声出力装置40の各々と電気的に接続されており、各装置との間で信号の送受信が可能である。
【0019】
制御装置10は、車両に設けられた他の装置(例えば遠隔操作装置20や音声出力装置40等)を制御する。本実施の形態では、ユーザ(代表的にはドライバ)が遠隔操作装置20を用いて特定の操作(ジェスチャー)をするとユーザに対して操作内容をフィードバックしたり、音声出力装置40から操作内容に対応する効果音を出力するようになっており、車両用制御装置はこのような制御を行う。
【0020】
遠隔操作装置20は、タッチセンサを備えた操作装置であり、車両のセンターコンソールのユーザの手の届く範囲に設けられている。そして、この遠隔操作装置20を用いた際の操作内容を示す画像は、HUD装置30にて表示されるようになっている。操作システム1では、ユーザはHUD装置30が表示した画面を見ながら手元の遠隔操作装置20を操作するようになっている。つまり、操作システム1は、操作する手元を見ることなく遠隔での操作(所謂、ブラインド操作)が可能なシステムである。
【0021】
さらに、ユーザが遠隔操作装置20のタッチセンサに特定の操作をするとタッチセンサが振動するようになっている。操作システム1は、この特定の操作の種類に応じて振動の種類を変えており、これによりユーザは操作内容に応じた触感を得ることができる。つまり、ユーザは操作内容のフィードバックを得ることができるようになっている。
【0022】
HUD装置30は、ユーザの略正面のフロントガラス部分に画像を投影する装置である。ユーザは、このHUD装置30が投影した画像を見ながら遠隔操作装置20のタッチセンサを操作する。
【0023】
また、音声出力装置40は、音声データを外部に出力するスピーカである。音声出力装置40は、ユーザが遠隔操作装置20を用いて特定の操作をした際に、対応する効果音の音声データを出力する。また、オーディオ装置やナビゲーション装置などが別途設けられているような場合には、音声出力装置40からオーディオ用又はナビゲーション用の音声データが出力される。
【0024】
このように、操作システム1は、タッチセンサと表示画面とが異なる位置にあり、遠隔で操作するようなシステムであって、操作内容に対応したフィードバックを与えることができるシステムである。換言すると、操作システム1は、ユーザに対して何を操作しているのかをフィードバックすることができ、また、ユーザが手元を見なくても操作可能なシステムである。以下、各構成の具体的な内容について説明する。
【0025】
<1−2.システムの構成>
操作システム1の具体的な構成について
図3ないし
図6を用いて説明する。まず、制御装置10の構成について説明する。
図3は、制御装置10の概略構成を示す図である。
図3に示すように、制御装置10は、通信部11、記憶部12、及び、制御部13を備えている。
【0026】
通信部11は、Wi−Fi(ワイファイ:登録商標)等による無線通信により遠隔操作装置20と通信可能に接続され、遠隔操作装置20との間で各種データの送受信を行う。また、通信部11は、CAN(Controller Area Network)等の車載LAN(Local Area Network)を介してHUD装置30及び音声出力装置40の各装置と通信可能に接続されており、HUD装置30及び音声出力装置40の各装置と各種データの送受信を行う。なお、これらの接続は一例であり、有線及び無線のいずれであってもよい。
【0027】
記憶部12は、電気的にデータの読み書きが可能であって、電源を遮断されていてもデータが消去されない不揮発性の半導体メモリである。記憶部12としては、例えば、EEPROM(Electrical Erasable Programmable Read-Only memory)やフラッシュメモリを用いることができる。ただし、他の記憶媒体を用いてもよく、磁気ディスクを備えたハードディスクドライブで構成することもできる。記憶部12には、プログラム12aやモード情報12b、音声データ12cなどが記憶されている。プログラム12aは、制御部13により読みだされ、制御部13が制御装置10を制御するために実行される、いわゆるシステムソフトウェアである。
【0028】
モード情報12bとは、ユーザの操作内容(ジェスチャー)とそのジェスチャーがあったときに起動する操作モードとを対応付けた情報である。ユーザのジェスチャーとは、ユーザが遠隔操作装置20のタッチセンサを操作した際の動きであり、例えば、円を描くジェスチャーや、直線を描くジェスチャーなどがある。
【0029】
また、本実施の形態では、操作モードとして、エアコン操作モードとオーディオ操作モードがある。エアコン操作モードは、エアコンの温度や風量などの調整操作を可能にするモードである。オーディオ操作モードは、オーディオの音量や選曲などの調整操作を可能にするモードである。
【0030】
つまり、例えば、ユーザがタッチセンサ上で上下方向に直線を描くジェスチャーをしたときにエアコン操作モードを起動するように設定されている場合には、この上下方向に直線を描くというジェスチャーとエアコン操作モードとを対応付けた情報がモード情報12bになる。また、このモード情報12bには、操作モードを起動した際に表示する画面情報を併せて対応付けていてもよい。この例の場合には、モード情報12bには、エアコンの設定画面のデータも含まれることになる。
【0031】
また、音声データ12cとは、操作モードに対応付けられた効果音を含むデータである。例えば、エアコン操作モードを起動した際に特定の効果音(例えば「ピッ」という音)を出力するようになっている場合には、そのエアコン操作モードと「ピッ」という音のデータとを対応付けた情報が音声データ12cとなる。
【0032】
制御部13は、例えば、CPU、RAM、及びROMなどを備えるマイクロコンピュータであり、主として制御装置10や遠隔操作装置20などを制御する。制御部13のCPUが記憶部12に記憶されたプログラム12aを実行する(プログラム12aに従った演算処理を行う)ことにより、制御部13として必要な各種の機能が実現される。
【0033】
図3に示す操作判別部13a、モード選択部13b、画像生成部13c、音声制御部13d及び振動制御部13eは、プログラム12aの実行により実現される制御部13の機能のうちの一部である。
【0034】
操作判別部13aは、ユーザの操作内容を判別する。具体的には、操作判別部13aは、遠隔操作装置20からユーザがタッチした位置の情報を取得して、ユーザが操作したことを判別する。また、操作判別部13aは、取得した位置情報に基づいてユーザが操作したジェスチャーを判別する。例えば、操作判別部13aは、遠隔操作装置20から取得した時間的に連続する位置情報をつないだ結果が上下方向の直線であると判別すると、ユーザが上下方向の直線を描くジェスチャーをしたと判別する。同様に、遠隔操作装置20から取得した時間的に連続する位置情報をつないだ結果が円状である場合には、操作判別部13aは、ユーザは円を描くジェスチャーをしたと判別する。すなわち、操作判別部13aは、ユーザがタッチした位置の移動軌跡を判別する。
【0035】
モード選択部13bは、操作判別部13aが判別したジェスチャーが何らかの操作モードを起動するジェスチャーであるか否かを判別する。なお、以下において、操作モードに対応するジェスチャーを「特定操作」や「特定のジェスチャー」という場合がある。そして、モード選択部13bは、ジェスチャーが特定操作である場合には、記憶部12に記憶されているモード情報に基づいてそのジェスチャーに対応する操作モードを選択して起動する。
【0036】
画像生成部13cは、HUD装置30が投影する画像データを生成し、通信部11を介してHUD装置30に送信する。ユーザが遠隔操作装置20を操作して何らかの操作モードが起動すると、画像生成部13cは、起動した操作モードに対応する画像データを生成してHUD装置30に送信する。これにより、HUD装置30は、操作モードに対応する画像を投影して表示することになる。
【0037】
音声制御部13dは、音声データを音声出力装置40から出力させる制御を行う。本実施の形態では、操作モードを起動した際に、その操作モードに対応する効果音を出力するようにしている。例えば、ユーザが上下方向に直線を描くジェスチャーをしたことによってエアコン操作モードが起動した場合には、音声制御部13dは、それに対応する「ピッ」という音声データを記憶部12から読みだして音声出力装置40から出力させる制御を行う。
【0038】
振動制御部13eは、操作判別部13aが判別したユーザの操作内容(ジェスチャー)に応じて遠隔操作装置20のタッチセンサの振動を制御する。具体的には、振動制御部13eは、起動した操作モードに応じて、後述する遠隔操作装置20の振動素子を振動させる。例えば、ユーザが上下方向に直線を描くジェスチャーをすると(つまり、エアコン操作モードが起動すると)、振動制御部13eは、振動素子を一定の強度で振動させる制御を行う。また、ユーザが円を描くジェスチャーをすると(つまり、オーディオ操作モードが起動すると)、振動制御部13eは、振動素子を一定の周期で強弱を変化させながら振動させる制御を行う。これにより、ユーザの操作内容に応じてタッチセンサの振動を異ならせることができるため、ユーザに対して与える触感を操作内容毎に変化させることが可能になる。すなわち、ユーザは異なる操作内容毎に異なるフィードバックを得ることができる。
【0039】
次に、遠隔操作装置20の構成について説明する。
図4は、遠隔操作装置20の概略構成を示す図である。
図4に示すように、遠隔操作装置20は、タッチセンサ21、タッチセンサコントローラ22、通信部23、及び、振動素子24を備えている。
【0040】
タッチセンサ21は、ユーザが入力操作を行う平板状のセンサーである。なお、遠隔操作装置20自身は表示機能を有しておらず、タッチセンサ21はいわゆるタッチパッドとして機能する。本実施の形態では、遠隔操作装置20のタッチセンサ21の位置と、HUD装置30による投影画面の位置とが対応付けられており、ユーザはHUD装置30によって投影された画面を見ながらタッチセンサ21を操作することができるようになっている。
【0041】
すなわち、HUD装置30の投影画面に表示されたコマンドボタンに対応するタッチセンサ21上の領域を指でタッチすると、コマンドボタンに関連付けられた指示を行うことができる。また、上述したように、ユーザがタッチセンサ21の操作面上で特定のジェスチャーをすることで、そのジェスチャーに対応する操作モードが起動される。
【0042】
タッチセンサ21の方式としては、例えば、静電容量の変化を捉えて位置を検出する静電容量方式を採用することができる。ユーザは、タッチセンサ21の操作面に対して、一点でタッチする操作のみならず、複数点でタッチする操作であるマルチタッチを行うことも可能になっている。
【0043】
タッチセンサコントローラ22は、例えば、ハードウェア回路であり、タッチセンサ21の動作を制御する。タッチセンサコントローラ22は、タッチセンサ21で生じた信号に基づいて、タッチセンサ21の操作面中のユーザがタッチした位置を検出するタッチ検出部22aを備えている。
【0044】
タッチ検出部22aは、例えば、駆動電極及び受信電極の2電極間の静電容量の変化を測定する相互容量方式で、ユーザがタッチした位置(例えばXY座標)を検出する。タッチ検出部22aは、ユーザの指での電界の遮断によって受信電極が受信する電荷が減少することに基づいて、ユーザがタッチしたか否かを検出する。
【0045】
タッチ検出部22aは、タッチセンサ21の操作面に、ユーザが一点及び複数点のいずれでタッチしたかを判別することができる。そして、タッチ検出部22aは、タッチセンサ21の操作面にユーザが一点でタッチした場合にはその一点の位置を検出し、ユーザが複数点でタッチした場合にはその複数点のそれぞれの位置を検出する。
【0046】
通信部23は、Wi−Fi(ワイファイ:登録商標)等による無線通信により制御装置10と通信可能に接続され、制御装置10との間で各種データの送受信を行う。例えば、通信部23は、タッチ検出部22aで検出したユーザがタッチした位置情報(例えばXY座標)を制御装置10に送信し、制御装置10から振動素子24を振動させる制御信号(以下「振動制御信号」という)を受信する。
【0047】
振動素子24は、タッチセンサ21の操作面を振動させる部材である。振動素子24は、
図5に示すように、タッチセンサ21の操作面の周囲に複数配置されている。そして、この振動素子24自身が振動することでタッチセンサ21の操作面を振動させる。振動素子24は、制御装置10からの振動制御信号に基づいて振動する。この振動素子24としては、例えば、ピエゾ素子などの圧電素子を用いることができる。
【0048】
このように、振動素子24が振動してタッチセンサ21を振動させることでタッチセンサ21を操作しているユーザに対して触感を与えることができる。この触感を操作内容に応じて変えることで、ユーザに対して操作内容に応じた異なるフィードバックを与えることができるようになっている。
【0049】
次に、HUD装置30の構成について説明する。
図6は、HUD装置30の概略構成を示す図である。
図6に示すように、HUD装置30は、信号受信部31、画像処理部32、プロジェクタ33、及び、制御部34を備えている。
【0050】
信号受信部31は、制御装置10から画像データを受信する。ユーザが遠隔操作装置20のタッチセンサ21を特定のジェスチャーで操作すると、対応する操作モードが起動する。すると、制御装置10は、起動した操作モードに対応する画像データを生成してHUD装置30に送信し、HUD装置30の信号受信部31が受信する。
【0051】
画像処理部32は、信号受信部31が受信した画像データに対して表示に必要な処理を行い、処理後の画像データをプロジェクタ33に出力する。
【0052】
プロジェクタ33は、例えば、DLP(登録商標)やLCOSなどの方式を用いて、画像データの画像を示す投影光をレンズから照射し、フロントガラスや専用のスクリーンに画像を投影して画像を表示させる。
【0053】
制御部34は、例えば、CPU、RAM及びROMなどを備えるマイクロコンピュータであり、HUD装置30全体を統括的に制御する。
【0054】
音声出力装置40は、ユーザが特定のジェスチャーをして対応する操作モードが起動すると、その操作モードに対応する効果音の音声データを制御装置10から受信して外部に出力する。
【0055】
<1−3.触感の発生方法と種類>
次に、本実施の形態において、タッチセンサ21を振動させることによって触感を発生させる方法と、触感の種類について説明する。
【0056】
図5は、タッチセンサ21を模式的に表した図である。上述したように、タッチセンサ21の周囲には、複数の振動素子24が配置されている。なお、本実施の形態では、対向する2辺に並べて配置しているが、これに限定されるものではなく、任意の辺に任意の数の振動素子24を配置すればよい。
【0057】
上記のとおり、ユーザが特定のジェスチャーで操作すると対応する操作モードが起動し、併せて触感が起動する。これは、ユーザに対して操作内容をフィードバックするためである。なお、本発明においては、「操作モードが起動する」とは、何らかの操作モードに移行することを示し、「触感が起動する」とは、タッチセンサを振動させてユーザに触感を与えることを示す。
【0058】
触感を発生させるためには、まず制御装置10からの振動制御信号に基づいて振動素子24を高速で振動させる。この高速での振動とは例えば超音波振動である。振動素子24を超音波振動させることでタッチセンサ21の表面を超音波振動させることができる。
図5に示すような対向する2辺に配置した振動素子24を振動させることで、タッチセンサ21全面を略均一に振動させることができる。
【0059】
タッチセンサ21表面が超音波振動した状態でタッチセンサ21表面を指で操作すると、指と高速で振動しているタッチセンサ21表面との間に高圧の空気膜が発生して摩擦抵抗が減少する。これにより、ユーザは、振動していない状態に比べてツルツルと滑らかにすべる触感(以下「ツルツル感」という)を得ることができる。
【0060】
また、タッチセンサ21表面を超音波振動させた状態のときに振動素子24の振動を停止させると、タッチセンサ21表面の超音波振動も停止する。すると、タッチセンサ21表面の摩擦抵抗は、減少していた状態から本来の状態(振動していない状態)に戻る。すなわち、低摩擦の状態から高摩擦の状態に変化する。この場合、ツルツル感のあった触感からひっかかりの感じる触感に変化する。ユーザは、このツルツル感からひっかかりの感じる触感に変化する際にカチッとした触感を得ることができる。このカチッとした触感を以下においては「クリック感」という。
【0061】
また、振動素子24の振動強度に変化をつけてタッチセンサ21表面を超音波振動させると、タッチセンサ21表面を相対的に大振幅で振動させたり小振幅で振動させたりすることが可能になる。これにより、タッチセンサ21表面を高摩擦状態と低摩擦状態とが繰り返された状態にすることができる。つまり、ユーザは、ツルツル感とクリック感とを交互に触感として感じることになり、この場合凸凹した触感やザラザラした触感(以下「ザラザラ感」という)を得ることができる。
【0062】
また、振動の強弱の大きさを変えたり、強弱を変化させる周期を変えることでザラザラ度合いを変化させることができる。これにより、ザラザラ度合いの強いザラザラ感や弱いザラザラ感、またザラザラ感の疎密度感など、段階的に複数種類のザラザラ感を実現することが可能になる。
【0063】
このように、本実施の形態では、振動素子24を超音波振動させてタッチセンサ21表面を超音波振動させることで、ユーザに対して触感を与えることができる。また、超音波振動の開始や停止のタイミング、強弱などを適宜制御すれば、その表面の摩擦抵抗を変化させることができ、それを利用することで種々の触感を与えることが可能になっている。
【0064】
<1−4.操作モードの起動及び触感の起動>
次に、操作モードを起動させる処理と、対応する触感を起動させる処理について説明する。本実施の形態では、上述したように、操作システム1に用いられる操作モードとして、エアコン操作モードとオーディオ操作モードがある。そして、エアコン操作モードが起動するとツルツル感の触感が起動し、オーディオ操作モードが起動するとザラザラ感の触感が起動するようになっている。以下、具体的に説明する。
【0065】
ユーザが遠隔操作装置20のタッチセンサ21上を上下方向にさする操作をすると、制御装置10は上下方向に直線を描くジェスチャー操作があったと判断してエアコン操作モードを起動する。エアコン操作モードが起動すると、制御装置10は、対応する触感であるツルツル感の触感を起動する。
【0066】
具体的には、エアコン操作モードが起動すると、制御装置10は、一定の強さで超音波振動させる振動制御信号に基づいて振動素子24を制御する。これにより、振動素子24が超音波振動し、その結果、タッチセンサ21表面が超音波振動する。タッチセンサ21表面が超音波振動することで、タッチセンサ21とタッチ操作しているユーザの指との間の摩擦抵抗が減少して、ユーザはツルツル感の触感を得ることができる。
【0067】
また、ユーザが遠隔操作装置20のタッチセンサ21上で円をなぞる操作をすると、制御装置10は円を描くジェスチャー操作があったと判断して、オーディオ操作モードを起動する。オーディオ操作モードが起動すると、制御装置10は、対応する触感であるザラザラ感の触感を起動する。
【0068】
具体的には、オーディオ操作モードが起動すると、制御装置10は、一定の周期で強度を変化させながら超音波振動させる振動制御信号に基づいて振動素子24を制御する。これにより、振動素子24が振動の強さを変化させながら超音波振動し、その結果、タッチセンサ21表面が振動の強さを変化させながら超音波振動する。タッチセンサ21表面が振動の強さを変えながら超音波振動することで、タッチセンサ21とタッチ操作しているユーザの指との間の摩擦抵抗が変化し、ユーザはザラザラ感の触感を得ることができる。
【0069】
このように、特定のジェスチャー操作をすると、それに対応する操作モードの起動と共に触感が起動する。このため、ユーザは、手元の遠隔操作装置20を見なくても何の操作モードが起動したかを触感から把握することが可能になる。
【0070】
さらに、制御装置10は、操作モードが起動した際に、触感を起動させることに加えて効果音を出力する。具体的には、制御装置10は、いずれかの操作モードが起動すると、それに対応する効果音の音声データを記憶部12から読みだして音声出力装置40から出力する。このように、各操作モードに対応する効果音を出力すれば、ユーザは聴覚によっても何の操作モードが起動したかを把握することができる。
【0071】
<1−5.各操作モードでの調整操作>
次に、各操作モードが起動した後の調整操作について図を用いて説明する。
図7は、遠隔操作装置20のタッチセンサ21をユーザが操作しているところを説明する図である。タッチセンサ21には、ユーザの操作を受け付ける第1領域21aと、操作モードを初期状態に移行させる第2領域21bとを有している。ユーザが第1領域21aでタッチ操作すると、操作内容に応じた制御が行われるが、第2領域21bをタッチすると操作モードが処理状態に戻る。すなわち、何らかの操作モードが起動している際に第2領域21bをタッチすると操作モードは解除される。
【0072】
図7に示すように、ユーザがタッチセンサ21の第1領域21aを上下方向に直線を描くように操作すると、エアコン操作モードが起動する。エアコン操作モードが起動すると、上述したツルツル感の触感が起動すると共に、エアコンの調整操作を可能とするためのエアコン調整画面が表示される。このエアコン調整画面は、HUD装置30が制御装置10から取得した画像データを投影することで表示される。すなわち、触感の起動によりエアコン操作モードの起動を把握でき、ユーザの前方にエアコン調整画面が表示されることにより手元を見なくても操作が可能になる。
【0073】
図8は、HUD装置30によって投影表示されたエアコン調整画面35aを示す図である。
図8に示すように、エアコン調整画面35aには、画面の左側から順に温度調整画像、風量調整画像及び風向(風吹き出し口)調整画像が表示されている。これら各画像は、設定の変更が可能な項目を示す画像であり、現在の設定状態が表示されている。ユーザは、各調整項目のうちのいずれかの設定を変更したいとき(調整したいとき)には、前方のエアコン調整画面35aを見ながら手元のタッチセンサ21を操作することで希望する調整画像を選択することができる。つまり、希望する調整項目を選択することができる。
【0074】
具体的には、エアコン調整画面35aが表示されている状態で、ユーザが第1領域21aを左右方向に3分割した左側部分(以下単に「左側部分」という)をタッチすると温度調整が選択された状態になる。同様に、ユーザが第1領域21aを左右方向に3分割した中央部分(以下単に「中央部分」という)をタッチすると風量調整が選択された状態になり、ユーザが第1領域21aを左右方向に3分割した右側部分(以下単に「右側部分」という)をタッチすると風向調整が選択された状態になる。
【0075】
各調整項目を選択する際には、選択状態の調整項目の画像を非選択時とは異なる大きさで表示したり、非選択時とは異なる色で表示したりすることが好ましい。すなわち、選択されている調整画像が他の調整画像よりも浮き出ているように表示したり、他の調整画像とは異なる色にライトアップして表示したりする。非選択時と異なる表示をすることで、他の調整画像と区別することが可能となり、現在選択状態の調整項目であることを明確にすることができる。
【0076】
ユーザが希望する調整項目が選択された状態で第1領域21aをタップすると、その選択された調整項目の設定変更が決定する。この場合、エアコン調整画面35aから、選択された調整項目の設定を変更することができる画面に遷移する。例えば、温度設定の変更(温度調整)が決定した場合には、
図9に示すようなエアコン調整画面35aとなる。
【0077】
図9は、温度設定を変更する画面であり、
図9(a)では、中央部分に現在の温度設定値が表示されている。また、現在の温度設定値の周囲には、前後の温度設定値と変更操作状態を示すマークとが表示されている。温度設定値は、ユーザがタッチセンサ21上で円を描く操作をするとその操作量及び操作方向に対応して変化する。また、変更操作状態を示すマークは、ユーザが温度調整の操作をしていることを把握できるものであり、ユーザが円を描く操作をした場合には、その操作量及び操作方向に対応して移動する。
【0078】
例えば、
図9(a)のような状態のときに、ユーザがタッチセンサ21上で右回りに1周程度の円を描く操作をすると、
図9(b)のようにマークは右回りに約8分の1周程度移動すると共に、設定値が現在の23.0℃から次に大きい設定値である23.5℃になるように移動する。なお、ユーザが逆方向に円を描く操作をすると、設定値が現在の23.0℃から次に小さい設定値である22.5℃になるように移動する。このように、ユーザのタッチ操作量及び操作方向に応じてマークが移動すると共に、温度設定値がスクロールする。
【0079】
そして、さらにユーザがタッチセンサ21上で1周程度の円を描く操作をすると、
図9(c)のように、マークがさらに約8分の1周程度移動すると共に、設定値の23.5℃が中央部分に表示される。この状態で、ユーザがタッチセンサ21の第1領域21aをタップすると、温度設定値を23.5℃に調整することが確定する。このように、ユーザがタッチセンサ21上で所定の操作をすることで、その操作量に応じてエアコン調整画面35の設定値が変化していき、希望する位置で確定させればその設定値に変更することが可能になる。
【0080】
そして、調整を確定させる操作をした後には、HUD装置30が投影表示する画面は、
図8に示すエアコン調整画面35aとなる。つまり、1つ上の階層の画面に遷移して、ユーザによるエアコン調整の操作が可能な状態になる。この状態のまま、一定時間何の操作もないまま経過すると、さらに1つ上の階層の画面に遷移し、最終的には最上位の階層や非入力状態の画面が表示される。
【0081】
なお、確定操作後の画面遷移はこれに限定されるものではなく、確定操作した際の画面(例えば
図9(c)の画面)がそのまま表示され、一定時間何の操作もないまま経過する毎に1つ上の階層の画面に遷移する構成としてもよい。また、確定操作をした後にすぐに最上位の階層の画面を表示してもよいし、すぐに非入力状態の画面を表示してもよい。また、以下に説明する各調整操作の確定後の画面遷移も同様である。
【0082】
図10は、風量設定の変更画面である。
図8に示すエアコン調整画面が表示されているときに、風量調整画像が選択された状態(すなわち、ユーザが第1領域21aの中央部分をタッチ操作した状態)で第1領域21aをタップすると、
図10(a)に示す画面に遷移する。
図10(a)では、現在の設定値が表示されている。
【0083】
温度調整の場合と同様に、ユーザがタッチセンサ21上で円を描く操作をすると、その操作量及び操作方向に応じて風量の設定値を変更することができる。また、描く円の方向を逆にすれば設定値の増加と減少を逆にすることができる。例えば、右回りに円を描く操作をしたときは設定値が大きくなるように変化し、左回りに円を描く操作をしたときは設定値が小さくなるように変化する等である。
【0084】
すなわち、
図10(b)に示すように、ユーザが左回りに円を描く操作をすると、その操作量に応じて風量の設定値を小さくすることができる。また、
図10(c)に示すように、ユーザが右回りに円を描く操作をすると、その操作量に応じて風量の設定値を大きくすることができる。そして、希望する位置で第1領域21aをタップすると、その設定値に変更することが確定する。
【0085】
また、
図11は、風向(風吹き出し口)設定の変更画面である。
図8に示すエアコン調整画面が表示されているときに、風向調整画像が選択された状態(すなわち、ユーザが第1領域21aの右側部分をタッチした状態)で第1領域21aをタップすると、
図11(a)に示す画面に遷移する。
図11(a)では、現在の設定値が表示されている。
【0086】
温度調整の場合と同様に、ユーザがタッチセンサ21上で円を描く操作をすると、その操作量及び操作方向に応じて風向の設定値を変更することができる。すなわち、
図11(b)及び(c)に示すように、ユーザが操作した量に応じて風向の設定値がスクロールして変化する。そして、希望する位置で確定させればその設定値に変更することが可能になる。また、円を描く方向を逆にすればスクロールする方向を逆にすることができる。
【0087】
次に、オーディオ操作モードでの操作について説明する。
図12に示すように、いずれの操作モードも起動していない初期状態で、ユーザがタッチセンサ21の第1領域21aで円を描く操作をすると、オーディオ操作モードが起動する。オーディオ操作モードが起動すると、上述したザラザラ感の触感が起動すると共に、オーディオの調整操作を可能とするためのオーディオ調整画面が表示される。このオーディオ調整画面は、HUD装置30が制御装置10から取得した画像データを投影することで表示される。すなわち、触感の起動によりオーディオ操作モードの起動を把握でき、ユーザの前方にオーディオ調整画面が表示されることにより手元を見なくても操作が可能になる。
【0088】
図13は、HUD装置30によって投影表示されたオーディオ調整画面35bを示す図である。
図13に示すように、オーディオ調整画面35bには、画面の左側から順に音量調整画像、選曲画像及びアルバム選択画像が表示されている。これら各画像は、設定の変更が可能な項目を示す画像であり、現在の設定状態を表示している。ユーザは、各調整項目のうちのいずれかの設定を変更したいとき(調整したいとき)には、前方のオーディオ調整画面35bを見ながら手元のタッチセンサ21を操作することで希望する調整画像を選択することができる。つまり、希望する調整項目を選択することができる。
【0089】
具体的には、上記と同様に、オーディオ調整画面35bが表示されている状態で、ユーザが左側部分をタッチすると音量調整画像が選択された状態になる。また、ユーザが中央部分をタッチすると選曲画像が選択された状態になり、ユーザが右側部分をタッチするとアルバム選択画像が選択された状態になる。
【0090】
上記と同様に、選択状態の調整項目の画像を非選択時と異なる表示にすることで、現在選択されている調整画像と他の調整画像とを明確に区別することができる。また、希望する調整項目が選択された状態で第1領域21aをタップすると、その選択された調整項目の設定変更が確定する。つまり、オーディオ調整画面35bから、選択された調整項目の設定を変更することができる画面に遷移する。例えば、音量設定の変更(音量調整)が確定した場合には、
図14に示すようなオーディオ調整画面35bとなる。
【0091】
図14は、音量設定を変更する画面であり、
図14(a)では、中央部分に現在の音量設定値が表示されている。また、現在の音量設定値の周囲には、前後の音量設定値と変更操作状態を示すマークが表示されている。上記と同様に、音量設定値は、ユーザがタッチセンサ21上で円を描く操作をするとその操作量及び操作方向に応じて変化する。また、変更操作状態を示すマークも、ユーザの円を描く操作量及び操作方向に応じて移動する。
【0092】
例えば、
図14(a)の状態のときに、ユーザが右回りの円を描く操作をすると、
図14(b)及び(c)に示すように、徐々にマーク及び音量設定値が移動する。すなわち、ユーザの操作量及び操作方向に応じてマークが移動すると共に、音量設定値がスクロールする。
【0093】
そして、希望する音量設定値が表示されている状態のときに、ユーザがタッチセンサ21の第1領域21aをタップすると、その表示されている音量設定値に調整することが確定する。このように、ユーザがタッチセンサ21上で所定の操作をすることで、その操作量及び操作方向に応じてオーディオ調整画面35の設定値が変化していき、希望する位置で確定させればその設定値に変更することができる。
【0094】
なお、上記各調整操作において、円を描く操作をすることで設定値の変更を行っていたが、変更のための操作はこれに限定されるものではない。直線を描く操作であっても適用可能である。この場合には、円を描いた場合における操作量と操作方向を、直線を描く場合における操作量と操作方向(上方向若しくは下方向、又は、右方向若しくは左方向)にすればよい。さらに、正確な円や直線でなくてもよく、湾曲した線であったり、波線であってもよい。
【0095】
また、本実施の形態では、ユーザがタッチセンサ21で円を1周描く毎にマークが8分の1周移動する例について説明したがこれに限定されるものではない。ユーザの操作量とマークの移動量の比率は、例えば、4:1、3:1、2:1、1:1など任意に設定可能である。
【0096】
<1−6.システムの処理>
次に、操作システム1の処理について説明する。
図15は、操作システム1の処理を示すフローチャートである。操作システム1は、電源が投入されて起動することにより処理を開始する。操作システム1は、ユーザの操作があるまでは待機状態にあり、特定の操作があるか否かを監視している(ステップS10)。具体的には、制御装置10は、いずれかの操作モードを起動するための特定のジェスチャーがあったか否かを監視している。
【0097】
制御装置10は、ユーザが遠隔操作装置20を操作した際の位置情報(例えばX座標とY座標)を取得して、時間的に連続する位置情報に基づいて特定のジェスチャーがあったか否かを判断する。例えば、制御装置10は、X座標とY座標の変化から変化角度を導出し、起点から360°回転したと判定した場合には、ユーザが円を描く操作をしたと判断する。
【0098】
特定操作がない場合には(ステップS10でNo)、制御装置10は、再度特定操作の有無を監視する。一方、特定操作があった場合には(ステップS10でYes)、制御装置10は、対応する操作モードを起動する(ステップS11)。すなわち、制御装置10は、上下方向に直線を描く操作があったと判断した場合にはエアコン操作モードを起動し、円を描く操作があったと判断した場合にはオーディオ操作モードを起動する。
【0099】
そして、制御装置10は、いずれかの操作モードを起動すると、対応する触感を起動する(ステップS12)。すなわち、制御装置10は、エアコン操作モードを起動するとツルツル感の触感を起動し、オーディオ操作モードを起動するとザラザラ感の触感を起動する。具体的には、制御装置10は、振動素子24を一定の強度で超音波振動させることでツルツル感の触感を与え、強度を変化させながら超音波振動させることでザラザラ感の触感を与える。
【0100】
さらに、制御装置10は、起動した操作モードに対応する効果音を出力する(ステップS13)。例えば、制御装置10は、エアコン操作モードを起動した場合には、それに対応する「ピッ」という効果音を音声出力装置40から出力する。
【0101】
次に、調整操作が行われる(ステップS14)。つまり、起動した操作モードの種々の調整項目のうち、ユーザが希望して選択した項目の調整操作が上記のように実行される。
【0102】
そして、制御装置10は、起動した操作モードが終了したか否かを判断する(ステップS15)。操作モードは、一定時間何も操作がない場合や、ユーザがタッチセンサ21の第2領域21bをタッチした場合などに終了する。制御装置10は、これらの条件が成立するか否かを判断し、成立しない場合には(ステップS15でNo)、再度ユーザの操作を受け付け可能な状態にし、成立した場合には(ステップS15でYes)、操作モードを解除して終了する。
【0103】
このように、特定の操作(ジェスチャー)と、起動する操作モードと、ユーザに与える触感とを対応付けることで、ユーザは得られた触感だけで何の操作モードで操作しているかを把握することが可能になる。
【0104】
<2.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記各実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0105】
<2−1.変形例1>
上記実施の形態では、操作モードとしてエアコン操作モードとオーディオ操作モードを例に挙げて説明した。そして、対応する操作モードに移行した後に、調整する項目(温度調整や音量調整等)を確定して調整操作を実行していた。ただし、本発明はこれに限定されるものではなく、温度調整や音量調整などを直接的に操作モードとしてもよい。
【0106】
すなわち、エアコン操作モードやオーディオ操作モードといった操作モードではなく、温度調整操作モードや風量調整操作モード、音量調整操作モードなどのように各調整項目自身が操作モードとなる。そして、この場合、特定のジェスチャーがあったときに各操作モードを起動することで、これら各調整項目を直接調整することが可能になる。
【0107】
具体的に例を挙げて説明する。例えば、円を描く操作と音量調整操作モードとが対応しているとすると、ユーザが円を描く操作をすれば音量調整操作モードが起動する。すると、
図13に示すような調整項目を選択する画面は表示されずに、
図14(a)に示すような画面が最初に表示され、ユーザはそのまま音量調整の操作が可能になる。つまり、ユーザは、操作モードの起動後に円を描く操作をすることで、その変化量及び変化方向に応じた音量調整が可能になる。
【0108】
ところで、本変形例においては、音量調整操作モードを起動させるジェスチャー(特定操作)と、音量を調整するジェスチャー(調整操作)とが共に円を描く操作となっており同じである。このように、特定操作と調整操作とが同じである場合には、操作モードを起動させる操作をしたまま起動後も同じ操作を継続することで調整操作も可能になる。つまり、操作モードを起動する特定操作と、設定値を調整する調整操作とを連続的に行うことができ、操作を途中で変えることなくスムーズな操作が可能になる。
【0109】
また、操作モードが起動すると対応する触感も起動するようになっているので、同じジェスチャーを連続的に行う場合であっても、操作モードが起動したことは把握できる。すなわち、特定操作から調整操作に変化する際に触感が起動するので、ユーザは特定操作と調整操作との境界を認識することができる。このため、同じ操作であってもいずれの操作であるかを認識した状態で操作することが可能になる。
【0110】
<2−2.変形例2>
また、上記実施の形態では、操作モードが起動すると、まず複数の調整項目を有する画面を表示して、その中から調整項目を確定させ、その確定した調整項目だけの画面を表示してから調整操作を行っていた。ただし、本発明はこれに限定されることはなく、例えば、操作モードを起動した際に表示される複数の調整項目を有する画面から直接調整操作を実行するようにしてもよい。
【0111】
具体的には、ユーザがタッチセンサ21を上下方向に直線を描く操作をすると、エアコン操作モードが起動する。すると、
図8に示すような3種類の調整項目(温度調整、風量調整、風向調整)を有する画面が表示される。そして、本変形例では、この画面が表示された状態でタッチセンサ21を操作すれば各項目の調整が可能になる。つまり、
図8に示す画像がHUD装置30から投影表示されている状態で、ユーザは表示された画像を見ながら手元のタッチセンサ21を操作すれば各項目の設定を調整することができる。
【0112】
また、本変形例においては、温度は円を描く操作で調整し、風量は左右方向に直線を描く操作で調整し、風向は上下方向に直線を描く操作で調整することとする。この場合、温度調整の画像が表示されている領域(左側部分)で円を描く操作をすると、温度の調整操作を行うことができる。同様に、風量調整の画像が表示されている領域(中央部分)で左右方向に直線を描く操作をすると、風量の調整操作を行うことができる。さらに、風向調整の画像が表示されている領域(右側部分)で上下方向に直線を描く操作をすると、風向の調整操作を行うことができる。
【0113】
このように、操作モードが起動した際に表示する画面上での調整操作を可能にすることで、画面遷移を少なくすることができ、希望する項目の調整を早く実行することが可能になる。
【0114】
また、これら調整項目毎に調整操作が可能な領域(以下「操作可能領域」という)21cを予め設定していてもよい。例えば、
図16に示すように、タッチセンサ21の左側部分には、円を描くことができる領域(円状の領域)を温度調整用の操作可能領域21dとして設定する。また、タッチセンサ21の中央部分には、左右方向に直線を描くことができる領域(横長の長方形の領域)を操作可能領域21eとして設定し、タッチセンサ21の右側部分には、上下方向に直線を描くことができる領域(縦長の長方形の領域)を操作可能領域21fとして設定する。
【0115】
これら操作可能領域内でのユーザによる操作は有効となるが、それ以外の領域(以下「操作不可領域」という)21gでタッチ等をしてもその操作は無効となる。したがって、例えば、ユーザが中央部分で円を描くジェスチャーをしたとしても、操作可能領域21eの範囲外での操作となり、その操作は受け付けられないため、誤操作を防止することも可能になる。
【0116】
また、操作可能領域21cと操作不可領域21gとの触感を変えてもよい。例えば、操作可能領域21cにはツルツル感の触感を与え、操作不可領域21gには触感を与えない等である。操作可能領域21cと操作不可領域21gとの触感を変えることで、ユーザはタッチセンサ21を見なくても操作可能な領域を把握することができる。
【0117】
さらに、各調整項目の操作可能領域毎に触感を変えてもよい。例えば、左側部分の温度調整の操作可能領域21dをツルツル感の触感とし、中央部分の風量調整の操作可能領域21eを強いザラザラ感の触感とし、右側部分の風向調整の操作可能領域21fを弱いザラザラ感の触感とする等である。
【0118】
このように各調整項目の操作可能領域毎に触感を変えることで、ユーザはタッチセンサ21を見なくても操作可能領域であることが把握できることに加え、どの調整項目の操作可能領域であるかを把握することも可能になる。
【0119】
<2−3.変形例3>
また、上記実施の形態では、いずれかの操作モードが起動した際に対応する触感を起動する構成について説明したが、さらに、ユーザが調整操作をしている際に、一定の操作量毎に触感を起動する構成としてもよい。
【0120】
具体的には、エアコン操作モードが起動して、
図9に示すような温度調整操作をする際に、ユーザの操作量が一定量になる毎に所定の触感を与える構成である。例えば、ユーザが円を1周描く毎にクリック感を与える設定とすれば、ユーザは円を描く毎にカチッという触感を得ることができるため、操作量を把握することが可能になる。
【0121】
このように、操作モードが起動した際のみならず、操作中においても所定の操作量毎に触感を起動させることで、どの操作モードをどの程度の量だけ操作したのかを把握することができる。なお、触感を与える操作量は1周であることに限定されるものではなく、適宜設定可能である。また、与える触感も適宜設定可能である。
【0122】
<2−4.変形例4>
また、上記実施の形態では、ユーザがHUD装置30から投影された画像を見ながら遠隔操作装置20を操作する構成について説明したがこれに限定されるものではない。例えば、車両にカーナビゲーション等のタッチセンサを備えた表示装置が搭載されている場合にも同様の構成を適用することができる。
【0123】
具体的には、表示装置のタッチセンサに、タッチセンサを振動させる振動素子を設けておく。そして、ユーザが特定の操作をすると、それに対応する操作モードを起動すると共に、振動素子を振動させて対応する触感を起動する。これにより、ユーザは何の操作モードが起動したかを把握することができる。
【0124】
なお、表示装置のようにユーザが視認しながら使用する電子機器に対しては、触感を与えなくても何の操作モードが起動したかを把握することは可能とも思われる。しかしながら、カーナビゲーションのように使用状況によっては直視し続けることができない電子機器の場合には、表示装置を見ずに操作せざるを得ない場合も考えられる。このため、そのような場合に触感を与えれば操作内容を把握することができ、利便性も向上する。
【0125】
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。