(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188904
(43)【公開日】2022-12-22
(54)【発明の名称】ハプティックデバイス、ハプティクス処理装置、及びハプティクス制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20221215BHJP
G06F 3/044 20060101ALI20221215BHJP
G06F 3/041 20060101ALI20221215BHJP
【FI】
G06F3/01 560
G06F3/044 120
G06F3/041 480
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021097177
(22)【出願日】2021-06-10
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(72)【発明者】
【氏名】加藤 雅基
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA08
5E555BA02
5E555BA23
5E555BB02
5E555BB23
5E555BC04
5E555CA13
5E555CB16
5E555CB40
5E555CC01
5E555DA24
5E555FA00
(57)【要約】 (修正有)
【課題】ユーザーの操作位置に応じて、静電力の大きさ(触覚フィードバックの強度)を異ならせることができる、ハプティックデバイス、その処理装置及び制御方法を提供する。
【解決手段】ハプティックデバイスは、静電アクチュエータと、それを制御するプロセッサと、を備える。プロセッサは、複数のハプティック電極のうち触覚を呈示するハプティック出力エリアを定めるハプティック出力エリアモデルを設定する。ハプティック出力エリアモデルは、複数のハプティック出力グループ600を含む。ハプティック出力グループは、直線上又は曲線上の第1の点から第2の点への延伸方向に沿って配置される複数のハプティックパターン661-665を含む。複数のハプティックパターンは、夫々1つ又は複数のハプティック出力エリアHEからなり、複数のハプティックパターンの幅W1-W5は、ハプティックパターンの延伸方向に沿って徐々に拡大する。
【選択図】
図6A
【特許請求の範囲】
【請求項1】
面上に配置され、電圧信号が印加されることで触覚を呈示する複数のハプティック電極を有する静電アクチュエータ(10)と、
前記静電アクチュエータ(10)を制御するプロセッサ(45)と、を備え、
前記プロセッサ(45)は、前記複数のハプティック電極のうち触覚を呈示する位置(以下では、ハプティック出力エリア(HE)と呼ぶ。)を定めるハプティック出力エリアモデル(503)を設定し、
前記ハプティック出力エリアモデル(503)は、
直線上又は曲線上の第1の点(P)から第2の点(Q)への延伸方向(α)に沿って配置される複数のハプティックパターン(660,670,680,690)を含み、
前記複数のハプティックパターン(660,670,680,690)は、それぞれ1つ又は複数の前記ハプティック出力エリア(HE)からなり、
前記複数のハプティックパターン(660,670,680,690)の幅(W)は、前記延伸方向(α)に沿って徐々に拡大するように構成される、
ハプティックデバイス(3)。
【請求項2】
前記複数のハプティックパターン(660,670,680,690)の前記延伸方向(α)の幅(W)は、前記延伸方向(α)に沿って徐々に拡大するように構成される、
請求項1に記載のハプティックデバイス(3)。
【請求項3】
前記複数のハプティックパターン(660)は、前記延伸方向(α)に間隔を有する複数の線状のハプティック出力エリア(HE1)からなり、
前記複数のハプティックパターン(660)に含まれる前記ハプティック出力エリアの数は、前記延伸方向(α)に沿って徐々に増加するように構成される、
請求項1又は請求項2に記載のハプティックデバイス(3)。
【請求項4】
前記線状のハプティック出力エリア(HE1)は、前記延伸方向(α)の法線方向に略平行に直線的に延びるように構成される、
請求項3に記載のハプティックデバイス(3)。
【請求項5】
前記複数のハプティックパターン(660,670,680,690)の前記延伸方向(α)の間隔(G)は、前記延伸方向(α)に沿って徐々に狭くなるように構成される、
請求項1又は請求項2に記載のハプティックデバイス(3)。
【請求項6】
前記延伸方向(α)は、前記延伸方向(α)に沿って徐々に狭くなるように構成される、
請求項1又は請求項2に記載のハプティックデバイス(3)。
【請求項7】
前記複数のハプティックパターン(660,670,680,690)は、グループ化され、
前記第1の点(P)は、グループの一端(P1)であり、前記第2の点(Q)は、前記グループの他端(Q1)であり、
前記延伸方向(α)は、前記グループの前記一端(P1)から前記他端(Q1)へ向かう第一の延伸方向(α1)である、
請求項1又は請求項2に記載のハプティックデバイス(3)。
【請求項8】
前記複数のハプティックパターン(660,670,680,690)は、グループ化され、
前記第1の点(P)は、グループの一端(P1)と他端(Q1)との間の中間点(P2)であり、前記第2の点(Q)は、前記他端(Q1)であり、
前記延伸方向(α)は、前記グループの前記中間点(P2)から前記他端(Q1)へ向かう第二の延伸方向(α2)である、
請求項1又は請求項2に記載のハプティックデバイス(3)。
【請求項9】
面上に配置され、電圧信号が印加されることで触覚を呈示する複数のハプティック電極を有する静電アクチュエータ(10)を制御するハプティクス処理装置(40)において、
前記静電アクチュエータ(10)を制御するプロセッサ(45)を備え、
前記プロセッサ(45)は、前記複数のハプティック電極のうち触覚を呈示する位置(以下では、ハプティック出力エリア(HE)と呼ぶ。)を定めるハプティック出力エリアモデル(503)を設定し、
前記ハプティック出力エリアモデル(503)は、
直線上又は曲線上の第1の点(P)から第2の点(Q)への延伸方向(α)に沿って配置される複数のハプティックパターン(660,670,680,690)を含み、
前記複数のハプティックパターン(660,670,680,690)は、それぞれ1つ又は複数の前記ハプティック出力エリア(HE)からなり、
前記複数のハプティックパターン(660,670,680,690)の幅(W)は、前記延伸方向(α)に沿って徐々に拡大するように構成される、
ハプティクス処理装置(40)。
【請求項10】
面上に配置され、電圧信号が印加されることで触覚を呈示する複数のハプティック電極を有する静電アクチュエータ(10)を制御するハプティクス処理装置(40)において、
前記静電アクチュエータ(10)を制御するハプティクス制御方法であって、
前記複数のハプティック電極のうち触覚を呈示する位置(以下では、ハプティック出力エリア(HE)と呼ぶ。)を定めるハプティック出力エリアモデル(503)を設定するステップを有し、
前記ハプティック出力エリアモデル(503)は、
直線上又は曲線上の第1の点(P)から第2の点(Q)への延伸方向(α)に沿って配置される複数のハプティックパターン(660,670,680,690)を含み、
前記複数のハプティックパターン(660,670,680,690)は、それぞれ1つ又は複数の前記ハプティック出力エリア(HE)からなり、
前記複数のハプティックパターン(660,670,680,690)の幅(W)は、前記延伸方向(α)に沿って徐々に拡大するように構成される、
ハプティクス制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ハプティックデバイス、ハプティクス処理装置、及びハプティクス制御方法に関する。
【背景技術】
【0002】
従来の技術として、静電力により触覚フィードバックを得るハプティックインターフェースが、特許文献1や特許文献2に開示されている。これらの構成では、基板の前面に複数の電極を配置し、これらに電圧を印加させることで、基板の前面に触れたユーザーの皮膚に静電力を加えている。
【0003】
また、特許文献3には、触覚フィードバックを生じさせる領域を、インタラクションモデルとしてソフトウェアにより設定するハプティックインターフェースユニットが開示されている。
【0004】
また、特許文献4には、電極に印加する電圧の大きさや電圧波形のデューティーサイクルを変更することで、静電力の大きさ(触覚フィードバックの強度)を変調することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2019-212259号公報
【特許文献2】国際公開第2017/205785号
【特許文献3】特開2020-512642号公報
【特許文献4】特開2017-506395号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献4のように、電極に印加する電圧の大きさや電圧波形のデューティーサイクルを変更することで、静電力の大きさ(触覚フィードバックの強度)を変調する方法は、処理が複雑になることが想定される。特に、ユーザーの操作位置に応じて、静電力の大きさ(触覚フィードバックの強度)を異ならせる場合、処理が複雑になることが想定される。
【課題を解決するための手段】
【0007】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【0008】
本開示の概要は、ユーザーの操作位置に応じて、静電力の大きさ(触覚フィードバックの強度)を異ならせることができるハプティックデバイス、ハプティクス処理装置、及びハプティクス制御方法を提供する。より具体的には、処理負荷を軽減しつつ、ユーザーの操作位置に応じて、静電力の大きさ(触覚フィードバックの強度)を異ならせることができるハプティックデバイス、ハプティクス処理装置、及びハプティクス制御方法を提供することに関する。
【0009】
したがって、本明細書に記載されるハプティックデバイス、ハプティクス処理装置、及びハプティクス制御方法等は、前記課題を解決するため、以下の手段を採用した。本実施形態は、直線上又は曲線上の延伸方向に沿って配置される複数のハプティックパターンを含み、複数のハプティックパターンの幅は、延伸方向に沿って徐々に拡大するように構成される、ことをその要旨とする。
【0010】
本明細書に記載されるハプティックデバイスの一実施形態は、面上に配置され、電圧信号が印加されることで触覚を呈示する複数のハプティック電極を有する静電アクチュエータと、
前記静電アクチュエータを制御するプロセッサと、を備え、
前記プロセッサは、前記複数のハプティック電極のうち触覚を呈示する位置(以下では、ハプティック出力エリアと呼ぶ。)を定めるハプティック出力エリアモデルを設定し、
前記ハプティック出力エリアモデルは、
直線上又は曲線上の第1の点から第2の点への延伸方向に沿って配置される複数のハプティックパターンを含み、
前記複数のハプティックパターンは、それぞれ1つ又は複数の前記ハプティック出力エリアからなり、
前記複数のハプティックパターンの幅は、前記延伸方向に沿って徐々に拡大するように構成される。
【図面の簡単な説明】
【0011】
【
図1】
図1は、いくつかの実施形態に係る、ハプティクス機能付き表示装置の概略を示す構成図である。
【
図2】
図2は、静電アクチュエータにおける例示的な電極パターンを示す図である。
【
図3】
図3は、Xハプティック電極とYハプティック電極に絶縁層を介して接触する指に印加する電圧の制御を模式的に示す図である。
【
図4】
図4は、いくつかの実施形態に係る、ハプティクス機能付き表示装置のブロック図である。
【
図5A】
図5Aは、空間光変調素子(表示装置)が表示するソフトウェアスイッチ画像の一実施態様を示す図である。
【
図5B】
図5Bは、
図5Aで示されるソフトウェアスイッチ画像と重なる位置に配置されるハプティックパターンを定義するハプティクスエリアモデルを模式的に図面化したものである。
【
図6A】
図6Aは、第1のハプティック出力グループの一実施形態を示す図である。
【
図6B】
図6Bは、第1のハプティック出力グループの一実施形態を示す図である。
【
図6C】
図6Cは、第2のハプティック出力グループの一実施形態を示す図である。
【
図6D】
図6Dは、第3のハプティック出力グループの一実施形態を示す図である。
【
図6E】
図6Eは、第4のハプティック出力グループの一実施形態を示す図である。
【
図7】
図7は、いくつかの実施形態の表示装置がハプティック出力を実行する方法を示すフロー図である。
【0012】
以下、図面に基づいて、本発明の実施形態につき詳細に説明する。
図1は、本発明のハプティクス機能付き表示装置の一実施形態の概略を示す構成図である。本実施形態のハプティクス機能付き表示装置(以下では、単に表示装置とも呼ぶ)1は、静電アクチュエータ10、タッチセンサー20、空間光変調素子30、及びこれらを制御するハプティクス処理装置(以下では、単に処理装置とも呼ぶ)40で構成される。本実施形態のハプティクス機能付き表示装置(以下では、単に表示装置とも呼ぶ)1は、タッチセンサー20により、表示装置1の表面上の物体(例えば、人の指)2の位置を取得し、その表示装置1の表面上の物体の位置(領域)に対して、静電アクチュエータ10が電圧を印加することで、表示装置1の表面上の物体(例えば、人の指)2に対して静電気力による静電感触呈示を付与することができる。なお、本実施形態のハプティックデバイス3は、静電アクチュエータ10、及び処理装置40で構成される。
【0013】
(静電アクチュエータ10)
静電アクチュエータ10は、基板10a上にITO(Indium Tin Oxide)等の透明電極として形成される2つの別々のXハプティック電極11、Yハプティック電極12、及び透明な絶縁層13で構成される。Xハプティック電極11、Yハプティック電極12は、
図1に示したように、基板10a上に形成され、Xハプティック電極11、Yハプティック電極12の上側には、絶縁層13が配置されている。
【0014】
図2は、静電アクチュエータにおける例示的な電極パターンを示す図である。Xハプティック電極11は、矩形電極が数珠状に連結されて形成され、各Xハプティック電極11は、
図2のX方向に所定の本数だけ配置されている。Yハプティック電極12も、
図2に示すように、矩形電極が数珠状に連結されて形成され、各Yハプティック電極12は、
図2のY方向に所定の本数だけ配置されている。矩形電極は、互いに重ならないように、配置されている。
【0015】
図3は、Xハプティック電極11とYハプティック電極12に絶縁層13を介して接触する指2に印加する電圧の制御を模式的に示す図である。処理装置40は、タッチセンサー20で指2の接触位置、接触領域を検出し、その位置、領域に対して、アクチュエータ回路(不図示)を制御することで、交流電圧を各Xハプティック電極11と各Yハプティック電極12に印加する。処理装置40は、Xハプティック電極11とYハプティック電極12に対して、所定の電圧で電圧を印加することにより、静電気力を指2に対して発生させることができる。
【0016】
タッチセンサー20は、静電アクチュエータ10の下側に配置され、操作者の操作位置を検出するタッチセンサー20は、例えば、ピエゾ抵抗方式や静電容量方式のMEMS(Micro Electro Mechanical Systems)である。本実施の形態のタッチセンサー20は、一例として、静電容量方式のセンサーである。
【0017】
タッチセンサー20は、指2との間に発生する静電容量を検出することで、指2の操作位置を検出することが可能である。検出方式は、自己容量方式、又は相互容量方式でもよい。
【0018】
なお、静電アクチュエータ10は、タッチセンサー20の機能も有していてもよい。すなわち、タッチセンサー20の機能も兼ね備えた静電アクチュエータ10は、各Xハプティック電極11の自己容量値を検出することにより、X方向のタッチ位置を検出し、各Yハプティック電極12の自己容量値を検出することにより、Y方向のタッチ位置を検出することができる。具体的に、例えば、タッチセンサー20の機能も兼ね備えた静電アクチュエータ10は、各Xハプティック電極11、Yハプティック電極12に順次電荷を印加して、操作者の指2との間の自己容量値を検出することにより、X、Y方向のタッチ位置を検出することが可能である。なお、タッチセンサー20の機能も兼ね備えた静電アクチュエータ10は、Xハプティック電極11とYハプティック電極12との間の相互容量値を検出することにより、X、Y方向のタッチ位置を検出することも可能である。これらのタッチ位置の検出は、タッチセンサー20の機能も兼ね備えた静電アクチュエータ10が指2に触覚効果を付与する静電触覚呈示動作を実行していない期間に実行するものとする。なお、タッチセンサー20は、操作者の押圧操作による操作荷重を検出してもよい。
【0019】
図4は、いくつかの実施形態に係る、ハプティクス機能付き表示装置1のブロック図である。ハプティクス処理装置40は、1つ又は複数のI/Oインタフェース41、1つ又は複数のプロセッサ43、1つ又は複数の画像処理回路45、及び1つ又は複数のメモリ47を備える。
図4に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。
図4は、1つの実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路45(例えば、グラフィック処理ユニット)が、1つ又は複数のプロセッサ43に含まれてもよい。
【0020】
図示するように、プロセッサ43及び画像処理回路45は、メモリ47と動作可能に連結される。より具体的には、プロセッサ43及び画像処理回路45は、メモリ47に記憶されているプログラムを実行することで、例えば、静電アクチュエータ10の制御(静電アクチュエータ10を駆動するためのアクチュエータ回路(不図示)の制御)、タッチセンサー20の制御(タッチセンサー20を駆動するためのタッチセンサー回路(不図示)の制御)、空間光変調素子30の制御、画像データの生成及び/又は送信するなど、ハプティクス機能付き表示装置1の操作を行うことができる。プロセッサ43及び/又は画像処理回路45は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。メモリ47は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVRAMを含んでもよい。
【0021】
図示するように、プロセッサ43は、I/Oインタフェース41と動作可能に連結されている。I/Oインタフェース41は、例えば、車両に設けられた後述の車両ECU401や他の電子機器(不図示)と、CAN(Controller Area Network)の規格に応じて通信(CAN通信とも称する)を行う。なお、I/Oインタフェース41が採用する通信規格は、CANに限定されず、例えば、CANFD(CAN with Flexible Data Rate)、LIN(Local Interconnect Network)、Ethernet(登録商標)、MOST(Media Oriented Systems Transport:MOSTは登録商標)、UART、もしくはUSBなどの有線通信インタフェース、又は、例えば、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN)、802.11x Wi-Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN)等の数十メートル内の近距離無線通信インタフェースである車内通信(内部通信)インタフェースを含む。また、I/Oインタフェース41は、無線ワイドエリアネットワーク(WWAN0、IEEE802.16-2004(WiMAX:Worldwide Interoperability for Microwave Access))、IEEE802.16eベース(Mobile WiMAX)、4G、4G-LTE、LTE Advanced、5Gなどのセルラー通信規格により広域通信網(例えば、インターネット通信網)などの車外通信(外部通信)インタフェースを含んでいてもよい。
【0022】
図示するように、プロセッサ43は、I/Oインタフェース41と相互動作可能に連結されることで、ハプティクス機能付き表示装置1(I/Oインタフェース41)に接続される種々の他の電子機器等と情報を授受可能となる。I/Oインタフェース41には、例えば、車両ECU401などが動作可能に連結される。なお、I/Oインタフェース41は、ハプティクス機能付き表示装置1に接続される他の電子機器等から受信する情報を加工(変換、演算、解析)する機能を含んでいてもよい。
【0023】
空間光変調素子30は、例えば、液晶ディスプレイ(LCD)であり、プロセッサ43及び画像処理回路45に動作可能に連結される。したがって、空間光変調素子30によって表示される画像は、プロセッサ43及び/又は画像処理回路45から受信された画像データに基づいてもよい。プロセッサ43及び画像処理回路45は、I/Oインタフェース41から取得される情報に基づき、空間光変調素子30が表示する画像を制御する。
【0024】
車両ECU401は、車両に設けられたセンサやスイッチから、車両の状態(例えば、起動スイッチ(例えば、アクセサリスイッチ:ACCやイグニッションスイッチ:IGN)のON/OFF状態(第1の起動情報の一例。)、走行距離、車速、アクセルペダル開度、ブレーキペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、ヘッドライトの点灯・消灯や照射範囲を含むヘッドライトに関する情報(調光参照情報の一例。)、各種警告状態、姿勢(ロール角、及び/又はピッチング角を含む)、車両の振動(振動の大きさ、頻度、及び/又は周波数を含む))などを取得し、車両の前記状態を収集、及び管理(制御も含んでもよい。)するものであり、機能の一部として、車両の前記状態の数値(例えば、車両の車速。)を示す信号を、ハプティクス処理装置40のプロセッサ43へ出力することができる。なお、車両ECU401は、単にセンサ等で検出した数値(例えば、ピッチング角が前傾方向に3[degree]。)をプロセッサ43へ送信することに加え、又はこれに代わり、センサで検出した数値を含む車両の1つ又は複数の状態に基づく判定結果(例えば、車両が予め定められた前傾状態の条件を満たしていること。)、若しくは/及び解析結果(例えば、ブレーキペダル開度の情報と組み合わせされて、ブレーキにより車両が前傾状態になったこと。)を、プロセッサ43へ送信してもよい。例えば、車両ECU401は、車両が車両ECU401のメモリ(不図示)に予め記憶された所定の条件を満たすような判定結果を示す信号をハプティクス処理装置40へ出力してもよい。なお、I/Oインタフェース41は、車両ECU401を介さずに、車両に設けられたセンサやスイッチから、上述したような情報を取得してもよい。
【0025】
また、車両ECU401は、ハプティクス機能付き表示装置1が表示する画像を指示する指示信号をハプティクス処理装置40へ出力してもよく、この際、空間光変調素子30に表示させる画像の座標、サイズ、色、階調、種類、表示態様、画像の報知必要度、報知必要度を判定する元となる必要度関連情報、及び/又は虚像の輝度を調整する信号(調光信号の一例。)を、前記指示信号に付加して送信してもよい。
【0026】
メモリ47に記憶されたソフトウェア構成要素は、グラフィックモジュール500、ハプティック出力エリア設定モジュール502、操作検出モジュール504、アクチュエータ制御モジュール506、及び操作情報処理モジュール508などを含む。
【0027】
図6のグラフィックモジュール500は、レンダリングなどの画像処理をして画像データを生成し、空間光変調素子30を駆動するための様々な既知のソフトウェア構成要素を含む。また、グラフィックモジュール500は、表示される画像の、種類、配置(位置座標、角度)、サイズ、表示距離(3Dの場合。)、視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)、を変更するための様々な既知のソフトウェア構成要素を含んでいてもよい。グラフィックモジュール500は、画像の種類、画像の位置座標、画像の角度(左右方向を軸としたピッチング角、上下方向を軸としたヨーレート角、奥行き方向を軸としたローリング角など)、及び画像のサイズで観察者に視認されるように画像データを生成し、空間光変調素子30を駆動し得る。なお、グラフィックモジュール500の一部又は全部の機能は、ハプティクス機能付き表示装置1とは別に設けられてもよい。すなわち、本実施形態の処理装置40は、ハプティクス機能付き表示装置1とは別に設けられたグラフィックモジュール500の一部又は全部の機能からのデータを、I/Oインタフェース41から取得してもよい。
【0028】
(ハプティック出力エリア設定モジュール502)
プロセッサ43は、ハプティック出力エリア設定モジュール502を実行することにより、グラフィックモジュール500が表示する画像(後述するソフトウェアスイッチ画像100)に対応した、ハプティック出力を伝達する位置(エリア)を定義するハプティック出力エリアモデル503を設定することができる。後述するアクチュエータ制御モジュール506は、ハプティック出力エリア設定モジュール502が設定したハプティック出力エリアモデル503に基づき、静電アクチュエータ10を駆動することで、ハプティック出力を伝達するエリア(以下では、ハプティックパターン660とも呼ぶ。)を生成することができる。ハプティック出力エリア設定モジュール502は、典型的には空間光変調素子30が表示する後述するソフトウェアスイッチ画像100と重なる位置に、ハプティックパターン660を設定する。これにより、ユーザーが表示装置1に表示されるソフトウェアスイッチ画像100にタッチ操作をした場合、後述するアクチュエータ制御モジュール506は、ソフトウェアスイッチ画像100と重なる位置に配置されたハプティックパターン660に基づき、ユーザーの指2にハプティック出力を伝達することができる。
【0029】
図5Aは、空間光変調素子30(表示装置1)が表示するソフトウェアスイッチ画像100の一実施態様を示す図である。
図5Bは、
図5Aで示されるソフトウェアスイッチ画像100と重なる位置に配置されるハプティックパターン660を定義するハプティック出力エリアモデル503を模式的に図面化したものである。
【0030】
グラフィックモジュール500は、
図5Aに示すように、一直線上に連続的又は断続的に配置される1つ又は複数の画像要素からなる第1のソフトウェアスイッチ画像110、円周上(広義には、曲線上)に連続的又は断続的に配置される1つ又は複数の画像要素からなる第2のソフトウェアスイッチ画像120などを含むソフトウェアスイッチ画像100の画像データを生成し、空間光変調素子30がこれらソフトウェアスイッチ画像100を含む画像を表示する。
【0031】
ハプティック出力エリア設定モジュール502は、例えば、
図5Bに示すように、第1のハプティックパターン660を含む第1のハプティック出力グループ610、第2のハプティックパターン670を含む第2のハプティック出力グループ620、第3のハプティックパターン680を含む第3のハプティック出力グループ630、及び第4のハプティックパターン690を含む第4のハプティック出力グループ640、を含むハプティック出力エリアモデル503を設定する。なお、ハプティック出力エリア設定モジュール502は、予めメモリ47に複数のハプティック出力エリアモデル503(例えば、
図4のハプティクスエリアモデル503a、ハプティクスエリアモデル503b)を記憶しており、グラフィックモジュール500が表示するソフトウェアスイッチ画像100のレイアウトに応じて、設定するハプティック出力エリアモデル503を変更してもよい。また、ハプティック出力エリア設定モジュール502は、グラフィックモジュール500が設定するソフトウェアスイッチ画像100の種類の変更、位置の変更、サイズの変更などに応じて、ハプティック出力エリアモデル503を適宜加工してもよい。
【0032】
図6Aは、第1のハプティック出力グループ610の一実施形態を示す図である。第1のハプティック出力グループ610は、左右方向に連続して典型的には均等に配置される5つの操作区分領域650(651-655)のそれぞれの内側に、第1のハプティックパターン660(661-665)が設定される。各第1のハプティックパターン660(661-665)は、複数の第1のハプティックパターン660(661-665)が並ぶ一直線方向(
図6Aの例では左右方向。)と直交する方向(
図6Aの例では上下方向)に長い線状であり、第1のハプティックパターン660(661-665)が並ぶ一直線方向(
図6Aの例では左右方向。)に間隔を空けて断続的に配置される複数のハプティック出力エリアHE1(HE)で構成される。第1のハプティックパターン660(661-665)は、一直線方向(ここでは、右方向)に向かうにつれて、各第1のハプティックパターン660(661-665)に含まれる線状のハプティック出力エリアHE1の数を徐々に増やし、各第1のハプティックパターン660(661-665)の幅Wを徐々に大きくなるように設定される。すなわち、
図6Aに示すように、第1のハプティックパターン660が661(幅W1)、662(幅W2)、663(幅W3)、664(幅W4)、665(幅W5)の順に右方向に向かうにつれて、含まれる線状のハプティック出力エリアHE1の数が第1のハプティックパターン661、662、663、664、665の順に徐々に増加し、各第1のハプティックパターン660(661-665)の幅WがW1<W2<W3<W4<W5の順に徐々に大きくなる。これにより、各第1のハプティックパターン660(661-665)のハプティック出力を発生させる面積、幅を異ならせることができ、操作位置に応じて触覚呈示に差を生じさせる多様なインタラクションを提供することができる。また、
図6Aに示すように、第1のハプティックパターン660が661、662、663、664、665の順に右方向α1に向かうにつれて、各ハプティックパターン660の間隔GがG1(661と662との間隔)>G2(662と663との間隔)>G3(663と664との間隔)>G4(664と665との間隔)の順に徐々に狭くなる。
【0033】
図6Bは、第1のハプティック出力グループ610の一実施形態を示す図である。第1のハプティック出力グループ610は、円周方向に連続して典型的には均等に配置される9つの操作区分領域650(651-659)のそれぞれの内側に、第1のハプティックパターン660(661-669)が設定される。各第1のハプティックパターン660(661-669)は、複数の第1のハプティックパターン660(661-669)が並ぶ曲線方向(
図6Aの例では円周方向。)と直交する方向(
図6Aの例では半径方向)に長い線状であり、第1のハプティックパターン660(661-669)が並ぶ曲線方向(
図6Aの例では円周方向。)に間隔を空けて断続的に配置される複数のハプティック出力エリアHE1(HE)で構成される。第1のハプティックパターン660(661-669)は、円周方向(ここでは、時計周り方向)に向かうにつれて、各第1のハプティックパターン660(661-669)に含まれる線状のハプティック出力エリアHE1の数を徐々に増やし、各第1のハプティックパターン660(661-669)の幅Wを徐々に大きくなるように設定される。すなわち、
図6Bに示すように、第1のハプティックパターン660が661(幅W1)、662(幅W2)、663(幅W3)、664(幅W4)、665(幅W5)、666(幅W6)、667(幅W7)、668(幅W8)、669(幅W9)の順に円周方向(ここでは、時計周り方向)α1に向かうにつれて、含まれる線状のハプティック出力エリアHE1の数が第1のハプティックパターン661、662、663、664、665、666、667、668、669の順に徐々に増加し、各第1のハプティックパターン660(661-669)の幅WがW1<W2<W3<W4<W5<W6<W7<W8<W9の順に徐々に大きくなる。これにより、各第1のハプティックパターン660(661-669)のハプティック出力を発生させる面積、幅を異ならせることができ、操作位置に応じて触覚呈示に差を生じさせる多様なインタラクションを提供することができる。また、
図6Bに示すように、第1のハプティックパターン660が661、662、663、664、665、666、667、668、669の順に円周方向(ここでは、時計周り方向)α1に向かうにつれて、各第1のハプティックパターン660(661-669)の間隔Gが661と662との間隔(不図示)>662と663との間隔(不図示)>663と664との間隔(不図示)>664と665との間隔(不図示)>665と666との間隔(不図示)>666と667との間隔(不図示)>667と668との間隔(不図示)>668と669との間隔(不図示)の順に徐々に狭くなる。
【0034】
図6Cは、第2のハプティック出力グループ620の一実施形態を示す図である。第2のハプティック出力グループ620は、左右方向に連続して典型的には均等に配置される5つの操作区分領域650(651-655)のそれぞれの内側に、第2のハプティックパターン670(671-675)が設定される。各第2のハプティックパターン670(671-675)は、1つの矩形状のハプティック出力エリアHE2(HE)で構成される。第2のハプティックパターン670(671-675)は、一直線方向(ここでは、右方向)に向かうにつれて、各第2のハプティックパターン670(671-675)の幅Wを徐々に大きくなるように設定される。すなわち、
図6Cに示すように、第2のハプティックパターン670が671(幅W1)、672(幅W2)、673(幅W3)、674(幅W4)、675(幅W5)の順に右方向に向かうにつれて、各第2のハプティックパターン670(671-675)の幅WがW1<W2<W3<W4<W5の順に徐々に大きくなる。これにより、各第2のハプティックパターン670(671-675)のハプティック出力を発生させる面積、幅を異ならせることができ、操作位置に応じて触覚呈示に差を生じさせる多様なインタラクションを提供することができる。
【0035】
図6Dは、第3のハプティック出力グループ630の一実施形態を示す図である。第3のハプティック出力グループ630は、左右方向に連続して典型的には均等に配置される5つの操作区分領域650(651-655)のそれぞれの内側に、第3のハプティックパターン680(681-685)が設定される。各第3のハプティックパターン680(681-685)は、複数の周期的な所定の形状(
図6Dでは矩形状)のハプティック出力エリアHE3(HE)で構成される。第3のハプティックパターン680(681-685)は、一直線方向(ここでは、右方向)に向かうにつれて、各第3のハプティックパターン680(681-685)の幅Wを徐々に大きくなるように設定される。すなわち、
図6Dに示すように、第3のハプティックパターン680が681(幅W1)、682(幅W2)、683(幅W3)、684(幅W4)、685(幅W5)の順に右方向に向かうにつれて、各第3のハプティックパターン680(681-685)の幅WがW1<W2<W3<W4<W5の順に徐々に大きくなる。これにより、各第3のハプティックパターン680(681-685)のハプティック出力を発生させる面積、幅を異ならせることができ、操作位置に応じて触覚呈示に差を生じさせる多様なインタラクションを提供することができる。
【0036】
図6Eは、第4のハプティック出力グループ640の一実施形態を示す図である。第4のハプティック出力グループ640は、左右方向に連続して典型的には均等に配置される5つの操作区分領域650(651-655)のそれぞれの内側に、第4のハプティックパターン690(691-695)が設定される。各第4のハプティックパターン690(691-695)は、複数の第4のハプティックパターン690(691-695)が並ぶ一直線方向(
図6Eの例では左右方向。)と直交する方向(
図6Eの例では上下方向)に長い線状であり、第4のハプティックパターン690(691-695)が並ぶ一直線方向(
図6Aの例では左右方向。)に間隔を空けて配置される2つのハプティック出力エリアHE4(HE)で構成される。第4のハプティックパターン690(691-695)は、一直線方向(ここでは、右方向)に向かうにつれて、各第4のハプティックパターン690(691-695)に含まれる線状のハプティック出力エリアHE4の数を一定(
図6Eでは2本)にし、各第4のハプティックパターン690(691-695)の幅Wを徐々に大きくなるように設定される。すなわち、
図6Eに示すように、第4のハプティックパターン690が691(幅W1)、692(幅W2)、693(幅W3)、694(幅W4)、695(幅W5)の順に右方向に向かうにつれて、各第4のハプティックパターン690(691-695)の幅WがW1<W2<W3<W4<W5の順に徐々に大きくなる。これにより、各第1のハプティックパターン660(661-665)のハプティック出力を発生させる幅を異ならせることができ、操作位置に応じて触覚呈示に差を生じさせる多様なインタラクションを提供することができる。
【0037】
(操作検出モジュール504)
再び
図4を参照する。プロセッサ43は、操作検出モジュール504を実行することにより、タッチセンサー20からセンサーデータを収集し、前記センサーデータを処理することで、物体(指又は他の物体)2がハプティクス機能付き表示装置1の表面に接触している位置(操作位置)を特定する。また、操作検出モジュール504は、前記操作位置の検出に加えて、前記センサーデータから、物体(指又は他の物体)2がハプティクス機能付き表示装置1の表面を押す力(押圧力)を検出してもよい。なお、操作検出モジュール504は、アクチュエータ制御モジュール506や操作情報処理モジュール508が処理可能なフォーマットに前記センサーデータを変換すればよいので、厳密に言えば、前記操作位置、及び前記押圧力を必ずとも特定しなくてもよい。したがって、操作検出モジュール504は、タッチセンサー20から前記センサーデータを収集すること、前記センサーデータを他のモジュールが処理可能なフォーマット(一例として、前記操作位置、前記押圧力)に加工(変換、演算、解析)すること、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、操作検出モジュール504は、前記センサーデータを他のモジュールが処理可能なフォーマット(一例として、前記操作位置、前記押圧力)に加工(変換、演算、解析)するため、テーブルデータ、演算式、などを含み得る。
【0038】
(アクチュエータ制御モジュール506)
プロセッサ43は、アクチュエータ制御モジュール506を実行することにより、ハプティック出力エリア設定モジュール502が設定したハプティック出力エリアモデル503に基づき、静電アクチュエータ10の任意の位置(エリア)の対となるXハプティック電極11、及びYハプティック電極12に異なる電圧を印加することにより、対となるXハプティック電極11、及びYハプティック電極12の交点で指2が高い静電力を受けるアクティブエリア)とする。実際には、対となるXハプティック電極11、及びYハプティック電極12には、AC電圧が使用される場合があり、印加される電圧の位相が互いに180度ずれるときに最大の静電力が発生する。このように、Xハプティック電極11、及びYハプティック電極12上で(接地又は静電アクチュエータ10の局所的なグラウンドのような何らかのグラウンドに対する)正の電圧及び負の電圧を同時に使用することによって引き起こされる2つの制御電圧の使用は、「双極」動作と呼ばれる。一方、(接地又はタッチデバイスの局所的なグラウンドのような何らかのグラウンドに対する)単一の制御電圧の使用は、「単極」動作と呼ばれ、本実施形態の静電アクチュエータ10は、単極動作されてもよい。
【0039】
アクチュエータ制御モジュール506は、ハプティック出力エリアモデル503に基づき、操作検出モジュール504で操作された操作区分領域650に対応するハプティックパターン660(670;680;690)をアクティブエリアとする。この場合、
図6Aの例において、アクチュエータ制御モジュール506は、操作検出モジュール504で検出された前記操作位置が操作区分領域652に属する場合、操作区分領域652に対応するハプティックパターン662をアクティブエリアとし、前記操作位置に対応しないハプティックパターン661、663、664、及び665を非アクティブエリアとしてもよい。
【0040】
いくつかの実施形態において、アクチュエータ制御モジュール506は、ハプティック出力エリアモデル503に基づき、操作検出モジュール504で操作されたハプティック出力グループ600に含まれるハプティックパターン660(670;680;690)の全てをアクティブエリアとしてもよい。この場合、
図6Aの例において、アクチュエータ制御モジュール506は、操作検出モジュール504で検出された前記操作位置が操作区分領域652に属する場合、操作されたハプティック出力グループ600の全体、すなわち、ハプティックパターン661、662、663、664、及び665をアクティブエリアとしてもよい。
【0041】
また、いくつかの実施形態において、アクチュエータ制御モジュール506は、ハプティック出力エリアモデル503に基づき、操作検出モジュール504で操作された操作区分領域650及びその周辺の操作区分領域650に対応するハプティックパターン660(670;680;690)をアクティブエリアとする。この場合、
図6Aの例において、アクチュエータ制御モジュール506は、操作検出モジュール504で検出された前記操作位置が操作区分領域652に属する場合、操作区分領域652に対応するハプティックパターン662と、操作区分領域652の周辺の操作区分領域651、及び653に対応するハプティックパターン661、及び663をアクティブエリアとし、それ以外のハプティックパターン664、及び665を非アクティブエリアとしてもよい。
【0042】
また、いくつかの実施形態において、アクチュエータ制御モジュール506は、ハプティック出力エリアモデル503に基づかず、ハプティック出力エリアモデル503に含まれるハプティックパターン660(670;680;690)の全てをアクティブエリアとしておいてもよい。この場合、
図5Bの例において、ハプティック出力エリアモデル503に含まれる全てのハプティック出力グループ600のハプティック出力エリアをアクティブエリアとしてもよい。
【0043】
また、上記実施形態と組み合わされ得るいくつかの実施形態において、アクチュエータ制御モジュール506は、複数のXハプティック電極11、複数のYハプティック電極12を順次走査していき、アクティブエリアとする任意の位置(エリア)の対となるXハプティック電極11、及びYハプティック電極12に異なる電圧を印加するようにしてもよい。
【0044】
(操作情報処理モジュール508)
図4のプロセッサ43は、操作情報処理モジュール508を実行することにより、ユーザーによる操作に対応する操作コマンドを生成し、前記操作コマンドをI/Oインタフェース41から車両ECU401や車載機器ECU403などに送信する。車両ECU401や車載機器ECU403などは、操作情報処理モジュール508により生成された前記操作コマンドに基づき、処理を実行し得る。また、グラフィックモジュール500も、操作情報処理モジュール508が生成する操作コマンドに基づき、表示させる画像を変更してもよい。また、ハプティック出力エリア設定モジュール502も、操作情報処理モジュール508が生成する操作コマンドに基づき、ハプティック出力エリアモデル503を生成(変更)してもよい。操作情報処理モジュール508は、例えば、操作検出モジュール504が特定した操作情報(前記操作位置、前記押圧力など)と、前記操作コマンドとを対応づけたテーブルデータなどを含み、前記テーブルデータを参照することで、前記操作コマンドを生成してもよい。
【0045】
図7は、いくつかの実施形態の表示装置1がハプティック出力を実行する方法S100を示すフロー図である。方法S100は、静電アクチュエータ10、タッチセンサー20、空間光変調素子30、及び処理装置40、において実行される。以下に示す方法S100のいくつかの動作は任意選択的に組み合わされ、いくつかの動作の手順は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
【0046】
(ステップS102)
図4のハプティック出力エリア設定モジュール502は、ハプティック出力をする位置(ハプティック出力エリア)を定めるハプティック出力エリアモデル503を設定する。ハプティック出力エリア設定モジュール502は、典型的には、空間光変調素子30が表示するソフトウェアスイッチ画像100の位置、種類、サイズの変更などに応じて、ハプティック出力エリアを変更する。但し、これに限定されず、ハプティック出力エリア設定モジュール502は、空間光変調素子30が表示するソフトウェアスイッチ画像100の変更に依らず、ハプティック出力エリアを変更してもよい。この場合,I/Oインタフェース41から入力する車両ECU401、車載機器ECU403、又はユーザーの状態(脈拍などの生体情報、目位置、視線方向など)を検出するユーザー検出部(不図示)などから取得される情報に基づいて、ソフトウェアスイッチ画像100の変更がなくても、ハプティック出力エリアモデル503を変更し得る。
【0047】
(ステップS104)
図4の操作検出モジュール504は、タッチセンサー20からセンサーデータを収集し、前記センサーデータを処理することで、物体(指又は他の物体)2がハプティクス機能付き表示装置1の表面に接触している位置(操作位置)や物体(指又は他の物体)2がハプティクス機能付き表示装置1の表面を押す力(押圧力)などを検出する。
【0048】
(ステップS106)
図4のアクチュエータ制御モジュール506は、ハプティック出力エリアモデル503に基づき、静電アクチュエータ10を駆動し、ハプティック出力エリアHEをアクティブにする。アクチュエータ制御モジュール506は、ユーザーの操作があった場合にのみ、前記操作位置に基づいて、ハプティック出力エリアモデル503のうち一部のハプティック出力エリアHEをアクティブにしてもよい。また、アクチュエータ制御モジュール506は、ユーザーの操作がなくても、ハプティック出力エリアモデル503の全部又は一部のハプティック出力エリアをアクティブにしておいてもよい。
【0049】
(ステップS108)
図4の操作情報処理モジュール508は、操作検出モジュール504が特定した操作情報(前記操作位置、前記押圧力など)に対応する前記操作コマンドを生成し、前記操作コマンドをI/Oインタフェース41から車両ECU401や車載機器ECU403などに送信する。
【0050】
プロセッサ43は、
図7のステップS108が実行した後、ステップS102から処理を再開し、表示装置1が動作を終了するまで処理を繰り返す。
【符号の説明】
【0051】
1 :ハプティクス機能付き表示装置(表示装置)
2 :指
10 :静電アクチュエータ
10a :基板
11 :Xハプティック電極
12 :Yハプティック電極
13 :絶縁層
20 :タッチセンサー
30 :空間光変調素子
40 :ハプティクス処理装置(処理装置)
41 :I/Oインタフェース
43 :プロセッサ
45 :画像処理回路
47 :メモリ
100 :ソフトウェアスイッチ画像
110 :第1のソフトウェアスイッチ画像
120 :第2のソフトウェアスイッチ画像
401 :車両ECU
403 :車載機器ECU
500 :グラフィックモジュール
502 :ハプティック出力エリア設定モジュール
503 :ハプティック出力エリアモデル
503a :ハプティクスエリアモデル
503b :ハプティクスエリアモデル
504 :操作検出モジュール
506 :アクチュエータ制御モジュール
508 :操作情報処理モジュール
600 :ハプティック出力グループ
610 :第1のハプティック出力グループ
620 :第2のハプティック出力グループ
630 :第3のハプティック出力グループ
640 :第4のハプティック出力グループ
650 :操作区分領域
660 :第1のハプティックパターン
670 :第2のハプティックパターン
680 :第3のハプティックパターン
690 :第4のハプティックパターン
HE :ハプティック出力エリア