(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006867
(43)【公開日】2024-01-17
(54)【発明の名称】オペレーションデバイスおよびその制御方法と制御プログラム
(51)【国際特許分類】
G06F 3/03 20060101AFI20240110BHJP
G06F 3/02 20060101ALI20240110BHJP
G06F 3/0362 20130101ALI20240110BHJP
G06F 3/041 20060101ALI20240110BHJP
【FI】
G06F3/03 400F
G06F3/02 F
G06F3/0362 461
G06F3/041
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022164982
(22)【出願日】2022-10-13
(62)【分割の表示】P 2022540975の分割
【原出願日】2022-06-30
(71)【出願人】
【識別番号】522263976
【氏名又は名称】株式会社レスターエレクトロニクス
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】五島 則夫
(72)【発明者】
【氏名】鬼頭 英一郎
(72)【発明者】
【氏名】永井 尚
(72)【発明者】
【氏名】青山 拓
【テーマコード(参考)】
5B020
5B087
【Fターム(参考)】
5B020DD02
5B020DD05
5B087AA02
5B087CC39
(57)【要約】
【課題】物理操作部が取り付けられたディスプレイパネルを効果的に制御すること。
【解決手段】 静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、を備えたオペレーションデバイスであって、ディスプレイパネル上において、物理操作部としてのダイヤルまたはプッシュスイッチが取り付けられた物理操作領域と、物理操作部が取り付けられないタッチ領域とを含み、物理操作領域の静電容量感度は、タッチ領域の静電容量感度よりも高いオペレーションデバイス。
【選択図】
図1
【特許請求の範囲】
【請求項1】
静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
を備えたオペレーションデバイスであって、
前記ディスプレイパネル上において、前記物理操作部としてのダイヤルまたはプッシュスイッチが取り付けられた物理操作領域と、前記物理操作部が取り付けられないタッチ領域とを含み、
前記物理操作領域の静電容量感度は、前記タッチ領域の静電容量感度よりも高いオペレーションデバイス。
【請求項2】
前記物理操作領域で用いられる第1増幅度および第1閾値の少なくともいずれかと、前記タッチ領域で用いられる第2増幅度および第2閾値の少なくともいずれかと、を異なる値に調整する請求項1に記載のオペレーションデバイス。
【請求項3】
前記物理操作部は、複数のプッシュスイッチを有し、前記複数のプッシュスイッチの表面にスライド接触した接触状態と、前記複数のプッシュスイッチのいずれかを押し込んだ押込み状態とを、検出した前記静電容量の違いによって識別する請求項1に記載のオペレーションデバイス。
【請求項4】
前記物理操作部は、複数の透過型プッシュスイッチを有し、
前記制御部は、
前記プッシュスイッチの上方に指が接近した第1状態と、
前記プッシュスイッチに指が接触した第2状態と、
前記プッシュスイッチが押し込まれた第3状態と、
を識別し、
前記第1、第2、第3状態で、前記透過型プッシュスイッチが取り付けられた領域の前記ディスプレイパネルの表示を変化させる請求項3に記載のオペレーションデバイス。
【請求項5】
前記物理操作部は、中央にプッシュスイッチを備えた回転式ノブである請求項1に記載のオペレーションデバイス。
【請求項6】
静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
を備えたオペレーションデバイスの制御方法であって、
前記ディスプレイパネル上の、前記物理操作部としてのダイヤルまたはプッシュスイッチが取り付けられた物理操作領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
前記物理操作領域以外のタッチ領域において、前記第1の静電容量感度よりも低い第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
を含むオペレーションデバイスの制御方法。
【請求項7】
静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
を備えたオペレーションデバイスの制御プログラムであって、
前記ディスプレイパネル上の、前記物理操作部としてのダイヤルまたはプッシュスイッチが取り付けられた物理操作領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
前記物理操作領域以外のタッチ領域において、前記第1の静電容量感度よりも低い第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
をコンピュータに実行させるオペレーションデバイスの制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オペレーションデバイスおよびその制御方法と制御プログラムに関する。
【背景技術】
【0002】
上記技術分野において、特許文献1には、タッチセンシングデバイス上にスイッチ、ダイヤルやスライダなどの機械式アクチュエータを置いて入力制御デバイスを構成する技術が開示されている。また、静電容量を用いた非接触でのタッチセンシングが示唆されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2006/0256090号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記文献に記載の技術では、ディスプレイパネル上における、物理操作部が取り付けられた領域と、それ以外の領域とを効果的に制御することができなかった。
【0005】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係るデバイスは、
静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
を備えたオペレーションデバイスであって、
前記ディスプレイパネル上において、前記物理操作部としてのダイヤルまたはプッシュスイッチが取り付けられた物理操作領域と、前記物理操作部が取り付けられないタッチ領域とを含み、
前記物理操作領域の静電容量感度は、前記タッチ領域の静電容量感度よりも高いオペレーションデバイスである。
【0007】
上記目的を達成するため、本発明に係る方法は、
静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
を備えたオペレーションデバイスの制御方法であって、
前記ディスプレイパネル上の、前記物理操作部としてのダイヤルまたはプッシュスイッチが取り付けられた物理操作領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
前記物理操作領域以外のタッチ領域において、前記第1の静電容量感度よりも低い第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
を含むオペレーションデバイスの制御方法である。
【0008】
上記目的を達成するため、本発明に係るプログラムは、
静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
を備えたオペレーションデバイスの制御プログラムであって、
前記ディスプレイパネル上の、前記物理操作部としてのダイヤルまたはプッシュスイッチが取り付けられた物理操作領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
前記物理操作領域以外のタッチ領域において、前記第1の静電容量感度よりも低い第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
をコンピュータに実行させるオペレーションデバイスの制御プログラムである。
【発明の効果】
【0009】
本発明によれば、物理操作部が取り付けられたディスプレイパネルを効果的に制御することができる。
【図面の簡単な説明】
【0010】
【
図1】第1実施形態に係るオペレーションデバイスの構成を示すブロック図である。
【
図2】第2実施形態に係るオペレーションデバイスの構成を示すブロック図である。
【
図3A】第2実施形態に係る物理操作部の領域と物理操作部外の領域との異なる静電容量感度を説明する図である。
【
図3B】第2実施形態に係る物理操作部の領域におけるダイヤルを説明する図である。
【
図4A】第2実施形態に係る領域データベースの構成を示す図である。
【
図4B】第2実施形態に係る物理操作部データベースの構成を示す図である。
【
図5】第2実施形態に係る制御部のハードウェア構成を示すブロック図である。
【
図6】第2実施形態に係る制御部の処理手順を示すフローチャートである。
【
図7A】第2実施形態に係るパネル設定処理の手順を示すフローチャートである。
【
図7B】第2実施形態に係る入力判定処理の手順を示すフローチャートである。
【
図7C】第2実施形態に係る操作指示/表示処理の手順を示すフローチャートである。
【
図8A】第3実施形態に係るプッシュスイッチの接触と押込みとを説明する図である。
【
図8B】第3実施形態に係るプッシュスイッチの接触と押込みとを説明する図である。
【
図8C】第3実施形態に係る物理操作部の領域におけるスライダを説明する図である。
【
図8D】第3実施形態に係る物理操作部の領域におけるロッカースイッチを説明する図である。
【
図9A】第3実施形態に係る領域データベースの構成を示す図である。
【
図9B】第3実施形態に係る物理操作部データベースの構成を示す図である。
【
図10A】第3実施形態に係るパネル設定処理の手順を示すフローチャートである。
【
図10B】第3実施形態に係る入力判定処理の手順を示すフローチャートである。
【
図10C】第3実施形態に係る操作指示/表示処理の手順を示すフローチャートである。
【
図11A】第4実施形態に係るプッシュスイッチの接近と接触と押込みとを説明する図である。
【
図11B】第4実施形態に係るプッシュスイッチの接近と接触と押込みとを説明する図である。
【
図12A】第4実施形態に係る領域データベースの構成を示す図である。
【
図12B】第4実施形態に係る物理操作部データベースの構成を示す図である。
【
図13】第4実施形態に係る入力判定処理および操作指示/表示処理の手順を示すフローチャートである。
【
図14A】第5実施形態に係るオペレーションデバイスのキャリブレーション時の操作を説明する図である。
【
図14B】第5実施形態に係る領域データベースの構成を示す図である。
【
図14C】第5実施形態に係るパネル設定処理の手順を示すフローチャートである。
【
図15A】第5実施形態に係る物理操作部以外の領域のキャリブレーション処理の手順を示すフローチャートである。
【
図15B】第5実施形態に係る物理操作部の領域のキャリブレーション処理の手順を示すフローチャートである。
【
図16】第6実施形態に係るオペレーションデバイスを用いたシステム構成を示すブロック図である。
【
図17】第6実施形態に係る多分野で使用するための物理操作部データベースの構成を示す図である。
【
図18A】第6実施形態に係るオペレーションデバイスを自動車に搭載したシステム構成を示す図である。
【
図18B】第6実施形態に係るオペレーションデバイスを医療分野で利用したシステム構成を示す図である。
【
図18C】第6実施形態に係るオペレーションデバイスを壁に埋め込んで利用したシステム構成を示す図である。
【発明を実施するための形態】
【0011】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0012】
[第1実施形態]
本発明の第1実施形態としてのオペレーションデバイス100について、
図1を用いて説明する。オペレーションデバイス100は、ユーザが操作入力を行う装置である。
【0013】
図1に示すように、オペレーションデバイス100は、ディスプレイパネル101と、物理操作部102と、制御部103と、を含む。ディスプレイパネル101は、静電容量の変化を用いた操作検知機能および画像表示機能を有する。また、物理操作部102は、ディスプレイパネル101の表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する。制御部103は、物理操作部102の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する。そして、ディスプレイパネル101上の、物理操作部102が取り付けられた第1領域111と、第1領域111以外の第2領域112とにおいて、異なる静電容量感度で前記静電容量の変化を検出する。
【0014】
本実施形態によれば、物理操作部が取り付けられる領域と、それ以外の領域とを効果的に制御することができる。
【0015】
[第2実施形態]
次に、本発明の第2実施形態に係るオペレーションデバイス200について
図2以降を用いて説明する。
【0016】
図2は、本実施形態に係るオペレーションデバイス200の機能構成を示すブロック図である。本実施形態に係るオペレーションデバイス200は、ディスプレイパネル210と、ディスプレイパネル210の表面に取り付けられた物理操作部としてのダイヤル250とプッシュスイッチ260と、制御部220と、を備える。
【0017】
制御部220は、ディスプレイパネル210における静電容量の変化をオン・オフのデジタル信号に変換するための閾値および/または検知した静電容量の増幅度を、ディスプレイパネル210上の領域に応じて制御する。具体的には、異なる領域においては、異なる閾値および/または増幅度を用いて、ユーザの各種操作を認識する。
【0018】
ディスプレイパネル210上の領域は、ダイヤル250が取り付けられている面としてのダイヤル領域とプッシュスイッチ260が取り付けられている面としてのプッシュスイッチ領域とタッチ領域(物理操作部が設けられていない領域)の3種類に分けられる。ここで、例えば、ダイヤル領域における静電容量感度は、プッシュスイッチ領域の静電容量感度よりも低い。また、タッチ領域の静電容量感度は、ダイヤル領域における静電容量感度よりもさらに低い。つまり、タッチ領域では、所定の静電容量の変化を検出して、ユーザによるタッチ操作を精度良く検知できる。ダイヤル領域では、タッチ領域よりも小さな静電容量の変化を検出して、ダイヤル操作を精度良く検知できる。また、プッシュスイッチ領域では、ダイヤル領域よりもさらに小さな静電容量の変化を検出して、プッシュスイッチのオン・オフを精度良く検知する。なお、ダイヤルは中央にプッシュスイッチを備えた回転式ノブであってもよく、その場合、ダイヤル領域とプッシュスイッチ領域とで静電容量感度を等しくしてもよい。
【0019】
<オペレーションデバイスの機能構成>
ディスプレイパネル210は、表面カバー211と、静電容量の値を検出するための誘電体層213と、表示のためのLCE層(またはLED層)214とを有する。物理操作部212は、プッシュスイッチとダイヤルとを含む。なお、物理操作部212にスライダが含まれてもよい。制御部220は、誘電体層213から検出された電位に基づいてユーザの指による操作入力を判定し、操作入力に従って操作の実行を指示し、操作内容や操作結果をディスプレイパネル210のLCE層214に表示する。
【0020】
制御部220は、領域データベース221と、物理操作部データベース222と、判定領域分離部223と、物理操作領域操作判定部224と、物理操作領域外操作判定部225と、操作指示部226と、表示指示部227と、を備える。領域データベース221は、ディスプレイパネル210において、物理操作部を取り付ける領域と、物理操作部を取り付けない領域との情報を記憶する。物理操作部データベース222は、物理操作部の領域における位置に対応する操作内容を記憶する。なお、領域データベース221および物理操作部データベース222は、あらかじめ記憶されていてもよいし、設定部230からのユーザの設定により記憶されてもよい。また、領域データベース221と物理操作部データベース222とは、別々でなく一体となって情報を記憶してもよい。
【0021】
判定領域分離部223は、誘電体層213から検出された電流をディスプレイパネル210のXY座標と共に取得し、領域データベース221からの情報に基づいて物理操作部が取り付けられた領域か、取り付けられない領域か、を分離する。物理操作領域操作判定部224は、物理操作部データベース222からの情報に基づいて、物理操作部に対する操作を検出する。物理操作領域外操作判定部225は、物理操作領域以外における操作を検出する。なお、誘電体層213からの静電容量の変化の検出は、制御部220で行ってもよいし、制御部220とは別の検出部から制御部220が出力データを取得する構成でもよい。
【0022】
操作指示部226は、物理操作領域操作判定部224と物理操作領域外操作判定部225との判定結果に従った操作の実行を操作実行部240に指示する。表示指示部227は、物理操作領域操作判定部224と物理操作領域外操作判定部225との判定結果に従った操作の表示、あるいは、操作結果の表示をLCE層214に指示する。
【0023】
(異なる静電容量感度の説明)
図3Aは、物理操作部のある領域と物理操作部のない領域とでの静電容量の感度の相違を説明する図である。異なる静電容量感度とするため、制御部220では、物理操作部を取り付けられた物理操作部領域で用いられる静電容量の感度に関係する増幅度および閾値の少なくともいずれかと、物理操作部領域外の領域で用いられる増幅度および閾値の少なくともいずれかと、を異なる値に調整する。例えば、ダイヤル領域の感度は、プッシュスイッチ領域の感度以下であり、タッチ領域の感度よりも高い。
【0024】
図3Aには、プッシュスイッチ領域における静電容量の検出結果311およびダイヤル領域における静電容量の検出結果321と、物理操作部のない領域(つまり、ディスプレイパネルに直接触れる領域、物理操作部領域外とも称す)の静電容量の検出結果331とを示している。プッシュスイッチ260と、ダイヤル250と、パネル表面211とでは、操作時のユーザの指の位置(誘電体からの距離、高さ)が異なる。
【0025】
プッシュスイッチ260を操作する場合のユーザの指と誘電体層213との距離
>
ダイヤル250を操作する場合のユーザの指と誘電体層213との距離
>
ディスプレイパネルを直接操作する場合のユーザの指と誘電体層213との距離
である。
したがって、静電容量の検出結果は逆に、
プッシュスイッチ領域の検出結果311
<
ダイヤル領域の検出結果321
<
物理操作部領域外の検出結果331となる。
【0026】
したがって、プッシュスイッチやダイヤルに対する操作の検出精度を向上させるためには、それらの領域における静電容量の変化の検出に対する感度を高める必要がある。このために、検出した静電容量の増幅度を、プッシュスイッチ領域≧ダイヤル領域>物理操作部領域外となるように設定する。その増幅後の操作位置と静電容量に対応する出力との対応は、プッシュスイッチ位置のグラフ313およびダイヤル位置のグラフ323と、物理操作部領域外のグラフ332となる(物理操作部領域外は増幅なし)。この場合のプッシュスイッチ領域の閾値(Sh1a)と、ダイヤル領域の閾値(Sh1b)と、物理操作部領域外の閾値(Sh2)とは、増幅後の出力から操作の有無を精度良く判別でき、かつ、ノイズの影響の少ない値に設定されるのが望ましい。閾値(Sh1a)と閾値(Sh1b)と閾値(Sh2)とは、同じであってもよい。
【0027】
なお、増幅度で感度を調整せずに閾値のみで調整する場合、ユーザ操作が有ったか否かの判定を行う閾値は、
プッシュスイッチ領域の閾値(Sh1a)
<
ダイヤル領域の閾値(Sh1b)
<
物理操作部領域外の閾値(Sh2)
に設定される。すなわち、静電容量感度は、閾値とは逆に、
プッシュスイッチ領域の感度>ダイヤル領域の感度>物理操作部領域外の感度
となる。
【0028】
各領域の増幅度と閾値との組み合わせは、操作時のユーザの指の位置に応じて設定される。例えば、プッシュスイッチ領域の感度≧ダイヤル領域の感度>物理操作部領域外の感度となるように設定されることが望ましい。
【0029】
図3Bは、ダイヤル250の操作を説明する図である。ダイヤル250は、ディスプレイパネル210のパネル表面211に固定された非誘電体のダイヤル基礎部351と、ダイヤル基礎部351上に回転可能に配置された非誘電体のダイヤル上部352と、を有する。ユーザが指でダイヤル上部352を回転すると、右側にしめす検出結果321に示すように、指の接近に対応する2つのピーク(閾値以上)の位置が変わる。その回転角度からダイヤル250の操作量が検出される。なお、ピークの回転速度から操作速度を検出してもよい。
【0030】
(領域データベース)
図4Aは、本実施形態に係る領域データベース221の構成を示す図である。領域データベース221は、物理操作部を取り付ける領域と、物理操作部を取り付けない領域とで、ユーザ操作を異なる静電容量感度で検出するために、判定領域分離部223と物理操作領域操作判定部224と物理操作領域外操作判定部225とで使用される増幅度および閾値を記憶する。
【0031】
領域データベース221は、領域411に対応付けて操作種類412を記憶する。本実施形態では物理操作領域に操作種類412としてプッシュスイッチとダイヤルとが記憶される。そして、領域411または操作種類412のそれぞれに対して、異なる静電容量感度となる増幅度413と閾値414との組を記憶する。増幅度413としては、例えば、静電容量の変化に対応する出力が小さいプッシュスイッチ領域では"2.0"、静電容量の変化に対応する出力が中程度のダイタル領域では"1.5"、静電容量の変化に対応する出力が大きい物理操作領域外では"1.0"を記憶する。また、閾値414には、プッシュスイッチ判定の閾値Th1a、ダイヤル判定の閾値Th1b、物理操作領域外判定の閾値Th2、が記憶される。なお、閾値のみで感度を変える場合は、閾値Th1a<閾値Th1b<閾値Th2である。
【0032】
(物理操作部データベース)
図4Bは、本実施形態に係る物理操作部データベース222の構成を示す図である。領域データベース221は、静電容量の変化を検出した位置に基づいて、物理操作部に取り付けられた物理操作の種類(プッシュスイッチやダイヤル)を判定するために、物理操作領域操作判定部224で使用される情報を記憶する。なお、
図4Bにおいて、各物理操作種類に記載の最後のアルファベットは、同じ物理操作種類においても異なる対応処理内容である場合を区別するために付している。以降の物理操作部データベースにおいても同様である。
【0033】
物理操作部データベース222は、領域421に対応付けて物理操作種類422を記憶する。本実施形態では、物理操作種類422としてプッシュスイッチとダイヤルとを記憶する。物理操作種類422の各プッシュスイッチまたはダイヤルに対応して、ディスプレイパネル210のXY座標で示された物理操作部の位置情報432と、操作がプッシュスイッチのような静止操作かダイヤルのような移動操作かの情報424と、物理操作種類422および位置情報432に対応する処理内容425と、装置操作内容426とを記憶する。装置操作内容426とは、物理操作部の各々が操作されると、接続された装置がどんな操作を実行するかを示す情報である。
【0034】
<制御部のハードウェア構成>
図5は、本実施形態に係る制御部220のハードウェア構成を示すブロック図である。なお、
図5には、ディスプレイパネル210や設定部230や操作実行部240も図示されている。なお、
図5において、
図2と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0035】
図5で、CPU(Central Processing Unit)510は演算制御用のプロセッサであり、プログラムを実行することで
図5の機能構成部を実現する。CPU510は1つであっても複数であってもよい。ROM(Read Only Memory)520は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
【0036】
RAM(Random Access Memory)540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。静電容量取得情報541は、ディスプレイパネル210の誘電体層(静電容量検出部)213から取得した静電容量に関する情報であり、ディスプレイパネル210上のXY座標を含んでいる。物理操作領域用パラメータ542は、物理操作部を取り付ける領域で用いられるパラメータであり、物理操作領域の領域座標と使用される増幅度および閾値とが含まれる。物理操作判定結果543は、物理操作領域内で閾値により判定された判定結果である。物理操作指示/表示データ544は、物理操作領域内で閾値により判定された物理操作判定結果543に対応する物理操作を指示するデータ、および、対応する表示データである。物理操作領域外用パラメータ545は、物理操作部を取り付けない領域で用いられるパラメータであり、物理操作領域以外の領域座標と使用される増幅度および閾値とが含まれる。物理操作外判定結果546は、物理操作領域以外で閾値により判定された判定結果である。物理操作外指示/表示データ544は、物理操作領域以外で閾値により判定された物理操作外判定結果546に対応する物理操作を指示するデータ、および、対応する表示データである。
【0037】
ストレージ550は、CPU510が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。領域データベース221は、
図4Aに示した構成を有するデータを記憶する。物理操作部データベース222は、
図4Bに示した構成を有するデータを記憶する。
【0038】
ストレージ550には、以下のプログラムが格納される。オペレーションデバイス制御プログラム551は、オペレーションデバイス200の全体を制御するプログラムである。パネル設定モジュール552は、ディスプレイパネル210上の操作領域を設定するためのモジュールである。入力判定モジュール553は、ディスプレイパネル210上でのユーザの操作入力を判定するモジュールである。操作指示/表示モジュール554は、判定されたユーザの操作入力に対応する操作の実行を指示し、操作の表示あるいは実行結果の表示を制御するモジュールである。
【0039】
入出力インタフェース560は、制御部220と外部装置や周辺機器とのインタフェースを行う。本実施形態においては、設定部230と操作実行部240(他装置にあってもよい)が接続されている。ディスプレイパネル・インタフェース570は、制御部220と、ディスプレイパネル210の静電容量検出部(誘電体層)213および表示部(LCE層やLED層)214とが接続される。
【0040】
なお、
図5のRAM540やストレージ550には、オペレーションデバイスとしての汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【0041】
<制御部の処理手順>
図6は、本実施形態に係る制御部220の処理手順を示すフローチャートである。本フローチャートは、
図5のCPU510がRAM540を用いて実行し、
図2の制御部220の構成要素を実現する。
【0042】
制御部220は、ステップS601において、ディスプレイパネル210上の操作領域を設定するパネル設定処理を実行する。制御部220は、ステップS603において、ディスプレイパネル210上でのユーザの操作入力を判定する入力判定処理を実行する。制御部220は、ステップS605において、判定されたユーザの操作入力に対応する操作の実行を指示し、操作の表示あるいは実行結果の表示を制御する操作指示/表示処理を実行する。
【0043】
(パネル設定処理)
図7Aは、本実施形態に係るパネル設定処理S601の手順を示すフローチャートである。
【0044】
制御部220は、ステップS711において、ディスプレイパネル210上の領域配置を取得して設定(記憶)する。制御部220は、ステップS713において、ディスプレイパネル210上の物理操作部以外の領域(XY座標)を取得して、増幅度および閾値と共に記憶する。なお、物理操作部以外の領域では既存の処理とする場合には、増幅度はなくてもよい。制御部220は、ステップS715において、ディスプレイパネル210上の物理操作部の位置(XY座標)と操作種類とを取得して、増幅度および閾値と共に記憶する。
【0045】
(入力判定処理)
図7Bは、本実施形態に係る入力判定処理S603の手順を示すフローチャートである。
【0046】
制御部220は、ステップS721において、ディスプレイパネル210上の各位置(XY座標)の静電容量を取得する。制御部220は、ステップS723において、静電容量の変化が発生したか否かを待つ。静電容量の変化が発生した場合、制御部220は、ステップS724において、静電容量の変化が発生した場所が物理操作部の領域か否かを判定する。物理操作部の領域内と判定された場合は、制御部220は、ステップS725において、静電容量の変化が発生した位置がプッシュスイッチの領域かダイヤルの領域かを判定する。プッシュスイッチの領域であれば、制御部220は、ステップS726において、静電容量の変化に対応する出力を増幅する。そして、制御部220は、ステップS728において、静電容量の変化が閾値Th1a以上であるかを判定する。静電容量の変化が閾値Th1a未満であれば、制御部220は、ステップS732において、「ユーザによる物理操作が無い」と判定する。一方、静電容量の変化が閾値Th1a以上であれば、制御部220は、ステップS729において、ユーザによる物理操作有りと判定して、プッシュスイッチ位置に対応する操作実行指示と操作表示指示を記憶する。
【0047】
ステップS725の判定でダイヤルの領域であれば、制御部220は、ステップS727において、静電容量の変化に対応する出力を増幅する。そして、制御部220は、ステップS730において、静電容量の変化が閾値Th1b(増幅がなければ、Th2>Th1b>Th1a)以上であるかを判定する。静電容量の変化が閾値Th1b未満であれば、制御部220は、ステップS732において、ユーザによる物理操作無しと判定する。一方、静電容量の変化が閾値Th1b以上であれば、制御部220は、ステップS731において、ユーザによる物理操作有りと判定して、ダイヤル回転角度に対応する操作実行指示と操作表示指示を記憶する。
【0048】
ステップS725の判定で物理操作部の領域外と判定された場合、制御部220は、ステップS733において、静電容量の変化が閾値Th2(増幅がなければ、Th2>Th1b>Th1a)以上であるかを判定する。静電容量の変化が閾値Th2未満であれば、制御部220は、ステップS737において、「ユーザによる物理操作部領域外の操作が無い」と判定する。一方、静電容量の変化が閾値Th2以上であれば、制御部220は、ステップS735において、「ユーザによる物理操作部領域外の操作があった」と判定して、判定位置と共にを記憶する。
【0049】
(操作指示/表示処理)
図7Cは、本実施形態に係る操作指示/表示処理S605の手順を示すフローチャートである。
【0050】
制御部220は、ステップS751において、入力判定処理S603における判定結果から操作領域が、物理操作部の領域か物理操作部以外の領域かを判定する。物理操作部の領域と判定された場合、制御部220は、ステップS752において、プッシュスイッチ位置かダイヤルの領域かを、入力判定処理S603で記憶した判定結果を用いて判定する。プッシュスイッチ領域であれば、制御部220は、ステップS753において、入力判定処理S603で記憶した判定結果から操作位置を取得する。そして、制御部220は、ステップS755において、操作位置に対応する操作の実行指示と表示指示を行う。
【0051】
ステップS752の判定でダイヤルの領域であれば、制御部220は、ステップS757において、入力判定処理S603で記憶した判定結果から操作位置と回転角度とを取得する。そして、操作位置と回転角度とに対応する操作の実行指示と表示指示を行う。
【0052】
ステップS751の判定で物理操作部以外の領域と判定された場合、制御部220は、ステップS781において、入力判定処理S603で記憶した判定結果から操作位置を取得する。そして、操作位置に対応する操作の実行指示と表示指示を行う。
【0053】
なお、本実施形態では、説明が複雑にならないように、入力判定処理と操作指示/表示処理とを分けて説明したが、一連のフローチャートであってもよい。
【0054】
本実施形態によれば、物理操作部が取り付けられる領域と、それ以外の領域とを効果的に制御することができる。本実施形態では、物理操作部が取り付けられる領域において、さらに、異なる物理操作部、例えばプッシュスイッチとダイヤルとを効果的に制御することができる。
【0055】
[第3実施形態]
次に、本発明の第3実施形態に係るオペレーションデバイスについて説明する。本実施形態に係るオペレーションデバイスは、上記第2実施形態と比べると、同じ物理操作部(プッシュスイッチ)において2レベルの操作入力を有し、物理操作部としてスライダを含む点で異なる。2レベルの操作入力は、プッシュスイッチの表面に接触した接触状態と、プッシュスイッチを押し込んだ押込み状態とを、静電容量によって識別する。また、複数のプッシュスイッチの上方をユーザの指がスライドした場合と、複数のプッシュスイッチを押し込みながらユーザの指がスライドした場合とを、複数のプッシュスイッチを所定のパラメータを連続的に変化させる異なるスライダとして機能させる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0056】
(プッシュスイッチの接触と押込み)
図8Aおよび
図8Bは、本実施形態に係るプッシュスイッチの接触と押込みとを説明する図である。プッシュスイッチでは、プッシュスイッチの表面に接触した接触状態と、プッシュスイッチを押し込んだ押込み状態とを、検出した静電容量の違いによって識別する。なお、
図8Aにおいて、
図3Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0057】
図8Aには、ユーザ操作に対応する、物理操作部領域のプッシュスイッチ領域における、プッシュスイッチへの指の接触時の静電容量の検出結果311と、プッシュスイッチを押込んだ時の静電容量の検出結果811とを示している。
図8Aから明らかなように、誘電体層213表面からの距離がプッシュスイッチへの接触時の距離>プッシュスイッチの押込み時の距離であり、その検出出力は逆に、プッシュスイッチへの接触時の出力<プッシュスイッチの押込み時の出力となる。
【0058】
したがって、増幅後の出力からプッシュスイッチへのユーザ操作の操作レベルの判定を行う閾値813は、
プッシュスイッチへの接触の閾値(Sh1a)<プッシュスイッチの押込みの閾値(Sh1c)
となるように設定される。すなわち、プッシュスイッチの接触と押込みとの静電容量感度は、閾値とは逆に、
プッシュスイッチへの接触の感度>プッシュスイッチの押込みの感度
となる。
【0059】
図8Bは、プッシュスイッチの接触と押込みとにおける静電容量の変化を横軸に、静電容量の変化に対応する誘電体層213からの出力を縦軸とした操作判定を説明する図である。なお、
図8Bにおいて、破線が増幅前の出力であり、実線が増幅度2.0で増幅した増幅後である。
【0060】
図8Bのように、静電容量の変化と誘電体層213からの出力は比例しており、プッシュスイッチにユーザの指が接触した点821が判定される出力レベルに、閾値(Sh1a)が設定され、プッシュスイッチをユーザの指が押込んだ点822が判定される出力レベルに、閾値(Sh1c)が設定されることが明らかである。閾値(Sh1a)未満が非接触として認識される範囲であり、閾値(Sh1a)以上閾値(Sh1c)以下が接触として認識される範囲であり、閾値(Sh1c)を超える範囲が押込みとして認識される範囲である。
【0061】
(スライダの種類)
図8Cは、本実施形態に係る物理操作部の領域におけるスライダ831~833を説明する図である。
【0062】
スライダ831は、複数の透過型プッシュスイッチを有する。ユーザの指が複数の透過型プッシュスイッチ上をスライドして場合には全体としてスライダとして機能する。また、このプッシュスイッチは透過型(透明素材)であるため、ディスプレイパネル210の表示画面を視認することが可能である。ここで、複数の透過型プッシュスイッチの上をユーザの指が単に接触してスライドした状態と、複数の透過型プッシュスイッチを順番に押し込みながらユーザの指がスライドした状態とで、異なるステップで所定のパラメータを連続的に変化させるようにしてもよい。また、複数の透過型プッシュスイッチに接触しながら指をスライドさせて、スライダ量を検知して音声再生のボリュームなどを制御してもよい。さらに、透過型プッシュスイッチを押し込むことで、検知したスライダ量に対応する値を設定あるいは決定する、
【0063】
スライダ832は、1つの透過型バー上を非接触であるいは接触しながらユーザの指がスライドして場合にスライダとして機能し、ディスプレイパネル210の表示画面が透過される。スライダ832においては、指が透過型バーから離れた場合、あるいは、指が所定時間以上同じ位置に停止した場合に、スライダ量に対応する値を設定あるいは決定し、さらに、当該スライダに関連する処理を実行する。
【0064】
スライダ833は、アクリルボタンを有するアクリルスライダをラバーヒンジ上でスライドさせる構成のスライダであり、ディスプレイパネル210の表示画面を直接見ることができる。スライダ833においても、指がアクリルスライダから離れた場合、あるいは、アクリルスライダが所定時間以上同じ位置に停止した場合に、スライダ量に対応する値を設定あるいは決定し、さらに、当該スライダに関連する処理を実行する。
【0065】
(ロッカースイッチ)
図8Dは、本実施形態に係る物理操作部の領域におけるロッカースイッチを説明する図である。なお、物理操作部がロッカースイッチの場合、操作ボタン面を指で押して、ディスプレイパネルから遠距離の位置より近距離の位置に移動した場合の静電容量の変化を検出できる感度に設定される。すなわち、静電容量の閾値は、操作ボタン面の指がディスプレイパネルから遠距離の位置にある場合の静電容量と、操作ボタン面を指で押して、指がディスプレイパネルから近距離の位置にある場合の静電容量と、の中間に設定される。
【0066】
図8Dのロッカースイッチ上面841は、ロッカースイッチのONとOFFとの設定操作を示している。
図8Dのロッカースイッチ断面842は、ロッカースイッチを横から見た図であり、指が接触するアクリルボタンと、静電容量タッチセンサのカバーレンズとの間に、ラバービンジを挟んでいる。指がアクリルボタンに接触して押下すると、ラバービンジが圧縮されて指が静電容量タッチセンサに近付く。静電容量が上昇して閾値を超えると不図示のハードまたはソフトのフリップフロップに検出信号が入力されて、ロッカースイッチのON/OFFが押下された位置に対応して記憶される。
【0067】
図8Dの静電容量検出843は、ロッカースイッチのON/OFFを検出するための閾値Sh1fと静電容量の出力との関係を示している。なお、閾値Sh1fは、ロッカースイッチのサイズや形状などに対応して調整可能であり、既存のロッカースイッチがそのまま利用できる。
【0068】
(領域データベース)
図9Aは、本実施形態に係る領域データベース921の構成を示す図である。領域データベース921は、本実施形態では
図2の領域データベース221に置き換えられる。なお、
図9Aにおいて、
図4Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0069】
領域データベース921は、物理操作部の種類、特に各プッシュスイッチに対応して、複数の操作レベル913および増幅度914を記憶する。そして、それぞれの操作レベル913に対応して異なる閾値915を記憶する。
図9Aにおいては、接触操作を判定する閾値(Th1a)とは別に、押込み操作を判定する閾値(TH1c:Th1c>Th1a)を記憶する。また、ロッカースイッチにおいては、接触と押込みとの間の閾値Th1fを記憶する。また、
図8Cのスライダ832や833では、スライドする指の誘電体層表面からの距離に応じて閾値Th1aまたはTh1bまたは他の適切な閾値を記憶する。また、
図8Cのスライダ831では、プッシュスイッチへの接触の閾値Th1aと、プッシュスイッチの押込みの閾値Th1cとを記憶する。
【0070】
(物理操作部データベース)
図9Bは、本実施形態に係る物理操作部データベース922の構成を示す図である。物理操作部データベース922は、本実施形態では
図2の物理操作部データベース222に置き換えられる。なお、
図9Bにおいて、
図4Bと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0071】
物理操作部データベース922は、各操作種類、特に各プッシュスイッチに対して、複数の操作レベル925を記憶する。そして、それぞれの操作レベルに対応して異なる対応処理内容926を記憶する。
図9Bは、対応処理内容926には、接触に対応して処理の選択または報知を記憶し、押込み操作に対応して処理の設定(決定して実行)を記憶する。また、ロッカースイッチにおいては、操作レベル925において接触から押込みに変化した位置に対応して、対応処理内容926がONあるいはOFFとなる。
【0072】
また、物理操作部データベース922は、中央にプッシュスイッチを備えた回転式ノブであり、ダイヤル操作において、ダイヤル内のプッシュスイッチを記憶する。その場合、対応処理内容926は、ダイヤルの回転角度が入力数値に対応し、入力ダイヤル内のプッシュスイッチが入力数値の設定やそれを用いた実行に対応する。また、スライダ831の操作において、操作レベル925として接触と押込みとを記憶し、それぞれの対応処理内容926には設定値(移動量)と、設定(実行)とを記憶する。さらに、物理操作部の各々が操作されて、接続された装置がどんな操作を実行するかの装置操作内容927を記憶する。
【0073】
物理操作種類422の組み合わせや複数の操作レベル925は、
図9Bに限定されず、種々の組み合わせを実現できる。
【0074】
<制御部の処理手順>
制御部220の処理手順は、
図6に示したフローチャートと同様であるので、重複する説明は省略する。
【0075】
(パネル設定処理)
図10Aは、
図7Aに置き換えられる、本実施形態に係るパネル設定処理S601の手順を示すフローチャートである。なお、
図10Aにおいて、
図7Aと同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0076】
制御部220は、ステップS1015において、ディスプレイパネル上の物理操作部の位置(XY座標)と操作種類とを取得して、操作種類に対応する増幅度および操作レベルに対応する閾値と共に記憶する。
【0077】
(入力判定処理)
図10Bは、
図7Bに置き換えられる、本実施形態に係る入力判定処理S603の手順を示すフローチャートである。なお、
図10Bにおいて、
図7Bと同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0078】
制御部220は、ステップS1027において、物理操作部の領域での変化の位置がプッシュスイッチ領域かダイヤル領域かスライダ領域かを判定する。プッシュスイッチ領域の場合で静電容量の変化が閾値(Th1a)以上であれば、制御部220は、ステップS1029において、静電容量が閾値(Th1a)より大きい閾値(Th1c)以上か否かを判定する。静電容量の変化が閾値(Th1c)以上であれば、制御部220は、ステップS1030において、プッシュスイッチの押込みと判定して、プッシュスイッチ位置と押込みを記憶する。一方、静電容量の変化が閾値(Th1c)未満であれば、制御部220は、ステップS1031において、プッシュスイッチの接触と判定して、プッシュスイッチ位置と接触操作を記憶する。
【0079】
ステップS1027の判定でスライダ831の領域と判定されると、制御部220は、ステップS1032において、静電容量の変化に対応する出力を増幅する。そして、制御部220は、ステップS1033において、静電容量の変化が閾値(Th1a)以上であるか否かを判定する。静電容量の変化が閾値(Th1a)未満であれば、制御部220は、ステップS732に進んで、物理操作無しと判定する。静電容量の変化が閾値(Th1a)以上であれば、制御部220は、ステップS1035において、スライダの位置と移動距離とを記憶する。制御部220は、ステップS1037において、静電容量の変化が閾値(Th1c)以上であるか否かを判定する。静電容量の変化が閾値(Th1c)未満であれば、制御部220は、ステップS1033に戻って、スライダの移動を追跡する。静電容量の変化が閾値(Th1c)以上になれば、制御部220は、ステップS1039において、スライダの終了と判定して、押込み位置を記憶する。なお、
図10Bには、煩雑さを避けるためスライダ831のみを説明している。スライダ832、833においては、ステップS1033およびS1039における閾値を対応する値に設定することで実現できる。さらに、移動速度を操作に影響させる場合は、移動速度も導出して記憶する。
【0080】
(操作指示/表示処理)
図10Cは、
図7Cに置き換えられる、本実施形態に係る操作指示/表示処理S605の手順を示すフローチャートである。なお、
図10Cにおいて、
図7BCと同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0081】
制御部220は、ステップS1052において、
図10Bの入力判定処理の判定結果を読み出し、物理操作がプッシュスイッチかダイヤルかスライダかを判定する。プッシュスイッチと判定された場合、制御部220は、ステップS1054において、
図10Bの入力判定処理の判定結果を読み出し、ユーザの操作が接触か押込みかを判定する。ユーザの操作が接触である場合、制御部220は、ステップS1055において、操作位置に対応する操作の操作選択指示と表示指示する。一方、ユーザの操作が押込みである場合、制御部220は、ステップS1056において、操作位置に対応する操作の操作実行指示と表示指示する。なお、接触を操作選択または報知とし、押込みを選択された操作実行としたが、操作内容の設定はこれに限定されない。
【0082】
ステップS1052でスライダと判定された場合、制御部220は、ステップS1057において、
図10Bの入力判定処理の判定結果から操作位置と移動距離とを取得する。そして、制御部220は、ステップS1059において、操作位置と移動距離に対応する操作実行指示と表示指示を行う。なお、スライダにおける上方を指でスライドする操作や複数のプッシュスイッチを押込んでスライドする操作などの処理については、フローチャートが煩雑になるので省略する。
【0083】
本実施形態によれば、1つの物理操作によって複数の操作指示を生成することができる。例えば、プッシュスイッチにおける接触と押込みとで異なる操作指示を生成することができる。また、物理操作部に種々の構成のスライダを設定することができる。スライダにおいても、上方をユーザの指がスライドする場合や、接触または押込んでユーザの指がスライドする場合で異なる操作指示を生成することができる。
【0084】
[第4実施形態]
次に、本発明の第4実施形態に係るオペレーションデバイスについて説明する。本実施形態に係るオペレーションデバイスは、上記第2実施形態および第3実施形態と比べると、同じ物理操作部(プッシュスイッチ)において3レベル以上の操作入力を有する点で異なる。3レベル以上の操作入力には、プッシュスイッチの上方に指が接近した状態と、プッシュスイッチに指が接触した状態と、プッシュスイッチが押し込まれた状態と、が含まれる。さらに、プッシュスイッチがディスプレイパネルに接着した状態を含んでもよい。その他の構成および動作は、第2実施形態または第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0085】
(プッシュスイッチへの接近と接触と押込み)
図11Aおよび
図11Bは、本4実施形態に係るプッシュスイッチの接近と接触と押込みとを説明する図である。なお、
図11Aにおいて、
図3Aおよび
図8Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0086】
図11Aには、ユーザ操作に対応する、物理操作部領域のプッシュスイッチ位置における、プッシュスイッチへの指の接近時の静電容量の検出結1111を追加して示している。
図11Aから明らかなように、誘電体層213へのユーザの指の影響は、誘電体層213表面からの距離がプッシュスイッチへの接近時の距離>プッシュスイッチへの接触時の距離>プッシュスイッチの押込み時の距離である。したがって、その検出出力の大小は、逆に、プッシュスイッチへの接近時の出力<プッシュスイッチへの接触時の出力<プッシュスイッチの押込み時の出力となる。
【0087】
したがって、増幅後の出力からプッシュスイッチへのユーザ操作の操作レベルの判定を行う閾値1113は、プッシュスイッチへの接近の閾値(Sh1d)<プッシュスイッチへの接触の閾値(Sh1a)<プッシュスイッチの押込みの閾値(Sh1c)に設定される。すなわち、プッシュスイッチへの接近、接触、押込みの静電容量感度は、閾値とは逆に、プッシュスイッチへの接近の感度>プッシュスイッチへの接触の感度>プッシュスイッチの押込みの感度と考えられる。
【0088】
図11Bは、プッシュスイッチへの接近と接触と押込みとにおける静電容量の変化を横軸に誘電体層213からの出力を縦軸とした操作判定を説明する図である。なお、
図11Bにおいて、
図8Bと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。なお、
図11Bにおいて、破線が増幅前の出力であり、実線が増幅度3.0で増幅した増幅後である。
【0089】
図11Bのように、静電容量の変化と誘電体層213からの出力は比例しており、プッシュスイッチにユーザの指が接近した状態1123が判定される出力レベルに、閾値(Sh1d)が設定される。また、プッシュスイッチをディスプレイパネル210の表面に接着した点1124が判定される出力レベルに、閾値(Sh1e)が設定されることが明らかである。閾値(Sh1d)未満がOFFとして認識される範囲であり、閾値(Sh1d)以上閾値(Sh1a)以下が接近として認識される範囲であり、閾値(Sh1a)以上閾値(Sh1c)以下が接触として認識される範囲である。また、閾値(Sh1c)以上閾値(Sh1e)以下が押込みとして認識される範囲であり、閾値(Sh1e)を超える範囲がONとして認識される範囲である。なお、
図11Bにおいては、閾値(Sh1a)以上閾値(Sh1e)以下の範囲(822)が押込みイベントではなく押込み状態として連続するアナログ入力が可能なことも示されている。なお、第3実施形態における上方をユーザの指がスライドするスライダの操作においては、プッシュスイッチにユーザの指が接近した状態と同様に、増幅度と閾値とを設定することでスライド操作を実現できる。
【0090】
(領域データベース)
図12Aは、本実施形態に係る領域データベース1221の構成を示す図である。領域データベース1221は、本実施形態では
図2の領域データベース221に置き換えられる。なお、
図12Aにおいて、
図4Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0091】
領域データベース1221は、各操作種類、特に各プッシュスイッチに対して、複数の操作レベル1213を記憶する。各操作種類における静電容量の大小に対応して増幅度1214を記憶する。そして、それぞれの操作レベルに対応して異なる閾値1215を記憶する。
図12Aにおいては、接触操作を判定する閾値(Th1a)および押込み操作を判定する閾値(TH1c:Th1c>Th1a)とは別に、接近操作を判定する閾値(Th1d:Th1c>Th1a>Th1d)を記憶する。なお、
図12Aには記載しないが、4つ目のプッシュスイッチのディスプレイパネルへのON(接着)を判定する閾値(Th1e:Th1e>Th1c>Th1a>Th1d)を記憶してもよい。また、スライダにおいて、接触でなく接近での入力を行う場合には、操作レベル1213の接近に対応する閾値1215としてTh1dを記憶する。また、スライダにおいて、指を接近しスライドして設定値を入力し、接触や押込みで設定あるいは決定する場合には、操作レベル1213に接近と接触/押込みとを記憶し、対応する閾値1215としてTh1dとTh1a/Th1cを記憶する。
【0092】
(物理操作部データベース)
図12Bは、本実施形態に係る物理操作部データベース1222の構成を示す図である。物理操作部データベース1222は、本実施形態では
図2の物理操作部データベース222に置き換えられる。なお、
図12Bにおいて、
図4Bと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0093】
物理操作部データベース1222は、各操作種類、特に各プッシュスイッチに対して、複数の操作レベル1225を記憶する。そして、それぞれの操作レベルに対応して変化する、識別可能な異なる表示色や輝度など1226と対応処理内容1227を記憶する。
図12Bは、表示色や輝度など1226には、例えば、接近に対応して黄または輝度小、接触に対応して緑または輝度中、押込み操作に対応して赤または輝度大を記憶する。対応処理内容1227には、接近に対応して選択準備の処理を記憶し、接触に対応して処理の選択または報知を記憶し、押込み操作に対応して処理の設定(決定して実行)を記憶する。
【0094】
また、指を接近させてスライドさせることにより、設定値が入力される。接触や押込みで設定あるいは決定するスライダの場合、操作レベル1225の接近に対応して、表示色/輝度1226に黄/輝度小を記憶し、対応処理内容1227には設定値(移動量)の入力を記憶する。そして、操作レベル1225の接触/押込みに対応して、表示色/輝度1226に赤/輝度大を記憶し、対応処理内容1227には設定値を用いた設定(実行)を記憶する。さらに、物理操作部の各々が操作されて、接続された装置がどんな操作を実行するかの装置操作内容1228を記憶する。
【0095】
なお、物理操作種類422の組み合わせや複数の操作レベル1225は、
図12Bに限定されず、種々の組み合わせを実現できる。
【0096】
<制御部の処理手順>
制御部220の処理手順は、
図6に示したフローチャートと同様であるので、重複する説明は省略する。また、本実施形態のパネル設定処理は、
図7Aおよび
図10Aから想定できるので、詳細は省略する。
【0097】
(入力判定処理および操作指示/表示処理)
図13は、
図7Bおよび
図10Bあるいは
図7Cおよび
図10Cに置き換えられる、本実施形態に係る入力判定処理S603および操作指示/表示処理S605の手順を示すフローチャートである。なお、
図13において、
図7Bおよび
図10Bあるいは
図7Cおよび
図10Cと同様のステップは、煩雑さを避けるために図面から省略しているが、同様の処理がなされる。また、
図13にはプッシュスイッチに関連する処理手順のフローチャートのみを示しているが、他の物理操作部における処理手順は、閾値をその物理操作部に適切な値に設定することで、容易に想到し得るので省略する。
【0098】
図13の左図は、
図10BのステップS726に続くフローチャートである。制御部220は、ステップS1327において、静電容量の変化が閾値(Th1d)以上か否かを判定する。静電容量の変化が閾値(Th1d)未満と判定された場合、制御部220は、ステップS732に進み、物理操作無しと判定する。
【0099】
また、静電容量の変化が閾値(Th1d)以上と判定された場合、制御部220は、ステップS728で静電容量の変化が閾値(Th1a)以上か否かを判定し、静電容量の変化が閾値(Th1a)未満の場合、制御部220は、ステップS1332において、プッシュスイッチへの接近と判定して、プッシュスイッチ位置と接近を記憶する。
【0100】
図13の右図は、
図10CのステップS753から以降の本実施形態のフローチャートである。制御部220は、ステップS1354において、本実施形態の入力判定処理S603の判定結果から、プッシュスイッチへの接近か接触か押込みかを判定する。判定結果が接近である場合、制御部220は、ステップS1357において、操作位置に対応する操作準備指示と表示指示を行う。
【0101】
なお、プッシュスイッチのディスプレイパネルへの接着を判定する閾値(Th1e)を使用する場合は、判定の分岐ステップを設けることでさらに多様な操作入力が可能になる。
【0102】
本実施形態によれば、1つの物理操作によって複数の操作指示を生成することができる。例えば、プッシュスイッチにおける接近と接触と押込みとで3つ以上の異なる操作指示を生成することができる。
【0103】
[第5実施形態]
次に、本発明の第5実施形態に係るオペレーションデバイスについて説明する。本実施形態に係るオペレーションデバイスは、上記第2実施形態および第4実施形態と比べると、オペレーションデバイスを使用する前に、各領域あるいは物理操作部の誘電容量の変化を検出する静電容量感度をキャリブレーションする点で異なる。すなわち、物理操作部領域に取り付けられた物理操作部の種類および物理操作部領域外の少なくともいずれかにおける静電容量の変化を検出するための静電容量感度を、ユーザからの入力により調整する。静電容量感度に関連するパラメータである増幅度および/または閾値をキャリブレーションして、オペレーションデバイスからの安定した正確な操作を可能とする。その他の構成および動作は、第2実施形態または第4実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0104】
<オペレーションデバイスのキャリブレーション部の操作>
図14Aは、本実施形態に係るオペレーションデバイスのキャリブレーション時の操作を説明する図である。
図14Aは、
図2におけるオペレーションデバイス200のディスプレイパネル210でのキャリブレーション時の操作におけるユーザインタフェースを示している。なお、
図14Aにおいて、
図2と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0105】
ディスプレイパネル210の画面1400には、キャリブレーションが開始されたことと、キャリブレーションの対象領域、あるいは、対象物理操作部を選択するボタンが表示される。ボタンには、物理操作部領域外のキャリブレーションを指示するボタン1401と、物理操作部領域の3段入力(接近、接触、押込み)のプッシュスイッチのキャリブレーションを指示するボタン1405と、が含まれる。
【0106】
画面1400において物理操作部領域外のボタン1401に接触すると、表示画面は画面1410に遷移して、"物理操作部外にタッチしてください"とのコメント、あるいは音声指示が出力される。この時に、操作対象の物理操作部領域外1411を判別可能な色などで表示すると、ユーザにタッチ位置がよくわかり操作の失敗を防ぐことができる。ユーザが画面1410の物理操作部領域外1411の表面にタッチすると、表示画面は画面1420に遷移して、検出された静電容量の変化を示すグラフと、キャリブレーションのためのパラメータである増幅度と閾値との増減入力のボタンとが表示される。ユーザが、グラフを見ながら増幅度と閾値との増減入力をしながら、物理操作部領域外1411の表面へのタッチを繰り返して、物理操作部領域外1411へのユーザのタッチを安定して正確に検出できるような増幅度と閾値とに設定できる。増幅度と閾値との適切な設定が完了すると、"物理操作部外の調整が完了しました"とのコメント、あるいは音声指示が出力される。この時に、物理操作部領域外1430の色を物理操作部領域外1411と異なる色などで表示すると、ユーザに調整完了を明示することができる。なお、
図14Aでは、物理操作部領域外1411へのユーザのタッチを例に説明したが、物理操作部領域外1411に接近と接触とで異なる入力操作を設定する場合には、接近操作および接触操作において安定して正確に検出できるような増幅度と閾値とを設定することになる。
【0107】
一方、画面1400において物理操作部領域の3段プッシュスイッチのボタン1405に接触すると、表示画面は画面1450に遷移して、3段プッシュスイッチの表面への接触の場合、"対象プッシュボタンに接触してください"とのコメント、あるいは音声指示が出力される。この時に、操作対象のプッシュスイッチ1451の色や周辺を判別可能な色などで表示すると、ユーザに接触位置がよくわかり操作の失敗を防ぐことができる。ユーザがプッシュスイッチ1451の表面に接触すると、表示画面は画面1460に遷移して、検出された静電容量の変化を示すグラフと、キャリブレーションのためのパラメータである増幅度と閾値との増減入力のボタンとが表示される。なお、
図14Aでは3段プッシュスイッチなので、閾値は接近閾値、接触閾値、押込み閾値の調整が可能である。ユーザが、グラフを見ながら増幅度と閾値との増減入力をしながら、3段プッシュスイッチの接近操作、接触操作、押込み操作を繰り返して、3段プッシュスイッチへのユーザの操作入力を安定して正確に検出できるような増幅度と各閾値とに設定できる。増幅度と各閾値との適切な設定が完了すると、"対象プッシュスイッチの調整が完了しました"とのコメント、あるいは音声指示が出力される。この時に、プッシュスイッチ1451の色を調整前と異なる色などで表示すると、ユーザに調整完了を明示することができる。なお、
図14Aでは、3段プッシュスイッチへの接近、接触、押込みを例に説明したが、他の物理操作部における異なる入力操作を設定する場合には、それぞれの操作において安定して正確に検出できるような増幅度と閾値とを設定することになる。
【0108】
(領域データベース)
図14Bは、本実施形態に係る領域データベース1421の構成を示す図である。領域データベース1421は、
図4A、
図9A、
図12Aと入れ替えられて使用される。なお、
図14Bにおいて、
図4A、
図9A、
図12Aと同様のステップには同じ構成要素には同じ参照番号を付して、重複する説明を省略する。
【0109】
領域データベース1421は、各操作部種類の操作レベル913に対応付けて、キャリブレーションされた適切な増幅度1414と閾値1415とを記憶する。例えば、プッシュスイッチiに適切なキャリブレーションされた増幅度は"3.1"で閾値は"Th1a-δ"である。また、プッシュスイッチnに適切なキャリブレーションされた増幅度は"2.9"である。そして、接近を検出する閾値は"Th1d-α"であり、接触を検出する閾値は"Th1a+β"であり、接近を検出する閾値は"Th1d±0"である。
【0110】
また、物理操作領域外のタッチパネル領域の、適切なキャリブレーションされた増幅度は"0.8"で閾値は"Th2-c"である。
【0111】
(パネル設定処理)
図14Cは、本実施形態に係るパネル設定処理S601の手順を示すフローチャートである。
図14Cは、
図7Aと入れ替えられて実行される。なお、
図14Cにおいて、
図7Aと同様のステップには同じステップ番号を付して、重複する説明を省略する。
【0112】
制御部220は、ステップS1412において、物理操作部以外の領域での増幅度および閾値のキャリブレーション処理を実行する。また、制御部220は、ステップS1414において、物理操作部領域での増幅度および閾値のキャリブレーション処理を実行する。
【0113】
(物理操作部外領域のキャリブレーション処理)
図15Aは、本実施形態に係る物理操作部外領域のキャリブレーション処理S1412の手順を示すフローチャートである。
【0114】
制御部220は、ステップS1510において、デフォルトパラメータ(増幅値および閾値)を設定する。なお、このデフォルトパラメータは、ディスプレイパネル210からのオペレーションデバイス200への操作入力が可能な値に、ディスプレイパネル210の物理性質などから設定される。
【0115】
制御部220は、ステップS1511において、ユーザによってパラメータを調整するか否かを判定する。ユーザによってパラメータを調整すると判定された場合は、ステップS1513に進む。ユーザによってパラメータを調整すると判定さない場合は、ステップS1531に進んで、デバイス(制御部)によってパラメータを調整するか否かを判定する。デバイスによってパラメータを調整すると判定された場合は、ステップS1533に進む。なお、パラメータを調整するか否かの情報は、あらかじめ制御部に記憶されていても、ユーザによって選択されてもよい。
【0116】
制御部220は、ステップS1513において、物理操作部以外の領域を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1515において、ユーザによる物理操作部以外の領域への操作入力を待つ。ユーザによる物理操作部以外の領域への操作入力があれば、制御部220は、ステップS1517において、操作入力による静電容量の変化を取得して表示し、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力する。制御部220は、ステップS1519において、ユーザによるパラメータの更新が入力されたか否かを判定する。ユーザによるパラメータの更新が入力された場合、制御部220は、ステップS1513に戻って、処理を繰り返す。一方、ユーザによるパラメータの更新が入力されない場合、適切なパラメータの設定ができたと判断して、制御部220は、ステップS1521において、最後に更新された最新のパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1523において、パラメータの調整をしたい物理操作部以外の領域への他の操作があるか否かを判定する。他の操作がある場合、制御部220は、ステップS1513に戻って、処理を繰り返す。
【0117】
制御部220は、ステップS1533において、物理操作部領域の対象操作部(プッシュスイッチやダイヤルなど)を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1535において、ユーザによる物理操作部領域の対象操作部への操作入力を待つ。ユーザによる物理操作部領域の対象操作部への操作入力があれば、制御部220は、ステップS1537において、操作入力による静電容量の変化を取得して、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力し、判定結果を分析することでパラメータを導出する。制御部220は、ステップS1539において、適切なパラメータが導出されたかを判定する。適切なパラメータが導出されない場合、制御部220は、ステップS1533に戻って、処理を繰り返す。一方、適切なパラメータが導出された場合、制御部220は、ステップS1541において、導出された適切なパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1543において、パラメータの調整をしたい物理操作部以外の領域への他の操作があるか否かを判定する。他の操作がある場合、制御部220は、ステップS1533に戻って、処理を繰り返す。
【0118】
(物理操作部領域のキャリブレーション処理)
図15Bは、本実施形態に係る物理操作部領域のキャリブレーション処理S1414の手順を示すフローチャートである。
【0119】
制御部220は、ステップS1551において、物理操作部にある操作部の種類(プッシュスイッチの種類やスライダの種類など)の入力を待つ。操作部の種類の入力があれば、制御部220は、ステップS1553において、操作部の対象種類におけるデフォルトパラメータ(増幅値および閾値)を設定する。
【0120】
制御部220は、ステップS1561において、ユーザによってパラメータを調整するか否かを判定する。ユーザによってパラメータを調整すると判定された場合は、ステップS1563に進む。ユーザによってパラメータを調整すると判定さない場合は、ステップS1581に進んで、デバイス(制御部)によってパラメータを調整するか否かを判定する。デバイスによってパラメータを調整すると判定された場合は、ステップS1583に進む。なお、パラメータを調整するか否かの情報は、あらかじめ制御部に記憶されていても、ユーザによって選択されてもよい。
【0121】
制御部220は、ステップS1563において、物理操作部領域の対象操作部を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1565において、ユーザによる対象操作部への操作入力を待つ。ユーザによる対象操作部への操作入力があれば、制御部220は、ステップS1567において、操作入力による静電容量の変化を取得して表示し、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力する。制御部220は、ステップS1569において、ユーザによるパラメータの更新が入力されたか否かを判定する。ユーザによるパラメータの更新が入力された場合、制御部220は、ステップS1563に戻って、処理を繰り返す。一方、ユーザによるパラメータの更新が入力されない場合、適切なパラメータの設定ができたと判断して、制御部220は、ステップS1571において、最後に更新された最新のパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1573において、同じ種類の操作部において他の状態を有するか否かを判定する。例えば、3段プッシュスイッチであれば、接近状態、接触状態、押込み状態の3つの状態についてパラメータを調整する。他の状態がある場合、制御部220は、ステップS1563に戻って、処理を繰り返す。他の状態がない場合、制御部220は、ステップS1575において、パラメータを調整する他の種類の操作部があるか否かを判定する。他の種類の操作部がある場合、制御部220は、ステップS1551に戻って、他の操作部の種類の入力を待つ。
【0122】
制御部220は、ステップS1583において、物理操作部領域の対象操作部(プッシュスイッチやダイヤルなど)を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1585において、ユーザによる物理操作部領域の対象操作部への操作入力を待つ。ユーザによる物理操作部領域の対象操作部への操作入力があれば、制御部220は、ステップS1587において、操作入力による静電容量の変化を取得して、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力し、判定結果を分析することでパラメータを導出する。制御部220は、ステップS1589において、適切なパラメータが導出されたかを判定する。適切なパラメータが導出されない場合、制御部220は、ステップS1583に戻って、処理を繰り返す。一方、適切なパラメータが導出された場合、制御部220は、ステップS1591において、導出された適切なパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1593において、同じ種類の操作部において他の状態を有するか否かを判定する。例えば、3段プッシュスイッチであれば、接近状態、接触状態、押込み状態の3つの状態についてパラメータを調整する。他の状態がある場合、制御部220は、ステップS1583に戻って、処理を繰り返す。他の状態がない場合、制御部220は、ステップS1595において、パラメータを調整する他の種類の操作部があるか否かを判定する。他の種類の操作部がある場合、制御部220は、ステップS1551に戻って、他の操作部の種類の入力を待つ。
【0123】
本実施形態によれば、静電容量を用いたオペレーションデバイスから安定した正確な操作入力をすることができる。
【0124】
[産業上の利用分野]
上述したオペレーションデバイスの適用分野について説明する。本実施形態においては、第1実施形態から第5実施形態に記載したオペレーションデバイスを用いて種々の分野のシステムに適用した構成を説明する。
上述したオペレーションデバイスは、例えば、オーディオミキサ、自動車の操作パネル、医療情報閲覧用モニタ、工作機械の操作部、建機・船舶の操作部、ゲーム機などのアミューズメント機器の操作部、コンピュータやコンピュータ周辺機器の操作部、および鉄道や船舶などの券売機などに適用できる。本実施形態によれば、ダイヤルやスイッチなど必要な種類の操作部を、ディスプレイパネル上の所望の位置に自由に配置して、ソフトウェアにより各操作部の操作精度や役割を設定できる。
【0125】
例えば、本実施形態をオーディオミキサに適用する場合、物理操作部として取り付けられたプッシュスイッチが曲(メロディ)の選択やリズムの選択など、ダイヤルが曲全体のボリュームやテンポの設定など、スライダが各パートのボリュームやリズムなどの設定など、を行うための操作部となる。また、メロディ、ボリューム、リズムの切断、接続や組み合わせなどを行うための操作部ともなる。
一方、本実施形態を車載器に適用する場合、プッシュスイッチがスピーカやエアコンのON/OFFなど、ダイヤルやスライダがエアコン温度や風量の調整やカーナビの地図の選択やスクロールなどを行うための操作部となる。
【0126】
<オペレーションデバイスを用いたシステム>
図16は、本実施形態に係るオペレーションデバイスを用いたシステム1600の構成を示すブロック図である。なお、
図16において、
図2と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0127】
図16においては、制御部220からの操作指示を受けた操作実行部240を介して、指示操作の実行結果を入出力インタフェース1610から様々な周辺機器に出力する構成を示す。例えば、周辺機器には、音声出力部1611や、スパートグラス(HMD)1612や、ヘッドアップディスプレイ1613などが接続されて、操作指示結果の音声出力や画面表示が実現される。
【0128】
(物理操作部データベース)
図17は、本実施形態に係る多分野で使用するための物理操作部データベース1722の構成を示す図である。なお、
図17において、
図4Bと同様な構成要素には同じ参照番号を付して、重複する説明を省略する。
【0129】
図17は、利用分野1711の各分野に対応して、各々の物理操作部データベース1723、1724が準備されている。例えば、利用分野1711が自動車の場合には、物理操作部データベース1723が使用され、対応処理内容1727にはカーナビに関連する操作指示が可能なようにオペレーションデバイスが制御される。また、利用分野1711が医療分野であれば、物理操作部データベース1724が使用され、対応処理内容1728には看護師や医師の医療に関連する操作指示が可能なようにオペレーションデバイスが制御される。
【0130】
(自動車のカーナビへの適用例)
図18Aは、本実施形態に係るオペレーションデバイスを自動車に搭載したカーナビシステム1810に適用した構成例を示す図である。
【0131】
(医療分野の適用例)
図18Bは、本実施形態に係るオペレーションデバイスを医療分野で利用した医療処理システム1820に適用した構成例を示す図である。
図18Bには、操作用の本実施形態に係るオペレーションデバイス1821と、操作結果の表示用メインディスプレイ1822が図示されている。なお、本実施形態に係るオペレーションデバイスの適用分野は上記例に限定されることなく、例えば、産業機器の操作部への適用、建機・船舶機器向けの操作部への適用、ゲーム機などのアミューズメント機器の操作部への適用、コンピュータ(PC)やコンピュータ周辺機器(HID機器)の操作部への適用、などが考えられる。
【0132】
(壁への埋め込みディスプレイ)
図18Cは、本実施形態に係るオペレーションデバイスを壁に埋め込んで利用したシステム構成1830および1840を示す図である。
【0133】
システム構成1830は、例えば、デジタルサイネージなどに本実施形態のオペレーションデバイスを壁に埋め込んで利用した例である。また、システム構成1840は、室内における環境調整や家電機器調整などに本実施形態のオペレーションデバイスを壁に埋め込んで利用した例である。外部との通信画面として使用してもよい。
【0134】
(駅の券売機)
本実施形態に係るオペレーションデバイスは、駅の券売機などに適用することができ効果的である。例えば、1枚のディスプレイパネルに物理操作部としての透過型プッシュスイッチを取り付け、透過型プッシュスイッチの取り付け位置のディスプレイに運賃や行き先を表示することで、券売機における運賃の変更や更新なども、透過型プッシュスイッチの取り付けとソフトウェアの変更や更新で簡単に実現できる。
【0135】
以上のように、本実施形態に係るオペレーションデバイスは、様々な分野における操作部への適用が可能である。
【0136】
[他の実施形態]
なお、上記実施形態においては、静電容量の変化を検出する検出部については具体的な構成を示していないが、当該検出部は既知の技術によって制御部で検出される構成であっても、ディスプレイパネルと制御部との間に静電容量の変化を検出する検出部(例えば、ICチッブ)を設けて、そのデジタル出力を制御部が取得する構成であってもよい。静電容量の変化の検出は、所定周波数の波形や矩形パルスなどを印加して、静電容量の変化に伴う電流変化により検出するのが普通であるが、本実施形態で採用する検出方法に制限はない。
【0137】
また、上記実施形態においては、ディスプレイパネル上に取り付けられる物理操作部として、プッシュスイッチ、ロッカースイッチ、ダイヤル、スライダを例に説明したが、取り付けられる物理操作部は、物理操作時のユーザの指の動きが静電容量の変化や、変化位置の移動として検出可能ないかなる物理操作部品であってもよい。そして、物理操作部のサイズや形状などの違いも本実施形態における増幅度や閾値を調整する(感度を調整する)ことにより吸収できるため、既存の物理操作部をそのまま使用可能である。
【0138】
また、上記実施形態においては、ディスプレイパネルの表面を平面として説明したが、凸曲面や凹曲面であってもよい。また、物理操作部を取り付けた領域と、物理操作部を取り付けない領域とを、所定角度で折り曲げることも可能である。
【0139】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
【0140】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の技術的範囲に含まれる。