IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラ株式会社の特許一覧

<>
  • 特開-端末装置、操作方法及びプログラム 図1
  • 特開-端末装置、操作方法及びプログラム 図2
  • 特開-端末装置、操作方法及びプログラム 図3
  • 特開-端末装置、操作方法及びプログラム 図4
  • 特開-端末装置、操作方法及びプログラム 図5
  • 特開-端末装置、操作方法及びプログラム 図6
  • 特開-端末装置、操作方法及びプログラム 図7
  • 特開-端末装置、操作方法及びプログラム 図8
  • 特開-端末装置、操作方法及びプログラム 図9
  • 特開-端末装置、操作方法及びプログラム 図10
  • 特開-端末装置、操作方法及びプログラム 図11
  • 特開-端末装置、操作方法及びプログラム 図12
  • 特開-端末装置、操作方法及びプログラム 図13
  • 特開-端末装置、操作方法及びプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168309
(43)【公開日】2024-12-05
(54)【発明の名称】端末装置、操作方法及びプログラム
(51)【国際特許分類】
   G06F 3/04842 20220101AFI20241128BHJP
   G06F 3/041 20060101ALI20241128BHJP
   G06F 3/0488 20220101ALI20241128BHJP
【FI】
G06F3/04842
G06F3/041 580
G06F3/041 590
G06F3/0488
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023084861
(22)【出願日】2023-05-23
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100203264
【弁理士】
【氏名又は名称】塩川 未久
(72)【発明者】
【氏名】松尾 直紀
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA12
5E555AA25
5E555AA62
5E555BA01
5E555BB01
5E555BC04
5E555CA13
5E555CA44
5E555CB23
5E555CB33
5E555CB34
5E555CB37
5E555CB40
5E555CB42
5E555CB76
5E555CC07
5E555DB53
5E555DC13
5E555DC31
5E555DD08
5E555FA00
(57)【要約】      (修正有)
【課題】非接触操作の検出精度を向上させる端末装置、操作方法及びプログラムを提供する。
【解決手段】端末装置10は、ディスプレイ12と、静電容量式のタッチセンサである検出センサ13を有する表示部11と、記憶部と、制御部と、を備える。制御部は、ディスプレイ12に対してホバー状態にあり、ユーザの任意の指であってよい第1操作子1の情報及び第1操作子1の隣の指である第2操作子2の情報に基づいて、ディスプレイ12に表示されたオブジェクトに対するユーザの指示を確定させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
ディスプレイと、
前記ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させる制御部と
を備える、端末装置。
【請求項2】
前記第1操作子及び前記第2操作子のそれぞれの情報は、前記ディスプレイに対する前記第1操作子及び前記第2操作子のそれぞれの静電容量に基づくものである、請求項1に記載の端末装置。
【請求項3】
前記制御部は、前記第1操作子の情報及び前記第2操作子の情報に基づいて前記第1操作子と前記第2操作子との間の距離が距離閾値未満であると判定した場合、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させる、請求項1に記載の端末装置。
【請求項4】
第1線分は、前記ディスプレイにおいて前記第1操作子の位置と前記第2操作子の位置とを結ぶ線分であり、
第2線分は、前記ディスプレイにおいて前記第1線分上の点を通り、前記第1線分と直交する線分であり、
前記制御部は、前記ディスプレイにおける前記第2線分上又は前記第2線分の近傍の静電容量の変化値が変化閾値を超えると判定した場合、前記第1操作子と前記第2操作子との間の距離が前記距離閾値未満であると判定する、請求項3に記載の端末装置。
【請求項5】
前記制御部は、前記ディスプレイにおける前記第1線分上又は前記第1線分の近傍の静電容量の変化値が判定閾値を超えると判定した場合、前記ディスプレイにおける前記第2線分上又は前記第2線分の近傍の静電容量の変化値が変化閾値を超えるか否かを判定する、請求項4に記載の端末装置。
【請求項6】
前記制御部は、前記第1操作子が存在すると判定してから所定時間、前記ディスプレイにおける前記第1操作子の位置が変化しない場合、前記第2操作子が存在するか否かを判定する、請求項3に記載の端末装置。
【請求項7】
前記制御部は、前記第2操作子が存在すると判定した場合、前記第1操作子と前記第2操作子との間の距離が前記距離閾値未満であるか否かを判定する、請求項6に記載の端末装置。
【請求項8】
前記制御部は、前記第2操作子が存在すると判定した場合、前記第1操作子と前記第2操作子との間の距離を示すインジケータを前記ディスプレイに表示させる、請求項6に記載の端末装置。
【請求項9】
前記インジケータは、前記第1操作子と前記第2操作子との間の距離と前記距離閾値とを対応付けて示す、請求項8に記載の端末装置。
【請求項10】
前記制御部は、前記第1操作子が存在すると判定してから所定時間、前記ディスプレイにおける前記第1操作子の位置が変化しない場合、前記ディスプレイに表示された複数のオブジェクトのうち、前記第1操作子が向けられたオブジェクトを他のオブジェクトとは異なる表示態様で表示させる、請求項3に記載の端末装置。
【請求項11】
前記制御部は、水平方向に対する前記ディスプレイの傾き角度が所定角度以下である場合、非接触操作を受け付けないと判定し、非接触操作を受け付けないことを示す通知を前記ディスプレイに表示させる、請求項1に記載の端末装置。
【請求項12】
前記制御部は、水平方向に対する前記ディスプレイの傾き角度が所定角度を超える場合、非接触操作を受け付けると判定し、非接触操作を受け付けることを示す通知を前記ディスプレイに表示させる、請求項1に記載の端末装置。
【請求項13】
前記第1操作子及び前記第2操作子は、隣り合う二本の指である、請求項1から12までの何れか一項に記載の端末装置。
【請求項14】
前記第1操作子は、人差し指であり、
前記第2操作子は、中指である、請求項13に記載の端末装置。
【請求項15】
ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させることを含む、操作方法。
【請求項16】
コンピュータに、
ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させることを含む動作を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、端末装置、操作方法及びプログラムに関する。
【背景技術】
【0002】
従来、非接触操作を検出する技術が知られている。例えば、特許文献1には、操作子の移動方向を特定し、特定した移動方向に対応付けられた処理を実行することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-212087号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
非接触操作の検出精度を向上させることができれば、有用である。
【0005】
かかる点に鑑みてなされた本開示の目的は、非接触操作の検出精度を向上させることにある。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係る端末装置は、
ディスプレイと、
前記ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させる制御部と
を備える。
【0007】
本開示の一実施形態に係る操作方法は、
ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させることを含む。
【0008】
本開示の一実施形態に係るプログラムは、
コンピュータに、
ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させることを含む動作を実行させる。
【発明の効果】
【0009】
本開示の一実施形態によれば、非接触操作の検出精度を向上させることができる。
【図面の簡単な説明】
【0010】
図1】本開示の一実施形態に係る端末装置の外観図である。
図2図1に示す表示部の上面図である。
図3図1に示す端末装置のブロック図である。
図4】本開示の一実施形態に係る確定処理の手順例を示すフローチャートである。
図5】本開示の一実施形態に係る確定処理の手順例を示すフローチャートである。
図6】ディスプレイに対して設定されるXY座標系を示す図である。
図7】ディスプレイに対して設定されるXY座標系を示す図である。
図8】ディスプレイに対して設定されるXY座標系を示す図である。
図9】ディスプレイの表示態様の一例を示す図である。
図10】ディスプレイの表示態様の一例を示す図である。
図11】本開示の他の実施形態に係る端末装置のブロック図である。
図12】ディスプレイが鉛直方向に略並行である場合の様子を示す図である。
図13】ディスプレイが水平方向に略並行である場合の様子を示す図である。
図14】本開示の他の実施形態に係る通知処理の手順例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本開示に係る実施形態について、図面を参照して説明する。
【0012】
図1に示すように、本実施形態に係る端末装置10は、表示部11を備える。表示部11には、ユーザの操作対象となる多様なオブジェクトが表示される。オブジェクトは、例えば、アイコン、ウィンドウ、ツールバー、メニュー、ボタン又はスライダー等である。端末装置10は、オブジェクトに対するユーザの非接触操作を検出する。
【0013】
端末装置10は、任意の場所で使用されてよい。一例として、端末装置10は、ユーザの手が汚れたり又は塗れたりする場所で使用されてよい。この場合、端末装置10は、例えば、台所、お風呂場又は工場等で使用される。
【0014】
以下、表示部11に表示されたオブジェクトに対する指示を確定させるための本実施形態に係るユーザの操作について説明する。
【0015】
まず、ユーザは、表示部11に表示されたオブジェクトのうち、実行したいオブジェクトの方に、ホバー状態にした第1操作子1を向ける。ユーザは、オブジェクトの方に向けたホバー状態の第1操作子1を静止状態に維持する。ホバー状態とは、操作子と表示部11との間の距離が所定距離以内であり、且つ、操作子と表示部11とが接触していない状態である。所定距離は、例えば、後述の容量閾値に対応する距離である。第1操作子1は、例えば、ユーザの手の人差し指である。ただし、第1操作子1は、ユーザの手の人差し指でなくてもよい。第1操作子1は、オブジェクトの方に向けられる指であれば、ユーザの任意の指であってよい。例えば、ユーザは、図1に示すように、第1操作子1である人差し指を伸ばし、他の指を握る。ユーザは、ホバー状態にした人差し指である第1操作子1で、実行したいオブジェクトを指す。
【0016】
ユーザがホバー状態にした第1操作子1をオブジェクトの方に向けると、そのオブジェクトは、選択状態となる。ユーザは、選択状態になったオブジェクトに対する指示を確定させたいとき、図2に示すように、静止状態の第1操作子1にホバー状態にした第2操作子2を添える。第2操作子2は、第1操作子1の隣の指である。第2操作子2は、第1操作子1がユーザの人差し指である場合、例えば、ユーザの中指である。第2操作子2が第1操作子1に添えられると、選択状態のオブジェクトに対するユーザの指示が確定される。
【0017】
図3に示すように、端末装置10は、表示部11に加えて、記憶部14と、制御部15とを備える。表示部11は、ディスプレイ12と、検出センサ13とを含む。
【0018】
ディスプレイ12は、例えば、LCD(Liquid Crystal Display)又は有機EL(Electro Luminescence)ディスプレイ等である。
【0019】
検出センサ13は、静電容量を検出可能である。検出センサ13は、例えば、静電容量式のタッチセンサである。検出センサ13は、自己容量式であってもよいし、相互容量式であってもよい。検出センサ13は、例えば、透明フィルムと、ITO(Indium Tin Oxide)等の透明電極とを含んで構成される。透明電極は、メッシュ状のパターンを有してもよい。又は、帯状の透明電極が格子状に配置されてもよい。
【0020】
検出センサ13は、ディスプレイ12上に配置される。検出センサ13がディスプレイ12上に配置されることにより、検出センサ13は、後述の図6に示すようなXY座標系におけるディスプレイ12の静電容量を検出することができる。XY座標系は、ディスプレイ12に対して設定される二次元座標系である。X方向は、ディスプレイ12に向かって左側から右側に向かう方向に対応する。Y方向は、ディスプレイ12に向かって下側から上側に向かう方向に対応する。ただし、X方向及びY方向は、ディスプレイ12に対して任意に設定されてよい。図6に示す各格子点は、本実施形態において検出センサ13によって静電容量が検出される各XY座標に対応する。この格子点は、「ノード」とも称される。
【0021】
記憶部14は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ又はこれらのうちの少なくとも2種類の組み合わせを含んで構成される。半導体メモリは、例えば、RAM(Random Access Memory)又はROM(Read Only Memory)等である。RAMは、例えば、SRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)等である。ROMは、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)等である。記憶部14は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部14には、端末装置10の動作に用いられるデータと、端末装置10の動作によって得られたデータとが記憶される。
【0022】
制御部15は、少なくとも1つのプロセッサ、少なくとも1つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、例えば、CPU(Central Processing Unit)若しくはGPU(Graphics Processing Unit)等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等である。制御部15は、端末装置10の各部を制御しながら、端末装置10の動作に関わる処理を実行する。
【0023】
<確定処理>
制御部15は、ディスプレイ12に対してホバー状態にある第1操作子1の情報及び第2操作子2の情報に基づいて、ディスプレイ12に表示されたオブジェクトに対するユーザの指示を確定させる。以下、この確定処理の一例について、図4及び図5を参照して説明する。
【0024】
図4及び図5は、本開示の一実施形態に係る確定処理の手順例を示すフローチャートである。
【0025】
制御部15は、例えば端末装置10が設置されると、キャリブレーション処理を実行する(ステップS1)。キャリブレーション処理は、ディスプレイ12の各XY座標における静電容量の基準値を検出センサ13によって検出する処理である。XY座標における静電容量の基準値は、ユーザが端末装置10を使用していないときの、すなわち、ユーザの手等がディスプレイ12に接近していないときの、XY座標における静電容量である。端末装置10の周囲の環境によって、ディスプレイ12の各XY座標における静電容量が変化する。そのため、制御部15は、キャリブレーション処理を実行し、ディスプレイ12の各XY座標における静電容量の基準値を検出する。制御部15は、検出したディスプレイ12の各XY座標における静電容量の基準値を記憶部14に記憶させてよい。
【0026】
制御部15は、キャリブレーション処理を実行すると、ディスプレイ12の各XY座標における静電容量の変化値を検出センサ13によって検出することができる。XY座標における静電容量の変化値は、そのXY座標における静電容量の基準値からの変化値である。
【0027】
制御部15は、ディスプレイ12の各XY座標における静電容量の変化値を検出センサ13によって検出し、第1操作子1が存在するか否かを判定する(ステップS2)。この処理の一例として、制御部15は、複数の連続するXY座標のそれぞれにおける静電容量の変化値が容量閾値を超える場合、第1操作子1が存在すると判定してよい。容量閾値は、端末装置10が処理対象として検出したいホバー状態の操作子と表示部11との間の距離に基づいて設定されてよい。例えば、図6では、円1A内の各格子点に対応するXY座標の静電容量の変化値が容量閾値を超える。図6では、制御部15は、第1操作子1が存在すると判定する。
【0028】
制御部15は、第1操作子1が存在すると判定した場合(ステップS2:YES)、ステップS3の処理に進む。一方、制御部15は、第1操作子1が存在すると判定しない場合(ステップS2:NO)、ステップS2の処理を再度実行する。
【0029】
ステップS3の処理において、制御部15は、ディスプレイ12における第1操作子1の位置を取得する。この処理の一例として、制御部15は、第1操作子1に対応する複数のXY座標における静電容量の変化値のうちの変化値が最大となるXY座標を、ディスプレイ12における第1操作子1の位置として取得してよい。例えば、図6では、円1A内の各格子点に対応するXY座標の静電容量の変化値のうちで、座標1Bにおける静電容量の変化値が最大となる。図6では、制御部15は、座標1Bを、ディスプレイ12における第1操作子1の位置として取得する。制御部15は、取得した第1操作子1の位置及び第1操作子1に対応する複数のXY座標における静電容量の変化値を記憶部14に記憶させてよい。
【0030】
制御部15は、ステップS2の処理で第1操作子1が存在すると判定してから所定時間内にディスプレイ12における第1操作子1の位置が変化したか否かを判定する(ステップS4)。制御部15は、ディスプレイ12の各XY座標における静電容量の変化値を検出センサ13によって検出することにより、所定時間内に第1操作子1の位置が変化したか否かを判定してよい。所定時間は、端末装置10の仕様又はユーザの使用態様等に基づき設定されてよい。
【0031】
制御部15は、第1操作子1が存在すると判定してから所定時間内にディスプレイ12における第1操作子1の位置が変化したと判定した場合(ステップS4:YES)、ステップS2の処理に戻る。一方、制御部15は、第1操作子1が存在すると判定してから所定時間、ディスプレイ12における第1操作子1の位置が変化しないと判定した場合(ステップS4:NO)、ステップS5の処理に進む。
【0032】
ステップS5の処理において、制御部15は、ホバー状態である第1操作子1が向けられたオブジェクトを選択状態する。制御部15は、ディスプレイ12における第1操作子1の位置に基づいて、選択状態にするオブジェクトを特定してよい。例えば、図6では、制御部15は、座標1Bに基づいて、選択状態にするオブジェクトを特定する。図9を参照して後述するように、制御部15は、選択状態にしたオブジェクトを他のオブジェクトとは異なる表示態様でディスプレイ12に表示させてよい。
【0033】
ステップS5の処理において、制御部15は、ホバー状態である第1操作子1が向けられた先にオブジェクトが存在しない場合、ステップS2の処理に戻ってよい。
【0034】
ステップS6の処理において、制御部15は、ディスプレイ12の各XY座標における静電容量の変化値を検出センサ13によって検出し、第2操作子2が存在するか否かを判定する。制御部15は、第1操作子1から所定範囲内に第2操作子2が存在するか否かを判定してよい。所定範囲は、開いた状態の手における隣り合う指の平均的な間隔に基づいて設定されてよい。第1操作子1と同じ又は類似に、制御部15は、複数の連続するXY座標のそれぞれにおける静電容量の変化値が容量閾値を超える場合、第2操作子2が存在すると判定してよい。例えば、図7では、円2A内の各格子点に対応するXY座標の静電容量の変化値が容量閾値を超える。また、円2A内の各格子点は、座標1Bから所定範囲内にある。制御部15は、第1操作子1から所定範囲内に第2操作子2が存在すると判定する。
【0035】
制御部15は、第2操作子2が存在すると判定した場合(ステップS6:YES)、ステップS7の処理に進む。ここで、制御部15は、第2操作子2が存在すると判定した場合(ステップS6:YES)、図9を参照して後述するようなインジケータをディスプレイ12に表示させてもよい。一方、制御部15は、第2操作子2が存在しないと判定した場合(ステップS6:NO)、ステップS3の処理に戻る。
【0036】
ステップS7の処理において、制御部15は、ディスプレイ12における第2操作子2の位置を取得する。第1操作子1と同じ又は類似に、制御部15は、第2操作子2に対応する複数のXY座標における静電容量の変化値のうちの変化値が最大となるXY座標を、ディスプレイ12における第2操作子2の位置として取得してよい。例えば、図7では、円2A内の各格子点に対応するXY座標の静電容量の変化値のうちで、座標2Bにおける静電容量の変化値が最大となる。図7では、制御部15は、座標2Bを、ディスプレイ12における第2操作子2の位置として取得する。制御部15は、取得した第2操作子2の位置及び第2操作子2に対応する複数のXY座標における静電容量の変化値を記憶部14に記憶させてよい。
【0037】
ステップS8の処理において、制御部15は、第1線分を設定する。第1線分は、ディスプレイ12において第1操作子1の位置と第2操作子2の位置とを結ぶ線分である。つまり、第1線分は、ディスプレイ12において第1操作子1の位置と第2操作子2の位置とを通る直線のうちの、第1操作子1の位置と第2操作子2の位置との間の部分である。例えば、図7では、制御部15は、第1線分3を設定する。制御部15は、第1線分を設定すると、第1線分上又は第1線分の近傍のXY座標における静電容量の変化値を検出センサ13によって検出する。第1線分の近傍のXY座標とは、例えば、検出センサ13によって静電容量を検出可能なXY座標であって、第1線分から最も近いXY座標であってよい。例えば、図7では、制御部15は、第1線分3上又は第1線分3の近傍のXY座標における静電容量の変化値を検出する。
【0038】
ステップS9の処理において、制御部15は、ステップS8の処理で検出した第1線分上又は第1線分の近傍のXY座標における静電容量の変化値が判定閾値を超えるか否かを判定する。判定閾値は、ユーザが隣り合う二本の指をディスプレイ12に向けているときの当該二本の指の間の静電容量の変化値に基づいて設定されてよい。制御部15は、第1線分上又は第1線分の近傍のXY座標における静電容量の変化値の全てが判定閾値を超えるか否かを判定してもよい。又は、制御部15は、第1線分上又は第1線分の近傍のXY座標における静電容量の変化値の最小値又は代表値が判定閾値を超えるか否かを判定してもよい。代表値は、例えば、平均値、最頻値又は中央値等である。
【0039】
制御部15は、第1線分上又は第1線分の近傍のXY座標における静電容量の変化値が判定閾値を超えると判定した場合(ステップS9:YES)、図5に示すステップS11の処理に進む。第1線分上又は第1線分の近傍のXY座標における静電容量の変化値が判定閾値を超える場合、第2操作子2が第1操作子1に近づけられている可能性が高い。
【0040】
一方、制御部15は、第1線分上又は第1線分の近傍のXY座標における静電容量の変化値が判定閾値以下であると判定した場合(ステップS9:NO)、ステップS10の処理に進む。第1線分上又は第1線分の近傍のXY座標における静電容量の変化値が判定閾値を超える場合、第2操作子2が第1操作子1に近づけられている可能性が低い。
【0041】
ステップS10の処理において、制御部15は、ディスプレイ12の各XY座標における静電容量の変化値を検出センサ13によって検出し、第2操作子2が存在するか否かを判定する。制御部15は、ステップS6の処理と同じ又は類似に、ステップS10の処理を実行してよい。制御部15は、第2操作子2が存在すると判定した場合(ステップS10:YES)、ステップS7の処理に戻る。一方、制御部15は、第2操作子2が存在しないと判定した場合(ステップS10:NO)、ステップS3の処理に戻る。
【0042】
図5に示すステップS11の処理において、制御部15は、ステップS8の処理と同じ又は類似に、第1線分上又は第1線分の近傍のXY座標における静電容量の変化値を検出センサ13によって検出する。
【0043】
ステップS12の処理において、制御部15は、ステップS11の処理で検出した静電容量の変化値に基づいて、第1線分上又は第1線分の近傍の座標のうちから、対象座標を選択する。対象座標は、後述の第2線分の設定に用いられる。制御部15は、第1線分上又は第1線分の近傍のXY座標のうち、任意の座標を対象座標に選択してよい。一例として、制御部15は、第1線分上又は第1線分の近傍のXY座標における静電容量の変化値のうちで、変化値が最小になる座標を対象座標に選択してよい。例えば、図7では、制御部15は、第1線分3上の座標4を対象座標に選択する。
【0044】
ステップS13の処理において、制御部15は、第2線分を設定する。第2線分は、対象座標を通る線分であって、第1線分と直交する線分である。例えば、図7では、制御部15は、第2線分5を設定する。対象座標から第2線分の一端までの長さ及び対象座標から第2線分の他端までの長さは、ユーザの指の太さ等に基づいて設定されてよい。制御部15は、第2線分上又は第2線分の近傍のXY座標における静電容量の変化値を検出センサ13によって検出する。例えば、図7では、制御部15は、第2線分5上又は第2線分5の近傍のXY座標における静電容量の変化値を検出センサ13によって検出する。
【0045】
ステップS14の処理において、制御部15は、ステップS13の処理で検出した第2線分上又は第2線分の近傍のXY座標における静電容量の変化値が変化閾値を超えるか否かを判定する。変化閾値は、ユーザが隣り合う二本の指を揃えてディスプレイ12に向けているときの当該二本の指の間の静電容量の変化値に基づいて設定されてよい。制御部15は、第2線分上又は第2線分の近傍のXY座標における静電容量の変化値の全てが変化閾値を超えるか否かを判定してもよい。又は、制御部15は、第2線分上又は第2線分の近傍のXY座標における静電容量の変化値の最小値又は代表値が変化閾値を超えるか否かを判定してもよい。代表値は、例えば、平均値、最頻値又は中央値等である。例えば、図8では、制御部15は、第2線分5上又は第2線分5の近傍のXY座標における静電容量の変化値が変化閾値を超えると判定する。
【0046】
制御部15は、第2線分上又は第2線分の近傍のXY座標における静電容量の変化値が変化閾値を超えると判定した場合(ステップS14:YES)、ステップS15の処理に進む。一方、制御部15は、第2線分上又は第2線分の近傍のXY座標における静電容量の変化値が変化閾値以下であると判定した場合(ステップS14:NO)、ステップS13の処理に戻る。
【0047】
ステップS15の処理において、制御部15は、選択状態にしたオブジェクトに対するユーザの指示を確定させる。制御部15は、指示が確定されたオブジェクトに対応する処理が実行されるように、制御信号を生成してよい。制御部15は、生成した制御信号を端末装置10の他の構成要素に送信してよい。
【0048】
このようなステップS14,S15の処理によって、制御部15は、第1操作子1と第2操作子2との間の距離が距離閾値未満であると判定した場合、ディスプレイ12に表示されたオブジェクトに対するユーザの指示を確定させることができる。変化閾値は、距離閾値ともいうことができる。
【0049】
ここで、制御部15は、第1操作子1から所定範囲内に第2操作子2が存在すると判定した場合(ステップS6:YES)、第2操作子2が存在すると判定する前後のディスプレイ12における静電容量の変化値を検出センサ13によって検出してもよい。制御部15は、第2操作子2が存在すると判定する前後においてディスプレイ12における静電容量の変化値が容量閾値を超える面積を算出してもよい。制御部15は、第2操作子2が存在すると判定する前のディスプレイ12における静電容量の変化値が容量閾値を超える面積と、第2操作子2が存在すると判定した後のディスプレイ12における静電容量の変化値が容量閾値を超える面積との差分を算出してよい。制御部15は、算出した差分が所定値を超える場合、ステップS7の処理に進んでもよい。所定値は、1つの指によるディスプレイ12における静電容量の変化値が容量閾値を超える面積に基づいて設定されてよい。ここで、2つの操作子を用いる操作として、ピンチインの操作がある。ピンチインの操作は、2つの操作子を互いに近づけることにより、2つの操作子の間の距離を狭める操作である。そのため、ピンチインの操作では、一方の操作子が他方の操作子から所定範囲内に存在すると判定する前後において、ディスプレイ12における静電容量の変化値が容量閾値を超える面積が変化しない。上述したように算出した差分が所定値を超える場合にステップS7の処理に進むことにより、オブジェクトに対する指示を確定させる操作が、ピンチインの操作からより明確に区別される。
【0050】
ステップS1~S15の処理の実行中、制御部15は、ユーザの手等の表示部11への接触を検出センサ13によって検出する場合がある。この場合、制御部15は、注意喚起を促す通知をディスプレイ12に表示させてもよい。一例として、制御部15は、「手を触れないでください」との文字情報をディスプレイ12に表示させてよい。注意喚起を促す通知がディスプレイ12に表示されることにより、ユーザは、手等を表示部11から離すことができる。このような構成により、ホバー状態の第1操作子1及び第2操作子2が検出できなくなる事態を回避することができる。
【0051】
<表示処理>
制御部15は、ディスプレイ12に表示された複数のオブジェクトのうち、選択状態にしたオブジェクトを他のオブジェクトとは異なる表示態様で表示させてよい。上述したように、制御部15は、ステップS5の処理において、ホバー状態である第1操作子1が向けられたオブジェクトを選択状態する。制御部15は、ステップS5の処理において、選択状態にしたオブジェクトを他のオブジェクトとは異なる表示態様で表示させてよい。
【0052】
例えば、図9に示すディスプレイ12には、オブジェクト16a,16b,16c,16d,16e,16fが表示される。オブジェクト16a~16fは、メニューである。図9では、オブジェクト16bに、ホバー状態である第1操作子1が向けられる。制御部15は、ステップS5の処理によってオブジェクト16bを選択状態にする。制御部15は、選択状態にしたオブジェクト16bを他のオブジェクト16a等とは異なる表示態様で表示させる。図9では、制御部15は、オブジェクト16bを枠で囲った態様でディスプレイ12に表示させる。このような構成により、ユーザは、選択状態のオブジェクト16bを容易に把握することができる。
【0053】
制御部15は、上述したように第1操作子1から所定範囲内に第2操作子2が存在すると判定した場合(ステップS6:YES)、インジケータをディスプレイ12に表示させてもよい。このインジケータは、第1操作子1と第2操作子2との間の距離を示す。このインジケータは、第1操作子と第2操作子との間の距離と距離閾値とを対応付けて示すものであってもよい。制御部15は、第1操作子1と第2操作子2との間の距離を、ディスプレイ12における第1操作子1の位置及び第2操作子2の位置に基づいて算出してよい。制御部15は、選択状態のオブジェクトの近くにインジケータを表示させてもよいし、選択状態のオブジェクトに重ねてインジケータを表示させてもよい。
【0054】
例えば、図9に示すディスプレイ12には、インジケータ17が表示される。インジケータ17は、選択状態のオブジェクト16bの近くに表示される。インジケータ17は、円17a,17bを含む。円17aの半径は、第1操作子1と第2操作子2との間の距離に対応する。第1操作子1と第2操作子2との間の距離が短くなるほど、円17aの半径は、大きくなる。円17bの半径は、距離閾値に対応する。円17aの中心の位置と円17bの中心の位置とは、同じである。つまり、円17a,17bは、同心円である。円17aの半径が円17bの半径よりも大きくなると、選択状態のオブジェクト16bに対するユーザの指示が確定される。図10に、オブジェクト16bに対するユーザの指示が確定されたときのインジケータ17を示す。図10では、円17aの半径は、円17bの半径よりも大きい。このようなインジケータ17が表示されることにより、ユーザは、第1操作子1と第2操作子2との間の距離をどの程度まで縮めれば、選択状態のオブジェクト16bに対するユーザの指示が確定されるかを容易に把握することができる。
【0055】
このように本実施形態に係る端末装置10では、制御部15は、ディスプレイ12に対してホバー状態にある第1操作子1の情報及び第2操作子2の情報に基づいて、ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させる。
【0056】
比較例として、選択状態のオブジェクトの方に第1操作子1を近づけるか又は遠ざけることにより、選択状態のオブジェクトに対するユーザの指示を確定させることを想定する。ユーザの手は、空中においてゆらぎ易い。そのため、第1操作子1と表示部11との間の距離を一定に維持することは、難しい。つまり、ユーザが意図しない手のゆらぎによって、第1操作子1が選択状態のオブジェトに近づけられたり又は遠ざけられたりする場合がある。この場合、比較例では、ユーザが意図しない手のゆらぎによって、選択状態のオブジェクトに対する指示が確定してしまうことがある。
【0057】
このような比較例に対し、本実施形態に係る制御部15は、第1操作子1の情報及び第2操作子2の情報に基づいて、ディスプレイ12に表示されたオブジェクトに対するユーザの指示を確定させる。つまり、本実施形態では、第1操作子1の情報のみではなく、第1操作子1及び第2操作子2の情報を用いてオブジェクトに対する指示が確定される。このように第1操作子1の情報及び第2操作子2の情報を用いることにより、本実施形態では、比較例のようなユーザが意図しない手のゆらぎによってオブジェクトに対する指示が確定してしまうといった事態を回避することができる。
【0058】
よって、本実施形態によれば、非接触操作の検出精度を向上させることができる。
【0059】
さらに、本実施形態では、制御部15は、第1操作子1と前記第2操作子2との間の距離が距離閾値未満であると判定した場合、ディスプレイ12に表示されたオブジェクトに対するユーザの指示を確定させてもよい。ここで、2つの操作子を用いる操作として、ピンチアウトの操作がある。ピンチアウトの操作は、2つの操作子を互いに遠ざけることにより、2つの操作子の間の距離を広げる操作である。第1操作子1と第2操作子2との間の距離が距離閾値未満であると判定した場合にオブジェクトに対する指示を確定することにより、オブジェクトに対する指示を確定させる操作が、ピンチアウトの操作からより明確に区別される。よって、オブジェクトに対する指示を精度良く確定することができる。
【0060】
また、本実施形態では、制御部15は、第1操作子1が存在すると判定してから所定時間、ディスプレイ12における第1操作子1の位置が変化しない場合、第2操作子2が存在するか否かを判定してもよい。ここで、2つの操作子を用いる操作として、上述したように、ピンチインの操作がある。このピンチインの操作では、2つの操作子を互いに近づけるため、2つの操作子のそれぞれの位置が変化する。第1操作子1の位置が所定時間変化しない場合に第2操作子2が存在するか否かを判定することにより、オブジェクトに対する指示を確定させる操作が、ピンチインの操作からより明確に区別される。
【0061】
また、本実施形態では、制御部15は、ディスプレイ12における第1操作子1の位置が所定時間変化しない場合、ディスプレイ12に表示された複数のオブジェクトのうち、第1操作子が向けられたオブジェクトを選択状態にしてもよい。制御部15は、選択状態のオブジェクトを他のオブジェクトとは異なる表示態様で表示させてもよい。このような構成により、図9を参照して上述したように、ユーザは、選択状態のオブジェクトを容易に把握することができる。
【0062】
また、本実施形態では、制御部15は、第2操作子2が存在すると判定した場合、第1操作子1と第2操作子2との間の距離を示すインジケータをディスプレイ12に表示させてもよい。このインジケータは、第1操作子1と第2操作子2との間の距離と距離閾値とを対応付けて示してよい。このような構成により、図9及び図10を参照して上述したように、ユーザは、第1操作子1と第2操作子2との間の距離をどの程度まで縮めれば、選択状態のオブジェクトに対する指示が確定されるかを容易に把握することができる。
【0063】
(他の実施形態)
図11に示すように、他の実施形態に係る端末装置110は、表示部11と、記憶部14と、制御部15と、慣性センサ18とを備える。
【0064】
慣性センサ18は、ディスプレイ12の傾き角度を検出可能である。慣性センサ18は、加速度センサ又は角速度センサ等を含んで構成されてもよいし、慣性計測ユニット(IMU:Inertial Measurement Unit)を含んで構成されてもよい。
【0065】
ここで、ディスプレイ12が設置される角度によっては、ユーザの指のポーズが同じであっても、ディスプレイ12において静電容量が検出される部分が異なる場合がある。これについて、図12及び図13を参照して説明する。
【0066】
図12には、ディスプレイ12が鉛直方向に略並行である場合の様子を示す。ディスプレイ12が鉛直方向に略並行である場合、ユーザが第1操作子1をディスプレイ12の方に向けたとき、第1操作子1の先端とディスプレイ12との間の距離は、他の指とディスプレイ12との間の距離よりも短くなる。そのため、制御部15は、第1操作子1のみに対応する静電容量を検出センサ13によって検出することができる。図12に示す円1Aは、図6に示す円1Aに対応する。
【0067】
図13には、ディスプレイ12が水平方向に略並行である場合の様子を示す。図13に示すユーザの指のポーズは、図12に示すユーザの指のポーズと同じである。ディスプレイ12が水平方向に略並行である場合、ユーザが第1操作子1をディスプレイ12の方に向けたとき、第1操作子1の先端とディスプレイ12との間の距離と、他の指とディスプレイ12との間の距離とが、同程度になる。そのため、制御部15は、第1操作子1に対応する静電容量と、他の指に対応する静電容量とを検出してしまう。例えば、制御部15は、円1A1で示す部分の静電容量と、円1A2で示す静電容量とを検出してしまう。このようにディスプレイ12において2つの部分の静電容量が検出センサ13によって検出されると、第2操作子2を検出センサ13によって検出することが難しくなる。
【0068】
そこで、他の実施形態では、制御部15は、水平方向に対するディスプレイ12の傾き角度を慣性センサ18によって検出する。制御部15は、水平方向に対するディスプレイ12の傾き角度が所定角度以下である場合、非接触操作を受け付けない。所定角度は、ユーザの使用態様又は検出センサ13の静電容量の検出精度等に基づいて設定されてよい。所定角度は、例えば、30度である。このような構成により、非接触操作の誤検出をさらに減らすことができる。
【0069】
図14は、本開示の他の実施形態に係る通知処理の手順例を示すフローチャートである。制御部15は、例えば端末装置10の電源がオン状態になると、ステップS21の処理を開始する。例えば、ディスプレイ12の設置が終了すると、ユーザによって端末装置10の電源がオン状態になり得る。
【0070】
制御部15は、水平方向に対するディスプレイ12の傾き角度を慣性センサ18によって検出する(ステップS21)。制御部15は、水平方向に対するディスプレイ12の傾き角度が所定角度以下であるか否かを判定する(ステップS22)。
【0071】
制御部15は、水平方向に対するディスプレイ12の傾き角度が所定角度以下であると判定した場合(ステップS22:YES)、非接触操作を受け付けないと判定する(ステップS23)。制御部15は、非接触操作を受け付けないことを示す通知をディスプレイ12に表示させる(ステップS24)。ステップS24の処理後、制御部15は、端末装置110の動作モードを別のモードに移行させてよい。別のモードは、例えば、表示部11へのタッチ入力を検出センサ13によって受け付けるモードである。
【0072】
制御部15は、水平方向に対するディスプレイ12の傾き角度が所定角度を超えると判定した場合(ステップS22:NO)、非接触操作を受け付けると判定する(ステップS25)。制御部15は、非接触操作を受け付けることを示す通知をディスプレイ12に表示させる(ステップS26)。制御部15は、ステップS26の処理の実行後、図4に示すステップS1の処理に進んでよい。
【0073】
このように他の実施形態に係る端末装置110では、制御部15は、水平方向に対するディスプレイ12の傾き角度が所定角度以下である場合、非接触操作を受け付けない。このような構成により、非接触操作の誤検出をさらに減らすことができる。また、制御部15は、非接触操作を受け付けないことを示す通知をディスプレイ12に表示させる。このような通知が表示されることにより、ユーザは、端末装置110が非接触操作を受け付けないことを知ることができる。また、ユーザは、端末装置110が非接触操作を受け付けるように、ディスプレイ12の傾き角度を調整したりすることができる。
【0074】
他の実施形態に係る端末装置110のその他の構成及び効果は、端末装置10と同じ又は類似である。
【0075】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、1つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【0076】
例えば、上述した端末装置10,110にピンチインの操作が採用されない場合、オブジェクトへの指示を確定する操作は、ピースサインにした第1操作子1及び第2操作子2をオブジェクトの方に向けた後、そのピースサインを閉じる操作であってもよい。ピースサインは、第1操作子1と第2操作子2との間隔を広げることにより、第1操作子1及び第2操作子2をV字形にするサインである。この場合、制御部15は、図4に示すステップS4の処理を実行しなくてよい。つまり、制御部15は、ステップS3の処理後、ステップS5の処理に進んでよい。
【0077】
例えば、汎用のコンピュータを、上述した実施形態に係る端末装置10,110として機能させる実施形態も可能である。具体的には、上述した実施形態に係る端末装置10,110の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は、当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。
【0078】
一実施形態において、(1)端末装置は、
ディスプレイと、
前記ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させる制御部と
を備える。
【0079】
(2)上記(1)に記載の端末装置において、
前記第1操作子及び前記第2操作子のそれぞれの情報は、前記ディスプレイに対する前記第1操作子及び前記第2操作子のそれぞれの静電容量に基づくものであってもよい。
【0080】
(3)上記(1)又は(2)に記載の端末装置において、
前記制御部は、前記第1操作子の情報及び前記第2操作子の情報に基づいて前記第1操作子と前記第2操作子との間の距離が距離閾値未満であると判定した場合、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させてもよい。
【0081】
(4)上記(1)から(3)までの何れか1つに記載の端末装置において、
第1線分は、前記ディスプレイにおいて前記第1操作子の位置と前記第2操作子の位置とを結ぶ線分であり、
第2線分は、前記ディスプレイにおいて前記第1線分上の点を通り、前記第1線分と直交する線分であり、
前記制御部は、前記ディスプレイにおける前記第2線分上又は前記第2線分の近傍の静電容量の変化値が変化閾値を超えると判定した場合、前記第1操作子と前記第2操作子との間の距離が前記距離閾値未満であると判定してもよい。
【0082】
(5)上記(4)に記載の端末装置において、
前記制御部は、前記ディスプレイにおける前記第1線分上又は前記第1線分の近傍の静電容量の変化値が判定閾値を超えると判定した場合、前記ディスプレイにおける前記第2線分上又は前記第2線分の近傍の静電容量の変化値が変化閾値を超えるか否かを判定してもよい。
【0083】
(6)上記(1)から(5)までの何れか1つに記載の端末装置において、
前記制御部は、前記第1操作子が存在すると判定してから所定時間、前記ディスプレイにおける前記第1操作子の位置が変化しない場合、前記第2操作子が存在するか否かを判定してもよい。
【0084】
(7)上記(3)から(6)までの何れか1つに記載の端末装置において、
前記制御部は、前記第2操作子が存在すると判定した場合、前記第1操作子と前記第2操作子との間の距離が前記距離閾値未満であるか否かを判定してもよい。
【0085】
(8)上記(1)から(7)までの何れか1つに記載の端末装置において、
前記制御部は、前記第2操作子が存在すると判定した場合、前記第1操作子と前記第2操作子との間の距離を示すインジケータを前記ディスプレイに表示させてもよい。
【0086】
(9)上記(8)に記載の端末装置において、
前記インジケータは、前記第1操作子と前記第2操作子との間の距離と前記距離閾値とを対応付けて示してもよい。
【0087】
(10)上記(1)から(9)までの何れか1つに記載の端末装置において、
前記制御部は、前記第1操作子が存在すると判定してから所定時間、前記ディスプレイにおける前記第1操作子の位置が変化しない場合、前記ディスプレイに表示された複数のオブジェクトのうち、前記第1操作子が向けられたオブジェクトを他のオブジェクトとは異なる表示態様で表示させてもよい。
【0088】
(11)上記(1)から(10)までの何れか1つに記載の端末装置において、
前記制御部は、水平方向に対する前記ディスプレイの傾き角度が所定角度以下である場合、非接触操作を受け付けないと判定し、非接触操作を受け付けないことを示す通知を前記ディスプレイに表示させてもよい。
【0089】
(12)上記(1)から(11)までの何れか1つに記載の端末装置において、
前記制御部は、水平方向に対する前記ディスプレイの傾き角度が所定角度を超える場合、非接触操作を受け付けると判定し、非接触操作を受け付けることを示す通知を前記ディスプレイに表示させてもよい。
【0090】
(13)上記(1)から(12)までの何れか1つに記載の端末装置において、
前記第1操作子及び前記第2操作子は、隣り合う二本の指であってもよい。
【0091】
(14)上記(1)から(13)までの何れか1つに記載の端末装置において、
前記第1操作子は、人差し指であり、
前記第2操作子は、中指であってもよい。
【0092】
一実施形態において、(15)操作方法は、
ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させることを含む。
【0093】
一実施形態において、(16)プログラムは、
コンピュータに、
ディスプレイに対してホバー状態にある第1操作子の情報及び第2操作子の情報に基づいて、前記ディスプレイに表示されたオブジェクトに対するユーザの指示を確定させることを含む動作を実行させる。
【0094】
本開示において「第1」及び「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」及び「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1操作子は、第2操作子と識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」及び「第2」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【符号の説明】
【0095】
1 第1操作子
2 第2操作子
1A,1A1,1A2,2A 円
1B,2B 座標
3 第1線分
4 座標
5 第2線分
10,110 端末装置
11 表示部
12 ディスプレイ
13 検出センサ
14 記憶部
15 制御部
16a,16b オブジェクト
17 インジケータ
17a,17b 円
18 慣性センサ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14