(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-31
(45)【発行日】2024-11-11
(54)【発明の名称】機械学習による位置推定部を備える操作パネル装置
(51)【国際特許分類】
G06F 3/0346 20130101AFI20241101BHJP
G06F 3/041 20060101ALI20241101BHJP
【FI】
G06F3/0346 421
G06F3/041
(21)【出願番号】P 2024542916
(86)(22)【出願日】2022-09-13
(86)【国際出願番号】 JP2022034129
(87)【国際公開番号】W WO2024057375
(87)【国際公開日】2024-03-21
【審査請求日】2024-07-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】北村 尭之
(72)【発明者】
【氏名】影目 聡
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特表2017-527146(JP,A)
【文献】特開2020-144647(JP,A)
【文献】特表2021-504771(JP,A)
【文献】欧州特許出願公開第3407175(EP,A1)
【文献】米国特許出願公開第2017/0131395(US,A1)
【文献】米国特許出願公開第2019/0086971(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/041 - 3/047
(57)【特許請求の範囲】
【請求項1】
表示画面を有するディスプレイパネルと、
前記ディスプレイパネルの表示画面上に2次元的に配置された複数の透明アンテナと、
前記ディスプレイパネルの表示画面上に存在する対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号に基づき、反射波を受信した透明アンテナと紐づけされた、前記複数の透明アンテナに対応した受信情報を生成する受信情報生成部と、
前記ディスプレイパネルの表示画面上での位置情報に紐づけされた前記複数の透明アンテナに対応した教師情報を格納する格納部と、
前記受信情報生成部により生成された受信情報に対し、前記格納部に格納された教師情報を用いた機械学習を行い、前記対象物の前記ディスプレイパネルの表示画面上での位置を推定する位置推定部と、
前記ディスプレイパネルの表示画面上に前記対象物を存在させる指示画像を表示させる指示画像情報を前記ディスプレイパネルに与え、前記ディスプレイパネルの表示画面に表示された指示画像に沿って存在する前記対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号に基づいた前記反射波を受信した透明アンテナに対応した受信情報に前記指示画像による前記ディスプレイパネルの表示画面上での位置情報が紐づけされた、前記格納部に格納される教師情報を生成する教師情報生成部
と、
を
備える操作パネル装置。
【請求項2】
表示画面を有するディスプレイパネルと、
前記ディスプレイパネルの表示画面上に2次元的に配置された複数の透明アンテナと、
前記ディスプレイパネルの表示画面上に存在する対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号に基づき、反射波を受信した透明アンテナと紐づけされた、前記複数の透明アンテナに対応した受信情報を生成する受信情報生成部と、
前記ディスプレイパネルの表示画面上での位置情報に紐づけされた前記複数の透明アンテナに対応した教師情報を格納する格納部と、
前記受信情報生成部により生成された受信情報に対し、前記格納部に格納された教師情報を用いた機械学習を行い、前記対象物の前記ディスプレイパネルの表示画面上での位置を推定する位置推定部と、
前記ディスプレイパネルの表示画面上に前記対象物を存在させる指示画像を表示させる指示画像情報を前記ディスプレイパネルに与え、前記複数の透明アンテナの内、前記ディスプレイパネルの表示画面に表示された指示画像が指し示す前記ディスプレイパネルの表示画面上での位置の周囲に存在する複数の透明アンテナを活性化させ、前記ディスプレイパネルの表示画面に表示された指示画像に沿って存在する前記対象物から反射された反射波を受けた前記活性化された複数の透明アンテナからの受信信号
を用いて反射波を受信した透明アンテナに対応した受信情報に前記指示画像が指し示す前記ディスプレイパネルの表示画面上での位置情報が紐づけされた、前記格納部に格納される教師情報を生成する教師情報生成部
と、
を
備える操作パネル装置。
【請求項3】
表示画面を有するディスプレイパネルと、
前記ディスプレイパネルの表示画面上に2次元的に配置された複数の透明アンテナと、
前記ディスプレイパネルの表示画面上に存在する対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号に基づき、反射波を受信した透明アンテナと紐づけされた、前記複数の透明アンテナに対応した受信情報を生成する受信情報生成部と、
前記ディスプレイパネルの表示画面上での位置情報に紐づけされた前記複数の透明アンテナに対応した教師情報を格納する格納部と、
前記受信情報生成部により生成された受信情報に対し、前記格納部に格納された教師情報を用いた機械学習を行い、前記対象物の前記ディスプレイパネルの表示画面上での位置を推定する位置推定部と、
前記ディスプレイパネルの表示画面上に前記対象物を移動させる軌跡を示す指示画像を表示させる指示画像情報を前記ディスプレイパネルに与え、前記ディスプレイパネルの表示画面に表示された指示画像の軌跡に沿って移動される前記対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号に基づいて反射波を受信した透明アンテナに対応した受信情報に前記指示画像による前記ディスプレイパネルの表示画面上での位置情報が紐づけされた、前記格納部に格納される教師情報を生成する教師情報生成部
と、
を
備える操作パネル装置。
【請求項4】
前記位置推定部による機械学習は、深層学習又はガウス過程回帰のいずれかの機械学習手法を用いた請求項1から
請求項3のいずれか1項に記載の操作パネル装置。
【請求項5】
前記複数の透明アンテナからの受信信号の受信感度が設定値以下であると、前記表示画面上に教師情報の取得を促す画像を表示させる受信感度劣化情報を前記ディスプレイパネルに与える受信感度判定部を備える
請求項1から
請求項3のいずれか1項に記載の操作パネル装置。
【請求項6】
前記教師情報生成部が前記格納部に格納される教師情報を生成し、前記格納部に格納した時刻からの経過時間が設定時間以上になると、前記表示画面上に教師情報の取得を促す画像を表示させる経過時間画像情報を前記ディスプレイパネルに与える経過時間判定部を備える
請求項1から
請求項3のいずれか1項に記載の操作パネル装置。
【請求項7】
前記操作パネル装置の温度と前記教師情報生成部が前記格納部に格納される教師情報を生成した時の前記操作パネル装置の温度との差が設定値以上になると、前記表示画面上に教師情報の取得を促す画像を表示させる温度画像情報を前記ディスプレイパネルに与える装置温度判定部を備える
請求項1から
請求項3のいずれか1項に記載の操作パネル装置。
【請求項8】
受信情報生成部が、ディスプレイパネルの表示画面上に存在する対象物から反射された反射波を受けた前記ディスプレイパネルの表示画面上に2次元的に配置された複数の透明アンテナからの受信信号を受け、受けた受信信号に基づき、反射波を受信した透明アンテナと紐づけされた前記複数の透明アンテナに対応した受信情報を生成するステップと、
位置推定部が、前記受信情報生成部により生成された受信情報に対し、格納部に格納された教師情報を用いた機械学習を行い、前記対象物の前記ディスプレイパネルの表示画面上での位置を推定するステップと、
教師情報生成部が、前記ディスプレイパネルの表示画面上に前記対象物を存在させる指示画像を表示させる指示画像情報を前記ディスプレイパネルに与え、前記ディスプレイパネルの表示画面に表示された指示画像に沿って存在する前記対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号を受け、受けた受信信号に基づいた前記反射波を受信した透明アンテナに対応した受信情報に前記指示画像による前記ディスプレイパネルの表示画面上での位置情報が紐づけされた、前記格納部に格納される教師情報を生成するステップと、
を備える
操作パネル装置の表示画面上での対象物の位置を推定する対象物位置推定方法。
【請求項9】
ディスプレイパネルの表示画面上に存在する対象物から反射された反射波を受けた前記ディスプレイパネルの表示画面上に2次元的に配置された複数の透明アンテナからの受信信号に基づき、反射波を受信した透明アンテナと紐づけされた前記複数の透明アンテナに対応した受信情報を取得する手順と、
取得した受信情報に対して教師情報を用いた機械学習を行い、前記対象物の前記ディスプレイパネルの表示画面上での位置を推定する手順と、
前記ディスプレイパネルの表示画面上に前記対象物を存在させる指示画像を表示させる指示画像情報を前記ディスプレイパネルに与え、前記ディスプレイパネルの表示画面に表示された指示画像に沿って存在する前記対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号に基づいた前記反射波を受信した透明アンテナに対応した受信情報に前記指示画像による前記ディスプレイパネルの表示画面上での位置情報が紐づけされた教師情報を生成する手順と、
をコンピュータに実行させる、操作パネル装置の表示画面上での対象物の位置を推定する対象物位置推定用プログラム。
【請求項10】
ディスプレイパネルの表示画面上に存在する対象物から反射された反射波を受けた前記ディスプレイパネルの表示画面上に2次元的に配置された複数の透明アンテナからの受信信号に基づき、反射波を受信した透明アンテナと紐づけされた前記複数の透明アンテナに対応した受信情報を取得する手順と、
取得した受信情報に対して教師情報を用いた機械学習を行い、前記対象物の前記ディスプレイパネルの表示画面上での位置を推定する手順と、
前記ディスプレイパネルの表示画面上に前記対象物を存在させる指示画像を表示させる指示画像情報を前記ディスプレイパネルに与え、前記ディスプレイパネルの表示画面に表示された指示画像に沿って存在する前記対象物から反射された反射波を受けた前記複数の透明アンテナからの受信信号に基づいた前記反射波を受信した透明アンテナに対応した受信情報に前記指示画像による前記ディスプレイパネルの表示画面上での位置情報が紐づけされた教師情報を生成する手順と、
をコンピュータに実行させる、操作パネル装置の表示画面上での対象物の位置を推定するプログラムを記憶してある記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ディスプレイパネルの表示画面上での対象物の位置を推定する機能を有する操作パネル装置に関する。
【背景技術】
【0002】
近年、各種電子機器において、接触式操作パネルをユーザーインターフェイス(以下,UIという。)に採用しているものが多い。
さらに、UIとして非接触操作パネルである感知画面装置が特許文献1により提案されている。
特許文献1に示された感知画面装置は、感知画面における表示画面の真上に配置された透明アンテナ層に、感知信号を送信する第1のアンテナユニットと感知信号の反射信号を受信する複数の第2のアンテナユニットを含み、感知信号の反射信号が受信されると、感知画面が位置する面における接触物の座標を、受信した反射信号の電力と、面における反射信号を受信した第2のアンテナユニットの座標とに従って決定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に示された感知画面装置は、反射信号を受信した複数の第2のアンテナユニットのうち、高い電力の反射信号を受信した第2のアンテナユニットによって接触物の位置を推定しているため、接触物の位置の推定精度が悪いという課題がある。
【0005】
本開示は上記した課題を解決するものであり、対象物のディスプレイパネルの表示画面上での位置を精度高く推定できる操作パネル装置を得ることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る操作パネル装置は、表示画面を有するディスプレイパネルと、ディスプレイパネルの表示画面上に2次元的に配置された複数の透明アンテナと、ディスプレイパネルの表示画面上に存在する対象物から反射された反射波を受けた複数の透明アンテナからの受信信号に基づいた反射波を受信した透明アンテナと紐づけされた、複数の透明アンテナに対応した受信情報を生成する受信情報生成部と、ディスプレイパネルの表示画面上での位置情報に紐づけされた複数の透明アンテナに対応した教師情報を格納する格納部と、受信情報生成部により生成された受信情報に対し、格納部に格納された教師情報を用いた機械学習を行い、対象物のディスプレイパネルの表示画面上での位置を推定する対象物位置推定部と、ディスプレイパネルの表示画面上に対象物を存在させる指示画像を表示させる指示画像情報をディスプレイパネルに与え、ディスプレイパネルの表示画面に表示された指示画像に沿って存在する対象物から反射された反射波を受けた複数の透明アンテナからの受信信号に基づいた反射波を受信した透明アンテナに対応した受信情報に指示画像によるディスプレイパネルの表示画面上での位置情報が紐づけされた、格納部に格納される教師情報を生成する教師情報生成部と、を備える。
【発明の効果】
【0007】
本開示によれば、対象物位置推定部が、受信情報生成部により生成された複数の透明アンテナに対応した受信情報に対し、格納部に格納された教師情報を用いた機械学習を行い、対象物のディスプレイパネルの表示画面上での位置を推定するので、対象物のディスプレイパネルの表示画面上での位置を精度高く推定できる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1に係る操作パネル装置を示すブロック図である。
【
図2】実施の形態1に係る操作パネル装置における透明アンテナアレイが埋め込まれたパネルの表面を示す模式図である。
【
図3】実施の形態1に係る操作パネル装置における信号発生器により生成されるアップチャープの信号Tx(1)~Tx(N)を示す説明図である。
【
図4】実施の形態1に係る操作パネル装置において、パネルの表示画面上に表示される指示画像と指の関係を示す概略正面図である。
【
図5】実施の形態1に係る操作パネル装置における対象物位置推定部40の第1の例を示す専用のハードウェアによって実現されるハードウェア構成図である。
【
図6】実施の形態1に係る操作パネル装置における対象物位置推定部40の第2の例を示すソフトウェア又はファームウェア等によって実現されるコンピュータのハードウェア構成図である。
【
図7】実施の形態1に係る操作パネル装置において、指の位置の推定処理を行う位置推定動作の処理手順を示すフローチャートである。
【
図8】実施の形態1に係る操作パネル装置において、教師情報の生成を行うキャリブレーション実行動作の処理手順を示すフローチャートである。
【
図9】実施の形態2に係る操作パネル装置において、パネルの表示画面上に表示される指示画像と指の関係を示す概略正面図である。
【
図10】実施の形態3に係る操作パネル装置を示すブロック図である。
【
図11】実施の形態4に係る操作パネル装置を示すブロック図である。
【
図12】実施の形態5に係る操作パネル装置を示すブロック図である。
【発明を実施するための形態】
【0009】
実施の形態1.
実施の形態1に係る操作パネル装置を、
図1から
図8を用いて説明する。
実施の形態1に係る操作パネル装置はキャリブレーション機能を有する非接触式の操作パネルであり、ディスプレイパネル(以下、パネルと略称する)10と透明アンテナアレイ20と送受信回路部30と対象物位置推定部40と制御部50を備える。
すなわち、実施の形態1に係る操作パネル装置はパネル10に物理的に接触することなくパネル近傍に指又はスタイラスなどの対象物(以下、対象物として指を代表して説明する。)を近づけることで画面操作することを実現するユーザーインターフェイス(UI)である。
【0010】
実施の形態1に係る操作パネル装置は、指からの反射波を受信した透明アンテナアレイ20を構成する複数の透明アンテナからの受信信号に基づく受信情報に対し教師情報を用いた機械学習を行いパネル10の表示画面上での指の位置を推定する機能、つまり位置推定機能を有する。
さらに、操作パネル装置は、複数の透明アンテナからの受信信号に基づく受信情報それぞれにそれぞれが対応付けられた複数の教師情報を取得する機能、つまり、キャリブレーションを行う機能を有する。
【0011】
パネル10は表示画面を有する。
透明アンテナアレイ20は、MIMO(Multiple-Input Multiple-Output)によって指の位置の推定精度を高めるために、パネル10の内部全体に2次元的に敷き詰められ、埋め込まれた複数の透明アンテナ211~2mnから構成される。
【0012】
複数の透明アンテナ2
11~2
mnは、
図2に示すように、パネル10の表示画面の全面上に2次元的にm行n列に配列される。m及びnは自然数であり、少なくともいずれか一方は2以上の自然数である。
説明の都合上、透明アンテナ2
11を第1の透明アンテナ2
1とし、透明アンテナ2
1
2を第2の透明アンテナ2
2と順にし、透明アンテナ2
mnを第Nの透明アンテナ2
Nとする。つまり、透明アンテナアレイ20は第1の透明アンテナ2
1から第Nの透明アンテナ2
NのN個の透明アンテナにより構成される。Nは2以上の自然数である。
また、第1の透明アンテナ2
1から第Nの透明アンテナ2
Nを区別して説明する必要がない場合は透明アンテナ2
k(k=1~N)として説明する。
【0013】
透明アンテナ2kは送信アンテナと受信アンテナとを兼ねた送受信アンテナである。
なお、透明アンテナ2kは送信アンテナと受信アンテナが別々であってもよい。また、受信アンテナがN個に対して、送信アンテナは受信アンテナの数より少ない、例えば、N/2であってもよい。
透明アンテナ2kが送信アンテナとして機能する時は、パネル10の表示画面上、つまり指が存在する空間に電波からなる送信波を放射する。
送信波は、例えば、Lバンド、Sバンド、Cバンド、あるいはXバンド等の高周波数帯の送信信号による高周波である。
【0014】
透明アンテナ2kが受信アンテナとして機能する時は、パネル10の表示画面上に存在する指に反射された反射波を受信し、反射波に基づく受信信号を出力する。
透明アンテナ2kは微細配線のメタルメッシュ、酸化インジウムスズ膜、又はグラフェンなどの透明導体を用いて作成されたアンテナであり、肉眼では形状を視認できなくしたアンテナである。
【0015】
送受信回路部30は入出力切替部31と信号送信部32と受信情報生成部33を備える。
送受信回路部30は、1サイクル毎に第1の透明アンテナ21から第Nの透明アンテナ2Nを順に選択して選択した透明アンテナ2kに高周波の送信信号を出力し、選択した透明アンテナ2k毎の送信波毎に、パネル10の表示画面上に存在する指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号を受け、受けた受信信号に基づき、送信アンテナとして選択した透明アンテナ2kと、反射波を受信した透明アンテナと紐づけされた第1の透明アンテナ21から第Nの透明アンテナ2Nに対応した受信情報を生成し、出力する。
【0016】
入出力切替部31は、信号送信部32により選択された透明アンテナ2kに信号送信部32からの高周波の送信信号を伝達し、指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号を受信情報生成部33に伝達する。
入出力切替部31は第1の透明アンテナ21から第Nの透明アンテナ2Nに対応して第1の切替部311から第Nの切替部31Nを有する。
第1の切替部311から第Nの切替部31Nを区別して説明する必要がない場合は切替部31k(k=1~N)として説明する。
【0017】
切替部31kは高周波信号の分野で一般的に知られている3ポートを有するサーキュレータである。
切替部31kは入力ポートと入出力ポートと出力ポートを有する。
切替部31kの入力ポートは信号送信部32の出力端に接続され、入出力ポートは対応する透明アンテナ2kに接続され、出力ポートは受信情報生成部33に接続される。
切替部31kは、送信時、入力ポートと入出力ポートが接続され、受信時、入出力ポートと出力ポートが接続される。
【0018】
切替部31kは透明アンテナ2kと受信情報生成部33とを接続状態とする。
信号送信部32により選択された切替部31kは、対応する透明アンテナ2kと信号送信部32を接続状態とし、信号送信部32からの送信信号を透明アンテナ2kに出力後、透明アンテナ2kと受信情報生成部33とを接続状態とする。
【0019】
信号送信部32は、1サイクル毎に第1の切替部31
1から第Nの切替部31
Nを順に選択して選択した切替部31
kに高周波の送信信号を出力する。
この時の第1の切替部31
1から第Nの切替部31
Nの選択順は第1の切替部31
1、第2の切替部31
2、・・・、第Nの切替部31
Nの順番であり、
図2において、1行目の左端から右端へ、2行目の左端から右端へ、m行目の左端から右端へ透明アンテナが選択される順番である。
なお、第1の切替部31
1から第Nの切替部31
Nの選択順は、第Nの切替部31
N、第(N-1)の切替部31
N-1、・・・、第1の切替部31
1の順番などでもよく,切替順は問わない。
【0020】
信号送信部32は信号発生器321と出力先選択部322を備える。
信号発生器321は周波数変調連続波(FMCW:Frequency Modulated Continuous Wave)方式、又は、高速チャープ変調(FCM:Fast-Chirp Modulation)方式に従って、アップチャープの信号又はダウンチャープの信号を生成し、1送信サイクル毎にN個の送信信号を出力する。
信号発生器321は送信サイクルc(c=1、2、・・・)毎にN個の送信信号を繰り返して出力する。
【0021】
信号発生器321は、実施の形態1では、
図3に示すように、1送信サイクル毎に時間の経過に伴って周波数が変化するアップチャープの信号Tx1~TxNを生成し、アップチャープの信号Tx1~TxNの周波数を高周波数帯の信号にアップコンバートし、アップコンバート後の信号を送信信号TX1~TXNとして、出力先選択部322に出力する。高周波数帯としては、例えば、Lバンド、Sバンド、Cバンド、Xバンド等の周波数帯である。
信号発生器321は、制御部50からの時刻を示すタイミング信号によりアップチャープの信号Tx1~TxNの生成を行う。
【0022】
1送信サイクルにおける送信信号TX1~TXNの数Nは第1の透明アンテナ21から第Nの透明アンテナ2Nの数Nと同じであり、実施の形態1では1送信サイクルにおける1番目の送信信号TX1からN番目の送信信号TXNと第1の透明アンテナ21から第Nの透明アンテナ2Nを対応付けている。
信号発生器321によるアップチャープの信号Tx1~TxNの生成の順番は第1の透明アンテナ21から第Nの透明アンテナ2Nにおける送信アンテナとしての選択順と同じであり、1番目の信号Tx1、2番目の信号Tx2、・・・、N番目の信号TxNの順番である。
【0023】
N個の送信信号TX1~TXNを区別して説明する必要がない場合は送信信号TXk(k=1~N)として説明する。
なお、送信信号TXkとしてアップチャープの信号及びダウンチャープの信号のように時間の経過に伴って周波数が変化する信号に基づいた信号ではなく、パルス信号に基づいた信号でもよい。
【0024】
出力先選択部322は、制御部50からの時刻を示すタイミング信号に同期して信号発生器321からの送信信号TXkを取得し、取得した送信信号TXkに対応する透明アンテナ2kが接続された切替部31kを選択し、選択した切替部31kに送信信号TXkを出力する。
出力先選択部322の出力端は第1の切替部311から第Nの切替部31N
の入力ポートに接続される。
【0025】
受信情報生成部33は、パネル10の表示画面上に存在する指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号が第1の切替部311から第Nの切替部31Nを介して入力され、入力された受信信号に基づき、送信アンテナとして選択された透明アンテナ2kと反射波を受信した透明アンテナ2kが紐づけされた第1の透明アンテナ21から第Nの透明アンテナ2Nに対応した受信情報を生成し、出力する。
【0026】
受信情報生成部33は、第1の透明アンテナ21から第Nの透明アンテナ2Nに対応し、第1の切替部311から第Nの切替部31Nに対応した第1の信号受信部331から第Nの信号受信部33Nを有する。
第1の信号受信部331から第Nの信号受信部33Nを区別して説明する必要がない場合は信号受信部33k(k=1~N)として説明する。
【0027】
信号受信部33kの入力端は対応する切替部31kの出力ポートに接続される。
信号受信部33kは対応する透明アンテナ2kからの受信信号を対応する切替部31kを介して受信する。
信号受信部33kは、受信信号の高周波数帯の周波数を中間周波数帯の周波数にダウンコンバートするダウンコンバート部と、ダウンコンバート部によりダウンコンバートされたアナログ信号である受信信号をデジタル信号である受信信号にA/D変換するアナログ/デジタル変換部を有する。
【0028】
信号受信部33kは制御部50からの時刻を示すタイミング信号を受けており、送信アンテナとして選択された透明アンテナ2kの情報及び選択された透明アンテナ2kが送信波を放射したタイミングと、対応した透明アンテナ2kが指からの反射波を受信し、対応する切替部31kを介して受信信号を受信したタイミングを取得するとともに、対応する切替部31kを介して受信した受信信号の周波数及び強度を取得する。
【0029】
選択された透明アンテナ2kが送信波を放射した時刻は第1の透明アンテナ21から第Nの透明アンテナ2Nの選択順が決まっていることから、信号受信部33kは選択された透明アンテナ2kから送信波が放射される時刻を制御部50を介して入力する。
また、受信信号を受信した時刻は、信号受信部33kが制御部50からの時刻を示す信号を基に取得する。
【0030】
信号受信部33kは取得した情報により、対応する切替部31kを介して受信した受信信号に基づき、送信アンテナとして選択した透明アンテナ2kと反射波を受信した透明アンテナ2kとが紐づけされたデジタルデータである受信情報S(t、g、h)を生成し、対象物位置推定部40に出力する。
受信情報S(t、g、h)は、透明アンテナ2kから取得した受信信号の周波数及び強度を示す情報を含む。受信情報S(t、g、h)に受信信号のスペクトルの形状の変化を含んでもよい。
【0031】
受信情報S(t、g、h)において、tは各受信アンテナでのサンプリング開始時刻を0とするサンプリング時間を示す(受信)透明アンテナ2kによるデジタルデータである反射波の受信時間、gは送信アンテナとして選択された(送信)透明アンテナ2kを識別するデジタルデータである送信アンテナ識別情報(例:g=1~N)、hは反射波を受信した透明アンテナ2kを識別するデジタルデータである受信アンテナ識別情報(例:h=1~N)である。
【0032】
今、第1の透明アンテナ21が送信アンテナとして選択された場合を想定すると、信号発生器321から送信信号TX1が出力され、出力先選択部322により第1の切替部311が選択されて送信信号TX1が第1の透明アンテナ21に入力され、第1の透明アンテナ21がパネル10の表示画面上、つまり指が存在する空間に電波からなる送信波を放射する。
第kの信号受信部33kにおいて、指に反射された反射波を受信した対応する透明アンテナ2kからの反射波に基づく受信信号を対応する切替部31kを介して受信すると、受信情報S(t、1、k)を生成する。
【0033】
第1の透明アンテナ21が送信アンテナとして選択された場合、第1の信号受信部331から第Nの信号受信部33N全てにおいて受信情報Sが生成されるため、受信情報生成部33としてはN個の受信情報S(t、1、h)を生成する。
また、1送信サイクルにおいて、第1の透明アンテナ21から第Nの透明アンテナ2Nが順に送信アンテナとして選択されるため、受信情報生成部33としては(N×N)個の受信情報S(t、g、h)を生成し、対象物位置推定部40に出力する。
【0034】
対象物位置推定部40は2つの機能を有する。
第1の機能は、受信情報生成部33により生成された受信情報S(t、g、h)、本例においては1送信サイクルにおいて生成された(N×N)個の受信情報S(t、g、h)に対し、教師情報を用いた機械学習を行い、パネル10の表示画面上での指の位置を推定する機能である。なお、一般に知られているように、教師情報を用いた機械学習を行って学習モデルを作成し、その学習モデルを用いてパネル10の表示画面上での指の位置を推定する。
【0035】
第2の機能は、パネル10の表示画面上に指を存在させるための指示画像IPを表示させ、表示された指示画像IPに沿って存在する設定箇所における指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号に基づき、反射波を受信した透明アンテナに対応した受信情報、つまり、受信情報生成部33により生成された1送信サイクル当たり(N×N)個の受信情報S(t、g、h)をキャリブレーション情報として用い、指示画像IPによるパネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する機能、つまり、キャリブレーション機能である。
x、yは反射波を受けた指示画像IPに沿って設定位置に存在する指の表示画面上のx座標及びy座標である。
なお、パネル10の表示画面に対して垂直方向の座標(z座標)を位置情報として加えても良い。
【0036】
教師情報S(t、g、h|x、y)は、指示画像IPによるパネル10の表示画面上での位置情報(x、y)と、この位置における指の反射波を受信した第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号それぞれによる第1の信号受信部331から第Nの信号受信部33Nそれぞれにより生成されたすべての受信情報S(t、g、h)のペアとして生成された情報である。
【0037】
対象物位置推定部40は受信情報取得部41と機械学習部42を備える。
受信情報取得部41は、第1の信号受信部331から第Nの信号受信部33Nそれぞれにより生成された受信情報S(t、g、h)を取得する。
受信情報取得部41は、第1の信号受信部331から第1の信号受信部33Nにより構成される受信情報生成部33により生成された、1送信サイクルc当たり、(N×N)個の受信情報S(t、g、h)を取得し、機械学習部42に与える。
【0038】
機械学習部42は上記した第1の機能及び第2の機能を有する。
機械学習部42は位置推定部421と教師情報格納部422と教師情報生成部423を備える。
位置推定部421は受信情報取得部41が取得した受信情報S(t、g、h)、本例においては1送信サイクルc当たり(N×N)個の受信情報S(t、g、h)に対し、教師情報格納部422に格納された、パネル10の表示画面の複数の位置情報(x、y)それぞれに紐づけされた複数の教師情報S(t、g、h|x、y)を用いた機械学習を行い、指のパネル10の表示画面上での位置(X、Y)を推定し、指の推定位置を出力する。
【0039】
位置推定部421による機械学習は、深層学習又はガウス過程回帰のいずれかの機械学習手法を用いた機械学習である。深層学習及びガウス過程回帰による機械学習手法の代わりに、他の機械学習フレームワークによって実現されるものであってもよい。
深層学習を機械学習手法として用いる場合には,各層間をつなぐウェイトパラメータが教師情報に相当する。
【0040】
例えば、深層学習を用いた機械学習フレームワークにおいては、すべての位置(x、y)で取得された教師情報S(t、g、h|x、y)を学習データ入力とし、真の指位置(x、y)を出力とする深層学習モデルを学習する。深層学習モデルにおける全ての重みパラメータは、深層学習モデル出力が真の指位置(x、y)に近い値を出力するように誤差逆伝搬法などにより調整される。これら全ての重みパラメータが深層学習モデルにおける教師情報に相当する。
【0041】
ガウス過程回帰を機械学習手法として用いる場合には,グラム行列パラメータが教師情報に相当する。
例えば、ガウス過程回帰においては、すべての位置(x、y)で取得された教師情報S(t、g、h|x、y)の全ての2つ同士のペアの近似度を既定のカーネル関数を用いて計算し、それらカーネル関数出力を行列要素とするM行×M列のグラム行列を生成する。ここでMはすべての学習位置(x、y)の数である。既定のカーネル関数とは、例えばガウスカーネル等が用いられる。未知の位置(X、Y)に指がある場合の受信情報S(t、g、h|X、Y)に対しこのグラム行列を利用した行列演算を施すことで、未知の指位置(X、Y)を推定する手法がガウス過程回帰による指位置推定手法であり、このグラム行列が教師情報に相当する。
他の教師あり機械学習フレームワークを用いる場合には,その教師あり機械学習モデルのパラメータが教師情報に相当する。
【0042】
教師情報生成部423は、複数の教師情報を取得するキャリブレーション動作時に、制御部50によりパネル10と送受信回路部30と協調的に制御される。
教師情報生成部423は制御部50を介してパネル10の表示画面上に指を存在させる指示画像IPを表示させる。
指示画像IPはゆっくりと進む先頭部をユーザに対し指でゆっくりとなぞっていく指示を与えるための画像である。
【0043】
指示画像IPは、
図4に示すように、例えば、パネル10の表示画面の左上端から右上端、一段下がって、右端から左端へと数往復し、右下端から左下端に終わる描画線をゆっくりと描くジグザグの軌跡を示す描画像である。
図4に示すように、指示画像IPである描画線は、先頭部がゆっくりとパネル10の表示画面上を移動し、移動した部分が濃い描画線IPbになる。薄い描画線IPaはこれから濃い描画線IPbが伸びていく描画線を表している。
指示画像IPである描画線は、パネル10の表示画面上を先頭部の移動に追随してユーザが指でゆっくりとなぞっていく指示を示す。
先頭部が薄い描画線IPa上全てを移動する時間は数十秒である。
【0044】
教師情報生成部423は、指示画像IPである描画線において、複数個所、本例においては等間隔にある複数の設定位置Pd(d=1~D)、つまり第1の設定位置P1から第Dの設定位置PDそれぞれにおいて、受信情報生成部33により生成された1送信サイクルc当たり(N×N)個の受信情報S(t、g、h)をキャリブレーション情報として取得する。Dは2以上の自然数である。
すなわち、設定位置Pdそれぞれにおいて、教師情報生成部423は、信号送信部32からの送信信号を選択した透明アンテナ2kに対して切替部31kを介して入力させ、選択した透明アンテナ2kから送信波を放射させる。
【0045】
選択した透明アンテナ2kからの送信波に対して指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号に基づき、反射波を受信した透明アンテナに対応した受信情報、つまり、受信情報生成部33により生成された受信情報S(t、g、h)を、教師情報生成部423は受信情報取得部41を介して取得する。
教師情報生成部423は、指示画像IPである描画線を描く先頭部を最初(左上端)から最後(左下端)までゆっくりとジグザグの軌跡を描き、先頭部が位置する描画線の設定位置Pdそれぞれにおいて、受信情報取得部41を介して受信情報生成部33により生成された受信情報S(t、g、h)を取得する。
【0046】
設定位置Pdそれぞれにおいて、1送信サイクルcにおいて、第1の透明アンテナ21から第Nの透明アンテナ2Nが順に送信アンテナとして選択され、教師情報生成部423は受信情報取得部41を介して受信情報生成部33から(N×N)個の受信情報S(t、g、h)を取得する。
従って、指示画像IPである描画線を描く先頭部に追随してパネル10の表示画面上に存在する指が描画線をなぞり終わるまで、第1の設定位置P1から第Dの設定位置PDすべてにおいて、教師情報生成部423は受信情報取得部41を介して受信情報生成部33から(N×N)個の受信情報S(t、g、h)を取得する。
【0047】
設定位置Pdそれぞれにおいて、教師情報生成部423は、第1の透明アンテナ21から第Nの透明アンテナ2Nが順に送信アンテナとして選択された設定位置Pdにおける指示画像IPの先頭部のパネル10の表示画面上での位置情報(xd、yd)と受信情報生成部33から(N×N)個の受信情報S(t、g、h)のペアとしてキャリブレーション結果データである教師情報S(t、g、h|xd、yd)を生成し、教師情報S(t、g、h|xd、yd)を教師情報格納部422に格納する。
【0048】
すなわち、教師情報生成部423は、指示画像IPにおける先頭部の位置情報(xd、yd)(d=1~D)、つまり、指示画像IPによるパネル10の表示画面上での位置情報(xd、yd)が紐づけされた教師情報S(t、g、h|x、y)を、パネル10の表示画面での指示画像IPの全域に亘って設定された位置、つまり第1の設定位置P1から第Dの設定位置PDそれぞれにおいて生成する。
なお、先頭部の位置情報としてパネル10の表示画面におけるx軸及びy軸の座標で表している。さらに、先頭部の位置情報としてパネル10の表示画面に対して垂直方向、つまりx-y平面に対するz軸の座標を追加してもよい。
【0049】
次に、対象物位置推定部40の具体的構成について説明する。
第1の例として、受信情報取得部41及び機械学習部42それぞれが、
図5に示すように、受信情報取得回路及び機械学習回路による専用のハードウェアによって実現される。
受信情報取得回路が受信情報取得部41に、機械学習回路が機械学習部42に対応する。
【0050】
受信情報取得回路は受信情報生成部33からの受信情報S(t、g、h)を機械学習回路に伝達するインタフェース回路であり、一般に知られているインタフェース回路を用いることができる。
機械学習回路は、位置推定部421を構成する位置推定回路と、教師情報格納部422であるメモリと、教師情報生成部423を構成する教師情報生成回路とを備える。
位置推定回路及び教師情報生成回路それぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらの組み合わせによって実現される。
【0051】
第2の例として、受信情報取得部41及び機械学習部42が、
図6に示すように、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせのプログラムが組み込まれたコンピュータによって実現される。
図6はコンピュータの代表的な例を示し、コンピュータはCPU(Central Processing
Unit゜)と入力インタフェース部とRAM(Random Access Memory)とROM(Read Only Memory)と出力インタフェース部を備える。
CPUは入力インタフェース部とRAMとROMと出力インタフェース部を制御、管理する。
【0052】
CPUはROM及びRAMと共同して位置推定部421及び教師情報生成部423の機能を果たす。
ROMは、位置推定部421として機能するために位置推定の処理手順を実行させる位置推定用プログラム、及び、教師情報生成部423として機能するために教師情報を生成するための処理手順を実行させる、キャリブレーション実行プログラムである教師情報生成用プログラムが格納される。
ROMは一種の記録媒体であり、DVD(Digital Versatile Disc)、CD(Compact Disc)、HDD(Hard Disk Drive)、あるいはUSBメモリである。
RAMは教師情報格納部422として機能し、CPUがROMに格納されたプログラムを実行する際に一時的にROMに格納されたプログラムを記憶する役割も果たす。
【0053】
入力インタフェース部は受信情報生成部33からの受信情報S(t、g、h)を取得する受信情報取得部41に対応するとともに、コンピュータがキャリブレーション実行動作を行うと、指示情報に基づくパネル10の表示画面における先頭部の位置情報(x、y)などを取得する。
出力インタフェース部は、コンピュータが位置推定動作を行うと、位置推定部421として機能するCPU、ROM及びRAMによる推定結果である指の推定位置を出力し、コンピュータがキャリブレーション実行動作を行うと、教師情報生成部423として機能するCPU、ROM及びRAMによりパネル10の表示画面上に指示画像IPを表示させる指示画像情報などを出力する
【0054】
なお、コンピュータは、CPUを用いたものとしたが、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、DSP(Digital Signal Processor)のプログラムを実行するハードウェアであってもよい。
また、第1及び第2の例に限られるものではなく、一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
【0055】
次に、実施の形態1に係る操作パネル装置の動作について説明する。
まず、1送信サイクルc(c=1)の位置推定動作について
図7を用いて説明する。送信サイクルcは複数回実施されるものの、位置推定動作は同じであるので、1送信サイクルc(c=1)のみを説明する。
ステップST11において、送信アンテナとして選択する透明アンテナ2
kを第1の送信アンテナ2
1(k=1)に初期設定し、ステップST12において、第1の透明アンテナ2
1から送信波を放射させるべく、信号発生器321からの第1の送信信号TX1を出力先選択部322が第1の切替部31
1を選択して第1の透明アンテナ2
1に出力する。
【0056】
第1の透明アンテナ21が送信波を指が存在している空間に放射する。
第1の透明アンテナ21から放射された送信波は指によって反射され、第1の透明アンテナ21から第Nの透明アンテナ2Nは指による反射波を受信する(ステップST13)。
第1の透明アンテナ21から第Nの透明アンテナ2Nが受信した反射波による受信信号それぞれは第1の切替部311から第Nの切替部31Nそれぞれを介して第1の信号受信部331から第Nの信号受信部33Nに入力される。
【0057】
第1の信号受信部331から第Nの信号受信部33Nそれぞれは入力された受信信号それぞれに対して受信処理を実施し、送信アンテナとして選択された透明アンテナが第1の透明アンテナ21であること、第1の透明アンテナ21が送信波を放射した時刻及び対応した透明アンテナ2kが指からの反射波を受信した時刻に対して、受信した受信信号に基づいて受信情報S(t、1、h(1~N))を生成する(ステップST14)。
【0058】
第1の信号受信部331から第Nの信号受信部33Nそれぞれが第1の透明アンテナ21が送信アンテナとして選択された時の受信情報S(t、1、h(1~N))を生成すると、ステップST15に進み、送信アンテナとして選択する透明アンテナ2kを第2の送信アンテナ22(k=2)にしてステップST12に戻る。
ステップST12において、送信アンテナとして第2の送信アンテナ22(k=2)から送信波を放射させるべく、信号発生器321からの第2の送信信号TX2を出力先選択部322が第2の切替部312を選択して第2の透明アンテナ22に出力する。
【0059】
第2の透明アンテナ22が送信波を指が存在している空間に放射する。
第2の透明アンテナ22から放射された送信波は指によって反射され、第1の透明アンテナ21から第Nの透明アンテナ2Nは指による反射波を受信する(ステップST13)。
第1の透明アンテナ21から第Nの透明アンテナ2Nが受信した反射波による受信信号それぞれは第1の切替部311から第Nの切替部31Nそれぞれを介して第1の信号受信部331から第Nの信号受信部33Nに入力される。
【0060】
第1の信号受信部331から第Nの信号受信部33Nそれぞれは入力された受信信号それぞれに対して受信処理を実施し、送信アンテナとして選択された透明アンテナが第2の透明アンテナ22であること、第2の透明アンテナ22が送信波を放射した時刻及び対応した透明アンテナ2kが指からの反射波を受信した時刻に対して、受信した受信信号に基づいて受信情報S(t、2、h(1~N))を生成する(ステップST14)。
【0061】
このように、送信アンテナとして第Nの透明アンテナ2Nが選択されるまで、透明アンテナ2kを順番に送信アンテナとして選択し、ステップST12からステップST15のループが繰り返えされ、第1の信号受信部331から第Nの信号受信部33Nにより(N×N)個の受信情報S(t、g、h)が生成される。
【0062】
ステップST14は、受信情報生成部33が、パネル10の表示画面上に存在する指から反射された反射波を受けたパネル10の表示画面上に2次元的に配置された第1の透明アンテナ21から第Nの透明アンテナ2N
からの受信信号が入力され、入力された受信信号に基づき反射波を受信した透明アンテナ2kと紐づけされた第1の透明アンテナ21から第Nの透明アンテナ2Nに対応した受信情報S(t、g、h)を生成するステップである。
【0063】
ステップST15において、送信アンテナとして第Nの透明アンテナ2Nが選択されているとステップST16に進む。
ステップST16において、受信情報取得部41が受信情報生成部33からの(N×N)個の受信情報S(t、g、h)を取得し、(N×N)個の受信情報S(t、g、h)を位置推定部421に与える。
【0064】
位置推定部421は(N×N)個の受信情報S(t、g、h)に対し、教師情報格納部422に格納された、パネル10の表示画面の複数の位置情報(x、y)それぞれに紐づけされた複数の教師情報S(t、g、h|x、y)を用いた機械学習を行い、指のパネル10の表示画面上での位置(X、Y)を推定し、指の推定位置を出力する。
なお、その後の指の位置の推定は、機械学習を行った結果生成された学習モデルを用いて実行される。
【0065】
ステップST16は、対象物位置推定部40における位置推定部421が、受信情報生成部33により生成された(N×N)個の受信情報S(t、g、h)に対し、教師情報格納部422に格納された教師情報S(t、g、h|x、y)を用いた機械学習を行い、指のパネル10の表示画面上での位置(X、Y)を推定するステップである。
【0066】
また、受信情報取得部41及び機械学習部42がコンピュータによって実現された場合、ステップST16の処理を実行するプログラムがROMに格納され、CPUがROMに格納されたプログラムを実行する。
ROMに格納されたプログラムは、パネル10の表示画面上に存在する指から反射された反射波を受けたパネル10の表示画面上に2次元的に配置された第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号に基づき反射波を受信した透明アンテナと紐づけされた第1の透明アンテナ21から第Nの透明アンテナ2Nに対応した受信情報S(t、g、h)を取得する手順と、取得した受信情報S(t、g、h)に対して教師情報S(t、g、h|x、y)を用いた機械学習を行い、指のパネル10の表示画面上での位置(x、y)を推定する手順を備える、操作パネル装置の表示画面上での対象物の位置を推定する対象物位置推定用プログラムである。
【0067】
次に、実施の形態1に係る操作パネル装置におけるキャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作について
図8を用いて説明する。
教師情報生成部423は、制御部50によりパネル10と送受信回路部30と協調的に制御される。
【0068】
ステップST21において、パネル10の表示画面上に指示画像IPを表示させる指示画像情報を教師情報生成部423が制御部50を介してパネル10に出力する。
パネル10は、
図4に示すように、表示画面上にジクザクの薄い描画線IPaを表示し、薄い描画線IPaに沿って先頭部がゆっくりと移動し、移動した部分が濃い描画線IPbになることにより、濃い描画線IPbの先頭部の移動に追随してユーザが指でゆっくりとなぞっていく指示を示す指示画像IPを表示する(ステップST22)。
【0069】
指示画像IPにおける濃い描画線IPbの先頭部が第1の設定位置P1に達すると、第1の設定位置P1における指示画像IPの先頭部の位置情報(x1、y1)を教師情報生成部423が取得する(ステップST23)。
同時に、教師情報生成部423は、第1の設定位置P1において、第1の透明アンテナ21から第Nの透明アンテナ2Nそれぞれを送信アンテナとした時の第1の透明アンテナ21から第Nの透明アンテナ2Nが受信した受信信号に基づき、受信情報生成部33が生成した(N×N)個の受信情報S(t、g、h)を、受信情報取得部41を介して取得する(ステップST24)。
【0070】
ステップST24において、教師情報生成部423が取得する(N×N)個の受信情報S(t、g、h)は、位置推定動作におけるステップST11からステップST15により受信情報生成部33が生成する(N×N)個の受信情報S(t、g、h)と同じである。
すなわち、詳細な説明は省略するが、第1の設定位置P1において、送信アンテナとして第1の透明アンテナ21から第Nの透明アンテナ2Nまでが順番に全て選択され、ステップST12からステップST15のループが繰り返えされ、第1の信号受信部331から第Nの信号受信部33Nにより生成される(N×N)個の受信情報S(t、g、h)を教師情報生成部423が取得する。
【0071】
ステップST25において、教師情報生成部423が、取得した第1の設定位置P1の位置情報(x1、y1)と取得した第1の設定位置P1における(N×N)個の受信情報S(t、g、h)をペアとして第1の設定位置P1における教師情報S(t、g、h|x1、y1)を生成する。
教師情報生成部423は生成した第1の設定位置P1における教師情報S(t、g、h|x1、y1)を教師情報格納部422に格納(ステップST26)し、ステップST27に進む。
【0072】
次いで、指示画像IPにおける濃い描画線IPbの先頭部が第2の設定位置P2に達すると、ステップST23に戻り、第2の設定位置P2における指示画像IPの先頭部の位置情報(x2、y2)を教師情報生成部423が取得する。
以後、ステップST24において、教師情報生成部423は、第2の設定位置P2において、第1の透明アンテナ21から第Nの透明アンテナ2Nそれぞれを送信アンテナとした時の第1の透明アンテナ21から第Nの透明アンテナ2Nが受信した受信信号により、受信情報生成部33が生成した(N×N)個の受信情報S(t、g、h)を取得する。
【0073】
ステップST25において、教師情報生成部423が、取得した第2の設定位置P2の位置情報(x2、y2)と取得した第2の設定位置P2における(N×N)個の受信情報S(t、g、h)をペアとして第2の設定位置P2における教師情報S(t、g、h|x2、y2)を生成し、ステップST26において、教師情報生成部423が生成した第2の設定位置P2における教師情報S(t、g、h|x2、y2)を教師情報格納部422に格納し、ステップST27に進む。
【0074】
このように、指示画像IPにおける濃い描画線IPbの先頭部が第Dの設定位置PDに達するまで、第1の設定位置P1から第Dの設定位置PDまで設定位置順に、ステップST23からステップST27のループが繰り返され、各設定位置Pdにおける教師情報S(t、g、h|xd、yd)が教師情報格納部422に格納される。
ステップST27において、設定位置PdのdがDである、つまり、パネル10の表示画面での指示画像IPの全域に亘って設定された位置、つまり第1の設定位置P1から第Dの設定位置PDすべてについて、教師情報S(t、g、h|x、y)を生成し、教師情報格納部422に格納すると、教師情報を生成する動作は完了する。
【0075】
ステップST21からステップST27は、教師情報生成部423が、パネル10の表示画面上に指を存在させる指示画像IPを表示させる指示画像情報をパネル10に与え、パネル10の表示画面に表示された指示画像IPに沿って存在する指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号を受け、受けた受信信号に基づいて反射波を受信した透明アンテナに対応した受信情報S(t、g、h)を用い、指示画像IPによるパネル10の表示画面上での位置情報(x、y)が紐づけされた、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成するステップである。
【0076】
また、受信情報取得部41及び機械学習部42がコンピュータによって実現された場合、ステップST21からステップST27の処理を実行するプログラムがROMに格納され、CPUがROMに格納されたプログラムを実行する。
ROMに格納されたプログラムは、パネル10の表示画面上に指を存在させる指示画像IPを表示させる指示画像情報をパネル10に与え、パネル10の表示画面に表示された指示画像IPに沿って存在する指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号に基づいて反射波を受信した透明アンテナに対応した受信情報S(t、g、h)を用い、指示画像IPによるパネル10の表示画面上での位置情報(x、y)が紐づけされた教師情報S(t、g、h|x、y)を生成する手順を備える、操作パネル装置の表示画面上での対象物の位置を推定するための教師情報生成用プログラムである。
【0077】
以上に述べたように、実施の形態1に係る操作パネル装置は、パネル10の表示画面上に2次元的に配置された第1の透明アンテナ21から第Nの透明アンテナ2Nを備え、受信情報生成部33が、パネル10の表示画面上に存在する指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号に基づき、反射波を受信した透明アンテナと紐づけされた第1の透明アンテナ21から第Nの透明アンテナ2Nに対応した受信情報S(t、g、h)を生成し、対象物位置推定部40が受信情報生成部33により生成された受信情報S(t、g、h)に対し、教師情報格納部422に格納された教師情報S(t、g、h|x、y)を用いた機械学習を行い、指のパネル10の表示画面上での位置を推定するとしたので、パネル10の表示画面に指が非接触にて指の位置の推定精度が向上する。
【0078】
実施の形態1に係る操作パネル装置は、教師情報生成部423が、パネル10の表示画面上に指を存在させる指示画像IPを表示させる指示画像情報をパネル10に与え、パネル10の表示画面に表示された指示画像IPに沿って存在する指から反射された反射波を受けた第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号に基づいた反射波を受信した透明アンテナに対応した受信情報S(t、g、h)に指示画像IPによるパネル10の表示画面上での位置情報(x、y)が紐づけされた、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成するとしたので、教師情報S(t、g、h|x、y)の生成及び取得に長い時間を要することなく、容易かつ簡易に実現できる。
また、パネル10の表示画面上にヒビ又は汚れが付着したとしても、教師情報S(t、g、h|x、y)の再度の取得が容易に行え、指の位置の推定精度の悪化を防げる。
【0079】
実施の形態2.
実施の形態2に係る操作パネル装置を、
図9を用いて説明する。
実施の形態1に係る操作パネル装置における教師情報生成部423が指から反射された反射波を受けた第1の透明アンテナ2
1から第Nの透明アンテナ2
N全てからの受信信号に基づき、反射波を受信した透明アンテナに対応した受信情報S(t、g、h)による教師情報S(t、g、h|x、y)を生成している。
【0080】
これに対して、実施の形態2に係る操作パネル装置は、教師情報生成部423が第1の透明アンテナ2
1から第Nの透明アンテナ2
Nの内、パネル10の表示画面に表示された指示画像IPが指し示すパネル10の表示画面上での位置の周囲に存在する活性化された複数のアンテナからの受信信号に基づき反射波を受信した透明アンテナに対応した受信情報S(t、g、h)を用いて教師情報S(t、g、h|x、y)を生成している。
実施の形態2に係る操作パネル装置は、実施の形態1に係る操作パネル装置とこの点が相違し、その他の点は同じである。
なお、
図9中、
図1から
図8に付された符号と同一符号は同一又は相当部分を示す。
【0081】
以下に、実施の形態1に係る操作パネル装置との相違点を中心に説明する。
実施の形態2に係る操作パネル装置において、位置推定動作は実施の形態1に係る操作パネル装置における位置推定動作と同じであるので説明は省略する。
従って、キャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作について、
図8を参照して説明する。
【0082】
実施の形態2に係る操作パネル装置において、実施の形態1に係る操作パネル装置におけるステップST21からステップST23と同様に、パネル10の表示画面上に指示画像IPを表示させる指示画像情報を教師情報生成部423が制御部50を介してパネル10に出力(ステップST21)し、
図9に示すように、表示画面上にジクザクの軌跡である薄い描画線IPaを表示し、薄い描画線IPaに沿って先頭部がゆっくりと移動し、移動した部分が濃い描画線IPbになることにより、濃い描画線IPbの先頭部の移動に追随してユーザが指でゆっくりとなぞっていく指示を示す指示画像IPを表示(ステップST22)する。
【0083】
そして、指示画像IPにおける濃い描画線IPbの先頭部が第1の設定位置P
1に達すると、第1の設定位置P
1における指示画像IPの先頭部の位置情報(x
1、y
1)を教師情報生成部423が取得(ステップST23)する。
教師情報生成部423からの指示により、第1の透明アンテナ2
1から第Nの透明アンテナ2
Nの内、第1の設定位置P
1の周囲に存在する複数の透明アンテナ、本例においては例えば周囲に存在する4つの透明アンテナが活性化、つまり、オン状態にされる。例えば、
図9において、実線枠で示すように、設定位置P
dにおいて、設定位置P
dを囲む透明アンテナ2
12、透明アンテナ2
13、透明アンテナ2
22、及び透明アンテナ2
23の4つの透明アンテナが活性化される。
【0084】
第1の透明アンテナ2
1から第Nの透明アンテナ2
Nの内、活性化された4つの透明アンテナ以外の透明アンテナは非活性、つまりオフ状態にされる。
図9において、破線枠で示す。
なお、本例において、透明アンテナの活性化及び非活性化は、透明アンテナをオン状態及びオフ状態にすることに限られるものではなく、透明アンテナをオン状態にしたまま、透明アンテナに対応する信号受信部をオン状態及びオフ状態にすることを含む。
【0085】
第1の設定位置P1において、実施の形態1に係る操作パネル装置におけるステップST24に対応し、第1の透明アンテナ21から第Nの透明アンテナ2Nの内の活性化された複数の透明アンテナそれぞれを送信アンテナとした時の、活性化された複数の透明アンテナが受信した受信信号により、受信情報生成部33が生成した、例えば(4×4)個の受信情報S(t、g、h)を、教師情報生成部423が受信情報取得部41を介して取得する。
【0086】
以下、実施の形態1に係る操作パネル装置におけるステップST25及びステップST26と同様に、教師情報生成部423が、取得した第1の設定位置P1の位置情報(x1、y1)と取得した第1の設定位置P1における例えば(4×4)個の受信情報S(t、g、h)をペアとして第1の設定位置P1における教師情報S(t、g、h|x1、y1)を生成し、生成した第1の設定位置P1における教師情報S(t、g、h|x1、y1)を教師情報格納部422に格納(ステップST26)し、ステップST27に進む。
【0087】
次いで、指示画像IPにおける濃い描画線IPbの先頭部が第2の設定位置P2に達すると、第2の設定位置P2における指示画像IPの先頭部の位置情報(x2、y2)を教師情報生成部423が取得し、第1の設定位置P1における教師情報S(t、g、h|x1、y1)の生成と同様に第2の設定位置P2における教師情報S(t、g、h|x2、y2)を生成し、教師情報格納部422に格納する。
すなわち、第2の設定位置P2の周囲に存在する複数の透明アンテナを活性化し、活性化した透明アンテナからの受信信号に基づいた受信情報S(t、g、h)と第2の設定位置P2の位置情報(x2、y2)をペアとして第2の設定位置P2における教師情報S(t、g、h|x2、y2)を生成する。
【0088】
このように、指示画像IPにおける濃い描画線IPbの先頭部が第Dの設定位置PDに達するまで、第1の設定位置P1から第Dの設定位置PDまで設定位置順に、各設定位置Pdにおける、設定位置Pdの周囲における透明アンテナに対応して教師情報S(t、g、h|xd、yd)が繰り返して生成され、教師情報格納部422に格納される。
パネル10の表示画面での指示画像IPの全域に亘って設定された位置、つまり第1の設定位置P1から第Dの設定位置PDすべてについて、教師情報S(t、g、h|x、y)を生成し、教師情報格納部422に格納すると、教師情報を生成する動作は完了する。
【0089】
実施の形態2に係る操作パネル装置において、教師情報S(t、g、h|x、y)を生成するステップは、教師情報生成部423が、パネル10の表示画面上に指を存在させる指示画像IPを表示させる指示画像情報をパネル10に与え、パネル10の表示画面に表示された指示画像IPに沿って存在する指から反射された反射波を受信した、第1の透明アンテナ21から第Nの透明アンテナ2Nの内のパネル10の表示画面に表示された指示画像IPが指し示すパネル10の表示画面上での位置の周囲に存在し、活性化された複数のアンテナからの受信信号を受け、受けた受信信号に基づいた反射波を受信した透明アンテナに対応した受信情報S(t、g、h)に指示画像IPによるパネル10の表示画面上での位置情報(x、y)が紐づけされた、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成するステップである。
【0090】
また、受信情報取得部41及び機械学習部42がコンピュータによって実現された場合、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成する処理を実行するプログラムがROMに格納され、CPUがROMに格納されたプログラムを実行する。
ROMに格納されたプログラムは、パネル10の表示画面上に指を存在させる指示画像IPを表示させる指示画像情報をパネル10に与え、
パネル10の表示画面に表示された指示画像IPに沿って存在する指から反射された反射波を受信した、第1の透明アンテナ21から第Nの透明アンテナ2Nの内のパネル10の表示画面に表示された指示画像IPが指し示すパネル10の表示画面上での位置の周囲に存在し、活性化された複数のアンテナからの受信信号を受け、受けた受信信号に用いた反射波を受信した透明アンテナに対応した受信情報S(t、g、h)に指示画像IPによるパネル10の表示画面上での位置情報(x、y)が紐づけされた、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成する手順を備える、操作パネル装置の表示画面上での対象物の位置を推定するための教師情報生成用プログラムである。
【0091】
以上に述べたように、実施の形態2に係る操作パネル装置は、実施の形態1に係る操作パネル装置と同様の効果を有する。
さらに、実施の形態2に係る操作パネル装置は、教師情報生成部423が、第1の透明アンテナ21から第Nの透明アンテナ2Nの内のパネル10の表示画面に表示された指示画像IPが指し示すパネル10の表示画面上での位置の周囲に存在し、活性化された複数のアンテナが指から反射された反射波を受信した受信信号に基づいた反射波を受信した透明アンテナに対応した受信情報S(t、g、h)に指示画像IPによるパネル10の表示画面上での位置情報(x、y)が紐づけされた、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成するので、指の周囲の透明アンテナから送信波が放射され、送信波を指が反射した反射波の受信強度は指の周囲の透明アンテナが高く、教師情報S(t、g、h|x、y)の生成を効率よく生成でき、教師情報格納部422におけるメモリ容量を効率よく使用できる。
【0092】
実施の形態3.
実施の形態3に係る操作パネル装置を、
図10を用いて説明する。
実施の形態3に係る操作パネル装置は、実施の形態1に係る操作パネル装置に対してさらに、受信感度判定部43を設けた点が相違し、その他の点については同じである。
受信感度判定部43は、透明アンテナ2
kによる指からの反射波の受信感度を検知し、受信感度が設定値以下になった場合に教師情報S(t、g、h|x、y)の再取得を促す。
受信感度の劣化を検知することにより、パネル10の表示画面上に汚れが付着したこと、又は、
パネル10の表示画面上にヒビ割れが生じたことなどによる透明アンテナ2
kによる指からの反射波の受信感度の劣化を知ることができる。
なお、
図10中、
図1から
図8に付された符号と同一符号は同一又は相当部分を示す。
【0093】
以下に、実施の形態1に係る操作パネル装置との相違点を中心に説明する。
実施の形態3に係る操作パネル装置において、位置推定動作、及びキャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作は、実施の形態1に係る操作パネル装置における、
図7に示すフローチャートによる位置推定動作、及び、
図8に示すフローチャートによるキャリブレーション実行動作と同じであるので説明は省略する。
【0094】
従って、受信感度判定部43が透明アンテナ2kによる指からの反射波の受信感度の劣化を検知し、受信感度が設定値以下になった場合に教師情報S(t、g、h|x、y)の再取得を促す点について、主として説明する。
受信感度判定部43は受信情報取得部41が取得した受信情報S(t、g、h)、本例においては1送信サイクルc当たり(N×N)個の受信情報S(t、g、h)を取得する。
【0095】
受信感度判定部43は、取得した受信情報S(t、g、h)に含まれる透明アンテナ2kから取得した受信信号の強度を検知し、検知した受信信号の強度に基づき、受信信号の強度が設定値以下になった場合に教師情報S(t、g、h|x、y)の再取得を促す画像を表示させる受信感度劣化情報を、教師情報生成部423及び制御部50を介してパネル10に与え、パネル10の表示画面上に教師情報の再取得を促す画像を表示させる。
なお、受信感度判定部43は教師情報生成部423を介さずに受信感度劣化情報を制御部50を介してパネル10に与えてもよい。
【0096】
受信感度判定部43における受信信号の強度と設定値の比較は、例えば、以下のようにして行う。
1送信サイクルc当たりの(N×N)個の受信情報S(t、g、h)それぞれに含まれる受信信号の強度の最大値を検出して、検出した受信信号の強度の最大値と設定値を比較する。
【0097】
パネル10の表示画面上の指が存在する位置近傍に位置する透明アンテナ2kから送信波が放射され、パネル10の表示画面上の指が存在する位置近傍に位置する透明アンテナ2kが指からの反射波を受信した場合、反射波を受信した指が存在する位置近傍に位置する透明アンテナ2kからの受信信号の強度が一般的に(N×N)個の受信情報S(t、g、h)により得られる受信信号の強度の内の最大値になる。
【0098】
従って、(N×N)個の受信情報S(t、g、h)に基づいて得られた受信信号の強度の最大値が設定値以下になることは、指が存在するパネル10の表示画面上に汚れが付着又はひび割れが生じていると推定でき、その結果、パネル10の表示画面上の指が存在する位置近傍に位置する透明アンテナ2kの受信感度が劣化したと判断できる。
【0099】
なお、指が存在する位置近傍に位置する送信アンテナとしての透明アンテナ2kと指が存在する位置近傍に位置する受信アンテナとしての透明アンテナ2kは必ずしも一致するものではない。
また、(N×N)個の受信情報S(t、g、h)により得られる受信信号の強度の内の最大値になる受信情報S(t、g、h)は必ずしも一つではない。
【0100】
上記した例では、受信感度を受信信号の強度により行っているが、受信信号のスペクトル形状を検知し、スペクトル形状の変化が設定値を超えて変化、言い換えると、設定したスペクトル形状以下のスペクトル形状になると、教師情報S(t、g、h|x、y)の再取得を促す受信感度劣化情報を生成してもよい。
受信感度判定部43は受信情報取得部41と機械学習部42とともにコンピュータに組み込んでもよい。
また、受信感度判定部43として、透明アンテナ2kからの受信信号の強度を検知するセンサを有し、センサにより得た受信信号の強度を設定値と比較して、受信感度劣化情報を得るものでもよい。
【0101】
パネル10の表示画面上に教師情報の再取得を促す画像が表示されると、ユーザは操作パネル装置に教師情報の取得を実行させる。
操作パネル装置におけるキャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作は、実施の形態1において説明した動作と同様であり、
図8に示したフローチャートに従い実行される。
【0102】
ただ、第1の設定位置P1から第1の設定位置PDそれぞれにおいて、教師情報生成部423が生成した教師情報S(t、g、h|x、y)は、教師情報生成部423から教師情報格納部422に格納される際に、教師情報格納部422に格納されている第1の設定位置P1から第Dの設定位置PDそれぞれにおける教師情報S(t、g、h|x、y)から書き換えられる。
【0103】
このように、透明アンテナ2kによる指からの反射波の受信感度が劣化した時に、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を新たに書き換えることができるため、パネル10の表示画面における状態に応じた最適な教師情報S(t、g、h|x、y)により指の位置を推定できる。
【0104】
以上に述べたように、実施の形態3に係る操作パネル装置は、実施の形態1に係る操作パネル装置と同様の効果を有する。
さらに、実施の形態3に係る操作パネル装置は、受信感度判定部43が第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号の受信感度が設定値以下であると、パネル10の表示画面に教師情報S(t、g、h|x、y)の取得を促す画像を表示させる受信感度劣化情報をパネル10に与えるので、パネル10の表示画面における状態に応じて教師情報格納部422に格納される教師情報S(t、g、h|x、y)を新たに書き換えることができ、パネル10の表示画面における状態に応じた最適な教師情報S(t、g、h|x、y)により指の位置を推定できる。
【0105】
実施の形態4.
実施の形態4に係る操作パネル装置を、
図11を用いて説明する。
実施の形態4に係る操作パネル装置は、実施の形態1に係る操作パネル装置に対してさらに、経過時間判定部44を設けた点が相違し、その他の点については同じである。
なお、
図11中、
図1から
図8に付された符号と同一符号は同一又は相当部分を示す。
【0106】
操作パネル装置の使用環境の影響により、長時間経過すると、指からの反射波を受信した第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号による受信情報S(t、g、h)が影響される場合があり、位置推定部421による教師情報格納部422に格納される教師情報S(t、g、h|x、y)を用いた機械学習の精度が落ちる場合がある。
この点を踏まえ、経過時間判定部44は、教師情報生成部423が教師情報格納部422に格納される教師情報S(t、g、h|x、y)を全て生成し、教師情報格納部422に格納した時刻からの経過時間が設定時間以上になると、パネル10の表示画面上に教師情報S(t、g、h|x、y)の取得を促す。
【0107】
以下に、実施の形態1に係る操作パネル装置との相違点を中心に説明する。
実施の形態4に係る操作パネル装置において、位置推定動作、及びキャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作は、実施の形態1に係る操作パネル装置における、
図7に示すフローチャートによる位置推定動作、及び、
図8に示すフローチャートによるキャリブレーション実行動作と同じであるので説明は省略する。
【0108】
従って、経過時間判定部44が、教師情報生成部423が教師情報S(t、g、h|x、y)を生成する動作完了後、経過時間が設定時間以上になった場合に教師情報S(t、g、h|x、y)の再取得を促す点について、主として説明する。
経過時間判定部44は教師情報生成部423が教師情報S(t、g、h|x、y)を生成する動作が完了した時刻(以下、キャリブレーション完了時刻という)を教師情報生成部423から受け、キャリブレーション完了時刻を記憶する。
【0109】
経過時間判定部44は定期的に現在時刻を読み込み、読み込んだ現在時刻と記憶しているキャリブレーション完了時刻を比較し、キャリブレーション完了時刻から現在時刻までの経過時間が設定時間以上であると、教師情報S(t、g、h|x、y)の再取得を促す画像を表示させる経過時間画像情報を、教師情報生成部423及び制御部50を介してパネル10に与え、パネル10の表示画面上に教師情報の再取得の必要性を示す画像を表示させる。
なお、経過時間判定部44は教師情報生成部423を介さずに経過時間画像情報を制御部50を介してパネル10に与えてもよい。
【0110】
上記した例では、キャリブレーション完了時刻と現在時刻を用いて経過時間を得ているが、経過時間判定部44としてタイマを有し、キャリブレーション完了時刻によりタイマがセットされ、タイマによる経過時間が設定時間になると経過時間画像情報を出力するのでもよい。
経過時間判定部44は受信情報取得部41と機械学習部42とともにコンピュータに組み込んでもよい。
【0111】
パネル10の表示画面上に教師情報の再取得を促す画像が表示されると、ユーザは操作パネル装置に教師情報の取得を実行させる。
操作パネル装置におけるキャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作は、実施の形態1において説明した動作と同様であり、
図8に示したフローチャートに従い実行される。
【0112】
ただ、第1の設定位置P1から第Dの設定位置PDそれぞれにおいて、教師情報生成部423が生成した教師情報S(t、g、h|x、y)は、教師情報生成部423から教師情報格納部422に格納される際に、教師情報格納部422に格納されている第1の設定位置P1から第Dの設定位置PDそれぞれにおける教師情報S(t、g、h|x、y)から書き換えられる。
【0113】
また、教師情報生成部423が教師情報S(t、g、h|x、y)の再取得の動作を完了すると、経過時間判定部44はキャリブレーション完了時刻を教師情報生成部423から受け、キャリブレーション完了時刻を書き換える。
経過時間判定部44がタイマを有するものであるとすると、タイマの時刻をリセットする。
【0114】
以上に述べたように、実施の形態4に係る操作パネル装置は、実施の形態1に係る操作パネル装置と同様の効果を有する。
さらに、実施の形態4に係る操作パネル装置は、教師情報生成部423が教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成し、教師情報格納部422に格納した時刻からの経過時間が設定時間以上になると、パネル10の表示画面に教師情報S(t、g、h|x、y)の取得を促す画像を表示させる経過時間画像情報をパネル10に与えるので、設定時間以上ごとに教師情報格納部422に格納される教師情報S(t、g、h|x、y)を新たに書き換えることができ、操作パネル装置の使用環境の影響を考慮して、最適な教師情報S(t、g、h|x、y)により指の位置を推定できる。
【0115】
実施の形態5.
実施の形態5に係る操作パネル装置を、
図12を用いて説明する。
実施の形態5に係る操作パネル装置は、実施の形態1に係る操作パネル装置に対してさらに、装置温度判定部45及び装置温度測定部46を設けた点が相違し、その他の点については同じである。
なお、
図12中、
図1から
図8に付された符号と同一符号は同一又は相当部分を示す。
【0116】
操作パネル装置において、装置の温度変化が設定値以上になると第1の透明アンテナ21から第Nの透明アンテナ2Nに対する装置温度ドリフトが規定値以上になり、指からの反射波を受信した第1の透明アンテナ21から第Nの透明アンテナ2Nからの受信信号による受信情報S(t、g、h)が影響され、位置推定部421による教師情報格納部422に格納される教師情報S(t、g、h|x、y)を用いた機械学習の精度が落ちる。
【0117】
この点を踏まえ、装置の温度、本例においては、パネル10の温度と、教師情報生成部423が教師情報格納部422に格納される教師情報S(t、g、h|x、y)を全て生成し、教師情報格納部422に格納した際の装置の温度、本例においてはパネル10の温度との差が設定値以上になると、装置温度判定部45がパネル10の表示画面上に教師情報S(t、g、h|x、y)の取得を促す。
【0118】
以下に、実施の形態1に係る操作パネル装置との相違点を中心に説明する。
実施の形態5に係る操作パネル装置において、位置推定動作、及びキャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作は、実施の形態1に係る操作パネル装置における、
図7に示すフローチャートによる位置推定動作、及び、
図8に示すフローチャートによるキャリブレーション実行動作と同じであるので説明は省略する。
【0119】
従って、装置温度判定部45が、教師情報生成部423が教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成し、教師情報格納部422に格納した時のパネル10の温度と、位置推定動作を行っている設定時刻におけるパネルの温度との差を比較し、両温度の差が差設定値以上になった場合に教師情報S(t、g、h|x、y)の再取得を促す点について、主として説明する。
【0120】
装置温度測定部46が装置の温度、本例においてはパネル10の温度を検知する。
教師情報生成部423は、教師情報格納部422に格納される教師情報S(t、g、h|x、y)を生成し、教師情報格納部422に格納した時、つまり、キャリブレーション実行動作の完了時、及びキャリブレーション実行動作の完了後設定時間経過後に定期的に装置温度測定部46が検知したパネル10の温度を取得し、装置温度判定部45に与える。
【0121】
装置温度判定部45は教師情報生成部423からのキャリブレーション実行動作の完了時のパネル10の温度を設定値として記憶する。
装置温度判定部45は教師情報生成部423が定期的に取得するパネル10の温度を比較値とし、記憶している設定値と比較値とを比較する。
装置温度判定部45は設定値と比較値との差が差設定値以上であると、教師情報S(t、g、h|x、y)の再取得を促す画像を表示させる温度画像情報を、教師情報生成部423及び制御部50を介してパネル10に与え、パネル10の表示画面上に教師情報の再取得の必要性を示す画像を表示させる。
【0122】
なお、装置温度判定部45は装置温度測定部46が検知したパネル10の温度を教師情報生成部423を介して取得しているが、装置温度測定部46から直接取得してもよい。
また、装置温度判定部45は教師情報生成部423を介さずに温度画像情報を制御部50を介してパネル10に与えてもよい。
【0123】
パネル10の表示画面上に教師情報の再取得を促す画像が表示されると、ユーザは操作パネル装置に教師情報の取得を実行させる。
操作パネル装置におけるキャリブレーション実行動作、つまり、パネル10の表示画面上での位置情報(x、y)が紐づけされたキャリブレーション結果データである教師情報S(t、g、h|x、y)を生成する動作は、実施の形態1において説明した動作と同様であり、
図8に示したフローチャートに従い実行される。
【0124】
ただ、第1の設定位置P1から第Dの設定位置PDそれぞれにおいて、教師情報生成部423が生成した教師情報S(t、g、h|x、y)は、教師情報生成部423から教師情報格納部422に格納される際に、教師情報格納部422に格納されている第1の設定位置P1から第Dの設定位置PDそれぞれにおける教師情報S(t、g、h|x、y)から書き換えられる。
【0125】
また、教師情報生成部423が教師情報S(t、g、h|x、y)の再取得の動作を完了すると、装置温度判定部45は、記憶しているパネル10の温度の設定値を再取得の動作の完了時に教師情報生成部423が装置温度測定部46から取得したパネル10の温度に書き換え、新たな設定値として記憶する。
【0126】
以上に述べたように、実施の形態5に係る操作パネル装置は、実施の形態1に係る操作パネル装置と同様の効果を有する。
さらに、実施の形態5に係る操作パネル装置は、装置温度判定部45がパネル10の温度をパネル10の温度の設定値と比較し、両温度の差が差設定値以上になると、パネル10の表示画面に教師情報S(t、g、h|x、y)の取得を促す画像を表示させる温度画像情報をパネル10に与えるので、第1の透明アンテナ21から第Nの透明アンテナ2Nに対する装置温度ドリフトを規定値以内に抑えることができ、操作パネル装置の使用環境の温度の影響を受け難く、教師情報S(t、g、h|x、y)により指の位置を推定できる。
【0127】
なお、実施の形態3において示した受信感度判定部43、実施の形態4において示した経過時間判定部44、又は実施の形態5において示した装置温度判定部45のいずれかを実施の形態2に係る操作パネル装置に適用してもよい。
また、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0128】
本開示に係る操作パネル装置は、タッチ表示機能を有する各種電子機器、例えばモバイル端末及び携帯デバイスに用いられるユーザーインターフェイスとしての非接触式の操作パネル装置に好適である。
また、工場など、指が汚れている使用者が使用する、パネルの表示画面上に汚れが付きやすい環境で使用される操作パネル装置に適している。
【符号の説明】
【0129】
10 ディスプレイパネル、20 透明アンテナアレイ、211~2mn、21~2N
第1の透明アンテナから第Nの透明アンテナ、30 送受信回路部、31 入出力切替部、311~31N 第1の切替部から第Nの切替部、32 信号送信部、321 信号発生器、322 出力先選択部、33 受信情報生成部、331~33N 第1の信号受信部から第Nの信号受信部、40 対象物位置推定部、41 受信情報取得部、42 機械学習部、421 位置推定部、422 教師情報格納部、423 教師情報生成部、43 受信感度判定部、44 経過時間判定部、45 装置温度判定部、50 制御部。