特開 2025-35674 ユーザインタフェースシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025035674

(43)【公開日】2025-03-14

(54)【発明の名称】ユーザインタフェースシステム

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20250307BHJP

   G06F 3/041 20060101ALI20250307BHJP

   G06F 3/044 20060101ALI20250307BHJP

   G06F 3/0346 20130101ALI20250307BHJP

   G06F 3/01 20060101ALI20250307BHJP

   G06F 3/04817 20220101ALI20250307BHJP

   G06F 3/0482 20130101ALI20250307BHJP

   B60R 16/02 20060101ALI20250307BHJP

【ＦＩ】

G06F3/04815

G06F3/041 580

G06F3/041 512

G06F3/044

G06F3/0346 423

G06F3/01 510

G06F3/0346 421

G06F3/04817

G06F3/0482

B60R16/02 630L

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2023142879

(22)【出願日】2023-09-04

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ″Ｓｐａｔｉａｌ Ｐｏｓｉｔｉｏｎｓ ｏｆ Ｏｐｅｒａｔｏｒ’ｓ Ｆｉｎｇｅｒ ａｎｄ Ｏｐｅｒａｔｉｏｎ Ｄｅｖｉｃｅ Ｉｎｆｌｕｅｎｃｉｎｇ Ｓｅｎｓｅ ｏｆ Ｄｉｒｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ ａｎｄ Ｏｐｅｒａｔｉｏｎ Ｐｅｒｆｏｒｍａｎｃｅ″ ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（ＶＩＳＩＧＲＡＰＰ ２０２３）－Ｖｏｌｕｍｅ ２：ＨＵＣＡＰＰ，ｐａｇｅｓ ２２９－２３５

(71)【出願人】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】清水 智巨

(72)【発明者】

【氏名】三輪 和久

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA07

5B087BC06

5B087BC12

5B087BC32

5B087BC34

5E555AA06

5E555AA64

5E555BA23

5E555BB23

5E555BC07

5E555CA13

5E555CA42

5E555CB23

5E555CC01

5E555DA11

5E555DB06

5E555DB18

5E555DB20

5E555DC21

5E555EA11

5E555EA22

5E555FA00

(57)【要約】

【課題】遠隔制御装置を用いて表示装置に表示されたＧＵＩ画面に対する操作入力を行なうシステムにおいて、操作主体感の低下を抑制する。
【解決手段】遠隔制御装置１１は、被操作面１１１を有する。検出装置１２は、所定の位置Ｐに居るユーザ２０の手指２１と被操作面１１１との位置関係を検出する。表示装置１３は、被制御機能に関連付けられたＧＵＩ画面１３１とＧＵＩ画面１３１に操作入力を行なうためのポインタ画像とを、前記位置関係に対応するように三次元的に表示する。表示装置１３は、所定の位置Ｐにおいて正面を向くユーザ２０の矢状面２２よりも左方と右方の一方にＧＵＩ画面１３１の中央位置１３１ａが位置するように配置されている。遠隔制御装置１１は、矢状面２２よりも左方と右方の他方に被操作面１１１の中央位置１１１ａが位置するように配置されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

被操作面を有する遠隔制御装置と、
所定の位置に居るユーザの手指と前記被操作面との位置関係を検出する検出装置と、
被制御機能に関連付けられたＧＵＩ画面と当該ＧＵＩ画面に操作入力を行なうためのポインタ画像とを、前記位置関係に対応するように三次元的に表示する表示装置と、
を備えており、
前記表示装置は、前記所定の位置において正面を向く前記ユーザの矢状面よりも左方と右方の一方に前記ＧＵＩ画面の中央位置が位置するように配置されており、
前記遠隔制御装置は、前記矢状面よりも左方と右方の他方に前記被操作面の中央位置が位置するように配置されている、
ユーザインタフェースシステム。

【請求項2】

前記所定の位置は、移動体における座席であり、
前記被操作面は、前記座席よりも前記移動体の居室を開閉する開閉体の近くに設置されている、
請求項１に記載のユーザインタフェースシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔制御装置を用いて表示装置に表示されたＧＵＩ（Graphical User Interface）画面に対する操作入力を行なうシステムに関連する。

【背景技術】

【0002】

特許文献１は、表示装置に表示されたＧＵＩ画面に対する操作入力を、リモコンなどの遠隔制御装置を介することなく実現するシステムを開示している。ユーザと表示装置の間に仮想面空間が設定され、当該仮想面空間を移動するユーザの手指の位置が撮像装置によって検出される。当該位置に対応するポインタが表示装置の画面上に表示され、ＧＵＩ画面に対する操作入力を行なうことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／１４２５２４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔制御装置を用いて表示装置に表示されたＧＵＩ画面に対する操作入力を行なうシステムにおいて、操作主体感の低下を抑制することが求められている。

【課題を解決するための手段】

【0005】

本開示により提供される態様例の一つは、ユーザインタフェースシステムであって、
被操作面を有する遠隔制御装置と、
所定の位置に居るユーザの手指と前記被操作面との位置関係を検出する検出装置と、
被制御機能に関連付けられたＧＵＩ画面と当該ＧＵＩ画面に操作入力を行なうためのポインタ画像とを、前記位置関係に対応するように三次元的に表示する表示装置と、
を備えており、
前記表示装置は、前記所定の位置において正面を向く前記ユーザの矢状面よりも左方と右方の一方に前記ＧＵＩ画面の中央位置が位置するように配置されており、
前記遠隔制御装置は、前記矢状面よりも左方と右方の他方に前記被操作面の中央位置が位置するように配置されている。

【0006】

上記のユーザインタフェースシステムによれば、ユーザが遠隔制御装置の被操作面に対して手指で操作を入力することにより、表示装置に表示されたポインタ画像を通じてＧＵＩ画面に操作を入力できる。例えばタッチパネル機能を備えたＧＵＩ画面を手指で直接に触れて操作を入力する場合と比較すると、腕や手の移動量を低減できる。

【0007】

他方、ＧＵＩ画面に操作入力を行なうポインタ画像と被操作面上の手指は離れているので、自身の手指でＧＵＩ画面へ操作を入力しているという実感（操作主体感）が低下することが避けられない。本出願の発明者たちは、遠隔制御装置と表示装置を上記のように配置することによって操作主体感の低下を抑制しつつ、誤操作の発生も抑制できることを見出した。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係るユーザインタフェースシステムの構成を例示している。

【図2】図１の表示装置に表示されるＧＵＩ画面とポインタ画像を例示している。

【図3】図１の表示制御装置の機能構成を例示している。

【図4】第一の比較例に係るユーザインタフェースシステムの構成を例示している。

【図5】図４の比較例に対する有利性を示す実験結果を示している。

【図6】第二の比較例に係るユーザインタフェースシステムの構成を例示している。

【図7】図６の比較例に対する有利性を示す実験結果を示している。

【図8】図１のユーザインタフェースシステムが搭載される車両を例示している。

【発明を実施するための形態】

【0009】

添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。図１は、一実施形態に係るユーザインタフェースシステム１０の構成を例示している。各図においては、例示される各要素を認識可能な大きさとするために、縮尺を適宜に変更している。

【0010】

ユーザインタフェースシステム１０は、遠隔制御装置１１を含んでいる。遠隔制御装置１１は、被操作面１１１を有している。被操作面１１１は、所定の位置Ｐに居るユーザ２０の手指２１による操作を受け付けるように構成されている。

【0011】

ユーザインタフェースシステム１０は、検出装置１２を含んでいる。検出装置１２は、手指２１と被操作面１１１との位置関係を検出するように構成されている。

【0012】

一例として、検出装置１２は、手指２１の接近または接触に伴う被操作面１１１の静電容量の変化を検出するように構成されうる。この場合、検出装置１２は、周知の信号処理技術を通じて、被操作面１１１に対して手指２１が接近または接触する位置、および被操作面１１１と手指２１の間の距離を検出しうる。すなわち、手指２１と被操作面１１１との三次元的な位置関係が検出されうる。

【0013】

別例として、検出装置１２は、被操作面１１１に対して接近または接触する手指２１を撮像するように構成されうる。この場合、検出装置１２は、周知の画像処理技術を通じて、被操作面１１１に対して手指２１が接近または接触する位置、および被操作面１１１と手指２１の間の距離を検出しうる。すなわち、手指２１と被操作面１１１との三次元的な位置関係が検出されうる。

【0014】

別例として、検出装置１２は、被操作面１１１に対して接近または接触する手指２１を赤外線や電波を用いて検出するように構成されうる。この場合、検出装置１２は、周知の信号処理技術を通じて、被操作面１１１に対して手指２１が接近または接触する位置、および被操作面１１１と手指２１の間の距離を検出しうる。すなわち、手指２１と被操作面１１１との三次元的な位置関係が検出されうる。

【0015】

図３に例示されるように、検出装置１２は、検出結果に対応する検出信号ＤＴを出力するように構成されている。検出信号ＤＴは、検出装置１２の仕様に応じて、アナログ信号であってもよいし、デジタル信号であってもよい。

【0016】

図１に例示されるように、ユーザインタフェースシステム１０は、表示装置１３を備えている。図２に例示されるように、表示装置１３は、ＧＵＩ画面１３１を表示するように構成されている。ＧＵＩ画面１３１は、それぞれが所定の被制御機能に関連付けられた複数のボタン画像やアイコン画像を含んでいる。

【0017】

表示装置１３は、ポインタ画像１３２を表示するように構成されている。ポインタ画像１３２は、ＧＵＩ画面１３１に操作入力を行なうために使用される。ポインタ画像１３２は、ＧＵＩ画面１３１内において検出装置１２によって検出された手指２１と被操作面１１１の位置関係を反映するように三次元的に表示される。ポインタ画像１３２の意匠は、適宜に変更されうる。

【0018】

図１に例示されるように、ユーザインタフェースシステム１０は、表示制御装置１４を含んでいる。表示制御装置１４は、検出装置１２により検出された手指２１と被操作面１１１の位置関係が反映されたポインタ画像１３２を表示装置１３に表示させるように構成されている。

【0019】

具体的には、図３に例示されるように、表示制御装置１４は、入力インタフェース１４１、プロセッサ１４２、および出力インタフェース１４３を備えている。

【0020】

入力インタフェース１４１は、検出装置１２から出力された検出信号ＤＴを受け付けるハードウェアインタフェースとして構成されている。検出信号ＤＴがアナログ信号である場合、入力インタフェース１４１は、Ａ／Ｄコンバータを含む適宜の変換回路を備える。

【0021】

プロセッサ１４２は、検出信号ＤＴが示す手指２１と被操作面１１１の位置関係に対応するようにＧＵＩ画面１３１内にポインタ画像１３２を表示させる表示制御信号ＤＣを、ハードウェアインタフェースとして構成された出力インタフェース１４３から出力するように構成されている。表示制御信号ＤＣは、表示装置１３の仕様に応じてアナログ信号であってもよいし、デジタル信号であってもよい。表示制御信号ＤＣがアナログ信号である場合、出力インタフェース１４３は、Ｄ／Ａコンバータを含む適宜の変換回路を備える。

【0022】

このような機能を有するプロセッサ１４２は、当該機能を実現するためのコンピュータプログラムがプリインストールされた記憶素子を備えたマイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの専用集積回路によって実現されうる。

【0023】

あるいは、プロセッサ１４２は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、当該機能を実現するためのコンピュータプログラムが記憶されうる。汎用マイクロプロセッサは、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。プロセッサ１４２は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。

【0024】

上記のように構成されたユーザインタフェースシステム１０によれば、ユーザ２０が遠隔制御装置１１の被操作面１１１に対して手指２１で操作を入力することにより、表示装置１３に表示されたポインタ画像１３２を通じてＧＵＩ画面１３１内のボタン画像やアイコン画像に操作を入力できる。例えばタッチパネル機能を備えたＧＵＩ画面を手指で直接に触れて操作を入力する場合と比較すると、腕や手の移動量を低減できる。

【0025】

他方、ＧＵＩ画面１３１に操作入力を行なうポインタ画像１３２と被操作面１１１上の手指２１は離れているので、自身の手指２１でＧＵＩ画面１３１へ操作を入力しているという実感（操作主体感）が低下することが避けられない。

【0026】

図１に例示されるように、表示装置１３は、所定の位置Ｐにおいて正面を向いているユーザ２０の矢状面２２の左方にＧＵＩ画面１３１の中央位置１３１ａが位置するように配置されている。他方、遠隔制御装置１１は、上方から見たときの矢状面２２の右方に被操作面１１１の中央位置１１１ａが位置するように配置されている。基準位置２２ａの例としては、頭頂部、鼻尖などが挙げられる。本出願の発明者たちは、遠隔制御装置１１と表示装置１３をこのように配置することによって操作主体感の低下を抑制できることを見出した。

【0027】

図４は、第一の比較例に係る遠隔制御装置１１と表示装置１３の配置を示している。本例においては、表示装置１３がユーザ２０の正面に配置されている。具体的には、表示装置１３は、上方から見たときのユーザ２０の矢状面２２上にＧＵＩ画面１３１の中央位置１３１ａが位置するように配置されている。遠隔制御装置１１の配置は、図１に例示された構成と同じである。

【0028】

複数の被験者に対してＧＵＩ画面１３１に対して特定の操作入力を行なうよう指示し、遠隔制御装置１１によるポインタ画像１３２の遠隔操作を通じて当該操作入力を実行させた。その後、ポインタ画像１３２の操作感を各被験者に評価させた。評価は、「ポインタを制御できたと感じたか」について「まったく感じなかった」から「非常に感じた」までの七段階のいずれかの値を選択することで行なわれた。より高い評価値は、より高い操作主体感に対応している。

【0029】

図５は、その結果を示している。棒グラフＢ５１は、表示装置１３がユーザ２０の正面に配置されている場合において複数の被験者から得られた評価値の平均値を表している。棒グラフＢ５２は、表示装置１３が矢状面２２の左方に配置されている場合において複数の被験者から得られた評価値の平均値を表している。

【0030】

表示装置１３がユーザ２０の正面に配置されている比較例に係る構成よりも表示装置１３が矢状面２２の左方に配置されている実施形態例に係る構成の方が、操作主体感が高いとの評価が得られている（有意傾向）。すなわち、遠隔制御装置１１を用いて表示装置１３に表示されたＧＵＩ画面１３１に対する操作入力を行なうユーザインタフェースシステム１０において、操作主体感の低下を抑制できることがわかる。

【0031】

図１に例示されるように、遠隔制御装置１１は、所定の位置Ｐにおいて正面を向いているユーザ２０の矢状面２２の右方に被操作面１１１の中央位置１１１ａが位置するように配置されている。

【0032】

図６は、第二の比較例に係る遠隔制御装置１１と表示装置１３の配置を示している。本例においては、遠隔制御装置１１は、ユーザ２０の正面に配置されている。具体的には、遠隔制御装置１１は、上方から見たときのユーザ２０の矢状面２２上に被操作面１１１の中央位置１１１ａが位置するように配置されている。表示装置１３の配置は、図１に例示された構成と同じである。

【0033】

複数の被験者に対してＧＵＩ画面１３１に対して特定の操作入力を行なうよう指示し、遠隔制御装置１１によるポインタ画像１３２の遠隔操作を通じて当該操作入力を実行させた。その後、誤操作の数を集計した。

【0034】

図７は、その結果を示している。棒グラフＢ７１は、被操作面１１１がユーザ２０の正面に配置されている場合において複数の被験者から得られた誤操作数の平均値を表している。棒グラフＢ７２は、被操作面１１１が矢状面２２の右方に配置されている場合において複数の被験者から得られた誤操作数の平均値を表している。

【0035】

この結果より、被操作面１１１がユーザ２０の正面に配置されている場合よりも被操作面１１１が矢状面２２の右方に配置される場合の方が、誤操作の発生を抑制できることがわかる（有意差あり）。

【0036】

すなわち、本実施形態例に係る構成によれば、遠隔制御装置１１を用いて表示装置１３に表示されたＧＵＩ画面１３１に対する操作入力を行なうユーザインタフェースシステム１０において、操作主体感の低下を抑制しつつ、誤操作の発生も抑制できる。

【0037】

図８は、ユーザインタフェースシステム１０が搭載される車両３０を例示している。本例においては、遠隔制御装置１１の被操作面１１１は、車室を開閉するドア３１に設けられたパームレスト３２に配置されている。図示を省略するが、表示装置１３は、ステアリングホイール３３の左方に位置するセンタクラスタに配置されている。この場合、車両３０に搭載された各種機器の被制御機能が、遠隔制御装置１１を用いた表示装置１３のＧＵＩ画面１３１への操作入力を通じて制御される。当該機器の例としては、映像音響機器、空調機器、照明機器、シート装置などが挙げられる。

【0038】

本例においては、図１に例示された所定の位置Ｐは、車両３０の運転席である。すなわち、被操作面１１１は、運転席よりもドア３１の近くに設置されている。車両３０は、移動体の一例である。車室は、居室の一例である。ドア３１は、開閉体の一例である。運転席は、座席の一例である。

【0039】

このような構成によれば、ユーザ２０としての運転者がパームレスト３２に配置された遠隔制御装置１１を用いてセンタクラスタに配置された表示装置１３のＧＵＩ画面１３１に対する操作入力を行なう場合において、操作主体感の低下を抑制できる。加えて、操作入力に伴う手や腕の移動量を低減しつつ、誤操作を抑制できる。

【0040】

これまでの説明において参照した構成の各々は、本開示の理解を容易にするための例示にすぎない。各構成例は、本開示の趣旨の範囲内において適宜の変更や他の構成例との組み合わせがなされうる。

【0041】

上記の実施形態例においては、表示装置１３は、所定の位置Ｐにおいて正面を向くユーザ２０の矢状面２２よりも左方に配置されている。しかしながら、表示装置１３は、ユーザ２０の利き手に係る事情、法規などに応じて矢状面２２よりも右方に配置されうる。

【0042】

上記の実施形態例においては、表示装置１３は、二次元的に表示されたＧＵＩ画面１３１内にポインタ画像１３２が三次元的に表示されている。しかしながら、所定の位置Ｐにいるユーザ２０からポインタ画像１３２がＧＵＩ画面１３１に対して三次元的に見えるのであれば、表示装置１３は、少なくともポインタ画像１３２を投影する装置として構成されてもよい。

【0043】

ユーザインタフェースシステム１０は、車両３０以外の移動体にも搭載されうる。その他の移動体の例としては、鉄道、航空機、船舶などが挙げられる。遠隔制御装置１１を通じて制御される被制御機能は、移動体の仕様に応じて適宜に定められる。当該移動体は、運転者を必要としなくてもよい。当該移動体の乗員が着座する座席は一つでもよい。

【0044】

ユーザインタフェースシステム１０は、必ずしも移動体に搭載されることを要しない。前記の位置関係を満足するように配置可能であれば、所定の被制御機能に関連付けられた遠隔制御装置１１と表示装置１３は、適宜の住宅や施設に設置されうる。

【符号の説明】

【0045】

１０：ユーザインタフェースシステム、１１：遠隔制御装置、１１１：被操作面、１１１ａ：中央位置、１２：検出装置、１３：表示装置、１３１：ＧＵＩ画面、１３１ａ：中央位置、１３１ｂ：法線、１３２：ポインタ画像、２０：ユーザ、２１：手指、２２：矢状面、２２ａ：基準位置、３０：車両、３１：ドア、Ｐ：所定の位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】