特開 2024-72656 操作表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072656

(43)【公開日】2024-05-28

(54)【発明の名称】操作表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240521BHJP

   G06F 3/0346 20130101ALI20240521BHJP

   G06F 3/04815 20220101ALI20240521BHJP

【ＦＩ】

G06T19/00 A

G06F3/0346 421

G06F3/04815

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022183620

(22)【出願日】2022-11-16

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】前田 祥兵

(72)【発明者】

【氏名】本村 聡奈

【テーマコード（参考）】

5B050

5B087

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA12

5B050BA13

5B050CA07

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B087AA07

5B087AA09

5B087BC05

5B087DD01

5B087DD11

5E555AA08

5E555AA27

5E555AA64

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA41

5E555CB66

5E555CC01

5E555DA08

5E555DB20

5E555DB56

5E555DC09

5E555EA11

5E555EA14

5E555FA00

(57)【要約】

【課題】操作者に操作感を与え、仮想空間でありながら現実空間と同様の操作性を得ること。
【解決手段】仮想空間上に、操作対象となる操作部を仮想的に表示する操作表示システムにおいて、前記仮想空間上における前記操作部の位置に対応する現実空間の位置に設けられる操作盤と、前記現実空間における操作者の手指の位置を検出する手指検出センサと、前記現実空間の前記操作盤に対する検出した前記手指の位置に基づき、前記仮想空間上において前記操作部及び前記手指の位置を示す画像を重ねて表示する表示部と、前記表示部への前記操作部及び前記手指の表示に関する表示制御を実行する制御部と、を備え、前記操作盤は、基盤と、前記基盤上に配置され、前記操作者に対して体感を付与する体感付与部材と、を有し、前記制御部は、前記手指検出センサの検出結果に基づいて、前記操作盤上において操作される前記操作部の操作の有無を判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

仮想空間上に、操作対象となる操作部を仮想的に表示する操作表示システムにおいて、
前記仮想空間上における前記操作部の位置に対応する現実空間の位置に設けられる操作盤と、
前記現実空間における操作者の手指の位置を検出する手指検出センサと、
前記現実空間の前記操作盤に対する検出した前記手指の位置に基づき、前記仮想空間上において前記操作部及び前記手指の位置を示す画像を重ねて表示する表示部と、
前記表示部への前記操作部及び前記手指の表示に関する表示制御を実行する制御部と、を備え、
前記操作盤は、
基盤と、
前記基盤上に配置され、前記操作者に対して体感を付与する体感付与部材と、を有し、
前記制御部は、
前記手指検出センサの検出結果に基づいて、前記操作盤上において操作される前記操作部の操作の有無を判定する操作表示システム。

【請求項2】

前記体感付与部材は、押し下げ操作に応じて弾性変形する発泡体、及び押し下げ操作に応じて入切されるスイッチの少なくとも一方を含む請求項１に記載の操作表示システム。

【請求項3】

前記体感付与部材が配置される配置領域は、前記操作部が操作される操作領域よりも大きな領域となっている請求項１に記載の操作表示システム。

【請求項4】

前記制御部は、
前記手指検出センサの検出結果から、前記操作者の前記手指が、前記体感付与部材上において前記操作部に対応する操作部接触判定範囲に、所定の時間だけ存在する場合、前記操作部の操作が有ると判定する請求項１に記載の操作表示システム。

【請求項5】

前記表示部は、ヘッドマウントディスプレイに含まれ、
前記手指検出センサは、
前記操作盤の設置場所に設けられる第１の手指検出センサと、
前記ヘッドマウントディスプレイに設けられる第２の手指検出センサと、を含む請求項１に記載の操作表示システム。

【請求項6】

前記体感付与部材は、
押し下げ操作に応じて入切されるスイッチと、
前記スイッチの入切操作の操作可否を切り替える切替機構と、を含み、
前記制御部は、前記操作部の操作不能の領域に対応する前記スイッチの入切操作を前記切替機構により操作不能とし、前記操作部の操作可能の領域に対応する前記スイッチの入切操作を前記切替機構により操作可能とする請求項１に記載の操作表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、操作表示システムに関するものとなっている。

【背景技術】

【0002】

従来、デバイス上にデジタルオブジェクトを表示するシステムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－３４５６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のようなシステムとしては、例えば、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）上に、デジタルオブジェクトとしての操作器を仮想空間に表示したシステム等がある。このようなシステムにおいて、操作者が仮想空間内において操作器を操作する場合、現実空間には操作器がないことから、操作者は、操作器の操作感を得ることが困難となる。また、仮想空間に表示される操作器の位置と、現実空間における操作者の手指の位置とは、位置ずれする場合があるため、操作者の意図とは異なる操作となってしまうことがある。

【0005】

そこで、本開示は、操作者に操作感を与え、仮想空間でありながら現実空間と同様の操作性を得ることができる操作表示システムを提供することを課題とする。

【課題を解決するための手段】

【0006】

本開示の操作表示システムは、仮想空間上に、操作対象となる操作部を仮想的に表示する操作表示システムにおいて、前記仮想空間上における前記操作部の位置に対応する現実空間の位置に設けられる操作盤と、前記現実空間における操作者の手指の位置を検出する手指検出センサと、前記現実空間の前記操作盤に対する検出した前記手指の位置に基づき、前記仮想空間上において前記操作部及び前記手指の位置を示す画像を重ねて表示する表示部と、前記表示部への前記操作部及び前記手指の表示に関する表示制御を実行する制御部と、を備え、前記操作盤は、基盤と、前記基盤上に配置され、前記操作者に対して体感を付与する体感付与部材と、を有し、前記制御部は、前記手指検出センサの検出結果に基づいて、前記操作盤上において操作される前記操作部の操作の有無を判定する。

【発明の効果】

【0007】

本開示によれば、操作者に操作感を与え、仮想空間でありながら現実空間と同様の操作性を得ることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態１に係る操作表示システムの一例を示すブロック図である。

【図2】図２は、実施形態１に係る操作盤の一例を模式的に表した模式図である。

【図3】図３は、表示部に表示される操作器の説明図である。

【図4】図４は、操作部の操作判定に関するフローチャートである。

【図5】図５は、実施形態１に係る操作盤の一例を模式的に表した模式図である。

【図6】図６は、実施形態１に係る操作盤の一例を模式的に表した模式図である。

【図7】図７は、実施形態２に係る操作表示システムの一例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの開示が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

【0010】

［実施形態１］
図１は、実施形態１に係る操作表示システムの一例を示すブロック図である。図２は、実施形態１に係る操作盤の一例を模式的に表した模式図である。図３は、表示部に表示される操作器の説明図である。図４は、操作部の操作判定に関するフローチャートである。図５は、実施形態１に係る操作盤の一例を模式的に表した模式図である。図６は、実施形態１に係る操作盤の一例を模式的に表した模式図である。

【0011】

（操作表示システム）
実施形態１の操作表示システム１は、仮想空間上に、操作対象となる操作部を仮想的に表示するシステムとなっている。操作表示システム１は、例えば、各種訓練を行うための訓練システムに適用され、操作対象としては、例えば、航空機の操作器、プラントの制御操作器、車両の操作器等となっている。実施形態１では、航空機の操作器に適用して説明する。また、操作部としては、例えば、押し下げ操作を行うものを対象としており、例えば、操作ボタン、切り替えスイッチ等を含むものとなっている。

【0012】

操作表示システム１は、操作盤１０と、第１及び第２のハンドトラッカー（手指検出センサ）１１、１２と、表示部１４と、制御部１５と、を備えている。表示部１４及び第２のハンドトラッカー１２は、ＨＭＤ２１に一体に組み込まれているため、操作表示システム１は、操作盤１０と、第１のハンドトラッカー１１と、ヘッドマウントディスプレイ（ＨＭＤ）２１と、制御部１５とを含む構成となっている。

【0013】

ＨＭＤ２１は、操作者の頭部にセットされ、眼前に配置される上記の表示部１４と、操作者の手指を検出する上記の第２のハンドトラッカー１２とを有している。表示部１４は、例えば、表示デバイスとしてのディスプレイである。表示部１４は、制御部１５において生成された画像を表示する。表示部１４は、画像として、例えば、図３に示す仮想空間としての航空機の操縦室の画像Ｇを表示しており、画像Ｇは、操縦室に設けられた操作部としての操作器Ｐ、及び操縦者の手指Ｈを含むものとなっている。

【0014】

第２のハンドトラッカー１２は、ＨＭＤ２１に一体に設けられ、所定の検出範囲において操作者の手指を検出する。このため、第２のハンドトラッカー１２は、操作者の頭部の動作に応じて検出範囲が変化する。

【0015】

また、ＨＭＤ２１は、ホームポジションにセットされる位置が初期位置となっており、初期位置が仮想空間における三次元座標の基準位置となっている。つまり、基準位置に基づいて、仮想空間における三次元座標と、現実空間における三次元座標との位置合わせが行われる。

【0016】

第１のハンドトラッカー１１は、操作盤１０が設置される設置場所に設けられ、所定の検出範囲において操作者の手指を検出する。このため、第１のハンドトラッカー１１は、検出範囲が固定されたものとなり、操作盤１０周りにおける操作者の手指を検出する。

【0017】

操作盤１０は、仮想空間における操作器Ｐに応じた現実空間の位置に設置されている。操作盤１０は、図２に示すように、基盤２５と、基盤２５上に配置される体感付与部材２６と、を有している。基盤２５は、板形状の部材となっている。体感付与部材２６は、操作者に対して体感を付与する部材となっており、操作器Ｐのボタン操作に関する体感を付与する部材となっている。具体的に、体感付与部材２６は、スポンジ等の発泡体２６ａであり、操作者が押し下げ操作を行うことで弾性変形することにより、押し下げ操作の体感を操作者に付与している。なお、体感付与部材２６は、発泡体に特に限定されず、例えば、ゲル状の材料または布等を適用してもよく、操作者に対して体感を付与する部材であれば、何れであってもよい。操作盤１０は、配置される配置領域が、操作器Ｐが操作される操作領域よりも大きな領域となっている。具体的に、操作盤１０は、仮想空間における操作器Ｐと、現実空間における操作盤１０との位置ずれを許容可能な大きさとなっている。このため、操作盤１０は、操作器Ｐの表面よりも広い領域となっており、また、厚さが、操作器Ｐにおける操作ボタンの操作量（押し下げ）よりも厚いものとなっている。

【0018】

制御部１５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。制御部１５は、仮想空間において操作された操作器Ｐの入力に基づいて、航空機の動作をシミュレートしたり、ＨＭＤ２１の表示制御を行ったり、第１のハンドトラッカー１１及び第２のハンドトラッカー１２により検出した手指の位置を合成したりする。

【0019】

具体的に、制御部１５は、航空機の動作をシミュレートする処理を実行しており、仮想空間において操作された操作器Ｐの入力に基づいて、航空機を模擬的に動作させ、動作した結果を、画像Ｇとして表示部１４に表示する。また、制御部１５は、第１のハンドトラッカー１１及び第２のハンドトラッカー１２により検出した手指の位置に基づいて、位置合成プログラムを用いて位置合成を行うことで、位置合成された手指の位置（座標）を取得する。そして、制御部１５は、取得した手指の位置に基づいて、手指の画像を生成し、生成した手指の画像を画像Ｇに重複させ、画像Ｇを表示部１４に表示する。

【0020】

次に、図４を参照して、操作器Ｐの操作判定に係る処理について説明する。なお、図４では、操作器Ｐにおける所定の操作ボタンを操作する場合の操作判定処理となっている。図４に示す操作判定処理は、制御部１５において繰り返し実行される。

【0021】

制御部１５は、仮想空間において、取得した手指の指先の位置（座標）が、操作器Ｐの所定の操作ボタンが接触するボタン接触判定範囲内にあるか否かを判定する（ステップＳ１）。制御部１５は、ステップＳ１において、ボタン接触判定範囲内にあると判定する（ステップＳ１：Ｙｅｓ）と、ボタン操作が長押しされているフラグとなる長押しフラグが０（長押しされていない）であるか否かを判定する（ステップＳ２）。

【0022】

続いて、制御部１５は、ステップＳ２において、長押しフラグが０であると判定する（ステップＳ２：Ｙｅｓ）と、押し下げ操作の押下カウンタにおいて＋１を加算する（ステップＳ３）。ステップＳ３の実行後、押下カウンタが、予め設定したカウンタ値Ｘ以上となるか否かを判定する（ステップＳ４）。制御部１５は、ステップＳ４において、押下カウンタがカウンタ値Ｘ以上であると判定する（ステップＳ４：Ｙｅｓ）と、操作ボタンがボタン接触判定範囲に所定時間だけ存在することで押し下げ操作されたとして、ボタン押し処理を実行する（ステップＳ５）。制御部１５は、ステップＳ５の実行後、長押しフラグを１（長押しされている）とした（ステップＳ６）後、操作判定処理を終了する。

【0023】

制御部１５は、ステップＳ１において、ボタン接触判定範囲内にないと判定した場合（ステップＳ１：Ｎｏ）、押下カウンタを０にリセットする（ステップＳ７）。また、制御部１５は、ステップＳ７の実行後、長押しフラグを０にリセットし（ステップＳ８）、操作判定処理を終了する。

【0024】

制御部１５は、ステップＳ２において、長押しフラグが０でないと判定する（ステップＳ２：Ｎｏ）と、長押しされているとして、つまり、継続してボタン操作が行われているとして、操作判定処理を終了する。

【0025】

制御部１５は、ステップＳ４において、押下カウンタがカウンタ値Ｘ以上でないと判定する（ステップＳ４：Ｎｏ）と、ボタン操作が所定の時間継続して操作されていないとして、操作判定処理を終了する。

【0026】

次に、図５及び図６を参照して、操作盤１０の他の一例について説明する。図５に示す操作盤１０は、図２に示す操作盤１０の発泡体２６ａに代えて、体感付与部材２６として、スイッチ２６ｂを配置したものとなっている。スイッチ２６ｂは、押し下げ操作により入切（ＯＮ／ＯＦＦ）可能なボタンとなっている。スイッチ２６ｂは、操作器Ｐの操作ボタンに対応するように複数配置してもよいし、敷き詰めた状態で複数配置してもよい。

【0027】

図６に示す操作盤１０は、体感付与部材２６として、図２に示す操作盤１０の発泡体２６ａに加えて、基盤２５と発泡体２６ａとの間にスイッチ２６ｂを配置したものとなっている。スイッチ２６ｂは、図５に示すスイッチ２６ｂと同様である。

【0028】

［実施形態２］
次に、図７を参照して、実施形態２について説明する。なお、実施形態２では、重複した記載を避けるべく、実施形態１と異なる部分について説明し、実施形態１と同様の構成である部分については、同じ符号を付して説明する。図７は、実施形態２に係る操作表示システムの一例を示すブロック図である。

【0029】

実施形態２の操作表示システム５０は、図５または図６に示すスイッチ２６ｂを含む操作盤１０において、スイッチ２６ｂが制御部１５と接続されたものとなっている。制御部１５は、スイッチ２６ｂの入切操作の操作可否を取得可能となっており、スイッチ２６ｂの操作可否に基づいて、操作判定処理を実行している。つまり、制御部１５は、スイッチ２６ｂが押し下げ操作された場合、ボタン押し処理を実行する。なお、制御部１５は、実施形態１の操作判定処理と並列に、実施形態２の操作判定処理を行ってもよいし、実施形態１の操作判定処理を省いてもよい。

【0030】

また、実施形態２において、操作盤１０の体感付与部材２６は、スイッチ２６ｂの入切操作の操作可否を切り替える切替機構をさらに含んでいてもよい。制御部１５は、切替機構に接続されており、切替機構を制御することで、スイッチ２６ｂの入切操作を不能としたり、スイッチ２６ｂの入切操作を可能としたりする切替制御を実行する。

【0031】

制御部１５は、操作対象となる操作器Ｐの種類に応じて、操作ボタンに対応するスイッチ２６ｂを操作可能とし、操作ボタンに対応しないスイッチ２６ｂを操作不能とする。これにより、制御部１５は、種々の操作器Ｐに対応した操作盤１０とすることが可能となる。なお、スイッチ２６ｂの入力操作を不能とする構成として、例えば、スイッチ２６ｂの物理的な押し下げ操作は可能である一方で押し下げ操作による入力信号が制御部１５に入力されない構成と、スイッチ２６ｂが物理的に押し下げ操作不能である構成とがある。これらの構成によれば、種々の操作範囲を有する操作器に対応させることができる。さらに、物理的に押し下げ操作不能である構成によれば、仮想空間における操作ボタンが存在しない位置で操縦者が操作盤１０に対して押し下げ操作を行っても、スイッチ２６ｂが操作不能であるため、操縦者に押し下げ操作の体感を与えることがなく、これにより、より的確な体感が与えられる。

【0032】

以上のように、実施形態１から２に記載の操作表示システム１、５０は、例えば、以下のように把握される。

【0033】

第１の態様に係る操作表示システム１、５０は、仮想空間上に、操作対象となる操作部（操作器Ｐ）を仮想的に表示する操作表示システム１、５０において、前記仮想空間上における前記操作部の位置に対応する現実空間の位置に設けられる操作盤１０と、前記現実空間における操作者の手指の位置を検出する手指検出センサ１１、１２と、前記現実空間の前記操作盤１０に対して、前記仮想空間上において前記操作部及び前記手指を重ねて表示する表示部１４と、前記表示部１４への前記操作部及び前記手指の表示に関する表示制御を実行する制御部１５と、を備え、前記操作盤１０は、基盤２５と、前記基盤２５上に配置され、前記操作者に対して体感を付与する体感付与部材２６と、を有し、前記制御部１５は、前記手指検出センサ１１、１２の検出結果に基づいて、前記操作盤１０上において操作される前記操作部の操作の有無を判定する。

【0034】

この構成によれば、体感付与部材２６により、操作者に操作感を与えることができるため、仮想空間でありながら現実空間と同様の操作性を得ることができる。

【0035】

第２の態様として、第１の態様に係る操作表示システム１、５０において、前記体感付与部材２６は、押し下げ操作に応じて弾性変形する発泡体２６ａ、及び押し下げ操作に応じて入切されるスイッチ２６ｂの少なくとも一方を含む。

【0036】

この構成によれば、発泡体２６ａ、スイッチ２６ｂによって、押し下げ操作による体感を、操作者に与えることができる。

【0037】

第３の態様として、第１または第２の態様に係る操作表示システム１、５０において、前記体感付与部材２６が配置される配置領域は、前記操作部が操作される操作領域よりも大きな領域となっている。

【0038】

この構成によれば、体感付与部材２６により、仮想空間における操作部と現実空間における操作盤との位置ずれを吸収することができる。

【0039】

第４の態様として、第１から第３のいずれか１つの態様に係る操作表示システム１、５０において、前記制御部１５は、前記手指検出センサ１１、１２の検出結果から、前記操作者の前記手指が、前記体感付与部材２６上において前記操作部に対応する操作部接触判定範囲に、所定の時間だけ存在する場合、前記操作部の操作が有ると判定する。

【0040】

この構成によれば、操作者による操作の有無を好適に検出することができる。

【0041】

第５の態様として、第１から第４のいずれか１つの態様に係る操作表示システム１、５０において、前記表示部１４は、ヘッドマウントディスプレイ２１に含まれ、前記手指検出センサ１１、１２は、前記操作盤１０の設置場所に設けられる第１の手指検出センサ１１と、前記ヘッドマウントディスプレイ２１に設けられる第２の手指検出センサ１２と、を含む。

【0042】

この構成によれば、第１の手指検出センサ１１及び第２の手指検出センサ１２により、操作者の手指の検出範囲を広くすることができるため、操作者の手指を精度よく検出することができる。

【0043】

第６の態様として、第１から第５のいずれか１つの態様に係る操作表示システム５０において、前記体感付与部材２６は、押し下げ操作に応じて入切されるスイッチ２６ｂと、前記スイッチ２６ｂの入切操作の操作可否を切り替える切替機構と、を含み、前記制御部１５は、前記操作部の操作不能の領域に対応する前記スイッチ２６ｂの入切操作を前記切替機構により操作不能とし、前記操作部の操作可能の領域に対応する前記スイッチ２６ｂの入切操作を前記切替機構により操作可能とする。

【0044】

この構成によれば、操作対象となる操作部の種類に応じて、スイッチ２６ｂの入切操作の操作可否を切り替えることで、種々の操作部に対応した操作盤１０とすることができる。

【符号の説明】

【0045】

１ 操作表示システム
１０ 操作盤
１１ 第１のハンドトラッカー
１２ 第２のハンドトラッカー
１４ 表示部
１５ 制御部
２１ ＨＭＤ
２５ 基盤
２６ 体感付与部材
２６ａ 発泡体
２６ｂ スイッチ
５０ 操作表示システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】