特開 2023-6167 空中映像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023006167

(43)【公開日】2023-01-18

(54)【発明の名称】空中映像表示装置

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20230111BHJP

   G06F 3/038 20130101ALI20230111BHJP

   G02B 30/60 20200101ALI20230111BHJP

【ＦＩ】

G06F3/0346 422

G06F3/038 310Y

G02B30/60

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2021108625

(22)【出願日】2021-06-30

(71)【出願人】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】110002941

【氏名又は名称】弁理士法人ぱるも特許事務所

(72)【発明者】

【氏名】坂井 雅彦

【テーマコード（参考）】

2H199

5B087

【Ｆターム（参考）】

2H199BA32

2H199BB12

2H199BB18

2H199BB20

2H199BB52

2H199BB59

5B087AA02

5B087BC32

5B087CC33

5B087DD09

(57)【要約】

【課題】空中タッチパネルとして用いられる空中映像表示装置において、タッチ操作の精度を向上させる。
【解決手段】筐体２と、映像表示部３と、前記映像表示部に表示された映像を反射させるビームスプリッター４と、ビームスプリッターで反射された映像を再帰反射させる再帰反射シート５と、再帰反射された映像が筐体の外部で結像される空中映像が含まれる空間領域内における使用者の指の指先の位置を検知するセンサー７と、センサーで検出された指先の位置から空中映像に最も近い指の腹の位置を算出する位置算出部８とを備えており、位置算出部は、前記映像表示部の表示面に垂直な線とビームスプリッターとのなす角と指先を半球体と仮定したときの半球体の直径とに基づいて、センサーで検出された指先の位置から空中映像に最も近い指の腹の位置を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

筐体と、
前記筐体の内部に配置された映像表示部と、
前記筐体の開口部に設置され、前記映像表示部に表示された映像を反射させるビームスプリッターと、
前記筐体の内部に設置され、前記ビームスプリッターで反射された前記映像を再帰反射させる再帰反射シートと、
前記再帰反射シートで再帰反射された前記映像が前記筐体の外部で結像される空中映像が含まれる空間領域内における使用者の指の指先の位置を検知するセンサーと、
前記センサーで検出された前記指先の位置から前記空中映像に最も近い前記指の腹の位置を算出する位置算出部とを備えた空中映像表示装置であって、
前記位置算出部は、前記映像表示部の表示面に垂直な線と前記ビームスプリッターとのなす角と前記指先を半球体と仮定したときの前記半球体の直径とに基づいて、前記センサーで検出された前記指先の位置から前記空中映像に最も近い前記指の腹の位置を算出することを特徴とする空中映像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、空中映像表示装置に関する。

【背景技術】

【0002】

特殊なメガネが不要で、霧などのスクリーンを使用せずに空中に映像を表示することができる空中映像表示装置が知られている。例えば、ビームスプリッターと再帰反射シートとを用いて、映像表示部に表示された映像をビームスプリッターに対して面対称な位置の空間に結像させて映像を表示する空中映像表示装置が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－２５７７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

空中映像表示装置において、空中に表示された映像（以下、空中映像と記す）としてタッチパネルを表示させ、使用者が指でそのタッチパネルを操作する空中タッチパネルとしての使用方法がある。使用者の指の位置は、空中映像表示装置の本体に設置された三次元距離センサーで検知される。使用者は空中映像として表示されたタッチパネルに対して上から指を近づけて操作することになる。一方、三次元距離センサーは、使用者がタッチパネルを操作するために空中映像表示装置に近づいたことを検知するためにも用いられる。そのため、三次元距離センサーは、空中映像表示装置の本体の上部に設置されている。三次元距離センサーはこのセンサーから見える物体の表面の位置のみが測定可能であるため、三次元距離センサーは使用者の指の背の方、すなわち爪のある方を測定することになる。そのため、三次元距離センサーは、タッチパネルのタッチ位置となる使用者の指の腹は指の背の陰になって直接測定できない。その結果、三次元距離センサーで測定された指の背の位置と使用者の指の腹の位置とにずれが生じ、タッチ操作の精度が低いという問題があった。

【0005】

本願は、上述の課題を解決するためになされたもので、空中タッチパネルとして用いられる空中映像表示装置において、タッチ操作の精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本願の空中映像表示装置は、筐体と、筐体の内部に配置された映像表示部と、筐体の開口部に設置され、映像表示部に表示された映像を反射させるビームスプリッターと、筐体の内部に設置され、ビームスプリッターで反射された映像を再帰反射させる再帰反射シートと、再帰反射シートで再帰反射された映像が筐体の外部で結像される空中映像が含まれる空間領域内における使用者の指の指先の位置を検知するセンサーと、センサーで検出された指先の位置から空中映像に最も近い指の腹の位置を算出する位置算出部とを備えており、位置算出部は、映像表示部の表示面に垂直な線とビームスプリッターとのなす角と指先を半球体と仮定したときの半球体の直径とに基づいて、センサーで検出された指先の位置から空中映像に最も近い指の腹の位置を算出している。

【発明の効果】

【0007】

本願の空中映像表示装置においては、位置算出部が映像表示部の表示面に垂直な線とビームスプリッターとのなす角と指先を半球体と仮定したときの半球体の直径とに基づいて、センサーで検出された指先の位置から空中映像に最も近い指の腹の位置を算出しているので、タッチ操作の精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る空中映像表示装置の模式図である。

【図2】実施の形態１の空中映像表示装置における座標系の説明図である。

【図3】実施の形態１の空中映像表示装置における三次元距離センサーが検知する指の位置の説明図である。

【図4】実施の形態１の空中映像表示装置におけるモデル化した指の説明図である。

【図5】実施の形態１において、モデル化した指における三次元距離センサーの測定位置とタッチパネルに触れる位置との関係を示した説明図である。

【図6】実施の形態１において、空中映像に対して指の角度が変化したときの説明図である。

【発明を実施するための形態】

【0009】

以下、本願を実施するための実施の形態に係る空中映像表示装置について、図面を参照して詳細に説明する。なお、各図において同一符号は同一もしくは相当部分を示している。

【0010】

実施の形態１．
図１は、実施の形態１に係る空中映像表示装置の模式図である。本実施の形態の空中映像表示装置１は、筐体２と、筐体２の内部に配置された映像表示部３と、筐体２の開口部に設けられたビームスプリッター４と、筐体２の内部に配置された再帰反射シート５とを有する。映像表示部３から出射された光は、ビームスプリッター４に入射し、その一部が反射されて再帰反射シート５に入射する。再帰反射シート５は、入射した光を入射方向へ反射する特性を有している。再帰反射シート５は、ビームスプリッター４から入射した光をビームスプリッター４に向かって反射させる。再帰反射シート５からビームスプリッター４に向かって反射された光は、一部がビームスプリッター４を透過する。このようにして映像表示部３に表示された映像は、ビームスプリッター４を通過して筐体２の外部で結像されて空中映像６となる。使用者１０は、この空中映像６を観察することができる。例えば、空中映像６として種々の機器を操作するためのタッチパネルを表示させる。使用者１０は、空中映像６として表示されたタッチパネルに指１０ａを近づけることでタッチパネルに対するタッチ操作を行うことができる。指１０ａの位置は、筐体２に設けられ、空中映像６が含まれる空間領域内の物体の位置を検出する三次元距離センサー７で測定することができる。映像表示部３としては、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤ素子が配列されたディスプレイなどを用いることができる。ビームスプリッター４としては、ハーフミラー、反射型偏光板などを用いることができる。再帰反射シート５としては、球状の透明ガラスビーズを並べたガラスビーズ方式のシート、透明な三角錐を配列したマイクロプリズム方式のシートなどを用いることができる。三次元距離センサー７としては、例えばＴｏＦセンサー（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ Ｓｅｎｓｏｒ）、ステレオカメラなどを用いることができる。

【0011】

使用者１０は、空中映像６として表示されたタッチパネルに指１０ａを近づけてタッチ操作を行うことができる。このタッチ操作は非接触であるため、接触による手の汚染、タッチパネルを介した有害物質の拡散などを防ぐことができる。

【0012】

使用者１０の指１０ａの位置は、三次元距離センサー７で測定される。この三次元距離センサー７は、使用者１０がタッチパネルを操作するために空中映像表示装置１に近づいたことを検知するためにも用いられるため、通常は空中映像表示装置１の本体の上部に設置されている。三次元距離センサー７は、このセンサーから見える物体の表面の位置のみが測定可能であるため、タッチパネルのタッチ位置となる使用者１０の指１０ａの腹側は指の背の陰になって直接測定できない。そのため、使用者１０の指１０ａの腹の位置と三次元距離センサー７で測定された指の背の位置とにずれが生じ、タッチ操作の精度が低いという問題があった。

【0013】

本実施の形態の空中映像表示装置１は、三次元距離センサー７で測定された指１０ａの指先の位置からタッチパネルのタッチ位置となる指１０ａの腹の位置を算出することで、タッチ操作の精度を向上させたものである。そのため、本実施の形態の空中映像表示装置１は、三次元距離センサー７で測定された指１０ａの指先の位置からタッチパネルのタッチ位置となる指１０ａの腹の位置を算出する位置算出部８を備えている。

【0014】

図２は、本実施の形態の空中映像表示装置１における座標系の説明図である。図２に示すように、本実施の形態において、センサー座標系と空中映像座標系とを定義する。センサー座標系は空中映像表示装置１の構造に基づくものであり、空中映像座標系は空中映像表示装置１が表示する空中映像の虚像の構造に基づくものである。センサー座標系のＺｓ軸は、ビームスプリッター４と平行な方向である。センサー座標系のＹｓ軸は、ビームスプリッター４に対して直角な方向である。センサー座標系のＸｓ軸は、Ｚｓ軸およびＹｓ軸に直角な方向である。なお、このセンサー座標系は、三次元距離センサー７のもつ固有の座標系を三次元距離センサー７の取り付け位置などで補正して、空中映像表示装置１の構造に基づく座標系に変換したものである。これに対して、空中映像座標系のＺｉ軸は、空中映像６に対して直角な方向である。空中映像座標系のＹｉ軸は、空中映像６と平行な方向である。空中映像座標系のＸｉ軸は、Ｚｉ軸およびＹｉ軸に直角な方向である。ここで、センサー座標系のＸｓ軸と空中映像座標系のＸｉ軸とは互いに平行で、図１において紙面に垂直な方向とする。したがって、図２に示すように、センサー座標系に対して空中映像座標系はＸｉ軸を中心に角度θだけ回転している。空中映像６は映像表示部３に表示された映像がビームスプリッター４に対して面対称な位置に表示されたものなので、角度θは映像表示部３の表示面に垂直な線とビームスプリッター４とのなす角に相当する。
なお、本実施の形態においては、センサー座標系として三次元距離センサー７のもつ固有の座標系を三次元距離センサー７の取り付け位置などで補正して空中映像表示装置１の構造に基づく座標系に変換したものを用いているが、センサー座標系として三次元距離センサー７のもつ固有の座標系を用いてもよい。

【0015】

次に、本実施の形態の空中映像表示装置１における指１０ａの測定位置について説明する。図３は、三次元距離センサー７が測定する指１０ａの位置の説明図である。図３（ａ）に示すように、使用者１０が指１０ａでタッチパネルを操作するときに指１０ａがタッチパネルに触れる位置は、指１０ａの指の腹１１の部分である。三次元距離センサー７は、空中映像表示装置１の本体の上部に設置されている。そのため、三次元距離センサー７は、図３（ｂ）に太線で示すように、使用者の指１０ａの背の側の表面を測定することになる。ここで、三次元距離センサー７は、使用者の指１０ａの背の最先端の指先１２の位置を測定する。

【0016】

図４は、本実施の形態の空中映像表示装置１におけるモデル化した指の説明図である。図４に示すように、本実施の形態では、指の形状を円柱と半球体とが組み合わされた形状と仮定する。すなわち、指１０ａの胴体部分を直径Ｄの円柱と仮定し、指先の部分を直径Ｄの半球体と仮定する。そして、タッチパネルを操作するときにタッチパネルに触れる位置は、指先の部分の半球体の一部とする。

【0017】

図５は、本実施の形態において、モデル化した指における三次元距離センサー７の測定位置とタッチパネルに触れる位置との関係を示した説明図である。図５は、図２に示した座標系を角度θで回転した座標系で示している。空中映像座標系のＸｉ軸方向とセンサー座標系のＸｓ軸方向とは平行であるので、これ以降ＹＺ平面で説明する。三次元距離センサー７は、モデル化した指１０ａの指先のセンサー座標系におけるＹｓ軸方向の最も端部に位置する点を測定する。そして、その点を空中映像座標系で点（ｙｄ、ｚｄ）とする。このとき、点（ｙｄ、ｚｄ）の接線方向はセンサー座標系におけるＺｓ軸方向と平行となる。そのため、図５に示したように、点（ｙｄ、ｚｄ）とモデル化した指先の半球体の中心Ｃとを結んだ線分とＹｉ軸に平行な直線とのなす角はθとなる。

【0018】

タッチパネルを操作するときに指１０ａのタッチパネルに最も近い位置はモデル化した指先の半球体の一部であり、図５に示したように、空中映像座標系おけるＺｉ軸方向の最も端部に位置する点とする。そして、その点を空中座標系で点（ｙａ、ｚａ）とする。このようにモデル化した指において、点（ｙｄ、ｚｄ）は図３に示す指先１２の位置に相当し、点（ｙａ、ｚａ）は図３に示す空中映像に最も近い指の腹１１の位置に相当する。このとき、点（ｙｄ、ｚｄ）と点（ｙａ、ｚａ）との間には、次に示す２つの式が成り立つ。

【0019】

ｙａ＝ｙｄ＋Ｄ／２×ｃｏｓθ （１）
ｚａ＝ｚｄ－Ｄ／２＋Ｄ／２×ｓｉｎθ （２）

【0020】

本実施の形態の空中映像表示装置１においては、映像表示部３の表示面に垂直な線とビームスプリッター４とのなす角をθとし、使用者の指先の形状を半球体と仮定してその半球体の直径をＤとしたときに、位置算出部８が三次元距離センサー７で測定された指先の位置（ｙｄ、ｚｄ）から（１）式および（２）式を用いて、タッチパネルに最も近い指の腹の位置（ｙａ、ｚａ）を算出する。なお、指先１２の位置と指の腹１１の位置とのＸｓ軸方向のずれはないものとする。映像表示部３の表示面に垂直な線とビームスプリッター４とのなす角は、空中映像表示装置１の構造で一義的に決まる。また、使用者の指先の形状を半球体と仮定したとき、その半球体の直径も予め決めておくことができる。なお、三次元距離センサー７で使用者の指１０ａの胴体部分の幅を測定し、その幅を使用者の指先の形状を半球体と仮定したときの半球体の直径としてもよい。

【0021】

このように構成された空中映像表示装置においては、三次元距離センサーで測定された指先の位置から、タッチパネルに最も近い指の腹の位置を算出することができるので、タッチ操作の精度を向上させることができる。

【0022】

図６は、空中映像に対して指の角度が変化したときの説明図である。図６に示すように、空中映像６に対して指１０ａの角度が変化しても、指先の形状を半球体と仮定しているので、指１０ａの背の最先端の位置は変化しない。そのため、空中映像に対して指の角度が変化しても同じ式を用いてタッチパネルに最も近い指の腹の位置を算出することができる。

【0023】

実施の形態１においては、ビームスプリッターと再帰反射シートとを用いた方式の空中映像表示装置で説明した。これ以外の方式の空中映像表示装置として、二面コーナーリフレクタアレイと呼ばれる光学プレートを用いた方式、直交ミラーアレイと呼ばれる光学プレートを用いた方式のものがある。これらの方式の空中映像表示装置においては、図１に示した空中映像表示装置において、再帰反射シートが除かれビームスプリッターの位置に光学プレートが配置される。このような空中映像表示装置は、映像表示部に表示された映像を光学プレートに対して面対称な位置の空間に結像させて空中映像を表示することができる。このような方式の空中映像表示装置においても、三次元距離センサーで測定された指の背の位置と使用者の指の腹の位置とにずれが生じ、タッチ操作の精度が低いという問題がある。このような方式の空中映像表示装置においても、三次元距離センサー７で測定された指１０ａの指先の位置からタッチパネルのタッチ位置となる指１０ａの腹の位置を算出することで、タッチ操作の精度を向上させることができる。

【0024】

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
したがって、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

【符号の説明】

【0025】

１ 空中映像表示装置、２ 筐体、３ 映像表示部、４ ビームスプリッター、５ 再帰反射シート、６ 空中映像、７ 三次元距離センサー、８ 位置算出部、１０ 使用者、１０ａ 指、１１ 指の腹、１２ 指先。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】