IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立オムロンターミナルソリューションズ株式会社の特許一覧

<>
  • 特許-情報処理システム 図1
  • 特許-情報処理システム 図2
  • 特許-情報処理システム 図3
  • 特許-情報処理システム 図4
  • 特許-情報処理システム 図5
  • 特許-情報処理システム 図6
  • 特許-情報処理システム 図7
  • 特許-情報処理システム 図8
  • 特許-情報処理システム 図9
  • 特許-情報処理システム 図10
  • 特許-情報処理システム 図11
  • 特許-情報処理システム 図12
  • 特許-情報処理システム 図13
  • 特許-情報処理システム 図14
  • 特許-情報処理システム 図15
  • 特許-情報処理システム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-12
(45)【発行日】2023-12-20
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
   G06F 3/0346 20130101AFI20231213BHJP
   G06F 3/04886 20220101ALI20231213BHJP
   G06F 3/042 20060101ALI20231213BHJP
【FI】
G06F3/0346 421
G06F3/04886
G06F3/042 460
【請求項の数】 10
(21)【出願番号】P 2022065942
(22)【出願日】2022-04-12
(65)【公開番号】P2023007394
(43)【公開日】2023-01-18
【審査請求日】2022-04-12
(31)【優先権主張番号】P 2021106937
(32)【優先日】2021-06-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】504373093
【氏名又は名称】日立チャネルソリューションズ株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】湯浅 篤士
【審査官】岩橋 龍太郎
(56)【参考文献】
【文献】特開2018-088027(JP,A)
【文献】国際公開第2017/141956(WO,A1)
【文献】特開2013-254399(JP,A)
【文献】実開昭62-117644(JP,U)
【文献】特開2018-018003(JP,A)
【文献】特開2019-101055(JP,A)
【文献】国際公開第2022/018972(WO,A1)
【文献】国際公開第2019/039600(WO,A1)
【文献】国際公開第2018/003861(WO,A1)
【文献】特開2017-107165(JP,A)
【文献】特開平09-305302(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01-3/04895
(57)【特許請求の範囲】
【請求項1】
複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、
略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、
前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、
前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、
前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、
前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、
前記反射材は、
前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、
前記コントローラは、
前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行し、
前記筐体内のうち前記反射材と前記操作空間との間に配置されて、前記反射材を透過した前記光信号を前記操作空間に向けて透過する補助透過板と、
前記筐体の外側のうち前記補助透過板の端部に対向した位置に着脱自在に配置されて、前記補助透過板に落下した落下物を収納する滞留部と、を更に備え、
前記補助透過板は、
前記端部を下方にして前記反射材に対して略平行に配置されていることを特徴とする情報処理システム。
【請求項2】
複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、
略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、
前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、
前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、
前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、
前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、
前記反射材は、
前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、
前記コントローラは、
前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行し、
前記コントローラにより生成された前記画像情報による画像を表示画面上に表示すると共に、前記表示画面に対するタッチ操作に応じたタッチ操作情報を前記コントローラに転送する操作パネルと、
前記コントローラ、前記ディスプレイ、及び前記光学センサと情報の送受信を行う補助コントローラと、を更に備え、
前記コントローラは、
前記タッチ操作情報に応答して前記画像情報を前記補助コントローラに転送し、
前記補助コントローラは、
前記コントローラから前記画像情報を受信した場合、受信した前記画像情報を前記ディスプレイに転送し、前記光学センサから前記検出結果を受信した場合、受信した前記検出結果を前記コントローラに転送することを特徴とする情報処理システム。
【請求項3】
複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、
略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、
前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、
前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、
前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、
前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、
前記反射材は、
前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、
前記コントローラは、
前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行し、
前記コントローラ、前記ディスプレイ、及び前記光学センサと情報の送受信を行う補助コントローラと、
前記筐体に配置されて前記補助コントローラに接続されるスピーカーと、を更に備え、
前記補助コントローラは、
前記コントローラから前記画像情報を受信した場合、受信した前記画像情報を前記ディスプレイに転送し、前記光学センサから前記検出結果を受信した場合、受信した前記検出結果を基にタッチ操作音を示す音声信号を生成し、生成した前記音声信号で前記スピーカーを鳴動させることを特徴とする情報処理システム。
【請求項4】
請求項1~3の何れか1項に記載の情報処理システムであって、
前記コントローラは、
前記操作空間内に表示される前記空中画像に属する前記操作ボタンの配列範囲を前記光学センサのセンサ反応範囲よりも狭い範囲として前記画像を生成すると共に、前記操作空間全体の表示領域を示すディスプレイ表示可能領域の中心に対して、前記空中画像を表示可能な空中画像表示可能領域と前記操作ボタンが配列される操作ボタン表示可能領域の中心を、前記ディスプレイ表示可能領域の上部から下部に亘って前記ディスプレイ表示可能領域の中心を通る仮想の中心線を基準にしてそれぞれ左側にオフセットして前記画像を生成することを特徴とする情報処理システム。
【請求項5】
請求項1~3の何れか1項に記載の情報処理システムであって、
前記底面反射板は、
その中央部が上部側に湾曲した凸湾曲形状板、その中央部が底面側に湾曲した凹湾曲形状板、或いは全体が平板状に形成された平板形状板のうちいずれかの形状のもので構成さることを特徴とする情報処理システム。
【請求項6】
請求項に記載の情報処理システムであって、
前記筐体内部の左右両側面には、前記操作空間からの光を反射する側面反射板が配置されていることを特徴とする情報処理システム。
【請求項7】
請求項に記載の情報処理システムであって、
前記補助コントローラを搭載する制御ボックスと、
前記スピーカーと前記ディスプレイ及び前記光学センサを搭載するディスプレイモジュールとを更に備え、
前記制御ボックスと前記ディスプレイモジュールは、互いに分離して実装されることを特徴とする情報処理システム。
【請求項8】
請求項に記載の情報処理システムであって、
前記底面反射板の長手方向を、前記空中画像と平行またはほぼ平行な状態に対して、前記反射材に向かう方向に凸湾曲させたことを特徴とする情報処理システム。
【請求項9】
請求項5に記載の情報処理システムであって、
前記底面反射板の幅方向を、前記空中画像と平行またはほぼ平行な状態に対して、前記反射材に向かう方向に凸湾曲させたことを特徴とする情報処理システム。
【請求項10】
請求項に記載の情報処理システムであって、
前記空中画像に表示された前記操作ボタンをタッチ操作した時に、当該操作ボタンの表示色を反転し、当該操作ボタンのボタンサイズを拡大し、操作音を鳴動させることを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、利用者の操作による情報を処理する情報処理システムに関する。
【背景技術】
【0002】
近年、コロナ禍において、不特定多数の利用者が使用するタッチパネルに触れたくないというニーズが高まり、利用者が小売店などで決済などに使用する端末においても直接タッチパネルに触れることなく操作ができることが求められている。
【0003】
非接触によりジェスチャで操作ができる電子機器が提案されている(特許文献1参照)。この電子機器は、近接センサにより検出されたユーザのジェスチャ操作に基づいて処理が可能な電子機器の構造である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2018-50175号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来技術によれば、タッチパネル付ディスプレイに触れることなくジェスチャにより電子機器の操作を行うことは可能であるが、操作ボタンを含む操作画面を空間に表示する場合、近接センサを用いているので、小さく並んだ操作ボタンをユーザが操作することは困難である。しかも、従来技術では、タッチパネル付ディスプレイに表示された操作画面に加えて、非接触による操作画面の画像を操作空間内に空中画像として表示することには配慮されていない。
【0006】
本発明の目的は、複数の操作ボタンを含む操作画面の画像を操作空間に空中画像として表示し、空中画像に対する非接触の操作に基づく操作情報を識別して処理することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するために、本発明は、複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するコントローラと、略箱型に構成されて、その上部に開口による操作空間が形成された筐体と、前記筐体内に配置されて前記コントローラから前記画像情報を入力し、入力した前記画像情報に従った画像を画面上に表示すると共に、前記画像による光信号を前記筐体内に出射するディスプレイと、前記筐体の開口に相対向して前記筐体内の底部側に配置されて前記ディスプレイから出射される前記光信号を前記筐体の開口側に反射する底面反射板と、前記筐体の開口と前記底面反射板との間の前記筐体内に、前記ディスプレイの画面に対して傾斜して配置されて前記ディスプレイから前記光信号を入射し、入射した前記光信号を前記底面反射板側に反射する反射材と、前記操作空間内に向けて光を照射し、前記操作空間内に存在する物体で反射した反射光を入射し、入射した前記反射光を基に前記操作空間内に存在する前記物体の位置を検出する光学センサと、を備え、前記反射材は、前記底面反射板で反射した前記光信号を前記操作空間に向けて透過し、透過した前記光信号による画像を空中画像として前記操作空間内に結像させ、前記コントローラは、前記光学センサの検出結果を基に前記複数の操作ボタンのうち操作された操作ボタンを特定する操作情報を生成し、生成した前記操作情報に従って処理を実行することを特徴とする。
【発明の効果】
【0008】
本発明によれば、複数の操作ボタンを含む操作画面の画像を操作空間に空中画像として表示し、空中画像に対する非接触の操作に基づく操作情報を識別して処理することができる。
【図面の簡単な説明】
【0009】
図1】本発明の実施例1に係る情報処理システムの構成例を示すブロック図である。
図2】本発明の実施例1に係る情報処理システムの外観を示す斜視図である。
図3】本発明の実施例1に係る空中ディスプレイモジュールの断面図であって、(a)は右側断面図であり、(b)は前面断面図である。
図4】本発明の実施例1に係る空中ディスプレイモジュールの断面図であって、(a)は底面反射板凸湾曲時の断面図、(b)は底面反射板凹部湾曲時の断面図、(c)は底面反射板湾曲無しの時の断面図である。
図5】本発明の実施例2に係る情報処理システムの構成例を示すブロック図である。
図6】本発明の実施例2に係る情報処理システムの外観を示す斜視図である。
図7】本発明の実施例3に係る大型操作端末の構成例を示すブロック図である。
図8】本発明の実施例3に係る大型操作端末の外観を示す図であって、(a)は大型操作端末の外観斜視図、(b)は大型操作端末の操作部の拡大部である。
図9】本発明の実施例4に係る大型操作端末の構成例を示すブロック図である。
図10】本発明の実施例5に係る大型操作端末と利用者の視覚との関係を説明するための図であって、(a)は前後視覚図であり、(b)は左右視覚図である。
図11】本発明の実施例5に係る大型操作端末における操作ボタンの位置とセンサ反応位置との関係を説明するための説明図である。
図12】本発明の実施例5に係る大型操作端末における空中ディスプレイ部の拡大構成図である。
図13】本発明の実施例1~実施例5に適用される空中画像の表示例を示す図である。
図14】(a)及び(b)は、本発明の他の実施例に係る空中ディスプレイモジュールの底面反射材を説明に供する略線的な断面図である。
図15】(a)及び(b)は、本発明の他の実施例に係る空中ディスプレイモジュールの底面反射材の説明に供する正面面である。
図16】(a)~(d)は、本発明の実施例1~6に適用される空中画像の表示例に対して操作ボタンをタッチ操作したときの画面の変化を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の好適な実施の形態を、図面を参照しながら詳細に説明する。
【0011】
(1)実施例1
図1は、本発明の実施例1に係る情報処理システムの構成例を示すブロック図である。図1において、小型操作端末100とタッチレス装置200は、例えば、情報処理システム或いは情報処理装置として構成される。小型操作端末100は、制御部110と、ディルプレイ120及びタッチパネル130を含む操作パネル140とを備える。タッチレス装置200は、小型操作端末100と情報の送受信を行う装置であって、タッチレス装置制御ボックス(BOX)210と、空中ディスプレイ部240とを備える。タッチレス装置制御BOX210には、制御基板230とタッチレス装置制御部220が搭載され、空中ディスプレイ部240には、空中用ディスプレイ250と、光学式タッチセンサ260及びスピーカー270を含む空中ディスプレイモジュール400が搭載される。
【0012】
制御部110には、DVI(Digital・Visual・Interface)インタフェース111を介してディスプレイ120が接続されると共に、USB(Universal・Serial・Bus)インタフェース112を介してタッチパネル130が接続され、さらに、USBインタフェース113を介して、タッチレス装置制御BOX210の中の制御基板230に接続される。タッチレス装置制御BOX210の中の制御基板230には、USBインタフェース231及びAudioインタフェース232を介してタッチレス装置制御部220が接続され、音声信号インタフェース233を介して、空中ディスプレイ部240のスピーカー270が接続され、バックライト制御インタフェース234を介して、空中ディスプレイ部240の空中用ディスプレイ250に接続される。タッチレス装置制御部220には、HDMI(High・Definition・Multimedia・Interface)(登録商標)インタフェース221を介して、空中ディスプレイ部240の空中用ディスプレイ250に接続され、USBインタフェース222を介して、空中ディスプレイ部240の光学式タッチセンサ260に接続される。
【0013】
制御部110は、例えば、プロセッサ、記憶装置、及び通信装置を備える計算機(図示せず)で構成され、タッチレス装置200を統括制御するコントローラとして機能する。プロセッサは、例えば、CPU(Central・Processing・Unit)やMPU(Micro・Processing・Unit)を用いて構成される。記憶装置は、コンピュータプログラムやデータを記憶する装置であり、例えば、ROM(Read・Only・Memory)、RAM(Random・Access・Memory)、及び不揮発性半導体メモリ等である。
【0014】
記憶装置は、例えば、SSD(Solid・State・Drive)、ICカード(Integrated・Circuit・Card)、SD(Secure・Digital)メモリカード、等で構成される。
【0015】
通信装置は、LANやインターネット等の通信手段を介した他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースである。通信装置は、例えば、NIC(Network・Interface・Card)、無線通信モジュール、USB(Universal・Serial・Bus)モジュール、又はシリアル通信モジュール等である。
【0016】
操作パネル140は、制御部110の生成による画像情報による画像を表面上に表示するディスプレイ120と、表示画面に対するタッチ操作に応じたタッチ操作情報をコントローラに転送するタッチパネル130を備える。ディスプレイ120は、例えば、複数の液晶表示素子を有する液晶ディスプレイ或いは液晶表示装置で構成され、画面上に各種の情報を表示する。タッチパネル130は、例えば、画面パネル上に複数の透明電極膜が上下に分かれて配置された抵抗膜方式のもので構成される。タッチパネル130は、上側の透明電極膜の一部が下側に押し込まれ、下側の透明電極膜に接触した際に、上側の透明電極膜の一部と下側の透明電極膜の一部が通電し、通電したタイミングでその位置を検出し、検出信号を制御部110に転送する。この際、タッチパネル130は、利用者がタッチパネル上をタッチする操作を行った際に、そのタッチ操作に応じたタッチ操作情報(文字などを含む情報)を制御部110に転送する。
【0017】
制御部110は、例えば、タッチパネル130から入力されたタッチ操作情報を基に複数の操作ボタンを含む操作画面の画像に関する画像情報を生成すると共に、操作画面の画像をディスプレイ120に表示し、生成した画像情報をタッチレス装置制御BOX210の制御基板230に転送する。
【0018】
制御基板230は、制御部110とタッチレス装置制御部220との間で送受信される情報や信号を中継すると共に、制御部110と空中ディスプレイ部240との間で送受信される情報や信号を中継し、制御部110から転送された画像情報を受信した場合、受信した画像情報を、タッチレス装置制御部220に転送する。
【0019】
タッチレス装置制御部220は、例えば、プロセッサ、記憶装置、及び通信装置を備える計算機(図示せず)で構成され、空中ディスプレイ部240を統括制御する補助コントローラとして機能する。タッチレス装置制御部220は、制御部110からの画像情報を受信した場合、画像情報を空中用ディスプレイ250に転送し、画像情報に従った画像を空中用ディスプレイ250の画面上に表示させる。
【0020】
空中用ディスプレイ250は、例えば、複数の液晶表示素子を有する液晶ディスプレイ(液晶表示装置)で構成され、画像情報を受信した場合、受信した画像情報に従った画像による光信号を、利用者が操作するための操作空間(空中ディスプレイモジュール400に形成される操作空間)に向けて出射し、操作空間内に空中画像を結像させる。操作空間内に結像される空中画像には、複数の操作ボタンを含む操作画面の画像が含まれる。
【0021】
光学式タッチセンサ260は、操作空間内に向けて光を照射し、操作空間内に存在する物体で反射した反射光を入射し、入射した反射光を基に操作空間内に存在する物体の位置を検出する光学センサである。具体的には、光学式タッチセンサ260は、例えば、赤外線投光器と赤外線イメージセンサを有し、操作空間の周囲に配置されている。この際、イメージセンサから操作空間内に照射された赤外線は、操作空間内に存在する物体(利用者の指)で反射し、反射した赤外線がイメージセンサに入射する。光学式タッチセンサ260は、例えば、利用者の指が操作空間内に挿入された場合、その位置(座標)を検出し、検出した位置に応じた検出信号を検出結果としてタッチレス装置制御部220に転送する。
【0022】
タッチレス装置制御部220は、光学式タッチセンサ260の検出信号に応答して、操作音を示す音声信号を生成し、生成した音声信号を、制御基板230を介してスピーカー270に転送すると共に、操作ボタンが操作されたことを示す検出信号を、制御基板230を介して制御部110に転送する。これにより、スピーカー270は、空中画像の中の操作ボタンが、利用者によって空中でタッチされたことを示す操作音で鳴動する。また、制御部110は、操作ボタンが操作されたことを示す検出信号を受信することで、空中画像の中のどの位置の操作ボタンが操作されたかを判別することができる。この際、制御部110は、光学式タッチセンサ260からの検出信号を判別し、光学式タッチセンサ260が検出した物体(指)の位置に応じた操作情報(どの操作ボタンが操作されたかを示す操作情報)を基に、操作ボタンの操作に応じた処理、例えば、決済の処理を実行する。
【0023】
図2は、本発明の実施例1に係る情報処理システムの外観を示す斜視図である。図2において、小型操作端末100には、ディスプレイ120およびタッチパネル130が搭載され、小型操作端末100には、タッチレス装置制御BOX210が接続され、タッチレス装置制御BOX210には、空中ディスプレイ部240が接続される。タッチレス装置制御BOX210には、制御基板230とタッチレス装置制御部220が搭載される。空中ディスプレイ部240には、空中用ディスプレイ250、光学式タッチセンサ260、スピーカー270が搭載される。
【0024】
この際、タッチレス装置制御BOX210と空中ディスプレイ部240(空中ディスプレイモジュール400)とを分離して実装することで、タッチレス装置制御BOX210の設置場所が自由になり、利用者の操作対象となる空中ディスプレイ部240の外形を小さくすることができる。
【0025】
図3は、本発明の実施例1に係る空中ディスプレイモジュールの断面図であって、(a)は右側断面図であり、(b)は前面断面図である。図3において、空中ディスプレイモジュール400は、前面部400a、後面部400b、左側面部400c、右側面部400d、上面部400e、底面部400fを含む筐体で構成され、略直方体形状の箱型に形成されている。左側面部400cと右側面部400cは、それぞれ上部側が傾斜して形成されており、空中ディスプレイモジュール400全体として前面側が低く、背面側が高く構成されている。すなわち、上面部400eが傾斜面として形成されている。上面部400eには、略長方形形状の開口(図示せず)が形成されている。開口の領域は、利用者が操作するための操作空間として構成されている。
【0026】
前面部400aの内側には、空中用ディスプレイ250が、後面部400bと相対向して配置されている。後面部400bには、その上部側から底部側に亘って、スピーカー270、滞留部440が配置されている。滞留部440は、ネジなどで後面部400bに着脱自在に固定されている。上面部400eの開口の周囲には、光学式タッチセンサ260が配置されている。
【0027】
底面部400fの上側には、略長方形形状に形成された底面反射板410が配置されている。底面反射板410は、前面部400aから後面部400bに亘って配置され、その中央部が上部側に湾曲して形成されている。底面反射板410の上方には、略長方形形状に形成された反射材420が配置されている。反射材420は、その一端側が上面部400eの前面側に固定され、他端側が後面部400bの底部側に固定され、全体として、前面側が高く、背面側が低くなる傾斜版として構成されている。例えば、反射材420は、略垂直方向に沿って配置された空中用ディスプレイ250に対して、略45度傾斜して配置されている。反射材420の上方には、略長方形形状に形成されたアクリル板430が、反射材420と略平行になって配置されている。アクリル板430は、その一端側が上面部400eの前面側に固定され、他端側が後面部400bの底部側に固定され、全体として、前面側が高く、背面側が低くなる傾斜版として構成される。この際、アクリル板430は、筐体内のうち反射材420と操作空間との間に配置されて、反射材420を透過した光信号を操作空間に向けて透過する補助透過板として構成される。アクリル板430は、反射材420にごみなどが付着したり、利用者の指などが接触したりするのを防止すると共に、照明の反射を防止することを目的として配置されている。
【0028】
この際、アクリル板430は、耐反射および破損や傷などを防止することを目的に耐擦傷加工されている。アクリル板430に落下したごみなどは、アクリル板430の最下部まで滑り落ち、滞留部440に蓄積される。滞留部440は、筐体の外側のうちアクリル板430の端部(下部)に対向した位置に着脱自在に配置されて、アクリル板430に落下した落下物を収納する容器として構成される。滞留部440に蓄積されたごみなどは、滞留部440の一部を定期的に取り外すことで、空中ディスプレイモジュール400の外部に排出される。滞留部440の一部を取り外す作業を定期的に行うことで、滞留部440内を定期的に清掃することができる。左側面部400cと右側面部400dの内側には、略長方形形状に形成されて、操作空間からの光を反射する側面反射板450がそれぞれ固定されている。筐体内部の左右両側面に配置される各側面反射板450は、利用者の視野角を広くするための反射板として構成される。
【0029】
空中用ディスプレイ250は、制御部110から転送された画像情報を受信した場合、受信した画像情報に従った画像を画面上に表示すると共に、表示された画像による光信号を反射材420に向けて出射する。この際、空中用ディスプレイ250から出射された光の一部は、矢印Aで示すように、底面反射板410に向かい、底面反射板410で反射し、残りの光は、矢印B、Cで示すように、反射材420で反射した後、底面反射板410に向かい、底面反射板410で反射する。底面反射板410で反射した光は、矢印Dで示すように、それぞれ反射材420を透過した後、上面部400eの上方の空間である、操作空間内に空中画像500として結像する。この際、空中画像500は、複数の操作ボタンを含む操作画面の画像として操作空間内に表示される。
【0030】
利用者は、操作空間内に表示された空中画像500の中の操作画面および操作ボタンを見ながら、操作ボタンを非接触で操作することができる。この際、操作空間内に表示された空中画像500に対する視野角が各側面反射板450によって制限されるので、本人以外によるのぞき見が防止可能になる。
【0031】
利用者が操作ボタンを非接触で操作すると、操作ボタンに対応した位置の光学式タッチセンサ260は、操作ボタンが操作されたことを検出し、検出信号をタッチレス装置制御部220、制御基板230を介して制御部110に転送する。制御部110は、光学式タッチセンサ260からの検出信号を判別し、操作ボタンの操作に応じた処理、例えば、操作ボタンの操作が、現金の自動支払いの処理や買い物による決済の処理を指示する操作であれば、これらの処理を実行する。
【0032】
図4は、本発明の実施例1に係る空中ディスプレイモジュールの断面図であって、(a)は底面反射板凸湾曲時の断面図、(b)は底面反射板凹部湾曲時の断面図、(c)は底面反射板湾曲無しの時の断面図である。図4(a)において、底面反射板410の中央部が上部側に湾曲し、底面反射板410が凸湾曲した凸湾曲形状板となり、空中用ディスプレイ250からの光の一部が後面部400bの内側に空中画像510として結像し、操作空間のうち一部の空間400iに空中画像500と重複した空中画像510が表示される場合、図4(b)に示すように、底面反射板410として、その中央部が底面部400f側に湾曲した凹湾曲形状板を用いることができる。底面反射板410として、凹湾曲形状板を用いると、空中用ディスプレイ250からの光の一部が後面部400bの外側に空中画像520として結像し、操作空間内に空中画像500と重複した空中画像520が表示されるのを防止することができる。また、図4(c)に示すように、底面反射板410として、平板状に形成された平板形状板を用いることができる。底面反射板410として、平板状に形成された平板形状板を用い、この底面反射板410を、空中用ディスプレイ250に対して、略直角に配置すると、空中用ディスプレイ250からの光は、操作空間内に空中画像500として結像し、操作空間内に空中画像500と重複した空中画像が表示されるのを防止することができる。なお、底面反射板410として凸湾曲した凸湾曲形状板を用いても、空間400iに空中画像500と重複した空中画像510が表示されない場合には、底面反射板410として凸湾曲した凸湾曲形状板を用いることもできる。
【0033】
本実施例では、操作空間内に、操作画面および操作ボタンを含む空中画像500を表示するようにしたので、利用者は、画面や機器に触れることなく、非接触で空中画像500中の操作ボタンを操作することができる。利用者が、操作空間内に表示された空中画像500の中の操作ボタンに対する操作を行った場合、操作ボタンが操作されたことを光学式タッチセンサ260が検出し、この検出結果を制御部110に転送する。制御部110は、複数の操作ボタンを含む操作画面の画像に関する画像情報を生成するに際して、操作画面に属する各操作ボタンの位置と光学式タッチセンサ260の検出位置とを関連づけて管理する。この際、制御部110は、操作空間内に挿入された物体、例えば、利用者の指を光学式タッチセンサ260が検出した場合、光学式タッチセンサ260からの検出信号を判別し、光学式タッチセンサ260が検出した物体(指)の位置を基に、操作画面の複数の操作ボタンのうち操作された操作ボタンを特定する操作情報(どの操作ボタンが操作されたかを示す操作情報)を生成し、生成した操作情報に従って処理、例えば、買い物による決済の処理を実行する。また、制御部110が、タッチレス装置制御部220に対して画像情報を転送した後は、タッチレス装置制御部220が、空中用ディスプレイ250に対する空中画像500の表示処理を実行すると共に、光学式タッチセンサ260の検出結果の処理を実行するので、制御部110は、空中画像500に対する操作が開始された場合でも、ディスプレイ120及びタッチパネル130との間における情報の送受信を継続することができる。
【0034】
本実施例によれば、操作画面及び操作ボタンを含む空中画像に対する非接触の操作に基づく情報を識別して処理することができる。また、本実施例によれば、タッチレス装置制御BOX210と空中ディスプレイ部240(空中ディスプレイモジュール400)とを分離して実装することで、タッチレス装置制御BOX210の設置場所が自由になり、利用者の操作対象となる空中ディスプレイ部240(空中ディスプレイモジュール400)の外形を小さくすることができる。また、タッチレス装置200を小型操作端末100に組み込むことが困難である場合、タッチレス装置200を小型操作端末100に外部接続することで、小型操作端末100でタッチレス装置200を間接的に制御することができる。さらに、利用者は、タッチレスによる操作が可能となるので、ウイルスの拡散低減に寄与することが可能になる。
【0035】
(2)実施例2
図5は、本発明の実施例2に係る情報処理システムの構成例を示すブロック図である。本実施例は、図5に示すように、小型操作端末100の制御部110を、タッチレス装置200の空中ディスプレイ部240に直接接続し、タッチレス装置200からタッチレス装置制御BOX210を取り除いたものであり、他の構成は、図1に示す実施例1のものと同様であり、同一のものには、同一符号を付して、それらの説明は、省略する。
【0036】
この際、小型操作端末100の制御部110には、タッチレス装置200に属する空中ディスプレイ部240の光学式タッチセンサ260が、USBインタフェース113を介して接続され、空中用ディスプレイ250が、HDMIインタフェース114を介して接続され、スピーカー270が、音声信号インタフェース115を介して接続される。
【0037】
図6は、本発明の実施例2に係る情報処理システムの外観を示す斜視図である。図6において、小型操作端末100には、ディスプレイ120およびタッチパネル130が搭載され、空中ディスプレイ部240が接続される。空中ディスプレイ部240には、空中用ディスプレイ250、光学式タッチセンサ260、スピーカー270が搭載される。この際、小型操作端末100に内蔵された制御部110によって空中ディスプレイ部240が直接制御される。
【0038】
本実施例によれば、実施例1と同様の効果を奏することができると共に、小型操作端末100の制御部110により、タッチレス装置200の空中ディスプレイ部240を直接制御することができ、実施例1のものよりも構成の簡素化を図ることができる。
【0039】
(3)実施例3
図7は、本発明の実施例3に係る大型操作端末の構成例を示すブロック図である。本実施例は、図7に示すように、情報処理システムとしての大型操作端末300を構成するに際して、図1に示す、小型操作端末100とタッチレス装置200とを一体化したものであり、大型操作端末300に属する各部の機能は、図1に示す実施例1のものと同様であり、同一のものには、同一符号を付して、それらの説明は、省略する。
【0040】
この際、制御部310は、制御部110を同一の機能を有し、ディスプレイ320は、ディスプレイ120と形状は異なるが、同一の機能を有し、タッチパネル330は、タッチパネル130と形状は異なるが、同一の機能を有する。
【0041】
制御部310には、DVIインタフェース311を介してディスプレイ320が接続されると共に、USBインタフェース312を介してタッチパネル330が接続され、さらに、USBインタフェース313を介して、制御基板230が接続される。制御基板230には、USBインタフェース231及びAudioインタフェース232を介してタッチレス装置制御部220が接続され、音声信号インタフェース233を介して、空中ディスプレイ部240のスピーカー270が接続され、バックライト制御インタフェース234を介して、空中ディスプレイ部240の空中用ディスプレイ250が接続される。タッチレス装置制御部220には、HDMIインタフェース221を介して、空中ディスプレイ部240の空中用ディスプレイ250が接続され、USBインタフェース222を介して、空中ディスプレイ部240の光学式タッチセンサ260が接続される。
【0042】
図8は、本発明の実施例3に係る大型操作端末の外観を示す図であって、(a)は、大型操作端末の外観斜視図、(b)は、大型操作端末の操作部の拡大部である。
【0043】
図8において、大型操作端末300は、例えば、現金自動取引装置として構成され、大型操作端末300の操作部360に、操作パネル340と空中ディスプレイ部240が組み込まれる。操作部360は、略平板状に形成されており、操作部360の略中央部に、略長方形形状のディスプレイ320とタッチパネル330が配置されている。ディスプレイ320とタッチパネル330の下方の領域には、タッチレス装置制御部220と制御基板230が配置されている。ディスプレイ320とタッチパネル330の右側の領域には、略箱型形状の空中ディスプレイ部240が配置される。空中ディスプレイ部240には、空中用ディスプレイ250、光学式タッチセンサ260、スピーカー270が搭載される。
【0044】
現金自動取引装置としての大型操作端末300において、利用者は、タッチパネル330をタッチすることなく、タッチレス装置200に対して、タッチレスの操作を行うことで、現金の自動取引を行うことができる。
【0045】
本実施例によれば、実施例1と同様の効果を奏することができると共に、利用者は、タッチパネル330をタッチすることなく、タッチレス装置200に対して、タッチレスの操作を行うことで、現金の自動取引を行うことができる。
【0046】
(4)実施例4
図9は、本発明の実施例4に係る大型操作端末の構成例を示すブロック図である。本実施例は、図9に示すように、情報処理システムとしての大型操作端末300を構成するに際して、図5に示す、小型操作端末100とタッチレス装置200とを一体化したものであり、大型操作端末300に属する各部の機能は、図5に示す実施例2のものと同様であり、同一のものには、同一符号を付して、それらの説明は、省略する。
【0047】
この際、制御部310は、制御部110と同一の機能を有し、ディスプレイ320は、ディスプレイ120と形状は異なるが、同一の機能を有し、タッチパネル330は、タッチパネル130と形状は異なるが、同一の機能を有する。
【0048】
制御部310には、DVIインタフェース311を介してディスプレイ320が接続されると共に、USBインタフェース312を介してタッチパネル330が接続される。さらに、制御部310には、USBインタフェース313を介して、空中ディスプレイ部240の光学式タッチセンサ260が接続され、HDMIインタフェース314を介して、空中ディスプレイ部240の空中用ディスプレイ250が接続され、音声信号インタフェース315を介して、空中ディスプレイ部240のスピーカー270が接続される。
【0049】
現金自動取引装置としての大型操作端末300において、利用者は、タッチパネル330をタッチすることなく、タッチレス装置200に対して、タッチレスの操作を行うことで、現金の自動取引を行うことができる。
【0050】
本実施例によれば、実施例2と同様の効果を奏することができると共に、利用者は、タッチパネル330をタッチすることなく、タッチレス装置200に対して、タッチレスの操作を行うことで、現金の自動取引を行うことができる。
【0051】
(5)実施例5
図10は、本発明の実施例5に係る大型操作端末と利用者の視覚との関係を説明するための図であって、(a)は、前後視覚図であり、(b)は、左右視覚図である。図10において、大型操作端末300の空中ディスプレイ部240の操作空間に空中画像500(図示せず)を表示するに際して、空中ディスプレイ部240の表面(空中画像500の表面)に対して、90°の仮想垂線上の位置P1に、利用者10の目が位置する場合、空中ディスプレイ部240内の空中画像500と利用者10の目線との間に視差が生じることはなく、利用者10は、期待された目の位置で空中画像500を見ることができる。
【0052】
これに対して、利用者10の目の位置が、例えば、位置P1から位置P2に左側に距離d1だけ離れると、空中画像500と利用者10の目線との間に視差θが生じる。この視差θは、距離d1が大きくなる程、大きくなる。空中画像500と利用者10の目線との間に視差θが生じると、利用者10は、空中画像500を見て、空中画像500の中の操作ボタン等を操作する際に、操作ボタンを認識しにくくなり、操作性が低下することがある。これは、利用者10が認識している操作ボタンの位置と光学式タッチセンサ260が反応するセンサ反応位置との間にずれが生じるためである。
【0053】
図11は、本発明の実施例5に係る大型操作端末における操作ボタンの位置とセンサ反応位置との関係を説明するための説明図である。図11において、光学式タッチセンサ260のセンサ反応位置が、直線H1上に存在し、空中画像500と利用者の目線との間に生じる視差θにより、利用者が認識する操作ボタンの位置が、直線H1より上方の直線H2上にある場合、利用者が、操作ボタンのうち位置V1の部分を操作するために、指12を、センサ反応位置である直線H1に対して、侵入角度αの侵入方向D1で操作空間内に挿入すると、指先12が、位置V1からΔVだけ離れた位置V2になったときに、光学式タッチセンサ260が反応する。空中画像500と利用者の目線との間に視差θが生じると、侵入角度αが狭くなり、利用者が認識する操作ボタンの位置と実際の操作ボタンの位置との間にずれが生じ、利用者が、操作ボタンを操作する際の操作性が低下する。
【0054】
図12は、本発明の実施例5に係る大型操作端末における空中ディスプレイ部240の拡大構成図である。図12において、空中ディスプレイ部240には、表示領域全体に相当する面積であって、略長方形形状のディスプレイ表示可能領域R1が設定されている。ディスプレイ表示可能領域R1に対して、ディスプレイ表示可能領域R1の中ほどに、略長方形形状の空中画像表示可能領域R2と、略長方形形状の操作ボタン表示可能領域R3が設定されている。各領域の大きさは、R1>R2>R3の関係に設定されている。
【0055】
この際、空中ディスプレイ部240から出射される光信号による画像が、空中ディスプレイモジュール400内の操作空間内に空中画像500として結像するときの空中画像500の表示領域と、ディスプレイ表示可能領域R1との関係は、例えば、1対1の関係に設定されている。すなわち、空中ディスプレイ部240に表示される画像の大きさと空中ディスプレイモジュール400内の操作空間内に表示される空中画像500の大きさは、1対1の関係に設定されている。
【0056】
ここで、本実施例では、空中画像500と利用者の目線との間に生じる視差θを考慮して、空中画像表示可能領域R2の上部側が、操作ボタン表示可能領域R3の上部側よりも距離L1だけ上側に拡大され、空中画像表示可能領域R2の下部側が、操作ボタン表示可能領域R3の下部側よりも距離L2だけ下部側に拡大され、空中画像表示可能領域R2の右側面側が、操作ボタン表示可能領域R3の右側面側よりも距離L3だけ右側に拡大されている。さらに、空中画像500と利用者の目線との間に生じる視差θを考慮して、ディスプレイ表示可能領域R1の中心部を通る仮想の中心線c1に対して、空中画像表示可能領域R2は、その中心部を通る仮想の中心線c2が距離s1だけ左側にオフセットされ、操作ボタン表示可能領域R3は、その中心部を通る仮想の中心線c3が距離s2だけ左側にオフセットされている。
【0057】
この際、制御部110は、操作空間内に表示される空中画像500に属する操作ボタンの配列範囲を光学式タッチセンサ260のセンサ反応範囲よりも狭い範囲として、操作画面および操作ボタンを含む画像を生成すると共に、操作空間全体の表示領域であるディスプレイ表示可能領域R1の中心に対して、空中画像を表示可能な空中画像表示可能領域R2と操作ボタンが配列される操作ボタン表示可能領域R3の中心をそれぞれ左側にオフセットして画像を生成する。
【0058】
本実施例によれば、空中画像500内に配置される操作ボタンの配列範囲(操作ボタン表示可能領域R3)よりも拡大した範囲(空中画像表示可能領域R2)を、光学式センサ260のセンサ反応範囲に設定すると共に、ディスプレイ表示可能領域R1の中心部に対して、空中画像表示可能領域R2と操作ボタン表示可能領域R3の中心を左側にオフセットさせることで、空中画像500と利用者の目線との間に視差θが生じても、利用者が操作ボタンを操作する際に、操作ボタンを認識しにくくなるのを防止することができ、結果として、操作性の向上を図ることができる。本実施例における空中ディスプレイ部240の構成は、実施例1~実施例4のものに適用することができる。
【0059】
図13は、本発明の実施例1~実施例5に適用される空中画像の表示例を示す図である。図13において、空中ディスプレイ部240の操作空間内には、利用者の操作に従って、空中画像500a~500eが順次表示される。各空中画像500a~500eには、例えば、現金自動取引の操作に必要な最低限の文字や操作ボタン等の情報が表示される。このため、利用者は、操作によって順次切り替わる空中画像500a~500eを見ながら、現金自動取引に関する操作を円滑に行うことができる。
【0060】
(6)他の実施例
図14および図15は、本発明の実施例6に係る空中ディスプレイモジュールの構成例を示す。
【0061】
図14は、空中画像500を縦方向に拡大表示する策の一例を示す。図14(a)のように底面反射材410の長手方向を、空中画像500と平行またはほぼ平行な状態から、図14(b)のように反射材420に向かう方向に凸湾曲させることにより、空中画像500を上下方向に拡大することが可能となる。
【0062】
また図15は、空中画像500を横方向に拡大表示する策の一例を示す。図15(a)のように底面反射材410の幅方向を、空中画像500と平行またはほぼ平行な状態に対して、図15(b)のように反射材420に向かう方向に凸湾曲させることにより、空中画像500を左右方向に拡大することが可能となる。
【0063】
図16(a)~(d)は、本発明の実施例1~実施例6に適用される空中画像500の表示例に対して操作ボタンをタッチ操作した時の画面の変化を示す。空中画像500に表示されたボタンがタッチ操作されたときに、図16(a)~(d)のように当該ボタンの表示色を反転したり、当該ボタンのボタンサイズを拡大したり、操作音を鳴動させることによって、利用者にそのボタンをタッチ操作したことを判りやすくすることができる。
【0064】
実施例1~6の構成に含まれる光学式タッチセンサ260は、開口部の枠内の左右のどちらかに反射型センサを具備して指で反射されたこと、および反射した座標を検出する方式や、開口部の枠内の左右や縦横に受発光センサの発光部及び受光部を具備して指で遮られたこと、および反射した座標を検出する方式で実現する。
【0065】
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。
【0066】
また、前述した各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【0067】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)の記録媒体に格納することができる。
【符号の説明】
【0068】
100・・・小型操作端末、110・・・制御部、120・・・ディスプレイ、130・・・タッチパネル、140・・・操作パネル、200・・・タッチレス装置、210・・・タッチレス装置制御BOX、220・・・タッチレス装置制御部、230・・・制御基板、240・・・空中ディスプレイ部、250・・・空中用ディスプレイ、260・・・光学式タッチセンサ、270・・・スピーカー、300・・・大型操作端末、310・・・大型操作端末制御部、320・・・ディスプレイ、330・・・タッチパネル、400・・・空中ディスプレイモジュール、410・・・底面反射板、420・・・反射材、430・・・アクリル板、440・・・滞留部、450・・・側面反射材、500・・・空中画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16