(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023139245
(43)【公開日】2023-10-03
(54)【発明の名称】無線接続システム、情報端末、表示装置、および無線接続方法
(51)【国際特許分類】
H04W 12/06 20210101AFI20230926BHJP
H04W 76/10 20180101ALI20230926BHJP
H04W 12/77 20210101ALI20230926BHJP
【FI】
H04W12/06
H04W76/10
H04W12/77
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023122795
(22)【出願日】2023-07-27
(62)【分割の表示】P 2021563520の分割
【原出願日】2019-12-11
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】秋山 仁
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】高見澤 尚久
(57)【要約】
【課題】ユーザの情報端末と表示装置との無線接続の際に、ユーザによる認証用情報の入力操作の手間を低減でき、複数対複数の環境でも所望の装置間で適切に無線接続が実現できる技術を提供する。
【解決手段】この無線接続システムは、ユーザの情報端末1と環境内に設置されている表示装置2との間で無線接続を行う。表示装置2は、近傍に存在する情報端末1を検出した場合、検出した情報端末1との無線接続のための認証に係わるデバイス識別情報(またはそれをコード化した画像)を表示画面20に表示する。情報端末1は、表示画面20から読み取ったデバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、一致を確認後、表示装置2との間で無線接続のための認証用IDを用いて無線接続を確立する。表示装置2は、情報端末1との間で認証用IDを用いて無線接続を確立する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザの情報端末と環境内に設置されている表示装置との間で無線装置を介して無線接続を行う無線接続システムであって、
前記表示装置は、
近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、
前記無線装置は、
前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、
前記情報端末は、
前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、
前記一致を確認後、前記無線装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する、
無線接続システム。
【請求項2】
請求項1記載の無線接続システムにおいて、
前記環境内に前記情報端末と前記表示装置とが複数対複数で存在する場合において、
前記表示装置は、
近傍に存在する複数の情報端末を検出した場合、検出した各情報端末の前記デバイス識別情報を含むデバイスリストを前記表示画面に表示し、
前記ユーザの操作に基づいて、前記デバイスリストから前記デバイス識別情報が選択された場合、選択されたデバイス識別情報と、選択されたデバイス識別情報を持つ前記情報端末についての前記認証用IDとがコード化されたコード画像を、前記表示画面に表示し、
前記情報端末から前記無線装置に対する無線接続要求を受信した場合、前記無線接続要求に伴う前記デバイス識別情報が、前記選択されたデバイス識別情報と一致するか確認し、一致の場合、前記認証用IDを前記無線接続用に前記無線装置に対して設定し、
前記情報端末は、
前記表示画面から前記コード画像を読み取り、デコードによって前記デバイス識別情報と前記認証用IDとを抽出し、
前記抽出したデバイス識別情報が、自デバイスのデバイス識別情報に一致するか確認し、一致の場合、前記抽出した認証用IDを前記無線接続用に設定し、前記デバイス識別情報を伴う無線接続要求を前記無線装置に送信する、
無線接続システム。
【請求項3】
請求項1記載の無線接続システムにおいて、
前記情報端末は、前記表示装置の表示画面から読み取った情報の中に、自デバイスのデバイス識別情報が含まれている場合には検出し、検出したデバイス識別情報についての前記ユーザによる選択操作を促すための画像を、前記検出したデバイス識別情報の位置に合わせるようにして自デバイスの表示面に表示する、
無線接続システム。
【請求項4】
請求項1記載の無線接続システムにおいて、
前記環境内に前記情報端末と前記表示装置とが複数対複数で存在する場合において、
前記表示装置は、
近傍に存在する複数の情報端末を検出した場合、検出した情報端末の前記デバイス識別情報と前記認証用IDとがコード化されたコード画像を生成し、検出した各情報端末の前記コード画像を含むデバイスコードリストを、前記表示画面に表示し、
前記情報端末から前記無線装置に対する無線接続要求を受信した場合、前記無線接続要求に伴うデバイス識別情報が、前記検出した情報端末の前記デバイス識別情報と一致するか確認し、一致の場合、前記認証用IDを前記無線接続用に前記無線装置に対して設定し、
前記情報端末は、
前記表示画面から前記デバイスコードリストを読み取り、前記コード画像からのデコードによって前記デバイス識別情報と前記認証用IDとを抽出し、
前記抽出したデバイス識別情報のうち、自デバイスのデバイス識別情報に一致するものがあるか確認し、一致するデバイス識別情報がある場合、前記一致するデバイス識別情報と対応付けられた前記抽出した認証用IDを、前記無線接続用に設定し、前記デバイス識別情報を伴う無線接続要求を前記表示装置に送信する、
無線接続システム。
【請求項5】
請求項1記載の無線接続システムにおいて、
前記無線装置は、
近傍に存在する前記情報端末を検出した場合、検出した情報端末との仮無線接続のための第1認証用IDを設定し、前記検出した情報端末との間で仮無線接続を行い、
前記表示装置は、
前記仮無線接続の状態で、前記無線接続のための第2認証用IDを前記情報端末から前記無線装置を介して受信した場合、前記情報端末の前記デバイス識別情報をコード化したコード画像を前記表示画面に表示し、
前記第2認証用IDを前記無線接続用に前記無線装置に対して設定し、
前記情報端末は、
前記無線装置との前記仮無線接続のための前記第1認証用IDを設定し、前記無線装置との間で仮無線接続を行い、
前記仮無線接続の状態で、前記無線接続のための前記第2認証用IDを前記無線装置を介して前記表示装置に送信し、
前記表示画面の前記コード画像を読み取って、デコードによって前記デバイス識別情報を抽出し、
前記抽出したデバイス識別情報と自デバイスのデバイス識別情報とが一致するか確認し、一致の場合、前記第2認証用IDを前記無線接続用に前記無線装置に対して設定し、前記表示装置との前記無線接続を確立する、
無線接続システム。
【請求項6】
ユーザの情報端末と環境内に設置されている表示装置との間で無線装置を介して無線接続を行う無線接続システムにおける前記情報端末であって、
前記表示装置は、
近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、
前記無線装置は、
前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、
前記情報端末は、
前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、
前記一致を確認後、前記無線装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する、
情報端末。
【請求項7】
ユーザの情報端末と環境内に設置されている表示装置との間で無線装置を介して無線接続を行う無線接続システムにおける前記表示装置であって、
前記表示装置は、
近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、
前記無線装置は、
前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、
前記情報端末は、
前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、
前記一致を確認後、前記無線装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する、
表示装置。
【請求項8】
ユーザの情報端末と環境に設置されている表示装置との間で無線装置を介して無線接続を行う無線接続方法であって、
前記表示装置が、近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示するステップと、
前記情報端末が、前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認するステップと、
前記情報端末が、前記一致を確認後、前記無線装置との間で前記無線接続のための認証用IDを用いて前記無線接続を確立するステップと、
前記表示装置が、前記無線装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立するステップと、
を有する、無線接続方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無線接続システム、情報端末、および表示装置等の技術に関する。
【背景技術】
【0002】
従来、ユーザが装着または携帯する、ヘッドマウントディスプレイ(HMD)、ウェアラブル端末、スマートフォン、またはタブレット端末等の情報端末と、環境内に設置されているタブレット端末またはテレビジョン装置等の表示装置との間で、無線接続を行う場合がある。特に、安価な表示装置が増えた場合、店舗や公共空間や乗り物内等を含む環境内に、多数の表示装置が設置されることが想定される。その環境内では、不特定の複数のユーザの複数の情報端末と複数の表示装置とが複数対複数の関係で無線接続を行う場面も想定される。例えば、飲食店等の店舗内において、テーブルにタブレット端末等の表示装置が用意される。顧客であるユーザは、自分の情報端末を、選択した表示装置に無線接続し、メニュー等の表示、商品やサービスの注文、および決済、その他の機能を利用する。
【0003】
先行技術例としては、特開2010-136238号公報(特許文献1)が挙げられる。特許文献1には、通信機器同士を互いに通信相手として認識・記憶させる処理を、ユーザにとって簡便化し、市場における通信機器同士の連携機能およびその利用度を大きく発展させることができる通信機器を提供する旨や、以下の旨が記載されている。この通信機器は、無線通信可能な通信機器の識別情報を記憶し、通信可能領域にある通信機器から識別情報を受信し、無線通信を開始する際に、受信された識別情報、及び記憶された識別情報に基づいて、そのとき通信可能な通信機器のリストを提示し、提示されたリストから通信機器の選択を受け付け、選択された通信機器との無線通信を開始する。また、この通信機器は、通信機器の識別情報を含んだバーコードを撮像して、そのバーコード情報から通信機器の識別情報を取得する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
前述のように、環境内で、各ユーザが、自分の情報端末を、複数の表示装置のうちの所望の表示装置に無線接続して、表示機能等を利用したいというニーズがある。このような場面では、複数の情報端末と複数の表示装置との複数対複数の関係において、各情報端末および各表示装置が、選択され許可される相手との間で、適切にセキュアに無線接続を行う必要がある。無線接続であることから、あるユーザの情報端末から電波が届く範囲内に複数の表示装置が存在する場合や、ある表示装置から電波が届く範囲内に複数の情報端末が存在する場合がある。また、あるユーザの情報端末からみて目の前に無い対象外の表示装置と無線接続される恐れや、ある表示装置からみて目の前に無い対象外の情報端末と無線接続される恐れがある。複数対複数の装置間で無制限に無線接続を許可してしまうと、セキュリティやリソース等の観点で課題があるので、認証を用いて無線接続を制限や制御する必要がある。
【0006】
従来、Bluetooth(登録商標)やWi-Fi(登録商標)等の無線通信インタフェースでは、セキュアな無線接続を行うためには、認証用識別情報(認証用ID)の利用が必要である。例えばBluetoothの場合、パスキー(あるいはパスコード等)と呼ばれる規定された認証用IDが用いられる。例えばWi-Fiの場合、SSIDおよびパスワードのような規定された認証用IDが用いられる。説明上、これらのパスキー等を、認証用IDと総称する。
【0007】
しかしながら、例えばHMDのような情報端末(言い換えると無線通信機能を持つ無線デバイス)を表示装置と無線接続する場合、情報端末に備える情報入力手段が限られているので、ユーザによる認証用IDの入力に手間がかかるか、難しい場合がある。例えば従来一般的なHMDはキーボードやタッチパネル等の入力デバイスを備えていない。
【0008】
本発明の目的は、ユーザの情報端末と表示装置とを無線接続する技術に関して、無線接続の際にユーザによる認証用情報の入力操作の手間を低減でき、複数対複数の環境でも所望の情報端末と表示装置との間で適切にセキュアに無線接続が実現できる技術を提供することである。
【課題を解決するための手段】
【0009】
本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の無線接続システムは、ユーザが装着または携帯する情報端末と環境内に設置されている表示装置との間で無線接続を行う無線接続システムであって、前記表示装置は、近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、前記情報端末は、前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、前記一致を確認後、前記表示装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する。
【発明の効果】
【0010】
本発明のうち代表的な実施の形態によれば、ユーザの情報端末と表示装置とを無線接続する技術に関して、無線接続の際にユーザによる認証用情報の入力操作の手間を低減でき、複数対複数の環境でも所望の情報端末と表示装置との間で適切にセキュアに無線接続が実現できる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施の形態1の無線接続システムの構成を示す図である。
【
図2】実施の形態1の無線接続方法における環境例および手続き概要を示す図である。
【
図3】実施の形態1で、情報端末(HMD)の外観構成例を示す図である。
【
図4】実施の形態1で、情報端末の機能ブロック構成例を示す図である。
【
図5】実施の形態1で、表示装置の機能ブロック構成例を示す図である。
【
図6】実施の形態1で、情報端末と表示装置との処理シーケンスを示す図である。
【
図7】実施の形態1で、デバイスリスト画面の例を示す図である。
【
図8】実施の形態1で、コード画面の例を示す図である。
【
図9】本発明の実施の形態1の無線接続システムおよび方法における、情報端末と表示装置との処理シーケンスを示す図である。
【
図10】実施の形態2で、デバイスリスト画面の例を示す図である。
【
図11】実施の形態2で、情報端末(HMD)による表示例を示す図である。
【
図12】本発明の実施の形態3の無線接続システムおよび方法における、情報端末と表示装置との処理シーケンスを示す図である。
【
図13】実施の形態2で、デバイスコードリスト画面の例を示す図である。
【
図14】本発明の実施の形態4の無線接続システムおよび方法における、情報端末と表示装置との処理シーケンスを示す図である。
【
図15】実施の形態2で、コード画面の例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
【0013】
(実施の形態1)
図1~
図8を用いて、本発明の実施の形態1の無線接続システムおよび方法等について説明する。
【0014】
[無線接続システム]
図1は、実施の形態1の無線接続システムの構成を示す。
図1の上側に示すように、実施の形態1の無線接続システムは、ある環境内において、複数(Mとする)のユーザの複数(M)の情報端末1と、複数(Nとする)の表示装置2とを有する。このシステムは、複数対複数、すなわち複数(M)の情報端末1と複数(N)の表示装置2との間での無線接続を行うことができるシステムである。この無線接続システムは、ユーザの情報端末1とユーザが選択した表示装置2との間で、認証を伴って無線接続を行う。
【0015】
この無線接続システムでは、環境内における不特定の複数(M)対複数(N)の装置間で、基本的に自由な組み合わせで、ユーザ毎に所望の1台の情報端末と1台の表示装置との間での無線接続が許可される。この無線接続システムにおける認証(デバイスチェックを含む)は、それらの複数対複数の装置間で、ユーザの所望の1台の情報端末と1台の表示装置とを適切かつ簡便に無線接続するための認証である。
【0016】
複数(M)のユーザを、ユーザU1,U2,U3,……,UMで示す。複数(M)の情報端末1を、情報端末T1,T2,T3,……,TMで示す。複数(N)の表示装置2を、表示装置D1,D2,……,DNで示す。情報端末1の数Mと、表示装置2の数Nとは、異なっていてもよく、M≧1,N≧1である。なお、1台の情報端末1と複数(N)の表示装置2との一対複数の場面や、複数(M)の情報端末1と1台の表示装置2との複数対一の場面も、本システムおよび方法の適用可能範囲内である。
【0017】
例えば、店舗等の環境内に、認証を成功したユーザおよび情報端末1による利用を許可する複数(N)の表示装置2が設置されている。ユーザは、例えばHMD1A等の情報端末1を装着または携帯している。なお、店舗等の環境内でユーザに一時的に情報端末1が提供されてもよい。
【0018】
この無線接続システムは、環境内で、あるユーザの情報端末1に対し、複数の表示装置2のうちユーザの目の前にある所望の選択した表示装置2と、その情報端末1とを、簡単および確実に無線接続できる仕組みを有する。このシステムでは、情報端末1がHMD等である場合でも、ユーザによる認証用IDの入力操作の手間が低減され、ユーザの利便性が高い簡便な方式を提供できる。また、このシステムでは、環境内で接続候補となる多数の装置が互いに存在する場合でも、所望の情報端末1と表示装置2との間で適切に無線接続ができ、意図しない装置間での無線接続が防止され、セキュリティが高められる。ユーザは、情報端末1と表示装置2との無線接続の確立後、表示装置2の表示機能等を利用できる。
【0019】
図1の下側には、一人のユーザの1台の情報端末1(例えばHMD1A)と1台の表示装置2との間での無線接続の概要を示す。ユーザの情報端末1は、典型的には、HMD1A(スマートグラス等を含む)や、スマートフォン1B等が該当するが、これに限らない。表示装置2は、典型的には、タブレット端末であるが、これに限らない。
【0020】
情報端末1および表示装置2は、無線通信機能を備える。無線通信機能は、特に、環境に対応した近距離または中距離の無線通信機能であり、無線通信インタフェースとして例えばBluetooth(登録商標)を用いる。表示装置2は、表示機能の他、近傍の情報端末1を検出する機能を有する。例えば、表示装置2は、備えている無線通信機能を用いて、情報端末1が発するビーコン(無線信号)を検出することで、近傍の情報端末1を検出できる。あるいは、表示装置2は、カメラ22や他のセンサを用いて、近傍の情報端末1を検出してもよい。情報端末1は、表示装置2の表示画面20に表示される画像や情報を読み取ることができる機能を有する。例えば、情報端末1は、備えているカメラ12を用いて表示画面20を撮像した画像から、表示画面20内の画像や情報を認識する。
【0021】
ユーザは、例えばHMD1Aを装着した状態で、表示装置2の表示画面20の方を見る。表示装置2は、近傍に現れた情報端末1を検出した場合、表示画面20に、検出した情報端末1との無線接続のための認証用情報を表示する。認証用情報は、後述するが、デバイス名や認証用ID等の所定の情報であり、情報端末1側から読み取ることができる画像である。特に、無線通信インタフェースに対応したパスキー等の認証用IDは、コード化された画像として表示画面20に表示される。
【0022】
ユーザは、情報端末1を通じて表示画面20の認証用情報を見る。情報端末1は、表示画面20の認証用情報を読み取って、認証用情報に含まれるデバイス名(デバイス識別情報)を用いて、自デバイスと相手の表示装置2との無線接続が適切かどうかに関するデバイスチェックを行う。情報端末1は、自デバイス名に対応付けられたコード画像からデコードによって認証用IDを取得する。情報端末1は、その認証用IDを用いて表示装置2との無線接続を確立する。
【0023】
なお、情報端末1と表示装置2との間での無線接続後の動作については限定しない。情報端末1は、表示装置2と通信し、表示装置2の表示機能等の機能を利用できる。例えば、ユーザは、店舗内で、情報端末1を所望の表示装置2に無線接続した後、表示装置2の表示画面20に表示される動画等の閲覧ができる。逆の捉え方では、表示装置2が、無線接続された情報端末1の機能を利用することができるとも言える。また、ユーザによる利用後、情報端末1と表示装置2との間での無線接続が解除される。また、情報端末1は、例えばHMD1Aである場合、表示装置2の表示画面20の表示に合わせるように、表示面11に拡張現実(AR)の画像等を表示できる。
【0024】
[無線接続方法]
図2は、実施の形態1の無線接続方法の概要を示す。
図2の上側には、環境の例として、3台の情報端末1と3台の表示装置2とが存在する3対3の関係の場合を示す。例えば、ユーザU1は、自分の情報端末T1を、所望の表示装置D1に無線接続したいとする。ユーザU2は、自分の情報端末T2を、所望の表示装置D3に無線接続したいとする。ユーザU3は、通りがかっただけであり、いずれの表示装置2にも無線接続を行わないとする。
【0025】
なお、応用としては、全ユーザの情報端末1および表示装置2に関して無制限に無線接続が許可される構成ではなく、特定のユーザの情報端末1と特定の表示装置2との間での無線接続のみ許可される構成も可能である。この構成は、認証の設定を通じて制御可能である。例えば、ユーザU1の情報端末T1やユーザU2の情報端末T2は、表示装置D2には無線接続できず、他の種類のユーザの情報端末1が表示装置D2に無線接続できる、といった制御が可能である。
【0026】
実施の形態1の無線接続方法における手続きの概要は以下の通りである。ステップS1で、表示装置2は、環境内で自機の近傍に存在する情報端末1およびユーザを、任意の検出手段によって検出する。例えば、表示装置2は、カメラ21によって、前方の範囲内にいる情報端末1およびユーザを検出する。詳しくは例えば、表示装置2は、自機の前にHMD1Aを装着したユーザがいる状態を検出してもよい。例えば、表示装置D1や表示装置D3は、それぞれ、情報端末T1や情報端末T2を検出したとする。また、この際、表示装置2は、無線接続が可能な機能を持つ情報端末1(言い換えると無線デバイス)を検出し、その検出した情報端末1のデバイス名等の情報を取得する。
【0027】
ステップS2で、表示装置2は、表示画面20に、検出した情報端末1、言い換えると無線接続候補となる無線デバイスの情報を表示する。詳しくは、表示装置2は、上記検出した1台以上の情報端末1の各情報を含むリストを、デバイスリストとして表示画面20に表示する。詳細については後述するが、この際の表示情報は、例えば、デバイス名またはデバイスアドレスを含む。例えば、表示装置D1は、検出した情報端末T1および情報端末T2に関する各情報を表示する。表示装置D3も同様の動作を行う。
【0028】
ステップS3で、ユーザは、表示装置2の表示画面20のリストの情報を視認、確認し、そのリストから、自分の情報端末1のデバイス名に対応する項目を選択操作する。
【0029】
ステップS4で、表示装置2は、選択操作された情報端末1に関する認証用IDをコード化した画像(コード画像)を、表示画面20に表示する。詳細については後述するが、この際に表示されるコード画像は、例えば、選択されたデバイス名と、表示装置2側が生成したパスキーとがコード化された画像である。コードは、例えばQR(Quick Response)(登録商標)コードが適用できるが、これに限らない。
【0030】
ステップS5で、情報端末1は、ユーザの所望の選択された表示装置2の表示画面20に表示されたコード画像を、カメラ12によって読み取って、認証用情報を取得する。詳しくは、情報端末1は、上記コード画像からデコードによってデバイス名とパスキーとを抽出する。なお、この際、ユーザは、情報端末1(例えばHMD1A)のカメラ12の向きを、その表示装置2の表示画面20に向ければよく、認証用ID等の入力操作は不要である。例えば、ユーザU1の情報端末T1は、表示装置D1の表示情報を認識する。同様に、ユーザU2の情報端末T2は、表示装置D3の表示情報を認識する。
【0031】
また、情報端末1は、上記抽出して得たデバイス名が、自デバイスのデバイス名と一致するかどうか、デバイスチェック処理を行う。一致の場合、この情報端末1と相手の表示装置2との一対一の関係での無線接続が適切であることが確認されたことを意味する。情報端末1は、デバイスチェックで適切性を確認した後、上記パスキーを自デバイスに設定する。
【0032】
ステップS6で、情報端末1は、認証用情報(特にデバイス識別情報)を用いて、自デバイスと相手の表示装置2との無線接続の適切性を確認する(後述のデバイスチェック)。確認後、情報端末1は、パスキーを用いて自デバイスと表示装置2との無線接続を確立し、表示装置2は、パスキーを用いてその情報端末1との無線接続を確立する。
【0033】
[情報端末(HMD)-外観]
図3は、情報端末1としてHMD1Aである場合の外観構成例を示す。HMD1Aは、眼鏡型の筐体10に、表示面11、カメラ12、測距センサ14、センサ部15、マイク16、スピーカ17等を備える。表示面11は、両眼の位置に対応させた透過型表示面である。カメラ12は、例えば右側カメラ12R、左側カメラ12Lを含む。また、図示のように、HMD1Aには、入力手段として、リモートコントローラのような操作器19が付属していてもよい。操作器19は、HMD1Aの本体と無線通信を行う。
【0034】
[情報端末(HMD)-機能ブロック]
図4は、情報端末1としてHMD1Aである場合の機能ブロック構成例を示す。情報端末1であるHMD1Aは、プロセッサ101、メモリ102、カメラ12、測距センサ14、センサ部15、表示部150、通信部160、音声入力装置181、音声出力装置182、操作入力部183、バッテリ184等を備え、これらはバス等で相互に接続されている。プロセッサ101は、CPUやROMやRAM等で構成され、HMD1Aの全体を制御するコントローラに相当する。メモリ102は、RAMやストレージ等で構成され、制御プログラム131、アプリケーションプログラム132、設定情報133、表示情報134、認証用情報135、等の情報やデータを格納する。カメラ12は、外界の画像を撮影して画像データを取得する。測距センサ14は、外界の物体との距離を測定する。センサ部15は、各種のセンサを含み、例えば加速度センサ141、ジャイロセンサ142、地磁気センサ143、GPS受信器144を含む。表示部150は、表示面11、表示駆動回路、および光学系、等を含む表示デバイスである。通信部160は、各種の通信インタフェースに対応する通信デバイスを含む。通信部160は、詳しくは、近距離通信部と、遠距離通信部とを含む。近距離通信部は、本例では無線通信インタフェースとしてBluetoothに対応する。遠距離通信部は、例えばモバイル網や無線LAN等の無線通信インタフェースに対応する。音声入力装置181は、前述のマイク16を含む。音声出力装置182は、前述のスピーカ17を含む。操作入力部183は、筐体10に設けられたボタン等を含む。あるいは、操作入力部183は、操作器19との無線通信インタフェースを含む部分でもよい。バッテリ184は各部に電力を供給する。
【0035】
情報端末1は、制御プログラム131等に基づいて、プロセッサ101が処理を実行することで、各機能を実現する。各機能は、後述のフローの処理を行う機能を含む。各機能は、後述のデバイスチェック、カメラ画像解析、QRコードのデコード等の機能を含む。
【0036】
設定情報133は、機能に係わるシステム設定情報やユーザ設定情報である。表示情報134は、表示面11に表示するためのデータである。認証用情報135は、自デバイスのデバイス識別情報(デバイス名やデバイスアドレス)、表示装置2から取得した認証用ID(パスキー)等の情報である。
【0037】
[表示装置-機能ブロック]
図5は、表示装置2の機能ブロック構成例を示す。表示装置2は、プロセッサ201、メモリ202、カメラ22、測距センサ24、センサ部25、表示部250、通信部260、音声入力装置281、音声出力装置282、操作入力部283、バッテリ284等を備え、これらはバス等で相互に接続されている。プロセッサ201は、CPUやROMやRAM等で構成され、表示装置2の全体を制御するコントローラに相当する。メモリ202は、RAMやストレージ等で構成され、制御プログラム231、アプリケーションプログラム232、設定情報233、表示情報234、認証用情報235、等の情報やデータを格納する。カメラ22は、外界の画像を撮影して画像データを取得する。測距センサ24は、外界の物体との距離を測定する。センサ部25は、各種のセンサを含み、例えば加速度センサ241、ジャイロセンサ242、地磁気センサ243、GPS受信器244を含む。センサ部25は、近接センサ等を含んでもよい。表示部250は、表示画面20、表示駆動回路等を含む表示デバイス、例えばタッチパネルである。通信部260は、各種の通信インタフェースに対応する通信デバイスを含む。通信部260は、詳しくは、近距離通信部と、遠距離通信部とを含む。近距離通信部は、例えばBluetoothに対応する。遠距離通信部は、例えばモバイル網や無線LAN等の無線通信インタフェースに対応する。音声入力装置281はマイクを含む。音声出力装置282はスピーカを含む。操作入力部283は、筐体に設けられたボタン等を含む。操作入力部283は、キーボード等を含んでもよい。その場合、ユーザによる文字入力が容易となる。バッテリ284は各部に電力を供給する。表示装置2にもリモートコントローラのような操作器が付属してもよい。
【0038】
表示装置2は、制御プログラム231等に基づいて、プロセッサ201が処理を実行することで、各機能を実現する。各機能は、後述のフローの処理を行う機能を含む。各機能は、後述のデバイスチェック、ユーザ検出、デバイス検出、パスキー生成、QRコード生成、等の機能を含む。
【0039】
設定情報233は、機能に係わるシステム設定情報やユーザ設定情報である。表示情報234は、表示画面20に表示するためのデータである。認証用情報235は、情報端末1から検出したデバイス識別情報や、生成した認証用ID(パスキー)等の情報である。
【0040】
[無線通信インタフェース]
実施の形態1では、情報端末1と表示装置2との間の無線接続の無線通信インタフェースとして、Bluetoothを適用する。この場合、認証用IDとして、Bluetooth規格におけるパスキーを使用する。なお、無線通信インタフェースとして、Wi-Fiを適用してもよい。この場合、認証用IDとして、Wi-Fi規格におけるSSIDおよびパスワードを使用する。この無線接続システムは、適用する無線通信インタフェースに応じた認証用IDを同様に適用できる。
【0041】
[処理フロー(1)]
図6は、実施の形態1の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。
図6は、情報端末1のステップS100,S101,……,S105を含むフローと、表示装置2のステップS200,S201,……,S211を含むフローと有する。
【0042】
ステップS200で、表示装置2は、カメラ22やセンサ部25等を用いて、近傍に存在するユーザを検出する。表示装置2は、例えば表示画面20の前付近にユーザが来た場合にはそれを検出する。なお、ステップS200を省略した形態も可能である。表示装置2は、ユーザを検出した場合(Y)にはステップS201へ進む。なお、このユーザ検出は、ユーザが表示装置2に備える操作入力部283のハードウェアボタン等を押す操作、あるいは、表示部250であるタッチパネルを触る操作、あるいは表示画面20内の特定のソフトウェアボタン(GUI部品)を押す操作、等の検出としてもよい。
【0043】
ステップS201で、表示装置2は、通信部260(
図5)またはカメラ22やセンサ部25等を用いて、近傍に存在する無線デバイスである情報端末1を検出する。この無線デバイス検出は、例えば情報端末1が発しているビーコン(無線信号)を受信し検出することである。そのビーコンは、情報端末1のデバイス名またはデバイスアドレス等の情報(説明上、「デバイス識別情報」と記載する場合がある)を持つ。本例では、ステップS201で、表示装置2は、情報端末1からのビーコンに基づいて、その情報端末1のデバイス名とデバイスアドレスとの組の情報を取得する。なお、他の検出手段として、表示装置2は、カメラ22の撮影画像から解析に基づいて無線デバイスを判断および検出してもよい。
【0044】
ステップS202で、表示装置2は、ステップS201で検出および取得した情報を用いて、表示画面20に、下記のようなデバイスリストを表示する。
【0045】
[画面例(1)]
図7は、ステップS202で表示装置2の表示画面20にデバイスリストを表示する際の画面例を示す。この画面700は、無線接続メニュー画面のうちのデバイスリスト画面である。この画面700は、「無線接続」メニュー表示701と、「デバイスを検出しました」メッセージ表示702と、「使用可能なデバイス」表示703と、を含む。「使用可能なデバイス」表示703は、デバイスリスト表示を含む。このデバイスリストは、例として、この表示装置2の近傍に3個の無線デバイスである情報端末1(例えば
図1,
図2の情報端末T1,T2,T3)が検出された場合に対応する3個のデバイス情報項目として、項目711,712,713を含む。各デバイス情報項目には、デバイス名704が表示されている。このデバイス名704は、ユーザが見て情報端末1を識別できる形式の文字列等の情報である。デバイス情報項目に表示するデバイス名704は、これに限らず、ユーザが見て識別できる形式であれば、デバイスアドレス等の他の情報としてもよい。
【0046】
例えば、項目711のデバイス名704(「Phone_APL」)は、情報端末T2のデバイス名であり、項目712のデバイス名704(「MAX-HMD01」)は、情報端末T1のデバイス名であり、項目713のデバイス名704(「AR glass lite」)は、情報端末T3のデバイス名であるとする。
図7では、説明上、対応関係がわかりやすいように、デバイス情報項目に、対応する情報端末1の符号「(T1)」等も記載しているが、実際には表示されない。
【0047】
各デバイス情報項目は、デバイス名704の表示のみならず、ユーザによる選択操作(例えばタッチ操作)を受け付けるボタン等のGUI部品で構成されている。もしくは、デバイス情報項目に並列で別の選択ボタン等が設けられてもよい。
【0048】
なお、この画面700内には、他にもGUIが表示されてもよい。例えば、ユーザに操作等をわかりやすくガイドするための情報として、「接続するデバイスを選択してください。」等のメッセージ画像が表示されてもよい。また、ユーザ・インタフェースは、表示画面20での表示に限らず、音声出力等を併用してもよい。
【0049】
なお、このデバイスリスト画面でデバイス情報項目が表示されている3台のデバイス(情報端末1)は、無線接続が許容されるデバイスであり、許容されないデバイスの場合には項目が表示されない。応用として、特定の情報端末1と特定の表示装置2との無線接続が許可される設定の場合、特定の表示装置2は、検出されたデバイスが特定の情報端末1に該当する場合のみ、対応するデバイス情報項目を表示する。
【0050】
また、他の応用として、表示装置2は、同時無線接続台数等の制限が設定されてもよい。その場合、表示装置2は、その同時無線接続台数内に収まるように、デバイス情報項目を表示してもよい。あるいは、例えば同時無線接続台数=1の場合に、表示装置2は、画面に複数のデバイス情報項目を表示し、早い者勝ち方式等の方式で、それらのうち1台の情報端末1のみに無線接続を許可するようにしてもよい。上記のような応用的な制御は、本システムの認証とは別レイヤの制御として追加的に実現可能である。
【0051】
なお、表示装置2は、デバイスリスト画面等において複数のデバイス情報項目等を表示する際には、検出した無線デバイスの順序に対応させて、複数の項目を並べて表示してもよい。あるいは、表示装置2は、検出した無線デバイスとの距離に応じた順序で、複数の項目を並べて表示してもよい。例えば、表示装置2は、最も近傍に存在する(すなわち選択される可能性が高い)と推定した無線デバイスのデバイス情報項目を、1番上に表示してもよいし、最も強調して拡大等して表示してもよい。
【0052】
図6に戻る。ステップS203で、表示装置2は、ユーザによるデバイスリストからのデバイス情報項目(デバイス名704)の選択操作を受け付ける。例えば、ユーザU1は、
図7の画面700のデバイスリストから、自デバイスである情報端末T1に対応するデバイス名704を持つ2番目の項目712を認識して選択操作する。選択操作は、例えば表示部250(
図5)であるタッチパネルに対するタッチ操作である。表示装置2は、ユーザによって選択されたデバイス名704の情報端末1(例えば情報端末T1)を把握する。
【0053】
ステップS204で、表示装置2は、上記選択されたデバイス(情報端末1)について、無線接続のための認証用IDであるパスキーを生成する。
【0054】
ステップS205で、表示装置2は、上記ステップS203で選択されたデバイス名と、上記S204で生成したパスキーとの組を用いて、実施の形態1での所定のコード(コード画像)を生成する。このコードは、例えば2次元コードであるQRコードの形式で生成される。
【0055】
ステップS206で、表示装置2は、上記ステップS205で生成したコード画像を含む認証用情報を、表示画面20内に表示する。
【0056】
[画面例(2)]
図8は、ステップS206で表示装置2の表示画面20にコード画像を表示する際の画面例を示す。この画面800は、無線接続メニュー画面のうちのコード画面である。この画面800は、「コードを読み取ってください」メッセージ表示802と、認証用情報表示803とを含む。認証用情報表示803は、1つの項目であり、デバイス名804と、コード(コード画像)805との組を含む。デバイス名804は、
図7の選択された項目712のデバイス名704と同じ値である。デバイス名804は、ユーザがこの認証用情報表示803の項目を見た場合にわかりやすく把握できるように、すなわち自デバイスに関する項目であると把握できるように、補助的に設けられている情報である。デバイス名804は、表示の省略も可能である。コード805は、QRコードであり、表示が必須である。このQRコードは、選択されたデバイス名を含んでおり、特徴の1つである。ユーザは、画面800の認証用情報表示803を見る。
【0057】
図6に戻る。一方、ステップS100で、情報端末1は、ユーザの操作、例えばHMD1Aのカメラ12を表示画面20に向けて撮影する操作に基づいて、
図8のような表示画面20に表示されたコード805をカメラ12によって読み取らせる。情報端末1は、カメラ12によって撮影した画像からコード805の部分を認識し、そのコード805からデコードによってデバイス名とパスキーとの組を抽出する。
【0058】
ステップS101で、情報端末1は、上記ステップS100で抽出して得たデバイス名とパスキーとの組を用いて、情報端末1側でのデバイスチェック処理を行う。このデバイスチェック処理は、コード805から得たデバイス名が、自デバイスのデバイス名と一致するかどうかの確認である。言い換えると、このデバイスチェック処理は、この情報端末1とユーザの目の前の表示装置2との一対一の無線接続が適切かどうかの確認である。ステップS101のデバイスチェックは、実施の形態1のシーケンスで必須であり、特徴の1つである。デバイス名の一致の場合(OK)にはステップS102に進み、不一致の場合(NG)にはステップS104に進む。一致の場合は、その情報端末1とその相手の表示装置2とが適切な無線接続の関係であることを表している。不一致の場合は、その情報端末1とその相手の表示装置2とが適切な無線接続の関係ではないこと、すなわち、無線接続が許可されないことを表している。
【0059】
ステップS104では、情報端末1は、エラー処理として、表示面11にエラー表示を行う。これにより情報端末1側のフローが終了する。この場合、フローの最初からやり直しである。
【0060】
ステップS102で、情報端末1は、ステップS100で得たパスキーを、無線接続のための認証用IDとして、通信部160(
図4)の回路に設定する。
【0061】
ステップS103で、情報端末1は、通信部160での通信処理によって、無線接続要求を表示装置2に送信する。この際、通信部160の回路は、ステップS102で設定されたパスキーを用いて通信処理を行う。この無線接続要求の通信フレームには、送信元(情報端末1)のアドレスやデバイス名と共に、パスキーを含む情報が記述される。
【0062】
一方、ステップS207で、表示装置2は、通信部260(
図5)の通信処理によって、情報端末1からの無線接続要求を受信する。この際、通信部260の回路は、ステップS204で生成されたパスキーを用いて通信処理を行う。表示装置2は、無線接続要求における送信元(情報端末1)からのパスキーを取り出し、そのパスキーが、ステップS204のパスキーと一致している場合には、正当な要求として受け取る。
【0063】
ステップS208で、表示装置2は、ステップS207で情報端末1の要求から取り出したデバイス名と、ステップS205で生成済みのデバイス名とを用いて、表示装置2側でのデバイスチェック処理を行う。表示装置2は、このデバイスチェック処理では、例えばステップS207のデバイス名が、ステップS204のデバイス名と一致するかどうかを確認する。デバイス名の一致の場合(OK)にはステップS209へ進み、不一致の場合(NG)にはステップS211へ進む。一致の場合は、要求元の情報端末1とこの表示装置2との無線接続が適切であることを表している。不一致の場合は、要求元の情報端末1とこの表示装置2との無線接続が適切ではないこと、すなわち、無線接続が許可されないことを表している。
【0064】
ステップS211では、表示装置2は、エラー処理として、表示画面20にエラー表示を行う。これにより表示装置2側のフローが終了する。この場合、フローの最初からやり直しである。
【0065】
ステップS209では、表示装置2は、上記ステップS204で生成済みのパスキーを、無線接続のための認証用IDとして、通信部260(
図5)の回路に設定する。これにより、情報端末1と表示装置2との両方に、同じパスキーが設定されたことになる。
【0066】
ステップS210では、表示装置2は、通信部260の通信処理によって、情報端末1との間の無線接続を確立する。対応して、ステップS105では、情報端末1は、通信部160の通信処理によって、表示装置2との間の無線接続を確立する。ステップS105,S210の後、本シーケンスが終了する。情報端末1と表示装置2との間での無線接続が確立済みの状態では、それらの装置間で、実態的なデータの送受信等が可能である。その後、必要に応じて、それらの装置間で無線接続が解除される。
【0067】
なお、実施の形態1のシーケンスで特徴的な部分(主な認証に係わる部分)を破線枠で示す。特に、ステップS101のデバイスチェックは、デバイス名を用いた特有の処理であり、情報端末1から表示装置2をみた場合の適切な関係を確認する処理であり、複数対複数の環境でも適切な一対一の情報端末1と表示装置2の関係を確認する処理である。また、このシーケンスでは、ステップS101の情報端末1側のデバイスチェックに加え、特に、ステップS208の表示装置2側のデバイスチェックも有する。この処理も、デバイス名を用いた特有の処理であり、表示装置2から情報端末1をみた場合の適切な関係を確認する処理である。実施の形態1は、ステップS101およびステップS208の相互のデバイスチェックを含むシーケンスによって、ユーザによる認識用IDの入力操作を不要とした簡便で適切な無線接続を実現できる。
【0068】
なお、実施の形態1の変形例としては、ステップS208の表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
【0069】
[効果等(1)]
上記のように、実施の形態1によれば、環境内でユーザの情報端末1と表示装置2とが無線接続する際に、ユーザによるパスキー等の認証用IDの入力操作の手間を低減でき、複数対複数の環境でも、所望の選択された情報端末1と表示装置2との間で適切にセキュアな無線接続ができる。ユーザは、表示装置2の表示画面20(
図7)で自デバイスに対応する項目を選択し、表示されたコード(
図8)を情報端末1に読み取らせる操作をすればよい。その後、情報端末1が自動的にデバイスチェック(
図6のS101)を行って、自デバイスと相手の表示装置2との間の無線接続の適切性を確認する。これにより、自動的にパスキーが設定され(S102,S209)、無線接続が確立される。このように、ユーザは、少ない手間で、速やかに、複数対複数の環境でも誤らずに所望の情報端末1と表示装置2との無線接続を行うことができる。
【0070】
実施の形態1では、環境内の複数対複数の装置間で基本的に自由な組み合わせで無線接続が許可される場合を説明したが、これに限らず、応用としては、無線接続の可否に関して、より詳細な制御も可能である。例えば、ある種類のユーザの情報端末1は、ある種類の表示装置2にのみ、無線接続が許可されるように、予め認証に関する設定が可能である。この認証は、実施の形態1等で説明した認証(デバイスチェックを含む)とは別レイヤの認証として行うことができる。
【0071】
利用例としては、飲食店等の店舗内で、各顧客である各ユーザが、自分の情報端末1を、店舗内のテーブル等に設置されている複数の表示装置2(例えばタブレット端末)のうちの所望の選択した表示装置2に簡単に無線接続し、表示装置2の持つ表示機能、注文機能、および決済機能等を利用することができる。他の例としては、販売店舗等で、複数の表示装置2として、キャッシュレス決済機能を持つ決済装置が用意されている。顧客は、自分の情報端末1を、選択した決済装置に無線接続し、キャッシュレス決済機能を利用できる。他の例としては、車両内で、席毎に表示装置2が設置されている。搭乗者は、自分の情報端末1を、選択した表示装置2に無線接続し、動画等の表示機能やインターネット接続機能等を利用できる。また、いずれの例でも、不特定多数の利用に限らず、認証の設定を通じて、特定のユーザの情報端末1と特定の表示装置2との無線接続および機能利用のみ許可されるように制限することも可能である。
【0072】
上記では、ユーザが情報端末1としてHMD1Aを用いる場合を主に説明したが、スマートフォン1B(
図1)を用いる場合でも、同様に適用可能である。この場合、ユーザは、手に持ったスマートフォン1Bを操作する。ユーザは、例えばスマートフォン1Bのカメラを表示装置2の表示画面20に向けて撮影すればよい。
【0073】
(実施の形態2)
図9~
図11を用いて、本発明の実施の形態2の無線接続システムおよび方法について説明する。以下では、実施の形態2等における実施の形態1とは異なる部分について説明する。実施の形態2等のシステム構成等は
図1等と同様であり、異なる構成点として、認証を含む処理シーケンスがある。実施の形態2では、HMD1AによるAR画像表示機能を用いる。
【0074】
[処理フロー(2)]
図9は、実施の形態2の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。
図9は、情報端末1のステップS121~S129、表示装置2のステップS220~S229,S229A,S229Bを有する。
図9で、実施の形態1の
図6に対し主に異なるステップは、ステップS121,S122,S123、およびステップS221,S222,S223である。ステップS124以降やステップS224以降は、
図6のステップS100以降やステップS204以降と概略的に同様である。
【0075】
ステップS220で、表示装置2は、近傍のユーザを検出し、近傍に存在する無線デバイスである情報端末1を検出する。ステップS221の後、ステップS222で、表示装置2は、上記検出して得たデバイス名等の情報を用いて、実施の形態2での特有のコード(第1コードとする)を含むデバイスリストを作成する。実施の形態2では、この第1コードは、検出された情報端末1毎に、デバイス名をコード化したQRコード等のコード画像であり、前述のパスキーは含まれていない。コード化する情報は、デバイス名に限らずデバイスアドレス等の他の情報としてもよい。
【0076】
ステップS202で、表示装置2は、表示画面20に、下記のように、上記作成したデバイスリストを表示する。
【0077】
[画面例(3)]
図10は、ステップS222で表示装置2の表示画面20に第1コードを含むデバイスリストを表示する際の画面例を示す。この画面1000は、無線接続メニュー画面のうちのデバイスリスト表示画面である。この画面1000は、「デバイスを検出しました」メッセージ表示1002と、デバイスリスト表示1003とを含む。デバイスリスト表示1003は、デバイスリストとして、検出されたデバイス(情報端末1)毎のデバイス情報項目が、並列に表示されている。本例では、検出された3個の情報端末1に関する3個のデバイス情報項目として、項目1011,1012,1013を有する。各デバイス情報項目は、デバイス名表示1004と、QRコード表示1005とを有する。デバイス名表示1004は、検出されたデバイスをユーザに伝えるための補助的な情報である。QRコード表示1005のQRコードは、第1コードである。
【0078】
図9に戻る。ステップS223で、ユーザは、この画面1000のデバイスリストから、デバイス名表示1004を参考に、自分の情報端末1(HMD1A)に対応するデバイス情報項目、例えば項目1012を選択操作する。この際、実施の形態2では、この選択操作を支援するため、ステップS121~S123を有する。
【0079】
ステップS121で、情報端末1は、表示装置2の表示画面20のデバイスリスト(
図10)を、カメラ12によって読み取る。情報端末1は、カメラ12の画像から、デバイスリスト表示1003の各デバイス情報項目のデバイス名表示1004、またはQRコード表示1005を認識する。
【0080】
ステップS122で、情報端末1は、上記読み取ったデバイスリストから、自デバイス(HMD1A)のデバイス名(文字列)に対応するデバイス名表示1004があるかどうか確認し、ある場合には検出する。あるいは、情報端末1は、QRコード表示1005のQRコードのデコードによって抽出したデバイス名を用いて、同様の判断・検出を行ってもよい。
図10の例では、HMD1A(
図1の情報端末T1)は、項目1012のデバイス名表示1004のデバイス名(「MAX-HMD01」)を検出したとする。自デバイス名がある場合(Y)にはステップS123に進み、無い場合(N)にはステップS128に進んでエラー表示が行われる。
【0081】
ステップS123で、情報端末1は、検出した自デバイス名に対応するデバイス情報項目をユーザに伝えるための画像を、表示面11に表示する。この画像は、その項目を強調表示してユーザに操作を促すためのAR画像である。このAR画像は、下記のように、表示画面20のデバイス情報項目(項目1012)上に重畳表示される。
【0082】
[画面例(4)]
図11は、HMD1Aの表示面11に、ステップS123の画像を表示する例を示す。
図11の(A)は、図示省略するユーザが、頭部に装着しているHMD1Aを通じて表示装置2の表示画面20(例えば
図10の画面1000)の方を見る際の模式的なイメージを示す。
図11の(B)は、ユーザの視点からHMD1Aの表示面11を通じて画面1000の項目1012を見る際の模式的なイメージを示す。表示面11は、AR画像の表示が可能な透過型表示面である。情報端末1のカメラ12は、表示画面20を捉えている。ユーザは、表示画面20のデバイスリストを見ている。ここでは、表示面11に透過して見える表示装置2を模式的に破線で示している。HMD1A(
図4の表示部150)は、カメラ12の画像の解析等に基づいて、画面1000の項目1012(自デバイス名に対応する項目)上に重畳表示させるように、表示面11にAR画像1101を表示する。このAR画像1101は、ユーザにこのデバイス情報項目の選択操作を促す意味を持つ画像である。本例では、AR画像1101は、項目1012を囲むような枠画像としているが、これに限らず、例えば
図10のデバイス名表示1004を囲む画像や、QRコード表示1005を囲む画像としてもよいし、「この項目を選択してください」等のメッセージを伴う矢印等の画像としてもよい。ユーザは、このAR画像1101に従って、その項目1012に着目して選択操作すればよいことがわかる。これにより、ステップS223の選択操作がより容易となる。
【0083】
図9に戻る。ステップS203で、ユーザは、ステップS123のAR画像1101に従って、上記デバイスリストからの自デバイスに対応する項目を選択操作し、表示装置2は、その選択操作を受けて、選択されたデバイス名を把握する。
【0084】
ステップS224以降は、実施の形態1の
図6のステップS204以降と概略的に同様となる。ステップS224で、表示装置2は、上記選択されたデバイスについて、パスキーを生成する。ステップS225で、表示装置2は、上記パスキーと、上記選択されたデバイス名とを用いて、実施の形態2での第2コードとして、所定のコードを例えばQRコードの形式で生成する。ステップS206で、表示装置2は、上記生成したコード(第2コード)を、
図8と同様に、表示画面20に表示する。一方、ステップS124で、情報端末1は、ユーザの操作に基づいて、表示画面20のコード(第2コード)を読み取って、デコードによってデバイス名とパスキーとの組を抽出する。ステップS125で、情報端末1は、上記デバイス名とパスキーとの組を用いて、デバイスチェック処理を行う。抽出したデバイス名と自デバイス名とが一致の場合(OK)にはステップS126に進み、不一致の場合(NG)にはステップS128に進んで、エラー表示が行われる。ステップS125のデバイスチェックは、実施の形態2での必須の処理である。
【0085】
ステップS126で、情報端末1は、ステップS124で得たパスキーを、通信部160(
図4)の回路に設定する。ステップS127で、情報端末1は、通信部160の通信処理によって、無線接続要求を表示装置2に送信する。一方、ステップS227で、表示装置2は、通信部260(
図5)の通信処理によって、情報端末1からの無線接続要求を受信する。表示装置2は、受信した無線接続要求から、パスキー等の情報を取り出す。ステップS228で、表示装置2は、ステップS227で得たパスキー等の情報を用いて、デバイスチェック処理を行う。デバイス名に関して一致の場合(OK)にはステップS229へ進み、不一致の場合(NG)にはステップS229Bへ進んで、エラー処理が行われる。ステップS229で、表示装置2は、上記パスキーを通信部260の回路に設定する。ステップS229Aでは、表示装置2は、通信部260の通信処理によって、情報端末1との無線接続を確立する。対応して、ステップS129では、情報端末1は、通信部160の通信処理によって、表示装置2との無線接続を確立する。
【0086】
[効果等(2)]
上記のように、実施の形態2では、ユーザの情報端末1が、表示装置2の表示画面20のデバイスリストの中から、自デバイスに対応する項目を自動的に認識して、AR画像(
図9、ステップS123、
図11)によってユーザに伝える。これにより、ユーザは、自デバイスに対応する項目を容易に選択でき、速やかに認証の手順へ進み、無線接続を行うことができる。
【0087】
なお、実施の形態2の変形例としては、表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
【0088】
(実施の形態3)
図12~
図13を用いて、本発明の実施の形態3の無線接続システムおよび方法について説明する。実施の形態3では、情報端末1が表示装置2の表示画面20のデバイスリストから自デバイスを発見し、ユーザによる選択操作を不要として、自動的に認証および無線接続を行う。
【0089】
[処理フロー(3)]
図12は、実施の形態3の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。
図12は、情報端末1のステップS131~S136、表示装置2のステップS230~S238を有する。
図12は、
図11や
図12に対し主に異なる構成点として、情報端末1のステップS131,S132、表示装置2のステップS233がある。
【0090】
ステップS230で、表示装置2は、ユーザ検出およびデバイス検出を行う。ステップS231で、表示装置2は、パスキーを生成し、ステップS232で、表示装置2は、実施の形態3での所定のコードを生成する。このコードは、デバイス名とパスキーとの組を例えばQRコードの形式でコード化した画像である。次に、ステップS233で、表示装置2は、ステップS232で生成したコードを用いて作成したデバイスコードリストを、表示画面20に表示する。
【0091】
[画面例(5)]
図13は、ステップS233で表示装置2の表示画面20にデバイスコードリストを表示する際の画面例を示す。この画面1300は、無線接続メニュー画面のうちのデバイスコードリスト表示画面である。この画面1000は、「デバイスを検出しました」メッセージ表示1302と、デバイスコードリスト表示1303とを含む。デバイスコードリスト表示1303は、デバイスコードリストとして、検出されたデバイス(情報端末1)毎のデバイスコード情報項目が、並列に表示されている。本例では、検出された3個の情報端末1に関する3個のデバイスコード情報項目として、項目1311,1312,1313を有する。各デバイスコード情報項目は、デバイス名表示1304と、QRコード表示1305とを有する。デバイス名表示1304は、検出されたデバイスをユーザに伝えるための補助的な情報であり、表示の省略も可能である。QRコード表示1305のQRコードは、実施の形態3での所定のコードであり、デバイス名とパスキーとの組がコード化されている。
図13の画面1300は、実施の形態1での
図7のデバイスリスト画面と
図8のコード画面とを1つに統合して効率化したものとも言える。
【0092】
図12に戻る。ステップS131で、情報端末1は、カメラ12によって、表示装置2の表示画面20のデバイスコードリストを読み取る。情報端末1は、カメラ12の画像から、各デバイスコード情報項目のデバイス名表示1304やQRコード表示1305を認識する。
【0093】
ステップS132で、情報端末1は、ステップS131で得たQRコード表示1305のQRコードからデコードによってデバイス名とパスキーとの組を抽出する。情報端末1は、その抽出したデバイス名を用いてデバイスチェック処理を行う。この処理は、得られた1つ以上のデバイス名から、自デバイス(HMD1A)に対応するデバイス名がある場合には抽出する処理であり、実施の形態3での特有で必須の処理である。自デバイス名が検出できた場合(Y)にはステップS133に進み、検出できない場合(N)にはステップS135に進んでエラー表示が行われる。
【0094】
ステップS133以降の処理は前述の実施の形態1と概略的に同様である。ステップS133で、情報端末1は、ステップS131で得たパスキーを、通信部160の回路に設定する。ステップS134で、情報端末1は、通信部160の通信処理によって、無線接続要求を表示装置2に送信する。一方、ステップS234で、表示装置2は、通信部260の通信処理によって、情報端末1からの無線接続要求を受信する。表示装置2は、受信した無線接続要求から、デバイス名およびパスキー等の情報を取り出す。ステップS235で、表示装置2は、ステップS232のデバイス名と、ステップS234で得たデバイス名とを用いて、表示装置2側のデバイスチェック処理を行う。デバイス名に関して一致の場合(OK)にはステップS236へ進み、不一致の場合(NG)にはステップS238へ進んでエラー処理が行われる。ステップS236では、表示装置2は、上記パスキーを通信部260の回路に設定する。ステップS237では、表示装置2は、通信部260の通信処理によって、情報端末1との間の無線接続を確立する。対応して、ステップS136では、情報端末1は、通信部160の通信処理によって、表示装置2との間の無線接続を確立する。
【0095】
[効果等(3)]
上記のように、実施の形態3では、ユーザの情報端末1が、表示装置2の表示画面20のデバイスコードリスト(
図13)の中から、自デバイスに対応する項目を認識して、自動的に認証の手順へ進み、速やかに無線接続を行うことができる。
【0096】
なお、実施の形態3の変形例としては、表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
【0097】
(実施の形態4)
図14~
図15を用いて、本発明の実施の形態4の無線接続システムおよび方法について説明する。実施の形態4では、最初に情報端末1と表示装置2との間で仮接続を行い、その後に認証および無線接続を行う。
【0098】
[処理フロー(4)]
図14は、実施の形態4の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。
図14は、情報端末1のステップS141~S149、表示装置2のステップS240~S248を有する。
図14は、主に異なる構成点としては、情報端末1のステップS141~S144、表示装置2のステップS241~S244がある。
【0099】
ステップS240で、表示装置2は、ユーザ検出およびデバイス検出を行う。ステップS141で、情報端末1は、仮接続のための仮パスキーを、通信部160(
図4)の回路に設定する。仮パスキーは、例えばパスキーが6桁ならば000000といった固定値を用いる。他方、ステップS241で、表示装置2は、同じ仮パスキーを、通信部260(
図5)の回路に設定する。
【0100】
ステップS142で、情報端末1は、上記仮パスキーを用いて、仮接続のための無線接続要求を、表示装置2に送信する。ステップS242で、表示装置2は、その無線接続要求を受信する。これにより、ステップS143,S243では、情報端末1と表示装置2との間で仮無線接続が行われる。
【0101】
ステップS144で、情報端末1は、仮ではない目的の無線接続のためのパスキーを生成し、表示装置2に送信する。ステップS244で、表示装置2は、情報端末1からのパスキーを受信する。
【0102】
ステップS245で、表示装置2は、実施の形態4での所定のコードを生成する。実施の形態4では、このコードは、デバイス名のみを例えばQRコードの形式でコード化した画像である。ステップS246で、表示装置2は、表示画面20に、下記のように、上記生成したコードを表示する。
【0103】
[画面例(6)]
図15は、ステップS246で表示装置2の表示画面20にコードを表示する際の画面例を示す。この画面1500は、無線接続メニュー画面のうちのコード画面である。この画面1500は、「コードを読み取ってください」メッセージ表示1502と、コード表示1502とを含む。コード表示1503は、対象の1つのデバイス(情報端末1)のデバイス名に関するQRコードである。
【0104】
図14に戻る。ステップS145で、情報端末1は、カメラ12によって上記表示画面20に表示されたコード(コード表示1502)を読み取る。情報端末1は、そのコードからのデコードによってデバイス名を抽出する。その後、ステップS146で、実施の形態1と同様に、情報端末1は、上記抽出したデバイス名を用いてデバイスチェック処理を行う。情報端末1は、上記抽出したデバイス名が自デバイス(HMD1A)のデバイス名に一致するか確認する。一致の場合(OK)にはステップS146に進み、不一致の場合(NG)にはステップS149に進んでエラー表示が行われる。ステップS146では、情報端末1は、ステップS144で生成済みのパスキーを、目的の無線接続のために、通信部160の回路に設定する。一方、ステップS247で、表示装置2側も、ステップS244で受信済みのパスキーを、目的の無線接続のために、通信部260の回路に設定する。これにより、ステップS148,S248では、情報端末1と表示装置2との間での無線接続が確立する。言い換えると、仮無線接続が終了して目的の無線接続が達成される。
【0105】
[効果等(4)]
上記のように、実施の形態4では、情報端末1と表示装置2との間で仮接続した後、デバイス名のコードを用いて情報端末1がデバイスチェックを行い、速やかに無線接続を行うことができる。
【0106】
なお、実施の形態4の変形例としては、表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
【0107】
(他の実施の形態)
他の実施の形態として以下も可能である。実施の形態1の
図1の構成では、情報端末1と表示装置2とが近距離で直接的に無線接続される場合を説明したが、これに限らず、情報端末1と表示装置2との間で、無線基地局やアクセスポイント等の装置を介して無線接続を行う形態も可能である。また、情報端末1や表示装置2が、通信網上のサーバ等の外部装置と通信して連携する形態も可能である。
【0108】
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【0109】
1,T1,T2,T3,TM…情報端末、1A…HMD、1B…スマートフォン、2,D1,D2,DN…表示装置、11…表示面、12…カメラ、20…表示画面、22…カメラ、U1,U2,U3,UM…ユーザ。