特開 2022-176559 眼鏡型端末、プログラム及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022176559

(43)【公開日】2022-11-30

(54)【発明の名称】眼鏡型端末、プログラム及び画像表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221122BHJP

   H04N 13/344 20180101ALI20221122BHJP

   H04N 13/122 20180101ALI20221122BHJP

   H04N 13/371 20180101ALI20221122BHJP

   H04N 13/128 20180101ALI20221122BHJP

   H04N 13/363 20180101ALI20221122BHJP

【ＦＩ】

G06T19/00 600

H04N13/344

H04N13/122

H04N13/371

H04N13/128

H04N13/363

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021083054

(22)【出願日】2021-05-17

(71)【出願人】

【識別番号】521023539

【氏名又は名称】Ｃｅｌｌｉｄ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】白神 賢

【テーマコード（参考）】

5B050

5C061

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA01

5B050EA05

5B050EA06

5B050EA07

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5C061AA01

5C061AA23

5C061AB12

5C061AB14

5C061AB18

5C061AB20

(57)【要約】

【課題】適切な大きさの拡張現実画像を表示できるようにする。
【解決手段】眼鏡型端末１は、被写体を撮影することにより撮像画像データを作成する撮像部１１と、撮像画像データに含まれる被写体の特徴点に対応する点群データを作成する点群データ作成部１６１と、入力された点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに点群データ作成部１６１が作成した点群データを入力し、データ変換モデルから出力される深度値を取得することにより、眼鏡型端末１から、撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する被写体の位置までの奥行距離を特定する奥行距離特定部１６３と、奥行距離に基づいて決定した大きさのＡＲ画像を作成する画像作成部１６６と、ユーザＵが被写体を見ている状態でＡＲ画像をユーザＵが視認できるように表示する表示部１２と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

ユーザが装着する眼鏡型端末であって、
被写体を撮影することにより撮像画像データを作成する撮像部と、
前記撮像画像データに含まれる前記被写体の特徴点に対応する複数の特徴点データを含む点群データを作成する点群データ作成部と、
前記点群データが入力されると、前記点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに前記点群データ作成部が作成した点群データを入力し、前記データ変換モデルから出力される前記深度値を取得することにより、前記眼鏡型端末から、前記撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する前記被写体の位置までの奥行距離を特定する奥行距離特定部と、
前記奥行距離に基づいて決定した大きさの拡張現実画像を作成する画像作成部と、
前記ユーザが前記被写体を見ている状態で前記拡張現実画像を前記ユーザが視認できるように表示する表示部と、
を有する眼鏡型端末。

【請求項2】

複数の基準点群データと、前記眼鏡型端末の位置及び向きとを関連付けて記憶する記憶部と、
前記記憶部に記憶された前記複数の基準点群データと前記点群データ作成部が作成した前記点群データとを比較することにより、前記点群データ作成部が作成した前記点群データに対応する前記眼鏡型端末の現在位置及び現在向きを特定する位置特定部と、
をさらに有し、
前記画像作成部は、前記現在位置及び前記現在向きに基づいて前記拡張現実画像の種類、及び前記拡張現実画像の向き、位置又は大きさの少なくともいずれかを決定する、
請求項１に記載の眼鏡型端末。

【請求項3】

前記表示部は、
前記拡張現実画像が投影される透明なレンズと、
前記拡張現実画像を前記レンズに投影する投影部と、
を有し、
前記投影部は、前記ユーザが前記レンズを介して前記被写体を視認している間に、前記レンズに前記拡張現実画像を投影する、
請求項１又は２に記載の眼鏡型端末。

【請求項4】

前記奥行距離特定部が特定した前記奥行距離に基づいて、当該奥行距離に対応する前記特徴点の位置を前記ユーザが視認する際の視差を特定する視差特定部をさらに有し、
前記表示部は、前記ユーザの右目に対応する右側レンズと、前記ユーザの左目に対応する左側レンズと、を有し、
前記画像作成部は、前記視差に基づく角度だけ向きが異なる、前記右側レンズに投影される右側拡張現実画像と、前記左側レンズに投影される左側拡張現実画像と、を作成する、
請求項３に記載の眼鏡型端末。

【請求項5】

前記奥行距離特定部が特定した前記奥行距離に基づいて、当該奥行距離に対応する前記特徴点を前記ユーザが視認する際の視差を特定する視差特定部をさらに有し、
前記表示部は、前記ユーザの右目に対応する右側レンズと、前記ユーザの左目に対応する左側レンズと、を有し、
前記画像作成部は、前記右側レンズ及び前記左側レンズのそれぞれにおける位置が前記視差に基づく距離だけ異なる位置に投影されるように、前記右側レンズに投影される右側拡張現実画像と、前記左側レンズに投影される左側拡張現実画像と、を作成する、
請求項３に記載の眼鏡型端末。

【請求項6】

前記ユーザの右目と左目との間隔を特定する間隔特定部をさらに有し、
前記画像作成部は、前記視差特定部が特定した前記視差と、前記間隔特定部が特定した前記間隔とに基づいて前記右側拡張現実画像と前記左側拡張現実画像とを作成する、
請求項５に記載の眼鏡型端末。

【請求項7】

前記画像作成部は、前記被写体の位置に基づいて、前記眼鏡型端末の正面方向と、前記眼鏡型端末と前記被写体とを結ぶ方向と、の角度差を特定した結果に基づいて決定した大きさの前記右側拡張現実画像及び前記左側拡張現実画像を作成する、
請求項５又は６に記載の眼鏡型端末。

【請求項8】

コンピュータを、
被写体を撮影することにより作成された撮像画像データに含まれる前記被写体の特徴点に対応する複数の特徴点データを含む点群データを作成する点群データ作成部と、
前記点群データが入力されると、前記点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに前記点群データ作成部が作成した点群データを入力し、前記データ変換モデルから出力される前記深度値を取得することにより、前記被写体を撮影した端末から、前記撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する前記被写体の位置までの奥行距離を特定する奥行距離特定部と、
前記奥行距離に基づいて決定した大きさの拡張現実画像を作成する画像作成部と、
として機能させるためのプログラム。

【請求項9】

コンピュータが実行する、
被写体を撮影することにより作成された撮像画像データに含まれる前記被写体の特徴点に対応する複数の特徴点データを含む点群データを作成するステップと、
前記点群データが入力されると、前記点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに、作成した前記点群データを入力し、前記データ変換モデルから出力される前記深度値を取得することにより、前記被写体を撮影した端末から、前記撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する前記被写体の位置までの奥行距離を特定するステップと、
前記奥行距離に基づいて決定した大きさの拡張現実画像を作成するステップと、
を有する画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実画像を表示するための眼鏡型端末、プログラム及び画像表示方法に関する。

【背景技術】

【0002】

従来、情報端末が被写体を撮像して作成した撮像画像に含まれる被写体の特徴点に基づいてモバイル端末の位置を推定し、推定した位置に基づいて、モバイル端末が作成した撮像画像に拡張現実画像を重ね合わせて表示部に表示させるシステムが知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１７００６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特徴点に基づいて端末の位置を推定することができるとしても、撮像画像を生成した情報端末から被写体までの距離を特定することは困難である。したがって、情報端末を使用しているユーザが見ている被写体に対して適切な大きさで拡張現実画像を表示することができないという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、適切な大きさの拡張現実画像を表示できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の眼鏡型端末は、ユーザが装着する眼鏡型端末であって、被写体を撮影することにより撮像画像データを作成する撮像部と、前記撮像画像データに含まれる前記被写体の特徴点に対応する複数の特徴点データを含む点群データを作成する点群データ作成部と、前記点群データが入力されると、前記点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに前記点群データ作成部が作成した点群データを入力し、前記データ変換モデルから出力される前記深度値を取得することにより、前記眼鏡型端末から、前記撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する前記被写体の位置までの奥行距離を特定する奥行距離特定部と、前記奥行距離に基づいて決定した大きさの拡張現実画像を作成する画像作成部と、前記ユーザが前記被写体を見ている状態で前記拡張現実画像を前記ユーザが視認できるように表示する表示部と、を有する。

【0007】

前記眼鏡型端末は、複数の基準点群データと、前記眼鏡型端末の位置及び向きとを関連付けて記憶する記憶部と、前記記憶部に記憶された前記複数の基準点群データと前記点群データ作成部が作成した前記点群データとを比較することにより、前記点群データ作成部が作成した前記点群データに対応する前記眼鏡型端末の現在位置及び現在向きを特定する位置特定部と、をさらに有し、前記画像作成部は、前記現在位置及び前記現在向きに基づいて前記拡張現実画像の種類、及び前記拡張現実画像の向き、位置又は大きさの少なくともいずれかを決定してもよい。

【0008】

前記表示部は、前記拡張現実画像が投影される透明なレンズと、前記拡張現実画像を前記レンズに投影する投影部と、を有し、前記投影部は、前記ユーザが前記レンズを介して前記被写体を視認している間に、前記レンズに前記拡張現実画像を投影してもよい。

【0009】

前記眼鏡型端末は、前記奥行距離特定部が特定した前記奥行距離に基づいて、当該奥行距離に対応する前記特徴点の位置を前記ユーザが視認する際の視差を特定する視差特定部をさらに有し、前記表示部は、前記ユーザの右目に対応する右側レンズと、前記ユーザの左目に対応する左側レンズと、を有し、前記画像作成部は、前記視差に基づく角度だけ向きが異なる、前記右側レンズに投影される右側拡張現実画像と、前記左側レンズに投影される左側拡張現実画像と、を作成してもよい。

【0010】

前記奥行距離特定部が特定した前記奥行距離に基づいて、当該奥行距離に対応する前記特徴点を前記ユーザが視認する際の視差を特定する視差特定部をさらに有し、前記表示部は、前記ユーザの右目に対応する右側レンズと、前記ユーザの左目に対応する左側レンズと、を有し、前記画像作成部は、前記右側レンズ及び前記左側レンズのそれぞれにおける位置が前記視差に基づく距離だけ異なる位置に投影されるように、前記右側レンズに投影される右側拡張現実画像と、前記左側レンズに投影される左側拡張現実画像と、を作成してもよい。

【0011】

前記眼鏡型端末は、前記ユーザの右目と左目との間隔を特定する間隔特定部をさらに有し、前記画像作成部は、前記視差特定部が特定した前記視差と、前記間隔特定部が特定した前記間隔とに基づいて前記右側拡張現実画像と前記左側拡張現実画像とを作成してもよい。

【0012】

前記画像作成部は、前記被写体の位置に基づいて、前記眼鏡型端末の正面方向と、前記眼鏡型端末と前記被写体とを結ぶ方向と、の角度差を特定した結果に基づいて決定した大きさの前記右側拡張現実画像及び前記左側拡張現実画像を作成してもよい。

【0013】

本発明の第２の態様のプログラムは、コンピュータを、被写体を撮影することにより作成された撮像画像データに含まれる前記被写体の特徴点に対応する複数の特徴点データを含む点群データを作成する点群データ作成部と、前記点群データが入力されると、前記点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに前記点群データ作成部が作成した点群データを入力し、前記データ変換モデルから出力される前記深度値を取得することにより、前記被写体を撮影した端末から、前記撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する前記被写体の位置までの奥行距離を特定する奥行距離特定部と、前記奥行距離に基づいて決定した大きさの拡張現実画像を作成する画像作成部と、として機能させる。

【0014】

本発明の第３の態様の画像表示方法は、コンピュータが実行する、被写体を撮影することにより作成された撮像画像データに含まれる前記被写体の特徴点に対応する複数の特徴点データを含む点群データを作成するステップと、前記点群データが入力されると、前記点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに、作成した前記点群データを入力し、前記データ変換モデルから出力される前記深度値を取得することにより、前記被写体を撮影した端末から、前記撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する前記被写体の位置までの奥行距離を特定するステップと、前記奥行距離に基づいて決定した大きさの拡張現実画像を作成するステップと、を有する。

【発明の効果】

【0015】

本発明によれば、適切な大きさの拡張現実画像を表示できるようになるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】画像表示システムの構成を示す図である。

【図2】情報処理装置が機械学習モデルＭを有する場合における眼鏡型端末と情報処理装置との関係を示す図である。

【図3】眼鏡型端末のハードウェア構成を示す図である。

【図4】眼鏡型端末の機能構成を示す図である。

【図5】ユーザが見ている被写体の一例を示す図である。

【図6】点群データ作成部が作成した点群データの一例を示す図である。

【図7】画像作成部がＡＲ画像の大きさを決定する動作について説明するための図である。

【図8】画像作成部が右側用のＡＲ画像の位置と左側用のＡＲ画像の位置を決定する動作について説明するための図である。

【図9】眼鏡型端末における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0017】

［画像表示システムＳの構成］
図１は、画像表示システムＳの構成を示す図である。画像表示システムＳは、眼鏡型端末１及び情報処理装置２を備えており、眼鏡型端末１に拡張現実画像（以下、「ＡＲ画像」という。）を表示させることができる。眼鏡型端末１は、無線通信回線Ｗ及びネットワークＮを介して情報処理装置２との間でデータを送受信することができる。無線通信回線Ｗは、例えばＷｉ－Ｆｉ（登録商標）又は携帯通信回線である。ネットワークＮは、例えばインターネット又はイントラネットである。

【0018】

眼鏡型端末１は、ユーザＵが頭部に装着して使用する端末であり、透明なレンズの部分にＡＲ画像を表示することができる。ユーザＵは、レンズを通して周辺の被写体を見ながら、表示されたＡＲ画像を見ることができる。

【0019】

詳細については後述するが、眼鏡型端末１は、ユーザＵが見ている被写体に応じて、ＡＲ画像を表示する位置、ＡＲ画像の大きさ及びＡＲ画像の向きを決定する。眼鏡型端末１は、例えば、ＡＲ画像を近くに表示することが予め定められている被写体までの距離が大きい場合に、当該被写体までの距離が小さい場合に比べて小さくＡＲ画像を表示する。また、被写体とＡＲ画像との位置関係が予め定められている場合、ユーザＵと被写体との位置関係に応じて異なる向きにＡＲ画像を表示する。

【0020】

眼鏡型端末１は、ユーザＵが見ている領域を撮像して撮像画像データを作成する撮像デバイス（例えばカメラ）を有している。眼鏡型端末１は、撮像画像データに含まれている被写体の輪郭線上の複数の特徴点の画素値を含む点群データを作成し、眼鏡型端末１の位置及び向きが関連付けられた基準点群データを参照することにより、三次元空間における眼鏡型端末１の位置及び向きを特定する。眼鏡型端末１は、例えばＧＰＳ衛星から受信した電波に基づいて特定した概略の位置を示すデータを情報処理装置２に送信し、情報処理装置２から、概略の位置の周辺の位置及び向きに対応する基準点群データを取得する。

【0021】

眼鏡型端末１の位置は、例えば緯度・経度・高度によって表されてもよく、所定の位置を原点とするＸ座標・Ｙ座標・Ｚ座標によって表されてもよい。眼鏡型端末１の向きは、所定の向きに対する角度により表される。眼鏡型端末１の向きは、例えば北向きに対する角度により表される。

【0022】

また、眼鏡型端末１は、点群データを所定のデータ変換モデルに入力し、データ変換モデルから出力される点群データに含まれる複数の特徴点それぞれの深度値に基づいて、眼鏡型端末１の位置から点群データに対応する被写体までの奥行方向の距離（以下、「奥行距離」という場合がある。）を特定する。深度値は、眼鏡型端末１から特徴点データに対応する被写体の位置までの奥行方向の距離である。

【0023】

眼鏡型端末１は、例えば作成した点群データに含まれている複数の特徴点それぞれに対応する奥行距離を特定する。データ変換モデルは、点群データを入力すると、入力された点群データに対応する撮像画像データが撮像された位置から点群データに含まれている複数の特徴点までの奥行距離（すなわち被写体の特徴点までの距離）を出力するソフトウェア又はデータベースである。

【0024】

データ変換モデルは、例えば、点群データに含まれる複数の特徴点の位置の組み合わせ（すなわち点群のパターン）と、当該点群データに含まれる複数の特徴点それぞれの深度値とを教師データとして機械学習することにより作成された機械学習モデルである。眼鏡型端末１は、情報処理装置２から取得して記憶しているデータ変換モデルを使用してもよく、情報処理装置２が記憶さいているデータ変換モデルを使用してもよい。

【0025】

図２は、情報処理装置２が機械学習モデルＭを有する場合における眼鏡型端末１と情報処理装置２との関係を示す図である。眼鏡型端末１は、点群データを情報処理装置２に送信することにより、点群データを機械学習モデルＭに入力する。情報処理装置２は、機械学習モデルＭから出力される深度値を眼鏡型端末１に送信する。

【0026】

眼鏡型端末１は、眼鏡型端末１が記憶している複数のＡＲ画像又は情報処理装置２から取得可能な複数のＡＲ画像のうち、特定した眼鏡型端末１の位置及び向きに対応するＡＲ画像を、眼鏡型端末１の位置及び向きに対応する位置に表示させる。また、眼鏡型端末１は、眼鏡型端末１が特定した被写体の特徴点までの奥行距離に基づいて、表示させるＡＲ画像の大きさを決定する。

【0027】

眼鏡型端末１が作成した撮像画像データが二次元空間上の複数の位置に配置された画素により構成されている場合、眼鏡型端末１は、撮像画像データに含まれている被写体までの距離を特定することが困難である。このような場合、眼鏡型端末１は、被写体までの距離に適した大きさのＡＲ画像を表示することが困難である。

【0028】

しかし、眼鏡型端末１は、上記のとおり、点群データをデータ変換モデルに入力することにより、点群データに含まれる複数の特徴点までの距離を特定することができるので、眼鏡型端末１の位置及び向きに対応する位置に、適切な大きさのＡＲ画像を適切な向きで表示することができる。このような眼鏡型端末１は、ユーザＵが眼鏡型端末１を通して見ている被写体に対応する位置にテキスト又は図形を表示する観光案内用のアプリケーション又はゲームアプリケーション等のように、ＡＲ画像を利用する各種のアプリケーションに好適である。
以下、眼鏡型端末１の構成及び動作を詳細に説明する。

【0029】

［眼鏡型端末１の構成］
図３は、眼鏡型端末１のハードウェア構成を示す図である。図４は、眼鏡型端末１の機能構成を示す図である。

【0030】

図３に示すように、眼鏡型端末１は、撮像部１１と、右側レンズ１２１と、左側レンズ１２２と、右側投影部１２３と、左側投影部１２４と、を有する。右側レンズ１２１、左側レンズ１２２、右側投影部１２３及び左側投影部１２４は、図４に示す表示部１２を構成する。表示部１２は、ユーザＵが被写体を見ている状態でＡＲ画像をユーザが視認できるように表示する。表示部１２においては、右側投影部１２３が右側レンズ１２１に向けて投影画像Ｌ１と投影し、左側投影部１２４が左側レンズ１２２に向けて投影画像Ｌ２を投影することにより、ＡＲ画像を右側レンズ１２１及び左側レンズ１２２に表示する。

【0031】

撮像部１１は、被写体を撮影することにより撮像画像データを作成する撮像素子を有する。図３に示す例においては、撮像部１１が眼鏡型端末１の中央付近に設けられているが、撮像部１１が設けられている位置は、ユーザＵが見る領域に対応する撮像画像データを作成することができる限りにおいて任意である。

【0032】

右側レンズ１２１は、ユーザＵの右目に対応しており、ユーザＵが眼鏡型端末１を装着した状態でユーザＵの右目の前方に位置する。右側レンズ１２１は光透過性を有しており、ユーザＵは、右側レンズ１２１を介して周辺の被写体を見ることができる。また、右側レンズ１２１は、右側投影部１２３が投影したＡＲ画像をユーザＵが見ることができる態様で表示する。右側レンズ１２１は、例えば右側投影部１２３が右側レンズ１２１の一部の領域に投影した光を伝搬した後にユーザＵの右目に向けて屈折させる導光板を有している。

【0033】

左側レンズ１２２は、右側レンズ１２１と同等の構成を有する。左側レンズ１２２は、ユーザＵの左目に対応しており、ユーザＵが眼鏡型端末１を装着した状態でユーザＵの左目の前方に位置する。左側レンズ１２２は光透過性を有しており、ユーザＵは、左側レンズ１２２を介して周辺の被写体を見ることができる。また、左側レンズ１２２は、左側投影部１２４が投影したＡＲ画像をユーザＵが見ることができる態様で表示する。左側レンズ１２２は、例えば左側投影部１２４が左側レンズ１２２の一部の領域に投影した光を伝搬した後にユーザＵの右目に向けて屈折させる導光板を有している。

【0034】

右側投影部１２３は、ＡＲ画像を右側レンズ１２１に投影する。右側投影部１２３は、画像作成部１６６から入力された右目用のＡＲ画像を右側レンズ１２１に投影する。右側投影部１２３及び左側投影部１２４は、ユーザが右側レンズ１２１及び左側レンズ１２２を介して被写体を視認している間に、右側レンズ１２１及び左側レンズ１２２にＡＲ画像を投影する。

【0035】

左側投影部１２４は、ＡＲ画像を左側レンズ１２２に投影する。左側投影部１２４は、画像作成部１６６から入力された左目用のＡＲ画像を左側レンズ１２２に投影する。

【0036】

続いて、図４を参照しながら眼鏡型端末１の内部構成及び機能について説明する。図４に示すように、眼鏡型端末１は、撮像部１１及び表示部１２に加えて、操作部１３と、通信部１４と、記憶部１５と、制御部１６と、を有する。制御部１６は、点群データ作成部１６１と、位置特定部１６２と、奥行距離特定部１６３と、間隔特定部１６４と、視差特定部１６５と、画像作成部１６６と、を有する。

【0037】

操作部１３は、ユーザＵによる眼鏡型端末１の操作を受けるためのデバイスである。操作部１３は、例えばタッチスイッチ又はプッシュスイッチであってもよく、スマートフォン又はタブレット等の外部端末から操作用データを受信する近距離無線通信デバイスであってもよい。操作部１３は、ユーザＵの操作内容を示す操作データを間隔特定部１６４に入力する。

【0038】

通信部１４は、情報処理装置２とデータを送受信するための通信インターフェースを有する。通信部１４は、例えば無線通信回線Ｗを用いて通信するための無線通信コントローラを有する。通信部１４は、情報処理装置２から受信した深度値を奥行距離特定部１６３に入力する。通信部１４は、情報処理装置２から受信した基準点群データを記憶部１５に記憶させてもよい。

【0039】

記憶部１５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部１５は、制御部１６が実行するプログラムを記憶する。また、記憶部１５は、情報処理装置２から受信した基準点群データ、及び深度値データを記憶する。また、記憶部１５は、複数の基準点群データと、眼鏡型端末１の位置及び向きとを関連付けて記憶する。基準点群データに関連付けられた眼鏡型端末１の位置は、例えば緯度・経度・高度により表される。基準点群データに関連付けられた眼鏡型端末１の向きは、所定の向きに対する角度により表される。

【0040】

制御部１６は、例えばＣＰＵ（Central Processing Unit）を有している。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、点群データ作成部１６１、位置特定部１６２、奥行距離特定部１６３、間隔特定部１６４、視差特定部１６５及び画像作成部１６６として機能する。

【0041】

点群データ作成部１６１は、撮像部１１から入力された撮像画像データに含まれる被写体の特徴点に対応する複数の特徴点データを含む点群データを作成する。特徴点は、被写体の形状の特徴を示す点であり、撮像画像データに含まれる被写体の輪郭線上の点である。特徴点は、例えば輪郭線の方向が変化する点である。図５及び図６を参照して点群データについて説明する。

【0042】

図５は、ユーザＵが見ている被写体の一例を示す図である。図５（ａ）は、撮像部１１が作成した撮像画像データに対応しており、ユーザＵが正面を向いた状態で見た被写体Ｈ１～Ｈ６を示している。図５（ａ）における左右方向がＸ方向、上下方向がＹ方向、奥行方向がＺ方向である。図５（ｂ）は、ユーザＵが見ている空間を上方から見た状態を示している。

【0043】

図６は、図５（ａ）に示した被写体Ｈ１～Ｈ６が含まれる撮像画像データに基づいて点群データ作成部１６１が作成した点群データの一例を示す図である。図６においては、撮像画像データに含まれている被写体Ｈ１～Ｈ６の複数の特徴点が黒点により示されている。点群データに含まれる複数の特徴点データそれぞれには、例えば、撮像画像データにおけるＸ座標、Ｙ座標を示す座標データ、及び画素値（Ｒ値、Ｇ値、Ｂ値）が含まれている。点群データ作成部１６１は、作成した点群データを位置特定部１６２及び奥行距離特定部１６３に通知する。

【0044】

位置特定部１６２は、例えば記憶部１５に記憶された複数の基準点群データと点群データ作成部１６１が作成した点群データとを比較することにより、点群データ作成部１６１が作成した点群データに対応する現在位置及び現在向きを特定する。位置特定部１６２は、点群データ作成部１６１が作成した点群データに含まれている複数の特徴点の位置関係に最も近いパターンの基準点群データを選択し、選択した基準点群データに関連付けて記憶部１５に記憶されている位置及び向きを、眼鏡型端末１の位置及び向きとして特定する。位置特定部１６２は、情報処理装置２から複数の基準点群データを取得して、取得した複数の基準点群データと点群データ作成部１６１が作成した点群データとを比較してもよい。位置特定部１６２は、特定した眼鏡型端末１の位置及び向きを画像作成部１６６に通知する。

【0045】

奥行距離特定部１６３は、点群データ作成部１６１から通知された点群データに基づいて、点群データに含まれる少なくとも一部の特徴点データに対応する被写体の位置の深度値を特定する。奥行距離特定部１６３は、例えば、点群データ作成部１６１から点群データが入力されると、点群データに含まれる少なくとも一部の特徴点データに対応する深度値を出力するデータ変換モデルに点群データ作成部１６１が作成した点群データを入力する。奥行距離特定部１６３は、データ変換モデルから出力される、複数の特徴点データそれぞれに対応する深度値を取得することにより、眼鏡型端末１から、撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する被写体の位置までの奥行距離を特定する。

【0046】

情報処理装置２がデータ変換モデルとして機能する機械学習モデルを記憶している場合、奥行距離特定部１６３は、通信部１４を介して点群データを情報処理装置２に送信することにより、点群データをデータ変換モデルに入力し、データ変換モデルから出力される、複数の特徴点データそれぞれに対応する深度値を取得する。記憶部１５がデータ変換モデルを記憶している場合、奥行距離特定部１６３は、記憶部１５に記憶されているデータ変換モデルに点群データを入力することにより、複数の特徴点データそれぞれに対応する深度値を取得してもよい。

【0047】

間隔特定部１６４は、ユーザＵの右目と左目との間隔を特定する。間隔特定部１６４は、例えば、操作部１３から入力された操作内容が示す右目と左目の間隔を示す数値に基づいて、ユーザＵの右目と左目の間隔を特定する。撮像部１１が、ユーザＵの右目及び左目を撮像することができる場合、間隔特定部１６４は、撮像部１１がユーザＵの右目及び左目を撮像して作成された撮像画像データに基づいて右目と左目の間隔を特定してもよい。間隔特定部１６４は、特定した右目と左目の間隔を画像作成部１６６に通知する。

【0048】

視差特定部１６５は、奥行距離特定部１６３が特定した奥行距離に基づいて、当該奥行距離に対応する特徴点の位置をユーザＵが視認する際の視差を特定する。視差は、特定の奥行距離の位置にある点にＡＲ画像を表示する場合に、点群データ作成部１６１における点群データ作成部１６１の基準点に対する位置と、奥行距離特定部１６３における奥行距離特定部１６３の基準点に対する位置との差である。

【0049】

視差特定部１６５は、ＡＲ画像を表示する位置が眼鏡型端末１から遠ければ遠いほど視差を小さくし、ＡＲ画像を表示する位置が眼鏡型端末１に近ければ近いほど視差が大きくする。視差特定部１６５は、例えば、予め奥行距離と視差とが関連付けられた視差算出用テーブルを参照することにより視差を特定してもよく、奥行距離と視差との関係を示す式を用いて視差を特定してもよい。

【0050】

画像作成部１６６は、ユーザＵが表示部１２で見るためのＡＲ画像データが含まれる表示用画像データを作成する。画像作成部１６６は、表示用データとして、例えば右側投影部１２３が右側レンズ１２１に投影する右側投影画像データ、及び左側投影部１２４が左側レンズ１２２に投影する左側投影画像データを作成する。画像作成部１６６は、眼鏡型端末１の現在位置及び現在向きに基づいてＡＲ画像の種類、及び拡張現実画像の向き、位置又は大きさの少なくともいずれかを決定する。ＡＲ画像の種類は、ＡＲ画像の形状、色、ＡＲ画像に含まれるテキストの内容等により定められる。拡張現実画像の位置は、右側投影画像データ及び左側投影画像データに対応する画像領域における位置であり、眼鏡型端末１によりユーザが拡張現実画像を見る位置に対応する。

【0051】

画像作成部１６６は、奥行距離特定部１６３から通知された位置に、奥行距離特定部１６３から通知された向きに対応する向きのＡＲ画像をユーザＵが見ることができるように表示用画像データを作成する。また、奥行距離に基づいて決定した大きさのＡＲ画像をユーザＵが見ることができるように投影用画像データを作成する。画像作成部１６６は、奥行距離が大きければ大きいほど小さいＡＲ画像を作成する。画像作成部１６６は、例えば、奥行距離特定部１６３が特定した奥行距離とＡＲ画像の大きさとの関係が、基準となる奥行距離とＡＲ画像の大きさとの関係と同じになるように、ＡＲ画像の大きさを決定する。

【0052】

図７及び図８は、画像作成部１６６の動作について説明するための図である。図７は、画像作成部１６６がＡＲ画像の大きさを決定する動作について説明するための図である。図７（ａ）及び図７（ｂ）は、それぞれ被写体までの奥行距離が異なる状態でユーザＵが見ている被写体Ｈ１～Ｈ６が含まれている空間に重ねてＡＲ画像Ａ１及びＡＲ画像Ａ２が表示された状態を示している。図７（ａ）は、図７（ｂ）よりも被写体に近い位置からユーザＵが被写体を見ている状態を示している。

【0053】

この場合、画像作成部１６６は、図７（ｂ）の状態において、図７（ａ）の状態で表示されるＡＲ画像Ａ１よりも小さいＡＲ画像Ａ２をユーザＵが見るように投影画像データを作成する。このように、画像作成部１６６が、奥行距離特定部１６３が特定した奥行方向の距離に応じて異なる大きさのＡＲ画像データを作成することにより、ユーザＵは、被写体の大きさに適した大きさのＡＲ画像を見ることができる。

【0054】

図８は、画像作成部１６６が右側用のＡＲ画像の位置と左側用のＡＲ画像の位置を決定する動作について説明するための図である。図８に示す枠の左右方向の幅は、画像作成部１６６が作成する表示用画像の左右方向の幅に相当する。図８におけるＡＲ画像Ｂは、ユーザＵが見るＡＲ画像である。図８においては、ＡＲ画像Ｂが、側面に１本の縦線が描かれた円柱であるという場合を例示している。

【0055】

画像作成部１６６は、右側レンズ１２１及び左側レンズ１２２のそれぞれにおける位置が視差に基づく距離だけ異なる位置に投影されるように、右側レンズ１２１に投影される右側ＡＲ画像ＢＲと、左側レンズに投影される左側ＡＲ画像ＢＬと、を作成する。また、画像作成部１６６は、視差に基づく角度だけ向きが異なる、右側レンズに投影される右側ＡＲ画像ＢＲと、左側レンズに投影される左側ＡＲ画像ＢＬと、を作成する。

【0056】

図８（ａ）は、眼鏡型端末１からＡＲ画像を表示する位置（被写体Ｈ３と被写体Ｈ６の付近）までの距離がＤ１である場合を示している。ＡＲ画像ＢＲ１は、点群データ作成部１６１に表示される右側画像データにおけるＡＲ画像の位置に対応しており、ＡＲ画像ＢＬ１は、点群データ作成部１６１に表示される左側画像データにおけるＡＲ画像の位置に対応している。

【0057】

図８（ｂ）は、眼鏡型端末１からＡＲ画像を表示する位置までの距離がＤ１よりも大きいＤ２である場合を示している。ＡＲ画像ＢＲ２は、点群データ作成部１６１に表示される右側画像データにおけるＡＲ画像の位置を示しており、ＡＲ画像ＢＬ２は、点群データ作成部１６１に表示される左側画像データにおけるＡＲ画像の位置を示している。眼鏡型端末１からＡＲ画像を表示する位置までの距離が大きければ大きいほど視差が小さくなるので、図８（ｂ）に示すように、ＡＲ画像ＢＲ２とＡＲ画像ＢＬ２との間隔は、図８（ａ）におけるＡＲ画像ＢＲ１とＡＲ画像ＢＬ１との間隔よりも小さい。

【0058】

また、図８（ａ）におけるＡＲ画像ＢＲ１とＡＲ画像ＢＬ１のそれぞれに描かれている縦線の位置の差と、図８（ｂ）におけるＡＲ画像ＢＲ２とＡＲ画像ＢＬ２のそれぞれに描かれている縦線の位置の差とが異なっているように、右側ＡＲ画像の向きと左側ＡＲ画像との角度差は視差に基づいて決定されている。

【0059】

このように、画像作成部１６６は、ユーザＵがいる空間における眼鏡型端末１からＡＲ画像を表示する位置までの距離に基づいて、右側レンズ１２１にＡＲ画像を表示する位置と左側レンズ１２２にＡＲ画像を表示する位置との差、及び右側レンズ１２１に表示するＡＲ画像の向きと左側レンズ１２２に表示するＡＲ画像の向きとの差を決定する。その結果、ユーザＵは、右目で見るＡＲ画像と左目で見るＡＲ画像とがずれることなくＡＲ画像を見ることができる。

【0060】

画像作成部１６６は、間隔特定部１６４から入力されたユーザＵの右目と左目の間隔にさらに基づいて、右側レンズ１２１にＡＲ画像を表示する位置と左側レンズ１２２にＡＲ画像を表示する位置とを決定してもよい。すなわち、画像作成部１６６は、視差特定部１６５が特定した視差と、間隔特定部１６４が特定した右目と左目の間隔とに基づいて右側ＡＲ画像と左側ＡＲ画像とを作成する。

【0061】

画像作成部１６６は、右目と左目の間隔が大きければ大きいほど、右側レンズ１２１にＡＲ画像を表示する位置と左側レンズ１２２にＡＲ画像を表示する位置との間隔を大きくする。また、画像作成部１６６は、右目と左目の間隔が大きければ大きいほど、右側レンズ１２１に表示するＡＲ画像の向きと左側レンズ１２２に表示するＡＲ画像の向きとの角度差を大きくする。画像作成部１６６がこのように動作することで、ユーザＵの右目と左目の間隔に適した位置に右目用ＡＲ画像及び左目用ＡＲ画像のそれぞれを表示することができるので、右目で見るＡＲ画像と左目で見るＡＲ画像とがずれることを防げる。

【0062】

画像作成部１６６は、被写体の位置に基づいて、眼鏡型端末１の正面方向と、眼鏡型端末１と被写体とを結ぶ方向と、の角度差を特定し、特定した結果に基づいて決定した大きさの右側拡張現実画像及び左側拡張現実画像を作成してもよい。画像作成部１６６は、角度差がない場合、右側拡張現実画像の大きさと左側拡張現実画像の大きさとを同じにする。画像作成部１６６は、角度差が大きければ大きいほど、右側拡張現実画像の大きさと左側拡張現実画像の大きさとの差を大きくする。画像作成部１６６は、例えば被写体の位置が眼鏡型端末１の正面方向に対して右側にある場合、右側拡張現実画像を左側拡張現実画像よりも大きくする。画像作成部１６６が右側拡張現実画像及び左側拡張現実画像の大きさをこのように決定することにより、右側拡張現実画像と左側拡張現実画像とが同等の大きさでユーザの網膜に投影されるので、ユーザが鮮明な拡張現実画像を見ることができる。

【0063】

［眼鏡型端末１における処理の流れ］
図９は、眼鏡型端末１における処理の流れを示すフローチャートである。図９に示す処理は、眼鏡型端末１においてＡＲ画像を表示する操作が行われた時点から開始している。

【0064】

点群データ作成部１６１は、撮像部１１が作成した撮像画像データを取得する（Ｓ１１）。点群データ作成部１６１は、取得した撮像画像データに基づいて点群データを作成する（Ｓ１２）。位置特定部１６２は、記憶部１５に記憶されている複数の基準点群データと、点群データ作成部１６１が作成した点群データとを比較することにより、眼鏡型端末１の位置及び向きを特定する（Ｓ１３）。

【0065】

また、奥行距離特定部１６３は、点群データ作成部１６１が作成した点群データをデータ変換モデルに入力することにより（Ｓ１４）、眼鏡型端末１から点群データに含まれている特徴点それぞれまでの奥行距離を特定する（Ｓ１５）。視差特定部１６５は、奥行距離特定部１６３が特定した奥行距離に基づいて視差を特定する（Ｓ１６）。なお、Ｓ１３の処理と、Ｓ１４及びＳ１５の処理との実行順序は任意である。

【0066】

続いて、画像作成部１６６は、位置特定部１６２がＳ１３において特定した眼鏡型端末１の位置及び向きに基づいて、ＡＲ画像を表示する位置及び向きを決定する。また、画像作成部１６６は、奥行距離特定部１６３がＳ１５において特定した奥行距離に基づいて、ＡＲ画像の大きさを決定する。さらに、画像作成部１６６は、視差特定部１６５がＳ１６において特定した視差に基づいて、右目用ＡＲ画像の位置と左目用ＡＲ画像の位置を決定し（Ｓ１７）、表示部１２に入力する画像データを作成する。画像作成部１６６は、作成した画像データを表示部１２に入力することにより、ＡＲ画像を表示部１２に表示させる（Ｓ１８）。

【0067】

制御部１６は、ＡＲ画像を表示する動作を終了するための操作をユーザＵから受け付けるまで（Ｓ１９においてＮＯ）、Ｓ１１からＳ１８までの処理を繰り返す。制御部１６は、ＡＲ画像を表示する動作を終了するための操作をユーザＵから受け付けると（Ｓ１９においてＹＥＳ）、ＡＲ画像を表示する処理を終了する。

【0068】

［変形例］
以上の説明においては、右側レンズ１２１及び左側レンズ１２２が透過性を有しており、ユーザＵが、右側レンズ１２１及び左側レンズ１２２を介して被写体を見るという場合を説明したが、画像作成部１６６は、ＡＲ画像とともに、撮像部１１が作成した撮像画像データに基づく撮像画像を表示部１２に表示させてもよい。この場合、右側レンズ１２１及び左側レンズ１２２のそれぞれに視差が考慮された画像が表示されるように、撮像部１１が、右側レンズ１２１の近傍に右目用の撮像素子を有しており、左側レンズ１２２の近傍に左目用の撮像素子を有しており、画像作成部１６６は、右目用の撮像画像を右側レンズ１２１に表示させ、左目用の撮像画像を左側レンズ１２２に表示させることが望ましい。

【0069】

［眼鏡型端末１による効果］
以上説明したように、眼鏡型端末１は、撮像画像データに基づいて点群データ作成部１６１が作成した点群データをデータ変換モデルに入力し、データ変換モデルから出力される深度値を取得することにより、眼鏡型端末１から、撮像画像データに含まれる少なくとも一部の複数の特徴点に対応する被写体の位置までの奥行距離を特定する。そして、画像作成部１６６は、特定された奥行距離に基づいて、被写体の位置の近傍に表示させるＡＲ画像の大きさを決定する。

【0070】

眼鏡型端末１がこのように構成されていることで、撮像部１１が作成した撮像画像データが二次元平面上の複数の画素の画素値により構成され、点群データ作成部１６１が作成した点群データに深度値が含まれていない場合であっても、適切な大きさのＡＲ画像を表示部１２に表示することができる。

【0071】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0072】

１ 眼鏡型端末
２ 情報処理装置
１１ 撮像部
１２ 表示部
１３ 操作部
１４ 通信部
１５ 記憶部
１６ 制御部
１２１ 右側レンズ
１２２ 左側レンズ
１２３ 右側投影部
１２４ 左側投影部
１６１ 点群データ作成部
１６２ 位置特定部
１６３ 奥行距離特定部
１６４ 間隔特定部
１６５ 視差特定部
１６６ 画像作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】