特開 2023-130230 ＡＲ表示装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023130230

(43)【公開日】2023-09-20

(54)【発明の名称】ＡＲ表示装置及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230912BHJP

   G06T 7/00 20170101ALI20230912BHJP

   G06F 3/0484 20220101ALI20230912BHJP

   G06F 3/01 20060101ALI20230912BHJP

【ＦＩ】

G06T19/00 600

G06T7/00 350C

G06F3/0484

G06F3/01 510

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022034782

(22)【出願日】2022-03-07

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】田中 大

(72)【発明者】

【氏名】川喜田 裕之

(72)【発明者】

【氏名】澤畠 康仁

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050AA00

5B050BA06

5B050BA09

5B050BA11

5B050BA12

5B050BA13

5B050CA01

5B050DA01

5B050EA19

5B050EA26

5B050FA02

5E555AA25

5E555AA26

5E555AA63

5E555BA02

5E555BA04

5E555BA38

5E555BB02

5E555BB04

5E555BB38

5E555BC04

5E555BE17

5E555CA10

5E555CA42

5E555CA44

5E555CB21

5E555CB56

5E555DA08

5E555DA09

5E555DC09

5E555DC23

5E555FA00

5L096FA02

5L096HA11

5L096KA04

(57)【要約】

【課題】日常生活の邪魔にならず、かつ視界に認識できる領域にバーチャルオブジェクトを表示させる。
【解決手段】ＡＲ表示装置１は、外界映像のサリエンシーマップを生成し、サリエンシーマップに基づいて、非注視の確率分布を示す非注視分布を決定する非注視分布決定部２１１と、前時刻のＡＲ表示領域から時間的に連続する確率分布を示す時間連続分布を決定する時間連続分布決定部２１３と、非注視分布及び時間連続分布の積を、表示候補分布として計算する表示候補分布計算部２１４と、表示候補分布に基づいて、ＡＲ表示領域の中心座標を決定する中心座標決定部２２と、ＡＲ表示領域の中心が中心座標に位置するように制御する投影制御部２３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

外界映像に応じて、ＡＲ映像の表示領域であるＡＲ表示領域を変更するＡＲ表示装置であって、
外界映像のサリエンシーマップを生成し、該サリエンシーマップに基づいて、非注視の確率分布を示す非注視分布を決定する非注視分布決定部と、
外界映像において前時刻の前記ＡＲ表示領域から時間的に連続する確率分布を示す時間連続分布を決定する時間連続分布決定部と、
前記非注視分布及び前記時間連続分布の積を、表示候補分布として計算する表示候補分布計算部と、
前記表示候補分布に基づいて、前記ＡＲ表示領域の中心座標を決定する中心座標決定部と、
前記ＡＲ表示領域の中心が前記中心座標に位置するように制御する投影制御部と、
を備える、ＡＲ表示装置。

【請求項2】

前記時間連続分布決定部は、１時刻前のＡＲ表示領域の中心座標、及び前記時間連続分布の範囲を指定する探索範囲パラメータに基づいて前記時間連続分布を決定し、該探索範囲パラメータはユーザの指示に基づいて変更可能である、請求項１に記載のＡＲ表示装置。

【請求項3】

外界映像において低視聴負荷の確率分布を示す低負荷分布を決定する低負荷分布決定部を更に備え、
前記表示候補分布計算部は、前記非注視分布、前記時間連続分布、及び前記低負荷分布の積を、前記表示候補分布として計算する、請求項１又は２に記載のＡＲ表示装置。

【請求項4】

前記低負荷分布決定部は、前記低負荷分布の範囲を指定する低負荷分布パラメータに基づいて前記低負荷分布を決定し、該低負荷分布パラメータはユーザの指示に基づいて変更可能である、請求項３に記載のＡＲ表示装置。

【請求項5】

前記投影制御部は、傾きセンサにより計測された当該ＡＲ表示装置の傾きを用いて、前記ＡＲ映像が地面に対して水平を保つように制御する、請求項１から４のいずれか一項に記載のＡＲ表示装置。

【請求項6】

前記中心座標決定部は、第２ＡＲ映像の中心座標である第２中心座標に基づいて、前記ＡＲ表示領域が前記第２ＡＲ映像の表示領域と重ならないように前記中心座標を決定する、請求項１から５のいずれか一項に記載のＡＲ表示装置。

【請求項7】

コンピュータを、請求項１から６のいずれか一項に記載のＡＲ表示装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＲ（Augmented Reality；拡張現実）表示装置及びプログラムに関する。

【背景技術】

【0002】

近年、メガネ型デバイスが開発・販売され、ウェアラブルデバイスとしての需要が高まっている。メガネ型デバイスには多様な種類が存在し、ＡＲ機能を有するものがある（例えば、非特許文献１参照）。

【0003】

ＡＲグラスのようなＡＲ表示装置が十分に普及した状況では、常時着用も想定される。ＡＲ表示装置を着用することで、日常生活の中にバーチャルオブジェクトが表示され、多様な情報に対してシームレスにアクセスすることが可能になる。スマートフォンやＴＶといったハードウェア型ディスプレイの情報提示デバイスと比べ、ＡＲ表示装置によるディスプレイは枠が表示されないことも特徴となる。また、スマートフォンに比べ、視野に対してより広い空間に情報を提示できることも特徴である。

【0004】

ＡＲ表示装置で映像視聴を行う場合、現実には存在しないバーチャルなディスプレイにより映像を視聴することができる。ＡＲ表示装置によるオブジェクトの表示方法は、以下の３つの方法が主流である。第１の方法は、空間の任意の場所に配置し、ユーザが動いても物体の座標がその位置に固定されるものである。これはＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズムにより外界を認識し、実際のオブジェクトと同じようにその場所に存在し続けるものである。第２の方法は、頭部座標系に対して固定し、視野のある特定の領域に表示し続ける方法である。これは外部の情報を必要としない、最も簡易な方法である。第３の方法は、Tagalongと呼ばれるアルゴリズムで、表示領域外にオブジェクトが出た場合に表示領域に入るように動くものである（例えば、非特許文献２参照）。

【0005】

一方、人が注視する確率の高い領域はサリエンシーマップ（顕著性マップ）と称され、サリエンシーマップを推定する方法が開示されている（例えば、非特許文献３及び４参照）。また、サリエンシーマップを用いて情報提示領域の導出を試みる研究も行われている（例えば、非特許文献５及び特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０-４２７５９号公報

【非特許文献】

【0007】

【非特許文献1】Microsoft、「Hololens 2」、[online]、[2022年1月28日検索]、インターネット<https://www.microsoft.com/ja-jp/hololens/hardware>

【非特許文献2】Microsoft、「Billboard と tag-along」、[2022年1月28日検索]、インターネット<URL:https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/billboarding-and-tag-along>

【非特許文献3】Laurent Itti, Christof Koch, and Ernst Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on pattern analysis and machine intelligence, Vol. 20, No. 11, pp. 1254-1259, 1998

【非特許文献4】Ting Zhao and Xiangqian Wu, “Pyramid feature attention network for saliency detection,” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3085-3094, 2019

【非特許文献5】Takayuki Abe, Sho Takahashi, and Toru Hagiwara, “A calculation method of degree of data indication regions in first-person view videos for improvement transportation,” In 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE), pp. 558-559. IEEE, 2019

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、上記のＡＲ表示の第１の方法では、自分が移動する際、又は顔が異なる方向を向いた際に、視界からオブジェクトが無くなる。そのため、映像視聴のように連続性があり、なるべくユーザにオブジェクトを提示する時間を延ばしたい場合には適さない。また、上記第２の方法では、日常生活においてリアルのオブジェクトを視認する際に、邪魔になってしまうおそれがある。また、第３の方法では、リアルのオブジェクトの認識をインタラプトしてしまうという問題がある。なお、これらの議論については下記参考文献１に詳しい。
［参考文献１］川喜田裕之、外３名、「3D空間における2D動画の形態に関する検討」、In HCG2018-I-1-1. HCG シンポジウム 2018、2018年

【0009】

また、従来の、サリエンシーマップを用いて情報提示領域を導出する方法は、ＡＲグラス中の映像を対象とした一人称視点の移動に関して考慮できていないという問題があった。

【0010】

かかる事情に鑑みてなされた本発明の目的は、日常生活の邪魔にならず、かつ視界に認識できる領域にバーチャルオブジェクトを表示させることが可能なＡＲ表示装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記課題を解決するため、一実施形態に係るＡＲ表示装置は、外界映像に応じて、ＡＲ映像の表示領域であるＡＲ表示領域を変更するＡＲ表示装置であって、外界映像のサリエンシーマップを生成し、該サリエンシーマップに基づいて、非注視の確率分布を示す非注視分布を決定する非注視分布決定部と、前時刻の前記ＡＲ表示領域から時間的に連続する確率分布を示す時間連続分布を決定する時間連続分布決定部と、前記非注視分布及び前記時間連続分布の積を、表示候補分布として計算する表示候補分布計算部と、前記表示候補分布に基づいて、前記ＡＲ表示分布の中心座標を決定する中心座標決定部と、前記ＡＲ表示領域の中心が前記中心座標に位置するように制御する投影制御部と、を備える。

【0012】

さらに、一実施形態において、前記時間連続分布決定部は、外界映像において１時刻前のＡＲ表示領域の中心座標、及び前記時間連続分布の範囲を指定する探索範囲パラメータに基づいて前記時間連続分布を決定し、該探索範囲パラメータはユーザの指示に基づいて変更可能であってもよい。

【0013】

さらに、一実施形態において、外界映像において低視聴負荷の確率分布を示す低負荷分布を決定する低負荷分布決定部を更に備え、前記表示候補分布計算部は、前記非注視分布、前記時間連続分布、及び前記低負荷分布の積を、前記表示候補分布として計算してもよい。

【0014】

さらに、一実施形態において、前記低負荷分布決定部は、前記低負荷分布の範囲を指定する低負荷分布パラメータに基づいて前記低負荷分布を決定し、該低負荷分布パラメータはユーザの指示に基づいて変更可能であってもよい。

【0015】

さらに、一実施形態において、前記投影制御部は、傾きセンサにより計測された当該ＡＲ表示装置の傾きを用いて、前記ＡＲ映像が地面に対して水平を保つように制御してもよい。

【0016】

さらに、一実施形態において、前記中心座標決定部は、第２ＡＲ映像の中心座標である第２中心座標に基づいて、前記ＡＲ表示領域が前記第２ＡＲ映像の表示領域と重ならないように前記中心座標を決定してもよい。

【0017】

また、一実施形態係るプログラムは、コンピュータを、上記ＡＲ表示装置として機能させる。

【発明の効果】

【0018】

本発明によれば、生活の邪魔にならず、かつ視界に認識できる領域にバーチャルオブジェクトを表示させることが可能となる。

【図面の簡単な説明】

【0019】

【図1】第１の実施形態に係るＡＲ表示装置の構成例を示すブロック図である。

【図2】第１の実施形態に係るＡＲ表示装置における表示候補分布決定部の構成例を示すブロック図である。

【図3】第１の実施形態に係るＡＲ表示装置における非注視分布決定部によるサリエンシーマップ推定の一例を示す模式図である。

【図4】第１の実施形態に係るＡＲ表示装置における低負荷分布決定部が決定する低負荷分布の一例を示す模式図である。

【図5】第１の実施形態に係るＡＲ表示装置における時間連続分布決定部が決定する時間連続分布の一例を示す模式図である。

【図6】第１の実施形態に係るＡＲ表示装置における表示候補分布計算部の処理を説明する図である。

【図7】第１の実施形態に係るＡＲ表示装置の着用時の動作を説明するフローチャートである。

【図8】第１の実施形態に係るＡＲ表示装置を着用したユーザから見たＡＲ映像の挙動を示す図である。

【図9】第２の実施形態に係るＡＲ表示装置の構成例を示すブロック図である。

【図10】第２の実施形態に係るＡＲ表示装置におけるパラメータ変更部と表示候補分布決定部の構成例を示すブロック図である。

【図11】第２の実施形態に係るＡＲ表示装置の着用時の動作を説明するフローチャートである。

【図12】第３の実施形態に係るＡＲ表示装置の構成例を示すブロック図である。

【図13】第３の実施形態に係るＡＲ表示装置の着用時の動作を説明するフローチャートである。

【図14】第４の実施形態に係るＡＲ表示装置の構成例を示すブロック図である。

【図15】第４の実施形態に係るＡＲ表示装置における表示候補分布決定部の構成例を示すブロック図である。

【図16】第４の実施形態に係るＡＲ表示装置の着用時の動作を説明するフローチャートである。

【発明を実施するための形態】

【0020】

本明細書では特に、カメラを搭載して外界の状態に応じてバーチャルオブジェクト（ＡＲ映像）を表示するＡＲ機能を有する、メガネ型のＡＲ表示装置について、図面を参照して詳細に説明する。

【0021】

（第１の実施形態）
第１の実施形態に係るＡＲ表示装置について、以下に説明する。図１に、第１の実施形態に係るＡＲ表示装置の構成例を示す。図１に示すＡＲ表示装置１は、外界映像取得部１０と、制御部２０と、記憶部３０と、表示部４０と、を備え、外界映像に応じて、ＡＲ映像の表示領域（以下、「ＡＲ表示領域」という。）を変更する。

【0022】

外界映像取得部１０は、ＡＲ表示装置１の外部を撮像して外界映像を取得する撮像装置（小型カメラ）である。外界映像取得部１０は、外界映像を制御部２０に出力する。

【0023】

制御部２０は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。制御部２０は、表示候補分布決定部２１と、中心座標決定部２２と、投影制御部２３と、を備える。

【0024】

表示候補分布決定部２１は、ＡＲ映像を表示させる候補となる表示候補領域の確率分布を決定し、中心座標決定部２２に出力する。ＡＲ表示装置１は、ＡＲ映像を、人物・文字といった人間が注視する確率の高い領域を避け、かつ映像視聴をしやすい位置に表示する。具体的には、ＡＲ映像を、（ア）ユーザが注視する確率が閾値以下の非注視領域、（イ）ユーザの視野内における視聴負荷が閾値以下の（すなわち、見やすい）低負荷領域、（ウ）前時刻のＡＲ表示領域から連続する時間連続領域、という３つの要件を同時に満たす領域に表示する。

【0025】

図２は、表示候補分布決定部２１の構成例を示すブロック図である。図２に示す表示候補分布決定部２１は、非注視分布決定部２１１と、低負荷分布決定部２１２と、時間連続分布決定部２１３と、表示候補分布計算部２１４と、を備える。表示候補分布決定部２１は、低負荷分布決定部２１２及び時間連続分布決定部２１３のいずれか一方のみを備えていてもよい。

【0026】

非注視分布決定部２１１は、外界映像取得部１０によって取得された外界映像のサリエンシーマップを生成し、サリエンシーマップに基づいて、非注視の確率分布を示す非注視分布を決定し、表示候補分布計算部２１４に出力する。

【0027】

図３は、畳み込みニューラルネットワークを用いたサリエンシーマップ推定の一例を示す模式図である。斜線で示す領域はサリエンシーが高いと推定された領域である。この模式図では、サリエンシーが高いほど斜線の間隔を狭くしている。つまり、目の前に人Ｍがいる場合はその人Ｍを注視する可能性が高いことを示している。サリエンシーの高さは、各画素に対して定義される。非注視分布決定部２１１は、各画素に対して推定されたサリエンシーの値を最大値から引くことで、非注視の確率分布として利用する。以下では、ある時刻ｔにおけるＡＲ表示領域の中心座標をＸ_ｔとし、非注視分布をｐ（Ｘ_ｔ｜Ｓ￣）と表記する。

【0028】

低負荷分布決定部２１２は、目線の高さを基準にして、外界映像（ユーザの視野内）における低視聴負荷の確率分布を示す低負荷分布を決定し、表示候補分布計算部２１４に出力する。確率分布は、例えば２次元の一様分布又は正規分布とすることができる。

【0029】

図４は、低負荷分布の一例を示す模式図である。低負荷分布は、人間工学によりモデリングが可能である。ＰＣモニタの場合、下記参考文献２に開示されているように、モニタの上部の高さと目線の高さが一致することが作業上好ましいという知見がある。このようなＰＣモニタ配置ガイドラインを利用し、低負荷分布決定部２１２は、目線の高さを基準に低負荷分布を定義する。デバイス毎に表示可能な領域幅は異なり、また人によっても変動するため、低負荷分布は可変な確率分布である。そのため、低負荷分布決定部２１２は、外部から低負荷分布の範囲を指定する低負荷分布パラメータを取得し、低負荷分布パラメータに基づいて低負荷分布を決定してもよい。低負荷分布パラメータは、例えば目線の高さを基準とした下方向の角度である。図４に示す例では、ユーザの見下ろす角度が所定の範囲内となる低負荷分布の範囲Ｌを示している。以下では、低負荷分布をｐ（Ｘ_ｔ｜Ｈ）と表記する。
［参考文献２］Microsoft、「作業環境の調整」、[2022年1月14日検索]、インターネット<URL:https://support.microsoft.com/ja-jp/topic/%E4%BD%9C%E6%A5%AD%E7%92%B0%E5%A2%83%E3%81%AE%E8%AA%BF%E6%95%B4-e9f3fc2c-e6fa-d27f-78c4-274b3669c425>

【0030】

時間連続分布決定部２１３は、外界映像において前時刻のＡＲ表示領域から時間的に連続する確率分布を示す時間連続分布を決定し、表示候補分布計算部２１４に出力する。時間連続分布は、例えば２次元の一様分布又は正規分布とすることができる。

【0031】

図５は、時間連続分布の一例を示す模式図である。時間連続分布決定部２１３は、記憶部３０から１時刻前（すなわち、直前）のＡＲ表示領域の中心座標Ｘ_ｔ-１を取得し、中心座標Ｘ_ｔ-１の周囲の領域を時間連続分布の範囲として決定する。なお、初期状態の場合には、時間連続分布決定部２１３は、記憶部３０から中心座標の初期値を取得して時間連続分布を決定する。時間連続分布決定部２１３は、外部から時間連続分布の範囲を指定する探索範囲パラメータを取得し、中心座標Ｘ_ｔ-１及び探索範囲パラメータに基づいて時間連続分布を決定してもよい。探索範囲パラメータは、例えば円の半径である。図５に示す例では、中心座標Ｘ_ｔ-１を中心とし、半径を探索範囲パラメータで指定される値とする円を時間連続分布の範囲Ｃとして示している。以下では、時間連続分布をｐ（Ｘ_ｔ｜Ｘ_ｔ-１）と表記する。

【0032】

表示候補分布計算部２１４は、非注視分布決定部２１１により決定された非注視分布ｐ（Ｘ_ｔ｜Ｓ￣）、低負荷分布決定部２１２により決定された低負荷分布ｐ（Ｘ_ｔ｜Ｈ）、及び時間連続分布決定部２１３により決定された時間連続分布ｐ（Ｘ_ｔ｜Ｘ_ｔ-１）の積を表示候補分布として計算する。

【0033】

図６は、表示候補分布計算部２１４による処理を説明する図である。３つの条件により与えられる中心座標Ｘ_ｔの確率分布ｐ（Ｘ_ｔ｜Ｓ￣，Ｈ，Ｘ_ｔ-１）は、ベイズの定理を用いて式（１）に示すように、３つの確率分布の積に比例する。ここで、∝は比例を表す記号であり、中心座標Ｘ_ｔの事前分布は一様分布とする。つまり、表示候補分布計算部２１４は、３つそれぞれの確率分布の積を各画素に対して計算することで、３つの条件を満たす表示候補分布を求める。

【0034】

【数1】

【0035】

中心座標決定部２２は、表示候補分布決定部２１により算出された表示候補分布に基づいて、ＡＲ表示領域の中心座標Ｘ_ｔを決定し、投影制御部２３及び記憶部３０に出力する。表示候補領域が分布として与えられるため、中心座標決定部２２は、期待値計算により最適な座標を計算することができる。中心座標決定部２２は、表示候補分布の重み付き平均として期待値を求める場合、時刻ｔにおけるＡＲ表示領域の中心座標Ｘ_＾ｔを式（２）により求める。なお、式（２）では３つの分布の積を求めた後に画素単位で重み付けを行っているが、３つの確率分布についてそれぞれ重み付けを行うことも可能である。

【0036】

【数2】

【0037】

また、中心座標決定部２２は、同様に表示候補分布の最大値を用いる場合は、中心座標Ｘ_＾ｔを式（３）により求める。中心座標決定部２２は、式（２）又は式（３）を用いて中心座標Ｘ_＾ｔを計算し、この座標を投影制御部２３及び記憶部３０へ出力する。なお、中心座標Ｘ_＾ｔの算出式は、式（２）又は式（３）に限定されるものではない。

【0038】

【数3】

【0039】

投影制御部２３は、外部からＡＲ映像を取得し、ＡＲ表示領域の中心が中心座標決定部２２により決定された中心座標に位置するように制御する。そして、投影制御部２３は、ＡＲ映像を表示部４０に出力する。

【0040】

記憶部３０は、中心座標決定部２２により決定された中心座標のほか、ＡＲ表示装置１の動作に用いられる任意の情報を記憶する。記憶部３０は、１つ以上のメモリを含み、例えば半導体メモリ、磁気メモリ、光メモリなどを含んでもよい。

【0041】

表示部４０は、光学系及びディスプレイを備える。表示部４０は、投影制御部２３から入力したＡＲ映像を光信号に変換しディスプレイ（眼鏡）に表示する。表示部４０は、光学シースルー方式、ビデオシースルー方式など、任意の方式によりＡＲ映像を表示する。

【0042】

次に、図７を参照して、ＡＲ表示装置１の着用時の動作を説明する。

【0043】

ステップＳ１０１では、ＡＲ表示装置１がアルゴリズムを開始し、中心座標の初期値を記憶部３０に反映する。

【0044】

ステップＳ１０２では、外界映像取得部１０により外界映像を取得する。

【0045】

ステップＳ１０３では、表示候補分布決定部２１により表示候補分布を決定する。

【0046】

ステップＳ１０４では、中心座標決定部２２によりＡＲ映像の中心座標を決定する。

【0047】

ステップＳ１０５では、投影制御部２３により中心座標に基づいてＡＲ映像の表示位置を変更する。

【0048】

ステップＳ１０６では、記憶部３０により中心座標を記憶し、次のループに入る。この流れにより、ＡＲ表示領域はリアルタイムに更新され続ける。

【0049】

図８に、ＡＲ表示装置１を着用したユーザから見たＡＲ映像の挙動を示す。また、非注視分布決定部２１１により外界映像のうちサリエンシーが高いと推定された部分（人Ｍ及びその周囲）に、斜線を付している。図８（ａ）では、人Ｍと重ならないようにＡＲ映像Ｐを表示している。その後、図８（ｂ）から図８（ｆ）にかけて人Ｍが移動すると、人Ｍを避ける方向（サリエンシーマップの値が低い領域）へＡＲ映像Ｐが移動する様子を示している。また、ユーザが見ている方向の変化に伴い、サリエンシーマップも変化している。このように、ＡＲ表示装置１は、ユーザが意識を向けたい対象（図８では人Ｍ）を避けて、ＡＲ映像を表示することができる。

【0050】

図８からも理解できるように、ＡＲ表示装置１によれば、ＡＲ映像を動的に邪魔にならない場所に表示することが可能となる。したがって、既存の表示方法と比較して、日常生活の中で使用した場合に快適な映像視聴環境を作ることが可能となる。例えば、調理中やＰＣ操作中であっても、並行してＡＲ映像を視聴することが可能となる。

【0051】

（第２の実施形態）
次に、第２の実施形態に係るＡＲ表示装置について説明する。図９は、第２の実施形態に係るＡＲ表示装置の構成例を示すブロック図である。図９に示すＡＲ表示装置２は、外界映像取得部１０と、制御部２０ａと、記憶部３０と、表示部４０と、を備える。第２の実施形態のＡＲ表示装置２は、第１の実施形態のＡＲ表示装置１と比較して、制御部２０を制御部２０ａに変更した点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。

【0052】

制御部２０ａは、表示候補分布決定部２１と、中心座標決定部２２と、投影制御部２３と、パラメータ変更部２４と、を備える。

【0053】

図１０は、第２の実施形態に係るパラメータ変更部２４と表示候補分布決定部２１の構成例を示すブロック図である。パラメータ変更部２４は、低負荷分布パラメータ及び探索範囲パラメータを、ユーザの指示に基づいて独立して変更する。そして、パラメータ変更部２４は、変更後の低負荷分布パラメータを低負荷分布決定部２１２に出力し、変更後の探索範囲パラメータを時間連続分布決定部２１３に出力する。

【0054】

次に、図１１を参照して、ＡＲ表示装置２の着用時の動作を説明する。

【0055】

ステップＳ２０１では、パラメータ変更部２４によりパラメータを変更する。ステップＳ２０１の処理は、任意のタイミングで行うことができる。ステップＳ１０１からステップＳ１０６は第１の実施形態と同じであるため、説明を省略する。ただし、ステップＳ１０３では、ステップＳ２０１により変更されたパラメータを用いて表示候補分布を決定する。

【0056】

確率分布ｐ（Ｘ_ｔ｜Ｈ）と確率分布ｐ（Ｘ_ｔ｜Ｘ_ｔ-１）はユーザにより好まれる分布が異なることが考えられるが、本実施形態では、低負荷分布パラメータを変更することにより分布ｐ（Ｘ_ｔ｜Ｈ）を変更し、探索範囲パラメータを変更することにより分布ｐ（Ｘ_ｔ｜Ｘ_ｔ-１）を変更することができる。すなわち、ＡＲ表示装置２はパラメータ変更部２４を設けることで、ユーザの指示によりパラメータを変更してパーソナライズ化することが可能となる。

【0057】

（第３の実施形態）
次に、第３の実施形態に係るＡＲ表示装置について説明する。図１２は、第３の実施形態に係るＡＲ表示装置の構成例を示すブロック図である。図１２に示すＡＲ表示装置３は、外界映像取得部１０と、制御部２０ｂと、記憶部３０と、表示部４０と、傾きセンサ５０と、を備える。第３の実施形態のＡＲ表示装置３は、第１の実施形態のＡＲ表示装置１と比較して、傾きセンサ５０を更に備え、制御部２０を制御部２０ｂに変更した点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。

【0058】

制御部２０ｂは、表示候補分布決定部２１と、中心座標決定部２２と、投影制御部２３ａと、を備える。

【0059】

傾きセンサ５０は、例えば加速度センサ又はジャイロセンサであり、ＡＲ表示装置３の傾きを計測する。そして、傾きセンサ５０は、計測した傾きを投影制御部２３ａに出力する。

【0060】

投影制御部２３ａは、外部から取得したＡＲ映像の中心が中心座標決定部２２により決定された中心座標に位置するように制御し、更に傾きセンサ５０により計測された傾きを用いて、ＡＲ映像が地面に対して水平を保つように制御する。また、投影制御部２３ａは、傾きセンサ５０により計測された傾きが閾値を超えた場合には、ＡＲ映像を９０度回転させて地面に対して水平を保つように制御してもよい。

【0061】

次に、図１３を参照して、ＡＲ表示装置３の着用時の動作を説明する。

【0062】

ステップＳ３０１では、傾きセンサ５０によりＡＲ表示装置３の傾きを計測する。ステップＳ１０１からステップＳ１０６は第１の実施形態と同様であるため、説明を省略する。ただし、ステップＳ１０５では、ステップＳ３０１により計測された傾きも用いてＡＲ映像の表示位置を変更する。

【0063】

ＡＲ表示装置は着用時にユーザの頭部に固定されるため、従来のＡＲ表示装置が投影する映像は、ユーザの姿勢が傾いても頭部に対して変化しない。その点、ＡＲ表示装置３は傾きセンサ５０を備えることで、ユーザの姿勢が傾いた場合でも、ＡＲ映像を地面に対して水平に保ち表示することが可能となる。

【0064】

（第４の実施形態）
次に、第４の実施形態に係るＡＲ表示装置について説明する。図１４は、第４の実施形態に係るＡＲ表示装置の構成例を示すブロック図である。図１４に示すＡＲ表示装置４は、外界映像取得部１０と、制御部２０ｃと、記憶部３０と、表示部４０と、を備える。第４の実施形態のＡＲ表示装置４は、第１の実施形態のＡＲ表示装置１と比較して、制御部２０を制御部２０ｃに変更した点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。

【0065】

ＡＲ表示装置１，２，３において、複数の映像表示領域を用いて複数のＡＲ映像を表示することができる。しかし、上記のアルゴリズムを用いて複数のＡＲ映像を単純に表示すると、それぞれ重なって表示されてしまうことがある。そのため、ＡＲ表示装置４では、複数の表示領域を排斥するように分布を作成する。以下の説明において、ＡＲ表示装置４は、第１ＡＲ映像及び第２ＡＲ映像を表示部４０に表示するものとする。

【0066】

制御部２０ｃは、表示候補分布決定部２１ａと、中心座標決定部２２ａと、投影制御部２３ｂと、第２中心座標決定部２５と、を備える。

【0067】

第２中心座標決定部２５は、所定のアルゴリズムに従って第２ＡＲ映像の中心座標（以下、「第２中心座標」という。）を決定し、表示候補分布決定部２１ａ及び投影制御部２３ｂに出力する。第２中心座標を決定する方法は、ＡＲ表示装置１，２，３において中心座標を求める方法と同じであってもよい。また、第２中心座標決定部２５は、第２ＡＲ映像の表示領域に関するパラメータを有する場合には、該パラメータも合わせて表示候補分布決定部２１ａ及び投影制御部２３ｂに出力する。

【0068】

図１５は、表示候補分布決定部２１ａの構成例を示すブロック図である。図１５に示す表示候補分布決定部２１ａは、非注視分布決定部２１１と、低負荷分布決定部２１２と、時間連続分布決定部２１３と、表示候補分布計算部２１４ａと、を備える。上述したように、非注視分布決定部２１１は非注視分布ｐ（Ｘ_ｔ｜Ｓ￣）を決定し、低負荷分布決定部２１２は低負荷分布ｐ（Ｘ_ｔ｜Ｈ）を決定し、時間連続分布決定部２１３は時間連続分布ｐ（Ｘ_ｔ｜Ｘ_ｔ-１）を決定する。

【0069】

表示候補分布計算部２１４ａは、第２中心座標決定部２５から取得した第２中心座標に基づいて、第２ＡＲ映像の非表示分布ｐ（Ｘ_ｔ｜Ｙ_ｔ-１￣）を決定する。そして、表示候補分布計算部２１４ａは、式（４）に示すように４つそれぞれの確率分布の積を各画素に対して計算することで、４つの条件を満たす表示候補分布を求める。

【0070】

【数4】

【0071】

中心座標決定部２２ａは、第２中心座標に基づいて、ＡＲ表示領域が第２ＡＲ映像の表示領域と重ならないように中心座標を決定し、投影制御部２３ｂ及び記憶部３０に出力する。例えば、中心座標決定部２２は、表示候補分布の重み付き平均による期待値、又は最大値を中心座標とする。

【0072】

投影制御部２３ｂは、外部から第１ＡＲ映像及び第２ＡＲ映像を取得し、中心座標決定部２２ａから第１中心座標を取得し、第２中心座標決定部２５から第２中心座標を取得する。そして、投影制御部２３ｂは、第１ＡＲ映像の中心が第１中心座標に位置するように制御し、第２ＡＲ映像の中心が第２中心座標に位置するように制御する。

【0073】

次に、図１６を参照して、ＡＲ表示装置４の着用時の動作を説明する。

【0074】

ステップＳ４０１では、第２中心座標決定部２５により第２中心座標を決定する。ステップＳ１０１からステップＳ１０６は第１の実施形態と同様であるため、説明を省略する。ただし、ステップＳ１０３では、ステップＳ４０１により決定された第２中心座標も用いて表示候補分布を決定する。

【0075】

以上説明したように、本実施形態ではＡＲ表示領域が前記第２ＡＲ映像の表示領域と重ならないように中心座標を決定する。かかる構成により、本実施形態によれば、複数のＡＲ映像を表示する場合であっても、お互いに重ならないように表示することが可能となる。

【0076】

（プログラム）
上述したＡＲ表示装置１，２，３，４として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0077】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。

【0078】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0079】

例えば、ＡＲ表示装置１として機能させるためのプログラムは、外界映像のサリエンシーマップを生成し、サリエンシーマップに基づいて、非注視の確率分布を示す非注視分布を決定するステップと、前時刻の前記ＡＲ表示領域から時間的に連続する確率分布を示す時間連続分布を決定するステップと、非注視分布及び時間連続分布の積を、表示候補分布として計算するステップと、表示候補分布に基づいて、ＡＲ表示領域の中心座標を決定するステップと、ＡＲ表示領域の中心が中心座標に位置するように制御するステップと、をコンピュータに実行させる。

【0080】

また、上述したＡＲ表示装置１，２，３，４は、１つ又は複数の半導体チップにより構成されてもよい。この半導体チップは、ＡＲ表示装置１，２，３，４の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。

【0081】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。また、実施形態のフローチャートに記載の複数のステップを１つに統合したり、１つのステップを分割したりすることが可能である。

【符号の説明】

【0082】

１，２，３，４ ＡＲ表示装置
１０ 外界映像取得部
２０，２０ａ，２０ｂ，２０ｃ 制御部
２１，２１ａ 表示候補分布決定部
２２，２２ａ 中心座標決定部
２３，２３ａ，２３ｂ 投影制御部
２４ パラメータ変更部
２５ 第２中心座標決定部
３０ 記憶部
４０ 表示部
５０ 傾きセンサ
２１１ 非注視分布決定部
２１２ 低負荷分布決定部
２１３ 時間連続分布決定部
２１４，２１４ａ 表示候補分布計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】