特許 7420585 ＡＲ表示制御装置及びそのプログラム、並びに、ＡＲ表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】ＡＲ表示制御装置及びそのプログラム、並びに、ＡＲ表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240116BHJP

   G06F 3/01 20060101ALI20240116BHJP

   G06F 3/04815 20220101ALI20240116BHJP

   G06F 3/0346 20130101ALI20240116BHJP

   G06F 3/038 20130101ALI20240116BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

G06F3/04815

G06F3/0346 423

G06F3/038 310A

【請求項の数】 7

(21)【出願番号】P 2020026834

(22)【出願日】2020-02-20

(65)【公開番号】P2021131741

(43)【公開日】2021-09-09

【審査請求日】2023-01-05

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）「一般社団法人電子情報学会」が２０１９年１２月４日に「Ｗｅｂ予稿集」を発表

【新規性喪失の例外の表示】特許法第３０条第２項適用 （２）「一般社団法人電子情報学会」が２０１９年１２月１１日～１３日に開催した「ＨＣＧシンポジウム２０１９」において２０１９年１２月１３日に発表

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】川喜田 裕之

(72)【発明者】

【氏名】吉野 数馬

(72)【発明者】

【氏名】半田 拓也

(72)【発明者】

【氏名】原 一宏

【審査官】岡本 俊威

(56)【参考文献】

【文献】米国特許第５５００６７１（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０６Ｆ ３／０３３ － ３／０３９

(57)【特許請求の範囲】

【請求項1】

映像表示装置を視聴する第１の人物が装着するＡＲ表示装置に、他の映像表示装置を視聴する第２の人物を前記第１の人物が視聴する映像表示装置の側となるように表示するＡＲ表示制御装置であって、
前記第２の人物が前記第１の人物を見ているか、又は、前記第２の人物が前記第１の人物から目をそらしたかを示す視線情報を受信する視線情報受信部と、
前記視線情報に基づいて、前記第２の人物が所定時間以上前記第１の人物を見続けている場合にはリダイレクションモードと判定し、前記第２の人物が前記第１の人物から目をそらした場合にはリアルモードと判定し、前記リダイレクションモードと判定された後、前記第２の人物が所定時間以上前記第１の人物から目をそらし続けている場合には復帰モーションモードと判定するモード判定部と、
前記リダイレクションモードと判定された場合には、前記第２の人物が前記第１の人物を振り向くように前記ＡＲ表示装置に表示させるリダイレクションモード表示制御部と、
前記リアルモードと判定された場合には、前記第２の人物を実際の姿勢で前記ＡＲ表示装置に表示させるリアルモード表示制御部と、
前記復帰モーションモードと判定された場合には、前記第１の人物に振り向いている第２の人物が実際の姿勢に復帰するように前記ＡＲ表示装置に表示させる復帰モーションモード表示制御部と、
を備えることを特徴とするＡＲ表示制御装置。

【請求項2】

前記第２の人物の頭部角度毎に頭部位置及び頭部回転量を示すモーションパス情報を予め記録するモーションパス情報記録部、をさらに備え、
前記リダイレクションモード表示制御部は、実際の姿勢における前記第２の人物の頭部位置及び頭部回転量を座標変換することで、前記第１の人物を振り向いたときの第２の人物の頭部角度を算出し、算出した当該頭部角度に応じたモーションパスで、前記第２の人物が前記第１の人物を振り向くように前記ＡＲ表示装置に表示させることを特徴とする請求項１に記載のＡＲ表示制御装置。

【請求項3】

前記復帰モーションモード表示制御部は、前記リダイレクションモード表示制御部におけるモーションパスと逆のモーションパスで、前記第１の人物に振り向いている第２の人物が実際の姿勢に復帰するように前記ＡＲ表示装置に表示させることを特徴とする請求項２に記載のＡＲ表示制御装置。

【請求項4】

前記第２の人物の３次元モデル及び姿勢情報を受信する３次元モデル姿勢情報受信部、をさらに備え、
前記リダイレクションモード表示制御部、前記リアルモード表示制御部及び前記復帰モーションモード表示制御部は、前記第２の人物の３次元モデル及び姿勢情報を用いて、前記第２の人物を前記ＡＲ表示装置に表示させることを特徴とする請求項１から請求項３の何れか一項に記載のＡＲ表示制御装置。

【請求項5】

前記ＡＲ表示装置から入力された前記第１の人物の視線検出結果に基づいて、前記第１の人物の視線が前記ＡＲ表示装置に表示されている第２の人物の領域に重なっているか否かにより、前記第１の人物が前記第２の人物を見ているか否かを判定する視線判定処理部と、
前記視線判定処理部の判定結果を、前記視線情報として、前記第２の人物が装着する他のＡＲ表示装置に送信する視線情報送信部と、
をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載のＡＲ表示制御装置。

【請求項6】

コンピュータを、請求項１から請求項５の何れか一項に記載のＡＲ表示制御装置として機能させるためのプログラム。

【請求項7】

他の映像表示装置を視聴する第２の人物を撮影する撮影カメラと、
前記撮影カメラの撮影映像を用いて、前記第２の人物の３次元モデル及び姿勢情報を生成する３次元モデル・姿勢情報生成装置と、
請求項１から請求項５の何れか一項に記載のＡＲ表示制御装置と、を備え、
前記ＡＲ表示制御装置は、前記第２の人物の３次元モデル及び姿勢情報を用いて、映像表示装置を視聴する第１の人物が装着するＡＲ表示装置に、前記第２の人物を前記第１の人物が視聴する映像表示装置の側となるように表示することを特徴とするＡＲ表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＲ表示装置に相手を表示させるＡＲ表示制御装置及びそのプログラム、並びに、ＡＲ表示システムに関する。

【背景技術】

【0002】

近年、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）に関する研究が行われている。例えば、３次元仮想空間内に利用者の分身（アバタ）を表示し、利用者同士で３次元仮想空間を共有する技術が提案されている（特許文献１，２）。これら特許文献１，２に記載の手法は、３次元仮想空間内での対話を促進するため、互いの分身の視線を合わせるものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平９－６９８５号公報

【文献】特開２００３－１５０９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

前記した特許文献１，２に記載の技術では、利用者の実写モデルを扱えない上、利用者同士で３次元仮想空間を共有しながらテレビ番組を視聴することも困難である。このため、テレビ番組の視聴における空間共有では、ＡＲグラス等のＡＲ表示装置の利用が現実的である。つまり、テレビ番組を視聴するときに利用者のＡＲ表示装置に相手を表示すれば、テレビ番組の視聴における空間共有を実現できる。

【0005】

また、本願発明者らにより、空間共有に関する研究も行われている。例えば、２人でテレビ番組を視聴している際、相手が利用者の前方にいるとき（例えば、視界に入っているとき）に「２人でテレビ番組を視聴している」という印象が強くなると考えられる。

【0006】

ここで、ＡＲ表示装置において、利用者の視界に入るように相手を前方に表示している場合を考える。この場合、現実世界で相手が自分を振り向いても、利用者のＡＲ表示装置では、相手が利用者の前方に位置するため、相手が完全に利用者を振り向いていない状態となる。このように、ＡＲ表示装置では、相手が途中までしか振り向かない状態で表示されてしまうため、利用者に違和感を与えてしまう。

【0007】

本発明は、空間共有での違和感を低減できるＡＲ表示制御装置及びそのプログラム、並びに、ＡＲ表示システムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記課題を解決するため、本発明に係るＡＲ表示制御装置は、映像表示装置を視聴する第１の人物が装着するＡＲ表示装置に、他の映像表示装置を視聴する第２の人物を第１の人物が視聴する映像表示装置の側となるように表示するＡＲ表示制御装置であって、視線情報受信部と、モード判定部と、リダイレクションモード表示制御部と、リアルモード表示制御部と、復帰モーションモード表示制御部と、を備える構成とした。

【0009】

かかる構成によれば、視線情報受信部は、第２の人物が第１の人物を見ているか、又は、第２の人物が第１の人物から目をそらしたかを示す視線情報を受信する。
モード判定部は、視線情報に基づいて、第２の人物が所定時間以上第１の人物を見続けている場合にはリダイレクションモードと判定し、第２の人物が第１の人物から目をそらした場合にはリアルモードと判定し、リダイレクションモードと判定された後、第２の人物が所定時間以上第１の人物から目をそらし続けている場合には復帰モーションモードと判定する。

【0010】

リダイレクションモード表示制御部は、リダイレクションモードと判定された場合には、第２の人物が第１の人物を振り向くようにＡＲ表示装置に表示させる。
リアルモード表示制御部は、リアルモードと判定された場合には、第２の人物を実際の姿勢でＡＲ表示装置に表示させる。
復帰モーションモード表示制御部は、復帰モーションモードと判定された場合には、第１の人物に振り向いている第２の人物が実際の姿勢に復帰するようにＡＲ表示装置に表示させる。
このように、ＡＲ表示装置では、第２の人物を第１の人物の前方に表示する場合であっても、第２の人物が第１の人物を振り向いた状態となる。

【0011】

また、前記課題を解決するため、本発明に係るＡＲ表示システムは、他の映像表示装置を視聴する第２の人物を撮影する撮影カメラと、撮影カメラの撮影映像を用いて、第２の人物の３次元モデル及び姿勢情報を生成する３次元モデル・姿勢情報生成装置と、前記したＡＲ表示制御装置と、を備える構成とした。

【0012】

かかる構成によれば、ＡＲ表示制御装置は、映像表示装置を視聴する第１の人物が装着するＡＲ表示装置に、第２の人物を第１の人物が視聴する映像表示装置の側となるように表示する。
このように、ＡＲ表示システムでは、第２の人物を第１の人物の前方に表示する場合であっても、第２の人物が第１の人物を振り向いた状態となる。

【0013】

なお、本発明は、コンピュータを、前記したＡＲ表示制御装置として機能させるためのプログラムで実現することもできる。

【発明の効果】

【0014】

本発明によれば、第２の人物を第１の人物の前方に表示する場合であっても、第２の人物が第１の人物を振り向いた状態となるので、空間共有での違和感を低減することができる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態に係るＡＲ表示システムの概略図である。

【図2】テレビ番組の視聴における空間共有を説明する説明図であり、（ａ）は自分のＡＲグラスの表示方法を示し、（ｂ）は相手のＡＲグラスの表示方法を示す。

【図3】相手が自分を振り向いた状態を説明する説明図であり、（ａ）は自分のＡＲグラスの表示方法を示し、（ｂ）は相手のＡＲグラスの表示方法を示す。

【図4】リダイレクションを説明する説明図であり、（ａ）は自分のＡＲグラスの表示方法を示し、（ｂ）は相手のＡＲグラスの表示方法を示す。

【図5】（ａ）はテレビ番組の視聴における空間共有を説明する説明図であり、（ａ）は相手が自分を振り向いた状態を説明する説明図であり、（ｃ）はリダイレクションを説明する説明図である。

【図6】第１実施形態に係るＡＲ表示システムの全体構成図である。

【図7】第１実施形態に係るキャプチャ装置の構成を示すブロック図である。

【図8】第１実施形態に係るＡＲ表示制御装置の構成を示すブロック図である。

【図9】（ａ）～（ｃ）は、人物が振り向くときの頭部の位置及び体の姿勢の変化を説明する説明図である。

【図10】図８のＡＲ表示制御装置の動作を示す状態遷移図である。

【図11】モーションパス情報の一例を説明する説明図である。

【図12】（ａ）及び（ｂ）は、リダイレクションモード表示制御部及び復帰モーションモード表示制御部におけるモーションパスを説明する説明図である。

【図13】第２実施形態に係るＡＲ表示システムの全体構成図である。

【図14】第３実施形態に係るＡＲ表示システムの全体構成図である。

【発明を実施するための形態】

【0016】

以下、本発明の各実施形態について図面を参照して説明する。但し、以下に説明する形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、各実施形態において、同一の手段には同一の符号を付し、説明を省略することがある。

【0017】

（第１実施形態）
［ＡＲ表示システムの概要］
図１～図５を参照し、ＡＲ表示システム１の概要について説明する。
図１に示すように、ＡＲ表示システム１は、ＡＲグラス（ＡＲ表示装置）４を用いて、テレビ番組の視聴における空間共有を実現するものである。ここで、ＡＲグラス４（４_Ａ，４_Ｂ）を装着した２人の人物Ｈ（Ｈ_Ａ，Ｈ_Ｂ）が、異なる場所に配置された映像表示装置６（６_Ａ，６_Ｂ）でテレビ番組を視聴している。

【0018】

このとき、ＡＲ表示システム１は、図２（ａ）に示すように、人物（第１の人物）Ｈ_Ａが装着するＡＲグラス４_Ａに人物（第２の人物）Ｈ_Ｂを、人物Ｈ_Ａから見て映像表示装置６_Ａの側にＣＧ合成して表示する。従って、図５（ａ）に示すように、人物Ｈ_Ａが装着するＡＲグラス４_Ａには、人物Ｈ_Ｂが前方に表示されている。これと同様、ＡＲ表示システム１は、図２（ｂ）に示すように、人物Ｈ_Ｂが装着するＡＲグラス４_Ｂに人物Ｈ_Ａを、人物Ｈ_Ｂから見て映像表示装置（他の映像表示装置）６_Ｂの側にＣＧ合成して表示する。
なお、図２～図４では、ＡＲグラス４を装着している人物Ｈを実線で図示し、ＣＧ合成で表示されている人物Ｈを破線で図示した。

【0019】

ここで、人物Ｈ_Ｂが人物Ｈ_Ａに振り向いた場合を考える。図３（ｂ）に示すように、人物Ｈ_ＢのＡＲグラス４_Ｂでは人物Ｈ_Ａが前方に表示されている。従って、人物Ｈ_Ｂが人物Ｈ_Ａに振り向くときの動作（頭部回転量）が小さくなるが、人物Ｈ_Ｂの頭部は人物Ｈ_Ａの方向を向いている。その一方、図３（ａ）に示すように、人物Ｈ_ＡのＡＲグラス４_Ａでも人物Ｈ_Ｂが前方に表示されているため、図５（ｂ）に示すように、人物Ｈ_Ｂが人物Ｈ_Ａを完全に振り向いていない状態となる。つまり、人物Ｈ_Ｂが人物Ｈ_Ａを振り向くときの頭部回転量が足らず、人物Ｈ_Ｂの頭部が人物Ｈ_Ａの方向を向いていない。そこで、ＡＲ表示システム１では、図４（ａ）及び図５（ｃ）に示すように、人物Ｈ_Ｂが人物Ｈ_Ａを完全に振り向くようにリダイレクション処理を行う。

【0020】

なお、テレビ番組の視聴における空間共有では、人物Ｈ_Ｂの表示位置は、人物Ｈ_Ａの前方であれば任意に設定できる（人物Ｈ_Ａの表示位置も同様）。例えば、人物Ｈ_Ａから見て人物Ｈ_Ｂを１メートル前方に表示する。このとき、テレビ番組の視聴を妨害しないように、人物Ｈ_Ａの斜め前方に人物Ｈ_Ｂを表示してもよい。
以後、人物Ｈ_Ａ，Ｈ_Ｂの一方を「自分」、人物Ｈ_Ａ，Ｈ_Ｂの他方を「相手」と記載する場合がある。

【0021】

［ＡＲ表示システムの構成］
図１及び図６を参照し、ＡＲ表示システム１の構成について説明する。
図１及び図６に示すように、ＡＲ表示システム１は、カメラ２と、キャプチャ装置３と、ＡＲグラス４と、ＡＲ表示制御装置５とを備える。このＡＲ表示システム１では、ケーブルを介して、カメラ２とキャプチャ装置３とが接続されている。また、ＡＲ表示システム１では、ＡＲ表示制御装置５がＡＲグラス４に内蔵されており、インターネット等のネットワークＮＷを介して、キャプチャ装置３とＡＲ表示制御装置５とが接続されている。

【0022】

ここで、ＡＲ表示システム１は、２人の人物Ｈ_Ａ，Ｈ_Ｂに対応するように、２台のカメラ２（２_Ａ，２_Ｂ）と、２台のキャプチャ装置３（３_Ａ，３_Ｂ）と、２台のＡＲグラス４（４_Ａ，４_Ｂ）と、２台のＡＲ表示制御装置５（５_Ａ，５_Ｂ）とを備える。これらのカメラ２、キャプチャ装置３、ＡＲグラス４及びＡＲ表示制御装置５は、２台とも同一の構成である。また、人物Ｈ_Ａが視聴する映像表示装置６を映像表示装置６_Ａとし、人物Ｈ_Ｂが視聴する映像表示装置６を映像表示装置６_Ｂとする。

【0023】

カメラ２は、人物Ｈを撮影する一般的なカメラであり、人物Ｈの撮影映像をキャプチャ装置３に出力する。この撮影映像は、キャプチャ装置３が人物Ｈの３ＤＣＧモデル及びボーン情報を生成するために必要となる。ここで、カメラ２_Ａが人物Ｈ_Ａの撮影映像をキャプチャ装置３_Ａに出力し、カメラ２_Ｂが人物Ｈ_Ｂの撮影映像をキャプチャ装置３_Ｂに出力する。例えば、カメラ２は、人物Ｈに正対するように映像表示装置６の上部中央に配置されている。また、カメラ２は、１台の一般的なＲＧＢカメラで構成されているが、ステレオカメラやデプスカメラ付きＲＧＢカメラであってもよい。

【0024】

キャプチャ装置３は、カメラ２から入力された人物Ｈの撮影映像を用いて、人物Ｈの３ＤＣＧモデル及び人物Ｈのボーン情報を生成するものである。この３ＤＣＧモデルは、人物Ｈの３次元モデルである。また、ボーン情報は、人物Ｈの各関節の位置、つまり、人物Ｈの姿勢を表す姿勢情報である。そして、キャプチャ装置３は、ネットワークＮＷを介して、生成した人物Ｈの３ＤＣＧモデル及びボーン情報をＡＲ表示制御装置５に送信する。

【0025】

ここで、自分の３ＤＣＧモデル及びボーン情報は、相手のＡＲグラス４に自分を表示するために必要となる。このため、キャプチャ装置３_Ａは、人物Ｈ_Ａの３ＤＣＧモデル及びボーン情報を、人物Ｈ_ＢのＡＲ表示制御装置５_Ｂに送信し続ける。これと同様、キャプチャ装置３_Ｂは、人物Ｈ_Ｂの３ＤＣＧモデル及びボーン情報を、人物Ｈ_ＡのＡＲ表示制御装置５_Ａに送信し続ける。
なお、キャプチャ装置３の構成は、後記する。

【0026】

ＡＲグラス４は、一般的なＡＲグラスと同様にＡＲディスプレイ４１を備える他、ＡＲ表示制御装置５を内蔵している（図８）。また、ＡＲグラス４は、人物Ｈの視線を検出する視線センサ４０を備え、視線センサ４０による視線検出結果をＡＲ表示制御装置５に出力する。

【0027】

ＡＲ表示制御装置５は、映像表示装置６で視聴する自分が装着するＡＲグラス４に、他の映像表示装置６で視聴する相手を映像表示装置６の側に表示するものである。また、ＡＲ表示制御装置５は、キャプチャ装置３から受信した相手の３ＤＣＧモデル及びボーン情報を用いて、相手が完全に自分を振り向くようにリダイレクション処理を行う。

【0028】

ここで、ＡＲ表示制御装置５では、リダイレクション処理の要否を判定するために視線人物情報（視線情報）が必要となる。この視線人物情報は、相手が自分を見ているか、又は、相手が自分から目をそらしたかを示す情報である。このため、ＡＲ表示制御装置５は、ネットワークＮＷを介して、相手の視線人物情報を相手側のＡＲ表示制御装置５から受信し続ける。

【0029】

以上を整理すると、人物Ｈ_ＡのＡＲ表示制御装置５_Ａは、キャプチャ装置３_Ｂから受信した人物Ｈ_Ｂの３ＤＣＧモデル及びボーン情報を用いて、人物Ｈ_ＡのＡＲグラス４_Ａに人物Ｈ_Ｂを表示させる。このとき、ＡＲ表示制御装置５_Ａは、ＡＲ表示制御装置５_Ｂから受信した人物Ｈ_Ｂの視線人物情報に基づいてリダイレクション処理の要否を判定し、人物Ｈ_Ｂが完全に人物Ｈ_Ａを振り向くようにリダイレクション処理を行う。さらに、ＡＲ表示制御装置５_Ａは、人物Ｈ_Ａの視線人物情報を生成してＡＲ表示制御装置５_Ｂに送信する。

【0030】

これと同様、人物Ｈ_ＢのＡＲ表示制御装置５_Ｂは、キャプチャ装置３_Ａから受信した人物Ｈ_Ａの３ＤＣＧモデル及びボーン情報を用いて、人物Ｈ_ＢのＡＲグラス４_Ｂに人物Ｈ_Ａを表示させる。このとき、ＡＲ表示制御装置５_Ｂは、ＡＲ表示制御装置５_Ａから受信した人物Ｈ_Ａの視線人物情報に基づいてリダイレクション処理の要否を判定し、人物Ｈ_Ａが完全に人物Ｈ_Ｂを振り向くようにリダイレクション処理を行う。さらに、ＡＲ表示制御装置５_Ｂは、人物Ｈ_Ｂの視線人物情報を生成してＡＲ表示制御装置５_Ａに送信する。
なお、ＡＲ表示制御装置５の構成は、後記する。

【0031】

映像表示装置６は、例えば、テレビ番組を表示する一般的な放送受信機である。また、映像表示装置６は、テレビ番組以外の映像コンテンツ（例えば、ネットワークＮＷで配信される映像コンテンツ）を表示してもよい。なお、映像表示装置６は、ＡＲ表示システム１に含まれていないが、ＡＲ表示システム１に密接に関連するので図示した。

【0032】

［キャプチャ装置の構成］
図７を参照し、キャプチャ装置３の構成について説明する。なお、図７では、ネットワークＮＷの図示を省略した。
キャプチャ装置３は、撮影映像入力部３０と、３ＤＣＧモデル生成部３１と、ボーン情報生成部３２と、３ＤＣＧ・ボーン情報送信部３３とを備える。

【0033】

撮影映像入力部３０は、カメラ２から自分の撮影映像を入力するものである。そして、撮影映像入力部３０は、入力された自分の撮影映像を３ＤＣＧモデル生成部３１に出力する。

【0034】

３ＤＣＧモデル生成部３１は、撮影映像入力部３０から入力された自分の撮影映像を用いて、自分の３ＤＣＧモデルを生成するものである。
ここで、３ＤＣＧモデル生成部３１は、３ＤＣＧモデルを任意の手法で生成できる。カメラ２が１台のＲＧＢカメラで構成されている場合、３ＤＣＧモデル生成部３１は、ディープラーニングにより３ＤＣＧモデルを生成できる。例えば、３ＤＣＧモデル生成部３１は、人物の写真を学習させたニューラルネットワークにより、自分の撮影映像に含まれる各フレームから３ＤＣＧモデルを生成すればよい。また、カメラ２がステレオカメラの場合、３ＤＣＧモデル生成部３１は、ステレオ画像から奥行き情報を求め、この奥行き情報から３ＤＣＧモデルを生成できる。また、カメラ２がデプスカメラ付きＲＧＢカメラの場合、３ＤＣＧモデル生成部３１は、デプスカメラの映像が奥行き情報を表すので、ステレオカメラと同様に３ＤＣＧモデルを生成できる。
そして、３ＤＣＧモデル生成部３１は、生成した自分の３ＤＣＧモデルをボーン情報生成部３２及び３ＤＣＧ・ボーン情報送信部３３に出力する。

【0035】

ボーン情報生成部３２は、３ＤＣＧモデル生成部３１から入力された自分の３ＤＣＧモデルを用いて、その自分のボーン情報を生成するものである。つまり、ボーン情報生成部３２は、３ＤＣＧモデルを動作させるために、３ＤＣＧモデルに対応したボーン情報を生成する。ここで、ボーン情報生成部３２は、任意の手法（例えば、参考文献１に記載のクイックリグ）でボーン情報を生成できる。そして、ボーン情報生成部３２は、生成した自分のボーン情報を３ＤＣＧ・ボーン情報送信部３３に出力する。

【0036】

参考文献１：Ｍａｙａ（登録商標）、[online］、オートデスク株式会社、［令和２年２月1３日検索］、インターネット〈URL：https://www.autodesk.co.jp/products/maya/overview〉

【0037】

３ＤＣＧ・ボーン情報送信部３３は、３ＤＣＧモデル生成部３１から入力された自分の３ＤＣＧモデルと、ボーン情報生成部３２から入力された自分のボーン情報とを相手側のＡＲ表示制御装置５に送信するものである。
ここで、３ＤＣＧ・ボーン情報送信部３３は、３ＤＣＧモデル及びボーン情報を任意の頻度で送信できる。例えば、３ＤＣＧ・ボーン情報送信部３３は、３ＤＣＧモデルの送信頻度を低くすると、ネットワークＮＷの帯域を節約できる。一方、３ＤＣＧ・ボーン情報送信部３３は、ボーン情報の送信頻度を高くすると、３ＤＣＧモデルの姿勢変化が滑らかになる。

【0038】

［ＡＲ表示制御装置の構成］
図８を参照し、ＡＲ表示制御装置５の構成について説明する。なお、図８では、ネットワークＮＷの図示を省略した。

【0039】

図８に示すように、ＡＲ表示制御装置５は、視線入力部５０と、視線判定処理部５１と、視線人物情報送信部（視線情報送信部）５２と、３ＤＣＧ・ボーン情報受信部（３次元モデル姿勢情報受信部）５３と、視線人物情報受信部（視線情報受信部）５４と、モード判定部５５と、モーションパス情報記録部５６と、リダイレクションモード表示制御部５７Ａと、リアルモード表示制御部５７Ｂと、復帰モーションモード表示制御部５７Ｃと、バーチャル表示部５８とを備える。

【0040】

視線入力部５０は、視線センサ４０から自分の視線検出結果を入力するものである。そして、視線入力部５０は、入力された自分の視線検出結果を視線判定処理部５１に出力する。

【0041】

視線判定処理部５１は、視線入力部５０から入力された自分の視線検出結果に基づいて、自分が相手を見ているか否かを判定するものである。
ここで、視線判定処理部５１は、後記するバーチャル表示部５８から、ＡＲグラス４に表示されている相手領域の情報が入力されると共に、視線入力部５０から、自分の視線検出結果が入力される。この場合、視線判定処理部５１は、ＡＲグラス４を装着した自分の視線がＡＲグラス４に表示されている相手領域に重なっているか否かにより、自分が相手を見ているか否かを判定する。つまり、視線判定処理部５１は、自分の視線が相手領域に重なっている場合、自分が相手を見ていると判定する。一方、視線判定処理部５１は、自分の視線が相手領域に重なっていない場合、自分が相手から目をそらしたと判定する。
その後、視線判定処理部５１は、自分が相手を見ているか否かの判定結果を、視線人物情報として視線人物情報送信部５２に出力する。

【0042】

視線人物情報送信部５２は、ネットワークＮＷを介して、視線判定処理部５１から入力された自分の視線人物情報を相手側のＡＲ表示制御装置５に送信するものである。

【0043】

３ＤＣＧ・ボーン情報受信部５３は、ネットワークＮＷを介して、相手の３ＤＣＧモデル及びボーン情報を相手側のキャプチャ装置３から受信するものである。そして、３ＤＣＧ・ボーン情報受信部５３は、受信した相手の３ＤＣＧ・ボーン情報をモード判定部５５に出力する。

【0044】

視線人物情報受信部５４は、ネットワークＮＷを介して、相手の視線人物情報を相手側のＡＲ表示制御装置５から受信するものである。そして、視線人物情報受信部５４は、受信した相手の視線人物情報をモード判定部５５に出力する。

【0045】

モード判定部５５は、視線人物情報受信部５４から入力された相手の視線人物情報に基づいて、リダイレクションモード、リアルモード及び復帰モーションモードの判定を行うものである。
具体的には、モード判定部５５は、相手が自分を所定時間以上見続けている場合にリダイレクションモードと判定する。この場合、モード判定部５５は、後記するリダイレクションモード表示制御部５７Ａに対して、リダイレクションモードを指令し、３ＤＣＧ・ボーン情報を出力する。
また、モード判定部５５は、相手が自分から目をそらした場合にリアルモードと判定する。この場合、モード判定部５５は、後記するリアルモード表示制御部５７Ｂに対して、リアルモードを指令し、３ＤＣＧ・ボーン情報を出力する。
さらに、モード判定部５５は、リダイレクションモードと判定された後、相手が自分から所定時間以上目をそらし続けている場合に復帰モーションモードと判定する。この場合、モード判定部５５は、後記する復帰モーションモード表示制御部５７Ｃに対して、復帰モーションモードを指令し、３ＤＣＧ・ボーン情報を出力する。

【0046】

モーションパス情報記録部５６は、モーションパス情報を予め記録するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。このモーションパス情報は、リダイレクションモード表示制御部５７Ａ及び復帰モーションモード表示制御部５７Ｃによって参照される。なお、モーションパスの詳細は、後記する。

【0047】

リダイレクションモード表示制御部５７Ａは、モード判定部５５でリダイレクションモードと判定された場合、相手をリダイレクションモードで表示するようにバーチャル表示部５８を制御するものである。このリダイレクションモードとは、相手が完全に自分を振り向くようにＡＲグラス４に表示させるモードのことである。このとき、リダイレクションモード表示制御部５７Ａは、相手の３ＤＣＧモデルが自分を自然に振り向くように所定のモーションパスで表示させる。

【0048】

ここで、図９（ａ）～（ｃ）に示すように、相手が振り向く場合、単純に頭部の角度が変化するのではなく、頭部の中心位置（重心位置）Ｐ_Ｃや体の姿勢も変化する。なお、図９には、頭部の方向を一点鎖線で図示した。そこで、リダイレクションモード表示制御部５７Ａは、相手の振り向く動作が自然となるように、３ＤＣＧモデルの体（肩、腕等の上半身）を頭部に追随させることが好ましい。例えば、リダイレクションモード表示制御部５７Ａでは、ＩＫ（Inverse Kinematics）を用いることで、３ＤＣＧモデルの体を頭部に追随させることができる。

【0049】

リアルモード表示制御部５７Ｂは、モード判定部５５でリアルモードと判定された場合、相手をリアルモードで表示するようにバーチャル表示部５８を制御するものである。このリアルモードとは、相手を実際の姿勢でＡＲグラス４に表示させるモードのことである。つまり、リアルモード表示制御部５７Ｂは、相手の３ＤＣＧモデルをボーン情報の姿勢で表示させる。

【0050】

復帰モーションモード表示制御部５７Ｃは、モード判定部５５で復帰モーションモードと判定された場合、相手を復帰モーションモードで表示するようにバーチャル表示部５８を制御するものである。この復帰モーションモードとは、自分に振り向いている相手が実際の姿勢に復帰するようにＡＲグラス４に表示させるモードのことである。このとき、復帰モーションモード表示制御部５７Ｃは、リダイレクションモード表示制御部５７Ａのモーションパスと逆のモーションパスで、相手の３ＤＣＧモデルが実際の姿勢に復帰するように表示させる。

【0051】

バーチャル表示部５８は、リダイレクションモード表示制御部５７Ａ、リアルモード表示制御部５７Ｂ、及び、復帰モーションモード表示制御部５７Ｃからの制御に従って、相手をＡＲグラス４（ＡＲディスプレイ４１）にＣＧ合成して表示するものである。つまり、バーチャル表示部５８は、リダイレクションモード、リアルモード又は復帰モーションモードの何れかで相手をＡＲグラス４にバーチャル表示する。さらに、バーチャル表示部５８は、ＡＲグラス４に表示されている相手領域の情報を視線判定処理部５１に出力する。

【0052】

［ＡＲ表示制御装置の動作］
図１０を参照し、ＡＲ表示制御装置５の動作を説明する。
以下、人物Ｈ_ＡのＡＲグラス４_Ａに人物Ｈ_Ｂを表示するときのＡＲ表示制御装置５_Ａの動作を一例として説明する。また、人物Ｈ_Ａを「自分」とし、人物Ｈ_Ｂを「相手」と記載する場合がある。

【0053】

まず、ＡＲ表示システム１の全体動作を整理する。
相手側のカメラ２_Ｂが人物Ｈ_Ｂを撮影し、カメラ２_Ｂの撮影映像を用いて、相手側のキャプチャ装置３_Ｂが人物Ｈ_Ｂの３ＤＣＧモデル及びボーン情報を生成する。そして、相手側のキャプチャ装置３_Ｂが、人物Ｈ_Ｂの３ＤＣＧモデル及びボーン情報を、自分のＡＲ表示制御装置５_Ａに送信する。さらに、相手側のＡＲ表示制御装置５_Ｂが、人物Ｈ_Ｂの視線人物情報を自分のＡＲ表示制御装置５_Ａに送信する。

【0054】

そして、自分のＡＲ表示制御装置５_Ａが、人物Ｈ_Ｂの３ＤＣＧモデルとボーン情報と視線人物情報とを用いて、人物Ｈ_ＡのＡＲグラス４_Ａに人物Ｈ_Ｂを表示させる。このとき、ＡＲ表示制御装置５_Ａは、以下で説明する動作を行う。

【0055】

図１０に示すように、ＡＲ表示制御装置５_Ａのモード判定部５５は、初期状態Ｓ０からリアルモード状態Ｓ１に遷移する。例えば、ＡＲグラス４_Ａの電源投入時又はリセット時、ＡＲ表示制御装置５_Ａが初期状態になる。

【0056】

リアルモード状態Ｓ１において、モード判定部５５は、リアルモード表示制御部５７Ｂにリアルモードを指令する。すると、リアルモード表示制御部５７Ｂは、人物Ｈ_ＡのＡＲグラス４_Ａに人物Ｈ_Ｂをリアルモードで表示させる。

【0057】

また、リアルモード状態Ｓ１において、モード判定部５５は、人物Ｈ_Ｂの視線人物情報に基づいて、人物Ｈ_Ｂが自分を見たか否かを判定する。
人物Ｈ_Ｂが自分を見た場合、モード判定部５５は、リアルモード（判定処理）状態Ｓ２に遷移する。

【0058】

リアルモード（判定処理）状態Ｓ２において、モード判定部５５は、人物Ｈ_Ｂの視線人物情報に基づいて、人物Ｈ_Ｂが自分を見続けている時間ｔ_１が、予め設定された閾値Ｔ_１以上であるか否かを判定する。この閾値Ｔ_１は、任意の値で設定できる（例えば、閾値Ｔ_１＝１秒）。
時間ｔ_１が閾値Ｔ_１以上の場合、モード判定部５５は、リダイレクションモード状態Ｓ３に遷移する。

【0059】

また、リアルモード（判定処理）状態Ｓ２において、モード判定部５５は、人物Ｈ_Ｂの視線人物情報に基づいて、人物Ｈ_Ｂが自分から目をそらしたか否かを判定する。
人物Ｈ_Ｂが自分から目をそらした場合、モード判定部５５は、リアルモード状態Ｓ１に遷移する。
人物Ｈ_Ｂが自分から目をそらしておらず、かつ、時間ｔ_１が閾値Ｔ_１未満の場合、モード判定部５５は、リアルモード（判定処理）状態Ｓ２の状態を維持する。

【0060】

リダイレクションモード状態Ｓ３において、モード判定部５５は、リダイレクションモード表示制御部５７Ａにリダイレクションモードを指令する。すると、リダイレクションモード表示制御部５７Ａは、人物Ｈ_ＡのＡＲグラス４_Ａに人物Ｈ_Ｂをリダイレクションモードで表示させる。

【0061】

また、リダイレクションモード状態Ｓ３において、モード判定部５５は、人物Ｈ_Ｂの視線人物情報に基づいて、人物Ｈ_Ｂが自分から目をそらしたか否かを判定する。
人物Ｈ_Ｂが自分から目をそらした場合、モード判定部５５は、リダイレクションモード（判定処理）状態Ｓ４に遷移する。
人物Ｈ_Ｂが自分を見ている場合、モード判定部５５は、リダイレクションモード状態Ｓ３の状態を維持する。

【0062】

リダイレクションモード（判定処理）状態Ｓ４において、モード判定部５５は、人物Ｈ_Ｂの視線人物情報に基づいて、人物Ｈ_Ｂが自分から目をそらし続けている時間ｔ_２が、予め設定された閾値Ｔ_２以上であるか否かを判定する。この閾値Ｔ_２は、任意の値で設定できる（例えば、閾値Ｔ_２＝１秒）。
時間ｔ_２が閾値Ｔ_２以上の場合、モード判定部５５は、復帰モーションモード状態Ｓ５に遷移する。

【0063】

また、リダイレクションモード（判定処理）状態Ｓ４において、モード判定部５５は、人物Ｈ_Ｂの視線人物情報に基づいて、人物Ｈ_Ｂが自分を見たか否かを判定する。
人物Ｈ_Ｂが自分を見た場合、モード判定部５５は、リダイレクションモード状態Ｓ３に遷移する。
人物Ｈ_Ｂが自分を見ておらず、かつ、時間ｔ_２が閾値Ｔ_２未満の場合、モード判定部５５は、リダイレクションモード（判定処理）状態Ｓ４の状態を維持する。

【0064】

復帰モーションモード状態Ｓ５において、モード判定部５５は、復帰モーションモード表示制御部５７Ｃに復帰モーションモードを指令する。すると、復帰モーションモード表示制御部５７Ｃは、人物Ｈ_ＡのＡＲグラス４_Ａに人物Ｈ_Ｂを復帰モーションモードで表示させる。
復帰モーションが終了すると、モード判定部５５は、リアルモード状態Ｓ１に遷移する。

【0065】

なお、人物Ｈ_ＢのＡＲグラス４_Ｂに人物Ｈ_Ａを表示するときのＡＲ表示制御装置５_Ｂの動作も同様のため、説明を省略する。

【0066】

［モーションパス］
図１１及び図１２を参照し、リダイレクションモード表示制御部５７Ａ及び復帰モーションモード表示制御部５７Ｃにおけるモーションパスについて説明する。

【0067】

リダイレクションモード表示制御部５７Ａは、人物Ｈ_Ｂの頭部が実際の姿勢（頭部角度θ_１）から人物Ｈ_Ａを振り向く角度（頭部角度θ_２）まで、人物Ｈ_Ｂの３ＤＣＧモデルが人物Ｈ_Ａを振り向くように連続的に表示させる。このとき、リダイレクションモード表示制御部５７Ａは、モーションパス情報記録部５６のモーションパス情報を用いて、頭部角度θ_１から頭部角度θ_２までのモーションパスを決定する。

【0068】

図１１に示すように、モーションパス情報ＭＰは、人物Ｈ_Ｂの頭部角度θ毎に、頭部位置（ｘ_θ，ｙ_θ，ｚ_θ）及び頭部回転量（ｒｘ_θ，ｒｙ_θ，ｒｚ_θ）を示す情報である。つまり、モーションパス情報ＭＰは、前方（角度θ＝０°）から頭部角度θまでの頭部位置（ｘ_θ，ｙ_θ，ｚ_θ）及び頭部回転量（ｒｘ_θ，ｒｙ_θ，ｒｚ_θ）の変化量を示す。なお、図１１のモーションパス情報ＭＰでは、頭部角度θが３０°間隔になっているが、頭部角度θの間隔は特に限定されない。

【0069】

図１２（ａ）に示すように、ＡＲ表示制御装置５_Ａでは、実際の姿勢（頭部角度θ_１）における人物Ｈ_Ｂの頭部位置（ｘ，ｙ，ｚ）及び頭部回転量（ｒｘ，ｒｙ，ｒｚ）を常に把握している。従って、リダイレクションモード表示制御部５７Ａは、実際の姿勢（頭部角度θ_１）における人物Ｈ_Ｂの頭部位置（ｘ，ｙ，ｚ）及び頭部回転量（ｒｘ，ｒｙ，ｒｚ）を、人物Ｈ_Ａを基準とする座標系に座標変換することで、図１２（ｂ）に示すように、人物Ｈ_Ａを振り向く角度（頭部角度θ_２）を算出できる。この座標変換は、人物Ｈ_ＡのＡＲグラス４Ａにおいて、人物Ｈ_Ｂを表示させるときのものと同様である。なお、人物Ｈ_Ｂの頭部の方向は、Ｙ軸を鉛直とする方向ｒｙで表される（人物Ｈ_Ｂの正面として映像表示装置６_Ｂの方向（図１２（ｂ）の上方向）を０°とする）。

【0070】

そして、リダイレクションモード表示制御部５７Ａは、算出した頭部角度θ_２に応じたモーションパスで、人物Ｈ_Ｂが人物Ｈ_Ａを振り向くようにＡＲグラス４_Ａに表示させる。以下、モーションパスの決定について、２つの具体例をあげて説明する。

【0071】

＜モーションパスの決定：第１例＞
この第１例の手法では、リダイレクションモードと判定された時刻ｔ＝０とし、時刻ｔ＝Ｔ_３のときの人物Ｈ_Ｂが人物Ｈ_Ａを完全に振り向くように、各時刻ｔのモーションパスを決定する（但し、０≦ｔ≦Ｔ_３）。

【0072】

ここで、各時刻ｔの頭部角度θ_ｔを算出する関数は、以下の式（１）で表される。また、人物Ｈ_Ｂの頭部をより自然にリダイレクションさせるため、以下の式（２）に示す２次補間関数としてもよい。

【0073】

【数1】

【数2】

【0074】

まず、リダイレクションモード表示制御部５７Ａは、式（１）又は式（２）の関数を用いて、頭部角度θ_１，θ_２から各時刻ｔの頭部角度θ_ｔを算出する。なお、この頭部角度θ_ｔは、座標変換前の人物Ｈ_Ｂを基準とする座標系で算出される。そして、リダイレクションモード表示制御部５７Ａは、図１１のモーションパス情報ＭＰから、各時刻ｔの頭部角度θ_ｔに対応した人物Ｈ_Ｂの頭部位置（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）及び頭部回転量（ｒｘ_ｔ，ｒｙ_ｔ，ｒｚ_ｔ）を求める。その後、リダイレクションモード表示制御部５７Ａは、各時刻ｔの人物Ｈ_Ｂの頭部位置（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）及び頭部回転量（ｒｘ_ｔ，ｒｙ_ｔ，ｒｚ_ｔ）を、人物Ｈ_Ａを基準とする座標系に座標変換する。

【0075】

さらに、リダイレクションモード中に人物Ｈ_Ａが動いてしまい、人物Ｈ_Ａを振り向く角度（頭部角度θ_２）が変化してしまう場合もある。この場合、リダイレクションモード表示制御部５７Ａは、定期的に頭部角度θ_１，θ_２を再計算して頭部角度θ_ｔを求め、人物Ｈ_Ｂの頭部位置（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）及び頭部回転量（ｒｘ_ｔ，ｒｙ_ｔ，ｒｚ_ｔ）を算出すればよい。

【0076】

＜モーションパスの決定：第２例＞
前記した第１例の手法では、リダイレクションモードに入った時点で即座に、人物Ｈ_Ｂの頭部位置（ｘ，ｙ，ｚ）及び頭部回転量（ｒｘ，ｒｙ，ｒｚ）がモーションパス情報ＭＰの値で設定されてしまい、急な姿勢変化となって違和感を与えてしまう可能性がある。

【0077】

そこで、第２例の手法では、実際の姿勢における人物Ｈ_Ｂの頭部位置（ｘ，ｙ，ｚ）及び頭部回転量（ｒｘ，ｒｙ，ｒｚ）から、徐々にモーションパス情報ＭＰの頭部位置（ｘ_θ，ｙ_θ，ｚ_θ）及び頭部回転量（ｒｘ_θ，ｒｙ_θ，ｒｚ_θ）に近づける。

【0078】

説明を簡易にするため、頭部位置のｘ座標に着目する。リダイレクションモード表示制御部５７Ａは、以下の式（３）を用いて、現フレームにおける頭部位置のｘ座標から、次フレームにおける頭部位置のｘ´座標を算出する。この式（３）は、予め設定された定数ｋによる漸化式である。この定数ｋの値を大きくするほど、モーションパス情報ＭＰの頭部位置（ｘ_θ，ｙ_θ，ｚ_θ）及び頭部回転量（ｒｘ_θ，ｒｙ_θ，ｒｚ_θ）にゆっくりと近づく（但し、ｋ≧１）。また、定数ｋ＝１に設定すると、第１例と同様になる。
なお、頭部位置のｙ座標及びｚ座標と、頭部回転量（ｒｘ，ｒｙ，ｒｚ）とについても、頭部位置のｘ座標と同様の漸化式で算出できる。

【0079】

【数3】

【0080】

復帰モーションモード表示制御部５７Ｃは、リダイレクションモード表示制御部５７Ａにおけるモーションパスと逆のモーションパスで、人物Ｈ_Ａに振り向いている人物Ｈ_Ｂが実際の姿勢に復帰するようにＡＲグラス４_Ａに表示させればよい。ここで、復帰モーションモード表示制御部５７Ｃは、リダイレクションモード表示制御部５７Ａと同様の手法でモーションパスを決定できるため、説明を省略する。
また、人物Ｈ_ＢのＡＲグラス４_Ｂに人物Ｈ_Ａを表示するときのモーションパスも同様のため、説明を省略する。

【0081】

［作用・効果］
以上のように、第１実施形態に係るＡＲ表示システム１は、自分のＡＲグラス４において、相手を前方に表示する場合であっても、相手が完全に自分を振り向いた状態となるので、空間共有での違和感を低減することができる。
さらに、ＡＲ表示システム１は、自分側と相手側との装置構成が同一なので、システム構成を簡易にすることができる。

【0082】

（第２実施形態）
［ＡＲ表示システムの構成］
図１３を参照し、第２実施形態に係るＡＲ表示システム１Ｂの構成について、第１実施形態と異なる点を説明する。

【0083】

図１３に示すように、第２実施形態に係るＡＲ表示システム１Ｂは、キャプチャ装置３Ｂをサーバ化した点が、第１実施形態と異なる。つまり、ＡＲ表示システム１Ｂは、２台のカメラ２Ｂ（２Ｂ_Ａ，２Ｂ_Ｂ）と、１台のキャプチャ装置３Ｂと、２台のＡＲグラス４（４_Ａ，４_Ｂ）と、２台のＡＲ表示制御装置５（５_Ａ，５_Ｂ）とを備える。

【0084】

カメラ２Ｂは、ネットワークＮＷを介して、人物Ｈの撮影映像をキャプチャ装置３Ｂに送信する一般的なネットワークカメラである。このとき、カメラ２Ｂは、撮影した人物Ｈの識別情報を撮影映像に付加してもよい。この識別情報を参照すれば、後記するキャプチャ装置３Ｂが、人物Ｈ_Ａ又は人物Ｈ_Ｂの何れの撮影映像であるか特定できる。

【0085】

キャプチャ装置３Ｂは、カメラ２Ｂから入力された人物Ｈの撮影映像を用いて、人物Ｈの３ＤＣＧモデル及び人物Ｈのボーン情報を生成するものである。つまり、キャプチャ装置３Ｂは、人物Ｈ_Ａ，Ｈ_Ｂの３ＤＣＧモデル及びボーン情報を生成する。例えば、キャプチャ装置３Ｂは、ネットワークＮＷ上に配置された一般的なサーバやクラウドサーバで構成できる。そして、キャプチャ装置３Ｂは、識別情報を参照し、人物Ｈ_Ａの３ＤＣＧモデル及びボーン情報をＡＲ表示制御装置５_Ｂに送信し、人物Ｈ_Ｂの３ＤＣＧモデル及びボーン情報をＡＲ表示制御装置５_Ａに送信する。
他の点、キャプチャ装置３Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。

【0086】

［作用・効果］
以上のように、第１実施形態に係るＡＲ表示システム１Ｂは、第１実施形態と同様、空間共有での違和感を低減することができる。
さらに、ＡＲ表示システム１Ｂは、キャプチャ装置３Ｂをサーバ化することで、１台のキャプチャ装置３Ｂで実現可能となり、システム構成をより簡易にすることができる。

【0087】

（第３実施形態）
［ＡＲ表示システムの構成］
図１４を参照し、第３実施形態に係るＡＲ表示システム１Ｃの構成について、第１実施形態と異なる点を説明する。

【0088】

図１４に示すように、第３実施形態に係るＡＲ表示システム１Ｃは、キャプチャ装置３ＣをＡＲグラス４Ｃに内蔵すると共に撮影映像を送受信する点が、第１実施形態と異なる。つまり、ＡＲ表示システム１Ｃは、２台のカメラ２Ｃ（２Ｃ_Ａ，２Ｃ_Ｂ）と、２台のキャプチャ装置３Ｃ（３Ｃ_Ａ，３Ｃ_Ｂ）と、２台のＡＲグラス４Ｃ（４Ｃ_Ａ，４Ｃ_Ｂ）と、２台のＡＲ表示制御装置５（５_Ａ，５_Ｂ）とを備える。

【0089】

カメラ２Ｃは、ネットワークＮＷを介して、人物Ｈの撮影映像を相手側のＡＲグラス４Ｃに内蔵されたキャプチャ装置３Ｃに送信する一般的なネットワークカメラである。つまり、カメラ２_Ａは、人物Ｈ_Ａの撮影映像を人物Ｈ_Ｂが装着するＡＲグラス４Ｃ_Ｂのキャプチャ装置３_Ｂに送信する。さらに、カメラ２_Ｂは、人物Ｈ_Ｂの撮影映像を人物Ｈ_Ａが装着するＡＲグラス４Ｃ_Ａのキャプチャ装置３_Ａに送信する。

【0090】

キャプチャ装置３Ｃは、ネットワークＮＷを介して、カメラ２Ｃから人物Ｈの撮影映像を受信し、受信した撮影映像を用いて、人物Ｈの３ＤＣＧモデル及びボーン情報を生成するものである。また、キャプチャ装置３Ｃは、ＡＲグラス４Ｃに内蔵されている。
他の点、キャプチャ装置３Ｃ及びＡＲグラス４Ｃは、第１実施形態と同様のため、これ以上の説明を省略する。

【0091】

［作用・効果］
以上のように、第３実施形態に係るＡＲ表示システム１Ｃは、第１実施形態と同様、空間共有での違和感を低減することができる。
さらに、ＡＲ表示システム１Ｃは、３ＤＣＧモデルやボーン情報よりもデータ量が少ない撮影映像を送受信するので、ネットワークＮＷの通信帯域を節約することができる。

【0092】

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、ＡＲ表示装置がＡＲグラスであることとして説明したが、これに限定されない。例えば、ＡＲ表示装置がＡＲ表示機能を有するスマートフォンであってもよい。
前記した各実施形態では、ＡＲ表示制御装置がＡＲグラスに内蔵されることとして説明したが、ＡＲ表示制御装置をＡＲグラスの外部に備えてもよい。

【0093】

前記した各実施形態では、ＡＲ表示装置をハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したＡＲ表示装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0094】

１～１Ｃ ＡＲ表示システム
２～２Ｃ カメラ
３～３Ｃ キャプチャ装置
４，４Ｃ ＡＲグラス
５ ＡＲ表示制御装置
６ 映像表示装置
３０ 撮影映像入力部
３１ ３ＤＣＧモデル生成部
３２ ボーン情報生成部
３３ ３ＤＣＧ・ボーン情報送信部
４０ 視線センサ
４１ ＡＲディスプレイ
５０ 視線入力部
５１ 視線判定処理部
５２ 視線人物情報送信部（視線情報送信部）
５３ ３ＤＣＧ・ボーン情報受信部（３次元モデル姿勢情報受信部）
５４ 視線人物情報受信部（視線情報受信部）
５５ モード判定部
５６ モーションパス情報記録部
５７Ａ リダイレクションモード表示制御部
５７Ｂ リアルモード表示制御部
５７Ｃ 復帰モーションモード表示制御部
５８ バーチャル表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】