(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024149597
(43)【公開日】2024-10-18
(54)【発明の名称】３次元仮想現実表示システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241010BHJP
G06F 3/01 20060101ALI20241010BHJP
G06F 3/04815 20220101ALI20241010BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
G06F3/04815
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2024124597
(22)【出願日】2024-07-31
(62)【分割の表示】P 2022544936の分割
【原出願日】2020-08-25
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】川前 治
(72)【発明者】
【氏名】奥 万寿男
(57)【要約】
【課題】３次元ＡＲオブジェクトをより正確に認識できる技術を提供する。
【解決手段】３次元仮想現実表示システムであって、サーバ（９）とサーバに無線通信接続されたヘッドマウントディスプレイ（２ａ、ＨＭＤ）とを備え、ＨＭＤは、現実物体を撮像した３次元現実空間画像データと、現実空間の観測者から現実物体までの距離を測定して距離データをサーバに送信し、サーバは３次元現実空間画像データの撮影方向を観測者の視線として用い、観測者が３次元仮想現実物体を観測する視線上に現実物体が存在する場合、観測者から３次元仮想現実物体が表示される距離と距離データに示される観測者から現実物体までの距離とを比較し、３次元仮想現実物体に現実物体が重なる場合は、視線上に３次元仮想現実物体は表示し、現実物体画像は視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、ＨＭＤが表示画像データに基づく画像を表示する。
【選択図】図７Ａ
【解決手段】３次元仮想現実表示システムであって、サーバ（９）とサーバに無線通信接続されたヘッドマウントディスプレイ（２ａ、ＨＭＤ）とを備え、ＨＭＤは、現実物体を撮像した３次元現実空間画像データと、現実空間の観測者から現実物体までの距離を測定して距離データをサーバに送信し、サーバは３次元現実空間画像データの撮影方向を観測者の視線として用い、観測者が３次元仮想現実物体を観測する視線上に現実物体が存在する場合、観測者から３次元仮想現実物体が表示される距離と距離データに示される観測者から現実物体までの距離とを比較し、３次元仮想現実物体に現実物体が重なる場合は、視線上に３次元仮想現実物体は表示し、現実物体画像は視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、ＨＭＤが表示画像データに基づく画像を表示する。
【選択図】図７Ａ
【特許請求の範囲】
【請求項1】
３次元仮想現実表示システムであって、
サーバと、前記サーバに無線通信接続されたヘッドマウントディスプレイと、を備え、
前記サーバは、
第１プロセッサを備え、
前記ヘッドマウントディスプレイは、
現実空間内に存在する現実物体を撮像して現実物体画像を含む３次元現実空間画像データを出力するカメラと、
前記現実空間の観測者から前記現実物体までの距離を測定して距離データを出力する距離センサと、
ディスプレイと、
第２プロセッサと、を備え、
前記ヘッドマウントディスプレイから前記サーバへ、前記３次元現実空間画像データおよび前記距離データを送信し、
前記サーバは、前記３次元現実空間画像データおよび前記距離データを受信し、
前記第１プロセッサは、
前記３次元現実空間画像データの撮影方向を前記観測者の視線として用い、
前記観測者が３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記距離データに示される前記観測者から前記現実物体までの距離とを比較し、前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、
前記サーバから前記ヘッドマウントディスプレイへ前記表示画像データを送信し、
前記ヘッドマウントディスプレイは、前記表示画像データを受信し、
前記第２プロセッサは、前記表示画像データに基づいて前記３次元仮想現実物体が含まれる画像を前記ディスプレイに表示する、
ことを特徴とする３次元仮想現実表示システム。
サーバと、前記サーバに無線通信接続されたヘッドマウントディスプレイと、を備え、
前記サーバは、
第１プロセッサを備え、
前記ヘッドマウントディスプレイは、
現実空間内に存在する現実物体を撮像して現実物体画像を含む３次元現実空間画像データを出力するカメラと、
前記現実空間の観測者から前記現実物体までの距離を測定して距離データを出力する距離センサと、
ディスプレイと、
第２プロセッサと、を備え、
前記ヘッドマウントディスプレイから前記サーバへ、前記３次元現実空間画像データおよび前記距離データを送信し、
前記サーバは、前記３次元現実空間画像データおよび前記距離データを受信し、
前記第１プロセッサは、
前記３次元現実空間画像データの撮影方向を前記観測者の視線として用い、
前記観測者が３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記距離データに示される前記観測者から前記現実物体までの距離とを比較し、前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、
前記サーバから前記ヘッドマウントディスプレイへ前記表示画像データを送信し、
前記ヘッドマウントディスプレイは、前記表示画像データを受信し、
前記第２プロセッサは、前記表示画像データに基づいて前記３次元仮想現実物体が含まれる画像を前記ディスプレイに表示する、
ことを特徴とする３次元仮想現実表示システム。
【請求項2】
請求項１に記載の３次元仮想現実表示システムであって、
前記第１プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向に最も遠い最遠点と同距離またはそれよりも手前に前記現実物体が存在する場合、前記３次元仮想現実物体に前記現実物体が重なると判断する、
ことを特徴とする３次元仮想現実表示システム。
前記第１プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向に最も遠い最遠点と同距離またはそれよりも手前に前記現実物体が存在する場合、前記３次元仮想現実物体に前記現実物体が重なると判断する、
ことを特徴とする３次元仮想現実表示システム。
【請求項3】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記現実物体が前記最遠点よりも前記視線上において遠くに位置する場合、前記現実物体画像に、前記３次元仮想現実物体の背後に表示させるためのオクルージョン処理を実行して前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
前記第１プロセッサは、前記現実物体が前記最遠点よりも前記視線上において遠くに位置する場合、前記現実物体画像に、前記３次元仮想現実物体の背後に表示させるためのオクルージョン処理を実行して前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項4】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に存在する場合、前記３次元現実空間画像から前記現実物体画像を削除し、当該削除した領域に前記３次元現実空間画像を基に生成した背景物体画像をはめ込んだ前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
前記第１プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に存在する場合、前記３次元現実空間画像から前記現実物体画像を削除し、当該削除した領域に前記３次元現実空間画像を基に生成した背景物体画像をはめ込んだ前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項5】
請求項４に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記３次元現実空間画像における前記視線から退避した位置に削除された前記現実物体画像を移動した前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
前記第１プロセッサは、前記３次元現実空間画像における前記視線から退避した位置に削除された前記現実物体画像を移動した前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項6】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に位置する場合、予め用意された３次元仮想空間画像に前記３次元仮想現実物体を重ねた前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
前記第１プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に位置する場合、予め用意された３次元仮想空間画像に前記３次元仮想現実物体を重ねた前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項7】
請求項２に記載の３次元仮想現実表示システムにおいて、
前記第１プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向の最も手前にある最近点と同距離またはそれよりも更に手前に前記現実物体が存在する場合、前記現実空間を前記カメラが撮像した３次元現実空間画像から前記現実物体画像を削除し、前記現実物体が削除された３次元現実空間画像に前記３次元仮想現実物体を重ねるとともに、前記３次元現実空間画像から前記現実物体画像が削除された残領域に、前記３次元現実空間画像を基に生成した前景画像をはめ込んだ前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
前記第１プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向の最も手前にある最近点と同距離またはそれよりも更に手前に前記現実物体が存在する場合、前記現実空間を前記カメラが撮像した３次元現実空間画像から前記現実物体画像を削除し、前記現実物体が削除された３次元現実空間画像に前記３次元仮想現実物体を重ねるとともに、前記３次元現実空間画像から前記現実物体画像が削除された残領域に、前記３次元現実空間画像を基に生成した前景画像をはめ込んだ前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【請求項8】
請求項１に記載の３次元仮想現実表示システムにおいて、
前記３次元仮想現実物体は、当該３次元仮想現実物体に対するオクルージョン処理を制御するためのフラグが付与され、
前記第１プロセッサは、前記フラグに応じて前記３次元仮想現実物体と前記現実物体画像との間のオクルージョン処理の実行を制御する、
ことを特徴とする３次元仮想現実表示システム。
前記３次元仮想現実物体は、当該３次元仮想現実物体に対するオクルージョン処理を制御するためのフラグが付与され、
前記第１プロセッサは、前記フラグに応じて前記３次元仮想現実物体と前記現実物体画像との間のオクルージョン処理の実行を制御する、
ことを特徴とする３次元仮想現実表示システム。
【請求項9】
請求項８に記載の３次元仮想現実表示システムにおいて、
前記３次元仮想現実物体は非透明領域と透明領域とを含み、
前記フラグは前記非透明領域に付される非透明領域フラグと、前記透明領域に付加される透明領域フラグと、を含み、
前記第１プロセッサは、前記非透明領域フラグが付加された前記３次元仮想現実物体の部位は、前記重なり解消表示処理を実行し、前記透明領域フラグが付加された前記３次元仮想現実物体の透明領域は、前記透明領域と前記現実物体との距離に関わらず、前記透明領域を透過して前記現実物体を観測する視線上に前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体とがある場合は、前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体との距離に応じた表示、または前記視線上に前記現実物体のみが存在する場合は前記現実物体までの距離に応じた表示を行う前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
前記３次元仮想現実物体は非透明領域と透明領域とを含み、
前記フラグは前記非透明領域に付される非透明領域フラグと、前記透明領域に付加される透明領域フラグと、を含み、
前記第１プロセッサは、前記非透明領域フラグが付加された前記３次元仮想現実物体の部位は、前記重なり解消表示処理を実行し、前記透明領域フラグが付加された前記３次元仮想現実物体の透明領域は、前記透明領域と前記現実物体との距離に関わらず、前記透明領域を透過して前記現実物体を観測する視線上に前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体とがある場合は、前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体との距離に応じた表示、または前記視線上に前記現実物体のみが存在する場合は前記現実物体までの距離に応じた表示を行う前記表示画像データを生成する、
ことを特徴とする３次元仮想現実表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元仮想現実表示システムに関し、特に、現実空間と仮想現実物体（ＡＲオブジェクト：Ａｒｇｕｍｅｎｔ Ｒｅａｌｉｔｙ Ｏｂｊｅｃｔ）とを含む複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を体験するための技術に関する。
【背景技術】
【0002】
特許文献１は、「現実空間画像と仮想オブジェクト画像とを合成した合成画像を表示装置に出力する情報処理装置が、現実物体の位置を特定し、特定された現実物体の位置の情報に基づいて現実物体が移動しているか判定し、移動している場合に現実物体の存識可能にするように前記合成画像を前記表示装置に表示させるべく出力する」（要約抜粋）技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－１２２３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、３次元ＡＲオブジェクトと現実空間の現実物体とがＨＭＤからの視線上で重なる場合は、３次元ＡＲオブジェクトを半透明にする、あるいは現実物体の近傍で３次元ＡＲオブジェクトを非表示にするなど、３次元ＡＲオブジェクトの表示に制約を与えている。このため、３次元ＡＲオブジェクトを正確に認識して、ＭＲ体験を行うことができない場合がある。
【0005】
本発明は上記課題に鑑みてなされたものであり、３次元ＡＲオブジェクトをより正確に認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、３次元仮想現実表示システムであって、サーバと、前記サーバに無線通信接続されたヘッドマウントディスプレイと、を備え、前記サーバは、第１プロセッサを備え、前記ヘッドマウントディスプレイは、現実空間内に存在する現実物体を撮像して現実物体画像を含む３次元現実空間画像データを出力するカメラと、前記現実空間の観測者から前記現実物体までの距離を測定して距離データを出力する距離センサと、ディスプレイと、第２プロセッサと、を備え、前記ヘッドマウントディスプレイから前記サーバへ、前記３次元現実空間画像データおよび前記距離データを送信し、前記サーバは、前記３次元現実空間画像データおよび前記距離データを受信し、前記第１プロセッサは、前記３次元現実空間画像データの撮影方向を前記観測者の視線として用い、前記観測者が３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記距離データに示される前記観測者から前記現実物体までの距離とを比較し、前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行った表示画像データを生成し、前記サーバから前記ヘッドマウントディスプレイへ前記表示画像データを送信し、前記ヘッドマウントディスプレイは、前記表示画像データを受信し、前記第２プロセッサは、前記表示画像データに基づいて前記３次元仮想現実物体が含まれる画像を前記ディスプレイに表示する、ことを特徴とする。
【発明の効果】
【0007】
本発明によれば、３次元ＡＲオブジェクトをより正確に認識できる。上記した以外の目的、構成、効果については、以下の実施形態において明らかにされる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る３次元仮想現実表示システムの概要図
【図2】３次元仮想現実表示装置の一例としてのＨＭＤの外観図
【図3】ＨＭＤのブロック図
【図4】ＶＲサービスサーバのブロック図
【図5】ＭＲ支援サーバのブロック図
【図6A】従来の３次元仮想現実表示例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）
【図6B】第１実施形態に係る３次元仮想現実表示（第１重なり解消表示例）を示す図
【図6C】第１実施形態に係る３次元仮想現実表示（第２重なり解消表示例）を示す図
【図6D】第１実施形態に係る３次元仮想現実表示（第３重なり解消表示例）を示す図
【図7A】第１実施形態に係るＭＲ体験プログラムのフローチャート
【図7B】体積の重なり具合の判断アルゴリズム例を示す図
【図8】第１実施形態に係るＶＲサービスサーバのフローチャート
【図9】第１実施形態に係るＭＲ支援サーバのフローチャート
【図10A】従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトよりも手前に現実物体がいる状態を示す図）
【図10B】第２実施形態に係る３次元仮想現実表示（第４重なり解消表示例）を示す図
【図11】第２実施形態に係るＭＲ体験プログラムのフローチャート
【図12A】従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）
【図12B】第３実施形態に係る３次元仮想現実表示例を示す図（透明部位の処理例）
【図12C】第３実施形態に係る３次元仮想現実表示例を示す図（ＶＲ画像への置換例）
【図13】３ＤＡＲオブジェクトテーブルを示す図
【図14】第３実施形態に係るＭＲ体験プログラムのフローチャート
【図15】第３実施形態に係る３次元仮想現実表示の別例を示す図
【図16】第４実施形態のＭＲ支援サーバのブロック図
【図17】第４実施形態の３次元仮想現実表示処理の流れを示すフローチャート
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、本発明の実施形態について説明する。全図において同一の構成、ステップには同一の符号を付し、重複説明を省略する。
【0010】
本実施形態では、現実空間を測距カメラで撮影した３次元現実空間画像（以下「現実空間画像」という）にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で作成した３次元仮想現実物体（以下「３ＤＡＲオブジェクト」という、図面では「３Ｄ-ＡＲＯ」と記載する。）を合成して表示する。本実施形態では、測距カメラ２０を用いることによりカメラと距離を測定する距離センサとを一体的に構成したが、カメラと例えば超音波距離計といった別体の距離センサとを組み合わせて構成してもよい。
【0011】
現実空間を撮像して得られる３次元現実空間画像に３ＤＡＲオブジェクトを重ねて表示する際に、視点から遠い側に表示されるべき画像には、近い側に表示されるべき画像によって遮蔽領域が生じる。この遮蔽領域を表現する画像処理手法としてオクルージョンがある。
【0012】
ＡＲ画像を現実空間の背景画像に合成した複合現実空間（ＭＲ）画像は、ゲームや保守作業、セールスプロモーション等のコンテンツに用いられている。ＡＲ画像を合成するために、例えば現実空間画像からＡＲマーカと呼ばれる被写体を撮像し、この被写体領域にＡＲマーカに紐付けられたＡＲ画像が重畳される。３次元仮想現実表示を行うハードウェアとして、カメラとディスプレイとが一体化されたＨＭＤ（ヘッドマウントディスプレイ）が用いられることが多いことから、以下では、本発明をＨＭＤに実装する実施形態について説明する。
【0013】
【0014】
（３次元仮想現実表示システムの構成）
図１は、第１実施形態に係る３次元仮想現実表示システムの概要図である。
図１は、第１実施形態に係る３次元仮想現実表示システムの概要図である。
【0015】
図１にて、ＭＲ体験者２はＨＭＤ２ａを頭部に装着し、ＭＲ空間１を視認する。同様にＭＲ体験者３は、ＨＭＤ３ａを頭部に装着し、ＭＲ空間１を視認する。
【0016】
ＨＭＤ２ａ、３ａのそれぞれは、アクセスポイント１ａと、無線ＬＡＮ信号１ｂ、２ｂ、３ｂを送受信して無線通信接続される。
【0017】
アクセスポイント１ａは、ＭＲ空間１に配置されている。そしてアクセスポイント１ａは、ＭＲ空間１の外のネットワーク７に接続して、ＨＭＤ２ａ、３ａとネットワーク７上に置かれているＶＲサービスサーバ８およびＭＲ支援サーバ９のそれぞれと通信を行わせる。ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）とは、仮想現実空間のことである。
【0018】
現実空間には、ＭＲ非体験者４ａ、４ｂが存在する。また現実空間の背景の一部として花瓶５ａと窓５ｂとがある。３ＤＡＲオブジェクト６は、車の３次元ＡＲオブジェクトである。
【0019】
ＭＲ空間１は、車のセールスプロモーションを想定した空間であり、特定の一人のＭＲ体験者に限定された空間ではなく、ＭＲ体験者２、３のように、複数の人が同時にＭＲ体験を行っていてもよい。ＭＲ体験者３は商品説明員であって、ＭＲ体験者２と同じ３ＤＡＲオブジェクト６を異なる方向から観測している場合もあるし、ＭＲ体験者２とは異なる３ＤＡＲオブジェクトを観測している独立な来場者であってもよい。販売対象である車を３ＤＡＲオブジェクト６として提示することにより、プロモータは、高価な現実物体（車）を展示する必要もなく、複数の車を展示する広い空間も必要とはしない。ＭＲ空間１には、ＭＲ体験者２、３以外にも、ＭＲ非体験者４ａ、４ｂの入場者が居てもよい。ＭＲ非体験者４ａ、４ｂはＭＲ体験者２、３の家族や、ＭＲ体験をこれから行おうと待機している来場者等である。
【0020】
ＭＲ非体験者４ａ、４ｂは、３ＤＡＲオブジェクト６を観測しておらず、ＭＲ空間１内の移動は制限されていない。このためＭＲ非体験者４ｂのように、３ＤＡＲオブジェクト６と同じ位置にいることが起こりえる。
【0021】
図２は、３次元仮想現実表示装置の一例としてのＨＭＤ２ａ、３ａの外観図である。ＨＭＤ２ａは、ビデオシースルー型のＨＭＤである。ＨＭＤ３ａは、ＨＭＤ２ａと同じ構成であるため説明を省略する。ＨＭＤ２ａは、視差を有する測距カメラ２０とディスプレイ２２を備える。ＨＭＤ２ａは、測距カメラ２０で前景を撮影し、ＭＲ体験者２の前面に配置するディスプレイ２２に、測距カメラ２０で撮影する画像にＣＧ等で描画した３ＤＡＲオブジェクト６を合成して表示する。
【0022】
測距カメラ２０は、左カメラ２０ａおよび右カメラ２０ｂを含み、撮影している対象物との距離を測るための測距カメラである。ディスプレイ２２は平面ディスプレイであり、その内側にシャッタ２３が備えられる。ディスプレイ２２に左目用の画像と右目用の画像を交互に表示されると、シャッタ２３はディスプレイ２２の表示に同期して開閉する。すなわち、左目用の画像が表示されるとディスプレイ２２の左半分は開、右半分は閉に、右目用の画像が表示されるとディスプレイ２２の左半分は閉、右半分は開に動作する。これにより、ＨＭＤ２ａは、３次元表示に対応している。ＭＲ体験者２は、表示される画像に同期して、交互に片方の目だけに表示画像を見る。
【0023】
さらにＨＭＤ２ａは、プロセッサ２４、および装着用筐体２５ａ、２５ｂを備える。装着用筐体２５ａ、２５ｂで、ＨＭＤ２ａを頭部に装着する。
【0024】
左カメラ２０ａおよび右カメラ２０ｂで撮影された前方の現実空間画像がディスプレイ２２に表示され、ＭＲ体験者２は現実空間画像を見る。またディスプレイ２２は、３ＤＡＲオブジェクト６を、現実空間画像に重畳して映し出す。この時、左カメラ２０ａで撮影する画像に左目用ＡＲオブジェクトの画像を、右カメラ２０ｂで撮影する画像に右目用ＡＲオブジェクトの画像を重畳してディスプレイ２２に表示して、３ＤＡＲオブジェクト６があたかも現実空間の所定の距離にあるように立体的（３次元的に）に表示する。
【0025】
ＨＭＤ２ａでの表示には、現実空間の現実物体、図１ではＭＲ非体験者４ｂ、花瓶５ａ、窓５ｂと３ＤＡＲオブジェクト６の距離の前後関係が反映される。例えば、現実物体（ＭＲ非体験者４ｂ）の一部分が３ＤＡＲオブジェクト６の一部分の前にある関係にある時、現実物体（ＭＲ非体験者４ｂ）の一部分に３ＤＡＲオブジェクト６の一部分が隠されて見えるように、３ＤＡＲオブジェクト６の描画データを加工するオクルージョン処理を行う。
【0026】
（３次元仮想現実表示装置のブロック図）
図３は、ＨＭＤ２ａのブロック図である。図３にて、図２と同一のものには同一の番号を付している。図３にて、プロセッサ２４は破線で囲った部分であり、プロセッサ２４に左カメラ２０ａ、右カメラ２０ｂ、ディスプレイ２２、シャッタ２３、スピーカ２６、マイク２７が接続される。
図３は、ＨＭＤ２ａのブロック図である。図３にて、図２と同一のものには同一の番号を付している。図３にて、プロセッサ２４は破線で囲った部分であり、プロセッサ２４に左カメラ２０ａ、右カメラ２０ｂ、ディスプレイ２２、シャッタ２３、スピーカ２６、マイク２７が接続される。
【0027】
プロセッサ２４は、カメラ用プロセッサ２４０、方位センサ２４１、ジャイロセンサ２４２、加速度センサ２４３、無線通信器２４４、ＣＰＵ２４５（メインプロセッサに相当する）、ＲＡＭ２４６、画像ＲＡＭ２４７、Ｆｌａｓｈ ＲＯＭ（ＦＲＯＭ）２４８、および内部バス２４９を含み、各要素が内部バス２４９を介して互いに接続される。
【0028】
無線通信器２４４は、４Ｇ、５Ｇ等のモバイル通信、ワイヤレスＬＡＮ等の幾つかの通信処理の中から適切な処理を選択して、アクセスポイント１ａを介してＨＭＤ２ａをネットワーク７に接続する。
【0029】
ＦＲＯＭ２４８は、基本プログラム２５０、ＭＲ体験プログラム２５１を含む。ＣＰＵ２４５は、これら処理プログラムをＲＡＭ２４６に展開して実行する。さらにＦＲＯＭ２４８には、処理プログラムを実行するのに必要なデータを格納する。ＦＲＯＭ２４８は、Ｆｌａｓｈ ＲＯＭ以外の不揮発性のメモリ媒体であっても良い。
【0030】
またＣＰＵ２４５は、ディスプレイ２２に送出する画像データを、画像ＲＡＭ２４７に格納した後、読み出す。
【0031】
カメラ用プロセッサ２４０は、左カメラ２０ａおよび右カメラ２０ｂで撮影した画像をもとに、現実空間画像の被写体（現実物体に相当する）までの距離算出処理を実行し、現実空間画像に現実空間画像の被写体までの距離データを付加する。本明細書において「現実空間画像」とは画像だけを意味し、これに距離データが付加されたデータは「現実空間画像データ」と称する。
【0032】
方位センサ２４１、ジャイロセンサ２４２、加速度センサ２４３等のセンサ群は、ＨＭＤ２ａの位置や測距カメラ２０の撮影方向（ＨＭＤ２ａを装着するＭＲ体験者２の視線として用いられる）を知るのに用いる。
【0033】
なおＨＭＤ２ａは、下記で説明するＶＲサービスサーバ８やＭＲ支援サーバ９で実行する処理の一部もしくは全部を含んでもよい。
【0034】
図４は、ＶＲサービスサーバ８のブロック図である。ＶＲサービスサーバ８は、有線ＬＡＮ等のネットワークインターフェース（ネットワークＩＦ）８１、ＣＰＵ８２、ＲＡＭ８３、ストレージ８４を含み、これらが内部バス８５を介して互いに接続される。
【0035】
ストレージ８４はＦｌａｓｈ ＲＯＭのほか、ハードディスクドライブ等と組み合わせたものであってもよい。ストレージ８４は、ＶＲサービスプログラム８６を格納する。ＣＰＵ８２は、ＶＲサービスプログラム８６をＲＡＭ８３に展開して実行する。
【0036】
さらにストレージ８４は３ＤＡＲオブジェクト等のＶＲデータ８７を格納する。ＶＲデータ８７は、ＶＲサービスプログラム８６を実行するのに必要なデータである。
【0037】
ＶＲデータ８７としては、３ＤＡＲオブジェクトのほかＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像データも含んでよい。ＶＲ画像データは、ＭＲ体験者２、３の現実空間画像全体を置き換える画像で、ＭＲ体験者２、３はＶＲ画像データで与えられる別の空間にあたかも居るように感じながら、３ＤＡＲオブジェクト６の観測を行う体験が可能となる。
【0038】
図５は、ＭＲ支援サーバ９のブロック図である。ＭＲ支援サーバ９は、有線ＬＡＮ等のネットワークＩＦ９１、ＣＰＵ９２、ＲＡＭ９３，ストレージ９４を含み、これらが内部バス９５を介して互いに接続される。
【0039】
ストレージ９４はＦｌａｓｈ ＲＯＭのほか、ハードディスクドライブ等と組み合わせたものであってもよい。ストレージ９４は、処理プログラムとして、ＭＲ支援プログラム９６を含む。ＣＰＵ９２は、ＭＲ支援プログラム９６をＲＡＭ９３に展開して実行する。
【0040】
さらにストレージ９４は背景物体画像９７と現実物体画像９８を格納する。これらはＭＲ支援プログラム９６を実行するのに必要なデータである。
【0041】
背景物体画像９７と現実物体画像９８は、ユーザがＭＲ体験を行うためのデータであり、複数のユーザに対応する場合には、ユーザ毎に分けられたデータが存在する。
【0042】
現実物体画像９８は、ＨＭＤ２ａから受信して得る現実空間画像から、時間差分等によって動きのある領域を検知し、一塊の領域を現実物体として認識したデータである。さらには現実物体の形状等から、現実物体が何であるか、例えば人であるかを検知してもよい。
【0043】
背景物体画像９７は、現実空間画像から現実物体の領域を取り除いた背景画像のデータであり、現実空間画像の動きのない領域のデータである。取り除かれる現実物体の領域には、時間を遡った現実空間画像から、その領域に現実物体が現れなかった時のデータを補間して背景画像を得る。より詳しくは、背景物体画像９７は、現実物体画像９８の後ろ側にあるので、ある時点、すなわち複数フレームからなる３次元現実空間画像の同一フレーム（対象フレーム）には現実物体画像９８のさらに後ろにある背景物体は撮像されてない。そこで、ＭＲ支援プログラム９６は、対象フレームから現実物体画像９８を認識し、それが映り込んでいない他のフレームから背景物体画像９７を抽出することで、背景物体画像９７を生成する。
【0044】
（３次元仮想現実表示による画像）
図６Ａ～図６Ｄは、３次元仮想現実表示方法を説明する図である。図６Ａは、従来の３次元仮想現実表示例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）、図６Ｂは、第１実施形態に係る３次元仮想現実表示（第１重なり解消表示例）を示す図、図６Ｃは、第１実施形態に係る３次元仮想現実表示（第２重なり解消表示例）を示す図、図６Ｄは、第１実施形態に係る３次元仮想現実表示（第３重なり解消表示例）を示す図である。図６Ａ～図６Ｃは、図１に示している破線で囲った領域（ＡＲＥＡ）に対応している。図１に示されるように、現実物体であるＭＲ非体験者４ｂと３ＤＡＲオブジェクト６は、距離関係で同じ程度の位置にあり、ＨＭＤ２ａの視線上において重なっている。ここでいう“距離関係”とは、ＨＭＤ２ａを基点とし、ＨＭＤ２ａの装着者であるＭＲ体験者２の同一視線方向上における距離関係である。ＭＲ体験者２からの同距離にあっても、視線方向が異なっている距離関係は含まない。
図６Ａ～図６Ｄは、３次元仮想現実表示方法を説明する図である。図６Ａは、従来の３次元仮想現実表示例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）、図６Ｂは、第１実施形態に係る３次元仮想現実表示（第１重なり解消表示例）を示す図、図６Ｃは、第１実施形態に係る３次元仮想現実表示（第２重なり解消表示例）を示す図、図６Ｄは、第１実施形態に係る３次元仮想現実表示（第３重なり解消表示例）を示す図である。図６Ａ～図６Ｃは、図１に示している破線で囲った領域（ＡＲＥＡ）に対応している。図１に示されるように、現実物体であるＭＲ非体験者４ｂと３ＤＡＲオブジェクト６は、距離関係で同じ程度の位置にあり、ＨＭＤ２ａの視線上において重なっている。ここでいう“距離関係”とは、ＨＭＤ２ａを基点とし、ＨＭＤ２ａの装着者であるＭＲ体験者２の同一視線方向上における距離関係である。ＭＲ体験者２からの同距離にあっても、視線方向が異なっている距離関係は含まない。
【0045】
図６Ａは、重なっているＭＲ非体験者４ｂ（現実物体）と３ＤＡＲオブジェクト６をオクルージョン処理した画像である。３ＤＡＲオブジェクト６の前にあるＭＲ非体験者４ｂの上部は表示されるが、３ＤＡＲオブジェクト６の後ろにあるＭＲ非体験者４ｂの下部は表示されない。この結果、３ＤＡＲオブジェクト６の中からＭＲ非体験者４ｂが表れている（車のボンネットの上に人物の上半身が乗っているまたは生えているような）画像となり、ＭＲ非体験者４ｂが３ＤＡＲオブジェクト６の認識を妨げている不自然な画像となってしまう。このため本実施形態では、図６Ｂもしくは図６Ｃに示す処理を行う。
【0046】
図６Ｂ、図６Ｃでは、距離で同じ程度の位置にある現実物体（ＭＲ非体験者４ｂ）と３ＤＡＲオブジェクト６とでオクルージョン処理を実行させない。代わりに、現実物体（ＭＲ非体験者４ｂ）の領域に、背景画像から切り出す背景物体画像１０を挿入し、背景物体画像１０と３ＤＡＲオブジェクト６とでオクルージョン処理を行う。背景物体画像１０は、通常３ＤＡＲオブジェクト６よりも同一視線上において遠い距離に位置するものであり、３ＤＡＲオブジェクト６を欠けることなく表示できるとともに、現実物体（ＭＲ非体験者４ｂ）に隠れていた背景（例えば花瓶５ａ）も表示されるので、自然なＭＲ体験が可能となる。以上が図６Ｂの処理（第１重なり解消表示）である。
【0047】
図６Ｃでは、図６Ｂに加えて、現実物体（ＭＲ非体験者４ｂ）の画像を３ＤＡＲオブジェクト６の認識に支障のない場所に移動（退避）させる（第２重なり解消表示）。図６Ｃの画像１１が移動後の現実物体（ＭＲ非体験者４ｂ）である。現実物体（ＭＲ非体験者４ｂ）がＭＲ体験者２、３の子供等、常に注意を払っているべき存在であるような場合に、現実物体を非表示にせず、３ＤＡＲオブジェクト６と現実物体（ＭＲ非体験者４ｂ）とを同時に視認可能にさせ、かつオクルージョンによる不自然な画像の表示をせずにＭＲ体験の没入感を保持するという特徴を持つ。ここで現実物体（ＭＲ非体験者４ｂ）を移動させる際に、遠方や近傍のようにＭＲ体験者２からの同一視線上の距離が異なる場合がある。その場合には、ＭＲ体験者２からの距離に応じて現実物体（ＭＲ非体験者４ｂ）の縮尺を小さく加工したり、大きく加工したりすることで、自然なサイズで視認することが可能となる。
【0048】
図６Ｄは、ＶＲ画像データ６ａで現実空間画像を置き換えた例（第３重なり解消表示例）である。ＶＲ画像データ６ａが３ＤＡＲオブジェクト６の背面にある場合、３ＤＡＲオブジェクト６はＶＲ画像６ａを背景にして表示される。また、車のセールスプロモーションの場面によっては、図６Ｂもしくは図６Ｃの映像から、図６Ｄのような表示に切り替えると多様な背景と３ＤＡＲオブジェクト６を組み合わせた映像を表示することができ、体験者がいろいろなシーンで３ＤＡＲオブジェクト６を視認することが可能となる。図６Ｂもしくは図６Ｃの映像から、図６Ｄの背景映像に切り替える際に、徐々に映像を合成させて変化させたり、ワイプ処理のような加工を行ったりしても良い。
【0049】
（フローチャート）
図７Ａは、第１実施形態に係るＭＲ体験プログラム２５１のフローチャートである。ＭＲ体験者２がＨＭＤ２ａに格納されたＭＲ体験プログラム２５１を起動し（Ｓ１０１）、ＶＲサービスサーバ８やＭＲ支援サーバ９にログインする。以下、ＨＭＤ２ａがＭＲ体験プログラム２５１を実行中の動作についてステップ順に沿って説明する。また、以下では現実物体としてのＭＲ非体験者４ｂが車の３ＤＡＲオブジェクト６に重なるまたは重ならない場合の処理を例に挙げて説明する。
図７Ａは、第１実施形態に係るＭＲ体験プログラム２５１のフローチャートである。ＭＲ体験者２がＨＭＤ２ａに格納されたＭＲ体験プログラム２５１を起動し（Ｓ１０１）、ＶＲサービスサーバ８やＭＲ支援サーバ９にログインする。以下、ＨＭＤ２ａがＭＲ体験プログラム２５１を実行中の動作についてステップ順に沿って説明する。また、以下では現実物体としてのＭＲ非体験者４ｂが車の３ＤＡＲオブジェクト６に重なるまたは重ならない場合の処理を例に挙げて説明する。
【0050】
ＨＭＤ２ａがカメラ撮影を開始する（Ｓ１０２）。測距カメラ２０で撮影する画像には、現実物体への距離データが添付される。カメラ撮影は、例えば３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で動画撮影をして複数フレームが時系列に並んだ３次元現実空間画像データを生成し、撮影画像をキャプチャするようにしてよく、以降のステップは、カメラ撮影周期に同期して実行してもよい。
【0051】
ＨＭＤ２ａは、無線通信器２４４を介して、３次元現実空間画像データをＭＲ支援サーバ９に送信する（Ｓ１０３）。ＭＲ支援サーバ９は、後記するように現実空間画像から、現実物体画像（ＭＲ非体験者４ｂ）および背景物体画像（例えば花瓶５ａ、窓５ｂ）を分離する。
【0052】
さらにＨＭＤ２ａは、ＶＲサービスサーバ８に３ＤＡＲオブジェクト６の描画データ（ＶＲデータ８７に含まれる）の送信要求を送信する（Ｓ１０４）。
【0053】
ＨＭＤ２ａは、ＭＲ支援サーバ９から、現実空間画像から抽出された少なくとも一つ以上、好ましくは全ての現実物体画像データ（現実物体画像とその距離データを含む）を受信し（Ｓ１０５）、ＶＲサービスサーバ８から３ＤＡＲオブジェクト（本例では３ＤＡＲオブジェクト６）の描画データやＶＲ画像データを受信する（Ｓ１０６）。
【0054】
ＨＭＤ２ａは、各現実物体（ＭＲ非体験者４ｂ）と３ＤＡＲオブジェクト６との３次元的な重なり、換言すると、ＨＭＤ２ａを基準とした場合の同一視線上におけるＨＭＤ２ａからの現実物体画像（ＭＲ非体験者４ｂの画像とそれまでの距離データを含む）とＨＭＤ２ａからの３ＤＡＲオブジェクト６との距離を比較する。
【0055】
現実物体と３次元の３ＤＡＲオブジェクト６とが同一視線上において同じ距離にある場合には、現実物体の体積と３ＤＡＲオブジェクトとの体積とが重なっている。従って、これら体積の重なりを考慮することなくオクルージョンを行うと、例えば３ＤＡＲオブジェクト６の手前と現実物体の表面とについてオクルージョン処理が成功しても、３ＤＡＲオブジェクト６の奥では現実物体の表面との距離関係については適切に処理がなされず、３ＤＡＲオブジェクト６の中から突如現実物体が現れた、不自然な表示となることがある。
【0056】
本実施形態では、現実物体と３ＤＡＲオブジェクト６との体積の重なり具合に応じて従前のオクルージョンか、重なり解消表示処理かを選択する。
【0057】
そこでＨＭＤ２ａは、現実物体の体積が３ＤＡＲオブジェクト６の体積と重ならない距離である場合（Ｓ１０７：離れている）、現実物体と３ＤＡＲオブジェクトとでオクルージョン処理を実行する（Ｓ１０８）。
【0058】
一方、ＨＭＤ２ａは、現実物体（ＭＲ非体験者４ｂ）の体積が３ＤＡＲオブジェクトの体積と重なる距離である場合（Ｓ１０７：重なっている）、ＨＭＤ２ａは重なり解消表示処理を行う。
【0059】
図７Ｂを参照して、ステップＳ１０７での判断アルゴリズムの一例を説明する。図７Ｂは、体積の重なり具合の判断アルゴリズム例を示す図である。説明の便宜のため、ＨＭＤ２ａの表示面は鉛直方向に平行な面であるとする。そしてディスプレイ２２の１点、例えばディスプレイ２２の左上隅を原点とし、画面の２次元座標ｘ－ｙ面とそれに直交するｚ軸とを用いて現実の３次元座標を定義する。したがって、ｚ－ｘ面は水平面であり、ｚ軸はＨＭＤ２ａからみた視線の奥行き方向の距離を示す。
【0060】
図７Ｂの例では、ＨＭＤ２ａの正面に現実物体が位置する場合、ｚ軸の値がＨＭＤ２ａからＭＲ非体験者４ｂまでの距離に一致する。測距カメラ２０でＭＲ非体験者４ｂを視認するので、ＭＲ非体験者４ｂの観測者からの視線Ｌ上の位置ＰＲ（ｘＲ，ｚＲ）は、ＭＲ非体験者４ｂにおけるＨＭＤ２ａに対向する表面と視線Ｌとの交点で表せる。
【0061】
一方、３ＤＡＲオブジェクト６は、３次元画像系の（ｓ，ｔ，ｕ）の３軸座標でその形状が定義されているものとする。現実空間にＡＲマーカが出現するとそれに３ＤＡＲオブジェクト６を重ねて表示する。よって、３ＤＡＲオブジェクト６の原点（ｓ０，ｔ０，ｕ０）をＡＲマーカの３次元座標（ｘｌ，ｙｍ，ｚｎ）に重ね合わせるとするならば、（ｓ０，ｔ０，ｕ０）は（ｘｌ，ｙｍ，ｚｎ）に変換できる。説明の便宜のためｓｔｕ座標系とｘｙｚ座標系の各軸回転方向のずれはなく、ｓ軸はｘ軸に、ｔ軸はｙ軸に、ｕ軸はｚ軸に一致するものとする。
【0062】
プロセッサ２４は、ＨＭＤ２ａの視線Ｌ上に３ＤＡＲオブジェクト６を構成する点が一つしかなければその点を最遠点Ｐｎ、複数の点、例えばＰ１、・・・、Ｐｎ－２、Ｐｎ－１、Ｐｎがある場合には、ＨＭＤ２ａから最も遠い点、すなわちｚ軸の値が最も大きい点を最遠点Ｐｎとして選択する。なお、ｚ軸の値が最も小さい点Ｐ１は最近点である。
【0063】
そして、上記視線ＬとＭＲ非体験者４ｂとの交点ＰＲの３次元座標（ｘＲ、ｙＲ、ｚＲ）と３ＤＡＲオブジェクト６の最遠点Ｐｎの座標（ｘＡＲｎ、ｙＡＲｎ、ｚＡＲｎ）（但し、本例ではｘＲ＝ｘＡＲｎ、ｙＲ＝ｙＡＲｎ）とを比較する。ｚＲ＞ｚＡＲｎであれば現実物体と３ＤＡＲオブジェクト６とには体積の重なり部分がないと判断する（状態１）。ｚＲ≦ｚａｒであれば現実物体と３ＤＡＲオブジェクト６とには体積の重なり部分があると判断する（状態２）。
【0064】
そこでＨＭＤ２ａは、現実物体（ＭＲ非体験者４ｂ）の領域に対応する背景物体画像（図６Ｂの背景物体画像１０に相当する）のデータをＭＲ支援サーバ９に要求し（Ｓ１０９）、受信する（Ｓ１１０）。受信後、ＨＭＤ２ａは背景物体画像１０と３ＤＡＲオブジェクト６とで現実物体（ＭＲ非体験者４ｂ）を隠す（第１重なり解消表示）。またＨＭＤ２ａは現実物体（ＭＲ非体験者４ｂ）を切り取って３ＤＡＲオブジェクト６と重ならない場所に表示するとともに、現実物体（ＭＲ非体験者４ｂ）が実際には存在する領域に背景物体画像１０をはめ込む（第２重なり解消表示）。
【0065】
なお、Ｓ１０６で３ＤＡＲオブジェクト６の描画データと併せて、背景のＶＲ画像データを受信する場合は、Ｓ１０７、Ｓ１０８のステップで現実物体のうち背景物体画像をＶＲ画像に置き換え、Ｓ１０８で背景のＶＲ画像と３ＤＡＲオブジェクトと現実物体とでオクルージョン処理や現実物体の移動等の合成処理を行う。ここで、この例ではＨＭＤ２ａの表示画像を合成する処理をＨＭＤ２ａ内で実施する構成として示したが、合成処理を行う場所はこれに限定されず、後程述べるようにネットワークで接続されたサーバや、連携接続されたで行うスマートフォンやタブレットなどで処理しても良い。
【0066】
ＨＭＤ２ａは、３ＤＡＲオブジェクト６と重なり合う現実物体のすべてに対して、Ｓ１０７～Ｓ１１１のステップが実行されたかの確認を行い、現実物体が残っている場合には（Ｓ１１２：Ｎｏ）、Ｓ１０７に戻る。一方、ＨＭＤ２ａは、すべての現実物体に対して処理が完了した場合（Ｓ１１２：Ｙｅｓ）、処理済みの画像をＨＭＤ２ａのディスプレイ２２に表示する（Ｓ１１３）。
【0067】
ＨＭＤ２ａのＭＲ体験プログラム２５１が終了していない場合は、次のカメラ周期でＳ１０３からのステップを継続する（Ｓ１１４：Ｎｏ）。ＨＭＤ２ａのＭＲ体験プログラム２５１が終了する場合では（Ｓ１１４：Ｙｅｓ）、上記の処理を終了する。
【0068】
図８は、ＶＲサービスプログラム８６のフローチャートである。登録されているＭＲ体験者２のログイン要求を受信すると、ログイン処理を実行する（Ｓ１２１）。
【0069】
ＶＲサービスサーバ８は、ＨＭＤ２ａからの３ＤＡＲオブジェクト６の描画データの送信要求を受信すると（Ｓ１２２）、要求された３ＤＡＲオブジェクトの描画データを作成する（Ｓ１２３）。３ＤＡＲオブジェクトの描画データは、３ＤＡＲオブジェクトの描画データの送信要求に含まれるＨＭＤ２ａと３ＤＡＲオブジェクトの距離、ＨＭＤ２ａの視線方向等に応じて、３ＤＡＲオブジェクト６を３Ｄ描画したデータ（オブジェクトファイル）であり、ＨＭＤ２ａの移動や、視線の変化に応じて描画データは更新される。また、太陽や照明などの光源の方向から、反射や影の影響を画像として付加して描画データとしても良い。
【0070】
ＶＲサービスサーバ８は、作成された描画データをＨＭＤ２ａに送信する（Ｓ１２４）。
【0071】
ＶＲサービスサーバ８は、ＭＲ体験者２のログアウトやＭＲ体験プログラム２５１の終了など、ＶＲサービスプログラム８６の終了条件が成立するまで（Ｓ１２５：Ｎｏ）、ステップＳ１２２からＳ１２４までの処理を続行する。
【0072】
ＶＲサービスサーバ８は、ＶＲサービスプログラム８６の終了条件が成立すると（Ｓ１２５：Ｙｅｓ）、上記一連の処理を終了する。
【0073】
図９は、ＭＲ支援プログラム９６のフローチャートである。
【0074】
ＭＲ支援サーバ９は、登録されているＭＲ体験者２のログイン要求を処理する（Ｓ１３１）。
【0075】
ＭＲ支援サーバ９は、ＨＭＤ２ａから現実空間画像データを受信し（Ｓ１３２）、現実物体画像を認識して（Ｓ１３３）現実物体画像データを抽出し、背景画像を得る。背景画像は、現実空間画像を受信するたびに更新される（Ｓ１３４）。
【0076】
ＭＲ支援サーバ９は、現実物体画像データをＨＭＤ２ａに送信する（Ｓ１３５）。またＭＲ支援サーバ９は、背景物体画像の送信要求を受信すると（Ｓ１３６）、背景物体画像データをＨＭＤ２ａに送信する（Ｓ１３７）。
【0077】
ＭＲ支援サーバ９は、ＭＲ体験者２のログアウトやＭＲ体験プログラム２５１の終了など、ＭＲ支援プログラム９６の終了条件が成立するまでステップＳ１３２からＳ１３７までの処理を続行する（Ｓ１３８：Ｎｏ）。
【0078】
ＭＲ支援サーバ９は、ＭＲ支援プログラム９６の終了条件が成立すると（Ｓ１３８：Ｙｅｓ）、上記一連の処理を終了する。
【0079】
本実施形態によると、現実物体と３ＤＡＲオブジェクト６とがＭＲ体験者の同一視線上に重なる場合、現実物体の体積と３ＤＡＲオブジェクト６の体積とが重ならないほど遠い場合はオクルージョンを行い、両者が重なるほど近い場合はオクルージョンをすることなく、重なり解消処理を行うことで、現実物体と３ＤＡＲオブジェクト６とが不自然に重なって表示されることがない。そのため、ＭＲ体験の没入感を高めることができる。
【0080】
また、本実施形態によれば、ＭＲ体験を行わない第三者（ＭＲ非体験者）が存在するオープンな空間あっても、３ＤＡＲオブジェクト６の形状が第三者によって損なわれないのでＭＲ体験者が３ＤＡＲオブジェクト６を正確に認識して、ＭＲ体験を行うことができる。
【0081】
［第２実施形態］
図１０Ａ、図１０Ｂ、および図１１を参照して本発明の第２実施形態について説明する。図１０Ａは、従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクト６よりも手前に現実物体がいる状態を示す図）である。図１０Ｂは、第２実施形態に係る３次元仮想現実表示（第４重なり解消表示例）を示す図である。
図１０Ａ、図１０Ｂ、および図１１を参照して本発明の第２実施形態について説明する。図１０Ａは、従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクト６よりも手前に現実物体がいる状態を示す図）である。図１０Ｂは、第２実施形態に係る３次元仮想現実表示（第４重なり解消表示例）を示す図である。
【0082】
図１０Ａに示されるように、現実物体であるＭＲ非体験者４ｂと３ＤＡＲオブジェクト６は、距離で同じ程度の位置にあり、また現実物体である他のＭＲ非体験者４ｃが３ＤＡＲオブジェクト６の前に位置していて、いずれもＨＭＤ２ａの視線からは重なっており、３ＤＡＲオブジェクト６の観測の支障となっている。
【0083】
図１０Ｂでは、３ＤＡＲオブジェクト６の後ろ側にいるＭＲ非体験者４ｂは第１実施形態と同様に背景物体画像１０により置換する。一方、他のＭＲ非体験者４ｃは削除して３ＤＡＲオブジェクト６を配置する。さらに、ＭＲ非体験者４ｃを削除した領域のうち、３ＤＡＲオブジェクト６が重ならない残領域は、他のフレームの全景画像から、残領域に対応する画像を抽出して前景画像を生成し、残領域に埋め込む。ＭＲ非体験者４ｂに対し３ＤＡＲオブジェクト６と背景物体画像１０が、他のＭＲ非体験者４ｃに対し３ＤＡＲオブジェクト６と前景画像１１ａが対応する。背景物体画像１０と前景画像１１ａと３ＤＡＲオブジェクト６とでＭＲ非体験者４ｂと他のＭＲ非体験者４ｃの現実物体画像を上書きして隠す処理が行われる（第４重なり解消表示例）。この結果、３ＤＡＲオブジェクト６の全体が観測可能となる。
【0084】
図１１は、第２実施形態に係るＭＲ体験プログラム２５１のフローチャートである。
【0085】
図７のフローチャートとの違いは、Ｓ１５０のステップの距離比較にある。
【0086】
Ｓ１５０では、現実物体と３ＤＡＲオブジェクト６間距離を“後ろの位置にあって、離れている”場合と“近い位置にある、もしくは前にある”場合で判定し、前者では現実物体と３ＤＡＲオブジェクト６でオクルージョン処理を行い（Ｓ１０８）、後者では背景物体画像と前景画像の送信要求を行い（Ｓ１５１）、受信する（Ｓ１５２）。そして、背景物体画像、３ＤＡＲオブジェクト６、および前景画像で現実物体画像を隠す（Ｓ１５３）。上記の例ではＭＲ非体験者４ｂと別のＭＲ非体験者４ｃとがあたかもそこに存在しないかのように見えるような処理を行う。
【0087】
以上説明したように、第２実施形態によれば、第１実施形態と同じ特徴を有するとともに、３ＤＡＲオブジェクト６よりも手前に現実物体があっても、３ＤＡＲオブジェクト６の観察に支障となる現実物体の除去が行える。
【0088】
【0089】
図１２Ａは、従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）である。図１２Ｂは、第３実施形態に係る３次元仮想現実表示例を示す図（透明部位の処理例）である。図１２Ｃは、第３実施形態に係る３次元仮想現実表示例を示す図（ＶＲ画像への置換例）である。図１２Ａ～図１２Ｃでは、ＭＲ体験者２は車の運転席に座っているかのような状況を体験している。ダッシュボード６０、フロントウィンドウ６１、バックミラー６２、ハンドル６３などが３ＤＡＲオブジェクトとして表示されている。ＭＲ非体験者４ｄ、４ｅ（現実物体）が、フロントウィンドウ６１と重なり、フロントウィンドウ６１越しに見える。ダッシュボード６０、フロントウィンドウ６１、バックミラー６２、ハンドル６３のそれぞれは、車の３ＤＡＲオブジェクト６を構成する部位である。本例では、一つの仮想現実物体である３ＤＡＲオブジェクト６を複数の仮想現実物体の部位にわけ、各部位ごとにオクルージョン処理の種類を規定するフラグ付加する。ダッシュボード６０、バックミラー６２、ハンドル６３のそれぞれは３ＤＡＲオブジェクト６の非透明領域であるので、非透明領域フラグを付加する。一方、フロントウィンドウ６１は３ＤＡＲオブジェクト６の透明領域であるので、透明領域フラグを付加する。
【0090】
図１２Ａでは、オクルージョン処理が行われていない場合の見え方であり、ＭＲ非体験者４ｄ、４ｅは、３ＤＡＲオブジェクト６と不自然に重なっている。
【0091】
図１２Ｂには、オクルージョン処理が行われた結果を示している。第３実施形態では、フロントウィンドウ６１の３ＤＡＲオブジェクト６の描画データには、図１３で説明するＯｃｃｌｕｓｉｏｎ Ｆｌａｇが設定されており、フロントウィンドウ６１に重なる現実物体については、３ＤＡＲオブジェクト６に置き換える処理は禁止され、現実物体と３ＤＡＲオブジェクト６でオクルージョン処理が行われる。この結果、フロントウィンドウ６１越しにＭＲ非体験者４ｄ、４ｅを観測する。この時、ＭＲ非体験者４ｄと３ＤＡＲオブジェクト６の距離が近く、フロントウィンドウ６１の後方にＭＲ非体験者４ｄを表示すると、図６ＡのＭＲ非体験者４ｂ（現実物体）と同じ見え方になる場合には、ＭＲ非体験者４ｄ（現実物体）を縮小して、図１２ＢのＭＲ非体験者４ｄのように距離が離れたように表示する。なお、ＭＲ非体験者４ｅはダッシュボード（３ＤＡＲオブジェクト）６０およびハンドル６３（３ＤＡＲオブジェクト）、それと車体である３ＤＡＲオブジェクト６よりも遠く離れているため、フロントウィンドウ６１は透明なものとして扱い、それ以外のものとの距離関係でオクルージョン処理を実施する。
【0092】
図１２Ｃは、現実空間の背景画像をＶＲ画像６ｂに置き換えた場合を示している。ダッシュボード６０、ハンドル６３とＶＲ画像６ｂはオクルージョン処理が行われるが、フロントウィンドウ６１は透過型あるいは半透過型の３ＤＡＲオブジェクトであり、視線の奥にあるＶＲ画像６ｂが観測でき、あたかもＶＲ画像で与えられる仮想の場所にいるかのような体験が行える。
【0093】
図１３は、３ＤＡＲオブジェクトの一例のテーブル１００である。３ＤＡＲオブジェクトは“ＣＯＮＴＥＮＴＳ ＩＤ”で識別され、複数の３ＤＡＲオブジェクト（ＡＲ Ｏｂｕｊｅｃｔ １～７など）を関連したものとしてまとめることができる。個々の３ＤＡＲオブジェクトは、３ＤＡＲオブジェクトに固有の“Ｄａｔａ ｉｄ”、ＭＲ体験者などのユーザにわかりやすくするための“Ｔｉｔｌｅ”のほか、“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”、“３Ｄ Ｉｍａｇｅ Ｄａｔａ”を含む。
【0094】
“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”は“００“、”０１“、”１０“を定義している。“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”の値が“００”の場合は、現実物体と３ＤＡＲオブジェクトの距離に応じてオクルージョン処理を行う。“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”の値が“００”のフラグは、非透明部位フラグに相当する。
【0095】
また“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”の値が“０１”の場合は、現実物体と３ＤＡＲオブジェクトの距離が近い場合には、現実物体を背景物体にて置換して、３ＤＡＲオブジェクトが隠れないように処理を行う。“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”の値が“０１”のフラグは、非透明部位フラグに相当する。
【0096】
“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”の値が“１０”の場合は、図１２Ｂのフロントウィンドウ６１のように、距離に関わらず３ＤＡＲオブジェクトを透明なものとして扱い、フロントウィンドウ６１の先の３ＤＡＲオブジェクトと現実物体とでオクルージョン処理を行わせる。“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”の値が“１０”のフラグは、透明部位フラグに相当する。フロントウィンドウ６１の先の３ＤＡＲオブジェクトは、自動車の３ＤＡＲオブジェクト６の一部、例えばボンネットでもよいし、自動車の３ＤＡＲオブジェクト６とは異なる他の３ＤＡＲオブジェクト、例えば他の自動車の３ＤＡＲオブジェクトであってもよい。
【0097】
図１４は、第３実施形態に係るＭＲ体験プログラム２５１のフローチャートである。
【0098】
図７のフローチャートとの違いは、Ｓ１６０、Ｓ１６１のステップが追加されていることにある。
【0099】
ＨＭＤ２ａは、Ｓ１６０において、３ＤＡＲオブジェクトの“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”をチェックして、図１３で説明したように、“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”に応じて、処理を異ならせる。
【0100】
“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”が“００”の場合には、ＨＭＤ２ａは、Ｓ１０８にて現実物体と３ＤＡＲオブジェクトの距離の関係に従ってオクルージョン処理を行う。（この処理については図１５で説明する。）
【0101】
“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”が“１０”の場合には、ＨＭＤ２ａは、Ｓ１６１にて、図１２で示したフロントウィンドウ６１のような透明な物体として扱い、現実物体より距離が近くても透過して見えるようにする処理を行う。その後、Ｓ１０７に入る。
【0102】
“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”が“０１”の場合にはＨＭＤ２ａは、Ｓ１０７にて現実物体と３ＤＡＲオブジェクトの距離の比較を行い、離れている場合と、近い距離や重なっている場合とで異なる処理を行う。
【0103】
図１５は、“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”が“００”の場合を適用する画像の例である。図１５は海辺（砂浜６４と海面６５の３ＤＡＲオブジェクトがある）にて、現実物体４ｆが遊んでいる状況である。図１５では海面６５の“Ｏｃｃｌｕｓｉｏｎ Ｆｌａｇ”が“００”に設定されている。海面６５から現実物体４ｆである人物が半分だけ現れても違和感は生じない。そのため、海面６５と現実物体４ｆの距離の関係でオクルージョン処理を行うようにすればよい。
【0104】
以上説明したように、第３実施形態によれば、第１実施形態と同じ特徴を有するとともに、３ＤＡＲオブジェクトの特徴に応じたオクルージョン処理が適用できる。
【0105】
［第４実施形態］
図１６と図１７を参照して、第４実施形態について説明する。図１６は、第４実施形態に係るＭＲ支援サーバ９のブロック図である。第４実施形態のＭＲ支援サーバ９は、ストレージ９４に３ＤＡＲオブジェクト＆ＶＲ画像データ９００、現実空間画像データ９０１、表示画像データ９０２を保持する。
図１６と図１７を参照して、第４実施形態について説明する。図１６は、第４実施形態に係るＭＲ支援サーバ９のブロック図である。第４実施形態のＭＲ支援サーバ９は、ストレージ９４に３ＤＡＲオブジェクト＆ＶＲ画像データ９００、現実空間画像データ９０１、表示画像データ９０２を保持する。
【0106】
第４実施形態のＭＲ支援サーバ９は、ＨＭＤ２ａから指示され、ＶＲサービスサーバ８から受信する３ＤＡＲオブジェクト＆ＶＲ画像データ９００と、ＨＭＤ２ａから受信する現実空間画像データ９０１と、を保持する。
【0107】
さらにＭＲ支援サーバ９は、現実空間画像データ９０１から、現実物体画像９８の視線上の奥行方向の奥側（遠い側）に位置する物体を背景物体として認識して抽出し、背景物体画像９７を生成する。
【0108】
さらに、ＭＲ支援サーバ９は、現実物体画像９８と３ＤＡＲオブジェクト＆ＶＲ画像データ９００とをオクルージョン処理等して、現実空間画像に合成した表示画像データ９０２を得る。表示画像データ９０２は、ＨＭＤ２ａに送信し、ＨＭＤ２ａのディスプレイ２２で表示される。また、３ＤＡＲオブジェクトの画像データと併せて、背景のＶＲ画像データを受信する場合は、３ＤＡＲオブジェクト＆ＶＲ画像データ９００に蓄える。
【0109】
ＭＲ支援サーバ９は、現実物体のうち背景画像をＶＲ画像データに置き換え、背景のＶＲ画像と３ＤＡＲオブジェクトと現実物体とでオクルージョン処理や現実物体の移動等の合成処理を行うプログラムが含まれている。
【0110】
図１７は、第４実施形態に係るＭＲ支援プログラム９６のフローチャートである。
【0111】
ＭＲ支援サーバ９は、登録されているＭＲ体験者２のログイン要求を処理する（Ｓ１３１）。さらにＭＲ支援サーバ９は、ＨＭＤ２ａから現実空間画像データを受信する（Ｓ１３２）。
【0112】
ＭＲ支援サーバ９は、３ＤＡＲオブジェクトの描画データの送信要求を、ＶＲサービスサーバに送信する（Ｓ１４０）。要求する３ＤＡＲオブジェクトは、ＨＭＤ２ａでユーザがどのようなＡＲコンテンツを合成するかを決めてそれに従って３ＤＡＲオブジェクトの描画データの送付指示を受ける。
【0113】
ＭＲ支援サーバ９は、Ｓ１３２で受信した現実空間画像データから現実物体を認識し（Ｓ１３３）、受信した現実空間画像データから背景画像を更新する（Ｓ１３４）。
【0114】
ＭＲ支援サーバ９は、３ＤＡＲオブジェクトの描画データとＶＲ画像（ＶＲ画像は受信しない場合もある）データを受信する（Ｓ１４１）。
【0115】
ＭＲ支援サーバ９は、現実物体と３ＤＡＲオブジェクトとの重なりを検知するとともに、２つの物体の距離を比較する（Ｓ１４２）。体積が重ならないほど離れている場合には（Ｓ１４２：離れている）、現実物体と３ＤＡＲオブジェクトとでオクルージョン処理を実行する（Ｓ１４３）。
【0116】
一方、重なっている場合（Ｓ１４２：重なっている）には、ＭＲ支援サーバ９は、背景画像から背景物体画像のデータを生成し（Ｓ１４４）、背景物体画像と３ＤＡＲオブジェクトとで現実物体を上書きして隠すような処理を実行する（Ｓ１４５）。
【0117】
ＭＲ支援サーバ９は、３ＤＡＲオブジェクトと重なり合う現実物体のすべてに対して、Ｓ１４２～Ｓ１４５のステップが実行されたかの確認を行い、現実物体が残っている場合には（Ｓ１４６：Ｎｏ）、Ｓ１４２に戻る。
【0118】
ＭＲ支援サーバ９は、すべての現実物体に対して処理が完了した場合（Ｓ１４６：Ｙｅｓ）、処理済みの画像を表示画像のデータとしてＨＭＤ２ａに送信する（Ｓ１４７）。
【0119】
ＭＲ支援サーバ９は、プログラムの終了を確認し、終了しない場合は（Ｓ１３８：Ｎｏ）、Ｓ１４２からのステップを継続する。終了する場合では（Ｓ１３８：Ｙｅｓ）、一連の処理を終了する。
【0120】
第４実施形態によれば、第１実施形態と同じ特徴を有するとともに、ＭＲ体験処理の大部分を高性能のＭＲ支援サーバ９で実行し、ＨＭＤ２ａの処理を軽くするなど、実装方法を柔軟にできるという特徴がある。
【0121】
本発明は、上記図１から図１７で説明した各実施形態に限られるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
【0122】
また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。
【符号の説明】
【0123】
１ ：ＭＲ空間
１ａ ：アクセスポイント
１ｂ ：無線ＬＡＮ信号
２、３ ：ＭＲ体験者
２ａ、３a ：ＨＭＤ
２ｂ、３ｂ ：無線ＬＡＮ信号
４ａ、４ｂ、４ｃ、４ｄ、４ｅ ：ＭＲ非体験者
４ｆ ：現実物体
５ａ ：花瓶
５ｂ ：窓
６ ：３ＤＡＲオブジェクト
６ａ ：ＶＲ画像データ
６ｂ ：ＶＲ画像
７ ：ネットワーク
８ ：ＶＲサービスサーバ
９ ：ＭＲ支援サーバ
１０ ：背景物体画像
１１ ：画像
１１ａ ：前景画像
２０ ：測距カメラ
２０ａ ：左カメラ
２０ｂ ：右カメラ
２２ ：ディスプレイ
２３ ：シャッタ
２４ ：プロセッサ
２５ａ、２５ｂ ：装着用筐体
２６ ：スピーカ
２７ ：マイク
６０ ：ダッシュボード
６１ ：フロントウィンドウ
６２ ：バックミラー
６３ ：ハンドル
６４ ：砂浜
６５ ：海面
８２ ：ＣＰＵ
８３ ：ＲＡＭ
８４ ：ストレージ
８５ ：内部バス
８６ ：ＶＲサービスプログラム
８７ ：ＶＲデータ
９１ ：ネットワークＩＦ
９２ ：ＣＰＵ
９３ ：ＲＡＭ
９４ ：ストレージ
９５ ：内部バス
９６ ：ＭＲ支援プログラム
９７、９８ ：背景物体画像
１００ ：テーブル
２４０ ：カメラ用プロセッサ
２４１ ：方位センサ
２４２ ：ジャイロセンサ
２４３ ：加速度センサ
２４４ ：無線通信器
２４５ ：ＣＰＵ
２４６ ：ＲＡＭ
２４７ ：画像ＲＡＭ
２４９ ：内部バス
２５０ ：基本プログラム
２５１ ：ＭＲ体験プログラム
９００ ：３ＤＡＲオブジェクト＆ＶＲ画像データ
９０１ ：現実空間画像データ
９０２ ：表示画像データ
Ｌ ：視線
ＰＲ ：交点
Ｐｎ ：最遠点
Ｐ１ ：最近点
１ａ ：アクセスポイント
１ｂ ：無線ＬＡＮ信号
２、３ ：ＭＲ体験者
２ａ、３a ：ＨＭＤ
２ｂ、３ｂ ：無線ＬＡＮ信号
４ａ、４ｂ、４ｃ、４ｄ、４ｅ ：ＭＲ非体験者
４ｆ ：現実物体
５ａ ：花瓶
５ｂ ：窓
６ ：３ＤＡＲオブジェクト
６ａ ：ＶＲ画像データ
６ｂ ：ＶＲ画像
７ ：ネットワーク
８ ：ＶＲサービスサーバ
９ ：ＭＲ支援サーバ
１０ ：背景物体画像
１１ ：画像
１１ａ ：前景画像
２０ ：測距カメラ
２０ａ ：左カメラ
２０ｂ ：右カメラ
２２ ：ディスプレイ
２３ ：シャッタ
２４ ：プロセッサ
２５ａ、２５ｂ ：装着用筐体
２６ ：スピーカ
２７ ：マイク
６０ ：ダッシュボード
６１ ：フロントウィンドウ
６２ ：バックミラー
６３ ：ハンドル
６４ ：砂浜
６５ ：海面
８２ ：ＣＰＵ
８３ ：ＲＡＭ
８４ ：ストレージ
８５ ：内部バス
８６ ：ＶＲサービスプログラム
８７ ：ＶＲデータ
９１ ：ネットワークＩＦ
９２ ：ＣＰＵ
９３ ：ＲＡＭ
９４ ：ストレージ
９５ ：内部バス
９６ ：ＭＲ支援プログラム
９７、９８ ：背景物体画像
１００ ：テーブル
２４０ ：カメラ用プロセッサ
２４１ ：方位センサ
２４２ ：ジャイロセンサ
２４３ ：加速度センサ
２４４ ：無線通信器
２４５ ：ＣＰＵ
２４６ ：ＲＡＭ
２４７ ：画像ＲＡＭ
２４９ ：内部バス
２５０ ：基本プログラム
２５１ ：ＭＲ体験プログラム
９００ ：３ＤＡＲオブジェクト＆ＶＲ画像データ
９０１ ：現実空間画像データ
９０２ ：表示画像データ
Ｌ ：視線
ＰＲ ：交点
Ｐｎ ：最遠点
Ｐ１ ：最近点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】
【図16】
【図17】