特許 7125410 拡張画像を生成するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-16

(45)【発行日】2022-08-24

(54)【発明の名称】拡張画像を生成するためのシステム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220817BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 12

(21)【出願番号】P 2019541861

(86)(22)【出願日】2017-10-09

(65)【公表番号】

(43)【公表日】2019-12-19

(86)【国際出願番号】 EP2017075625

(87)【国際公開番号】W WO2018069220

(87)【国際公開日】2018-04-19

【審査請求日】2019-06-12

【審判番号】

【審判請求日】2021-06-17

(31)【優先権主張番号】102016119640.1

(32)【優先日】2016-10-14

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】519134393

【氏名又は名称】ユニークフィード アーゲー

(74)【代理人】

【識別番号】100121441

【弁理士】

【氏名又は名称】西村 竜平

(72)【発明者】

【氏名】ドラゴン ラルフ

【合議体】

【審判長】畑中 高行

【審判官】五十嵐 努

【審判官】川崎 優

(56)【参考文献】

【文献】特開２０１６－１３９４１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T19/00-19/20

G06T13/00-13/80

G06T1/00

(57)【特許請求の範囲】

【請求項1】

拡張画像を生成するためのシステム（１０）であって、
少なくとも１つの画像記録装置（１２）と、少なくとも１つの前記画像記録装置（１２）に接続された少なくとも１つの分析モジュール（１４）と、少なくとも１つの前記分析モジュール（１４）に接続された少なくとも１つの表示装置（１８）と、少なくとも１つの前記分析モジュール（１４）と少なくとも１つの前記表示装置（１８）との間の伝送路に設けられた拡張モジュール（１６）とを備え、
少なくとも１つの前記画像記録装置（１２）は、画像データを含む画像を前記分析モジュール（１４）に送信するように構成され、
少なくとも１つの前記分析モジュール（１４）は、画像中の少なくとも１つの拡張の表示のための画像データ及び命令データを含む制御データ（Ｓ２）を前記拡張モジュール（１６）に送信するように構成され、
少なくとも１つの前記表示装置（１８）は、前記制御データ（Ｓ２）に基づいて、記録された画像及び関連する拡張を再生するように構成され、
少なくとも１つの前記分析モジュール（１４）は、各画像について、前記画像記録装置（１２）と環境との間の幾何学的又は放射測定的関係を検出及び／又は計算する前記システムのコンポーネントの測定公差又は状態を示す少なくとも１つの信頼性情報（Ｒ２）を生成するようにさらに構成され、
前記拡張モジュール（１６）は、前記分析モジュール（１４）から前記制御データ（Ｓ２）及び前記信頼性情報（Ｒ２）を受信し、前記制御データ（Ｓ２）及び前記信頼性情報（Ｒ２）に基づいて修正された制御データ（Ｓ２ｂ）を生成し、その修正された制御データを前記表示装置（１８）に送信するように構成され、
前記拡張モジュール（１６）は、状態モジュール（２０）とアニメーションモジュール（２２）とを有し、
前記状態モジュール（２０）は、前記信頼性情報（Ｒ２）を受信し、複数の状態情報から１つの状態情報（Ｚ）を選択し、選択された当該状態情報（Ｚ）を前記アニメーションモジュール（２２）に送信するように構成された拡張画像を生成するためのシステム（１０）。

【請求項2】

前記アニメーションモジュール（２２）は、前記制御データ（Ｓ２）を受信し、前記状態情報（Ｚ）に基づいて前記修正された制御データ（Ｓ２ｂ）を生成するように構成されることを特徴とする請求項１に記載のシステム。

【請求項3】

前記アニメーションモジュール（２２）は、
前記状態情報（Ｚ）に応じて、前記画像データ及び前記拡張のための命令データを、拡張のためのスイッチオン状態（Ｚ＝１）に対応する修正された制御データ（Ｓ２ｂ）として送信する、又は、
拡張のためのスイッチオフ状態（Ｚ＝２）に対応する修正された制御データ（Ｓ２ｂ）として画像データのみを送信する、又は、
修正された制御データ（Ｓ２ｂ）の一部として、スイッチオン状態（Ｚ＝１）とスイッチオフ状態（Ｚ＝２）との間で切り換えるときに選択される遷移アニメーション（Ａ）を送信するように構成されている、請求項１又は２に記載のシステム。

【請求項4】

前記遷移アニメーション（Ａ）は、前記画像記録装置（１２）によって検出された前記画像データと、表示される拡張データとが統合されて処理されて表示されるように構成されていることを特徴とする請求項３に記載のシステム。

【請求項5】

前記アニメーションモジュール（２２）は、特定数（Ｎ）の画像を有する遷移アニメーション（Ａ）を生成し、それをアニメーションバッファ（ＰＡ）に格納するように構成された実現モジュール（２６）を含むことを特徴とする請求項３に記載のシステム。

【請求項6】

前記アニメーションモジュール（２２）は、所定の遷移アニメーション（Ａ）をコンピュータ可読命令の形態で記憶するように構成されたアニメーションメモリ（２８）を有することを特徴とする請求項３に記載のシステム。

【請求項7】

前記アニメーションモジュール（２２）は、前記スイッチオフ状態（Ｚ＝２）において前記分析モジュール（１４）によって提供される前記制御データ（Ｓ２）から前記拡張のための前記命令データを除去し、前記画像データを修正された制御データ（Ｓ２ｂ）として前記表示装置（１８）に送信するように構成されていることを特徴とする請求項３に記載のシステム。

【請求項8】

前記アニメーションモジュール（２２）は、前記スイッチオン状態（Ｚ＝１）と前記スイッチオフ状態（Ｚ＝２）との間の切り替え時に遷移アニメーション（Ａ）が円滑に挿入されるように、前記状態情報（Ｚ）に対応する前記分析モジュール（１４）の制御信号を変更するように構成されることを特徴とする請求項３に記載のシステム。

【請求項9】

前記遷移アニメーション（Ａ）は、仮想ローリングバナー又は仮想ウィンドウとして設計されることを特徴とする請求項３に記載のシステム。

【請求項10】

請求項１に記載のシステムからなる、テレビジョン放送システム。

【請求項11】

請求項１に記載のシステムからなる、仮想広告表示システム。

【請求項12】

請求項１に記載のシステムからなる、拡張現実システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、少なくとも１つの画像記録装置と、当該画像記録装置に接続された少なくとも１つの分析モジュールと、当該分析モジュールに接続された少なくとも１つの表示装置とを備え、前記画像記録装置は、画像、特に画像データを前記分析モジュールに送信するように構成され、前記分析モジュールは、画像中の少なくとも１つの拡張の表示のための画像データ及び命令データを含む制御データを前記表示装置に送信するように構成され、前記表示装置は、前記制御データに基づいて、記録された画像及び関連する拡張を再生するように構成された拡張画像を生成するためのシステムに関する。

【背景技術】

【0002】

このようなシステムは、いわゆる拡張現実システムにおいて特に使用される。これらは、通常、カメラ（画像記録装置）、処理ユニット（分析モジュール）、及びディスプレイ（表示装置）を含む。前記処理ユニットは、カメラと環境との間の幾何学的及び放射測定（ラジオメトリック）的関係に関する情報を識別し、その結果、処理ユニットは、その後、現実的に見る物体をシーンに挿入することができる。幾何学的関係、すなわち空間内のカメラの位置は、例えば外部赤外線追跡装置によって、シーン内の可視マーカによって、又は加速度センサやステップセンサによって決定することができる。放射測定（ラジオメトリック）的関係、すなわち記録された環境と人工的に生成された画像との間の照明差は、例えばテンプレートと現在の記録との間の強度比較によって決定することができる。

【0003】

しかしながら、このような既知のシステムでは、カメラと環境との間の幾何学的又は放射測定的関係を検出又は計算するコンポーネントに問題がある場合、又は、他の理由で現実的な画像を生成することができない場合、現実的に見えない画像が通常生成されるか、又は、拡張現実がフェードインされない画像が生成される。どちらの場合も不適切な結果が、すなわち表示装置によって表示される画像に、現れることになる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、上記の欠点を回避することを可能にする拡張画像を生成するためのシステムを提供することである。

【課題を解決するための手段】

【0005】

この問題を解決するために、前記システムは、前記分析モジュールと前記表示装置との間の伝送路に設けられた拡張モジュールをさらに備え、前記分析モジュールは、各画像について少なくとも１つの信頼性情報を生成するようにさらに構成され、前記拡張モジュールは、前記分析モジュールから前記制御データ及び前記信頼性情報を受信し、前記制御データ及び前記信頼性情報に基づいて修正された制御データを生成し、その修正された制御データを前記表示装置に送信するように構成される提案される。

【0006】

このプロセスにおいて、前記拡張モジュールは、前記信頼性情報を用いて、例えば、センサの測定公差を考慮したり、センサ系がどの状態（故障／動作中等）にあるかを判定したりすることができる。

【0007】

したがって、通常は表示装置に直接的に送られる制御データは、必要に応じて、前記拡張モジュールによって調整され、変更された制御データが前記表示装置に送信され、そこに表示されるように変更又は修正されることができる。これは、特に画像記録装置によって記録され、前記表示装置によって再生される画像の拡張に関して、良好な結果を有するイラストを表す。

【0008】

本明細書で使用される「拡張（augmentation）」という用語は、現実の再現の一種の拡張又は変化を示すことを意味する。例えば、スポーツフィールドのバナーにおいて実際に英語で書かれた広告メッセージに、異なる言語の同じ広告又は別の広告を重ね合わせることを考える。

【0009】

本明細書で使用されるドイツ語の用語「Anreicherung」は、専門用語では「Augmentierung」としても知られており、これは、手段を改善し、強化し、豊かにすることを意味する英語の用語「Augment」を対象としている。

【0010】

前記拡張モジュールは、状態モジュールとアニメーションモジュールとを有し、前記状態モジュールは、前記信頼性情報を受信し、複数の、特に４つの状態情報から１つの状態情報を選択し、前記選択された状態情報を前記アニメーションモジュールに送信するように構成される。このプロセスでは、前記アニメーションモジュールは、前記制御データを受信し、前記状態情報に基づいて前記修正された制御データを生成するように構成することができる。

【0011】

前記アニメーションモジュールは、前記状態情報に応じて、前記画像データ及び前記拡張のための命令データを、拡張のためのスイッチオン状態に対応する修正された制御データとして送信する、又は、拡張のためのスイッチオフ状態に対応する修正された制御データとしてのみ画像データを送信する、又は、修正された制御データの一部として、スイッチオン状態とスイッチオフ状態との間で切り換えるときに選択される遷移アニメーションを送信するように構成することができる。

【0012】

好ましくは前記遷移アニメーションが、前記画像記録装置によって検出された実データと、表示される拡張データとが統合されて処理されて表示されるように構成される。したがって、リアリティを遷移アニメーションに統合することによって、ある程度のリアリズムを達成することができ、この場合、前記システムが、現在、拡張を表示しているか、又は拡張なしに実際の画像を表示しているかを、前記表示装置の視聴者は認識できない。

【0013】

前記アニメーションモジュールは、特定数の画像を有する遷移アニメーションを生成し、それをアニメーションバッファに格納するように構成された実現モジュールを含むことができる。さらに、前記アニメーションモジュールは、所定の遷移アニメーションをコンピュータ可読命令の形態で記憶するように構成されたアニメーションメモリを有することができる。したがって、予め作成された、または容易にプログラムされた遷移アニメーションをアニメーションメモリに提供することができる。これらの記憶された遷移アニメーションは、制御データ、特に信頼性情報及び状態情報に基づいて、前記実現モジュールによってアニメーションメモリから読み出され、制御データと組み合わされて、変更された制御データが選択された遷移アニメーションを含み、スイッチオン状態とスイッチオフ状態との間のスイッチを可能にする。

【0014】

前記アニメーションモジュールは、前記スイッチオフ状態において前記分析モジュールによって提供される前記制御データから前記拡張のための前記命令データを除去し、前記画像データを修正された制御データとして前記表示装置に送信するように構成されうる。
さらに、前記アニメーションモジュールは、前記スイッチオン状態と前記スイッチオフ状態との間の切り替え時に遷移アニメーションが円滑に挿入されるように、前記状態情報に対応する前記分析モジュールの制御信号を変更するように構成され得る。

【0015】

前記遷移アニメーションは、仮想ローリングバナー又は仮想ウィンドウとして設計されることができる。上述のスイッチオン状態とスイッチオフ状態との間の切り替えは、両方向、すなわちスイッチオン状態からスイッチオフ状態への切り替えと、スイッチオフ状態からスイッチオフ状態への切り替えとを含むことを示す。

【0016】

本発明はさらに、テレビジョン放送システム、仮想広告表示システム及び／又は拡張現実システムにおける上述のシステムの使用に関する。

【0017】

テレビジョン放送システムの範囲内で本明細書に記載されるシステムを使用するために、同日に出願された同じ出願人の「拡張画像を生成するためのテレビジョン放送システム」と題する同日出願が参照される。特に図４～図６を参照して説明された乗算モジュールと、本出願によるシステムを組み込むことができる制御モジュールとが参照される。

【0018】

以下の文章では、本発明を添付の図面を参照して例示的かつ非限定的に説明する。

【図面の簡単な説明】

【0019】

【図1】図１は、拡張画像を生成するためのシステムの簡略化された概略図を示す。

【図2】図２は、システムの拡張モジュールを概略的かつ簡略化して示す。

【図3】図３は、可能な状態および関連する状態遷移を概略的かつ簡略化して示す。

【図4】図４は、拡張モジュールのアニメーションモジュールの機能を概略的かつ簡略化して示す。

【図5】図５は、仮想ローリングバナーに基づく遷移アニメーションの手順を概略的かつ簡略化して示す。

【発明を実施するための形態】

【0020】

図１は、単純化された概略的な方法で拡張画像を生成するためのシステム１０の図を示す。このシステムは、画像記録装置又はカメラ１２と、分析モジュール１４と、拡張モジュール１６と、表示装置又はディスプレイ１９とを備える。画像記録装置１２は、カメラ画像（及び、必要に応じて、追加のセンサデータ）をカメラデータＳ１として分析モジュール１４に送信する。分析モジュール１４は、これらのカメラデータＳ１を処理し、そこから制御データＳ２又は制御コマンドＳ２を生成する。このような制御データ又は制御コマンドＳ２は、例えば、OpenGLコマンド及びOpenGLテクスチャとすることができる。制御データＳ２は、拡張モジュール１６に送られる。拡張モジュール１６は、制御データＳ２を変更するように構成されている。センサデータ又はカメラデータＳ１は、分析モジュール１４によって、信頼性情報Ｒ２、例えばセンサの測定公差によって拡張される。拡張モジュール１６は、表示装置１８を制御するために、制御データＳ２と信頼性情報Ｒ２とから修正された制御データＳ２ｂを生成する。

【0021】

図２を参照して、拡張モジュール１６について以下に説明する。
拡張モジュール１６は、信頼性情報Ｒ２又は信頼性信号Ｒ２をバイナリ信号ＯＫ（ｔ）に変換するように構成された構成要素Ｖを備える。この処理において、変換は。例えば、信号ＯＫにどの２進値が割り当てられるかを決定するために、閾値比較に基づいている。信号ＯＫ（ｔ）は、制御データＳ２（ｔ）が表示に適しているか否かを示す。信号ＯＫは、構成要素Ｖから状態モジュール２０に転送され、状態モジュール２０は状態マネージャとしても指定することができる。

【0022】

状態モジュール２０は、複数の、この例では４つの可能な状態Ｚ（ｔ）のうちの１つを選択し、この状態Ｚ（ｔ）をアニメーションモジュール２２に送信し、アニメーションモジュール２２は、アニメーションマネージャとして指定することができる。このプロセスでは、状態Ｚ（ｔ）の選択は、状態Ｚ（ｔ－Ｎ）などの以前の状態に基づいている。Ｚ（ｔ－Ｎ）、Ｚ（ｔ－Ｎ＋１）などの以前の状態は、状態バッファＰＺに格納され、必要に応じて、モジュール２０によって取り出すこともできる。

【0023】

アニメーションモジュール２２は、制御データＳ２を受信し、この制御データＳ２は、バッファＰＳによってこれからＮサイクルまで遅延されるデータか、又はＮサイクル遅延されたデータである。さらに、アニメーションモジュール２２は、入力変数又は入力として状態Ｚ（ｔ）、すなわち、Ｎサイクルで達成されるべき状態を受け取る。

【0024】

状態モジュール２０は、アニメーションモジュール２２の状態を決定する。この例では、アニメーションモジュール２２の修正された制御データＳ２ｂ（ｔ）の出力に影響を与える４つの状態Ｚ（ｔ）が区別される。

【0025】

このプロセスでは、状態が２つの変数ＥＮ及びＴＲによって記述することができ、ＥＮは拡張がオンに切り替えられるかオフに切り替えられるかを表す表現であり、ＴＲはスイッチオン状態とスイッチオフ状態との間で切り替えるときに遷移アニメーションが再生されるかを表す表現である。

【0026】

状態は以下の通りである：
Ｚ＝１、ＥＮ＝１及びＴＲ＝０であり、アニメーションモジュール２２は、変更されていない制御データＳ２（ｔ－Ｎ）を出力する。すなわち、拡張がスイッチオンされる（スイッチオン状態）；
Ｚ＝２、ＥＮ＝０及びＴＲ＝０であり、アニメーションモジュール２２は、制御データＳ２（ｔ－Ｎ）から、修正された制御データＳ２ｂとして元の画像を出力する。拡張はフェードインされず、すなわち拡張がスイッチオフされる（スイッチオフ状態）；
Ｚ＝３、ＥＮ＝１及びＴＲ＝１であり、アニメーションモジュール２２は、スイッチオン状態（Ｚ＝１）から始まる遷移アニメーションを再生し、スイッチオフ状態（Ｚ＝２）に移行する；
Ｚ＝４、ＥＮ＝０及びＴＲ＝１であり、アニメーションモジュール２２は、スイッチオフ状態（Ｚ＝２）から始まる遷移アニメーションを再生し、スイッチオン状態（Ｚ＝１）に移行する。

【0027】

状態Ｚ（ｔ）＝１～４及びそれらの遷移は、図３に例示的な方法で図として示されている。
このプロセスでは、拡張の表示をオフに切り替えることは、Ｚ＝１及びＯＫ＝０（データＳ２（ｔ）は表示には適していない）からＺ＝３を介してＺ＝２までのＮサイクル続く遷移である。拡張の表示をオンに切り替えることは、Ｚ＝２及びＯＫ＝１（データＳ２（ｔ）は表示に適している）からＺ＝４を介してＺ＝１までのＮサイクル続く遷移である。

【0028】

図４には、アニメーションモジュール２２の機能が概略的に示されている。
アニメーションモジュール２２の目的は、状態Ｚ（ｔ）に基づいて、又は状態Ｚ（ｔ）に従って、制御信号Ｓ２を変更することであり、その結果、状態がシフトすると、滑らかな遷移アニメーションを挿入することができ、表示装置１８は、状態Ｚ＝２（スイッチオフ状態）のために記録装置１２によって記録された元の画像を表示する。

【0029】

このプロセスでは、遷移アニメーションは、拡張がゆっくりと徐々にフェードイン又はフェードアウトされるように構成または実行されるだけではない。むしろ、制御コマンドは、拡張モジュール１６によって、特にアニメーションモジュール２２によって変更することができる。したがって、遷移アニメーションを意図的に作成することができ、その結果、現実（元の画像）又は拡張画像（拡張を有する）が現在表示されているかどうかに関わらず、表示装置１８の視聴者はそれを認識することができない。

【0030】

状態Ｚ（ｔ）は、Ｓ２（ｔ－Ｎ）が変更されずに出力されるべきかどうか、すなわち、拡張がモジュール２４によって制御データＳ２から除去されるべきかどうか、または遷移アニメーションＡが再生されるべきかどうかを選択する。

【0031】

状態の変化又はＺ＝１からＺ＝３へのシフト（スイッチオフ）及びＺ＝２からＺ＝４へのシフト（スイッチオン）の場合、Ｎ個の画像の長いアニメーションＡが実現モジュール２６によって生成され、アニメーションバッファＰＡに格納される。続いて、Ｓ２の代わりに、遷移アニメーションＡが修正された制御データＳ２ｂとして表示装置１８に送信される。

【0032】

Ａ（１）は、表示装置１８によって生成された遷移アニメーションＡの最初の画像を示し、Ａ（Ｎ）は最後の画像を示す。スムーズなスイッチオフ遷移アニメーションの場合、レンダリングされた画像Ａ（Ｎ）は、画像Ｓ２（ｔ）（拡張なし）に対応しなければならない。同様に、Ａ（１）はスムーズなスイッチオン遷移アニメーションのために、画像Ｓ２（ｔ－Ｎ）（拡張なし）に対応しなければならない。

【0033】

アニメーションモジュール２２は、アニメーションデータベース（アニメーションメモリ）２８をさらに含む。アニメーションデータベース２８において、遷移アニメーションＡはプログラムコード命令の形式であり、制御データＳ２を遷移アニメーションＡに変換するために使用される。この命令は、例えば、実行時にＳ２（ｔ）～Ｓ２（ｔ－Ｎ）の部分によってのみ置き換えられるテクスチャを使用することができる。これは、ポストプロダクションのための既知の非線形ビデオ編集プログラム（例えば、Adobe After Effects, Adobe Premiere, Davinci Resolve, Nuke）におけるアニメーションの定義と同様の方法で行われる。しかしながら、これらの既知のプログラムはライブで使用することができず、これらのプログラムによって生成される効果は制御情報にリンクされず、ビデオクリップ全体に適用される。

【0034】

遷移アニメーションが生成される時間において、アニメーションモジュール２２は、制御データＳ２（ｔ）～Ｓ２（ｔ－Ｎ）と共に、状態Ｚ＝１においてどのように及びどこで拡張が表現されるかの全ての情報を有する。アニメーションモジュール２２に含まれるエフェクトデータベース２８は遷移アニメーションＡを作成し、それをアニメーションバッファＰＡに格納するために、実現モジュール２６におけるエフェクト実現のための制御データＳ２をどのように変更しなければならないかを定義する。

【0035】

例えば、制御データＳ２のOpenGL座標変換は２Ｄ又は３Ｄシフト又は回転を達成するために、実現モジュール２６によって実行されることができ、或いは、OpenGLテクスチャがＳ２に含まれる画像に基づいて生成され、遷移アニメーションＡに統合されることができる。

【0036】

図５は、いわゆる仮想ローリングバナーの遷移アニメーションを、純粋に例示的かつ簡略化された方法で示している。第１の画像（左）における状態Ｚ＝２（スイッチオフ状態、拡張なし）からの遷移は、画像２～４（左から）における状態Ｚ＝４（遷移アニメーション）を介して状態Ｚ＝１（スイッチオン状態、拡張が表示又は重畳される）にされる。このプロセスではドット領域または点線で示される面が状態Ｚ＝１で拡張される領域を示すが、これは（画像２～４で遷移アニメーションを再生した後に）第５の画像では完全に拡張される。

【0037】

この遷移アニメーションは、ここでは純粋に例示的な方法で、Ｎ＝５サイクルによって行われる。具体的なアプリケーションでは、遷移アニメーションが流動的で滑らかな遷移のために、より多くのサイクルを必要とする。遷移アニメーションの実現は、以下のように実現することができる。

【0038】

テクスチャ「リアリティ（Reality）」は、拡張がフェードインされるのであろう位置において、Ｓ２（ｔ－Ｎ）内の元の画像から抽出される。新しいテクスチャＴは、「リアリティ（Reality）」と「拡張（Augment）」とを互いに垂直に接続することによって生成される。したがって、制御コマンドは「拡張（Augment）」の直接（遷移なしで）表示する代わりに、「リアリティ（Reality）」と「拡張（Augment）」の組合せである新しいテクスチャＴが表示されるように、遷移アニメーションＡにおいて調整される。

【0039】

垂直ロール移動は例えば、テクスチャＴに適用される関心領域（ＲＯＩ）演算子によって生成することができる。Ａ（１）では上半分（すなわち、リアリティ（Reality））を選択し、次いで、Ａ（２）からＡ（４）では、アニメーションの後にＡ（５）のテクスチャ「拡張（Augment）」が正確に選択されるまで、徐々に深くなるように選択する。その結果、状態Ｚ＝１が達成される。

【0040】

実現のための制御コマンドは、遷移アニメーションＡに統合され、修正された制御データＳ２ｂ（ｔ）として出力され、最終的には、上述したように、表示装置１８によって出力される。

【0041】

したがって、本明細書で提示されるシステムによれば、拡張（仮想オブジェクト）の遷移アニメーションのスイッチオン又はスイッチオフを現実に統合することによって、拡張の表示又は重ね合わせに関するシステムが有効（スイッチオン状態）又は無効（スイッチオフ状態）であるかを認識することができない程度のリアリズムを可能にする。

【図1】

【図2】

【図3】

【図4】

【図5】