特許 7522576 制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-17

(45)【発行日】2024-07-25

(54)【発明の名称】制御装置及びプログラム

(51)【国際特許分類】

   G09G 5/38 20060101AFI20240718BHJP

   G06F 3/04815 20220101ALI20240718BHJP

   G06T 11/60 20060101ALI20240718BHJP

   G09G 5/00 20060101ALI20240718BHJP

   G09G 5/36 20060101ALI20240718BHJP

   G09G 5/373 20060101ALI20240718BHJP

【ＦＩ】

G09G5/38

G06F3/04815

G06T11/60 100A

G09G5/00 510H

G09G5/00 510Q

G09G5/00 555D

G09G5/36 400

G09G5/373

【請求項の数】 6

(21)【出願番号】P 2020069745

(22)【出願日】2020-04-08

(65)【公開番号】P2021165812

(43)【公開日】2021-10-14

【審査請求日】2023-02-21

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】堅田 真人

(72)【発明者】

【氏名】山下 智正

【審査官】橋本 直明

(56)【参考文献】

【文献】国際公開第２０１９／００４０７３（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０１７２６１（ＷＯ，Ａ１）

【文献】特開２０１９－１４５０５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２９１６８７（ＵＳ，Ａ１）

【文献】国際公開第２０１４／１８８７９７（ＷＯ，Ａ１）

【文献】特開２０１９－１３９６７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／３８

Ｇ０６Ｆ ３／０４８１５

Ｇ０６Ｔ １１／６０

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７３

(57)【特許請求の範囲】

【請求項1】

現実空間の撮像画像を表示する表示面において画像をその撮像画像に重畳して表示する、又は、閲覧者の目の前に配置された光透過型の表示面において、閲覧者から表示面を介して見える現実空間の所定の位置に重なる表示面上の位置に画像を表示する場合に、
２次元平面における座標軸を基準とした画像を表す画像データと、当該画像データに対して時系列に付与された付与データであって、閲覧者の視点を原点とした３次元空間において当該画像データが表す画像を表示するときの表示位置及び表示サイズを示す付与データとを取得する取得部と、
表示装置を制御して画像を表示させる表示制御部であって、取得された前記画像データが表す画像を、当該画像データに時系列に付与されている前記付与データに応じた表示位置及び表示サイズで、前記表示装置の表示面に表示させる表示制御部と
を備え、
前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示位置は、前記画像データが表す前記一部の画像の位置が前記閲覧者から時系列的にほぼ変わらないように見える位置であり、
前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示サイズは、前記画像データが表す前記一部の画像の大きさが前記閲覧者から時系列的にほぼ変わらないように見えるサイズである
ことを特徴とする制御装置。

【請求項2】

前記付与データは、前記画像データに施す画像処理の内容を含み、
前記表示制御部は、取得された前記画像データが表す前記一部の画像を、当該画像データに時系列に付与されている前記付与データに応じた表示位置及び表示サイズで、前記表示装置の表示面に表示させるとともに、当該画像データに時系列に付与されている前記付与データが示す画像処理を行って、当該画像データが表す画像を前記表示装置の表示面に表示させる
ことを特徴とする請求項１に記載の制御装置。

【請求項3】

第１の表示モードと第２の表示モードとを切り替える切替部を備え、
前記表示制御部は、
前記第１の表示モードにおいては、前記画像データに時系列に付与されている前記付与データに応じた表示サイズで、前記一部の画像を前記表示面に表示させ、
前記画像データに時系列に付与されている前記付与データに応じた表示サイズに対する下限が設けられた前記第２の表示モードにおいては、当該画像データが表す前記一部の画像の大きさが当該下限未満にならないように当該一部の画像を前記表示面に表示させる
ことを特徴とする請求項１記載の制御装置。

【請求項4】

前記切替部は、取得された前記画像データが表す前記一部の画像を画像認識し、当該一部の画像の大きさが閾値以下の物体の画像である場合には、前記第２の表示モードに切り替える
ことを特徴とする請求項３に記載の制御装置。

【請求項5】

前記切替部は、閲覧者の操作に応じて、前記第１の表示モードと前記第２の表示モードとを切り替える
ことを特徴とする請求項３に記載の制御装置。

【請求項6】

コンピュータに、
現実空間の撮像画像を表示する表示面において画像をその撮像画像に重畳して表示する、又は、閲覧者の目の前に配置された光透過型の表示面において、閲覧者から表示面を介して見える現実空間の所定の位置に重なる表示面上の位置に画像を表示する場合に、
２次元平面における座標軸を基準とした画像を表す画像データと、当該画像データに対して時系列に付与された付与データであって、閲覧者の視点を原点とした３次元空間において当該画像データが表す画像を表示するときの表示位置及び表示サイズを示す付与データとを取得する取得部と、
表示装置を制御して画像を表示させる表示制御部であって、取得された前記画像データが表す画像を、当該画像データに時系列に付与されている前記付与データに応じた表示位置及び表示サイズで、前記表示装置の表示面に表示させる表示制御部と
を実現させ、
前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示位置は、前記画像データが表す前記一部の画像の位置が前記閲覧者から時系列的にほぼ変わらないように見える位置であり、
前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示サイズは、前記画像データが表す前記一部の画像の大きさが前記閲覧者から時系列的にほぼ変わらないように見えるサイズであるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元空間の表示技術に関する。

【背景技術】

【0002】

いわゆるＡＲ（拡張現実）は、現実空間に対して情報の付加・削除・強調・減衰等を行うことで、人物が見た現実の世界を拡張するものである。例えば特許文献１には、２枚のゲームカードを接触させると、キャラクタ同士の間に３次元のオブジェクトが表示されることが記載されている。このようなＡＲ（拡張現実）のほか、ＶＲ（仮想現実）やＭＲ（複合現実）などの３次元空間における表示に関する技術を総称して、ＸＲという。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－７２６６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＸＲの実現においては、様々なオブジェクトを表示するために、３次元空間における３次元座標を有するポリゴンデータ等の画像データが必要となる。ただし、このような画像データを用意するにはコストや時間がかかる。

【0005】

一方、例えば平面ディスプレイや平面スクリーンに表示するための画像データは、世の中に多数存在する。このような２次元平面表示用の画像データを用いてＸＲに類似する視覚効果を実現することができれば、コストや時間の削減を期待し得る。

【0006】

そこで、本発明の目的は、２次元平面表示用の画像データを用い、閲覧者に対してその画像が３次元空間に現実に存在しているように感じさせるような技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、現実空間の撮像画像を表示する表示面において画像をその撮像画像に重畳して表示する、又は、閲覧者の目の前に配置された光透過型の表示面において、閲覧者から表示面を介して見える現実空間の所定の位置に重なる表示面上の位置に画像を表示する場合に、２次元平面における座標軸を基準とした画像を表す画像データと、当該画像データに対して時系列に付与された付与データであって、閲覧者の視点を原点とした３次元空間において当該画像データが表す画像を表示するときの表示位置及び表示サイズを示す付与データとを取得する取得部と、表示装置を制御して画像を表示させる表示制御部であって、取得された前記画像データが表す画像を、当該画像データに時系列に付与されている前記付与データに応じた表示位置及び表示サイズで、前記表示装置の表示面に表示させる表示制御部とを備え、前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示位置は、前記画像データが表す前記一部の画像の位置が前記閲覧者から時系列的にほぼ変わらないように見える位置であり、前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示サイズは、前記画像データが表す前記一部の画像の大きさが前記閲覧者から時系列的にほぼ変わらないように見えるサイズであることを特徴とする制御装置を提供する。

【0010】

前記付与データは、前記画像データに施す画像処理の内容を含み、前記表示制御部は、取得された前記画像データが表す前記一部の画像を、当該画像データに時系列に付与されている前記付与データに応じた表示位置及び表示サイズで、前記表示装置の表示面に表示させるとともに、当該画像データに時系列に付与されている前記付与データが示す画像処理を行って、当該画像データが表す画像を前記表示装置の表示面に表示させるようにしてもよい。

【0011】

第１の表示モードと第２の表示モードとを切り替える切替部を備え、前記表示制御部は、前記第１の表示モードにおいては、前記画像データに時系列に付与されている前記付与データに応じた表示サイズで、前記一部の画像を前記表示面に表示させ、前記画像データに時系列に付与されている前記付与データに応じた表示サイズに対する下限が設けられた前記第２の表示モードにおいては、当該画像データが表す前記一部の画像の大きさが当該下限未満にならないように当該一部の画像を前記表示面に表示させるようにしてもよい。

【0012】

前記切替部は、取得された前記画像データが表す前記一部の画像を画像認識し、当該一部の画像の大きさが閾値以下の物体の画像である場合には、前記第２の表示モードに切り替えるようにしてもよい。

【0013】

前記切替部は、閲覧者の操作に応じて、前記第１の表示モードと前記第２の表示モードとを切り替えるようにしてもよい。

【0015】

また、本発明は、コンピュータに、現実空間の撮像画像を表示する表示面において画像をその撮像画像に重畳して表示する、又は、閲覧者の目の前に配置された光透過型の表示面において、閲覧者から表示面を介して見える現実空間の所定の位置に重なる表示面上の位置に画像を表示する場合に、２次元平面における座標軸を基準とした画像を表す画像データと、当該画像データに対して時系列に付与された付与データであって、閲覧者の視点を原点とした３次元空間において当該画像データが表す画像を表示するときの表示位置及び表示サイズを示す付与データとを取得する取得部と、表示装置を制御して画像を表示させる表示制御部であって、取得された前記画像データが表す画像を、当該画像データに時系列に付与されている前記付与データに応じた表示位置及び表示サイズで、前記表示装置の表示面に表示させる表示制御部とを実現させ、前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示位置は、前記画像データが表す前記一部の画像の位置が前記閲覧者から時系列的にほぼ変わらないように見える位置であり、前記画像に含まれる一部の画像を表す画像データに付与された前記付与データが示す表示サイズは、前記画像データが表す前記一部の画像の大きさが前記閲覧者から時系列的にほぼ変わらないように見えるサイズであるプログラムを提供する。

【発明の効果】

【0016】

本発明によれば、２次元平面表示用の画像データを用い、閲覧者に対してその画像が３次元空間に現実に存在しているように感じさせることが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る情報処理システムの構成を例示する図である。

【図2】ヘッドマウントディスプレイのハードウェア構成の一例を示すブロック図である。

【図3】ヘッドマウントディスプレイの機能構成の一例を示すブロック図である。

【図4】画像データ及び付与データの構造を例示する図である。

【図5】付与データの構造を例示する図である。

【図6】ヘッドマウントディスプレイの動作の一例を示すフローチャートである。

【図7】ヘッドマウントディスプレイにおける表示の比較例を示す図である。

【図8】ヘッドマウントディスプレイにおける表示の比較例を示す図である。

【図9】ヘッドマウントディスプレイにおける表示の比較例を示す図である。

【図10】ヘッドマウントディスプレイにおける表示の比較例を示す図である。

【図11】ヘッドマウントディスプレイにおける表示例を示す図である。

【図12】ヘッドマウントディスプレイにおける表示例を示す図である。

【図13】ヘッドマウントディスプレイにおける表示例を示す図である。

【図14】ヘッドマウントディスプレイにおける表示例を示す図である。

【図15】ヘッドマウントディスプレイにおける表示の比較例を示す図である。

【図16】ヘッドマウントディスプレイにおける表示の比較例を示す図である。

【図17】ヘッドマウントディスプレイにおける表示例を示す図である。

【図18】ヘッドマウントディスプレイにおける表示例を示す図である。

【発明を実施するための形態】

【0018】

［構成］
図１は、本実施形態の情報処理システム１の一例を示す図である。情報処理システム１は、いわゆるＸＲを実現するための処理を行うヘッドマウントディスプレイ１０と、ヘッドマウントディスプレイ１０に対して各種のデータやプログラムを提供するサーバ装置２０又はパーソナルコンピュータ３０とを備えている。ヘッドマウントディスプレイ１０とサーバ装置２０はネットワーク２により通信可能に接続される。ヘッドマウントディスプレイ１０とパーソナルコンピュータ３０は通信ケーブルや図示しないネットワークにより通信可能に接続される。ネットワーク２は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。ヘッドマウントディスプレイ１０は、サーバ装置２０又はパーソナルコンピュータ３０から各種のデータやプログラムをダウンロードし、これらを用いて、いわゆるスタンドアロンでＸＲを実現する。ヘッドマウントディスプレイ１０は、本発明に係る制御装置の一例として機能する。本実施形態ではＸＲの一例として、ＡＲ（拡張現実）を実現する場合を説明する。つまり、ヘッドマウントディスプレイ１０は、現実空間を撮像し、その現実空間に対して付加的な仮想オブジェクトを重畳した状態で表示する。

【0019】

ヘッドマウントディスプレイ１０は、ユーザの頭部に装着されるタイプの情報処理装置であるが、これに限らず、例えばコンタクトレンズ型のウェアラブルコンピュータ、或いはスマートホン又はタブレットなどの携帯型コンピュータであってもよい。ＡＲを実現する装置として、現実空間の撮像画像を表示する表示面において仮想オブジェクトをその撮像画像に重畳して表示するタイプと、ユーザの目の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置に仮想オブジェクトを表示するタイプとがある。本実施形態に係るヘッドマウントディスプレイ１０はいずれのタイプであってもよく、仮想オブジェクトを現実空間に重畳表示する情報処理装置として機能する。

【0020】

図２は、ヘッドマウントディスプレイ１０のハードウェア構成を例示する図である。ヘッドマウントディスプレイ１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、表示装置１００７、撮像装置１００８及びこれらを接続するバスなどを含むコンピュータとして構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ヘッドマウントディスプレイ１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0021】

ヘッドマウントディスプレイ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信、表示装置１００７による表示及び撮像装置１００８による撮像を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0022】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。また、例えばベースバンド信号処理部や呼処理部などがプロセッサ１００１によって実現されてもよい。

【0023】

プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。ヘッドマウントディスプレイ１０の機能ブロックは、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ１００１によって実行されてもよいが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワーク２からヘッドマウントディスプレイ１０に送信されてもよい。

【0024】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0025】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。

【0026】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置１００４によって実現されてもよい。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。

【0027】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キー、マイクロホン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えばスピーカ、LEDランプなど）である。

【0028】

表示装置１００７は、液晶素子や液晶駆動回路等を含み、現実空間の撮像画像を表示する液晶表示面において仮想オブジェクトをその撮像画像に重畳して表示する。

【0029】

撮像装置１００８は、撮像素子を含み、現実空間を撮像する。

【0030】

プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0031】

また、ヘッドマウントディスプレイ１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0032】

図３は、ヘッドマウントディスプレイ１０の機能構成の一例を示すブロック図である。図３に示すように、ヘッドマウントディスプレイ１０においては、記憶部１１と、取得部１２と、表示制御部１３といった機能を含む制御装置１００が実現される。

【0033】

記憶部１１は、２次元平面における座標軸を基準とした画像を表す画像データと、その画像データに対して時系列に付与された付与データを含むデータ群を記憶している。この画像データは、ＡＲにおいて現実空間に重畳して表示される仮想オブジェクトに相当する。図４は、記憶部１１に記憶されるデータ群の構造を例示する図である。画像データＳは、例えば或るテレビドラマとして放映されて２次元平面に表示される２次元平面表示用の動画データであり、演技を行う俳優や背景となる風景などが撮影されたものである。つまり、この画像データＳは、２次元平面における座標軸（Ｘ軸及びＹ軸）を基準とした各位置（Ｘ座標、Ｙ座標）に相当する画素単位のデータの集合である。

【0034】

画像データＳは、これを撮影した撮影用ビデオカメラの撮影位置及び撮影方向ごとに、シーンという単位で区分されている。図４の例では、画像データＳは、シーンｓ１，シーンｓ２，シーンｓ３，シーンｓ４，シーンｓ５，シーンｓ６からなる。シーンｓ１における撮影用ビデオカメラの撮影位置又は撮影方向と、シーンｓ２における撮影用ビデオカメラの撮影位置又は撮影方向は異なっている。例えばシーンｓ１が、二人の人物が会話している様子を、これら二人の人物の正面から、これら二人の人物から或る距離だけ離れた位置から撮影しているシーンであるのに対し、シーンｓ２が、これら二人の人物のうちの一方の人物の顔をこの人物の右斜め前向から接写しているシーンである。同様に、シーンｓ２とシーンｓ３、シーンｓ３とシーンｓ４、シーンｓ４とシーンｓ５、シーンｓ５とシーンｓ６をそれぞれ撮影したときの撮影用ビデオカメラの撮影位置又は撮影方向は異なっている。

【0035】

付与データは、これらシーンｓ１～ｓ６の各々に１対１に対応付けられたデータである。図４の例では、付与データＡは、シーンｓ１に対応する付与データａ１，シーンｓ２に対応する付与データａ２，シーンｓ３に対応する付与データａ３，シーンｓ４に対応する付与データａ４，シーンｓ５に対応する付与データａ５，シーンｓ６に対応する付与データａ６からなる。

【0036】

図５は、１つのシーンに対応する付与データａの構造を例示する図である。付与データａは、対応するシーンを識別するシーン識別子と、ユーザ（つまり画像データが表す画像を閲覧する閲覧者）の視点を原点とした３次元空間において、対応するシーンの画像データが表す画像を表示するときの表示位置及び表示サイズを表すデータ（表示位置データ及び表示サイズデータ）とを含む。画像データが表す画像を表示するときの表示位置は、撮影用ビデオカメラの撮影時の位置を原点とした３次元空間において撮影対象となる物体（例えば俳優）の位置で決まるようになっている。つまり、画像データが表す画像を表示するときの表示位置は、撮影用ビデオカメラと撮影対象との位置関係で決まる。このため、例えば撮影用ビデオカメラに磁気センサ、ジャイロセンサ及び測距カメラを実装しておき、撮影用ビデオカメラの撮影方向と撮影対象となる物体（例えば俳優）の距離とを測定することで、撮影用ビデオカメラと撮影対象となる物体（例えば俳優）との位置関係が算出される。

【0037】

画像データが表す画像を表示するときの表示サイズは、撮影用ビデオカメラの位置を原点とした３次元空間において、撮影用ビデオカメラの位置と撮影対象となる物体（例えば俳優）の位置との間の距離及び撮影時のズーム倍率によって特定される。このため、例えば撮影用ビデオカメラにおいては、測距カメラのほか、撮影時のズーム倍率を記録する機能を実装しておき、測定された距離及び記録されたズーム倍率に基づいて、画像データが表す画像を表示するときの表示サイズが算出される。

【0038】

付与データは、上述したように、撮影用ビデオカメラの機能によって算出されて画像データに付与されてもよいし、また、例えばオペレータが２次元平面における座標軸を基準とした画像を表す画像データを見ながら手動で作成して画像データに付与するものであってもよい。このようにして付与データは画像データに対応付けられて記憶部１１に記憶される。

【0039】

図３の説明に戻り、取得部１２は、上述したような画像データ及び付与データを記憶部１１から読み出すことで、これを取得する。

【0040】

表示制御部１３は、表示装置１００７を制御して、上記画像データに応じた画像を表示させる。より具体的には、表示制御部１３は、取得部１２により取得された画像データが表す画像を、その画像データに時系列に付与されている付与データに応じた表示位置及び表示サイズで、表示装置１００７の表示面に表示させる。

【0041】

なお、前述したとおり本実施形態では、ヘッドマウントディスプレイ１０がサーバ装置２０又はパーソナルコンピュータ３０の制御を受けずにスタンドアロンで画像表示に関する動作を行う例で説明するため、その機能構成は図３のようになる。ただし、ヘッドマウントディスプレイ１０がサーバ装置２０又はパーソナルコンピュータ３０と連携して画像表示に関する動作を行ってもよい。この場合は、例えばサーバ装置２０又はパーソナルコンピュータ３０が記憶部１１を備え、ヘッドマウントディスプレイ１０が、サーバ装置２０又はパーソナルコンピュータ３０の記憶部１１に記憶されたデータ群を取得する取得部１２と、表示装置１００７を制御して画像を表示させる表示制御部１３とを備えてもよい。

【0042】

［動作］
図６を参照して、ヘッドマウントディスプレイ１０の動作例について説明する。まず、ユーザがヘッドマウントディスプレイ１０を起動すると、ヘッドマウントディスプレイ１０により現実空間の撮像が開始される。表示制御部１３は、現実空間の撮像画像データを画像認識し、所定のアルゴリズムに従って、この撮像画像においてユーザ（閲覧者）の視点を原点とした３次元の座標軸（ｘ,ｙ,ｚ軸）を仮想的に設定する（ステップＳ１０）。

【0043】

次に、ユーザの画像再生指示に応じて、取得部１２は、画像データ及び付与データを記憶部１１から読み出して取得する（ステップＳ１１）。

【0044】

次に、表示制御部１３は、画像データに付与されている付与データを参照して、その画像データが示す画像の表示位置（例えばｘ１，ｙ１，ｚ１）及び表示サイズ（例えば画像が矩形である場合にはその矩形の対角線の長さ）を設定する（ステップＳ１２）。

【0045】

そして、表示制御部１３は、設定した表示位置及び表示サイズで、画像データに応じた画像を表示するよう、表示装置１００７に指示する（ステップＳ１３）。表示装置１００７は、仮想的に設定された３次元の座標軸（ｘ,ｙ,ｚ軸）において、付与データが示す表示位置（例えばｘ１，ｙ１，ｚ１）に、付与データが示す表示サイズ（矩形の画像の対角線の長さ）で、２次元平面における座標軸を基準とした画像を表示する。

【0046】

これらの処理が、画像データが全て再生されるまで、又は再生中止の操作がなされるまで、繰り返し実行される。

【0047】

ここで、本実施形態における画像の表示例について説明する。図７～１０は比較例としての画像の表示例を示す図である。図７～１０では、２次元平面用の画像データに応じた画像を固定の表示位置に固定の表示サイズで現実空間に重畳して表示した例を示している。図１１～１４は本実施形態に係る画像の表示例を示す図である。図１１～１４では、２次元平面用の画像データに応じた画像を付与データに応じた表示位置及び表示サイズで現実空間に重畳して表示した例を示している。

【0048】

図７において、ヘッドマウントディスプレイ１０を装着したユーザが或る方向を向いているときの視界ＤＡのほぼ中央の位置に、テレビドラマの登場人物である人物Ｃ０１と人物Ｃ０２が会話している様子を撮影した画像Ｇ０１が表示されている。画像Ｇ０１を表す画像データは、２次元平面表示用の画像データであるから、この画像Ｇ０１は、ユーザからは、現実空間においてユーザに正対している仮想的な平面上に表示された画像として見えている。つまり、ユーザからは、自らの真正面に矩形の画像Ｇ０１が空中に浮いているように見えている。次に、テレビドラマのストーリー進行に伴い、図８へとシーンが変わり、視界ＤＡのほぼ中央の位置に、人物Ｃ０１を近距離から撮影した画像Ｇ０２が表示される。この画像Ｇ０２も、画像Ｇ０１と同様に、ユーザからは、現実空間に仮想的に存在している平面状の画像として見えている。その次に図９へとシーンが変わり、視界ＤＡのほぼ中央の位置に、人物Ｃ０２を近距離から撮影した画像Ｇ０３が表示される。この画像Ｇ０３も、画像Ｇ０１，Ｇ０２と同様に、ユーザからは、現実空間に仮想的に存在している平面状の画像として見えている。そして、図１０へとシーンが変わり、視界ＤＡのほぼ中央の位置に、人物Ｃ０１と人物Ｃ０２が会話している様子を撮影した画像Ｇ０４が表示される。この画像Ｇ０４も、ユーザからは、現実空間においてユーザに正対している仮想的な平面上に表示された画像として見えている。このように、２次元平面用の画像データに応じた画像を固定の表示位置に固定の表示サイズで現実空間に重畳して表示した場合、現実空間に仮想的に存在している平面状の画像が、画像データの時系列の遷移に応じて単に変化していくだけとなる。

【0049】

次に、図１１の例では、ヘッドマウントディスプレイ１０を装着したユーザが或る方向を向いているときの視界ＤＡのほぼ中央の位置に、人物Ｃ１と人物Ｃ２が会話している様子を撮影した画像Ｇ１が表示されている。この画像Ｇ１は、前述した画像Ｇ０１と同様に、ユーザからは、現実空間に仮想的に存在している平面状の画像として見えている。つまり、ユーザからは、自らの真正面に矩形の画像Ｇ１が空中に浮いているように見えている。

【0050】

次に図１２へとシーンが変わり、人物Ｃ１を近距離から撮影した画像Ｇ２が表示される。この画像Ｇ２もユーザからは、現実空間に仮想的に存在している平面状の画像として見えているが、撮影時の撮影用ビデオカメラの位置から人物Ｃ１を撮影したときの撮影方向に応じて、人物Ｃ１に寄った表示位置で表示される。これは、ユーザから見た３次元空間における人物Ｃ１の表示位置が、画像Ｇ１とＧ２とでほぼ同じに表示位置で表示されるような付与データが付与されているからである。つまり、ユーザにとっては、画像Ｇ１から画像Ｇ２に遷移したとしても、３次元空間内における人物Ｃ１の位置はほぼ変わらないように見える。また、画像Ｇ２の表示サイズは、画像Ｇ０２の表示サイズに比べると小さい。これはユーザから見た３次元空間における人物Ｃ１の大きさが、画像Ｇ１と画像Ｇ２とでほぼ同じに大きさで表示されるような付与データが付与されているからである。つまり、ユーザにとっては、画像Ｇ１から画像Ｇ２に遷移したとしても、３次元空間内における人物Ｃ１の大きさはほぼ変わらないように見える。

【0051】

次に図１３へとシーンが変わり、人物Ｃ２を近距離から撮影した画像Ｇ３が表示される。この画像Ｇ３も、画像Ｇ１，Ｇ２と同様に、ユーザからは、現実空間に仮想的に存在している平面状の画像として見えている。この画像Ｇ３は、撮影時の撮影用ビデオカメラの位置から人物Ｃ１を撮影したときの撮影方向に応じて、人物Ｃ２に寄った表示位置で表示される。これは、ユーザから見た３次元空間における人物Ｃ２の表示位置が、画像Ｇ１とＧ３とでほぼ同じに表示位置で表示されるような付与データが付与されているからである。つまり、ユーザにとっては、画像Ｇ１と画像Ｇ３と比較したとき、３次元空間内における人物Ｃ２の位置はほぼ変わらないように見える。また、画像Ｇ３の表示サイズは、画像Ｇ０３の表示サイズに比べると小さい。これは人物Ｃ２の大きさが画像Ｇ２と画像Ｇ３とでほぼ同じに大きさで表示されるような付与データが付与されているからである。つまり、ユーザにとっては、画像Ｇ１と画像Ｇ３と比較したとき、３次元空間内における人物Ｃ２の大きさはほぼ変わらないように見える。

【0052】

そして、図１４へとシーンが変わり、人物Ｃ１と人物Ｃ２が会話している様子を撮影した画像Ｇ４が表示される。この画像Ｇ４もユーザからは、現実空間に仮想的に存在している平面状の画像として見えている。この画像Ｇ４の表示位置及び表示サイズは、画像Ｇ１と同様である。つまり、ユーザにとっては、画像Ｇ１と画像Ｇ４と比較したとき、３次元空間内における人物Ｃ１及びＣ２の位置及び大きさはほぼ変わらないように見える。

【0053】

このように、画像のシーンが変わった場合であっても、ユーザから見た３次元空間における人物の位置及び大きさは変わらない。このため、ユーザから見れば、その人物が３次元空間に現実に存在しているように感じられる効果が期待できる。

【0054】

次に、本実施形態における画像表示の別の例について説明する。図１５，１６は比較例としての画像の表示例を示す図であり、２次元平面用の画像データに応じた画像を固定の表示位置に固定の表示サイズで現実空間に重畳して表示した例を示している。図１７，１８は本実施形態に係る画像の表示例を示す図であり、２次元平面用の画像データに応じた画像を付与データに応じた表示位置及び表示サイズで現実空間に重畳して表示した例を示している。

【0055】

図１５において、ヘッドマウントディスプレイ１０を装着したユーザが或る方向を向いているときの視界ＤＡのほぼ中央の位置に、人物Ｃ０３が、ユーザから見て左方向に移動している（歩いている）様子を撮影した画像Ｇ０５が表示されている。画像Ｇ０５には、人物Ｃ０３が歩いている道路に設置された標識Ｃ０４が含まれている。この画像Ｇ０５は、ユーザからは、現実空間に仮想的に存在している平面状の画像として見えている。図１６に示すように、人物Ｃ０３が移動するに伴い、人物Ｃ０３が標識Ｃ０４の位置を通過すると、人物０３と標識Ｃ０４の位置関係が逆になる。ただし、画像Ｇ０５，Ｇ０６の表示位置及び表示サイズは変わっていない。

【0056】

一方、図１７の例では、ヘッドマウントディスプレイ１０を装着したユーザが或る方向を向いているときの視界ＤＡの右側に偏った位置に、人物Ｃ３が図中の左方向に移動している（歩いている）様子を撮影した画像Ｇ５が表示されている。画像Ｇ５には、道路に設置された標識Ｃ４が含まれている。この画像Ｇ５は、ユーザからは、現実空間に仮想的に存在している平面状の画像として見えている。そして、図１８に示すように、人物Ｃ３が移動するに伴い、人物Ｃ３と標識Ｃ４の位置関係が逆になる。このとき、画像Ｇ０５の表示位置と画像Ｇ６の表示位置は異なっている。つまり、これらの画像の表示位置は人物Ｃ３の移動に伴い、ユーザから見て左に徐々に移動していく。これは、人物Ｃ３の移動に伴い、画像Ｇ５から画像Ｇ６へと表示位置が移動していくような付与データが付与されているからである。つまり、ユーザにとっては、画像Ｇ５と画像Ｇ６と比較したとき、３次元空間内における人物Ｃ３の大きさは変わらないままで、その位置が徐々に左に移動しているように見える。また、このとき、３次元空間内における標識Ｃ４の位置及び大きさはほぼ変わらないように見える。このように、ユーザから見れば、人物Ｃ３があたかも自らの目の前を通過していくように感じられる効果が期待できる。

【0057】

以上説明した実施形態によれば、２次元平面表示用の画像データを用い、ユーザに対してその画像が３次元空間に現実に存在しているように感じさせることができる。

【0058】

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
［変形例１］
付与データは、２次元平面用画像データを解析して自動で生成されたものであってもよい。つまり、取得部１２は、２次元平面における座標軸を基準とした画像を表す画像データを取得し、その画像データを解析して、ユーザの視点を原点とした３次元空間における当該画像データの表示位置及び表示サイズを示す付与データを生成して当該画像データに時系列に付与することで、付与データを取得するようにしてもよい。この解析は、例えば画像中の物体をパターンマッチング等の技術を用いて画像認識し、その物体の位置及び形状を追跡することで、その物体を撮影したときの撮影位置及び撮影方向を推定し、この推定に基づいて、ユーザの視点を原点とした３次元空間における当該画像データの表示位置及び表示サイズを特定することによりなされる。

【0059】

［変形例２］
付与データは、対応するシーンの画像データに対して施す画像処理を指定するデータを含んでもよい。つまり、付与データは、画像データに施す画像処理の内容を含み、表示制御部１３は、取得部１２により取得された画像データが表す画像を、当該画像データに時系列に付与されている付与データに応じた表示位置及び表示サイズで、表示装置１００７の表示面に表示させるとともに、当該画像データに時系列に付与されている付与データが示す画像処理を行って、当該画像データが表す画像を表示装置１００７の表示面に表示させるようにしてもよい。ここでいう画像処理とは、例えば閲覧者であるユーザが目を瞬きしたような表示や、閲覧者であるユーザの涙によるぼやけが生じたような表示や、画像全体が揺れる等の表示を含む。

【0060】

［変形例３］
表示制御部１３は、画像データに時系列に付与されている付与データに応じた表示位置及び表示サイズで画像を表示させるときに、その表示位置及び表示サイズに制限を設けるようにしてもよい。つまり、本発明に係る制御装置は、第１の表示モードと第２の表示モードとを切り替える切替部を備え、表示制御部１３は、第１の表示モードにおいては、画像データに時系列に付与されている付与データに応じた表示位置及び表示サイズで、画像を表示面に表示させ、第２の表示モードにおいては、画像データに時系列に付与されている付与データに応じた表示位置及び表示サイズを制限した状態で、画像を表示面に表示させるようにしてもよい。例えば二人の人物が会話しているシーンの画像から、一方の人物の手のアップのシーンの画像に変わったとき、ユーザの視点を原点とした３次元空間において、上記人物の手の大きさが変わらないようにすると、その手のアップのシーンの画像に変わったとき、その画像の表示サイズが著しく小さくなってしまう。そこで、このような場合には、手のアップのシーンの画像に対応する付与データについて、表示サイズの下限を設けておき、その下限未満にならないようにする。

【0061】

この場合、切替部は、取得された画像データを解析して、第１の表示モードと第２の表示モードとを切り替えるようにしてもよい。具体的には、例えば画像中の物体をパターンマッチング等の技術を用いて画像認識し、撮影対象となる物体が閾値以下の物体である場合には、表示サイズの下限を設けるようにする。また、切替部は、閲覧者であるユーザからのヘッドマウントディスプレイ１０に対する操作に応じて、第１の表示モードと第２の表示モードとを切り替えるようにしてもよい。

【0062】

［変形例４］
例えば図１７,１８で例示したような画像の移動を行う場合に、その画像データの再生に伴って放音される音声の音像を移動させてもよい。つまり、本発明に係る制御装置は、画像データは音声を出力するための音声データを含み、表示装置１００７の表示面において画像データに応じた画像が表示される表示位置の移動に伴い、当該画像データに含まれる音声データの音像を移動させながら、当該音声データに応じた音声を複数のスピーカ（放音装置）から出力させる放音制御部を備えるようにしてもよい。なお、この場合の複数のスピーカ（放音装置）は例えばアレイスピーカ等の音像の移動が可能な装置である。

【0063】

［変形例５］
本発明はＡＲに限定されず、ＶＲやＭＲ等のＸＲ全般に用いてもよい。本発明をＭＲに用いた場合には、複数のユーザから見て同一のオブジェクトは現実空間において同一の位置に表示される。つまり、複数の表示装置がある場合に、第１の表示装置に表示される画像データに付与される付与データは、当該第１の表示装置による表示を閲覧する第１のユーザの視点を原点とした３次元空間における当該画像データの位置を示す付与データであり、第２の表示装置に表示される画像データに付与される付与データは、当該第２の表示装置による表示を閲覧する第２のユーザの視点を原点とした３次元空間における当該画像データの位置であって、第１のユーザの視点を原点とした３次元空間における当該画像データの位置と同一の位置を示す付与データとなる。

【0064】

［そのほかの変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、ヘッドマウントディスプレイ１０の機能の少なくとも一部が、その外部装置であるパーソナルコンピュータやサーバ装置等のコンピュータに実装されてもよい。ヘッドマウントディスプレイ１０の機能の取得部及び表示制御部が外部装置のコンピュータに実装された場合、このコンピュータが本発明に係る制御装置として機能する。

【0065】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0066】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、その所定の情報の通知を行わない）ことによって行われてもよい。

【0067】

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0068】

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

【0069】

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

【0070】

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining） した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving） （例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

【0071】

本発明は、ヘッドマウントディスプレイ１０において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、ヘッドマウントディスプレイ１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

【0072】

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0073】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0074】

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

【0075】

本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１要素が第２要素に先行しなければならないことを意味しない。

【0076】

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

【0077】

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0078】

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

【0079】

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

【符号の説明】

【0080】

１…情報処理システム、２…ネットワーク、１０…ヘッドマウントディスプレイ、１１…記憶部、１２…取得部、１３…表示制御部、２０…サーバ装置、３０…パーソナルコンピュータ、１００…制御装置、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…表示装置、１００８…撮像装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】