特開 2024-112447 表示端末、通信処理システム、通信システム、表示方法、通信処理方法、通信方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112447

(43)【公開日】2024-08-21

(54)【発明の名称】表示端末、通信処理システム、通信システム、表示方法、通信処理方法、通信方法、及びプログラム

(51)【国際特許分類】

   H04N 21/431 20110101AFI20240814BHJP

   G06F 3/0485 20220101ALI20240814BHJP

   H04N 21/435 20110101ALI20240814BHJP

   H04N 23/63 20230101ALI20240814BHJP

   H04N 23/698 20230101ALI20240814BHJP

   H04N 7/18 20060101ALI20240814BHJP

   H04L 67/1396 20220101ALI20240814BHJP

   G09G 5/37 20060101ALI20240814BHJP

   G09G 5/00 20060101ALI20240814BHJP

   G09G 5/38 20060101ALI20240814BHJP

   G09G 5/373 20060101ALI20240814BHJP

【ＦＩ】

H04N21/431

G06F3/0485

H04N21/435

H04N23/63 330

H04N23/698

H04N7/18 U

H04L67/1396

G09G5/37 320

G09G5/00 555D

G09G5/38 100

G09G5/00 510H

G09G5/373 200

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023017451

(22)【出願日】2023-02-08

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】半田 雅人

(72)【発明者】

【氏名】本間 毅史

【テーマコード（参考）】

5C054

5C122

5C164

5C182

5E555

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CF06

5C054DA09

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC12

5C054FD07

5C054FE12

5C054FE22

5C054FF03

5C054GB01

5C054GB05

5C122DA22

5C122EA42

5C122FA02

5C122FA18

5C122FB06

5C122FK23

5C122FK28

5C122FK37

5C122FK41

5C122HB05

5C164UB10P

5C164UB81P

5C182AB02

5C182AB33

5C182AC39

5C182AC43

5C182BA03

5C182BA06

5C182BA14

5C182BA35

5C182BA75

5C182BB01

5C182BB11

5C182BB27

5C182BC03

5C182BC14

5C182BC26

5C182CB13

5C182CB14

5C182CB42

5C182CB44

5C182CB47

5C182CB52

5E555AA22

5E555AA61

5E555AA64

5E555BA02

5E555BA05

5E555BA06

5E555BA08

5E555BB02

5E555BB05

5E555BB06

5E555BB08

5E555BC08

5E555BD09

5E555BE17

5E555CA12

5E555CA42

5E555CB14

5E555CB16

5E555CB47

5E555CC05

5E555DB51

5E555DC09

5E555DC84

5E555FA00

(57)【要約】

【課題】従来のシステムを用いた方法では、店舗側の通信端末で表示されるのは、注目点である「点」や表示方向マークである「矢印」であるため、観察者は遠隔の閲覧者がどの商品等に注目しているかを把握しづらいという問題があった。
【解決手段】本開示は、広視野画像における第１の所定領域である第１の所定領域画像を表示部に表示する表示端末であって、前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信する受信部と、前記受信部によって受信された前記視点情報に基づいて、前記第１の所定領域画像内に前記第２の所定領域を示す視点表示領域を表示させる表示制御部と、を有する表示端末である。
【選択図】図２０

【特許請求の範囲】

【請求項1】

広視野画像における第１の所定領域である第１の所定領域画像を表示部に表示する表示端末であって、
前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信する受信部と、
前記受信部によって受信された前記視点情報に基づいて、前記第１の所定領域画像内に前記第２の所定領域を示す視点表示領域を表示させる表示制御部と、
を有する表示端末。

【請求項2】

前記表示制御部は、前記受信部によって受信される前記視点情報の変更内容に基づいて、前記第１の所定領域画像内の前記視点表示領域の位置を変更する、請求項１に記載の表示端末。

【請求項3】

前記広視野画像における前記第１の所定領域の変更を受け付ける受付部を有し、
前記表示制御部は、前記受付部によって受け付けられた前記第１の所定領域の変更に基づいて、前記視点表示領域の位置と共に前記第１の所定領域画像を変更する、請求項１に記載の表示端末。

【請求項4】

前記視点表示領域の位置の変更により、当該視点表示領域の少なくとも一部が前記表示部に表示中の前記第１の所定領域画像内で表示されない状態になった場合には、前記表示制御部は、前記視点表示領域の全てが表示されるように前記第１の所定領域画像を縮小させる、請求項２又は３に記載の表示端末。

【請求項5】

前記受信部は、前記広視野画像における第３の所定領域である第３の所定領域画像を表示中の第３の表示端末が送信した、前記広視野画像における前記第３の所定領域を特定するための視点情報を受信し、
前記表示制御部は、前記第１の所定領域画像内に、前記第２の所定領域を示す視点表示領域を表示させると共に前記第３の所定領域を示す視点表示領域を表示させる、
請求項１に記載の表示端末。

【請求項6】

前記表示制御部は、前記受信部によって受信される前記第２の所定領域を特定するための視点情報の変更内容に基づいて、前記第１の所定領域画像内の前記第２の所定領域を示す視点表示領域の位置を変更する、請求項５に記載の表示端末。

【請求項7】

前記広視野画像における前記第１の所定領域の変更を受け付ける受付部を有し、
前記表示制御部は、前記受付部によって受け付けられた前記第１の所定領域の変更に基づいて、前記第２の所定領域を示す視点表示領域の位置及び前記第３の所定領域を示す視点表示領域の位置と共に前記第１の所定領域画像を変更する、請求項５に記載の表示端末。

【請求項8】

前記第２の所定領域を示す視点表示領域の位置の変更により、前記第２の所定領域を示す視点表示領域の少なくとも一部が前記表示部に表示中の前記第１の所定領域画像内で表示されない状態になった場合には、前記表示制御部は、前記第２の所定領域を示す視点表示領域の全て及び前記第３の所定領域を示す視点表示領域の全てが表示されるように前記第１の所定領域画像を縮小させる、請求項６又は７に記載の表示端末。

【請求項9】

広視野画像における第１の所定領域である第１の所定領域画像を表示部に表示する表示端末が実行する表示方法であって、
前記表示端末が、
前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信する受信処理と、
前記受信処理によって受信された前記視点情報に基づいて、前記第１の所定領域画像内に前記第２の所定領域を示す視点表示領域を表示させる表示制御処理と、
を実行する表示方法。

【請求項10】

コンピュータに、請求項９に記載の方法を実行させるプログラム。

【請求項11】

撮影装置が送信した広視野画像を受信して、当該広視野画像を表示端末に送信する通信処理システムであって、
同じ仮想ルームに参加している第１の表示端末及び第２の表示端末に前記広視野画像を送信する画像送信部と、
前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の前記第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信するシステム受信部と、
前記システム受信部によって受信された前記視点情報を前記第１の表示端末に送信する情報送信部と、
を有する通信処理システム。

【請求項12】

撮影装置が送信した広視野画像を受信して、当該広視野画像を表示端末に送信する通信処理システムが実行する通信処理方法であって、
前記通信処理システムは、
同じ仮想ルームに参加している第１の表示端末及び第２の表示端末に前記広視野画像を送信する画像送信処理と、
前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の前記第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信する受信処理と、
前記受信処理によって受信された前記視点情報を前記第１の表示端末に送信する情報送信処理と、
を実行する通信処理方法。

【請求項13】

コンピュータに、請求項１２に記載の方法を実行させるプログラム。

【請求項14】

第１の表示端末と、撮影装置が送信した広視野画像を受信して当該広視野画像を前記第１の表示端末に送信する通信処理システムとによって構築された通信システムであって、
前記通信処理システムは、
前記第１の表示端末、及び当該第１の表示端末とは異なる第２の表示端末に前記広視野画像を送信する画像送信部と、
前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の前記第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信するシステム受信部と、
前記システム受信部によって受信された前記視点情報を前記第１の表示端末に送信する情報送信部と、
を有し、
前記第１の表示端末は、
前記通信処理システムが送信した前記広視野画像及び前記視点情報を受信する端末受信部と、
前記端末受信部によって受信された前記広視野画像における第１の所定領域である第１の所定領域画像を表示部に表示させると共に、前記端末受信部によって受信された前記視点情報に基づいて、前記第１の所定領域画像内に前記第２の所定領域を示す視点表示領域を表示させる表示制御部と、
を有する、
通信システム。

【請求項15】

第１の表示端末と、撮影装置が送信した広視野画像を受信して当該広視野画像を前記第１の表示端末に送信する通信処理システムとによって構築された通信システムが実行する通信方法であって、
前記通信処理システムは、
前記第１の表示端末、及び当該第１の表示端末とは異なる第２の表示端末に前記広視野画像を送信する画像送信処理と、
前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の前記第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信するシステム受信処理と、
前記システム受信処理によって受信された前記視点情報を前記第１の表示端末に送信する情報送信処理と、
を実行し、
前記第１の表示端末は、
前記通信処理システムが送信した前記広視野画像及び前記視点情報を受信する端末受信処理と、
前記端末受信処理によって受信された前記広視野画像における第１の所定領域である第１の所定領域画像を表示部に表示させると共に、前記端末受信処理によって受信された前記視点情報に基づいて、前記第１の所定領域画像内に前記第２の所定領域を示す視点表示領域を表示させる表示制御処理と、
を実行する、
通信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示端末、通信処理システム、通信システム、表示方法、通信処理方法、通信方法、及びプログラムに関する。

【背景技術】

【0002】

小売業において、３６０°カメラとLive Streamingシステムを用いて、店舗の店員（観察者）と遠隔にいる顧客（閲覧者）をつなぐことで、顧客がLive Streamingシステムで配信される３６０°画像（広視野画像）を閲覧して、店舗内の商品を見回しながら遠隔的に買い物を行うことができるサービスがある。この場合、店員の通信端末には、各顧客が広視野画像のどの辺りを見ているか示すための注目点や表示方向マークが表示される（特許文献１参照）。これにより、店員は各顧客が広視野画像のどの辺りを閲覧しているかを把握することができるため、店員は商品分析をしたり接客フォローを行ったりすることができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来のシステムを用いた方法では、店舗側の通信端末で表示されるのは、注目点である「点」や表示方向マークである「矢印」であるため、観察者は遠隔の閲覧者がどの商品等に注目しているかを把握しづらいという問題があった。

【0004】

本開示内容は上記事情に鑑みてなされたもので、観察者が遠隔の閲覧者により広視野画像のどの所定領域に注目されているかを把握し易くすることを目的とする。

【課題を解決するための手段】

【0005】

請求項１に係る発明は、広視野画像における第１の所定領域である第１の所定領域画像を表示部に表示する表示端末であって、前記広視野画像における第２の所定領域である第２の所定領域画像を表示中の第２の表示端末が送信した、前記広視野画像における前記第２の所定領域を特定するための視点情報を受信する受信部と、前記受信部によって受信された前記視点情報に基づいて、前記第１の所定領域画像内に前記第２の所定領域を示す視点表示領域を表示させる表示制御部と、を有する表示端末である。

【発明の効果】

【0006】

以上説明したように本開示内容によれば、表示端末によって第１の所定領域画像を観察している観察者が、遠隔で第２の所定領域画像を閲覧している閲覧者により広視野画像のどの所定領域が注目されているかを把握し易くすることができるという効果を奏する。

【図面の簡単な説明】

【0007】

【図1】（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。

【図2】撮影装置の使用イメージ図である。

【図3】（ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。

【図4】（ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球画像を示した図である。

【図5】全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。

【図6】（ａ）は図５の立体斜視図、（ｂ）は（ａ）の状態の所定領域画像がディスプレイに表示されている図、（ｃ）は（ａ）における仮想カメラＩＣの視点を変更後の所定領域を示した図、（ｄ）は（ｃ）の状態の所定領域画像がディスプレイに表示されている図である。

【図7】球座標による三次元ユークリッド空間内の点を示した図である。

【図8】所定領域と注目点との関係を示した概念図である。

【図9】本発明の実施形態に係る通信システムの概略図である。

【図10】撮影装置のハードウェア構成図である。

【図11】中継装置のハードウェア構成図である。

【図12】通信処理システム及び通信端末のハードウェア構成図である。

【図13】通信システムの各機能構成図である。

【図14】ユーザ・デバイス管理ＤＢの概念図である。

【図15】仮想ルーム管理ＤＢの概念図である。

【図16】視点情報管理ＤＢの概念図である。

【図17】通信システムにおける広視野画像及び各視点情報の通信処理を示したシーケンス図である。

【図18】観察者の通信端末が所定領域画像を表示する処理を示すフローチャートである。

【図19】通信端末７で表示中の所定領域Ｔ１所定領域画像に他の通信端末９で表示中の所定領域画像の所定領域Ｔ２を重畳表示する場合の説明図である。

【図20】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図21】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図22】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図23】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図24】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図25】本実施形態を工事現場に適用した場合の通信システムの概略図である。

【図26】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図27】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図28】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図29】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【図30】各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を用いて、本発明の実施形態について説明する。

【0009】

〔全天球画像の概要〕
図１乃至図８を用いて、全天球画像の生成方法について説明する。なお、全天球画像は、全天球パノラマ画像、３６０°パノラマ画像とも言われ、広範囲の視野角を有する広視野動画の一例である。広視野画像には、１８０°程度の単なるパノラマ画像も含まれる。

【0010】

まず、図１を用いて、撮影装置１０の外観を説明する。撮影装置１０は、全天球画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

【0011】

図１（ａ）に示されているように、撮影装置１０は、人間が片手で持つことができる大きさである。また、図１（ａ），（ｂ），（ｃ）に示されているように、撮影装置１０の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮影装置１０の正面側には、シャッターボタン等の操作部１１５が設けられている。

【0012】

次に、図２を用いて、撮影装置１０の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１０は、図２に示されているように、何らかの台の上に設置された中継装置３と通信可能に接続されており、周りの被写体や風景等を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。なお、撮影装置１０が撮影により得た全天球画像を、他の通信端末やシステムに送信しないのであれば、中継装置３は不要である。

【0013】

次に、図３及び図４を用いて、撮影装置１０で撮影された画像から全天球画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。なお、メルカトル図法等により表された画像（以下、「メルカトル画像」という）でもよい。図８（ａ）は正距円筒射影画像で球を被う状態を示した概念図８（ｂ）は全天球画像を示した図である。なお、「正距円筒射影画像」は、上述の広視野画像の一例としてエクイレクタングラー（equirectangular）形式の全天球画像である。

【0014】

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ等の広角レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ等の広角レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、撮影装置１０は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図３（ｃ）に示されているような正距円筒射影画像ＥＣを作成する。

【0015】

そして、撮影装置１０は、OpenGL ES（Open Graphics Library for Embedded Systems）等のソフトウェアを利用することで、図３（ａ）に示されているように、球面を覆うように正距円筒射影画像ＥＣを貼り付け、図３（ｂ）に示されているような全天球画像ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions)及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像ＣＥを作成してもよい。また、全天球画像ＣＥは、静止画であっても動画であってもよい。なお、ここでは撮影装置１０が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を通信処理システム５又は通信端末７，９が実行してもよい。

【0016】

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像が作成される。このように、全天球画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像は、静止画であっても動画であってもよい。

【0017】

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、通信端末７，９が全天球画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示を行うことができる。これに関して、図５乃至図８を用いて説明する。

【0018】

図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの仮想的な視点の位置に相当するものである。図６において、（ａ）は図５の立体斜視図、（ｂ）は（ａ）の状態の所定領域画像がディスプレイに表示されている図、（ｃ）は（ａ）における仮想カメラＩＣの視点を変更後の所定領域を示した図、（ｄ）は（ｃ）の状態の所定領域画像がディスプレイに表示されている図である。

【0019】

このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図５に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す視点情報（「所定領域情報」ともいう）によって特定される。

【0020】

また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる。

【0021】

また、図６（ａ）の状態から、図６（ｃ）に示されているように、仮想カメラＩＣの仮想的な視点が右側（図面に向かって左側）に移動（「変更」ともいう）されると、これに応じて全天球画像ＣＥにおける所定領域Ｔが所定領域Ｔ'に移動されるため、所定のディスプレイに表示される所定領域画像Ｑが所定領域画像Ｑ'に変更される。これにより、ディスプレイには、図６（ｂ）に示されている画像が、図６（ｄ）に示されている画像に変更表示される。

【0022】

次に、図７及び図８を用いて、視点情報と所定領域Ｔの画像の関係について説明する。図７は、球座標による三次元ユークリッド空間内の点を示した図である。図８は、所定領域と注目点（中心点）との関係を示した概念図である。

【0023】

ここで、図７で示した中心点ＣＰを球面極座標系で表現したときの任意の位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から任意の点（図８では中心点ＣＰ）までの距離であり、図８で示した距離ｆに等しい。

【0024】

また、図８に示すように、仮想カメラＩＣの撮像領域である所定領域Ｔの中心を、図７の中心点ＣＰと考えた場合、一般的に以下の（式１）で示される三角関数が成り立つ。
（Ｌ／ｆ）＝ tan(α／２)・・・（式１）
なお、ｆは、仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。αは画角である。この場合、所定領域Ｔを特定するための視点情報は、pan(θ)、tilt(φ)、及びfov(α)によって表すことができる。なお、所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。

【0025】

〔通信システムの概略〕
続いて、図９を用いて、本発明の実施形態に係る通信システムの概略を説明する。図９は、本発明の実施形態に係る通信システムの概略図である。

【0026】

図９に示されているように、本実施形態の通信システム１ａは、撮影装置１０、中継装置３、通信端末７、及び通信端末９ａ，９ｂ，９ｃによって構成されている。なお、通信端末９ａ，９ｂ，９ｃの総称を「通信端末９」と示す。また、通信端末は、画像等を表示する「表示端末」と示してもよい。

【0027】

このうち、撮影装置１０は、上述のように、全天球画像を得るためのデジタルカメラである。中継装置３は、撮影装置１への充電やデータ送受信を行なうクレードル(Cradle)の一例である。また、中継装置３は、接点を介して撮影装置１とデータ通信を行なうことができると共に、通信ネットワーク１００を介して通信処理システム５とデータ通信を行なうことができる。なお、通信ネットワーク１００は、例えば、インターネット、ＬＡＮ(Local Area Network)、（無線）ルータ等を含む。

【0028】

また、通信処理システム５は、例えば、サーバコンピュータであり、通信ネットワーク１００を介して、中継装置３、通信端末７，９とデータ通信を行なうことができる。 通信端末７，９は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク１００を介して、通信処理システム５とデータ通信を行なうことができる。通信端末７，９には、OpenGL ESがインストールされており、通信処理システム５から受信した全天球画像から所定領域画像（図６参照）を作成する。なお、通信処理システム５は、単一のサーバコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。

【0029】

更に、撮影装置１０及び中継装置３は、衣服等の店舗Ｓａで店員等の観察者Ｘ等によって所定の位置に設置されている。通信端末７は観察者Ｘによって操作される。通信端末９ａは遠隔の顧客等である閲覧者Ａによって操作される。同様に、通信端末９ｂ，９ｃは、それぞれ遠隔の顧客等である閲覧者Ｂ，Ｃによって操作される。

【0030】

通信処理システム５は、撮影装置１０から中継装置３を介して得た全天球画像を、通信端末７，９に送信（配信）する。また、通信処理システム５は、各通信端末９から各通信端末９で表示中（各閲覧者Ａ，Ｂ，Ｃが閲覧中）の所定領域画像の所定領域を特定するための各視点情報を受信して、各視点情報を通信端末７に送信する。そして、通信端末７では、通信処理システム５から受信した全天球画像の所定領域である所定領域画像上に各視点情報に基づいた視点表示領域を表示させる。これにより、観察者Ｘは、遠隔の閲覧者Ａ，Ｂ，Ｃが、全天球画像のどの所定領域を注目して閲覧しているかを把握することができる。

【0031】

〔実施形態のハードウェア構成〕
次に、図１０乃至図１２を用いて、本実施形態の撮影装置１０、中継装置３、及び通信端末７，９のハードウェア構成を詳細に説明する。

【0032】

＜撮影装置のハードウェア構成＞
図１０は、撮影装置のハードウェア構成図である。図１０に示されているように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９，加速度センサ１２０、及びネットワークＩ／Ｆ１２１によって構成されている。

【0033】

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角の撮像が可能な広角レンズ１０２ａ,１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）、及び各レンズ１０２ａ，１０２ｂに対応させて設けられている二つの撮像素子１０３ａ,１０３ｂを備えている。

【0034】

また、撮像素子１０３ａ,１０３ｂは、レンズ１０２ａ,１０２ｂ等による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット１０１が広角レンズを２つ備える構成はあくまで一例であって、１つだけ備えていてもよいし、３つ以上備えていてもよい。

【0035】

撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスを介して接続している。一方、撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）を介して接続している。

【0036】

画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続している。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０及びネットワークＩ／Ｆ１２１等も接続される。

【0037】

画像処理ユニット１０４は、撮像素子１０３ａ,１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像（広視野画像の一例）のデータを作成する。

【0038】

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ,１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

【0039】

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ,１０３ｂに画像データの出力を指示する。撮影装置１０によっては、ディスプレイ（例えば、近距離通信回路１１７を用いて撮影装置１０と近距離通信を行うスマートフォン等の外部端末のディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ,１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0040】

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ,１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

【0041】

ＣＰＵ１１１は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0042】

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部１１５を操作することで、種々の撮像モードや撮像条件等を入力する。

【0043】

入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路（ＵＳＢのＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。

【0044】

近距離通信回路１１７は、撮影装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ(Near Field Communication)、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

【0045】

電子コンパス１１８は、地球の磁気から撮影装置１０の方位を算出し、方位情報を出力する。この方位情報は、Ｅｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。

【0046】

ジャイロセンサ１１９は、撮影装置１０の移動に伴う角度の変化（roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。

【0047】

加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮影装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮影装置１０）の姿勢（重力方向に対する角度）を算出する。撮影装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。

【0048】

ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワーク１００を利用したデータ通信を行うためのインターフェースである。また、撮影装置１０のハードウェア構成はここに示すものに限られず、撮影装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の少なくとも一部は、中継装置３又は通信ネットワーク１００上に存在していてもよい。

【0049】

＜中継装置のハードウェア構成＞
図１１は、中継装置３のハードウェア構成図である。なお、図１１は、中継装置３が、無線通信機能を有したクレードルの場合のハードウェア構成図である。

【0050】

図１１に示されているように、中継装置３は、ＣＰＵ３１０、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、バスライン３１０、通信部３１３、アンテナ３１３ａ、ＧＰＳ受信部３１４、及び入出力Ｉ／Ｆ３１６を備えている。

【0051】

これらのうち、ＣＰＵ３０１は、中継装置３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。

【0052】

ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４は、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行う。なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。

【0053】

ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ３０５は、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る個体撮像素子である。

【0054】

通信部３１３は、アンテナ３１３ａを利用して無線通信信号により、通信ネットワーク１００に対する通信を行う。

【0055】

ＧＰＳ受信部３１４は、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって中継装置３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信する。

【0056】

入出力Ｉ／Ｆ３１６は、撮影装置１０の入出力Ｉ／Ｆ１１６と電気的に接続されるインターフェース回路（ＵＳＢのＩ／Ｆ等）のである。入出力Ｉ／Ｆ３１６は、無線、有線を問わない。

【0057】

バスライン３１０は、上記各部を電気的に接続するためのアドレスバスやデータバス等である。

【0058】

＜通信処理システム、通信端末のハードウェア構成＞
図１２は、通信処理システム５のハードウェア構成である。なお、通信端末７，９のハードウェア構成は、通信処理システム５と同様であるため、説明を省略する。

【0059】

通信処理システム５は、コンピュータとして、図４に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＳＳＤ５０４、外部機器接続Ｉ／Ｆ５０５、ネットワークＩ／Ｆ５０６、ディスプレイ５０７、操作部５０８、メディアＩ／Ｆ５０９、バスライン５１０、ＣＭＯＳセンサ５１１、及びスピーカ５１２を備えている。

【0060】

これらのうち、ＣＰＵ５０１は、通信処理システム５全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。

【0061】

ＳＳＤ５０４は、ＣＰＵ５０１の制御に従って各種データの読み出し又は書き込みを行う。なお、通信端末７，９がスマートフォン等の場合には、ＳＳＤ５０４を設けなくてもよい。また、ＳＳＤ５０４の代わりに、ＨＤＤ(Hard Disk Drive)を設けてもよい。

【0062】

外部機器接続Ｉ／Ｆ５０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢメモリ、及びプリンタ等である。

【0063】

ネットワークＩ／Ｆ５０６は、通信ネットワーク１００を介してデータ通信をするためのインターフェースである。

【0064】

ディスプレイ５０７は、各種画像を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示部の一種である。

【0065】

操作部５０８は、種々の操作ボタンや電源スイッチ、シャッターボタン、タッチパネル等の各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うための入力手段である。

【0066】

メディアＩ／Ｆ５０９は、フラッシュメモリ等の記録メディア５０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア５０９ｍには、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。

【0067】

ＣＭＯＳセンサ５１１は、ＣＰＵ５０１の制御に従って被写体を撮像して、画像データを得る撮像手段の一種である。ＣＭＯＳセンサではなく、ＣＣＤセンサを使用してもよい。

【0068】

スピーカ５１２は、電気信号を物理振動に変えて音楽や音声などの音を生み出す回路である。

【0069】

バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0070】

〔実施形態の機能構成〕
続いて、図１３乃至図１６を用いて、本実施形態の機能構成について説明する。

【0071】

＜撮影装置の機能構成＞
図１３に示されているように、撮影装置１０は、受付部１２、撮像部１６、集音部１７、接続部１８、及び記憶・読出部１９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

【0072】

また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

【0073】

（撮影装置の各機能構成）
撮影装置１の受付部１２は、ＣＰＵ１１１に対する操作部１１５の処理によって実現され、ユーザからの操作入力を受け付ける。

【0074】

撮像部１６は、主に、ＣＰＵ１１１から、撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、及びＣＰＵ１１１に対する処理によって実現され、風景等を撮像し、撮影画像を得る。

【0075】

集音部１７は、主に、ＣＰＵ１１１から、音処理ユニット１０９に対する処理によって実現され、撮影装置１０の周囲の音を収音する。

【0076】

接続部１８は、主に、ＣＰＵ１１１から入出力Ｉ／Ｆ１１６に対する処理によって実現され、中継装置３とデータ通信を行う。

【0077】

記憶・読出部１９は、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

【0078】

＜中継装置の機能構成＞
図１３に示すように、中継装置３は、通信部３１、及び接続部３８を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された中継装置３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

【0079】

（中継装置３の各機能構成）
中継装置３の通信部３１は、主に、図１１に示すＣＰＵ３０１から通信部３１３に対する処理によって実現され、通信ネットワーク１００を介して、撮影装置１０と通信処理システム５とのデータ通信を行う。

【0080】

接続部３８は、主に、ＣＰＵ３０１から入出力Ｉ／Ｆ３１６に対する処理によって実現され、撮影装置１０とデータ通信を行う。

【0081】

＜通信処理システムの機能構成＞
次に、図１３を用いて、通信処理システム５の各機能構成について詳細に説明する。通信処理システム５は、通信部５１、受付部５２、及び記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＳＤ５０４からＲＡＭ５０３上に展開された通信処理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

【0082】

また、通信処理システム５は、図１２に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、ユーザ・デバイス管理ＤＢ５００１、仮想ルーム管理ＤＢ５００２、及び視点情報管理ＤＢ５００３が構築されている。

【0083】

（ユーザ・デバイス管理ＤＢ）
図１４は、ユーザ・デバイス管理ＤＢの概念図である。ユーザ・デバイス管理ＤＢ５００１はテーブル形式によって構成され、ユーザＩＤ（又はデバイスＩＤ）、名称、及びＩＰアドレスが関連付けて記憶されて管理されている。

【0084】

これらのうち、ユーザＩＤは、ユーザ（観察者Ｘ、閲覧者Ａ，Ｂ，Ｃ）を識別するためのユーザ識別情報の一例である。デバイスＩＤは、撮影装置１０等のデバイスを識別するためのデバイス識別情報の一例である。なお、図９において、撮影装置１０以外にヘッドマウントディスプレイ等を用いる場合には、ヘッドマウントディスプレイ等もデバイスとして扱われる。

【0085】

名称は、ユーザ又はデバイスの名称である。

【0086】

ＩＰアドレスは、ユーザが使用する通信端末、及び撮影装置１０等のデバイスの宛先特定情報の一例である。

【0087】

（仮想ルーム管理ＤＢ）
図１５は、仮想ルーム管理ＤＢ５００２の概念図である。仮想ルーム管理ＤＢ５００２はテーブル形式によって構成され、仮想ルームＩＤ、仮想ルーム名称、デバイスＩＤ、観察者ＩＤ、閲覧者ＩＤ、及びストレージ（画像データの保存場所情報）が関連付けて記憶されて管理されている。

【0088】

これらのうち、仮想ルームＩＤは、仮想ルームを識別するための仮想ルーム識別情報の一例である。

【0089】

仮想ルーム名称は、仮想ルームの名称であり、ユーザ等によって付される。

【0090】

デバイスＩＤは、図１４のデバイスＩＤと同意であり、同じレコードの仮想ルームＩＤで示される仮想ルームに参加したデバイスのＩＤである。

【0091】

観察者ＩＤは、図１４のユーザＩＤのうち、特に観察者ＩＤを識別するための観察者識別情報の一例であり、同じレコードの仮想ルームＩＤで示される仮想ルームに参加した観察者のＩＤである。

【0092】

閲覧者ＩＤは、図１４のユーザＩＤのうち、特に閲覧者ＩＤを識別するための閲覧者識別情報の一例であり、同じレコードの仮想ルームＩＤで示される仮想ルームに参加した閲覧者のＩＤである。

【0093】

ストレージは、広視野画像等が保存されている場所を示す保存場所情報の一例であって、具体的にはＵＲＬやファイルパス等を示す。

【0094】

（視点情報管理ＤＢ）
図１６は、視点情報管理ＤＢ５００３の概念図である。視点情報管理ＤＢ５００３はテーブル形式によって構成され、閲覧者ＩＤ、ＩＰアドレス、視点情報（pan,tilt,fov）、及びタイムスタンプが関連付けて記憶されて管理されている。

【0095】

これらのうち、閲覧者ＩＤは、図１５の閲覧者ＩＤと同意である。

【0096】

ＩＰアドレスは、図１４のＩＰアドレスと同意である。

【0097】

視点情報（pan,tilt,fov）は、同じレコードの閲覧者ＩＤで示される閲覧者の通信端末から送られて来た視点情報である。

【0098】

タイムスタンプは。同じレコードの視点情報が送られて来た時刻を示す。

【0099】

（通信処理システムの各機能構成）
次に、図１３を用いて、通信処理システム５の各機能構成について詳細に説明する。

【0100】

通信処理システム５の通信部５１は、主に、図１１に示すＣＰＵ５０１からネットワークＩ／Ｆ５０５に対する処理によって実現され、通信ネットワーク１００を介して、他の装置等（中継装置３、通信端末７，９）とのデータ通信を行う。

【0101】

受付部５２は、ＣＰＵ５０１に対する操作部５０８の処理によって実現され、ユーザ（ここでは、システム管理者等）からの操作入力を受け付ける。

【0102】

記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

【0103】

＜通信端末７の機能構成＞
次に、図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、通信部７１、受付部７２、表示制御部７４、音出力制御部７５、及び記憶・読出部７９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＳＳＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

【0104】

また、通信端末７は、図１２に示されているＲＡＭ５０３、及びＳＳＤ５０４によって構築される記憶部７０００を有している。この記憶部７０００には、視点情報管理ＤＢ７００３が構築されている。この視点情報管理ＤＢ７００３は、通信処理システム５から送られて来た視点情報等の１レコード分ずつが記憶され管理されており、視点情報管理ＤＢ７００３と同様の構成を有するため、その説明を省略する。

【0105】

（通信端末７の各機能構成）
次に、図１３を用いて、通信端末７の各機能構成について詳細に説明する。

【0106】

通信端末７の通信部７１は、主に、図１１に示すＣＰＵ５０１からネットワークＩ／Ｆ５０５に対する処理によって実現され、通信ネットワーク１００を介して、他の装置等（通信処理システム５）とのデータ通信を行う。

【0107】

受付部７２は、ＣＰＵ５０１に対する操作部５０８の処理によって実現され、ユーザ（ここでは、観察者Ｘ）からの操作入力を受け付ける。

【0108】

表示制御部７４は、ＣＰＵ５０１の処理によって実現され、通信端末７のディスプレイ５０７又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのディスプレイに対して各種画像を表示させるための制御を行なう。

【0109】

音出力制御部７５は、ＣＰＵ５０１の処理によって実現され、通信端末７のスピーカ５１２又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのスピーカに対して音を出力させるための制御を行なう。

【0110】

記憶・読出部７９は、ＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

【0111】

＜通信端末９の機能構成＞
次に、図１３を用いて、通信端末９の各機能構成について詳細に説明する。

【0112】

通信端末９の通信部９１は、図１２に示すＣＰＵ５０１からネットワークＩ／Ｆ５０５に対する処理によって実現され、通信ネットワーク１００を介して、他の装置等（通信処理システム５）とのデータ通信を行う。

【0113】

受付部９２は、ＣＰＵ５０１に対する操作部５０８の処理によって実現され、ユーザ（ここでは、閲覧者Ａ，Ｂ，Ｃ）からの操作入力を受け付ける。

【0114】

表示制御部９４は、ＣＰＵ５０１の処理によって実現され、通信端末９のディスプレイ５０７又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのディスプレイに対して各種画像を表示させるための制御を行なう。

【0115】

音出力制御部９５は、ＣＰＵ５０１の処理によって実現され、通信端末９のスピーカ５１２又は外部機器接続Ｉ／Ｆ５０５に接続された外付けのスピーカに対して音を出力させるための制御を行なう。

【0116】

記憶・読出部９９は、ＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

【0117】

〔実施形態の処理又は動作〕
続いて、図１７乃至図３０を用いて、本実施形態の処理又は動作について説明する。なお、以下の処理は、既に、撮影装置１０、通信端末７，９が同じ仮想ルームに参加した後の処理である。

【0118】

＜通信システムにおける広視野画像及び音情報の送受信処理＞
まずは、図１７を用いて、通信システムにおける広視野画像及び音情報の送受信処理について説明する。図１７は、通信システムにおける広視野画像及び各視点情報の通信処理を示したシーケンス図である。なお、図１７の処理Ｓ１１～Ｓ２２は、例えば、１秒間に３０回又は６０回ほど繰り返して行われる。

【0119】

Ｓ１１：撮影装置１０では、撮像部１６が店舗Ｓａ内を全天球撮影して広視野画像を得た後、接続部１８が中継装置３に広視野画像を送る。また、これと同時に撮影装置１０では、集音部１７が店舗Ｓａ内の音を収音して音情報を得た後、接続部１８が中継装置３に音情報を送る。この場合、接続部１８は、撮影装置１０が参加している仮想ルームを識別するための仮想ルームＩＤ及び撮影装置１０を識別するためのデバイスＩＤも送る。
これにより、中継装置３の接続部３８は、広視野画像、音情報、仮想ルームＩＤ及びデバイスＩＤを取得する。

【0120】

Ｓ１２：中継装置３では、通信部３１が、通信ネットワーク１００を介して通信処理システム５に対して、処理Ｓ１１で接続部３８によって取得された各情報（広視野画像、音情報、仮想ルームＩＤ及びデバイスＩＤ）を送信する。これにより、通信処理システム５では、通信部５１が各情報（広視野画像、音情報、仮想ルーム及びデバイスＩＤ）を受信する。

【0121】

Ｓ１３：通信処理システム５では、記憶・読出部５９が処理Ｓ１２で受信された仮想ルームＩＤに基づいて仮想ルーム管理ＤＢ５００２を検索することにより、撮影装置１０と同じ仮想ルームに参加している観察者ＩＤ及び閲覧者ＩＤを読み出す。また、記憶・読出部５９が読み出した観察者ＩＤ及び閲覧者ＩＤに基づいてユーザ・デバイス管理ＤＢ５００１を検索することにより、対応する観察者Ｘの通信端末７のＩＰアドレス及び各閲覧者Ａ，Ｂ，Ｃの通信端末９ａ，９ｂ，９ｃのＩＰアドレスを読み出す。そして、通信部５１は、通信端末７のＩＰアドレスを参照し、通信端末７に対して処理Ｓ１２で受信された広視野画像及び音情報を送信する。これにより、通信端末７の通信部７１は、広視野画像及び音情報を受信する。

【0122】

Ｓ１４：通信処理システム５の通信部５１は、通信端末９ａのＩＰアドレスを参照し、通信端末９ａに対して処理Ｓ１２で受信された広視野画像及び音情報を送信する。これにより、通信端末９ａの通信部９１は、広視野画像及び音情報を受信する。

【0123】

Ｓ１５：同様に、通信処理システム５の通信部５１は、通信端末９ｂのＩＰアドレスを参照し、通信端末９ｂに対して処理Ｓ１２で受信された広視野画像及び音情報を送信する。これにより、通信端末９ｂの通信部９１は、広視野画像及び音情報を受信する。

【0124】

Ｓ１６：同様に、通信処理システム５の通信部５１は、通信端末９ｃのＩＰアドレスを参照し、通信端末９ｃに対して処理Ｓ１２で受信された広視野画像及び音情報を送信する。これにより、通信端末９ｃの通信部９１は、広視野画像及び音情報を受信する。

【0125】

Ｓ１７：続いて、通信端末９ａでは、表示制御部９４が処理Ｓ１４で受信された広視野画像のうち所定領域を示す所定領域画像を表示させると共に、音出力制御部９５が処理Ｓ１４で受信された音情報に基づいて音を出力させる。また、受付部９２は閲覧者Ａの画面操作を受け付けることで、表示制御部９４は予め定められている所定領域Ｔ（図６（ａ）参照）を変更して閲覧者Ａの興味がある商品等が表示されている所定領域Ｔ'（図６（ｃ）参照）を示す所定領域画像を表示させる。そして、通信端末９ａの通信部９１は、通信処理システム５に対して、広視野画像における所定領域Ｔ'を特定するための視点情報を送信する。この場合、視点情報には送信元である閲覧者Ａを識別するための閲覧者ＩＤが含まれている。これにより、通信処理システム５の通信部５１は、視点情報を受信する。また、記憶・読出部５９は、視点情報管理ＤＢ５００３に、処理Ｓ１７で受信された視点情報（pan,tilt,fov）と閲覧者ＩＤを関連付けて１レコードとして記憶する。この場合、記憶・読出部５９は、処理Ｓ１７で視点情報が受信された時刻を示す時刻情報(タイムスタンプ)、及びユーザ・デバイス管理ＤＢ５００１で管理されているユーザＩＤである閲覧者Ａの閲覧者ＩＤも同じレコードとして関連付けて記憶する。

【0126】

Ｓ１８：通信処理システム５の記憶・読出部５９は、処理Ｓ１７で視点情報管理ＤＢ５００３に記憶した１レコード分である視点情報等を読み出し、通信部５１が通信端末７に、この視点情報等を送信する。これにより、通信端末７の通信部７１は、視点情報等を受信する。なお、通信処理システム５では、処理Ｓ１２で特定した仮想ルームＩＤに基づいて仮想ルーム管理ＤＢ５００２を検索して、対応する観察者ＩＤ（ここでは、「100x」）を読み出し、この観察者ＩＤに基づいてユーザ・デバイス管理ＤＢ５００１を検索することで、対応するＩＰアドレスを読み出す。これにより、通信部５１は、観察者Ｘ及び閲覧者Ａ，Ｂ，Ｃのうち、観察者Ｘだけの通信端末７に、視点情報等を送信する。

【0127】

なお、通信端末９ｂ及び通信処理システム５の処理（Ｓ１９，Ｓ２０）、及び通信端末９ｃ及び通信処理システム５の処理（Ｓ２１，Ｓ２２）も、上述の処理Ｓ１７，Ｓ１８と同様であるため、説明を省略する。

【0128】

＜通信端末７での表示制御処理＞
続いて、通信端末７では、図１８に示す処理が行われる。なお、図１８は、観察者の通信端末が所定領域画像を表示する処理を示すフローチャートである。図１９は、通信端末７で表示中の所定領域Ｔ１所定領域画像に他の通信端末９で表示中の所定領域画像の所定領域Ｔ２を重畳表示する場合の説明図である。図２０乃至図２４は、各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。

【0129】

Ｓ３１：表示制御部７４がディスプレイ５０４（表示部の一例）上に、図２０に示すように、予め定められた所定領域の所定領域画像７４０を表示させる。この所定領域画像７４０には、各通信端末９ａ，９ｂ，９ｃから通信処理システム５を介して送られて来た視点情報に基づいて、各通信端末９ａ，９ｂ，９ｃで表示中の各所定領域画像の各所定領域を示す視点表示領域７４０ａ，７４０ｂ，７４０ｃが表示されている。また、視点表示領域７４０ａ，７４０ｂ，７４０ｃには、処理Ｓ１８，Ｓ２０，Ｓ２２によって送られて来た各閲覧者ＩＤが表示されている。

【0130】

なお、処理Ｓ１８，Ｓ２０，Ｓ２２において、通信処理システム５は、各閲覧者ＩＤの代わりに又は各閲覧者ＩＤに加えて、ユーザ・デバイス管理ＤＢ１４で管理されている各名称の情報を送信してもよい。この場合、図２０では、各閲覧者ＩＤの代わりに又は各閲覧者ＩＤに加えて閲覧者名が表示される。

【0131】

また、視点表示領域７４０ａ，７４０ｂ，７４０ｃは、図２０に示すように、実線の枠で示してもよし、破線の枠で示してもよし、枠の四隅だけを示してもよい。枠内が半透明でマスキングされていてもよい。

【0132】

更に、所定領域画像７４０の右下には、広視野画像内で所定領域を変更することで（図６（ａ）から図６（ｃ）を参照）、所定領域画像７４０を変更することができる旨（図６（ｂ）から図６（ｄ）参照）を示すマークｍ１が表示されている。

【0133】

ここで、図１９を用いて、表示制御部７４が、所定領域画像７４０上に視点表示領域７４０ａ，７４０ｂ，７４０ｃを重畳して表示する処理について説明する。図１９は、通信端末７で表示中の所定領域Ｔ１所定領域画像に他の通信端末９で表示中の所定領域画像の所定領域Ｔ２を重畳表示する場合の説明図である。

【0134】

図１９では、通信端末７が図８と同様の所定領域Ｔ１（θ１，φ１，α１）の所定領域画像を表示する場合に、通信端末９から送られて来た視点情報によって特定される所定領域Ｔ２（θ２，φ２，α２）を示す視点表示領域を重畳して表示する場合が示されている。

【0135】

この場合、表示制御部７４は、通信端末７７での所定領域Ｔ１を特定する視点情報と、通信端末９から送られて来た視点情報に基づいて、それぞれの表示領域を算出する。

【0136】

Ｓ３２：表示制御部７４は、表示中の所定領域画像から少なくとも一部が外れた視点表示領域があるか否かを判断する。

【0137】

Ｓ３３：処理Ｓ３２において表示中の所定領域画像から少なくとも一部が外れた視点表示領域がない場合には(Ｓ３２；ＮＯ)、表示制御部７４は、通信処理システム５から処理Ｓ１８，Ｓ２０，Ｓ２２によって、内容が変更された視点情報を受信したか否かを判断する。

【0138】

Ｓ３４：処理Ｓ３３において、内容が変更された視点情報を受信した場合には、表示制御部７４は、所定の視点表示領域を変更する。その後、上記処理Ｓ３２に戻る。

【0139】

例えば、通信端末９ａ側で注目する商品を拡大表示させるために所定領域を拡大することで、通信端末９ａから通信処理システム５を介して送られて来た視点情報の内容が変更した場合(Ｓ３３；ＹＥＳ)、表示制御部７４は、図２１に示すように、視点表示領域７４０ａから縮小した視点表示領域７４１ａを表示させる(Ｓ３４)。

【0140】

また、例えば、通信端末９ｂ側で別の注目する商品を表示させるために所定領域を移動することで、通信端末９ｂから通信処理システム５を介して送られて来た視点情報の内容が変更した場合(Ｓ３３；ＹＥＳ)、表示制御部７４は、図２２に示すように、視点表示領域７４０ｂから移動した視点表示領域７４１ｂを表示させる(Ｓ３４)。但し、この場合、視点表示領域７４１ｂの少なくとも一部が表示中の所定領域画像７４０から外れて表示されない状態になっている。

【0141】

Ｓ３５：処理Ｓ３３において、内容が変更された視点情報を受信していない場合(受信した視点情報に変更がない場合）には(Ｓ３３；ＮＯ)、受付部７２は、観察者Ｘから表示中の所定領域画像の所定領域の変更を受け付けたか否かを判断する。

【0142】

Ｓ３６：処理３５において、所定領域の変更を受け付けた場合には(Ｓ３５；ＹＥＳ)、表示制御部３６は、変更後の所定領域の所定領域画像を表示させる。その後、上記処理Ｓ３２に戻る。

【0143】

例えば、視点表示領域７４１ｂの少なくとも一部が図２２に示す所定領域画像７４０から外れて表示されない状態になっており、観察者Ｘは閲覧者Ｂがどのような商品に注目しているかを把握しづらい場合、通信端末７に対する手動の画面操作により(Ｓ３５；ＹＥＳ)、表示制御部７４は、図２３に示すように、所定領域画像７４０から所定領域を移動した所定領域画像７４１を表示させる(Ｓ３６)。但し、この場合、視点表示領域７４１ｂは全領域が表示されることになったが、他の視点表示領域７４１ａ，７４０ｃの少なくとも一部が表示中の所定領域画像７４１から外れて表示されない状態になっている。

【0144】

Ｓ３７：一方、処理Ｓ３２において表示中の所定領域画像から少なくとも一部が外れた視点表示領域がある場合には(Ｓ３２；ＹＥＳ)、表示制御部７４は、全ての視点表示領域が全表示するように所定領域を縮小することで所定領域画像を縮小表示させる。この場合、図１９において、表示制御部７４は、所定領域Ｔ１のfov(α１)の値を大きくすることで、所定領域Ｔが広がり、外れた所定領域Ｔ２を完全に含むことができる。この増分は自動で決まり、例えばα１の値を少しずつ大きくし、所定領域Ｔ１が所定領域Ｔ２を完全に包含するまで続けられる。

【0145】

例えば、図２３に示すように、観察者Ｘが手動の画面操作によって視点表示領域７４１ｂの全領域の表示を優先したために、他の視点表示領域７４１ａ，７４０ｃの少なくとも一部が図２３に示す所定領域画像７４１から外れて表示されない場合、表示制御部７４は、図２４に示すように、全ての視点表示領域７４１ａ，７４１ｂ，７４０ｃが全表示するように、所定領域画像７４１の所定領域を縮小することで所定領域画像７４２を表示させる。

【0146】

Ｓ３８：受付部７２は、観察者Ｘによって、仮想ルームからの退出操作を受け付けたか否かを判断する。そして、退出しない場合には(Ｓ３８；ＮＯ)、上記処理３２に戻る。一方、退出した場合には(Ｓ３８；ＹＥＳ)、図１８に示す処理が終了する。

【0147】

以上により、処理又は動作の説明が終了する。

【0148】

〔その他の適用例〕
続いて、図２５乃至図３０を用いて、本実施形態を工事現場の画像の観察及び閲覧に適用する場合について説明する。図２５は、通信システムが工事現場に適用された例を示す図である。図２６乃至図３０は、各閲覧者が閲覧中の所定領域を示す視点表示領域を表示した観察者側の所定領域画像を示す図である。この場合の通信システム１ｂの構成は、図９の通信システム１ａと同様である。但し、撮影装置１０、中継装置３、及び通信端末７の設置場所が工事現場Ｓｂになっている。また、遠隔の閲覧者Ｅ，Ｆ，Ｇがそれぞれ通信端末９の一例として、通信端末９ｅ，９ｆ，９ｇを操作及び閲覧している。

【0149】

なお、工事現場への適用例においても、上述の図１８に示す処理と同様の処理が行われるため、以下では主に所定領域画像の表示例について説明する。図２６乃至図３０は、それぞれ上述の図２０乃至図２４に対応する。

【0150】

まず、表示制御部７４がディスプレイ５０４（表示部の一例）上に、図２６に示すように、予め定められた所定領域の所定領域画像７５０を表示させる（Ｓ３１）。この所定領域画像７５０には、各通信端末９ｅ，９ｆ，９ｇから通信処理システム５を介して送られて来た視点情報に基づいて、各通信端末９ｅ，９ｆ，９ｇで表示中の各所定領域画像の各所定領域を示す視点表示領域７５０ａ，７５０ｂ，７５０ｃが表示されている。また、視点表示領域７５０ａ，７５０ｂ，７５０ｃには、処理Ｓ１８，Ｓ２０，Ｓ２２によって送られて来た各閲覧者ＩＤが表示されている。

【0151】

なお、処理Ｓ１８，Ｓ２０，Ｓ２２において、通信処理システム５は、各閲覧者ＩＤの代わりに又は各閲覧者ＩＤに加えて、ユーザ・デバイス管理ＤＢ１４で管理されている各名称の情報を送信してもよい。この場合、図２０では、各閲覧者ＩＤの代わりに又は各閲覧者ＩＤに加えて閲覧者名が表示される。

【0152】

また、視点表示領域７５０ａ，７５０ｂ，７５０ｃは、図２６に示すように、実線の枠で示してもよし、破線の枠で示してもよし、枠の四隅だけを示してもよい。枠内が半透明でマスキングされていてもよい。

【0153】

更に、所定領域画像７５０の右下には、広視野画像内で所定領域を変更することで（図６（ａ）から図６（ｃ）を参照）、所定領域画像７５０を変更することができる旨（図６（ｂ）から図６（ｄ）参照）を示すマークｍ１が表示されている。

【0154】

例えば、通信端末９ｅ側で注目する資材等を拡大表示させるために所定領域を拡大することで、通信端末９ｅから通信処理システム５を介して送られて来た視点情報の内容が変更した場合(Ｓ３３；ＹＥＳ)、表示制御部７４は、図２７に示すように、視点表示領域７５０ａから縮小した視点表示領域７５１ａを表示させる(Ｓ３４)。

【0155】

また、例えば、通信端末９ｆ側で別の注目する資材等を表示させるために所定領域を移動することで、通信端末９ｆから通信処理システム５を介して送られて来た視点情報の内容が変更した場合(Ｓ３３；ＹＥＳ)、表示制御部７４は、図２８に示すように、視点表示領域７５０ｂから移動した視点表示領域７５１ｂを表示させる(Ｓ３４)。但し、この場合、視点表示領域７５１ｂの少なくとも一部が表示中の所定領域画像７５０から外れて表示されない状態になっている。

【0156】

更に、例えば、視点表示領域７５１ｂの少なくとも一部が図２８に示す所定領域画像７５０から外れて表示されない状態になっており、観察者Ｙは閲覧者Ｅがどのような資材等に注目しているかを把握しづらい場合、通信端末７に対する手動の画面操作により(Ｓ３５；ＹＥＳ)、表示制御部７４は、図２９に示すように、所定領域画像７５０から所定領域を移動した所定領域画像７５１を表示させる(Ｓ３６)。但し、この場合、視点表示領域７５１ｂは全領域が表示されることになったが、他の視点表示領域７５１ａ，７５０ｃの少なくとも一部が表示中の所定領域画像７５１から外れて表示されない状態になっている。

【0157】

そこで、表示制御部７４は、全ての視点表示領域が全表示するように所定領域を縮小することで所定領域画像を縮小表示させる（Ｓ３７）。例えば、図２９に示すように、観察者Ｙが手動の画面操作によって視点表示領域７５１ｂの全領域の表示を優先したために、他の視点表示領域７５１ａ，７５０ｃの少なくとも一部が図２９に示す所定領域画像７５１から外れて表示されない場合、表示制御部７４は、図３０に示すように、全ての視点表示領域７５１ａ，７５１ｂ，７５０ｃが全表示するように、所定領域画像７５１の所定領域を縮小することで所定領域画像７５２を表示させる。

【0158】

〔実施形態の主な効果〕
以上説明したように、本実施形態によれば、観察者Ｘ(Ｙ)が、各閲覧者Ａ，Ｂ，Ｃ（Ｅ，Ｆ，Ｇ）により、広視野画像のどの所定領域が表示されることで注目されているかを把握することができる。これにより、例えば、店舗Ｓａの観察者Ｘは、遠隔により各閲覧者Ａ，Ｂ，Ｃが注目している商品等を把握することができるため、電話やチャット等で各閲覧者Ａ，Ｂ，Ｃに商品を紹介することで、商品の販売促進につなげることができる。また、工事現場Ｓｂの観察者Ｙは、各閲覧者Ｅ，Ｆ，Ｇが注目している資材や工事現場の様子等を把握することができるため、電話やチャット等で各閲覧者Ｅ，Ｆ，Ｇに資材や工事現場で気になっていることを問い合わせることで、建設工程の促進や安全性の確保等を行うことができる。

【0159】

〔補足〕
以上、実施形態について説明したが、本発明はこうした実施形態何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0160】

例えば、図１３などの構成例は、通信処理システム５、撮影装置１０、及び、通信端末７，９による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本発明が制限されることはない。通信処理システム５、撮影装置１０、通信端末７，９の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。

【0161】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0162】

また、上述の装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。例えば、通信処理システム５は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0163】

また、通信処理システム５は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

【0164】

更に、上記実施形態の各プログラムが記憶されたＤＶＤ－ＲＯＭ等の（非一時的）記録媒体、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。

【0165】

また、プロセッサとしてのＣＰＵ１１１，３０１，５０１は、それぞれ複数であってもよい。

【符号の説明】

【0166】

１ａ、１ｂ 通信システム
３ 中継装置
５ 通信処理システム
７ 通信端末（表示端末の一例）
９，９ａ，９ｂ，９ｃ，９ｅ，９ｆ，９ｇ 通信端末
１０ 撮影装置
５１ 通信部（画像送信部の一例、情報送信部の一例、システム受信部の一例）
５２ 受付部
５９ 記憶・読出部
７１ 通信部（受信部の一例、送信部の一例、端末受信部の一例）
７２ 受付部
７４ 表示制御部
７５ 音出力制御部
７９ 記憶・読出部
５０７ ディスプレイ（表示部の一例）
５００１ ユーザ・デバイス管理ＤＢ
５００２ 仮想ルーム管理ＤＢ
５００３ 視点情報管理ＤＢ
７００３ 視点情報管理ＤＢ
７４０ 所定領域画像（第１の所定領域画像の一例）
７４０ａ 視点表示領域（第２の所定領域を示す視点表示領域の一例）
７４０ｂ 視点表示領域（第２の所定領域を示す視点表示領域の一例／第３の所定領域を示す視点表示領域の一例）
７４０ｃ 視点表示領域（第２の所定領域を示す視点表示領域の一例／（第３の所定領域を示す視点表示領域の一例））

【先行技術文献】

【特許文献】

【0167】

【特許文献1】特開２０１９－６２５３４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】