知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023134045
(43)【公開日】2023-09-27
(54)【発明の名称】通信装置、通信システム、表示方法、及びプログラム
(51)【国際特許分類】
H04N 7/15 20060101AFI20230920BHJP
H04N 21/431 20110101ALI20230920BHJP
H04L 67/131 20220101ALI20230920BHJP
G06T 19/00 20110101ALI20230920BHJP
【ＦＩ】
H04N7/15 170
H04N21/431
H04L67/131
G06T19/00 300B
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022039375
(22)【出願日】2022-03-14
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵ―ＲＡＹ ＤＩＳＣ
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(72)【発明者】
【氏名】堀 悠貴
(72)【発明者】
【氏名】関屋 晨
(72)【発明者】
【氏名】石田 貴志
(72)【発明者】
【氏名】黒田 哲史
(72)【発明者】
【氏名】鍛冶 克行
(72)【発明者】
【氏名】萩野 良雄
【テーマコード（参考）】
5B050
5C164
【Ｆターム（参考）】
5B050AA08
5B050BA04
5B050BA06
5B050BA09
5B050BA11
5B050BA12
5B050CA08
5B050DA04
5B050EA10
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5C164FA10
5C164GA07
5C164MA03S
5C164PA39
5C164UB41S
5C164UB90P
5C164VA07P
5C164YA21
(57)【要約】
【課題】一の拠点の現実空間上の人物における視点（眼の位置）に応じて、他の拠点の対話相手の映像を変化させるという運動視差を実現し、仮想空間上の距離に応じた人物サイズで対話相手を一の拠点側のディスプレイ上に表示することで、各利用者に対話相手との同室感を与えることができる技術が提案されている。しかし、仮想空間上の人物の全員が必ずしも会議等を行うとは限らず、仮想空間上にいる仮想の利用者によっては、誰から見られているか分からず、安心感が無いという課題が生じる。
【解決手段】通信装置は、仮想空間上における自拠点と他拠点の距離に応じて、他拠点における被写体の画像と当該被写体に係るキャラクタ画像とを切り替えて表示する。
【選択図】図３４
【解決手段】通信装置は、仮想空間上における自拠点と他拠点の距離に応じて、他拠点における被写体の画像と当該被写体に係るキャラクタ画像とを切り替えて表示する。
【選択図】図３４
【特許請求の範囲】
【請求項1】
他拠点における他の通信装置と通話を行う通信装置であって、
前記他の通信装置が前記他拠点の被写体を撮影することで得た当該他拠点の画像データを前記他の通信装置が送信することによって、当該画像データを受信する受信手段と、
仮想空間上における自拠点と他拠点の距離に応じて、前記受信された画像データに基づく前記他拠点における被写体の画像と、当該被写体に係るキャラクタ画像とを切り替えて表示する表示制御手段と、
を有することを特徴とする通信装置。
前記他の通信装置が前記他拠点の被写体を撮影することで得た当該他拠点の画像データを前記他の通信装置が送信することによって、当該画像データを受信する受信手段と、
仮想空間上における自拠点と他拠点の距離に応じて、前記受信された画像データに基づく前記他拠点における被写体の画像と、当該被写体に係るキャラクタ画像とを切り替えて表示する表示制御手段と、
を有することを特徴とする通信装置。
【請求項2】
請求項１に記載の通信装置において、
前記画像データは、前記他の通信装置が現実空間上の前記他拠点における被写体を撮影することで得た当該他拠点の輝度画像及び深度画像のデータであり、
前記表示制御手段は、前記仮想空間上における自拠点と他拠点の距離に応じて、前記受信された輝度画像のデータに基づく前記他拠点における被写体の平面画像と、前記受信された輝度画像及び深度画像のデータに基づく前記他拠点における被写体の立体画像とを切り替えて表示することを特徴とする通信装置。
前記画像データは、前記他の通信装置が現実空間上の前記他拠点における被写体を撮影することで得た当該他拠点の輝度画像及び深度画像のデータであり、
前記表示制御手段は、前記仮想空間上における自拠点と他拠点の距離に応じて、前記受信された輝度画像のデータに基づく前記他拠点における被写体の平面画像と、前記受信された輝度画像及び深度画像のデータに基づく前記他拠点における被写体の立体画像とを切り替えて表示することを特徴とする通信装置。
【請求項3】
前記表示制御手段は、前記仮想空間上における自拠点と他拠点の間の距離に応じて、複数サイズの前記キャラクタ画像を切り替えて表示することを特徴とする請求項１又は２に記載の通信装置。
【請求項4】
前記仮想空間上における自拠点と他拠点の間の距離が短くなるにつれて、前記キャラクタ画像のサイズを大きくして表示することを特徴とする請求項３に記載の通信装置。
【請求項5】
前記キャラクタ画像は、アバター又はアイコンであることを特徴とする請求項１乃至４のいずれか一項に記載の通信装置。
【請求項6】
他拠点における他の通信装置と通信を行う通信装置と、当該通信装置と通信可能な通信管理サーバとを備える通信システムであって、
前記通信管理サーバは、
前記他の通信装置が前記他拠点の被写体を撮影することで得た当該他拠点の画像データを前記他の通信装置が送信した当該画像データを受信する第１の受信手段と、
前記画像データを前記通信装置に送信する送信手段と、
を備え、
前記通信装置は、
前記サーバから前記画像データを受信する第２の受信手段と、
仮想空間上における自拠点と前記他拠点の距離に応じて、受信された前記画像データに基づく前記他拠点における被写体の画像と、当該被写体に係るキャラクタ画像とを切り替えて表示する表示制御手段と、
を有することを特徴とする通信システム。
前記通信管理サーバは、
前記他の通信装置が前記他拠点の被写体を撮影することで得た当該他拠点の画像データを前記他の通信装置が送信した当該画像データを受信する第１の受信手段と、
前記画像データを前記通信装置に送信する送信手段と、
を備え、
前記通信装置は、
前記サーバから前記画像データを受信する第２の受信手段と、
仮想空間上における自拠点と前記他拠点の距離に応じて、受信された前記画像データに基づく前記他拠点における被写体の画像と、当該被写体に係るキャラクタ画像とを切り替えて表示する表示制御手段と、
を有することを特徴とする通信システム。
【請求項7】
他拠点における他の通信装置と通話を行う通信装置が実行する表示方法であって、
前記他の通信装置が前記他拠点の被写体を撮影することで得た当該他拠点の画像データを前記他の通信装置が送信することによって、当該画像データを受信する受信ステップと、
仮想空間上における自拠点と他拠点の距離に応じて、前記受信された画像データに基づく前記他拠点における被写体の画像と、当該被写体に係るキャラクタ画像とを切り替えて表示する表示制御ステップと、
を実行することを特徴とする表示方法。
前記他の通信装置が前記他拠点の被写体を撮影することで得た当該他拠点の画像データを前記他の通信装置が送信することによって、当該画像データを受信する受信ステップと、
仮想空間上における自拠点と他拠点の距離に応じて、前記受信された画像データに基づく前記他拠点における被写体の画像と、当該被写体に係るキャラクタ画像とを切り替えて表示する表示制御ステップと、
を実行することを特徴とする表示方法。
【請求項8】
コンピュータに、請求項７に記載の方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示内容は、通信装置、通信システム、表示方法、及びプログラムに関する。
【背景技術】
【0002】
近年、ICT（情報通信技術）を利用し、時間や場所を有効に活用できる柔軟な働き方を行うテレワークが浸透してきた。これにより、ワーク・ライフ・バランスの実現や営業効率の向上及び顧客満足度の向上等を図ることができる。また、テレワークの普及に合わせて、インターネットを介したビデオ（テレビ）会議等のシステムの性能が向上している（図３４参照）。
【0003】
また、コミュニケーションにおいて、対人間の距離感は、話しやすさや緊張感に影響を与えるため非常に重要である（エドワードホール、かくれた次元、２０００、みすず書房）。ところが、ビデオ会議では、現実空間（又は、物理空間）のコミュニケーションのように、対話相手と同じ空間に一緒に居る感じ（以下、「同室感」という。）が得にくいという問題がある。
【0004】
そこで、特許文献１では、一の拠点の現実空間上の人物における視点（眼の位置）に応じて、他の拠点の対話相手の映像を変化させるという運動視差を実現し、仮想空間上の距離に応じた人物サイズで対話相手を一の拠点側のディスプレイ上に表示することで、各利用者に対話相手との同室感を与えることができる技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第５８３３５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、仮想空間上の人物の全員が必ずしも会議等を行うとは限らず、仮想空間上にいる仮想の利用者によっては、誰から見られているか分からず、安心感が無いという課題が生じる。
【課題を解決するための手段】
【0007】
請求項１に係る発明は、他拠点における他の通信装置と通話を行う通信装置であって、前記他の通信装置が前記他拠点の被写体を撮影することで得た当該他拠点の画像データを前記他の通信装置が送信することによって、当該画像データを受信する受信手段と、仮想空間上における自拠点と他拠点の距離に応じて、前記受信された画像データに基づく前記他拠点における被写体の画像と、当該被写体に係るキャラクタ画像とを切り替えて表示する表示制御手段と、を有することを特徴とする通信装置である。
【発明の効果】
【0008】
以上説明したように本発明によれば、通信装置は、仮想空間上における自拠点と他拠点の距離に応じて、他拠点における被写体の画像と当該被写体に係るキャラクタ画像とを切り替えて表示するため、仮想空間内にいる仮想の利用者が、誰から見られているか分からず安心感が無いという課題をできるだけ解消することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態に係る通信システムの概略図である。
【図2】通信管理サーバの電気的なハードウェア構成図である。
【図3】通信装置の電気的なハードウェア構成図である。
【図4】通信システムの機能ブロック図である。
【図5】通信システムの機能ブロック図である。
【図6】通信管理テーブルの概念図である、
【図7】セッション管理テーブルの概念図である。
【図8】ディスプレイ管理テーブルの概念図である。
【図9】ディスプレイ管理テーブルで管理するデータをディスプレイ上の点で視覚的に示した概念図である。
【図10】選択配置情報管理テーブルの概念図である。
【図11】固定配置情報管理テーブルの概念図である。
【図12】仮想の利用者の最新位置を示した位置管理テーブルの概念図である。
【図13】ワールド座標上で仮想参加者の配置位置を示した概念図である。
【図14】ワールド座標上で仮想参加者の配置位置を示した概念図である。
【図15】特定の通信セッションへの参加処理を示したシーケンス図である。
【図16】通信装置におけるログイン画面の表示例である。
【図17】位置の特定処理を示したフローチャートである。
【図18】通信装置における配置位置種類の選択画面を示した図である。
【図19】仮想の会社を選択するための選択画面の表示例を示した図である。
【図20】仮想の部署を選択するための選択画面の表示例を示した図である。
【図21】仮想の部屋（フロア）を選択するための選択画面の表示例を示した図である。
【図22】ディスプレイ情報の送信処理を示したシーケンス図である。
【図23】所定の通信装置（例えば、通信装置１ａ）から送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。
【図24】送信される輝度画像データと深度画像データの概念図である。
【図25】通信装置１ｄによる画像データ及び音データの受信の処理を示すシーケンス図である。
【図26】画像表示の処理を示したフローチャートである。
【図27】仮想の利用者Ｄ１からの距離と表示される画像の例を示した図である。
【図28】ワールド座標系にける物体の位置の算出処理を示すフローチャートである。
【図29】カメラ座標系からモデリング座標系への変換、及びモデリング座標系からワールド座標系への変換の概念図である。
【図30】モデリング座標系に利用者Ｄ１の画像と仮想ディスプレイを配置した概念図である。
【図31】モデリング座標系からワールド座標系への変換を示したイメージ図である。
【図32】利用者Ｄ１の通信装置のディスプレイ１１８に表示された画像を示す図である。
【図33】利用者Ｄ１の通信装置のディスプレイ１１８に表示された画像を示す図である。
【図34】従来のビデオ会議の場合のディスプレイにおける表示例である。
【発明を実施するための形態】
【0010】
以下、図面を用いて、本発明の実施形態について説明する。
【0011】
〔通信システムの概略〕
本実施形態の通信システムは、仮想空間（「仮想エリア」ともいう）で映像通話を行うたのシステムである。
本実施形態の通信システムは、仮想空間（「仮想エリア」ともいう）で映像通話を行うたのシステムである。
【0012】
【0013】
図１に示されているように、本実施形態の通信システムは、複数の通信装置１ａ，１ｂ，１ｃ，１ｄ、及び通信管理サーバ６によって構築され、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。
【0014】
通信装置１ａ，１ｂ，１ｃ，１ｄは、ぞれぞれ、拠点Ａ，Ｂ，Ｃ，Ｄに配置されている。なお、以降、通信装置１ａ，１ｂ，１ｃ，１ｄのうちの任意の通信装置を「通信装置１」と示す。通信装置１は、自拠点の撮影及び集音を行い、他拠点で撮影されることで得られた画像及び他拠点で集音されることで得られた音を出力することができる。通信装置１については、後ほど詳細に説明する。
【0015】
また、図１は、通信装置１ａ，１ｂ，１ｃ，１ｄが、それぞれ、利用者Ａ１，Ｂ１，Ｃ１，Ｄ１によって利用されている場合を示している。例えば、通信装置１ａは、自拠点Ａの様子を撮影及び録音し、通信ネットワーク１００及び通信管理サーバ６を介して、他拠点Ｂ，Ｃ，Ｄの通信装置１ｂ，１ｃ，１ｄに対して、画像データ及び音データを送信する。同様に、通信装置ｂ１，１ｃ，１ｄは、自拠点の様子を撮影及び録音し、通信ネットワーク１００及び通信管理サーバ６を介して、他拠点の通信装置に対して、画像データ及び音データを送信する。
【0016】
通信管理サーバ６は、コンピュータによって構成され、通信装置１の通信を管理及び制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。よって、通信管理サーバは、通信制御サーバでもある。なお、通信管理サーバ６は、単一又は複数のコンピュータによって構成されている。複数のコンピュータによって構成されている場合には、通信管理サーバは、通信管理システム（又は通信制御システム）でもある。
【0017】
なお、通信装置１には、デジタルテレビ、スマートフォン、スマートウオッチ、カーナビゲーション装置、医療機器等も含まれる。
【0018】
【0019】
【0020】
図２に示されているように、通信管理サーバ６は、コンピュータとして、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＨＤ６０４、ＨＤＤ(Hard Disk Drive)コントローラ６０５、ディスプレイ６０６、外部機器接続Ｉ／Ｆ(Interface)６０８、ネットワークＩ／Ｆ６０９、バスライン６１０、ポインティングデバイス６１２、メディアＩ／Ｆ６１４を備えている。
【0021】
これらのうち、ＣＰＵ６０１は、通信管理サーバ６全体の動作を制御する。ＲＯＭ６０２は、ＩＰＬ等のＣＰＵ６０１の駆動に用いられるプログラムを記憶する。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。ＨＤ６０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ６０５は、ＣＰＵ６０１の制御にしたがってＨＤ６０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ６０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ６０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリやプリンタ等である。ネットワークＩ／Ｆ６０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン６１０は、図２に示されているＣＰＵ６０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0022】
また、ポインティングデバイス６１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。メディアＩ／Ｆ６１４は、フラッシュメモリ等の記録メディア６１３に対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア６１３には、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等も含まれる。
【0023】
【0024】
通信装置１は、例えば、タブレット端末である。図３に示されているように、通信装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ１０４、撮影ユニット１０５、撮像素子Ｉ／Ｆ１０６、加速度・方位センサ１０７、メディアＩ／Ｆ１０９、ＧＰＳ受信部１１１を備えている。
【0025】
これらのうち、ＣＰＵ１０１は、通信装置１全体の動作を制御する。ＲＯＭ１０２は、ＣＰＵ１０１やＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＥＥＰＲＯＭ１０４は、ＣＰＵ１０１の制御にしたがって、通信装置１用プログラム等の各種データの読み出し又は書き込みを行う。撮像ユニット１０５は、ＣＰＵ１０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ１０６は、撮像ユニット１０５の駆動を制御する回路である。加速度・方位センサ１０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ１０９は、フラッシュメモリ等の記録メディア１０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部１１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【0026】
また、通信装置１は、遠距離通信回路１１２、撮像ユニット１１３、撮像素子Ｉ／Ｆ１１４、マイク１１５、スピーカ１１６、音入出力Ｉ／Ｆ１１７、ディスプレイ１１８、外部機器接続Ｉ／Ｆ(Interface)１１９、近距離通信回路１２０、近距離通信回路１２０のアンテナ１２０ａ、及びタッチパネル１２１を備えている。
【0027】
これらのうち、遠距離通信回路１１２は、通信ネットワーク１００を介して、他の機器と通信する回路である。撮像ユニット１１３は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種であり、詳細は後述する。撮像素子Ｉ／Ｆ１１４は、撮像ユニット１１３の駆動を制御する回路である。マイク１１５は、音を電気信号に変える内蔵型の回路である。スピーカ１１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ１１７は、ＣＰＵ１０１の制御に従ってマイク１１５及びスピーカ１１６との間で音信号の入出力を処理する回路である。ディスプレイ１１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ１１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路１２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル１２１は、利用者がディスプレイ１１８を押下することで、通信装置１を操作する入力手段の一種である。
【0028】
また、通信装置１は、バスライン１１０を備えている。バスライン１１０は、図４に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0029】
ここで、撮像ユニット１１３について説明する。撮像ユニット１０５は、輝度カメラ１０５ａ、深度カメラ１０５ｂ、及びこれらと撮影素子Ｉ／Ｆを電気的に接続するバスライン１０５ｅを備えている。これらのうち、輝度カメラ１０５ａは、ＣＣＤやＣＭＯＳ等の撮像素子を用いて、受光した光を電気信号に変換して画像データを得るデバイスである。例えば、ＲＧＢカラーカメラが含まれる。
【0030】
深度カメラ１０５ｂは、人や物等の被写体を撮像して、ＬｉＤＡＲ（Light Detection And Ranging）によるレーザ方式により、被写体から深度カメラ１０５ｂまでの距離を計測することで、深度画像のデータを取得する。深度カメラ１０５ｂは、被写体の形状を立体として捉えると共に、人の骨格等のさまざまな動きを検出して、その後の処理にリアルタイムに反映させることができるカメラである。そのため、深度カメラ１０５ｂは、レーザ発信機１０５ｂ１及びレーザ受信機１０５ｂ２によって構成されている。レーザ発信機１１３ｂ１は、レーザ光を照射する。レーザ発信機１０５ｂ１が照射したレーザ光が被写体で反射し、このときの反射光であるレーザ光をレーザ受信機１１３ｂ２が受光して電気信号に変換し、必要な情報を取り出す。なお、上記では、ＬｉＤＡＲにより深度を計測する方式を記載しているが、これに限るものではない。例えば、ＴＯＦ（Time of Flight）方式により深度を計測する方式を用いてもよい。また、通常のカメラであるＲＧＢカラーカメラによってステレオ計測による方法で深度を計測してもよく、深度を計測する方法については、上記の記載に限られるものではない。
【0031】
なお、撮像ユニット１１３は、輝度カメラ１１３ａ、深度カメラ１１３ｂ、及びこれらと撮影素子Ｉ／Ｆを電気的に接続するバスライン１１３ｅを備えている。また、深度カメラ１１３ｂは、更に、レーザ発信機１１３ｂ１及びレーザ受信機１１３ｂ２を備えている。輝度カメラ１１３ａ、深度カメラ１１３ｂ、バスライン１１３ｅ、レーザ発信機１１３ｂ１及びレーザ受信機１１３ｂ２は、それぞれ、撮影ユニット１０５において、それぞれ、輝度カメラ１０５ａ、深度カメラ１０５ｂ、バスライン１０５ｅ、レーザ発信機１０５ｂ１及びレーザ受信機１０５ｂ２と同じ構成であるため、これらの説明を省略する。
【0032】
なお、上記各プログラムが記憶されたＣＤ－ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
【0033】
【0034】
＜通信装置の機能構成＞
ここで、通信装置１のうち、通信装置１ａの機能構成について説明する。
ここで、通信装置１のうち、通信装置１ａの機能構成について説明する。
【0035】
図４に示されているように、通信装置１ａは、検知部３０ａ、送受信部３１ａ、受付部３２ａ、画像・音処理部３３ａ、表示制御部３４ａ、判断部３５ａ、集音部３８ａ、記憶・読出処理部３９ａ、及び検知部４０を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ１０４からＲＡＭ１０３上に展開された通信装置用のプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、通信装置１ａは、図２に示されているＲＯＭ１０２、ＲＡＭ１０３、及びＥＥＰＲＯＭ１０４によって構築される記憶部３０００ａを有している。
【0036】
更に、通信装置１ａは、ＣＰＵ１０１からの命令によって撮影ユニット１０５を動作させることによって実現される機能として、輝度画像取得部３６ａ、深度画像取得部３７ａ、及び集音部３８ａを有している。撮影ユニット１０５によって実現される機能については、破線で囲まれている。
（位置管理テーブル）
記憶部３０００ａには、位置管理テーブルによって構成されている位置管理ＤＢ３００７ａが構築されている。なお、位置管理ＤＢ３００７ａは、通信管理サーバ６の位置管理ＤＢ６００７と同じデータ構成を有するため、後述の位置管理ＤＢ６００７のところで説明する。
（位置管理テーブル）
記憶部３０００ａには、位置管理テーブルによって構成されている位置管理ＤＢ３００７ａが構築されている。なお、位置管理ＤＢ３００７ａは、通信管理サーバ６の位置管理ＤＢ６００７と同じデータ構成を有するため、後述の位置管理ＤＢ６００７のところで説明する。
【0037】
【0038】
通信装置１ａの検知部３０ａは、加速度・方位センサ１０７に対するＣＰＵ１０１からの命令によって実現され、通信装置１ａの移動方向及び回転方向を検知する。
【0039】
送受信部３１ａは、遠距離通信回路１１２に対するＣＰＵ１０１の処理によって実現され、通信ネットワーク１００を介して、他の装置（例えば、通信管理サーバ６）との間で各種データ（または情報）の送受信を行う。
【0040】
受付部３２ａは、主に、タッチパネル１２１に対するＣＰＵ１０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。
【0041】
画像・音処理部３３ａは、主に、ＣＰＵ１０１の処理によって実現され、各種画像処理及び音処理を行う。例えば、画像・音処理部３３ａは、生成部としての役割を果たし、輝度画像及び深度画像のデータに基づき仮想空間上における被写体の３次元物体を生成する。
【0042】
表示制御部３４ａは、主に、ＣＰＵ１０１の処理によって実現され、各ディスプレイ１１８に、各種画像を表示させる。
【0043】
判断部３５ａは、主に、ＣＰＵ１０１の処理によって実現され、各種判断を行う。
【0044】
輝度画像取得部３６ａは、主に、輝度カメラ１０５ａに対するＣＰＵ１０１の処理によって実現され、被写体を撮影することで、輝度画像のデータを取得する。ここでは、輝度画像と記載しているが、深度画像との対比のために用いている用語であり、輝度画像は、輝度情報のみを含む画像ではなく、色情報も有している。
【0045】
深度画像取得部３７ａは、主に、深度カメラ１０５ｂに対するＣＰＵ１０１の処理によって実現され、被写体を撮影することで、深度画像のデータを取得する。
【0046】
集音部３８ａは、主に、マイク１１５に対するＣＰＵ１０１の処理によって実現され、集音して、音のデータを取得する。
【0047】
記憶・読出処理部３９ａは、主に、ＣＰＵ１０１の処理によって実現され、記憶部３０００ａに、各種データ（または情報）を記憶したり、記憶部３０００ａから各種データ（または情報）を読み出したりする。
【0048】
なお、通信装置１ｂ、１ｃ、１ｄは、通信装置１ａと同様の機能、記憶部、及びデータベースを有している。また、通信装置１ｂ，１ｃ，１ｄの機能は、それぞれ実質的にＰＣ３ｂ，３ｃ，３ｄによって実現されている。図４及び図５では、通信装置１ａにおける送受信部３１ａが、通信装置１ｂにおける送受信部３１ｂに対応するように、符号の末尾が、ａからそれぞれｂ，ｃ，ｄに変わるだけであるため、これらの説明を省略する。
【0049】
【0050】
図４に示されているように、通信管理サーバ６は、送受信部６１、判断部６５、作成部６６、及び記憶・読出処理部６９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ６０４からＲＡＭ６０３上に展開された通信管理（制御）用のプログラムに従ったＣＰＵ６０１からの命令によって動作することで実現される機能又は手段である。また、通信管理サーバ６は、図２に示されているＲＯＭ６０２、ＲＡＭ６０３、及びＨＤ６０４によって構築される記憶部６０００を有している。
【0051】
（通信管理テーブル）
図６は、通信管理テーブルを示す概念図である。記憶部６０００には、図６に示されているような通信管理テーブルによって構成されている通信管理ＤＢ６００１が構築されている。この通信管理テーブルでは、通信管理サーバ６によって管理される全ての通信装置１の各接続ＩＤに対して、パスワード、ＩＰアドレス及び利用者の名前が関連付けられて管理される。例えば、図６で示されている通信管理テーブルにおいて、通信装置１ａの接続ＩＤは「０１ａａ」で、パスワードは「ａａａａ」で、ＩＰアドレスはＩＰｖ４として「１．２．１．３」で、名前が「Ｈａｎａｋｏ Ｒ」であることが示されている。なお、ＩＰアドレスは、簡易的に示されている。また、ＩＰアドレスは、ＩＰｖ４ではなくＩＰｖ６であってもよい。また、ＩＰアドレスでなく、ドメイン名（電子メールやホームページのアドレスとして使われている名称を示すような文字列）であってもよい。
図６は、通信管理テーブルを示す概念図である。記憶部６０００には、図６に示されているような通信管理テーブルによって構成されている通信管理ＤＢ６００１が構築されている。この通信管理テーブルでは、通信管理サーバ６によって管理される全ての通信装置１の各接続ＩＤに対して、パスワード、ＩＰアドレス及び利用者の名前が関連付けられて管理される。例えば、図６で示されている通信管理テーブルにおいて、通信装置１ａの接続ＩＤは「０１ａａ」で、パスワードは「ａａａａ」で、ＩＰアドレスはＩＰｖ４として「１．２．１．３」で、名前が「Ｈａｎａｋｏ Ｒ」であることが示されている。なお、ＩＰアドレスは、簡易的に示されている。また、ＩＰアドレスは、ＩＰｖ４ではなくＩＰｖ６であってもよい。また、ＩＰアドレスでなく、ドメイン名（電子メールやホームページのアドレスとして使われている名称を示すような文字列）であってもよい。
【0052】
（セッション管理テーブル）
図７は、セッション管理テーブルを示す概念図である。記憶部６０００には、図７に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ６００２が構築されている。このセッション管理テーブルでは、セッションＩＤ、及び同じ通信セッションの映像通話に参加した通信装置の接続ＩＤが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室等の仮想のエリア毎に生成される。セッションＩＤをミィーティングＩＤとして代替することができてもよい。ミィーティングＩＤは、ミィーティング（２人以上の話合う事）を通信管理サーバで管理するための識別子を示めしている。
図７は、セッション管理テーブルを示す概念図である。記憶部６０００には、図７に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ６００２が構築されている。このセッション管理テーブルでは、セッションＩＤ、及び同じ通信セッションの映像通話に参加した通信装置の接続ＩＤが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室等の仮想のエリア毎に生成される。セッションＩＤをミィーティングＩＤとして代替することができてもよい。ミィーティングＩＤは、ミィーティング（２人以上の話合う事）を通信管理サーバで管理するための識別子を示めしている。
【0053】
（ディスプレイ管理テーブル）
図８は、ディスプレイ管理テーブルを示す概念図である。記憶部６０００には、図８に示されているようなディスプレイ管理テーブルによって構成されているディスプレイ管理ＤＢ６００４が構築されている。このディスプレイ管理テーブルでは、ディスプレイのＧＵＩＤ(Globally Unique Identifier)のベンダＩＤとプロダクトＩＤ、現実空間上(リアル座標系)のディスプレイの縦と横のサイズ(各隅の位置)及び解像度、並びに仮想空間上（モデリング座標系）のディスプレイの各隅の位置が関連付けて記憶されて管理されている。なお、リアル座標系は、現実の世界である３次元の世界の任意の位置を基準とした座標系を示している。
図８は、ディスプレイ管理テーブルを示す概念図である。記憶部６０００には、図８に示されているようなディスプレイ管理テーブルによって構成されているディスプレイ管理ＤＢ６００４が構築されている。このディスプレイ管理テーブルでは、ディスプレイのＧＵＩＤ(Globally Unique Identifier)のベンダＩＤとプロダクトＩＤ、現実空間上(リアル座標系)のディスプレイの縦と横のサイズ(各隅の位置)及び解像度、並びに仮想空間上（モデリング座標系）のディスプレイの各隅の位置が関連付けて記憶されて管理されている。なお、リアル座標系は、現実の世界である３次元の世界の任意の位置を基準とした座標系を示している。
【0054】
ここで、図９を用いて、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に説明する。図９は、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に示した概念図である。
【0055】
例えば、ディスプレイのＧＵＩＤが「vid_10ca&pid_0001」の場合、物理空間上（リアル座標系）のディスプレイ１１８のぞれぞれの四隅の位置を示す点が示されている。同じく通信装置のＧＵＩＤが「vid_10ca&pid_0001」の場合、仮想空間上（モデリング座標系）のディスプレイの四隅の位置を示す点が示されている。
【0056】
また、ディスプレイのＧＵＩＤが「vid_11ca&pid_0010」の場合、物理空間上（リアル座標系）の通信装置１の１つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じく通信装置１のＧＵＩＤが「vid_11ca&pid_0010」の場合、仮想空間上（モデリング座標系）通信装置１の１つのディスプレイの四隅の位置を示す点が示されている。
【0057】
更に、ディスプレイのＧＵＩＤが「vid_12ca&pid_0100」の場合、物理空間上（リアル座標系）の一般のノートＰＣの１つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じくディスプレイのＧＵＩＤが「vid_12ca&pid_0100」の場合、仮想空間上（モデリング座標系）のノートＰＣの１つのディスプレイの四隅の位置を示す点が示されている。
【0058】
（選択配置情報管理テーブル）
図１０は、選択配置情報管理テーブルを示す概念図である。記憶部６０００には、図１０に示されているような選択配置情報管理テーブルによって構成されている選択配置情報管理ＤＢ６００５が構築されている。この選択配置情報管理テーブルでは、レコード毎に選択配置情報を構成し、整理番号（ＮＯ）、会社名、この会社の部署名、この部署の部屋（フロア）が関連付けて管理されている。
また、各部屋には、セッションＩＤ（コミュニケーションＩＤ）、及びＭｏｄｅｌ座標からＷｏｒｌｄ座標への変換パラメータが関連付けて管理されている。この場合の変換パラメータは、仮想の特定の利用者が仮想の部屋（フロア）に入るときの特定の位置を示している。例えば、仮想の特定の利用者自身の仮想の机（椅子）が置いてある位置である。なお、選択配置情報管理ＤＢ６００５のセッションＩＤ（コミュニケーションＩＤ）、は、上述のセッション管理ＤＢ６００２の「セッションＩＤ（コミュニケーションＩＤ）」の項目（属性）と同じ概念であるため、説明を省略する。
図１０は、選択配置情報管理テーブルを示す概念図である。記憶部６０００には、図１０に示されているような選択配置情報管理テーブルによって構成されている選択配置情報管理ＤＢ６００５が構築されている。この選択配置情報管理テーブルでは、レコード毎に選択配置情報を構成し、整理番号（ＮＯ）、会社名、この会社の部署名、この部署の部屋（フロア）が関連付けて管理されている。
また、各部屋には、セッションＩＤ（コミュニケーションＩＤ）、及びＭｏｄｅｌ座標からＷｏｒｌｄ座標への変換パラメータが関連付けて管理されている。この場合の変換パラメータは、仮想の特定の利用者が仮想の部屋（フロア）に入るときの特定の位置を示している。例えば、仮想の特定の利用者自身の仮想の机（椅子）が置いてある位置である。なお、選択配置情報管理ＤＢ６００５のセッションＩＤ（コミュニケーションＩＤ）、は、上述のセッション管理ＤＢ６００２の「セッションＩＤ（コミュニケーションＩＤ）」の項目（属性）と同じ概念であるため、説明を省略する。
【0059】
（固定配置情報管理テーブル）
図１１は、固定配置情報管理テーブルを示す概念図である。記憶部６０００には、図１１に示されているような固定配置情報管理テーブルによって構成されている固定配置情報管理ＤＢ６００６が構築されている。この固定配置情報管理テーブルでは、レコード毎に固定配置情報を構成し、通信装置の接続ＩＤ、セッションＩＤ（コミュニケーションＩＤ）、及びＭｏｄｅｌ座標からＷｏｒｌｄ座標への変換パラメータが関連付けて管理されている。この場合の変換パラメータは、仮想の所定（任意）の利用者が仮想の部屋（フロア）に入るときの特定の位置を示している。例えば、仮想の部屋の入口等である。なお、固定配置情報管理ＤＢ６００６のセッションＩＤ（コミュニケーションＩＤ）、は、上述のセッション管理ＤＢ６００２の「セッションＩＤ（コミュニケーションＩＤ）」の項目（属性）と同じ概念であるため、説明を省略する。
図１１は、固定配置情報管理テーブルを示す概念図である。記憶部６０００には、図１１に示されているような固定配置情報管理テーブルによって構成されている固定配置情報管理ＤＢ６００６が構築されている。この固定配置情報管理テーブルでは、レコード毎に固定配置情報を構成し、通信装置の接続ＩＤ、セッションＩＤ（コミュニケーションＩＤ）、及びＭｏｄｅｌ座標からＷｏｒｌｄ座標への変換パラメータが関連付けて管理されている。この場合の変換パラメータは、仮想の所定（任意）の利用者が仮想の部屋（フロア）に入るときの特定の位置を示している。例えば、仮想の部屋の入口等である。なお、固定配置情報管理ＤＢ６００６のセッションＩＤ（コミュニケーションＩＤ）、は、上述のセッション管理ＤＢ６００２の「セッションＩＤ（コミュニケーションＩＤ）」の項目（属性）と同じ概念であるため、説明を省略する。
【0060】
（位置管理テーブル）
図１２は、仮想の利用者の最新位置を示した位置管理テーブルの概念図である。記憶部６０００には、図１２に示されているような位置管理テーブルによって構成されている位置管理ＤＢ６００７が構築されている。上述の選択配置情報管理ＤＢ６００５及び固定配置情報管理ＤＢ６００６が静的なデータベースなのに対して、位置管理ＤＢ６００７は動的なデータベースである。また、位置管理ＤＢ６００７は、選択配置情報管理ＤＢ６００５及び固定配置情報管理ＤＢ６００６で管理されているデータをコピーする。
図１２は、仮想の利用者の最新位置を示した位置管理テーブルの概念図である。記憶部６０００には、図１２に示されているような位置管理テーブルによって構成されている位置管理ＤＢ６００７が構築されている。上述の選択配置情報管理ＤＢ６００５及び固定配置情報管理ＤＢ６００６が静的なデータベースなのに対して、位置管理ＤＢ６００７は動的なデータベースである。また、位置管理ＤＢ６００７は、選択配置情報管理ＤＢ６００５及び固定配置情報管理ＤＢ６００６で管理されているデータをコピーする。
【0061】
位置管理テーブルでは、通信装置の接続ＩＤ、セッションＩＤ（コミュニケーションＩＤ）、Ｍｏｄｅｌ座標系からＷｏｒｌｄ座標系への変換パラメータ、及び移動ベクトルが関連付けて管理されている。この場合の変換パラメータは、選択配置情報管理ＤＢ６００５で管理されている各変換パラメータのうちで特定の変換パラメータをコピーして管理されるか、又は固定配置情報管理ＤＢ６００６で管理されている各変換パラメータのうちで特定の変換パラメータをコピーして管理される。後述の図１９において、「選択配置」ボタンｂ１が選択された場合には、選択配置情報管理ＤＢ６００５で管理されている特定の変換パラメータを位置管理ＤＢ６００７にコピーする。また、後述の図１８において、「固定配置」ボタンｂ２が選択された場合には、固定配置情報管理ＤＢ６００６で管理されている特定の変換パラメータを位置管理ＤＢ６００７にコピーする。更に、これらの場合、コピーして管理される特定の変換パラメータと一緒に、ログインしている通信装置の接続ＩＤ及びセッションＩＤもコピーする。
【0062】
更に、位置管理テーブルでは、接続ＩＤ毎、つまり仮想の利用者毎に、仮想の利用者が上記コピーして管理された位置から仮想空間内の移動した位置までを示すための移動ベクトルも管理されている。
【0063】
Ｍｏｄｅｌ座標（モデリング座標）系から（Ｗｏｒｌｄ座標）ワールド座標系への変換パラメータは、後述の図３２に示されているように、物体を第１の仮想空間上のモデリング座標系から第２の仮想空間上のワールド座標系へ変換する場合に用いられる変換パラメータを示す。
【0064】
なお、コンピュータグラフィックス（ＣＧ）で描く仮想世界は、世界の基準となる１つの座標系を設ける。これをワールド座標系（World coordinate system）と呼ぶ。物体の形像を直接ワールド座標系で与えると、物体がワールド座標系内で移動するごとに、物体の形状を定義しなおさなければならない。そこで、コンピュータグラフィックスの３次元画像で物体の形状を決定する（モデリングという）座標系を定めている。この座標系をモデリング座標系（Modeling coordinate system）という。
【0065】
ここで、別の表現によって、ワールド座標とモデリング座標とを説明する。ワールド座標系は、コンピュータグラフィックスで表示する物体は空間全体を表す座標系を示す。空間の中での物体の位置を示すための座標系で、物体の配置や移動を扱うために用いられる。各立体がどのような位置、向きで置かれているかを記述することができる。全てワールド座標系という一つの大きな空間で,最初から全ての物体をこの座標系上で定義したのでは表示処理の扱いが困難となる.そのため、空間中に配置される個々の立体の形状や変形を扱うためにモデリング座標が用いられる。立体のいずれかの頂点や近傍などに原点を取り、立体を構成する点や線、面などの位置や向きなどを記述する。個々のモデリング座標系で自由に定義された表示物体を全て統一されたワールド座標系上に配置し、グラフィックス空間、又は仮想的な３次元世界を作成することができる。
【0066】
ここで、図１３及び図１４を用いて、仮想空間内での仮想の利用者の移動について説明する。図１３及び図１４は、ワールド座標上で仮想の参加者の配置位置を示した概念図である。図１３では、仮想の利用者Ｄ１が特定の部屋（フロア）に入った時点の各仮想の利用者の位置を示している。図１４は、仮想の利用者Ｄ１が特定の部屋（フロア）に入った後、矢印方向に異動した状態を示している。
【0067】
図１３では、仮想の利用者Ａ１，Ｂ１，Ｃ１，Ｄ１は、それぞれ、参加者位置ａ１１，ａ１２，ａ１３，ａ１４に位置している。また、同様に、仮想のディスプレイの位置ｄ１１～ｄ１５は、それぞれ、主催者位置ａ１１、参加者位置ａ１２、参加者位置ａ１３、参加者位置ａ１４、及び傍観者位置ａ１５に合わせて配置されている。この状態では、位置管理ＤＢ６００７の移動ベクトル欄には何ら管理されていない（又は、「０」として管理されている。
このような状態で、図１４に示されているように、仮想の利用者Ｄ１が仮想の利用者Ａ１の近距離の正面に移動すると、位置管理ＤＢ６００７の移動ベクトル欄には移動の方向と移動の大きさ（距離）を示す移動ベクトルが管理される。
このような状態で、図１４に示されているように、仮想の利用者Ｄ１が仮想の利用者Ａ１の近距離の正面に移動すると、位置管理ＤＢ６００７の移動ベクトル欄には移動の方向と移動の大きさ（距離）を示す移動ベクトルが管理される。
【0068】
なお、上述のように、位置管理ＤＢ３００７ａ～３００７ｄは、位置管理ＤＢ６００７と同様のデータ構成を有しているため、説明を省略する。
【0069】
【0070】
通信管理サーバ６の送受信部６１は、ネットワークＩ／Ｆ６０９に対するＣＰＵ６０１の処理によって実現され、通信ネットワーク１００を介して、他の装置（例えば、通信装置１、）との間で各種データ（または情報）の送受信を行う。
【0071】
判断部６５は、主に、ＣＰＵ６０１の処理によって実現され、各種判断を行う。
【0072】
作成部６６は、主にＣＰＵ６０１の処理によって実現され、画像データＩＤを作成する。
【0073】
記憶・読出処理部６９は、主に、図２に示されているＨＤ６０４及びＨＤ６０５に対するＣＰＵ６０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。
【0074】
【0075】
＜映像通話への参加＞
まず、図１５乃至図２３を用いて、特定の通信セッション（仮想空間）への参加処理について説明する。図１５は、特定の通信セッションへの参加処理を示したシーケンス図である。図１６は、通信装置におけるログイン画面の表示例である。
まず、図１５乃至図２３を用いて、特定の通信セッション（仮想空間）への参加処理について説明する。図１５は、特定の通信セッションへの参加処理を示したシーケンス図である。図１６は、通信装置におけるログイン画面の表示例である。
【0076】
まず、拠点Ａの利用者（例えば、利用者Ａ１）は、表示制御部３４ａがディスプレイ１１８上に表示するログイン画面において、自己の接続ＩＤ及びパスワードを入力し、「ＯＫ」ボタンを押下すると、受付部３２ａが接続ＩＤ及びパスワードを受け付け、送受信部３１ａが通信管理サーバ６に対して、ログイン要求を送信する（Ｓ２１）。このログイン要求には、接続ＩＤ、パスワード、及び送信元（通信装置１ａ）のＩＰアドレスが含まれている。これにより、通信管理サーバ６の送受信部６１は、ログイン要求を受信する。
【0077】
次に、通信管理サーバ６の記憶・読出処理部６９は、ログイン要求に含まれている接続ＩＤ及びパスワードを検索キーとして、通信管理ＤＢ６００１（図６参照）を検索し、同一の接続ＩＤ及び同一のパスワードの組が管理されているかを判断することによって認証を行う（Ｓ２２）。ここでは、記憶・読出処理部６９によって、同一の接続ＩＤ及び同一のパスワードが管理されているものとして、続けて説明する。この場合、記憶・読出処理部６９は、ステップＳ２１で受信された送信元のＩＰアドレスを、認証に使った接続ＩＤ及びパスワードの組のレコードに追記する。
【0078】
次に、記憶・読出処理部６９は、選択配置情報管理ＤＢ６００５から全ての選択配置情報を読み出すと共に、固定配置情報管理ＤＢ６００６から通信装置１ａの接続ＩＤを含む特定の固定配置情報を読み出す（Ｓ２３）。そして、送受信部６１は、通信装置１ａに対して、認証が成功した旨の応答を送信する（Ｓ２４）。この応答には、上記読み出された全ての選択配置情報及び通信装置１ａに係る固定配置情報が含まれている。これにより、通信装置１ａの送受信部１１ａは、応答を受信する。
【0079】
次に、通信装置１ａは、受信した選択配置情報及び固定配置情報（通信装置１ａのみ）に基づいて、仮想の利用者Ａ１の仮想空間上での位置を特定する処理を実行する。ここで、図１７乃至図２１を用いて、ステップＳ２５の処理を詳細に説明する。図１７は、位置の特定処理を示したフローチャートである。図１８は、通信装置における配置位置種類の選択画面を示した図である。図１９は、仮想の会社を選択するための選択画面の表示例を示した図である。図２０は、仮想の部署を選択するための選択画面の表示例を示した図である。図２１は、仮想の部屋（フロア）を選択するための選択画面の表示例を示した図である。
【0080】
まず、図１８に示すように、表示制御部３４ａは、選択配置情報に基づいて、通信装置１ａのディスプレイ１１８上に、配置の種類を選択するための選択画面を表示する（Ｓ１８０）。この選択画面には、「選択配置」ボタンｂ１、及び「固定配置」ボタンｂ２が表示されている。「選択配置」ボタンｂ１は、利用者Ａ１等が複数の仮想空間上の所望の部屋を選択して入る場合に押下するためのボタンである「固定配置」ボタンｂ２は、利用者Ａ１等が予め定められている仮想空間上の個人の席付近に入る場合の押下するためのボタンである。
【0081】
次に、利用者Ａ１は、いずれかのボタンｂ１、ｂ２を押下することで、受付部３２ａは選択を受け付ける（Ｓ１８１）。
【0082】
次に、判断部３５ａは、「選択配置」ボタンｂ１が押下されたと判断した場合（Ｓ１８２；ＹＥＳ）、表示制御部３４ａは、選択配置情報に基づいて、図１９に示されているように、ディスプレイ１１８上に、訪問する会社を選択するための会社選択画面を表示する（Ｓ１８３）。この会社選択画面には、複数の会社のそれぞれを示す「会社」ボタンｂ１１，ｂ１２，ｂ１３が表示されている。なお、「会社」ボタンは、いくつ表示されていてもよい。
【0083】
ここで、利用者Ａ１が所望のボタン（ここでは、「ＡＡ会社」ボタンｂ１１）を押下すると、受付部３２ａは会社の選択を受け付ける（Ｓ１８４）。これにより、表示制御部３４ａは、選択配置情報に基づいて、図２０に示されているように、ディスプレイ１１８上に、訪問する部署を選択するための部署選択画面を表示する（Ｓ１８５）。この部署選択画面には、複数の部署のそれぞれを示す「部署」ボタンｂ１１１，ｂ１１２，ｂ１１３が表示されている。なお、「部署」ボタンは、いくつ表示されていてもよい。
【0084】
ここで、利用者Ａ１が所望のボタン（ここでは、「ＡＡ１本部」ボタンｂ１１１）を押下すると、受付部３２ａは部署の選択を受け付ける（Ｓ１８６）。これにより、表示制御部３４ａは、選択配置情報に基づいて、図２１に示されているように、ディスプレイ１１８上に、訪問する部屋を選択するための部屋選択画面を表示する（Ｓ１８７）。この部署選択画面には、複数の部屋（フロア）のそれぞれを示す「部屋」ボタンｂ１１１１，ｂ１１１２，ｂ１１１３が表示されている。なお、「部屋」ボタンは、いくつ表示されていてもよい。
【0085】
ここで、利用者Ａ１が所望のボタン（ここでは、「ＡＡ１本部」ボタンｂ１１１）を押下すると、受付部３２ａは部署の選択を受け付ける（Ｓ１８６）。これにより、表示制御部３４ａは、図２１に示されているように、ディスプレイ１１８上に、訪問する部屋を選択するための部屋選択画面を表示する（Ｓ１８７）。この部署選択画面には、複数の部屋（フロア）のそれぞれを示す「部屋」ボタンｂ１１１１，ｂ１１１２，ｂ１１１３が表示されている。なお、「部屋」ボタンは、いくつ表示されていてもよい。
【0086】
ここで、利用者Ａ１が所望のボタン（ここでは、「ＡＡ１１室」ボタンｂ１１１１）を押下すると、受付部３２ａは部屋の選択を受け付ける（Ｓ１８８）。これにより、後述のステップＳ２６によって、選択された部屋を示す位置情報が送信される。
【0087】
一方、上記ステップＳ１８２によって、判断部３５ａは、「選択配置」ボタンｂ１が押下されなかった（つまり、「固定配置」ボタンｂ２が押下された）と判断した場合（Ｓ１８２；ＮＯ）、後述のステップＳ２６によって、特定の仮想の部屋の自分の席周辺の位置を示す固定の位置情報が送信される。
【0088】
続いて、図１５に戻り、送受信部３１ａは、通信管理サーバ６に対して、仮想空間への参加要求を送信する（ステップＳ２６）。この参加要求には、ステップＳ２５で選択を受け付けられたボタンに係る位置情報が含まれる。この位置情報には、選択された部屋に入るための通信セッションを示すセッションＩＤ、送信元（ここでは、通信装置１ａ）の接続ＩＤ、及び、ステップＳ２４で受信された選択配置情報又は固定配置情報に含まれる変換パラメータのうち、ステップＳ２５で選択された部屋の特定の位置を示すための変換パラメータが含まれている。これにより、通信管理サーバ６の送受信部５１は、参加要求を受信する。
【0089】
次に、記憶・読出処理部６９は、セッション管理ＤＢ６００２（図７参照）に対して、仮想空間への参加処理を行う（Ｓ２７）。具体的には、記憶・読出処理部６９は、セッション管理ＤＢ６００２において、ステップＳ２６で受信されたセッションＩＤと同じセッションＩＤのレコードに対して、ステップＳ２６で受信された通信装置１ａの接続ＩＤを関連付けて管理する。
【0090】
次に、記憶・読出処理部６９は、上記ステップＳ２７で管理された接続ＩＤに関連付けられているセッションＩＤと同じセッションＩＤに関連付けれている他の接続ＩＤを読み出す（Ｓ２８）。そして、記憶・読出処理部６９は、位置管理ＤＢ６００７に対して、ステップＳ２６で受信された通信装置１ａの接続ＩＤを含む位置情報、及びステップＳ２８で読み出した他の接続ＩＤを含む位置情報を、それぞれ新たなレコードで登録する（Ｓ２９）。
【0091】
次に、送受信部６１は、通信装置１ａに対して、上記ステップＳ２６の参加要求に対する参加要求応答を送信する（Ｓ３０）。この参加要求応答には、上記同じセッションＩＤに関連付けられている全ての接続ＩＤを含む位置情報が含まれている。これにより、通信装置１ａの送受信部３１ａは、参加要求応答を受信する。そして、通信装置１ａでは、記憶・読出処理部３９ａが、位置管理ＤＢ３００７ａに、ステップＳ３０で受信された全ての位置情報を管理することで、位置管理ＤＢ３００７ａの内容を更新する（Ｓ３１）。
【0092】
また同様に、送受信部６１は、通信装置１ｂに対して、通信装置１ａと同じ通信セッションに参加している通信装置１ｂに対して参加情報を送信する（Ｓ３２）。この参加情報には、上記同じセッションＩＤに関連付けられている全ての接続ＩＤを含む位置情報が含まれている。これにより、通信装置１ｂの送受信部３１ｂは、参加情報を受信する。そして、通信装置１ｂでは、記憶・読出処理部３９ｂが、位置管理ＤＢ３００７ｂに、ステップＳ３２で受信された全ての位置情報を管理することで、位置管理ＤＢ３００７ｂの内容を更新する（Ｓ３３）。なお、通信装置１ａと同じ通信セッションに参加している通信装置１ｂ以外の通信装置に対してもステップＳ３２と同様の処理が行われ、通信装置１ｂ以外の通信装置においてもステップＳ３３と同様の処理が行われる。
【0093】
なお、上記では、図１８示されている各選択ボタンｂ１，ｂ２等の選択後、図１９乃至図図２１に示されているボタンの選択が合計３回行われるが、これに限るものではない。例えば、図１８において、会社、部署、部屋のうち少なくとも２つを含むボタンにより選択回数を減らすようにしてもよい。
【0094】
【0095】
まず、通信装置１ａの送受信部３１ａは、通信管理サーバ６に対して、情報追加要求を送信する（Ｓ４１）。この情報追加要求には、送信元である自装置（通信装置１ａ）の接続ＩＤ、及びディスプレイ情報が含まれている。これにより、通信管理サーバ６の送受信部６１は、情報追加要求を受信する。
【0096】
次に、通信管理サーバ６の記憶・読出処理部６９は、ステップＳ４１によって受信された接続ＩＤを検索キーとして、セッション管理ＤＢ６００２（図７参照）を検索することにより、対応するセッションＩＤを読み出す（Ｓ４２）。
【0097】
更に、記憶・読出処理部６９は、ディスプレイ管理ＤＢ６００４（図８参照）に、１レコードのデータであるディスプレイ情報を記憶する（Ｓ４３）。これにより、各通信装置１のディスプレイ情報を一元管理することができる。
【0098】
また、通信管理サーバ６は、同じ通信セッションに参加している通信装置がある場合、この通信装置に対して、通信装置１ａの画像データＩＤ、接続ＩＤ、及びディスプレイ情報を伝えることで、情報共有する必要がある。そこで、通信管理サーバ６の送受信部６１は、通信装置１ａと同じ通信セッションに参加している他の通信装置（例えば、通信装置１ｂ）に対して、情報追加通知を送信する（Ｓ４８）。この情報追加通知には、画像データＩＤ、並びに、ステップＳ４１で受信された送信元である通信装置１ａの接続ＩＤ及びディプレイ情報が含まれている。これにより、通信装置１ｂの送受信部１１ｂは、情報追加通知を受信する。
【0099】
以上より、同じ通信セッションの仮想空間に参加した全ての通信装置は、他の通信装置の情報追加情報を共有することができる。
【0100】
＜画像データ及び音データの送信＞
続いて、図２３乃至図２４を用いて、画像データ及び音データの送信処理について説明する。図２３は、所定の通信装置（例えば、通信装置１ａ）から送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。図２４は、送信される輝度画像データと深度画像データの概念図である。
続いて、図２３乃至図２４を用いて、画像データ及び音データの送信処理について説明する。図２３は、所定の通信装置（例えば、通信装置１ａ）から送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。図２４は、送信される輝度画像データと深度画像データの概念図である。
【0101】
まず、図２３を用いて、通信装置１ａから通信管理サーバ６を介して、複数の他の通信装置１ｂ，１ｃ，１ｄに画像データ（ここでは、輝度画像データ及び深度画像データ）並びに音データを送信する場合の処理について説明する。
【0102】
まず、通信装置１ａは、拠点Ａで撮影及び集音を開始することで、輝度画像取得部３６ａが輝度画像データを取得し、深度画像取得部３７ａが深度画像データを取得し、集音部３８ａが音データを取得する（Ｓ１０１）。この場合、通信装置１ａは、動画撮影を行うが、静止画撮影であってもよい。
【0103】
次に、通信装置１ａでは、記憶・読出処理部３９ａは、位置管理ＤＢ３００７ａに対して自装置（通信装置１ａ）の移動ベクトルの更新を行う（Ｓ１０２）。そして、通信装置１ａの送受信部３１ａは、通信管理サーバ６に対して、画像データ（輝度画像データ、深度画像データ）及び音データに加え、送信元としての通信装置１ａの接続ＩＤを送信する（Ｓ１０３）。この場合、画像データには、自装置から送信する画像を識別するための画像データＩＤ、及びステップ１０２で更新された移動ベクトルＴａａが含まれている。これにより、通信管理サーバ６の送受信部６１は、画像データ（輝度画像データ、深度画像データ、及び画像データＩＤ、移動ベクトルＴａａ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを受信する。
【0104】
ここで、図３及び図２４を用いて、送信される輝度画像データと深度画像データについて説明する。図３では、自画像撮り用の撮影ユニット１０５が設けられているため、画像データには、輝度画像Ｌｃ１のデータ及び深度画像Ｄｃ１のデータが含まれる。輝度画像Ｌｃ１及び深度画像Ｄｃ１のデータは、撮影ユニット１０５によって取得されたデータである。
【0105】
例えば、輝度画像Ｌｃ１及び深度画像Ｄｃ１のデータの解像度は、それぞれ４Ｋであるが、図２４に示されているように、送信元の通信装置１は、合計２のデータを１つの画像データに圧縮して合成することで、この１つの画像データの解像度が４Ｋになる。なお、４Ｋは一例であり、ＨＤ、ＦＨＤ、８Ｋ等であってもよい。 次に、図２３に戻り、通信管理サーバ６では、記憶・読出処理部６９ａは、位置管理ＤＢ６００７に対して通信装置１ａの移動ベクトルの更新を行う（Ｓ１０４）。そして、通信管理サーバ６の送受信部６１は、セッション管理ＤＢ６００２（図７参照）を利用することで、通信装置１ａと同じ通信セッションの映像通話に参加している他の各通信装置１ｂ～１ｄに対して、画像データ（輝度画像データ、深度画像データ、画像データＩＤ、移動ベクトルＴａａ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを送信する（Ｓ１０５，Ｓ１０７，Ｓ１０９）。これにより、各通信装置１ｂ，１ｃ，１ｄの送受信部３１ｂ，３１ｃ，３１ｄは、画像データ（輝度画像データ、深度画像データ、、画像データＩＤ、移動ベクトルＴａａ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを受信する。
【0106】
そして、各通信装置１ｂ，１ｃ，１ｄでは、記憶・読出処理部３９ｂ，ｃ，ｄが、それぞれ位置管理ＤＢ３００７ｂ，ｃ，ｄに、通信装置１ａの移動ベクトルの更新を行う（Ｓ１０６，Ｓ１０８，Ｓ１１０）。
【0107】
＜画像データ及び音データの受信＞
続いて、図２５乃至図３３を用いて、画像データ及び音データの受信の処理について説明する。図２５は、通信装置１ｄによる画像データ及び音データの受信の処理を示すシーケンス図である。
続いて、図２５乃至図３３を用いて、画像データ及び音データの受信の処理について説明する。図２５は、通信装置１ｄによる画像データ及び音データの受信の処理を示すシーケンス図である。
【0108】
図２５に示されているように、通信装置１ａでは、記憶・読出処理部３９ａが位置管理ＤＢ３００７ａに対して自装置（通信装置１ａ）の移動ベクトルの更新を行う（Ｓ１２１）。このステップＳ１２１の処理は、図２３のステップＳ１０２と同じである。
【0109】
次に、送受信部３１ａは、通信管理サーバ６に対して、画像データ（輝度画像データ、深度画像データ、画像データＩＤ、移動ベクトルＴａａ）、音データ、及び送信元としての通信装置１ａの接続ＩＤを送信する（Ｓ１２２）。これにより、通信管理サーバ６の送受信部６１は、画像データ、音データ、及び通信装置１ａの接続ＩＤを受信する。このステップＳ１２２処理は、図２３のステップＳ１０３と同じである。そして、通信管理サーバ６では、記憶・読出処理部６９ａは、位置管理ＤＢ６００７に対して通信装置１ａの移動ベクトルの更新を行う（Ｓ１２３）。このステップＳ１２３の処理は、図２３のステップＳ１０４と同じである。
【0110】
次に、通信管理サーバ６の送受信部６１は、セッション管理ＤＢ６００２（図７参照）を利用することで、通信装置１ａと同じ通信セッションの映像通話に参加している他の通信装置１ｄに対して、画像データ（輝度画像データ、深度画像データ、画像データＩＤ、移動ベクトルＴａａ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを送信する（Ｓ１２４）。これにより、通信装置１ｄの送受信部３１ｄは、画像データ、音データ、並びに通信装置１ａの接続ＩＤを受信する。この処理は、図２３のステップＳ１０９と同じである。
【0111】
同様に、通信装置１ｄの送受信部３１ｄは、通信管理サーバ６から、通信装置１ｂの画像データ（輝度画像データ、深度画像データ、画像データＩＤ、移動ベクトルＴａｂ）、音データ、及び送信元としての通信装置１ｂの接続ＩＤを受信する（Ｓ１２５）。また、通信装置１ｄの送受信部３１ｄは、通信管理サーバ６から、通信装置１ｃの画像データ（輝度画像データ、深度画像データ、画像データＩＤ、移動ベクトルＴａｃ）、音データ、及び送信元としての通信装置１ｃの接続ＩＤを受信する（Ｓ１２６）。
【0112】
続いて、通信装置１ｄでは、画像・音処理部３３ｄが、ステップＳ１２４～Ｓ１２５及び、図２２のステップＳ４４と同様に受信した情報追加通知によって受信された各データに基づいて、画像表示及び音出力の処理を行う（Ｓ１２７）。この場合、音出力は、各音データ（電気信号）を振動に変換する一般的な処理であるため、図２６を用いて、画像表示の処理について詳細に説明する。
【0113】
＜画像表示の処理＞
図２６は、画像表示の処理を示したフローチャートである。
図２６は、画像表示の処理を示したフローチャートである。
【0114】
まず、記憶・読出処理部３９ｄは、図２５のステップＳ１２４～Ｓ１２６によって受信された接続ＩＤを検索キーとして、位置管理ＤＢ３００７ｄを検索することで、この接続ＩＤを含む全ての位置情報（セッションＩＤを除く）を読み出す（Ｓ２０１）。そして、画像・音処理部３３ｄは、ステップＳ２０１で読み出された自装置(通信装置１ｄ)の利用者Ｄ１の仮想空間上での位置と、ステップＳ２０１で読み出された他の通信装置１ａ，１ｂ，１ｃの利用者Ａ１，Ｂ１，Ｃ１の仮想空間上でのそれぞれの位置との距離を計測する（Ｓ２０２）。
【0115】
ここで、図２７を用いて、仮想の利用者Ｄと距離との関係を説明する。図２７は、仮想の利用者Ｄ１からの距離と表示される画像の例を示した図である。なお、表示される画像は、後ほど説明する。図２７に示されているように、仮想の利用者Ｄから近い位置との距離が第１の距離で、遠い位置との距離が第２の距離である。
【0116】
そして、図２６に戻り、距離が第１の距離未満の場合（Ｓ２０３；第１の距離未満）、ステップＳ２０４の処理に進む。また、距離が第２の距離以上の場合（Ｓ２０３；第２の距離以上）、ステップＳ２１１の処理に進む。更に、距離が第１の距離以上で第２の距離未満の場合（Ｓ２１３；第１の距離以上、第２の距離未満）、ステップＳ２１３の処理に進む。
【0117】
（第１の距離未満の場合の表示処理）
ここで、第１の距離未満の場合の表示処理について説明する。
ここで、第１の距離未満の場合の表示処理について説明する。
【0118】
（（ワールド座標系にける物体の位置の算出処理））
最初に、通信装置１ｄは、ワールド座標系における物体の位置を算出する（Ｓ２０４）。ここで、図２８乃至図３１を用いて、画像種類が輝度・深度画像の場合の表示処理を詳細に説明する。図２８は、ワールド座標系にける物体の位置の算出処理を示すフローチャートである。
最初に、通信装置１ｄは、ワールド座標系における物体の位置を算出する（Ｓ２０４）。ここで、図２８乃至図３１を用いて、画像種類が輝度・深度画像の場合の表示処理を詳細に説明する。図２８は、ワールド座標系にける物体の位置の算出処理を示すフローチャートである。
【0119】
まず、画像・音処理部３３ｄが、仮想空間上（モデリング座標系）における自拠点を含めた各拠点の輝度画像データ及び深度画像データに基づいて、物体の画像を３次元化する（Ｓ２２１）。
【0120】
ここで、図２９を用いて、物体の画像の３次元化を説明する。図２９は、カメラ座標系からモデリング座標系への変換、及びモデリング座標系からワールド座標系への変換の概念図である。なお、カメラ座標系は、現実の世界である３次元の世界を物理的なカメラを原点として投影面における世界の見え方を定める座標系である。リアル座標で与えられる座標を、カメラの座標系で見た座標系に変換する必要ある。
【0121】
現実空間の複数の拠点の利用者の画像を仮想の会議室等の１つの仮想空間に登場させるため、画像・音処理部３３ｄは、各拠点の現実空間の物体を、一旦、個別に第１の仮想空間としてのモデリング座標系(Modeling Coordinate System)で定義することで３次元化し、その後に、各物体の画像を１つのワールド座標系(World Coordinate System)で定義する必要がある。
【0122】
そのため、まず、画像・音処理部３３ｄは、図２４に示されているようにカメラ座標系(Camera Coordinate System)にて定義された輝度画像Ｌｃ１及び深度画像Ｄｃ１等の５つの組の画像を、（式１）を利用して、１つの第１の仮想空間上（モデリング座標系）に変換することで、３次元化を行う。図２９では、物体として利用者Ａ１が表されている。この場合、モデリング座標系における利用者Ａ１の画像は、図２９の拡大図ｅｖに示されているように、多数の点の集合によって示される。本実施形態では、５台の輝度深度撮影デバイス５ａ～５ｅによって５アングルにより撮影されているため、利用者Ａ１の画像は、多数の点が重なった集合体として表される。このようにして、利用者Ａ１，Ｂ１，Ｃ１，Ｄ１がそれぞれ独立して別々のモデリング座標系で定義される（３次元化される）。
【0123】
【数1】
【0124】
なお、ベクトルＰは射影行列であり、ベクトルＰ-1は、カメラ座標系からリアル座標系へ変換するための行列である。ベクトルＭは、リアル座標系からモデリング座標系へ変換するための行列である。この出力値は、モデリング座標系の点（座標）及び色情報を示す。
【0125】
次に、図２８に戻り、記憶・読出処理部３９ｄは、記憶部３０００ｄに記憶されている自装置（通信装置１ｄ）のディスプレイ情報を読み出す（Ｓ２２２）。そして、画像・音処理部３３ｄが、ディスプレイ情報における「仮想空間上（モデリング座標系）のディスプレイの各隅の位置の情報」に基づいて、モデリング座標系に自拠点の仮想ディスプレイ（仮想スクリーンともいう）ｄｄを配置する（Ｓ２２３）。図３０は、モデリング座標系に利用者Ｄ１の画像と仮想ディスプレイを配置した概念図である。例えば、画像・音処理部３３ｄは、図３０に示されているように、自拠点の利用者Ｄ１の画像に対して更に仮想ディスプレイｄｄを配置（定義）する。
【0126】
また、図２８に戻り、記憶・読出処理部３９ｄは、位置管理ＤＢ３００７ｄ（図１２参照）から、同じ通信セッションの映像通話に参加中の利用者（通信装置）の接続ＩＤに関連付けられている「モデリング座標系からワールド座標系への変換パラメータ」及び「移動ベクトル」を読み出す（Ｓ２２４）。そして、画像・音処理部３３ｄは、各物体の画像と自拠点の仮想ディスプレイを、仮想空間上においてモデリング座標系からワールド座標系にモデリング変換する（Ｓ２２５）。
【0127】
ここで、再び図２９を用いて、モデリング座標系からワールド座標系への変換を説明する。
【0128】
画像・音処理部３３ｄは、図２９に示されているように、モデリング座標系の利用者Ａ１の画像を、（式２）を利用して、１つの共通の第２の仮想空間上（ワールド座標系）にモデリング変換(Modeling Transformation)する。なお、モデリング変換は、モデリング座標系上で定義された表示物体をワールド座標系上に配置するための変換処理であり、表示物体の拡大縮小、回転、せん断及び平行移動という四つの変換処理の組み合わせを示す。
【0129】
【数2】
【0130】
なお、ベクトルＷは、モデリング座標系からワールド座標系へ変換するための行列である。この出力値は、ワールド座標系の点（座標）及び色情報を示す。
【0131】
図３１は、モデリング座標系からワールド座標系への変換を示したイメージ図である。図３１に示されているように、画像・音処理部３３ｄは、各モデリング座標系のＡ１，Ｂ１，Ｃ１，Ｄ１の画像及び自拠点の仮想ディスプレイｄｄ４を、１つの共通のワールド座標系にモデリング変換する。これにより、各拠点の利用者Ａ１，Ｂ１，Ｃ１，Ｄ１の画像が、共通の通信セッションの映像通話に参加することができる。
【0132】
（（利用者が見える画像の表示））
続いて、図２６に戻り、利用者Ｄ１が通信装置１で見ることができる画像を表示する処理を説明する。
続いて、図２６に戻り、利用者Ｄ１が通信装置１で見ることができる画像を表示する処理を説明する。
【0133】
図２６に示されているように、画像・音処理部３３ａが、輝度画像取得部３６ｄによって取得された輝度画像データ及び深度画像取得部３７ｄによって取得された輝度画像データに基づき、利用者Ｄ１の目、鼻、肩等の骨格情報を検出する（Ｓ２０４）。
【0134】
次に、画像・音処理部３３ａが、骨格情報の両目の中心を視点位置として、この視点位置に基づき、図３１の中央部に示されているようなワールド座標系における利用者Ｄ１が仮想ディスプレイｄｄによって見ることができる他の利用者Ａ１等の画像を作成する（Ｓ２０５）。換言すると、画像・音処理部３３ａは、ワールド座標系の表示物体を視点位置に基づき仮想ディスプレイｄｄに表示される画像に変換する。この変換は、ワールド座標系から視点座標系への変換を意味し、視野変換と呼ばれる。視点座標系は、仮想空間上でのカメラの位置（視点）を原点とし、利用者が見たい方向（被写体が存在する方向）に広がっている座標系である。
【0135】
ワールド座標系において、視点から仮想ディスプレイｄｄ上の画素に向かうレイトレーシング(Ray Tracing)法によるレイ(ray)とポリゴン(３Ｄモデルを構成する仮想的な三角形や多角形等)との交点を計算する。このレイは、画像方向から視点に向かう光線を、視点から逆にたどるものである。この方法は、光線追跡法とよばれ、視線を逆に辿ることから、視線逆探索法とも呼ばれる。そして、視点に最も近い交点、すなわちレイと最初に交差する物体（コンピュータグラフィックスの分野では、上記「ポリゴン」と呼ばれる）を求め、その物体の色で仮想ディスプレイ上の画素を塗る。レイと交差する物体（ポリゴン）が存在しない場合には、画素に対して背景色を塗る。この処理を仮想ディスプレイｄｄ全体の画素に対して行うことにより仮想ディスプレイｄｄに表示される画像が作成される。
【0136】
なお、光線追跡法以外にも、Ｚバッファ法などが存在し、仮想ディスプレイｄｄで表示される画像を作成する方法は、上記方法に限定されるものではない。
【0137】
次に、画像・音処理部３３ａは、上記作成した仮想空間上（ワールド座標系）の画像を現実空間上の通信装置１ｄのディスプレイ１１８上に表示するための画像に変換する（Ｓ２０６）。そして、表示制御部３４ｄは、現実空間上の通信装置１ｄのディスプレイ１１８上に、ステップＳ２０６で変換した後の画像を表示する（Ｓ２０７）。この場合、ディスプレイ１１８に画像が表示される空間は２次元平面画像であり、解像度は、コンピュータの性能、特にビデオボード（又はグラフィックスボード）に搭載されている表示メモリなどのデバイスに依存するため、デバイス座標系と呼ばれる。
【0138】
（第２の距離以上の場合の表示処理）
次に、第２の距離以上の場合の表示処理について説明する。
次に、第２の距離以上の場合の表示処理について説明する。
【0139】
記憶・読出処理部３９ｄは、記憶部３０００ｄから、予め記憶されているアイコンのデータを読み出す。なお、アイコンは、キャラクタ画像の一例である。キャラクタ画像には、アバターも含まれる。
【0140】
次に、画像・音処理部３３ｄは、仮想の利用者Ｄ１と計測の対象となった他の仮想の利用者との距離に応じてアイコンの大きさを変更する。例えば、図２７に示されているように、仮想の利用者Ｄから第２の距離以上において、近い場合にアイコン大Ｃ１に変更し、次に遠い場合にアイコン中Ｃ２に変更し、更に遠い場合にアイコン小Ｃ３に変更する。ここでは、三段階の変更を示しているが、何段階の変更を行ってもよい。そして、ステップＳ２１２の処理後、上記ステップＳ２０５の処理に進む。
【0141】
（第１の距離以上で第２の距離未満場合の表示処理）
次に、第１の距離以上で第２の距離未満場合の表示処理について説明する。この場合、画像・音処理部３３ａは、図２４に示されるような合計１０個の画像のうち、仮想の利用者Ｄ１と計測の対象となった他の仮想の利用者の正面となる輝度画像Ｌｃのみで平面画像を作成する（Ｓ２１３）。例えば、図２７に示されているように、仮想の利用者Ｄから第１の距離以上で第２の距離未満においては、平面画像Ｂが作成される。そして、ステップＳ２１３の処理後、上記ステップＳ２０５の処理に進む。
次に、第１の距離以上で第２の距離未満場合の表示処理について説明する。この場合、画像・音処理部３３ａは、図２４に示されるような合計１０個の画像のうち、仮想の利用者Ｄ１と計測の対象となった他の仮想の利用者の正面となる輝度画像Ｌｃのみで平面画像を作成する（Ｓ２１３）。例えば、図２７に示されているように、仮想の利用者Ｄから第１の距離以上で第２の距離未満においては、平面画像Ｂが作成される。そして、ステップＳ２１３の処理後、上記ステップＳ２０５の処理に進む。
【0142】
【0143】
（会議の参加者（利用者Ｄ１）に見せる表示例）
（（初期表示））
図３２は、利用者Ｄ１の通信装置のディスプレイ１１８に表示された画像を示す図である。また、図３２は、図１３に示されている仮想参加者の配置位置に基づいた表示例である。図３２に示されいるように、仮想空間上（ここでは、ワールド座標系）において、利用者Ｄ１の視線の向こうには、右斜め前の少し奥に利用者Ａ１の平面画像、左斜め前の更に奥に利用者Ｂ１の正面を示すアイコン大、真正面の一番奥に利用者Ｃ１の背面を示すアイコン小が位置している。また、各利用者の名前も表示されている。この名前は、通信管理ＤＢ６００１に管理されている名前の情報によって表示される。この名前の情報は、接続ＩＤと共に通信管理サーバ６から予め各通信装置１に送信されている。なお、仮想空間上（ワールド座標系）の１つの位置に、原則として一人の利用者しか存在しない。
（（初期表示））
図３２は、利用者Ｄ１の通信装置のディスプレイ１１８に表示された画像を示す図である。また、図３２は、図１３に示されている仮想参加者の配置位置に基づいた表示例である。図３２に示されいるように、仮想空間上（ここでは、ワールド座標系）において、利用者Ｄ１の視線の向こうには、右斜め前の少し奥に利用者Ａ１の平面画像、左斜め前の更に奥に利用者Ｂ１の正面を示すアイコン大、真正面の一番奥に利用者Ｃ１の背面を示すアイコン小が位置している。また、各利用者の名前も表示されている。この名前は、通信管理ＤＢ６００１に管理されている名前の情報によって表示される。この名前の情報は、接続ＩＤと共に通信管理サーバ６から予め各通信装置１に送信されている。なお、仮想空間上（ワールド座標系）の１つの位置に、原則として一人の利用者しか存在しない。
【0144】
このように、表示制御部３４ｄは、通信装置１ｄのディスプレイ１１８上に、利用者Ａ１，Ｂ１，Ｃ１に係る各種画像を合成した合成画像を表示させる。
【0145】
（（移動後表示））
続いて、利用者Ｄ１が現実空間上でマウス１３等を操作することで、図１４に示されているように、仮想空間上で仮想の利用者Ｄ１が仮想の利用者Ａ１の近くまで移動した場合の表示について、図３３を用いて説明する。図３３は、利用者Ｄ１の通信装置のディスプレイ１１８に表示された画像を示す図である。
続いて、利用者Ｄ１が現実空間上でマウス１３等を操作することで、図１４に示されているように、仮想空間上で仮想の利用者Ｄ１が仮想の利用者Ａ１の近くまで移動した場合の表示について、図３３を用いて説明する。図３３は、利用者Ｄ１の通信装置のディスプレイ１１８に表示された画像を示す図である。
【0146】
図３３に示されいるように、仮想空間上（ここでは、ワールド座標系）において、利用者Ｄ１の視線の向こうには、真正面の近傍に利用者の立体画像、左斜め前の少し奥に利用者Ｂ１の平面画像、少し左斜め前の更に奥に利用者Ｃ１背面を示すアイコン中が位置している。このように、表示制御部３４ｄは、通信装置１ｄのディスプレイ１１８上に、利用者Ａ１，Ｂ１，Ｃ１に係る各種画像を合成した合成画像を表示させる。
【0147】
〔実施形態の主な効果〕
以上説明したように本実施形態によれば、表示制御部３４ｄは、仮想空間上における自拠点と他拠点の距離に応じて、送受信部３１ｄで受信された画像データに基づく他拠点における被写体の画像と、この被写体に係るキャラクタ画像とを切り替えて表示する。これにより、仮想空間内にいる仮想の利用者Ｃ１等が、誰から見られているか分からず安心感が無いという課題をできるだけ解消することができる。
以上説明したように本実施形態によれば、表示制御部３４ｄは、仮想空間上における自拠点と他拠点の距離に応じて、送受信部３１ｄで受信された画像データに基づく他拠点における被写体の画像と、この被写体に係るキャラクタ画像とを切り替えて表示する。これにより、仮想空間内にいる仮想の利用者Ｃ１等が、誰から見られているか分からず安心感が無いという課題をできるだけ解消することができる。
【0148】
また、表示制御部３４ｄは、仮想空間上における自拠点と他拠点の距離に応じて、送受信部３１っで受信された輝度画像のデータに基づく他拠点における被写体の平面画像と、同じく受信された輝度画像及び深度画像のデータに基づく他拠点における被写体の立体画像とを切り替えて表示する。これにより、利用者Ｄ１は、名前を忘れたが顔を覚えている利用者が仮想空間内に参加していることや、利用者の表情を把握することができる。また、仮想空間上で利用者Ｄ１と他の利用者（例えば、図３４の利用者Ａ１）の距離がかなり近くなると、平面画像から立体画像に変わるため、コミュニケーションを行う利用者と同室感を得ることできる。
【0149】
また、表示制御部３４ｄは、仮想空間上における自拠点と他拠点の間の距離に応じて、複数サイズのキャラクタ画像を切り替えて表示する。更に、表示制御部３４ｄは、仮想空間上における自拠点と他拠点の間の距離が短くなるにつれて、キャラクタ画像のサイズを大きくして表示する。これにより、利用者Ｄ１にとっては、利用者がアイコンで表示される場合であっても、仮想の利用者に近づいたことが分かる。なお、利用者Ｄ１は、アイコンで示される仮想の利用者の表情を把握することができないが、表示される名前で誰が仮想空間上に存在するかを把握することができる。
【0150】
〔補足〕
上記通信管理サーバ６は、単純に「サーバ」と呼んでも良い。通信管理サーバ６は、クラウドコンピューティング(Cloud Computing)の形態で提供されてもよい。クラウドコンピューティングとは、インターネットなどのコンピュータネットワークを経由して、コンピュータ資源をサービスの形で提供する利用形態を示し、提供されるコンピュータ資源がサーバである。提供するサービスの形態は、SaaS(Software as a Service)、PaaS(Platform as a Service)、HaaSまたはIaaS(Hardware / Infrastructure as a Service)等あるが、サービスの提供形態は、制限されない。
上記通信管理サーバ６は、単純に「サーバ」と呼んでも良い。通信管理サーバ６は、クラウドコンピューティング(Cloud Computing)の形態で提供されてもよい。クラウドコンピューティングとは、インターネットなどのコンピュータネットワークを経由して、コンピュータ資源をサービスの形で提供する利用形態を示し、提供されるコンピュータ資源がサーバである。提供するサービスの形態は、SaaS(Software as a Service)、PaaS(Platform as a Service)、HaaSまたはIaaS(Hardware / Infrastructure as a Service)等あるが、サービスの提供形態は、制限されない。
【0151】
更に、上記実施形態では、図２９に示されているように、各通信装置１が、各拠点の現実空間の物体を、一旦、個別に第１の仮想空間としてのモデリング座標系で定義することで３次元化し、その後に各物体の画像を１つのワールド座標系に変換させているが、これに限るものではない。例えば、通信管理サーバ６が、各拠点の現実空間の物体を、一旦、個別に第１の仮想空間としてのモデリング座標系で定義することで３次元化し、その後に各物体の画像を１つのワールド座標系に変換させてもよい。この場合、通信管理サーバ６は、ワールド座標系に変換後の画像データを各拠点の通信装置１に送信する。即ち、第１の通信装置（例えば、通信装置１ｄ）と、第２の通信装置（例えば、通信装置１ａ）と、サーバ（例えば、通信管理サーバ６）とを備える通信システムは、第１の通信装置で撮影した画像データと第２の通信装置で撮影した画像データを用いて、仮想空間上の第１の通信装置における被写体の位置と仮想空間上の第２通信装置における被写体の位置との変更可能な位置関係に応じて生成された表示画像を提供する提供手段と、前記提供手段で提供された表示画像を表示する表示制御手段とを備える。
【0152】
上記実施形態で説明した各ＣＰＵは、１つの装置に複数設けられていてもよい。
【0153】
また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。
【0154】
更に、各通信装置１ａ～１ｄ、及び通信管理サーバ６との間の通信において、他のサーバやルータ等がデータを中継してもよい。
【符号の説明】
【0155】
１ａ 通信装置（他の通信装置の一例、第１の他の通信装置の一例）
１ｂ 通信装置（他の通信装置の一例、第２の他の通信装置の一例）
１ｃ 通信装置（他の通信装置の一例）
１ｄ 通信装置（自装置の一例）
１１８ ディスプレイ（表示手段の一例）
６ 通信管理サーバ
３１ｄ 送受信部（送信手段の一例、受信手段の一例、第２の受信手段の一例）
３２ｄ 受付部（受付手段の一例）
３４ｄ 表示制御部（表示制御手段の一例）
６１ 送受信部（第１の受信手段の一例）
１ｂ 通信装置（他の通信装置の一例、第２の他の通信装置の一例）
１ｃ 通信装置（他の通信装置の一例）
１ｄ 通信装置（自装置の一例）
１１８ ディスプレイ（表示手段の一例）
６ 通信管理サーバ
３１ｄ 送受信部（送信手段の一例、受信手段の一例、第２の受信手段の一例）
３２ｄ 受付部（受付手段の一例）
３４ｄ 表示制御部（表示制御手段の一例）
６１ 送受信部（第１の受信手段の一例）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
