特許 6692922 複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6692922

(24)【登録日】2020年4月17日

(45)【発行日】2020年5月13日

(54)【発明の名称】複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20200427BHJP

   H04M 3/56 20060101ALI20200427BHJP

【ＦＩ】

   H04N7/15 120

   H04M3/56 C

【請求項の数】14

【全頁数】14

(21)【出願番号】特願2018-552229(P2018-552229)

(86)(22)【出願日】2018年3月20日

(65)【公表番号】特表2019-532524(P2019-532524A)

(43)【公表日】2019年11月7日

(86)【国際出願番号】KR2018003202

(87)【国際公開番号】WO2019022332

(87)【国際公開日】20190131

【審査請求日】2018年10月2日

(31)【優先権主張番号】10-2017-0093650

(32)【優先日】2017年7月24日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】518350059

【氏名又は名称】ユープリズム カンパニー リミテッド

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(72)【発明者】

【氏名】チャ、ミン ス

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１１−０７７８３９（ＪＰ，Ａ）

【文献】 特開平０９−２７０７９２（ＪＰ，Ａ）

【文献】 特開平０７−３２７０８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１４ − ７／１５

Ｈ０４Ｍ ３／５６

(57)【特許請求の範囲】

【請求項1】

ビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法において、
端末登録部が、物理的端末のそれぞれをビデオ会議ポイント（Ｐｏｉｎｔ）として登録するものであり、そのうちの一部である複数の物理的端末を一つの論理的端末として登録することにより、前記論理的端末として登録した前記複数の物理的端末が一つのビデオ会議ポイントのように動作するように登録する登録段階と、
通話接続部が、前記登録段階で登録された複数のビデオ会議ポイント間のビデオ会議を接続し、前記論理的端末に対しては前記論理的端末を構成する複数の物理的端末と個別に接続する呼接続段階と、
前記通話接続部が、前記呼接続段階によるビデオ会議の接続後に、前記複数のビデオ会議ポイントが提供するソース映像を受信し、前記論理的端末に対しては前記複数の物理的端末それぞれから前記ソース映像を受信するソース映像受信段階と、
前記通話接続部が前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末の複数の物理的端末に分配することによって、前記論理的端末が一つの仮想のビデオ会議ポイントとして動作するようにするマルチスクリーン映像提供段階とを含むことを特徴とする、
ビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。

【請求項2】

前記呼接続段階は、呼接続の発信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する段階、または、前記呼接続の受信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する段階を含むことを特徴とする請求項１に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。

【請求項3】

前記マルチスクリーン映像提供段階は、映像処理部が前記ソース映像受信段階により受信した全体ソース映像を用いて前記論理的端末を構成する複数の物理的端末それぞれに分配する映像をミックスする段階を含むことを特徴とする請求項１に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。

【請求項4】

前記映像処理部は、前記ソース映像受信段階により受信したＭ個の全体ソース映像のうち前記論理的端末から受信したｍ２個のソース映像を除いたｍ３個の映像を用いて前記複数の物理的端末のためのｍ１個の映像にミックスし、ｍ１は、前記論理的端末に含まれたディスプレイ装置の数であり、

であり、Ｍは全体ソース映像の個数、ｍ２は前記論理的端末を構成する物理的端末の個数であることを特徴とする請求項３に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。

【請求項5】

前記複数のビデオ会議ポイントのうち一つが文書会議のための発表者トークンを取得した場合に、前記Ｍは全体ソース映像の個数に１を足したものであることを特徴とする請求項４に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。

【請求項6】

前記マルチスクリーン映像提供段階において、前記映像処理部は、前記複数の物理的端末それぞれに提供される映像に前記論理的端末自身のソース映像を共にミックスすることを特徴とする請求項３に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。

【請求項7】

前記マルチスクリーン映像提供段階において、前記通話接続部は、前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末に順次提供することを特徴とする請求項１に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。

【請求項8】

マルチスクリーンビデオ会議サービスを提供できるビデオ会議サーバーにおいて、
物理的端末のそれぞれをビデオ会議ポイント（Ｐｏｉｎｔ）として登録するものであり、そのうちの一部である複数の物理的端末を一つの論理的端末として登録することにより、前記論理的端末として登録した前記複数の物理的端末が一つのビデオ会議ポイントのように動作する端末登録部と、
前記端末登録部で登録された複数のビデオ会議ポイント間のビデオ会議のための呼を接続して前記複数のビデオ会議ポイントが提供するソース映像を受信し、前記論理的端末に対しては前記論理的端末を構成する複数の物理的端末と個別に接続し、前記複数の物理的端末それぞれからソース映像を受信する通話接続部と、
前記通話接続部が受信したソース映像を用いて前記複数のビデオ会議ポイントに提供する映像を生成する映像処理部とを含み、
前記通話接続部は、前記論理的端末に提供する映像を前記複数の物理的端末に分配することによって、前記論理的端末が一つの仮想のビデオ会議ポイントとして動作するようにすることを特徴とする、
ビデオ会議サーバー。

【請求項9】

前記通話接続部は、前記呼接続の発信側が前記論理的端末に属する物理的端末であれば、前記論理的端末の残りの物理的端末とも個別接続を生成し、前記呼接続の受信側が前記論理的端末に属する物理的端末であれば、前記論理的端末の残りの物理的端末とも個別接続を生成することを特徴とする請求項８に記載のビデオ会議サーバー。

【請求項10】

前記映像処理部が前記複数のビデオ会議ポイントから受信した全体ソース映像を用いて前記論理的端末を構成する複数の物理的端末それぞれに分配する映像をミックスすることを特徴とする請求項８に記載のビデオ会議サーバー。

【請求項11】

前記映像処理部は、前記複数のビデオ会議ポイントから受信したＭ個の全体ソース映像のうち前記論理的端末から受信したｍ２個のソース映像を除いたｍ３個の映像を用いて前記複数の物理的端末のためのｍ１個の映像にミックスし、ｍ１は前記論理的端末に含まれたディスプレイ装置の数であり、

であり、Ｍは全体ソース映像の個数、ｍ２は前記論理的端末を構成する物理的端末の個数であることを特徴とする請求項１０に記載のビデオ会議サーバー。

【請求項12】

前記複数のビデオ会議ポイントのうち一つが文書会議のための発表者トークンを取得した場合に、前記Ｍは全体ソース映像の個数に１を足したものであることを特徴とする請求項１１に記載のビデオ会議サーバー。

【請求項13】

前記映像処理部は、前記複数の物理的端末それぞれに提供する映像に前記論理的端末自身のソース映像を共にミックスすることを特徴とする請求項１０に記載のビデオ会議サーバー。

【請求項14】

前記通話接続部は、前記全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末に順次提供することを特徴とする請求項８に記載のビデオ会議サーバー。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチポイントのビデオ会議（Ｍｕｌｔｉ Ｐｏｉｎｔ Ｖｉｄｅｏｃｏｎｆｅｒｅｎｃｉｎｇ）システムに関し、従来のテレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）装備がなくても、複数のビデオ会議用端末を用いてマルチポイントのビデオ会議のための複数の映像を表示できるマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法に関する。

【背景技術】

【0002】

ビデオ会議システムは、一般的にＨ．３２３やＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）のような標準プロトコルを用いる標準基盤のビデオ会議端末（またはシステム）と、開発者が自体開発した独自のプロトコルを用いる非標準ビデオ会議端末に分けられる。
シスコ（ＣＩＳＣＯ）（登録商標）、ポリコム（ＰＯＬＹＣＯＭ）（登録商標）、アバイア（ＡＶＡＹＡ）（登録商標）、ライフサイズ（ＬＩＦＥＳＩＺＥ）（登録商標）などのメジャーなビデオ会議装備業者は、上で言及した標準プロトコルを用いたビデオ会議ソリューションを供給しているが、標準技術のみを用いて製品を作る場合、多様な機能の実現は困難であるため、非標準ビデオ会議システムを供給する業者も多い。

【0003】

＜標準端末基盤のマルチビデオ会議のためのＭＣＵ＞
ビデオ会議システムは、２個のビデオ会議端末（２個のポイント）のみが接続される１：１のビデオ会議があり、複数のビデオ会議端末（複数のポイント）が同時に接続されるマルチビデオ会議がある。ビデオ会議に参加したすべてのビデオ会議端末は、個別に一つのビデオ会議ポイント（Ｐｏｉｎｔ）になり、ポイントごとに少なくとも一名の会議参加者が陪席することが一般的である。
標準ビデオ会議端末は、相手と一つのセッションを接続して通常一つの映像と音声のみを処理するため、基本的に１：１のビデオ会議に適用され、付加的に標準端末でもＨ．２３９とＢＦＣＰ（Ｂｉｎａｒｙ Ｆｌｏｏｒ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を用いると、文書会議のための補助映像をもう一つ処理できる。ここで、ＢＦＣＰは、会議（Ｃｏｎｆｅｒｅｎｃｅ）システムでフロア制御（Ｆｌｏｏｒ Ｃｏｎｔｒｏｌ）を行うためのバイナリー（Ｂｉｎａｒｙ）形式の規格として、コラボレーションソフトウエア（Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｓｏｆｔｗａｒｅ）を処理する端末間のコラボレーションセッションのあいだフロー制御を処理するための標準である。
標準ビデオ会議システムにおいて、このような技術的な制約を解決し、１：１でない３個以上のポイントが接続されたマルチビデオ会議をするためには別途ＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｉｎｇ Ｕｎｉｔ）という装置が必要である。ＭＣＵは、３個以上のポイントから提供される映像をミックス（Ｍｉｘｉｎｇ）して各ポイントのための映像を一つずつ作って標準端末に提供することにより標準プロトコルの制約を解消する。ミックスは相対的にコストが多くかかる作業である。
ビデオ会議に結合されたすべてのビデオ会議端末は、自身が生成した映像と音声データとを圧縮して相手に送信するため、ＭＣＵがこれらの映像を再びミックスするためには圧縮された映像を再びデコード（Ｄｅｃｏｄｉｎｇ）して元の映像をデータに復元した後、既に設定されたレイアウトに合わせて複数の映像レンダリング（Ｒｅｎｄｅｒｉｎｇ）して新たな映像を作るミックス過程を行う。ＭＣＵは、ミックスが完了した映像を再びエンコード（Ｅｎｃｏｄｉｎｇ）して各ポイントに配分する。したがって、ＭＣＵやＭＣＵ機能を備えたサーバーは、ビデオ会議システムにおいて相対的に非常に高価に該当する装備であるが、マルチビデオ会議のための核心的な装備である。
映像をミックスすれば、端末では一つの映像を処理することであるため、技術的に１：１で会議する時との差はないが、ＭＣＵが提供する映像には複数のポイントから提供される映像がＰＢＰ（Ｐｉｃｔｕｒｅ ｂｙ Ｐｉｃｔｕｒｅ）、ＰＩＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）などの形態で結合されている。さらに端末側で必要な帯域幅も１：１と比べたとき、事実上差はない。

【0004】

＜非標準ビデオ会議システムにおけるマルチビデオ会議＞
非標準ビデオ会議システムでは標準的なＭＣＵを用いずに映像を処理し、標準映像端末と接続が必要であれば、別途のゲートウェイ（Ｇａｔｅｗａｙ）を用いる。複数のポイントの端末は一つのサーバーにログインして特定の会議室に参加する手続きを経る。一部の非標準製品は、サーバーが存在せず、Ｐ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）で処理する場合もある。
非標準ビデオ会議システムにおいて、ＭＣＵまたはＭＣＵ機能を行う装置を用いない理由は、ＭＣＵ機能を実現するために高価の高性能サーバーが必要であるからである。映像ミックスを行う代わりに、各端末は、自身が生成した映像を他の参加者（他のポイントの端末）に単にリレー（Ｒｅｌａｙ）する方法を多く用いる。リレー方式は、ミックスよりサーバーのシステムリソースを少なく使用する長所があるが、映像リレーに必要なネットワーク帯域幅は、幾何級数的に増える短所がある。
例えば、５名（５個のポイント）が同じ会議屋に参加しており、各ポイントでは他の参加者が提供する画面を一度に皆が見ているとの仮定下で計算してみると、本人の映像をサーバーに伝送して他の４名の映像をもらわなければならないので、２５倍（５×５）の帯域幅が必要である。仮に、１０個のビデオ会議端末が参加している場合、１００倍（１０×１０）の帯域幅が必要である。ビデオ会議参加者が多くなれば、必要な帯域幅が幾何級数的に増加する。

【0005】

＜文書ビデオ会議のためのトークン取得＞
従来の一般的なビデオ会議端末は、メイン映像画面と文書映像画面を同時に２個のディスプレイ装置に各々出力できるが、安いビデオ会議装備の中には単一ディスプレイ出力のみ支援する場合が多い。単一ディスプレイのみ支援するビデオ会議端末は、文書ビデオ会議のためのＨ．２３９またはＢＦＣＰを支援する場合もあり、支援しない場合もある。
単一ディスプレイにおいて、Ｈ．２３９またはＢＦＣＰプロトコルによる文書映像を表示する時には通常画面を分割して表示し、端末自体で２個の映像を多様な形態で表示するための複数のレイアウトを提供し得る。また、端末でメイン映像または文書映像のうち一つを選択して拡大する機能も大部分支援する。
前述したようにビデオ会議端末は、１個の映像を送出できるが、Ｈ．２３９またはＢＦＣＰ技術を用いれば、文書映像をさらに送出できる。文書映像を送出するために発表者は発表者トークン（Ｔｏｋｅｎ）を取得しなければならないが、ビデオ会議に参加した端末のうちただ一つの端末（すなわち、一つのポイント）のみがトークンを有し得る。そのために、参加者メイン映像と文書映像を同時にサーバーに送出できるのは、発表者トークンを取得した端末のみである。

【0006】

＜テレプレゼンス＞
一方、シスコ（Ｃｉｓｃｏ）及びポリコム（Ｐｏｌｙｃｏｍ）などのメジャーな業者は超高価のテレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）技術のビデオ会議装備を供給するが、この装備は３個または４個のディスプレイ出力を支援するだけでなく、その支援される出力ディスプレイ数だけの映像を発表者トークンなしに送出できる。関連業界ではビデオ会議のためのマルチ映像の送出機能はテレプレゼンス装備のみの固有の機能として認識されている。
テレプレゼンス装備は、一般的なビデオ会議端末と連動されず、別途提供される高価なゲートウェイ装備がなければ相互連動できない。このように連動しても一般のビデオ会議の装備同士が通話することに比べて映像品質が非常に劣る。このような理由によって３個のディスプレイ出力を有するビデオ会議端末は相対的にほとんど普及されておらず、標準技術という制約により拡張性に制限がある状態である。

【0007】

＜関連先行技術＞
韓国公開特許第１０−２０１６−００６２７８７号公報（テレビカンファレンスのために複数のテレビフィードバックをミックス処理する方法、これを用いたテレビカンファレンス端末装置、テレビカンファレンスサーバー及びテレビカンファレンスシステム）

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、複数のビデオ会議用端末を用いてマルチポイントのビデオ会議のためのマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及び方法を提供することにある。
背景技術で検討したように、従来のビデオ会議端末は、自身が保有しているテレビ出力端子の個数によって接続可能なディスプレイ装置の数が決定される。一般の汎用ビデオ会議端末の場合、最大２個のスクリーンを支援し、テレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）と呼ばれる装備は、３個以上のマルチスクリーンが支援するが、非常に高価で流通される。これを解決するために、本発明では終端（Ｅｎｄ Ｐｏｉｎｔ）が保有している複数のビデオ会議端末を論理的端末で構成し、複数のビデオ会議端末がまるでマルチスクリーンを保有している一つのビデオ会議ポイントのように動作するように処理することで、従来のテレプレゼンス装備がなくてもマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法を提供することが目的である。
また、本発明は、超高価のテレプレゼンス装備が複数の映像を送出することのように、発表者トークンを取得しなくても複数の映像を伝送し、３個以上のディスプレイ出力が可能なマルチスクリーンビデオ会議サーバー及び方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

前記目的を達成するための本発明によるビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法は、サーバーの端末登録部、通話接続部、映像処理部によって行われ、複数の物理的端末を一つの仮想論理的端末に束ねて仮想のビデオ会議ポイントとして動作するようにし、論理的端末に含まれた複数のディスプレイ装置を用いてマルチスクリーンビデオ会議サービスを提供し得る。
本発明の方法は、端末登録部が複数の物理的端末を一つの論理的端末として登録し、前記複数の物理的端末が一つのビデオ会議ポイント（Ｐｏｉｎｔ）のように動作するように登録する登録段階と、通話接続部が前記論理的端末を含む複数のビデオ会議ポイント間のビデオ会議を接続し、前記論理的端末に対しては前記論理的端末を構成する複数の物理的端末と個別に接続する呼接続段階と、前記通話接続部が前記複数のビデオ会議ポイントが提供するソース映像を受信するが、前記論理的端末に対しては前記複数の物理的端末それぞれから前記ソース映像を受信するソース映像受信段階と、前記通話接続部が前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末の複数の物理的端末に分配することによって、前記論理的端末が一つの仮想のビデオ会議ポイントとして動作するようにするマルチスクリーン映像提供段階とを含む。
実施例によって、前記呼接続段階は、発信側または受信側が前記論理的端末である場合に、一般のポイントとは異ならせて処理する。仮に、呼接続の発信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する。また、前記呼接続の受信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する。呼接続には例えば、Ｈ．３２３またはＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などのプロトコルが用いられ得る。
実施例によって、前記マルチスクリーン映像提供段階は、映像処理部が前記ソース映像受信段階により受信した全体ソース映像を用いて前記論理的端末を構成する複数の物理的端末それぞれに分配する映像をミックスする段階を含む。
例えば、前記映像処理部は、前記ソース映像受信段階により受信したＭ個の全体ソース映像のうち前記論理的端末から受信したｍ２個のソース映像を除いたｍ３個の映像を用いて前記複数の物理的端末のためのｍ１個の映像にミックスする。ここで、ｍ１は前記論理的端末に含まれたディスプレイ装置の数である。ｍ３は次の数式のとおりである。

（この時、Ｍは全体ソース映像の個数、ｍ２は前記論理的端末を構成する物理的端末の個数）
ここで、仮に前記複数のビデオ会議ポイントのうち一つが文書会議のための発表者トークンを取得した場合、該当物理的端末は２個のソース映像を提供するため、前記Ｍは全体ソース映像の個数に１を足したものであり得る。
他の実施例によって、前記マルチスクリーン映像提供段階において、映像処理部は、前記複数の物理的端末それぞれに提供される映像に前記論理的端末自身のソース映像を共にミックスすることもできる。
また他の実施例によれば、前記マルチスクリーン映像提供段階の他の方法も可能である。例えば、前記マルチスクリーン映像提供段階において、前記通話接続部は、前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末に順次提供することもできる。このような処理によれば、従来のリレー方式のような映像表示が可能になる。
本発明の権利は、前記方法を行うために前記端末登録部、映像処理部及び通話接続部を備えたビデオ会議サーバーにも及ぶ。

【発明の効果】

【0010】

本発明のビデオ会議サーバーは、制限された個数（通常１個または２個）のティスプレイを備えたビデオ会議端末（物理的端末）を論理的に束ねてまるで一つのビデオ会議ポイントで動作する論理的端末のように動作するように実現できる。ビデオ会議サーバーは、論理的端末を構成する複数の物理的端末に提供する映像の分配により論理的端末がマルチスクリーンを支援するように処理できる。
マルチポイントビデオ会議において、ビデオ会議サーバーは、論理的端末が備えたスクリーン、すなわちディスプレイ装置の個数に合わせて他のビデオ会議ポイントの映像を分配するため、論理的端末に含まれた物理的端末の立場では従来に比べて表示すべき他のビデオ会議ポイントの数が減る効果があり、したがって、一つのスクリーンに表示される映像の複雑度も低くなる。映像の複雑度が低くなるので、たとえ性能が劣る物理的端末や速度が低いネットワークにおいて映像品質が改善される効果がある。
本発明の論理的端末は、単にビデオ会議サーバーの内部処理により実現されるものであり、物理的端末間の直接的な接続がないので、たとえ互いに異なる映像コーデックを備えるか、システム性能が互いに異なるか、互いに異なる製造社の物理的端末であるとしても一つの論理的端末に束ねて処理するのに問題はない。当然、論理的端末によりマルチスクリーンを提供するものであるため、マルチスクリーン支援のために個別ビデオ会議端末のシステムリソースをアップグレードする必要もない。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施例によるビデオ会議システムの構成図である。

【図2】図１の３個のポイントがすべて参加するマルチビデオ会議の接続図である。

【図3】本発明のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法の説明に提供されるフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明をさらに詳しく説明する。
図１を参照すると、本発明のビデオ会議システム１００は、サーバー１１０と複数のビデオ会議端末がネットワーク３０を介して接続されたものであって、２個の接続ポイント（Ｐｏｉｎｔ）が接続された１：１のビデオ会議だけでなく、３個以上のポイントが接続されているマルチビデオ会議を支援する。図１に示すビデオ会議端末（１１，１３，１５，１７，１９）は、接続可能なビデオ会議端末を例示的に示したものである。
サーバー１１０とビデオ会議端末（１１，１３，１５，１７，１９）との間の接続ネットワーク３０は、ＩＰ網（ＩＰ Ｎｅｔｗｏｒｋ）であり、ゲートウェイ（Ｇａｔｅｗａｙ）を介して接続される異種ネットワークを含むか、異種ネットワークと接続され得る。例えば、移動通信網を用いる無線電話機も本発明のビデオ会議端末になり得、この場合、ネットワーク３０はゲートウェイ（Ｇａｔｅｗａｙ）を介して接続されてＩＰパケットを処理できる移動通信網を含む。
サーバー１１０は、本発明のビデオ会議システム１００を全般的に制御し、従来の一般的なビデオ会議処理用サーバー機能に加え、端末登録部１１１、通話接続部１１３及び映像処理部１１５を含む。
端末登録部１１１は、以下で説明する物理的端末と論理的端末の登録、設定及び管理などを行い、通話接続部１１３は、本発明のビデオ会議の呼（Ｃａｌｌ）接続を制御する。映像処理部１１５は、ビデオ会議の呼が接続された場合に物理的端末及び／または論理的端末間に提供する映像を処理（ミックス、デコード、エンコードなど）することで、テレプレゼンスのようなマルチスクリーン（Ｍｕｌｔｉ Ｓｃｒｅｅｎ）を実現する。端末登録部１１１、通話接続部１１３及び映像処理部１１５の細部動作は、図３を参照して以下で再び説明する。
ビデオ会議システム１００に含まれたすべてのビデオ会議端末（１１，１３，１５，１７，１９）は、ビデオ会議に関する標準プロトコルを支援するが、背景技術で説明したテレプレゼンスサービスを提供できる端末ではなく、一つのディスプレイ装置が接続されるか、文書会議のために２個のディスプレイ装置が接続され得るビデオ会議端末である。標準プロトコルとしては、Ｈ．３２３またはＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などがある。
また、各ビデオ会議端末（１１，１３，１５，１７，１９）は、映像／音声コーデック（Ｃｏｄｅｃ）を備えた従来のビデオ会議端末である。当然、各ビデオ会議端末（１１，１３，１５，１７，１９）のうち文書会議を支援する端末は、Ｈ．２３９とＢＦＣＰ（Ｂｉｎａｒｙ Ｆｌｏｏｒ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を支援する。
本発明のビデオ会議システムに接続されるビデオ会議端末は「論理的端末」を構成できる。論理的端末は、複数のビデオ会議端末を論理的に組み合わせたものであって、２個のビデオ会議端末で構成されてよく、３個以上のビデオ会議端末で構成されてもよいが、論理的端末を構成する複数のビデオ会議端末間の直接接続はない。通常のビデオ会議端末は、それぞれが一つのビデオ会議ポイントとして動作するが、論理的端末は、複数のビデオ会議端末が一つのビデオ会議ポイントとして動作する。他の側面で、論理的端末は、その構成員である物理的端末が保有しているディスプレイ装置全部を合わせた数だけのディスプレイ装置を備えることになる。必要に応じて、論理的端末はその複数の構成端末のうち一つを代表端末として指定し得る。
以下では論理的端末と従来の一般的なビデオ会議端末を区分するために、従来の一般的なビデオ会議端末を「物理的端末」という。論理的端末は、複数の物理的端末が論理的に結合されたものである。論理的端末がいくら多くの物理的端末を含んでいてもビデオ会議内では一つの接続ポイントとして取り扱いされる。
例えば、図１は２個の論理的端末（１３０、１５０）と一つの物理的端末１９とがサーバー１１０によって相互接続された３個の接続ポイント（Ａ、Ｂ、Ｃ）のマルチビデオ会議システムである。第１ポイントＡに該当する第１論理的端末１３０は、１個のディスプレイ装置を有する第１及び第２物理的端末（１１，１３）で構成されたものであり、第２ポイントＢに該当する第２論理的端末１５０は、２個のディスプレイ装置を有する第３物理的端末１５と１個のディスプレイ装置を有する第４物理的端末１７で構成されたものである。
論理的端末は、サーバー１１０に管理される論理的構成であり、標準プロトコルは１：１の接続のみを支援するので、サーバー１１０と論理的端末の接続は、論理的端末を構成するすべての物理的端末とサーバー１１０とが標準プロトコルによって個別に接続されることを意味する。例えば、ＳＩＰプロトコルによれば、図１は論理的端末の構成を問わず、５個の物理的端末（１１，１３，１５，１７，１９）がサーバー１１０と５個のＳＩＰセッション（Ｓｅｓｓｉｏｎ）を生成したものである。

【0013】

本発明のビデオ会議システムのサーバー１１０は、次の接続を支援する。
（１）一つの物理的端末が一つの論理的端末と接続されるビデオ会議
例えば、図１の第５物理的端末１９が第１論理的端末１３０を呼び出す場合である。サーバー１１０は、第１論理的端末１３０を構成する第１及び第２物理的端末（１１，１３）を同時または順次呼び出して接続する。
（２）論理的単一端末が一つの物理的端末を呼び出すビデオ会議
例えば、ユーザーが第１論理的端末１３０のうち代表端末である第１物理的端末１１で第５物理的端末１９を呼び出す場合である。サーバー１１０は、第１論理的端末１３０を構成する他の物理的端末である第２物理的端末１３と受信側である第５物理的端末１９を同時または順次呼び出して接続する。
（３）一つの論理的端末が他の論理的端末を呼び出すビデオ通話
例えば、図１の第１論理的端末１３０が第２論理的端末１５０を呼び出す場合である。ユーザーが第１論理的端末１３０の代表端末１１を用いて第２論理的端末１５０を呼び出す場合に、サーバー１１０は第２論理的端末１５０を構成する２個の物理的端末（１５，１７）を同時または順次呼び出して、発信側の代表端末１１以外の残り端末である第２物理的端末１３も呼び出して接続する。
（４）マルチポイントのビデオ会議
本発明のビデオ会議システムは、図１のように、論理的端末が一つのポイントとして接続された３個のポイント以上の接続を支援する。一つの論理的端末と２個の物理的端末とが接続されてもよく、２個以上の論理的端末と一つの物理的端末とが接続されてもよく、２個以上の論理的端末同士が接続されてもよい。マルチポイントの接続は、従来に知られた方法で処理し得る。ただし、新たに参加するポイントが論理的端末であれば、その構成員である物理的端末のすべてと接続しなければならないという点が異なる。

【0014】

＜マルチスクリーンの支援＞
本発明のビデオ会議システム１００は、論理的端末体系を用いてテレプレゼンスのようなマルチスクリーンを提供し得る。論理的端末は、たとえ仮想の端末であるが、構成員である複数の物理的端末全体が提供できるスクリーンの数だけ備えるものとして処理される。
サーバー１１０は、各論理的端末に含まれたディスプレイ装置の個数（またはサーバーが各論理的端末に提供しなければならない映像の個数）（ｍ１）と、ビデオ会議に接続されたポイントに含まれた全体の物理的端末の個数（Ｍ、ソース映像の個数）をマッチする方法でマルチビデオ会議の映像を再構成することによって、論理的端末に対してｍ３個の映像をｍ１個の映像に再編集して提供する。ここで、ｍ３は論理的端末がビデオ会議のために表示しなければならないソース映像の個数であって、次の数式１のとおりである。

【0015】

【数1】

【0016】

この時、ｍ２は各論理的端末を構成する物理的端末の個数である。
一方、各物理的端末は自身の映像（ソース映像）が表示されるように設定するか、要請し得る。このような場合に、各論理的端末に対してｍ３個の映像をｍ１個の映像に再編集して論理的端末を構成する各物理的端末に分配する時、該当物理的端末が提供したソース映像を共にミックスして提供し得る。
ｍ３がｍ１と同じ値ではない限り、サーバー１１０はソース映像をミックスする再処理が必要である。ただし、実施例によって論理的端末に対してｍ３個の映像をｍ１個の映像に再編集せずに、ｍ３個の映像を一定の時間間隔で順次提供し得る。例えば、ｍ３＝３であり、ｍ１＝１である場合に３個のソース映像をミックスなどにより再編集せずに３個のソース映像を順次提供し得る。このような場合、従来の標準ビデオ会議端末では不可能であったリレー方式のビデオ会議の処理も可能になる。
一方、論理的端末の構成可否を問わず、本発明のビデオ会議に参加したいかなる物理的端末でも発表者トークンを取得すれば２個のソース映像を提供し得る。例えば、発表者トークンの取得によって、第１物理的装置１１は、メイン映像と共に文書会議用映像を共にサーバー１１０に提供し得る。この場合、Ｍはビデオ会議に接続されたポイントに含まれた全体物理的端末の個数に１を足した値になる。
図２は図１の３個のポイントがすべて参加するマルチビデオ会議の接続図であり、第１論理的端末１３０と第２論理的端末１５０及び第５物理的端末１９が、相互接続され、３個のポイントのマルチビデオ会議が接続されていると仮定する。図２を参照すると、このビデオ会議に含まれた物理的端末（１１，１３，１５，１７，１９）の個数は５個（Ｍ＝５）である。すなわち、５個の物理的端末（１１，１３，１５，１７，１９）が提供する５個のソース映像（１１ａ、１３ａ、１５ａ、１７ａ、１９ａ）がサーバー１１０に提供されるので、サーバー１１０は各ポイントが備えたディスプレイ装置の個数（ｍ１）に合わせて５個のソース映像を編集して各ポイントに提供する。
第１論理的端末１３０は、第１物理的端末１１と第２物理的端末１３とを合わせて２個のディスプレイ装置を備えるので、ｍ１＝２、ｍ２＝２である。今回３個のポイントのマルチビデオ会議において、第１論理的端末１３０に、ビデオ会議に接続された端末は、物理的端末を基準に第３ないし第５物理的端末（１５，１７，１９）であって、３個（ｍ３，３＝５−２）であるため、３個の物理的端末が提供する３個のソース映像を２個の映像に再編集して表示しなければならない。どのスクリーンにいかなるソース映像を表示するかは別途決定でき、図２では第１物理的端末１１が第５物理的端末１９のソース映像を表示し、第２物理的端末１３が第３物理的端末１５と第４物理的端末１７のソース映像を一つにミックスした映像を表示する。
第２論理的端末１５０は、第３物理的端末１５が２個のディスプレイ装置を備え、第４物理的端末１７が一つのディスプレイ装置を備え、３個のディスプレイ装置を含むため、ｍ１＝３であり、ｍ２＝２である。したがって、第２論理的端末１５０に対して、サーバー１１０は３個の物理的端末が提供するソース映像を３個の映像に表示する。表示しなければならないソース映像の個数とスクリーンの個数とが一致するので、一つずつ再び表示すれば良い。どのスクリーンにいかなるソース映像を表示するかは別途決定でき、図２では第３物理的端末が第１及び第２物理的端末（１１，１３）のソース映像を各々表示し、第４物理的端末１７は第５物理的端末１９が提供するソース映像を表示するように構成された。
第５物理的端末１９にも数式１が同様に適用される。第５物理的端末１９において、ｍ１＝２、ｍ２＝１であるため、サーバー１１０は４個のソース映像（ｍ３＝５−１）を２個（ｍ１）の映像に再編集して第５物理的端末１９に提供する。第５物理的端末１９は、２個のディスプレイ装置に第１論理的端末１３０と第２論理的端末１５０の全体４個の物理的端末（１１，１３，１５，１７）が提供するソース映像を表示しなければならないため、４個のソース映像を適切に編集して２個の映像に表示するように構成された。
仮に、第２論理的端末１５０を構成する第３物理的端末１５が発表者トークンを取得した場合、２個のソース映像を提供し得る。この場合、第２論理的端末１５０は、全体３個のソース映像を提供することになり、Ｍは６になる。サーバー１１０が第１論理的端末１３０、第２論理的端末１５０及び第５物理的端末１９に伝送するために処理しなければならないソース映像の個数も上で説明したものより一つずつ多くなる。
以下では図３を参照して、サーバー１１０のマルチスクリーンビデオ会議サービスの提供方法を説明する。説明の便宜上、図２で第１論理的端末１３０の第１物理的端末１１が発信側となり、第２論理的端末１５０を受信側として通話接続する過程を中心に説明する。まず論理的端末を登録する過程が必要である。

【0017】

＜論理的端末の登録段階：Ｓ３０１＞
サーバー１１０の端末登録部１１１は、物理的端末と論理的端末の登録を行い、管理する。物理的端末の登録は、論理的端末の登録に優先するか、同時に行わなければならず、各物理的端末の登録には各端末のＩＰアドレス（ＩＰＡｄｄｒｅｓｓ）が必須である。
物理的端末の登録過程は、従来に知られた多様な方法で登録し得る。例えば、ＳＩＰプロトコル上のＲｅｇｉｓｔｅｒ命令による位置登録過程を用いて物理的端末の登録を行うこともできるが、この時には物理的端末の電話番号などが含まれ得る。物理的端末の位置を登録すると、サーバー１１０は該当物理的端末が現在ターンオン（Ｔｕｒｎ Ｏｎ）され、動作中であるか否かを確認し得る。
論理的端末の登録は、該当論理的端末に含まれる物理的端末を指定し、各物理的端末に接続されたディスプレイ装置の個数が登録される。実施例によっては論理的端末に含まれたディスプレイ装置間の配置（または相対的位置）と、ソース映像の個数（ｍ３）による映像ミックス方式（リレー方式を含む）またはミックス映像のレイアウト（Ｌａｙｏｕｔ）などを設定し得る。例えば、端末登録部１１１は、第１物理的端末１１と第２物理的端末１３とを第１論理的端末１３０で構成する構成情報の入力を受けて登録して管理する。論理的端末の登録は、端末登録部１１１が提供するウェブページを用いるか、接続端末を別途用いてもよい。

【0018】

＜ビデオ会議のための発信呼−接続段階：Ｓ３０３＞
各ビデオ会議ポイント間のビデオ会議の呼設定は、サーバー１１０の通話接続部１１３が一つのポイントで呼接続要請を受信することで開始される。ＳＩＰプロトコルの場合、通話接続部１１３は、ＳＩＰシグナリングメッセージであるＩＮＶＩＴＥを受信する。図２の例において、第１論理的端末１３０の第１物理的端末が第２論理的端末１５０の第３物理的端末１５を呼び出すことであるため、通話接続部１１３は、発信側である第１物理的端末１１が、第３物理的端末１５の電話番号またはＩＰアドレスを用いて第３物理的端末１５を呼び出すＩＮＶＩＴＥメッセージを受信する。

【0019】

＜発信者及び／または受信者が論理的端末であるか照会：Ｓ３０５＞
サーバー１１０の通話接続部１１３は、受信側の電話番号が論理的端末を構成する物理的端末のうち一つの電話番号（またはＩＰアドレス）であるかを端末登録部１１１に照会する。同様に、発信側が論理的端末を構成する物理的端末のうち一つの電話番号（またはＩＰアドレス）であるか否かを端末登録部１１１に照会する。これにより、通話接続部１１３は、該当呼接続が論理的端末への接続であるか否かを確認する。
実施例によって、通話接続部１１３は付加的に受信側が論理的端末を構成する物理的端末である場合に、該当物理的端末がその論理的端末の代表端末であるかをさらに確認することで、受信側の代表端末ではない場合には受信側を論理的端末として処理しない場合もある。発信側の場合にも該当発信側が属する論理的端末の代表端末であるかをさらに確認することで、発信側の代表端末ではない場合には発信側を論理的端末として処理しない場合もある。

【0020】

＜ビデオ会議の接続：Ｓ３０７、Ｓ３０９＞
受信側の電話番号が論理的端末であれば、通話接続部１１３は、受信側の論理的端末に属するすべての物理的端末とＳＩＰセッション生成のための手続きを行う。図２の例において、受信側が第２論理的端末１５０であるため、通話接続部１１３は第３物理的端末１５と第４物理的端末１７との間にＳＩＰセッションを生成する。この時、第３物理的端末１５と第４物理的端末１７とに同時にＩＮＶＩＴＥメッセージを伝達してもよく、順次伝達してもよい（Ｓ３０７）。
図２の例において、発信測も論理的端末であるため、通話接続部１１３は、第１論理的端末１３０の第２物理的端末１３ともＳＩＰセッションを生成する。図２の例において、第５物理的端末１９ともＳＩＰセッションを生成してビデオ会議に参加させ得る（Ｓ３０９）。
ＩＮＶＩＴＥを受信した受信側及び／または発信側のすべての物理的端末は、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）情報により映像及び音声コーデックなどを選択する交渉をする。成功的に交渉が完了すれば実際セッションが成立して呼が接続される。

【0021】

＜各物理的単一端末からソース映像を受信する段階：Ｓ３１１＞
前述したように、論理的端末の通話接続は、実際に論理的端末を構成する個別物理的端末との接続であるため、複数のセッションが成立したものである。論理的端末を構成する物理的端末も個別にソース映像を生成してサーバー１１０に伝送する。したがって、図２の場合、通話接続部１１３は、セッション接続された５個の物理的端末（１１，１３，１５，１７，１９）が提供する５個のソース映像（１１ａ、１３ａ、１５ａ、１７ａ、１９ａ）を受信する。

【0022】

＜サーバーのソース映像の再処理：Ｓ３１３＞
サーバー１１０の映像処理部１１５は、物理的端末から受信されたソース映像を各ポイントのための映像に再びレンダリング（Ｒｅｎｄｅｒｉｎｇ）するためにソース映像をデコードし、ミックスして再びエンコードする。すなわち、映像処理部１１５は、各論理的端末に対してｍ３個の映像をｍ１個の映像に再編集し得る。
映像処理部１１５は、各論理的端末または物理的端末別に既に設定されたレイアウトによるか、各端末側で要請するレイアウトに合わせてソース映像のミックスを行う。
前述したように、映像処理部１１５の映像処理なしに、通話接続部１１３が既に設定された時間間隔で順次提供することで、リレー形態でソース映像が表示されるようにすることもできる。この場合にはミックスなどの過程なしにそのまま伝送すればよく、該当端末の映像コーデックにマッチさせる必要がある場合に映像フォーマットを変更するか、トランスコーディング（ＴｒａｎｓＣｏｄｉｎｇ）する程度で十分である。

【0023】

＜エンコードされた映像データを各物理的端末に伝送：Ｓ３１５＞
通話接続部１１３は、映像処理部１１５が各物理的端末（１１，１３，１５，１７，１９）のために処理した映像をビデオ会議に参加している各物理的端末（１１，１３，１５，１７，１９）に提供する。これによりビデオ会議に参加している各ポイントは、まるでマルチスクリーンによるテレプレゼンスのようなサービスの提供を受け得る。
以上の方法によって本発明のビデオ会議システム１００のビデオ会議用マルチスクリーンが処理される。

【0024】

＜実施例＞
端末登録部１１１は、論理的端末を登録する時、該当論理的端末のための仮想の電話番号を生成して登録し得る。このような場合にＳ３０５段階で受信側の電話番号が論理的端末の仮想電話番号である場合にのみ受信側を論理的端末として処理し得る。
以上、本発明の好ましい実施例について図示して説明したが、本発明は、前述した特定の実施例に限定されず、請求範囲で請求する本発明の要旨を外れない範囲で当該発明が属する技術分野における通常の知識を有する者によって、多様な変形実施が可能であることは勿論であり、このような変形実施は、本発明の技術的思想や展望から個別に理解されてはならない。

【図1】

【図2】

【図3】