(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024170910
(43)【公開日】2024-12-11
(54)【発明の名称】バーチャルビデオ会議システム及び会議方法
(51)【国際特許分類】
H04N 7/15 20060101AFI20241204BHJP
H04M 3/56 20060101ALI20241204BHJP
H04L 67/131 20220101ALI20241204BHJP
【FI】
H04N7/15
H04N7/15 120
H04M3/56 C
H04L67/131
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023087674
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】518306698
【氏名又は名称】弘真科技股▲ふん▼有限公司
(74)【代理人】
【識別番号】100087815
【弁理士】
【氏名又は名称】岡本 昭二
(72)【発明者】
【氏名】李 明堂
【テーマコード(参考)】
5C164
5K201
【Fターム(参考)】
5C164FA10
5C164UB81S
5C164VA03S
5C164VA04P
5C164VA07S
5C164VA13P
5K201AA06
5K201BB09
5K201CA01
5K201CA04
5K201EB06
5K201EC06
(57)【要約】
【課題】バーチャルビデオ会議システム及び会議方法を提供する。
【解決手段】バーチャルビデオ会議システム及び会議方法において、バーチャルビデオ会議システムはユーザー端末アプリケーション及びサーバを含み、ユーザー端末アプリケーションはユーザー端末設備で実行される。サーバは1つ又は複数の外部AV機器と接続され、さらにユーザー端末アプリケーションを実行したユーザー端末設備と無線接続される。ユーザー端末アプリケーションはサーバと接続された外部AV機器に基づいて、対応するバーチャルインターフェイスを構築し、さらにサーバを介して外部AV機器のAVデータを無線で受信する。ユーザー端末設備がビデオ会議ソフトウェアを実行するとき、ユーザー端末設備はバーチャルインターフェイスにより受信したAVデータを提供し、AVデータをビデオ会議ソフトウェアの入力データとする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ユーザー端末設備にインストールされて実行するユーザー端末アプリケーションと、
前記ユーザー端末設備と無線接続され、さらに少なくとも1つの外部AV機器と電気的に接続され、前記外部AV機器のAVデータを受信するサーバとを含み、
前記ユーザー端末アプリケーションが、前記サーバと接続された前記外部AV機器の機器情報に基づいて、対応するバーチャルインターフェイスを構築し、さらに前記ユーザー端末設備が前記バーチャルインターフェイスにより前記AVデータを提供し、前記AVデータをビデオ会議ソフトウェアの入力データとする、バーチャルビデオ会議システム。
【請求項2】
前記外部AV機器がビデオカメラ、通信機器又は表示モニタであり、前記バーチャルインターフェイスがバーチャルディスプレイ、バーチャルビデオカメラ又はバーチャルサウンドカードである、請求項1に記載のバーチャルビデオ会議システム。
【請求項3】
前記ユーザー端末アプリケーションが、
前記サーバに前記外部AV機器の前記機器情報をリクエストする第1装置検索モジュールと、
前記サーバが提供する前記AVデータを受信するAVストリーミングモジュールと、
複数の前記AVデータを合成するAV合成モジュールとを含む、請求項1に記載のバーチャルビデオ会議システム。
【請求項4】
前記ユーザー端末アプリケーションが、前記第1装置検索モジュール及び前記AVストリーミングモジュールと、前記サーバとの伝達を制御するのに用いられ、さらに前記バーチャルインターフェイスを構築して制御する設定モジュールをさらに含む、請求項3に記載のバーチャルビデオ会議システム。
【請求項5】
前記サーバが、
接続された前記外部AV機器を制御して、前記外部AV機器の前記機器情報を取得する装置制御モジュールと、
前記機器情報を記録するデータベースと、
前記データベースと接続され、前記ユーザー端末アプリケーションのリクエストを受信して、前記データベースで前記機器情報をクエリする第2装置検索モジュールと、
前記装置制御モジュール及び前記第2装置検索モジュールと接続されるインターネットモジュールを含み、さらに前記サーバが前記インターネットモジュールを介して前記ユーザー端末設備と無線接続を構築し、前記機器情報を提供する、請求項3に記載のバーチャルビデオ会議システム。
【請求項6】
前記サーバが設定インターフェイスを含み、前記設定インターフェイスがウェブグラフィカルユーザーインターフェイスを提供し、前記ウェブグラフィカルユーザーインターフェイスによってユーザーは前記外部AV機器を設定する、請求項5に記載のバーチャルビデオ会議システム。
【請求項7】
前記サーバが、
前記外部AV機器の表示モニタと接続されるAV処理モジュールと、
前記インターネットモジュール、前記装置制御モジュール及び前記AV処理モジュールと接続され、前記装置制御モジュール及び前記AV処理モジュールを制御して前記外部AV機器の前記AVデータを受信し、前記インターネットモジュールを介してストリーミング方式で前記AVデータを前記ユーザー端末アプリケーションに伝送するストリーミングAVサーバとをさらに含む、請求項5に記載のバーチャルビデオ会議システム。
【請求項8】
前記装置制御モジュールが、USBビデオクラス(USB Video Class、UVC)及びUSBオーディオクラス(USB Audio Class、UAC)をサポートする制御モジュールである、請求項5に記載のバーチャルビデオ会議システム。
【請求項9】
前記ユーザー端末設備に接続されて前記サーバと無線接続する投影装置をさらに含み、前記投影装置が前記ユーザー端末設備のモニタ画面を取得して前記サーバに伝達し、前記サーバが前記モニタ画面を前記外部AV機器の表示モニタに表示する、請求項1に記載のバーチャルビデオ会議システム。
【請求項10】
前記投影装置が高精細度マルチメディアインターフェイス〔High Definition Multimedia Interface、HDMI(登録商標)〕ポートを介して前記ユーザー端末設備と接続され、さらにWi-Fi伝送インターフェイス又はブルートゥース(登録商標)伝送インターフェイスを介して前記サーバと無線接続される、請求項9に記載のバーチャルビデオ会議システム。
【請求項11】
ユーザー端末アプリケーション及びサーバを少なくとも含むバーチャルビデオ会議システムに利用されるバーチャルビデオ会議方法であって、前記ユーザー端末アプリケーションをユーザー端末設備にインストールして実行し、
a)前記ユーザー端末アプリケーションが前記ユーザー端末設備を介して前記サーバと無線接続を構築するステップ、
b)前記ユーザー端末アプリケーションが前記サーバと現在接続されている少なくとも1つの外部AV機器を検索し、少なくとも1つの前記外部AV機器を選択するステップ、
c)前記ユーザー端末アプリケーションが選択された前記外部AV機器の機器情報を前記サーバから受信し、前記機器情報に基づいて対応するバーチャルインターフェイスを構築するステップ、
d)前記ステップcの後、前記ユーザー端末アプリケーションがストリーミング方式で選択された前記外部AV機器のAVデータを前記サーバから受信するステップ、及び
e)前記ユーザー端末設備が前記バーチャルインターフェイスにより受信した前記AVデータを提供し、前記AVデータをビデオ会議ソフトウェアの入力データとするステップ、
を含む、バーチャルビデオ会議方法。
【請求項12】
前記バーチャルビデオ会議システムが前記ユーザー端末設備と電気的に接続されて前記サーバと無線接続される投影装置をさらに含み、
f)前記投影装置が前記ユーザー端末設備のモニタ画面を取得するステップ、及び
g)前記投影装置がストリーミング方式で前記モニタ画面を前記サーバに伝送し、前記外部AV機器の表示モニタに表示するステップ、を含む、請求項11に記載のバーチャルビデオ会議方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は会議システム及び会議方法に関し、特にバーチャルビデオ会議システム及びバーチャルビデオ会議方法に関する。
【背景技術】
【0002】
科学技術の進歩及びインターネットの発展に伴い、オンラインビデオ会議は近年会議を開く際の主流の方式となっている。コンピュータでビデオ会議ソフトウェアを実行することにより、異なる場所の複数のユーザーは同時に一つのオンラインバーチャル会議室に参加することができ、オンラインで直接ビデオ会議を行い、相当に便利である。
【0003】
しかしながら、複数人が同じ会議室でグループ会議を開き、同時に少なくとも1人のユーザーがリモートでビデオ会議ソフトウェアを介してこの会議に参加する必要があるとき、各参加者がそれぞれ一台のコンピュータを使用し、さらにそれぞれビデオ会議ソフトウェアを実行することを要求しなければならない。このようにすることで、リモートユーザーがすべての参加者の顔を見、すべての参加者の声を聞くことができることを確実に保証することができる。
【0004】
上記のように、既存のオンラインビデオ会議の方式は、主にコンピュータの映像機器を介して個人対個人の映像接続を行うが、複数人が会議を共有することに適しておらず、グループ対グループの映像接続の需要を達成することも容易ではない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の主な目的は、バーチャルビデオ会議システム及び会議方法を提供することであり、これはユーザーがより効果的に複数人で会議を共有するのを助けることができる。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明のバーチャルビデオ会議システムは、
ユーザー端末設備にインストールして実行するユーザー端末アプリケーションと;
ユーザー端末設備と無線接続され、さらに少なくとも1つの外部AV機器と電気的に接続され、外部AV機器のAVデータを受信するサーバとを含む。
ユーザー端末アプリケーションは、サーバと接続された外部AV機器の機器情報に基づいて、対応するバーチャルインターフェイスを構築し、さらにユーザー端末設備はバーチャルインターフェイスによりAVデータを提供し、AVデータをビデオ会議ソフトウェアの入力データとする。
【0007】
上記目的を達成するため、本発明のバーチャルビデオ会議方法は以下の工程を含む。
a)ユーザー端末アプリケーションがユーザー端末設備を介してサーバと無線接続を構築する。
b)ユーザー端末アプリケーションはサーバと接続された少なくとも1つの外部AV機器を検索し、少なくとも1つの外部AV機器を選択する。
c)ユーザー端末アプリケーションは、選択された外部AV機器の機器情報をサーバから受信し、さらに機器情報に基づいて対応するバーチャルインターフェイスを構築する。
d)サーバは外部AV機器のAVデータをユーザー端末アプリケーションにストリーミングし始める。
e)ユーザー端末設備はバーチャルインターフェイスによりAVデータを提供し、AVデータをビデオ会議ソフトウェアの入力データとする。
【発明の効果】
【0008】
本発明はユーザー端末設備の映像機器を無線化し、さらに環境中の外部AV機器のAVデータをオンラインビデオ会議の入力データとして使用する。関連技術と比較して、本発明の技術案は、ユーザーが最少のユーザー端末設備でグループでのオンラインビデオ会議を行う需要を満たすのを助けることができ、これによりオンラインビデオ会議に必要な設備を簡略化して、オンラインビデオ会議の複雑さを低下させる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、本実施の形態のバーチャルビデオ会議システムに関する概要図の第1の具体的な実施例である。
【
図2】
図2は、本実施の形態のバーチャルビデオ会議システムに関する概要図の第2の具体的な実施例である。
【
図3】
図3は、本実施の形態の会議方法に関するフローチャートの第1の具体的な実施例である。
【
図4】
図4は、本実施の形態のユーザー端末アプリケーションに関するブロック図の第1の具体的な実施例である。
【
図5】
図5は、本実施の形態のバーチャルビデオサーバに関するブロック図の第1の具体的な実施例である。
【
図6】
図6は、本実施の形態のバーチャルビデオ会議システムに関する概要図の第3の具体的な実施例である。
【発明を実施するための形態】
【0010】
ここで本発明の好ましい実施例について、図を組み合わせて、以下のように詳細に説明する。
【0011】
本実施の形態はバーチャルビデオ会議システム(以下、明細書において会議システムと略称する)を開示しており、前記会議システムは環境(例えば会議室)中の1つ又は複数の映像機器をユーザー端末設備(例えばパーソナルコンピュータ、ノートパソコン、タブレット端末など)と無線接続することができ、ユーザー端末設備の映像機器を無線化することを実現する。このようにして、複数のユーザーが同時に同じ会議室中におり、さらにリモートユーザーとグループでオンラインビデオ会議を行うとき、すべてのユーザーがそれぞれ一台の独立したコンピュータを使用するのを要求する必要はない。或いは、たとえ各ユーザーがそれぞれ一台のコンピュータを使用していても、すべてのユーザーがいずれもビデオ会議ソフトウェアを使用するのを要求する必要はない。これにより、オンラインビデオ会議に必要な設備を効果的に簡略化して、プログラムの複雑さを低下させることができる。
【0012】
図1及び
図2を同時に参照されたい。
図1及び
図2は、それぞれ本実施の形態のバーチャルビデオ会議システムに関する概要図の第1の具体的な実施例及び第2の具体的な実施例である。
図1及び
図2に示すように、本実施の形態の会議システムは主にバーチャルビデオサーバ1及びバーチャルビデオユーザー端末アプリケーション4(以下、明細書においてサーバ1及びユーザー端末アプリケーション4と略称する)を含み、ユーザー端末アプリケーション4はユーザー端末設備2にインストールして実行する。
【0013】
図1に示すように、本実施の形態のサーバ1は環境中の少なくとも1つの外部AV機器3と接続され、さらにこれらの外部AV機器3のAVデータを受信するのに用いられる。ユーザー端末アプリケーション4は、ユーザー端末設備2内部のハードウェア素子を介してサーバ1と無線接続を構築する。これにより、ユーザー端末設備2はストリーミング方式でサーバ1と接続された1つ又は複数の外部AV機器3のAVデータを取得することができ、さらに取得したAVデータをビデオ会議ソフトウェア5の入力データとする。
【0014】
環境が会議室であることを例とする(
図1に示す)。一般的に、前記外部AV機器3は会議室の前方に設置されるため、前記AVデータは会議室中のすべての人をカバーした音声データ及び映像データを含む。会議室中の一台のユーザー端末設備2がビデオ会議ソフトウェア5を実行し、サーバ1から取得したAVデータをビデオ会議ソフトウェア5の入力データとするとき、オンラインビデオ会議のその他の参加者が会議室中のすべての人の音声データ及び映像データを得ることができるのを確実に保証することができる。
【0015】
実施例において、前記外部AV機器3は例えばビデオカメラ31、通信機器32又は表示モニタ33などでよく、前記AVデータは映像及び音声でよく、前記通信機器32はスピーカ及びマイクロフォンを含んでよいが、これに限定されない。本実施の形態の会議システムにより、ユーザーがユーザー端末設備2を介してオンラインビデオ会議を行うとき、ユーザー端末設備2に内蔵されたAV機器を使用し、AVデータを取得することを選択することができ、サーバ1と接続された1つ又は複数の外部AV機器3を使用し、AVデータを取得することを選択することもできる。
【0016】
図2に示すように、前記ユーザー端末設備2はプロセッサ21、記憶装置22、内部AV機器23及び無線伝送装置24を含み、記憶装置22、内部AV機器23及び無線伝送装置24はそれぞれプロセッサ21と電気的に接続される。ユーザー端末設備2は、記憶装置22によりユーザー端末アプリケーション4及びビデオ会議ソフトウェア5を保存する。ユーザー端末設備2はプロセッサ21によりユーザー端末アプリケーション4を実行して、サーバ1と無線接続を構築し、さらにビデオ会議ソフトウェア5を実行して、リモートユーザーとオンラインビデオ会議を行う。
【0017】
内部AV機器23は、ユーザー端末設備2中に内蔵されるか、又はユーザー端末設備2と有線接続されたAV機器、例えば表示モニタ、ビデオカメラ及び通信機器(例えばスピーカ及びマイクロフォン)などを指すが、これに限定されない。一般に、ビデオ会議ソフトウェア5によりオンラインビデオ会議を行うとき、ユーザー端末設備2は内部AV機器23により必要なAVデータ、例えばモニタ画面、ユーザーの映像及びユーザーの音声などを取得して、ビデオ会議ソフトウェア5の入力データとすることができる。本発明が解決しようとする技術的問題は、上記内部AV機器23が取得するAVデータが、通常、単一のユーザーに限定され、グループ会議を行うのに不利なことである。
【0018】
無線伝送装置24は、例えばWi-Fi伝送装置、ブルートゥース(登録商標)伝送装置、近距離無線通信(Near Field Communication、NFC)伝送装置、ジグビー〔Zigbee(登録商標)〕伝送装置などでよい。ユーザー端末設備2はユーザー端末アプリケーション4のリクエストに基づき、無線伝送装置24を介してサーバ1と無線接続を構築することができる。これにより、ユーザー端末設備2はストリーミング方式でサーバ1と接続された1つ又は複数の外部AV機器3のAVデータを取得し、ビデオ会議ソフトウェア5の入力データとすることができる。
【0019】
図1に示すように、遠隔(例えば会議室の前方)に設置された外部AV機器3がAVデータを取得することにより、これらのAVデータが特定の環境(例えば会議室)中のすべてのユーザーを同時にカバーしているのを確実に保証することができる。本実施の形態はこれらのAVデータをオンラインビデオ会議の入力データとし、単一のユーザー端末設備2のみを使用して、グループ会議の目的を実現することができる。
【0020】
図2に示すように、特定の環境で複数のユーザー端末設備2を有する場合があり、このとき、各ユーザー端末設備2はいずれもそれぞれユーザー端末アプリケーション4を介してサーバ1と無線接続することができる。これにより、各ユーザー端末設備2はいずれもストリーミング方式でサーバ1と接続された1つ又は複数の外部AV機器3のAVデータをそれぞれ取得し、さらにそれぞれオンラインビデオ会議を行うことができる。
【0021】
ユーザー端末アプリケーション4が実行されると、主にまずサーバ1にリクエストを出し、サーバ1と現在接続されている1つ又は複数の外部AV機器3の機器情報を得ることができ、例えば機器の名称、機器の型式、製品番号、通信プロトコルなどであるが、これに限定されない。続いて、ユーザー端末アプリケーション4は取得した機器情報に基づいて、ユーザー端末設備2に対応するバーチャルインターフェイスを構築することができる。例えば、ユーザー端末アプリケーション4はビデオカメラ31の機器情報に基づいて、バーチャルビデオカメラを構築し、通信機器32の機器情報に基づいて、バーチャルサウンドカードを構築し、さらに表示モニタ33の機器情報に基づいてバーチャルディスプレイを構築することができる。しかし、上記は本実施の形態における一部の具体的な実施の模範例に過ぎず、これに限定されない。
【0022】
本実施の形態において、ユーザー端末アプリケーション4が1つ又は複数のバーチャルインターフェイスを構築すると、ユーザー端末設備2はこれらのバーチャルインターフェイスを追加のAVデータソースに設定することができる。ユーザー端末設備2がビデオ会議ソフトウェア5を実行して、オンラインビデオ会議を構築するか又は参加するとき、ユーザーはユーザー端末設備2の設定ページで前記バーチャルインターフェイスをAVデータソースとして選択することができる。これにより、ユーザー端末設備2はサーバ1から得たAVデータをビデオ会議ソフトウェア5の入力データとし、オンラインビデオ会議を行うことができる。
【0023】
続けて
図3を同時に参照されたい。
図3は、本実施の形態の会議方法に関するフローチャートの第1の具体的な実施例である。
図3は、本実施の形態のバーチャルビデオ会議方法(以下、明細書において会議方法と略称する)を開示しており、前記会議方法は主に
図1及び
図2に示すような会議システムを利用しているが、これに限定されない。
【0024】
図3に示すように、本実施の形態の会議方法を実行するには、まずユーザーが少なくとも1台のユーザー端末設備2にユーザー端末アプリケーション4をインストールし、さらにサーバ1を環境中の1つ又は複数の外部AV機器3に接続する必要がある。続いて、ユーザー端末設備2がユーザー端末アプリケーション4を実行し、ユーザー端末アプリケーション4はユーザー端末設備2を介してサーバ1と無線接続を構築する(工程S10)。
【0025】
ユーザー端末アプリケーション4がサーバ1と無線接続を構築すると、ユーザー端末アプリケーション4は直接サーバ1にリクエストを出して、サーバ1と現在接続されている少なくとも1つの外部AV機器3を検索することができる(工程S12)。実施例において、サーバ1はユーザー端末アプリケーション4の上記リクエストを受信すると、現在接続されているすべての外部AV機器3に基づいて機器リストを生成し、さらに機器リストをユーザー端末アプリケーション4に返信することができ、これにより現在すでに接続され、さらに使用可能な外部AV機器3がどれであるかを知らせる。ユーザー端末アプリケーション4が前記機器リストを受信すると、機器リストをユーザー端末設備2のモニタに直接表示することができる。これにより、ユーザーはユーザー端末設備2で前記機器リストを確認し、さらにユーザー端末設備2のマンマシンインターフェイス(例えばキーボード、マウス、タッチスクリーンなど)を介して、機器リストにおける少なくとも1つの外部AV機器を選択することができる(工程S14)。
【0026】
工程S14の後、サーバ1はユーザーの選択に基づいて、対応する外部AV機器の機器情報を取得し、さらにユーザー端末アプリケーション4に返信する。ユーザー端末アプリケーション4はサーバ1から前記機器情報を受信し、さらに受信した機器情報に基づいて、ユーザー端末設備2に対応するバーチャルインターフェイスを構築する(工程S16)。
【0027】
例を挙げると、ユーザーが工程S14でサーバ1と接続されたビデオカメラ31を選択した場合、工程S16において、ユーザー端末アプリケーション4はこのビデオカメラ31の機器情報に基づいて、対応するバーチャルビデオカメラを構築する。ユーザーが工程S14でサーバ1と接続された通信機器32を選択した場合、工程S16において、ユーザー端末アプリケーション4はこの通信機器32の機器情報に基づいて、対応するバーチャルサウンドカードを構築する。ユーザーが工程S14でサーバ1と接続された表示モニタ33を選択した場合、工程S16において、ユーザー端末アプリケーション4はこの表示モニタ33の機器情報に基づいて、対応するバーチャルディスプレイを構築する。ただ、上記は本実施の形態における一部の具体的な実施の模範例に過ぎず、これに限定されない。
【0028】
工程S16の後、ユーザー端末アプリケーション4はさらにサーバ1にサービスリクエストを出す。サービスリクエストを受信すると、サーバ1は選択された1つ又は複数の外部AV機器3のAVデータをストリーミング方式でユーザー端末アプリケーション4に伝送し始め、さらにユーザー端末アプリケーション4はユーザー端末設備2の無線伝送装置24を介して前記AVデータを受信する(工程S18)。本実施の形態において、ユーザー端末設備2は受信した上記AVデータを前記バーチャルインターフェイス自体が生成したデータと見なすことができ、さらにバーチャルインターフェイスにより前記AVデータを提供し、ビデオ会議ソフトウェア5の入力データとする(工程S20)。
【0029】
具体的に、ビデオ会議ソフトウェア5を実行すると、ユーザーはビデオ会議ソフトウェア5の設定インターフェイス(図示せず)でAVデータのソースを選択することができ、さらにこのソースをユーザー端末アプリケーション4が構築したバーチャルインターフェイスに設定する。これにより、ユーザー端末設備2でビデオ会議ソフトウェア5によりオンラインビデオ会議を行うとき、サーバ1と接続された1つ又は複数の外部AV機器3をAVデータのソースとすることができ、内部AV機器23を使用しない。
【0030】
本実施の形態の会議方法を実行する過程において、ユーザー端末アプリケーション4はサーバ1との間の接続が中断しているかどうかを連続して判断する(工程S22)。さらに中断する前は工程S16から工程S20を連続して実行し、これによりサーバ1とAVストリーミングプログラムを連続して行う。
【0031】
取り上げるべきことは、サーバ1から外部AV機器3のAVデータを取得する以外に、ユーザー端末設備2がそれ自体のAVデータをストリーミング方式でサーバ1に伝送し、外部AV機器3を介して出力することもできることである。例えば、ユーザー端末設備2は現在のモニタ画面を取り込み(工程S24)、さらにモニタ画面をサーバ1に伝達して、サーバ1と接続された外部AV機器3の表示モニタ33に表示することができる(工程S26)。これにより、前記表示モニタ33がある環境(例えば会議室)中のすべてのユーザーは、いずれも表示モニタ33を介してユーザー端末設備2のモニタ画面を確認することができる。
【0032】
実施例において、ユーザー端末設備2はソフトウェア方式により前記工程S24及び工程S26を実現することができる。例えば、ユーザー端末設備2はユーザー端末アプリケーション4により現在モニタに表示されているモニタ画面を即時に取り込み、さらに映像の設定、分析及びフォーマット変換などの映像処理プログラムの後、サーバ1に無線伝送することができる。
【0033】
別の実施例において、ユーザー端末設備2はハードウェア方式により前記工程S24及び工程S26を実現することができる。例えば、ユーザー端末設備2は投影装置(例えば
図6に示すような投影装置6)と接続することができる。本実施例において、ユーザー端末設備2は高精細度マルチメディアインターフェイス〔High Definition Multimedia Interface、HDMI(登録商標)〕ポートを介して投影装置6と接続され、モニタ画面を投影装置6に直接出力することができる。さらに、投影装置6はWi-Fi伝送インターフェイス又はブルートゥース(登録商標)伝送インターフェイスを介してサーバ1と接続され、取得したモニタ画面をサーバ1に無線伝送する。
【0034】
本実施例において、ユーザー端末設備2はHDMI(登録商標)インターフェイスを介して投影装置6と接続され、つまりユーザー端末設備2はHDMI(登録商標)インターフェイスを介してモニタ画面を直接出力する。従って、ユーザー端末設備2はモニタ画面に対してソフトウェアの取込プログラムを実行するときの映像の設定、分析及びフォーマット変換など、映像処理プログラムを必要としない。これにより、ユーザー端末設備2の動作負荷を効果的に低下させることができ、同時にワイヤレスプロジェクションプログラムの複雑さを簡略化する。
【0035】
同様に、ワイヤレスプロジェクションプログラムを実行する過程において、ユーザー端末アプリケーション4はサーバ1との間の接続が中断しているかどうかを連続して判断し(工程S22)、さらに中断する前は工程S24から工程S26を連続して実行する。これによりユーザー端末設備2のモニタ画面をストリーミング方式でサーバ1に連続して伝送し、表示モニタ33に表示する。
【0036】
続けて
図4を同時に参照されたい。
図4は、本実施の形態のユーザー端末アプリケーションに関するブロック図の第1の具体的な実施例である。
図4に示すように、本実施の形態のユーザー端末アプリケーション4は主に第1装置検索モジュール41、設定モジュール42、AVストリーミングモジュール43、レジスタモジュール44、AV合成モジュール45及びバーチャルインターフェイス46を含むが、これに限定されない。
【0037】
本実施の形態において、ユーザー端末アプリケーション4にコンピュータが実行可能なソースコードが記録される。ユーザー端末設備2にユーザー端末アプリケーション4をインストールし、前記コンピュータが実行可能なソースコードを実行すると、ユーザー端末アプリケーション4の機能に基づいて、コンピュータが実行可能なソースコードを論理分割することができ(例えばそのうちの各サブルーチン)、前記第1装置検索モジュール41、設定モジュール42、AVストリーミングモジュール43、レジスタモジュール44、AV合成モジュール45及びバーチャルインターフェイス46を仮想的に生成する。言い換えると、本実施の形態における上記モジュール41~46はソフトウェアモジュールでよいが、これに限定されない。例えばその他の実施例において、前記レジスタモジュール44はユーザー端末設備2内部のメモリ(図示せず)の一部分でよく、すなわち、レジスタモジュール44はハードウェアモジュールでもよい。
【0038】
ユーザー端末アプリケーション4がサーバ1と無線接続を構築すると、第1装置検索モジュール41を介してサーバ1に検索リクエストを出すことができる。サーバ1は前記検索リクエストを受信すると、現在接続されている外部AV機器3の機器情報を検出し、さらにユーザー端末アプリケーション4に提供することができる。実施例において、ユーザー端末アプリケーション4は第1装置検索モジュール41を介してサーバ1に現在使用することができる外部AV機器3の機器リストをリクエストし、さらにユーザーが特定の外部AV機器3を選択すると、ユーザーの選択に基づいて対応する機器情報をサーバ1にリクエストする。
【0039】
ユーザーが1つ又は複数の外部AV機器3を選択すると、ユーザー端末アプリケーション4はAVストリーミングモジュール43を介してサーバ1にサービスリクエストを出し、これによりストリーミング方式で選択された外部AV機器3のAVデータをサーバ1から受信する。具体的に、サーバ1はユーザーの選択に基づいて対応する外部AV機器3のAVデータを取得し、さらにストリーミング方式でAVデータをユーザー端末アプリケーション4のAVストリーミングモジュール43に連続して伝送する。
【0040】
ユーザー端末アプリケーション4はAVストリーミングモジュール43を介してサーバ1が提供するAVデータを受信すると、まずレジスタモジュール44に一時的に保存することができる。サーバ1が複数の外部AV機器3のAVデータを同時に提供する(例えばビデオカメラ31の映像データ及び通信機器32の音声データを同時に伝送する)場合、ユーザー端末アプリケーション4はさらにAV合成モジュール45により複数のAVデータを合成する。
【0041】
具体的に、ユーザー端末アプリケーション4が受信した複数のAVデータは、それぞれ対応するタイムスタンプを有し、前記AV合成モジュール45はタイムスタンプに基づいて、複数のAV情報を合成することができ、出力されたAVデータを同期することができる。
【0042】
ユーザー端末アプリケーション4が必要な外部AV機器3の機器情報を得ると、設定モジュール42を介して対応するバーチャルインターフェイス46を構築することができる。本実施の形態において、ユーザー端末アプリケーション4は設定モジュール42を介して第1装置検索モジュール41及びAVストリーミングモジュール43を制御し、サーバ1との間の伝達を行い、さらに構築したバーチャルインターフェイス46に対してAVデータ出力の制御プログラムを行う。本実施の形態において、バーチャルインターフェイス46は、主にAV合成モジュール45が処理した後のAVデータをユーザー端末設備2に出力するのに用いられ、バーチャルインターフェイス46をユーザー端末設備2の1つのAVデータソースとする。
【0043】
続けて
図5を同時に参照されたい。
図5は、本実施の形態のバーチャルビデオサーバに関するブロック図の第1の具体的な実施例である。
図5に示すように、本実施の形態のサーバ1は主にインターネットモジュール11、第2装置検索モジュール12、データベース13、設定インターフェイス14、装置制御モジュール15、ストリーミングAVサーバ16及びAV処理モジュール17を含むことができる。
【0044】
本実施の形態において、サーバ1は、外部AV機器3と実際に接続され、さらにユーザー端末設備2と無線接続される物理デバイスである。実施例において、前記モジュール11~17はサーバ1内部に設置された物理デバイスである。例えば、インターネットモジュール11は無線インターネット装置により実現することができ、データベース13は記録媒体により実現することができ、第2装置検索モジュール12、設定インターフェイス14、装置制御モジュール15、ストリーミングAVサーバ16及びAV処理モジュール17は、それぞれプロセッサにより実現することができるが、これに限定されない。
【0045】
別の実施例において、前記モジュール11~17はソフトウェア装置である。具体的に、前記サーバ1はマイクロプロセッサ(図示せず)を含むことができ、マイクロプロセッサが特定のコンピュータが実行可能なソースコードを実行すると、必要な機能に基づいて、上記モジュール11~17を仮想的に生成することができるが、これに限定されない。
【0046】
他の実施例において、前記モジュール11~17はハードウェア装置及びソフトウェア装置の組合せでよい。
【0047】
前記インターネットモジュール11は各無線通信プロトコル、例えばWi-Fi、ブルートゥース(登録商標)、NFC、Zigbee(登録商標)などをサポートすることができる。サーバ1はインターネットモジュール11を介してユーザー端末設備2と無線接続を構築し、これにより前記機器リスト、機器情報及びAVデータをユーザー端末アプリケーション4に伝送する。
【0048】
装置制御モジュール15は、ユーザーが必要な通信プロトコルをサポートすることができる。サーバ1は装置制御モジュール15を介して1つ又は複数の外部AV機器3と接続され、外部AV機器3を制御し、外部AV機器3の機器情報及びAVデータを取得する。
【0049】
実施例において、前記装置制御モジュール15はUSBビデオクラス(USB Video Class、UVC)及びUSBオーディオクラス(USB Audio Class、UAC)をサポートする制御モジュールであり、さらに少なくとも1つのUSBポートを含む。本実施例において、外部AV機器3のビデオカメラ31及び通信機器32はUSBポートを介してサーバ1と接続され、さらにサーバ1は装置制御モジュール15を介してビデオカメラ31及び通信機器32を管理及び制御する。
【0050】
第2装置検索モジュール12はインターネットモジュール11と接続され、さらにインターネットモジュール11を介してユーザー端末アプリケーション4の検索リクエストを受信する。本実施の形態において、1つ又は複数の外部AV機器3がサーバ1に接続されると、サーバ1はすぐに外部AV機器3の機器情報を取得し、さらにデータベース13中に保存する。サーバ1はユーザー端末アプリケーション4の検索リクエストを受信すると、第2装置検索モジュール12を介してデータベースをクエリし、対応する機器情報を取得することができ、さらにインターネットモジュール11を介してユーザー端末アプリケーション4に返信する。
【0051】
前記設定インターフェイス14は、インターネットモジュール11、装置制御モジュール15及びデータベース13と接続される。本実施の形態において、設定インターフェイス14はウェブグラフィカルユーザーインターフェイス(Web GUI)を提供することができ、ユーザーはインターネットを介して前記ウェブグラフィカルユーザーインターフェイスにログインすることができる。ウェブグラフィカルユーザーインターフェイスで、ユーザーはサーバ1と現在接続されている外部AV機器3を設定することができ、例えばビデオカメラ31の解像度を設定する、又は通信機器の音量の大きさを設定するなどでよいが、これに限定されない。
【0052】
実施例において、サーバ1は設定インターフェイス14を介して装置制御モジュール15を制御し、現在接続されている外部AV機器3の機器情報を得、さらにデータベース13に記録する。しかし、上記は本実施の形態のうちの1つの実施の模範例に過ぎず、これに限定されない。
【0053】
AV処理モジュール17は、ユーザーが必要な通信プロトコルをサポートすることができる。サーバ1はAV処理モジュール17を介して1つ又は複数の外部AV機器3と接続され、外部AV機器3を制御し、対応する機器情報及びAVデータを取得する。
【0054】
実施例において、前記AV処理モジュール17はHDMI(登録商標)プロトコルをサポートする処理モジュールであり、さらにHDMI(登録商標)ポートを含む。本実施例において、外部AV機器3の表示モニタ33はHDMI(登録商標)ポートを介してサーバ1と接続され、さらにサーバ1はAV処理モジュール17を介して表示モニタ33を管理及び制御する。
【0055】
ストリーミングAVサーバ16はインターネットモジュール11、装置制御モジュール15及びAV処理モジュール17と接続される。本実施の形態において、サーバ1はストリーミングAVサーバ16を介して装置制御モジュール15及びAV処理モジュール17を制御し、接続された外部AV機器3からAVデータを取得し、さらにインターネットモジュール11を介してストリーミング方式でユーザー端末設備2に伝達する。
【0056】
本実施の形態において、ユーザーはサーバ1の無線伝送範囲内で、ユーザー端末設備2を使用してサーバ1と無線接続することができ、さらにはサーバ1と接続された1つ又は複数の外部AV機器3のAVデータを得る。サーバ1と接続された1つ又は複数の外部AV機器3をユーザー端末設備2のAVデータソースに設定することにより、ユーザー端末設備2を使用し、ビデオ会議ソフトウェア5によりオンラインでグループビデオ会議を行うのに有利である。
【0057】
続けて
図6を参照されたい。
図6は、本実施の形態のバーチャルビデオ会議システムに関する概要図の第3の具体的な実施例である。
図6は、本実施の形態のうちの1つの使用場面を具体的に説明するのに用いる。
【0058】
図6の実施例において、ユーザーは会議室でユーザー端末設備2を介して会議のプレゼンテーションを行う。ユーザー端末設備2は、投影装置6〔例えばワイヤレスプロジェクションサーバ(Wireless Projection Server、WPS)〕と接続される。前記投影装置6はサーバ1と同じ無線伝送プロトコルを使用し、サーバ1と無線接続を構築することができる。本実施例において、投影装置6はユーザー端末設備2のモニタ映像20を直接取得することができ、さらにモニタ映像20をサーバ1に無線伝送する。
【0059】
実施例において、ユーザー端末設備2はHDMI(登録商標)ポートを介して投影装置6と接続され、投影装置6はHDMI(登録商標)インターフェイスを介してユーザー端末設備2のモニタ映像20を直接取得する。言い換えると、本実施の形態の会議システムは投影装置6がユーザー端末設備2のHDMI(登録商標)インターフェイスを無線化することにより、ユーザー端末設備2がモニタ映像20に対していかなる映像処理プログラムも行う必要がない状況で、直接モニタ映像20をサーバ1に無線伝送する。
【0060】
サーバ1は、表示モニタ33を含む複数の外部AV機器3と接続される。本実施例において、サーバ1はストリーミング方式でユーザー端末設備2からモニタ映像20を受信し、さらにモニタ映像20を表示モニタ33に表示する。これにより、会議室中のすべての参加者は表示モニタ33からユーザー端末設備2のモニタ映像20、すなわちプレゼンテーションの内容を確認することができる。
【0061】
一部の参加者が同じ会議室におらず、オンラインビデオ会議の方式で会議に参加する必要がある場合、本実施の形態はユーザー端末アプリケーション4、サーバ1及び投影装置6を組み合わせて使用することができる。
【0062】
具体的に、会議室中に少なくとも1つの会議設備7をさらに備えることができ、例えばパーソナルコンピュータ、ノートパソコン又はタブレット端末などであるが、これに限定されない。会議設備7に、上記ユーザー端末アプリケーション4をインストールして実行する。会議設備7がユーザー端末アプリケーション4を実行すると、サーバ1と無線接続を構築することができる。これにより、会議設備7はストリーミング方式でサーバ1と現在接続されているすべての外部AV機器3(表示モニタ33を含む)のAVデータを取得することができる。
【0063】
図6に示すように、前記会議設備7はさらに前記ビデオ会議ソフトウェア5を実行して、1つの特定のオンラインビデオ会議を開始するか又は参加することができる。さらに、会議設備7はサーバ1から取得したAVデータ(例えばモニタ映像20)を直接オンラインビデオ会議の入力データ(例えば会議画面50)とすることができる。
【0064】
本実施例において、ユーザーは会議室中で議論している画面(すなわち、ユーザー端末設備2及び表示モニタ33に表示されるモニタ映像20)を会議設備7が現在参加しているオンラインビデオ会議の入力データとすることができ、さらにオンラインビデオ会議中の1つ又は複数のリモート装置8に伝送する。これにより、リモート装置8のユーザーはリモート装置8の会議画面50で前記モニタ映像20を見ることができる。このようにして、リモートユーザーはオンラインビデオ会議の方式で前記会議室中の議論に参加することもできる。
【0065】
実施例において、上記アプリケーションシナリオを実現しようとするには、会議室中にモニタ映像20を提供するのに用いられるユーザー端末設備2、及びオンラインビデオ会議に参加するのに用いられる会議設備7を少なくとも備える必要がある。別の実施例において、前記ユーザー端末設備2及び会議設備7は同じ設備でよい。
【0066】
多くのユーザーが同じ環境(例えば会議室)でグループ会議を行い、一部のリモートユーザーがオンラインビデオ会議の方式で会議に参加する必要があるとき、本実施の形態の会議システム及び会議方法によって、ユーザーは外部AV機器3を介して会議室内のすべての参加者の映像、音声及びプレゼンテーションの内容を同時に取得し、さらにビデオ会議ソフトウェア5によりリモート参加者に伝送することができる。これにより、会議室中の各参加者がいずれも別々に1台のコンピュータを使用してビデオ会議ソフトウェア5を実行するのを要求する必要はない。さらに、会議室中でオンラインビデオ会議に参加するには1台のコンピュータを使用すればよく、外部AV機器3のAVデータをオンラインビデオ会議の入力データとすると、リモートユーザーは会議室中のすべての参加者の映像及び音声を得ることができる。このようにして、オンラインでグループビデオ会議を行うときの複雑さを効果的に低下させることができる。
【0067】
以上の記載は本発明の好ましい具体的な実例に過ぎず、これにより本発明の特許範囲を制限することはない。従って、本発明の内容を利用して行った同等の変更は、いずれも同様に本発明の範囲内に包含されることをはっきりと示す。
【符号の説明】
【0068】
1 バーチャルビデオサーバ
11 インターネットモジュール
12 第2装置検索モジュール
13 データベース
14 設定インターフェイス
15 装置制御モジュール
16 ストリーミングAVサーバ
17 AV処理モジュール
2 ユーザー端末設備
20 モニタ映像
21 プロセッサ
22 記憶装置
23 内部AV機器
24 無線伝送装置
3 外部AV機器
31 ビデオカメラ
32 通信機器
33 表示モニタ
4 バーチャルビデオユーザー端末アプリケーション
41 第1装置検索モジュール
42 設定モジュール
43 AVストリーミングモジュール
44 レジスタモジュール
45 AV合成モジュール
46 バーチャルインターフェイス
5 オンラインビデオ会議ソフトウェア
50 会議画面
6 投影装置
7 会議設備
8 リモート装置
S10~S26 会議の工程
【手続補正書】
【提出日】2024-07-12
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
上記目的を達成するため、本発明のバーチャルビデオ会議システムは、
ユーザー端末設備にインストールして実行するユーザー端末アプリケーションと;
ユーザー端末設備と無線接続され、さらに少なくとも1つの外部AV機器と電気的に接続され、外部AV機器のAVデータを受信するサーバとを含む。
ユーザー端末アプリケーションは、サーバと接続された外部AV機器の機器情報に基づいて、対応するバーチャルインターフェイスを構築し、さらにユーザー端末設備はバーチャルインターフェイスによりAVデータを提供し、AVデータをビデオ会議ソフトウェアの入力データとし、ユーザー端末アプリケーションが、タイムスタンプに基づいて複数のAVデータを合成し、複数のAVデータが合成及び同期されるように、複数のAVデータがそれぞれ、対応するタイムスタンプを有しており、さらに、ユーザー端末設備が、合成及び同期された後の複数のAVデータをビデオ会議ソフトウェアの入力データとする。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
上記目的を達成するため、本発明のバーチャルビデオ会議方法は以下の工程を含む。
a)ユーザー端末アプリケーションがユーザー端末設備を介してサーバと無線接続を構築する。
b)ユーザー端末アプリケーションはサーバと接続された少なくとも1つの外部AV機器を検索し、少なくとも1つの外部AV機器を選択する。
c)ユーザー端末アプリケーションは、選択された外部AV機器の機器情報をサーバから受信し、さらに機器情報に基づいて対応するバーチャルインターフェイスを構築する。
d)サーバは外部AV機器のAVデータをユーザー端末アプリケーションにストリーミングし始める。
e)ユーザー端末設備はバーチャルインターフェイスによりAVデータを提供し、AVデータをビデオ会議ソフトウェアの入力データとし、ユーザー端末アプリケーションが、タイムスタンプに基づいて複数のAVデータを合成し、複数のAVデータが合成及び同期されるように、複数のAVデータがそれぞれ、対応するタイムスタンプを有しており、さらに、ユーザー端末設備が、合成及び同期された後の複数のAVデータをビデオ会議ソフトウェアの入力データとする。
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項1
【補正方法】変更
【補正の内容】
【請求項1】
ユーザー端末設備にインストールされて実行するユーザー端末アプリケーションと、
前記ユーザー端末設備と無線接続され、さらに少なくとも1つの外部AV機器と電気的に接続され、前記外部AV機器のAVデータを受信するサーバとを含み、
前記ユーザー端末アプリケーションが、前記サーバと接続された前記外部AV機器の機器情報に基づいて、対応するバーチャルインターフェイスを構築し、さらに前記ユーザー端末設備が前記バーチャルインターフェイスにより前記AVデータを提供し、前記AVデータをビデオ会議ソフトウェアの入力データとし、
前記ユーザー端末アプリケーションが、タイムスタンプに基づいて複数の前記AVデータを合成し、複数の前記AVデータが合成及び同期されるように、複数の前記AVデータがそれぞれ、対応する前記タイムスタンプを有しており、さらに、前記ユーザー端末設備が、合成及び同期された後の複数の前記AVデータを前記ビデオ会議ソフトウェアの前記入力データとする、バーチャルビデオ会議システム。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項11
【補正方法】変更
【補正の内容】
【請求項11】
ユーザー端末アプリケーション及びサーバを少なくとも含むバーチャルビデオ会議システムに利用されるバーチャルビデオ会議方法であって、前記ユーザー端末アプリケーションをユーザー端末設備にインストールして実行し、
a)前記ユーザー端末アプリケーションが前記ユーザー端末設備を介して前記サーバと無線接続を構築するステップ、
b)前記ユーザー端末アプリケーションが前記サーバと現在接続されている少なくとも1つの外部AV機器を検索し、少なくとも1つの前記外部AV機器を選択するステップ、
c)前記ユーザー端末アプリケーションが選択された前記外部AV機器の機器情報を前記サーバから受信し、前記機器情報に基づいて対応するバーチャルインターフェイスを構築するステップ、
d)前記ステップcの後、前記ユーザー端末アプリケーションがストリーミング方式で選択された前記外部AV機器のAVデータを前記サーバから受信するステップ、及び
e)前記ユーザー端末設備が前記バーチャルインターフェイスにより受信した前記AVデータを提供し、前記AVデータをビデオ会議ソフトウェアの入力データとし、前記ユーザー端末アプリケーションが、タイムスタンプに基づいて複数の前記AVデータを合成し、複数の前記AVデータが合成及び同期されるように、複数の前記AVデータがそれぞれ、対応する前記タイムスタンプを有しており、さらに、前記ユーザー端末設備が、合成及び同期された後の複数の前記AVデータを前記ビデオ会議ソフトウェアの前記入力データとするステップ、
を含む、バーチャルビデオ会議方法。