(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022130117
(43)【公開日】2022-09-06
(54)【発明の名称】オンライン会議システム
(51)【国際特許分類】
G06F 13/00 20060101AFI20220830BHJP
H04M 3/56 20060101ALI20220830BHJP
H04N 7/15 20060101ALI20220830BHJP
【FI】
G06F13/00 650A
H04M3/56 C
H04N7/15
H04N7/15 120
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021029100
(22)【出願日】2021-02-25
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り [公開事由1]株式会社CI(自社)のウェブサイトでの公開 掲載年月日 :令和2年11月1日 掲載アドレス:https://sales-lp.onmee.jp/ [公開事由2]ソーシャルワイヤー株式会社(プレスリリース代行会社)のウェブサイトでの公開 掲載年月日 :令和2年11月18日 掲載アドレス:https://www.atpress.ne.jp/news/235637 [公開事由3]エキサイト株式会社(ニュースメディア)のウェブサイトでの公開 掲載年月日 :令和2年11月18日 掲載アドレス:https://www.excite.co.jp/news/article/Atpress_235637/
(71)【出願人】
【識別番号】521082857
【氏名又は名称】株式会社CI
(74)【代理人】
【識別番号】110001896
【氏名又は名称】特許業務法人朝日奈特許事務所
(72)【発明者】
【氏名】湯尾 智顕
【テーマコード(参考)】
5B084
5C164
5K201
【Fターム(参考)】
5B084AA01
5B084AA14
5B084AB06
5B084AB07
5B084AB39
5B084BA07
5B084BB01
5B084DB02
5B084DC02
5B084DC03
5B084DC13
5B084EA47
5C164FA10
5C164UB81S
5C164VA07S
5C164VA13P
5C164VA21S
5K201BA16
5K201BB10
5K201CA06
(57)【要約】
【課題】ホストユーザ側の資料の画像を、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、端末装置の画面上においてリアルタイムで共有すること。
【解決手段】第1端末装置と、第2端末装置と、第1端末装置および第2端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、自己に保存されているサブ画像を第1端末装置および第2端末装置へストリーミング配信する保存装置とを備え、第1端末装置および第2端末装置は、ユーザにより行われたサブ画像の視聴に関する操作の内容を制御装置へ送信し、制御装置は、第1端末装置および第2端末装置から受信した操作の内容に対応する指示情報を生成し、保存装置は、指示情報に対応するサブ画像を第1端末装置および第2端末装置へ配信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の端末装置がオンラインで接続されることにより、前記複数の端末装置間での会議を行うことが可能なオンライン会議システムであって、
撮像部および表示部を有する第1端末装置と、
前記第1端末装置との間で情報の送受信が可能であり、撮像部および表示部を有する第2端末装置と、
前記第1端末装置および前記第2端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、
自己に保存されているサブ画像を前記第1端末装置および前記第2端末装置へストリーミング配信する保存装置とを備え、
前記第1端末装置および前記第2端末装置は、自己の前記撮像部が撮像したメイン画像を自己以外の端末装置へ送信し、
前記第1端末装置および前記第2端末装置は、ユーザにより自己に対して行われた前記サブ画像の視聴に関する操作の内容を前記制御装置へ送信し、
前記制御装置は、前記第1端末装置および前記第2端末装置から受信した前記操作の内容に対応する指示情報を生成し、
前記保存装置は、前記指示情報に対応する前記サブ画像を前記第1端末装置および前記第2端末装置へ配信し、
前記第1端末装置および前記第2端末装置は、自己以外の端末装置から受信した前記メイン画像、および前記保存装置から受信した前記サブ画像を前記表示部において表示する、
オンライン会議システム。
【請求項2】
前記サブ画像は動画またはスライド画像であり、
前記操作は、前記サブ画像の表示開始、前記サブ画像の表示停止、前記サブ画像の表示位置の戻し、および前記サブ画像の表示位置の送りである、請求項1に記載のオンライン会議システム。
【請求項3】
前記制御装置は、前記第1端末装置および前記第2端末装置の一方から前記操作の内容を受信した後、前記第1端末装置および前記第2端末装置の一方または他方から新たな前記操作の内容を受信した場合、前記新たな操作の内容に対応する新たな前記指示情報を生成し、
前記保存装置は、配信する内容を、前記新たな指示情報に対応する前記サブ画像に更新する、請求項1または2に記載のオンライン会議システム。
【請求項4】
前記サブ画像は、前記第1端末装置または前記第2端末装置から前記保存装置にアップロードされた画像である、請求項1~3のいずれか1項に記載のオンライン会議システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オンライン会議システムに関する。
【背景技術】
【0002】
従来、複数のパソコンをオンラインで相互に接続することにより、パソコンのユーザ同士が画面を介して互いの顔を見ながら会議を行うオンライン会議が行われている(たとえば特許文献1を参照)。近年においては、オンライン会議が普及してきており、会議の参加者同士がパソコンの画面上においてリアルタイムで資料の画像(たとえば、動画およびスライド画像など)を共有できるようになってきている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した近年のオンライン会議においては、たとえば、ホストユーザ側の資料のうち、ホストユーザが指定した部分の画像(たとえば、指定された再生位置の動画および指定されたページのスライド画像など)が、ホストユーザ側の画面およびゲストユーザ側の画面において共有されるに過ぎず、ホストユーザ側の資料のうち、ゲストユーザが見たい部分が共有されるものではなかった。
【0005】
このため、オンライン会議において、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、画面上においてリアルタイムで資料の画像を共有することができる技術が望まれている。
【0006】
本発明は、かかる問題点に鑑みて、オンライン会議において、ホストユーザ側の資料の画像を、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、端末装置の画面上においてリアルタイムで共有することができるオンライン会議システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係るオンライン会議システムは、複数の端末装置がオンラインで接続されることにより、前記複数の端末装置間での会議を行うことが可能なオンライン会議システムであって、撮像部および表示部を有する第1端末装置と、前記第1端末装置との間で情報の送受信が可能であり、撮像部および表示部を有する第2端末装置と、前記第1端末装置および前記第2端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、自己に保存されているサブ画像を前記第1端末装置および前記第2端末装置へストリーミング配信する保存装置とを備え、前記第1端末装置および前記第2端末装置は、自己の前記撮像部が撮像したメイン画像を自己以外の端末装置へ送信し、前記第1端末装置および前記第2端末装置は、ユーザにより自己に対して行われた前記サブ画像の視聴に関する操作の内容を前記制御装置へ送信し、前記制御装置は、前記第1端末装置および前記第2端末装置から受信した前記操作の内容に対応する指示情報を生成し、前記保存装置は、前記指示情報に対応する前記サブ画像を前記第1端末装置および前記第2端末装置へ配信し、前記第1端末装置および前記第2端末装置は、自己以外の端末装置から受信した前記メイン画像、および前記保存装置から受信した前記サブ画像を前記表示部において表示する。
【0008】
本発明においては、前記サブ画像は動画またはスライド画像であり、前記操作は、前記サブ画像の表示開始、前記サブ画像の表示停止、前記サブ画像の表示位置の戻し、および前記サブ画像の表示位置の送りであることが好ましい。
【0009】
本発明においては、前記制御装置は、前記第1端末装置および前記第2端末装置の一方から前記操作の内容を受信した後、前記第1端末装置および前記第2端末装置の一方または他方から新たな前記操作の内容を受信した場合、前記新たな操作の内容に対応する新たな前記指示情報を生成し、前記保存装置は、配信する内容を、前記新たな指示情報に対応する前記サブ画像に更新することが好ましい。
【0010】
本発明においては、前記サブ画像は、前記第1端末装置または前記第2端末装置から前記保存装置にアップロードされた画像であることが好ましい。
【発明の効果】
【0011】
本発明によれば、オンライン会議において、ホストユーザ側の資料の画像を、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、端末装置の画面上においてリアルタイムで共有することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の一実施形態に係るオンライン会議システムの構成の一例を模式的に示す図である。
【
図2】本発明の一実施形態に係るオンライン会議システムにおける第1端末装置の画面に表示される画像の一例を模式的に示す図である。
【
図3】本発明の一実施形態に係るオンライン会議システムにおける第2端末装置の画面に表示される画像の一例を模式的に示す図である。
【
図4】本発明の一実施形態に係るオンライン会議システムが行う処理手順の一例を示すシーケンス図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態に係るオンライン会議システムについて図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施形態の少なくとも一部同士を任意に組み合わせてもよい。また、以下に示す実施形態はあくまで例にすぎず、本発明のオンライン会議システムは、以下の例に限定されることはない。
【0014】
図1は、本発明の一実施形態に係るオンライン会議システムの構成の一例を模式的に示す図である。なお、
図1に示される複数の通信経路は模式的に図示されたものであり、当該複数の通信経路は、実際には共通の通信経路で構成されていてもよい。
【0015】
図1に示されるオンライン会議システム1は、複数の端末装置2、3がオンラインで接続されることにより、複数の端末装置2、3間での会議を行うことが可能な会議システムである。本実施形態では、たとえば、第1端末装置2はホストユーザ側の端末装置であり、第2端末装置3はゲストユーザ側の端末装置である。なお、第1端末装置2がゲストユーザ側の端末装置であり、第2端末装置3がホストユーザ側の端末装置であってもよい。本明細書において、「ホストユーザ」とは、オンライン会議の主催者として会議に参加するユーザである。また、「ゲストユーザ」とは、オンライン会議にゲストとして参加するユーザである。以下では、第1端末装置2がホストユーザ側の端末装置であり、第2端末装置3がゲストユーザ側の端末装置である場合について説明する。
【0016】
図1に示される例では、1つの第1端末装置2と、複数の第2端末装置3とが、インターネット等の公衆回線を介して相互に接続されることにより、複数の端末装置2、3間においてWeb(World Wide Web)会議を行うことが可能となっている。なお、
図1に示される例では、第2端末装置3の数は4つであるが、これに限定されるものではなく、1つ、2つ、3つ、または5つ以上であってもよい。
【0017】
本実施形態では、オンライン会議が行われる際に、ホストユーザ側の資料の画像が、複数の端末装置2、3の各画面において共有される。なお、本実施形態では、オンライン会議が行われる際に、ゲストユーザ側の資料の画像が、複数の端末装置2、3の各画面において共有されてもよい。本明細書において、「資料の画像」とは、たとえば、資料の内容を示す動画および静止画など、予め用意され、保存された、端末装置2、3に表示可能な各種の画像である。資料の内容を示す静止画は、たとえば、ワード(Microsoft Word:登録商標)、エクセル(Microsoft Excel:登録商標)、およびパワーポイント(Microsoft PowerPoint:登録商標)等のソフトウェアにより作成されたドキュメント(文書ファイル)の画像、PDF(Portable Document Format)等のソフトウェアにより作成された画像、写真、その他の静止した状態で表示される画像を含む。また、資料の内容を示す静止画は、たとえば、1つの静止画であってもよいし、複数の静止画が順に並べられたもの(複数のスライド画像)、および自動的に順次表示される複数のスライド画像(スライドショー画像)であってもよい。
【0018】
また、本明細書において、「共有」とは、複数の端末装置2、3において、各々の画面に表示される画像をリアルタイム(実時間)で共有することである。すなわち、本実施形態においては、共有の対象となる画像が、複数の端末装置2、3の各々の画面において同期して表示される。なお、本実施形態では、画像の共有に加えて、画像に付随する音声(スピーカから出力される)がリアルタイムで共有されてもよい。
【0019】
次に、オンライン会議システム1の構成について、
図1を参照して説明する。
図1に示されるオンライン会議システム1は、第1端末装置2と、第2端末装置3と、制御装置4と、保存装置5とを備えている。
【0020】
第1端末装置2は、撮像部(図示せず)および表示部21を有する情報機器である。第1端末装置2は、たとえば、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、携帯電話やスマートフォン、タブレットPC(Personal Computer)、ノートPC、ウェアラブルデバイス、またはディスプレイを備えたPC等の情報家電である。
図1においては、第1端末装置2の一例として、カメラ機能を備えたノートPCが示されている。
【0021】
第1端末装置2の表示部21の画面211に表示される画像の一例について、
図1および
図2を参照して説明する。
図2は、本発明の一実施形態に係るオンライン会議システムにおける第1端末装置の画面に表示される画像の一例を模式的に示す図である。
【0022】
図2に示されるように、第1端末装置2の撮像部(カメラ)は、ホストユーザHuの顔などの画像をメイン画像MG1として撮像することができる。また、本実施形態では、第1端末装置2の表示部21は、ホストユーザHu側のメイン画像MG1、ゲストユーザGu側のメイン画像MG2(たとえば、ゲストユーザGuの顔などの画像)、および保存装置5に保存されているサブ画像SGなど、複数の画像MG1、MG2、SGを同時に表示することができる。また、本実施形態では、第1端末装置2の表示部21は、サブ画像SGに代えて、第1端末装置2に保存されている画像(図示せず)、および第2端末装置3に保存されている画像(図示せず)を表示することができる。すなわち、第1端末装置2の表示部21は、サブ画像SGに代えて、後述する画面共有の画像を表示することができる。
【0023】
本実施形態では、
図2に示されるように、画面211の左上部にホスト表示領域R1が示され、右上部に資料表示領域R2が示されている。また、画面211の左中央部にファイル選択ボタンB1、ファイル選択解除ボタンB2、および共有URL表示領域R3が示されている。また、画面211の下部にゲスト表示領域R4、音声調整領域R5、ミュートボタンB3、ビデオボタンB4、画面共有ボタンB5、参加者リストボタンB6、設定ボタンB7、および退出ボタンB8が示されている。なお、
図2および
図3に表示された画面211、311は一例であり、
図2および
図3とは異なる配置、構成であってもよく、各ボタン、表示領域は、必須ではない。
【0024】
図2に示される例では、ホスト表示領域R1には、第1端末装置2の撮像部によって撮像された画像(ホストユーザHuの画像)が表示されている。資料表示領域R2には、保存装置5から配信された画像(資料の内容を示す画像)が表示されている。なお、資料表示領域R2には、サブ画像SGに代えて、第1端末装置2に保存されている画像、および第2端末装置3に保存されている画像が表示されてもよい。共有URL表示領域R3には、オンライン会議(Web会議)に参加する際にアクセスするWebページのURL(uniform resource locator)が表示されている。ゲスト表示領域R4には、第2端末装置3の撮像部によって撮像された画像(ゲストユーザGuの画像)が表示される。
図2に示される例では、1つの第1端末装置2および2つの第2端末装置3が、通信経路T1(
図1に二点鎖線で示す)を経由してオンライン会議のWebページにアクセスしてオンライン会議に参加しており、その2つの第2端末装置3の各撮像部によって撮像された画像が、ゲスト表示領域R4において横方向に並んで表示されている。音声調整領域R5には、第1端末装置2のスピーカから発せられる音声の大きさを調整するためのスライダS1が表示されている。通信経路T1では、複数の端末装置2、3の間で、たとえば、WebRTC(Web Real-Time Communication)を用いたP2P(peer-to-peer)による双方向通信が行われる。
【0025】
ファイル選択ボタンB1は、保存装置5に保存されている1または複数の画像の中から、第1端末装置2および第2端末装置3へ配信する画像を選択するために操作されるボタンである。以下、保存装置5に保存されている画像の中から選択された画像を第1選択画像とも称する。第1選択画像は、保存装置5から第1端末装置2および第2端末装置3へストリーミング配信される(ストリーミング配信については後述する)。また、ファイル選択ボタンB1は、自己の端末装置(たとえば第1端末装置2)に保存されている1または複数の画像の中から、他の端末装置(たとえば第2端末装置3)へ送信する画像を選択するために操作されるボタンである。以下、自己の端末装置(たとえば第1端末装置2)に保存されている画像の中から選択された画像を第2選択画像とも称する。ファイル選択解除ボタンB2は、ファイル選択ボタンB1の操作によるファイルの選択を解除するためのボタンである。ミュートボタンB3は、第1端末装置2のマイク(図示せず)をオフ状態にするためのボタンである。ビデオボタンB4は、オンライン会議を録画するためのボタンである。
【0026】
画面共有ボタンB5は、ファイル選択ボタンB1の操作によって、自己の端末装置(たとえば第1端末装置2)に保存されている1または複数の画像の中から選択された画像(上述の第2選択画像)を、オンライン会議に参加している端末装置2、3の各資料表示領域R2において共有する(画面共有)ためのボタンである。すなわち、画面共有ボタンB5の操作によって共有される画像は、保存装置5からストリーミング配信された画像ではなく、自己の端末装置(たとえば第1端末装置2)に保存されている画像である。たとえば、ホストユーザHuが第1端末装置2の画面共有ボタンB5を操作して画面共有ボタンB5をアクティブ状態にすることにより、第1端末装置2に保存されている画像の中から選択された第2選択画像が、オンライン会議に参加しているすべての第2端末装置3へ通信経路T1を経由して送信され、第1端末装置2および第2端末装置3の各資料表示領域R2において第2選択画像が共有される。すなわち、画面共有ボタンB5をアクティブ状態にする操作を行うことにより、第1端末装置2に保存されている画像の中から選択された第2選択画像が、第1端末装置2および第2端末装置3の各資料表示領域R2において同期して表示される。また、たとえば、第1端末装置2の画面共有ボタンB5がアクティブ状態になっている場合において、ホストユーザHuが第1端末装置2の画面共有ボタンB5を操作して非アクティブ状態にする操作を行うか、または、第1端末装置2のファイル選択解除ボタンB2を操作して画像の選択を解除することにより、第1端末装置2から第2端末装置3への第2選択画像の送信が停止され、第1端末装置2および第2端末装置3における第2選択画面の共有が中止される。第2選択画像の共有が中止されることにより、第1端末装置2および第2端末装置3の各資料表示領域R2は非共有状態となり、たとえば、第2選択画像が表示されていない状態となる。
【0027】
参加者リストボタンB6は、オンライン会議に参加しているユーザの一覧を表示するためのボタンである。参加者リストボタンB6を操作してアクティブ状態にすることにより、オンライン会議に参加しているユーザの一覧が表示される。設定ボタンB7は、オンライン会議に関する種々の条件を設定するためのボタンである。退出ボタンB8は、オンライン会議を終了する際に、オンライン会議の部屋から退出するためのボタンである。
【0028】
第1端末装置2(
図1参照)は、自己の撮像部が撮像したメイン画像MG1(
図2参照)を自己以外の端末装置へ送信する。すなわち、第1端末装置2は、第1端末装置2の撮像部が撮像したメイン画像(たとえば、ホストユーザHuの画像)を第2端末装置3へ送信する。詳細には、第1端末装置2は、オンライン会議に参加しているすべてのゲストユーザGuの第2端末装置3へメイン画像MG1を送信する。たとえば、1つの第1端末装置2および複数の第2端末装置3がオンライン会議に参加している場合には、第1端末装置2は、自己の撮像部が撮像したメイン画像MG1をオンライン会議に参加しているすべての第2端末装置3へ送信する。
【0029】
第1端末装置2は、ユーザにより自己(第1端末装置2)に対して行われたサブ画像SGの視聴に関する操作の内容を制御装置4へ送信する。サブ画像SGは、保存装置5に保存されている画像である。本実施形態では、サブ画像SGは、オンライン会議において用いられる資料の内容を示す画像(資料の画像)である。詳細には、サブ画像SGは、たとえば、動画または静止画であり、上述の第1選択画像である。サブ画像SGの視聴に関する操作は、たとえば、サブ画像SGの表示開始、サブ画像SGの表示停止、サブ画像SGの表示位置の戻し、およびサブ画像SGの表示位置の送りである。なお、サブ画像SGの視聴に関する操作は、上述の操作に限定されるものではなく、他の種類の操作であってもよい。また、本実施形態では、サブ画像SGは、第1端末装置2から保存装置5にアップロードされた画像である。
図1に示される例では、サブ画像SGは、有線または無線の通信経路T2(実線で示す)を経由してアップロードされている。なお、サブ画像SGは、第2端末装置3から保存装置5にアップロードされた画像であってもよい。なお、サブ画像SGは、第1端末装置2または第2端末装置3から保存装置5にアップロードされた画像に限定されるものではなく、たとえば、USB(Universal Serial Bus)メモリなどの記憶媒体から保存装置5に保存された画像であってもよい。また、サブ画像SGは、たとえば、アップロード時の画像と実質的に同じ内容であれば、アップロード時の画像に対してPDFの形式に変換する等の処理を保存装置5において行った画像であってもよい。
【0030】
図2に示されるように、第1端末装置2は、自己以外の端末装置(第2端末装置3)から受信したメイン画像MG2、および保存装置5から受信したサブ画像SGを表示部21の画面211において表示する。たとえば、オンライン会議に1つの第1端末装置2および複数の第2端末装置3が参加している場合には、第1端末装置2は、第2端末装置3から受信したメイン画像MG2、および保存装置5から受信したサブ画像SGを表示部21の画面211において同時に表示する。また、
図2に示される例では、第1端末装置2は、自己の撮像部が撮像したメイン画像MG1を、上述のメイン画像MG2およびサブ画像SGと同時に画面211において表示する。
【0031】
第2端末装置3の表示部の画面に表示される画像の一例について、
図1および
図3を参照して説明する。
図3は、本発明の一実施形態に係るオンライン会議システムにおける第2端末装置の画面に表示される画像の一例を模式的に示す図である。
【0032】
第2端末装置3(
図1参照)は、第1端末装置2との間で情報の送受信が可能であり、撮像部(図示せず)および表示部31を有する。本実施形態では、第2端末装置3は、撮像部(カメラ)による撮像を行うことができる情報端末である。撮像部は、たとえば、ゲストユーザGuの顔などの画像を、メイン画像MG2として撮像することができる。第2端末装置3の種類は、特に限定されるものではなく、第1端末装置2と同様、種々の種類を採用することができる。
【0033】
図3に示されるように、第2端末装置3の撮像部(カメラ)は、ゲストユーザGuの顔などの画像をメイン画像MG2として撮像することができる。また、本実施形態では、第2端末装置3の表示部31は、ホストユーザHu側のメイン画像MG1、ゲストユーザGu側のメイン画像MG2(たとえば、ゲストユーザGuの顔などの画像)、および保存装置5に保存されているサブ画像SGなど、複数の画像MG1、MG2、SGを同時に表示することができる。
【0034】
本実施形態では、
図3に示されるように、画面311の左上部にホスト表示領域R1が示され、右上部に資料表示領域R2が示されている。また、画面311の下部にゲスト表示領域R4、音声調整領域R5、ミュートボタンB3、ビデオボタンB4、画面共有ボタンB5、参加者リストボタンB6、設定ボタンB7、および退出ボタンB8が示されている。なお、
図3に示される例では、
図2に示されるファイル選択ボタンB1、ファイル選択解除ボタンB2、および共有URL表示領域R3が示されていないが、これらのボタンB1、B2および共有URL表示領域R3が示されていてもよい。画面311においてファイル選択ボタンB1が示される場合、ファイル選択ボタンB1は、保存装置5に保存されている1または複数の画像の中から、第1端末装置2および第2端末装置3へ配信する画像を選択するために操作されるボタンである。保存装置5に保存されている画像の中から選択された画像(第1選択画像)は、保存装置5から第1端末装置2および第2端末装置3へストリーミング配信される。
【0035】
また、画面311においてファイル選択ボタンB1が示される場合、ファイル選択ボタンB1は、自己の端末装置(第2端末装置3)に保存されている1または複数の画像の中から、他の端末装置(第1端末装置2および他の第2端末装置3)へ送信する画像を選択するために操作されるボタンである。第2端末装置3においてファイル選択ボタンB1を操作して、自己の端末装置(第2端末装置3)に保存されている1または複数の画像の中から画像を選択し、画面共有ボタンB5を操作して画面共有ボタンB5をアクティブ状態にすることにより、第1端末装置2および第2端末装置3の各資料表示領域R2において第2選択画像(第2端末装置3に保存されている画像の中から選択された画像)が共有される。
【0036】
第2端末装置3(
図1参照)は、自己の撮像部が撮像したメイン画像MG2を自己以外の端末装置へ送信する。たとえば、1つの第1端末装置2および複数の第2端末装置3がオンライン会議に参加している場合には、第2端末装置3は、自己の撮像部が撮像したメイン画像MG2を、オンライン会議に参加している第1端末装置2および他のすべての第2端末装置3へ送信する。
【0037】
第2端末装置3は、ユーザにより自己(第2端末装置3)に対して行われたサブ画像SGの視聴に関する操作の内容を制御装置4へ送信する。サブ画像SGの視聴に関する操作の内容は、第1端末装置2において行われる上述した操作の内容と同様である。
【0038】
第2端末装置3は、自己以外の端末装置から受信したメイン画像、および保存装置5から受信したサブ画像SGを表示部31の画面311において表示する。たとえば、オンライン会議に1つの第1端末装置2および複数の第2端末装置3が参加している場合には、第2端末装置3は、第1端末装置2から受信したメイン画像MG1および他の第2端末装置3から受信したメイン画像MG2、および保存装置5から受信したサブ画像SGを表示部31の画面311において同時に表示する。また、
図3に示される例では、第2端末装置3は、自己の撮像部が撮像したメイン画像MG2を、上述のメイン画像MG1、メイン画像MG2およびサブ画像SGと同時に画面311において表示する。
図3に示される例では、自己の撮像部が撮像したメイン画像MG2は、ゲスト表示領域R4において左から2番目の位置に表示されている。
【0039】
制御装置4(
図1参照)は、第1端末装置2および第2端末装置3との間で情報の送受信が可能であり、所定の制御動作を行う。詳細には、制御装置4は、第1端末装置2および第2端末装置3から受信した操作の内容に対応する指示情報を生成する。本実施形態では、指示情報は、たとえば、制御装置4が第1端末装置2および第2端末装置3から受信した操作の内容に対応する画像(以下、操作対応画像とも称する)を、保存装置5からストリーミング配信させる指示を保存装置5に対して直接的または間接的に行うための情報である。制御装置4は、第1端末装置2および第2端末装置3との間で通信経路T3(
図1に一点鎖線で示す)を経由して、たとえば、WebSocketを用いた双方向通信を行う。本実施形態では、制御装置4はSocketサーバ(第2サーバ)である。
【0040】
まず、指示情報が、操作対応画像をストリーミング配信させる指示を保存装置5に対して直接的に行うための情報である場合について説明する。たとえば、第1端末装置2において動画の再生開始の操作(たとえば、後述する再生ボタンB9をアクティブ状態にする操作)が行われた場合には、制御装置4は動画の再生開始の操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3へ動画をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において動画の再生停止の操作が行われた場合には、制御装置4は動画の再生停止の操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3への動画のストリーミング配信を停止するように保存装置5に対して指示する。また、第1端末装置2において動画の再生位置の戻しの操作が行われた場合には、制御装置4は動画の再生位置の戻しの操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3へ、再生位置の戻しの指示に対応する動画(戻された再生位置からの動画)をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において動画の再生位置の送りの操作が行われた場合には、制御装置4は動画の再生位置の送りの操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3へ、再生位置の送りの指示に対応する動画(送られた再生位置からの動画)をストリーミング配信するように保存装置5に対して指示する。第2端末装置3において動画の再生開始の操作、動画の再生停止の操作、動画の再生位置の戻しの操作、および動画の再生位置の送りの操作が行われた場合についても同様である。
【0041】
次に、指示情報が、操作対応画像をストリーミング配信させる指示を保存装置5に対して間接的に行うための情報である場合について説明する。たとえば、第1端末装置2において、動画の再生ボタンB9をアクティブ状態にする操作が行われた場合には、制御装置4は動画の再生ボタンB9をアクティブ状態にする操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ再生ボタンB9をアクティブ状態にする指示を行う。「再生ボタンB9をアクティブ状態にする操作」は、たとえば、ノートPCにおいては、非アクティブ状態にある再生ボタンB9をマウスでクリックする操作であり、スマートフォンにおいては、非アクティブ状態にある再生ボタンB9を指などでタッチする操作である。また、第2端末装置3は、受信した指示に基づいて、自己の再生ボタンB9をアクティブ状態にするとともに、動画をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において、動画の再生ボタンB9を非アクティブ状態にする操作が行われた場合には、制御装置4は動画の再生ボタンB9を非アクティブ状態にする操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ再生ボタンB9を非アクティブ状態にする指示を行う。「再生ボタンB9を非アクティブ状態にする操作」は、たとえば、ノートPCにおいては、アクティブ状態にある再生ボタンB9をマウスでクリックする操作であり、スマートフォンにおいては、アクティブ状態にある再生ボタンB9を指などでタッチする操作である。第2端末装置3は、受信した指示に基づいて、自己の再生ボタンB9を非アクティブ状態にするとともに、動画のストリーミング配信を停止するように保存装置5に対して指示する。また、第1端末装置2において、動画のシークバーB10の位置を戻す(動画の再生位置を戻す)操作が行われた場合には、制御装置4は動画のシークバーB10の位置を戻す(動画の再生位置を戻す)操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ動画のシークバーB10の位置を戻す指示を行う。第2端末装置3は、受信した指示に基づいて、自己のシークバーB10の位置を戻すとともに、シークバーB10を戻した位置から動画をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において、動画のシークバーB10の位置を送る(動画の再生位置を送る)操作が行われた場合には、制御装置4は動画のシークバーB10の位置を送る(動画の再生位置を送る)操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ動画のシークバーB10の位置を送る指示を行う。第2端末装置3は、受信した指示に基づいて、自己のシークバーB10の位置を送るとともに、シークバーB10を送った位置から動画をストリーミング配信するように保存装置5に対して指示する。第2端末装置3において動画の再生ボタンB9をアクティブ状態にする操作、動画の再生ボタンB9を非アクティブ状態にする操作、動画のシークバー10の位置を戻す操作、動画のシークバー10の位置を送る操作が行われた場合についても同様である。
【0042】
制御装置4は、第1端末装置2および第2端末装置3の一方から操作の内容を受信した後、第1端末装置2および第2端末装置3の一方または他方から新たな操作の内容を受信した場合、新たな操作の内容に対応する新たな指示情報を生成する。すなわち、制御装置4は、端末装置2、3から操作の内容を受信し、受信した操作の内容に対応する指示を行った後、先に受信した操作の内容とは異なる操作の内容を端末装置2、3から新たに受信した場合、制御装置4は、新たに受信した操作の内容に対応する指示を行う。たとえば、制御装置4は、第1端末装置2から再生ボタンB9をアクティブ状態にする操作の内容を受信して、第2端末装置3へ再生ボタンB9をアクティブ状態にする指示を行った後、第2端末装置3からシークバーB10の位置を戻す操作の内容を受信した場合、制御装置4はシークバーB10の位置を戻す指示を第1端末装置2および第2端末装置3に対して行う。また、たとえば、制御装置4は、第2端末装置3からシークバーB10の位置を変更する(たとえば戻し)操作の内容を受信して、第1端末装置2および他の第2端末装置3へシークバーB10の位置を変更する指示を行った後、第1端末装置2からシークバーB10の位置を新たに変更する(たとえば送り)操作の内容を受信した場合、制御装置4はシークバーB10の位置を送る新たな指示を第2端末装置3に対して行う。
【0043】
保存装置5は、制御装置4が生成した指示情報に対応するサブ画像SGを第1端末装置2および第2端末装置3へ配信する。本実施形態では、保存装置5はストリーミング配信を行うストリーミングサーバ(第1サーバ)である。たとえば、制御装置4が保存装置5から操作対応画像をストリーミング配信させる指示を保存装置5に対して直接的に行う場合には、保存装置5は、制御装置4から受信した指示に基づいて、操作対象画像を第1端末装置2および第2端末装置3へストリーミング配信する。また、制御装置4が保存装置5から操作対応画像をストリーミング配信させる指示を保存装置5に対して間接的に行う場合には、保存装置5は、第1端末装置2および第2端末装置3から受信した指示に基づいて、操作対象画像を第1端末装置2および第2端末装置3へストリーミング配信する。また、上述のように、制御装置4が新たな指示情報を生成し、この新たな指示情報に基づいて直接的または間接的に保存装置5に指示を行った場合、保存装置5は、配信する内容を、新たな指示情報に対応するサブ画像に更新する。たとえば、保存装置5は、制御装置4から直接的または間接的に動画再生の指示を受けて動画の配信を行っている間に、制御装置4から直接的または間接的に動画再生位置の戻しの指示を受けた場合、戻しの指示に対応する再生位置から動画の配信を行う。ストリーミング配信を行う際には、インターネット回線の通信速度(帯域幅)および受信側の端末(第1端末装置2および第2端末装置3)の処理速度に応じて、配信する画像の品質を調整することができるので、端末装置2、3に配信される画像を同期して表示することがより容易となる。
【0044】
次に、オンライン会議システムが行う処理手順について、
図4を参照して説明する。
図4は、本発明の一実施形態に係るオンライン会議システムが行う処理手順の一例を示すシーケンス図である。
【0045】
本実施形態では、図示しないWebサーバにおいて、オンライン会議を行うためのWebページがホストユーザHuによって予め構築されているものとする。また、ホストユーザHuおよびゲストユーザGuは、上記Webページにアクセスしてオンライン会議の部屋に入室するためのURLを認識しているものとする。また、ここでは、第1端末装置2および複数の第2端末装置3が上記Webページにアクセスすることにより、ホストユーザHuおよび複数のゲストユーザGuは、上記Webページにおいて構築されたオンライン会議の部屋に入室しているものとする。また、第1端末装置2および複数の第2端末装置3の間では、P2Pによる双方向通信が確立されているものとする。また、第1端末装置2および制御装置4の間、および、第2端末装置3および制御装置4の間では、WebSocketによる双方向通信が確立されているものとする。また、第1端末装置2から保存装置5へのサブ画像SGのアップロードが既に行われているものとする。
【0046】
図4に示される例では、まず、第1端末装置2および第2端末装置3の間において、音声、ビデオストリームの送受信が行われる。詳細には、ホストユーザHuおよびゲストユーザGuが発した音声、ホストユーザHuの撮像動画(メイン画像MG1)およびゲストユーザGuの撮像動画(メイン画像MG2)の送受信が行われる。そして、第1端末装置2の画面211において、たとえば、
図2に示されるようにメイン画像MG1およびメイン画像MG2が表示される。また、第2端末装置3の画面311において、たとえば、
図3に示されるようにメイン画像MG1およびメイン画像MG2が表示される(ステップS101、S102)。
【0047】
つぎに、第1端末装置2において、オンライン会議で使用したい画像(たとえば動画)が入っているファイルが、ファイル選択ボタンB1の操作によって選択される。そして、第1端末装置2において、再生ボタンB9をアクティブ状態にする操作が行われる。具体的には、たとえば、ノートPCにおいては、非アクティブ状態にある再生ボタンB9をマウスでクリックする操作が行われ、スマートフォンにおいては、非アクティブ状態にある再生ボタンB9を指などでタッチする操作が行われる。これにより、制御装置4は、選択されたファイルに入っている画像(第1選択画像)を保存装置5にストリーミング配信させる指示を保存装置5へ送信する。保存装置5は、受信した指示に基づいて、第1端末装置2およびオンライン会議に参加しているすべての第2端末装置3へ第1選択画像(サブ画像SG)をストリーミング配信する(ステップS103)。
【0048】
つぎに、第1端末装置2および第2端末装置3は、保存装置5からストリーミング配信された第1選択画像を各々の画面211、311において同期して再生する(ステップS104、S105)。
【0049】
つぎに、第1端末装置2において、第1選択画像の再生位置を変更する操作が行われる(ビデオ操作)。詳細には、たとえば、第1端末装置2において、シークバーB10の再生位置を変更(戻しまたは送り)する操作が行われる。具体的には、たとえば、動画で2分30秒の位置へシークバーB10を移動させる操作が行われる。第1端末装置2は、シークバーB10の再生位置を変更した内容を制御装置4へ送信する。(ステップS106)。
【0050】
つぎに、制御装置4は、第1端末装置2からシークバーB10の再生位置の変更内容を受信する(ステップS107)。つぎに、制御装置4は、受信した内容に合わせて、シークバーB10の位置を変更する指示を、会議に参加しているすべての第2端末装置3へ送信する(ステップS108)。
【0051】
つぎに、第2端末装置3は、制御装置4から、シークバーB10の位置を変更する指示を受信する(ステップS109)。つぎに、第2端末装置3は、自己のシークバーB10の位置を変更するとともに、シークバーB10の位置に対応した再生位置から第1選択画像をストリーミング配信させる指示を保存装置5へ送信する。具体的には、たとえば、第2端末装置3のシークバーB10が、動画で1分30秒の位置にあっても、第2端末装置3が制御装置4からの指示を受けることで、シークバーB10が2分30秒の位置へ移動する(ステップS110)。
【0052】
つぎに、保存装置5は、第2端末装置3から受信した指示に基づいて、シークバーB10の位置に対応した再生位置から第1選択画像を、第1端末装置2およびオンライン会議に参加しているすべての第2端末装置3へストリーミング配信する(ステップS111)。
【0053】
つぎに、第1端末装置2および第2端末装置3は、シークバーB10の修正位置からの第1選択画像を保存装置5から受信し、同期して再生する。具体的には、たとえば、第1端末装置2および第2端末装置3は、動画を2分30秒の位置から同期して再生する(ステップS112、S113)。
【0054】
以上説明したように、本実施形態に係るオンライン会議システム1では、第1端末装置に保存されている画像を第1端末装置2および第2端末装置3において画面共有するのではなく、第1端末装置2および第2端末装置3とは別に設けられた保存装置5(たとえばサーバ)に保存されているサブ画像SGを、保存装置5から第1端末装置2および第2端末装置3へ配信させて共有するので、ホストユーザHu側の第1端末装置2に限らず、ゲストユーザGu側の第2端末装置3から、制御装置4を介して、サブ画像SGにおいて見たい部分を指定して第1端末装置2および第2端末装置3へ同期して配信することができる。したがって、オンライン会議において、ホストユーザHu側の資料の画像(サブ画像SG)を、ホストユーザHuからのアクション(操作)に限らず、ゲストユーザGuからのアクションによっても、端末装置2、3の画面上においてリアルタイムで共有することができる。また、従来のように、ホストユーザ側の端末装置の画面がそのまま共有されるのではなく、ストリーミング配信される画像に対してホストユーザHuおよびゲストユーザGuが行った操作(たとえば、資料の表示位置の変更、動画の再生位置の変更、動画再生、動画停止といった動作を行わせるための操作)を同期させることができる。また、本実施形態では、サーバ上(クラウド上)にアップロードされているサブ画像SG(画像ファイル)が端末装置2、3へ配信されることによりサブ画像SGが共有されるので、サブ画像SGの確証性を容易に担保することができる。詳細には、従来は、端末装置(たとえばパソコン)に保存されている画像が当該端末装置の画面に表示(投影)され、その画像が他の端末装置の画面にも表示されることで画像の共有(画面共有)が行われていた。この画面共有において共有される画像の確証性は、画像が保存されている端末装置および当該端末装置のユーザに依存する。このため、従来の画面共有によって共有された画像は、画像が保存されている端末装置において画面共有後にいくらでも書き換えることが可能であり、共有された画像の確証性を担保することが難しい。これに対し、本実施形態では、サーバ上(クラウド上)にアップロードされているサブ画像SG(画像ファイル)が端末装置2、3へ配信されることにより画像が共有されており、サーバ上(クラウド上)にアップロードされている画像を端末装置側で書き換えることは容易ではない。したがって、本実施形態では、共有された画像の確証性を容易に担保することができる。また、本実施形態では、サーバ上(クラウド上)にアップロードされているサブ画像SGに対して、視聴に関する操作を行うので、端末装置2、3をその種類(パソコンだけでなく、タブレット、スマートフォンなど)および性能を問わずに使用することができ、オンライン会議システムの利便性をより高めることができる。また、ホストユーザHu側の端末装置2およびゲストユーザGu側の端末装置3において、サブ画像SGの表示開始、サブ画像SGの表示停止、サブ画像SGの表示位置の戻し、およびサブ画像SGの表示位置の送りなど、サブ画像SGの視聴に関する多様な操作を行い、その操作に対応した画像(操作対応画像)の共有をリアルタイムで行うことにより、ホストユーザHuおよびゲストユーザGuの双方において、オンライン会議をより効率よく、よりスムーズに行うことができる。
【0055】
また、本実施形態では、ストリーミング配信される画像を第1端末装置2の画面211および第2端末装置3の画面311において共有するので、たとえば、インターネット回線の通信速度(帯域幅)および受信側の端末(第1端末装置2および第2端末装置3)の処理速度に応じて、配信する画像の品質を調整(最適化)することにより、オンライン会議において、ホストユーザHu側の第1端末装置2およびゲストユーザGu側の第2端末装置3の各画面における資料の同期した表示をより容易かつ確実に行うことができる。
【0056】
また、本実施形態では、第1端末装置2および第2端末装置3にアプリケーションソフトをインストールして画像の同期を行うのではなく、Webベースで動作する制御装置4の制御によって第1端末装置2および第2端末装置3に画像を配信して画像を共有するので、パソコンだけでなく、タブレット、スマートフォンなど、利用する端末装置の種類を問わすに画像を共有することができる。
【符号の説明】
【0057】
1 オンライン会議システム
2 第1端末装置
21、31 表示部
211、311 画面
3 第2端末装置
4 制御装置
5 保存装置
B1 ファイル選択ボタン
B2 ファイル選択解除ボタン
B3 ミュートボタン
B4 ビデオボタン
B5 画面共有ボタン
B6 参加者リストボタン
B7 設定ボタン
B8 退出ボタン
B9 再生ボタン
B10 シークバー
Gu ゲストユーザ
Hu ホストユーザ
MG1 第1端末装置において撮像されたメイン画像
MG2 第2端末装置において撮像されたメイン画像
R1 ホスト表示領域
R2 資料表示領域
R3 共有URL表示領域
R4 ゲスト表示領域
R5 音声調整領域
SG サブ画像
T1~T3 通信経路
【手続補正書】
【提出日】2022-06-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の端末装置がオンラインで接続されることにより、前記複数の端末装置間での会議を行うことが可能なオンライン会議システムであって、
撮像部および表示部を有する第1端末装置と、
前記第1端末装置との間で情報の送受信が可能であり、撮像部および表示部を有する第2端末装置と、
前記第1端末装置および前記第2端末装置とは別に設けられ、前記第1端末装置および前記第2端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、
自己に保存されているサブ画像を前記第1端末装置および前記第2端末装置へストリーミング配信する保存装置とを備え、
前記第1端末装置および前記第2端末装置は、自己の前記撮像部が撮像したメイン画像を自己以外の端末装置へ送信し、
前記第1端末装置および前記第2端末装置は、ユーザにより自己に対して行われた前記サブ画像の視聴に関する操作の内容を前記制御装置へ送信し、
前記制御装置は、前記第1端末装置および前記第2端末装置のうちの一の端末装置から受信した前記操作の内容に対応する指示情報を生成し、
前記保存装置は、前記一の端末装置からの操作の内容に係る前記指示情報に対応する前記サブ画像を、オンライン会議に参加しているすべての前記第1端末装置および前記第2端末装置へ配信し、
前記第1端末装置および前記第2端末装置は、自己以外の端末装置から受信した前記メイン画像、および前記保存装置から受信した前記サブ画像を前記表示部において表示する、
オンライン会議システム。
【請求項2】
前記サブ画像は動画またはスライド画像であり、
前記操作は、前記サブ画像の表示開始、前記サブ画像の表示停止、前記サブ画像の表示位置の戻し、および前記サブ画像の表示位置の送りである、請求項1に記載のオンライン会議システム。
【請求項3】
前記制御装置は、前記第1端末装置および前記第2端末装置の一方から前記操作の内容を受信した後、前記第1端末装置および前記第2端末装置の一方または他方から新たな前記操作の内容を受信した場合、前記新たな操作の内容に対応する新たな前記指示情報を生成し、
前記保存装置は、配信する内容を、前記新たな指示情報に対応する前記サブ画像に更新する、請求項1または2に記載のオンライン会議システム。
【請求項4】
前記サブ画像は、前記第1端末装置または前記第2端末装置から前記保存装置にアップロードされた画像である、請求項1~3のいずれか1項に記載のオンライン会議システム。