特許 7087779 端末装置、会議システム、端末装置の制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-13

(45)【発行日】2022-06-21

(54)【発明の名称】端末装置、会議システム、端末装置の制御方法、及びプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20220614BHJP

   H04N 21/44 20110101ALI20220614BHJP

   H04M 3/56 20060101ALI20220614BHJP

   H04M 1/00 20060101ALI20220614BHJP

【ＦＩ】

H04N7/15

H04N21/44

H04M3/56 C

H04M1/00 H

【請求項の数】 10

(21)【出願番号】P 2018140640

(22)【出願日】2018-07-26

(65)【公開番号】P2020017897

(43)【公開日】2020-01-30

【審査請求日】2021-05-20

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】小山 毅

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０１２－１２９９５０（ＪＰ，Ａ）

【文献】特開平０９－１６３３３２（ＪＰ，Ａ）

【文献】特開平０７－２４５６６５（ＪＰ，Ａ）

【文献】特開２００４－２５９２６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１５

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｍ ３／５６

Ｈ０４Ｍ １／００

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して他の端末装置と通信を行う端末装置であって、
前記他の端末装置と共有する共有画像のデータを受信する共有画像受信部と、
前記他の端末装置が送信した音声データを受信する音声データ受信部と、
前記共有画像を表示部に表示させる共有画像表示部と、
前記共有画像受信部が前記共有画像のデータを受信した場合、前記音声データを記憶する音声データ記憶部と、
前記音声データ記憶部に記憶されている前記音声データを前記音声データ受信部による前記音声データの受信の時期より遅れて出力する出力部と、
前記音声データ記憶部に記憶されている前記音声データから、発話がない期間を検出する検出部と、
前記検出部において、前記音声データ記憶部に記憶されている前記音声データに発話がない期間が検出された場合、前記音声データ記憶部に記憶されている前記音声データから前記発話がない期間の一部又は全部を除外して、前記音声データを前記出力部に出力させる出力制御部と、
を有する、端末装置。

【請求項2】

前記出力制御部は、前記共有画像表示部が前記共有画像を前記表示部に表示させた後、前記音声データにおいて発話がない期間が検出された場合、前記音声データにおける前記発話がない期間の一部又は全部を除外する、請求項１に記載の端末装置。

【請求項3】

前記出力部は、前記音声データ記憶部に記憶されている前記音声データを所定の期間遅延させて出力し、
前記出力制御部は、前記所定の期間の範囲内で前記音声データから前記発話がない期間を除外する、請求項１又は２に記載の端末装置。

【請求項4】

前記所定の期間は、前記共有画像のデータの受信を開始してから、前記共有画像が表示されるまでの期間を含む、請求項３に記載の端末装置。

【請求項5】

前記音声データは、前記他の端末で撮影した動画像を含む映像データに含まれ、
前記出力部は、前記音声データを用いて前記動画像を前記所定の期間遅延させて出力する、請求項３又は４に記載の端末装置。

【請求項6】

前記動画像は、該動画像を再生すべき時間情報を含み、
前記出力部は、前記共有画像受信部が前記共有画像のデータを受信するとき、前記動画像の前記時間情報を前記所定の期間遅らせて出力する、請求項５に記載の端末装置。

【請求項7】

前記出力制御部は、前記共有画像表示部が前記共有画像を前記表示部に表示させた後、前記音声データにおいて発話がない期間が検出された場合、前記動画像の前記時間情報を、前記発話がない期間の一部又は全部に相当する期間だけ進めて、前記動画像を前記出力部に出力させる、請求項６に記載の端末装置。

【請求項8】

第１の端末装置と、前記第１の端末装置とネットワークを介して通信可能な第２の端末装置とを用いて通信を行う会議システムであって、
前記第１の端末装置は、
前記第２の端末装置と共有する共有画像のデータを前記第２の端末装置に送信する共有画像送信部と、
前記第１の端末装置が取得した音声データを前記第２の端末装置に送信する音声データ送信部と、
を有し、
前記第２の端末装置は、
前記第１の端末装置が送信する前記共有画像のデータを受信する共有画像受信部と、
前記第１の端末装置が送信する前記音声データを受信する音声データ受信部と、
前記共有画像を表示部に表示させる共有画像表示部と、
前記共有画像受信部が前記共有画像のデータを受信した場合、前記音声データを記憶する音声データ記憶部と、
前記音声データ記憶部に記憶されている前記音声データを前記音声データ受信部による前記音声データの受信の時期より遅れて出力する出力部と、
前記音声データ記憶部に記憶されている前記音声データから、発話がない期間を検出する検出部と、
前記検出部において、前記音声データ記憶部に記憶されている前記音声データに発話がない期間が検出された場合、前記音声データ記憶部に記憶されている前記音声データから前記発話がない期間の一部又は全部を除外して、前記音声データを前記出力部に出力させる出力制御部と、
を有する、会議システム。

【請求項9】

ネットワークを介して他の端末装置と通信を行う端末装置の制御方法であって、
前記端末装置が、
前記他の端末装置と共有する共有画像のデータを受信するステップと、
前記他の端末装置が送信した音声データを受信するステップと、
前記共有画像を表示部に表示させるステップと、
前記共有画像のデータを受信した場合、前記音声データを記憶部に記憶するステップと、
前記記憶部に記憶されている前記音声データを、前記音声データの受信の時期より遅れて出力するステップと、
前記記憶部に記憶されている前記音声データから、発話がない期間を検出するステップと、
前記記憶部に記憶されている前記音声データに発話がない期間が検出された場合、前記記憶部に記憶されている前記音声データから前記発話がない期間の一部又は全部を除外して、前記音声データを出力させるステップと、
を実行する、端末装置の制御方法。

【請求項10】

端末装置が備えるコンピュータに実行させるプログラムであって、
前記コンピュータに、
ネットワークを介して通信を行う他の端末装置と共有する共有画像のデータを受信するステップと、
前記他の端末装置が送信した音声データを受信するステップと、
前記共有画像を表示部に表示させるステップと、
前記共有画像のデータを受信した場合、前記音声データを記憶部に記憶するステップと、
前記記憶部に記憶されている前記音声データを、前記音声データの受信の時期より遅れて出力するステップと、
前記記憶部に記憶されている前記音声データから、発話がない期間を検出するステップと、
前記記憶部に記憶されている前記音声データに発話がない期間が検出された場合、前記記憶部に記憶されている前記音声データから前記発話がない期間の一部又は全部を除外して、前記音声データを出力させるステップと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置、会議システム、端末装置の制御方法、及びプログラムに関する。

【背景技術】

【0002】

複数の端末装置の間で画像を共有して会議を行う会議システムが知られている。例えば、端末装置の表示部に、会議に参加している他の参加者を撮影した会議映像と共に、情報端末や電子ホワイトボード等に表示している共有画像を表示する会議システムが知られている。

【0003】

また、ビデオ会議システムにおいて、受信した音声を遅延させて再生することで、受信した音声と映像との時間のズレを修正する技術が知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数の端末装置の間で、例えば、ＰＣ（Personal Computer）や電子ホワイトボード等に表示されている高解像度の共有画像を共有する場合、共有画像の通信に時間を要するために、共有先の端末装置で共有画像の表示に要する時間が長くなるという問題がある。これにより、例えば、共有先の端末装置で共有画像が表示される前に、会議音声で共有画像の説明が始まってしまう等、共有画像の表示と会議音声との間の時間差が会議の妨げとなる場合がある。

【0005】

また、特許文献１に開示された技術のように、受信した音声を遅延させて再生するだけでは、例えば、会議の参加者の発話に対して、他の参加者からの応答が返ってくるまでの遅延時間が大きくなるので、この遅延時間が会議の進行の妨げとなる場合がある。

【0006】

本発明の実施の形態は、上記の問題点を鑑みてなされたものであって、共有画像の共有と会議音声の送受信とを行う会議システムにおいて、共有画像と会議音声との間の時間差を低減しつつ、会議音声の遅延時間の増大を抑制する。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明の一実施形態に係る端末装置は、ネットワークを介して他の端末装置と通信を行う端末装置であって、前記他の端末装置と共有する共有画像のデータを受信する共有画像受信部と、前記他の端末装置が送信した音声データを受信する音声データ受信部と、前記共有画像を表示部に表示させる共有画像表示部と、前記共有画像受信部が前記共有画像のデータを受信した場合、前記音声データを記憶する音声データ記憶部と、前記データ記憶部に記憶されている前記音声データを前記音声データ受信部による前記音声データの受信の時期より遅れて出力する出力部と、前記データ記憶部に記憶されている前記音声データから、発話がない期間を検出する検出部と、前記検出部において、前記音声データ記憶部に記憶されている前記音声データに発話がない期間が検出された場合、前記音声データ記憶部に記憶されている前記音声データから前記発話がない期間の一部又は全部を除外して、前記音声データを前記出力部に出力させる出力制御部と、を有する。

【発明の効果】

【0008】

本発明の実施の形態によれば、共有画像の共有と会議音声の送受信とを行う会議システムにおいて、共有画像と会議音声との間の時間差を低減しつつ、会議音声の遅延時間の増大を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る会議システムのシステム構成の例を示す図である。

【図2】一実施形態に係る会議端末が表示する表示画面のイメージを示す図である。

【図3】一実施形態に係る会議端末のハードウェア構成の例を示す図である。

【図4】第１の実施形態に係る会議端末の機能構成の例を示す図である。

【図5】第１の実施の形態に係る会議映像の出力処理について説明するための図（１）である。

【図6】第１の実施の形態に係る会議映像の出力処理について説明するための図（２）である。

【図7】第１の実施の形態に係る会議システムの処理の例を示すシーケンス図である。

【図8】第２の実施の形態に係る会議端末の機能構成の例を示す図である。

【図9】第２の実施の形態に係る会議映像の出力処理について説明するための図（１）である。

【図10】第２の実施の形態に係る会議映像の出力処理について説明するための図（２）である。

【図11】第２の実施の形態に係る会議システムの処理の例を示すシーケンス図である。

【図12】第２の実施の形態に係る共有画像を受信したときの処理の別の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明の実施の形態について、添付の図面を参照して説明する。
＜システムの構成＞
図１は、一実施形態に係る会議システムのシステム構成の例を示す図である。会議システム１００は、例えば、インターネットやＬＡＮ（Local Area Network）等のネットワーク１６０で通信可能に接続される複数の会議端末１１０ａ、１１０ｂ、・・・、呼制御サーバ１３０、及び画像配信サーバ１４０等を有する。なお、以下の説明の中で、複数の会議端末１１０ａ、１１０ｂ、・・・のうち、任意の会議端末を示す場合、「会議端末１１０」を用いる。

【0011】

会議端末１１０は、コンピュータの構成を有する端末装置であり、会議システム１００用の専用端末であっても良いし、会議システム１００のアプリケーションプログラム（以下、アプリと呼ぶ）を実行する汎用の情報端末であっても良い。ここでは、一例として、会議端末１１０が、会議システム１００用の専用端末であるものとして、以下の説明を行う。

【0012】

会議端末１１０は、例えば、呼制御サーバ１３０の制御により、画像配信サーバ１４０を介して１つ以上の他の会議端末１１０と通信を行い、会議の画像や音声を送受信することができる。これにより、例えば、会議端末１１０ａの利用者は、他の会議端末１１０ｂの利用者と、リアルタイムに送受信される会議の画像や音声を介してビデオ会議を行うことができる。なお、ビデオ会議は、テレビ会議、又は遠隔会議等と呼ばれる場合もある。

【0013】

呼制御サーバ１３０は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムであり、複数の会議端末１１０間で会議を行うための通信を制御する。

【0014】

画像配信サーバ１４０は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムであり、会議に参加している会議端末１１０間の音声、及び動画像を含む映像データの配信（中継）を行う。

【0015】

例えば、会議端末１１０ａ、１１０ｂが同じ会議に参加している場合、画像配信サーバ１４０は、会議端末１１０ａから送信された映像データを受信し、受信した映像データを会議端末１１０ｂに配信する。また、画像配信サーバ１４０は、会議端末１１０ｂから送信された映像データを受信し、受信した映像データを会議端末１１０ａに配信する。

【0016】

このように、画像配信サーバ１４０は、会議に参加している一の会議端末１１０から送信された映像データを受信し、受信した映像データを会議に参加している他の会議端末１１０に配信する。これにより、会議端末１１０は、会議に参加する会議端末１１０の数が多い場合でも、映像データを画像配信サーバ１４０に送信するだけで良いので、会議端末１１０の負荷を低減させることができる。

【0017】

また、本実施形態に係る会議システム１００では、例えば、会議端末１１０ａの外部Ｉ／Ｆ（Interface）１１１に接続された情報端末１２０等に表示している表示画面を、共有画面として他の会議端末１１０ｂ、・・・と共有することができる。

【0018】

図２は、一実施形態に係る会議端末が表示する表示画面のイメージを示す図である。図１に示す会議システム１００において、会議端末１１０ａと会議端末１１０ｂとの間で会議が行われている場合、会議端末１１０ｂの表示部には、例えば、図２に示すような表示画面２００が表示される。

【0019】

図２に示す表示画面２００には、会議端末１１０ａが撮影した会議映像２１０、会議端末１１０ｂが撮影した会議映像２２０、及び共有画像２３０が表示されている。共有画像２３０は、例えば、会議端末１１０ａの外部Ｉ／Ｆ１１１に接続された情報端末１２０や電子ホワイトボード等が表示している表示画面、又は表示画面をキャプチャした静止画像である。

【0020】

なお、ここでは、共有画像２３０が、一例として、４Ｋ等の高解像度の静止画像であるものとする。なお、４Ｋとは、フルハイビジョンの解像度（１９２０×１０８０ドット）の縦横２倍（面積比で４倍）である４０９８×２１６０ドット程度の解像度を表す。なお、４Ｋの静止画像は、高解像度の静止画像の一例であり、他の解像度であっても良い。

【0021】

例えば、会議端末１１０ａの利用者は、会議資料等の説明を行うとき等に、説明の対象となる表示画面をキャプチャした静止画像を、共有画像２３０として共有することができる。これにより、会議端末１１０ａの利用者は、説明の対象となる表示画面を、共有画像２３０に表示したまま、情報端末１２０の表示画面を自由に変更することができる。

【0022】

ただし、複数の会議端末１１０の間で、例えば、ＰＣ（Personal Computer）や電子ホワイトボード等に表示されている高解像度の共有画像を共有する場合、共有先の会議端末１１０で共有画像２３０の表示に要する時間が長くなるという問題がある。これにより、例えば、会議端末１１０ａの利用者が、図２に示すような共有画像２３０を共有して、会議映像２１０の音声で説明を行うときに、会議端末１１０ｂで共有画像２３０が表示される前に、会議映像２１０で説明が始まってしまう場合がある。

【0023】

このような、会議映像２１０と共有画像２３０との間の時間差は、環境によって、例えば、４～８秒程度になる場合があり、会議の進行を妨げてしまう可能性がある。

【0024】

そこで、本実施形態に係る会議端末１１０ｂは、共有画像２３０を受信するときに、会議映像２１０（動画像＋音声）を、所定の期間遅延させて出力する。この所定の期間には、例えば、会議端末１１０が共有画像２３０の受信を開始してから、共有画像２３０が表示されるまでの期間等が含まれる。これにより、会議映像２１０と共有画像２３０との間の時間差が低減され、例えば、共有画像２３０が表示されてから、会議映像２１０による説明が開始されるようになる。

【0025】

ただし、これだけでは、例えば、会議端末１１０ａの利用者の発話に対して、会議端末１１０ｂからの応答が返ってくるまでの遅延時間が大きくなってしまうので、この遅延時間が会議のスムーズな進行の妨げとなる場合がある。

【0026】

そのため、会議端末１１０ｂは、共有画像２３０を表示した後に、会議映像２１０において、発話がない期間を検出し、発話がない期間の一部又は全部を除外して会議映像２１０を出力（表示）する機能を有することが望ましい。これにより、会議映像２１０に発話がない期間が含まれている場合に、共有画像２３０を表示する際に発生した遅延時間の増大を抑制することができる。

【0027】

このように、本実施形態によれば、共有画像２３０の共有と会議映像２１０の送受信とを行う会議システム１００において、共有画像２３０と会議映像２１０との間の時間差を低減しつつ、会議映像２１０の遅延時間の増大を抑制することができる。

【0028】

なお、図１で説明した会議システム１００のシステム構成は一例である。例えば、会議システム１００は、呼制御サーバ１３０、画像配信サーバ１４０等を介さずに、会議端末１１０ａと会議端末１１０ｂとの間で会議を行うものであっても良い。また、呼制御サーバ１３０と、画像配信サーバ１４０とは、１つの会議サーバ１５０で実現されるものであっても良い。

【0029】

さらに、会議システム１００は、会議映像（動画像＋音声）に代えて、会議音声の送受信を行うものであっても良い。この場合、会議端末１１０ｂは、共有画像２３０を受信するときに、会議音声を所定の期間遅延させて出力し、会議音声において発話がない期間の一部又は全部を除外して、会議音声を出力すれば良い。

【0030】

また、会議端末１１０は、会議システム１００に対応する会議用プログラムを実行するノートＰＣやタブレット端末等の情報端末であっても良い。さらに、共有画像２３０は、外部Ｉ／Ｆ１１１に接続された情報端末１２０やホワイトボード等の表示画面に限られず、情報端末が備えるカメラや、外部カメラ等で撮影した画像であっても良い。

【0031】

＜ハードウェア構成＞
（会議端末のハードウェア構成）
図３は、一実施形態に係る会議端末のハードウェア構成の例を示す図である。会議端末１１０は、例えば、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ストレージ３０４、入力装置３０５、ネットワークＩ／Ｆ３０６、カメラ３０７、撮像素子Ｉ／Ｆ３０８、スピーカ３０９、マイク３１０、音声Ｉ／Ｆ３１１、ディスプレイ３１２、表示Ｉ／Ｆ３１３、外部Ｉ／Ｆ１１１、及びシステムバス３１４等を有する。なお、入力装置３０５、カメラ３０７、スピーカ３０９、マイク３１０、及びディスプレイ３１２のうち、少なくとも一部は、会議端末１１０の外部に接続されるものであっても良い。

【0032】

ＣＰＵ３０１は、ストレージ３０４、ＲＯＭ３０２等に記憶されたプログラムを実行することにより、会議端末１１０の全体の動作を制御する演算装置である。ＲＯＭ３０２は、例えば、ＩＰＬ（Initial Program Loader）等のＣＰＵ３０１の起動に用いられるプログラムを記憶した不揮発性のメモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリア等として用いられる揮発性のメモリである。ストレージは、ＯＳ（Operating System）、アプリ、データ等を記憶する大容量の記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等によって実現される。

【0033】

入力装置３０５は、利用者による操作を受け付ける入力デバイスであり、例えば、操作ボタン、キーボード、タッチパネル等によって実現される。ネットワークＩ／Ｆ３０６は、会議端末１１０をネットワーク１６０に接続して、他の装置の通信を行うためのインタフェースである。

【0034】

カメラ３０７は、被写体を撮像して画像データを取得する撮像デバイスである。撮像素子Ｉ／Ｆ３０８は、カメラ３０７を会議端末１１０に接続するためのインタフェースである。スピーカ３０９は、音声Ｉ／Ｆ３１１から出力される音声信号を音声に変換して出力する。マイク３１０は、周辺の音声を取得して、音声信号に変換し、音声Ｉ／Ｆ３１１に出力する。音声Ｉ／Ｆ３１１は、スピーカ３０９、及びマイク３１０を会議端末１１０に接続するためのインタフェースである。

【0035】

ディスプレイ３１２は、会議端末１１０の表示画面を表示する表示装置である。表示Ｉ／Ｆ３１３は、ディスプレイ３１２を会議端末１１０に接続するためのインタフェースである。

【0036】

外部Ｉ／Ｆ１１１は、例えば、情報端末１２０等の外部機器を会議端末１１０に接続するためのインタフェースである。なお、外部Ｉ／Ｆ１１１は、有線接続に限られず、無線通信を用いて、外部機器を会議端末１１０に接続するものであっても良い。

【0037】

システムバス３１４は、上記の各構成要素を、図２に示すように接続し、アドレス信号、データ信号、及び各種の制御信号を伝送する。

【0038】

なお、呼制御サーバ１３０、及び画像配信サーバ１４０は、一般的なコンピュータのハードウェア構成を有しているが、本実施形態では、呼制御サーバ１３０、及び画像配信サーバ１４０の構成は任意で良いので、ここでは説明を省略する。

【0039】

［第１の実施形態］
続いて、第１の実施形態に係る会議システム１００における会議端末１１０の機能構成について説明する。

【0040】

＜機能構成＞
図４は、第１の実施形態に係る会議端末１１０ａの機能構成の例を示す図である。システムの機能構成の例を示す図である。なお、図４において、会議端末１１０ｂは、会議端末１１０ａと同様の機能構成を有しているものとする。

【0041】

（会議端末の機能構成）
会議端末（端末装置）１１０は、例えば、通信部４０１、操作受付部４０２、会議映像送信部４０３、共有画像送信部４０４、共有画像受信部４０５、共有画像表示部４０６、会議映像受信部４０７、記憶部４０８、及び会議映像出力部４０９等を有する。

【0042】

会議端末１１０は、例えば、図３のＣＰＵ３０１で所定のプログラムを実行することにより、上記の各機能構成を実現している。また、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。

【0043】

また、本実施形態では、図１の呼制御サーバ１３０、及び画像配信サーバ１４０は、任意の構成であって良いので、図３では、会議サーバ１５０として記載し、以下の説明においても、呼制御サーバ１３０と画像配信サーバ１４０とを特に区別せずに説明を行う。

【0044】

通信部４０１は、例えば、図３のＣＰＵ３０１で実行されるプログラム、及びネットワークＩ／Ｆ３０６等によって実現され、ネットワーク１６０を介して、他の会議端末１１０、及び会議サーバ１５０等と通信を行う。

【0045】

例えば、通信部４０１は、会議サーバ１５０と制御用のセッションを確立し、呼制御サーバ１３０へのログイン処理、及び会議の開始、終了、参加等の通信制御を行う。また、通信部４０１は、会議サーバ１５０の制御に従って、会議サーバ１５０と通信用のセッションを確立し、同じセッションに参加している他の会議端末１１０との間で、共有画像、及び会議映像（例えば、動画像＋音声）等の送受信を行う。

【0046】

操作受付部４０２は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現され、図３の入力装置３０５等を用いて、利用者による入力操作（例えば、発信、応答、宛先指定等の操作）を受け付ける。

【0047】

会議映像送信部（音声データ送信部、映像データ送信部）４０３は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現される。会議映像送信部４０３は、例えば、図３のカメラ３０７等で撮影した会議の動画像と、図３のマイク３１０等で取得した会議の音声データとを含む会議映像のデータを、例えば、会議サーバ１５０を介して会議に参加している他の会議端末１１０に送信する。

【0048】

共有画像送信部４０４は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現される。共有画像送信部４０４は、例えば、外部Ｉ／Ｆ１１１等によって接続された外部装置等から共有画像を取得して、取得した共有画像のデータを、例えば、会議サーバ１５０を介して、会議に参加している他の会議端末１１０に送信する。

【0049】

共有画像受信部４０５は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現される。共有画像受信部４０５は、他の会議端末１１０が、会議に参加している複数の会議端末１１０の間で共有する共有画像のデータを送信するとき、他の会議端末１１０が送信する共有画像のデータを、例えば、会議サーバ１５０を介して受信する。

【0050】

共有画像表示部４０６は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現され、共有画像受信部４０５が受信した共有画像のデータを用いて、例えば、図３のディスプレイ３１２等の表示部に共有画像を表示させる。例えば、共有画像表示部４０６は、図２に示すような会議の表示画面２００に共有画像２３０を表示させる。

【0051】

会議映像受信部（音声データ受信部、映像データ受信部）４０７は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現される。会議映像受信部４０７は、会議に参加している他の会議端末１１０が送信する会議の音声データを含む映像データを受信して、記憶部（音声データ記憶部、映像データ記憶部）４０８に記憶する。

【0052】

記憶部４０８は、例えば、図３のＣＰＵ３０１で実行されるプログラム、及びストレージ３０４、ＲＡＭ３０３等によって実現され、会議映像受信部４０７が受信した、会議の音声を含む映像データを記憶する。また、記憶部４０８は、例えば、会議端末を識別する端末ＩＤ等の情報や、共有画像受信部４０５が受信した共有画像のデータ等の様々な情報やデータを記憶することができる。なお、記憶部４０８は、共有画像受信部４０４が共有画像のデータを受信した場合、会議映像受信部４０７が受信した音声データを記憶する音声データ記憶部の一例である。

【0053】

会議映像出力部４０９は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現され、記憶部４０８に記憶した映像データを用いて、例えば、図２に示すような会議映像２１０と会議の音声を出力する。また、本実施形態に係る会議映像出力部４０９は、共有画像受信部４０５が共有画像のデータを受信した場合、記憶部４０８に記憶した映像データを用いて、会議映像（動画像＋音声）を所定の期間だけ遅延させて出力する機能を有している。

【0054】

会議の動画像のデータは、動画像を再生すべき時間情報（タイムスタンプ）を含み、会議映像出力部４０９は、共有画像受信部４０５が共有画像のデータを受信するとき、例えば、会議の動画像の時刻情報を所定の期間だけ遅らせて出力する。会議映像出力部４０９は、会議の音声に関しても同様にして、所定の期間だけ遅らせて出力することができる。

【0055】

図５、６は、第１の実施形態に係る会議映像の出力処理について説明するための図である。例えば、図５の時間ｔ１において、会議端末１１０ａが、共有画像５０１、及び共有画像５０１を説明するための発話５０２を含む会議映像を、会議端末１１０ｂに送信するものとする。

【0056】

このとき、会議端末１１０ｂが受信する会議音声の発話５０２には、会議の進行の妨げとなるような大きな遅延は発生しないものとする。一方、共有画像５０１が、例えば、４Ｋ等の高解像度の画像である場合、会議端末１１０ｂが共有画像５０１の受信を完了し、表示する時間ｔ２までには、比較的大きな遅延時間（例えば、４～８秒程度）が発生し得る。

【0057】

このような、会議端末１１０ｂにおける共有画像２３０と会議映像２１０との間の時間差により、例えば、会議端末１１０ｂにおいて、共有画像５０１の説明を行う発話５０２が開始されたときには、まだ共有画像２３０が表示されていない場合がある。これにより、例えば、会議端末１１０ｂの利用者が、共有画像２３０の説明を理解し難くなる等、会議の進行の妨げとなることがある。

【0058】

そこで、本実施形態では、会議端末１１０ｂの会議映像出力部４０９は、図６に示すように、共有画像５０１を受信するとき、会議映像を所定の期間Ｔｄだけ遅延させて出力する。なお、図６の時間ｔ１からｔ２の期間において、会議映像出力部４０９は、例えば、時間ｔ１の直前に表示していたフレームを静止画像として表示するものであっても良いし、タイミング調整中であることを示す表示画面等を表示するものであっても良い。

【0059】

所定の期間Ｔｄの決定方法として、例えば、会議端末１１０ｂが共有画像５０１の受信を開始してから、共有画像５０１が表示されるまでの期間を所定の期間Ｔｄとしても良い。また、別の一例として、共有画像５０１の解像度や、通信速度に応じて、適切な遅延時間Ｔｄを記憶部等に予め記憶しておくもの等であっても良い。

【0060】

さらに、会議端末１１０ｂは、例えば、図７に示す処理により、会議映像を遅延させて出力するものであっても良い。

【0061】

＜処理の流れ＞
図７は、第１の実施形態に係る会議システム処理の例を示すシーケンス図である。この処理は、会議端末１１０ａと会議端末１１０ｂとの間で会議が行われている間に、会議端末１１０ａが共有画像５０１を送信するときに、会議システム１００で実行される処理の例を示している。

【0062】

ステップＳ７０１、Ｓ７０２において、会議端末１１０ａから、会議サーバ１５０を介して会議端末１１０ｂに、会議映像（動画像＋音声）のデータの送信が開始される。

【0063】

ステップＳ７０３、Ｓ７０４において、会議端末１１０ｂの会議映像受信部４０７は、会議端末１１０ａから送信される会議映像のデータを受信し、受信した会議映像のデータを記憶部４０８に記憶する。

【0064】

ステップＳ７０５、Ｓ７０６において、例えば、利用者による画面共有操作等に応じて、会議端末１１０ａから、会議サーバ１５０を介して会議端末１１０ｂに、共有画像のデータの送信が開始される。

【0065】

ステップＳ７０７、Ｓ７０８において、会議端末１１０ｂの共有画像受信部４０５は、会議端末１１０ａから送信される共有画像のデータを受信し、共有画像表示部４０６は、共有画像を表示する表示処理を行う。なお、この共有画像のデータの受信には、例えば、図６の遅延時間Ｔｄに相当する時間を要するものとする。

【0066】

ステップＳ７０９において、会議端末１１０ｂの共有画像受信部４０５は、共有画像の受信を完了すると、共有画像の受信が完了したことを示す受信完了通知を、会議映像出力部４０９に通知する。

【0067】

好ましくは、この受信完了通知には、例えば、共有画像のデータの受信を開始した時間（又は共有画像のデータの送信を開始した時間）を示す時刻情報（タイムスタンプ）等が含まれる。

【0068】

ステップＳ７１０、Ｓ７１１において、会議端末１１０ｂの会議映像出力部４０９は、受信完了通知を受け付けると、記憶部４０８に記憶された会議映像のデータを読み出し、会議映像の再生を開始する。

【0069】

好ましくは、会議映像のデータには、再生すべき時刻を示す時刻情報（タイムスタンプ）が含まれており、会議映像出力部４０９は、例えば、受信完了通知に含まれる時刻情報と、再生する会議映像の時刻情報とが略一致するように、会議映像を再生する。

【0070】

これにより、会議端末１１０ｂは、例えば、図６に示すように、時間ｔ２において、共有画像５０１の表示に合わせて、共有画像５０１を説明する発話５０２を含む会議映像を出力することができるようになる。

【0071】

なお、上記の説明では、会議端末１１０ａと会議端末１１０ｂとの間で、会議映像（動画像＋音声）を送受信するものとして説明を行ったが、本実施形態は、会議映像に代えて、会議音声のみを送受信する会議システム１００にも適用することができる。

【0072】

このように、本実施形態に係る会議端末１１０ｂの会議映像出力部４０９は、共有画像受信部４０５が共有画像を受信するとき、少なくとも会議の音声を所定の期間遅延させて出力する。

【0073】

したがって、本実施形態によれば、共有画像の共有と会議映像の送受信とを行う会議システム１００において、共有画像と会議映像との間の時間差を低減させることができる。

【0074】

［第２の実施形態］
第１の実施形態により、共有画像の共有と会議映像の送受信とを行う会議システムにおいて、共有画像と会議映像との間の時間差を低減させることができる。ただし、これだけでは、例えば、会議端末１１０ａの利用者の発話に対して、会議端末１１０ｂからの応答が返ってくるまでの遅延時間が大きくなってしまうので、この遅延時間が会議のスムーズな進行の妨げとなる場合がある。第２の実施形態では、この遅延時間を低減させる場合の例について説明する。

【0075】

＜機能構成＞
図８は、第２の実施形態に係る会議端末の機能構成の例を示す図である。図８に示すように、第２の実施形態に係る会議端末１１０は、図４に示した第１の実施形態に係る会議端末１１０の機能構成に加えて、検出部８０１、及び出力制御部８０２を有している。

【0076】

検出部８０１は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現され、記憶部４０８に記憶された会議映像のデータに含まれる会議音声において、発話がない期間を検出する。例えば、検出部８０１は、会議音声の出力レベル（又は音量）がしきい値未満の期間を発話がない期間として検出しても良いし、人の音声に対応する周波数帯の音波が含まれない期間を発話がない期間として検出しても良い。

【0077】

出力制御部８０２は、例えば、図３のＣＰＵ３０１で実行されるプログラムによって実現され、記憶部４０８に記憶された会議映像における発話がない期間の一部又は全部を除外して、会議映像出力部４０９に会議映像を出力させる。

【0078】

図９、１０は、第２の実施形態に係る会議映像の出力処理について説明するための図である。例えば、図９の時間ｔ１において、会議端末１１０ａが、共有画像５０１、及び共有画像５０１を説明するための発話５０２を含む会議映像を、会議端末１１０ｂに送信するものとする。また、一例として、時間ｔ３～ｔ４の間の発話なし９０１の期間をおいて、時間ｔ４から再び発話９０２が開始されるものとする。また、会議端末１１０ｂは、第１の実施形態で説明した処理により、時間ｔ１から遅延時間Ｔｄを経過して時間ｔ２において、共有画像５０１を表示すると共に、発話５０２を含む会議映像の再生を開始するものとする。

【0079】

このとき、会議端末１１０ｂの検出部８０１は、記憶部４０８に記憶された会議映像において、発話なし９０１の期間Ｔｓを検出する。また、会議端末１１０ｂの出力制御部８０２は、会議映像における発話なし９０１の期間Ｔｓを除外して、会議映像出力部４０９に会議映像を出力させる。

【0080】

これにより、例えば、図９に示すように、遅延時間Ｔｄより、発話なし９０１の期間Ｔｓが短い場合、発話５０２を含む会議映像に続いて、発話９０２を含む会議映像が出力される。

【0081】

ただし、遅延時間Ｔｄより、発話なし９０１の期間Ｔｓが長い場合には、出力制御部８０２は、発話なし９０１の期間Ｔｓの全てを除外することはできないので、遅延時間Ｔｄの範囲内で、発話なし９０１の期間Ｔｓの一部を除外する。これにより、会議端末１１０ｂは、共有画像５０１の受信に伴う遅延時間Ｔｄの増大を抑制することができる。

【0082】

ここで、図１０を用いて、出力制御部８０２の処理の具体的な一例について説明する。会議映像の動画データ、及び音声データには再生すべき時間を示す時間情報（タイムスタンプ）が付加されている。

【0083】

例えば、図１０において、会議端末１１０ａが共有画像５０１の送信を開始する相対時間を０秒とし、４．５秒後に会議端末１１０ｂにおいて、共有画像５０１の受信が完了して、共有画像５０１が表示されるものとする。また、会議端末１１０ａにおいて、発話５０２の後に、３秒間の発話なし９０１の期間があるものとする。

【0084】

会議端末１１０ｂの出力制御部８０２は、発話なし９０１の期間を除外（スキップ）する場合、発話９０２を再生すべき時間情報「８秒」に遅延時間「４．５秒」を加算し、発話なし９０１の期間「３秒」を減算した相対時間「９．５秒」を、発話９０２を再生する時間情報とする。これにより、会議端末１１０ｂの会議映像出力部４０９は、例えば、図１０に示すように、発話なし９０１の期間を除外して、会議映像を出力することができる。

【0085】

＜処理の流れ＞
（会議システムの処理）
図１１は、第１の実施形態に係る会議システム処理の例を示すシーケンス図である。この処理は、会議端末（第１の端末装置）１１０ａと会議端末（第２の端末装置）１１０ｂとの間で会議が行われている間に、会議端末１１０ａが共有画像５０１を送信するときに、会議システム１００で実行される処理の例を示している。

【0086】

ステップＳ１１０１において、会議端末１１０ｂの会議映像受信部４０７は、例えば、図７のステップＳ７０１、７０２に示すように、会議端末１１０ａから、会議サーバ１５０を介して送信される会議映像のデータの受信を開始するものとする。

【0087】

ステップＳ１１０２、Ｓ１１０３において、会議端末１１０ｂの会議映像受信部４０７は、受信した会議映像のデータを記憶部４０８に記憶する。

【0088】

ステップＳ１１０４、Ｓ１１０５において、会議端末１１０ｂの検出部８０１は、記憶部４０８に記憶された会議映像のデータを取得して、発話がない期間の検出を開始する。

【0089】

ステップＳ１１０６において、会議端末１１０ｂの共有画像受信部４０５は、例えば、図７のステップＳ７０５、Ｓ７０６に示すように、会議端末１１０ａから、会議サーバ１５０を介して送信される共有画像のデータの受信を開始するものとする。

【0090】

ステップＳ１１０７、Ｓ１１０８において、会議端末１１０ｂの共有画像表示部４０６は、共有画像受信部４０５が受信した共有画像のデータを用いて、共有画像を表示する表示処理を行う。なお、この共有画像のデータの受信には、例えば、図９の遅延時間Ｔｄに相当する時間を要するものとする。

【0091】

ステップＳ１１０９において、会議端末１１０ｂの共有画像受信部４０５は、共有画像のデータの受信を完了すると、共有画像のデータの受信が完了したことを示す受信完了通知を、会議映像出力部４０９に通知する。

【0092】

ステップＳ１１１０、Ｓ１１１１において、会議端末１１０ｂの会議映像出力部４０９は、受信完了通知を受け付けると、第１の実施形態と同様にして、記憶部４０８に記憶された会議映像のデータを読み出し、会議映像の再生を開始する。

【0093】

この状態で、例えば、ステップＳ１１１２において、検出部８０１は、発話がない期間を検出すると、発話がない期間が検出されたことを示す検出通知を、出力制御部８０２に通知する。

【0094】

ステップＳ１１１４において、会議端末１１０ｂの会議映像出力部４０９は、例えば、図１０で説明したようにして、発話がない期間を除外した会議映像を、会議映像出力部４０９に再生させる。

【0095】

これにより、会議端末１１０ｂは、例えば、図９に示すように、時間ｔ２において、共有画像５０１、及び発話５０２の出力を開始すると共に、発話なし９０１の期間の一部又は全部を除外した会議映像を出力することができるようになる。

【0096】

したがって、上記の処理により、会議端末１１０は、例えば、図９に示すように、時間ｔ２において、共有画像５０１、及び発話５０２の出力を開始すると共に、発話なし９０１の期間の一部又は全部を除外した会議映像を出力することができるようになる。

【0097】

なお、図１１に示す処理は、共有画像と会議映像との間の時間差を低減しつつ、会議映像の遅延時間の増大を抑制する処理の一例である。例えば、会議端末１１０ｂは、図１２に示す処理を実行することにより、共有画像と会議映像との間の時間差を低減しつつ、会議映像の遅延時間の増大を抑制するものであっても良い。

【0098】

（会議端末の処理）
図１２は、第２の実施形態に係る共有画像を受信したときの処理の別の一例を示す図である。例えば、他の会議端末と会議を行っている会議端末１１０は、図１２に示す処理を繰り返し実行する。なお、図１２に示す処理は、会議端末１１０の制御方法の一例である。

【0099】

ステップＳ１２０１において、会議端末１１０の共有画像受信部４０５は、会議を行っている他の会議端末から共有画像のデータの受信を開始したかを判断する。

【0100】

共有画像のデータの受信を開始した場合、会議端末１１０は、ステップＳ１２０２以降の処理を実行する。一方、共有画像のデータの受信を開始していない場合、会議端末１１０は、図１２に示す処理を終了させる。

【0101】

ステップＳ１２０２に移行すると、会議端末１１０の会議映像出力部４０９は、会議映像の再生を一時的に停止する。

【0102】

ステップＳ１２０３において、会議映像出力部４０９は、共有画像のデータの受信が完了したか否かを判断し、共有画像のデータの受信が完了すると、ステップＳ１２０４において、会議映像の再生を再開する。

【0103】

これにより、会議映像出力部４０９は、共有画像受信部４０５が共有画像のデータを受信するとき、記憶部４０８に記憶した会議映像のデータに基づいて会議の音声、及び動画像を所定の期間遅延させて出力することができる。

【0104】

ステップＳ１２０５において、会議端末１１０の検出部８０１が、発話がない期間を検出すると、ステップＳ１２０６の処理が実行される。

【0105】

ステップＳ１２０６において、会議端末１１０の出力制御部８０２は、例えば、図１０で説明したようにして、発話がない期間を除外した会議映像を、会議映像出力部４０９に再生させる。

【0106】

上記の処理により、会議端末１１０は、例えば、図９に示すように、時間ｔ２において、共有画像５０１、及び発話５０２の出力を開始すると共に、発話なし９０１の期間の一部又は全部を除外した会議映像を出力することができる。

【0107】

以上、第２の実施形態の各処理によれば、共有画像の共有と会議映像の送受信とを行う会議システム１００において、共有画像と会議映像との間の時間差を低減しつつ、会議映像の遅延時間の増大を抑制することができるようになる。

【0108】

なお、図４、８に示す会議映像受信部４０７は、会議の音声を含む映像データを受信する映像データ受信部、又は音声データを受信する音声データ受信部の一例である。また、会議映像送信部４０３は、会議の音声を含む映像データを送信する映像データ送信部、又は音声データを送信する音声データ送信部の一例である。前述したように、映像データは、例えば、会議の動画像データを含まない会議の音声データであっても良い。

【0109】

同様に、会議映像出力部４０９は、記憶部４０８に記憶されている音声データを、会議映像受信部４０７による音声データの受信の時期より遅れて出力する出力部の一例である。出力部は、前述したように、会議の動画像、及び音声を所定の期間遅延させて出力することができる。

【符号の説明】

【0110】

１００ 会議システム１００
１１０ 会議端末（端末装置）
１１０ａ 会議端末（第１の端末装置）
１１０ｂ 会議端末（第２の端末装置）
４０３ 会議映像送信部（音声データ送信部、映像データ送信部）
４０４ 共有画像送信部
４０５ 共有画像受信部
４０６ 共有画像表示部
４０７ 会議映像受信部（音声データ受信部、映像データ受信部）
４０８ 記憶部（音声データ記憶部、映像データ記憶部）
４０９ 会議映像出力部（出力部）
８０１ 検出部
８０２ 出力制御部

【先行技術文献】

【特許文献】

【0111】

【文献】特開平０７－２０２８８７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】