特開 2024-93861 テレビ会議システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024093861

(43)【公開日】2024-07-09

(54)【発明の名称】テレビ会議システム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240702BHJP

   H04N 21/258 20110101ALI20240702BHJP

   H04M 3/56 20060101ALI20240702BHJP

【ＦＩ】

H04N7/15

H04N21/258

H04M3/56 C

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022210479

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100159385

【弁理士】

【氏名又は名称】甲斐 伸二

(74)【代理人】

【識別番号】100163407

【弁理士】

【氏名又は名称】金子 裕輔

(74)【代理人】

【識別番号】100166936

【弁理士】

【氏名又は名称】稲本 潔

(74)【代理人】

【識別番号】100174883

【弁理士】

【氏名又は名称】冨田 雅己

(74)【代理人】

【識別番号】100189429

【弁理士】

【氏名又は名称】保田 英樹

(74)【代理人】

【識別番号】100213849

【弁理士】

【氏名又は名称】澄川 広司

(72)【発明者】

【氏名】霜田 衛

【テーマコード（参考）】

5C164

5K201

【Ｆターム（参考）】

5C164FA10

5C164PA43

5C164SC11P

5C164UD12S

5C164VA09S

5C164VA36P

5C164YA21

5K201AA05

5K201BA16

5K201BB09

5K201CA05

5K201DC05

5K201EC06

5K201EF10

(57)【要約】      （修正有）

【課題】テレビ会議中に音声の不具合をユーザーに認識できるようにするテレビ会議システムを提供する。
【解決手段】テレビ会議システムにおいて、ユーザー端末は、ユーザーの顔画像を撮像する撮像部、ユーザーの音声を取得する音声取得部、他のユーザー端末と画像及び音声のデータを含む各種データを送受信する通信部、ユーザーの顔画像をテレビ会議の画面に表示する表示部、ユーザーの音声を出力する出力部及び制御部を備える。制御部は、表示部がユーザーの顔画像をテレビ会議の画面に表示していない場合、音声取得部が発言中のユーザーの音声を取得しているか否かを判定し、音声取得部が発言中のユーザーの音声を取得している場合、前記表示部に予め定められた音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させる。
【選択図】図４

【特許請求の範囲】

【請求項1】

ネットワークを通じて接続された複数のユーザー端末を介して画像および音声が共有されるテレビ会議システムであって、
前記ユーザー端末は、
ユーザーの顔画像を撮像する撮像部と、
前記ユーザーの音声を取得する音声取得部と、
他の前記ユーザー端末と画像および音声のデータを含む各種データを送受信する通信部と、
前記ユーザーの顔画像をテレビ会議の画面に表示する表示部と、
前記ユーザーの音声を出力する音声出力部と、
前記撮像部、前記音声取得部、前記通信部、前記表示部および前記音声出力部を制御する制御部とを備え、
前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示していない場合、前記音声取得部が発言中の前記ユーザーの音声を取得しているか否かを判定し、前記音声取得部が発言中の前記ユーザーの音声を取得している場合、前記表示部に予め定められた音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させることを特徴とするテレビ会議システム。

【請求項2】

前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示していても、発言中の前記ユーザーの顔画像が含まれていない場合は、前記表示部に前記音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させる請求項１に記載のテレビ会議システム。

【請求項3】

前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示していても、予め定められた基準に照らして発言中の前記ユーザーの顔画像の口の動きの認識が困難であると判断される場合は、前記表示部に前記音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させる請求項１に記載のテレビ会議システム。

【請求項4】

前記制御部は、前記音声検知アイコンの表示を終了させる終了ボタンを前記表示部に表示させ、前記終了ボタンが押下された場合に、前記音声検知アイコンの表示を終了させる請求項１に記載のテレビ会議システム。

【請求項5】

前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示中の場合も、前記音声取得部が発言中の前記ユーザーの音声を取得しているか否かを判定し、前記音声取得部が発言中の前記ユーザーの音声を取得している場合、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示中の場合よりも目立たない態様で、前記表示部に前記音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させる請求項１に記載のテレビ会議システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、テレビ会議システムに関する。

【背景技術】

【0002】

テレビ会議やＷｅｂ会議において、会議中に意図しない不具合の発生により、他のユーザーが話しているのに聞こえない場合や、自分が話しているのに相手に聞こえていない場合がある。

【0003】

このような問題を解決する方法として、一般に、会議の開催前に、テレビ会議システムが正常に機能しているか否かを、実際に相手ユーザーの端末と接続する前に、マイクやスピーカ等の音声機器の調整のための自己診断テストを実施する方法が提案されている。

【0004】

また、このような自己診断として、従来、映像および音声のローカルでの再生およびネットワークを介した送受信を可能とする伝送端末と、前記伝送端末から送られた映像データおよび音声データを、他の伝送端末もしくは送信元と同じ伝送端末に配信可能な中継装置と、認証された複数の伝送端末もしくは単一の伝送端末のセッション管理が可能な伝送管理装置を備え、前記伝送端末は、前記伝送管理装置を経由し前記中継装置に対して単一拠点会議のセッション確立を要求し、前記中継装置は単一拠点会議のセッション確立要求により要求元の前記伝送端末に対して、単一拠点会議のセッションを確立することにより、一つの拠点のみで前記伝送端末の自己診断を可能とすることを特徴とする伝送システムも開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４－０５７２３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来のテレビ会議システムでは、会議前にユーザーが自己診断テストを実施しても、会議前の待機中で意図せずにミュートに設定されたり、接続確認後に端末の変更があったり、接続の誤確認等により、会議開始後に音声が聞こえない不具合が生じることもあった。

【0007】

この開示は、以上のような事情を考慮してなされたものであって、ネットワークを介して複数のユーザーが参加するテレビ会議システムにおいて、会議中に音声が聞こえない等のユーザーの意図しない不具合が発生しても、従来よりも容易にユーザーに音声の不具合を認識できるようにするテレビ会議システムを提供するものである。

【課題を解決するための手段】

【0008】

この開示によるテレビ会議システムは、ネットワークを通じて接続された複数のユーザー端末を介して画像および音声が共有されるテレビ会議システムであって、前記ユーザー端末は、ユーザーの顔画像を撮像する撮像部と、前記ユーザーの音声を取得する音声取得部と、他の前記ユーザー端末と画像および音声のデータを含む各種データを送受信する通信部と、前記ユーザーの顔画像をテレビ会議の画面に表示する表示部と、前記ユーザーの音声を出力する音声出力部と、前記撮像部、前記音声取得部、前記通信部、前記表示部および前記音声出力部を制御する制御部とを備え、前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示していない場合、前記音声取得部が発言中の前記ユーザーの音声を取得しているか否かを判定し、前記音声取得部が発言中の前記ユーザーの音声を取得している場合、前記表示部に予め定められた音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させることを特徴とする。

【発明の効果】

【0009】

この開示によれば、テレビ会議中に音声が聞こえない等のユーザーの意図しない不具合が発生した場合に、音声検知アイコンを表示することにより、従来よりも容易に音声の不具合をユーザーに認識できるようにするテレビ会議システムを実現できる。

【図面の簡単な説明】

【0010】

【図1】この開示のテレビ会議システムの構成の一例を示す説明図である。

【図2】図１のユーザー端末の概略構成を示すブロック図である。

【図3】図１のサーバーの概略構成を示すブロック図である。

【図4】図１のテレビ会議システムにおいて、ユーザー端末のスピーカーの不具合発生の確認処理の一例を示すフローチャートである。

【図5】図１のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の例を示す。 図５（Ａ）は、発言ユーザー（ユーザーＡ）の顔画像を大きく表示した場合の例を示し、図５（Ｂ）は、発言ユーザーの画面枠をハイライト表示した場合の例を示す。

【図6】図１のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の音声検知アイコンの一例を示す。

【図7】図１のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の音声検知アイコンの別の一例を示す。

【図8】図１のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の音声検知アイコンにマウスカーソルをおいた場合に表示される発言中表示／終了ボタンの一例を示す。

【図9】この開示の実施形態２のテレビ会議システムにおいて、ユーザー端末のスピーカーの不具合発生の確認処理の一例を示すフローチャートである。

【図10】この開示の実施形態２のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の音声検知アイコンの一例を示す。

【図11】この開示の実施形態２のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の音声検知アイコンの別の一例を示す。

【図12】この開示の実施形態２のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の音声検知アイコンのさらに別の一例を示す。

【図13】この開示の実施形態３のテレビ会議システムにおいて、ユーザー端末のマイクの不具合発生に対する処理の一例を示すフローチャートである。

【図14】この開示の実施形態３のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面の例を示す。 図１４（Ａ）は、発言ユーザー（ユーザーＡ）の顔画像の口の動きを認識して、発言ユーザーの画面枠をハイライト表示した場合の例を示す。 図１４（Ｂ）は、マスクをしている発言ユーザー（ユーザーＡ）の顔画像のマスクおよびマスク周辺の顎・鼻筋等の動きを認識して、発言ユーザーの画面枠をハイライト表示した場合の例を示す。

【図15】この開示の実施形態３のテレビ会議システムにおいて、ユーザー端末の表示部に表示されたテレビ会議画面において、マイクに不具合が発生した場合の表示の例を示す。 図１５（Ａ）は、ユーザー端末の表示部に表示されたテレビ会議画面において、マイクに不具合が発生した場合の表示の一例を示す。 図１５（Ｂ）は、ユーザー端末の表示部に表示されたテレビ会議画面において、マイクテスト画面の一例を示す。

【発明を実施するための形態】

【0011】

さらに、この発明の好ましい態様について説明する。

【0012】

前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示していても、発言中の前記ユーザーの顔画像が含まれていない場合は、前記表示部に前記音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させるものであってもよい。

【0013】

このようにすれば、発言中のユーザー以外のユーザーの顔画像が表示中であっても、発言中のユーザーがカメラをオフにしていたり、顔画像の代わりにアイコン等の静止画像を表示していたり、カメラの撮影範囲外にいて発言中のユーザーの顔画像が認識できない場合、音声検知アイコンを表示することにより、従来よりも容易に音声の不具合をユーザーに認識できるようにするテレビ会議システムを実現できる。

【0014】

前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示していても、予め定められた基準に照らして発言中の前記ユーザーの顔画像の口の動きの認識が困難であると判断される場合は、前記表示部に前記音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させるものであってもよい。

【0015】

このようにすれば、発言中のユーザーの顔画像が表示中であっても、発言中のユーザーの顔画像の口の動きの認識が困難な場合、音声検知アイコンを表示することにより、従来よりも容易に音声の不具合をユーザーに認識できるようにするテレビ会議システムを実現できる。

【0016】

前記制御部は、前記音声検知アイコンの表示を終了させる終了ボタンを前記表示部に表示させ、前記終了ボタンが押下された場合に、前記音声検知アイコンの表示を終了させるものであってもよい。

【0017】

このようにすれば、音声の不具合がなかった場合や音声の不具合が解決された場合に、音声検知アイコンの表示を終了することができるため、ユーザーの利便性の高いテレビ会議システムを実現できる。

【0018】

前記制御部は、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示中の場合も、前記音声取得部が発言中の前記ユーザーの音声を取得しているか否かを判定し、前記音声取得部が発言中の前記ユーザーの音声を取得している場合、前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示中の場合よりも目立たない態様で、前記表示部に前記音声検知アイコンを表示させて前記ユーザーが発言中であることを認識させるものであってもよい。

【0019】

「前記表示部が前記ユーザーの顔画像をテレビ会議の画面に表示中の場合よりも目立たない態様で」とは、ユーザーの顔画像が表示されている場合は、ユーザーの顔画像が表示されている場合よりも、音声検知アイコンをより小さく、より周囲に、または、より目立たない表示色で表示することである。

【0020】

このようにすれば、テレビ会議中に音声が聞こえない等のユーザーの意図しない不具合が発生しても、ユーザーの顔画像が表示中か否かに応じて音声検知アイコンを異なる態様で表示させるため、従来よりも容易に音声の不具合をユーザーに認識できるようにするテレビ会議システムを実現できる。

【0021】

以下、図面を用いてこの開示をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この開示を限定するものと解されるべきではない。

【0022】

〔実施形態１〕
図１～図３に基づき、この開示の画像表示装置の一実施形態であるユーザー端末１Ａ～１Ｄを含むテレビ会議システム１００の概略構成について説明する。

【0023】

図１は、この開示のテレビ会議システム１００の構成の一例を示す説明図である。

【0024】

図１に示すように、この開示のテレビ会議システム１００は、ネットワーク３を通じて接続されたユーザー端末１Ａ～１Ｄおよびサーバー２から構成される。
ユーザー端末１Ａ～１Ｄは、サーバー２を経由して、リアルタイムで情報をやりとりする。

【0025】

なお、以下の説明において、ユーザー端末１Ａ～１Ｄをまとめてユーザー端末１として説明する。

【0026】

＜ユーザー端末１の概略構成＞
次に、図２に基づき、ユーザー端末１の概略構成を説明する。

【0027】

図２は、図１のユーザー端末１の概略構成を示すブロック図である。
図２に示すように、ユーザー端末１は、制御部１０、記憶部１１、画像処理部１２、通信部１３、表示部１４、操作部１５、撮像部１６、音声取得部１７および音声出力部１８を備える。

【0028】

以下、ユーザー端末１の各構成要素について説明する。

【0029】

制御部１０は、ユーザー端末１を統合的に制御するものであって、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read only memory）、各種のインターフェース回路等からなる。

【0030】

制御部１０は、ユーザー端末１全体の動作をコントロールするために、各センサの検知、操作部１５等、あらゆる負荷の監視・制御を行う。

【0031】

記憶部１１は、ユーザー端末１の各種機能を実現するために必要な情報や、制御プログラムなどを記憶する素子や記憶媒体である。例えば、ＲＡＭやＲＯＭ等の半導体素子、ハードディスク、フラッシュ記憶部、ＳＳＤ（Solid State Drive）等の記憶媒体が用いられる。

【0032】

なお、データを保持する領域をハードディスクドライブで、プログラムを保持する領域をフラッシュ記憶部で構成するといったように、プログラムとデータが異なる装置に保持されてもよい。

【0033】

画像処理部１２は、画像データを適正な電気信号に変換して拡大・縮小等の出力に適するように処理を行う部分である。

【0034】

通信部１３は、ネットワーク３を介して、他のユーザー端末１や外部のサーバー２と通信を行い、テレビ会議で表示すべき資料や文書等の種々の画像データを送受信する部分である。

【0035】

表示部１４は、ユーザー端末１の各種情報の表示を行う部分である。
表示部１４は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、ＥＬディスプレイなどで構成され、オペレーティングシステムやアプリケーションソフトウェアが処理状態など電子的なデータを表示するためのモニタやラインディスプレイなどの表示装置である。

【0036】

制御部１０は、表示部１４を通じて、ユーザー端末１の動作および状態の表示を行う。

【0037】

操作部１５は、ユーザー端末１を操作するためのインターフェースであり、ユーザーからの指令を受け付ける部分である。

【0038】

なお、表示部１４および操作部１５は、液晶パネル等から構成された表示パネルと、表示パネルに重ねて配置され、指がタッチされた位置を検出する静電容量方式等のタッチパネルとから構成されるものであってもよい。

【0039】

撮像部１６は、ユーザー端末２のユーザーの顔を撮像することによりユーザーの顔画像を取得する部分であり、例えばカメラが利用される。

【0040】

音声取得部１７は、ユーザー端末１のマイクによって入力されたユーザーの声あるいは音（以下、まとめて音声と呼ぶ）を取得する部分である。
また、音声取得部１７は、他のユーザー端末１から通信部１３を介して他のユーザーの音声を取得する。

【0041】

音声出力部１８は、動画アプリやオーディオアプリ等の音声を出力する部分であり、例えばスピーカーが利用される。

【0042】

＜サーバー２の概略構成＞
次に、図３に基づき、サーバー２の概略構成を説明する。

【0043】

図３は、図１のサーバー２の概略構成を示すブロック図である。
図３に示すように、サーバー２は、制御部２０、記憶部２１、画像処理部２２、通信部２３、表示部２４、操作部２５およびテレビ会議システム管理部２６を備える。

【0044】

以下、サーバー２の各構成要素について説明する。

【0045】

制御部２０は、サーバー２を統合的に制御するものであって、ＣＰＵ、ＲＡＭ、ＲＯＭ、各種のインターフェース回路等からなる。

【0046】

制御部２０は、サーバー２全体の動作をコントロールするために、各センサの検知、操作部２５等、あらゆる負荷の監視・制御を行う。

【0047】

記憶部２１は、サーバー２の各種機能を実現するために必要な情報や、制御プログラムなどを記憶する素子や記憶媒体である。例えば、ＲＡＭやＲＯＭ等の半導体素子、ハードディスク、フラッシュ記憶部、ＳＳＤ等の記憶媒体が用いられる。

【0048】

記憶部２１は、テレビ会議システム１００に関する情報や画像データなどテレビ会議の実行に必要なデータを記憶する。

【0049】

なお、データを保持する領域をハードディスクドライブで、プログラムを保持する領域をフラッシュ記憶部で構成するといったように、プログラムとデータが異なる装置に保持されてもよい。

【0050】

画像処理部２２は、画像データを適正な電気信号に変換して拡大・縮小等の出力に適するように処理を行う部分である。

【0051】

通信部２３は、ネットワーク３を介して、外部のユーザー端末１と通信を行い、テレビ会議システム１００の資料データ等を送受信する部分である。

【0052】

表示部２４は、サーバー２の各種情報の表示を行う部分である。
表示部２４は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、ＥＬディスプレイなどで構成され、オペレーティングシステムやアプリケーションソフトウェアが処理状態など電子的なデータを表示するためのモニタやラインディスプレイなどの表示装置である。

【0053】

制御部２０は、表示部２４を通じて、サーバー２の動作および状態の表示を行う。

【0054】

操作部２５は、サーバー２を操作するためのインターフェースであり、ユーザーからの指令を受け付ける部分である。

【0055】

なお、表示部２４および操作部２５は、液晶パネル等から構成された表示パネルと、表示パネルに重ねて配置され、指がタッチされた位置を検出する静電容量方式等のタッチパネルとから構成されるものであってもよい。

【0056】

テレビ会議システム管理部２６は、ネットワーク３を介して複数のユーザー端末１間でテレビ会議を実行するためのシステムを管理する部分である。

【0057】

＜この開示の実施形態１のテレビ会議システム１００の処理の一例＞
次に、図４～図８に基づき、この開示の実施形態１のテレビ会議システム１００の処理の一例について説明する。

【0058】

図４は、図１のテレビ会議システム１００において、ユーザー端末１のスピーカーの不具合発生の確認処理の一例を示すフローチャートである。
図５は、図１のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の例を示す。
図５（Ａ）は、発言ユーザー（ユーザーＡ）の顔画像を大きく表示した場合の例を示し、図５（Ｂ）は、発言ユーザーの画面枠をハイライト表示した場合の例を示す。

【0059】

ユーザー端末１がテレビ会議を開始した後、図４のステップＳ１において、ユーザー端末１の制御部１０は、撮像部１６にユーザーの顔を撮像させるカメラ画像認識と、音声取得部１７にユーザーの音声を取得させる音声入力検知を開始する（ステップＳ１）。
［００００］
次に、ステップＳ２において、制御部１０は、表示部１４がユーザーの顔画像などのカメラ画像のない画面（例えば、プレゼンテーション用の資料を画面全体に表示するなど）を表示中か否かを判定する（ステップＳ２）。

【0060】

表示部１４がユーザーの顔画像などのカメラ画像のない画面を表示中の場合（ステップＳ２の判定がＹｅｓの場合）、ステップＳ９において、制御部１０は、テレビ会議が終了したか否かを判定する（ステップＳ９）。

【0061】

テレビ会議が終了した場合（ステップＳ９の判定がＹｅｓの場合）、制御部１０は、処理を終了する。
一方、テレビ会議が終了していない場合（ステップＳ９の判定がＮｏの場合）、制御部１０は、処理をステップＳ２に戻す。

【0062】

ステップＳ２において、表示部１４が図５に示すようなユーザーの顔画像などのカメラ画像のない画面を表示中でない場合（ステップＳ２の判定がＮｏの場合）、制御部１０は、ステップＳ３において、音声取得部１７が発言ユーザーの音声を取得した否かを判定する（ステップＳ３）。

【0063】

音声取得部１７が発言ユーザーの音声を取得していない場合（ステップＳ３の判定がＮｏの場合）、制御部１０は、ステップＳ９の判定を行う。

【0064】

一方、音声取得部１７が発言ユーザーの音声を取得した場合（ステップＳ３の判定がＹｅｓの場合）、ステップＳ４において、制御部１０は、表示部１４に所定の音声検知アイコンを表示させる（ステップＳ４）。

【0065】

図６は、図１のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の音声検知アイコンの一例を示す。

【0066】

表示部１４にプレゼンテーション用の資料などが画面全体に表示されている場合、発言ユーザーの音声に合わせて、図６（Ａ）／（Ｂ）に示すように、画面の左上に人が口を開いたり／閉じたりするアニメーションのアイコンが表示される。

【0067】

図７は、図１のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の音声検知アイコンの別の一例を示す。

【0068】

図７（Ａ）／（Ｂ）の例では、発言ユーザーの音声に合わせて、画面の左上にマイクが音声を発したり／発しなかったりするアニメーションのアイコンが表示される。

【0069】

上記の他、「Ａさんが発言中です」という文字情報を音声検知アイコンとして表示するようにしてもよい。

【0070】

また、発言中のユーザーＡの口の動きが確認できる顔画像を画面の所定の位置に小さく表示するようにしてもよい。

【0071】

このような音声検知アイコンを表示することで、発言ユーザーが発言中であることを容易に確認することができる。

【0072】

次に、図４のステップＳ５において、制御部１０は、音声検知アイコン上にマウスオーバーされたか否かを判定する（ステップＳ５）。

【0073】

音声検知アイコン上にマウスオーバーされていない場合（ステップＳ５の判定がＮｏの場合）、制御部１０は、ステップＳ９の判定を行う。

【0074】

音声検知アイコン上にマウスオーバーされた場合（ステップＳ５の判定がＹｅｓの場合）、ステップＳ６において、制御部１０は、表示部１４に所定の発言中表示／終了ボタンを表示させる（ステップＳ６）。

【0075】

図８は、図１のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の音声検知アイコンにマウスカーソルをおいた場合に表示される発言中表示／終了ボタンの一例を示す。

【0076】

図８（Ａ）に示すように、音声検知アイコンにマウスカーソルをおくと、「発言中：Ａ」という表示とともに、その隣に「Ｘ」印の終了ボタンが表示される。

【0077】

次に、図４のステップＳ７において、制御部１０は、終了ボタンがクリックされたか否かを判定する（ステップＳ７）。

【0078】

終了ボタンがクリックされなかった場合（ステップＳ７の判定がＮｏの場合）、制御部１０は、処理をステップＳ５の判定に戻す。

【0079】

一方、終了ボタンがクリックされた場合（ステップＳ７の判定がＹｅｓの場合）、ステップＳ８において、制御部１０は、表示部１４に音声検知アイコンを非表示にさせた後（ステップＳ８）、処理を終了する。

【0080】

図８（Ｂ）に示すように、ユーザーが終了ボタンをクリックすると、「発言中表示終了します」というメッセージが表示された後に、音声検知アイコンが非表示になる。

【0081】

それゆえ、ユーザーは、発言ユーザーの音声が正常に聞き取れる場合は、音声検知アイコンを非表示にして、テレビ会議を継続することができる。

【0082】

このようにして、テレビ会議中に音声が聞こえない等のユーザーの意図しない不具合が発生しても、従来よりも容易に音声の不具合をユーザーに認識できるようにするテレビ会議システム１００を実現できる。

【0083】

（変形例１）
実施形態１では、図４のステップＳ４において、表示部１４に所定の音声検知アイコンを表示させていた。
しかしながら、音声検知アイコンは、スピーカーの不具合をユーザーが認識しやすいようにするために表示するものであり、ユーザーが発言する場合は、音声検知アイコンを表示する必要がない。

【0084】

そこで、変形例１として、発言ユーザー以外のユーザー端末１の表示部１４に所定の音声検知アイコンを表示させ、発言ユーザーのユーザー端末１の表示部１４に音声検知アイコンを表示させないようにしてもよい。

【0085】

（変形例２）
実施形態１では、図４のステップＳ２において、表示部１４がプレゼンテーション用の資料を画面全体に表示するなど、ユーザーの顔画像などのカメラ画像のない画面を表示中の場合であって、続くステップＳ３において、発言ユーザーの音声を取得している場合に、表示部１４に音声検知アイコンを表示させていた。

【0086】

しかしながら、発言中のユーザー以外のユーザーの顔画像が表示中であっても、発言中のユーザーがカメラをオフにしていたり、顔画像の代わりにアイコン等の静止画像を表示していたり、カメラの撮影範囲外にいて発言中のユーザーの顔画像が認識できないこともある。

【0087】

そこで、変形例２として、他のユーザーの顔画像が表示中であっても、発言中のユーザーの顔画像が認識できない画面を表示中に、発言ユーザーの音声を取得している場合も、表示部１４に音声検知アイコンを表示させるようにしてもよい。

【0088】

（変形例３）
変形例３として、ユーザーの顔画像が表示中であっても、口元が確認できないほど顔画像が小さく表示されていたり、口にマスクをしていたりするなど、そのユーザーが発言中なのか顔画像から確認が困難な状況で、そのユーザーの音声を取得している場合も、表示部１４に音声検知アイコンを表示させるようにしてもよい。

【0089】

ただし、ユーザーがマスクをしていても、マスクおよびマスク周辺の顎・鼻筋等の動きから、そのユーザーが発言しているのが容易に確認できると判断される場合は、この限りではない。

【0090】

＜この開示の実施形態２のテレビ会議システム１００の処理の一例＞
次に、図９～図１２に基づき、この開示の実施形態２のテレビ会議システム１００の処理の一例について説明する。

【0091】

実施形態１では、テレビ会議において、ユーザーの顔画像が表示中でない場合に限り、ユーザー端末１のスピーカーに不具合が発生した場合のユーザーへの通知方法について説明した。

【0092】

これに対して、実施形態２では、ユーザーの顔画像が表示中であっても、ユーザー端末１のスピーカーに不具合が発生した場合のユーザーへの通知方法について説明する。

【0093】

この発明の実施形態２に係るテレビ会議システム１００の概略構成は、実施形態１（図１～図３）と同一であるため、説明を省略する。

【0094】

図９は、この開示の実施形態２のテレビ会議システム１００において、ユーザー端末１のスピーカーの不具合発生の確認処理の一例を示すフローチャートである。

【0095】

図９のステップＳ１１，Ｓ１６～Ｓ２０の処理はそれぞれ、図４（実施形態１）のステップＳ１，Ｓ５～Ｓ９の処理に対応するため、説明を省略する。

【0096】

ここでは、図４と異なる図９のステップＳ１２～Ｓ１５の処理について説明する。

【0097】

図９のステップＳ１１において、ユーザー端末１の制御部１０が、撮像部１６にユーザーの顔を撮像させるカメラ画像認識と、音声取得部１７にユーザーの音声を取得させる音声入力検知を開始した後（ステップＳ１１）、ステップＳ１２において、制御部１０は、音声取得部１７が発言ユーザーの音声を取得した否かを判定する（ステップＳ１２）。

【0098】

音声取得部１７が発言ユーザーの音声を取得していない場合（ステップＳ１２の判定がＮｏの場合）、ステップＳ２０において、制御部１０は、テレビ会議が終了したか否かを判定する（ステップＳ２０）。

【0099】

一方、音声取得部１７が発言ユーザーの音声を取得した場合（ステップＳ１２の判定がＹｅｓの場合）、ステップＳ１３において、制御部１０は、表示部１４がユーザーの顔画像などのカメラ画像のない画面を表示中か否かを判定する（ステップＳ１３）。

【0100】

表示部１４がユーザーの顔画像などのカメラ画像のない画面を表示中の場合（ステップＳ１３の判定がＹｅｓの場合）、ステップＳ１４において、制御部１０は、音声検知アイコンを予め定められた基準よりも大きく、目立つように表示させる（ステップＳ１４）。

【0101】

一方、表示部１４がユーザーの顔画像などのカメラ画像のない画面を表示中でない場合（ステップＳ１３の判定がＮｏの場合）、ステップＳ１５において、制御部１０は、音声検知アイコンを予め定められた基準よりも小さく表示させる（ステップＳ１５）。

【0102】

図１０は、この開示の実施形態２のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の音声検知アイコンの一例を示す。

【0103】

図１０に示すように、表示部１４にプレゼンテーション用の資料などが画面全体に表示されている場合、画面の中央よりに「Ｂさんが発言中」という音声検知アイコンが大きく目立つように表示される。

【0104】

図１１は、この開示の実施形態２のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の音声検知アイコンの別の一例を示す。

【0105】

図１１に示すように、表示部１４に複数のユーザーの顔画像が画面全体に表示されている場合、ユーザーＢの顔画像の画面枠を点滅表示させる。

【0106】

図１２は、この開示の実施形態２のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の音声検知アイコンのさらに別の一例を示す。

【0107】

図１２に示すように、表示部１４にプレゼンテーション用の資料などが画面全体に表示されている場合、表示部１４の周囲にサブ画面を設けて、「Ｂさんが発言中」およびユーザーＢの音量レベル表示からなる音声検知アイコンが小さく表示される。

【0108】

このようにして、テレビ会議中に音声が聞こえない等のユーザーの意図しない不具合が発生しても、ユーザーの顔画像が表示中か否かに応じて音声検知アイコンを異なる態様で表示させるため、従来よりも容易に音声の不具合をユーザーに認識できるようにするテレビ会議システム１００を実現できる。

【0109】

＜この開示の実施形態３のテレビ会議システム１００の処理の一例＞
次に、図１３～図１５に基づき、この開示の実施形態３のテレビ会議システム１００の処理の一例について説明する。

【0110】

実施形態１では、テレビ会議において、発言ユーザーの音声を正常に取得しているのにもかかわらず、ユーザー端末１のスピーカーに不具合が発生した場合のユーザーへの通知方法について説明した。

【0111】

これに対して、実施形態３では、発言ユーザーのマイクに不具合が発生した場合の処理方法について説明する。

【0112】

この発明の実施形態３に係るテレビ会議システム１００の概略構成は、実施形態１（図１～図３）と同一であるため、説明を省略する。

【0113】

図１３は、この開示の実施形態３のテレビ会議システム１００において、ユーザー端末１のマイクの不具合発生に対する処理の一例を示すフローチャートである。

【0114】

ユーザー端末１がテレビ会議を開始した後、図１３のステップＳ２１において、ユーザー端末１の制御部１０は、撮像部１６にユーザーの顔を撮像させるカメラ画像認識と、音声取得部１７にユーザーの音声を取得させる音声入力検知を開始する（ステップＳ２１）。

【0115】

次に、ステップＳ２２において、制御部１０は、撮像部１６が撮像したユーザーの口の動きを認識して、当該ユーザーが発言中か否かを判定する（ステップＳ２２）。

【0116】

図１４は、この開示の実施形態３のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面の例を示す。

【0117】

図１４（Ａ）は、撮像部１６が撮像した発言ユーザー（ユーザーＡ）の顔画像の口の動きを認識して、発言ユーザーの画面枠をハイライト表示した場合の例を示す。

【0118】

図１４（Ｂ）は、マスクをしている発言ユーザー（ユーザーＡ）の顔画像のマスクおよびマスク周辺の顎・鼻筋等の動きを認識して、発言ユーザーの画面枠をハイライト表示した場合の例を示す。

【0119】

図１３のステップＳ２２において、ユーザーが発言中でない場合（ステップＳ２２の判定がＮｏの場合）、ステップＳ３０において、制御部１０は、テレビ会議が終了したか否かを判定する（ステップＳ３０）。

【0120】

テレビ会議が終了した場合（ステップＳ３０の判定がＹｅｓの場合）、制御部１０は、処理を終了する。
一方、テレビ会議が終了していない場合（ステップＳ３０の判定がＮｏの場合）、制御部１０は、処理をステップＳ２２に戻す。

【0121】

ステップＳ２２において、ユーザーが発言中である場合（ステップＳ２２の判定がＹｅｓの場合）、ステップＳ２３において、制御部１０は、音声取得部１７が当該ユーザーの音声を取得していない（音声入力なし）か否かを判定する（ステップＳ２３）。

【0122】

ユーザーの音声入力がある場合（ステップＳ２３の判定がＮｏの場合）、制御部１０は、ステップＳ３０の判定を行う。

【0123】

一方、発言中であるにもかかわらずユーザーの音声入力がない場合（ステップＳ２３の判定がＹｅｓの場合）、ステップＳ２４において、制御部１０は、表示部１４にマイクに不具合がある旨の表示をさせる（ステップＳ２４）。

【0124】

図１５は、この開示の実施形態３のテレビ会議システム１００において、ユーザー端末１の表示部１４に表示されたテレビ会議画面において、マイクに不具合が発生した場合の表示の例を示す。

【0125】

図１５（Ａ）は、ユーザー端末１の表示部１４に表示されたテレビ会議画面において、マイクに不具合が発生した場合の表示の一例を示す。

【0126】

図１５（Ａ）に示すように、マイクに不具合が発生した発言ユーザーＡの画面枠を点滅表示させるとともに、マイクに不具合が発生した旨を知らせるメッセージを表示させる。

【0127】

図１５（Ａ）の例では、「発言中ですが、マイクの音声が入っていません。マイクテストを実施しますか？」というメッセージとともに、「はい」「いいえ」のボタンが表示される。

【0128】

次に、図１３のステップＳ２５において、制御部１０は、マイクテストを実施するか否かを判定する（ステップＳ２５）。

【0129】

マイクテストを実施しない場合（ステップＳ２５の判定がＮｏの場合）、ステップＳ２６において、制御部１０は、マイクに不具合がある旨の表示を終了して（ステップＳ２６）、処理を終了する。

【0130】

一方、マイクテストを実施する場合（ステップＳ２５の判定がＹｅｓの場合）、ステップＳ２７において、制御部１０は、他のユーザー端末１への音声の送信を停止して、表示部１４にマイクテスト画面を表示させる（ステップＳ２７）。

【0131】

図１５（Ｂ）は、ユーザー端末１の表示部１４に表示されたテレビ会議画面において、マイクテスト画面の一例を示す。

【0132】

図１５（Ｂ）に示すように、マイクテスト画面において、「マイクテスト中に何か話してください」というメッセージとともに、音量レベルの表示および「テスト終了」ボタンが表示される。

【0133】

次に、図１３のステップＳ２８において、制御部１０は、マイクテストが終了したか否かを判定する（ステップＳ２８）。

【0134】

図１５（Ｂ）のマイクテスト画面において、「テスト終了」ボタンがクリックされて、マイクテストが終了した場合（ステップＳ２８の判定がＹｅｓの場合）、ステップＳ２９において、制御部１０は、マイクテスト画面を終了し、他のユーザー端末１への音声送信を再開し（ステップＳ２９）、処理を終了する。

【0135】

このようにして、テレビ会議の最中に発言ユーザーのマイクに不具合が発生したか否かを適切に判定して、不具合が発生した場合、他のユーザー端末１への音声送信を停止してマイクテスト画面を表示するため、会議中にマイクの音声入力がない等のユーザーの意図しない不具合が発生しても、ユーザーに認識させて不具合を解消するテレビ会議システム１００を実現できる。

【0136】

この発明の好ましい態様には、上述した複数の態様のうちの何れかを組み合わせたものも含まれる。

【0137】

前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

【符号の説明】

【0138】

１，１Ａ，１Ｂ，１Ｃ，１Ｄ：ユーザー端末、 ２：サーバー、 ３：ネットワーク、 １０，２０：制御部、 １１，２１：記憶部、 １２，２２：画像処理部、 １３，２３：通信部、 １４，２４：表示部、 １５，２５：操作部、 １６：撮像部、 １７：音声取得部、 １８：音声出力部、 ２６：テレビ会議システム管理部、 １００：テレビ会議システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】