特許 7631756 映像通信装置、および映像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-10

(45)【発行日】2025-02-19

(54)【発明の名称】映像通信装置、および映像表示方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20250212BHJP

【ＦＩ】

H04N7/15 170

【請求項の数】 5

(21)【出願番号】P 2020195393

(22)【出願日】2020-11-25

(65)【公開番号】P2022083831

(43)【公開日】2022-06-06

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】角 智紀

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１２－１００１８５（ＪＰ，Ａ）

【文献】特開２０１０－０９３５８３（ＪＰ，Ａ）

【文献】特開２０１０－２３９３９３（ＪＰ，Ａ）

【文献】特開２００２－０７７８４０（ＪＰ，Ａ）

【文献】特開２０１２－１８１７０４（ＪＰ，Ａ）

【文献】特開２００３－２４４４２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ７／２０ － ７／５６

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

他端末から、前記他端末のカメラが撮影した映像および映像表示を制限する情報を受信する通信部と、
前記通信部が受信した前記映像から人物を認識し、認識した人物の動作を分析する分析部と、
前記分析部の分析結果に応じてアイコンを生成するアイコン生成部と、
前記通信部が前記映像を受信した場合は前記映像を表示部に表示させ、前記通信部が前記映像を受信しない場合は所定の第１のアイコンを前記表示部に表示させる表示制御部と、
を備え、
前記分析部が人物を認識し、かつ認識した人物の動作を検出した場合、前記アイコン生成部は、前記第１のアイコンを認識した人物の動作に合わせて傾けた第２のアイコンを生成し、
前記表示制御部は、生成された前記第２のアイコンを前記表示部に表示させる、
映像通信装置。

【請求項2】

他端末から、前記他端末のカメラが撮影した映像および映像表示を制限する情報を受信する通信部と、
前記通信部が受信した前記映像から人物を認識し、認識した人物の動作を分析する分析部と、
前記分析部の分析結果に応じてアイコンを生成するアイコン生成部と、
前記通信部が前記映像を受信した場合は前記映像を表示部に表示させ、前記通信部が前記映像を受信しない場合は所定の第１のアイコンを前記表示部に表示させる表示制御部と、
を備え、
前記分析部が人物を認識し、かつ認識した人物の動作を検出した場合、前記アイコン生成部は、前記第１のアイコンを認識した人物の動作に合わせて傾けた第２のアイコンを生成し、
前記通信部が前記映像表示を制限する情報を受信した場合、前記表示制御部は、生成された前記第２のアイコンまたは前記第１のアイコンを前記表示部に表示させる、
映像通信装置。

【請求項3】

前記アイコン生成部は、前記分析部が前記人物の頷く動作を検出した場合、前後に傾けたアイコンを生成し、前記分析部が前記人物の左右に向く動作を検出した場合、左右に傾けたアイコンを生成する、
請求項１または２に記載の映像通信装置。

【請求項4】

前記分析部が分析した人物の動作または表情がポジティブな動作または表情であるか否かを判断する判断部をさらに備え、
前記アイコン生成部は、前記判断部がポジティブな動作または表情と判断した場合の分析結果を反映したアイコンを生成する、
請求項１から３のいずれか１項に記載の映像通信装置。

【請求項5】

他端末から、前記他端末のカメラが撮影した映像および映像表示を制限する情報を受信するステップと、
受信した前記映像から人物を認識し、認識した人物の動作を分析するステップと、
分析結果に応じてアイコンを生成するステップと、
前記映像を受信した場合は前記映像を表示部に表示させ、前記映像を受信しない場合は所定の第１のアイコンを前記表示部に表示させるステップと、
を、映像通信装置が実行する映像表示方法であって、
人物を認識し、かつ認識した人物の動作を検出した場合、前記第１のアイコンを認識した人物の動作に合わせて傾けた第２のアイコンを生成し、生成された前記第２のアイコンを前記表示部に表示させる
ことを特徴とする、映像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像通信装置、および映像表示方法に関する。

【背景技術】

【0002】

ネットワークを介して、遠隔地の相手と会議等を行うことができるＷＥＢ会議装置が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－９３３１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＷＥＢ会議装置は、ユーザの顔の方向を撮影した映像を参加者が共有することができるが、必要に応じてカメラ機能をオフにして利用することがある。例えば、多人数でのＷＥＢ会議などでは、発話者以外のカメラ機能をオフにすることもある。このような場合、発話者は、他のユーザの表情などが確認できず、発話内容に対する反応が把握できないことから、コミュニケーションが円滑に行えない場合もある。

【0005】

本発明は、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる映像通信装置、および映像表示方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る映像通信装置は、他端末から、前記他端末のカメラが撮影した映像および映像表示を制限する情報を受信する通信部と、前記通信部が受信した映像から人物を認識し、認識した人物の動作または表情を分析する分析部と、前記分析部の分析結果を反映したアイコンを生成するアイコン生成部と、前記通信部が受信した映像を表示部に表示させ、前記通信部が映像表示を制限する情報を受信した場合、前記映像に代えて前記アイコン生成部が生成したアイコンを前記表示部に表示させる表示制御部と、を備える。

【0007】

本発明に係る映像表示方法は、他端末から、前記他端末のカメラが撮影した映像および映像表示を制限する情報を受信するステップと、受信した映像から人物を認識し、認識した人物の動作または表情を分析するステップと、認識した人物の動作または表情の分析結果を反映したアイコンを生成するステップと、前記他端末から受信した映像を表示部に表示させ、映像表示を制限する情報を受信した場合、前記映像に代えて認識した人物の動作または表情の分析結果を反映したアイコンを前記表示部に表示させるステップと、を、映像通信装置が実行する。

【発明の効果】

【0008】

本発明によれば、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第一実施形態に係る映像通信装置の構成例を示すブロック図である。

【図2】図２は、第一実施形態に係る表示映像の一例を説明するための図である。

【図3】図３は、第一実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。

【図4】図４は、表示制御部が、表示部に表示させる映像を説明するための図である。

【図5】図５は、表示制御部が、表示部に表示させる通常のアイコンを説明するための図である。

【図6】図６は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。

【図7】図７は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。

【図8】図８は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。

【図9】図９は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。

【図10】図１０は、第一実施形態に係る表示制御部がアイコンを表示させる方法を説明するための図である。

【図11】図１１は、第一実施形態に係る表示制御部がアイコンを表示させる方法を説明するための図である。

【図12】図１２は、第二実施形態に係る映像通信装置の構成を説明するための図である。

【図13】図１３は、第二実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
図１を用いて、第一実施形態に係る映像通信装置について説明する。図１は、第一実施形態に係る映像通信装置の構成例を示すブロック図である。

【0012】

図１に示すように、映像通信装置１０は、カメラ１２と、マイクロフォン１４と、操作受付部１６と、通信部１８と、表示部２０と、音声出力部２２と、制御部（映像通信制御装置）２４と、を備える。映像通信装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末など、映像を表示する表示画面と、表示画面の近傍に表示画面と同じ方向を向いたカメラが備えられている装置である。映像通信装置１０は、例えば、ＷＥＢ会議などに用いられることで、ＷＥＢ会議の参加者間で映像と音声を用いたコミュニケーションを行うことのできる装置である。

【0013】

カメラ１２は、映像通信装置１０の周辺を撮像する。カメラ１２は、例えば、表示部２０が向いている方向を撮像するように配置されている。カメラ１２は、所定のフレームレートで、時系列で連続した映像、所謂動画像を撮像する。カメラ１２は、撮像した映像を映像取得部３０に出力する。カメラ１２は、映像通信装置１０に接続される外部カメラであってもよい。

【0014】

マイクロフォン１４は、映像通信装置１０の周辺の音声を収音する。マイクロフォン１４は、マイクロフォン１４に向かって発話している人物の音声を収音する。マイクロフォン１４は、収音した音声を音声取得部３２に出力する。マイクロフォン１４は、映像通信装置１０に接続される外部のマイクロフォンであってもよい。

【0015】

操作受付部１６は、ユーザの操作によって映像通信装置１０に対する各種操作を受け付ける。操作受付部１６は、例えば、タッチパネル、スイッチ、ボタンなどを含み得る。操作受付部１６は、ユーザなどから受け付けた操作に関する操作情報を操作制御部３４に出力する。

【0016】

通信部１８は、有線または無線で図示しないインターネット網などの通信網に接続されている。通信部１８は、通信網を介して、他の外部装置と情報の送受信を行う。通信部１８は、例えば、他の映像通信装置と情報の送受信を行う。通信部１８は、例えば、カメラ１２が撮影した映像およびマイクロフォン１４が収音した音声を、他の映像通信装置に送信する。通信部１８は、例えば、他の映像通信装置のカメラが撮影した映像およびマイクロフォンが収音した音声を受信する。通信部１８は、例えば、他の映像通信装置から、他の映像通信装置のカメラが撮影した映像を制限する情報を受信する。以下の説明において、通信部１８が、他の映像通信装置に映像等を送信すると記載された場合は、通信部１８が、他の映像通信装置が接続され、通信部１８が送信した映像等を他の映像通信装置が参照することができる外部のサーバなどに映像等を送信することも含む。また、通信部１８が、他の映像通信装置から映像等を受信すると記載された場合は、通信部１８が、他の映像通信装置が接続され、他の映像通信装置が送信した映像等を参照することができる外部のサーバなどから映像等を受信することも含む。

【0017】

表示部２０は、各種情報を表示する。表示部２０は、例えば、カメラ１２がユーザを撮影した映像や、ＷＥＢ会議に参加している他の映像通信装置が撮影した他のユーザの映像などを表示する。表示部２０は、例えば、映像通信装置１０の利用者を示す所定のアイコンや、ＷＥＢ会議に参加している他の映像通信装置のユーザを示すアイコンを表示する。表示部２０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどを含むディスプレイである。

【0018】

音声出力部２２は、スピーカやヘッドフォン等であり、映像通信装置１０に備えられているものや、映像通信装置１０に接続される外部のスピーカやヘッドフォン等である。音声出力部２２は、各種音声を出力する。音声出力部２２は、例えば、ＷＥＢ会議に参加している他の映像通信装置から送信された他のユーザが発話した音声などを出力する。

【0019】

制御部２４は、映像通信装置１０の各部の動作を制御する、所謂、映像通信制御装置である。制御部２４は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより、各種機能が実現される。このため、制御部２４は、実施形態に係る映像表示方法を実行させる。また、制御部２４は、本発明に係るプログラムを動作させるコンピュータである。制御部２４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部２４は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

【0020】

制御部２４は、映像取得部３０と、音声取得部３２と、操作制御部３４と、通信制御部３６と、表示制御部３８と、音声出力制御部４０と、分析部４２と、アイコン生成部４４と、を備える。言い換えると、制御部２４は、映像取得部３０と、音声取得部３２と、操作制御部３４と、通信制御部３６と、表示制御部３８と、音声出力制御部４０と、分析部４２と、アイコン生成部４４としての機能を実現する。

【0021】

映像取得部３０は、カメラ１２が出力した映像を取得する。映像取得部３０は、例えば、カメラ１２が撮影した、映像通信装置１０のユーザの顔を含む範囲を撮影した映像を取得する。

【0022】

音声取得部３２は、マイクロフォン１４が出力した音声を取得する。音声取得部３２は、例えば、マイクロフォン１４が取得した、映像通信装置１０のユーザの発話した音声を取得する。

【0023】

操作制御部３４は、操作受付部１６が受け付けた操作に関する操作情報を取得する。

【0024】

通信制御部３６は、通信部１８を制御する。通信制御部３６は、通信部１８を制御して、他の外部装置と各種の情報の送受信を行う。通信制御部３６は、例えば、通信部１８を制御して、他の映像通信装置との間で映像および音声の送受信を行う。

【0025】

表示制御部３８は、表示部２０に各種映像を表示させる。表示制御部３８は、例えば、映像通信装置１０のユーザおよびＷＥＢ会議に参加している他の映像通信装置のユーザの映像を表示させる。表示制御部３８は、例えば、通信部１８が映像表示を制限する情報を受信した場合には、他のユーザの映像に代えて、アイコン生成部４４が生成したアイコンを表示部２０に表示させる。

【0026】

音声出力制御部４０は、音声出力部２２に各種音声を出力させる。音声出力制御部４０は、例えば、音声出力部２２からＷＥＢ会議に参加している他のユーザの音声を出力させる。

【0027】

分析部４２は、通信部１８が受信した他の映像通信装置のカメラが撮影した映像を分析する。分析部４２は、通信部１８が受信した他の映像通信装置のマイクロフォンが収音した音声を分析する。分析部４２は、例えば、他の映像通信装置のカメラが撮影した映像から人物を認識する。分析部４２は、例えば、他の映像通信装置のカメラが撮影した映像から人物が認識できた場合に、認識した動作および表情の少なくとも１つを分析する。

【0028】

アイコン生成部４４は、各種のアイコンを生成する。アイコン生成部４４は、例えば、分析部４２の分析結果に応じたアイコンを生成する。

【0029】

［表示映像］
図２を用いて、第一実施形態に係る表示映像について説明する。図２は、第一実施形態に係る表示映像の一例を説明するための図である。

【0030】

図２に示すように、映像通信装置１０の表示部２０に表示される表示映像２０ａは、第一表示領域５０と、第二表示領域５２と、第三表示領域５４と、第四表示領域５６と、を含む。表示映像２０ａは、例えば、映像通信装置１０のユーザＵ１を含む４人でＷＥＢ会議を行っている場合に表示される画面の一例である。映像通信装置１０のユーザ以外の他の３人のユーザの映像通信装置にも表示映像２０ａと同様の映像が表示される。

【0031】

第一表示領域５０は、例えば、４人のユーザのうちの、第一ユーザであるユーザＵ１に関する情報を表示する。第二表示領域５２は、例えば、４人のユーザのうちの、第二ユーザに関する情報を表示する。第三表示領域５４は、例えば、４人のユーザのうちの、第三ユーザに関する情報を表示する。第四表示領域５６は、例えば、４人のユーザのうちの、第四ユーザに関する情報を表示する。

【0032】

映像通信装置１０には、カメラ１２が撮影している映像を他の映像通信装置に送信して表示させる「映像オンモード」がある。映像通信装置１０には、カメラ１２で撮影を行わずに映像を他の映像通信装置に送信しない「映像オフモード」がある。映像通信装置１０には、カメラ１２が撮影している映像を他の映像通信装置に送信するが、その映像を他の映像通信装置に表示させない「映像制限モード」がある。本実施形態では、ＷＥＢ会議に参加する各ユーザは、「映像オンモード」、「映像オフモード」、および「映像制限モード」を任意に設定することができる。

【0033】

図２に示す例では、ユーザＵ１は、「映像オンモード」を選択し、第二ユーザ、第三ユーザ、および第四ユーザは、それぞれ、「映像オフモード」を選択しているものとする。

【0034】

第一表示領域５０には、ユーザＵ１の映像と、アイコンＩ１とが、表示される。ユーザＵ１は、例えば、第一表示領域５０の中央部に表示される。アイコンＩ１は、第一表示領域５０の右上隅に表示される。アイコンＩ１は、ユーザＵ１の情報を示すアイコンである。アイコンＩ１は、例えば、「ＹＳ」などのようにユーザＵ１の名前のイニシャルが表示され得る。

【0035】

第二表示領域５２には、中央部にアイコンＩ２が表示されている。アイコンＩ２は、第二ユーザの情報を示すアイコンである。アイコンＩ２は、例えば、「ＲＳ」などのように第二ユーザの名前のイニシャルが表示され得る。

【0036】

第三表示領域５４には、中央部にアイコンＩ３が表示されている。アイコンＩ３は、第三ユーザの情報を示すアイコンである。アイコンＩ３は、例えば、「ＫＴ」などのように第三ユーザの名前のイニシャルが表示され得る。

【0037】

第四表示領域５６には、中央部にアイコンＩ４が表示されている。アイコンＩ４は、第四ユーザの情報を示すアイコンである。アイコンＩ４は、例えば、「ＣＪ」などのように第四ユーザの名前のイニシャルが表示され得る。

【0038】

本実施形態に係る映像通信装置１０は、第二ユーザ、第三ユーザ、および第四ユーザのいずれかが「映像制限モード」を設定している場合、「映像制限モード」を設定しているユーザの動作または表情に応じて、アイコンＩ２、アイコンＩ３、およびアイコンＩ４のうち、「映像制限モード」を設定しているユーザの情報を示すアイコンの表示形態を変更する。本実施形態に係る映像通信装置１０は、「映像制限モード」を設定しているユーザのアイコンの表示形態を変更することで、カメラ映像を表示しない状態でも、ＷＥＢ会議に参加している他のユーザの反応を適切に把握することができ、コミュニケーションを円滑にすることを可能にする。

【0039】

［映像通信装置の処理］
図３を用いて、第一実施形態に係る映像通信装置の処理について説明する。図３は、第一実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。

【0040】

図３の処理は、例えばＷＥＢ会議が開始されることによって開始される。図３の処理が開始され、ＷＥＢ会議の他の参加者との通信部１８による通信が開始されることで、制御部２４は、他の映像通信装置から映像を取得したか否かを判定する（ステップＳ１０）。具体的には、通信制御部３６は、通信部１８を介して、他の映像通信装置から映像を取得したか否かを判定する。他の映像通信装置から映像を取得したと判定された場合（ステップＳ１０；Ｙｅｓ）、ステップＳ１２に進む。他の映像通信装置から映像を取得したと判定されない場合（ステップＳ１０；Ｎｏ）、ステップＳ１６に進む。

【0041】

ステップＳ１０でＹｅｓと判定された場合、制御部２４は、取得した映像に表示制限があるか否かを判定する（ステップＳ１２）。取得した映像に表示制限があることとは、他の映像通信装置において、「映像制限モード」が設定されている場合である。具体的には、通信制御部３６は、通信部１８を介して、他の映像通信装置から取得した映像に関する表示制限情報を取得したか否かを判定する。取得した映像に表示制限がないと判定された場合（ステップＳ１２；Ｎｏ）、ステップＳ１４に進む。取得した映像に表示制限があると判定された場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１８に進む。

【0042】

ステップＳ１２でＮｏと判定された場合、制御部２４は、取得した映像を表示する（ステップＳ１４）。具体的には、表示制御部３８は、ステップＳ１０で取得した映像を、表示部２０に表示させる。図４は、表示制御部３８が、表示部２０に表示させる映像を説明するための図である。図３の処理では、第二ユーザの映像またはアイコンを表示する例について説明するが、第三ユーザおよび第四ユーザについても同様である。図４に示す例においては、表示制御部３８は、第二ユーザの映像通信装置から映像を取得した映像として、第二表示領域５２に第二ユーザＵ２が映された映像を表示させ、第二表示領域５２の右上隅に第二ユーザの名前のイニシャルを示すアイコンＩ２を表示させる。そして、ステップ２６に進む。

【0043】

ステップＳ１０でＮｏと判定された場合、制御部２４は、通常のアイコンを表示する（ステップＳ１６）。ステップＳ１０でＮｏと判定されることは、他の映像通信装置において、「映像オフモード」が設定されている場合である。具体的には、表示制御部３８は、他の映像通信装置を使用しているユーザの名前のイニシャルを示す通常のアイコンを表示部２０に表示させる。図５は、表示制御部３８が、表示部２０に表示させる通常のアイコンを説明するための図である。表示制御部３８は、例えば、第二ユーザの映像通信装置から映像を取得しなかった場合には、第二表示領域５２に第二ユーザに対応するアイコンＩ２を表示させる。そして、ステップＳ２６に進む。

【0044】

ステップＳ１２でＹｅｓと判定された場合、制御部２４は、ステップＳ１０で取得した映像から人物が検出されたか否かを判定する（ステップＳ１８）。具体的には、分析部４２は、例えば、ステップＳ１０で取得した映像に対して、図示しない人物を認識するための辞書データを用いて、人物認識処理を実行して、映像に人物が含まれているか否かを判定する。人物が検出されたと判定された場合（ステップＳ１８；Ｙｅｓ）、ステップＳ２０に進む。人物が検出されたと判定されない場合（ステップＳ１８；Ｎｏ）、ステップＳ１６に進む。

【0045】

ステップＳ１８でＹｅｓと判定された場合、制御部２４は、検出された人物の動作または表情を検出したか否かを判定する（ステップＳ２０）。具体的には、分析部４２は、例えば、検出された人物に対して、図示しない表情を認識するための辞書データを用いたＡＩ機能を用いるなど、周知の動体検出処理を用いたりすることで、人物の動作および表情の少なくとも一方を検出する。人物の動作または表情を検出したと判定された場合（ステップＳ２０；Ｙｅｓ）、ステップＳ２２に進む。人物の動作または表情を検出したと判定されない場合（ステップＳ２０；Ｎｏ）、ステップＳ１６に進む。

【0046】

ステップＳ２０で検出される人物の動作または表情とは、人物の動作または表情の変化を検出することと言い換えてもよい。例えば、検出されている人物の表情が笑顔に変化した場合や、頷く動作、顔を横に振るような動作などに変化した場合などを検出する。

【0047】

ステップＳ２０でＹｅｓと判定された場合、制御部２４は、分析結果に基づくアイコンを生成する（ステップＳ２２）。具体的には、アイコン生成部４４は、分析部４２の検出された人物に対する動作または表示の分析結果に応じたアイコンを生成する。分析結果に応じたアイコンとは、例えば図５に示すような通常のアイコンに対して、分析部４２が検出した人物の動作や表情が表されるようにデフォルメしたアイコンである。分析結果に応じたアイコンとは、分析結果が表されるように、形状、構成、動きの少なくともいずれかが変更される。

【0048】

図６と、図７と、図８と、図９とを用いて、第一実施形態に係るアイコン生成部４４が生成するアイコンについて説明する。図６から図９は、第一実施形態に係るアイコン生成部４４が生成するアイコンの一例を説明するための図である。

【0049】

図６に示すように、アイコン生成部４４は、例えば、分析部４２が第二ユーザの頷く動作を検出した場合には、図５に示すアイコンＩ２を頷くように傾けたアイコンＩ２Ａを生成する。図７に示すように、アイコン生成部４４は、例えば、分析部４２が第二ユーザの右に向く動作を検出した場合には、図５に示すアイコンＩ２を右に向くように傾けたアイコンＩ２Ｂを生成する。図８に示すように、アイコン生成部４４は、例えば、分析部４２が第二ユーザの左に向く動作を検出した場合には、図５に示すアイコンＩ２を左に向くように傾けたアイコンＩ２Ｃを生成する。すなわち、アイコン生成部４４は、分析部４２によるＷＥＢ会議の他の参加者の動作の分析結果に応じたアイコンを生成する。

【0050】

図９に示すように、アイコン生成部４４は、例えば、分析部４２が第二ユーザの笑顔を検出した場合、笑顔を示すアイコンＩ２Ｄを生成する。すなわち、アイコン生成部４４は、分析部４２によるＷＥＢ会議の他の参加者の表情の分析結果に応じたアイコンを生成し得る。

【0051】

図３に戻る。制御部２４は、生成したアイコンを表示する（ステップＳ２４）。具体的には、表示制御部３８は、例えば、図５から図９に示したようなアイコンを表示部２０に表示させる。

【0052】

図１０と、図１１とを用いて、第一実施形態に係る表示制御部３８がアイコンを表示させる方法について、説明する。図１０と、図１１とは、第一実施形態に係る表示制御部３８がアイコンを表示させる方法を説明するための図である。

【0053】

図１０は、頷き動作を反映させたアイコンを表示する方法を説明するための図である。この場合、まず、表示制御部３８は、例えば、通常の第二ユーザのアイコンＩ２を第二表示領域５２に表示させる（ステップＳ１）。次いで、表示制御部３８は、例えば、第二ユーザが頷いていることを示すアイコンＩ２Ａを第二表示領域５２に表示させる（ステップＳ２）。表示制御部３８は、例えば、ステップＳ１の状態と、ステップＳ２の状態とを１秒ごとに切り替えて表示させることで、アイコンに頷き動作を与えて、ＷＥＢ会議の他の参加者の頷き動作を反映させる。つまり、表示制御部３８は、ＷＥＢ会議の他の参加者が頷き動作を行っているときは、頷き動作を行っている他の参加者のアイコンを図１０に示すような動作で表示させる。

【0054】

図１１は、顔を左右の横方向に振る動作を反映させたアイコンを表示する方法を説明するための図である。まず、表示制御部３８は、例えば、第二ユーザが右を向いていることを示すアイコンＩ２Ｂを第二表示領域５２に表示させる（ステップＳ３）。次いで、表示制御部３８は、例えば、第二ユーザが左を向いていることを示すアイコンＩ２Ｃを第二表示領域５２に表示させる（ステップＳ４）。表示制御部３８は、例えば、ステップＳ３の状態と、ステップＳ４の状態とを１秒ごとに切り替えて表示させることで、アイコンに首を左右に振っている動作を与えて、第二ユーザの顔を左右に振る動作を反映させる。つまり、表示制御部３８は、ＷＥＢ会議の他の参加者が顔を左右に振っている動作を行っているときは、顔を左右に振っている他の参加者のアイコンを図１１に示すような動作で表示させる。

【0055】

また、表示制御部３８は、ＷＥＢ会議の他の参加者の笑顔をアイコンに表示させる場合には、笑顔を検出している間は、図９に示すアイコンＩ２Ｄを表示部２０に表示させ続けることで、ＷＥＢ会議の他の参加者の笑顔を反映させる。

【0056】

図３に戻る。制御部２４は、生成したアイコンを表示させた後、ステップＳ２６に進む。

【0057】

ステップＳ１４、ステップＳ１６、またはステップＳ２４の後、制御部２４は、図３の処理を終了するか否かを判定する（ステップＳ２６）。制御部２４は、例えば、操作受付部１６が図３の処理を終了する操作および電源をオフする操作を受け付けた場合に、図３の処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ２６；Ｙｅｓ）、図３の処理を終了する。処理を終了すると判定されない場合（ステップＳ２６；Ｎｏ）、ステップＳ１０に進む。ステップＳ２６で判定する処理の終了とは、例えば、ＷＥＢ会議の終了である。また、ＷＥＢ会議が終了しなくとも、一部のユーザがＷＥＢ会議との接続を終了させた場合は、そのユーザに対しての図３の処理を終了させる。

【0058】

上述のとおり、第一実施形態は、ＷＥＢ会議などにおいて映像表示が制限されている場合に、映像表示を制限しているユーザのアイコンにユーザの動作または表情を反映させて表示する。これにより、第一実施形態は、ＷＥＢ会議に参加している他のユーザがカメラ映像を表示しない状態でも、そのユーザの反応を適切に把握することができ、コミュニケーションを円滑にすることができる。

【0059】

［第二実施形態］
図１２を用いて、第二実施形態に係る映像通信装置の構成を説明する。図１２は、第二実施形態に係る映像通信装置の構成を説明するための図である。

【0060】

図１２に示すように、第二実施形態に係る映像通信装置１０Ａは、制御部２４Ａが判断部４６を備える点で、図１に示す映像通信装置１０とは異なる。

【0061】

判断部４６は、ＷＥＢ会議に参加している他の映像通信装置のユーザの感情を判断する。判断部４６は、分析部４２の分析結果に含まれる他のユーザの動作または表情がポジティブな動作または表情であるか否かを判断する。ポジティブな動作または表情とは、例えば、ある発言などに対する肯定的な反応を意味し得る。具体的には、判断部４６は、分析部４２が、ＷＥＢ会議に参加している他の映像通信装置のユーザが頷いていたり、笑顔になったりしたことを検出した場合に、ポジティブな動作または表情であると判断する。判断部４６は、分析部４２による映像の分析結果に加えて、分析部４２による音声の分析結果を含めて、ＷＥＢ会議に参加している他の映像通信装置のユーザがポジティブな動作または表情であるかの判断を行ってもよい。

【0062】

映像通信装置１０Ａは、ユーザの動作または表情がポジティブな動作または表情である場合に、その動作または表情を反映させてアイコンを生成して、表示部２０に表示させる。

【0063】

図１３を用いて、第二実施形態に係る映像通信装置の処理について説明する。図１３は、第二実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。

【0064】

ステップＳ３０からステップＳ４０、およびステップＳ４４からステップＳ４８の処理は、それぞれ、ステップＳ１０からステップＳ２０、およびステップＳ２２からステップＳ２６の処理と同一の処理なので、説明を省略する。

【0065】

ステップＳ４０でＹｅｓと判定された場合、制御部２４は、検出された動作または表情がポジティブな動作または表情であるか否かを判定する（ステップＳ４２）。具体的には、判断部４６は、予め定められたポジティブな動作または表情と、検出された動作または表情とが一致するか否かに基づいて、出された動作または表情がポジティブな動作または表情であるか否かを判定する。ポジティブな動作または表情であると判定された場合（ステップＳ４２；Ｙｅｓ）、ステップＳ４４に進む。ポジティブな動作または表情であると判定されなかった場合（ステップＳ４２；Ｎｏ）、ステップＳ３６に進む。

【0066】

上述のとおり、第二実施形態は、ＷＥＢ会議などにおいて映像表示が制限されている場合に、ＷＥＢ会議に参加している他のユーザの動作または表情がポジティブな場合に、映像表示を制限しているユーザのアイコンにユーザの動作または表情を反映させて表示する。これにより、第二実施形態は、ＷＥＢ会議に参加している他のユーザがカメラ映像を表示しない状態でも、そのユーザのポジティブな反応を適切に把握することができ、コミュニケーションを円滑にすることができる。

【0067】

このため、ＷＥＢ会議の参加者が多く、ＷＥＢ会議の他の参加者の映像通信装置における表示画面にＷＥＢ会議に参加している他のユーザの顔を撮影した映像が多数表示されていると、発話者は、他のユーザの全体的な反応を把握することが困難である。このような場合、上述した各実施形態においては、発話者から見た他のユーザの反応またはポジティブな反応が、映像よりはシンプルなアイコンとして表示されるため、適切に全体的な反応を把握することができる。

【0068】

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0069】

１０，１０Ａ 映像通信装置
１２ カメラ
１４ マイクロフォン
１６ 操作受付部
１８ 通信部
２０ 表示部
２２ 音声出力部
２４，２４Ａ 制御部（映像通信制御装置）
３０ 映像取得部
３２ 音声取得部
３４ 操作制御部
３６ 通信制御部
３８ 表示制御部
４０ 音声出力制御部
４２ 分析部
４４ アイコン生成部
４６ 判断部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】