特開 2024-14888 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014888

(43)【公開日】2024-02-01

(54)【発明の名称】情報処理装置、情報処理プログラム、情報処理システム、情報処理方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240125BHJP

   H04N 21/431 20110101ALI20240125BHJP

   H04L 51/10 20220101ALI20240125BHJP

   G06F 3/04842 20220101ALI20240125BHJP

【ＦＩ】

H04N7/15

H04N21/431

H04L51/10

G06F3/04842

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023188134

(22)【出願日】2023-11-02

(62)【分割の表示】P 2019140261の分割

【原出願日】2019-07-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】桑田 耕司

(57)【要約】

【課題】発話者が重視すべき相手を通知することを目的とする。
【解決手段】検知対象の表情を示す設定内容を受け付ける全体処理部と、前記設定内容を他の情報処理装置に通知するネットワーク処理部と、を有し、前記全体処理部は、前記他の情報処理装置が取得した画像データから前記検知対象の表情が検知されたことを示す通知を受けて、前記通知を表示部に出力する。
【選択図】図６

【特許請求の範囲】

【請求項1】

検知対象の表情を示す設定内容を受け付ける全体処理部と、
前記設定内容を他の情報処理装置に通知するネットワーク処理部と、を有し、
前記全体処理部は、
前記他の情報処理装置が取得した画像データから前記検知対象の表情が検知されたことを示す通知を受けて、前記通知を表示部に出力する、情報処理装置。

【請求項2】

撮像部から取得した画像データから認識された顔画像の表情を推定する表情推定部を有し、
前記全体処理部は、
前記他の情報処理装置から前記設定内容を受け付け、前記表情推定部により推定された表情が、前記検知対象の表情であると推定された場合に、前記他の情報処理装置に、前記検知対象の表情を検知したことを通知する、請求項１記載の情報処理装置。

【請求項3】

前記通知は、
前記他の情報処理装置の表示部に、前記検知対象の表情を検知したことを示すメッセージとして表示される、請求項２記載の情報処理装置。

【請求項4】

前記全体処理部は、
前記他の情報処理装置から、前記検知対象の表情が検知されたことを示す通知を受けたとき、前記他の情報処理装置から受信した画像データが表示部に表示されていない場合に、前記他の情報処理装置から受信した画像データを前記表示部に表示させる、請求項１乃至３の何れか一項に記載の情報処理装置。

【請求項5】

前記全体処理部は、
前記検知対象の表情が検知されたことを示す通知を送信した前記他の情報処理装置から受信した画像データを、前記表示部に表示される他の画像データの領域よりも大きい領域に表示させる、請求項４記載の情報処理装置。

【請求項6】

前記設定内容は、検出対象の動作を含み、
撮像部から取得した画像データから認識された人物の動作を検出する動作検出部を有する、請求項１乃至５の何れか一項に記載の情報処理装置。

【請求項7】

前記設定内容は、前記検知対象の表情と前記検出対象の動作と、に対して付与された優先順位を含み、
前記全体処理部は、
前記他の情報処理装置から受信した画像データから検出された設定内容に付与された優先順位に応じて、前記表示部に表示される前記画像データを表示させる、請求項６記載の情報処理装置。

【請求項8】

検知対象の表情を示す設定内容を受け付け、
前記設定内容を他の情報処理装置に通知し、
前記他の情報処理装置が取得した画像データから前記検知対象の表情が検知されたことを示す通知を受けて、前記通知を表示部に出力する処理と、情報処理装置に実行させる情報処理プログラム。

【請求項9】

複数の情報処理装置と、サーバ装置とを有する情報処理システムであって、
検知対象の表情を示す設定内容を受け付ける全体処理部と、
前記設定内容を他の情報処理装置に通知するネットワーク処理部と、を有し、
前記全体処理部は、
前記他の情報処理装置が取得した画像データから前記検知対象の表情が検知されたことを示す通知を受けて、前記通知を表示部に出力する、情報処理システム。

【請求項10】

情報処理装置による情報処理方法であって、前記情報処理装置が、
検知対象の表情を示す設定内容を受け付け、
前記設定内容を他の情報処理装置に通知し、
前記他の情報処理装置が取得した画像データから前記検知対象の表情が検知されたことを示す通知を受けて、前記通知を表示部に出力する、情報処理方法。

【請求項11】

複数の情報処理装置と、サーバ装置とを有する情報処理システムによる情報処理方法であって、前記情報処理システムが、
検知対象の表情を示す設定内容を受け付ける全体処理部と、
前記設定内容を他の情報処理装置に通知するネットワーク処理部と、を有し、
前記全体処理部は、
前記他の情報処理装置が取得した画像データから前記検知対象の表情が検知されたことを示す通知を受けて、前記通知を表示部に出力する、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理プログラム、情報処理システム、情報処理方法に関する。

【背景技術】

【0002】

従来から、互いに離れた複数の地点の間で遠隔会議を行うための会議システムが知られている。この会議システムでは、例えば、参加者の映像データから発話欲求があると想定される所定の動作を検出すると、会議映像に参加者の発話欲求レベルを示す情報を設定する技術が知られている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述した従来の技術では、例えば、発話者の話の内容が理解できていない参加者や、話の内容に興味を示していない参加者等のように、発話者が重視すべき相手を見つけることができない。

【0004】

開示の技術は、発話者が重視すべき相手を通知することを目的とする。

【課題を解決するための手段】

【0005】

開示の技術は、検知対象の表情を示す設定内容を受け付ける全体処理部と、前記設定内容を他の情報処理装置に通知するネットワーク処理部と、を有し、前記全体処理部は、前記他の情報処理装置が取得した画像データから前記検知対象の表情が検知されたことを示す通知を受けて、前記通知を表示部に出力する。

【発明の効果】

【0006】

発話者が重視すべき相手を通知することができる。

【図面の簡単な説明】

【0007】

【図1】第一の実施形態の情報処理システムのシステム構成の一例を示す図である。

【図2】第一の実施形態のサーバのハードウェア構成の一例を示す図である。

【図3】通信端末のハードウェア構成の一例を示す図である。

【図4】第一の実施形態の通信端末の機能を説明する図である。

【図5】第一の実施形態の通信端末の動作を説明するフローチャートである。

【図6】第一の実施形態の通信端末の表示レイアウトの一例を示す図である。

【図7】第一の実施形態の通信端末の表示レイアウトの他の例を示す図である。

【図8】電子黒板のハードウェア構成について説明する図である。

【図9】スマートフォンのハードウェア構成の一例を示す図である。

【図10】第二の実施形態の情報処理システムのシステム構成を説明する図である。

【発明を実施するための形態】

【0008】

（第一の実施形態）
以下に、図面を参照して第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。

【0009】

本実施形態の情報処理システム１００は、サーバ２００と、複数の通信端末３００－１、３００－２、・・・、３００－Ｎを含む。情報処理システム１００において、サーバ２００と、通信端末３００－１、３００－２、・・・、３００－Ｎとは、インターネット、イントラネット、ＬＡＮ（Local Area Network）等のネットワークＮを介して接続される。以下の説明では、通信端末３００－１、３００－２、・・・、３００－Ｎを区別しない場合には、通信端末３００と呼ぶ。本実施形態の通信端末３００は、ＣＰＵ（Central Processing Unit）とメモリとを有する情報処理装置の一例である。

【0010】

本実施形態の情報処理システム１００では、これら複数の装置により、複数の拠点間でいわゆるビデオ会議を行う。

【0011】

本実施形態のサーバ２００は、通信端末３００によるビデオ会議に関する各種制御を行う。例えば、サーバ２００は、ビデオ会議の開始時においては、各通信端末３００とサーバ２００との通信接続状態の監視、各通信端末３００に対する呼び出し等を行う。また、サーバ２００は、ビデオ会議中においては、複数の通信端末３００の間における各種データ（例えば、映像データ、音声データ、描画データ等）の転送処理等を行う。

【0012】

本実施形態の通信端末３００は、映像処理装置、撮像装置の一例である。通信端末３００は、ビデオ会議が行われる各拠点に設置され、ビデオ会議の参加者によって使用される。例えば、通信端末３００は、ビデオ会議において入力された各種データ（例えば、映像データ、音声データ、描画データ等）を、ネットワークＮ及びサーバ２００を介して、他の通信端末３００へ送信する。

【0013】

また、例えば、通信端末３００は、他の通信端末３００から受信した各種データを、データの種類に応じた出力方法（例えば、表示、音声出力等）によって出力することにより、ビデオ会議の参加者へ呈示する。

【0014】

また、本実施形態の通信端末３００－１、３００－２、・・・、３００－Ｎのそれぞれは、本実施形態の主要な処理を実現する機能部として、映像解析部３１０－１、３１０－２、・・・、３１０－Ｎ、映像生成部３２０－１、３２０－２、・・・、３２０－Ｎを有する。

【0015】

本実施形態の映像解析部３１０－１、３１０－２、・・・、３１０－Ｎは、それぞれが同様の機能を実現するものである。以下の説明では、映像解析部３１０－１、３１０－２、・・・、３１０－Ｎを区別しない場合には、映像解析部３１０と呼ぶ。また、本実施形態の映像生成部３２０－１、３２０－２、・・・、３２０－Ｎは、それぞれが同様の機能を実現するものである。以下の説明では、映像生成部３２０－１、３２０－２、・・・、３２０－Ｎを区別しない場合には、映像生成部３２０と呼ぶ。

【0016】

本実施形態の通信端末３００において、映像解析部３１０は、複数の通信端末３００のそれぞれが撮像部から取得した画像データを解析し、画像データから認識される人物の顔画像から人物の表情を推定する。画像データから認識される人物とは、通信端末３００が設置された拠点における会議の参加者である。

【0017】

また、映像解析部３１０は、他の通信端末３００から、特定の表情の検知の要求を受け付ける。ここでは、他の通信端末３００とは、参加者が発話している拠点に設置された通信端末３００である。以下の説明では、参加者が発話している拠点に設置された通信端末３００を発話者端末３００と呼ぶ場合がある。

【0018】

そして、映像解析部３１０は、画像データから特定の表情が推定されると、撮像部が取得した画像データと共に、特定の表情が推定されたことを示す情報を発話者端末３００に送信する。本実施形態の特定の表情とは、例えば、不安そうな表情、無関心な表情、眠そうな表情等であっても良い。

【0019】

本実施形態の映像生成部３２０は、自機が発話者端末３００である場合、他の通信端末３００から、特定の表情が推定されたことを示す情報と共に画像データを受信すると、この画像データと、画像データの送信元の拠点の参加者の表情を通知する情報とを含む画像データを生成し、表示部に表示させる。

【0020】

このように、本実施形態の通信端末３００は、自機が発話者端末３００でない場合には、参加者の表情を推定し、発話者端末３００から検知の要求があった表情が推定された場合に、推定結果を発話者端末３００へ送信する。

【0021】

また、本実施形態の通信端末３００は、自機が発話者端末３００である場合には、他の通信端末３００から、参加者から特定の表情が推定されたことを示す通知を受けて、この参加者の画像データと、特定の表情であることを示す通知と、出力する。

【0022】

したがって、本実施形態によれば、例えば、話者の話の内容が理解できずに困っている参加者や、話の内容に興味を持ってもらいたい参加者等のように、発話者が重視すべき聞き手を見つけ、発話者に通知することができる。また、本実施形態では、発話者が重視すべき聞き手を画面に表示させることで、この聞き手の様子を発話者に把握させることができる。

【0023】

以下に、本実施形態の情報処理システム１００の有する各装置のハードウェア構成について説明する。

【0024】

図２は、第一の実施形態のサーバのハードウェア構成の一例を示す図である。本実施形態のサーバ２００は、コンピュータによって構築されており、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３３、ＨＤ２３４、ＨＤＤ(Hard Disk Drive)コントローラ２３５、ディスプレイ２３６、外部機器接続Ｉ／Ｆ(Interface)２３８、ネットワークＩ／Ｆ２３９、データバスＢ、キーボード２４１、ポインティングデバイス２４２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２４４、メディアＩ／Ｆ２４６を備えている。

【0025】

これらのうち、ＣＰＵ２３１は、サーバ５全体の動作を制御する。ＲＯＭ２３２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ２３１の駆動に用いられるプログラムを記憶する。ＲＡＭ２３３は、ＣＰＵ２３１のワークエリアとして使用される。ＨＤ２３４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２３５は、ＣＰＵ２３１の制御にしたがってＨＤ２３４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２３６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。

【0026】

外部機器接続Ｉ／Ｆ２３８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２３９は、ネットワークＮを利用してデータ通信をするためのインターフェースである。バスラインＢは、図３に示されているＣＰＵ２３１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0027】

また、キーボード２４１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２４２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２４４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２４３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２４６は、フラッシュメモリ等の記録メディア２４５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0028】

図３は、通信端末のハードウェア構成の一例を示す図である。図３では、通信端末３００をビデオ会議端末の一例とした場合の通信端末３００のハードウェア構成を示している。

【0029】

尚、ビデオ会議端末７は、通信端末３００の一例であり、通信端末３００は、ビデオ会議端末７に限定されない。通信端末３００の他の例は、後述する。

【0030】

ビデオ会議端末７は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、フラッシュメモリ７０４、ＳＳＤ７０５、メディアＩ／Ｆ７０７、操作ボタン７０８、電源スイッチ７０９、バスライン７１０、ネットワークＩ／Ｆ７１１、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７１２、撮像素子Ｉ／Ｆ７１３、マイク７１４、スピーカ７１５、音入出力Ｉ／Ｆ７１６、ディスプレイＩ／Ｆ７１７、外部機器接続Ｉ／Ｆ(Interface)７１８、近距離通信回路７１９、近距離通信回路７１９のアンテナ７１９ａを備えている。

【0031】

これらのうち、ＣＰＵ７０１は、ビデオ会議端末７全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。フラッシュメモリ７０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。尚、フラッシュメモリ704はSSD705の内部に搭載されたフラッシュメモリであってもよい。

【0032】

ＳＳＤ７０５は、ＣＰＵ７０１の制御にしたがってフラッシュメモリ７０４に対する各種データの読み出し又は書き込みを制御する。尚、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン７０８は、ビデオ会議端末７の宛先を選択する場合などに操作されるボタンである。電源スイッチ７０９は、ビデオ会議端末７の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

【0033】

また、ネットワークＩ／Ｆ７１１は、インターネット等のネットワークＮを利用してデータ通信をするためのインターフェースである。ＣＭＯＳセンサ７１２は、ＣＰＵ７０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。尚、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。

【0034】

撮像素子Ｉ／Ｆ７１３は、ＣＭＯＳセンサ７１２の駆動を制御する回路である。マイク７１４は、音を電気信号に変える内蔵型の回路である。スピーカ７１５は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ７１６は、ＣＰＵ７０１の制御に従ってマイク７１４及びスピーカ７１５との間で音信号の入出力を処理する回路である。

【0035】

ディスプレイＩ／Ｆ７１７は、ＣＰＵ７０１の制御に従って外付けのディスプレイに画像データを送信する回路である。外部機器接続Ｉ／Ｆ７１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路７１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

【0036】

また、バスライン７１０は、図３に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0037】

ディスプレイＩ／Ｆ７１７と接続されるディスプレイは、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)等によって構成された表示手段の一種である。また、ディスプレイは、ケーブルによってディスプレイＩ／Ｆ７１７と接続される。このケーブルは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

【0038】

尚、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７１２は、ＣＰＵ７０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。尚、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。外部機器接続Ｉ／Ｆ７１８には、ＵＳＢケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。

【0039】

外付けカメラが接続された場合には、ＣＰＵ７０１の制御に従って、内蔵型のＣＭＯＳセンサ７１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ７０１の制御に従って、それぞれが内蔵型のマイク７１４や内蔵型のスピーカ７１５に優先して、外付けマイクや外付けスピーカが駆動する。

【0040】

また、記録メディア７０６は、ビデオ会議端末７に対して着脱自在な構成となっている。また、ＣＰＵ７０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ７０４に限らず、ＥＥＰＲＯＭ等を用いてもよい。

【0041】

次に、図４を参照して、本実施形態の通信端末３００の機能について説明する。図４は、第一の実施形態の通信端末の機能を説明する図である。

【0042】

本実施形態の通信端末３００は、映像解析部３１０、映像生成部３２０、映像編集部３３０、音声処理部３４０、全体処理部３５０、撮像部３６１、集音部３６２、音声出力部
３６３、ネットワーク処理部３６４、コーデック部３６５、操作部３６６、録画部３６７を有する。上述した各部は、ＣＰＵ７０１が、ＲＯＭ７０２等に格納されたプログラムを読み出して実行することで、実現される。また、本実施形態の通信端末３００は、記憶部３６８を有する。記憶部３６８は、例えば、ＲＡＭ等に設けられた記憶領域である。

【0043】

映像解析部３１０は、画像データに含まれる顔画像の認識や、表情の推定を行う。映像解析部３１０の詳細は後述する。

【0044】

尚、本実施形態の画像は静止画と動画を含み、本実施形態の画像データは静止画データと動画データを含む。本実施形態では、情報処理システム１００において、ビデオ会議中に撮像部３６１で撮像される画像データは、動画データとする。また、以下の説明では、動画データと音声データとを同期させたデータを映像データと呼ぶ場合がある。

【0045】

映像生成部３２０は、映像解析部３１０の処理結果に応じた画像データを生成する。映像編集部３３０は、ビデオ会議に参加している他の拠点に設置された他の通信端末３００から転送されてくる映像データを、ネットワーク処理部３６４を介して取り込み、映像生成部３２０で生成された画像データと合成して表示部３７０に表示させる。

【0046】

表示部３７０は、例えば、通信端末３００と接続されるモニタ装置等であって良い。また、表示部３７０は、通信端末３００に含まれていても良い。

【0047】

音声処理部３４０は、ネットワーク処理部３６４を介して受信した音声データを取得すると、コーデック処理、ノイズキャンセル等、音声データ処理では一般的とされている処理を行い、音声出力部３６３に転送する。また、音声処理部３４０は、集音部３６２に回り込んで入力される音声データに対してエコーキャンセル（ＥＣ）処理を行う。

【0048】

また、本実施形態の音声処理部３４０は、話者追従検知部３４１を有する。話者追従検知部３４１は、集音部３６２が集音した音声データと、映像解析部３１０によって検知された人物の顔画像と、に基づき、話者を検知し、追従する。本実施形態の話者追従検知部３４１は、話者を追従している間は、ネットワーク処理部３６４を介して、発話者を特定する情報を他の拠点の通信端末３００へ送信しても良い。

【0049】

全体処理部３５０は、通信端末３００全体の制御を司る。また、全体処理部３５０は、会議の参加者等の指示に従って各ジュールやブロックのモード設定やステータス管理を行う。

【0050】

具体的には、全体処理部３５０は、例えば、集音部３６２から音声処理部３４０に音声データが入力された場合には、自機が発話者端末３００となったものとする。

【0051】

また、全体処理部３５０は、例えば、自機が発話者端末３００となった場合に、他の通信端末３００において、検知を要求する参加者の表情の設定等を受け付ける、そして、全体処理部３５０は、自機が発話者端末３００となった場合に、設定された表情の検知を他の通信端末３００に要求する。

【0052】

また、本実施形態の全体処理部３５０は、表示部３７０の表示に関わるにレイアウト設定や指示を映像生成部３２０に対して行い、画面レイアウト制御の状況に合わせて、他の通信端末３００に送信するメッセージの生成や選択を行う。

【0053】

具体的には、全体処理部３５０は、他の通信端末３００から、要求した表情が検知されたことを示す通知を受けると、この通知の送信元から送信される画像データと、この通知とが表示部３７０に表示されるように、レイアウトを制御する。

【0054】

撮像部３６１は、カメラモジュールであり、ＣＭＯＳセンサ７１２、撮像素子Ｉ／Ｆ等によって撮像された画像の画像データを取得する。撮像部３６１は、会議シーンの画像データ（動画データ）の入力を行う。撮像部３６１は、例えば、レンズ、及びレンズを介して集光された映像を電気信号に変換するイメージセンサ、イメージセンサから転送されたＲＡＷデータに対して、ＤＳＰ（digital signal processor）により、既知となっている各種の処理を加えて、ＹＵＶデータを生成する。

【0055】

集音部３６２は、マイクに入力された音声の音声データを取得する。集音部３６２は、会議における発話者の音声データを集音すると、集音した音声データをデジタルデータに変換して音声処理部３４０へ転送する。尚、集音部３６２は、複数のマイクをアレイ形式から集音する形態としても良い。

【0056】

音声出力部３６３は、他の拠点に設置された他の通信端末３００から受信した音声データを、アナログ信号に変換して、スピーカに出力する。

【0057】

ネットワーク処理部３６４は、送信する画像データについては、コーデック部３６５から転送されてきた符号化データを、ネットワークを介して送信先の通信端末３００に転送する。

【0058】

また、ネットワーク処理部３６４は、他の通信端末３００から転送される符号化データについては、ネットワークを介して符号化データを取得し、その符号データをコーデック部３６５に転送する。尚、ネットワーク処理部３６４は、符号化パラメータ（ＱＰ値等）を決めるために、ネットワークの帯域を監視する機能を有しても良い。また、通信端末３００は、符号化パラメータや送信モードの設定を最適化するために、他の通信端末３００の機能や性能に関する情報を入力する機能が設けられていても良い。

【0059】

コーデック部３６５は、送受信される画像データのエンコード／デコード処理を行うためのコーデック回路又はソフトウェアによって実現される。

【0060】

コーデック部３６５は、送信する画像データについては、映像解析部３１０から入力された画像データに対して符号化処理を行い、符号化された画像データをネットワーク処理部３６４に転送する。また、コーデック部３６５は、受信する画像データについては、他の通信端末３００から、ネットワーク処理部３６４を経由して符号化された画像データを受信し、符号化された画像データに対して復号処理して、映像生成部３２０に転送する。

【0061】

操作部３６６は、会議の参加者等による、パン／チルト操作を受け付ける。また、操作部３６６は、各種の設定や会議の参加者の呼び出し等のオペレーション操作が行われる。

【0062】

録画部３６７は、映像生成部３２０、音声処理部３４０から、会議中の音声データや映像データを取得し、会議シーンの映像を録画する。本実施形態では、音声処理部３４０、映像生成部３２０に録画データを出力し、会議シーンを再生することができる。

【0063】

記憶部３６８は、例えば、ＲＡＭ等で実現されるものであり、映像解析部３１０の処理結果が一時される。

【0064】

次に、本実施形態の映像解析部３１０についてさらに説明する。本実施形態の映像解析部３１０は、顔検知部３１１、動作検出部３１２、表情推定部３１３、判定部３１４を有する。

【0065】

本実施形態の顔検知部３１１は、撮像部３６１が撮像した画像データ（動画データ）から、人物の顔を検知する。また、顔検知部３１１は、人物の顔が検知された領域の位置を示す情報を動作検出部３１２へ提供する。

【0066】

動作検出部３１２は、顔検知部３１１から提供された位置情報に基づき、人物の画像データを取得して、動きを分析する。具体的には、動作検出部３１２は、挙手をしている、頷いている、モニタ（表示部３７０）を見ている又は見ていない、寝ている、等の動きを検出し、検出結果を記憶部３６８に格納する。

【0067】

表情推定部３１３は、取得した画像データに基づき、人物の表情を推定し、推定結果を記憶部３６８へ格納する。具体的には、表情推定部３１３は、例えば、人物の顔画像の変化から、喜び・驚き・怒り・悲しみ・不安等の表情を推定しても良い。

【0068】

判定部３１４は、記憶部３６８を参照し、表情推定部３１３による推定結果や、動作検出部３１２による検知結果が、発話者端末３００から要求された表情であるか否かを判定し、判定結果を全体処理部３５０へ通知する。

【0069】

具体的には、例えば、発話者端末３００から要求された表情が「不安」であった場合、判定部３１４は、表情推定部３１３によって推定された表情が「不安」であるか否かを判定する。そして、判定部３１４は、推定された表情が「不安」であった場合には、要求された表情が検知されたことを全体処理部３５０へ通知する。

【0070】

次に、図５を参照して、本実施形態の通信端末３００の動作について説明する。図５は、第一の実施形態の通信端末の動作を説明するフローチャートである。

【0071】

本実施形態の通信端末３００は、全体処理部３５０により、起動時に各モジュールの初期設定を行い、撮像部３６１での撮影が可能な状態とする（ステップＳ５０１）。

【0072】

続いて、通信端末３００は、遠隔会議に参加している参加者の情報を取得する（ステップＳ５０２）。

【0073】

具体的には、通信端末３００は、顔認証機能を有していても良い。この場合、通信端末３００は、他の拠点に設置された通信端末３００から、参加者の顔画像に参加者名が付与された画像データを取得しても良い。

【0074】

また、本実施形態では、サーバ２００において、遠隔会議の参加者の顔認証を行い、サーバ２００が各拠点の通信端末３００に参加者の顔画像に参加者名が付与された画像データを配信しても良い。

【0075】

さらに、通信端末３００やサーバ２００に顔認証機能が備えられていない場合には、各拠点において、遠隔会議の参加者が自身の氏名を参加者情報として入力し、他の拠点の通信端末３００へ送信しても良い。

【0076】

続いて、通信端末３００は、遠隔会議を開始させ、タイマを初期化してカウントを開始させる（ステップＳ５０３）。尚、タイマのカウント値は、表示部３７０の画面レイアウトが更新（変更）されてからの時間を示す。また、例えば、タイマは、全体処理部３５０の機能の一部として有していても良い。

【0077】

続いて、通信端末３００は、表示部３７０の表示に関する設定の変更を行うか否を判定する（ステップＳ５０４）。尚、遠隔会議の開始直後の表示部３７０の表示レイアウトは、デフォルトの設定のままか、又は、最後に設定された表示レイアウトが維持されているものとする。

【0078】

ステップＳ５０４において、設定の変更を行わない場合、通信端末３００は、後述するステップＳ５０７へ進む。

【0079】

ステップＳ５０４において、表示部３７０の表示レイアウトに関する設定内容の変更を行う場合、通信端末３００は、操作部３６６により、設定内容の変更を受け付ける画面を表示させ、全体処理部３５０により、受け付けた設定を行う（ステップＳ５０５）。

【0080】

本実施形態の表示レイアウトに関する設定内容には、検知すべき表情（検知対象の表情）や、検知すべき動作を示す情報を含む。

【0081】

また、設定内容は、表示部３７０に画面を表示する拠点の数や、拠点毎の画像の大きさ（画素数）、拠点毎の画像のレイアウトの指定を示す情報を含む。また、設定内容は、拠点毎に付与する優先順位の付与の仕方を示す情報を含む。

【0082】

具体的には、例えば、設定内容は、以下の例が考えられる。
例１）参加者が発言中である拠点の優先順位を最も高くし、その前に発言した参加者がいる拠点の優先順位を、その次とするように、過去の参加者の発言順に応じて拠点に優先順位を付与する。
例２）参加者が発言中である拠点の優先順位を最も高くし、次に、発言時間の累計順に優先順位を付与する。
例３）映像解析部３１０の表情推定部３１３によって、参加者の表情が「不安」と推定された拠点を抽出し、優先順位を付与する。この場合には、例えば、拠点毎に、参加者の表情が「不安」と推定される頻度をログ情報として記憶部３６８に保持しておき、この頻度が高い拠点から順に優先順位を付与する。
例４）参加者が発言中である拠点の優先順位を最も高くし、参加者の表情が「不安」と推定された拠点に対し、次に高い優先順位を付与する。

【0083】

尚、表示レイアウトに関する設定内容は、上述した例に限定されず、拠点毎に通信端末３００の利用者（参加者）によって、任意に設定されて良い。

【0084】

続いて、通信端末３００は、ネットワーク処理部３６４を介して、設定内容を各拠点の他の通信端末３００に通知し、タイマを再び初期化してカウントを開始させる（ステップＳ５０６）。

【0085】

通信端末３００において、例えば、表示レイアウトに関する設定内容が、例１に示す内容であったとする。この場合、他の通信端末３００は、自機の判定部３１４により記憶部３６８を参照し、動作検出部３１２の検出結果が「発話」であるか否かを判定する。

【0086】

そして、他の通信端末３００は、動作検出部３１２の検出結果が「発話」である場合、参加者の画像データと共に、「発話」を検出したことを示す情報を通信端末３００へ送信する。

【0087】

また、通信端末３００において、例えば、表示レイアウトに関する設定内容として、例３の設定がなされたとする。この場合、通信端末３００は、他の拠点に設置された他の通信端末３００に対し、参加者の「不安」という表情を検知すべき情報として通知する。

【0088】

この通知を受けた他の通信端末３００は、自機の判定部３１４により記憶部３６８を参照し、表情推定部３１３の推定結果が「不安」であるか否かを判定する。

【0089】

そして、他の通信端末３００は、推定結果が「不安」である場合に、参加者の画像データと共に、「不安」という表情を検知したことを示す情報を通信端末３００へ送信する。

【0090】

続いて、通信端末３００は、タイマのカウント値から、時間Ｔｍが経過したか否かを判定する（ステップＳ５０７）。ステップＳ５０７において、時間Ｔｍが経過していない場合、通信端末３００は、後述するステップＳ５１３へ進む。

【0091】

ステップＳ５０７において、時間Ｔｍが経過した場合、通信端末３００は、レイアウトを変更するか否かを判定する（ステップＳ５０８）。

【0092】

ステップＳ５０８において、レイアウトを変更すると判定された場合、通信端末３００は、表示部３７０の表示レイアウトを設定に従って変更し（ステップＳ５０９）、後述するステップＳ５１２へ進む。

【0093】

以下に、ステップＳ５０８とステップＳ５０９の処理について説明する。

【0094】

本実施形態の通信端末３００は、ステップＳ５０８において、各拠点において、検知すべき情報が検知されたか否かを判定している。

【0095】

例えば、表示レイアウトに関する設定内容として、例１の設定がなされた場合、通信端末３００は、各拠点から、画像データと共に「発話」という動作が検知されたことを示す情報を受信したか否かを判定する。

【0096】

具体的には、通信端末３００は、全体処理部３５０により、所定時間の間に「発話」という動作が所定回数以上検知された拠点に対して、この拠点の参加者は「発話」中であると判定する。そして、全体処理部３５０は、参加者が「発話」中であると判定された拠点に対して最も高い優先順位を付与し、この拠点から送信される画像データが最も大きく表示されるように、表示部３７０の表示レイアウトを変更する。

【0097】

また、例えば、表示レイアウトに関する設定内容として、例４の設定がなされた場合、通信端末３００は、画像データと共に「発話」という動作が検知されたことを示す情報を送信した拠点の有無と、画像データと共に「不安」な表情が検知されたことを示す情報を送信した拠点の有無とを判定する。

【0098】

具体的には、通信端末３００は、所定時間の間に「発話」という動作が所定回数以上検知された拠点に対して、この拠点の参加者は「発話」中であると判定する。

【0099】

また、通信端末３００は、所定時間の間に「不安」な表情が所定回数以上検知された拠点に対して、この拠点の参加者は「不安」な表情をしていると判定する。

【0100】

通信端末３００は、参加者が発話中である拠点と、参加者が不安な表情である拠点とが有る場合に、参加者が発話中である拠点に対して、最も高い優先順位を付与し、参加者が不安な表情である拠点に対して、２番目に高い優先順位を付与する。

【0101】

そして、通信端末３００は、優先順位が高い拠点から順に、送信される画像データが大きく表示されるように、表示部３７０の表示レイアウトを変更する。

【0102】

尚、通信端末３００は、例えば、全体処理部３５０により、表示レイアウトに対応したメッセージを、優先順位が付与された拠点の通信端末３００に送信しても良い。

【0103】

ステップＳ５０８において、レイアウトを変更しない判定された場合、通信端末３００は、表示部３７０の表示レイアウトがデフォルトの状態であるいか否かを判定する（ステップＳ５１０）。

【0104】

ステップＳ５１０において、表示レイアウトがデフォルトの状態である場合、通信端末３００は、後述するステップＳ５１３へ進む。ステップＳ５１０において、表示レイアウトがデフォルトの状態でない場合、通信端末３００は、表示レイアウトをデフォルトの状態に戻す（ステップＳ５１１）。

【0105】

続いて、通信端末３００は、タイマをリセットし、再度カウントを開始させる（ステップＳ５１２）。続いて、通信端末３００は、遠隔会議が継続されているか否かを判定する（ステップＳ５１３）。具体的には、通信端末３００は、遠隔会議の終了指示を受け付けたか否かを判定している。

【0106】

ステップＳ５１３において、遠隔会議が継続している場合、通信端末３００は、ステップＳ５０４へ戻る。ステップＳ５１３において、遠隔会議が終了する場合、通信端末３００は、処理を終了する。

【0107】

以上のように、本実施形態では、参加者の表情を含む設定内容に応じて、表示部のレイアウトを変更することができる。また、本実施形態では、タイマを設定して時間Ｔｍをカウントすることで、各拠点での参加者の挙動に応じて表示レイアウトが頻繁に変更され、参加者に不快感を与えることを抑制している。

【0108】

次に、図６を参照して、本実施形態の通信端末３００の表示レイアウトについて説明する。図６は、第一の実施形態の通信端末の表示レイアウトの一例を示す図である。

【0109】

図６の例では、拠点Ａ～Ｄのそれぞれに、通信端末３００－Ａ、３００－Ｂ、３００－Ｃ、３００－Ｄが設定されて、遠隔会議が開催されている。

【0110】

また、図６の例では、拠点Ａの参加者が発話者であり、これまでの発話時間の累計は、拠点Ａの参加者、拠点Ｃの参加者、拠点Ｂの参加者、拠点Ｄの参加者である。

【0111】

そして、図６の例では、拠点Ａの通信端末３００－Ａでは、表示レイアウトに関する設定として、参加者の表情が「不安」と推定された拠点の優先順位を最も高くし、且つ、２拠点の画像を表示させる設定がされていたとする。

【0112】

そして、拠点Ｂ、Ｃ、Ｄでは、表示レイアウトに関する設定として、参加者が発話中の拠点の優先順位を最も高くし、且つ、２拠点の画像を表示させる設定がされていたとする。

【0113】

この場合、拠点Ａの通信端末３００－Ａは、拠点Ｂ～Ｄの通信端末３００－Ｂ、３００－Ｃ、３００－Ｄに対し、参加者の表情が「不安」であることを検知したことを通知するように要求する。

【0114】

そして、拠点Ａの通信端末３００－Ａは、拠点Ｄの通信端末３００－Ｄから、画像データと共に、参加者の「不安」な表情を検知したことを示す情報を、所定時間内に所定回数以上受信すると、表示部３７０Ａの表示レイアウトを図６に示すように変更する。

【0115】

具体的には、通信端末３００－Ａは、表示部３７０Ａに、拠点Ｄの参加者の画像３７１を表示させる。

【0116】

また、拠点Ｂ、Ｃ、Ｄの通信端末３００は、他の拠点の通信端末３００に対し、参加者の「発話」を検知したことを通知するように要求する。したがって、拠点Ｂ、Ｃ、Ｄの通信端末３００には、拠点Ａの参加者に画像が表示され、次に、発話時間の累積が大きい拠点の画像が優先的に表示される。

【0117】

このように、本実施形態では、遠隔会議において、発言をしていなかったり、発言欲求をしていない参加者であっても、その参加者の画像を優先的に表示部３７０に表示させることができる。

【0118】

言い換えれば、本実施形態では、遠隔会議において、積極的に会話に参加できていない参加者や、話の内容を理解できていない様子の参加者を、参加者の表情から検知し、話者に通知することができる。

【0119】

図７は、第一の実施形態の通信端末の表示レイアウトの他の例を示す図である。図７の例では、拠点Ａの参加者が発話中であるものとする。また、図７の例では、通信端末３００－Ａでは、表示レイアウトに関する設定として、発言時間の累計順に優先順位を付与し、且つ、参加者の表情が「不安」と検知された拠点が存在する場合には、その拠点を通知する設定がされていた場合を示している。

【0120】

この場合、拠点Ａの表示部３７０Ａでは、発言時間の累積が最も多い順に、拠点Ｂの参加者の画像と拠点Ｃの参加者の画像とが表示される。また、表示部３７０Ａでは、拠点邸Ｄにおいて、参加者の表情が「不安」と推定されたことを示すメッセージ３７２Ａが表示される。

【0121】

本実施形態では、このように、参加者の表情が「不安」と推定された拠点の存在を、発話中の拠点Ａの参加者に通知することができる。これにより、例えば、拠点Ａの参加者は、拠点Ｄの参加者に対して、質問の有無や、話の内容に対する意見の有無等を訪ねる、といった声かけを行うことができ、会議を活性化できる。

【0122】

尚、本実施形態では、通信端末３００をビデオ会議端末７として説明したが、これに限定されない。通信端末３００は、例えば、電子黒板等であっても良いし、スマートフォン等であっても良い。

【0123】

通信端末３００が、電子黒板（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）やスマートフォンである場合には、通信端末３００に表示部３７０（図４参照）が含まれるようになる。

【0124】

以下に、通信端末３００の一例である電子黒板のハードウェア構成について説明する。図８は、電子黒板のハードウェア構成について説明する図である。

【0125】

電子黒板２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。

【0126】

これらのうち、ＣＰＵ２０１は、電子黒板２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、ネットワークＮとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

【0127】

また、電子黒板２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

【0128】

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ(Personal Computer))２７０のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２８０等へ出力するために画面表示の制御及び管理を行う。

【0129】

接触センサ２１４は、ディスプレイ２８０上に電子ペン２９０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。

【0130】

この座標の入力及び座標の検出する方法は、ディスプレイ２８０の上側両端部に設置された２つ受発光装置が、ディスプレイ２８０に平行して複数の赤外線を放射し、ディスプレイ２８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。

【0131】

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ２８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ２８０の表示の明暗や色合い等を調整するためのスイッチ群である。

【0132】

更に、電子黒板２は、バスライン２１０を備えている。バスライン２１０は、図１１に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0133】

尚、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

【0134】

次に、図９を参照して、本実施形態の通信端末３００の一例であるスマートフォンのハードウェア構成について説明する。図９は、スマートフォンのハードウェア構成の一例を示す図である。

【0135】

スマートフォン４は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備えている。

【0136】

これらのうち、ＣＰＵ４０１は、スマートフォン４全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。

【0137】

ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５は、ＣＰＵ４０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。尚、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ４０５の駆動を制御する回路である。

【0138】

加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

【0139】

また、スマートフォン４は、遠距離通信回路４１２、ＣＭＯＳセンサ４１３、撮像素子Ｉ／Ｆ４１４、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ(Interface)４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

【0140】

これらのうち、遠距離通信回路４１２は、ネットワークＮを介して、他の機器と通信する回路である。ＣＭＯＳセンサ４１３は、ＣＰＵ４０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１４は、ＣＭＯＳセンサ４１３の駆動を制御する回路である。

【0141】

マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ４１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御に従ってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。

【0142】

ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ４１８を押下することで、スマートフォン４を操作する入力手段の一種である。

【0143】

また、スマートフォン４は、バスライン４１０を備えている。バスライン４１０は、図４に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0144】

また、本実施形態の通信端末３００は、通信機能を備えた装置であれば良い。通信端末３００は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。

【0145】

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、サーバ側に映像解析部の機能を設けた点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

【0146】

図１０は、第二の実施形態の情報処理システムのシステム構成を説明する図である。本実施形態の情報処理システム１００Ａは、サーバ２００Ａと、通信端末３００Ａとを有する。

【0147】

本実施形態のサーバ２００Ａは、映像解析部３１０と、映像生成指示部３２０Ａとを有する。また、本実施形態の通信端末３００Ａは、映像解析部３１０を有していない。

【0148】

本実施形態のサーバ２００Ａの映像解析部３１０は、各通信端末３００Ａで行われた表示レイアウトに関する設定内容を示す情報を保持している。

【0149】

そして、映像解析部３１０は、各通信端末３００Ａから送信される画像データを解析し、映像生成指示部３２０Ａにより、各通信端末３００Ａに対し、表示レイアウトの関する設定内容に応じて選択された拠点の画像を含む画像データの生成指示を行う。

【0150】

本実施形態では、このように、映像解析部３１０をサーバ２００Ａに設けることで、通信端末３００Ａの処理の負荷を軽減できる。また、サーバ２００Ａには、複数の通信端末３００Ａから送信される画像データの解析結果が蓄積されていくため、例えば、表情の推定の精度を向上させることができる。

【0151】

尚、上述した各実施形態の通信端末は、通信機能を備えた装置であれば良い。通信端末３００は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。

【0152】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0153】

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0154】

１００、１００Ａ 情報処理システム
２００、２００Ａ サーバ
３００、３００Ａ 通信端末
３１０ 映像解析部
３１１ 顔検知部
３１２ 動作検出部
３１３ 表情推定部
３１４ 判定部
３２０ 映像生成部
３５０ 全体処理部
３７０ 表示部

【先行技術文献】

【特許文献】

【0155】

【特許文献1】特開２０１２－２４４２８５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】