IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧

特許7532182リモート会議支援制御装置、方法およびプログラム
<>
  • 特許-リモート会議支援制御装置、方法およびプログラム 図1
  • 特許-リモート会議支援制御装置、方法およびプログラム 図2
  • 特許-リモート会議支援制御装置、方法およびプログラム 図3
  • 特許-リモート会議支援制御装置、方法およびプログラム 図4
  • 特許-リモート会議支援制御装置、方法およびプログラム 図5
  • 特許-リモート会議支援制御装置、方法およびプログラム 図6
  • 特許-リモート会議支援制御装置、方法およびプログラム 図7
  • 特許-リモート会議支援制御装置、方法およびプログラム 図8
  • 特許-リモート会議支援制御装置、方法およびプログラム 図9
  • 特許-リモート会議支援制御装置、方法およびプログラム 図10
  • 特許-リモート会議支援制御装置、方法およびプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-02
(45)【発行日】2024-08-13
(54)【発明の名称】リモート会議支援制御装置、方法およびプログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20240805BHJP
   H04N 21/442 20110101ALI20240805BHJP
   H04N 21/436 20110101ALI20240805BHJP
【FI】
H04N7/15
H04N21/442
H04N21/436
【請求項の数】 9
(21)【出願番号】P 2020168531
(22)【出願日】2020-10-05
(65)【公開番号】P2022060820
(43)【公開日】2022-04-15
【審査請求日】2023-07-13
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】嵯峨田 良江
【審査官】富樫 明
(56)【参考文献】
【文献】特開2012-034020(JP,A)
【文献】特開平08-316953(JP,A)
【文献】特開2020-142080(JP,A)
【文献】特開2020-122819(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14-15
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
会議参加者がリモート会議端末を用いて会議を行っている期間中に、前記リモート会議端末に対し前記会議参加者とは異なる非参加者が所定距離未満に接近した第1の状態と、前記リモート会議端末に対し前記非参加者が発する所定レベル以上の音声が入力された第2の状態とのうちの少なくとも一方を検出する検出部と、
前記第1の状態および前記第2の状態の少なくとも一方が検出された場合に、前記非参加者の状況に応じたコンテンツを、前記リモート会議端末とは異なるモニタ装置において再生させる再生制御部と
を具備するリモート会議支援制御装置。
【請求項2】
前記再生制御部は、
複数のコンテンツをその再生時間長を表す情報と関連付けて管理するコンテンツカタログと、
前記会議が終了するまでの残り時間を管理する処理部と、
前記残り時間に対応する再生時間長を有するコンテンツを、前記コンテンツカタログの中から選択する処理部と、
選択された前記コンテンツの再生を指示する情報を前記モニタ装置へ送信する送信処理部と
を備える、請求項1に記載のリモート会議支援制御装置。
【請求項3】
前記再生制御部は、
複数のコンテンツを当該各コンテンツに対する前記非参加者による連続視聴可能時間の予測値または実績値を表す情報と関連付けて管理するコンテンツカタログと、
前記会議が終了するまでの残り時間を表す情報を管理する処理部と、
前記複数のコンテンツの各々について前記連続視聴可能時間の予測値または実績値と前記会議が終了するまでの残り時間との時間差を算出し、算出された時間差が予め設定された範囲に含まれるコンテンツを前記コンテンツカタログの中から選択する処理部と、
選択された前記コンテンツの再生を指示する情報を前記モニタ装置へ送信する送信処理部と
を備える、請求項1に記載のリモート会議支援制御装置。
【請求項4】
前記再生制御部は、
複数のコンテンツを当該各コンテンツに対する前記非参加者による視聴履歴を表す情報と関連付けて管理するコンテンツカタログと、
前記視聴履歴を表す情報に基づいて、前記コンテンツごとに前記非参加者の関心度を表す値を算出する処理部と、
算出された前記関心度を表す値が予め設定された条件を満たすコンテンツを、前記コンテンツカタログの中から選択する処理部と、
選択された前記コンテンツの再生を指示する情報を前記モニタ装置へ送信する送信処理部と
を備える、請求項1に記載のリモート会議支援制御装置。
【請求項5】
前記関心度を表す値を算出する処理部は、コンテンツ毎に、過去の一定期間における視聴回数、最終視聴日時、および連続視聴可能時間の予測値または実績値のうちの少なくとも1つに基づいて、前記関心度を表す値を算出する、請求項4に記載のリモート会議支援制御装置。
【請求項6】
前記再生制御部は、
複数のコンテンツを当該コンテンツが緩和させることが可能な感情を表す情報と関連付けて管理するコンテンツカタログと、
前記第1の状態が検出されたときの前記非参加者の動きに関する第1の特徴量と、前記第2の状態が検出されたときの前記非参加者が発する前記音声に関する第2の特徴量との少なくとも一方を検出し、検出された前記第1の特徴量および前記第2の特徴量の少なくとも一方に基づいて、前記非参加者の現在の感情を推定する処理部と、
推定された前記感情に対応するコンテンツを前記コンテンツカタログの中から選択する処理部と、
選択された前記コンテンツの再生を指示する情報を前記モニタ装置へ送信する送信処理部と
を備える、請求項1に記載のリモート会議支援制御装置。
【請求項7】
前記第2の状態が検出されたとき、前記リモート会議端末に入力された送話音声から前記非参加者が発する前記音声を検出し、前記送話音声から検出された前記音声を除去または抑圧する音声制御部を、さらに具備する請求項1乃至6のいずれかに記載のリモート会議支援制御装置。
【請求項8】
情報処理装置が実行するリモート会議支援制御方法であって、
会議参加者がリモート会議端末を用いて会議を行っている期間中に、前記リモート会議端末に対し前記会議参加者とは異なる非参加者が所定距離未満に接近した第1の状態と、前記リモート会議端末に対し前記非参加者が発する所定レベル以上の音声が入力された第2の状態とのうちの少なくとも一方を検出する過程と、
前記第1の状態および前記第2の状態の少なくとも一方が検出された場合に、前記非参加者の状況に応じたコンテンツを、前記リモート会議端末とは異なるモニタ装置において再生させる過程と
を具備するリモート会議支援制御方法。
【請求項9】
請求項1乃至7のいずれかに記載されたリモート会議支援制御装置が備える前記各部による処理を、前記リモート会議支援制御装置が備えるプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、例えば複数の会議参加者の端末間をネットワークにより接続して行われるリモート会議を支援するために使用されるリモート会議支援制御装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、リモートワークにより自宅で仕事をする機会が増えている。しかし、自宅に例えば子供がいる場合、子供の声がリモート会議用の端末のマイクロフォンに入力され、入力された子供の音声が他の会議参加者の端末へ送られて、会議の妨げになることがある。
【0003】
一方、例えばマイクロフォンに入力された背景雑音等の加法性雑音を含む音声から雑音成分を推定してこれを除去する技術が提案されている(例えば特許文献1を参照)。この技術を適用すれば、例えばマイクロフォンに入力された背景雑音等が、他の会議参加者の端末にそのまま送信されるのを防止することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第4313728号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、特許文献1に記載された技術では、例えば背景雑音等の加法性雑音を除去することは可能であるが、マイクロフォンに入力された子供の音声までは除去することができない。また、仮に子供の音声を除去できたとしても、例えば一人遊びに飽きた子供が会議参加者に纏わり付いてきたような場合には、音声ばかりでなく子供の映像も送信されてしまう場合があり、このような場合会議参加者は会議への参加の中断を余儀なくされることになり、業務に支障が生じるおそれがある。
【0006】
この発明は上記事情に着目してなされたもので、リモート会議中に会議参加者以外の非参加者の干渉が発生し難くする技術を提供しようとするものである。
【課題を解決するための手段】
【0007】
上記課題を解決するためにこの発明に係るリモート会議支援制御装置または方法の一態様は、会議参加者がリモート会議端末を用いて会議を行っている期間中に、前記リモート会議端末に対し前記会議参加者とは異なる非参加者が所定距離未満に接近した第1の状態と、前記リモート会議端末に対し前記非参加者が発する所定レベル以上の音声が入力された第2の状態とのうちの少なくとも一方を検出し、前記第1の状態および前記第2の状態の少なくとも一方が検出された場合に、前記非参加者の状況に応じたコンテンツを予め記憶されたコンテンツカタログの中から選択し、選択された前記コンテンツを前記リモート会議端末とは異なるモニタ装置で再生させるようにしたものである。
【発明の効果】
【0008】
一態様によれば、リモート会議中に会議参加者とは異なる非参加者、例えば子供がリモート会議端末から所定の距離の範囲内に接近するか、または上記子供が発する所定レベル以上の音声が検出されると、その時点で上記子供の状況に応じたコンテンツがコンテンツカタログから選択され、上記リモート会議端末とは異なるモニタ装置で再生される。このため、例えば一人遊びに飽きた子供がリモート会議端末に近づこうとすると、モニタ装置において例えば子供の気を引くコンテンツが自動的に再生されることになり、これにより子供の気をコンテンツに引きつけて、会議参加者は子供の干渉を受けることなくリモート会議をそのまま継続することが可能となる。
【0009】
すなわちこの発明の一態様によれば、リモート会議中に会議参加者とは異なる非参加者の干渉が発生し難くする技術を提供することができる。
【図面の簡単な説明】
【0010】
図1図1は、この発明の第1の実施形態に係るリモート会議支援制御装置の機能を備えるユーザ端末とその周辺装置の構成を示す図である。
図2図2は、図1に示したユーザ端末のハードウェア構成を示すブロック図である。
図3図3は、図1に示したユーザ端末のソフトウェア構成の第1の実施形態を示すブロック図である。
図4図4は、図3に示したユーザ端末によるリモート会議支援制御の処理手順と処理内容を示すフローチャートである。
図5図5は、図1に示したユーザ端末のソフトウェア構成の第2の実施形態を示すブロック図である。
図6図6は、図5に示したユーザ端末によるリモート会議支援制御の処理手順と処理内容を示すフローチャートである。
図7図7は、図1に示したユーザ端末のソフトウェア構成の第3の実施形態を示すブロック図である。
図8図8は、図7に示したユーザ端末によるリモート会議支援制御の処理手順と処理内容を示すフローチャートである。
図9図9は、図3に示したユーザ端末に設けられるコンテンツカタログの構成の一例を示す図である。
図10図10は、図5に示したユーザ端末に設けられるコンテンツカタログの構成の一例を示す図である。
図11図11は、図7に示したユーザ端末に設けられるコンテンツカタログの構成の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照してこの発明に係わるいくつかの実施形態を説明する。
【0012】
[第1の実施形態]
(構成例)
(1)システム
図1は、この発明の第1の実施形態に係るリモート会議支援制御装置の機能を備えるユーザ端末とその周辺装置とを含むシステムの概略構成を示す図である。
このシステムは、リモート会議支援制御装置の機能を備えるユーザ端末UTと、モニタ装置としてのテレビジョン受信機MTと、無線ネットワークを構築するルータRTとを備える。なお、図1中のUSはリモート会議に参加する会議参加者としてのユーザ、CHは会議参加者USとは異なる非参加者である子供をそれぞれ示している。
【0013】
テレビジョン受信機MTは、テレビジョン放送信号またはインターネット配信されるコンテンツを受信して表示する受信機本体と、レコーダと、無線インタフェースとを備える。なお、上記レコーダおよび無線インタフェースは、テレビジョン受信機MT内に内蔵されてもよいし、外付けされてもよい。
【0014】
レコーダは、複数のコンテンツを記憶し再生する機能を有するもので、記憶されるコンテンツはいずれも子供CHの状況に応じて予め用意されたコンテンツ、例えば一人遊びに飽きた状況に対応する子供CHの気を引くことが可能な内容を含むコンテンツや、眠くなっている状況に対応する子守シーンを含むコンテンツを含む。コンテンツは、例えばユーザUSがテレビジョン放送やインターネット配信、光ケーブル網を使用するビデオオンデマンド等を利用して、或いは記録媒体から任意に取得することで、レコーダに記録される。
【0015】
ルータRTは、上記ユーザ端末UTおよび上記テレビジョン受信機MTとの間でそれぞれ無線データ通信を行うもので、無線通信方式としては例えば無線LAN(Local Area Network)が用いられる。なお、ユーザ端末UTとテレビジョン受信機MTとの間を接続する通信インタフェースは、ルータRTを用いた無線LANに限るものではなく、ユーザ端末UTとテレビジョン受信機MTとの間を直接無線接続するBluetooth(登録商標)等のその他の無線インタフェースや、有線ケーブルを用いてもよい。
【0016】
(2)ユーザ端末UT
ユーザ端末UTは、例えばパーソナルコンピュータにより構成される。なお、ユーザ端末UTは、パーソナルコンピュータに限らず、タブレット型端末やスマートフォン等のその他の情報処理端末であってもよい。
【0017】
図2および図3は、それぞれ第1の実施形態に係るユーザ端末UTのハードウェア構成およびソフトウェア構成を示すブロック図である。
ユーザ端末UTは、例えば、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部1を備え、この制御部1に対しバス10を介して、プログラム記憶部2、データ記憶部3、通信インタフェース部(通信I/F)4および入出力インタフェース部(入出力I/F)5を接続したものとなっている。
【0018】
通信I/F4は、無線通信方式としては例えば無線LANを使用し、ルータRTとの間に無線リンクを形成することで、インターネット等の公衆ネットワーク(図示省略)を介して他の会議参加者との間でリモート会議通信を行う。またそれと共に通信I/F4は、ルータRTを介してテレビジョン受信機MTとの間で制御情報の送受信を行う。
【0019】
入出力I/F5には、キーボードやマウス等の操作部と、映像およびデータを表示するためのディスプレイ(いずれも図示省略)が接続され、さらにマイクロフォン6、スピーカ7、カメラ8および近接センサ9が接続されている。
【0020】
マイクロフォン6、スピーカ7およびカメラ8は、ユーザUSがリモート会議を行う際の音声の入出力と顔画像等を撮像するために使用される。なお、カメラ8は、リモート会議が音声のみにより行われる場合には、使用されなくてもよい。近接センサ9は、例えば赤外線または電波を用いてユーザ端末UTに接近する子供CHとの間の距離を計測するために使用される。なお、マイクロフォン6、スピーカ7、カメラ8および近接センサ9等のデバイスは、ユーザ端末UT内に内蔵されていてもよいし、外付けされてもよい。外付けの場合、上記各デバイスは入出力I/F5に設けられているUSB(Universal Serial Bus)端子に接続される。
【0021】
プログラム記憶部2は、例えば、記憶媒体としてHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM(Read Only Memory)等の不揮発性メモリとを組み合わせて構成したもので、OS(Operating System)等のミドルウェアに加えて、この発明の第1の実施形態に係る各種制御処理を実行するために必要なアプリケーションプログラムを格納する。
【0022】
データ記憶部3は、例えば、記憶媒体として、HDDまたはSSD等の随時書込みおよび読出しが可能な不揮発性メモリと、RAM(Random Access Memory)等の揮発性メモリと組み合わせたもので、コンテンツカタログ記憶部31Aを備えている。
【0023】
コンテンツカタログ記憶部31Aには、テレビジョン受信機MTのレコーダに記録されている複数のコンテンツのカタログデータが記憶される。カタログデータは、コンテンツ毎にその識別情報(コンテンツID)にコンテンツ再生時間を対応付けたもので、例えばユーザUSが手操作で入力することで設定される。
【0024】
制御部1は、この発明の第1の実施形態に係る処理機能として、リモート会議制御処理部11と、音声制御部として機能する音声キャンセル処理部12と、接近検出処理部13と、会議残り時間算出処理部14と、コンテンツ選択処理部15と、コンテンツ再生指示出力処理部16とを備えている。これらの処理部11~16は、何れもプログラム記憶部2に格納されたプログラムを、制御部1のハードウェアプロセッサに実行させることにより実現される。
【0025】
リモート会議制御処理部11は、プログラム記憶部2に記憶されたリモート会議用のアプリケーションに従い、他の会議参加者の端末との間で会議通信を行うための制御を実行する。
【0026】
音声キャンセル処理部12は、上記リモート会議制御処理部11による会議通信中に、マイクロフォン6に入力された音声データを入出力I/F5から取り込み、当該音声データから会議参加者であるユーザUS以外の人の音声、例えば子供CHの音声を検出する。そして、検出された子供CHの音声成分を除去または抑圧する処理を行う。
【0027】
接近検出処理部13は、近接センサ9により検出される、ユーザ端末UTと子供CHとの間の距離を示すデータを入出力I/F5から取り込み、子供CHとの間の距離が予め設定された距離のしきい値以下になったか否かを判定する。また接近検出処理部13は、上記音声キャンセル処理部12から子供CHの音声レベルを表すデータを取得し、子供CHの音声レベルが予め設定された音声のしきい値以上になったか否かを判定する。そして、接近検出処理部13は、上記子供CHとの間の距離が予め設定された距離のしきい値以下になるか、または子供CHの音声レベルが音声のしきい値以上になった場合に、ユーザ端末UTに対し子供CHが接近したと判定する。
【0028】
なお、接近検出処理部13は、カメラ8により撮像された映像データを入出力I/F5から取り込んで、当該映像データ中に子供の顔画像が含まれているか否かを判定し、その判定結果から子供CHの接近を判定するように構成されてもよい。また、近接センサ9により得られるユーザ端末UTと子供CHとの間の距離を示すデータと、上記映像データ中における子供の顔画像の有無を表すデータとを併用して、子供CHの接近を判定するように構成されてもよい。
【0029】
さらに、子供が単にユーザの後または近くを一時的に通り過ぎるだけの場合も考えられる。そこで、接近検出処理部13は、子供の接近が検出されても、接近している状態が予め設定された所定時間以上連続するか否かを監視し、所定時間以上連続した場合にのみ子供が接近したと判定するように構成されてもよい。
【0030】
会議残り時間算出処理部14は、上記リモート会議制御処理部11から予め設定されている会議予定時間と会議経過時間を表す情報を取得し、これらの時間情報をもとに会議残り時間を算出する処理を行う。
【0031】
コンテンツ選択処理部15は、コンテンツカタログ記憶部31Aに記憶されたコンテンツカタログを検索することにより、再生時間が上記会議残り時間算出処理部14により算出された会議残り時間と同等かまたはそれより長いコンテンツを選択する処理を行う。
【0032】
コンテンツ再生指示出力処理部16は、上記選択されたコンテンツの再生を指示する情報を生成し、生成されたコンテンツ再生指示情報を通信I/F4からテレビジョン受信機MTへ向けて送信させる処理を行う。
【0033】
(動作例)
次に、以上のように構成されたユーザ端末UTによるリモート会議支援制御動作を説明する。図4はその処理手順と処理内容を示すフローチャートである。
【0034】
(1)コンテンツカタログの作成
ユーザUSは、テレビジョン受信機MTのレコーダに予め子供CHの気を引くことが可能な複数のコンテンツを、記録媒体、テレビジョン放送やインターネット配信、光ケーブル網を使用するビデオオンデマンド等を利用して取得してレコーダに記録させる。なお、録画予約機能等を利用して所望のコンテンツが自動的にレコーダに記録されるように設定してもよい。また、コンテンツには、映像コンテンツに限らず、アニメの主題歌やオルゴール等の音楽コンテンツが含まれていてもよい。
【0035】
続いてユーザUSは、ユーザ端末UTにおいて、上記レコーダに記録された上記複数のコンテンツのコンテンツカタログを作成し、コンテンツカタログ記憶部31Aに記憶させる。コンテンツカタログは、例えば、コンテンツごとにコンテンツIDとその再生時間とを関連付けたものからなる。図9はその一例を示すものである。
【0036】
なお、ユーザ端末UTにカタログ作成用アプリケーションを用意し、このアプリケーションによりテレビジョン受信機MTに対し定期的にアクセスしてレコーダに記録されているコンテンツの属性情報を取得し、取得された上記属性情報に基づいてコンテンツカタログを作成してコンテンツカタログ記憶部31Aに記憶させるようにしてもよい。
【0037】
(2)リモート会議通信の制御
ユーザ端末UTにおいて、ユーザUSがリモート会議の開始操作を行うと、ユーザ端末UTの制御部1はステップS10で上記開始操作を検出し、リモート会議制御処理部11の制御の下、ステップS11においてリモート会議のための一連の通信制御を実行する。このリモート会議のための通信制御は周知であるため、ここでの説明は省略する。
【0038】
上記リモート会議通信中に、ユーザ端末UTの制御部1は、音声キャンセル処理部12により、マイクロフォン6に入力された音声データを入出力I/F5から取り込み、当該音声データから会議参加者であるユーザUS以外の人の音声、例えば子供CHの音声を検出する。この子供の音声の検出は、例えば、事前に子供の音声の特徴量を抽出して記憶しておき、入力された上記音声データに含まれる音声の特徴量を上記子供の音声の特徴量と比較することにより行われる。そして、音声キャンセル処理部12は、入力された音声データから上記子供の音声が検出された場合に、当該音声を除去または抑圧し、その処理後の音声データをリモート会議制御処理部11へ供給する。この結果、リモート会議制御処理部11からは、上記子供の音声が除去または抑圧された送話音声データが他の会議参加者の端末へ送信される。
【0039】
なお、マイクロフォン6に入力された音声データから会議参加者以外の人の音声を検出するための手法としては、例えばニューラルネットワークにおいて、話者のクラスタリングにより話者の年齢や性別等の属性を推定し、その推定結果を加味して所望の人の声を検出する手法や、音声データと映像データとから検出されるマルチモーダル情報を選択条件の一つとして用いて所望の人の音質の声を検出する手法等が適用可能であり、検出手法としてはその他にも種々の手法を適用可能である。
【0040】
以上のリモート会議通信の制御は、ステップS12においてリモート会議の終了操作が検出されると、終了する。
【0041】
(3)リモート会議の支援制御
ユーザ端末UTの制御部1は、上記リモート会議のための通信制御が実行されている期間に、以下のような支援制御を実行する。
【0042】
すなわち、ユーザ端末UTの制御部1は、接近検出処理部13の制御の下、ステップS13において子供CHの接近を検出する。この子供CHの接近の検出は、例えば次の2つの手法により行われる。
【0043】
その一つは、近接センサ9により検出される、ユーザ端末UTと子供CHとの間の距離を示すデータを入出力I/F5から取り込み、子供CHとの間の距離が予め設定された距離のしきい値以下になったか否かを判定することにより検出するものである。
【0044】
他の一つは、音声キャンセル処理部12から子供CHの音声レベルを表す検出データを取得し、子供CHの音声レベルが予め設定された音声のしきい値以上になったか否かを判定することにより検出するものである。
【0045】
接近検出処理部13は、上記2つの手法の少なくとも一方により子供CHの接近が検出された場合に、その検出結果を会議残り時間算出処理部14に伝える。
【0046】
子供CHの接近の検出結果が伝えられると、会議残り時間算出処理部14はステップS14において、リモート会議制御処理部11から予め設定されている会議予定時間と会議経過時間を表す情報を取得する。そして、取得された各時間情報をもとに会議残り時間を算出し、算出された会議残り時間をコンテンツ選択処理部15に通知する。
【0047】
上記会議残り時間が通知されるとコンテンツ選択処理部15は、先ずステップS15により、コンテンツカタログ記憶部31Aから各コンテンツの再生時間を読み込む。そしてステップS16において、上記会議残り時間と上記各コンテンツの再生時間との時間差をそれぞれ算出し、ステップS17により、算出された上記各時間差に基づいて、再生時間が会議残り時間と同等かもしくはそれより長いコンテンツを選択する。なお、このとき上記条件を満たすコンテンツが複数ある場合には、時間差が最も小さいコンテンツを選択する。
【0048】
ユーザ端末UTの制御部1は、続いてコンテンツ再生指示出力処理部16の制御の下、ステップS18において、上記選択されたコンテンツの再生を指示する情報を生成する。この再生指示情報には、例えば、再生対象となるコンテンツIDと、再生コマンドが含まれる。生成された上記コンテンツの再生指示情報は、通信I/F4からテレビジョン受信機MTへ向けて送信される。
【0049】
これに対しテレビジョン受信機MTでは、上記コンテンツの再生指示情報を受信すると、当該再生指示情報に含まれるコンテンツIDに対応するコンテンツがレコーダにより選択されて再生される。この結果、上記コンテンツの映像がディスプレイに表示されると共に、音声がスピーカから出力される。
【0050】
(効果)
以上述べたように第1の実施形態では、子供CHがユーザUSに近づこうとした場合に、ユーザ端末UTが、再生時間が会議残り時間と同等かそれより長いコンテンツを選択して、テレビジョン受信機MTに対し再生を指示するようにしている。このため、ユーザUSに近づこうとしている子供CHは、途中で上記テレビジョン受信機MTにおいて再生が開始されたコンテンツに引き付けられて、テレビジョン受信機MTに向かう。従って、ユーザUSは子供CHの干渉を受けることなく、リモート会議を続けることが可能となる。しかも、再生されたコンテンツの再生時間は会議残り時間と同等かそれより長い。このため、ユーザUSは会議が終了するまで高い確率で会議を継続することが可能となる。
【0051】
[第2の実施形態]
この発明の第2の実施形態は、コンテンツカタログにコンテンツごとの視聴履歴情報を含めておき、この視聴履歴情報に基づいて各コンテンツに対する子供CHの関心度スコアをそれぞれ算出し、算出された関心度スコアが高いコンテンツをコンテンツカタログから選択して、テレビジョン受信機MTに対し当該コンテンツの再生を指示するようにしたものである。
【0052】
(構成例)
図5は、この発明の第2の実施形態に係るリモート会議支援制御装置としての機能を有するユーザ端末UTのソフトウェア構成を示すブロック図である。なお、図5において図3と同一部分については同一符号を付して詳しい説明は省略する。
【0053】
ユーザ端末UTのデータ記憶部3には、コンテンツカタログ記憶部31Bが設けられている。このコンテンツカタログ記憶部31Bには、第2の実施形態に係るコンテンツカタログが記憶される。このコンテンツカタログは、テレビジョン受信機MTのレコーダに記録された複数のコンテンツのコンテンツIDに対し、当該コンテンツの視聴履歴情報を関連付けて記憶したものである。視聴履歴情報には、例えば、視聴回数と、最終視聴日時と、連続視聴可能時間とが含まれる。
【0054】
ユーザ端末UTの制御部1は、この発明の第2の実施形態に係る制御機能として、リモート会議制御処理部11、音声キャンセル処理部12および接近検出処理部13のほかに、関心度算出処理部21と、コンテンツ選択処理部22と、コンテンツ再生指示出力処理部23とを備えている。これらの処理部11~13,21~23は、何れもプログラム記憶部2に格納されたプログラムを、制御部1のハードウェアプロセッサに実行させることにより実現される。
【0055】
関心度算出処理部21は、コンテンツカタログにコンテンツIDが登録された各コンテンツについて、その視聴履歴情報に含まれる視聴回数、最終視聴日時および連続視聴可能時間の少なくとも1つに基づいて、当該コンテンツに対する子供CHの関心度スコアを算出する処理を行う。
【0056】
コンテンツ選択処理部22は、上記関心度算出処理部21により算出された関心度スコアに基づいて、コンテンツカタログの中から関心度スコアが最も高いコンテンツを選択する処理を行う。
【0057】
コンテンツ再生指示出力処理部23は、上記コンテンツ選択処理部22により選択されたコンテンツの再生指示情報を生成し、生成された再生指示情報を通信I/F4からテレビジョン受信機MTへ向け送信する処理を行う。
【0058】
またコンテンツ再生指示出力処理部23は、コンテンツカタログに対し、上記コンテンツ選択処理部22により選択されたコンテンツの視聴回数および最終視聴日時を更新する処理を行う。
【0059】
(動作例)
次に、以上のように構成されたユーザ端末UTによるリモート会議支援制御動作を説明する。図6はその処理手順と処理内容を示すフローチャートである。なお、図6において図4と処理内容が同一の処理ステップについては、同一符号を付して詳しい説明は省略する。
【0060】
(1)コンテンツカタログの作成
ユーザUSは、ユーザ端末UTにおいて、テレビジョン受信機MTのレコーダに記録された複数のコンテンツのコンテンツカタログを作成し、コンテンツカタログ記憶部31Bに記憶させる。なお、コンテンツはインターネット配信や光ケーブル網を使用するビデオオンデマンド等を利用して取得するようにしてもよい。また、コンテンツには、映像コンテンツに限らず、アニメの主題歌やオルゴール等の音楽コンテンツが含まれていてもよい。
【0061】
コンテンツカタログは、例えば、コンテンツごとにコンテンツIDとその視聴履歴情報とを関連付けたものからなる。視聴履歴情報には、上記したように視聴回数、最終視聴日時および連続視聴可能時間が含まれる。
【0062】
このうち視聴回数および最終視聴日時は、初期値のみユーザUSにより手動設定され、それ以後はコンテンツ再生指示出力処理部23により更新される。一方、連続視聴可能時間は、コンテンツを子供CHが視聴し続けることが可能な時間を示すもので、ユーザUSが例えばコンテンツに対する子供CHの興味の度合いや集中の度合いから予測して、コンテンツカタログに手動で書き込むことにより設定される。図10は、コンテンツカタログ記憶部31Bに記憶されるコンテンツカタログの一例を示すものである。
【0063】
なお、テレビジョン受信機MTのレコーダが各コンテンツの視聴回数および最終視聴日時に係る情報を管理している場合には、ユーザ端末UTがテレビジョン受信機MTのレコーダから上記各コンテンツの視聴回数および最終視聴日時に係る情報を取得して、コンテンツカタログ記憶部31Bに設定するようにしてもよい。
【0064】
(2)リモート会議の支援制御
ユーザ端末UTの制御部1は、上記リモート会議のための通信制御が実行されている期間に、以下のような支援制御を実行する。
【0065】
ユーザ端末UTの制御部1は、接近検出処理部13により子供CHの接近が検出されると、関心度算出処理部21の制御の下、先ずステップS20によりコンテンツカタログ記憶部31Bから各コンテンツの視聴履歴情報を読み込む。次にステップS21において、読み込まれた上記視聴履歴情報に基づいて、各コンテンツに対する子供CHの関心度スコアを算出する。
【0066】
例えば、視聴回数が多いほど、また最終視聴日時が新しいほど、或いは連続視聴可能時間が長いほど、子供CHの興味が高いと見なし、当該コンテンツに対する関心度スコアが高くなるように計算する。なお、視聴回数が多いほど、また最終視聴日時が新しいほど、子供CHが飽きる場合も考えられる。この場合には、最終視聴日時が新しいほど、或いは連続視聴可能時間が長いほど、当該コンテンツに対する関心度スコアが低くなるように計算してもよい。関心度スコアをどのように計算するかは、ユーザUSが任意に指定可能である。
【0067】
また、関心度スコアのその他の算出方法として、例えば視聴回数と最終視聴日時と連続視聴可能時間とを重み付け加算し、その結果を関心度スコアとする方法を採用してもよい。この場合、視聴回数、最終視聴日時および連続視聴可能時間の各々の重み係数を任意に設定することで、コンテンツに対する子供CHの興味を適切に反映させることが可能となる。
【0068】
ユーザ端末UTの制御部1は、次にコンテンツ選択処理部22の制御の下、ステップS22において、上記算出された各コンテンツの関心度スコアをもとに、関心度スコアが最も高いコンテンツを選択する。そして、ユーザ端末UTの制御部1は、コンテンツ再生指示出力処理部23の制御の下、ステップS18において、上記選択されたコンテンツの再生を指示する情報を生成し、生成された再生指示情報を通信I/F4からテレビジョン受信機MTへ向け送信する。
【0069】
最後にユーザ端末UTの制御部1は、コンテンツ再生指示出力処理部23の制御の下、ステップS19において、コンテンツカタログを更新する。この更新処理は、例えば、上記選択されたコンテンツについて、その視聴回数をインクリメントし、かつ最終再生日時を現在の日時に更新することにより行われる。
【0070】
(効果)
以上述べたように第2の実施形態では、コンテンツカタログに記憶された視聴履歴情報に基づいて、各コンテンツに対する子供CHの関心度スコアをそれぞれ求め、関心度スコアが所定の条件を満たすコンテンツの中から再生すべきコンテンツを選択して、テレビジョン受信機MTに対し再生を指示するようにしている。
【0071】
従って、子供CHがユーザUSに近づこうとした場合に、例えば子供の関心度が最も高いコンテンツがテレビジョン受信機MTで自動的に再生されることになり、これにより子供CHの関心をコンテンツに引きつけて、ユーザUSはリモート会議を続けることが可能となる。
【0072】
[第3の実施形態]
この発明の第3の実施形態は、コンテンツカタログに、コンテンツIDに関連付けて当該コンテンツにより緩和される感情の種類を表す情報を記憶しておき、子供CHがユーザUSに近づいた場合にこのときの子供CHの感情を推定し、推定された感情に対応するコンテンツをコンテンツカタログから選択して、テレビジョン受信機MTに当該コンテンツの再生を指示するようにしたものである。
【0073】
(構成例)
図7は、この発明の第3の実施形態に係るリモート会議支援制御装置としての機能を有するユーザ端末UTのソフトウェア構成を示すブロック図である。なお、図7においても図3と同一部分については同一符号を付して詳しい説明は省略する。
【0074】
ユーザ端末UTのデータ記憶部3には、コンテンツカタログ記憶部31Cが設けられ、このコンテンツカタログ記憶部31Cにはこの発明の第3の実施形態に係るコンテンツカタログが記憶される。このコンテンツカタログは、テレビジョン受信機MTのレコーダに記録された複数のコンテンツのコンテンツIDに対し、当該コンテンツにより緩和されることが期待される子供CHの感情の種類を表す情報を関連付けて記憶したものである。
【0075】
ユーザ端末UTの制御部1は、この発明の第3の実施形態に係る制御機能として、リモート会議制御処理部11、音声キャンセル処理部12、接近検出処理部13およびコンテンツ再生指示出力処理部16のほかに、感情推定処理部24と、コンテンツ選択処理部25とを備えている。これらの処理部11~13,16,24,25は、何れもプログラム記憶部2に格納されたプログラムを、制御部1のハードウェアプロセッサに実行させることにより実現される。
【0076】
感情推定処理部24は、近接センサ9により検出される子供CHとの間の距離の変化から子供CHの動きの特徴量を検出し、検出された動きの特徴量に基づいてこのときの子供CHの感情の種類を推定する第1の推定機能と、音声キャンセル処理部12により検出される子供CHの音声データから音声の特徴量を検出し、検出された音声の特徴量に基づいてこのときの子供CHの感情の種類を推定する第2の推定処理機能とを備える。なお、感情推定処理部24は、上記第1の推定処理機能と、第2の推定処理機能のいずれか一方を備えるようにしてもよい。
【0077】
コンテンツ選択処理部25は、上記感情推定処理部24により推定された、このときの子供CHの感情の種類に対応するコンテンツをコンテンツカタログから選択する処理を行う。
【0078】
(動作例)
次に、以上のように構成されたユーザ端末UTによるリモート会議支援制御動作を説明する。図8はその処理手順と処理内容を示すフローチャートである。なお、図8において図4と処理内容が同一の処理ステップについては、同一符号を付して詳しい説明は省略する。
【0079】
(1)コンテンツカタログの作成
ユーザUSは、ユーザ端末UTにおいて、テレビジョン受信機MTのレコーダに記録された複数のコンテンツのコンテンツカタログを作成し、コンテンツカタログ記憶部31Cに記憶させる。なお、この場合も、コンテンツはインターネット配信や光ケーブル網を使用するビデオオンデマンド等を利用して取得するようにしてもよい。また、コンテンツには、映像コンテンツに限らず、アニメの主題歌やオルゴール等の音楽コンテンツが含まれていてもよい。
【0080】
コンテンツカタログは、例えば、コンテンツごとに、そのコンテンツIDと、当該コンテンツにより緩和されることが期待される感情の種類を表す情報を関連付けたものである。子供CHの感情の種類を表す情報としては、例えば図11に示すように「飽き」、「眠い」、「空腹」などが考えられる。
【0081】
子供CHの感情の種類は、例えば次のように設定される。すなわち、ユーザUSが、コンテンツごとに当該コンテンツを視聴したときの子供の反応を観察することにより、各コンテンツが子供の感情に与える影響を推測する。そして、コンテンツごとに、子供CHの感情を和らげるかまたは落ち着かせる効果が認められる感情の種類を、コンテンツIDに対応付けてコンテンツカタログに記憶させる。
【0082】
(2)リモート会議の支援制御
ユーザ端末UTの制御部1は、上記リモート会議のための通信制御が実行されている期間に、以下のような支援制御を実行する。
【0083】
ユーザ端末UTの制御部1は、接近検出処理部13により子供CHの接近が検出されると、感情推定処理部24の制御の下、ステップS23において、近接センサ9により検出される子供CHとの間の距離の変化から子供CHの動きの特徴量を検出し、検出された動きの特徴量に基づいてこのときの子供CHの感情の種類を推定する。
【0084】
動きの特徴量としては、例えば移動速度または加速度が検出可能である。移動速度または加速度がしきい値より大きい場合は、子供CHが空腹または眠気を訴えていると推定され、反対に移動速度または加速度が小さい場合は、子供CHが一人遊びに飽きて近づいて来ていると推定される。
【0085】
また感情推定処理部24は、音声キャンセル処理部12により検出される子供CHの音声データから音声の特徴量を検出し、検出された音声の特徴量に基づいてこのときの子供CHの感情の種類を推定する処理も行う。音声の特徴量に基づく感情の推定は、例えば、泣き声やぐずっているときの声のパターンや大きさを、事前に生成した学習モデルを用いたディープラーニング等により解析することで、その時の子供CHの感情を推定することが可能である。
【0086】
ユーザ端末UTの制御部1は、次にコンテンツ選択処理部25の制御の下、ステップS24において、上記感情推定処理部24により推定された子供CHの感情の種類に対応するコンテンツをコンテンツカタログから選択する。そして、ユーザ端末UTの制御部1は、コンテンツ再生指示出力処理部16の制御の下、ステップS18において、上記選択されたコンテンツの再生を指示する情報を生成し、生成された再生指示情報を通信I/F4からテレビジョン受信機MTへ向け送信する。
【0087】
(効果)
以上述べたように第3の実施形態では、コンテンツカタログに、コンテンツIDに関連付けて、子供CHの感情を和らげるかまたは落ち着かせる効果が認められる感情の種類を表す情報を記憶しておき、子供CHがユーザUSに近づいた場合にこのときの子供CHの感情を推定し、推定された感情に対応するコンテンツをコンテンツカタログから選択して、テレビジョン受信機MTに当該コンテンツの再生を指示するようにしている。
【0088】
従って、子供CHがユーザUSに近づこうとした場合に、例えば子供の感情を和らげるかまたは落ち着かせる効果が期待されるコンテンツがテレビジョン受信機MTで自動的に再生されることになり、これにより子供CHの関心をコンテンツに引きつけて、ユーザUSはリモート会議を続けることが可能となる。
【0089】
[その他の実施形態]
(1)第1の実施形態では、会議残り時間と各コンテンツの再生時間との時間差をそれぞれ算出し、算出された上記各時間差に基づいて、再生時間が会議残り時間と同等かもしくはそれより長いコンテンツを選択するようにした。
【0090】
しかし、この発明はそれに限らず、上記再生時間の代わりに第2の実施形態で述べた連続視聴可能時間を採用し、この連続視聴可能時間が会議残り時間と同等かもしくはそれより長いコンテンツを選択するようにしてもよい。また、再生時間が会議残り時間と同等かもしくはそれより長いコンテンツが複数ある場合、その中から連続視聴可能時間が会議残り時間と同等かもしくはそれより長いコンテンツを選択するようにしてもよい。
【0091】
(2)前記各実施形態では、リモート会議支援制御装置の機能を、会議者が使用するユーザ端末UTに設けた場合を例にとって説明した。しかし、この発明はそれに限るものではなく、リモート会議支援制御装置の機能をテレビジョン受信機MTに設けてもよく、さらには無線LAN用のルータRTやその上位に配置されるエッジルータ等のネットワーク接続装置、Webサーバ、クラウドサーバ等の、ユーザ端末以外の情報処理機能を有する装置に設けてもよい。この場合、子供の接近は、例えば部屋の天井等に設置されたカメラにより検出してその検出結果を上記情報処理装置が取得したり、子供の音声レベルの検出データをユーザ端末UTから上記情報処理装置が取得することにより実現できる。
【0092】
(3)前記各実施形態では、ユーザ端末UTがテレビジョン受信機MTからレコーダに記録されているコンテンツに関する情報を定期的に取得し、取得した情報をもとにコンテンツカタログを作成してコンテンツカタログ記憶部31に記憶させるようにした。しかし、コンテンツカタログに相当する情報またはコンテンツカタログを作成するための情報をレコーダまたはテレビジョン受信機MTが既に保存している場合には、ユーザ端末UTが必要に応じてテレビジョン受信機MTに対しアクセスして取得するようにしてもよい。
【0093】
(4)その他、リモート会議支援制御装置の構成や設置場所、リモート会議支援制御の処理手順と処理内容、コンテンツカタログの構成およびその作成手法、コンテンツの選択処理手順と処理内容などについては、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【0094】
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0095】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0096】
TM…ユーザ端末
MT…テレビジョン受信機
RT…ルータ
US…ユーザ
CH…子供
1…制御部
2…プログラム記憶部
3…データ記憶部
4…通信I/F
5…入出力I/F
6…マイクロフォン
7…スピーカ
8…カメラ
9…近接センサ
11…リモート会議制御処理部
12…音声キャンセル処理部
13…接近検出処理部
14…会議残り時間算出処理部
15,22,25…コンテンツ選択処理部
16,23…コンテンツ再生指示出力処理部
21…関心度算出処理部
24…感情推定処理部
31A,31B,31C…コンテンツカタログ記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11