特開 2024-133738 情報処理装置及びリアクション通知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133738

(43)【公開日】2024-10-03

(54)【発明の名称】情報処理装置及びリアクション通知方法

(51)【国際特許分類】

   H04M 3/56 20060101AFI20240926BHJP

   H04N 7/15 20060101ALI20240926BHJP

   G06F 3/01 20060101ALI20240926BHJP

【ＦＩ】

H04M3/56 C

H04N7/15

G06F3/01 510

G06F3/01 570

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023042164

(22)【出願日】2023-03-16

(11)【特許番号】

(45)【特許公報発行日】2024-09-25

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】川北 幸司

(72)【発明者】

【氏名】森 英俊

(72)【発明者】

【氏名】岩川 晃久

(72)【発明者】

【氏名】堀越 正太

【テーマコード（参考）】

5C164

5E555

5K201

【Ｆターム（参考）】

5C164FA10

5C164GA05

5C164VA02S

5C164VA07S

5C164VA09P

5C164VA18P

5C164VA35P

5E555AA61

5E555AA64

5E555BA13

5E555BB13

5E555BC04

5E555BD09

5E555CA42

5E555CA47

5E555CB64

5E555CB65

5E555CB66

5E555CB67

5E555DB18

5E555DB53

5E555DC13

5E555DD06

5E555DD07

5E555DD08

5E555EA00

5K201BB09

5K201CA06

5K201CC02

5K201CC10

5K201DC05

5K201EC06

5K201ED07

5K201EF04

(57)【要約】

【課題】参加者のリアクションを煩雑な操作を行うことなく通知すること。
【解決手段】情報処理装置は、ウェブ会議において、ユーザが注目している注目参加者を特定する特定部２２と、カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用いてユーザのリアクションを分析し、分析結果に応じたリアクション情報を生成するリアクション情報生成部２３と、特定された注目参加者に対してリアクション情報を送信する送信部２４とを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用いてユーザのリアクションを分析し、分析結果に応じたリアクション情報を生成するリアクション情報生成部と、
特定された前記注目参加者に対して前記リアクション情報を送信する送信部と
を備える情報処理装置。

【請求項2】

前記リアクション情報生成部は、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、その評価結果に応じたリアクション情報を生成する請求項１に記載の情報処理装置。

【請求項3】

前記リアクション情報生成部は、前記ユーザが画面に注目した時間に基づいてウェブ会議への注目レベルを推定し、推定した注目レベルに応じたリアクション情報を生成する請求項１に記載の情報処理装置。

【請求項4】

前記特定部は、複数の参加者のアイコン領域が表示された表示画面において、ユーザが同じアイコン領域を所定期間以上見ている場合に、当該アイコン領域に対応する参加者を注目参加者として特定する請求項１に記載の情報処理装置。

【請求項5】

前記リアクション情報生成部は、前記特定部によって注目参加者が特定された場合に、ユーザが同じ前記アイコン領域を見ている期間において取得されたユーザの画像データ及び音声データの少なくとも一方を用いて前記リアクション情報を生成する請求項４に記載の情報処理装置。

【請求項6】

前記特定部は、現在の話者又は共有画面を占有している人物を注目参加者として特定する請求項１に記載の情報処理装置。

【請求項7】

前記特定部は、画面共有がされている場合において、ユーザが共有画面領域を所定期間以上見ている場合に、話者を注目参加者として特定する請求項１に記載の情報処理装置。

【請求項8】

前記特定部は、前記リアクション情報生成部によって生成されるリアクション情報が変化したときの話者を注目参加者として特定する請求項１に記載の情報処理装置。

【請求項9】

前記特定部は、マイクがミュート、及び、ビデオがオフの少なくともいずれかを満たす場合に、ユーザが注目している注目参加者を特定する請求項１に記載の情報処理装置。

【請求項10】

前記リアクション情報を送信する前に、リアクション情報と注目参加者の情報を提示して、ユーザにリアクション情報送信の承認を求めるように構成されている請求項１に記載の情報処理装置。

【請求項11】

ウェブ会議において、ユーザが注目している注目参加者を特定する工程と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用いてユーザのリアクションを分析し、分析結果に応じたリアクション情報を生成する工程と、
特定された前記注目参加者に対して前記リアクション情報を送信する工程と
をコンピュータが実行するリアクション通知方法。

【請求項12】

コンピュータを請求項１から１０のいずれかに記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及びリアクション通知方法に関するものである。

【背景技術】

【0002】

近年、テレワークを行う機会が増加し、これに伴いウェブ会議も頻繁に行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－７１８０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このようなウェブ会議（Ｗｅｂ会議）では、従来の対面での会議に比べて、話者は、自分の発言に対する参加者の反応を把握しにくいという側面がある。また、ウェブ会議のアプリケーションによっては、特定の参加者とチャットを通じてコミュニケーションをとる機能が備えられているものもあるが、この場合には、チャットを開いて文章を記入し、送信する作業が発生し、作業が煩雑であった。

【0005】

本開示は、このような事情に鑑みてなされたものであって、参加者のリアクションを煩雑な操作を行うことなく通知することのできる情報処理装置及びリアクション通知方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様は、ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用いてユーザのリアクションを分析し、分析結果に応じたリアクション情報を生成するリアクション情報生成部と、特定された前記注目参加者に対して前記リアクション情報を送信する送信部とを備える情報処理装置である。

【0007】

本開示の一態様は、ウェブ会議において、ユーザが注目している注目参加者を特定する工程と、カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用いてユーザのリアクションを分析し、分析結果に応じたリアクション情報を生成する工程と、特定された前記注目参加者に対して前記リアクション情報を送信する工程とをコンピュータが実行するリアクション通知方法である。

【0008】

本開示の一態様は、コンピュータを上記情報処理装置として機能させるためのプログラムである。

【発明の効果】

【0009】

本開示の情報処理装置及びリアクション通知方法によれば、参加者のリアクションを煩雑な操作を行うことなく通知することができるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係るウェブ会議システムのシステム構成を概略的に示したシステム構成図である。

【図2】本開示の一実施形態に係る情報処理装置の概略外観図である。

【図3】本開示の一実施形態に係る情報処理装置のハードウェア構成の一例を示した概略構成図である。

【図4】本開示の一実施形態に係るリアクション通知システムが備える機能の一例を示した機能構成図である。

【図5】本開示の一実施形態に係るテレビ会議のアプリケーションウィンドウの表示画面の一例を示した図である。

【図6】本開示の一実施形態に係るテレビ会議のアプリケーションウィンドウにおいて、リアクション情報が表示された場合の表示画面の一例を示した図である。

【図7】本開示の一実施形態に係るリアクション通知方法の処理手順の一例を示したフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本開示の一実施形態に係る情報処理装置１０及びリアクション通知方法について、図面を参照して説明する。
図１は、本開示の一実施形態に係るウェブ会議システム１のシステム構成を概略的に示したシステム構成図である。図１に示すように、ネットワーク８には、複数の情報処理装置１０及びウェブ会議サーバ５０が接続されている。情報処理装置１０の一例として、ノートＰＣ、タブレット端末、スマートフォンなどが挙げられる。以下、説明の便宜上、情報処理装置１０としてノートＰＣを例示して説明する。なお、図１に示した例では、３台の情報処理装置１０が図示されているが、情報処理装置１０の接続台数はこれに限られない。
ウェブ会議の参加者は、自身が使用する情報処理装置１０を操作してウェブ会議サーバ５０にアクセスし、ウェブ会議に参加する。ウェブ会議中においては、ウェブ会議サーバ５０を介して話者の音声データや参加者の画像データ等が複数の情報処理装置間で送受信されることによりウェブ会議が実施される。

【0012】

図２は、本開示の一実施形態に係る情報処理装置１０の概略外観図である。情報処理装置１０は、図１に示すように、一例として、いずれも略直方体である本体側筐体２及びディスプレイ側筐体３を備える。本体側筐体２及びディスプレイ側筐体３は、例えば、複数の連結部材によって開閉可能とされている。
本体側筐体２は、入力デバイス４を備える。入力デバイス４は、ユーザが入力操作を行うためのユーザインターフェースであり、文字、コマンド等を入力する各種キーより構成されるキーボードや、画面上のカーソルを移動させたり、各種メニューを選択するタッチパッド等を備えている。

【0013】

ディスプレイ側筐体３は、画像を表示する表示パネル５を備える。本実施形態において、表示パネル５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を例示するが、ＬＣＤに限らず有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の他の表示機器、又はタッチパネルとされてもよい。ＬＣＤは、入力される表示データをビデオ信号に変換し、変換したビデオ信号に応じた各種情報を表示画面に表示する。

【0014】

また、ディスプレイ側筐体３は、画像を取得するためのカメラ６を備える。カメラ６は、例えば、ディスプレイ側筐体３に設けられた表示パネル５の上方（連結部材で連結された側部と反対側の側部）の中央部に配置され、前方の被写体（例えば、ユーザ）を撮像可能とされている。また、情報処理装置１０は、光源を更に備えていてもよい。例えば、光源は、ディスプレイ側筐体３においてカメラ６の近傍に設けられ、前方の被写体に対して、カメラ６の撮影に係る補助光を発する。

【0015】

図３は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示した概略構成図である。図３に示すように、情報処理装置１０は、上述した入力デバイス４、表示パネル５、カメラ６に加えて、ＣＰＵ（プロセッサ）１１、メインメモリ１２、二次記憶装置１３、マイク１５、外部インターフェース１６、通信インターフェース１７等を備えている。これら各部は直接的にまたはバスを介して間接的に相互に接続されており互いに連携して各種処理を実行する。

【0016】

ＣＰＵ１１は、例えば、バスを介して接続された二次記憶装置１３に格納されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により情報処理装置１０全体の制御を行うとともに、二次記憶装置１３に格納された各種プログラムを実行することにより各種処理を実行する。ＣＰＵ１１は、複数設けられており、互いに協働して処理を実現させてもよい。

【0017】

メインメモリ１２は、キャッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の書き込み可能なメモリで構成され、ＣＰＵ１１の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。

【0018】

二次記憶装置１３は、非一時的な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）である。二次記憶装置１３の一例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリなどが挙げられる。二次記憶装置１３は、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の情報処理装置１０全体の制御を行うためのＯＳ、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア、及び各種データやファイル等を格納する。また、二次記憶装置１３には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。二次記憶装置１３は、複数設けられていてもよく、各二次記憶装置１３に上述したようなデータが分割されて格納されていてもよい。

【0019】

マイク１５は、音を電気信号である音声データに変換して出力する。
外部インターフェース１６は、外部機器と接続するためのインターフェースである。外部機器の一例として、外部モニタ、ＵＳＢメモリ、外付けＨＤＤ、外付けカメラ等が挙げられる。なお、図３に示した例では、外部インターフェース１６は、１つしか図示されていないが、複数の外部インターフェースを備えていてもよい。

【0020】

通信インターフェース１７は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。例えば、通信インターフェース１７は、有線又は無線により他の装置と通信を行う。無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、無線ＬＡＮなどの回線を通じた通信が挙げられる。有線通信の一例として、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの回線を通じた通信が挙げられる。

【0021】

次に、本実施形態に係る情報処理装置１０が有するリアクション通知機能の一例について図を参照して説明する。図４は、本実施形態に係るリアクション通知システム２０が備える機能の一例を示した機能ブロック図である。

【0022】

後述する各種機能を実現するための一連の処理は、一例として、プログラム（例えば、リアクション通知プログラム）の形式で各情報処理装置１０が備える二次記憶装置１３などに記憶されており、このプログラムをＣＰＵ（プロセッサ）１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、二次記憶装置１３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0023】

ここで、「テレビ会議」とは、二人以上でオンラインによるコミュニケーションを行うものを意味する。例えば、オンラインミーティング、オンラインセミナー等が挙げられる。

【0024】

図４に示すように、リアクション通知システム２０は、例えば、表示制御部２１と、特定部２２と、リアクション情報生成部２３と、送信部２４とを備えている。

【0025】

表示制御部２１は、例えば、テレビ会議中において、各種表示モードに応じた表示を行う。例えば、図５に、テレビ会議のアプリケーションウィンドウの表示画面の一例を示す。図５には、一例として、テレビ会議に参加している複数の参加者Ａ～Ｉのアイコンを含むアイコン領域７が示されている。表示制御部２１は、ユーザが指定した表示モードに応じて表示を切り替えるとともに、他の参加者によって画面共有がされた場合には、共有画面をウィンドウに表示させる。

【0026】

また、表示制御部２１は、後述するように、他の参加者からリアクション情報を受信した場合に、受信したリアクション情報をウェブ会議のウィンドウ画面に表示させる。図６に、テレビ会議のアプリケーションウィンドウにおいて、リアクション情報ＲＡが表示された場合の表示画面の一例を示す。図６には、参加者の一人である「ＤＡＶＥ」が、当該ユーザのコメントに対して肯定的なリアクションをした場合のリアクション情報ＲＡの一例が示されている。

【0027】

特定部２２は、ウェブ会議中において、ユーザが注目している注目参加者を特定する。具体的には、特定部２２は、ウェブ会議において、マイクがミュート、及び、ビデオがオフの状態の少なくともいずれか一つの条件を満たす場合に、ユーザが注目している注目参加者を特定する。例えば、特定部２２は、図５に例示するように、複数の参加者Ａ～Ｉのアイコン領域７が表示された表示画面において、ユーザが同じアイコン領域を所定期間以上見ている場合に、当該アイコン領域に対応する参加者を注目参加者として特定する。より具体的には、特定部２２は、カメラ６によって取得されたユーザの画像データを用いてユーザの視線を追跡することにより、ユーザが同じアイコン領域を所定期間以上見ているか否かを判定する。また、特定部２２は、画面共有がされている場合において、ユーザが共有画面領域を所定期間以上見ている場合に、話者を注目参加者として特定することとしてもよい。

【0028】

リアクション情報生成部２３は、例えば、カメラ６によって取得されたユーザの画像データ及びマイク１５によって取得されたユーザの音声データの少なくともいずれか一方を用いてユーザのリアクションを分析し、分析結果に応じたリアクション情報を生成する。

【0029】

具体的には、リアクション情報生成部２３は、ユーザの画像データ及び音声データの少なくともいずれか一方を用いてユーザの感情を評価し、その評価結果に応じたリアクション情報を生成する。画像データを用いてユーザの感情を評価する場合には、例えば、画像データからユーザの視線、ユーザの表情、ユーザのジェスチャーのうちの少なくとも一つを分析してユーザの感情を評価する。また、音声データを用いてユーザの感情を評価する場合には、例えば、ユーザの発話内容及びトーン（声音）の少なくとも一つを分析してユーザの感情を評価する。

【0030】

リアクション情報生成部２３は、感情として、例えば、話者へのエンゲージメントレベル、換言すると、話者の意見にどの程度注目（反応）しているのかを複数レベル（例えば、単に聞いている、肯定的に聞いている、大きく賛同している等）で評価することとしてもよいし、喜怒哀楽も含めて細かい感情を分析することとしてもよい。なお、ユーザの画像データや音声データから感情を評価する具体的方法については、公知の技術を採用すればよいため、ここでの詳細な説明は省略する。

【0031】

リアクション情報は、例えば、ユーザの感情を特定の参加者に通知するためのメッセージ、又は、アイコン、又はこれらの組み合わせである。リアクション情報生成部２３は、これらのリアクション情報が感情又は感情のレベルと関連付けられて格納されているリアクション情報記憶部（図示略）を有しており、このリアクション情報記憶部からユーザの感情に対応するリアクション情報を取得することにより、ユーザのリアクション情報を生成することとしてもよい。また、感情に応じたメッセージ等を生成するアルゴリズムを有しており、これらのアルゴリズムを使用することにより、その時々の感情に応じたリアクション情報を生成することとしてもよい。

【0032】

リアクション情報生成部２３は、ウェブ会議において、マイクがミュート、かつ、ビデオがオフの状態の期間において、リアクション情報を繰り返し生成することとしてもよい。また、これに限られず、例えば、ウェブ会議において、特定部２２によって注目参加者が特定された場合に、リアクション情報を作成することとしてもよい。この場合には、ユーザが同じアイコン領域を見ている期間において取得されたユーザの画像データ及び音声データの少なくとも一方を用いてリアクション情報を生成することとしてもよい。

【0033】

送信部２４は、特定部２２によって特定された注目参加者の情報処理装置１０に対して、リアクション情報生成部２３によって生成されたリアクション情報を送信する。

【0034】

次に、本実施形態における情報処理装置１０が備えるリアクション通知システム２０の動作について説明する。図７は、本実施形態に係るリアクション通知方法の処理手順の一例を示したフローチャートである。以下の説明では、画像データ及び音声データの両方を用いてユーザの感情を評価する場合を例示して説明する。

【0035】

例えば、情報処理装置１０の入力デバイス４をユーザが操作することにより、ウェブ会議のアプリケーションが起動されると、表示制御部２１により、ウェブ会議のアプリケーションウィンドウが表示パネル５に表示される。このウィンドウ画面において、ユーザがウェブ会議に参加するための操作を行うことにより、ウェブ会議が開始される。このウェブ会議中において、例えば、図５に例示したように、参加者のアイコン領域７が表示パネル５に表示される。

【0036】

ウェブ会議中において、カメラ６によってユーザの画像が画像データとして取得され、また、マイク１５によってユーザの発声が音声データとして取得される。このように、カメラ６及びマイク１５は、ウェブ会議中において作動しているが、ウェブ会議のアプリケーション上では、音声ミュートの切り替え、ビデオのオンオフの切り替え設定により、ユーザの音声や画像を他の参加者に通知するか否かは、ユーザが適宜切り替えるような仕組みとされている。

【0037】

まず、情報処理装置１０は、ウェブ会議のアプリケーションにおいて、マイクがミュート、かつ、ビデオがオフに設定されている状態か否かを判定する（ＳＡ１）。この結果、マイクがミュート、かつ、ビデオがオフに設定されている場合には（ＳＡ１：ＹＥＳ）、情報処理装置１０は、画像データに基づいて同じ参加者のアイコン領域７を所定期間見ているか否かを判定する（ＳＡ２）。この結果、同じ参加者のアイコン領域７を所定期間以上見ていない場合には（ＳＡ２：ＮＯ）、ステップＳＡ１に戻る。一方、同じ参加者のアイコン領域７を所定期間以上見ている場合には（ＳＡ２：ＹＥＳ）、そのアイコン領域７に対応する参加者を注目参加者として特定する（ＳＡ３）。続いて、注目参加者のアイコン領域７を見ていた期間における画像データ及び音声データからユーザの感情、例えば、ウェブ会議に対する注目レベルを評価し、その評価結果である注目レベルに応じたリアクション情報を生成し（ＳＡ４）、生成したリアクション情報を注目参加者へ送信する（ＳＡ５）。続いて、ウェブ会議が終了したか否かを判定し（ＳＡ６）、終了していれば、本処理を終了する。一方、ウェブ会議が終了していない場合には、ステップＳＡ１に戻る。

【0038】

また、ステップＳＡ１においてマイクがミュート、かつ、ビデオがオフに設定されていない場合には（ＳＡ１：ＮＯ）、他の参加者からリアクション情報を受信したか否かを判定する（ＳＡ７）。この結果、リアクション情報を受信していなければ（ＳＡ７：ＮＯ）、ステップＳＡ１に戻る。一方、リアクション情報を受信していた場合には（ＳＡ７：ＹＥＳ）、リアクション情報をウェブ会議のアプリケーションウィンドウに表示する（ＳＡ８）。これにより、例えば、図６に例示されているように、他の参加者から受信したリアクション情報ＲＡが表示パネル５に表示される。この際、リアクション情報送信元の他の参加者を特定する情報を表示するとよい。これにより、誰のリアクション情報であるかをユーザに通知することができる。例えば、図６に示される表示画面例では、リアクション情報のメッセージに送信者の名前が記載されるとともに、当該参加者のアイコン領域７が太枠で囲われることにより、他の領域とは異なる表示態様で表示されている。

【0039】

続いて、ウェブ会議終了か否かを判定し（ＳＡ６）、終了していれば（ＳＡ６：ＹＥＳ）、本処理を終了し、ウェブ会議が終了していなければ（ＳＡ６：ＮＯ）、ステップＳＡ１に戻る。

【0040】

以上説明してきたように、本実施形態によれば、情報処理装置１０は、ウェブ会議において、マイクがミュート、かつ、ビデオがオフの状態の場合に、ユーザが注目している注目参加者を特定する特定部２２と、カメラ６によって取得されたユーザの画像データ及びマイク１５によって取得されたユーザの音声データの少なくともいずれか一方を用いてユーザのリアクションを分析し、分析結果に応じたリアクション情報を生成するリアクション情報生成部２３と、特定された注目参加者に対してリアクション情報を送信する送信部２４とを備えている。

【0041】

これにより、ウェブ会議において、マイクをミュートかつビデオをオフにしている参加者のリアクションを、発話している参加者等の注目参加者に対して知らせることが可能となる。また、リアクション情報は、ユーザが情報処理装置１０に対して特別な入力操作を行うことなく、自動的に送信されるので、煩雑な入力操作を行うことなくリアルタイムの感情を注目参加者に対して送信することが可能となる。すなわち、ユーザは、リアクションしたい参加者に対応するアイコン領域を所定期間見つめるという簡単なアクションにより、リアクション情報を送信したい参加者を指定することができる。
更に、リアクション情報は、注目参加者に対してのみ送信されるので、他の参加者に知られることなく、自身が注目参加者の意見等に対してどのように感じているかを注目参加者に対して通知することが可能となる。

【0042】

以上、本開示について実施形態を用いて説明したが、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本開示の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した処理の流れも一例であり、本開示の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0043】

例えば、上述した実施形態では、複数の参加者のアイコン領域７が表示されている状態において、同じ参加者のアイコン領域７を所定期間以上見つめていた場合に、そのアイコン領域７に対応する参加者を注目参加者として特定したが、これに限られない。例えば、現在の話者又は共有画面を占有している人物を注目参加者として特定することとしてもよいし、リアクション情報生成部２３によって生成されるリアクション情報が変化したとき（例えば、無関心から関心度「高」に変化したとき等）の話者を注目参加者として特定することとしてもよい。

【0044】

また、上記実施形態では、ユーザの承諾を得ることなく、自動的にリアクション情報が注目参加者に送信される場合を例示して説明したが、これに限られない。例えば、リアクション情報を送信する前に、リアクション情報と注目参加者の情報をユーザに通知し、ユーザにリアクション情報送信の承認を求めることとしてもよい。これにより、ユーザの意図しない参加者に対して誤ったリアクション情報が送信されることを回避することができる。

【0045】

また、上述した実施形態では、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、その評価結果に応じたリアクション情報を生成することとしたが、これに限られない。例えば、セミナー形式のウェブ会議では、どの程度セミナーに興味を持って視聴していたかといった情報を収集したい場合がある。そこで、例えば、ユーザが表示画面の話者のアイコン領域や、共有画面が映し出された領域、或いは画面のいずれかの領域に注目した時間や、それらの領域に注目した人数に基づいてウェブ会議への注目レベルを推定し、推定した注目レベルをリアクション情報として生成し、注目参加者（この場合は、話者）に送信することとしてもよい。多くの人数が長い時間注目していれば関心度が高いという情報を、少ない人数が短い時間しか注目していなければ関心度が低いという情報をリアクション情報として生成する。また、この場合、リアクション情報は、予め設定された時間間隔で生成され、注目参加者に送信されることとしてもよいし、ウェブ会議が終了した後に、ユーザが上述の領域を見ていた時間を集計し、その時間に応じたリアクション情報を送信することとしてもよい。

【符号の説明】

【0046】

１ ：ウェブ会議システム
２ ：本体側筐体
３ ：ディスプレイ側筐体
４ ：入力デバイス
５ ：表示パネル
６ ：カメラ
８ ：ネットワーク
１０ ：情報処理装置
１１ ：ＣＰＵ
１２ ：メインメモリ
１３ ：二次記憶装置
１５ ：マイク
１６ ：外部インターフェース
１７ ：通信インターフェース
２０ ：リアクション通知システム
２１ ：表示制御部
２２ ：特定部
２３ ：リアクション情報生成部
２４ ：送信部
５０ ：ウェブ会議サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-06-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成するリアクション情報生成部と、
特定された前記注目参加者に対して前記リアクション情報を送信する送信部と
を備え、
前記特定部は、複数の参加者のアイコン領域が表示された表示画面において、ユーザが同じアイコン領域を所定期間以上見ている場合に、当該アイコン領域に対応する参加者を注目参加者として特定する情報処理装置。

【請求項2】

前記リアクション情報生成部は、前記ユーザが画面に注目した時間に基づいてウェブ会議への注目レベルを推定し、推定した注目レベルに応じたリアクション情報を生成する請求項１に記載の情報処理装置。

【請求項3】

前記リアクション情報生成部は、前記特定部によって注目参加者が特定された場合に、ユーザが同じ前記アイコン領域を見ている期間において取得されたユーザの画像データ及び音声データの少なくとも一方を用いて前記リアクション情報を生成する請求項１に記載の情報処理装置。

【請求項4】

ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成するリアクション情報生成部と、
特定された前記注目参加者に対して前記リアクション情報を送信する送信部と
を備え、
前記特定部は、現在の話者又は共有画面を占有している人物を注目参加者として特定する情報処理装置。

【請求項5】

ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成するリアクション情報生成部と、
特定された前記注目参加者に対して前記リアクション情報を送信する送信部と
を備え、
前記特定部は、画面共有がされている場合において、ユーザが共有画面領域を所定期間以上見ている場合に、話者を注目参加者として特定する情報処理装置。

【請求項6】

ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成するリアクション情報生成部と、
特定された前記注目参加者に対して前記リアクション情報を送信する送信部と
を備え、
前記特定部は、前記リアクション情報生成部によって生成されるリアクション情報が変化したときの話者を注目参加者として特定する情報処理装置。

【請求項7】

ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成するリアクション情報生成部と、
特定された前記注目参加者に対して前記リアクション情報を送信する送信部と
を備え、
前記特定部は、マイクがミュート、及び、ビデオがオフの少なくともいずれかを満たす場合に、ユーザが注目している注目参加者を特定する情報処理装置。

【請求項8】

ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成するリアクション情報生成部と、
特定された前記注目参加者に対して前記リアクション情報を送信する送信部と
を備え、
前記リアクション情報を送信する前に、リアクション情報と注目参加者の情報を提示して、ユーザにリアクション情報送信の承認を求めるように構成されている情報処理装置。

【請求項9】

ウェブ会議において、ユーザが注目している注目参加者を特定する工程と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じた、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成する工程と、
特定された前記注目参加者に対して前記リアクション情報を送信する工程と
をコンピュータが実行し、
前記特定する工程は、複数の参加者のアイコン領域が表示された表示画面において、ユーザが同じアイコン領域を所定期間以上見ている場合に、当該アイコン領域に対応する参加者を注目参加者として特定するリアクション通知方法。

【請求項10】

ウェブ会議において、ユーザが注目している注目参加者を特定する工程と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じた、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成する工程と、
特定された前記注目参加者に対して前記リアクション情報を送信する工程と
をコンピュータが実行し、
前記特定部は、画面共有がされている場合において、ユーザが共有画面領域を所定期間以上見ている場合に、話者を注目参加者として特定するリアクション通知方法。

【請求項11】

コンピュータを請求項１から８のいずれかに記載の情報処理装置として機能させるためのプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

本開示の一態様は、ウェブ会議において、ユーザが注目している注目参加者を特定する特定部と、カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成するリアクション情報生成部と、特定された前記注目参加者に対して前記リアクション情報を送信する送信部とを備え、前記特定部は、複数の参加者のアイコン領域が表示された表示画面において、ユーザが同じアイコン領域を所定期間以上見ている場合に、当該アイコン領域に対応する参加者を注目参加者として特定する情報処理装置である。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本開示の一態様は、ウェブ会議において、ユーザが注目している注目参加者を特定する工程と、カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成する工程と、特定された前記注目参加者に対して前記リアクション情報を送信する工程とをコンピュータが実行し、前記特定する工程は、複数の参加者のアイコン領域が表示された表示画面において、ユーザが同じアイコン領域を所定期間以上見ている場合に、当該アイコン領域に対応する参加者を注目参加者として特定するリアクション通知方法である。

【手続補正書】

【提出日】2024-08-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項９

【補正方法】変更

【補正の内容】

【請求項9】

ウェブ会議において、ユーザが注目している注目参加者を特定する工程と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成する工程と、
特定された前記注目参加者に対して前記リアクション情報を送信する工程と
をコンピュータが実行し、
前記特定する工程は、複数の参加者のアイコン領域が表示された表示画面において、ユーザが同じアイコン領域を所定期間以上見ている場合に、当該アイコン領域に対応する参加者を注目参加者として特定するリアクション通知方法。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項１０

【補正方法】変更

【補正の内容】

【請求項10】

ウェブ会議において、ユーザが注目している注目参加者を特定する工程と、
カメラによって取得されたユーザの画像データ及びマイクによって取得されたユーザの音声データの少なくともいずれか一方を用い、ユーザの視線、ユーザの表情、ユーザのジェスチャー、ユーザの発声の少なくとも一つに基づいてユーザの感情を評価し、評価結果に応じたリアクション情報を生成する工程と、
特定された前記注目参加者に対して前記リアクション情報を送信する工程と
をコンピュータが実行し、
前記特定する工程は、画面共有がされている場合において、ユーザが共有画面領域を所定期間以上見ている場合に、話者を注目参加者として特定するリアクション通知方法。