特開 2024-97127 資料提示制御装置および資料提示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024097127

(43)【公開日】2024-07-18

(54)【発明の名称】資料提示制御装置および資料提示方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240710BHJP

【ＦＩ】

G06F3/01 510

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023000375

(22)【出願日】2023-01-05

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高橋 真那夢

(72)【発明者】

【氏名】糟谷 純一

(72)【発明者】

【氏名】長沼 立巳

(72)【発明者】

【氏名】神保 靖

(72)【発明者】

【氏名】小林 朋央

(72)【発明者】

【氏名】中村 功大

(72)【発明者】

【氏名】内田 早紀

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA11

5E555AA44

5E555AA56

5E555BA13

5E555BA64

5E555BB13

5E555BC14

5E555BD05

5E555CA42

5E555CA47

5E555CB64

5E555CB65

5E555CB67

5E555DA03

5E555DB41

5E555DD08

5E555EA22

5E555EA23

5E555FA00

(57)【要約】

【課題】聴取者の理解に応じて、説明者が適切に説明を行うことができる資料提示制御装置および資料提示方法を提供する。
【解決手段】本実施形態に係る資料提示装置１０の制御装置２０は、表示部１２に表示される資料の内容および資料の内容に対応する表示位置を解析する資料解析部２１と、表示部１２に表示されている資料に対する聴取者の理解度を検出する理解度検出部２８と、理解度検出部２８が検出した理解度に基づき、資料の説明者に対して、説明箇所に対する指示を提示する提示制御部２９と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

表示部に表示される資料の内容および前記資料の内容に対応する表示位置を解析する資料解析部と、
前記表示部に表示されている前記資料に対する聴取者の理解度を検出する理解度検出部と、
前記理解度検出部が検出した理解度に基づき、前記資料の説明者に対して、説明箇所に対する指示を提示する提示制御部と、
を備える資料提示制御装置。

【請求項2】

前記説明者が発話した音声を認識する音声認識部と、
前記資料解析部が解析した前記資料の内容に対し、前記音声認識部が認識した音声に対応した表示位置を発話位置として取得する発話位置取得部と、
をさらに備え、
前記理解度検出部は、前記発話位置取得部が取得した発話位置に対応する説明箇所に対する前記聴取者の理解度を検出し、
前記提示制御部は、前記発話位置取得部が取得した発話位置に対応する説明箇所に対する理解度に基づき、前記説明箇所に対する指示を提示する、
請求項１に記載の資料提示制御装置。

【請求項3】

前記提示制御部は、前記理解度検出部によって理解度が低いことが検出された場合は、前記説明箇所に対する説明の詳細化の指示を提示する、
請求項１または２に記載の資料提示制御装置。

【請求項4】

前記提示制御部は、前記理解度検出部によって理解度が高いことが検出された場合は、前記説明箇所に対する説明の簡略化の指示を提示する、
請求項１または２に記載の資料提示制御装置。

【請求項5】

表示部に表示される資料の内容および前記資料の内容に対応する表示位置を解析する資料解析ステップと、
前記表示部に表示されている前記資料に対する聴取者の理解度を検出する理解度検出ステップと、
検出した理解度に基づき、前記資料の説明者に対して、説明箇所に対する指示を提示する提示制御ステップと、
を資料提示制御装置が実行する資料提示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、資料提示制御装置および資料提示方法に関する。

【背景技術】

【0002】

一般に、プレゼンテーション資料などを説明する際に、プレゼンテーション資料を聴取者に対して表示するとともに、話者（説明者）の音声認識と話者の視線検出とにより、該プレゼンテーション資料における、話者の説明箇所を特定する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１９４８７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、この種のプレゼンテーション資料の説明においては、話者は聴取者の理解に合わせて説明することが好ましく、聴取者が理解している内容に対して詳細に説明することや、聴取者が理解していない内容に対して詳細な説明を行わずに説明を進めることは、効果的ではない。このため、聴取者の理解に応じて、説明者が適切に説明を行うことが必要であり、この点で改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、聴取者の理解に応じて、説明者が適切に説明を行うことができる資料提示制御装置および資料提示方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係る資料提示制御装置は、表示部に表示される資料の内容および資料の内容に対応する表示位置を解析する資料解析部と、表示部に表示されている資料に対する聴取者の理解度を検出する理解度検出部と、理解度検出部が検出した理解度に基づき、資料の説明者に対して、説明箇所に対する指示を提示する提示制御部と、を備える。

【0007】

また、本開示に係る資料提示方法は、表示部に表示される資料の内容および資料の内容に対応する表示位置を解析する資料解析ステップと、表示部に表示されている資料に対する聴取者の理解度を検出する理解度検出ステップと、検出した理解度に基づき、資料の説明者に対して、説明箇所に対する指示を提示する提示制御ステップと、を資料提示制御装置が実行する。

【発明の効果】

【0008】

本開示によれば、聴取者の理解に応じて、説明者が適切に説明を行うことができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、資料提示装置の使用例の一例を示す概略図である。

【図2】図２は、資料提示装置の使用例の他の例を示す概略図である。

【図3】図３は、第一実施形態に係る資料提示制御装置を有する資料提示装置の構成例を示すブロック図である。

【図4】図４は、第一実施形態に係る資料提示制御装置における処理の流れの一例を示すフローチャートである。

【図5】図５は、表示部に表示された文書を区分けしたブロックの一例を示す図である。

【図6】図６は、第二実施形態に係る資料提示制御装置における処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本開示に係る資料提示制御装置および資料提示方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
＜資料提示装置＞
図１は、資料提示装置の使用例の一例を示す概略図である。図２は、資料提示装置の使用例の他の例を示す概略図である。図３は、第一実施形態に係る資料提示制御装置（以下、「制御装置」という。）２０を有する資料提示装置１０の構成例を示すブロック図である。資料提示装置１０は、例えば、会議またはプレゼンテーションのような、少なくとも資料の提示と、発話による資料内容の説明を行うコミュニケーションにおいて、聴取者の理解度に応じて、説明者が適切に説明できるように該説明者を支援する。

【0012】

図１に示すように、資料提示装置１０は、複数人数の参加者が参加して、オンラインで行われる会議やプレゼンテーション（以下、「ＷＥＢ会議」という。）などのオンラインコミュニケーションにおいて使用される。この場合に使用される資料提示装置１０は、例えば、サーバ装置として設置される制御装置２０と、制御装置２０と通信可能に接続された複数台のパーソナルコンピュータＰ１０、Ｈ１１～Ｈ１３に実装された一部の機能とを備えた構成とすることができる。パーソナルコンピュータＰ１０は、ＷＥＢ会議の参加者のうち、資料に基づいて資料内容を説明する説明者に使用されるものである。また、パーソナルコンピュータＨ１１～Ｈ１３は、ＷＥＢ会議の参加者のうち、説明者が発話した説明内容を聴取する聴取者にそれぞれ使用されるものである。

【0013】

一方、資料提示装置１０は、複数人数の参加者が１か所に集まって行われる会議やプレゼンテーション（以下、「リアル会議」という。）において使用することもできる。この場合に使用される資料提示装置１０は、図２に示すように、例えば、パーソナルコンピュータなどの情報端末装置である制御装置２０と、リアル会議が行われる場所に設置される各機能（各装置）とを備えた構成とすることができる。図２に示すリアル会議は、説明者Ｍ１１と聴取者Ｍ１２～Ｍ１５とが参加している。

【0014】

以下の説明では、ＷＥＢ会議またはリアル会議のどちらかの会議において使用される場合について説明する。ＷＥＢ会議とリアル会議との区別を特に要しない場合、単に会議という。

【0015】

資料提示装置１０は、会議において、説明者が聴取者の理解度に応じて、適切に説明できるように説明者を支援するものであり、マイクロフォン１１と、表示部１２と、カメラ１４と、通信部１５と、提示装置３０と、制御装置２０とを備える。ＷＥＢ会議に使用される資料提示装置１０においては、提示装置３０はＷＥＢ会議の説明者が用いるパーソナルコンピュータＰ１０によって実現される。また、リアル会議に使用される資料提示装置１０においては、通信部１５は必須の構成ではない。マイクロフォン１１は、説明者の発話した音声を収音する。マイクロフォン１１は、収音した音声データを制御装置２０の音声認識部２２に出力する。図１に示すように、ＷＥＢ会議に使用される資料提示装置１０である場合、マイクロフォン１１は、説明者が使用するパーソナルコンピュータＰ１０に設けられ、説明者が発話した音声を収音する。また、図２に示すように、リアル会議に使用される資料提示装置１０である場合、マイクロフォン１１は、例えば、会議室における説明者の発話を収音しやすい位置に設置され、説明者が発話した音声を収音する。

【0016】

表示部１２は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイ装置である。表示部１２は、制御装置２０の表示制御部２５から出力された映像信号に基づいて、映像を表示する。

【0017】

表示部１２には、会議において使用される説明用の資料が表示される。図１に示すように、ＷＥＢ会議に使用される資料提示装置１０である場合、パーソナルコンピュータＰ１０の表示部１２には、説明者が用いる資料が表示され、パーソナルコンピュータＨ１１～Ｈ１３の表示部１２には、パーソナルコンピュータＰ１０に表示されたものと同一の資料が表示される。また、図２に示すように、リアル会議に使用される資料提示装置１０である場合、表示部１２は、例えば会議室において用いられる表示装置であり、説明者が用いる資料が表示される。

【0018】

カメラ１４は、会議における主に聴取者の顔部を撮影可能な位置に配置されている。より詳しくは、カメラ１４は、聴取者の視線や頭部の動きを検出するために、聴取者の顔部や眼部を含む映像を撮影する。カメラ１４は、表示部１２の周辺に配置されている。カメラ１４は、制御装置２０の撮影制御部２３によって撮影動作を制御される。

【0019】

カメラ１４は、図１に示すようにＷＥＢ会議に使用される資料提示装置１０である場合、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３に備えられる。また、カメラ１４は、図２に示すようにリアル会議に使用される資料提示装置１０である場合、例えば、会議室において用いられる表示装置である表示部１２に、聴取者を撮影可能なように備えられている。

【0020】

通信部１５は、例えば無線通信などを行うための通信ユニットである。通信部１５は、例えば、Ｗｉ－Ｆｉ（登録商標）などを用いた通信方法で通信を行い、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続される。通信部１５は、制御装置２０の通信制御部２４によって通信を制御される。図１に示すように、ＷＥＢ会議に使用される資料提示装置１０である場合、通信部１５は、パーソナルコンピュータＰ１０、Ｈ１１～Ｈ１３と制御装置２０との間で、説明者の音声および映像を通信する。より詳しくは、通信部１５は、マイクロフォン１１で収音した説明者の音声、および、カメラ１４で撮影した聴取者の映像を、制御装置２０へ送信する。また、リアル会議に使用される資料提示装置１０である場合、通信部１５は、マイクロフォン１１で収音した説明者の音声、および、カメラ１４で撮影した聴取者の映像を、制御装置２０へ送信する目的に用いられてもよい。

【0021】

提示装置３０は、会議において、説明者に対して情報を提示して該説明者を支援する。より詳しくは、提示装置３０は、説明者が会議において適切に説明できるように、聴取者の理解度に応じて、資料の説明に関する指示情報を適宜、説明者に提示する。提示装置３０は、ＷＥＢ会議に使用される資料提示装置１０である場合、説明者が使用するパーソナルコンピュータＰ１０の表示部１２として構成することができる。この場合、パーソナルコンピュータＰ１０の表示部１２（提示装置３０）は、聴取者の理解度に応じた指示に関する情報を表示（提示）することにより、説明者を適切に支援することができる。また、図２に示すようにリアル会議に使用される資料提示装置１０である場合、提示装置３０は、例えば、説明者の前に配置された表示装置（例えばパーソナルコンピュータ）として構成することができる。この場合、提示装置３０のみに、聴取者の理解度に応じた指示に関する情報を表示（提示）することにより、聴取者に知られることなく、説明者を適切に支援することができる。

【0022】

＜資料提示制御装置＞
制御装置２０は、資料提示装置１０の各部を制御する。制御装置２０は、説明対象となる資料における説明者の発話位置を検出するとともに、この発話位置に対応する説明箇所に対する聴取者の理解度を検出する。そして、制御装置２０は、説明者が適切な速度で説明できるように、検出された聴取者の理解度に基づき、この説明箇所に対する指示を説明者に提示（フィードバック）する。制御装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置を含み、ＲＡＭ又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置を有する。制御装置２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置２０には上述したＲＡＭなどの内部メモリが含まれ、内部メモリは制御装置２０におけるデータの一時記憶などに用いられる。制御装置２０は、プログラムの実行によって実現される機能ブロックなどの構成要素として、資料解析部２１と、音声認識部２２と、撮影制御部２３と、通信制御部２４と、表示制御部２５と、発話位置取得部２６と、視線検出部２７と、理解度検出部２８と、提示制御部２９とを有する。

【0023】

資料解析部２１は、表示部１２に表示される資料の内容を解析する。この資料は、会議において説明に使用される資料であり、所定のアプリケーションソフトウェアを用いて作成されたテキスト文書である。この資料は、例えば１ページごと表示部１２に表示される。資料解析部２１は、説明が開始される前に資料全体を解析する。具体的には、資料解析部２１は、テキスト文書に含まれるキーワードを抽出する。この場合、キーワードの抽出は、この資料に形成された所定のブロック（区画）ごとに行うことが好ましい。このブロックは、例えば、資料の各ページに改行によって区切られる段落であってもよいし、句点で区切られる一文であってもよい。また、ブロックは、図面を含む区画であってもよい。

【0024】

また、資料解析部２１は、資料の内容に対応する表示部１２における表示位置を解析する。具体的には、資料解析部２１は、表示部１２に表示された１ページの資料内において、ブロックごとに抽出されたキーワードの文書内の位置（座標）を解析し、この位置（座標）を取得する。例えば、横書き文書の場合、ページの左上を原点とし、書き方向に沿った横方向をＸ方向（第１方向）とし、書き方向に垂直な縦方向をＹ方向（第２方向）として、資料解析部２１は、抽出されたキーワードの文章内の位置（座標）を解析して取得する。また、例えば、縦書き文書の場合、ページの右上を原点とし、書き方向に沿った縦方向をＹ方向（第１方向）とし、書き方向に垂直な横方向をＸ方向（第２方向）として、資料解析部２１は、抽出されたキーワードの文章内の位置（座標）を解析して取得する。この場合、原点位置は適宜変更してもよい。

【0025】

資料解析部２１は、ＷＥＢ会議を行う資料提示装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよく、分散して実現されてもよい。

【0026】

音声認識部２２は、資料の説明者が発話した音声を認識する。音声認識部２２は、例えば、入力された音声に対して、音素毎または単語毎の音響モデル分析を行い、音素モデルや言語モデルとの対比を行うことで、発話内容を認識し、この音声に含まれるキーワードを抽出する。

【0027】

音声認識部２２は、ＷＥＢ会議を行う資料提示装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよく、分散して実現されてもよい。

【0028】

撮影制御部２３は、カメラ１４による映像の撮影を制御する。撮影制御部２３は、例えば、会議の開始時に、カメラ１４に対して撮影を開始するよう制御信号を出力する。撮影制御部２３は、例えば、会議の終了時に、カメラ１４に対して撮影を終了するよう制御信号を出力する。

【0029】

撮影制御部２３は、ＷＥＢ会議を行う資料提示装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の機能として実現されてもよく、サーバ装置である制御装置２０の指示に基づいて、パーソナルコンピュータＨ１１～Ｈ１３が備える撮影制御部２３が動作してもよい。

【0030】

通信制御部２４は、通信部１５を制御して、例えばパーソナルコンピュータＰ１０、Ｈ１１～Ｈ１３との通信を制御する。通信制御部２４は、会議が開催されている間、マイクロフォン１１で収音した音声を受信するよう制御して、音声認識部２２に出力する。また、通信制御部２４は、会議が開催されている間、カメラ１４が撮影した映像を受信するよう制御して、視線検出部２７および理解度検出部２８に出力する。

【0031】

通信制御部２４は、ＷＥＢ会議を行う資料提示装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の機能を含んでもよく、サーバ装置である制御装置２０が備える通信制御部およびパーソナルコンピュータＨ１１～Ｈ１３が備える通信制御部が協働する構成としてもよい。

【0032】

表示制御部２５は、表示部１２における映像の表示を制御する。表示制御部２５は、会議が開催されている間、説明に使用される資料映像を表示部１２に出力する。

【0033】

表示制御部２５は、ＷＥＢ会議を行う資料提示装置１０の場合においては、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置および聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の各々の機能として実現される。

【0034】

発話位置取得部２６は、資料解析部２１が解析した資料の内容に対し、音声認識部２２が認識した音声に対応した表示位置を発話位置として取得する。具体的には、発話位置取得部２６は、音声認識部２２により認識された発話内容の音声に含まれるキーワード（発話位置）と、資料解析部２１により解析された資料文書内におけるキーワード（表示位置）とに基づき、共通するキーワードを含む文書が一致する箇所から、説明者が現在説明している資料内の位置を推定し、この発話位置を取得する。

【0035】

発話位置取得部２６は、ＷＥＢ会議を行う資料提示装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよく、分散して実現されてもよい。

【0036】

視線検出部２７は、カメラ１４が撮影した撮影データに基づいて、資料の聴取者の視線の向きを検出する。視線を検出する方法は限定されないが、例えば、角膜反射によって視線を検出する方法などを採用することができる。

【0037】

視線検出部２７は、例えば、聴取者の視線の向きが、表示部１２に表示された資料中のどの領域に向いているかを検出する。説明者が資料を説明している間、聴取者は、表示部１２に表示された資料の文書を目で追って確認している。このため、視線検出部２７は、表示部１２に表示された資料に対して、聴取者が注視している箇所を検出する。

【0038】

視線検出部２７は、ＷＥＢ会議を行う資料提示装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されてもよく、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の機能として実現されてもよい。

【0039】

理解度検出部２８は、カメラ１４が撮影した撮影データに基づいて、表示部１２に表示されている資料に対する聴取者の理解度を検出する。より詳しくは、理解度検出部２８は、聴取者を撮影した映像（画像）に基づき、聴取者の顔や視線の動きまたは聴取者の表情から、表示部１２に表示されている資料に対する聴取者の理解度を検出する。聴取者の理解度を検出する手法については、例えば、特開２０１６－１７７４８３号公報などに開示された技術など、限定しない既存技術を用いることができる。また、理解度検出部２８による他の検出手法については、聴取者の表情や顔を構成する各パーツの動きを機械学習させた検出モデルを用いた構成としてもよい。

【0040】

理解度検出部２８は、発話位置取得部２６により取得された発話位置に基づき、この発話位置に対応する資料の説明箇所を判定する。そして、理解度検出部２８は、例えば、聴取者の顔の動きが、判定された説明箇所ごとに頷くような所定の動き（第１の動き）として検出されている場合、その動きが検出された聴取者は、その説明箇所に対して理解している、つまり相対的に理解度が高いことを検出する。一方、理解度検出部２８は、例えば、聴取者の顔の動きが、判定された説明箇所ごとに顔を傾けるような所定の動き（第２の動き）として検出されている場合、その動きが検出された聴取者は、その説明箇所に対して十分に理解していない、つまり相対的に理解度が低いことを検出する。これら聴取者の動きは予め設定されており、適宜変更しても構わない。

【0041】

理解度検出部２８は、ＷＥＢ会議を行う資料提示装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよい。

【0042】

提示制御部２９は、理解度検出部２８が検出した聴取者の理解度に基づき、資料の説明者に対して、説明箇所に対する各種指示情報を提示する制御を行う。より詳しくは、提示制御部２９は、資料における発話位置に対応する説明箇所に対する聴取者の理解度に基づき、この説明箇所に対する各種指示情報を提示する制御を行う。

【0043】

提示制御部２９は、理解度検出部２８によって、資料の説明箇所に対する聴取者の理解度が相対的に低いと検出された場合、上記した提示装置３０に対して、この説明箇所に対する説明の詳細化の指示を提示する。具体的には、「説明の詳細化」とは、該説明箇所を詳細に説明することをいい、例えば、説明箇所に対する説明を繰り返したり、言い換えや具体例を用いて説明したりすることができる。一方、提示制御部２９は、理解度検出部２８によって、資料の説明箇所に対する聴取者の理解度が相対的に高いと検出された場合、上記した提示装置３０に対して、この説明箇所に対する説明の簡略化の指示を提示する。具体的には、「説明の簡略化」とは、該説明箇所を簡単に説明することをいい、例えば、説明箇所に対する説明を部分的または全体的に省略したり、簡易な説明で済ませたりすることができる。

【0044】

また、上記した会議のように、聴取者が複数人いる場合には、同一の説明箇所に対して、例えば聴取者全員の３０％以上の聴取者の理解度が相対的に低いと検出された場合には、提示制御部２９は、この説明箇所に対する説明の詳細化の指示を提示してもよい。また、例えば聴取者全員の７０％以上の聴取者の理解度が相対的に高いと検出された場合には、提示制御部２９は、この説明箇所に対する説明の簡略化の指示を提示してもよい。

【0045】

また、提示制御部２９は、上記した提示装置３０に対して、説明箇所に対する説明の詳細化の指示をする場合、提示装置３０に「このブロックの説明をもう一度してください」といったメッセージを提示してもよいし、対象となるブロックを予め設定された色で囲んで提示してもよい。同様に、提示制御部２９は、上記した提示装置３０に対して、説明箇所に対する説明の簡略化の指示をする場合、提示装置３０に「このブロックの説明を省略しても大丈夫です」といったメッセージを提示してもよいし、対象となるブロックを予め設定された色で囲んで提示してもよい。

【0046】

次に、制御装置２０における処理の流れについて説明する。図４は、第一実施形態に係る進行速度判定制御装置における処理の流れの一例を示すフローチャートである。図５は、表示部に表示された文書を区分けしたブロックの一例を示す図である。

【0047】

図４に示す処理は、資料提示装置１０が起動されて資料を表示させるためのアプリケーションを起動することで開始される。つまり、図１に示すＷＥＢ会議においては、ＷＥＢ会議を行うアプリケーションが動作している状態において、説明者が用いるパーソナルコンピュータＰ１０に表示されているプレゼンテーション用資料などの表示が、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３に共有されることで開始される。また、図２におけるリアル会議においては、表示部１２にプレゼンテーション用資料などが表示されることで開始される。

【0048】

制御装置２０は、資料解析を行う（ステップＳ１１）。より詳しくは、制御装置２０は、資料解析部２１によって、表示部１２に表示される資料の内容を解析する。この資料は、図５に示すように、例えば１ページごと表示部１２に表示されるテキスト文書１００であり、複数の行１０１を改行によって区切られる複数のブロックＢ１、Ｂ２、Ｂ３、・・に区分けされている。資料解析部２１は、テキスト文書１００に含まれるキーワード（例えば名詞）をブロックごとに抽出する。

【0049】

また、制御装置２０は、資料解析部２１により、資料の内容に対応する表示部１２における表示位置を解析する。より詳しくは、資料解析部２１は、表示部１２に表示された１ページの資料内において、ブロックごとに抽出されたキーワードの文書内の位置（座標）を解析し、この位置（座標）を取得する。図５の例では、横書き文書であるため、例えば、各ページの文書の左上を原点とし、書き方向に沿った横方向をＸ方向（第１方向）とし、書き方向に垂直な縦方向をＹ方向（第２方向）として、資料解析部２１は、抽出されたキーワードのテキスト文書１００内の位置（座標）を解析して取得する。制御装置２０は、ステップＳ１２へ進む。

【0050】

次に、制御装置２０は、カメラ１４が撮影した撮影データに基づいて、表示部１２に表示されている資料に対する聴取者の理解度を検出する（ステップＳ１２）。具体的には、理解度検出部２８は、聴取者を撮影した映像に基づき、聴取者の顔の動きから、表示部１２に表示されている資料１ページ分に対する聴取者の理解度を検出する。制御装置２０は、ステップＳ１３へ進む。

【0051】

次に、制御装置２０は、資料に対する聴取者の理解度が相対的に低いか否かを判定する（ステップＳ１３）。具体的には、理解度検出部２８は、例えば、聴取者の顔を傾けるような動きを検出した場合、その動きが検出された聴取者は、その資料に対して十分に理解していない、つまり相対的に理解度が低いと判定する。特に、会議において、例えば聴取者全員の３０％以上の聴取者が顔を傾けるような動きを検出した場合、この会議の聴取者の理解度が相対的に低いと判定してもよい。一方、理解度検出部２８は、例えば、聴取者の顔を傾けるような動きが特に検出されない場合、その資料に対する聴取者の理解度は低くはないと判定する。特に、上記した会議において、顔を傾けるような動きが検出された聴取者が、例えば聴取者全員の３０％未満の場合には、この会議の聴取者の理解度は低くはないと判定してもよい。

【0052】

上記した判定において、資料に対する聴取者の理解度が低くはないと判定した場合（ステップＳ１３；Ｎｏ）、制御装置２０は、ステップＳ１４へ進む。一方、資料に対する聴取者の理解度が低いと判定した場合（ステップＳ１３；Ｙｅｓ）、制御装置２０は、提示制御部２９により、説明者に対して説明の詳細化を指示する（ステップＳ１５）。

【0053】

ステップＳ１５において、具体的には、提示制御部２９は、ＷＥＢ会議を行う資料提示装置１０の場合においては、説明者が用いるパーソナルコンピュータＰ１０の表示部１２（提示装置３０）に対して、「この資料の説明をもう一度してください」といったメッセージを提示してもよい。また、提示制御部２９は、リアル会議を行う資料提示装置１０の場合においては、説明者の前に配置された提示装置３０に対して、「この資料の説明をもう一度してください」といったメッセージを提示してもよい。本実施形態では、説明者が現在説明している発話位置を取得していない。このため、資料における該当ページ全体、または一度説明した箇所までの説明を繰り返し行う。これにより、説明者は、資料の説明を適切に行うことができ、聴取者の理解度の向上を図ることができる。制御装置２０は、説明者に対して説明の詳細化を指示した後、ステップＳ１７へ進む。

【0054】

ステップＳ１３の判定でＮｏの場合、制御装置２０は、資料に対する聴取者の理解度が相対的に高いか否かを判定する（ステップＳ１４）。具体的には、理解度検出部２８は、例えば、聴取者の顔が頷くような動きを検出した場合、その動きが検出された聴取者は、その資料に対して理解している、つまり相対的に理解度が高いと判定する。特に、会議において、例えば聴取者全員の７０％以上の聴取者の顔が頷くような動きを検出した場合、この会議の聴取者の理解度が相対的に高いと判定してもよい。一方、理解度検出部２８は、例えば、聴取者が頷くような動きが特に検出されない場合、その資料に対する聴取者の理解度は高くはないと判定する。特に、上記した会議において、顔を頷くような動きが検出された聴取者が、例えば聴取者全員の７０％未満の場合には、この会議の聴取者の理解度は高くはないと判定してもよい。

【0055】

上記した判定において、資料に対する聴取者の理解度が高くはないと判定した場合（ステップＳ１４；Ｎｏ）、制御装置２０は、ステップＳ１７へ進む。一方、資料に対する聴取者の理解度が高いと判定した場合（ステップＳ１４；Ｙｅｓ）、制御装置２０は、提示制御部２９により、説明者に対して説明の簡略化を指示する（ステップＳ１６）。

【0056】

ステップＳ１６において、具体的には、提示制御部２９は、ＷＥＢ会議を行う資料提示装置１０の場合においては、説明者が用いるパーソナルコンピュータＰ１０の表示部１２（提示装置３０）に対して、「この資料の説明を省略しても大丈夫です」といったメッセージを提示してもよい。また、提示制御部２９は、リアル会議を行う資料提示装置１０の場合においては、説明者の前に配置された提示装置３０に対して、「この資料の説明を省略しても大丈夫です」といったメッセージを提示してもよい。これにより、説明者は、資料の説明を一部省略することで、説明時間に余裕を持つことができ、説明に軽重をつけることが可能となる。従って、資料の説明を適切に行うことができ、聴取者の理解度の向上を図ることができる。制御装置２０は、説明者に対して説明の簡略化を指示した後、ステップＳ１７へ進む。

【0057】

次に、制御装置２０は、資料のページが変更されたか否かを判定する（ステップＳ１７）。より詳しくは、制御装置２０は、説明者の説明が資料の次のページに移行しているか否かを判定する。この判定において、制御装置２０は、資料のページが変更されたと判定した場合（ステップＳ１７；Ｙｅｓ）には、処理をステップＳ１１に戻し、資料の次のページについてステップＳ１１～Ｓ１８の処理を実行する。

【0058】

また、制御装置２０は、資料のページが変更されていないと判定した場合（ステップＳ１７；Ｎｏ）には、制御装置２０は、資料の説明が終了したか否かを判定する（ステップＳ１８）。この判定において、制御装置２０は、資料の説明が終了していないと判定した場合（ステップＳ１８；Ｎｏ）には、処理をステップＳ１３に戻し、引き続きステップＳ１３～Ｓ１８の処理を実行する。また、制御装置２０は、資料の説明が終了したと判定した場合（ステップＳ１８；Ｙｅｓ）には、本処理を終了する。

【0059】

［第二実施形態］
次に、図６を参照しながら、第二実施形態に係る資料提示装置１０について説明する。図６は、第二実施形態に係る資料提示制御装置における処理の流れの一例を示すフローチャートである。資料提示装置１０は、基本的な構成は上記実施形態と同一であるため、説明を省略する。この第二実施形態では、説明者の発話位置に対応する説明箇所が含まれるブロック（区画）ごとに対する聴取者の理解度を検出し、この説明箇所に対する理解度に基づき、説明箇所に対する指示を提示する点で、上述した実施形態と異なる。

【0060】

次に、図６を用いて、制御装置２０における処理の流れについて説明する。図６に示すステップＳ２１、ステップＳ２３からステップＳ２５、ステップＳ２８からＳ２９の処理は、図４に示すフローチャートのステップＳ１１、ステップＳ１２からステップＳ１４、ステップＳ１７からステップＳ１８と同様の処理を行う。

【0061】

制御装置２０は、資料解析を行う（ステップＳ２１）と、説明者が説明（発話）している発話位置を取得する（ステップＳ２２）。具体的には、制御装置２０は、発話位置取得部２６により、音声認識された発話内容の音声に含まれるキーワードと、資料解析されたテキスト文書１００内におけるキーワードとを比較する。そして、制御装置２０は、発話位置取得部２６により、共通するキーワードを含む文書が一致する箇所から、説明者が現在説明している資料内の位置を推定し、この発話位置とこの発話位置に対応する説明箇所が含まれるブロックを特定する。発話位置に対応する説明箇所であるブロックは、例えば図５に示すブロックＢ１、Ｂ２、Ｂ３のように、複数のブロックごとに特定される。制御装置２０は、ステップＳ２３へ進む。

【0062】

次に、制御装置２０は、カメラ１４が撮影した撮影データに基づいて、表示部１２に表示されている資料のうち、発話位置に対応するブロックに対する聴取者の理解度を検出する（ステップＳ２３）。具体的には、理解度検出部２８は、聴取者を撮影した映像に基づき、聴取者の顔の動きから、表示部１２に表示されている資料のうち、発話位置に対応するブロックに対する聴取者の理解度を検出する。制御装置２０は、ステップＳ２４へ進む。

【0063】

次に、制御装置２０は、上記ブロックに対する聴取者の理解度が相対的に低いか否かを判定し（ステップＳ２４）、上記ブロックに対する聴取者の理解度が低くはないと判定した場合（ステップＳ２４；Ｎｏ）、制御装置２０は、ステップＳ２５へ進む。一方、上記ブロックに対する聴取者の理解度が低いと判定した場合（ステップＳ２４；Ｙｅｓ）、制御装置２０は、提示制御部２９により、上記ブロック（説明対象位置）に対する説明の詳細化を説明者に指示する（ステップＳ２６）。

【0064】

具体的には、提示制御部２９は、ＷＥＢ会議を行う資料提示装置１０の場合においては、聴取者の理解度が低いと判定されたブロックが、図５に示すブロックＢ１である場合、説明者が用いるパーソナルコンピュータＰ１０の表示部１２（提示装置３０）に対して、「この資料のブロックＢ１の説明をもう一度してください」といったメッセージを提示してもよい。また、この表示部１２に表示される資料のブロックＢ１を、予め設定された色で囲んで提示してもよい。さらに、この表示部１２に表示される資料のブロックＢ１内の文字を他のブロックＢ２、Ｂ３と異なる態様（例えば、太字、斜体、異なる文字色、及び異なるフォントなど）で提示してもよい。また、提示制御部２９は、リアル会議を行う資料提示装置１０の場合においても、説明者の前に配置された提示装置３０に対して、「この資料のブロックＢ１の説明をもう一度してください」といったメッセージを提示してもよい。また、この表示部１２に表示される資料のブロックＢ１を、予め設定された色で囲んで提示してもよい。さらに、この表示部１２に表示される資料のブロックＢ１内の文字を他のブロックＢ２、Ｂ３と異なる態様（例えば、太字、斜体、異なる文字色、及び異なるフォントなど）で提示してもよい。これにより、説明者は、資料における聴取者の理解が不十分なブロックの説明を適切に行うことができ、聴取者の理解度の向上を図ることができる。制御装置２０は、説明者に対して説明の詳細化を指示した後、ステップＳ２８へ進む。

【0065】

次に、制御装置２０は、上記ブロックに対する聴取者の理解度が相対的に高いか否かを判定し（ステップＳ２５）、上記ブロックに対する聴取者の理解度が高くはないと判定した場合（ステップＳ２５；Ｎｏ）、制御装置２０は、ステップＳ２８へ進む。

【0066】

一方、上記ブロックに対する聴取者の理解度が高いと判定した場合（ステップＳ２５；Ｙｅｓ）、制御装置２０は、提示制御部２９により、上記ブロック（説明対象位置）に対する説明の簡略化を説明者に指示する（ステップＳ２７）。

【0067】

具体的には、提示制御部２９は、ＷＥＢ会議を行う資料提示装置１０の場合においては、聴取者の理解度が高いと判定されたブロックが、図５に示すブロックＢ１である場合、説明者が用いるパーソナルコンピュータＰ１０の表示部１２（提示装置３０）に対して、「この資料のブロックＢ１の説明を省略しても大丈夫です」といったメッセージを提示してもよい。また、この表示部１２に表示される資料のブロックＢ１を、上記した詳細化と異なるとともに予め設定された色で囲んで提示してもよい。さらに、この表示部１２に表示される資料のブロックＢ１内の文字を他のブロックＢ２、Ｂ３、および上記した詳細化の場合と異なる態様（例えば、太字、斜体、異なる文字色、及び異なるフォントなど）で提示してもよい。また、提示制御部２９は、リアル会議を行う資料提示装置１０の場合においても、説明者の前に配置された提示装置３０に対して、「この資料のブロックＢ１の説明を省略しても大丈夫です」といったメッセージを提示してもよい。また、この表示部１２に表示される資料のブロックＢ１を、上記した詳細化と異なるとともに予め設定された色で囲んで提示してもよい。さらに、この表示部１２に表示される資料のブロックＢ１内の文字を他のブロックＢ２、Ｂ３、および上記した詳細化の場合と異なる態様（例えば、太字、斜体、異なる文字色、及び異なるフォントなど）で提示してもよい。これにより、説明者は、資料の説明を一部省略することで、説明時間に余裕を持つことができ、説明に軽重をつけることが可能となる。従って、資料の説明を適切に行うことができ、聴取者の理解度の向上を図ることができる。制御装置２０は、説明者に対して説明の簡略化を指示した後、ステップＳ２８へ進む。

【0068】

次に、制御装置２０は、資料のページが変更されたか否かを判定する（ステップＳ２８）。より詳しくは、制御装置２０は、説明者の説明が資料の次のページに移行しているか否かを判定する。この判定において、制御装置２０は、資料のページが変更されたと判定した場合（ステップＳ２８；Ｙｅｓ）には、処理をステップＳ２１に戻し、資料の次のページについてステップＳ２１～Ｓ２９の処理を実行する。

【0069】

また、制御装置２０は、資料のページが変更されていないと判定した場合（ステップＳ２８；Ｎｏ）には、制御装置２０は、資料の説明が終了したか否かを判定する（ステップＳ２９）。この判定において、制御装置２０は、資料の説明が終了していないと判定した場合（ステップＳ２９；Ｎｏ）には、処理をＳ２４に戻し、次のブロックについて、引き続きステップＳ２４～Ｓ２９の処理を実行する。また、制御装置２０は、資料の説明が終了したと判定した場合（ステップＳ２９；Ｙｅｓ）には、本処理を終了する。

【0070】

上述したように、本実施形態に係る資料提示装置１０の制御装置２０は、表示部１２に表示される資料の内容および資料の内容に対応する表示位置を解析する資料解析部２１と、表示部１２に表示されている資料に対する聴取者の理解度を検出する理解度検出部２８と、理解度検出部２８が検出した理解度に基づき、資料の説明者に対して、説明箇所に対する指示を提示する提示制御部２９と、を備える。この構成によれば、聴取者の理解度に応じた適切な指示を説明者に提示することができる。従って、説明者は、提示された指示に沿って説明をすることにより、聴取者の理解度に応じて、説明者が適切に説明を行うことができる。

【0071】

本実施形態に係る資料提示装置１０の制御装置２０は、説明者が発話した音声を認識する音声認識部２２と、資料解析部２１が解析した資料の内容に対し、音声認識部２２が認識した音声に対応した表示位置を発話位置として取得する発話位置取得部２６と、をさらに備え、理解度検出部２８は、発話位置取得部２６が取得した発話位置に対応するブロック（説明箇所を含む区画）に対する聴取者の理解度を検出し、提示制御部２９は、発話位置取得部２６が取得した発話位置に対応するブロックに対する聴取者の理解度に基づき、ブロックに対する指示を提示する。この構成によれば、説明者の発話位置に対応するブロックごとに、聴取者の理解度に応じた適切な指示を説明者に提示することができる。従って、説明者は、ブロックごとに、提示された指示に沿って説明をすることにより、聴取者の理解度に応じて、説明者が適切に説明を行うことができる。

【0072】

本実施形態に係る資料提示装置１０の制御装置２０において、提示制御部２９は、理解度検出部２８によって理解度が低いことが検出された場合は、資料のブロックごとに対する説明の詳細化の指示を提示する。この構成によれば、説明者は、資料における聴取者の理解が不十分なブロックの説明を適切に行うことができ、聴取者の理解度の向上を図ることができる。

【0073】

本実施形態に係る資料提示装置１０の制御装置２０において、提示制御部２９は、理解度検出部２８によって理解度が高いことが検出された場合は、資料におけるブロックごとに対する説明の簡略の指示を提示する。この構成によれば、説明者は、資料の説明を一部省略することで、説明時間に余裕を持つことができ、説明に軽重をつけることが可能となる。従って、資料の説明を適切に行うことができ、聴取者の理解度の向上を図ることができる。

【0074】

本開示に係る資料提示装置は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。

【0075】

図示した資料提示装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0076】

資料提示装置１０の制御装置２０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上述した実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ソフトウェアのみ、または、ソフトウェアとハードウェアとの組み合わせによって種々の形で実現できる。

【0077】

上述した各実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上述した構成は適宜組み合わせが可能である。例えば、ＷＥＢ会議とリアル会議とを組み合わせた会議において実現されてもよい。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0078】

上述した実施形態における資料解析部２１は、資料の内容および資料の内容に対応する表示位置の解析を、該資料１ページごと行っていたが、これに限るものではなく、全ページをまとめて解析する構成としてもよい。また、上述した各実施形態では、資料として横書きのテキスト文書を例示したが、縦書きのテキスト文書や、図面を羅列した資料であってもよい。また、上述した実施形態における提示装置３０は、説明箇所に対する指示を表示する構成として説明したが、これに限るものではなく、例えば、説明者が保持する携帯端末から出力される音声や振動などを利用して、これらの指示を説明者に提示する構成としてもよい。

【符号の説明】

【0079】

１０ 資料提示装置
１２ 表示部
１４ カメラ
２０ 制御装置（資料提示制御装置）
２１ 資料解析部
２２ 音声認識部
２５ 表示制御部
２６ 発話位置取得部
２７ 視線検出部
２８ 理解度検出部
２９ 提示制御部
３０ 提示装置
１００ テキスト文書
１０１ 行
Ｂ１、Ｂ２、Ｂ３ ブロック（説明箇所、区画）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】