特開 2024-64695 進行速度判定制御装置および進行速度判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024064695

(43)【公開日】2024-05-14

(54)【発明の名称】進行速度判定制御装置および進行速度判定方法

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240507BHJP

   G06F 3/01 20060101ALI20240507BHJP

【ＦＩ】

G06F3/16 650

G06F3/16 620

G06F3/01 510

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022173464

(22)【出願日】2022-10-28

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中村 功大

(72)【発明者】

【氏名】小池 博一

(72)【発明者】

【氏名】楠美 麻梨子

(72)【発明者】

【氏名】糟谷 純一

(72)【発明者】

【氏名】渡辺 廉

(72)【発明者】

【氏名】内田 早紀

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA07

5E555AA46

5E555BA02

5E555BA13

5E555BB02

5E555BB13

5E555BD08

5E555BE09

5E555CA42

5E555CA47

5E555CB64

5E555CB65

5E555DB25

5E555DD01

5E555DD06

5E555DD08

5E555EA23

5E555FA00

(57)【要約】

【課題】聴取者に対して、説明者が適切な位置の説明を行うことができる進行速度判定制御装置および進行速度判定方法を提供する。
【解決手段】本実施形態に係る進行速度判定制御装置２０は、表示部１２に表示される資料の内容および資料の内容に対応する表示位置を解析する資料解析部２１と、資料の説明者が発話した音声を認識する音声認識部２２と、資料の聴取者の視線を検出する視線検出部２７と、資料解析部２１が解析した資料の内容に対し、音声認識部２２が認識した音声に対応した表示位置を発話位置として取得する発話位置取得部２６と、視線検出部２７の検出結果に基づき、資料における聴取者の視線が集中している視線集中位置を特定する特定部２８と、発話位置取得部２６が取得した発話位置と特定部２８が特定した視線集中位置との差異に基づき、説明者に対して説明状況を提示する説明状況提示部２９と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

表示部に表示される資料の内容および前記資料の内容に対応する表示位置を解析する資料解析部と、
前記資料の説明者が発話した音声を認識する音声認識部と、
前記資料の聴取者の視線を検出する視線検出部と、
前記資料解析部が解析した前記資料の内容に対し、前記音声認識部が認識した音声に対応した表示位置を発話位置として取得する発話位置取得部と、
前記視線検出部の検出結果に基づき、前記資料における前記聴取者の視線が集中している視線集中位置を特定する特定部と、
前記発話位置取得部が取得した発話位置と前記特定部が特定した視線集中位置との差異に基づき、前記説明者に対して説明状況を提示する説明状況提示部と、
を備える、進行速度判定制御装置。

【請求項2】

前記説明状況提示部は、前記特定部が特定した視線集中位置と、前記発話位置取得部が取得した発話位置との差異に基づき、前記説明者による説明が前記聴取者の理解に対して先行しているか遅延していることを示す説明状況を前記説明者に提示する、
請求項１に記載の進行速度判定制御装置。

【請求項3】

前記説明状況提示部は、前記視線集中位置に対する前記発話位置の差異が、前記資料における文書の記載方向に沿った第１方向に先行または遅延している場合に比べて、前記第１方向に直交する第２方向に先行または遅延している場合は、より大きい先行または遅延であると判断する、
請求項１に記載の進行速度判定制御装置。

【請求項4】

前記資料解析部は、前記表示部に表示される前記資料の内容および前記資料の内容に対応する表示位置を、複数の区画として解析し、
前記発話位置取得部は、前記資料解析部が解析した前記資料の内容に対する、前記音声認識部が認識した発話に対応した区画を発話位置として取得し、
前記特定部は、前記視線検出部の検出結果に基づき、前記資料における前記聴取者の視線が集中している区画を特定する、
請求項１から３のいずれか１項に記載の進行速度判定制御装置。

【請求項5】

表示部に表示している資料の内容および前記資料の内容に対応する表示位置を解析する資料解析ステップと、
前記資料解析ステップで解析した前記資料の内容に対し、前記資料の説明者が発話した音声を認識した結果に対応した表示位置を発話位置として取得する発話位置取得ステップと、
前記資料の聴取者の視線検出結果に基づき、前記資料における前記聴取者の視線が集中している視線集中位置を特定する特定ステップと、
前記発話位置取得ステップで取得した発話位置と、前記特定ステップで特定した視線集中位置との差異に基づき、前記説明者に対して説明状況を提示する説明状況提示ステップと、
を進行速度判定制御装置が実行する進行速度判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、進行速度判定制御装置および進行速度判定方法に関する。

【背景技術】

【0002】

一般に、プレゼンテーション資料などを説明する際に、プレゼンテーション資料を聴取者に対して表示するとともに、話者（説明者）の音声認識と話者の視線検出とにより、該プレゼンテーション資料における、話者の説明箇所を特定する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１９４８７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、この種のプレゼンテーション資料の説明においては、話者が適切な説明速度で説明することが好ましい。しかし、表示されているプレゼンテーション資料における、聴取者の関心や内容の理解度によっては、聴取者が説明を受けたい位置と、説明者が説明している位置との差異が生じることがある。このため、聴取者に対して、説明者が適切な説明位置で説明することができず、この点で改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、聴取者に対して、説明者が適切な位置の説明を行うことができる進行速度判定制御装置および進行速度判定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係る進行速度判定制御装置は、表示部に表示される資料の内容および資料の内容に対応する表示位置を解析する資料解析部と、資料の説明者が発話した音声を認識する音声認識部と、資料の聴取者の視線を検出する視線検出部と、資料解析部が解析した資料の内容に対し、音声認識部が認識した音声に対応した表示位置を発話位置として取得する発話位置取得部と、視線検出部の検出結果に基づき、資料における聴取者の視線が集中している視線集中位置を特定する特定部と、発話位置取得部が取得した発話位置と特定部が特定した視線集中位置との差異に基づき、説明者に対して説明状況を提示する説明状況提示部と、を備える。

【0007】

また、本開示に係る進行速度判定方法は、表示部に表示している資料の内容および資料の内容に対応する表示位置を解析する資料解析ステップと、資料解析ステップで解析した資料の内容に対し、資料の説明者が発話した音声を認識した結果に対応した表示位置を発話位置として取得する発話位置取得ステップと、資料の聴取者の視線検出結果に基づき、資料における聴取者の視線が集中している視線集中位置を特定する特定ステップと、発話位置取得ステップで取得した発話位置と、特定ステップで特定した視線集中位置との差異に基づき、説明者に対して説明状況を提示する説明状況提示ステップと、を進行速度判定制御装置が実行する。

【発明の効果】

【0008】

本開示によれば、説明者に説明状況を提示することにより、聴取者に対して、説明者が適切な位置の説明を行うことができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、進行速度判定装置の使用例の一例を示す概略図である。

【図2】図２は、進行速度判定装置の使用例の他の例を示す概略図である。

【図3】図３は、第一実施形態に係る進行速度判定制御装置を有する進行速度判定装置の構成例を示すブロック図である。

【図4】図４は、第一実施形態に係る進行速度判定制御装置における処理の流れの一例を示すフローチャートである。

【図5】図５は、表示部に表示された文書を区分けしたブロックの一例を示す図である。

【図6】図６は、表示部に表示された文書における説明者の発話位置と聴取者の視線集中位置との一例を示す図である。

【図7】図７は、第二実施形態に係る進行速度判定制御装置における処理の流れの一例を示すフローチャートである。

【図8】図８は、表示部に表示された文書における説明者の発話位置と聴取者の視線集中位置との一例を示す図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本開示に係る進行速度判定制御装置および進行速度判定方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
＜進行速度判定装置＞
図１は、進行速度判定装置の使用例の一例を示す概略図である。図２は、進行速度判定装置の使用例の他の例を示す概略図である。図３は、第一実施形態に係る進行速度判定制御装置（以下、「制御装置」という。）２０を有する進行速度判定装置１０の構成例を示すブロック図である。進行速度判定装置１０は、例えば、会議またはプレゼンテーションのような、少なくとも資料の提示と、発話による資料内容の説明を行うコミュニケーションにおいて、聴取者に対して、説明者が適切な速度で説明できるように該説明者を支援する。

【0012】

図１に示すように、進行速度判定装置１０は、複数人数の参加者が参加して、オンラインで行われる会議やプレゼンテーション（以下、「ＷＥＢ会議」という。）などのオンラインコミュニケーションにおいて使用される。この場合に使用される進行速度判定装置１０は、例えば、サーバ装置として設置される制御装置２０と、制御装置２０と通信可能に接続された複数台のパーソナルコンピュータＰ１０、Ｈ１１～１３に実装された一部の機能とを備えた構成とすることができる。パーソナルコンピュータＰ１０は、ＷＥＢ会議の参加者のうち、資料に基づいて資料内容を説明する説明者に使用されるものである。また、パーソナルコンピュータＨ１１～Ｈ１３は、ＷＥＢ会議の参加者のうち、説明者が発話した説明内容を聴取する聴取者にそれぞれ使用されるものである。

【0013】

一方、進行速度判定装置１０は、複数人数の参加者が１か所に集まって行われる会議やプレゼンテーション（以下、「リアル会議」という。）において使用することもできる。この場合に使用される進行速度判定装置１０は、図２に示すように、例えば、パーソナルコンピュータなどの情報端末装置である制御装置２０と、リアル会議が行われる場所に設置される各機能（各装置）とを備えた構成とすることができる。図２に示すリアル会議は、説明者Ｍ１１と聴取者Ｍ１２～Ｍ１５とが参加している。

【0014】

以下の説明では、ＷＥＢ会議またはリアル会議のどちらかの会議において使用される場合について説明する。ＷＥＢ会議とリアル会議との区別を特に要しない場合、単に会議という。

【0015】

進行速度判定装置１０は、会議において、説明者が聴取者に対して、適切な速度で説明できるように説明者を支援するものであり、マイクロフォン１１と、表示部１２と、カメラ１４と、通信部１５と、制御装置２０とを備える。リアル会議に使用される進行速度判定装置１０においては、通信部１５は必須の構成ではない。マイクロフォン１１は、説明者の発話した音声を収音する。マイクロフォン１１は、収音した音声データを制御装置２０の音声認識部２２に出力する。図１に示すように、ＷＥＢ会議に使用される進行速度判定装置１０である場合、マイクロフォン１１は、説明者が使用するパーソナルコンピュータＰ１０に設けられ、説明者が発話した音声を収音する。また、図２に示すように、リアル会議に使用される進行速度判定装置１０である場合、マイクロフォン１１は、例えば、会議室における説明者の発話を収音しやすい位置に設置され、説明者が発話した音声を収音する。

【0016】

表示部１２は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイ装置である。表示部１２は、制御装置２０の表示制御部２５から出力された映像信号に基づいて、映像を表示する。

【0017】

表示部１２には、会議において使用される説明用の資料が表示される。図１に示すように、ＷＥＢ会議に使用される進行速度判定装置１０である場合、パーソナルコンピュータＰ１０の表示部１２には、説明者が用いる資料が表示され、パーソナルコンピュータＨ１１～Ｈ１３の表示部１２には、パーソナルコンピュータＰ１０に表示されたものと同一の資料が表示される。また、図２に示すように、リアル会議に使用される進行速度判定装置１０である場合、表示部１２は、例えば会議室において用いられる表示装置であり、説明者が用いる資料が表示される。

【0018】

カメラ１４は、会議における主に聴取者の顔部を撮影可能な位置に配置されている。より詳しくは、カメラ１４は、聴取者の視線を検出するために、聴取者の顔部や眼部を含む映像を撮影する。カメラ１４は、表示部１２の周辺に配置されている。カメラ１４は、制御装置２０の撮影制御部２３によって撮影動作を制御される。

【0019】

カメラ１４は、図１に示すようにＷＥＢ会議に使用される進行速度判定装置１０である場合、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３に備えられる。また、カメラ１４は、図２に示すようにリアル会議に使用される進行速度判定装置１０である場合、例えば、会議室において用いられる表示装置である表示部１２に、聴取者を撮影可能なように備えられている。

【0020】

通信部１５は、例えば無線通信などを行うための通信ユニットである。通信部１５は、例えば、Ｗｉ－Ｆｉ（登録商標）などを用いた通信方法で通信を行い、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続される。通信部１５は、制御装置２０の通信制御部２４によって通信を制御される。図１に示すように、ＷＥＢ会議に使用される進行速度判定装置１０である場合、通信部１５は、パーソナルコンピュータＰ１０、Ｈ１１～Ｈ１３と制御装置２０との間で、説明者の音声および映像を通信する。より詳しくは、通信部１５は、マイクロフォン１１で収音した説明者の音声、および、カメラで撮影した聴取者の映像を、制御装置２０へ送信する。また、リアル会議に使用される進行速度判定装置１０である場合、通信部１５は、マイクロフォン１１で収音した説明者の音声、および、カメラで撮影した聴取者の映像を、制御装置２０へ送信する目的に用いられてもよい。

【0021】

＜進行速度判定制御装置＞
制御装置２０は、進行速度判定装置１０の各部を制御する。制御装置２０は、説明対象となる資料における説明者の発話位置と、該資料における複数の聴取者の視線が集中する視線集中位置とを比較し、この視線集中位置に対して説明者の説明の速度が速いか遅いかを判定する。そして、制御装置２０は、判定された結果を説明者に提示（フィードバック）することにより、説明者が適切な速度で説明できるように説明者を支援する。制御装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置を含み、ＲＡＭ又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置を有する。制御装置２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置２０には上述したＲＡＭなどの内部メモリが含まれ、内部メモリは制御装置２０におけるデータの一時記憶などに用いられる。制御装置２０は、プログラムの実行によって実現される機能ブロックなどの構成要素として、資料解析部２１と、音声認識部２２と、撮影制御部２３と、通信制御部２４と、表示制御部２５と、発話位置取得部２６と、視線検出部２７と、特定部２８と、説明状況提示部２９とを有する。

【0022】

資料解析部２１は、表示部１２に表示される資料の内容を解析する。この資料は、会議において説明に使用される資料であり、所定のアプリケーションソフトウェアを用いて作成されたテキスト文書である。この資料は、例えば１ページごと表示部１２に表示される。資料解析部２１は、説明が開始される事前に資料全体を解析する。具体的には、資料解析部２１は、テキスト文書に含まれるキーワードを抽出する。この場合、キーワードの抽出は、この資料に形成された所定のブロック（区画）ごとに行うことが好ましい。このブロックは、例えば、資料の各ページに改行によって区切られる段落であってもよいし、句点で区切られる一文であってもよい。

【0023】

また、資料解析部２１は、資料の内容に対応する表示部１２における表示位置を解析する。具体的には、資料解析部２１は、表示部１２に表示された１ページの資料内において、ブロックごとに抽出されたキーワードの文書内の位置（座標）を解析し、この位置（座標）取得する。例えば、横書き文書の場合、ページの左上を原点とし、書き方向に沿った横方向をＸ方向（第１方向）とし、書き方向に垂直な縦方向をＹ方向（第２方向）として、資料解析部２１は、抽出されたキーワードの文章内の位置（座標）を解析して取得する。また、例えば、縦書き文書の場合、ページの右上を原点とし、書き方向に沿った縦方向をＹ方向（第１方向）とし、書き方向に垂直な横方向をＸ方向（第２方向）として、資料解析部２１は、抽出されたキーワードの文章内の位置（座標）を解析して取得する。この場合、原点位置は適宜変更してもよい。

【0024】

資料解析部２１は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよく、分散して実現されてもよい。

【0025】

音声認識部２２は、資料の説明者が発話した音声を認識する。音声認識部２２は、例えば、入力された音声に対して、音素毎または単語毎の音響モデル分析を行い、音素モデルや言語モデルとの対比を行うことで、発話内容を認識し、この音声に含まれるキーワードを抽出する。

【0026】

音声認識部２２は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよく、分散して実現されてもよい。

【0027】

撮影制御部２３は、カメラ１４による映像の撮影を制御する。撮影制御部２３は、例えば、会議の開始時に、カメラ１４に対して撮影を開始するよう制御信号を出力する。撮影制御部２３は、例えば、会議の終了時に、カメラ１４に対して撮影を終了するよう制御信号を出力する。

【0028】

撮影制御部２３は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の機能として実現されてもよく、サーバ装置である制御装置２０の指示に基づいて、パーソナルコンピュータＨ１１～Ｈ１３が備える撮影制御部２３が動作してもよい。

【0029】

通信制御部２４は、通信部１５を制御して、例えばパーソナルコンピュータＰ１０、Ｈ１１～１３との通信を制御する。通信制御部２４は、会議が開催されている間、マイクロフォン１１で収音した音声を受信するよう制御して、音声認識部２２に出力する。また、通信制御部２４は、会議が開催されている間、カメラ１４が撮影した映像を受信するよう制御して、視線検出部２７に出力する。

【0030】

通信制御部２４は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の機能を含んでもよく、サーバ装置である制御装置２０が備える通信制御部およびパーソナルコンピュータＨ１１～Ｈ１３が備える通信制御部が協働する構成としてもよい。

【0031】

表示制御部２５は、表示部１２における映像の表示を制御する。表示制御部２５は、会議が開催されている間、説明に使用される資料映像を表示部１２に出力する。

【0032】

表示制御部２５は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置および聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の各々の機能として実現される。

【0033】

発話位置取得部２６は、資料解析部２１が解析した資料の内容に対し、音声認識部２２が認識した音声に対応した表示位置を発話位置として取得する。具体的には、発話位置取得部２６は、音声認識部２２により認識された発話内容の音声に含まれるキーワード（発話位置）と、資料解析部２１により解析された資料文書内におけるキーワード（表示位置）とに基づき、共通するキーワードを含む文書が一致する箇所から、説明者が現在説明している資料内の位置を推定し、この発話位置を取得する。

【0034】

発話位置取得部２６は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよく、分散して実現されてもよい。

【0035】

視線検出部２７は、カメラ１４が撮影した撮影データに基づいて、資料の聴取者の視線の向きを検出する。視線を検出する方法は限定されないが、例えば、角膜反射によって視線を検出する方法などを採用することができる。

【0036】

視線検出部２７は、例えば、聴取者の視線の向きが、表示部１２に表示された資料中のどの領域に向いているかを検出する。説明者が資料を説明している間、聴取者は、表示部１２に表示された資料の文書を目で追って確認している。このため、視線検出部２７は、表示部１２に表示された資料に対して、聴取者が注視している箇所を検出する。

【0037】

視線検出部２７は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されてもよく、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３が備える制御装置の機能として実現されてもよい。

【0038】

特定部２８は、視線検出部２７の検出結果に基づき、資料における聴取者の視線が集中している視線集中位置を特定する。この視線集中位置は、複数の聴取者のうち、最も多くの聴取者の視線が集中している位置、言い換えると、最も注視されている位置である。

【0039】

特定部２８は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよい。

【0040】

説明状況提示部２９は、発話位置取得部２６が取得した発話位置と特定部２８が特定した視線集中位置との差異の有無を判定し、差異が生じている場合には、この差異に基づき、説明者に対して説明状況をフィードバックして提示する。具体的には、説明状況提示部２９は、説明者の発話位置に対して、聴取者の視線集中位置が先行しているか遅延しているかを判定する。この場合、聴取者の視線集中位置が、説明者の発話位置よりも先行している場合には、聴取者は説明を十分に理解して先を読んでいると推定されるため、説明者の説明の速度（説明状況）が遅いと推定される。このため、説明状況提示部２９は、表示制御部２５により、表示部１２に説明速度を速める旨を表示する。また、聴取者の視線集中位置が、説明者の発話位置よりも遅延している場合には、聴取者の説明の理解度が十分でなく、すでに説明された部分を読んでいると推定されるため、説明者の説明の速度（説明状況）が速いと推定される。このため、説明状況提示部２９は、表示制御部２５により、表示部１２に説明速度を遅くする旨を表示する。また、説明状況提示部２９は、説明者の発話位置と聴取者の視線集中位置との差分の大きさにより、説明者に対して提示（フィードバック）される説明状況を変更することもできる。これにより、説明者の説明の速度が聴取者の理解度に対して、速いか否かをリアルタイムに説明者に伝えることができるため、聴取者に対して、説明者が適切な位置の説明を行うことができる。

【0041】

説明状況提示部２９は、ＷＥＢ会議を行う進行速度判定装置１０の場合においては、サーバ装置である制御装置２０の機能により実現されるが、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の機能として実現されてもよい。説明状況提示部２９は、説明者が用いるパーソナルコンピュータＰ１０が備える制御装置の表示制御部２５に対して、説明状況を表示させる。

【0042】

次に、制御装置２０における処理の流れについて説明する。図４は、第一実施形態に係る進行速度判定制御装置における処理の流れの一例を示すフローチャートである。図５は、表示部に表示された文書を区分けしたブロックの一例を示す図である。図６は、表示部に表示された文書における説明者の発話位置と聴取者の視線集中位置との一例を示す図である。

【0043】

図４に示す処理は、進行速度判定装置１０が起動されて資料を表示させるためのアプリケーションを起動することで開始される。つまり、図１に示すＷＥＢ会議においては、ＷＥＢ会議を行うアプリケーションが動作している状態において、説明者が用いるパーソナルコンピュータＰ１０に表示されているプレゼンテーション用資料などの表示が、聴取者が用いるパーソナルコンピュータＨ１１～Ｈ１３に共有されることで開始される。また、図２におけるリアル会議においては、表示部１２にプレゼンテーション用資料などが表示されることで開始される。

【0044】

制御装置２０は、資料解析を行う（ステップＳ１１）。より詳しくは、制御装置２０は、資料解析部２１によって、表示部１２に表示される資料の内容を解析する。この資料は、図５に示すように、例えば１ページごと表示部１２に表示されるテキスト文書１００であり、複数の行１０１を改行によって区切られる複数のブロックＢ１、Ｂ２、Ｂ３、・・に区分けされている。資料解析部２１は、テキスト文書１００に含まれるキーワード（例えば名詞）をブロックごとに抽出する。

【0045】

また、制御装置２０は、資料解析部２１により、資料の内容に対応する表示部１２における表示位置を解析する。より詳しくは、資料解析部２１は、表示部１２に表示された１ページの資料内において、ブロックごとに抽出されたキーワードの文書内の位置（座標）を解析し、この位置（座標）取得する。図５の例では、横書き文書であるため、例えば、各ページの文書の左上を原点とし、書き方向に沿った横方向をＸ方向（第１方向）とし、書き方向に垂直な縦方向をＹ方向（第２方向）として、資料解析部２１は、抽出されたキーワードのテキスト文書１００内の位置（座標）を解析して取得する。制御装置２０は、ステップＳ１２へ進む。

【0046】

次に、制御装置２０は、説明者が説明（発話）している発話位置を取得する（ステップＳ１２）。具体的には、制御装置２０は、発話位置取得部２６により、音声認識された発話内容の音声に含まれるキーワードと、資料解析されたテキスト文書１００内におけるキーワードとを比較する。そして、制御装置２０は、発話位置取得部２６により、共通するキーワードを含む文書が一致する箇所から、説明者が現在説明している資料内の位置を推定し、この発話位置を取得する。制御装置２０は、ステップＳ１３へ進む。

【0047】

次に、制御装置２０は、聴取者の視線集中位置を特定する（ステップＳ１３）。より詳しくは、制御装置２０は、視線検出部２７により、各聴取者の視線が表示部１２に表示されたテキスト文書内のどこに向いているかを検出する。そして、制御装置２０は、特定部２８により、視線検出部２７の検出結果に基づき、テキスト文書１００内における最も多くの聴取者の視線が集中している視線集中位置を特定する。制御装置２０は、ステップＳ１４へ進む。

【0048】

次に、制御装置２０は、取得した発話位置と特定した視線集中位置とに差異が発生しているか否かを判定する（ステップＳ１４）。図６の例では、表示部１２に表示されたテキスト文書１００において、説明者の発話位置１０２を「〇〇〇〇」と示し、視線集中位置１０３Ａを「×××」と示す。また、別の視線集中位置１０３Ｂを「△△△」と示す。この図６の例では、発話位置１０２と視線集中位置１０３Ａ（１０３Ｂ）とは、同一行１０１上にあるものとする。このような状態において、図６に例のように、制御装置２０は、説明状況提示部２９により、発話位置と視線集中位置とに差異が発生していると判定する場合（ステップＳ１４；Ｙｅｓ）、ステップＳ１５へ進む。一方、制御装置２０は、説明状況提示部２９により、発話位置と視線集中位置とに差異が発生していないと判定する場合（ステップＳ１４；Ｎｏ）、制御装置２０は、ステップＳ１６へ進む。

【0049】

制御装置２０が、発話位置と視線集中位置とに差異が発生していると判定した場合（ステップＳ１４；Ｙｅｓ）、制御装置２０は、説明状況提示部２９により、説明者の発話位置に対して、聴取者の視線集中位置が先行または遅延していることを説明者に通知する（ステップＳ１５）。具体的には、説明状況提示部２９は、図６に示すように、聴取者の視線集中位置１０３Ａが、説明者の発話位置１０２よりも遅延している場合には、聴取者の説明の理解度が十分でなく、すでに説明された部分を読んでいると推定されるため、説明者の説明の速度（説明状況）が速いと推定される。このため、制御装置２０は、表示制御部２５により、表示部１２に「説明が少し早いです」と、説明者に対して説明速度を遅くするメッセージ１０５を表示する。また、説明状況提示部２９は、聴取者の視線集中位置１０３Ｂが、説明者の発話位置１０２よりも先行している場合には、聴取者は説明を十分に理解して先を読んでいると推定されるため、説明者の説明の速度（説明状況）が遅いと推定される。このため、制御装置２０は、表示制御部２５により、表示部１２に「説明が少し遅いです」と、説明者に説明速度を速める旨のメッセージ１０５を表示する。これにより、説明者の説明の速度が聴取者の理解度に対して、速いか否かをリアルタイムに説明者に伝える（フィードバックする）ことができるため、聴取者に対して、説明者が適切な位置の説明を行うことができる。

【0050】

一方、制御装置２０が、発話位置と視線集中位置とに差異が発生していないと判定した場合（ステップＳ１４；Ｎｏ）、聴取者に対して、説明者が適切な速度で説明していると推定される。このため、制御装置２０は、資料のページが変更されたか否かを判定する（ステップＳ１６）。より詳しくは、制御装置２０は、説明者の説明が資料の次のページに移行しているか否かを判定する。この判定において、制御装置２０は、資料のページが変更されたと判定した場合（ステップＳ１６；Ｙｅｓ）には、処理をステップＳ１１に戻し、資料の次のページについてステップＳ１１～Ｓ１７の処理を実行する。

【0051】

また、制御装置２０は、資料のページが変更されていないと判定した場合（ステップＳ１６；Ｎｏ）には、制御装置２０は、資料の説明が終了したか否かを判定する（ステップＳ１７）。この判定において、制御装置２０は、資料の説明が終了していないと判定した場合（ステップＳ１７；Ｎｏ）には、処理をＳ１４に戻し、引き続きステップＳ１４～Ｓ１７の処理を実行する。また、制御装置２０は、資料の説明が終了したと判定した場合（ステップＳ１７；Ｙｅｓ）には、本処理を終了する。

【0052】

［第二実施形態］
図７および図８を参照しながら、本実施形態に係る進行速度判定装置１０について説明する。図７は、第二実施形態に係る進行速度判定制御装置における処理の流れの一例を示すフローチャートである。図８は、表示部に表示された文書における説明者の発話位置と聴取者の視線集中位置との一例を示す図である。進行速度判定装置１０は、基本的な構成は第一実施形態の進行速度判定装置１０と同様である。以下の説明においては、進行速度判定装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。この第二実施形態では、説明者の発話位置と聴取者の視線集中位置との差分の大きさにより、説明状況提示部２９が説明者に対して提示（フィードバック）される説明状況を変更する点で、上述した第一実施形態と異なる。

【0053】

次に、図７を用いて、制御装置２０における処理の流れについて説明する。図７に示すステップＳ２１からステップＳ２４、ステップＳ２７からＳ２９の処理は、図５に示すフローチャートのステップＳ１１からステップＳ１７と同様の処理を行う。

【0054】

ステップＳ２４において、制御装置２０が、発話位置と視線集中位置とに差異が発生していると判定した場合（ステップＳ２４；Ｙｅｓ）、制御装置２０は、説明状況提示部２９により、発話位置と視線集中位置との差異が資料の縦方向（Ｙ方向；第２方向）に生じているか否かを判定する（ステップＳ２５）。図８の例では、表示部１２に表示されたテキスト文書１００において、説明者の発話位置１０２を「〇〇〇〇」と示し、視線集中位置１０３Ｃを「ＢＢＢＢ」と示す。また、別の視線集中位置１０３Ｄを「ＡＡＡＡ」と示す。この図８の例では、発話位置１０２と視線集中位置１０３Ｃ（１０３Ｄ）とは、異なる行１０１上にあるものとする。図８に示すように、表示部１２に表示される資料は、横方向（Ｘ方向；第１方向）に書かれたテキスト文書１００である。このため、発話位置１０２と視線集中位置１０３Ｃ（１０３Ｄ）とに差異が縦方向（Ｙ方向）に生じた場合には、この差異が、図６に示すような横方向（Ｘ方向）に生じた場合よりも差異が大きいこととなる。

【0055】

このため、制御装置２０は、発話位置と視線集中位置との差異が資料の縦方向（Ｙ方向；第２方向）に生じていると判定した場合（ステップＳ２５；Ｙｅｓ）、制御装置２０は、説明者の発話位置に対して、聴取者の視線集中位置がより大きく先行または遅延していることを説明者に通知する（ステップＳ２６）。具体的には、説明状況提示部２９は、図８に示すように、聴取者の視線集中位置１０３Ｄが、説明者の発話位置１０２よりも縦方向（Ｙ方向）に遅延している場合には、聴取者の説明の理解度が説明に追いついておらず、依然としてすでに説明された部分を読んでいると推定されるため、説明者の説明の速度（説明状況）がかなり速いと推定される。このため、制御装置２０は、表示制御部２５により、表示部１２に「説明がかなり早いです」と、説明者に対して説明速度を十分に遅くするメッセージ１０５を表示する。また、説明状況提示部２９は、聴取者の視線集中位置１０３Ｃが、説明者の発話位置１０２よりも縦方向（Ｙ方向）に先行している場合には、聴取者は説明を十分に理解して、説明を待たずに先を読んでいると推定されるため、説明者の説明の速度（説明状況）がかなり遅いと推定される。このため、制御装置２０は、表示制御部２５により、表示部１２に「説明がかなり遅いです」と、説明者に説明速度を十分に速める旨のメッセージ１０５を表示する。これにより、説明者の説明の速度が聴取者の理解度に対して、速いか否かをリアルタイムに説明者に伝える（フィードバックする）ことができるため、聴取者に対して、説明者が適切な位置の説明を行うことができる。

【0056】

また、制御装置２０は、発話位置と視線集中位置との差異が資料の縦方向（Ｙ方向；第２方向）に生じていないと判定した場合（ステップＳ２５；Ｎｏ）には、同一行１０１での差異であるため、制御装置２０は、ステップＳ２７へ進んで、図４のステップＳ１５と同様な処理を実行する。

【0057】

上述したように、本実施形態に係る進行速度判定制御装置２０は、表示部１２に表示される資料の内容および資料の内容に対応する表示位置を解析する資料解析部２１と、資料の説明者が発話した音声を認識する音声認識部２２と、資料の聴取者の視線を検出する視線検出部２７と、資料解析部２１が解析した資料の内容に対し、音声認識部２２が認識した音声に対応した表示位置を発話位置として取得する発話位置取得部２６と、視線検出部２７の検出結果に基づき、資料における聴取者の視線が集中している視線集中位置を特定する特定部２８と、発話位置取得部２６が取得した発話位置と特定部２８が特定した視線集中位置との差異に基づき、説明者に対して説明状況を提示する説明状況提示部２９と、を備える。この構成によれば、説明者の発話位置と聴取者の視線集中位置との差異から、聴取者が説明者の説明を理解できているか否かを推定することができる。このため、説明者の説明が聴取者に理解されているかをリアルタイムに説明者に伝える（フィードバックする）ことができるため、聴取者に対して、説明者が適切な位置の説明を行うことができる。

【0058】

また、本実施形態に係る進行速度判定制御装置２０において、説明状況提示部２９は、特定部２８が特定した視線集中位置と、発話位置取得部２６が取得した発話位置との差異に基づき、説明者による説明が聴取者の理解に対して先行しているか遅延していることを示す説明状況を説明者に提示する。この構成によれば、説明者の説明の速度が聴取者の理解度に対して、速いか否かをリアルタイムに説明者に伝える（フィードバックする）ことができるため、聴取者に対して、説明者が適切な位置の説明を行うことができる。

【0059】

また、本実施形態に係る進行速度判定制御装置２０において、説明状況提示部２９は、視線集中位置に対する発話位置の差異が、資料における文書の記載方向に沿った横方向（Ｘ方向）に先行または遅延している場合に比べて、横方向に直交する縦方向（Ｙ方向）に先行または遅延している場合は、より大きい先行または遅延であると判断する。この構成によれば、説明者の説明の速度が聴取者の理解度に対して、過剰に速いまたは遅いことをリアルタイムに説明者に伝える（フィードバックする）ことができるため、聴取者に対して、説明者が適切な位置の説明を行うことができる。

【0060】

本実施形態に係る進行速度判定制御装置２０において、資料解析部２１は、表示部１２に表示される資料の内容および資料の内容に対応する表示位置を、複数のブロックごとに解析し、発話位置取得部２６は、資料解析部２１が解析した資料の内容に対する、音声認識部２２が認識した発話に対応したブロックを発話位置として取得し、特定部２８は、視線検出部２７の検出結果に基づき、資料における聴取者の視線が集中しているブロックを特定してもよい。この構成によれば、発話位置および視線集中位置を精度良く取得または特定する必要がないため、聴取者に対する、説明者の適切な位置の説明を簡易的に行うことができる。

【0061】

本開示に係る進行速度判定装置は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。

【0062】

図示した進行速度判定装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0063】

進行速度判定制御装置２０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上述した実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ソフトウェアのみ、または、ソフトウェアとハードウェアとの組み合わせによって種々の形で実現できる。

【0064】

上述した各実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上述した構成は適宜組み合わせが可能である。例えば、ＷＥＢ会議とリアル会議とを組み合わせた会議において実現されてもよい。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0065】

上述した実施形態における資料解析部２１は、資料の内容および資料の内容に対応する表示位置の解析を、該資料１ページごと行っていたが、これに限るものではなく、全ページをまとめて解析する構成としてもよい。また、上述した各実施形態では、資料として横書きのテキスト文書を例示したが、縦書きのテキスト文書や、図面を羅列した資料であってもよい。

【符号の説明】

【0066】

１０ 進行速度判定装置
１１ マイクロフォン
１２ 表示部
１４ カメラ
１５ 通信部
２０ 進行速度判定制御装置（制御装置）
２１ 資料解析部
２２ 音声認識部
２６ 発話位置取得部
２７ 視線検出部
２８ 特定部
２９ 説明状況提示部
１００ テキスト文書
１０１ 行
１０２ 発話位置
１０３Ａ、１０３Ｂ、１０３Ｃ、１０３Ｄ 視線集中位置
１０５ メッセージ
Ｂ１、Ｂ２、Ｂ３ ブロック（区画）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】