特開 2023-178102 情報表示制御装置および情報表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178102

(43)【公開日】2023-12-14

(54)【発明の名称】情報表示制御装置および情報表示方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20231207BHJP

   H04N 21/439 20110101ALI20231207BHJP

   G10L 15/10 20060101ALI20231207BHJP

【ＦＩ】

H04N7/15

H04N21/439

G10L15/10 200W

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022091170

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】糟谷 純一

(72)【発明者】

【氏名】楠美 麻梨子

(72)【発明者】

【氏名】小池 博一

(72)【発明者】

【氏名】中村 功大

(72)【発明者】

【氏名】櫻田 雄大

(72)【発明者】

【氏名】渡辺 廉

(72)【発明者】

【氏名】内田 早紀

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164PA44

5C164UB08P

5C164UB81S

5C164VA06S

5C164VA07P

5C164VA51P

(57)【要約】

【課題】複数人数での発話内容に基づくキーワードから、適切に参照情報を表示させること。
【解決手段】制御装置２０は、少なくとも発話によるコミュニケーションに参加している複数の参加者の発話を認識する発話認識部２１と、複数の参加者における、主となる発言者を特定する特定部２２と、発話認識部２１が認識した発話から、参照情報を要するキーワードを抽出する抽出部２６と、抽出部２６が抽出したキーワードに対する参照情報を取得する情報取得部２７と、情報取得部２７が取得した参照情報を表示する表示制御部２８と、を備え、表示制御部２８は、参照情報を表示する条件を、主となる発言者の発話に基づくキーワードに対して重み付けを行って表示する。
【選択図】図３

【特許請求の範囲】

【請求項1】

少なくとも発話によるコミュニケーションに参加している複数の参加者の発話を認識する発話認識部と、
前記複数の参加者における、主となる発言者を特定する特定部と、
前記発話認識部が認識した発話から、参照情報を要するキーワードを抽出する抽出部と、
前記抽出部が抽出した前記キーワードに対する前記参照情報を取得する情報取得部と、
前記情報取得部が取得した前記参照情報を表示する表示制御部と、
を備え、
前記表示制御部は、前記参照情報を表示する条件を、前記主となる発言者の発話に基づくキーワードに対して重み付けを行って表示する、
情報表示制御装置。

【請求項2】

前記表示制御部は、前記主となる発言者の発話に基づくキーワードに対する前記参照情報である場合は、他の発言者の発話に基づくキーワードに対する前記参照情報である場合と表示態様を変えて表示する、
請求項１に記載の情報表示制御装置。

【請求項3】

前記表示制御部は、前記参照情報を表示する時間を、前記主となる発言者の発話に基づくキーワードに対する前記参照情報である場合は、他の発言者の発話に基づくキーワードに対する前記参照情報である場合に対して長い時間、表示する、
請求項２に記載の情報表示制御装置。

【請求項4】

前記表示制御部は、前記参照情報を表示する情報量を、前記主となる発言者の発話に基づくキーワードに対する前記参照情報である場合は、他の発言者の発話に基づくキーワードに対する前記参照情報である場合に対して多く表示する、
請求項２に記載の情報表示制御装置。

【請求項5】

少なくとも発話によるコミュニケーションに参加している複数の参加者の発話を認識する発話認識ステップと、
前記複数の参加者における、主となる発言者を特定する特定ステップと、
前記発話認識ステップで認識した発話から、参照情報を要するキーワードを抽出する抽出ステップと、
前記抽出ステップで抽出した前記キーワードに対する前記参照情報を取得する情報取得ステップと、
前記情報取得ステップで取得した前記参照情報を表示する表示ステップと、
を含み、
前記表示ステップにおいては、前記参照情報を表示する条件を、前記主となる発言者の発話に基づくキーワードに対して重み付けを行って表示する、
情報表示制御装置が実行する情報表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報表示制御装置および情報表示方法に関する。

【背景技術】

【0002】

会議や会話において、相手が発言した語句の付加的情報を表示する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－００７００３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数人数が発言する会議または会話などにおいては、様々な発言者の発言に基づく付加情報などの参照情報が多数表示される。このような場合、表示された情報を見ることにより、会議または会話における発言の聴取が疎かになるおそれがある。

【0005】

本開示は、上記に鑑みてなされたものであって、複数人数での発話内容に基づくキーワードから、適切に参照情報を表示させることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係る情報表示制御装置は、少なくとも発話によるコミュニケーションに参加している複数の参加者の発話を認識する発話認識部と、前記複数の参加者における、主となる発言者を特定する特定部と、前記発話認識部が認識した発話から、参照情報を要するキーワードを抽出する抽出部と、前記抽出部が抽出した前記キーワードに対する前記参照情報を取得する情報取得部と、前記情報取得部が取得した前記参照情報を表示する表示制御部と、を備え、前記表示制御部は、前記参照情報を表示する条件を、前記主となる発言者の発話に基づくキーワードに対して重み付けを行って表示する。

【0007】

本開示に係る情報表示方法は、少なくとも発話によるコミュニケーションに参加している複数の参加者の発話を認識する発話認識ステップと、前記複数の参加者における、主となる発言者を特定する特定ステップと、前記発話認識ステップで認識した発話から、参照情報を要するキーワードを抽出する抽出ステップと、前記抽出ステップで抽出した前記キーワードに対する前記参照情報を取得する情報取得ステップと、前記情報取得ステップで取得した前記参照情報を表示する表示ステップと、を含み、前記表示ステップにおいては、前記参照情報を表示する条件を、前記主となる発言者の発話に基づくキーワードに対して重み付けを行って表示する。

【発明の効果】

【0008】

本開示によれば、複数人数での発話内容に基づくキーワードから、適切に参照情報を表示させることができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、情報表示装置の使用例の一例を示す概略図である。

【図2】図２は、情報表示装置の使用例の他の例を示す概略図である。

【図3】図３は、第一実施形態に係る情報表示制御装置を有する情報表示装置の構成例を示すブロック図である。

【図4】図４は、キーワード情報の一例を示す図である。

【図5】図５は、キーワードの必要性レベルを説明する図である。

【図6】図６は、第一実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。

【図7】図７は、第二実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。

【図8】図８は、第三実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本開示に係る情報表示制御装置および情報表示方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
＜情報表示装置＞
図１は、情報表示装置の使用例の一例を示す概略図である。図２は、情報表示装置の使用例の他の例を示す概略図である。図３は、第一実施形態に係る情報表示制御装置（以下、「制御装置」という。）２０を有する情報表示装置１０の構成例を示すブロック図である。情報表示装置１０は、例えば、会議または会話のような、少なくとも発話によるコミュニケーションにおいて、参加者の発話に含まれるキーワードの参照情報を表示する。

【0012】

図１に示すように、情報表示装置１０は、複数人数の参加者が１か所に集まって行われる会議（以下、「リアル会議」という。）または会話において使用される。この場合に使用される情報表示装置１０は、例えば、参加者が使用するスマートフォンのような情報端末装置の機能の１つとして実装されていてもよい。図１に示すリアル会議は、発表者Ｍ１１と、他の参加者Ｍ１２、他の参加者Ｍ１３、他の参加者Ｍ１４および他の参加者Ｍ１５が参加している。他の参加者Ｍ１５は、情報表示装置１０を使用している。

【0013】

図２に示すように、情報表示装置１０は、複数人数の参加者が参加して、オンラインで行われる会議（以下、「ＷＥＢ会議」という。）または会話において使用される。この場合に使用される情報表示装置１０は、例えば、図示しないＷＥＢ会議システムを介してオンラインのＷＥＢ会議または会話に参加する際に使用されるノート型のパーソナルコンピュータやスマートフォンのような情報端末装置の機能の１つとして実装されていてもよい。

【0014】

以下の説明では、リアル会議またはＷＥＢ会議のどちらかの会議において使用される場合について説明する。リアル会議とＷＥＢ会議との区別を特に要しない場合、会議という。

【0015】

情報表示装置１０は、会議において、複数人数での発話内容に基づくキーワードを、主発言者の発話に対して重み付けを行って抽出する。情報表示装置１０は、図３に示すように、マイクロフォン１１と、表示部１２と、キーワード情報記憶部１８と、通信部１９と、制御装置２０とを備える。ＷＥＢ会議に使用する情報表示装置１０は、さらに図示しないカメラを備える。

【0016】

マイクロフォン１１は、情報表示装置１０を使用している会議の参加者の音声を収音するマイクロフォンである。マイクロフォン１１は、収音した音声データを制御装置２０の発話認識部２１に出力する。図１に示すように、リアル会議に使用される情報表示装置１０である場合、マイクロフォン１１は、発言者の音声を収音する。図２に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、マイクロフォン１１は、情報表示装置１０を使用する参加者自身の音声を収音する。

【0017】

表示部１２は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１２は、制御装置２０の表示制御部２８から出力された映像信号に基づいて、映像を表示する。

【0018】

表示部１２には、会議の参加者の発話に含まれるキーワードに対応する参照情報が表示される。表示部１２において参照情報が表示される範囲を、参照情報表示範囲１１０という。図１に示すように、リアル会議に使用される情報表示装置１０である場合、参照情報表示範囲１１０は、表示部１２の全面に表示されてもよい。図２に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、参照情報表示範囲１１０は、表示部１２の一部、例えば、下部、上部、左側部または右側部に表示されてもよい。ＷＥＢ会議に使用される情報表示装置１０である場合、参照情報表示範囲１１０は、表示部１２にポップアップ表示されてもよい。参照情報表示範囲１１０は、例えば、３行以下程度の文字が表示される範囲である。

【0019】

図２に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、表示部１２は、参加者の映像、および、画面共有された資料などが表示される。表示部１２は、例えば、主となる発言者（以下、「主発言者」という。）の映像１０１が、他の参加者の映像１０２、映像１０３より大きく表示される。

【0020】

キーワード情報記憶部１８は、キーワード情報として、キーワードごとに参照情報を記憶する。キーワード情報記憶部１８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子などの記録媒体である。キーワード情報記憶部１８は、通信部１９を介して無線接続される外部記録部であってもよい。

【0021】

キーワード情報記憶部１８は、キーワード情報として、キーワードごとに、必要性レベルおよび参照情報を記憶する。必要性レベルとは、キーワード毎に対する参照情報の表示が必要となる指針を示すレベルであり、例えば、難解性レベルおよび周知性レベルなどを含む。

【0022】

キーワードは、補足的に説明を行うことが必要とされる単語である。キーワードは、例えば、一般的に知られていない語句、専門用語、略語、難解語および流行語などである。難解性レベルは、難解語であるキーワードの難解性を示す。難解性レベルは、例えば、１から５までの数値によって５段階で示される。難解性レベルは、難解性が高いほど、つまり難解な単語であるほど数値が大きくなる。周知性レベルは、一般的に知られていない語句、専門用語、略語などのキーワードにおける周知性を示す。周知性レベルは、例えば、１から５までの数値によって５段階で示される。周知性レベルは、周知性が高いほど、つまり周知されている単語であるほど数値が大きくなる。

【0023】

参照情報は、例えば、キーワードの意味、具体的な説明説明である。キーワードが略語の場合、参照情報は、略していない正式名称でもよい。なお、説明は、文字以外に、例えば、写真または図などでもよい。参照情報は、例えば、キーワードの付加的な情報である付加情報でもよい。

【0024】

参照情報は、人が数秒程度で読むことが可能な、例えば１００文字以下程度の文字数としてもよい。

【0025】

図４は、キーワード情報の一例を示す図である。図４に示すキーワード情報は、キーワードごとに、必要性レベルが記憶され、キーワードに基づき、参照情報が検索される。参照情報は、後述する通信部１９を用いて検索される情報に加えて、予め記憶されていてもよい。例えば、キーワード「○○○」については、難解性レベル「５」、周知性レベル「１」、参照情報「○・・・○」と記憶されている。例えば、キーワード「△△△」については、難解性レベル「３」、周知性レベル「５」、参照情報「△・・・△」と記憶されている。

【0026】

図４の例においては、例えば、様々なキーワードに対して５段階の必要性レベルが対応付けられている。この場合において、必要性レベルの一例である難解性レベルは、難解性レベル「１」が、難解性が低いことを示しており、言い換えると、分かりやすいキーワードである。また、難解性レベル「５」が、難解性が高いことを示しており、言い換えると、容易に理解できないキーワードである。また、必要性レベルの一例である周知性レベルは、周知性レベル「１」が、周知性が低いことを示しており、言い換えると、一般的に周知されていないキーワードである。また、周知性レベル「５」が、周知性が高いことを示しており、言い換えると、一般的に良く周知されているキーワードである。

【0027】

参照情報が、通信部１９によってＷＥＢ上で検索される場合は、例えば、キーワードに対するウィキペディア（登録商標）のような特定のＷＥＢメディアによる情報、キーワードに関する最新のニュースなどが検索される。また、キーワードが商品名やサービス名である場合は、その商品やサービスを提供する提供元のＷＥＢサイトなどが検索される。さらには、ＷＥＢ上のサーチエンジンによって検索された結果に対し、広告を除く最上位に表示される内容を参照情報としてもよい。

【0028】

通信部１９は、無線通信などを行うための通信ユニットである。通信部１９は、例えば、Ｗｉ－Ｆｉ（登録商標）や携帯電話回線などを用いた通信方法で通信を行い、イントラネットやインターネットに接続される。通信部１９は、制御装置２０の通信制御部２９によって通信を制御される。図１に示すように、リアル会議に使用される情報表示装置１０である場合、通信部１９は、外部記録部であるキーワード情報記憶部１８からキーワード情報を取得や、参照情報の検索を行う。図２に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、通信部１９は、他の参加者が使用する情報表示装置１０との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行う。より詳しくは、通信部１９は、マイクロフォン１１で収音した参加者の音声、および、カメラで撮影した参加者の映像を、他の参加者が使用する情報表示装置１０へ送信する。通信部１９は、他の参加者が使用する情報表示装置１０から、他の参加者の音声および映像を受信する。

【0029】

以下の説明において、入力された音声とは、リアル会議に使用される情報表示装置１０である場合、マイクロフォン１１で収音した音声である。入力された音声とは、ＷＥＢ会議に使用される情報表示装置１０である場合、マイクロフォン１１で収音した音声、および、通信部１９を介して取得した、他の参加者が使用する情報表示装置１０から取得した他の参加者の音声である。

【0030】

＜情報表示制御装置＞
制御装置２０は、情報表示装置１０の各部を制御する。制御装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）であり、ＲＡＭ又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置を有する。制御装置２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置２０には上述したＲＡＭなどの内部メモリが含まれ、内部メモリは制御装置２０におけるデータの一時記憶などに用いられる。制御装置２０は、プログラムの実行によって実現される機能ブロックなどの構成要素として、発話認識部２１と、特定部２２と、抽出部２６と、情報取得部２７と、表示制御部２８と、通信制御部２９とを有する。

【0031】

発話認識部２１は、少なくとも発話によるコミュニケーションに参加している複数の参加者の発話を認識する。発話認識部２１は、入力された音声を分析し、音声に含まれる発話内容を認識する。発話認識部２１は、入力された音声に対して、音素毎または単語毎の音響モデル分析を行い、音素モデルや言語モデルとの対比を行うことで、発話内容を認識する。

【0032】

特定部２２は、複数の参加者における、主発言者を特定する。特定部２２は、例えば、ＷＥＢ会議またはリアル会議における、ファシリテータ、発表者、リーダー、または、会議の主催者のような主たる参加者を主発言者として特定してもよい。

【0033】

特定部２２は、入力された音声から、例えば、ＷＥＢ会議またはリアル会議において最初に発言した人、または、最初に例えば１０秒以上のように所定時間以上発言した人を、主発言者として特定してもよい。特定部２２は、入力された音声から、例えば、リアル会議の場合、リアル会議において最初に発言した人の声の特徴を声紋分析などによって特定して、主発言者として特定してもよい。

【0034】

特定部２２は、例えば、ＷＥＢ会議の場合、ＷＥＢ会議システムから取得したＷＥＢ会議の開催情報から、ＷＥＢ会議を招集した人を主発言者として特定してもよい。特定部２２は、リアル会議の場合、参加者のメール情報またはスケジュール情報などからリアル会議の開催情報を取得して、主発言者を特定してもよい。

【0035】

特定部２２は、ＷＥＢ会議の場合、ＷＥＢ会議システムから取得した情報から、画面共有、つまり発言するための資料などの表示を共有している人を主発言者として特定してもよい。

【0036】

特定部２２は、ＷＥＢ会議の場合、ＷＥＢ会議システムから取得した情報から、発言するために発言ボタンまたは挙手ボタンなどの所定の操作を行った人を、主発言者として特定してもよい。

【0037】

特定部２２は、ＷＥＢ会議の場合、図２に示す映像１０１のように、最も大きく映像が表示されている他の参加者を、主発言者として特定してもよい。

【0038】

特定部２２は、リアル会議の場合、カメラが撮影した参加者の映像から、立ち上がっている人、挙手した人、または、ホワイトボードまたはプロジェクタによって投影された投影画面の前に立っている人などを主発言者として特定してもよい。

【0039】

抽出部２６は、発話認識部２１が認識した発話から、参照情報を要するキーワードを抽出する。抽出部２６は、キーワードを抽出する条件を、主発言者の発話に対して重み付けを行って抽出する。より詳しくは、抽出部２６は、主発言者の発話を、主発言者以外の他の発言者の発話よりも優先して、言い換えると、主発言者の発話の重みを重くしてキーワードを抽出する。

【0040】

主発言者は、他の発言者に比べて、会議の議題に沿った、重要な発言を行うことが多い。そこで、主発言者の発話を、主発言者以外の他の発言者の発話よりも優先してキーワードを抽出することにより、会議の内容の理解に重要なキーワードを優先的に抽出する。

【0041】

抽出部２６は、抽出部２６によって抽出されるキーワードが、特定部２２によって特定された主発言者の声の特徴に一致するか否かによって、抽出されたキーワードが主発言者による発話であるか否かを判定すればよい。

【0042】

本実施形態では、抽出部２６は、発話認識部２１が認識した発話から抽出したキーワードに対する参照情報の必要性レベルに応じて、参照情報を要するキーワードとして抽出してもよい。より詳しくは、抽出部２６は、発話認識部２１が認識した発話から抽出したキーワードに対する参照情報の必要性レベルが所定の閾値以上である場合、参照情報を要するキーワードとして抽出する。抽出部２６は、主発言者の発話に基づくキーワードである場合、主発言者以外の他の発言者に対して必要性レベルの閾値を低くする。

【0043】

図５は、キーワードにおける参照情報の必要性レベルおよび必要レベルの一例である難解性レベルと周知性レベルを説明する図である。抽出部２６は、発話認識部２１が認識した発話から抽出したキーワードに対する参照情報の必要性レベルが閾値ｔ１以上である場合、参照情報を要するキーワードとして抽出する。抽出部２６は、主発言者の発話に基づくキーワードである場合、抽出したキーワードに対する参照情報の必要性レベルが閾値ｔ２（ｔ２＜ｔ１）以上である場合、参照情報を要するキーワードとして抽出する。例えば、必要性レベルが図５に示すように５段階に分類されている場合、抽出部２６は、主発言者の発話に基づくキーワードに対して、必要性レベルが例えば３以上である場合、参照情報を要するキーワードとして抽出し、主発言者以外の発話に基づくキーワードに対して、必要性レベルが例えば４以上である場合、参照情報を要するキーワードとして抽出する。

【0044】

本実施形態では、抽出部２６は、発話認識部２１が認識した発話から抽出したキーワードに対する参照情報の必要性レベルとして難解性レベルが所定閾値以上である場合、参照情報を要するキーワードとして抽出してもよい。例えば、難解性レベルが図５に示すように５段階に分類されている場合、抽出部２６は、主発言者の発話に基づくキーワードに対して、難解性レベルが例えば３以上である場合、参照情報を要するキーワードとして抽出し、主発言者以外の発話に基づくキーワードに対して、難解性レベルが例えば４以上である場合、参照情報を要するキーワードとして抽出する。言い換えると、主発言者の発話に基づくキーワードにおいては、難解性レベルが低いキーワード、つまり、より難解ではないキーワードも含めて、参照情報を要するキーワードとする。

【0045】

本実施形態では、抽出部２６は、発話認識部２１が認識した発話から抽出したキーワードに対する参照情報の必要性レベルとして周知性レベルが所定閾値未満である場合、参照情報を要するキーワードとして抽出してもよい。例えば、周知性レベルが図５に示すように５段階に分類されている場合、抽出部２６は、周知性レベルが例えば３未満である場合、参照情報を要するキーワードとして抽出する。抽出部２６は、主発言者の発話に基づくキーワードに対して、周知性レベルが例えば３以下である場合、参照情報を要するキーワードとして抽出し、主発言者以外の発話に基づくキーワードに対して、周知性レベルが例えば２以下である場合、参照情報を要するキーワードとして抽出する。言い換えると、主発言者の発話に基づくキーワードにおいては、周知性レベルが高いキーワード、つまり、より周知されているキーワードも含めて、参照情報を要するキーワードとする。

【0046】

図５において、難解性レベルが閾値ｔ１以上であることは、必要性レベルが閾値ｔ１以上であることに対応し、難解性レベルが閾値ｔ２以上であることは、必要性レベルが閾値ｔ２以上であることに対応する。また、周知性レベルが閾値ｔ１以下であることは、必要性レベルが閾値ｔ１以上であることに対応し、周知性レベルが閾値ｔ２以下であることは、必要性レベルが閾値ｔ２以上であることに対応する。

【0047】

情報取得部２７は、抽出部２６が抽出したキーワード、つまり、抽出部２６が参照情報を要すると判断したキーワードに対する参照情報を取得する。本実施形態では、情報取得部２７は、ＷＥＢ上の情報に基づき、キーワードに対する参照情報を取得する。

【0048】

表示制御部２８は、表示部１２における映像の表示を制御する。表示制御部２８は、表示部１２に対して映像の映像信号を出力する。

【0049】

表示制御部２８は、情報取得部２７が取得した参照情報の表示部１２への表示を制御する。表示制御部２８は、抽出部２６によって抽出されたキーワードに対応する参照情報を表示部１２の参照情報表示範囲１１０に表示するための映像信号を出力する。表示制御部２８は、参照情報を、例えば５秒から１０秒間程度の所定期間表示する。表示制御部２８は、参照情報を表示中に、次の参照情報を表示する場合、所定期間の経過前でも次の参照情報に表示を変えてもよい。表示制御部２８は、参照情報を表示中に、次の参照情報を表示する場合、例えば、必要性レベルが高い参照情報を表示してもよい。

【0050】

ＷＥＢ会議に使用される情報表示装置１０である場合、表示制御部２８は、ＷＥＢ会議の映像の表示を制御する。表示制御部２８は、カメラが撮影している映像を含むＷＥＢ会議の映像の映像信号を出力する。

【0051】

通信制御部２９は、通信部１９による通信を制御する。図１に示すように、リアル会議に使用される情報表示装置１０である場合、通信制御部２９は、通信部１９を介して、外部記録部であるキーワード情報記憶部１８からキーワード情報の受信や、参照情報の検索を行うよう制御する。図２に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、通信制御部２９は、通信部１９を介して、他の参加者が使用する情報表示装置１０との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行うよう制御する。より詳しくは、通信制御部２９は、通信部１９を介して、マイクロフォン１１で収音した参加者の音声、および、カメラで撮影した参加者の映像を、他の参加者が使用する情報表示装置１０へ送信するよう制御する。通信制御部２９は、通信部１９を介して、他の参加者が使用する情報表示装置１０から、他の参加者の音声および映像を受信するよう制御する。

【0052】

＜情報表示制御装置における情報処理＞
次に、図６を用いて、制御装置２０における処理の流れについて説明する。図６に示す処理は、図１に示すように、リアル会議に使用される情報表示装置１０である場合、参照情報を表示させるためのアプリケーションを起動することで開始される。図２に示すように、ＷＥＢ会議に使用される情報表示装置１０である場合、ＷＥＢ会議を行うアプリケーションの起動、またはＷＥＢ会議の開始によって開始される。この場合、ＷＥＢ会議を行うアプリケーションに、参照情報を表示させる機能が含まれていてもよく、ユーザの操作によって、参照情報を表示させる機能のオン／オフを選択可能としてもよい。情報表示装置１０が起動されることで、図６に示すフローチャートの処理が開始される。

【0053】

制御装置２０は、主発言者を特定する（ステップＳ１０１）。より詳しくは、制御装置２０は、特定部２２によって、例えば、入力された音声から、ファシリテータ、発表者、リーダー、または、会議の主催者のような主たる参加者を主発言者として特定する。なお、主発言者を特定する方法はこれに限定されない。制御装置２０は、ステップＳ１０２へ進む。

【0054】

制御装置２０は、発話認識を開始する（ステップＳ１０２）。より詳しくは、制御装置２０は、発話認識部２１によって、入力された音声を分析し、音声に含まれる発話内容を認識する。制御装置２０は、ステップＳ１０３へ進む。

【0055】

制御装置２０は、キーワードが抽出されたか否かを判定する（ステップＳ１０３）。より詳しくは、制御装置２０は、抽出部２６によって、発話認識部２１が認識した発話から、参照情報を要するキーワードを抽出する。制御装置２０は、抽出部２６によって、発話認識部２１が認識した発話から抽出したキーワードに対する参照情報の必要性レベルが所定の閾値以上である場合、参照情報を要するキーワードとして抽出する。制御装置２０は、キーワードが抽出されたと判定する場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０４へ進む。制御装置２０は、キーワードが抽出されたと判定しない場合（ステップＳ１０３でＮｏ）、ステップＳ１０８へ進む。

【0056】

キーワードが抽出されたと判定する場合（ステップＳ１０３でＹｅｓ）、制御装置２０は、抽出されたキーワードは主発言者による発話であるか否かを判定する（ステップＳ１０４）。より詳しくは、制御装置２０は、抽出部２６によって、抽出されたキーワードが、特定部２２により特定された主発言者の声の特徴に一致するか否かに基づいて、抽出されたキーワードが主発言者による発話であるか否かを判定する。制御装置２０は、抽出されたキーワードは主発言者による発話であると判定する場合（ステップＳ１０４でＹｅｓ）、ステップＳ１０６へ進む。制御装置２０は、抽出されたキーワードは主発言者による発話であると判定しない場合（ステップＳ１０４でＮｏ）、ステップＳ１０５へ進む。

【0057】

抽出されたキーワードは主発言者による発話であると判定しない場合（ステップＳ１０４でＮｏ）、制御装置２０は、抽出されたキーワードの参照情報の必要性レベルが閾値ｔ１以上であるか否かを判定する（ステップＳ１０５）。より詳しくは、制御装置２０は、情報取得部２７によって、キーワード情報記憶部１８のキーワード情報から、抽出部２６が抽出したキーワードに対する参照情報の必要性レベルを取得する。このように、制御装置２０は、抽出部２６によって、主発言者の発話に基づくキーワードである場合、主発言者以外の他の発言者に対して閾値を低くして参照情報を要するキーワードとして抽出する。制御装置２０は、抽出されたキーワードの参照情報の必要性レベルが閾値ｔ１以上であると判定する場合（ステップＳ１０５でＹｅｓ）、ステップＳ１０７へ進む。制御装置２０は、抽出されたキーワードの参照情報の必要性レベルが閾値ｔ１以上であると判定しない場合（ステップＳ１０５でＮｏ）、ステップＳ１０８へ進む。

【0058】

抽出されたキーワードは主発言者による発話であると判定する場合（ステップＳ１０４でＹｅｓ）、制御装置２０は、抽出されたキーワードの参照情報の必要性レベルが閾値ｔ２以上であるか否かを判定する（ステップＳ１０６）。より詳しくは、制御装置２０は、情報取得部２７によって、キーワード情報記憶部１８のキーワード情報から、抽出部２６が抽出したキーワードに対する参照情報の必要性レベルを取得する。制御装置２０は、抽出されたキーワードの参照情報の必要性レベルが閾値ｔ２以上であると判定する場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７へ進む。制御装置２０は、抽出されたキーワードの参照情報の必要性レベルが閾値ｔ２以上であると判定しない場合（ステップＳ１０６でＮｏ）、ステップＳ１０８へ進む。

【0059】

制御装置２０は、参照情報を取得して、所定期間表示する（ステップＳ１０７）。より詳しくは、制御装置２０は、情報取得部２７によって、キーワード情報記憶部１８のキーワード情報から、抽出部２６が抽出したキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する参照情報の映像信号を所定期間出力する。制御装置２０は、ステップＳ１０８へ進む。

【0060】

制御装置２０は、処理を終了するか否かを判定する（ステップＳ１０８）。例えば、情報表示装置１０の電源がＯＦＦにされたことや、図示しない操作部の操作がされたことなどで、図６に示すフローチャートを開始するトリガとなったアプリケーションなどを終了させる操作が行われたことで、処理を終了することが判定される。制御装置２０は、処理を終了すると判定された場合（ステップＳ１０８でＹｅｓ）、本処理を終了する。制御装置２０は、処理を終了すると判定されない場合（ステップＳ１０８でＮｏ）、ステップＳ１０３の処理を再度実行する。

【0061】

ステップＳ１０５、ステップＳ１０６において、必要性レベルとして難解性レベルが所定閾値以上であるか否かを条件にする場合について説明する。難解性レベルを示す数値が大きいほど難解となる５段階で、様々なキーワードに難解性レベルが対応付けられている場合、ステップＳ１０５においては、制御装置２０は、抽出されたキーワードの参照情報の難解性レベルが４以上であるか否かを判定する。ステップＳ１０６においては、制御装置２０は、抽出されたキーワードの参照情報の難解性レベルが３以上であるか否かを判定する。

【0062】

ステップＳ１０５、ステップＳ１０６において、必要性レベルとして周知性レベルが所定閾値未満であるか否かを条件にする場合について説明する。周知性レベルを示す数値が大きいほど周知となる５段階で、様々なキーワードに周知性レベルが対応付けられている場合、ステップＳ１０５においては、制御装置２０は、抽出されたキーワードの参照情報の周知性レベルが２以下であるか否かを判定する。ステップＳ１０６においては、制御装置２０は、抽出されたキーワードの参照情報の周知性レベルが３以下であるか否かを判定する。

【0063】

＜効果＞
上述したように、本実施形態では、キーワードを抽出する条件を、主発言者の発話に対して重み付けを行って抽出する。本実施形態によれば、複数人数での発話内容に基づくキーワードから、主発言者の発話に対して重み付けを行って適切に参照情報を表示させることができる。本実施形態は、表示される参照情報を絞ることにより、参加者が表示される参照情報の確認に時間を要し、会議における発言の聴取が疎かになる可能性を抑えることができる。

【0064】

本実施形態では、認識した発話から抽出したキーワードに対する参照情報の必要性レベルが所定の閾値以上である場合に参照情報を要するキーワードとして抽出する。本実施形態では、主発言者の発話に基づくキーワードである場合は、主発言者以外の他の発言者に対して閾値を低くしてキーワードを抽出する。本実施形態は、主発言者の発話に基づくキーワードの参照情報を、他の発言者の発話に基づくキーワードの参照情報より優先して表示することができる。本実施形態は、主発言者を優先して適切に参照情報を表示させることができる。

【0065】

本実施形態では、認識した発話から抽出したキーワードに対する参照情報の必要性レベルとして難解性レベルが所定閾値以上である場合に、参照情報を要するキーワードとして抽出する。本実施形態は、難解性レベルが高いキーワードの参照情報を適切に表示することができる。

【0066】

本実施形態では、認識した発話から抽出したキーワードに対する参照情報の必要性レベルとして周知性レベルが所定閾値以下である場合に、参照情報を要するキーワードとして抽出する。本実施形態は、周知性レベルが低いキーワードの参照情報を適切に表示することができる。

【0067】

本実施形態においては、主発言者の発話に基づくキーワードと、主発言者以外の他の発言者の発話に基づくキーワードに対して、抽出部２６が、参照情報を要するキーワードを、異なる重み付け条件で抽出する構成とした。本実施形態においては、抽出部２６に代えて、表示制御部２８が同等の機能を有する構成としてもよい。

【0068】

この場合、表示制御部２８は、キーワードを表示する条件を、主となる発言者の発話に対して重み付けを行って表示させる。表示制御部２８は、例えば、主発言者の発話に基づくキーワードの必要性レベルが閾値ｔ２以上の場合に、参照情報を表示させ、主発言者以外の他の発言者の発話に基づくキーワードの必要性レベルが閾値ｔ１以上の場合に、参照情報を表示させる処理を行う。

【0069】

この場合、図６のステップＳ１０７において、抽出部２６は、必要性レベルがｔ２以上のキーワードに対する参照情報を取得する。また、ステップＳ１０７において、表示制御部２８は、ステップＳ１０４がＹｅｓの場合、必要性レベルがｔ２以上のキーワードに対する参照情報を表示させ、ステップＳ１０４がＮｏの場合、必要性レベルがｔ１以上のキーワードに対する参照情報を表示させる。

【0070】

［第二実施形態］
図７を参照しながら、本実施形態に係る情報表示装置１０について説明する。図７は、第二実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置１０は、基本的な構成は第一実施形態の情報表示装置１０と同様である。以下の説明においては、情報表示装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、情報表示装置１０は、会議において、複数人数での発話内容に基づくキーワードから、主発言者の発話に対して重み付けを行って表示態様を変えて参照情報を表示する。本実施形態では、情報表示装置１０は、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合に対して長い時間表示する。本実施形態では、表示制御部２８における処理が第一実施形態と異なる。

【0071】

本実施形態では、キーワード情報記憶部１８は、キーワード情報として、キーワードごとに参照情報を記憶していればよい。本実施形態では、キーワード情報は必要性レベルを含まなくてよい。

【0072】

表示制御部２８は、参照情報を表示する条件を、主発言者の発話に基づくキーワードに対して重み付けを行って表示する。より詳しくは、表示制御部２８は、主発言者の発話を、主発言者以外の他の発言者の発話よりも優先して、言い換えると、主発言者の発話の重みを重くしてキーワードの参照情報を表示する。

【0073】

本実施形態では、表示制御部２８は、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合と表示態様を変えて表示する。表示制御部２８は、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合に比べて、目立つように、または、確認しやすいように表示態様を変えて表示する。

【0074】

表示態様を変えるとは、例えば、表示する時間を変えること、または、表示する情報量を変えることである。表示態様を変えるとは、例えば、表示する文字の大きさを変えること、色を変えること、または、参照情報表示範囲１１０の大きさを変えること、表示する位置を変えることでもよい。

【0075】

本実施形態では、表示制御部２８は、参照情報を表示する時間を、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合に対して長い時間表示させる。表示制御部２８は、主発言者の発話に基づくキーワードの参照情報の表示時間を例えば５秒間とし、他の発言者の発話に基づくキーワードの参照情報の表示時間を例えば３秒間として参照情報を表示する。

【0076】

主発言者は、他の発言者に比べて、会議の話題に沿った発言のような重要な発言を行うことが多い。そこで、主発言者の発話に基づくキーワードに対する参照情報を、主発言者以外の他の発言者の発話に基づくキーワードに対する参照情報よりも長い期間表示することにより、会議の内容の理解に重要なキーワードをより確認しやすくする。

【0077】

次に、図７を用いて、制御装置２０における処理の流れについて説明する。図７に示すステップＳ１１１からステップＳ１１４、ステップＳ１１７の処理は、図６に示すフローチャートのステップＳ１０１からステップＳ１０４、ステップＳ１０８と同様の処理を行う。

【0078】

抽出されたキーワードは主発言者による発話であると判定する場合（ステップＳ１１４でＹｅｓ）、制御装置２０は、参照情報を取得して、第一期間ｔｍ１（ｔｍ１＜ｔｍ２）表示する（ステップＳ１１５）。より詳しくは、制御装置２０は、情報取得部２７によって、キーワード情報記憶部１８のキーワード情報から、抽出部２６が抽出したキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する参照情報の映像信号を第一期間ｔｍ１出力する。制御装置２０は、ステップＳ１１７へ進む。

【0079】

抽出されたキーワードは主発言者による発話であると判定しない場合（ステップＳ１１４でＮｏ）、制御装置２０は、参照情報を取得して、第二期間ｔｍ２表示する（ステップＳ１１６）。より詳しくは、制御装置２０は、情報取得部２７によって、キーワード情報記憶部１８のキーワード情報から、抽出部２６が抽出したキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する参照情報の映像信号を第二期間ｔｍ２出力する。制御装置２０は、ステップＳ１１７へ進む。

【0080】

＜効果＞
上述したように、参照情報を表示する条件を、主発言者の発話に基づくキーワードに対して重み付けを行って表示する。本実施形態によれば、複数人数での発話内容に基づくキーワードから、適切に参照情報を表示させることができる。

【0081】

本実施形態では、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合と表示態様を変えて表示する。本実施形態は、主発言者の発話に基づくキーワードの参照情報を、他の発言者の発話に基づくキーワードの参照情報に比べて、例えば、確認しやすい表示態様で表示することができる。

【0082】

本実施形態では、参照情報を表示する時間を、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合に対して長い時間表示させることができる。

【0083】

［第三実施形態］
図８は、第三実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置１０は、基本的な構成は第二実施形態の情報表示装置１０と同様である。以下の説明においては、情報表示装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、情報表示装置１０は、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合に対して情報量を多く表示する。本実施形態では、表示制御部２８における処理が第二実施形態と異なる。

【0084】

本実施形態では、キーワード情報記憶部１８は、キーワード情報の参照情報は、例えば、最大情報量ｌｖ１の参照情報と、最大情報量ｌｖ２の参照情報とを記憶してもよい。この場合、例えば、最大情報量ｌｖ１の参照情報は３行程度の参照情報であり、最大情報量ｌｖ２の参照情報は１行程度の参照情報である。

【0085】

本実施形態では、表示制御部２８は、参照情報を表示する情報量（以下、「最大情報量」という。）を、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合に対して多く表示させる。表示制御部２８は、主発言者の発話に基づくキーワードの参照情報を表示する情報量を例えば最大３行（最大情報量３行）とし、他の発言者の発話に基づくキーワードの参照情報を表示する情報量を例えば最大１行（最大情報量１行）とする。

【0086】

表示制御部２８は、例えば、取得した参照情報の先頭から、最大情報量分を表示してもよい。表示制御部２８は、例えば、取得した参照情報のうち、表示する最大情報量に応じて、最大情報量ｌｖ１の参照情報または最大情報量ｌｖ２の参照情報を表示してもよい。

【0087】

主発言者は、他の発言者に比べて、会議の話題に沿った発言のような重要な発言を行うことが多い。そこで、主発言者の発話に基づくキーワードに対する参照情報を、主発言者以外の他の発言者の発話に基づくキーワードに対する参照情報よりも情報量を多く表示することにより、会議の内容の理解に重要なキーワードの理解をより深めることが可能になる。

【0088】

次に、図８を用いて、制御装置２０における処理の流れについて説明する。図８に示すステップＳ１２１からステップＳ１２４、ステップＳ１２７の処理は、図６に示すフローチャートのステップＳ１０１からステップＳ１０４、ステップＳ１０８と同様の処理を行う。

【0089】

抽出されたキーワードは主発言者による発話であると判定する場合（ステップＳ１２４でＹｅｓ）、制御装置２０は、参照情報を取得して、最大情報量ｌｖ１（ｌｖ１＜ｌｖ２）を表示する（ステップＳ１２５）。より詳しくは、制御装置２０は、情報取得部２７によって、キーワード情報記憶部１８のキーワード情報から、抽出部２６が抽出したキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する、最大情報量ｌｖ１の参照情報の映像信号を出力する。制御装置２０は、ステップＳ１２７へ進む。

【0090】

抽出されたキーワードは主発言者による発話であると判定しない場合（ステップＳ１２４でＮｏ）、制御装置２０は、参照情報を取得して、最大情報量ｌｖ２（ステップＳ１２６）。より詳しくは、制御装置２０は、情報取得部２７によって、キーワード情報記憶部１８のキーワード情報から、抽出部２６が抽出したキーワードに対する参照情報を取得する。制御装置２０は、表示制御部２８によって、抽出部２６によって抽出されたキーワードに対応する、最大情報量ｌｖ２の参照情報の映像信号を出力する。制御装置２０は、ステップＳ１２７へ進む。

【0091】

＜効果＞
上述したように、本実施形態では、参照情報を表示する情報量を、主発言者の発話に基づくキーワードに対する参照情報である場合は、他の発言者の発話に基づくキーワードに対する参照情報である場合に対して多く表示させることができる。

【0092】

本開示に係る情報表示装置は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。

【0093】

図示した情報表示装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0094】

情報表示装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0095】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0096】

［変形例］
上記では、主発言者が使用する情報表示装置１０と、他の発言者が使用する情報表示装置１０とでは、参照情報の表示を変えてもよい。例えば、主発言者が使用する情報表示装置１０は、参照情報を表示しないようにしてもよい。

【符号の説明】

【0097】

１０ 情報表示装置
１１ マイクロフォン
１２ 表示部
１８ キーワード情報記憶部
１９ 通信部
２０ 制御装置（情報表示制御装置）
２１ 発話認識部
２２ 特定部
２６ 抽出部
２７ 情報取得部
２８ 表示制御部
２９ 通信制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】