(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181704
(43)【公開日】2023-12-25
(54)【発明の名称】情報表示制御装置および情報表示方法
(51)【国際特許分類】
G10L 15/10 20060101AFI20231218BHJP
H04N 7/15 20060101ALI20231218BHJP
G06F 16/335 20190101ALI20231218BHJP
G06F 3/01 20060101ALI20231218BHJP
G10L 15/22 20060101ALI20231218BHJP
【FI】
G10L15/10 200W
H04N7/15
G06F16/335
G06F3/01 510
G10L15/22 453
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022094977
(22)【出願日】2022-06-13
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小池 博一
(72)【発明者】
【氏名】楠美 麻梨子
(72)【発明者】
【氏名】糟谷 純一
(72)【発明者】
【氏名】中村 功大
(72)【発明者】
【氏名】櫻田 雄大
(72)【発明者】
【氏名】渡辺 廉
(72)【発明者】
【氏名】内田 早紀
【テーマコード(参考)】
5B175
5C164
5E555
【Fターム(参考)】
5B175DA01
5C164FA10
5C164PA44
5C164UB08S
5C164UB41S
5C164UB81S
5C164VA07P
5C164VA51P
5C164YA07
5E555AA25
5E555AA46
5E555AA71
5E555BA13
5E555BB13
5E555CA42
5E555CA47
5E555DB41
5E555DB57
5E555DC13
5E555DD07
5E555EA05
5E555EA23
5E555FA00
(57)【要約】
【課題】発話内容に基づくキーワードから、適切に参照情報を表示させること。
【解決手段】表示部12に情報を表示するよう情報表示装置10を制御する情報表示制御装置20であって、情報表示装置10のユーザの年齢情報およびユーザの経験年数情報の少なくともどちらかを含むユーザ属性情報を取得するユーザ属性情報取得部の一例である年齢情報取得部23と、発話者の発話を認識する発話認識部21と、発話認識部21が認識した発話から、参照情報を要するキーワードを抽出する抽出部26と、抽出部26が抽出したキーワードに対する参照情報を取得する情報取得部27と、情報取得部27が取得した参照情報を、年齢情報取得部23が取得したユーザ属性情報に基づいて重み付けを行って表示部12に表示する表示制御部28と、を備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
表示部に情報を表示するよう情報表示装置を制御する情報表示制御装置であって、
前記情報表示装置のユーザの年齢情報およびユーザの経験年数情報の少なくともどちらかを含むユーザ属性情報を取得するユーザ属性情報取得部と、
発話者の発話を認識する発話認識部と、
前記発話認識部が認識した発話から、参照情報を要するキーワードを抽出する抽出部と、
前記抽出部が抽出した前記キーワードに対する前記参照情報を取得する情報取得部と、
前記情報取得部が取得した前記参照情報を、前記ユーザ属性情報取得部が取得した前記ユーザ属性情報に基づいて重み付けを行って前記表示部に表示する表示制御部と、
を備える、情報表示制御装置。
【請求項2】
前記表示制御部は、前記ユーザ属性情報取得部が取得した前記ユーザ属性情報に対応した難解性レベルのキーワードに対する参照情報を表示する、
請求項1に記載の情報表示制御装置。
【請求項3】
前記表示制御部は、前記ユーザ属性情報取得部が取得した前記ユーザ属性情報に対応した周知性レベルのキーワードに対する参照情報を表示する、
請求項1に記載の情報表示制御装置。
【請求項4】
前記表示制御部は、前記ユーザ属性情報取得部が取得した前記ユーザ属性情報に対応した普及時期のキーワードに対する参照情報を表示する、
請求項1に記載の情報表示制御装置。
【請求項5】
表示部に情報を表示する情報表示装置が実行する情報表示方法であって、
前記情報表示装置のユーザの年齢情報およびユーザの経験年数情報の少なくともどちらかを含むユーザ属性情報を取得するユーザ属性情報取得ステップと、
発話者の発話を認識する発話認識ステップと、
前記発話認識ステップで認識した発話から、参照情報を要するキーワードを抽出する抽出ステップと、
前記抽出ステップで抽出した前記キーワードに対する参照情報を取得する情報取得ステップと、
前記情報取得ステップで取得した参照情報を、前記ユーザ属性情報取得ステップで取得した前記ユーザ属性情報に基づいて重み付けを行って前記表示部に表示する表示ステップと、
を実行する情報表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報表示制御装置および情報表示方法に関する。
【背景技術】
【0002】
会議や会話において、相手が発言した語句の付加的情報を表示する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
表示する付加情報は、略語や難解なキーワードに対しての説明を行う情報である。ところが、付加情報を受け取る側の理解度によっては、付加情報が表示されないキーワードに対しての説明が必要な場合がある。この場合、受け取り側の理解が進みにくくなるおそれがある。または、付加情報が表示されるキーワードに対して説明が不要な場合もある。この場合、受け取り側において付加情報が不要なキーワードであっても付加情報が表示されるので、コミュニケーションの流れを阻害するおそれがある。
【0005】
本開示は、上記に鑑みてなされたものであって、発話内容に基づくキーワードから、適切に参照情報を表示させることを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る情報表示制御装置は、表示部に情報を表示するよう情報表示装置を制御する情報表示制御装置であって、前記情報表示装置のユーザの年齢情報およびユーザの経験年数情報の少なくともどちらかを含むユーザ属性情報を取得するユーザ属性情報取得部と、発話者の発話を認識する発話認識部と、前記発話認識部が認識した発話から、参照情報を要するキーワードを抽出する抽出部と、前記抽出部が抽出した前記キーワードに対する前記参照情報を取得する情報取得部と、前記情報取得部が取得した前記参照情報を、前記ユーザ属性情報取得部が取得した前記ユーザ属性情報に基づいて重み付けを行って前記表示部に表示する表示制御部と、を備える。
【0007】
本開示に係る情報表示方法は、表示部に情報を表示する情報表示装置が実行する情報表示方法であって、前記情報表示装置のユーザの年齢情報およびユーザの経験年数情報の少なくともどちらかを含むユーザ属性情報を取得するユーザ属性情報取得ステップと、発話者の発話を認識する発話認識ステップと、前記発話認識ステップで認識した発話から、参照情報を要するキーワードを抽出する抽出ステップと、前記抽出ステップで抽出した前記キーワードに対する参照情報を取得する情報取得ステップと、前記情報取得ステップで取得した参照情報を、前記ユーザ属性情報取得ステップで取得した前記ユーザ属性情報に基づいて重み付けを行って前記表示部に表示する表示ステップと、を実行する。
【発明の効果】
【0008】
本開示によれば、発話内容に基づくキーワードから、適切に参照情報を表示させることができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、情報表示装置の使用例の一例を示す概略図である。
【
図2】
図2は、情報表示装置の使用例の他の例を示す概略図である。
【
図3】
図3は、第一実施形態に係る情報表示制御装置を有する情報表示装置の構成例を示すブロック図である。
【
図4】
図4は、キーワード情報の一例を示す図である。
【
図5】
図5は、キーワードの参照情報の表示範囲の一例を説明する図である。
【
図6】
図6は、第一実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。
【
図7】
図7は、キーワードの参照情報の表示範囲の他の例を説明する図である。
【
図8】
図8は、第二実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。
【
図9】
図9は、キーワードの参照情報の表示範囲の他の例を説明する図である。
【
図10】
図10は、第三実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。
【
図11】
図11は、変形例に係る情報表示制御装置を有する情報表示装置の構成例を示すブロック図である。
【
図12】
図12は、変形例に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、本開示に係る情報表示制御装置および情報表示方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【0011】
[第一実施形態]
<情報表示装置>
図1は、情報表示装置の使用例の一例を示す概略図である。
図2は、情報表示装置の使用例の他の例を示す概略図である。
図3は、第一実施形態に係る情報表示制御装置(以下、「制御装置」という。)20を有する情報表示装置10の構成例を示すブロック図である。情報表示装置10は、例えば、会議または会話のような、少なくとも発話によるコミュニケーションにおいて、参加者の発話に含まれるキーワードの参照情報を表示する。
【0012】
図1に示すように、情報表示装置10は、複数人数の参加者が1か所に集まって行われる会議(以下、「リアル会議」という。)または会話において使用される。この場合に使用される情報表示装置10は、例えば、参加者が使用するスマートフォンのような情報端末装置の機能の1つとして実装されていてもよい。
図1に示すリアル会議は、発表者M11と、他の参加者M12、他の参加者M13、他の参加者M14および他の参加者M15が参加している。他の参加者M15は、情報表示装置10を使用している。
【0013】
図2に示すように、情報表示装置10は、複数人数の参加者が参加して、オンラインで行われる会議(以下、「WEB会議」という。)または会話において使用される。この場合に使用される情報表示装置10は、例えば、図示しないWEB会議システムを介してオンラインのWEB会議または会話に参加する際に使用されるノート型のパーソナルコンピュータやスマートフォンのような情報端末装置の機能の1つとして実装されていてもよい。
【0014】
以下の説明では、リアル会議またはWEB会議のどちらかの会議において使用される場合について説明する。リアル会議とWEB会議との区別を特に要しない場合、会議という。
【0015】
本実施形態では、参加者である情報表示装置10のユーザの年齢情報およびユーザの経験年数情報の少なくともどちらかを含むユーザ属性情報は、ユーザの年齢情報であるものとして説明する。
【0016】
情報表示装置10は、会議において、参加者の発話内容に基づくキーワードを、情報表示装置10のユーザの年齢情報に基づいて重み付けを行って表示する。本実施形態では、情報表示装置10は、会議において、参加者の発話内容に基づくキーワードを、情報表示装置10のユーザの年齢情報に対応した難解性レベルのキーワードに対する参照情報を表示する。
図3に示すように、情報表示装置10は、マイクロフォン11と、表示部12と、入力部13と、キーワード情報記憶部18と、通信部19と、制御装置20とを備える。WEB会議に使用する情報表示装置10は、さらに図示しないカメラを備える。
【0017】
マイクロフォン11は、情報表示装置10を使用している会議の参加者の音声を収音するマイクロフォンである。マイクロフォン11は、収音した音声データを制御装置20の発話認識部21に出力する。
図1に示すように、リアル会議に使用される情報表示装置10である場合、マイクロフォン11は、発言者の音声を収音する。
図2に示すように、WEB会議に使用される情報表示装置10である場合、マイクロフォン11は、参加者である情報表示装置10を使用するユーザの音声を収音する。
【0018】
表示部12は、例えば、液晶ディスプレイまたは有機EL(Electro-Luminescence)ディスプレイなどを含むディスプレイである。表示部12は、制御装置20の表示制御部28から出力された映像信号に基づいて、映像を表示する。
【0019】
表示部12には、会議の参加者の発話に含まれるキーワードに対応する参照情報が表示される。表示部12において参照情報が表示される範囲を、参照情報表示範囲110という。
図1に示すように、リアル会議に使用される情報表示装置10である場合、参照情報表示範囲110は、表示部12の全面に表示されてもよい。
図2に示すように、WEB会議に使用される情報表示装置10である場合、参照情報表示範囲110は、表示部12の一部、例えば、下部、上部、左側部または右側部に表示されてもよい。WEB会議に使用される情報表示装置10である場合、参照情報表示範囲110は、表示部12にポップアップ表示されてもよい。参照情報表示範囲110は、例えば、3行以下程度の文字が表示される範囲である。
【0020】
図2に示すように、WEB会議に使用される情報表示装置10である場合、表示部12は、参加者の映像、および、画面共有された資料などが表示される。
【0021】
入力部13は、情報表示装置10に対する各種操作を入力可能な入力装置である。入力部13は、例えば、キーボード、マウス、表示部12に重ねて配置されたタッチパネルなどである。入力部13は、参加者である情報表示装置10を使用するユーザの年齢の入力操作を受け付け可能である。
【0022】
キーワード情報記憶部18は、キーワード情報として、キーワードごとに参照情報を記憶する。キーワード情報には、さらに普及時期を含んでもよいが、本実施形態においては必須の項目ではない。キーワード情報記憶部18は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子などの記録媒体である。キーワード情報記憶部18は、通信部19を介して無線接続される外部記録部であってもよい。
【0023】
キーワード情報記憶部18は、キーワード情報として、キーワードごとに、必要性レベルおよび参照情報を記憶する。必要性レベルとは、キーワード毎に対する参照情報の表示が必要となる指針を示すレベルであり、例えば、難解性レベルおよび周知性レベルなどを含む。
【0024】
キーワードは、補足的に説明を行うことが必要とされる単語である。キーワードは、例えば、一般的に知られていない語句、専門用語、略語、難解語および流行語などである。難解性レベルは、難解語であるキーワードの難解性を示す。難解性レベルは、例えば、1から5までの数値によって5段階で示される。難解性レベルは、難解性が高いほど、つまり難解な単語であるほど数値が大きくなる。周知性レベルは、一般的に知られていない語句、専門用語、略語などのキーワードにおける周知性を示す。周知性レベルは、例えば、1から5までの数値によって5段階で示される。周知性レベルは、周知性が高いほど、つまり周知されている単語であるほど数値が大きくなる。
【0025】
参照情報は、例えば、キーワードの意味、具体的な説明である。キーワードが略語の場合、参照情報は、略していない正式名称でもよい。なお、説明は、文字以外に、例えば、写真または図などでもよい。参照情報は、例えば、キーワードの付加的な情報である付加情報でもよい。
【0026】
参照情報は、人が数秒程度で読むことが可能な、例えば100文字以下程度の文字数としてもよい。
【0027】
図4は、キーワード情報の一例を示す図である。
図4に示すキーワード情報は、キーワードごとに、必要性レベルが記憶され、キーワードに基づき、参照情報が検索される。参照情報は、後述する通信部19を用いて検索される情報に加えて、予め記憶されていてもよい。。例えば、キーワード「○○○」については、難解性レベル「5」、周知性レベル「1」、参照情報「○・・・○」と記憶されている。例えば、キーワード「△△△」については、難解性レベル「3」、周知性レベル「5」、参照情報「△・・・△」と記憶されている。
【0028】
図4の例においては、例えば、様々なキーワードに対して5段階の必要性レベルが対応付けられている。この場合において、必要性レベルの一例である難解性レベルは、難解性レベル「1」が、難解性が低いことを示しており、言い換えると、分かりやすいキーワードである。また、難解性レベル「5」が、難解性が高いことを示しており、言い換えると、容易に理解できないキーワードである。また、必要性レベルの一例である周知性レベルは、周知性レベル「1」が、周知性が低いことを示しており、言い換えると、一般的に周知されていないキーワードである。また、周知性レベル「5」が、周知性が高いことを示しており、言い換えると、一般的に良く周知されているキーワードである。
【0029】
参照情報が、通信部19によってWEB上で検索される場合は、例えば、キーワードに対するウィキペディア(登録商標)のような特定のWEBメディアによる情報、キーワードに関する最新のニュースなどが検索される。また、キーワードが商品名やサービス名である場合は、その商品やサービスを提供する提供元のWEBサイトなどが検索される。さらには、WEB上のサーチエンジンによって検索された結果に対し、広告を除く最上位に表示される内容を参照情報としてもよい。
【0030】
通信部19は、無線通信などを行うための通信ユニットである。通信部19は、例えば、Wi-Fi(登録商標)や携帯電話回線などを用いた通信方法で通信を行い、イントラネットやインターネットに接続される。通信部19は、制御装置20の通信制御部29によって通信を制御される。
図1に示すように、リアル会議に使用される情報表示装置10である場合、通信部19は、外部記録部であるキーワード情報記憶部18からキーワード情報を取得や、参照情報の検索を行う。
図2に示すように、WEB会議に使用される情報表示装置10である場合、通信部19は、他の参加者が使用する情報表示装置10との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行う。より詳しくは、通信部19は、マイクロフォン11で収音した参加者の音声、および、カメラで撮影した参加者の映像を、他の参加者が使用する情報表示装置10へ送信する。通信部19は、他の参加者が使用する情報表示装置10から、他の参加者の音声および映像を受信する。
【0031】
以下の説明において、入力された音声とは、リアル会議に使用される情報表示装置10である場合、マイクロフォン11で収音した音声である。入力された音声とは、WEB会議に使用される情報表示装置10である場合、マイクロフォン11で収音した音声、および、通信部19を介して取得した、他の参加者が使用する情報表示装置10から取得した他の参加者の音声である。
【0032】
<情報表示制御装置>
制御装置20は、情報表示装置10の各部を制御する。制御装置20は、表示部12に情報を表示するよう情報表示装置10を制御する。制御装置20は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などで構成された演算処理装置(制御装置)であり、RAM又はROM(Read Only Memory)などの記憶装置を有する。制御装置20は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置20には上述したRAMなどの内部メモリが含まれ、内部メモリは制御装置20におけるデータの一時記憶などに用いられる。制御装置20は、プログラムの実行によって実現される機能ブロックなどの構成要素として、発話認識部21と、年齢情報取得部(ユーザ属性情報取得部)23と、抽出部26と、情報取得部27と、表示制御部28と、通信制御部29とを有する。
【0033】
発話認識部21は、少なくとも発話によるコミュニケーションに参加している参加者の発話を認識する。発話認識部21は、入力された音声を分析し、音声に含まれる発話内容を認識する。発話認識部21は、入力された音声に対して、音素毎または単語毎の音響モデル分析を行い、音素モデルや言語モデルとの対比を行うことで、発話内容を認識する。
【0034】
年齢情報取得部23は、情報表示装置10のユーザの年齢情報を取得する。より詳しくは、年齢情報取得部23は、例えば、入力された音声を分析して、ユーザの年齢を取得してもよい。年齢情報取得部23は、例えば、入力部13を介してユーザによって入力された情報から、ユーザの年齢を取得してもよい。年齢情報取得部23は、情報表示装置10の図示しないカメラが撮影したユーザの顔画像の分析によって、ユーザの年齢を取得してもよい。音声の分析や画像の分析によって取得する年齢は、推定年齢であるため、年齢情報取得部23は、年齢情報推定部と称してもよい。
【0035】
抽出部26は、発話認識部21が認識した発話から、参照情報を要するキーワードを抽出する。
【0036】
情報取得部27は、抽出部26が抽出したキーワード、つまり、抽出部26が参照情報を要すると判断したキーワードに対する参照情報を取得する。本実施形態では、情報取得部27は、WEB上の情報に基づき、キーワードに対する参照情報を取得する。
【0037】
本実施形態では、情報取得部27は、キーワード情報記憶部18に記憶したキーワード情報から、抽出部26が抽出したキーワードであって、ユーザの年齢情報に対応した難解性レベル以上のキーワードの参照情報を取得してもよい。より詳しくは、情報取得部27は、年齢情報取得部23が取得した、ユーザの年齢情報が低い年齢を示すほど、難解性レベルの低いキーワードに対する参照情報を取得してもよい。情報取得部27は、年齢情報取得部23が取得した、ユーザの年齢情報が高い年齢を示すほど、難解性レベルの高いキーワードに対する参照情報を取得してもよい。情報取得部27は、ユーザの年齢情報が低い年齢を示すほど、難解性レベルの閾値を低くして、抽出部26が抽出したキーワードに対する参照情報を取得してもよい。
【0038】
表示制御部28は、表示部12における映像の表示を制御する。表示制御部28は、表示部12に対して映像の映像信号を出力する。
【0039】
表示制御部28は、情報取得部27が取得した参照情報の表示部12への表示を制御する。表示制御部28は、抽出部26によって抽出されたキーワードに対応する参照情報を表示部12の参照情報表示範囲110に表示するための映像信号を出力する。表示制御部28は、参照情報を、例えば5秒から10秒間程度の所定期間表示する。表示制御部28は、参照情報を表示中に、次の参照情報を表示する場合、所定期間の経過前でも次の参照情報に表示を変えてもよい。表示制御部28は、参照情報を表示中に、次の参照情報を表示する場合、例えば、必要性レベルが高い参照情報を表示してもよい。
【0040】
表示制御部28は、情報取得部27が取得した参照情報を、年齢情報取得部23が取得した年齢情報に基づいて重み付けを行って表示部12に表示する。
【0041】
本実施形態では、表示制御部28は、年齢情報取得部23が取得した年齢情報に対応した難解性レベルのキーワードに対する参照情報の表示を行う。難解なキーワードに対する理解度は、ユーザの年齢によって異なることが予測される。より詳しくは、表示制御部28は、ユーザの年齢情報が低い年齢を示すほど、難解性レベルの低いキーワードに対する参照情報を表示する。表示制御部28は、ユーザの年齢情報が高い年齢を示すほど、難解性レベルの高いキーワードに対する参照情報を表示する。表示制御部28は、ユーザの年齢情報が低い年齢を示すほど、難解性レベルの閾値を低くして、発話認識部21が認識した発話から抽出したキーワードに対する参照情報の難解性レベルに応じて、キーワードの参照情報を表示する。
【0042】
図5は、キーワードの参照情報の表示範囲の一例を説明する図である。表示制御部28は、例えば、ユーザの年齢情報が40歳以上である場合には、難解性レベルが閾値t11以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳以上40歳未満である場合には、難解性レベルが閾値t12(t12<t11)以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳未満である場合には、難解性レベルが閾値t13(t13<t12)以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、難解性レベルを示す数値が大きいほど難解となる1から5までの5段階に分類されている場合、ユーザの年齢情報が40歳以上である場合には、難解性レベルが例えば4以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳以上40歳未満である場合には、難解性レベルが例えば3以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳未満である場合には、難解性レベルが例えば2以上である場合、キーワードに対する参照情報を表示する。
【0043】
WEB会議に使用される情報表示装置10である場合、表示制御部28は、WEB会議の映像の表示を制御する。表示制御部28は、カメラが撮影している映像を含むWEB会議の映像の映像信号を出力する。
【0044】
通信制御部29は、通信部19による通信を制御する。
図1に示すように、リアル会議に使用される情報表示装置10である場合、通信制御部29は、通信部19を介して、外部記録部であるキーワード情報記憶部18からキーワード情報の受信や、参照情報の検索を行うよう制御する。
図2に示すように、WEB会議に使用される情報表示装置10である場合、通信制御部29は、通信部19を介して、他の参加者が使用する情報表示装置10との間で、参加者の音声および映像を相互に通信するとともに、参照情報の検索を行うよう制御する。より詳しくは、通信制御部29は、通信部19を介して、マイクロフォン11で収音した参加者の音声、および、カメラで撮影した参加者の映像を、他の参加者が使用する情報表示装置10へ送信するよう制御する。通信制御部29は、通信部19を介して、他の参加者が使用する情報表示装置10から、他の参加者の音声および映像を受信するよう制御する。
【0045】
<情報表示制御装置における情報処理>
次に、
図6を用いて、制御装置20における処理の流れについて説明する。
図6は、第一実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。
図6に示す処理は、
図1に示すように、リアル会議に使用される情報表示装置10である場合、参照情報を表示させるためのアプリケーションを起動することで開始される。
図2に示すように、WEB会議に使用される情報表示装置10である場合、WEB会議を行うアプリケーションの起動、またはWEB会議の開始によって開始される。この場合、WEB会議を行うアプリケーションに、参照情報を表示させる機能が含まれていてもよく、ユーザの操作によって、参照情報を表示させる機能のオン/オフを選択可能としてもよい。情報表示装置10が起動されることで、
図6に示すフローチャートの処理が開始される。
【0046】
制御装置20は、ユーザの年齢情報を取得する(ステップS101)。より詳しくは、制御装置20は、年齢情報取得部23によって、例えば、入力された音声を分析して、ユーザの年齢を取得してもよい。制御装置20は、年齢情報取得部23によって、例えば、入力部13を介してユーザによって入力された情報から、ユーザの年齢を取得してもよい。なお、ユーザの年齢を取得する方法はこれに限定されない。制御装置20は、ステップS102へ進む。
【0047】
制御装置20は、発話認識を開始する(ステップS102)。より詳しくは、制御装置20は、発話認識部21によって、入力された音声を分析し、音声に含まれる発話内容を認識する。制御装置20は、ステップS103へ進む。
【0048】
制御装置20は、キーワードが抽出されたか否かを判定する(ステップS103)。より詳しくは、制御装置20は、抽出部26によって、発話認識部21が認識した発話から、参照情報を要するキーワードを抽出する。制御装置20は、抽出部26によって、発話認識部21が認識した発話から抽出したキーワードに対する参照情報の必要性レベルが所定の閾値以上である場合、参照情報を要するキーワードとして抽出する。制御装置20は、キーワードが抽出されたと判定する場合(ステップS103でYes)、ステップS104へ進む。制御装置20は、キーワードが抽出されたと判定しない場合(ステップS103でNo)、ステップS106へ進む。
【0049】
キーワードが抽出されたと判定する場合(ステップS103でYes)、制御装置20は、ユーザの年齢情報に対応した難解性レベル以上のキーワードの参照情報を取得する(ステップS104)。より詳しくは、制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が40歳以上である場合、難解性レベルが閾値t11以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が20歳以上40歳未満である場合、難解性レベルが閾値t12以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が20歳未満である場合、難解性レベルが閾値t13以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、ステップS105へ進む。
【0050】
制御装置20は、参照情報を所定期間表示する(ステップS105)。より詳しくは、制御装置20は、表示制御部28によって、抽出部26によって抽出されたキーワードに対応する参照情報の映像信号を所定期間出力する。制御装置20は、ステップS106へ進む。
【0051】
制御装置20は、処理を終了するか否かを判定する(ステップS106)。例えば、情報表示装置10の電源がOFFにされたこと、図示しない操作部の操作がされたこと、または、
図6に示すフローチャートを開始するトリガとなったアプリケーションなどを終了させる操作が行われたことなどで、処理を終了することが判定される。制御装置20は、処理を終了すると判定された場合(ステップS106でYes)、本処理を終了する。制御装置20は、処理を終了すると判定されない場合(ステップS106でNo)、ステップS103の処理を再度実行する。
【0052】
<効果>
上述したように、本実施形態では、参照情報を、ユーザの年齢情報に基づいて重み付けを行って表示部12に表示する。本実施形態によれば、ユーザの年齢に応じた理解度に合わせて、適切にキーワードの参照情報を表示させることができる。本実施形態は、ユーザの理解を適切に支援することができる。本実施形態は、ユーザに対して、不要なキーワードの参照情報が表示されることを抑制できる。本実施形態は、コミュニケーションの流れを円滑にすることを支援できる。このようにして、本実施形態は、発話内容に基づくキーワードから、適切に参照情報を表示させることができる。
【0053】
本実施形態では、ユーザの年齢情報に対応した難解性レベルのキーワードに対する参照情報を表示する。本実施形態によれば、ユーザの年齢に応じた難解性レベルのキーワードに対する理解度に合わせて、適切にキーワードの参照情報を表示させることができる。
【0054】
[第二実施形態]
図7、
図8を参照しながら、本実施形態に係る情報表示装置10について説明する。
図7は、キーワードの参照情報の表示範囲の他の例を説明する図である。
図8は、第二実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置10は、基本的な構成は第一実施形態の情報表示装置10と同様である。以下の説明においては、情報表示装置10と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、情報表示装置10は、会議において、参加者の発話内容に基づくキーワードを、情報表示装置10のユーザの年齢情報に対応した周知性レベルのキーワードに対する参照情報を表示する。本実施形態では、情報取得部27および表示制御部28における処理が第一実施形態と異なる。
【0055】
情報取得部27は、キーワード情報記憶部18に記憶したキーワード情報から、抽出部26が抽出したキーワードであって、ユーザの年齢情報に対応した周知性レベル以上のキーワードの参照情報を取得してもよい。周知なキーワードに対する理解度は、ユーザの年齢によって異なることが予測される。より詳しくは、情報取得部27は、年齢情報取得部23が取得した、ユーザの年齢情報が低い年齢を示すほど、周知性レベルの高いキーワードに対する参照情報を取得してもよい。情報取得部27は、年齢情報取得部23が取得した、ユーザの年齢情報が高い年齢を示すほど、周知性レベルの低いキーワードに対する参照情報を取得してもよい。情報取得部27は、ユーザの年齢情報が低い年齢を示すほど、周知性レベルの閾値を高くして、抽出部26が抽出したキーワードに対する参照情報を取得してもよい。
【0056】
表示制御部28は、年齢情報取得部23が取得した年齢情報に対応した周知性レベルのキーワードに対する参照情報を表示する。より詳しくは、表示制御部28は、ユーザの年齢情報が低い年齢を示すほど、周知性レベルの高いキーワードに対する参照情報を表示する。表示制御部28は、ユーザの年齢情報が高い年齢を示すほど、周知性レベルの低いキーワードに対する参照情報を表示する。表示制御部28は、ユーザの年齢情報が低い年齢を示すほど、周知性レベルの閾値を低くして、発話認識部21が認識した発話から抽出したキーワードに対する参照情報の周知性レベルに応じて、キーワードの参照情報を表示する。
【0057】
図7に示すように、表示制御部28は、例えば、ユーザの年齢情報が40歳以上である場合、周知性レベルが閾値t23以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳以上40歳未満である場合、周知性レベルが閾値t22(t22<t23)以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳未満である場合、周知性レベルが閾値t21(t21<t22)以上である場合、キーワードに対する参照情報を表示する。周知性レベルを示す数値が大きいほど周知となる1から5までの5段階に分類されている場合、表示制御部28は、例えば、ユーザの年齢情報が40歳以上である場合には、周知性レベルが例えば4以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳以上40歳未満である場合には、周知性レベルが例えば3以上である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳未満である場合には、周知性レベルが例えば2以上である場合、キーワードに対する参照情報を表示する。
【0058】
次に、
図8を用いて、制御装置20における処理の流れについて説明する。
図8に示すステップS111からステップS113、ステップS115、ステップS116の処理は、
図6に示すフローチャートのステップS101からステップS103、ステップS105、ステップS106と同様の処理を行う。
【0059】
キーワードが抽出されたと判定する場合(ステップS113でYes)、制御装置20は、ユーザの年齢情報に対応した周知性レベル以上のキーワードの参照情報を取得する(ステップS114)。より詳しくは、制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が40歳以上である場合、周知性レベルが閾値t23以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が20歳以上40歳未満である場合、周知性レベルが閾値t22以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が20歳未満である場合、周知性レベルが閾値t21以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、ステップS115へ進む。
【0060】
<効果>
上述したように、本実施形態では、ユーザの年齢情報に対応した周知性レベルのキーワードに対する参照情報を表示する。本実施形態によれば、ユーザの年齢に応じた周知性レベルのキーワードに対する理解度に合わせて、適切にキーワードの参照情報を表示させることができる。
【0061】
[第三実施形態]
図9、
図10を参照しながら、本実施形態に係る情報表示装置10について説明する。
図9は、キーワードの参照情報の表示範囲の他の例を説明する図である。
図10は、第三実施形態に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。情報表示装置10は、基本的な構成は第二実施形態の情報表示装置10と同様である。本実施形態では、情報表示装置10は、会議において、参加者の発話内容に基づくキーワードを、情報表示装置10のユーザの年齢情報に対応した普及時期のキーワードに対する参照情報を表示する。本実施形態では、情報取得部27および表示制御部28における処理が第一実施形態と異なる。
【0062】
キーワードの普及時期とは、キーワードが周知となった時期である。普及時期は、例えば、キーワードが一般的に良く知られるようになった時期である。キーワードが一般的に良く知られるようになった時期とは、公共放送やWEBなどのメディアで使われるようになった時期や、流行した時期などであり、普及時期は、例えば、西暦年で示す。
【0063】
本実施形態では、キーワード情報記憶部18は、キーワード情報として、キーワードごとに参照情報を記憶していればよい。本実施形態では、キーワード情報は必要性レベルを含まなくてよい。
【0064】
情報取得部27は、キーワード情報記憶部18に記憶したキーワード情報から、抽出部26が抽出したキーワードであって、ユーザの年齢情報に対応した普及時期以前の普及時期のキーワードの参照情報を取得してもよい。普及時期が異なるキーワードに対する理解度は、ユーザの年齢によって異なることが予測される。例えば、20歳未満のユーザは、普及時期が15年以上前のキーワードに対する理解度は低いと予測される。例えば、40歳以上のユーザは、普及時期が3年以内の新しく普及したキーワードに対する理解度は低いと予測される。情報取得部27は、年齢情報取得部23が取得した、ユーザの年齢情報が低い年齢を示すほど、普及時期が古いキーワードに対する参照情報を取得してもよい。情報取得部27は、年齢情報取得部23が取得した、ユーザの年齢情報が高い年齢を示すほど、普及時期が新しいキーワードに対する参照情報を取得してもよい。
【0065】
表示制御部28は、年齢情報取得部23が取得した年齢情報に対応した普及時期のキーワードに対する参照情報を表示する。より詳しくは、表示制御部28は、ユーザの年齢情報が低い年齢を示すほど、普及時期が古いキーワードに対する参照情報を表示する。表示制御部28は、ユーザの年齢情報が高い年齢を示すほど、普及時期が新しいキーワードに対する参照情報を表示する。
【0066】
図9に示すように、表示制御部28は、例えば、ユーザの年齢情報が40歳以上である場合には、普及時期が期間tm33である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳以上40歳未満である場合には、普及時期が期間tm32である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳未満である場合には、普及時期が期間tm31である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が40歳以上である場合、例えば普及時期が2019年以降である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳以上40歳未満である場合、普及時期が1990年から2005年までの期間である場合、キーワードに対する参照情報を表示する。表示制御部28は、例えば、ユーザの年齢情報が20歳未満である場合、普及時期が2007年以前である場合、キーワードに対する参照情報を表示する。
【0067】
次に、
図10を用いて、制御装置20における処理の流れについて説明する。
図10に示すステップS121からステップS123、ステップS125、ステップS126の処理は、
図6に示すフローチャートのステップS101からステップS103、ステップS105、ステップS106と同様の処理を行う。
【0068】
キーワードが抽出されたと判定する場合(ステップS123でYes)、制御装置20は、ユーザの年齢情報に対応した普及時期のキーワードの参照情報を取得する(ステップS124)。より詳しくは、制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が40歳以上である場合、普及時期が期間tm33である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が20歳以上40歳未満である場合、普及時期が期間tm32である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの年齢情報が20歳未満である場合、普及時期が期間tm31である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、ステップS125へ進む。
【0069】
<効果>
上述したように、本実施形態では、年齢情報に対応した普及時期のキーワードに対する参照情報を表示する。本実施形態によれば、ユーザの年齢に基づいて、キーワードの普及時期に応じた理解度に合わせて、適切にキーワードの参照情報を表示させることができる。
【0070】
本開示に係る情報表示装置は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。
【0071】
図示した情報表示装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【0072】
情報表示装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【0073】
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【0074】
[変形例]
図11は、変形例に係る情報表示制御装置を有する情報表示装置の構成例を示すブロック図である。
図12は、変形例に係る情報表示制御装置における処理の流れの一例を示すフローチャートである。上記の実施形態では、ユーザ属性情報取得部の一例として、年齢情報取得部23について説明した。ユーザ属性情報取得部は、経験年数情報取得部であってもよい。経験年数情報取得部は、情報表示装置10のユーザの、会議に対応した経験年数情報を取得する。より詳しくは、経験年数情報取得部は、入力部13を介してユーザによって入力された情報から、会議に対応したユーザの業務の経験年数、学習の学習年数、または、会議への参加年数や参加回数などを経験年数として取得してもよい。
【0075】
ユーザの経験年数が、会議に対応した業務の経験年数である場合とは、会議を行っているグループ、組織におけるユーザの所属年数、または、関連業務に関わっている年数などである。ユーザの経験年数が、会議に対応した学習年数である場合とは、会議を用いた学習内容におけるユーザの学習期間、または、学習を行う会議への参加期間や参加回数などである。
【0076】
本変形例の基本的な構成は第一実施形態の情報表示装置10と同様である。本変形例は、第一実施形態の説明における「年齢」を「経験年数」に読み替えることにより、構成および処理が規定可能である。
【0077】
情報取得部27は、キーワード情報記憶部18に記憶したキーワード情報から、抽出部26が抽出したキーワードであって、ユーザの経験年数情報に対応した難解性レベル以上のキーワードの参照情報を取得してもよい。より詳しくは、情報取得部27は、経験年数情報取得部23が取得した、ユーザの経験年数情報が低い経験年数を示すほど、難解性レベルの低いキーワードに対する参照情報を取得してもよい。情報取得部27は、経験年数情報取得部23が取得した、ユーザの経験年数情報が高い経験年数を示すほど、難解性レベルの高いキーワードに対する参照情報を取得してもよい。情報取得部27は、ユーザの経験年数情報が低い経験年数を示すほど、難解性レベルの閾値を低くして、抽出部26が抽出したキーワードに対する参照情報を取得してもよい。
【0078】
表示制御部28は、情報取得部27が取得した参照情報を、経験年数情報取得部が取得した経験年数情報に基づいて重み付けを行って表示部12に表示する。
【0079】
表示制御部28は、経験年数情報取得部が取得した経験年数情報に対応した難解性レベルのキーワードに対する参照情報の表示を行う。より詳しくは、表示制御部28は、ユーザの経験年数情報が低い経験年数を示すほど、難解性レベルの低いキーワードに対する参照情報を表示する。表示制御部28は、ユーザの経験年数情報が高い経験年数を示すほど、難解性レベルの高いキーワードに対する参照情報を表示する。表示制御部28は、ユーザの経験年数情報が低い経験年数を示すほど、難解性レベルの閾値を低くして、発話認識部21が認識した発話から抽出したキーワードに対する参照情報の難解性レベルに応じて、キーワードの参照情報を表示する。
【0080】
次に、
図12を用いて、制御装置20における処理の流れについて説明する。
図12に示すステップS131からステップS133、ステップS135、ステップS136の処理は、
図6に示すフローチャートのステップS101からステップS103、ステップS105、ステップS106と同様の処理を行う。
【0081】
キーワードが抽出されたと判定する場合(ステップS133でYes)、制御装置20は、ユーザの経験年数情報に対応した難解性レベル以上のキーワードの参照情報を取得する(ステップS134)。より詳しくは、制御装置20は、情報取得部27によって、例えば、ユーザの経験年数情報が5年以上である場合、難解性レベルが閾値t11以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの経験年数情報が2年以上5年未満である場合、難解性レベルが閾値t12以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、情報取得部27によって、例えば、ユーザの経年年数情報が2年未満である場合、難解性レベルが閾値t13以上である場合、抽出されたキーワードに対する参照情報を取得する。制御装置20は、ステップS135へ進む。
【0082】
<効果>
上述したように、参照情報を、ユーザ経験年数情報に基づいて重み付けを行って表示部12に表示する。本実施形態によれば、ユーザの会議内容に対応した経験年数に応じた理解度に合わせて、適切にキーワードの参照情報を表示させることができる。
【符号の説明】
【0083】
10 情報表示装置
11 マイクロフォン
12 表示部
18 キーワード情報記憶部
19 通信部
20 制御装置(情報表示制御装置)
21 発話認識部
23 年齢情報取得部(ユーザ属性情報取得部)
26 抽出部
27 情報取得部
28 表示制御部
29 通信制御部