(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-17
(45)【発行日】2023-10-25
(54)【発明の名称】会話支援装置、会話支援システム、会話支援方法およびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231018BHJP
G10L 15/10 20060101ALI20231018BHJP
G10L 15/00 20130101ALI20231018BHJP
G10L 15/22 20060101ALI20231018BHJP
G06F 3/16 20060101ALI20231018BHJP
【FI】
G06F3/01 590
G10L15/10 200W
G10L15/00 200U
G10L15/22 460Z
G06F3/16 650
G06F3/16 610
G06F3/16 620
G06F3/01 510
(21)【出願番号】P 2020164422
(22)【出願日】2020-09-30
【審査請求日】2022-10-11
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(73)【特許権者】
【識別番号】507369936
【氏名又は名称】ホンダ太陽株式会社
(74)【代理人】
【識別番号】100165179
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】中臺 一博
(72)【発明者】
【氏名】住田 直亮
(72)【発明者】
【氏名】中塚 雅樹
(72)【発明者】
【氏名】吉田 雄一
(72)【発明者】
【氏名】山内 崇資
(72)【発明者】
【氏名】眞浦 一也
(72)【発明者】
【氏名】日根野 恭佑
(72)【発明者】
【氏名】横尾 昇三
【審査官】赤坂 祐樹
(56)【参考文献】
【文献】国際公開第2018/105373(WO,A1)
【文献】特開2015-141368(JP,A)
【文献】特開2019-204151(JP,A)
【文献】特開2015-106014(JP,A)
【文献】Googleカレンダーに、予定を声で登録する方法 [online],2019年07月13日,URL: <https://www.ex-it-blog.com/google-calendar-voice>,[令和5年5月29日検索日]
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01,3/048-3/04895
G06F 3/16
G10L 15/00-15/34
(57)【特許請求の範囲】
【請求項1】
音声データに対して音声認識処理を行って発言内容を示す発言テキストを生成する音声認識部と、
前記発言テキストから所定のトピックの語句と、前記語句と所定の位置関係を有する数値を特定するトピック解析部と、
前記数値または前記数値から導出される数値を表示値として図示する表示情報を前記発言テキストと関連付けて表示部に表示させる表示処理部と、を備
え、
前記表示処理部は、
操作に応じて前記表示情報の要否が指示され、
前記語句ごとの前記要否の指示傾向に基づいて前記表示情報の出力の要否を判定する
会話支援装置。
【請求項2】
前記表示処理部は、
前記語句に対応する形式で前記表示値を図示する表示情報を生成する
請求項1に記載の会話支援装置。
【請求項3】
前記トピック解析部は、
前記語句と所定の位置関係にある数値の単位と、当該単位に付随する前記数値を前記発言テキストから抽出する
請求項1または請求項2に記載の会話支援装置。
【請求項4】
前記トピック解析部は、
前記語句で示される事物の基準量と対象量との関係を示す予め定めた文型情報を用いて前記基準量と前記対象量を前記発言テキストから抽出し、
前記基準量に対する前記対象量の比率を前記表示値として定める
請求項1から請求項3のいずれか一項に記載の会話支援装置。
【請求項5】
前記トピック解析部は、
前記トピックが期間に関し、前記期間の対象事物を示す第2の語句と、当該第2の語句に関する少なくとも1個の前記数値を含む日時を前記期間の起点として前記発言テキストから抽出し、
前記表示処理部は、
前記起点から開始される所定の期間を表す前記表示情報を生成する
請求項1から請求項4のいずれか一項に記載の会話支援装置。
【請求項6】
前記表示処理部は、
前記期間の終点が定められていないとき、前記終点が定められていないことを示す案内情報を前記表示部に表示させる
請求項5に記載の会話支援装置。
【請求項7】
前記トピック解析部は、
各トピックに出現する語句ごとの確率を示すトピックモデルを用いて、
前記発言テキストで伝達されるトピックに関連する前記語句を定める
請求項1から請求項
6のいずれか一項に記載の会話支援装置。
【請求項8】
請求項1から請求項
7のいずれか一項に記載の会話支援装置と、端末装置を備える会話支援システムであって、
操作を受け付ける操作部と、
前記操作を前記会話支援装置に送信する通信部と、を備える
会話支援システム。
【請求項9】
コンピュータに、
請求項1から請求項
7のいずれか一項に記載の会話支援装置
として機能させるためのプログラム。
【請求項10】
会話支援装置における会話支援方法であって、
音声データに対して音声認識処理を行って発言内容を示す発言テキストを生成する音声認識過程と、
前記発言テキストから所定のトピックの語句と、前記語句と所定の位置関係を有する数値を特定するトピック解析過程と、
前記数値または前記数値から導出される数値を表示値として図示する表示情報を前記発言テキストと関連付けて表示部に表示させる表示処理過程と、を有
し、
前記表示処理過程は、
操作に応じて前記表示情報の要否が指示される過程と、
前記語句ごとの前記要否の指示傾向に基づいて前記表示情報の出力の要否を判定する過程を有する
会話支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会話支援装置、会話支援システム、会話支援方法およびプログラムに関する。
【背景技術】
【0002】
従来から、会議など複数人間で行われる会話において、健聴者と聴覚障がい者が参加する会話を支援するための会話支援システムが提案されている。会話支援システムは、会話において発話された音声に対して音声認識を行って発言内容を示すテキストに変換し、変換したテキストを画面に表示する。
【0003】
例えば、特許文献1に記載の会議システムは、収音部と、テキスト入力部、表示部を備えて子機と、子機と接続をし、子機から入力された音声を音声認識したテキスト情報または子機から入力されたテキスト情報を用いて、議事録を作成し、作成した議事録を子機と共有する親機と、を備える。当該会議システムにおいて、親機は、テキストによって会話に参加された場合に、他の会議参加者の発話を待機させるように親機を制御し、発言を待機させる情報を子機に送信する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特定の発言内容を表現したテキストだけでは、参加者による理解が困難なことがある。例えば、業務の進捗度、時間帯など、数値に関する内容は、しばしば容易に理解されないことがあった。
【0006】
本発明の課題の一つは、会話の参加者に対して特定の発言内容をより容易に理解させることができる会話支援装置、会話支援システム、会話支援方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、音声データに対して音声認識処理を行って発言内容を示す発言テキストを生成する音声認識部と、前記発言テキストから所定のトピックの語句と、前記語句と所定の位置関係を有する数値を特定するトピック解析部と、前記数値または前記数値から導出される数値を表示値として図示する表示情報を前記発言テキストと関連付けて表示部に表示させる表示処理部と、を備え、前記表示処理部は、操作に応じて前記表示情報の要否が指示され、前記語句ごとの前記要否の指示傾向に基づいて前記表示情報の出力の要否を判定する会話支援装置である。
【0008】
(2)本発明のその他の態様は、(1)の会話支援装置であって、前記表示処理部は、前記語句に対応する形式で前記表示値を図示する表示情報を生成してもよい。
【0009】
(3)本発明のその他の態様は、(1)または(2)の会話支援装置であって、前記トピック解析部は、前記語句と所定の位置関係にある数値の単位と、当該単位に付随する前記数値を前記発言テキストから抽出してもよい。
【0010】
(4)本発明のその他の態様は、(3)の会話支援装置であって、前記トピック解析部は、前記語句で示される事物の基準量と対象量との関係を示す予め定めた文型情報を用いて前記基準量と前記対象量を前記発言テキストから抽出し、前記基準量に対する前記対象量の比率を前記表示値として定めてもよい。
【0011】
(5)本発明のその他の態様は、(1)から(4)のいずれかの会話支援装置であって、前記トピック解析部は、前記トピックが期間に関し、前記期間の対象事物を示す第2の語句と、当該第2の語句に関する少なくとも1個の前記数値を含む日時を前記期間の起点として前記発言テキストから抽出し、前記表示処理部は、前記起点から開始される所定の期間を表す前記表示情報を生成してもよい。
【0012】
(6)本発明のその他の態様は、(5)の会話支援装置であって、前記表示処理部は、前記期間の終点が定められていないとき、前記終点が定められていないことを示す案内情報を前記表示部に表示させてもよい。
【0014】
(7)本発明のその他の態様は、(1)から(6)のいずれかの会話支援装置であって、前記トピック解析部は、各トピックに出現する語句ごとの確率を示すトピックモデルを用いて、前記発言テキストで伝達されるトピックに関連する前記語句を定めてもよい。
【0015】
(8)本発明のその他の態様は、(1)から(7)のいずれかの会話支援装置と、端末装置を備える会話支援システムであって、操作を受け付ける操作部と、前記操作を前記会話支援装置に送信する通信部と、を備える会話支援システムであってもよい。
【0016】
(9)本発明のその他の態様は、コンピュータに、(1)から(7)のいずれかの会話支援装置として機能させるプログラムであってもよい。
【0017】
(10)本発明のその他の態様は、会話支援装置における会話支援方法であって、音声データに対して音声認識処理を行って発言内容を示す発言テキストを生成する音声認識過程と、前記発言テキストから所定のトピックの語句と、前記語句と所定の位置関係を有する数値を特定するトピック解析過程と、前記数値または前記数値から導出される数値を表示値として図示する表示情報を前記発言テキストと関連付けて表示部に表示させる表示処理過程と、を有し、前記表示処理過程は、操作に応じて前記表示情報の要否が指示される過程と、前記語句ごとの前記要否の指示傾向に基づいて前記表示情報の出力の要否を判定する過程を有する会話支援方法である。
【発明の効果】
【0018】
本発明によれば、会話の参加者に対して特定の発言内容をより容易に理解させることができる。
本発明の(1)、(8)、(9)または(10)の態様によれば、発言内容を示す発言テキストから、その発言テキストに含まれる所定のトピックに関する数値が特定され、特定された数値に基づく表示値が発言テキストと関連付けて図示される。そのため、表示情報に接した利用者は、発言内容のトピックとの関係で発言された数値の意義を直感的に理解することができる。ひいては発言内容全体の理解が促進される。
また、表示情報の表示が要求される傾向を有する語句に係るトピックまたは事物に対しては表示情報が表示され、表示が拒否される傾向を有する語句に係るトピックまたは事物に対しては表示情報が表示されない。そのため、発言内容のトピックまたは対象事物による利用者の表示の要否に対する嗜好に応じて表示情報の要否が制御される。
【0019】
(2)の態様によれば、特定した語句で示されるトピックまたは対象事物にふさわしい形式で表示値が図示される。発言された数値の意義が強調されるため、発言内容の理解が促進される。
【0020】
(3)の態様によれば、発言テキストにおいて特定した語句と同時に出現する単位に係る数値が特定されるので、その語句に係るトピックまたは対象事物に関する数値を的確に抽出することができる。
【0021】
(4)の態様によれば、特定した語句に関する事物の基準量で対象量を正規化した比率が表示値として図示される。そのため、基準量との関係で対象量の実質的な価値に対する意義を利用者に対して容易に理解させることができる。
【0022】
(5)の態様によれば、発言テキストから発言された事物に関する期間の起点を特定する数値が少なくとも抽出され、抽出された数値で示される起点から開始される期間が図示される。そのため、表示情報により対象事物の期間の起点が発言内容のトピックをなすことが利用者に対して容易に理解させることができる。
【0023】
(6)の態様によれば、表示された案内情報における期間の終点が暫定的な終点であることが利用者に通知される。また、終点を特定することを利用者に促すことができる。
【0025】
(7)の態様によれば、トピック解析部124は、発言テキストで伝達される発言内容のトピックに係る語句を簡素な処理により定めることができる。
【図面の簡単な説明】
【0026】
【
図1】本実施形態に係る会話支援システムの構成例を示すブロック図である。
【
図2】本実施形態に係る端末装置の機能構成例を示すブロック図である。
【
図3】表示情報の第1の生成例を示す説明図である。
【
図5】表示情報の第2の生成例を示す説明図である。
【
図7】表示情報の第2の生成例を示す説明図である。
【
図8】表示情報の第3の生成例を示す説明図である。
【
図9】本実施形態に係るトピックモデルの単語分布データの第1例を示す図である。
【
図10】本実施形態に係るトピックモデルの単語分布データの第2例を示す図である。
【
図11】本実施形態に係るトピックモデルのトピック分布データの例を示す図である。
【
図12】本実施形態に係るトピックモデルの単語分布データの第2例を示す図である。
【
図13】本実施形態に係る発言テキストの表示処理の例を示すフローチャートである。
【発明を実施するための形態】
【0027】
以下、図面を参照しながら本発明の実施形態について説明する。まず、本実施形態に係る会話支援システムS1の構成例について説明する。
図1は、本実施形態に係る会話支援システムS1の構成例を示すブロック図である。会話支援システムS1は、会話支援装置100と、端末装置200と、を含んで構成される。
【0028】
会話支援システムS1は、2人以上の参加者が参加する会話において用いられる。参加者には、発話と音声の受聴の一方または両方に不自由な者(以下、「障がい者」)が1名以上含まれていてもよい。障がい者は、個々に端末装置200の操作部280を操作して、発言内容を示すテキスト(以下、「第2テキスト」)を会話支援装置100に入力してもよい。発話および音声の受聴に困難を伴わない者(以下、「健常者」)は、個々に収音部170または収音部を備える機器(例えば、端末装置200)を用い、発話した音声を会話支援装置100に入力してもよい。会話支援装置100は、入力された音声を示す音声データに対して公知の音声認識処理を行い、音声による発言内容を示すテキスト(以下、「第1テキスト」)に変換する。会話支援装置100は、変換により得られた第1テキストと端末装置200から得られた第2テキストのいずれかのテキストが取得されるたびに、取得されるテキストを表示部190に表示させる。障がい者は、表示されるテキスト(以下、「表示テキスト」)を読むことで会話における発言内容を理解することができる。
【0029】
会話支援装置100は、取得された発言テキストから所定のトピックの語句を検索し、検索により特定された語句と所定の位置関係を有する数値を特定する。会話支援装置100は、特定した数値、または特定した数値から導出される値を表示値として定め、定めた表示値を図示するための表示情報を生成する。会話支援装置100は、生成した表示情報を発言テキストと関連付けて表示部190と、端末装置200の表示部290に表示させる。表示部190、290には所定のトピックを発言内容とする発言テキストと関連付けて、発言テキストに関連する表示値が図示される。そのため、表示情報に接した参加者は、発言テキストに関連する数値に関する発言内容を容易に理解することができる。特に、障がい者に対して本実施形態は有用である。表示テキストだけでは発言内容を十分に理解されない傾向があるためである。
【0030】
例えば、「業務進捗」を発言テキストで伝達される発言内容のトピックとする場合には、会話支援装置100は、発言テキストで言及された「進捗率」に対応する形式(例えば、円グラフ)で進捗率を示す数値を表示値として図示するための表示情報を生成する。生成した表示情報を発言テキストと関連付けて表示部190、290に表示させる。よって、数値またはその演算値が図示されることで、参加者は数値と演算値に関する発言内容を容易に理解することができる。表示情報などの表示例については、後述する。
【0031】
図1に示す会話支援システムS1は、1個の会話支援装置100と1個の端末装置200を備えるが、これには限らない。端末装置200の数は、2個以上になることもありうるし、0個の場合もありうる。会話支援装置100、端末装置200は、それぞれ
図1に示す例では、親機、子機としての機能を有する。
【0032】
なお、本願では、「会話」とは2人以上の参加者間での意思疎通のことを意味し、音声を用いた意思疎通に限られず、テキストなどの、その他の種別の情報媒体を用いた意思疎通も含まれる。会話には、2人以上の参加者間で自発的または任意になされる意思疎通に限られず、会議、発表会、講演会、式典のように特定の参加者(例えば、司会者)が他の参加者の発言を統制する形態での意思疎通も含まれる。また、「発言」とは言語を用いて意思を伝達することを意味し、音声を発して意思を伝達することに限らず、テキストなど、その他の種別の情報媒体を用いて意思を伝達することも含まれる。
【0033】
(会話支援装置)
次に、本実施形態に係る会話支援装置100の構成例について説明する。会話支援装置100は、制御部110と、記憶部140と、通信部150と、入出力部160と、を含んで構成される。制御部110は、各種の演算処理を行うことにより、会話支援装置100の機能を実現し、その機能を制御する。制御部110は、専用の部材により実現されてもよいが、プロセッサと、ROM(Read Only Memory)、RAM(Random Access Memory)などの記憶媒体を備えてもよい。プロセッサは、予めROMに記憶された所定のプログラムを読み出し、読み出したプログラムをRAMに展開して、RAMの記憶領域を作業領域として用いる。プロセッサは、読み出したプログラムで記述された各種の命令で指示される処理を実行して制御部110の機能を実現する。実現される機能には、後述する各部の機能が含まれうる。以下の説明では、プログラムに記述された命令で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。プロセッサは、例えば、CPU(Central Processing Unit)などである。
【0034】
制御部110は、音声分析部112、音声認識部114、テキスト取得部118、テキスト処理部120、議事録作成部122、トピック解析部124、表示処理部134、表示制御情報取得部136およびモード制御部138を含んで構成される。
【0035】
音声分析部112には、収音部170から入出力部160を経由して音声データが入力される。音声分析部112は、入力された音声データについて所定の長さのフレームごとに音声特徴量を算出する。音声特徴量は、そのフレームにおける音声の音響的な特徴を示す特性パラメータで表される。算出される音声特徴量は、例えば、パワー、零交差数(Number of Zero-Crossings)、メル周波数ケプストラム係数(MFCC:Mel-Frequency Cepstrum Coefficients)などである。そのうち、パワーとゼロ交差数は、発話状態の判定に用いられる。MFCCは、音声認識に用いられる。1フレームの期間は、例えば、10ms~50msである。
【0036】
音声分析部112は、算出した音声特徴量に基づいてフレームごと発話状態を判定する。音声分析部112は、公知の音声区間検出処理(VAD:Voice Activity Detection)を行い、その時点での処理対象のフレーム(以下、「現フレーム」)が音声区間であるか否かを判定する。音声分析部112は、例えば、パワーが所定のパワーの下限よりも大きく、かつ、零交差数が所定の範囲内(例えば、1秒当たり300~1000回)であるフレームを発話区間として判定し、それ以外のフレームを非音声区間と判定する。そして、音声分析部112は、現フレームの直前のフレーム(以下、「前フレーム」)が非音声区間であったが、新たに現フレームを音声区間として判定する場合、その現フレームの発話状態を発話開始として判定する。発話状態が発話開始と判定されたフレームを「発話開始フレーム」と呼ぶ。音声分析部112は、前フレームが音声区間であったが、新たに現フレームを非音声区間として判定する場合、前フレームの発話状態を発話終了として判定する。発話状態が発話終了と判定されたフレームを「発話終了フレーム」と呼ぶ。音声分析部112は、発話開始フレームから次に発話終了フレームとなる一連の区間を1つの発話区間として判定する。1つの発話区間は、概ね1回の発話に相当する。音声分析部112は、判定した発話区間ごとに算出した音声特徴量を音声認識部114に順次出力する。なお、入力される音声データに収音識別情報が付加されている場合には、その収音識別情報を音声特徴量に付加して音声認識部114に出力してもよい。収音識別情報は、個々の収音部170を識別するための識別情報(例えば、Mic ID:Microphone Identifier)である。
【0037】
音声認識部114は、音声分析部112から発話区間ごとに入力される音声特徴量に対して予め記憶部140に記憶させておいた音声認識モデルを用いて音声認識処理を行う。音声認識モデルは、音響モデルと言語モデルを含む。音響モデルは、音声特徴量から1つまたは複数の音素からなる音素列を定めるために用いられる。音響モデルは、例えば、HMM(Hidden Markov Model、隠れマルコフモデル)である。言語モデルは、音素列から構成される語句を用いるために用いられる。言語モデルは、例えば、n-グラム(n-gram)である。音声認識部114は、入力される音声特徴量について音声認識モデルを用いて算出した尤度が最も高い語句を認識結果として定める。音声認識部114は、認識結果として発言内容を構成する語句を示すテキストを示す第1テキスト情報をテキスト処理部120に出力する。即ち、第1テキスト情報は、収音された音声の発言内容を示す発言テキスト(以下、「第1テキスト」)を示す情報である。
【0038】
なお、入力される音声特徴量に収音識別情報が付加されている場合には、その収音識別情報を第1テキスト情報に付加してテキスト処理部120に出力してもよい。また、音声認識部114は、入力される音声特徴量に対して公知の話者認識処理を行って話者を特定してもよい。音声認識部114は、特定した話者を示す話者識別情報(話者ID)を音声特徴量に付加してテキスト処理部120に出力してもよい。話者IDは、個々の話者を識別するための識別情報である。
【0039】
テキスト取得部118は、端末装置200から通信部150を用いてテキスト情報を受信する。テキスト取得部118は、取得したテキスト情報を第2テキスト情報としてテキスト処理部120に出力する。第2テキスト情報は、端末装置200の操作部280への操作に応じて入力され、主に会話への参加者との意思疎通を目的とし、入力者の発言内容を表すテキストを示す。なお、テキスト取得部118は、後述する端末装置200の制御部210と同様な手法を用いて、操作部180から入出力部160を経由して入力される操作信号に基づいてテキスト情報を受け付けてもよい。なお、本願では、端末装置200から受信した操作信号と操作部180から入力される操作信号を、「取得した操作信号」または単に「操作信号」と総称することがある。テキスト取得部118は、操作信号の取得元である操作部180と端末装置200のいずれかの機器を識別するための機器識別情報を第2テキスト情報に付加してテキスト処理部120に出力してもよい。また、「収音識別情報」、「話者識別情報」および「機器識別情報」を「取得元識別情報」と総称することがある。
【0040】
テキスト処理部120は、音声認識部114から入力される第1テキスト情報が示す第1テキストと、テキスト取得部118から入力される第2テキスト情報が示す第2テキストのそれぞれを表示部190に表示させる発話テキストとして取得する。テキスト処理部120は、取得した発言テキストに対して表示テキストとして表示または保存するために所定の処理を行う。テキスト処理部120は、例えば、第1テキストに対して公知の形態素解析を行って、第1テキストを1または複数の単語に区分し、単語ごとの品詞を特定する。テキスト処理部120は、特定した品詞が間投詞である単語、所定期間(例えば、10~60秒)内に繰り返し発言された単語など、発言内容に対して実質的に寄与しない単語を示すテキストを第1テキストから削除してもよい。
【0041】
また、テキスト処理部120は、音声認識部114から入力される第1テキスト情報とテキスト取得部118から入力される第2テキスト情報のそれぞれについて、個々の発言を識別するための発言識別情報を生成し、生成した発言識別情報を、その発言に係る表示テキストを示す表示テキスト情報に付加してもよい。テキスト処理部120は、例えば、一連の会話開始後においてテキスト処理部120に第1テキスト情報または第2テキスト情報が入力される順序を発言識別情報として生成してもよい。テキスト処理部120は、表示テキスト情報を議事録作成部122、トピック解析部124および表示処理部134に出力する。なお、音声認識部114から入力される第1テキスト情報またはテキスト取得部118から入力される第2テキスト情報に取得元識別情報が付加されている場合には、テキスト処理部120は、その取得元識別情報を表示テキスト情報に付加して議事録作成部122、トピック解析部124および表示処理部134に出力してもよい。
【0042】
議事録作成部122は、テキスト処理部120から入力される表示テキスト情報を記憶部140に順次記憶する。記憶部140には、記憶された個々の表示テキスト情報を含む議事録情報として形成される。上記のように個々の表示テキスト情報は、第1テキスト情報または第2テキスト情報で伝達される発言テキストを示す。従って、議事録情報はそれらの発言テキストが順次累積された発言履歴(発言ログ)に相当する。
議事録作成部122は、テキスト処理部120から表示テキスト情報が入力される日時を示す日時情報を表示テキスト情報と関連付けて記憶部140に記憶してもよい。表示テキスト情報に取得元識別情報が付加されている場合には、議事録作成部122は、日時情報に代えて、または日時情報とともに取得元識別情報と表示テキスト情報とを関連付けて記憶部140に記憶してもよい。また、表示テキスト情報に発言識別情報が付加されている場合には、議事録作成部122は、日時情報もしくは取得元識別情報に代えて、または日時情報もしくは取得元識別情報とともに発言識別情報と表示テキスト情報を関連付けて記憶部140に記憶してもよい。
【0043】
トピック解析部124は、テキスト処理部120から入力される表示テキスト情報で示される発言テキストから所定のトピックに関する語句(キーワード)を抽出する。これにより発言テキストで伝達される発言内容のトピック、または、トピックを代表するキーワードが解析される。語句とは、単語または複数の単語からなる句を意味し、主に動詞、名詞、形容詞、副詞などの自立語をなす。そこで、トピック解析部124は、発言テキストに対して形態素解析を行って、その発言テキストで表される文をなす語句と、語句ごとの品詞を定め、自立語を処理対象の区間として定めてもよい。
【0044】
トピック解析部124は、例えば、記憶部140に予め記憶されたトピックモデルを参照し、発言テキストから、トピックモデルに記述される語句のうちいずれかを特定する。トピックモデルは、所定のトピックごとに、そのトピックに関連する1個または複数個の語句を示す情報を含んで構成される。それらの語句の一部は、そのトピックの名称(トピック名)と同一であってもよい。また、記憶部140には、予め類義語データが記憶されてもよい。類義語データは、見出し語となる語句ごとに、その語句と意味が類似する他の語句を類義語として対応付けて示すデータ(類義語辞典)である。トピック解析部124は、類義語データを参照して、発言テキストの一部をなす語句に対応する類義語を特定し、特定した類義語と一致する語句をトピックモデルに記述される語句から特定してもよい。
【0045】
トピック解析部124は、発言テキストから特定した語句(上記の手法で特定される類義語も含む)と所定の位置関係にある数値を特定する。トピック解析部124は、所定の位置関係の数値として、例えば、その語句よりも後続または先行し、その語句から所定の文節数(例えば、2~5文節)の範囲内の数値を採用する。トピック解析部124は、特定した語句と所定の位置関係にある比率の単位(例えば、「%」、「割」など)を抽出し、抽出した単位の直前に隣接する数値を採用してもよい。この場合、採用される数値は、比率を表す数値として推認される。また、特定した語句に応じて、抽出すべき単位が予め設定されてもよい。例えば、進捗率の単位として「%」、業務内容に関連する数量の単位として「個」、「台」、スケジュールに関連する数量の単位をなす関連語として、業務項目の期間もしくはその起点または終点の単位である「月」、「日」、「時」、「分」などを示す単位情報が予め記憶部140に記憶させておく。トピック解析部124は、単位情報を参照して、特定した語句に対応する単位情報を定めることができる。
【0046】
また、トピック解析部124は、特定した数値を表示対象とする表示値として、そのまま採用してもよいし、特定した数値から導出される他の値を表示値として採用してもよい。例えば、特定した語句に応じて表示値を導出するための処理の要否やその処理の種別との関係を示す演算制御情報を予め記憶部140に記憶させておいてもよい。トピック解析部124には、演算制御情報を参照して、特定した語句に応じた処理の要否や、必要とする場合における処理の種別を判定することができる。判定対象とする処理は、所定の数値を基準値とする正規化、減算などが該当しうる。
【0047】
トピック解析部124は、予め記憶部140に特定した語句に対応する文型情報を記憶させておいてもよい。文型情報は、特定された語句と、その語句で示される事物の基準値と、その事物の対象量との関係を表現する文が有する典型的な文型を示す情報である。例えば、業務進捗の度合いの基準値と対象量を関連付けて表現する文の文型として、「○台中▲台」、という文型を示す情報が文型情報として採用されうる。そのうち、〇、▲が、それぞれ基準量、対象量を示す数値が文中に含まれてもよい。そして、トピック解析部124は、特定した語句に対応する文型情報を特定し、特定した文型情報で示される文型と、特定した語句を含む文とを照合して、その文から基準量と対象量を抽出する。トピック解析部124は、抽出した対象量を基準量で除算することにより正規化して進捗率を表示値として算出することができる。
【0048】
なお、記憶部140には、起点から終点までの期間を表現する文が有する典型的な文型を示す文型情報が含まれてもよい。トピック解析部124は、期間に関連するトピックに係る語句が特定されるときに、この文型情報を特定し、特定した文型情報で示される文型と、特定した語句を含む文とを照合して、その文から開始時を示す数値と終了時を示す数値を抽出してもよい。
【0049】
特定した語句に関するトピックが期間に関する場合、トピック解析部124は、必ずしも文型情報を用いずに、上記の単位情報を用いて起点と終点の一方または両方を示す数値を抽出してもよい。また、トピック解析部124は、特定した語句に関するトピックが期間に関する場合、さらにその期間の対象事物(例えば、業務、工程、など)を示す第2の語句を抽出し、第2の語句について上記の手法を用いて起点と終点の一方または両方を示す数値を抽出してもよい。
【0050】
トピックを期間とするとき、対象事物を示す語句を示す情報がトピックモデルに設定されていてもよい。トピック解析部124は、トピックモデルを参照して、発言テキストに含まれる期間に関する語句と、その対象事物を示す第2の語句を特定することができる。
但し、会話の参加者は、期間に関する発言をなす場合において、起点に言及しても、しばしば終点に言及されないことがある。トピック解析部124は、終点または終点を示す数値の欠落を許容してもよい。
【0051】
トピック解析部124は、抽出した数値または導出した数値を表示値として示す表示値情報を表示処理部134に出力する。トピック解析部124は、特定した語句、対象事物を示す第2の語句、またはそれらの語句に関する情報を表示値情報に含めてもよい。
なお、トピック解析部124は、第2の語句に対しても上記の手法を用いて類義語を定め、定めた類義語を第2の語句に代えて各種の数値の抽出や後述する表示のために用いてもよい。類義語を定めた場合には、トピック解析部124は、定めた類義語の情報を表示値情報に含めて表示処理部134に出力してもよい。
【0052】
表示処理部134は、テキスト処理部120から入力される表示テキスト情報で示される表示テキストを表示するための処理を行う。トピック解析部から表示値情報が入力されない場合、即ち、発言テキストのトピックもしくはその事物に関する表示値が発言テキストから取得されなかった場合には、表示処理部134は、表示テキストを表示部190、290にそのまま表示させる。ここで、表示処理部134は、予め記憶部140に記憶させた表示画面テンプレートを読み出し、表示処理部134は、表示画面テンプレートのうち表示テキストを表示させるために予め設定された所定のテキスト表示領域に新たに入力される表示テキストを割り当てて表示画面を更新する。テキスト表示領域にさらに新たな表示テキストを割り当てる領域がなくなるとき、表示処理部134は、テキスト処理部120から表示テキスト情報が新たに入力されるごとに、テキスト表示領域において表示テキストを所定方向(例えば、垂直方向)にスクロールすることにより表示画面を更新する。スクロールにおいて、表示処理部134は、既にテキスト表示領域に割り当てた既表示の表示テキストの表示領域を所定の方向に移動させ、表示テキストが割り当てられていない空き領域を確保する。空き領域は、テキスト表示領域のうち表示テキストの移動方向とは逆方向の一端に接して設けられる。表示処理部134は、確保される空き領域の大きさが、新たな表示テキストの表示に要する表示領域の大きさと等しくなるように、既表示の表示テキストの移動量を定める。表示処理部134は、確保した空き領域に新たな表示テキストを割り当てるとともに、移動によりテキスト表示領域外に配置された既表示の表示テキストを消去する。
【0053】
他方、発言テキストのトピックに関連する表示値が取得された場合には、表示処理部134は、さらに表示値を図示する表示情報を表示テキストと関連付けて表示部190、290に表示させる。その場合には、トピック解析部124から表示値情報が表示処理部134に入力される。表示処理部134は、例えば、表示テキストと共通の表示枠内に表示情報の例として、円グラフ、帯グラフ、などの表示値を図示する表示値画像を表示情報の例として生成する。表示値画像の形式(表示形式)を示す表示形式情報を記憶させておき、表示形式情報を参照して、発言テキストから抽出された語句に対応する表示形式を選択してもよい。表示処理部134は、選択した表示形式で表示値を図示する表示値画像を生成する。例えば、進捗に関する語句に対しては円グラフが対応付けられ、期間に関する語句に対しては帯グラフが期間を示す図形として対応付けられる。表示処理部134は、発言テキストから抽出された語句が期間に関する場合には、その期間を示す図形を、その期間を含む日、週、または月の表示欄を有する予定表(カレンダ)の画像を表示値画像として生成してもよい。
【0054】
表示対象とする期間のうち、起点が定められ、終点が定められていない場合には、表示処理部134は、その起点から所定の期間の経過後の時点を終点とする期間を表示対象とする期間である表示期間として定めてもよい。その所定の期間は、その期間の対象事物を示す第2の語句と関連付けて期間情報として予め記憶部140に記憶させておいてもよい。表示処理部134は、期間情報を参照して、表示値情報で示される第2の語句に対応する期間を特定することができる。表示値情報において、第2の語句と、その期間が定められている場合には、表示処理部134は、期間情報に含める第2の語句に対応する期間を、その表示値情報に示される期間を用いて更新してもよい。表示処理部134は、表示値情報で示される最新の期間、単純平均値、加重平均値および最頻値のいずれに定めてもよい。加重平均値を算出する場合には、現時点までの期間が短い新しい期間に対する重み係数ほど、大きい値が用いられてもよい。
【0055】
表示処理部134は、起点が定められ、終点が定められていない場合には、終点が定められていないことを示す案内情報をさらに、表示情報と関連付けて表示画面に含めてもよい。表示処理部134は、例えば、表示情報と共通の表示枠内、または、その表示枠に隣接する領域に案内情報を配置する。
【0056】
なお、表示処理部134は、表示画面の表示中に表示制御情報取得部136からテキスト削除情報が入力されるとき、テキスト表示領域に割り当てた表示テキストの一部の区間を特定し、特定した区間内の表示テキストを消去してもよい。テキスト削除情報は、表示テキストの消去と、その対象とする表示テキストの区間を指示する制御情報である。対象とする区間は、テキスト削除情報に含まれる発言識別情報を用いて特定されてもよい。表示処理部134は、テキスト表示領域のうち、表示テキストを消去した領域に、より新しい他の表示テキストを移動させることにより表示画面を更新する(テキスト詰め)。
【0057】
表示処理部134は、表示画面を更新する都度、更新した表示画面を示す表示画面データを表示部190に入出力部160を経由して出力する。また、表示処理部134は、通信部150を用いて表示画面データを端末装置200に送信してもよい。よって、表示処理部134は、自装置の表示部190と端末装置200の表示部290に更新した表示画面を表示させることができる。なお、自装置の表示部190に表示させる表示画面には、操作領域が含まれてもよい。操作領域には、自装置の操作や動作状況の表示のための各種の画面部品が配置される。
【0058】
表示制御情報取得部136は、端末装置200から表示画面の表示を制御するための表示制御情報を受信する。表示制御情報取得部136は、端末装置200の制御部210と同様の手法(後述)を用いて、入出力部160を経由して入力される操作信号に基づいて表示制御信号を生成してもよい。表示制御情報取得部136は、取得した表示制御情報を表示処理部134に出力する。抽出される表示制御信号には、上記のテキスト削除情報が含まれうる。
【0059】
モード制御部138は、取得した操作信号に基づいて会話支援装置100の動作モードを制御する。モード制御部138は、動作モードとして、会話支援装置100が提供可能とする機能の要否またはそれらの組み合わせを設定可能とする。モード制御部138は、取得操作信号からモード設定に関するモード設定情報を抽出し、抽出したモード設定情報で指示される動作モードを指示するためのモード制御情報を各部に出力する。
【0060】
モード制御部138は、例えば、動作開始、動作終了、議事録作成の要否、録音の要否、などを制御可能とする。抽出されるモード設定情報が動作開始を示す場合、モード制御部138は、動作開始を示すモード制御情報を制御部110の各部に出力する。制御部110の各部は、モード制御部138から動作開始を示すモード制御情報が入力されるとき、自部に所定の処理を開始する。抽出されるモード設定情報が動作終了を示す場合、モード制御部138は、動作終了を示すモード制御情報を制御部110の各部に出力する。制御部110の各部は、モード制御部138から動作終了を示すモード制御情報が入力されるとき、自部に所定の処理を終了する。抽出されるモード設定情報が議事録作成を示す場合、モード制御部138は、議事録作成を示すモード制御情報を議事録作成部122に出力する。抽出されるモード設定情報が議事録作成を示す場合、モード制御部138は、議事録作成を示すモード制御情報を議事録作成部122に出力する。議事録作成部122は、モード制御部138から議事録作成要を示すモード制御情報が入力されるとき、議事録作成部122は、テキスト処理部120から入力される表示テキスト情報の記憶部140への記憶を開始する。よって、議事録の作成が開始される。抽出されるモード設定情報が議事録作成否を示す場合、モード制御部138は、議事録作成否を示すモード制御情報を議事録作成部122に出力する。議事録作成部122は、モード制御部138から議事録作成否を示すモード制御情報が入力されるとき、議事録作成部122は、テキスト処理部120から入力される表示テキスト情報の記憶部140への記憶を停止する。よって、議事録の作成が停止される。
【0061】
記憶部140は、制御部110における処理に用いられる各種のデータ、制御部110が取得した各種のデータを記憶する。記憶部140は、例えば、上記のROM、RAMなどの記憶媒体を含んで構成される。
【0062】
通信部150は、所定の通信方式を用いてネットワークに無線または有線で接続し、他の機器と各種のデータを送信および受信可能とする。通信部150は、例えば、通信インタフェースを含んで構成される。所定の通信方式は、例えば、IEEE802.11、4G(4th Generation Mobile Communication System;第4世代移動通信システム)、5G(5th Generation Mobile Communication System;第5世代移動通信システム)などのいずれの規格で規定された方式であってもよい。
【0063】
入出力部160は、所定の入出力方式を用いて他の部材もしくは機器と各種のデータを無線または有線で入力および出力可能とする。所定の入出力方式は、例えば、USB(Universal Serial Bus)、IEEE1394などのいずれ規格で規定された方式であってもよい。入出力部160は、例えば、入出力インタフェースを含んで構成される。
【0064】
収音部170は、自部に到来する音声を収音し、収音された音声を示す音声データを制御部110に入出力部160を経由して出力する。収音部170は、マイクロホンを備える。収音部170の数は、1個に限られず、2個以上であってもよい。収音部170は、例えば、可搬型のワイヤレスマイクロホンであってもよい。ワイヤレスマイクロホンは、主に個々の所持者の発話音声を収音する。
【0065】
操作部180は、使用者による操作を受け付け、受け付けた操作に応じた操作信号を制御部110に入出力部160を経由して出力する。操作部180は、タッチセンサ、マウス、キーボードなどの汎用の入力デバイスを備えてもよいし、ボタン、つまみ、ダイヤルなどの専用の部材を備えてもよい。
【0066】
表示部190は、制御部110から入力される表示画面データなどの表示データに基づく表示情報、例えば、各種の表示画面を表示する。表示部190は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機エレクトロルミネッセンスディスプレイ(OLED:Organic Electro-luminescence Display)など、いずれの方式のディスプレイであってもよい。なお、表示部190をなすディスプレイの表示領域は、操作部180をなすタッチセンサの検出領域を重畳して一体化した単一のタッチパネルとして構成されてもよい。
【0067】
(端末装置)
次に、本実施形態に係る端末装置200の構成例について説明する。
図2は、本実施形態に係る端末装置200の機能構成例を示すブロック図である。
端末装置200は、制御部210と、記憶部240と、通信部250と、入出力部260と、収音部270と、操作部280と、表示部290と、を含んで構成される。
【0068】
制御部210は、各種の演算処理を行うことにより、端末装置200の機能を実現し、その機能を制御する。制御部210は、専用の部材により実現されてもよいが、プロセッサと、ROM、RAMなどの記憶媒体を備えてもよい。プロセッサは、予めROMに記憶された所定の制御プログラムを読み出し、読み出したプログラムをRAMに展開して、RAMの記憶領域を作業領域として用いる。プロセッサは、読み出したプログラムで記述された各種の命令で指示される処理を実行することにより、制御部210の機能を実現する。
【0069】
制御部210は、通信部250を用いて会話支援装置100から表示画面データを受信し、受信した表示画面データを表示部290に出力する。表示部290は、制御部210から入力される表示画面データに基づいて表示画面を表示する。制御部210は、表示画面の表示中に、操作部280から文字を示す操作信号を受け付け、受け付けた1以上の文字で構成されるテキストを示すテキスト情報を会話支援装置100に通信部250を用いて送信する(テキスト入力)。この段階で受け付けられたテキストは、上記の第2テキストに相当する。
【0070】
制御部210は、表示画面のテキスト表示領域内に割り当てられた表示テキストのうち、操作部280から入力される操作信号で指示される一部の区間を特定し、操作信号により削除が指示されるとき、特定した区間を対象として表示テキストの削除を示すテキスト削除情報を生成する(テキスト削除)。制御部210は、通信部250を用いて生成したテキスト削除情報を会話支援装置100に送信する。
【0071】
記憶部240は、制御部210における処理に用いられる各種のデータ、制御部210が取得した各種のデータを記憶する。記憶部240は、ROM、RAMなどの記憶媒体を含んで構成される。
【0072】
通信部250は、所定の通信方式を用いてネットワークに無線または有線で接続し、他の機器と各種のデータを送信および受信可能とする。通信部250は、例えば、通信インタフェースを含んで構成される。
【0073】
入出力部260は、所定の入出力方式を用いて他の部材もしくは機器と各種のデータを入力および出力可能とする。入出力部260は、例えば、入出力インタフェースを含んで構成される。
【0074】
収音部270は、自部に到来する音声を収音し、収音された音声を示す音声データを制御部210に入出力部260を経由して出力する。収音部270は、マイクロホンを備える。収音部270により取得された音声データは、通信部250を経由して会話支援装置100に送信され、会話支援装置において音声認識処理がなされてもよい。
【0075】
操作部280は、使用者による操作を受け付け、受け付けた操作に応じた操作信号を制御部210に入出力部260を経由して出力する。操作部280は、入力デバイスを備える。
【0076】
表示部290は、制御部210から入力される表示画面データなどの表示データに基づく表示情報を表示する。表示部290は、ディスプレイを備える。なお、表示部290をなすディスプレイは、操作部280をなすタッチセンサと一体化して単一のタッチパネルとして構成されてもよい。
【0077】
(動作例)
次に、本実施形態に係る会話支援システムS1の動作例について説明する。
図3は、表示情報の第1の生成例を示す説明図である。
図3に示す例では、その時点で取得された最新の発言テキスト「製品Aの組立業務の進捗率は60%です。」が処理対象となることを仮定する。その場合、会話支援装置100のトピック解析部124は、トピックモデルを参照して発言テキストからトピック「作業進捗」に関連する語句「進捗率」を、発言テキストから特定する。
図3では、発言テキストのうちキーワードとする語句が下線で示されている。トピック解析部124は、さらに発言テキストから特定した語句「進捗率」と所定の位置関係にある比率の単位「%」を特定する。トピック解析部124は、特定した単位「%」に付随する数値として、その直前に前置された数値「60」を抽出する。そして、トピック解析部124は、特定した語句「進捗率」と数値「60」を示す表示値情報を生成し、生成した表示値情報を表示処理部134に出力する。
表示処理部134は、表示形式情報を参照して、トピック解析部124から入力される表示値情報で示される語句「進捗率」に対応する表示形式として円グラフを特定する。そして、表示処理部134は、表示値情報で示される数値60%を図示する円グラフを表示情報として生成する。
【0078】
図4は、表示画面の第1の表示例を示す図である。この表示画面は会話支援装置100の表示部190と端末装置200の表示部290の一方または両方に表示されうる。以下、表示部290に表示される場合を例にして、端末装置200における操作と表示内容について説明する。
図4に例示される表示画面には発言ごとの表示テキストがそれぞれ表示枠(吹き出し)内に表示される。特定された語句に関連する数値が抽出された表示テキストについては、その表示テキストを囲む表示枠内に、その数値を図示する表示情報が表示される。表示枠mp12には、
図3に例示される発言テキストが表示テキストとして配置されるとともに、表示情報fg12がさらに配置される。
【0079】
表示画面にはテキスト表示領域td01、テキスト入力欄mi11、送信ボタンbs11および手書きボタンhw11が配置されている。テキスト表示領域td01は、表示画面の大部分(例えば、面積比で半分以上)の領域を占める。テキスト表示領域td01には、個々の発言ごとに取得元識別表示および表示枠のセットが配置される。会話支援装置100の表示処理部134は、表示画面を更新する際、表示テキスト情報が取得されるごとに、表示テキスト情報に付加された取得元識別情報に対応する取得元識別表示とその表示テキスト情報で示される表示テキストを配置した表示枠をテキスト表示領域内の各行に配置する。表示処理部134は、個々の表示枠の左上端に日時情報と右上端に削除ボタンを配置する。テキスト表示領域td01が取得元識別表示と表示枠のセットで満たされた後に新たな表示テキスト情報を取得するとき、表示処理部134は、既に配置された取得元識別表示と表示枠のセットを所定の方向(例えば、上方)に移動させ、テキスト表示領域td01の移動方向に対して末尾(例えば、下方)に生じる空き領域に新たな表示テキストが配置された表示枠と、その表示テキストに係る取得元識別表示のセットを配置する(スクロール)。表示処理部134は、テキスト表示領域td01外に移動する取得元識別表示と表示枠のセットを消去する。
【0080】
取得元識別表示は、個々の発言の取得元を示す表示である。
図4に示す例では、収音部表示mk11、mk12が、それぞれマイクロホンMic01、Mic02を取得元として示す取得元識別表示に相当する。表示処理部134は、自部に入力される第1テキスト情報と第2テキスト情報のそれぞれから取得元識別情報を抽出し、抽出した取得元識別情報で示される取得元を特定する。表示処理部134は、特定した取得元を示す文字を含めて取得元識別表示を生成する。表示処理部134は、取得元識別表示には、文字とともに、または文字に代えて個々の取得元を特定するための記号もしくは図形を含めてもよい。表示処理部134は、取得元識別表示に取得元に応じて異なる態様を設定し、その態様で表示させてもよい。取得元識別表示の態様は、例えば、背景の色、濃度、表示パターン(塗りつぶし、網掛けなど)、形状などのいずれであってもよい。
【0081】
表示枠mp11、mp12は、個々の発言内容を示す表示テキストが配置される枠である。個々の表示枠の左上端、右上端には、それぞれ日時情報、削除ボタンが配置されている。日時情報は、表示枠内に配置された表示テキストが取得された日時を示す。削除ボタンbd11、bd12は、その押下により、それぞれ対応づけて配置される表示枠mp11、mp12と取得元識別情報の削除を指示するためのボタンである。本願では、「押下」とは、ボタンなどの画面部品を指示すること、その画面部品の表示領域内の位置を指示すること、または、その位置を示す操作信号を取得すること、との意味を含む。例えば、削除ボタンbd11の押下が検出されるとき、表示処理部134は、収音部表示mk11と表示枠mp11を消去し、表示枠mp11に付随した日時情報「2020/09/12 09:01.23」および削除ボタンbd11を消去する。端末装置200の制御部210は、操作部280から受信した操作信号で指示された位置を表示領域内に含む削除ボタンを特定し、削除ボタンに対応する表示テキストを含む表示枠および取得元表示の消去を示すテキスト削除情報を生成し、会話支援装置100の表示制御情報取得部136に送信する。表示制御情報取得部136は、端末装置200から受信したテキスト削除情報を表示処理部134に出力する。表示処理部134は、表示制御情報取得部136からのテキスト削除情報で指示される表示枠と取得元表示を消去し、表示枠に付随した日時情報と削除ボタンを消去することにより表示画面を更新する。
【0082】
表示枠mp12には、表示テキストと表示情報fg12が含まれ、その順序で配列されている。これにより、表示情報fg12が表示テキストとの関連性を有することが明示される。この表示テキストと表示情報fg12は、
図3に例示される表示テキストと表示情報に相当する。表示テキストの塗りつぶし部分は、表示情報として図示の対象とした数値「60」と、その数値と所定の位置関係を有する所定のトピックに関する語句「進捗率」を示す。表示画面を視認したユーザは、が表示情報fg12として示される数値が「60」、その数値が発言テキストにより発言された発言内容として「進捗率は60%」との情報を容易に把握することができる。
【0083】
なお、表示処理部134は、表示情報fg12への押下を検出するとき、表示情報fg12を表示画面から消去してもよい。また、表示情報fg12が表示されていない場合において、表示処理部134は、表示情報fg12を表示させていない状況のもとで、表示テキストの塗りつぶし部分への押下が検出されるとき、表示情報fg12を表示枠mp12に含めて表示させてもよい。
また、表示処理部134は、削除ボタンbd12の押下を検出するとき、収音部表示mk12、取得日時、表示枠mp12’および表示テキストの他、表示中における表示情報fg12を消去してもよい。
【0084】
なお、テキスト入力欄mi11は、テキストの入力を受け付けるための欄である。端末装置200の制御部210は、操作部280から入力される操作信号で指示される文字を特定し、特定した文字をテキスト入力欄mi11内に順次配置する。テキスト入力欄mi11の大きさの範囲内で一度に受け付け可能とする文字数が制限される。この文字数は、一回の発話をなす典型的な文字数、単語数などの範囲(例えば、日本語の全角文字30~100文字以内)に基づいて予め定めておいてもよい。
【0085】
送信ボタンbs11は、押下によりテキスト入力欄mi11に配置された文字で構成されるテキストの送信を指示するためのボタンである。端末装置200の制御部210は、操作部280から入力される操作信号で送信ボタンbs11が指示されるとき、その時点でテキスト入力欄mi11に配置されたテキストを示すテキスト情報を会話支援装置100のテキスト取得部118に送信する。
【0086】
手書きボタンhw11は、押下により手書き入力を指示するためのボタンである。端末装置200の制御部210は、操作部280から入力される操作信号で手書きボタンhw11が指示されるとき、予め記憶部240に記憶させた手書き入力画面データを読み出し、表示部290に出力する。表示部290は、制御部210から入力された手書き入力画面データに基づいて手書き入力画面(図示せず)を表示する。制御部210は、操作部280から入力される操作信号で手書き入力画面内の位置を逐次に特定し、特定した位置の軌跡で構成される曲線を示す手書き入力情報を会話支援装置100に送信する。会話支援装置100の表示処理部134は、端末装置200から手書き入力情報を受信するとき、表示画面内の所定の位置に手書き表示領域を設定する。手書き表示領域は、テキスト表示領域の範囲内でもよいし、その範囲外であってもよい。表示処理部134は、設定した手書き表示領域内に手書き入力情報が示す曲線を配置することにより、表示画面を更新する。
【0087】
図5は、表示情報の第2の生成例を示す説明図である。
図5に示す例では、その時点で取得された最新の発言テキスト「製品Aの組立業務の進捗は50台中30台です。」が処理対象となることを仮定する。会話支援装置100のトピック解析部124は、トピックモデルを参照して発言テキストからトピック「業務進捗」に関連する語句「進捗」を、発言テキストから特定する。トピック解析部124は、「進捗」に対応する文型情報として「(対象事物)の進捗は、(基準値)(単位)中(対象量)(単位)です。」という文型を示す情報を選択する。括弧内に示される属性「基準値」は、解析対象とする発言テキスト内に、その属性を有する語句を含むことを条件とすることを示す。従って、選択された文型情報は、対象事物の進捗が、基準値を基準または目標とし、対象量で言及される程度にまで到達したことを示す文で用いられる文型を示す。そして、基準値、対象量がそれぞれの単位に前置される数値であることが示される。また、語句「中」は、基準値よりも後置され、対象量よりも前置されることで、基準値に対する対象量の比率が、語句「進捗」と相まって進捗率を示す。
【0088】
そこで、トピック解析部124は、文型情報を参照して、発言テキストのうち、「進捗」に後置される語句「中」を特定し、「中」よりも前置され単位「台」にさらに前置される数値「50」を基準量として特定し、「中」よりも後置され単位「台」に前置される数値「30」を対象量として特定する。トピック解析部124は、特定した対象量「30」を基準量「50」で除算して、進捗率を示す数値「60%」を算出する。そして、トピック解析部124は、特定した語句「進捗」、「中」、基準値「50」、対象値「30」、数値「60」を示す表示値情報を生成し、生成した表示値情報を表示処理部134に出力する。
表示処理部134は、表示形式情報を参照して、トピック解析部124から入力される表示値情報で示される語句「進捗」、「中」に対応する表示形式として円グラフを特定する。そして、表示処理部134は、表示値情報で示される数値60%を図示する円グラフを表示情報として生成する。
【0089】
図6は、表示画面の第2の表示例を示す図である。
図6に例示される表示画面の表示枠mp13では、
図4に示す例とは異なり、
図5に例示される表示テキストと、円グラフが表示情報fg13として表示される。また、表示テキストのうち、基準値「50」、対象値「30」の部分には、それぞれ塗りつぶし部分として表示されている。表示処理部134は、表示値情報を参照して、表示テキストからこれらの基準値と対象値を特定し、特定した基準値と対象値の部位に対して表示態様として塗りつぶしを設定することができる。そのため、表示画面に接したユーザは、表示情報fg13として表示される円グラフが、「50台」を基準値とし、「30台」を対象値とし、進捗率が「60%」であることを直感的に把握することができる。
【0090】
図7は、表示情報の第2の生成例を示す説明図である。
図7に示す例では、その時点で取得された最新の発言テキスト「今日の予定は、14時から会議です。」が処理対象となることを仮定する。
会話支援装置100のトピック解析部124は、トピックモデルを参照して発言テキストからトピック「スケジュール」に関連する語句「予定」を、発言テキストから特定し、語句「予定」から所定の範囲内に後置される自立語である「会議」を、その期間の対象事物を示す第2の語句として特定する。そして、トピック解析部124は、特定した第2の語句「会議」から所定の範囲内に先行する起点を示す語「から」をさらに特定し、「から」に前置される単位とこれに付随する数値を併せて期間の起点となる開始時刻「14時」を特定することができる。そして、トピック解析部124は、特定した語句「予定」、「会議」および起点を示す数値「14時」を表示値として示す表示値情報を表示処理部134に出力する。
なお、トピック解析部124は、記憶部140に記憶された各種の文型情報のうち特定した語句「予定」に対応する文型情報として、起点から終点までの期間を表現する分の文型情報を特定してもよい。トピック解析部124は、特定した文型情報を用いて、起点となる時刻を示す数値、終点となる時刻を示す数値を発言テキストから抽出することを試みてもよい。
【0091】
表示処理部134は、表示形式情報を参照して、トピック解析部124から入力される表示値情報で示される語句「予定」に対応する表示形式として帯グラフを特定する。そして、表示処理部134は、表示値情報で示される起点「14時」から開始される期間を帯グラフで示す表示情報として生成する。
なお、トピック解析部124は、発言テキストのうち語句「予定」から所定の範囲内に前置される期間の範囲を示す語句として「今日」を特定し、表示値情報に含めてもよい。
表示処理部134は、表示値情報で示される範囲「今日」から、その時点が属する日における所定の長さの期間(
図7の例では、8時から20時)を表示可能とする範囲として定めてもよい。
【0092】
図8は、表示情報の第3の生成例を示す説明図である。
図8に例示される表示画面の表示枠mp22では、
図7に例示される表示テキストと、帯グラフが表示情報fg22として表示される。また、表示テキストのうち、起点を示す数値「14」の部分には、塗りつぶし部分として表示されている。表示処理部134は、表示値情報を参照して、表示テキストから、この数値を特定し、特定した数値の部位に対して表示態様として塗りつぶしを設定することができる。そのため、表示画面に接したユーザは、表示情報fg22として表示される帯グラフが、「14時」を開始時刻であることを直感的に把握することができる。但し、
図7に示す例では、表示処理部134は、開始時刻から所定時間(1時間)の経過後である15時を終点として定めている。これは、表示テキストから終点となる時刻が特定できなかったためである。
【0093】
表示枠mp22には、表示情報fg22に後続して案内情報を含めて表示されている。案内情報は、終点が定められていないことを示すメッセージ「終了時刻が入力されていません。」と、表示処理部134が起点から1時間後を終点として定めたことを示すメッセージ「開始から1時間後と設定しました。」とを含む。また、案内情報には、これらのメッセージに感嘆符「!」を三角形で囲んでなる記号を前置して含まれる。これにより、表示画面に接したユーザには、終了時刻が入力されていないことと、開始時刻の1時間後を終了時刻に設定されたことに対して注意が喚起される。
【0094】
ここで、表示処理部134は、操作信号に基づいて表示情報fg22に示される終点の位置(
図8に示す例では、帯グラフの右端の位置)を変更し、変更した位置に対応する終点とする終了時刻を定めてもよい。操作信号に基づいて終了時刻を定めた場合には、表示処理部134は、案内情報を消去してもよい。
同様に、表示処理部134は、操作信号に基づいて表示情報fg22に示される起点の位置を変更し、変更した位置に対応する起点とする開始時刻を定めてもよい。
【0095】
なお、表示形式情報において、「予定」と表示形式として予定表が対応づけられてもよい。その場合、表示処理部134は、表示値情報で示される「予定」に対応する表示形式として予定表を選択する。予定表は、月ごとに各日付の表示欄を有する。そして、表示処理部134は、その時点の日付が属する月のうち、その時点の日付の表示欄に上記の期間を図示する予定表を表示情報として構成してもよい。
【0096】
(トピックモデル)
次に、本実施形態に係るトピックモデルについて説明する。トピックモデルは、個々のトピックを表す複数の語句のそれぞれの出現確率を示すデータである。つまり、あるトピックは複数の典型的な語句間の確率分布(単語分布)で特徴が表される。個々のトピックを複数の語句間の確率分布で表す手法は、BoW(Bag-of-Words)表現と呼ばれる。BoW表現では、文を構成する複数の単語の語順が無視される。これは、語順が変化してもトピックが変化しないと仮定に基づく。
【0097】
図9、
図10は、本実施形態に係るトピックモデルの単語分布データを例示する図である。
図9は、「業務進捗」をトピックとする部分を例示する。
図9に示す例では、トピック「業務進捗」に関連する語句として、「進捗率」、「納期」、「製品」、「業務」、「台数」を有する。
図10に示す例では、トピック「業務進捗」に関連する語句として、「スケジュール」、「予定」、「計画」、「会議」、「来客」、「訪問」、「外出」、「レポート」を有する。
図9、
図10では、それぞれ個々の語句に関連付けて、そのトピックを発言内容に含む場合における出現確率が表されている。本実施形態では、個々のトピックに関連する語句として、そのトピックが伝達されるときの語句の出現確率が所定の語句の出現確率の閾値よりも高い自立語が採用される。なお、本実施形態では必ずしも出現確率をトピックモデルに含めて記憶させずに省略してもよい。
【0098】
図11は、本実施形態に係るトピックモデルのトピック分布データの一例を示す図である。トピック分布データは、分析対象の文書全体において表れる個々のトピックの出現確率を示すデータである。一般には、トピックモデルにはトピック分布データが含まれるが、本実施形態ではトピック分布データを記憶部140に記憶させずに省略してもよい。
図11に示す例では、議事録情報をなす発言履歴を分析対象として得られたトピックごとの出現確率が示される。
図11に例示されるトピック分布データでは、個々のトピックとして「スケジュール」、「進捗」が含まれ、それぞれの出現確率の降順に配列されている。本実施形態では、出現確率が所定のトピックの出現確率の閾値よりも高いトピックが採用され、その他のトピックが用いられなくてもよい。これにより、頻繁に議題になるトピックに対して参考テキストに関連する参考情報が提供され、その他のトピックに対する参考情報の提供が制限される。
【0099】
会話支援装置100は、制御部110においてトピックモデルを更新するためのトピックモデル更新部(図示せず)を備えてもよい。トピックモデル更新部は、記憶部140に記憶される発言履歴を訓練データ(教師データとも呼ばれる)として用いることにより、トピックモデル更新処理(学習)を行う。ここで、発言履歴は複数の文書を有し、個々の文書が1件または複数件のトピックを有することを仮定する。本実施形態では、個々の文書を、各1回の会議に対応づけてもよい。上記のように、各1回の発言は、1個の文のみを含むことも、複数個の文を含むことがある。1回の発言が1件のトピックを有することも、複数回にまたがる発言が1件の共通のトピックを有することもある。
【0100】
トピックモデル更新処理では、文書mごとにトピック分布θmが定義される。トピック分布θmは、トピックlごとに文書mがトピックlを有する確率θmlを要素とする確率分布である。但し、確率θmlは、0以上1以下の実数であり、確率θmlのトピックl間の総和が1となるように正規化される。上記のように、トピックモデルではトピックlごとに単語分布φlが定義される。単語分布φlは、トピックlにおける単語kの出現確率φlkを要素とする確率分布である。出現確率φlkは、0以上1以下の実数であり、確率φlkの単語k間の総和は1となるように正規化される。
【0101】
トピックモデル更新部は、トピックモデル更新処理において、例えば、潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation)を用いることができる。LDAは、単語分布ならびにトピック分布がそれぞれ多項分布に従い、それらの事前分布がディリクレ分布を従うとの仮定に基づく。多項分布は、語句kの出現確率がφkであるとき、K種類の語句から各1つを抽出する操作をN回実行して得られる確率の確率分布を示す。ディリクレ分布は、語句kの出現確率φkがいずれも0以上であり、K種類の語句間の総和が1という制約の下での多項分布のパラメータの確率分布を示す。そこで、トピックモデル更新部は、解析対象の文書全体に対するトピックごとに語句分布とその事前分布を算出し、個々のトピックの出現確率を示すトピック分布とその事前分布を算出する。
【0102】
トピックモデルの未知変数は、複数のトピックからなるトピックの集合、文書全体のトピックごとの出現確率からなるトピック分布、トピックごとの語句分布からなる語句分布群である。LDAによれば、それらの未知変数を上記の多項分布とディリクレ分布のそれぞれを特徴づけるパラメータ群(ハイパーパラメータとも呼ばれる)に基づいて定めることができる。トピックモデル更新部は、例えば、変分ベイズ法を用いて、これらの未知変数で与えられる対数周辺尤度(logarithmic marginal likelihood)を最大化するパラメータ群を再帰的に算出することができる。周辺尤度は、事前分布と解析対象の文書全体が与えられたときの確率密度関数に相当する。ここで、最大化とは対数周辺尤度の最大値を求めることに限らず、対数周辺尤度をより大きくするパラメータ群を算出または探索するための処理を行うことを意味する。そのため最大化に係る処理において、一時的に対数周辺尤度が低下することもありうる。なお、パラメータ群の算出において、個々の語句分布をなす出現確率が、語句ごとの出現確率の語句間の総和が1となるとの拘束条件が課される。トピックモデル更新部は、算出したパラメータ群を用いてトピック集合、トピック分布および語句分布群をトピックモデルとして定めることができる。
【0103】
トピックモデル更新部は、発言履歴を用いてトピックモデルを更新することで、発言履歴において発言内容として頻繁に表れるトピックや、そのトピックを発言内容とするときに頻繁に表れる語句をトピックモデルに反映させることができる。
なお、トピックモデル更新部は、トピックモデルの更新処理において、LDAに代えて、潜在意味インデクシング法(LSI:Latent Semantic Indexing)などの手法を用いてもよい。
また、制御部110は、トピックモデル更新部を備えることに代え、他の機器に自装置の発言履歴を送信し、トピックモデルの生成または更新を要求してもよい。制御部110は、要求先の機器から受信したトピックモデルを記憶部140に記憶し、個々の発言テキストに対する上記の処理に用いてもよい。
【0104】
上記の表示例では、操作に応じて表示情報の表示と非表示が切り替え可能となる。そこで、表示処理部134は、表示テキストに含まれる所定のトピックの語句ごとに関連する数値の表示情報の表示が指示される頻度である表示要求頻度を計数し、計数した表示要求頻度を記憶部140に記憶してもよい。表示処理部134は、記憶部140に記憶された表示要求頻度が所定の表示判定閾値を超える語句に関連する数値の表示情報に対しては、表示テキストと関連付けて表示させて、所定の表示判定閾値以下の語句に関する表示情報に対しては表示させなくてもよい。
ここで、表示処理部134は、語句ごとに計数した表示要求頻度をトピックモデルの一部として記憶してもよい(
図12参照)。これにより、表示処理部134は、トピックモデルを参照して、特定した語句に対応する表示要求頻度を定め、表示情報の表示の要否を判定することができる。ここで、表示要求頻度は、表示情報の表示が指示されることにより更新される。
【0105】
表示処理部134は、参考テキストに含まれる所定のトピックの語句ごとに関連する数値の表示情報の消去が指示される頻度である消去要求頻度を計数し、計数した消去要求頻度を記憶部140に記憶してもよい。表示処理部134は、記憶部140に記憶された消去要求頻度が所定の消去判定閾値を超える語句に関連する数値の表示情報に対しては、表示テキストと関連付けて表示させず、所定の消去判定閾値以下となる語句に関する表示情報に対しては表示させてもよい。表示処理部134は、表示要求頻度と同様に、計数した消去要求頻度をトピックモデルに含めて記憶し、トピックモデルを参照して、表示情報の表示の要否を判定してもよい。
これにより、ユーザの利用傾向に応じて発言テキストに関する数値の図示の要否が制御される。
【0106】
(表示処理)
次に、本実施形態に係る発言テキストの表示処理の例について説明する。
図13は、本実施形態に係る発言テキストの表示処理の例を示すフローチャートである。
(ステップS102)テキスト処理部120は、音声認識部114から入力される第1テキスト情報またはテキスト取得部118から入力される第2テキスト情報を、発言テキストを示す表示テキスト情報として取得する(発言テキスト取得)。その後、ステップS104の処理に進む。
(ステップS104)トピック解析部124は、トピックデータを参照して、取得された表示テキスト情報で示される発言テキストから、所定のトピックに関する語句の検出を試み、発言テキストに所定のトピックに関する語句が存在するか否かを判定する。所定のトピックの語句が存在すると判定されるとき(ステップS104 YES)、ステップS104の処理に進む。所定のトピックの語句が存在しないと判定されるとき(ステップS104 NO)、ステップS114の処理に進む。
【0107】
(ステップS106)トピック解析部124は、発言テキストから所定のトピックの語句もしくは類義語を抽出する。その後、ステップS108の処理に進む。
(ステップS108)トピック解析部124は、発言テキストにおいて抽出した語句もしくは類義語から所定の位置関係にある数値を検索する。トピック解析部124は、抽出した語句もしくは類義語から所定の位置関係を有する数値が存在するか否かを判定する。数値が存在すると判定される場合(ステップS108 YES)、ステップS110の処理に進む。かかる数値が存在しないと判定される場合(ステップS108 NO)、ステップS114の処理に進む。
【0108】
(ステップS110)トピック解析部124は、定めた数値またはその数値から導出される他の数値を表示値として定め、定めた表示値を含む表示値情報を表示処理部134に出力する。
表示処理部134は、表示値情報で示される数値を図示する表示情報を生成する。その後、ステップS112の処理に進む。
(ステップS112)表示処理部134は、発言テキストを表示テキストとし、生成した表示情報と関連付けて表示部190と表示部290の一方または両方に表示させる。その後、
図13に示す処理を終了する。
(ステップS114)表示処理部134は、発言テキストを表示テキストとし、表示画面に含めて表示部190と表示部290の一方または両方に表示させる。その後、
図13に示す処理を終了する。
【0109】
以上に説明したように、本実施形態に係る会話支援装置100は、音声データに対して音声認識処理を行って発言内容を示す発言テキストを生成する音声認識部114を備える。会話支援装置100は、発言テキストから所定のトピックの語句と、その語句と所定の位置関係を有する数値を特定するトピック解析部124を備える。会話支援装置100は、特定した数値またはその数値から導出される数値を表示値として図示する表示情報を発言テキストと関連付けて表示部190、290に表示させる表示処理部134を備える。
この構成により、発言内容を示す発言テキストから、その発言テキストに含まれる所定のトピックに関する数値が特定され、特定された数値に基づく表示値が発言テキストと関連付けて図示される。そのため、表示情報に接した利用者は、発言内容のトピックとの関係で発言された数値の意義を直感的に理解することができる。ひいては発言内容全体の理解が促進される。
【0110】
また、表示処理部134は、特定した語句に対応する形式(例えば、円グラフ)で表示値(例えば、進捗率)を図示する表示情報を生成してもよい。
この構成により、特定した語句で示されるトピックまたは対象事物にふさわしい形式で表示値が図示される。発言された数値の意義が強調されるため、発言内容の理解が促進される。
【0111】
トピック解析部124は、特定した語句と所定の位置関係にある数値の単位と、当該単位に付随する数値を発言テキストから抽出してもよい。
この構成により、発言テキストにおいて特定した語句と同時に出現する単位に係る数値が特定されるので、その語句に係るトピックまたは対象事物に関する数値を的確に抽出することができる。
【0112】
トピック解析部124は、特定した語句で示される事物の基準量と対象量との関係を示す予め定めた文型情報を用いて基準量と対象量を発言テキストから抽出し、基準量に対する対象量の比率を表示値として定めてもよい。
この構成により、特定した語句に関する事物の基準量で対象量を正規化した比率が表示値として図示される。そのため、基準量との関係で対象量の実質的な価値に対する意義を利用者に対して容易に理解させることができる。
【0113】
トピック解析部124は、トピックが期間に関し、期間の対象事物を示す第2の語句と、当該第2の語句に関する少なくとも1個の数値を含む日時を期間の起点として発言テキストから抽出してもよい。また、表示処理部134は、抽出した起点から開始される所定の期間を表す表示情報を生成してもよい。
この構成により、発言テキストから発言された事物に関する期間の起点を特定する数値が少なくとも抽出され、抽出された数値で示される起点から開始される期間が図示される。そのため、表示情報により対象事物の期間の起点が発言内容のトピックをなすことが利用者に対して容易に理解させることができる。
【0114】
表示処理部134は、表示された期間の終点が定められていないとき、終点が定められていないことを示す案内情報を表示部190、290に表示させてもよい。
この構成により、表示された案内情報における期間の終点が暫定的な終点であることが利用者に通知される。また、終点を特定することを利用者に促すことができる。
【0115】
表示処理部134は、操作に応じて表示情報の要否が指示され、前記語句ごとの前記要否の指示傾向(例えば、表示要求頻度、消去要求頻度)に基づいて前記表示情報の出力(表示)の要否を判定する。
この構成により、表示情報の表示が要求される傾向を有する語句に係るトピックまたは事物に対しては表示情報が表示され、表示が拒否される傾向を有する語句に係るトピックまたは事物に対しては表示情報が表示されない。そのため、発言内容のトピックまたは対象事物による利用者の表示の要否に対する嗜好に応じて表示情報の要否が制御される。
【0116】
トピック解析部124は、各トピックに出現する語句ごとの確率を示すトピックモデルを用いて、発言テキストで伝達されるトピックに関連する語句を定めてもよい。
この構成により、トピック解析部124は、発言テキストで伝達される発言内容のトピックに係る語句を簡素な処理により定めることができる。
【0117】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0118】
例えば、収音部170、操作部180、表示部190は、会話支援装置100と必ずしも一体化されていなくてよく、それらのいずれかまたは組み合わせは、無線または有線で各種のデータを送受信可能に接続できれば、会話支援装置100と別体であってもよい。
【0119】
音声分析部112は、収音部170に代え、または収音部170とともに、端末装置200の収音部270から音声データを取得してもよい。
【0120】
テキスト取得部118は、端末装置200の操作部280に代え、自装置の操作部180から入力される操作信号に基づく第2テキスト情報を取得してもよい。
【0121】
テキスト取得部118が端末装置200から第2テキスト情報を取得しない場合には、端末装置200に表示画面データを送信しなくてもよい。
【0122】
また、表示テキストを囲む表示枠の形状は、
図4、
図6、
図8に例示される吹き出しに限られず、表示テキストを収容できれば、楕円、長方形、平行四辺形、雲形などいずれの形状であってもよい。また、個々の表示枠の水平方向の幅と垂直方向の高さは一定値に統一されてもよい。その場合、新たな表示テキストの割り当ての際における垂直方向の移動量は、垂直方向の高さと、互いに隣接する表示枠間の間隔の等しくなる。表示テキストは、表示枠内に収容して表示されずに、発話ごとに改行して表示されてもよい。その他、表示画面内を構成するボタンや入力欄などの各表示要素の位置、大きさは任意であり、それらの一部が省略されてもよいし、
図4、
図6、
図8に例示されていない表示要素が含まれてもよい。また、表示画面に付される文言や表示要素の名称は、本願の実施形態の趣旨を逸脱しない限り、任意に設定可能である。
【符号の説明】
【0123】
S1…会話支援システム、100…会話支援装置、110…制御部、112…音声分析部、114…音声認識部、118…テキスト取得部、120…テキスト処理部、122…議事録作成部、124…トピック解析部、134…表示処理部、136…表示制御情報取得部、138…モード制御部、140…記憶部、150…通信部、160…入出力部、170…収音部、180…操作部、190…表示部、200…端末装置、210…制御部、240…記憶部、250…通信部、260…入出力部、270…収音部、280…操作部、290…表示部