(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-14
(45)【発行日】2022-01-25
(54)【発明の名称】音声解析方法
(51)【国際特許分類】
G10L 15/32 20130101AFI20220118BHJP
G10L 15/10 20060101ALI20220118BHJP
G10L 15/22 20060101ALI20220118BHJP
【FI】
G10L15/32 220Z
G10L15/10 500T
G10L15/22 470Z
(21)【出願番号】P 2020156743
(22)【出願日】2020-09-17
(62)【分割の表示】P 2020077794の分割
【原出願日】2020-04-24
【審査請求日】2020-09-18
(73)【特許権者】
【識別番号】511113970
【氏名又は名称】株式会社インタラクティブソリューションズ
(74)【代理人】
【識別番号】100116850
【氏名又は名称】廣瀬 隆行
(74)【代理人】
【識別番号】100165847
【氏名又は名称】関 大祐
(72)【発明者】
【氏名】関根 潔
【審査官】中村 天真
(56)【参考文献】
【文献】特許第6771251(JP,B1)
【文献】特開2010-055020(JP,A)
【文献】特開2000-148185(JP,A)
【文献】特許第6689421(JP,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 15/00-15/34
(57)【特許請求の範囲】
【請求項1】
第1の音声解析端末(3)と第2の音声解析端末(5)とを含む音声解析システムを用いた音声解析方法であって,
第1の音声解析端末(3)が,
会話に含まれる単語を解析し,第1の会話情報を得る第1の用語解析工程と,
第2の音声解析端末(5)が,
前記会話に含まれる単語を解析し,第2の会話情報を得る第2の用語解析工程と,
前記音声解析システムが,
複数のプレゼンテーション資料のうちのあるプレゼンテーション資料である特定プレゼンテーション資料が選択されたことに関する情報を受け取る特定プレゼンテーション情報取得工程と,
第1の会話情報における会話区分を分析し,1又は複数の会話区分を得る第1の会話区分取得工程と,
前記特定プレゼンテーション資料に関連する関連語である特定関連語を読み出す特定関連語読出工程と,
第1の会話情報におけるある会話区分である第1の会話区分に含まれる,会話中用語である第1の会話中用語を抽出する第1の会話中用語抽出工程と,
第1の会話中用語と関連するトピックス語である第1のトピックス語を抽出する第1のトピックス語抽出工程と,
第2の会話情報における第1の会話区分に対応する会話区分である第2の会話区分に含まれる会話中用語である第2の会話中用語を抽出する第2の会話中用語抽出工程と,
第2の会話中用語と関連するトピックス語である第2のトピックス語を抽出する第2のトピックス語抽出工程と,
第1のトピックス語と前記特定関連語の関係及び第2のトピックス語と前記特定関連語との関係を用いて,第1の会話区分又は第2の会話区分を正しい会話区分として採用する会話区分採用工程と,を含む,
音声解析方法。
【請求項2】
請求項1に記載の音声解析方法であって,
前記会話区分採用工程は,
第1のトピックス語と第2のトピックス語が異なる場合であって,
第1のトピックス語が前記特定関連語であり,第2のトピックス語が前記特定関連語でないときは,第1の会話情報における第1の会話区分を正しい会話区分として採用し,
第1のトピックス語が前記特定関連語でなく,第2のトピックス語が前記特定関連語であるときは,第2の会話情報における第2の会話区分を正しい会話区分として採用する,音声解析方法。
【請求項3】
請求項1に記載の音声解析方法であって,
前記会話区分採用工程は,
第1のトピックス語が前記特定関連語である数と,第2のトピックス語が前記特定関連語である数とを比較し,前者が多い場合は第1の会話区分を正しい会話区分として採用し,後者が多い場合は第2の会話区分を正しい会話区分として採用する,音声解析方法。
【請求項4】
請求項1に記載の音声解析方法であって,
第1の音声解析端末(3)は,時刻時間を記憶するための時刻記憶部(51)を有し,
第1の会話情報は,前記会話に含まれる単語とともに,各単語と関連した時刻を含み,
第1の会話区分取得工程は,各単語の時刻情報を用いて,会話区分を分析する,音声解析方法。
【請求項5】
請求項1に記載の音声解析方法であって,
第1の音声解析端末(3)は,会話に含まれる音声の周波数を解析する周波数解析部(53)を有し,
第1の会話情報は,前記会話に含まれる単語とともに,各単語と関連した音声の周波数を含み,
第1の会話区分取得工程は,各単語の周波数を用いて,会話区分を分析する,音声解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は,音声解析システムに関する。
【背景技術】
【0002】
特開2002-259635号公報には,議論参加者が議論する過程でなされた発言の中からキーワードを図形オブジェクトとテキストとの組み合わせにより表示するシステムが記載されている。
【0003】
特開2017-224052号公報には,音声解析端末を用いたプレゼンテーション評価装置が記載されている。
【0004】
しかし,1台の音声解析端末を用いて,会話を音声認識すると,音声解析端末に近いユーザの会話を比較的正確に音声解析できるものの,音声解析端末から遠いユーザの会話を正確に音声解析できないという問題がある。
【0005】
一方,特許第6646184号公報には,検索用資料情報記憶装置が記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2002-259635号公報
【文献】特開2017-224052号公報
【文献】特許第6646184号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
この明細書に記載されるある態様の発明は,音声認識をより精度高く行うことができる音声解析システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
ある態様の発明は,基本的には,複数台の音声解析装置で解析した会話情報を相互に利用しあって,音声認識を行うことで,より精度高く音声認識を行うことができるという知見に基づく。
【0009】
この明細書に記載されるある態様の発明は,音声解析システム1に関する。
この音声解析システム1は,第1の音声解析端末3と,第2の音声解析端末5とを含むシステムである。この端末は,コンピュータを含んでおり,以下説明する各要素はコンピュータにより実装される要素である。このシステムは,さらにサーバを含んでもよい。
第1の音声解析端末3は,第1の用語解析部7と,第1の会話記憶部9と,第1の解析部11と,プレゼンテーション記憶部13と,関連語記憶部15と,表示部17と,トピックス語記憶部19を含む端末である。
第1の用語解析部7は,会話に含まれる単語を解析し,第1の会話情報を得るための要素である。
第1の会話記憶部9は,第1の用語解析部7が解析した第1の会話情報を記憶するための要素である。
第1の解析部11は,第1の会話記憶部9が記憶した第1の会話情報を解析するための要素である。
プレゼンテーション記憶部13は,複数のプレゼンテーション資料を記憶するための要素である。
関連語記憶部15は,プレゼンテーション記憶部13に記憶されたそれぞれのプレゼンテーション資料に関連した関連語を記憶するための要素である。
表示部17は,プレゼンテーション記憶部13が記憶したいずれかのプレゼンテーション資料を表示することができる要素である。
トピックス語記憶部19は,会話中用語と関連するトピックス語を記憶するための要素である。
【0010】
第2の音声解析端末5は,第2の用語解析部21と,第2の会話記憶部23と,を含む端末である。
第2の用語解析部21は,会話に含まれる単語を解析し,第2の会話情報を得るための要素である。第2の会話記憶部23は,第2の用語解析部21が解析した第2の会話情報を記憶するための要素である。
【0011】
第1の音声解析端末3は,会話情報受信部25をさらに有する。
そして,会話情報受信部25は,第2の音声解析端末5から第2の会話情報を受信するための要素である。そして,第1の会話記憶部は、会話情報受信部25が受信した第2の会話情報も記憶する。
【0012】
第1の解析部11は,特定プレゼンテーション情報取得部31と,第1の会話区分取得部33と,特定関連語読出部35と,第1の会話中用語抽出部37と,第1のトピックス語抽出部39と,第2の会話中用語抽出部41と,第2のトピックス語抽出部43と,会話区分採用部45と,を有する,
特定プレゼンテーション情報取得部31は,複数のプレゼンテーション資料のうちのあるプレゼンテーション資料である特定プレゼンテーション資料が選択されたことに関する情報を受け取るための要素である。
第1の会話区分取得部33は,第1の会話情報における会話区分を分析し,1又は複数の会話区分を得るための要素である。
特定関連語読出部35は,関連語記憶部15から,特定プレゼンテーション資料に関連する関連語である特定関連語を読み出すための要素である。
第1の会話中用語抽出部37は,第1の会話情報におけるある会話区分である第1の会話区分に含まれる第1の解析部11が解析した会話中用語である第1の会話中用語を抽出するための要素である。
第1のトピックス語抽出部39は,トピックス語記憶部19から,第1の会話中用語と関連するトピックス語である第1のトピックス語を抽出するための要素である。
第2の会話中用語抽出部41は,第2の会話情報における第1の会話区分に対応する会話区分である第2の会話区分に含まれる会話中用語である第2の会話中用語を抽出するための要素である。
第2のトピックス語抽出部43は,トピックス語記憶部19から,第2の会話中用語と関連するトピックス語である第2のトピックス語を抽出するための要素である。
会話区分採用部45は,第1のトピックス語と特定関連語の関係及び第2のトピックス語と特定関連語との関係を用いて,第1の会話区分又は第2の会話区分を正しい会話区分として採用するための要素である。
【0013】
会話区分採用部45は,以下のものであってもよい。すなわち,会話区分採用部45は,第1のトピックス語と第2のトピックス語が異なる場合であって,
第1のトピックス語が特定関連語であり,第2のトピックス語が特定関連語でないときは,第1の会話情報における第1の会話区分を正しい会話区分として採用し,
第1のトピックス語が特定関連語でなく,第2のトピックス語が特定関連語であるときは,第2の会話情報における第2の会話区分を正しい会話区分として採用する。
【0014】
会話区分採用部45は,以下のものであってもよい。すなわち,会話区分採用部45は, 第1のトピックス語が特定関連語である数と,第2のトピックス語が特定関連語である数とを比較し,前者が多い場合は第1の会話区分を正しい会話区分として採用し,後者が多い場合は第2の会話区分を正しい会話区分として採用する。
【0015】
音声解析システム1の好ましい態様は,第1の音声解析端末3が,時刻時間を記憶するための時刻記憶部51をさらに有するものである。
このシステムは,第1の会話情報は,会話に含まれる単語とともに,各単語と関連した時刻を含む。会話区分取得部33は,各単語の時刻情報を用いて,会話区分を分析する。
会話が途切れると,話者が変わったことが分かるので,単語間の時間が空けば会話区分が変わったことが分かる。
【0016】
音声解析システム1の好ましい態様は,第1の音声解析端末3が,会話に含まれる音声の周波数を解析する周波数解析部53をさらに有するものである。
このシステムは,第1の会話情報が,会話に含まれる単語とともに,各単語と関連した音声の周波数を含む。
会話区分取得部33は,各単語の周波数を用いて,会話区分を分析する。
声の高さが変われば,話者が変わったことが分かるので,各単語の音の周波数を分析すれば会話区分が変わったことが分かる。
【0017】
音声解析システム1の好ましい態様は,関連語記憶部15が記憶する関連語は,プレゼンター用関連語と,リスナー用関連語とを含む。会話区分取得部33は,会話情報に含まれるプレゼンター用関連語と,リスナー用関連語とを用いて,会話区分を分析する。
プレゼンテーションする方が用いるプレゼン関連用語と,リスナーの方が発言する用語とは異なるので,それぞれの用語を解析して,会話区分を分けることができる。
【0018】
音声解析システム1の好ましい態様は,第1の音声解析端末3が,複数のプレゼンテーション資料のそれぞれに関連した誤変換用語を記憶した誤変換用語記憶部55をさらに有するものである。
そして,第1の解析部11は,特定プレゼンテーション資料に関する誤変換用語が含まれる場合,各会話区分のうち正しい会話区分として採用されなかった会話区分に含まれる用語のうち,正しい会話区分に含まれる誤変換用語に対応する用語を用いて,正しい会話区分に含まれる用語を修正する。第1の音声解析端末3及び第2の音声解析端末5は、互いに情報を照らし合わせることで、高精度の解析結果を得ることができる。
【発明の効果】
【0019】
この明細書に記載されるある態様の発明によれば,複数台の音声解析装置で解析した会話情報を相互に利用しあって,音声認識を行うことで,より精度高く音声認識を行うことができる。
【図面の簡単な説明】
【0020】
【
図1】
図1は,音声解析システムの構成例を示すブロック図である。
【
図2】
図2は,音声解析システムの処理例を示すフローチャートである。
【
図3】
図3は,音声解析システムの処理例を示す概念図である。
【
図4】
図4は,音声解析システムの第2の処理例を示す概念図である。
【
図5】
図5は,音声解析システムの第3の処理例を示す概念図である。
【発明を実施するための形態】
【0021】
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜修正したものも含む。
【0022】
この明細書に記載されるある態様の発明は,音声解析システム1に関する。音声解析システムは,会話などの音声情報を入力情報として受け取り,受け取った音声情報を解析して,会話文を得るためのシステムである。音声解析システムは,コンピュータにより実装される。なお,音声情報を文字情報に置換するシステムは公知であり,本発明はそのような公知のシステムの構成を適宜利用することができる。このシステムは,携帯端末(携帯電話などのコンピュータ端末)により実装されてもよいし,コンピュータやサーバにより実装されてもよい。コンピュータは,プロセッサを有しており,プロセッサが各種機能を達成してもよい。
【0023】
図1は,音声解析システムの構成例を示すブロック図である。この音声解析システム1は,第1の音声解析端末3と,第2の音声解析端末5とを含むシステムである。この端末は,コンピュータを含んでおり,以下説明する各要素はコンピュータにより実装される要素である。
【0024】
コンピュータは,入出力部,制御部,演算部及び記憶部を有し,各要素がバスなどにより情報の授受を行うことができるように接続されている。そして,例えば,制御部は,記憶部に記憶された制御プログラムを読み出して,記憶部に記憶された情報や入出力部から入力された情報を用いて,演算部に各種演算を行わせる。演算部が演算して求めた情報は,記憶部に記憶される他,入出力部から出力される。このようにして,各種演算処理がなされる。以下説明する各要素は,コンピュータのいずれかの要素に対応していてもよい。
【0025】
第1の音声解析端末3は,第1の用語解析部7と,第1の会話記憶部9と,第1の解析部11と,プレゼンテーション記憶部13と,関連語記憶部15と,表示部17と,トピックス語記憶部19と,会話情報受信部25を含む端末である。
【0026】
第1の用語解析部7は,会話に含まれる単語を解析し,第1の会話情報を得るための要素である。例えば,マイクを介して,第1の音声解析端末3に音声が入力される。すると,第1の音声解析端末3は,会話(音声)を記憶部に記憶する。第1の用語解析部7は,会話に含まれる単語を解析し,第1の会話情報を得る。第1の会話情報は,音声を音情報に直したものである。音情報の例は「これからとうにょうびょうにかんするしんやくであるえっくぅわいじーについてせつめいしますそれはけっとうちをさげますか」といったものである。例えば,デジタル化された音声データをコンピュータの記憶部から読み出し,記憶部からプログラムを読み出して,プログラムの指令に基づき,演算部に読み出した音声データを解析させればよい。
【0027】
第1の会話記憶部9は,第1の用語解析部7が解析した第1の会話情報を記憶するための要素である。例えば,コンピュータの記憶部が第1の会話記憶部9として機能する。第1の会話記憶部9は,上記の会話情報を,記憶部に記憶する。
【0028】
第1の解析部11は,第1の会話記憶部9が記憶した第1の会話情報を解析するための要素である。第1の解析部11は,記憶部に記憶される音情報を読み出し,記憶部に記憶されている用語を検索して,適切な用語に変換する。この際に,変換可能用語(同音異義語)がある場合は,他の用語とともに用いられる頻度の高い用語を選択するようにして,変換効率を上げてもよい。たとえば「とうにょうびょう」は,「糖尿病」に変換される。そして,「しんやく」の変換候補は,「新薬」や「新約」,「新訳」,「新役」がある。そのうち,「糖尿病」とともに出現する頻度の高い「新薬」が,会話情報に含まれる用語として選択される。すると,記憶部に記憶された音情報は,「これから糖尿病に関する新薬であるXYZについて説明しますそれは決闘 血を下げますか」といった会話文に解析される。そして,解析された会話文は,記憶部に記憶される。
【0029】
第1の解析部11は,プレゼンテーション資料と関連して読み出した関連語を用いて,会話情報の解析精度を上げてもよい。例えば,「しんやく」という会話情報の部分がある場合であって,関連語に「新薬」がある場合は,この「しんやく」を解析して,「新薬」を選択するようにすればよい。このようにすれば,解析精度を高めることができる。また,関連語に関して複数の読みを割り振っておき,会話情報にそれらが含まれる場合は,対応する関連語を選択するようにしてもよい。例えば,関連語「XYZ」に対して,読みの候補が「えっくすわいじー」「えっくすわいぜっと」「えくすわいじー」及び「えくすわいぜっと」である。
【0030】
プレゼンテーション記憶部13は,複数のプレゼンテーション資料を記憶するための要素である。例えば,コンピュータの記憶部が,プレゼンテーション記憶部として機能する。プレゼンテーション資料の例は,パワーポイント(登録商標)の各頁である。プレゼンテーション資料は,コンピュータに格納され,表示部に表示されて会話相手や聴衆にプレゼンテーションを行うことができるようにされる資料である。
【0031】
関連語記憶部15は,プレゼンテーション記憶部13に記憶されたそれぞれのプレゼンテーション資料に関連した関連語を記憶するための要素である。関連語はプレゼンテーション資料である一つのファイル全体と関連する用語であってもよいし,一つのファイルに含まれるある頁と関連する用語であってもよい。例えば,コンピュータの記憶部が,関連語記憶手段として機能する。プレゼンテーション資料に関連した複数の関連語の例は,パワーポイントの各頁に基づいて説明を行う際に,用いることがありうる用語である。記憶部は,パワーポイントなどのプレゼンテーション資料と関連して,複数の関連語を格納する。記憶部は,プレゼンテーション資料の情報(例えば,ファイルIDやページ番号)と関連して,そのプレゼンテーション資料に関連した複数の関連語を記憶する。関連語の例は,「糖尿病」,「新薬」,「XYZ」,「ABC」(他の治療剤の名称),「血糖値」,「副作用」,「血糖」,「緑内障」,「網膜症」,「インスリン」,「DC製薬」,「添付文書」である。この関連語は,例えばユーザがコンピュータに入力することにより記憶部が記憶してもよい。また,この関連語は,コンピュータが,「XYZ」といった関連語に関するウェブサイトを自動的に検索し,検索したウェブサイトに含まれる用語を自動的に記憶部に記憶してあるプレゼンテーション資料に関する関連語を適宜更新するようにしてもよい。
【0032】
表示部17は,プレゼンテーション記憶部13が記憶したいずれかのプレゼンテーション資料を表示することができる要素である。表示部17の例は,コンピュータの出力部であり,具体的には,モニタやディスプレイである。コンピュータは,記憶部に記憶したプレゼンテーション資料に関する情報を読み出して,モニタやスクリーンにプレゼンテーション資料を表示する。そのようにして,会話相手や聴衆にプレゼンテーション資料を表示できる。
【0033】
トピックス語記憶部19は,会話中用語と関連するトピックス語を記憶するための要素である。会話中用語は,例えば,会話において用いられる用語のうちキーワードとなる用語である。トピックス語記憶部19は,会話中用語(キーワード)と関連するトピックス語を記憶するための手段である。トピックス語記憶部19は,記憶部と,記憶部から情報を読み出すための要素(例えば制御プログラム)により実現されればよい。
例えば,トピックス語記憶部19には,肥満遺伝子,肥満症,肥満症実験動物という会話において用いられることが想定されるキーワードと関連して,肥満というトピックス語が記憶されていればよい。トピックス語は,複数のキーワードをさらに統一した用語や上位概念化した用語であってもよい。トピックス語を用いることで,検索をより迅速に行うことができることとなる。トピックス語の例は,疾患名,薬剤名,有効成分名及び製薬企業名である。つまり,トピックス語は,会話中用語に関する第2の変換語といえる。トピックス語は,複数種類のキーワードについて,検索に用いることがふさわしい用語を割り振った用語であってもよい。また,トピックス語は,メッセージに関するものであってもよい。
【0034】
第2の音声解析端末5は,第2の用語解析部21と,第2の会話記憶部23と,を含む端末である。例えば,第1の音声解析端末3は,MRといった説明者が所持したノート型パソコンであるなど,説明を行う者の付近に存在し,説明者の音声を的確に収録するためのものである。一方,第2の音声解析端末5は,例えば,MRよりも医師に近い場所といったように,説明者よりは聴衆近くに設置され,説明を聞く方の者の音声をより的確に収録するためのものである。第2の音声解析端末5の例は,マイクや,携帯端末(携帯電話やスマートフォンといった)である。第2の音声解析端末5は,第1の音声解析端末3と情報の授受を行うことができるようにされている。情報の授受は,例えば,第1の音声解析端末3と第2の音声解析端末5とが直接行えるようにしてもよいし,サーバを介して情報の授受を行うことができるようにしてもよい。
【0035】
第2の用語解析部21は,会話に含まれる単語を解析し,第2の会話情報を得るための要素である。第2の会話情報の例は,「これからとうにゅうびょうにかんするしんやくであるえっくぅわいじーについてせつめいしますそれはけっとうちをさげますか」といったものである。第2の音声解析端末5は,マイクなどから入力された会話を記憶部に記憶する。そして,第2の用語解析部21は,記憶部から会話を読み出して,記憶部に格納された用語を参照して,会話情報を得る。第2の会話情報の例は,「これから豆乳秒二巻する新約であるXYZについて説明しますそれは血糖値を下げますか?」といったものである。
【0036】
第2の会話記憶部23は,第2の用語解析部21が解析した第2の会話情報を記憶するための要素である。記憶部が,第2の会話記憶部23として機能する。つまり,第2の会話情報は,第2の音声解析端末5の記憶部に記憶される。第2の音声解析端末5の記憶部に記憶された第2の会話情報は,例えば,第2の音声解析端末5のアンテナといった出力部を介して,第1の音声解析端末3へ送信される。
【0037】
すると,第1の音声解析端末3は,第2の音声解析端末5から送信された第2の会話情報を受け取る。第1の音声解析端末3の会話情報受信部25は,第2の音声解析端末5から第2の会話情報を受信するための要素である。例えば,第1の音声解析端末3のアンテナが会話情報受信部25として機能する。第2の音会話情報は,会話情報受信部25を介して,第1の音声解析端末3に入力され,記憶部に記憶される。その際,例えば,第1の会話記憶部は、会話情報受信部25が受信した第2の会話情報も記憶すればよい。
【0038】
第1の解析部11は,特定プレゼンテーション情報取得部31と,第1の会話区分取得部33と,特定関連語抽出部35と,会話区分選択部37と,第1のトピックス語抽出部39と,第2の会話中用語抽出部41と,第2のトピックス語抽出部43と,会話区分採用部45と,を含む。
【0039】
特定プレゼンテーション情報取得部31は,複数のプレゼンテーション資料のうちのあるプレゼンテーション資料である特定プレゼンテーション資料が選択されたことに関する情報を受け取るための要素である。例えば,MRがある糖尿病の新薬であるXYZに関するパワーポイント(登録商標)資料を選択する。すると,そのページが選択された情報は,コンピュータの入力装置を介して,コンピュータ内に入力される。その入力された情報を特定プレゼンテーション資料が選択されたことに関する情報とすればよい。
【0040】
第1の会話区分取得部33は,第1の会話情報における会話区分を分析し,1又は複数の会話区分を得るための要素である。第1の会話区分取得部33は,第2の会話情報における会話区分をも分析し,1又は複数の会話区分を得てもよい。会話区分は,通常,読点(。)で区切れる会話部分である。会話区分は,一文であってもよい。また話者が変化する際に会話区分を変更してもよい。もっとも,会話によっては,必ずしも書き言葉と同じにならないことがある。
例えば,「これからとうにょうびょうにかんするしんやくであるえっくぅわいじーについてせつめいしますそれはけっとうちをさげますか」を「これからとうにょうびょうにかんするしんやくであるえっくぅわいじーについてせつめいします」と「それはけっとうちをさげますか」といった2つの会話区分を得る。又は,「これから糖尿病に関する新薬であるXYZについて説明しますそれは決闘 血を下げますか。」を「これから糖尿病に関する新薬であるXYZについて説明します。」「それは決闘 血を下げますか。」といった2つの会話区分を得る。このような会話区分の取得方法は,公知である。
【0041】
特定関連語読出部35は,関連語記憶部15から,特定プレゼンテーション資料に関連する関連語である特定関連語を読み出すための要素である。コンピュータの記憶部が関連語記憶部15として機能する。そして,特定関連語読出部35は,関連語記憶部15としての記憶部から,特定プレゼンテーション資料に関する情報を用いて,特定プレゼンテーション資料と関連して記憶されている関連語を特定関連語として読み出す。特定関連語は1つでもよいし,複数でもよい。読み出した特定関連語は,適宜記憶部に記憶されてもよい。例えばコンピュータの演算部及び記憶部が,特定関連語読出部35として機能する。
例えば,関連語記憶部15には,ある糖尿病の新薬であるXYZに関するパワーポイント(登録商標)資料と関連して,「糖尿病」,「新薬」,「XYZ」,「ABC」(他の治療剤の名称),「血糖値」,「副作用」,「血糖」,「緑内障」,「網膜症」,「インスリン」,「DC製薬」,「添付文書」が記憶されている。このため特定関連語読出部35は,特定プレゼンテーション資料であるXYZに関するパワーポイント(登録商標)資料と関連して,これらの用語を特定関連語として読み出し,記憶部に記憶する。
【0042】
第1の会話中用語抽出部37は,第1の会話情報におけるある会話区分である第1の会話区分に含まれる第1の解析部11が解析した会話中用語である第1の会話中用語を抽出するための要素である。会話中用語は,会話に含まれる用語である。そして,第1の会話情報の第1の会話区分に含まれ,第1の解析部11が解析した会話中用語が第1の会話中用語である。第1の解析部11が解析した会話中用語は,例えば,記憶部に記憶されている。第1の会話中用語抽出部37は,は,記憶部に記憶された会話中用語から第1の会話区分に含まれるものを読み出し,記憶部に記憶すればよい。このようにして,第1の会話中用語を抽出できる。例えばコンピュータの演算部及び記憶部が,第1の会話中用語抽出部37として機能する。
例えば,「これから糖尿病に関する新薬であるXYZについて説明します。」「それは決闘 血を下げますか。」のうち,「これから糖尿病に関する新薬であるXYZについて説明します。」を第1の会話区分とする。そして,「それは決闘 血を下げますか。」を第1の会話区分に続く会話区分とする。第1の会話区分には,「糖尿病」,「新薬」及び「XYZ」という第1の会話中用語が含まれている。
【0043】
第1のトピックス語抽出部39は,トピックス語記憶部19から,第1の会話中用語と関連するトピックス語である第1のトピックス語を抽出するための要素である。トピックス語記憶部19には,会話中用語と関連したトピックス語が記憶されている。このため,記憶部から第1の会話中用語を読み出し,読み出した第1の会話中用語を用いてトピックス語記憶部19から第1の会話中用語と関連するトピックス語である第1のトピックス語を抽出すればよい。例えばコンピュータの演算部及び記憶部が,第1のトピックス語抽出部39として機能する。
先に説明した通り,第1の会話中用語の例は,「糖尿病」,「新薬」及び「XYZ」である。これらに共通するトピックス語は,「XYZ」である。それぞれの会話中用語から複数のトピックス語が抽出されてもよい。
【0044】
第2の会話中用語抽出部41は,第2の会話情報における第1の会話区分に対応する会話区分である第2の会話区分に含まれる会話中用語である第2の会話中用語を抽出するための要素である。例えば,第1の解析部11は,第2の会話情報に含まれる会話中用語を解析する。なお,第2の音声解析端末が第2の解析部を有し, 第2の会話情報に含まれる会話中用語を解析してもよい。この場合,第2の音声解析端末は,解析した第2の会話情報に含まれる会話中用語を第1の音声解析端末へ送信してもよい。また,解析した第2の会話情報に含まれる会話中用語をサーバへ送信してもよい。
第2の会話区分の例は,「これから豆乳秒二巻する新約であるXYZについて説明します」である。第2の会話中用語の例は,「豆乳」,「秒」,「二巻」,「新約」,「XYZ」である。
【0045】
第2のトピックス語抽出部43は,トピックス語記憶部19から,第2の会話中用語と関連するトピックス語である第2のトピックス語を抽出するための要素である。第2のトピックス語抽出部43は,第1のトピックス語抽出部39と同様である。
第2の会話中用語の例は,「豆乳」,「秒」,「二巻」,「新約」,「XYZ」である。これらに関するトピックス語のうち共通するものが多いトピックス語の例は「聖書」である。
【0046】
会話区分採用部45は,第1のトピックス語と特定関連語の関係及び第2のトピックス語と特定関連語との関係を用いて,第1の会話区分又は第2の会話区分を正しい会話区分として採用するための要素である。記憶部から第1のトピックス語,第2のトピックス語及び特定関連語を読み出し,演算部を用いてこれらの関係を解析し,解析結果に基づいて,第1の会話区分又は第2の会話区分を正しい会話区分として採用すればよい。例えばコンピュータの演算部及び記憶部が,会話区分採用部45として機能する。このように会話中用語と特定関連語との関係を用いるのではなく,会話中用語関連するトピックス語と特定関連語との関係を用いて正しい会話区分を採用するので,客観的かつ精度よく正しい会話区分を採用できることとなる。特に会話中用語を用いた場合に誤変換がなされることがあるものの,トピックス語を用いると特定関連語との関連がより強いものとなるので,精度よく正しい会話区分を採用できることとなる。
例えば,第1のトピックス語は「XYZ」,第2のトピックス語は「聖書」であり,特定関連語は,「糖尿病」,「新薬」,「XYZ」,「ABC」(他の治療剤の名称),「血糖値」,「副作用」,「血糖」,「緑内障」,「網膜症」,「インスリン」,「DC製薬」,「添付文書」である。この場合,第1のトピックス語「XYZ」が特定関連語の一つと一致しているので,第1の会話区分が正しい会話区分として採用される。
【0047】
なお,第1のトピックス語及び第2のトピックス語がともに特定関連語の一つである場合は,特定関連語に係数(ランク)をつけて記憶部に記憶しておき,ランクの高い特定関連語と一致したトピックス語を有する会話区分を正しい会話区分として採用してもよい。
【0048】
会話区分採用部45は,以下のものであってもよい。すなわち,会話区分採用部45は,第1のトピックス語と第2のトピックス語が異なる場合であって,第1のトピックス語が特定関連語であり,第2のトピックス語が特定関連語でないときは,第1の会話情報における第1の会話区分を正しい会話区分として採用し,第1のトピックス語が特定関連語でなく,第2のトピックス語が特定関連語であるときは,第2の会話情報における第2の会話区分を正しい会話区分として採用する。例えば,記憶部から第1のトピックス語,第2のトピックス語及び特定関連語を読み出す。そして,演算部に第1のトピックス語と特定関連語が一致するか否かの処理を行わせる。また,演算部に第2のトピックス語と特定関連語が一致するか否かの処理を行わせる。この際,演算部に第1のトピックス語と第2のトピックス語とが同じであるか否かの演算処理を行わせてもよい。そして,演算部が第1のトピックス語が特定関連語であり,第2のトピックス語が特定関連語でないと判断した時は,第1の会話情報における第1の会話区分を正しい会話区分として採用し,その結果を記憶部に記憶する。一方,第1のトピックス語が特定関連語でなく,第2のトピックス語が特定関連語であるときは,第2の会話情報における第2の会話区分を正しい会話区分として採用し,記憶部に記憶する。このようにして,第1の会話区分又は第2の会話区分を正しい会話区分として採用できる。
【0049】
会話区分採用部45は,以下のものであってもよい。すなわち,会話区分採用部45は,第1のトピックス語が特定関連語である数と,第2のトピックス語が特定関連語である数とを比較し,前者が多い場合は第1の会話区分を正しい会話区分として採用し,後者が多い場合は第2の会話区分を正しい会話区分として採用する。
例えば,第1の会話中用語及び第2の会話中用語のそれぞれと関連するトピックス語をすべて読み出し,読み出した複数のトピックス語が,特定関連語と一致する数を計測し,その数が多い方の会話区分を正しい会話区分として採用すればよい。なお,特定関連語には,それぞれ係数を付して,よりプレゼンテーション資料に関連する特定関連語とトピックス語とが一致した場合により高い得点となるようにし,得点が高い会話区分を正しい会話区分として採用してもよい。
【0050】
以下,会話区分の取得方法の例(実施態様)を説明する。音声解析システム1の好ましい態様は,第1の音声解析端末3が,時刻や時間を記憶するための時刻記憶部41をさらに有するものである。このシステムは,第1の会話情報は,会話に含まれる単語とともに,各単語と関連した時刻を含む。会話区分取得部33は,各単語の時刻情報を用いて,会話区分を分析する。例えば,音声が一定時間連続した後に,一定時間以上無音状態が続くと,会話区分が変わったといえる。単語間の時間が空けば会話区分が変わったことが分かる。この場合,例えば,コンピュータの記憶部は,第1の会話記憶部に第1の会話情報を記憶させ,時刻記憶部41に第1の会話情報の各情報についての時刻を対応付けて記憶させる。すると,例えば,第1の解析部11が第1の会話情報を解析する際に,各会話情報の時刻を読み出して,その時間間隔を求めることができる。そして,記憶部に記憶した閾値を読み出し,読み出した閾値と,求めた時間間隔とを比較して,時間間隔が閾値より大きい場合は,会話区分であると判断してもよい。また,第2の音声解析端末5も,時刻や時間を記憶するための第2時刻記憶部を有することが好ましい。すると,会話の時間を照合することで,第1の会話情報の各区分と,第2の会話情報の各区分の対応関係を把握することができることとなる。
【0051】
音声解析システム1の好ましい態様は,第1の音声解析端末3が,会話に含まれる音声の周波数を解析する周波数解析部43をさらに有するものである。このシステムは,第1の会話情報が,会話に含まれる単語とともに,各単語と関連した音声の周波数を含む。会話区分取得部33は,各単語の周波数を用いて,会話区分を分析する。声の高さが変われば,話者が変わったことが分かるので,各単語の音の周波数を分析すれば会話区分が変わったことが分かる。この場合も,会話情報に含まれる各情報と関連させて,音声の周波数情報を記憶部に記憶させ,第1の解析部11が記憶部に記憶された周波数情報を読み出して,周波数の変化を求め,これにより会話区分を求めればよい。また,会話区分となる用語を記憶部が記憶して起き,会話情報にその会話区分となる用語が含まれる場合に,会話区分であると判断してもよい。そのような会話区分となる用語の例は,「です。」「ではないでしょうか。」「ですか。」「なるのです。」「でしょうか。」「ございます。」「いただきます。」「なります。」「え~」である。
【0052】
音声解析システム1の好ましい態様は,関連語記憶部15が記憶する関連語は,プレゼンター用関連語と,リスナー用関連語とを含む。会話区分取得部33は,会話情報に含まれるプレゼンター用関連語と,リスナー用関連語とを用いて,会話区分を分析する。
プレゼンテーションする方が用いるプレゼン関連用語と,リスナーの方が発言する用語とは異なるので,それぞれの用語を解析して,会話区分を分けることができる。
【0053】
関連語抽出部35は,第1の会話情報及び第2の会話情報に含まれる特定プレゼンテーション資料に関する関連語を抽出するための要素である。
例えば,あるプレゼンターション資料の資料名(存在位置)とそのページ数に関連して,「糖尿病」,「新薬」,「XYZ」,「ABC」(他の治療剤の名称),「血糖値」,「副作用」,「血糖」,「緑内障」,「網膜症」,「インスリン」,「DC製薬」,「添付文書」が記憶部に記憶されているので,関連語抽出部35は,記憶部からこれらの特定プレゼンテーション資料に関する関連語を読み出す。そして,第1の会話情報に含まれる用語と,関連語とが一致するか演算処理を行う。そして,一致した関連語を,会話情報及び区分番号とともに記憶部に記憶する。
【0054】
例えば,第1の会話情報は,2つの会話区分からなり,最初の会話区分である「これから糖尿病に関する新薬であるXYZについて説明します。」には,「糖尿病」「新薬」及び「XYZ」という3つの関連語が存在する。一方,第1の会話情報の2つめの会話区分には,関連語が存在しない。第1の音声解析端末3は,例えば,第1の会話情報の1番目の会話区分に関して,「糖尿病」「新薬」及び「XYZ」という関連語,及び3という数値を記憶する。なお,この会話区分に関して3という数値のみを記憶してもよいし,関連語のみを記憶してもよい。2つめの会話区分や次の第2の会話情報についても同様である。
第2の会話情報の最初の会話区分である「これから豆乳秒二巻する新約であるXYZについて説明します。」には,「XYZ」という一つの関連語が含まれている。一方,第2の会話情報の2つめの会話区分である「それは血糖 値を下げますか?」には,「血糖値」という関連語が1つ含まれている。
【0055】
この態様のシステムは,第2の音声解析端末も,第1の音声解析端末と同様に正しい会話区分を得ることができるものである。したがって,各要素の処理は,上記した態様と同様である。
【0056】
この明細書に記載されるある態様は,サーバ-クライアントシステムに関する。この場合,例えば第1の携帯端末は,表示部17を有し,第1の用語解析部7,第1の会話記憶部9,第1の解析部11,プレゼンテーション記憶部13,関連語記憶部15,トピックス語記憶部19,及び会話情報受信部25のうちいずれか1つ又は2つ以上の要素をサーバが担うようにしてもよい。
【0057】
この明細書に記載されるある態様は,プログラムに関する。このプログラムは,コンピュータやコンピュータのプロセッサを,第1の用語解析部7と,第1の会話記憶部9と,第1の解析部11と,プレゼンテーション記憶部13と,関連語記憶部15と,表示部17と,トピックス語記憶部19と,会話情報受信部25として機能させるためのプログラムである。このプログラムは,上記した各態様のシステムを実装するためのプログラムとなりうる。このプログラムは,携帯端末にインストールされるアプリケーションの態様を採っていてもよい。
【0058】
この明細書に記載されるある態様は,上記したプログラムを格納したコンピュータ読み取り可能な情報記録媒体に関する。情報記録媒体の例は,CD-ROM,DVD,フロッピーディスク,メモリーカード及びメモリースティックである。
【0059】
図2は,音声解析システムの処理例を示すフローチャートである。
図3は,音声解析システムの処理例を示す概念図である。2つの携帯端末には,上記したプログラムがインストールされている。一方の端末は,例えば,MRのノート型パソコンであり,残りの携帯端末はスマートフォンであり,相手方の音声を拾いやすいように相手方である医師の付近に置かれている。上記したプログラムを実装するアプリケーションが,ノート型パソコンやスマートフォンにインストールされている。
【0060】
プレゼンテーション資料の選択工程(S101)
MRが,ノート型パソコンに格納されているか,又はサーバから読み出したあるパワーポイント(登録商標)を開く。すると,パソコンに,そのパワーポイント(登録商標)が選択されたことに関する情報が入力される。
【0061】
プレゼンテーション資料の表示工程(S102)
ノートパソコンの表示部には,そのパワーポイント(登録商標)で作成されたプレゼンテーション資料のページが表示される。一方,スマートフォンの表示部にもパワーポイント(登録商標)のページが表示される。
【0062】
プレゼンテーション資料の関連語読み出し工程(S103)
一方,パワーポイント(登録商標)で作成されたプレゼンテーション資料と関連した特定関連語が記憶部から読み出される。読み出された特定関連語の例は,「糖尿病」,「新薬」,「XYZ」,「ABC」(他の治療剤の名称),「血糖値」,「副作用」,「血糖」,「緑内障」,「網膜症」,「インスリン」,「DC製薬」,「添付文書」である。読み出された特定関連語は適宜記憶部に一時的に記憶される。
【0063】
プレゼンテーション資料に基づく会話(S104)
表示された資料に関連してMRと医師との間で会話がなされる。会話は,プレゼンテーションであってもよいし,説明であってもよい。会話の例は,「これから糖尿病に関する新薬であるXYZについて説明します。」「それは血糖値を下ますか?」である(
図3)。
【0064】
第1の会話情報取得工程(S105)
ノート型パソコンは,会話を収録し,コンピュータ内に入力する。そして,会話に含まれる単語を解析し,第1の会話情報を得る。解析前の第1の会話情報の例は,「これからとうにょうびょうにかんするしんやくであるえっくぅわいじーについてせつめいしますそれはけっとうちをさげますか」といったものである。ノート型パソコンはMR側に設置されており,MRの音声をよく拾う。会話情報は,記憶部に記憶される。
【0065】
第1の会話解析工程(S106)
例えば解析後の第1の会話情報は,「これから糖尿病に関する新薬であるXYZについて説明しますそれは決闘血を下げますか」といった会話文である。そして,解析された会話文は,記憶部に記憶される。なお,この第1の会話情報は,会話区分が分析されてもよい。その場合,会話区分の例は, 「これから糖尿病に関する新薬であるXYZについて説明します。」「それは決闘血を下げますか。」といったものである。会話区分は,のちの工程で分析されてもよい。
【0066】
第2の会話情報取得工程(S107)
スマートフォンにも会話が入力され,記憶される。そして,スマートフォンも起動したアプリケーションにより,会話が解析される。第2の会話情報の例は「これからとうにゅうびょうにかんするしんやくであるえっくぅわいじーについてせつめいしますそれはけっとうちをさげますか」である。ノート型パソコンと,スマートフォンでは,設置された位置や収音の方向などに相違がある。このため,同じ会話を解析しても,ノート型パソコン(第1の音声解析端末)とスマートフォン(第2の音声解析端末)とでは,解析される会話に相違がみられる。この工程は,通常,第1の会話情報取得工程(S105)と同時に行われる。
【0067】
第2の会話解析工程(S108)
スマートフォン側でも,第2の会話情報が解析される。第2の会話情報の例は,「これから豆乳秒二巻する新約であるXYZについて説明しますそれは血糖値を下げますか?」といったものである。この際に,会話区分が解析されてもよい。会話区分が解析された第2の会話は,「これから豆乳秒二巻する新約であるXYZについて説明します。「それは血糖値を下げますか?」のようになる。第2の会話情報も適宜記憶部に記憶される。なお,第2の会話情報の解析は,ノート型パソコン(第1の音声解析端末)で行ってもよいし,サーバで行ってもよい。
【0068】
第2の会話情報送信工程(S109)
第2の会話情報は,例えば,スマートフォンからノート型パソコンへ送信される。すると,ノート型パソコン(第1の音声解析端末3)は,スマートフォン(第2の音声解析端末5)から送信された第2の会話情報を受け取る。
【0069】
会話区分取得工程(S110)
第1の会話情報及び第2の会話情報における会話区分を分析し,1又は複数の会話区分を得てもよい。各端末において会話区分が解析されていてもよい。一方,ノート型パソコン(第1の音声解析端末)で,2つの端末が収録した会話情報について,まとめて会話区分を分析した方が,第1の会話情報と第2の会話情報とで,対応した会話区分を得ることができるので,好ましい。この場合,第1の会話情報の各会話区分と,第2の会話情報の各会話区分とは,会話時間がほぼ同じであるはずである。そのため,計時手段を用いて,各区分を合わせることが好ましい。このようにして,第1の会話情報を区分分けするとともに,対応する第2の会話区分の各会話区分も得ることができる。
会話区分取得部33は,第2の会話情報における会話区分をも分析し,1又は複数の会話区分を得てもよい。
【0070】
第1の会話情報は,
「これから糖尿病に関する新薬であるXYZについて説明します。」
「それは決闘血を下げますか。」
という会話文に解析される。
第2の会話情報は,
「これから豆乳秒二巻する新約であるXYZについて説明します。」
「それは血糖値を下げますか?」という会話文に解析される。
【0071】
会話区分選択工程(S110)
第1の会話区分である「これから糖尿病に関する新薬であるXYZについて説明します。」に含まれる会話中用語である第1の会話中用語「糖尿病」,「新薬」,及び「XYZ」を抽出する。
そして,第1の会話中用語「糖尿病」,「新薬」,及び「XYZ」を用いて,トピックス語記憶部19から,これらと関連して記憶されているトピックス語を読み出す。なお,ここでは,3つの会話中用語に共通するトピックス語である「XYZ」を第1のトピックス語として抽出する。
第2の会話区分である「これから豆乳秒二巻する新約であるXYZについて説明します。」に含まれる会話中用語である第2の会話中用語「豆乳」,「秒」,「二巻」,「新約」及び「XYZ」を抽出する。第2の会話中用語「豆乳」,「秒」,「二巻」,「新約」及び「XYZ」を用いて,トピックス語記憶部19から,これらと関連して記憶されているトピックス語を読み出す。なお,ここでは,5つの会話中用語のなかで共通することが最も多かったトピックス語である「聖書」を第2のトピックス語として抽出する。
第1のトピックス語である「XYZ」と,特定関連語である,「糖尿病」,「新薬」,「XYZ」,「ABC」(他の治療剤の名称),「血糖値」,「副作用」,「血糖」,「緑内障」,「網膜症」,「インスリン」,「DC製薬」,及び「添付文書」と比較すると,第1のトピックス語は特定関連語であることがわかる。一方,第2のトピックス語である「聖書」と特定関連語とを比較すると,第2のトピックス語は特定関連語ではないことが分かる。この結果を用いて,第1の会話区分である「これから糖尿病に関する新薬であるXYZについて説明します。」を正しい会話区分として採用する。これに続く2番目の会話区分についても同様にして,いずれが正しいか判断する。このようにして採用された会話区分の連続を記憶部に記憶する。
会話区分の連続は,「これから糖尿病に関する新薬であるXYZについて説明します。」「それは血糖値を下げますか?」である。
【0072】
上記は処理の例であり,これと異なる処理を行って正しい会話区分を採用してもよい。
【0073】
図4は,音声解析システムの第2の処理例を示す概念図である。この例では,第2の音声解析端末において,会話区分が分析され,会話区分が分析された第2の会話情報が,第1の音声解析端末に送られるものである。この例においても,会話区分の齟齬を避けるため,各会話区分について時刻情報が関連して記憶され,第2の音声解析端末から第1の音声解析端末へ,時刻情報と合わせて送信させることが好ましい。すると,第1の音声解析端末においては,第1の会話情報に含まれる会話区分と第2の会話情報に含まれる会話区分とを一致させることができる。
【0074】
図5は,音声解析システムの上記とは別の処理例を示す概念図である。この例では,第2の音声解析端末が収音し,デジタル化された会話情報が,第1の音声解析端末へ送信され,第1の音声解析端末が各種解析を行う。なお,特に図示しないが,第1の音声解析端末のみならず,第2の音声解析端末においても,正しい会話区分を解析するようにしてもよい。
【産業上の利用可能性】
【0075】
このシステムは,音声解析装置として利用されうる。特に,グーグルスピーカー(登録商標)など,音声解析装置は,今後より普及することが考えられる。また,スマートフォンや携帯端末といったユーザに身近な端末にも音声解析装置が実装されることが想定される。例えば,音声解析装置にユーザの声とは別のノイズが収録され,ユーザの声を収録しにくい場合も想定される。一方,そのような場合であっても,ユーザの身近に存在する端末は,ユーザの声を適切に収録できている可能性がある。すると,ユーザに身近な端末が音声情報を収録し,音声解析装置と音声情報を共有することで,より精度高く音声を解析できることとなる。
【符号の説明】
【0076】
1 音声解析システム
3 第1の音声解析端末
5 第2の音声解析端末
7 第1の用語解析部
9 第1の会話記憶部
11 第1の解析部
13 プレゼンテーション記憶部
15 関連語記憶部
17 表示部
19 トピックス語記憶部
21 第2の用語解析部
23 第2の会話記憶部
25 会話情報受信部
31 特定プレゼンテーション情報取得部
33 第1の会話区分取得部
35 特定関連語読出部
37 第1の会話中用語抽出部
39 第1のトピックス語抽出部
41 第2の会話中用語抽出部
43 第2のトピックス語抽出部
45 会話区分採用部