特開 2023-72219 推定装置、推定方法及び推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023072219

(43)【公開日】2023-05-24

(54)【発明の名称】推定装置、推定方法及び推定プログラム

(51)【国際特許分類】

   G10L 25/51 20130101AFI20230517BHJP

   G10L 25/30 20130101ALI20230517BHJP

   G10L 25/18 20130101ALI20230517BHJP

【ＦＩ】

G10L25/51

G10L25/30

G10L25/18

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021184619

(22)【出願日】2021-11-12

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】397038037

【氏名又は名称】学校法人成蹊学園

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】二瓶 芙巳雄

(72)【発明者】

【氏名】石井 亮

(72)【発明者】

【氏名】深山 篤

(72)【発明者】

【氏名】中野 有紀子

(57)【要約】

【課題】複数の発話者の間で生じた発話に対し、一つの推定器で複数の属性を同時に推定することができる。
【解決手段】推定装置１０は、ＣＮＮ１１１を用いて、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムを、各発話者の音声特徴の共起関係を示す音声特徴ベクトルに変換する第１の変換部１１と、ＢＥＲＴモデル１２１を用いて、発話者の発話の内容をテキストに書き起こしたデータを、分散表現ベクトルに変換する第２の変換部１２と、記音声特徴ベクトルと分散表現ベクトルとを連結し、連結したベクトルを融合させる連結部１３と、連結部１３からの出力を基に、発話者の発話の談話行為のクラスを推定し、推定結果を出力する談話行為推定部１４と、連結部１３からの出力を基に、発話者の発話が重要発言か否かを推定し、推定結果を出力する重要発言推定部１５と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワークを用いて、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムを、各発話者の音声特徴の共起関係を示す音声特徴ベクトルに変換する第１の変換部と、
言語表現モデルを用いて、前記発話者の発話の内容をテキストに書き起こしたデータを、分散表現ベクトルに変換する第２の変換部と、
前記音声特徴ベクトルと前記分散表現ベクトルとを連結し、連結したベクトルを融合させる連結部と、
前記連結部からの出力を基に、前記発話者の発話の談話行為のクラスを推定し、推定結果を出力する第１の推定部と、
前記連結部からの出力を基に、前記発話者の発話が重要発言か否かを推定し、推定結果を出力する第２の推定部と、
を有することを特徴とする推定装置。

【請求項2】

前記第２の変換部は、一人の発話者の一つの有声区間の発話の内容をテキストに書き起こしたデータを入力とし、
前記第１の変換部は、前記一つの有声区間の各メルスペクトログラムを入力とし、
前記第１の推定部は、前記一つの有声区間の発話が属する談話行為のクラスを推定し、 前記第２の推定部は、前記一つの有声区間の発話が、重要発言か否かを推定することを特徴とする請求項１に記載の推定装置。

【請求項3】

前記言語表現モデルは、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）モデルであることを特徴とする請求項１または２に記載の推定装置。

【請求項4】

推定方法が実行する推定方法であって、
畳み込みニューラルネットワークを用いて、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムを、各発話者の音声特徴の共起関係を示す音声特徴ベクトルに変換する第１の変換工程と、
言語表現モデルを用いて、前記発話者の発話の内容をテキストに書き起こしたデータを、分散表現ベクトルに変換する第２の変換工程と、
前記音声特徴ベクトルと前記分散表現ベクトルとを連結し、連結したベクトルを融合させる連結工程と、
前記連結工程における出力を基に、前記発話者の発話の談話行為のクラスを推定し、推定結果を出力する第１の推定工程と、
前記連結工程における出力を基に、前記発話者の発話が重要発言か否かを推定し、推定結果を出力する第２の推定工程と、
を含んだことを特徴とする推定方法。

【請求項5】

コンピュータを請求項１～３のいずれか一つに記載の推定装置として機能させるための推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定装置、推定方法及び推定プログラムに関する。

【背景技術】

【0002】

従来、グループ会議で生じた発話の属性について、この発話が会議において重要なものであるか否かを推定する技術がある（非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Fumio Nihei, Yukiko I. Nakano, Yutaka Takase. “Fusing Verbal and Nonverbal Information for Extractive Meeting Summarization”, GIFT'18: Proceedings of the Group Interaction Frontiers in Technology, Articl No.9, Pages.1-9, 2018., ［online］，［令和３年１１月１日検索］，インターネット＜ＵＲＬ：https://dl.acm.org/doi/pdf/10.1145/3279981.3279987＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、非特許文献１に記載の技術では、推定可能な属性を、発話が会議において重要か否かの一種類のみに限定しており、複数の属性を推定するためには、各属性を推定するための推定器を、属性ごとに作成する必要がある。すなわち、複数の属性を推定するためには、属性ごとに複数の推定器を作成する必要がある。

【0005】

本発明は、上記に鑑みてなされたものであって、複数の発話者の間で生じた発話に対し、一つの推定器で複数の属性を同時に推定することができる推定装置、推定方法及び推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る推定装置は、畳み込みニューラルネットワークを用いて、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムを、各発話者の音声特徴の共起関係を示す音声特徴ベクトルに変換する第１の変換部と、言語表現モデルを用いて、発話者の発話の内容をテキストに書き起こしたデータを、分散表現ベクトルに変換する第２の変換部と、音声特徴ベクトルと分散表現ベクトルとを連結し、連結したベクトルを融合させる連結部と、連結部からの出力を基に、発話者の発話の談話行為のクラスを推定し、推定結果を出力する第１の推定部と、連結部からの出力を基に、発話者の発話が重要発言か否かを推定し、推定結果を出力する第２の推定部と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、複数の発話者の間で生じた発話に対し、一つの推定器で複数の属性を同時に推定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態に係る推定装置の構成の一例を模式的に示す図である。

【図2】図２は、図２は、談話行為のクラスを示す図である。

【図3】図３は、実施の形態に係る推定処理の処理手順を示すフローチャートである。

【図4】図４は、プログラムが実行されることにより、推定装置が実現されるコンピュータの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0010】

［実施の形態］
本実施の形態では、複数の発話者の間で生じた発話に対し、一つの推定器で複数の属性を同時に推定する推定装置について説明する。実施の形態に係る推定装置は、グループ会議で生じた発話の属性を複数種類推定するものであり、発話者の発話の談話行為のクラスと、発話者の発話が重要発言か否かとの二つの属性を独自に推定する。

【0011】

［推定装置］
次に、実施の形態に係る推定装置について説明する。図１は、実施の形態に係る推定装置の構成の一例を模式的に示す図である。

【0012】

実施の形態に係る推定装置１０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。また、推定装置１０は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースを有する。

【0013】

図１に示す推定装置１０は、複数の発話者（会話参加者の全員）の各発話にそれぞれ対応するメルスペクトログラムと、会話参加者のうちの発話者の発話の内容をテキストに書き起こしたデータと、を入力とする。推定装置１０は、推定器として深層学習技術を利用し、発話者の発話の談話行為のクラスと、発話者の発話が重要発言か否かと、の２つの属性を同時に出力する。メルスペクトログラムは、時間成分に対して、各周波数成分の強度を、例えば色で示したものである。図１に示すように、推定装置１０は、第１の変換部１１、第２の変換部１２、連結部１３、談話行為推定部１４（第１の推定部）及び重要発言推定部１５（第２の推定部）を有する。

【0014】

第１の変換部１１は、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）１１１を有する。実施の形態では、複数の発話者の音声情報の時間的かつ周波数的な近隣の情報を使用し、複数の発話者の発話の音声特徴の共起関係を捉えることを目的として、ＣＮＮ１１１を採用する。

【0015】

第１の変換部１１は、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムの入力を受け付ける。第１の変換部１１は、一人の発話者の一つの有声区間の各メルスペクトログラムを入力とする。そして、第１の変換部１１は、ＣＮＮ１１１を用いて、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムを、各発話者の音声特徴の共起関係を示す音声特徴ベクトルに変換する。図１の例では、４名の発話者のメルスペクトログラムを入力とし、ＣＮＮ１２２を使用して２００次元のベクトルを得る。なお、４名の発話者のメルスペクトログラムは、４名の会話者の発話している音声情報を、音声解析することで作成されたものである。

【0016】

第２の変換部１２は、言語表現モデルを有する。第２の変換部１２は、例えば、言語表現モデルとして、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）モデル１２１を有する。ＢＥＲＴモデル１２１は、発話の書き起こしが入力される、分散表現ベクトルを出力する。

【0017】

第２の変換部１２は、発話者の発話の内容をテキストに書き起こしたデータの入力を受け付ける。第２の変換部１２は、一人の発話者の一つの有声区間の発話の内容をテキストに書き起こしたデータを入力とする。第２の変換部１２は、ＢＥＲＴモデル１２１を用いて、発話者の発話の内容をテキストに書き起こしたデータを、分散表現ベクトルに変換する。第２の変換部１２は、第１の変換部１１における音声情報のベクトル化と同時に、発話の書き起こしをＢＥＲＴモデル１２１に適用し、７６８次元のベクトルを得る。

【0018】

連結部１３は、全結合ブロック１３１を有する。全結合ブロック１３１は、全結合のニューラルネットワークである。全結合ブロック１３１は、例えば、活性化関数として、ReLUを使用する。

【0019】

連結部１３は、全結合ブロック１３１を用いて、第１の変換部１１から出力された得られた音声特徴ベクトルと、第２の変換部１２から出力された分散表現ベクトルとを連結し、２つのベクトルを融合（フュージョン）させる。全結合ブロック１３１は、談話行為推定ブロック（後述）のクラススコア、及び、重要発言推定ブロック（後述）のクラススコアを最適化するために使用される。全結合ブロック１３１は、音声特徴ベクトルと分散表現ベクトルとを連結し、９６８次元のベクトルとしたのち、全結合のニューラルネットワークＦＣを経て１００次元のベクトル（フュージョンベクトル）とする。

【0020】

談話行為推定部１４は、談話行為推定ブロック１４１を有する。談話行為推定ブロック１４１は、全結合のニューラルネットワークであり、例えば、活性化関数として、softmaxを使用する。談話行為推定ブロック１４１は、連結部１３から出力されたフュージョンベクトルを基に、処理対象の発話が属する談話行為をとして、ｎ種類（例えば、１１種類）のクラスラベルの尤度として推定する。

【0021】

図２は、談話行為のクラスを示す図である。図２に示すように、談話行為のクラスとして、例えば、情報提供、情報提供要求、提案、申し出などがある。情報提供は、処理対象の発話が、発話者が情報を提供する意図がある発話であることを示す。情報提供要求は、処理対象の発話が、発話者が対話相手から情報の提供を求める意図がある発話であることを示す。

【0022】

談話行為推定部１４は、連結部１３から出力を基に、談話行為推定ブロック１４１を用いて、発話者の発話の談話行為のクラスを推定し、推定結果を出力する。第１の推定部は、一人の発話者の一つの有声区間の発話が属する談話行為のクラスを推定する。

【0023】

重要発言推定部１５は、重要発言推定ブロック１５１を有する。重要発言推定ブロック１５１は、全結合のニューラルネットワークであり、例えば、活性化関数として、softmaxを使用する。重要発言推定ブロック１５１は、連結部１３から出力されたフュージョンベクトルを基に、処理対象の発話が重要発言か否かを２種類のクラスラベルの尤度として推定する。

【0024】

重要発言推定部１５は、連結部１３からの出力を基に、重要発言推定ブロック１５１を用いて、発話者の発話が重要発言か否かを推定し、推定結果を出力する。重要発言推定部１５は、一つの有声区間の発話が、重要発言か否かを推定する。

【0025】

このように、推定装置１０は、音声情報として、発話の区間における４名の会話参加者それぞれのメルスペクトログラムと、言語情報として、発話の区間における、当該発話の生成者（発話者）の発話の書き起こしと、を入力とし、談話行為のｎ種類のクラスラベルの尤度と、重要発言か否かの２種類のクラスラベルの尤度とを出力する。

【0026】

なお、重要発言推定部１５は、重要発言か否かの２種類のクラスラベルに限らず、3種類以上のクラスラベルの尤度を出力してもよい。また、推定装置１０は、ＣＮＮ１１１、全結合ブロック１３１、談話行為推定ブロック１４１、重要発言推定ブロック１５１を、例えば一般に公開されているデータセットを訓練学習として、end-to-endで訓練する。このため、推定装置１０は、マルチタスクなであり、タスクごとに訓練を行う必要がないため、タスクごとの訓練と比して、多大な訓練コストを必要とせず、実際の推定に適用するまでの処理が簡易である。

【0027】

［推定処理の処理手順］
次に、実施の形態に係る推定処理について説明する。図３は、実施の形態に係る推定処理の処理手順を示すフローチャートである。

【0028】

図３に示すように、推定装置１０は、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムと、発話者の発話の内容をテキストに書き起こしたデータと、を入力として受け付ける（ステップＳ１，Ｓ３）。

【0029】

推定装置１０では、第１の変換部１１が、複数の発話者の各発話にそれぞれ対応するメルスペクトログラムを、ＣＮＮ１１１を用いて、各発話者の音声特徴の共起関係を示す音声特徴ベクトルに変換する第１の変換処理を行う（ステップＳ２）。一方、推定装置１０では、第２の変換部１２が、ＢＥＲＴモデル１２１を用いて、発話者の発話の内容をテキストに書き起こしたデータを、分散表現ベクトルに変換する（ステップＳ４）。

【0030】

連結部１３は、全結合ブロック１３１を用いて、第１の変換部１１から出力された得られた音声特徴ベクトルと、第２の変換部１２から出力された分散表現ベクトルとを連結し、２つのベクトルをフュージョンさせる連結処理を行う（ステップＳ５）。

【0031】

そして、談話行為推定部１４は、連結部１３から出力を基に、談話行為推定ブロック１４１を用いて、発話者の発話の談話行為のクラスを推定する談話行為推定処理を行い（ステップＳ６）、談話行為推定結果を出力する（ステップＳ７）。

【0032】

一方、重要発言推定部１５は、連結部１３からの出力を基に、重要発言推定ブロック１５１を用いて、発話者の発話が重要発言か否かを推定する重要発言推定処理を行い（ステップＳ８）、重要発言推定結果を出力する（ステップＳ９）。

【0033】

［実施の形態の効果］
このように、推定装置１０は、談話行為推定部１４及び重要発言推定部１５の前段に、音声情報を変換するＣＮＮ１１１と、発話の書き起こしデータを処理するＢＥＲＴモデル１２１と、ＣＮＮ１１１から出力された音声特徴ベクトルと、ＢＥＲＴモデル１２１から出力された分散表現ベクトルとを連結し、２つのベクトルをフュージョンさせる連結部１３とを設けた構成を有する。これによって、推定装置１０は、複数の発話者の間で生じた発話に対し、１つの推定装置１０のみで、発話の談話行為のクラスと、発話が重要発言か否かとの、複数の属性を同時に推定することができる。

【0034】

また、実施の形態では、複数の属性を推定する推定器をそれぞれ作成せず、一つの推定装置１０のみで複数の属性を同時に推定する。このため、実施の形態によれば、それぞれの属性を独立して推定するよりも、推定装置１０が捉えた属性間の互いに異なる特徴が互いの属性の推定性能を相補的に向上させることが期待できる。

【0035】

なお、推定装置１０の入力は、音声情報及び言語情報に限定されない。推定装置は、音声情報及び言語情報に加え、さらに、会話者の表情に関する表情情報（例えば、発話者の顔貌を撮像した画像）や、発話者の視線の方向を示す視線情報を用いて、さらに詳細な推定を行うこともできる。この場合、推定装置は、表情情報を処理するＮＮ及び視線情報を処理するＮＮを、ＣＮＮ１１１及びＢＥＲＴモデル１２１と並列に配置する。推定装置は、表情情報の変換情報、視線情報の変換情報、ＣＮＮ１１１による音声特徴ベクトル及びＢＥＲＴモデル１２１による分散表現ベクトルを連結し、融合させたフュージョンベクトルを、談話行為推定ブロック及び重要発言推定ブロックに入力して、各推定を行う。

【0036】

［実施の形態のシステム構成について］
推定装置１０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、推定装置１０の機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。

【0037】

また、推定装置１０においておこなわれる各処理は、全部または任意の一部が、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及び、ＣＰＵ、ＧＰＵにより解析実行されるプログラムにて実現されてもよい。また、推定装置１０においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。

【0038】

また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。

【0039】

［プログラム］
図４は、プログラムが実行されることにより、推定装置１０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0040】

メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0041】

ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、推定装置１０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、推定装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

【0042】

また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

【0043】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0044】

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

【符号の説明】

【0045】

１０ 推定装置
１１ 第１の変換部
１２ 第２の変換部
１３ 連結部
１４ 談話行為推定部
１５ 重要発言推定部
１１１ ＣＮＮ
１２１ ＢＥＲＴモデル
１３１ 全結合ブロック
１４１ 談話行為推定ブロック
１５１ 重要発言推定ブロック

【図1】

【図2】

【図3】

【図4】