知財求人 - 知財ポータルサイト「IP Force」
特開2023-34441オンライン話者ダイアリゼーションシステム、及び、オンライン話者ダイアリゼーションにおいて使用されるモデルを学習する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023034441
(43)【公開日】2023-03-13
(54)【発明の名称】オンライン話者ダイアリゼーションシステム、及び、オンライン話者ダイアリゼーションにおいて使用されるモデルを学習する方法
(51)【国際特許分類】
G10L 17/18 20130101AFI20230306BHJP
G06N 3/04 20230101ALI20230306BHJP
G10L 17/00 20130101ALI20230306BHJP
【ＦＩ】
G10L17/18
G06N3/04
G10L17/00 200C
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021140690
(22)【出願日】2021-08-31
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】薛 雅文
(72)【発明者】
【氏名】藤田 雄介
(72)【発明者】
【氏名】孫 慶華
(57)【要約】
【課題】発話初期におけるオンライン話者ダイアリゼーションの精度を向上する。
【解決手段】オンライン話者ダイアリゼーションにおいて、ニューラルネットワークベースのモデルが使用される。当該モデルの学習は、２段階の学習を含む。１段階目は、第１のチャンク（音声データ）をモデルに入力することで当該モデルから第１のパーミュテーションデータセグメント（各時区間について話者と発話確率との関係を表すデータ）を取得し、パーミュテーション損失を計算することを含む。第１のチャンクが複数の第２のチャンクに分割される。２段階目は、複数の第２のチャンクをモデルに入力することで複数の第２のパーミュテーションデータセグメントを取得し、当該複数の第２のパーミュテーションデータセグメントと１段階目の結果とを利用して、バイナリクロスクロスエントロピーを計算することを含む。
【選択図】図３
【解決手段】オンライン話者ダイアリゼーションにおいて、ニューラルネットワークベースのモデルが使用される。当該モデルの学習は、２段階の学習を含む。１段階目は、第１のチャンク（音声データ）をモデルに入力することで当該モデルから第１のパーミュテーションデータセグメント（各時区間について話者と発話確率との関係を表すデータ）を取得し、パーミュテーション損失を計算することを含む。第１のチャンクが複数の第２のチャンクに分割される。２段階目は、複数の第２のチャンクをモデルに入力することで複数の第２のパーミュテーションデータセグメントを取得し、当該複数の第２のパーミュテーションデータセグメントと１段階目の結果とを利用して、バイナリクロスクロスエントロピーを計算することを含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
オンライン話者ダイアリゼーションにおいて使用される話者ダイアリゼーションモデルの学習を行う学習部を有し、
前記話者ダイアリゼーションモデルは、話者ダイアリゼーションのニューラルネットワークベースのモデルであり、
前記オンライン話者ダイアリゼーションは、前記話者ダイアリゼーションモデルにチャンクを逐次に入力することで前記話者ダイアリゼーションモデルから逐次に得られるパーミュテーションデータセグメントを基にどの話者がいつ発話したかを逐次に識別することであり、
前記チャンクは、Ｎ人の話者（Ｎは自然数）の発話の一定時間分の音声データ又は当該音声データに基づく一定時間分のデータであり、
前記パーミュテーションデータセグメントは、前記一定時間における複数の時区間の各々についてＭ人の話者（Ｍは自然数且つＭ≦Ｎ）と発話確率との関係を表すデータであり、
前記学習部が、
第１の時間分のチャンクである第１のチャンクを前記話者ダイアリゼーションモデルに入力することで前記話者ダイアリゼーションモデルから第１のパーミュテーションデータセグメントを取得し、当該第１のパーミュテーションデータセグメントのパーミュテーション損失を計算し、
前記第１のチャンクを、それぞれが第１の時間よりも短い第２の時間分のチャンクである複数の第２のチャンクに分割する学習制御部と、
当該複数の第２のチャンクを前記話者ダイアリゼーションモデルに入力することで複数の第２のパーミュテーションデータセグメントを取得し、当該複数の第２のパーミュテーションデータセグメントに学習用のパーミュテーションデータセグメントが利用された複数のパーミュテーション結果を取得し、当該複数のパーミュテーション結果のそれぞれについてバイナリクロスクロスエントロピーを計算し、
前記学習用のパーミュテーションデータセグメントは、前記パーミュテーション損失と前記第１のパーミュテーションデータセグメントに基づく、前記第１の時間分のパーミュテーションデータセグメントである、
オンライン話者ダイアリゼーションシステム。
前記話者ダイアリゼーションモデルは、話者ダイアリゼーションのニューラルネットワークベースのモデルであり、
前記オンライン話者ダイアリゼーションは、前記話者ダイアリゼーションモデルにチャンクを逐次に入力することで前記話者ダイアリゼーションモデルから逐次に得られるパーミュテーションデータセグメントを基にどの話者がいつ発話したかを逐次に識別することであり、
前記チャンクは、Ｎ人の話者（Ｎは自然数）の発話の一定時間分の音声データ又は当該音声データに基づく一定時間分のデータであり、
前記パーミュテーションデータセグメントは、前記一定時間における複数の時区間の各々についてＭ人の話者（Ｍは自然数且つＭ≦Ｎ）と発話確率との関係を表すデータであり、
前記学習部が、
第１の時間分のチャンクである第１のチャンクを前記話者ダイアリゼーションモデルに入力することで前記話者ダイアリゼーションモデルから第１のパーミュテーションデータセグメントを取得し、当該第１のパーミュテーションデータセグメントのパーミュテーション損失を計算し、
前記第１のチャンクを、それぞれが第１の時間よりも短い第２の時間分のチャンクである複数の第２のチャンクに分割する学習制御部と、
当該複数の第２のチャンクを前記話者ダイアリゼーションモデルに入力することで複数の第２のパーミュテーションデータセグメントを取得し、当該複数の第２のパーミュテーションデータセグメントに学習用のパーミュテーションデータセグメントが利用された複数のパーミュテーション結果を取得し、当該複数のパーミュテーション結果のそれぞれについてバイナリクロスクロスエントロピーを計算し、
前記学習用のパーミュテーションデータセグメントは、前記パーミュテーション損失と前記第１のパーミュテーションデータセグメントに基づく、前記第１の時間分のパーミュテーションデータセグメントである、
オンライン話者ダイアリゼーションシステム。
【請求項2】
前記学習部により学習された話者ダイアリゼーションモデルを用いて推論としての前記オンライン話者ダイアリゼーションを行う推論部と、
推論対象のチャンクより過去のチャンクと当該過去のチャンクについて取得されたパーミュテーションデータセグメントとが前記推論において格納されるバッファである話者追跡バッファと
を更に有する請求項１に記載のオンライン話者ダイアリゼーションシステム。
推論対象のチャンクより過去のチャンクと当該過去のチャンクについて取得されたパーミュテーションデータセグメントとが前記推論において格納されるバッファである話者追跡バッファと
を更に有する請求項１に記載のオンライン話者ダイアリゼーションシステム。
【請求項3】
前記第２の時間は、前記推論対象のチャンクに対応した時間と同じ長さの時間である、
請求項２に記載のオンライン話者ダイアリゼーションシステム。
請求項２に記載のオンライン話者ダイアリゼーションシステム。
【請求項4】
前記推論対象のチャンクがｐ番目のチャンクの場合（ｐは自然数）、前記推論部は、
ｐが所定の閾値以下の場合、第１のモードでの前記推論を行い、
ｐが前記所定の閾値を超えている場合、第２のモードでの前記推論を行い、
前記第１のモードでの前記推論は、前記話者ダイアリゼーションモデルの所定のパラメータを用いた推論であり、
前記第２のモードでの前記推論は、前記話者ダイアリゼーションモデルの学習において学習されたパラメータを用いた推論である、
請求項２に記載のオンライン話者ダイアリゼーションシステム。
ｐが所定の閾値以下の場合、第１のモードでの前記推論を行い、
ｐが前記所定の閾値を超えている場合、第２のモードでの前記推論を行い、
前記第１のモードでの前記推論は、前記話者ダイアリゼーションモデルの所定のパラメータを用いた推論であり、
前記第２のモードでの前記推論は、前記話者ダイアリゼーションモデルの学習において学習されたパラメータを用いた推論である、
請求項２に記載のオンライン話者ダイアリゼーションシステム。
【請求項5】
オンライン話者ダイアリゼーションにおいて使用される話者ダイアリゼーションモデルの学習を行い、
前記話者ダイアリゼーションモデルは、話者ダイアリゼーションのニューラルネットワークベースのモデルであり、
前記オンライン話者ダイアリゼーションは、前記話者ダイアリゼーションモデルにチャンクを逐次に入力することで前記話者ダイアリゼーションモデルから逐次に得られるパーミュテーションデータセグメントを基にどの話者がいつ発話したかを逐次に識別することであり、
前記チャンクは、Ｎ人の話者（Ｎは自然数）の発話の一定時間分の音声データ又は当該音声データに基づく一定時間分のデータであり、
前記パーミュテーションデータセグメントは、前記一定時間における複数の時区間の各々についてＭ人の話者（Ｍは自然数且つＭ≦Ｎ）と発話確率との関係を表すデータであり、
前記学習が、
第１の時間分のチャンクである第１のチャンクを前記話者ダイアリゼーションモデルに入力することで前記話者ダイアリゼーションモデルから第１のパーミュテーションデータセグメントを取得し、当該第１のパーミュテーションデータセグメントのパーミュテーション損失を計算すること、
前記第１のチャンクを、それぞれが第１の時間よりも短い第２の時間分のチャンクである複数の第２のチャンクに分割すること、及び、
当該複数の第２のチャンクを前記話者ダイアリゼーションモデルに入力することで複数の第２のパーミュテーションデータセグメントを取得し、当該複数の第２のパーミュテーションデータセグメントに学習用のパーミュテーションデータセグメントが利用された複数のパーミュテーション結果を取得し、当該複数のパーミュテーション結果のそれぞれについてバイナリクロスクロスエントロピーを計算すること、
を含み、
前記学習用のパーミュテーションデータセグメントは、前記パーミュテーション損失と前記第１のパーミュテーションデータセグメントに基づく、前記第１の時間分のパーミュテーションデータセグメントである、
方法。
前記話者ダイアリゼーションモデルは、話者ダイアリゼーションのニューラルネットワークベースのモデルであり、
前記オンライン話者ダイアリゼーションは、前記話者ダイアリゼーションモデルにチャンクを逐次に入力することで前記話者ダイアリゼーションモデルから逐次に得られるパーミュテーションデータセグメントを基にどの話者がいつ発話したかを逐次に識別することであり、
前記チャンクは、Ｎ人の話者（Ｎは自然数）の発話の一定時間分の音声データ又は当該音声データに基づく一定時間分のデータであり、
前記パーミュテーションデータセグメントは、前記一定時間における複数の時区間の各々についてＭ人の話者（Ｍは自然数且つＭ≦Ｎ）と発話確率との関係を表すデータであり、
前記学習が、
第１の時間分のチャンクである第１のチャンクを前記話者ダイアリゼーションモデルに入力することで前記話者ダイアリゼーションモデルから第１のパーミュテーションデータセグメントを取得し、当該第１のパーミュテーションデータセグメントのパーミュテーション損失を計算すること、
前記第１のチャンクを、それぞれが第１の時間よりも短い第２の時間分のチャンクである複数の第２のチャンクに分割すること、及び、
当該複数の第２のチャンクを前記話者ダイアリゼーションモデルに入力することで複数の第２のパーミュテーションデータセグメントを取得し、当該複数の第２のパーミュテーションデータセグメントに学習用のパーミュテーションデータセグメントが利用された複数のパーミュテーション結果を取得し、当該複数のパーミュテーション結果のそれぞれについてバイナリクロスクロスエントロピーを計算すること、
を含み、
前記学習用のパーミュテーションデータセグメントは、前記パーミュテーション損失と前記第１のパーミュテーションデータセグメントに基づく、前記第１の時間分のパーミュテーションデータセグメントである、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、オンライン話者ダイアリゼーションに関する。
【背景技術】
【0002】
話者区別に関する技術として、例えば、特許文献１に開示の技術がある。特許文献１によれば、複数の話者が同時に話すことが想定されていないが、本願発明の一部の発明者が執筆した論文（非特許文献１及び２）には、複数の話者が同時に話すことが想定された話者ダイアリゼーションに関する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－１０９７１２号公報
【非特許文献】
【0004】
【非特許文献1】ONLINE END-TO-END NEURALDIARIZATION WITH SPEAKER-TRACING BUFFER（https://arxiv.org/pdf/2006.02616.pdf）
【非特許文献2】Online Streaming End-to-EndNeural Diarization Handling Overlapping Speech and Flexible Numbers of Speakers（https://arxiv.org/pdf/2101.08473.pdf）
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１及び２によれば、機械学習されたニューラルネットワークベースの学習モデル（以下、話者ダイアリゼーションモデル）を用いて話者ダイアリゼーションが行われる。具体的には、例えば、非特許文献１及び２は、音声データを複数のチャンクに区切るチャンクワイズの話者ダイアリゼーションを開示し、且つ、当該話者ダイアリゼーションに関し話者追跡バッファ機構を開示する。話者追跡バッファ機構は、前のチャンクから話者の配列情報を表す複数の入力フレームを選択し、当該複数の入力フレームを話者追跡バッファ（ＳＴＢ）に格納する。
【0006】
非特許文献１及び２に開示のオンライン話者ダイアリゼーションでは、発話の初期（例えば発話開始から３０秒程度までの間）での話者ダイアリゼーション（誰がいつ発話したかの識別）の精度は高くない。その理由として、例えば下記が考えられる。
・ＳＴＢに適用される学習モデルが、固定された大きなチャンクサイズのチャンクを用いて学習されたオフラインの学習モデルであること。
・学習において教師なしの共分散が使用されること。
・ＳＴＢに適用される学習モデルが、固定された大きなチャンクサイズのチャンクを用いて学習されたオフラインの学習モデルであること。
・学習において教師なしの共分散が使用されること。
【課題を解決するための手段】
【0007】
オンライン話者ダイアリゼーションは、話者ダイアリゼーションモデル（話者ダイアリゼーションのニューラルネットワークベースのモデル）にチャンクを逐次に入力することで当該話者ダイアリゼーションモデルから逐次に得られるパーミュテーションデータセグメントを基にどの話者がいつ発話したかを逐次に識別することである。「チャンク」は、Ｎ人の話者（Ｎは自然数）の発話の一定時間分の音声データ又は当該音声データに基づく一定時間分のデータである。「パーミュテーションデータセグメント」は、当該一定時間における複数の時区間の各々についてＭ人の話者（Ｍは自然数且つＭ≦Ｎ）と発話確率との関係を表すデータである。
【0008】
話者ダイアリゼーションモデルの学習が、２段階で行われる。
【0009】
第１段階目の学習は、第１のチャンク（第１の時間分のチャンク）を話者ダイアリゼーションモデルに入力することで当該話者ダイアリゼーションモデルから第１のパーミュテーションデータセグメントを取得し、当該第１のパーミュテーションデータセグメントのパーミュテーション損失を計算することを含む。
【0010】
第１のチャンクが、それぞれが第１の時間よりも短い第２の時間分のチャンクである複数の第２のチャンクに分割される。
【0011】
第２段階目の学習は、当該複数の第２のチャンクを上記話者ダイアリゼーションモデルに入力することで複数の第２のパーミュテーションデータセグメントを取得すること、当該複数の第２のパーミュテーションデータセグメントに学習用のパーミュテーションデータセグメントが利用された複数のパーミュテーション結果を取得すること、及び、当該複数のパーミュテーション結果のそれぞれについてバイナリクロスクロスエントロピーを計算することを含む。なお、「学習用のパーミュテーションデータセグメント」は、パーミュテーション損失と第１のパーミュテーションデータセグメントに基づく、上記第１の時間分のパーミュテーションデータセグメントである。
【発明の効果】
【0012】
本発明によれば、発話初期におけるオンライン話者ダイアリゼーションの精度を向上することができる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係るコンピュータシステムのハードウェア構成例を示す。
【図2】オンライン話者ダイアリゼーションシステムの構成の一例を示す。
【図3】ＦＳ－ＥＥＮＤモデルの学習の流れを示す。
【図4】パーミュテーションの整合性が維持されない例を示す。
【図5】パーミュテーションの整合性が維持される例を示す。
【図6】１番目のチャンクについての推論の流れを示す。
【図7】チャンク及びパーミュテーションデータセグメントの例を示す。
【図8】結合チャンクの例を示す。
【図9】推論における処理の一例を示す。
【図10】推論における処理の一例を示す。
【発明を実施するための形態】
【0014】
以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイス。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイス。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
【0015】
また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
【0016】
また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＮＶＭｅ（Non-Volatile Memory Express）ドライブ、又は、ＳＣＭ（Storage Class Memory）でよい。
【0017】
また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。
【0018】
また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスでよいが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路（例えばＦＰＧＡ（Field-Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。
【0019】
また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。
【0020】
また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通符号を使用し、同種の要素を区別する場合は、参照符号を使用することがある。
【0021】
図１は、本発明の一実施形態に係るコンピュータシステムのハードウェア構成例を示す図である。
【0022】
コンピュータシステム３００は、デスクトップ型コンピュータ、モバイル型コンピュータ又はスマートフォン等のコンピュータでよい。コンピュータシステム３００は、プロセッサ３０２（例えば複数のＣＰＵ３０２Ａ及び３０２Ｂ）、メモリ３０４、表示システム３２４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェース３０９、及びＩ／Ｏバスインターフェース３１０を介して、相互的に接続されてもよい。また、コンピュータシステム３００は、物理的な計算機システム（一つ以上の物理的な計算機（例えばクラウド基盤））であってもよいし、物理的な計算機システムに基づく論理的な計算機システム（例えば、クラウドコンピューティングサービスシステム）でもよい。
【0023】
メモリ３０４は、話者ダイアリゼーションアプリケーション３５０（コンピュータプログラム）を格納していていよい。プロセッサ３０２に話者ダイアリゼーションアプリケーション３５０が実行されることで、コンピュータシステム３００がオンライン話者ダイアリゼーションシステム３８０（図２参照）として機能してよい。
【0024】
コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェース３１０間の通信を行うバスインターフェース３０９を含んでもよい。Ｉ／Ｏバスインターフェース３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェース３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２、３１４、３１６、及び３１８と通信してもよい。
【0025】
表示システム３２４は、表示装置３２６に接続され、表示制御を行う表示コントローラ、表示対象のデータが格納される表示メモリ、又はその両方を含んでもよい。表示メモリはメモリ３０４の一部でよい。
【0026】
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２には、ユーザＩ／Ｏデバイス３２０（例えば、スピーカ等のユーザ出力デバイスや、マイク等のユーザ入力デバイス）が接続される。ストレージインタフェース３１４には、永続記憶装置３２２が接続される。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ等に対するインターフェースでよい。ネットワークインターフェース３１８は、ネットワーク３３０に対するインターフェースでよい。ネットワーク３３０は、インターネット、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等でよい。
【0027】
インターフェース３１２、３１４、３１６、３１８及び表示システム３２４が、インターフェース装置の一例でよい。また、コンピュータシステム３００が、図１に例示の全てのコンポーネントを備えていなくてもよい。コンピュータシステム３００は、例えば、インターフェース装置と、記憶装置と、それらに接続されたプロセッサとを備えてよい。記憶装置にＳＴＢが設けられてよい。
【0028】
図２は、本実施形態に係るオンライン話者ダイアリゼーションシステム３８０の機能構成の一例を示す図である。
【0029】
オンライン話者ダイアリゼーションシステム３８０には、ネットワーク３３０を介して（又はネットワーク３３０を介さずに）、クライアント端末３７５及び／又は音声データ取得装置３６５が接続される。クライアント端末３７５及び音声データ取得装置３６５の少なくとも一部の機能がオンライン話者ダイアリゼーションシステム３８０に含まれてもよい。
【0030】
音声データ取得装置３６５は、音声データを取得するための装置である。この音声データ取得装置３６５は、例えば、スマートフォンやパソコン等のマイクロフォンを備えたコンピューティングデバイスや録音機等であってもよいし、マイクロフォンそれ自体でもよい。
【0031】
クライアント端末３７５は、上述した音声データ取得装置３６５によって取得された音声データや、発話し得る話者の数を表す話者数データを、ネットワーク３３０を介してオンライン話者ダイアリゼーションシステム３８０に送信する情報処理端末である。音声データや話者数データのような入力データは、図１に例示のユーザＩ／Ｏデバイス３２０から入力されてよい。
【0032】
記憶領域３７２は、コンピュータシステム３００の記憶装置（例えば、メモリ３０４及び永続記憶装置３２２）に基づく領域である。記憶領域３７２は、例えばＳＴＢを含む。ＳＴＢは、メモリ３０４に設けられた領域でよい。記憶領域３７２の少なくとも一部が、オンライン話者ダイアリゼーションシステム３８０の外部の記憶装置に基づく領域でもよい。記憶領域３７２に、音声データ及び話者数データといった入力データが格納される。
【0033】
オンライン話者ダイアリゼーションシステム３８０は、記憶領域３７２、入力部３８２、デュアルモードＥＥＮＤモデル２２、学習部３６０及び推論部３４２を有する。デュアルモードＥＥＮＤモデル２２が記憶領域３７２に格納されてよい。
【0034】
記憶領域３７２は、メモリ３０４及び永続記憶装置３２２のうちの少なくとも一部に基づく領域であり、ＳＴＢ（話者追跡バッファ）３７４を含む。ＳＴＢ３７４には、後述するように、推論対象のチャンクより過去のチャンクと当該過去のチャンクについて取得されたパーミュテーションデータセグメントとが推論において格納されるバッファである。このようなＳＴＢ３７４を用いて、話者数がフレキシブルである（話者数が限定されない）オンライン話者ダイアリゼーションが行われる。
【0035】
入力部３８２は、クライアント端末３７５（又は音声データ取得装置３６５）から入力された音声データ及び話者数データを受け付け、それら音声データ及び話者数データを記憶領域３７２に格納する。
【0036】
デュアルモードＥＥＮＤモデル２２は、学習部３６０により学習され推論部３４２による推論（オンライン話者ダイアリゼーション）において使用されるニューラルネットワークベースのChunk-Wiseのモデルである。デュアルモードＥＥＮＤモデル２２が、話者ダイアリゼーションモデルの一例である。なお、「デュアルモードＥＥＮＤモデル」とは、推論においてＥＥＮＤモデルが二つのモードのうちの選択されたモードで使用されることを意味する。「ＥＥＮＤ」とは、End-to-End Neural Diarizationの略である。ＥＥＮＤは、例えば、Self Attention法が用いられたＥＥＮＤでよく、且つ、話者数がフレキシブルである（限定されない）ＥＥＮＤでよい。ＥＥＮＤモデルは、いずれの話者がいずれの時区間において発話中であるかの確率を判定するように構成されたニューラルネットワークベースのモデルである。ＥＥＮＤによれば、入力された音声データにおいて複数の話者の発話が重なっていてもいずれの話者がいつ発話したかを精度良く識別することができる。なお、本実施形態の説明において、「End-to-End」とは、入力された音声データを基に話者ダイアリゼーション結果を出力するまでの一連のことをニューラルネットワークベースのモデルを用いて行うことが可能とされたことの意味として使用される。
【0037】
学習部３６０は、デュアルモードＥＥＮＤモデル２２の学習を２段階で行う。具体的には、学習部３６０は、１段階目の学習を行う第１段階学習部３６１と、２段階目の学習を行う第２段階学習部３６２と、学習の制御を行う学習制御部３６３とを有する。
【0038】
推論部３４２は、学習済のデュアルモードＥＥＮＤモデル２２を使用して推論を行う。推論としてのオンライン話者ダイアリゼーションは、デュアルモードＥＥＮＤモデル２２にチャンクを逐次に入力することで当該デュアルモードＥＥＮＤモデル２２から逐次に得られるパーミュテーションデータセグメントを基にどの話者がいつ発話したかを逐次に識別することである。
【0039】
ここで、「チャンク」は、Ｎ人の話者（Ｎは自然数）の発話の一定時間分の音声データ又は当該音声データに基づく一定時間分のデータである。本実施形態では、チャンクは、一定時間分の音声データに基づく一定時間分のデータ、具体的には、当該一定時間を構成する複数の時区間の各々における特徴量（acoustic feature）を表すデータである。
【0040】
「パーミュテーションデータセグメント」は、当該一定時間における複数の時区間の各々についてＭ人の話者（Ｍは自然数且つＭ≦Ｎ）と発話確率との関係を表すデータである。つまり、パーミュテーションデータセグメントは、Ｍ人の話者の各々について、時区間毎の発話確率を表す。
【0041】
図３は、実施形態に係るＦＳ－ＥＥＮＤモデルの学習の流れを示す。
【0042】
記憶領域３７２に、学習用に、音声データ及び話者数データが格納されているとする。音声データは、Ｎ人の話者（Ｎは自然数）の発話の音声のデータである。話者数データが表す話者数はＫである。なお、学習用の音声データ及び話者数データは、推論に使用されてもよい。別の言い方をすれば、推論において使用される音声データ及び話者数データが、学習において使用されてもよい。
【0043】
学習制御部３６３が、音声データから一つ又は複数の第１のチャンクを取得する。一つ又は複数の第１のチャンクの各々について、２段階の学習が行われる。図３の説明において、以下、一つの第１のチャンク２７を例に取る。第１のチャンク２７は、第１の時間分のチャンク（第１の時間分の音声データ）である。学習の説明において、第１のチャンクは、「全体チャンク」と呼ばれてもよい。
【0044】
第１段階学習部３６１が、第１段階目の学習を行う。具体的には、第１段階学習部３６１が、第１のチャンク２７をデュアルモードＥＥＮＤモデル２２に入力することでデュアルモードＥＥＮＤモデル２２から第１のパーミュテーションデータセグメント２９を取得する。第１段階学習部３６１は、当該第１のパーミュテーションデータセグメント２９のパーミュテーション損失３０を計算する。パーミュテーション損失３０は、例えばＰＩＴ（Permutation-Invariant Training）を用いて計算される。なお、図３において、時区間毎に、「ｘα」は、当該時区間αにおける特徴量を意味し、「ｙα」は、当該時区間αにおける話者毎の発話確率を意味し、「ｙ＾α」は、ｘαを入力としたデュアルモードＥＥＮＤモデル２２からの出力を意味し、「ｙ＾´α」は、ｙ＾αに所定の処理が施された結果としてのデータ（処理後のｙ＾α）を意味する。なお、図３では、記号“＾”は文字の真上にあるが、本明細書では、便宜上、文字の横に記載される。
【0045】
学習制御部３６３が、第１のチャンク２７を、それぞれが第１の時間よりも短い第２の時間分のチャンクである複数の第２のチャンク２１（例えば、２１Ａ～２１Ｃ）に分割する。学習の説明において、第２のチャンクは、「サブチャンク」と呼ばれてもよい。また、第１の時間は、第２の時間の整数倍でもよい。
【0046】
第２段階学習部３６２が、第２段階目の学習を行う。具体的には、第２段階学習部３６２が、複数の第２のチャンク２１Ａ～２１ＣをデュアルモードＥＥＮＤモデル２２（第１段階目の学習に使用されたモデルと同じモデル）に入力することで複数の第２のパーミュテーションデータセグメント２３Ａ～２３Ｃを取得する。第２段階学習部３６２は、当該複数の第２のパーミュテーションデータセグメント２３Ａ～２３Ｃに学習用のパーミュテーションデータセグメント３１が利用された複数のパーミュテーション結果２４Ａ～２４Ｃを取得する。第２段階学習部３６２は、当該複数のパーミュテーション結果２４Ａ～２４Ｃのそれぞれについてバイナリクロスエントロピー２５を計算する。これにより、最終結果として、複数の第２のパーミュテーションデータセグメント２６Ａ～２６Ｃが得られる。なお、第２のパーミュテーションデータセグメント２６において、「ｙ～α」は、時区間αにおける話者毎の発話確率であって、バイナリクロスエントロピー計算後のｙ＾´αに対応した値である。学習用のパーミュテーションデータセグメント３１は、パーミュテーション損失３０と第１のパーミュテーションデータセグメント２９に基づく、第１の時間分のパーミュテーションデータセグメントである。第１のパーミュテーションデータセグメント２９は、例えば、グランドトゥルースラベルの話者順序を用いたパーミュテーション結果を表すデータである。
【0047】
図３の説明によれば、第１段階目の学習は、第１のチャンク（大きいサイズのチャンク）を用いた学習である。第２段階目の学習は、当該第１のチャンクを構成する複数の第２のチャンク（複数の小さいサイズのチャンク（複数のサブチャンク））を用いた学習である。２段階目の学習では、第１段階目の学習の結果として得られた学習用のパーミュテーションデータセグメント３１が、一種の教師データとして用いられる（つまり、本実施形態における学習は、いわゆる教師あり学習である）。推論としてのオンライン話者ダイアリゼーションでは、小さいサイズのチャンク（例えば、１ミリ秒、１０ミリ秒、又は１秒分のチャンク）が逐次に入力される。このため、第１段階目の学習を、オフライン向けの学習と言い、第２段階目の学習を、オフライン向けの学習の結果を利用したオンライン向けの学習と言うことができる。このように学習されたデュアルモードＥＥＮＤモデル２２が推論において使用される（ＳＴＢ３７４に適用される）ため、発話初期におけるオンライン話者ダイアリゼーションの精度を向上することができる。
【0048】
なお、例えば、オンライン向けの学習における第２のチャンク（サブジャンク）のサイズ（第２の時間の長さ）は、推論において逐次に入力されるチャンクのサイズと同じサイズ（推論において逐次に入力されるチャンクに対応した時間と同じ長さ）でよい。これにより、オンライン話者ダイアリゼーションの一層の精度向上が期待できる。
【0049】
また、第１段階目の学習では、デュアルモードＥＥＮＤモデル２２は、例えばパーミュテーション損失が小さくなる（例えば最小になる）よう学習されてよい。第２段階目の学習では、デュアルモードＥＥＮＤモデル２２は、例えばバイナリクロスエントロピーが小さくなる（例えば最小になる）よう学習されてよい。
【0050】
パーミュテーション（話者の順序）の整合性の維持が、オンライン話者ダイアリゼーションの精度の点において重要である。具体的には、例えば、パーミュテーションの整合性が維持されない場合、図４が示すように、チャンクＡでの話者Ａと話者Ｂの順序と次のチャンクＢでの話者Ａと話者Ｂの順序が変わると、チャンクＡについてのオンライン話者ダイアリゼーション結果（例えば、いつどの話者が発話したかのラベル）が正しくても、チャンクＢについてのオンライン話者ダイアリゼーション結果が正しくない。一方、パーミュテーションの整合性が維持される場合、図５が示すように、チャンクＡでの話者Ａと話者Ｂの順序と次のチャンクＢでの話者Ａと話者Ｂの順序が変わっても、チャンクＡ及びＢのいずれのオンライン話者ダイアリゼーション結果も正しい。
【0051】
本実施形態において、推論は、記憶領域３７２に格納された音声データ（例えば推論用の音声データ）における連続した複数のチャンクの各々について行われる。推論におけるチャンクのサイズは、少なくとも学習における第１のチャンク（全体チャンク）より小さい。
【0052】
以下、図６～図１０を参照して、本実施形態において行われる推論を説明する。推論のために、音声データ及び話者数データが記憶領域３７２に格納されているとする。話者数データは、話者数Ｎ（Ｎは自然数）を表すとする。また、以下の説明において、参照符号の構成と参照符号が付与される要素との関係を下記の通りとする。
・６０Ｘｐ：ｐ番目のチャンク
・６０Ｘｐ（ｂｕｆ）：ＳＴＢ３７４に格納されているｐ番目のチャンク
・７０Ｙｐ：ｐ番目のパーミュテーションデータセグメント（ｐ番目のチャンクに対応したパーミュテーションデータセグメント）
・７０Ｙｐ（ｂｕｆ）：チャンク６０Ｘｐ（ｂｕｆ）に対応したｐ番目のパーミュテーションデータセグメント
・７０Ｙ＾ｐ：ｐ番目のチャンクのデュアルモードＥＥＮＤモデル２２への入力に対してデュアルモードＥＥＮＤモデル２２から出力されたｐ番目のパーミュテーションデータセグメント
・７０Ｙ＾ｐ（ｂｕｆ）：チャンク６０Ｘｐ（ｂｕｆ）に対応したパーミュテーションデータセグメント７０Ｙ＾ｐ
・６０Ｘｐ：ｐ番目のチャンク
・６０Ｘｐ（ｂｕｆ）：ＳＴＢ３７４に格納されているｐ番目のチャンク
・７０Ｙｐ：ｐ番目のパーミュテーションデータセグメント（ｐ番目のチャンクに対応したパーミュテーションデータセグメント）
・７０Ｙｐ（ｂｕｆ）：チャンク６０Ｘｐ（ｂｕｆ）に対応したｐ番目のパーミュテーションデータセグメント
・７０Ｙ＾ｐ：ｐ番目のチャンクのデュアルモードＥＥＮＤモデル２２への入力に対してデュアルモードＥＥＮＤモデル２２から出力されたｐ番目のパーミュテーションデータセグメント
・７０Ｙ＾ｐ（ｂｕｆ）：チャンク６０Ｘｐ（ｂｕｆ）に対応したパーミュテーションデータセグメント７０Ｙ＾ｐ
【0053】
推論対象のチャンクが１番目のチャンク６０Ｘ１の場合、当該１番目のチャンク６０Ｘ１は、例えば図６が示すように処理される。すなわち、推論部３４２が、デュアルモードＥＥＮＤモデル２２に当該１番目のチャンク６０Ｘ１を入力することで当該１番目のチャンク６０Ｘ１に対応した１番目のパーミュテーションデータセグメント７０Ｙ＾１を取得する。推論部３４２が、当該１番目のチャンク６０Ｘ１と当該１番目のパーミュテーションデータセグメント７０Ｙ＾１とをＳＴＢ３７４に格納する。これにより、ＳＴＢ３７４に、チャンク６０Ｘ１とパーミュテーションデータセグメント７０Ｙ＾１といった２つのマトリクスが存在することとなる。
【0054】
なお、図６において、チャンクを構成するセルの数は、チャンクに対応した時区間（時間位置）の数を意味する。また、各セルの濃淡は、特徴量を表す。また、推論対象のチャンクがｐ番目のチャンク６０Ｘｐであり（ｐは、自然数）、且つ、ｐが所定の閾値Ｔｈ以下の場合、デュアルモードＥＥＮＤモデル２２に関する２つのモードのうち、第１のモードが使用されてよい。第１のモードは、デュアルモードＥＥＮＤモデル２２の学習済のパラメータに代えてデュアルモードＥＥＮＤモデル２２の所定のパラメータを用いる推論のモードでよい。
【0055】
また、図６において、パーミュテーションデータセグメントは、２つの行を有するが、これは、話者数が２であることを意味する。つまり、パーミュテーションデータセグメントの行の数は話者数を意味する。また、各セルの濃淡は、発話確率を表す。
【0056】
また、本実施形態では、推論におけるチャンクのサイズは、ＳＴＢ３７４の最大フレームサイズよりも小さい。「最大フレームサイズ」とは、ＳＴＢ３７４の１フレームのサイズと、ＳＴＢ３７４のフレーム数の最大値との積である。
【0057】
推論対象のチャンクがｉ番目のチャンク６０Ｘｉ（ｉは２以上の整数）の場合、当該ｉ番目のチャンク６０Ｘｉは、例えば次のように処理される。すなわち、推論部３４２が、当該ｉ番目のチャンク６０Ｘｉと、ＳＴＢ３７４における（ｉ－１）番目のチャンク６０Ｘｉ-１（ｂｕｆ）との結合処理を行う。結合処理では、（ｉ－１）番目のチャンク６０Ｘｉ-１（ｂｕｆ）の少なくとも一部（全部でもよい）である（ｉ－１）番目のチャンク部分と、ｉ番目のチャンク６０Ｘｉとの結合である結合チャンクが生成される。結合処理は、チャンクの時間軸に沿って行われる。つまり、（ｉ－１）番目のチャンク部分は、（ｉ－１）番目のチャンク６０Ｘｉ-１（ｂｕｆ）に対応した時間を構成する全時区間のうちの少なくとも一部の時区間に対応したデータでよく、当該データがｉ番目のチャンク６０Ｘｉに結合されてよい。
【0058】
このため、推論部３４２は、ｉが上記所定の閾値Ｔｈ以下か否かを判断してよい。この判断の結果に応じて、デュアルモードＥＥＮＤモデル２２に関する２つのモードのうち、第１のモードが使用されるか第２のモードが使用されるかが決定されてよい。具体的には、ｉが所定の閾値Ｔｈ以下の場合、第１のモードが使用されてよい。ｉが所定の閾値Ｔｈを超えている場合、第２のモードが使用されてよい。第２のモードは、デュアルモードＥＥＮＤモデル２２の学習済のパラメータを用いる推論のモードでよい。これにより、発話初期のオンライン話者ダイアリゼーションの一層の精度向上が期待できる。
【0059】
推論部３４２は、デュアルモードＥＥＮＤモデル２２に結合チャンクを入力することで、（ｉ－１）番目のチャンク部分に対応した（ｉ－１）番目のパーミュテーションデータセグメント７０Ｙ＾ｉ-１（ｂｕｆ）と、結合チャンクにおけるｉ番目のチャンク６０Ｘｉに対応したｉ番目のパーミュテーションデータセグメント７０Ｙ＾ｉとを取得する。
【0060】
その後、推論部３４２は、ＳＴＢ３７４に格納されている（ｉ－１）番目のパーミュテーションデータセグメント７０Ｙｉ-１（ｂｕｆ）と、取得された（ｉ－１）番目のパーミュテーションデータセグメント７０Ｙ＾ｉ-１（ｂｕｆ）と、取得されたｉ番目のパーミュテーションデータセグメント７０Ｙ＾ｉとの各々について、当該パーミュテーションデータセグメントが表す話者数ＭがＮより小さい場合、ゼロパティングを行う。「ゼロパティング」とは、パティング処理の一例であり、（Ｎ－Ｍ）分の話者の各々について、チャンク６０Ｘに対応した時間を構成する時区間毎の発話確率を“０”（所与の確率の一例）とした行（データ）を当該パーミュテーションデータセグメントに追加することである。ゼロパディングされたパーミュテーションデータセグメント７０Ｙｉ-１（ｂｕｆ）、７０Ｙ＾ｉ-１（ｂｕｆ）及び７０Ｙ＾ｉを、パーミュテーションデータセグメント７０Ｚｉ-１（ｂｕｆ）、７０Ｚ＾ｉ-１（ｂｕｆ）及び７０Ｚ＾ｉ（不図示）と表記する（Ｍ＝Ｎのパーミュテーションデータセグメント７０Ｙについては、ゼロパティングは不要であるが、便宜上、７０Ｚｉ-１（ｂｕｆ）、７０Ｚ＾ｉ-１（ｂｕｆ）及び７０Ｚ＾ｉという符号を用いることとする）。
【0061】
推論部３４２は、パーミュテーションデータセグメント７０Ｚｉ-１（ｂｕｆ）及び７０Ｚ＾ｉ-１（ｂｕｆ）間の相関（例えば、最も高い相関）に基づくマトリクスであるパーミュテーションマトリクスＰφを生成する。推論部３４２は、ｉ番目のパーミュテーションデータセグメント７０Ｚ＾ｉと生成されたパーミュテーションマトリクスＰφとを基にパーミュテーション処理を行うことで、ｉ番目のチャンク６０Ｘｉに対応したｉ番目のパーミュテーションデータセグメント７０Ｙｉを算出する。これにより、パーミュテーションの整合性が維持される。例えば、ｉ番目のパーミュテーションデータセグメント７０Ｙｉは、ｉ番目のパーミュテーションデータセグメント７０Ｚ＾ｉとパーミュテーションマトリクスＰφとの積である。
【0062】
推論部３４２は、（ｉ－１）番目のチャンク６０Ｘｉ－１（ｂｕｆ）が格納されているＳＴＢ３７４に、ゼロパティング後の（ｉ－１）番目のパーミュテーションデータセグメント７０Ｚｉ-１（ｂｕｆ）をパーミュテーションデータセグメント７０Ｙｉ-１（ｂｕｆ）として格納する。また、推論部３４２は、ｉ番目のパーミュテーションデータセグメント７０Ｙｉと、ｉ番目のチャンク６０ＸｉとをＳＴＢ３７４に格納する。このようにして、チャンク６０Ｘｉの推論の都度に、ＳＴＢ３７４が更新される。このため、チャンク６０Ｘｉの推論の開始時には、ＳＴＢ３７４には、（ｉ－１）番目のチャンク６０Ｘｉ－１（ｂｕｆ）及びパーミュテーションデータセグメント７０Ｙｉ-１（ｂｕｆ）や（ｉ－２）番目のチャンク６０Ｘｉ－２（ｂｕｆ）及びパーミュテーションデータセグメント７０Ｙｉ－２（ｂｕｆ）といった過去のデータセット（チャンク及びパーミュテーションデータセグメント）が格納されていることになる。どこまで過去のデータセットがＳＴＢ３７４に格納されるかはＳＴＢの最大フレーム数等に応じて決められてよい。
【0063】
以下、推論については、適宜、下記の説明が適用されてよい。
【0064】
推論部３４２は、チャンク６０ＸをデュアルモードＥＥＮＤモデル２２に入力し、話者数データが表す話者数を基に、チャンク６０Ｘに対応したパーミュテーションデータセグメント７０Ｙ＾がデュアルモードＥＥＮＤモデル２２から取得してよい。図７が例示するように、チャンク６０Ｘは、１０個の時区間に対応した１０個の特徴量で構成されていてよい。パーミュテーションデータセグメント７０Ｙ＾は、話者毎の行を有し、各行が、１０個の時区間の各々について、当該話者が発話した確率（例えば０以上１以下の確率）を表す値を含んでよい。時間を構成する複数の時区間を「時区間セット」と言うことができる。
【0065】
図８が例示するように、結合チャンク６１０は、（ｉ－１）番目のチャンク部分６０ＸＰｉ-１（ｂｕｆ）とｉ番目のチャンク６０Ｘｉとの結合である。（ｉ－１）番目のチャンク部分６０ＸＰｉ-１（ｂｕｆ）は、時区間セット（例えば、１０個の時区間）のうちの一部の時区間に対応した特徴量で構成されたチャンクでよい。このような結合チャンク６１０がデュアルモードＥＥＮＤモデル２２に入力されることで、パーミュテーションデータセグメント７０ＹＰ＾ｉ－１（ｂｕｆ）及び７０Ｙ＾ｉが取得されてよい。なお、デュアルモードＥＥＮＤモデル２２は、各時区間について、当該時区間に対応した確率の算出に、当該時区間の前及び後の少なくとも一方の時区間に対応した確率を利用するよう構成されていてよい。
【0066】
推論において、図９に例示の処理が行われてよい。すなわち、推論部３４２は、チャンク６０Ｘｉ－１をデュアルモードＥＥＮＤモデル２２に入力することでパーミュテーションデータセグメント７０Ｙ＾ｉ-１を取得してよい。推論部３４２は、チャンク６０Ｘｉ－１の一部であるチャンク部分６０ＸＰｉ－１と、チャンク部分６０ＸＰｉ－１に対応したパーミュテーションデータセグメント７０ＹＰ＾ｉ-１とをＳＴＢ３７４に格納してよい。また、推論部３４２は、パーミュテーションデータセグメント７０Ｙ＾ｉ-１における各確率を、所定の確率閾値と比較することで“１”又は“０”に変換することで、パーミュテーションデータセグメント７０Ｙ＾ｉ-１を、最終的な話者識別結果７７０（各話者がいずれの時区間で発話したか否かを表した最終的なパーミュテーションデータセグメント）としてよい。
【0067】
推論において、図１０に例示の処理が行われてよい。すなわち、推論部３４２は、結合チャンク（チャンク部分６０ＸＰｉ－１（ｂｕｆ）とチャンク６０Ｘｉとの結合）をデュアルモードＥＥＮＤモデル２２に入力することでパーミュテーションデータセグメント７０ＹＰ＾ｉ-１（ｂｕｆ）とパーミュテーションデータセグメント７０Ｐ＾ｉとを取得してよい。
【0068】
ｉ番目のパーミュテーションデータセグメントセット６３０（パーミュテーションデータセグメント７０ＹＰ＾ｉ-１（ｂｕｆ）及び７０Ｐ＾ｉ）は、例えば（ｉ－１）番目のパーミュテーションデータセグメントセット（パーミュテーションデータセグメント７０ＹＰ＾ｉ-２（ｂｕｆ）及び７０Ｐ＾ｉ－１）と独立して生成されてよい。故に、ｉ番目のチャンク６０Ｘｉについての推論における話者ｃ３及びｃ４と（ｉ－１）番目のチャンク６０Ｘｉ－１についての推論における話者ｃ１及びｃ２との対応性が不明である。これは、ニューラルネットワークにおけるいわゆる「順列問題」として知られている。
【0069】
従って、上述した話者識別結果７７０に一貫した話者識別結果を生成するためには、結合チャンク６１０に関わる話者を、チャンク６０Ｘｉ－１に関わる話者に対応付けることが望ましい。そこで、推論部３４２は、ＳＴＢ３７４に格納されている過去のパーミュテーションデータセグメントにおける確率値と、結合チャンク６１０に対応したパーミュテーションデータセグメントセット６３０における確率値とを比較することで、話者を対応付けてよい。例えば、推論部３４２は、パーミュテーションデータセグメントセット６３０を計算した後、話者ｃ３及びｃ４について計算されたパーミュテーションデータセグメント７０Ｐ＾ｉと、ＳＴＢ３７４に格納されているパーミュテーションデータセグメント７０ＹＰ＾ｉ-１（ｂｕｆ）との順列を生成してよい（ｃ１×ｃ３、ｃ１×ｃ４、ｃ２×ｃ３、ｃ２×ｃ４）。
【0070】
その後、生成したそれぞれの順列について、推論部３４２は、ＳＴＢ３７４に格納されているパーミュテーションデータセグメント７０ＹＰ＾ｉ-１（ｂｕｆ）と、パーミュテーションデータセグメントセット６３０におけるパーミュテーションデータセグメント７０ＹＰ＾ｉ-１（ｂｕｆ）との類似性を示す相関スコアを計算してよい。ここでの相関スコア計算は、例えば既存の相関係数や類似性計算の手法によって行われてもよく、特に限定されないでよい。
【0071】
全ての順列についての相関スコアが計算された後、推論部３４２は、所定の相関スコア基準（例えば、最も高い相関スコア等）を満たす順列の話者を同一人物とみなしてよい。例えば、話者ｃ３について計算された確率値（パーミュテーションデータセグメントセット６３０におけるパーミュテーションデータセグメント７０ＹＰ＾ｉ-１（ｂｕｆ）における確率値）が、ＳＴＢ３７４に格納されている、話者ｃ１について計算された確率値に一致し、話者ｃ４について計算された確率値が、ＳＴＢ３７４に格納されている、話者ｃ２について計算された確率値に一致している場合、話者ｃ１と話者ｃ３は同一人物とみなされ、話者ｃ２と話者ｃ４は同一人物とみなされてよい。
【0072】
このように、結合チャンク６１０に関わる話者を、チャンク６０Ｘｉ－１に関わる話者に対応付けることにより、パーミュテーションデータセグメントセット６３０におけるパーミュテーションデータセグメント７０Ｙ＾ｉを基に、話者識別結果７７０に一貫した結果であって、どの話者が話したかを示す話者識別結果８７０を生成してよい。
【0073】
また、パーミュテーションデータセグメントセット６３０が計算された後、推論部３４２は、結合チャンク６１０の少なくとも一部であるチャンク部分８５２と、当該チャンク部分に対応したパーミュテーションデータセグメント８５４とを生成し、チャンク部分８５２及びパーミュテーションデータセグメント８５４をＳＴＢ３７４に格納してよい。チャンク部分８５２が、次のチャンク６０Ｘｉの推論における直前のチャンク６０Ｘｉ－１（ｂｕｆ）とされてよく、同様に、パーミュテーションデータセグメント８５４が、当該直前のチャンク６０Ｘｉ－１（ｂｕｆ）に対応したパーミュテーションデータセグメント７０Ｙｉ－１（ｂｕｆ）とされてよい。
【0074】
以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。例えば、実施形態において、話者ダイアリゼーションモデルは、デュアルモードＥＥＮＤモデルであるが、話者ダイアリゼーションモデルとして採用されるモデルは、デュアルモードのＥＥＮＤモデル以外のニューラルネットワークベースのモデル（例えば、シングルモードのＥＥＮＤモデル）であってもよい。
【符号の説明】
【0075】
３８０：オンライン話者ダイアリゼーションシステム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】