特開 2022-96852 音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022096852

(43)【公開日】2022-06-30

(54)【発明の名称】音声認識プログラム、音声認識方法、音声認識装置および音声認識システム

(51)【国際特許分類】

   G10L 17/00 20130101AFI20220623BHJP

   G10L 15/00 20130101ALI20220623BHJP

【ＦＩ】

G10L17/00 200C

G10L15/00 200B

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020210074

(22)【出願日】2020-12-18

(71)【出願人】

【識別番号】518112273

【氏名又は名称】株式会社ミルプラトー

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】眞井 康弘

(72)【発明者】

【氏名】森重 幸一朗

(57)【要約】

【課題】事前設定せずとも音声ファイルに含まれる音声の話者人数および話者を簡単に推定できること。
【解決手段】端末１００と、クラウド１１０が通信接続された音声認識システムにおいて、端末１００は、音声の録音部１０２と、録音あるいは再生した音声ファイルＤをクラウド１１０にアップロードする通信部と、を有する。クラウド１１０は、音声ファイルＤに含まれる話者別の話者人数を推定し、あらかじめ用意された話者別の学習済モデルを参照し、推定した話者人数のそれぞれの話者を認識し、音声ファイルＤに含まれる話者をタグ付けした情報を端末１００に通知する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けする、
処理を実行させることを特徴とする音声認識プログラム。

【請求項2】

前記認識の処理は、
推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、
前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、
前記タグ付けの処理は、
前記ユーザの操作に基づき話者をタグ付けする、
ことを特徴とする請求項１に記載の音声認識プログラム。

【請求項3】

前記推定の処理は、
推定した前記話者人数をユーザに提示し、
前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行する、
ことを特徴とする請求項１または２に記載の音声認識プログラム。

【請求項4】

さらに、前記タグ付け後の話者の情報の学習および蓄積を行い、
前記認識の処理は、
前記学習済モデルに基づき、推定した前記話者人数のそれぞれの話者を認識する、
ことを特徴とする請求項１～３のいずれか一つに記載の音声認識プログラム。

【請求項5】

前記音声の録音時あるいは再生時に、前記音声ファイルに含まれる文字をリアルタイムに生成することを特徴とする請求項１～４のいずれか一つに記載の音声認識プログラム。

【請求項6】

コンピュータが、
音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けする、
処理を実行することを特徴とする音声認識方法。

【請求項7】

音声ファイルに含まれる話者人数と話者を認識する制御部、を備え、
前記制御部は、
音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けする、
ことを特徴とする音声認識装置。

【請求項8】

端末と、クラウドが通信接続された音声認識システムにおいて、
前記端末は、
音声の録音部と、
録音あるいは再生した音声ファイルを前記クラウドにアップロードする通信部と、を有し、
前記クラウドは、
前記音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けした情報を前記端末に通知する、
ことを特徴とする音声認識システム。

【請求項9】

前記端末は、
前記クラウドが推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示する表示部を備え、
前記ユーザによる前記話者候補から前記話者を特定する操作の情報を前記クラウドに送信し、
前記クラウドは、
前記端末から受信した前記話者候補から前記話者を特定する操作の情報に基づき、前記話者人数のそれぞれの話者を認識し、
前記ユーザの操作に基づき話者をタグ付けした情報を前記端末に送信する、
ことを特徴とする請求項８に記載の音声認識システム。

【請求項10】

前記端末は、
前記クラウドが推定した前記話者人数を前記表示部によりユーザに提示し、
前記クラウドは、
前記端末から受信した前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行した結果を前記端末に送信する、
ことを特徴とする請求項８または９に記載の音声認識システム。

【請求項11】

前記クラウドは、
前記端末からアップロードされた前記音声ファイルを保存する保存部を有することを特徴とする請求項８～１０のいずれか一つに記載の音声認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、録音等の音声認識を行う音声認識プログラム、音声認識方法、音声認識装置および音声認識システムに関する。

【背景技術】

【0002】

ＩＣレコーダや録音アプリケーション（アプリ）により録音した音声は、ＩＣレコーダ等に多数保持可能である。録音後の音声ファイルについて、多数のうちから必要なものを効率的に見つけ出し再生できることが望まれている。また、音声データに含まれる話者を具体的にユーザに提示できることが望まれている。

【0003】

音声ファイルに含まれる話者人数は、ｋ－ｍｅａｎｓ法等のクラスタリング技術により推定することができる。クラスタリングでは、話者人数を事前に設定することで話者人数に基づき音声ファイルに含まれる音声を話者ごとに分割する。話者人数の推定に関する技術としては、例えば、会議等の打合せの録音前に話者人数を事前に設定し、話者分のマイクを用意し話者別の方向を検出する処理等により、話者人数を推定する技術がある（例えば、下記特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－３０１１２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、録音データに含まれる話者人数の推定には、打合せの録音前に話者人数を事前に設定し、話者分のマイクを用意し話者別の方向を検出する処理等の事前準備が必要となり煩雑であった。また、推定した話者人数は、所定の精度を有しているが、実際に録音した話者人数と異なる場合があり、このような場合において推定した話者人数の修正を簡単に行えなかった。

【0006】

加えて、録音後の音声ファイルに含まれる話者が具体的に誰であるかの話者推定についても、簡単に推定できることが望まれる。

【0007】

本発明は、上記課題に鑑み、事前設定せずとも音声ファイルに含まれる音声の話者人数および話者を簡単に推定できることを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の音声認識プログラムは、コンピュータに、音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けする、処理を実行させることを特徴とする。

【0009】

また、前記認識の処理は、推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、前記タグ付けの処理は、前記ユーザの操作に基づき話者をタグ付けする、ことを特徴とする。

【0010】

また、前記推定の処理は、推定した前記話者人数をユーザに提示し、前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行する、ことを特徴とする。

【0011】

さらに、前記タグ付け後の話者の情報の学習および蓄積を行い、前記認識の処理は、前記学習済モデルに基づき、推定した前記話者人数のそれぞれの話者を認識する、ことを特徴とする。

【0012】

また、前記音声の録音時あるいは再生時に、前記音声ファイルに含まれる文字をリアルタイムに生成することを特徴とする。

【0013】

また、本発明の音声認識方法は、コンピュータが、音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けする、処理を実行することを特徴とする。

【0014】

また、本発明の音声認識装置は、音声ファイルに含まれる話者人数と話者を認識する制御部、を備え、前記制御部は、音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けする、ことを特徴とする。

【0015】

また、本発明の音声認識システムは、端末と、クラウドが通信接続された音声認識システムにおいて、前記端末は、音声の録音部と、録音あるいは再生した音声ファイルを前記クラウドにアップロードする通信部と、を有し、前記クラウドは、前記音声ファイルに含まれる話者別の話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、前記音声ファイルに含まれる話者をタグ付けした情報を前記端末に通知する、ことを特徴とする。

【0016】

また、前記端末は、前記クラウドが推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示する表示部を備え、前記ユーザによる前記話者候補から前記話者を特定する操作の情報を前記クラウドに送信し、前記クラウドは、前記端末から受信した前記話者候補から前記話者を特定する操作の情報に基づき、前記話者人数のそれぞれの話者を認識し、前記ユーザの操作に基づき話者をタグ付けした情報を前記端末に送信する、ことを特徴とする。

【0017】

また、前記端末の前記制御部は、前記クラウドが推定した前記話者人数を前記表示部によりユーザに提示し、前記クラウドは、前記端末から受信した前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行した結果を前記端末に送信する、ことを特徴とする。

【0018】

また、前記クラウドは、前記端末からアップロードされた前記音声ファイルを保存する保存部を有することを特徴とする。

【0019】

上記構成によれば、音声ファイルに含まれる話者人数を推定後、各話者を具体的に認識でき、音声ファイルに含まれる話者人数と各話者を簡単に知ることができるようになる。

【発明の効果】

【0020】

本発明によれば、事前設定せずとも音声ファイルに含まれる音声の話者人数および話者を簡単に推定できるという効果を奏する。

【図面の簡単な説明】

【0021】

【図1】図１は、実施の形態にかかる音声認識システムの機能構成図である。

【図2】図２は、音声認識装置のハードウェア構成例を示す図である。

【図3】図３は、音声認識にかかる処理例を示すフローチャートである。

【図4】図４は、音声学習にかかる処理例を示すフローチャートである。

【図5】図５は、音声認識に用いるテーブル構造例を示す図表である。

【図6】図６は、話者人数推定と話者認識の処理の遷移図である。

【図7】図７は、初回録音時の端末上の表示画面を示す図である。

【図8】図８は、録音時の端末上の録音画面を示す図である。

【図9】図９は、話者人数の推定後の端末上の表示画面を示す図である。

【図10】図１０は、話者候補の端末上の表示画面を示す図である。

【図11】図１１は、端末上の話者選択の一覧を示す表示画面を示す図である。

【図12】図１２は、端末上の文字起こしの表示画面を示す図である。

【図13】図１３は、音声ファイル再生時の端末上の表示画面を示す図である。

【図14】図１４は、音声ファイルに含まれる音声の波形例を示す図である。

【図15】図１５は、音声ファイルに含まれる話者のグループ分けを示す図である。

【図16】図１６は、推定した話者人数の変更を示す図である。

【図17】図１７は、推定した話者人数の変更を示す図である。

【図18】図１８は、端末上の話者候補の追加表示画面を示す図である。

【発明を実施するための形態】

【0022】

（実施の形態）
以下に添付図面を参照して、この発明にかかる音声認識プログラム、音声認識方法、音声認識装置および音声認識システムの好適な実施の形態を詳細に説明する。

【0023】

（システムの概要構成）
図１は、実施の形態にかかる音声認識システムの機能構成図である。音声認識システムは、音声を録音する端末１００と、クラウド１１０とを含む。端末１００は、ＩＣレコーダや、録音アプリを有するスマートフォン、タブレット、ＰＣ等である。以下の説明では、ＩＣレコーダやスマートフォン等の端末１００がマイクから音声を録音する構成を例に説明するが、これに限らず、端末１００は、スマートフォン等による相手との通話を録音する構成とすることもできる。

【0024】

端末１００は、マイク１０１と、制御部１０５と、キーボード１０６と、ディスプレイ１０７と、を含む。制御部１０５は、録音部１０２と、文字起こし部１０３と、話者タグ付け部１０４と、を含む。録音部１０２は、マイク１０１を介して話者（会議等の複数の参加者等）が発した音声を音声ファイルＤとして保持する。制御部１０５は、話者人数および話者推定の際、音声ファイルＤをクラウド１１０上に送信する。

【0025】

文字起こし部１０３は、音声ファイルＤに含まれる音声を音声認識してテキスト等の文字データを生成する。話者タグ付け部１０４は、音声ファイルＤに含まれる音声の話者人数および話者の情報をタグとして音声ファイルＤにタグ付けする。図１のシステム構成例では、話者タグ付け部１０４は、クラウド１１０が話者人数と話者を推定したタグ付けの情報をクラウド１１０から取得し、端末１００上において音声ファイルＤに含まれる話者を特定可能にタグ付けする。

【0026】

端末１００の制御部１０５は、搭載された各機能を、例えば、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）により呼び出し実行する構成としてもよい。

【0027】

クラウド１１０は、複数のＰＣ群、サーバー群、ストレージ群を有し、端末１００とインターネット等のネットワークを介して通信接続される。図１の構成例に示すクラウド１１０は、例えば、ストレージサーバー１２０と、機械学習サーバー１３０と、学習済モデルを格納する学習済モデルデータベース（ＤＢ）１４０と、を含む。

【0028】

ストレージサーバー１２０は、端末１００との間で音声ファイルＤを送受信する。ストレージサーバー１２０は、端末１００から送信された音声ファイルＤを保存部１２１に一時保存する。また、ストレージサーバー１２０は、機械学習サーバー１３０が話者人数と話者を推定した情報を含む音声ファイルＤを保存部１２１に一時保存し、この音声ファイルＤを端末１００に送信する。

【0029】

機械学習サーバー１３０は、話者人数推定部１３１と、話者認識部１３２の機能を有する。学習済モデルＤＢ１４０には、音声ファイルＤの話者人数と話者を推定するための学習済モデルが保持される。学習済モデルは、音声別の話者の認識情報の学習結果であり、端末１００からの音声認識の要求ごとにアップロードされる音声ファイルＤの学習結果として学習済モデルＤＢ１４０に更新可能に蓄積される。

【0030】

機械学習サーバー１３０の話者人数推定部１３１は、音声ファイルＤを音声認識し、音声ファイルＤに含まれる話者人数を推定する。話者認識部１３２は、話者人数を推定した後の音声ファイルＤに含まれる話者を推定する。話者人数推定部１３１と話者認識部１３２は、学習済モデルＤＢ１４０の学習済モデルにアクセスし、話者人数および話者を推定する。

【0031】

実施の形態では、クラウド１１０（機械学習サーバー１３０）が音声ファイルＤに含まれる話者人数および話者の推定を行い、推定結果を一旦端末１００に送信する。端末１００では、クラウド１１０側で推定した音声ファイルＤの話者人数と話者の情報を画面上に表示する。そして、端末１００でのユーザによる操作により、修正および確定を行う。

【0032】

このように、実施の形態では、クラウド１１０側で推定した音声ファイルＤの話者人数と話者を、端末１００のユーザが補助的に行う操作により修正あるいは確定する。この修正および確定の操作情報は、端末１００からクラウド１１０（機械学習サーバー１３０）に送信する。これら修正および確定の処理時においては、音声ファイルＤそのものを端末１００とクラウド１１０との間で送受信する必要はなく、話者人数と話者に関する情報に対する修正および確定の情報のみを送信することで、伝送データ量を削減できる。

【0033】

機械学習サーバー１３０は、話者人数の修正時には、音声ファイルＤに対し修正後の話者人数で話者を再度分割する。また、話者の修正時には、音声ファイルＤに対し修正後の話者をタグ付けする。

【0034】

このように、実施の形態では、事前準備せずとも、録音後の音声ファイルＤに基づき、話者人数と話者を推定する。そして、推定した話者人数と話者をユーザ操作により修正可能とすることで、音声ファイルＤに含まれる話者人数と話者の推定精度を向上でき、簡単に推定処理できるようになる。

【0035】

図１に示した例では、端末１００により録音した音声ファイルＤをクラウド１１０により音声認識する音声認識システムを構成している。これに限らず、図１でクラウド１１０側に配置した話者人数推定と話者認識の機能を端末１００に配置することで、端末１００単独で音声認識装置を構成することもできる。

【0036】

図２は、音声認識装置のハードウェア構成例を示す図である。例えば、図１に示す端末１００は、図２に示す構成を有する。端末１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、マイク１０１、キーボード１０６、入力インターフェース（Ｉ／Ｆ）２０８、映像Ｉ／Ｆ２０９、ディスプレイ１０７、通信Ｉ／Ｆ２１１、等を含む。各構成部２０１～２１１は、バス２２０によってそれぞれ接続されている。

【0037】

ＣＰＵ２０１は、端末１００全体の制御を司る制御部の機能を有する。ＲＯＭ２０２は、制御用のブートプログラムを記録している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。すなわち、ＣＰＵ２０１は、ＲＡＭ２０３をワークエリアとして使用しながら、ＲＯＭ２０２に記録された各種プログラムを実行することによって、音声認識装置１００の全体の制御を司る。

【0038】

外部メモリ２０４は、ＨＤＤやＳＳＤ、ディスク装置、フラッシュメモリ等からなり、ＣＰＵ２０１の制御にしたがってデータを書き込み／読み取り可能に保持する。

【0039】

入力Ｉ／Ｆ２０８には、話者の音声を取得するマイク１０１と、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１０６とが接続され、これらから入力されたデータをＣＰＵ２０１に出力する。

【0040】

映像Ｉ／Ｆ２０９は、ディスプレイ１０７に接続される。映像Ｉ／Ｆ２０９は、具体的には、例えば、ディスプレイ１０７全体を制御するグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）などのバッファメモリと、グラフィックコントローラから出力される画像データに基づいてディスプレイ１０７を制御する制御ＩＣなどによって構成される。

【0041】

ディスプレイ１０７には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字や画像などの各種データが表示される。ディスプレイ１０７としては、例えば、ＴＦＴ液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができる。

【0042】

通信Ｉ／Ｆ２１１は、ネットワークに接続され、クラウド１１０と通信接続するインターフェースとして機能する。ネットワークとしては、有線あるいは無線接続されるインターネット、公衆回線網や携帯電話網、ＬＡＮ、ＷＡＮなどがある。

【0043】

図１に示した端末１００は、図２に記載のＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４などに記録されたプログラムやデータを用いて、ＣＰＵ２０１が所定のプログラムを実行することによって、端末１００の機能を実現する。また、端末１００がスマートフォンやタブレット等の携帯機器の場合、キーボード１０６と、ディスプレイ１０７はタッチパネルで構成してもよい。

【0044】

また、図１に記載のクラウド１１０を構成する各サーバー１２０，１３０についても、図２同様の構成を有し、ＣＰＵ２０１が制御部として機能し、全体の処理を司る。

【0045】

図３は、音声認識にかかる処理例を示すフローチャートである。上述した話者人数推定および話者認識にかかる音声認識の処理は、主にクラウド１１０（機械学習サーバー１３０）が行う。

【0046】

はじめに、端末１００は、録音した音声ファイルＤをクラウド１１０にアップロードする（ステップＳ３０１）。端末１００は、既に録音されている音声ファイルＤをアップロードしてもよい。この音声ファイルＤは、不特定の話者が録音した音声であり、話者人数も不明な状態である。端末１００は、話者人数と話者を特定するために音声ファイルＤをアップロードする。クラウド１１０は、アップロードされた音声ファイルＤをストレージサーバー１２０の保存部１２１に保存する（ステップＳ３０２）。

【0047】

次に、クラウド１１０の機械学習サーバー１３０の制御部（話者人数推定部１３１、ＣＰＵ２０１）は、音声ファイルＤに含まれる話者人数を推定する（ステップＳ３０３）。制御部は、音声ファイルＤの音声に対し、推定した話者人数別のユニークなＩＤを付与する。ＩＤ付与により、音声ファイルＤ上において推定した話者別の音声が識別可能となる。

【0048】

次に、制御部は、学習済モデルＤＢ１４０の学習済モデルにアクセスし、音声ファイルＤに学習済みの話者モデルが存在するか否かを判断する（ステップＳ３０４）。

【0049】

判断結果、音声ファイルＤに学習済みの話者モデルが存在する場合（ステップＳ３０４：Ｙｅｓ）、制御部は、音声ファイルＤに含まれる、推定した話者人数それぞれの話者を認識する処理を行い（ステップＳ３０５）、ステップＳ３０６の処理に移行する。一方、判断結果、音声ファイルＤに学習済みの話者モデルが存在しない場合（ステップＳ３０４：Ｎｏ）、制御部は、ステップＳ３０６の処理に移行する。

【0050】

ステップＳ３０６では、制御部は、ユーザインターフェース（ＵＩ）に話者認識の結果を反映した話者認識画面を生成する（ステップＳ３０６）。制御部は、この話者認識画面を端末１００に送信する。

【0051】

これにより、端末１００のディスプレイ１０７上には、話者認識画面が表示される。話者認識画面は、上記処理により音声ファイルＤに含まれる推定した話者人数と、認識した話者の情報（話者候補）と、を有する。端末１００の制御部は、話者認識画面を見たユーザ操作により、話者人数に対するフィードバック（話者レコメンド）をクラウド１１０（機械学習サーバー１３０）に送信する（ステップＳ３０７）。

【0052】

このフィードバックにおいて、端末１００を操作するユーザは、話者認識画面上に表示されている推定した話者人数に対する修正および確認と、認識した話者（話者候補）に対する修正および確認の操作を行う。このように、実施の形態では、クラウド１１０側で推定した話者人数と話者候補について、端末１００のユーザによる修正および確認を行う。

【0053】

これにより、クラウド１１０（機械学習サーバー１３０の制御部）は、端末１００のユーザによる修正および確認の操作によって、音声ファイルＤに対する話者を特定し、特定した話者を識別するタグ付けを行う（ステップＳ３０８）。タグの情報は、クラウド１１０から端末１００に送信され、端末１００は、受信したタグの情報を音声ファイルＤに関連付けて保持する。以上の処理により、端末１００は、音声ファイルＤに含まれる話者人数と話者をディスプレイ１０７上に表示することができる。

【0054】

図４は、音声学習にかかる処理例を示すフローチャートである。クラウド１１０機械学習サーバー１３０の制御部は、図３に示した一つの音声ファイルＤに対する処理ごとに、図４に示す処理を実施し、学習済モデルＤＢ１４０を構築する。

【0055】

はじめに、機械学習サーバー１３０の制御部は、ステップＳ３０８（図３参照）の処理後、該当する音声ファイルＤから話者音源を抽出する（ステップＳ４０１）。図３の処理により、音声ファイルＤに含まれる話者別の音源を特定できる。

【0056】

これにより、機械学習サーバー１３０は、特定した話者に対する学習を行い（ステップＳ４０２）、学習結果である話者モデルを学習済モデルＤＢ１４０に保存する（ステップＳ４０３）。これにより、音声ファイルＤに含まれる話者ごとの音声を学習でき、学習を繰り返すことで、話者認識の精度を向上できるようになる。

【0057】

図５は、音声認識に用いるテーブル構造例を示す図表である。これらのテーブル５０１～５０４は、クラウド１１０の制御部が保持し、上記の話者人数の推定および話者認識の処理に用いる。

【0058】

図５（ａ）は、端末１００からアップロードされた音声ファイルＤを識別するオーディオテーブル（ａｕｄｉｏｓ）５０１であり、クラウド１１０のストレージサーバー１２０の制御部が保持する。ストレージサーバー１２０の制御部は、オーディオテーブル（ａｕｄｉｏｓ）として、アップロードされる各音声ファイルＤ別の識別子（ｉｄ）を付与して保存する。例えば、ｉｄ「０００１」の音声ファイルＤは「ｆｉｌｅ０００１．ｍｐ３」である。

【0059】

図５（ｂ）～（ｄ）は、クラウド１１０の機械学習サーバー１３０の制御部が保持するテーブル５０２～５０４である。機械学習サーバー１３０の制御部は、ストレージサーバー１２０の保存部１２１に保存された音声ファイルＤを読み出し、上述した話者人数の推定および話者認識の処理を行う際にこれらのテーブルを生成および参照する。

【0060】

図５（ｂ）は、話者認識用のテーブル（ａｕｄｉｏ＿ｐｒｅｄｉｃｔｉｏｎｓ）５０２である。このテーブル５０２は、音声ファイルＤ（ａｕｄｉｏ＿ｉｄ）別のｉｄと、ＩＤ別に推定した話者のｉｄ（ｓｐｅａｋｅｒ＿ｉｄ）と、認識精度（ｃｏｎｆｉｄｅｎｃｅ）、の情報を含む。例えば、ｉｄ「０００１」では、音声ファイルＤ「ｆｉｌｅ０００１．ｍｐ３」に含まれる認識した話者（ｓｐｅａｋｅｒ＿ｉｄ）が「０００１」、この話者「０００１」の認識精度（ｃｏｎｆｉｄｅｎｃｅ）が「０．８（８０％の信頼度）」であることを示す。

【0061】

図５（ｃ）は、話者認識用のテーブル（ｓｐｅａｋｅｒｓ）５０３である。このテーブル５０３は、ｉｄ別に認識した話者の名前（ｎａｍｅ）の情報を含む。例えば、ｉｄ「０００１」の話者（名前）は「Ａｌｉｃｅ」である。

【0062】

図５（ｄ）は、音声ファイルＤの推定した話者人数／認識後の話者用のテーブル（ａｕｄｉｏ＿ｓｐｅａｋｅｒｓ）５０４である。このテーブル５０４は、ｉｄ別の音声ファイルＤ（ａｕｄｉｏ＿ｉｄ）と、推定した話者（ｓｐｅａｋｅｒ＿ｉｄ）の情報を含む。例えば、ある一つの音声ファイルＤ（ａｕｄｉｏ＿ｉｄ）「０００１」については、推定した話者（ｓｐｅａｋｅｒ＿ｉｄ）として「０００１」と「０００２」の２名が「ＮＵＬＬ」となっている。この場合、この２名はいずれも「ＮＵＬＬ」であるため話者が具体的に認識されておらず、話者人数が２名として推定のみされた状態が示されている。

【0063】

また、ｉｄ「０００３」には、話者が認識された状態が示され、この場合、ある一つの音声ファイルＤ（ａｕｄｉｏ＿ｉｄ）「０００２」について、１名の話者（ｓｐｅａｋｅｒ＿ｉｄ）「０００１」、すなわち図５（ｃ）の「Ａｌｉｃｅ」が、８０％の信頼度（図５（ｂ）参照）で認識された状態が示されている。また、ａｕｄｉｏ＿ｉｄ「０００３」には話者「Ｃｈａｒｌｉｅ」が９０％の信頼度で存在しているとされ、実際に「Ｃｈａｒｌｉｅ」が認識された状態が示されている。

【0064】

機械学習サーバー１３０の制御部は、話者人数の推定および話者の認識の処理時にこれら図５（ａ）～（ｄ）のテーブルを更新処理する。

【0065】

（話者人数推定と話者認識の処理）
次に、図６～図１１を用いて、実施の形態にかかる音声認識処理を順に説明する。図６は、話者人数推定と話者認識の処理の遷移図である。図６に示す例では、端末１００がスマートフォン等のモバイル機器であり、録音および音声認識機能を有するモバイルアプリ６０１を搭載している。モバイルアプリ６０１は、端末１００の制御部１０５に相当する。クラウド１１０側の機械学習サーバー１３０は、端末１００での音声の初回録音時の処理（ステップＳ６００）と、初回録音後、一人でも録音タグ付けしている場合の処理（ステップＳ６１０）とで異なる処理を行う。

【0066】

初回録音時の処理（ステップＳ６００）では、クラウド１１０（機械学習サーバー１３０）は、端末１００（モバイルアプリ６０１）から送信された音声ファイルＤに対し、教師なし学習アルゴリズムによる学習を行った後（ステップＳ６０１）、音声ファイルＤに含まれる合計話者数を推定する（ステップＳ６０２）。このステップＳ６０１での話者人数の推定にあたり、教師あり学習アルゴリズムによる学習をおこなうことで、話者人数推定の精度を向上することができる。

【0067】

図７は、初回録音時の端末上の表示画面を示す図である。初回録音時、モバイルアプリ６０１は、端末１００のディスプレイ１０７上に表示する表示画面７００を示す。この初回録音時、モバイルアプリ６０１は、ディスプレイ１０７上に録音開始日時７０１、録音時間７０２、録音の場所７０３、タイトル７０４を表示する。

【0068】

モバイルアプリ６０１は、例えば、録音開始日時７０１は、端末１００が有するタイマから取得し、録音時間７０２は録音開始～録音終了までの時間をタイマ計測により取得し、録音の場所７０３は、端末１００が有するＧＰＳ等の測位部から取得し、タイトル７０４は、端末１００のユーザ操作等により設定する。この初回録音時、音声ファイルＤの話者は認識されておらず、話者７０５の部分は未表示である。

【0069】

図８は、録音時の端末上の録音画面を示す図である。モバイルアプリ６０１は、音声の録音時、図８に示す録音画面８００を端末１００のディスプレイ１０７に表示する。録音画面８００は、録音／停止ボタン８０１、録音時間８０２、録音音声（波形）８０３、録音文字起こし表示部８０４、をそれぞれ表示する。

【0070】

モバイルアプリ６０１は、ユーザによる録音／停止ボタン８０１の操作ごとに録音開始あるいは停止を行う。また、録音開始後の時間を録音時間８０２として表示し、録音時の音声に対応した波形８０３を表示する。録音文字起こし表示部８０４には、上述した文字起こし部１０３が録音した音声からリアルタイムにテキスト文字を生成したものが表示される。

【0071】

図９は、話者人数の推定後の端末上の表示画面を示す図である。クラウド１１０（機械学習サーバー１３０の話者人数推定部１３１）により話者人数を推定した情報を端末１００のモバイルアプリ６０１が受信した状態での表示画面９００を示す。

【0072】

ここで、クラウド１１０側での話者推定により音声ファイルＤに含まれる話者人数が２名であるとする。この場合、モバイルアプリ６０１は、図９に示すように、話者７０５の部分に、推定した話者人数を示す話者数推定表示領域７１１に「二人の話者を推定しました。」と表示する。また、推定した２名分に対応して２つの話者表示領域７１２を表示する。

【0073】

この後、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）は、学習済みモデルを参照して推定した２名分の話者のそれぞれの話者が誰であるか具体的な話者（名前）を関連付ける。話者認識部１３２は、推定した２名の話者のうち１名について話者の関連付けを行った後、残りの１名についても同様に関連付けを行う。

【0074】

ここで、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）は、この話者認識の際、音声ファイルＤに特定の話者が存在している可能性が高い（例えば、信頼度７０％以上）と判定した場合、判定した話者候補を端末１００の話者表示領域７１２に表示させる。

【0075】

図１０は、話者候補の端末上の表示画面を示す図である。クラウド１１０（機械学習サーバー１３０の話者認識部１３２）からの一人の話者候補（２名の話者人数推定）の通知があった場合の状態を示す。モバイルアプリ６０１は、話者数推定表示領域７１１に「二人の話者を推定しました。名前を設定してください。」と表示する。また、表示画面１０００の話者表示領域７１２のうち、一人目の話者表示領域７１２ａに一人目のＩＤ「０００１」との表示を、具体的な話者候補の内容「もしかしてＡｌｉｃｅさんですか？」に切り替えて表示する。また、確認表示「はい／いいえ」を表示する。また、符号７２０は、ユーザ操作により話者人数を追加するための話者人数追加ボタンである。

【0076】

このように、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）が話者候補を具体的にタグ付けし、話者表示領域７１２ａに具体的に話者候補（名前）「Ａｌｉｃｅ」を表示する。これにより、端末１００を操作するユーザは、話者候補が正しいか否かを確認することができる。そして、ユーザが表示されている話者候補が正しいと判断し、確認表示「はい」を操作すると、モバイルアプリ６０１は、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）に確認操作の情報を送信し、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）は、ＩＤ「０００１」の話者が「Ａｌｉｃｅ」であると認識し、音声ファイルＤに話者「Ａｌｉｃｅ」が存在することを認識する。

【0077】

このタグ付けの処理は、図６のステップＳ６１０に相当する。ステップＳ６１０では、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）は、初回録音時の処理（ステップＳ６００）で話者推定した後、音声ファイルＤに話者が所定の信頼度以上で存在する場合、この話者に対して教師あり学習アルゴリズムによる学習を行った後（ステップＳ６１１）、話者候補を端末１００のユーザにレコメンド（確認操作）する（ステップＳ６１２）処理を行う。

【0078】

なお、図１０において、表示画面１１００の話者表示領域７１２のうち、二人目の話者表示領域７１２ｂは、話者がＩＤ「０００２」と表示され、二人目がいることを推定したのみの状態が示されている。この二人目の話者表示領域７１２ｂについても、所定以上の信頼度で異なる話者が存在する場合、上記一人目と同様に、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）は、ユーザに対する話者候補をレコメンドする。

【0079】

図１１は、端末上の話者選択の一覧を示す表示画面を示す図である。図１０の説明において、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）は、話者候補を端末１００に通知するが、音声ファイルＤに含まれ所定の信頼度を有する話者候補の一覧の情報を端末１００に送信してもよい。この場合、モバイルアプリ６０１は、話者選択の一覧の表示画面１１００を表示する。この一覧の表示画面１１００をユーザが確認して複数の話者候補のなかから話者を選択することができる。このほか、図１０の話者表示領域７１２ａに表示された話者候補が異なる場合、ユーザが「いいえ」を選択することで、モバイルアプリ６０１が表示画面１１００を表示し、ユーザが他の話者候補「Ｂｏｂ」、「Ｃｈａｒｌｉｅ」を選択することができる。

【0080】

上述したように、実施の形態では、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）側のみの判断で話者認識することなく、話者候補を一旦端末１００に送信し、ユーザにより確認操作する処理を行うことで、話者認識を簡単な操作で精度向上できるようになる。

【0081】

（文字起こし機能）
ここで、端末１００の文字起こし部１０３の機能について説明する。文字起こし部１０３は、音声を録音あるいは再生しながら音声に対応するテキスト文字を生成する。

【0082】

図１２は、端末上の文字起こしの表示画面を示す図である。この図には、音声ファイルＤの再生時の状態を示す。端末１００の制御部（モバイルアプリ６０１）は、文字起こし部１０３の機能時、ディスプレイ１０７上に文字起こしの表示画面１２００を表示する。モバイルアプリ６０１は、表示画面１２００上に、録音情報（タイトル、録音日時、録音時間、録音場所）１２０１と、文字起こし内容１２０２、再生位置表示バー１２０３、再生操作（再生／停止、戻し、メモ操作）ボタン１２０４を表示する。

【0083】

文字起こし部１０３は、音声の発話のタイミングに連動する形で生成したテキスト文字を記録していき、その文字起こし精度の「自信」を識別可能に表示する。例えば、文字起こし内容１２０２に表示するテキスト文字には、標準の濃度に対し、自信が低い文字を薄く表示し（領域１２１０）、標準よりも自信が高い文字を濃く（領域１２１１）表示する。これにより、ユーザが文字起こし内容１２０２に表示されるテキストの濃度により文字ごとの変換精度を容易に把握できるようになる。また、文字上の再生位置をハイライト（領域１２２１）で表示し、再生位置がわかるよう表示する。

【0084】

このように、文字起こしされた文字は、文字起こしの推定の自信（文字起こしの精度に相当）に合わせて異なる表示形態とすることで、録音後における再生やテキスト検索時の利便性を高めることができる。

【0085】

また、上述した話者認識の情報は、この文字起こし機能にも有効に利用することができる。例えば、文字起こしした元の音声ファイルＤの話者の認識結果を表示画面１２００に表示することができる。図示の例では、録音情報１２０１の一部に、音声ファイルＤに対し話者認識後の話者１２３０の情報「Ａｌｉｃｅ」が表示されている。これにより、音声ファイルＤそのものの話者をユーザに通知できるようになる。

【0086】

（音声ファイル再生時の表示）
図１３は、音声ファイル再生時の端末上の表示画面を示す図である。端末１００には多数の音声ファイルＤが記憶保持されており、制御部（モバイルアプリ６０１）は、音声ファイルの再生等の際、表示画面１３００上に所望する音声ファイルＤを見つけやすくするための画面表示を行う。例えば、図１３に示すように、端末１００の再生時には、カレンダー１３０１を表示する。カレンダー１３０１上には、録音済みの音声ファイルＤに付与された録音日の部分が識別可能（図示の例では録音日が〇）に表示される。これにより、ユーザは、カレンダー１３０１上から録音日に基づき所望する音声ファイルＤを容易に再生できるようになる。

【0087】

また、不図示であるが、カレンダー１３０１上の録音日の選択により、録音された音声ファイルＤの情報として、上述した話者認識の情報、すなわち、録音された話者「Ａｌｉｃｅ」等をポップアップ等で表示させてもよい。これにより、必要な音声ファイルＤをより簡単に検索できるようになる。

【0088】

（話者人数の推定と話者認識の修正例）
次に、図１４～図１８を用いて話者人数の推定と話者認識の修正例について説明する。実施の形態では、音声ファイルＤに含まれる認識したい人の声となる音声区間と、雑音である非音声区間と、を識別する仕組みとして音声区間検出（ＶＡＤ：Ｖｏｉｃｅ． Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）技術を用いる。

【0089】

図１４は、音声ファイルに含まれる音声の波形例を示す図である。図１４に示す音声ファイルＤについて、クラウド１１０（機械学習サーバー１３０）が一人の話者として登録された音声と推定すれば、ＶＡＤ抽出した４つの音源Ｓ１～Ｓ４がいずれも同一の人の音声と判断し、次回以降の学習に利用する。

【0090】

図１５は、音声ファイルに含まれる話者のグループ分けを示す図である。便宜上、図１５に示す音声の波形Ｓ１～Ｓ４は、図１４と同様としている。ここで、音声ファイルＤについて、クラウド１１０（機械学習サーバー１３０）が話者が二人と推定し、一人に名前「Ａｌｉｃｅ」と話者候補のラベル付けをしたとする。この場合、クラウド１１０（機械学習サーバー１３０）は、ＶＡＤ音源抽出で得られた４つの音源Ｓ１～Ｓ４に対して、クラスタリング処理をすることで音源Ｓ１～Ｓ４を２グループに分ける。

【0091】

図１５の例では、グループ１（Ｇ１）が音源Ｓ１，Ｓ４であり、グループ２（Ｇ２）が音源Ｓ２，Ｓ３であったとする。これにより、一方のグループＧ１の話者が「Ａｌｉｃｅ」の音声である確率は５０％となる。なお、４人いると認識すれば、４つのグループにおける「Ａｌｉｃｅ」の音声である確率は２５％となる。

【0092】

クラウド１１０（機械学習サーバー１３０）は、１００％「Ａｌｉｃｅ」である音声、５０％「Ｂｏｂ」である音声など、信頼度によって学習時に重みづけをした学習データの音源を学習し、この学習済モデルを用いて新たな音声ファイルＤの音源について、近似する音声があるかを判定する。クラウド１１０（機械学習サーバー１３０）は、学習時に、例えば、５０％の信頼度を持つ音源に対しては、その他の学習済モデルが存在する場合は、その学習データの選定の段階から近似判定を行って取得することで、５０％以上の信頼度を得ることができる。

【0093】

図１６は、推定した話者人数の変更を示す図である。便宜上、図１６（ａ）に示す音声の波形Ｓ１～Ｓ４は、図１５と同様としている。図１５に示す処理により、クラウド１１０（機械学習サーバー１３０）が一人の話者候補「Ａｌｉｃｅ」のラベル付けを行い、グループ１（Ｇ１）が話者候補「Ａｌｉｃｅ」の音源Ｓ１，Ｓ４であると認識したとする。

【0094】

ここで、端末１００のユーザに対し、音声ファイルＤに含まれる話者が二人と提示した後、ユーザ操作により３人であると修正された場合、クラウド１１０（機械学習サーバー１３０）は、話者人数の推定について、ＶＡＤ抽出音源のクラスタリングを改めて３人に適応して行う。図示の例では、クラウド１１０（機械学習サーバー１３０）は、音声ファイルＤに対し、ＶＡＤ抽出音源のクラスタリングを３人に適応して行うことで、図１６（ａ）に示すグループ１（Ｇ１）の音源Ｓ４が、図１６（ｂ）に示すように３人目のグループ３（Ｓ３）に変更される。

【0095】

図１７は、推定した話者人数の変更を示す図である。便宜上、図１７（ａ）に示す音声の波形Ｓ１～Ｓ４は、図１５と同様としている。図１５に示す処理により、クラウド１１０（機械学習サーバー１３０）が一人の話者候補「Ａｌｉｃｅ」のラベル付けを行い、グループ１（Ｇ１）が話者候補「Ａｌｉｃｅ」の音源Ｓ１，Ｓ４であると認識したとする。

【0096】

ここで、端末１００のユーザに対し、音声ファイルＤに含まれる話者が二人と提示した後、ユーザ操作により一人であると修正された場合、クラウド１１０（機械学習サーバー１３０）は、話者人数の推定について、ＶＡＤ抽出音源のクラスタリングを改めて一人に適応して行う。図示の例では、クラウド１１０（機械学習サーバー１３０）は、音声ファイルＤがすべて一人分の音源として学習することで、図１７（ａ）に示すグループ２（Ｇ２）の音源Ｓ２，Ｓ３、図１７（ｂ）に示すように音声ファイルＤの音源Ｓ１～Ｓ４がすべて同じグループ１（Ｇ１）に変更される。

【0097】

図１８は、端末上の話者候補の追加表示画面を示す図である。上記図１０を用いて説明したように、クラウド１１０（機械学習サーバー１３０の話者認識部１３２）からの一人の話者候補（２名の話者人数推定）の通知があった場合の状態の後、ユーザによる話者の追加時の表示画面１８００を示す。

【0098】

図１０において、端末１００は、ユーザに対し、２名の話者人数の推定に対応して表示画面１８００に２つの話者表示領域７１２ａ，７１２ｂを表示している。この後、ユーザが音声ファイルＤに含まれる話者が３名であると修正する場合、図１０に示した話者人数追加ボタン７２０を操作することで、クラウド１１０（機械学習サーバー１３０）は、３人目の話者表示領域７１２ｃを追加表示する。

【0099】

図１８の表示例では、３人目の話者表示領域７１２ｃ部分には、３人目のＩＤ「０００３」とのみ表示した状態である。なお、二人目の話者表示領域７１２ｂについては、ＩＤ「０００２」と表示した状態であるが、具体的な話者候補「Ｂｏｂ」が提示可能な場合、確認表示「はい／いいえ」とともに表示する。

【0100】

このようにして、クラウド１１０（機械学習サーバー１３０）は、ユーザに対し話者候補を推定した話者人数分だけ提示し、ユーザ操作による話者人数の修正に基づき、音声ファイルＤに含まれる話者人数の推定、およびこの後の話者の認識を精度よく効率的に行えるようになる。

【0101】

また、実施の形態による音声認識処理により、個人の権利の保護に有効活用できるようになる。例えば、契約上で弱い立場に立たされる個人に有用であり、俳優などのアーティストや、フリーランスで働く個人など、契約書がまだまだ商習慣として根付いていない現状において、口約束が先行する問題、「（ある事項を互いに）言った／言わない」問題、口約束を忘れられたことにされた約束の反故の問題、等に対応できるようになる。本実施の形態で説明した音声認識処理を用いて会話を録音することで、簡単な覚書や契約書の自動生成が可能となる。契約書の形式としては、基本的には複数個（例えば２０個）の質問回答で生成できるようなパターン化されているものが多く、上述した文字起こし等の簡単な自然言語処理技術で対応できる。

【0102】

ここで、多くの場合、契約書を相手と確認し合うことさえ憚られる心理的抵抗が強い場面が多いため、録音データはその約束ないし事実を記録するのに重要である。録音データの削除の防止、改竄の防止を保証することが望まれる。例えば、虐待を受けている子供が虐待現場を録音に成功したとしても、その音声が見つかり、故意に削除されてしまっては何の意味もない。

【0103】

これに対応して、上記実施の形態では、端末が録音した音声ファイルを端末のみで録音／保存するに限らず、録音した音声ファイルをリアルタイムにクラウドへアップロードし、クラウド側で保存する構成としてもよい。なお、音声ファイルに対するセキュリティ保持や改竄防止のために、クラウド側で音声ファイルを分散保持する構成や、音声ファイルのハッシュ値をブロックチェーンに記録する構成等をおこなってもよい。

【0104】

上述した実施の形態によれば、音声認識装置は、音声ファイルに含まれる話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した話者人数のそれぞれの話者を認識し、音声ファイルに含まれる話者をタグ付けする。これにより、音声ファイルに含まれる話者人数と話者を具体的にユーザに提示できるようになる。したがって、多数の音声ファイルのなかから所望する音声を容易に見つけ出すことができるようになる。

【0105】

また、認識の処理は、推定した話者人数の情報、および話者人数に対応する話者候補をユーザに提示し、ユーザによる話者候補から話者を特定する操作に基づき、話者人数のそれぞれの話者を認識し、タグ付けの処理は、ユーザの操作に基づき話者をタグ付けする。このように、装置側が推定した話者候補をユーザにより特定する簡単な操作を加えるだけで、話者をより精度よく特定できるようになる。

【0106】

また、推定の処理は、推定した話者人数をユーザに提示し、ユーザによる話者人数の変更操作に基づき、音声ファイルに含まれる話者人数の推定を再度実行する。これにより、音声ファイルに含まれる話者人数を簡単なユーザ操作で精度よく推定できるようになる。

【0107】

さらに、タグ付け後の話者の情報を学習および蓄積する学習を行い、認識の処理は、学習済モデルに基づき、推定した話者人数のそれぞれの話者を認識する。これにより、学習の繰り返しで音声ファイルに含まれる話者の認識精度を向上できるようになる。

【0108】

上記音声認識の処理は、端末単体で実施してもよいし、端末とクラウドを用いたシステムで分担処理してもよい。システム構成の場合、端末と、クラウドが通信接続された音声認識システムにおいて、端末は、音声の録音部と、録音あるいは再生した音声ファイルをクラウドにアップロードする通信部と、を有し、クラウドは、音声ファイルに含まれる音声を発した話者人数を推定し、予め用意された話者別の学習済モデルを参照し、推定した話者人数のそれぞれの話者を認識し、音声ファイルに含まれる話者をタグ付けした情報を端末に通知する。このように、音声ファイルに対する音声認識、すなわち上記話者人数の推定と話者の認識にかかる処理をクラウド側で処理することで、端末側の処理負担を軽減しつつ音声認識の精度を向上できるようになる。また、複数の端末の音声認識をクラウド側でまとめて処理できるようになる。また、端末がクラウドとの間でオフライン中に蓄積された複数の音声ファイルを、オンライン時にクラウドにまとめてアップロードし、クラウドが複数のファイルを一括して音声認識する構成とすることもできる。

【0109】

また、端末の制御部は、音声の録音時あるいは再生時に、音声ファイルに含まれる文字をリアルタイムに生成する。これにより、音声ファイルの内容を具体的にユーザに提示できるようになる。加えて、上述した話者人数と話者の情報をユーザに提示でき、所望する音声ファイルを簡単に見つけ出すことができるようになる。

【0110】

また、クラウドは、端末からアップロードされた音声ファイルを保存する保存部を有する。これにより、音声ファイルは、端末のみで保持することなく、上述したような音声ファイルの外部保存によって音声ファイルを保護でき音声ファイルの有効性を向上できるようになる。

【0111】

これらのように、実施の形態では、音声認識の対象となる音声ファイルは、録音時のみに限らず、再生時においても音声認識できる。したがって、録音前に話者人数の事前設定、話者分のマイクの用意、話者別の方向検出、等の煩雑な手間を省いて簡単に話者人数の推定および話者認識が行えるようになる。また、実施の形態によれば、録音を繰り返して音声ファイルが多数となった場合でも、音声ファイルの検索に、話者人数や話者を加えて実施でき、所望する音声ファイルを容易に見つけ出すことができるようになる。

【0112】

なお、本実施の形態で説明した音声認識にかかるプログラムは、予め用意されたプログラムをコンピュータで実行することにより実現することができる。また、このプログラムは、半導体メモリ、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネット等のネットワークを介して配布してもよい。

【産業上の利用可能性】

【0113】

以上のように、本発明は、録音および再生するＩＣレコーダや録音アプリを搭載したスマートフォン等を含み音声認識する機器類への適用に有用である。

【符号の説明】

【0114】

１００ 端末
１０１ マイク
１０２ 録音部
１０３ 文字起こし部
１０４ 話者タグ付け部
１０５ 制御部
１０６ キーボード
１０７ ディスプレイ
１１０ クラウド
１２０ ストレージサーバー
１３０ 機械学習サーバー
１３１ 話者人数推定部
１３２ 話者認識部
１４０ 学習済モデルＤＢ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 外部メモリ
２１１ 通信Ｉ／Ｆ
６０１ モバイルアプリ
７１１ 話者数推定表示領域
７１２ 話者表示領域
Ｄ 音声ファイル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2022-05-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータに、
音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けし、
前記認識の処理は、
推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、
前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、
前記タグ付けの処理は、
前記ユーザの操作に基づき話者をタグ付けする、
処理を実行させることを特徴とする音声認識プログラム。

【請求項2】

前記推定の処理は、
推定した前記話者人数をユーザに提示し、
前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行する、
ことを特徴とする請求項１に記載の音声認識プログラム。

【請求項3】

さらに、前記タグ付け後の話者の情報の学習および蓄積を行い、
前記認識の処理は、
前記学習済モデルに基づき、推定した前記話者人数のそれぞれの話者を認識する、
ことを特徴とする請求項１または２に記載の音声認識プログラム。

【請求項4】

前記音声ファイルの録音時あるいは再生時に、前記音声ファイルに含まれる文字をリアルタイムに生成することを特徴とする請求項１～３のいずれか一つに記載の音声認識プログラム。

【請求項5】

コンピュータが、
音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けし、
前記認識の処理は、
推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、
前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、
前記タグ付けの処理は、
前記ユーザの操作に基づき話者をタグ付けする、
処理を実行することを特徴とする音声認識方法。

【請求項6】

音声ファイルに含まれる話者人数と話者を認識する制御部、を備え、
前記制御部は、
音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けし、
前記制御部は、前記認識の処理として、
推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示し、
前記ユーザによる前記話者候補から前記話者を特定する操作に基づき、前記話者人数のそれぞれの話者を認識し、
前記タグ付けの処理として、
前記ユーザの操作に基づき話者をタグ付けする、
ことを特徴とする音声認識装置。

【請求項7】

端末と、クラウドが通信接続された音声認識システムにおいて、
前記端末は、
音声の録音部と、
録音あるいは再生した音声ファイルを前記クラウドにアップロードする通信部と、を有し、
前記クラウドは、
前記音声ファイルに含まれる話者別の話者人数を推定し、
予め用意された話者別の学習済モデルを参照し、推定した前記話者人数のそれぞれの話者を認識し、
前記音声ファイルに含まれる話者をタグ付けした情報を前記端末に通知し、
前記端末は、
前記クラウドが推定した前記話者人数の情報、および前記話者人数に対応する話者候補をユーザに提示する表示部を備え、
前記ユーザによる前記話者候補から前記話者を特定する操作の情報を前記クラウドに送信し、
前記クラウドは、
前記端末から受信した前記話者候補から前記話者を特定する操作の情報に基づき、前記話者人数のそれぞれの話者を認識し、
前記ユーザの操作に基づき話者をタグ付けした情報を前記端末に送信する、
ことを特徴とする音声認識システム。

【請求項8】

前記端末は、
前記クラウドが推定した前記話者人数を前記表示部によりユーザに提示し、
前記クラウドは、
前記端末から受信した前記ユーザによる前記話者人数の変更操作に基づき、前記音声ファイルに含まれる話者人数の推定を再度実行した結果を前記端末に送信する、
ことを特徴とする請求項７に記載の音声認識システム。

【請求項9】

前記クラウドは、
前記端末からアップロードされた前記音声ファイルを保存する保存部を有することを特徴とする請求項7または８に記載の音声認識システム。