ホーム > 特許ランキング > ＰａｙＰａｙ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-02-27
(45)【発行日】2025-03-07
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
G10L 15/00 20130101AFI20250228BHJP
G10L 15/22 20060101ALI20250228BHJP
【ＦＩ】
G10L15/00 200B
G10L15/22 453
【請求項の数】
6
(21)【出願番号】P 2024174336
(22)【出願日】2024-10-03
【審査請求日】2024-10-03
【早期審査対象出願】
(73)【特許権者】
【識別番号】519110124
【氏名又は名称】ＰａｙＰａｙ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】東海林 勝進
(72)【発明者】
【氏名】ジョウ ジャクヒン
【審査官】山下 剛史
(56)【参考文献】
【文献】特開２００７－１３３０３３（ＪＰ，Ａ）
【文献】特開２０２４－１１５９２９（ＪＰ，Ａ）
【文献】特開２００５－２２８１７８（ＪＰ，Ａ）
【文献】特開２０１６－６２０６９（ＪＰ，Ａ）
【文献】特開２０１２－２４７６６８（ＪＰ，Ａ）
【文献】特開２０２２－１１１９７７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １５／００－１５／３４
(57)【特許請求の範囲】
【請求項1】
コミュニケーションツールにおける会話内容をリアルタイムに書き起こした情報である第１テキスト、及び所定の音声認識ツールを用いて前記会話内容の録音データを事後的に書き起こした情報である第２テキストにおいて同一の内容が記載された文章をそれぞれ特定し、特定した文章の各々に対して前記コミュニケーションツールにおいてリアルタイムに会話内容の書き起こしを行う際に発話者が実際に発話した発話時刻として対応付けられた時刻表記と、前記音声認識ツールにおいて事後的に会話内容の書き起こしを行う際に処理開始から発話者の発話時刻として機械的に対応付けられた時刻表記の差から、前記コミュニケーションツールにおける処理タイミングと前記音声認識ツールにおける処理タイミングの差である時刻情報のずれを検出する検出部と、前記時刻情報のずれに基づいて時間的に同期された前記第１テキストおよび前記第２テキストを用いて、情報が補完された前記会話内容を示す書き起こしコンテンツを生成する生成部と
を有することを特徴とする情報処理装置。
【請求項2】
前記検出部は、入力データに基づいてコンテンツを自動的に生成するように学習が行われた学習済みモデルに対して、前記第１テキストと、前記第２テキストと、前記第１テキストおよび前記第２テキストにおいて同一の内容が記載された文章をそれぞれ特定し、特定した文章の各々に対して前記コミュニケーションツールにおける処理時刻として対応付けられた時刻表記と、前記音声認識ツールによる処理時刻として対応付けられた時刻表記の差から、前記時刻情報のずれを検出するように指示する第１指示情報とを入力することにより、前記学習済みモデルから出力される前記時刻情報のずれを取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記検出部は、前記第１指示情報において、前記時刻表記の差のうち、他の時刻表記の差と比較して相対的に乖離しているデータを除外して、前記時刻情報のずれを検出するように指示する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記生成部は、入力データに基づいてコンテンツを自動的に生成するように学習が行われた学習済みモデルに対して、時間的に同期された前記第１テキストおよび前記第２テキストと、前記第１テキストに含まれる発話者の情報、及び前記第２テキストに含まれる文章の情報を用いて前記会話内容を相互補完するように指示する指示情報とを入力することにより、前記学習済みモデルから出力される前記会話内容を前記書き起こしコンテンツとして取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項5】
コンピュータにより実行される情報処理方法であって、コミュニケーションツールにおける会話内容をリアルタイムに書き起こした情報である第１テキスト、及び所定の音声認識ツールを用いて前記会話内容の録音データを事後的に書き起こした情報である第２テキストにおいて同一の内容が記載された文章をそれぞれ特定し、特定した文章の各々に対して前記コミュニケーションツールにおいてリアルタイムに会話内容の書き起こしを行う際に発話者が実際に発話した発話時刻として対応付けられた時刻表記と、前記音声認識ツールにおいて事後的に会話内容の書き起こしを行う際に処理開始から発話者の発話時刻として機械的に対応付けられた時刻表記の差から、前記コミュニケーションツールにおける処理タイミングと前記音声認識ツールにおける処理タイミングの差である時刻情報のずれを検出する検出工程と、
前記時刻情報のずれに基づいて時間的に同期された前記第１テキストおよび前記第２テキストを用いて、情報が補完された前記会話内容を示す書き起こしコンテンツを生成する生成工程と
を含むことを特徴とする情報処理方法。
【請求項6】
コンピュータに、コミュニケーションツールにおける会話内容をリアルタイムに書き起こした情報である第１テキスト、及び所定の音声認識ツールを用いて前記会話内容の録音データを事後的に書き起こした情報である第２テキストにおいて同一の内容が記載された文章をそれぞれ特定し、特定した文章の各々に対して前記コミュニケーションツールにおいてリアルタイムに会話内容の書き起こしを行う際に発話者が実際に発話した発話時刻として対応付けられた時刻表記と、前記音声認識ツールにおいて事後的に会話内容の書き起こしを行う際に処理開始から発話者の発話時刻として機械的に対応付けられた時刻表記の差から、前記コミュニケーションツールにおける処理タイミングと前記音声認識ツールにおける処理タイミングの差である時刻情報のずれを検出する検出手順と、
前記時刻情報のずれに基づいて時間的に同期された前記第１テキストおよび前記第２テキストを用いて、情報が補完された前記会話内容を示す書き起こしコンテンツを生成する生成手順と
を実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、音声データの書き起こしを行う技術が提案されている。このような技術に関連して、たとえば、音声データのうち書き起こしが完了した位置を特定可能な書き起こし支援システムなどが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１５２３６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術には、書き起こしの精度の向上を図る上で改善の余地が残されている。
【0005】
本願は、上記に鑑みてなされたものであって、書き起こしの精度の向上を図ることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、検出部と、生成部とを有する。検出部は、コミュニケーションツールにおける会話内容をリアルタイムに書き起こした情報である第１テキストと、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキストとの間の時刻情報のずれを検出する。生成部は、時刻情報のずれに基づいて時間的に同期された第１テキストおよび第２テキストを用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する。
【発明の効果】
【0007】
実施形態の一態様によれば、書き起こしの精度の向上を図ることができるという効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
〔実施形態〕
（１．情報処理の概要）
以下、図面を参照しつつ、実施形態に係る情報処理の概要を説明する。図１は、実施形態に係る情報処理の概要を説明するための図である。以下に説明する情報処理は、たとえば、オンライン会議システム（「コミュニケーションツール」の一例）においてやり取りされる会話内容を書き起こした書き起こし文の書き起こしの精度の向上を図ることを目的とする。
（１．情報処理の概要）
以下、図面を参照しつつ、実施形態に係る情報処理の概要を説明する。図１は、実施形態に係る情報処理の概要を説明するための図である。以下に説明する情報処理は、たとえば、オンライン会議システム（「コミュニケーションツール」の一例）においてやり取りされる会話内容を書き起こした書き起こし文の書き起こしの精度の向上を図ることを目的とする。
【0011】
図１に示すように、実施形態に係る情報処理は、図１に示す端末装置１０、及び図１に示す情報処理装置１００を含む情報処理システムＳＹＳ（たとえば、図９参照）により実現される。端末装置１０及び情報処理装置１００は、それぞれ、有線または無線により、ネットワークＮ（たとえば、図９参照）に接続される。端末装置１０、及び情報処理装置１００は、ネットワークＮを通じて、他の装置と通信できる。
【0012】
たとえば、オペレータＵは、第１テキスト情報ＴＸ１－１（図３など参照）、及び第２テキスト情報ＴＸ２－１（図３など参照）を取得し、第１指示情報ＰＲＯ－１（図４など参照）を作成する。たとえば、端末装置１０は、オペレータＵの操作に従って、第１テキスト情報ＴＸ１－１、第２テキスト情報ＴＸ２－１、及び第１指示情報ＰＲＯ－１を情報処理装置１００に送信する（ステップＳ１）。
【0013】
第１テキスト情報ＴＸ１－１は、たとえば、コミュニケーションツールに搭載された書き起こし機能を用いて、コミュニケーションツールを通じて行われた会話内容をリアルタイムに書き起こした情報である。第２テキスト情報ＴＸ２－１は、所定の音声認識モデルを用いて会話内容の録音データを事後的に書き起こした情報である。第１指示情報ＰＲＯ－１は、第１テキスト情報ＴＸ１－１に含まれている時刻情報と第２テキスト情報ＴＸ２－１に含まれている時刻情報との間のずれを検出させるための指示情報である。
【0014】
情報処理装置１００は、端末装置１０から第１テキスト情報ＴＸ１－１、第２テキスト情報ＴＸ２－１、及び第１指示情報ＰＲＯ－１を受信すると、第１指示情報ＰＲＯ－１に従って、第１テキスト情報ＴＸ１－１に含まれている時刻情報と、第２テキスト情報ＴＸ２－１に含まれている時刻情報との間のずれを検出する（ステップＳ２）。以下、図２を用いて、実施形態に係る時刻情報のずれの検出方法の概要を説明する。
【0015】
図２に示すように、情報処理装置１００は、入力データに基づいてコンテンツを自動的に生成するように学習が行われた学習済みモデルＭｄに対して、第１テキスト情報ＴＸ１－１と、第２テキスト情報ＴＸ２－１と、第１テキスト情報ＴＸ１－１に含まれている時刻表記と第２テキスト情報ＴＸ２－１に含まれている時刻表記との間のずれを検出するように指示する第１指示情報ＰＲＯ－１とを入力することにより、学習済みモデルＭｄから出力される出力結果である時刻情報のずれＯｕｔ－１を取得する。
【0016】
情報処理装置１００は、学習済みモデルＭｄとして、たとえば、生成ＡＩ（Artificial Intelligence）を用いることができる。情報処理装置１００は、生成ＡＩとして、たとえば、自然言語処理の技術により文章生成が可能な言語モデルであるテキスト生成ＡＩを用いることができる。以下、図３を用いて、実施形態に係る書き起こし文の一例を説明する。
【0017】
図３に示すように、第１テキスト情報ＴＸ１－１および第２テキスト情報ＴＸ２－１は、同様のフォーマットで構成されている。たとえば、第１テキスト情報ＴＸ１－１および第２テキスト情報ＴＸ２－１は、会議における発話者を示す発話者情報Ｊ－１と、発話者情報Ｊ－１に隣接して表示される発話時刻情報Ｊ－２と、発話者情報Ｊ－１および発話時刻情報Ｊ－２の直下に表示される発話内容を示す発話内容情報Ｊ－３とを含んでいる。
【0018】
第１テキスト情報ＴＸ１－１と、第２テキスト情報ＴＸ２－１とは、互いに異なる特徴を有している。たとえば、第１テキスト情報ＴＸ１－１は、発話者の情報を含む一方で、会話内容の再現性が高くないという特徴を有する。また、第２テキスト情報ＴＸ２－１は、会話内容の再現性が高いが、発話者の情報を含んでいないという特徴を有する。
【0019】
また、第１テキスト情報ＴＸ１－１および第２テキスト情報ＴＸ２－１は、各々が異なるタイミングで処理された情報であるので、第１テキスト情報ＴＸ１－１と第２テキスト情報ＴＸ２－１との間に時刻情報のずれがある。そこで、情報処理装置１００は、学習済みモデルＭｄに対して第１指示情報ＰＲＯ－１を入力することにより、第１テキスト情報ＴＸ１－１に含まれている時刻情報と、第２テキスト情報ＴＸ２－１に含まれている時刻情報との間のずれを検出させる。以下、図４を用いて、実施形態に係る第１指示情報ＰＲＯ－１の一例を説明する。
【0020】
端末装置１０のオペレータＵは、学習済みモデルＭｄによる出力結果の精度を考慮し、たとえば、学習済みモデルＭｄが最終的な結論に至るまでの推論過程を出力させるための指示を交えた設計手法（「Chain of thought Prompting」とも称される。）を用いて、第１指示情報ＰＲＯ－１を作成できる。
【0021】
たとえば、オペレータＵは、図４に示す第１指示情報ＰＲＯ－１により、第１テキスト情報ＴＸ１－１および第２テキスト情報ＴＸ２－１において同一の内容が記載された所定数（たとえば、４セット）の文章をそれぞれ特定し、特定した文章の各々に対応付けられた時刻表記の差から、時刻情報のずれを検出することを、学習済みモデルＭｄに指示できる。
【0022】
また、たとえば、オペレータＵは、学習済みモデルＭｄに対する指示として、発話者の特定が難しい挨拶などは使わないように挨拶よりも長い発話から会話内容を判定させることや、時刻表記の差のうち、他の時刻表記の差と比較して相対的に乖離しているデータを除外して、時刻情報のずれを検出することや、判断基準が曖昧とならないように判定に使ったフレーズを明示させることなどを第１指示情報ＰＲＯ－１に盛り込むことができる。
【0023】
また、たとえば、オペレータＵは、学習済みモデルＭｄに対する指示として、推定した時刻表記のずれを出力する際の形式（たとえば、第１テキスト情報ＴＸ１－１を基準として第２テキスト情報ＴＸ２－１の時刻が大きい場合をプラス、小さい場合をマイナスの整数秒とすることなど）を第１指示情報ＰＲＯ－１に盛り込むことができる。
【0024】
以下、図５を用いて、実施形態に係る学習済みモデルの出力結果の一例を説明する。学習済みモデルＭｄの出力結果である時刻情報のずれＯｕｔ－１には、図５に示すように、時刻情報のずれが含まれている。また、時刻情報のずれＯｕｔ－１には、学習済みモデルＭｄの出力結果として、時刻表記のずれから推定される時刻情報のずれを示す情報に加えて、時刻情報のずれを導出するに至るまでの学習済みモデルＭｄの推論過程が算出手順として含まれている。
【0025】
図１に戻り、情報処理装置１００は、学習済みモデルＭｄから取得した時刻情報のずれＯｕｔ－１に関する情報を端末装置１０に送信することにより、オペレータＵに提供する（ステップＳ３）。
【0026】
端末装置１０は、情報処理装置１００から受信した時刻情報のずれを表示する。オペレータＵは、情報処理装置１００から取得した時刻情報のずれに基づいて、第１テキスト情報ＴＸ１－１と第２テキスト情報ＴＸ２－１とを同期させることにより、第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２を作成する。また、オペレータＵは、第２指示情報ＰＲＯ－２を作成する。端末装置１０は、オペレータＵの操作に従って、時刻情報のずれに基づいて時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２とともに、第２指示情報ＰＲＯ－２を情報処理装置１００に送信する（ステップＳ４）。
【0027】
情報処理装置１００は、端末装置１０から、第１テキスト情報ＴＸ１－２、第２テキスト情報ＴＸ２－２、及び第２指示情報ＰＲＯ－２を受信すると、時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２を用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する（ステップＳ５）。以下、図６を用いて、実施形態に係る書き起こしコンテンツの生成方法の概要を説明する。
【0028】
図６に示すように、情報処理装置１００は、学習済みモデルＭｄに対して、時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２と、第１テキスト情報ＴＸ１－２に含まれる発話者の情報、及び第２テキスト情報ＴＸ２－２に含まれる文章の情報を用いて、会話内容を相互補完するように指示する第２指示情報ＰＲＯ－２とを入力することにより、学習済みモデルＭｄから出力される書き起こしコンテンツＯｕｔ－２を取得する。以下、図７を用いて、実施形態に係る第２指示情報ＰＲＯ－２の一例を説明する。
【0029】
端末装置１０のオペレータＵは、第１テキスト情報ＴＸ１－２には発話者の情報が含まれているが、発話内容を示す文章の精度があまり高くない点や、第２テキスト情報ＴＸ２－２は発話内容を示す文章の精度は高いが、発話者の情報が含まれていない点を、学習済みモデルＭｄが最終的な結論に至るまでの推論のヒントとして盛り込んだ第２指示情報ＰＲＯ－２を作成できる。
【0030】
また、たとえば、オペレータＵは、学習済みモデルＭｄに対する指示として、書き起こしコンテンツを出力する際の形式を、第１テキスト情報ＴＸ１－２と同一の形式にしてほしい旨を第２指示情報ＰＲＯ－２に盛り込むことができる。
【0031】
以下、図８を用いて、実施形態に係る学習済みモデルの出力結果の一例を説明する。学習済みモデルＭｄから出力される補完後の書き起こしコンテンツＯｕｔ－２は、図８に示すように、第１テキスト情報ＴＸ１－２に含まれている発話者の情報と、第２テキスト情報ＴＸ２－２に含まれている発話内容を示す文章の情報とが相互に補完されている。
【0032】
図１に戻り、情報処理装置１００は、学習済みモデルＭｄの出力結果として取得した補完後の書き起こしコンテンツＯｕｔ－２の情報を端末装置１０に送信することにより、オペレータＵに提供する（ステップＳ６）。
【0033】
オペレータＵは、情報処理装置１００により生成された書き起こしコンテンツＯｕｔ－２を参照することにより、会議システムを通じて実施された会議内容をより正確に振り返ることができる。
【0034】
上述してきたように、実施形態に係る情報処理装置１００は、オンライン会議中にリアルタイムで実行された会話内容の書き起こし情報、及び所定の音声認識モデルを用いて会話内容の録音データを事後的に書き起こした書き起こし情報の各々特徴が異なる２つの書き起こし情報を時間的に同期させた後、時間的に同期させた各書き起こし情報を用いて、会話内容を相互補完した書き起こしコンテンツを生成できる。これにより、実施形態に係る情報処理装置１００は、書き起こしの精度の向上を図ることができる。
【0035】
（２．システム構成）
以下、図面を参照しつつ、実施形態に係る情報処理システムＳＹＳの構成について説明する。図９は、実施形態に係る情報処理システムの構成例を示す図である。
以下、図面を参照しつつ、実施形態に係る情報処理システムＳＹＳの構成について説明する。図９は、実施形態に係る情報処理システムの構成例を示す図である。
【0036】
図９に示すように、実施形態に係る情報処理システムＳＹＳは、端末装置１０と、情報処理装置１００とを含んで構成される。なお、図９に示す情報処理システムＳＹＳの構成は一例であり、たとえば、オンライン会議の処理を実行するオンライン会議サーバなど、図１に例示される以外の他の装置が含まれていてもよい。
【0037】
端末装置１０、及び情報処理装置１００は、有線または無線によりネットワークＮに接続される。端末装置１０、及び情報処理装置１００は、ネットワークＮを介して、他の装置との間で相互に通信できる。
【0038】
ネットワークＮは、たとえば、インターネットなどのＷＡＮ（Wide Area Network）や、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、及び５Ｇ（5th Generation：第５世代移動通信システム）などの移動体通信網などを含む。
【0039】
端末装置１０は、移動体通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、無線ＬＡＮ（Local Area Network）などの近距離無線通信によりネットワークＮに接続し、ネットワークＮを通じて、情報処理装置１００などの他の装置と通信できる。
【0040】
また、端末装置１０は、情報処理装置１００から提供される書き起こしコンテンツを利用するオペレータＵにより使用される。
【0041】
また、端末装置１０は、たとえば、ノートＰＣ（Personal Computer）、デスクトップＰＣ、スマートフォン、タブレットＰＣ、又はウェアラブルデバイスなどである。ウェアラブルデバイスとして、スマートグラスやスマートウォッチなどが例示されるが、かかる例には限られない。
【0042】
オペレータＵは、端末装置１０に予めインストールされているオンライン会議用のアプリケーションプログラム（以下、「会議用アプリ」と称する。）やウェブブラウザなどを通じてオンライン会議サーバにアクセスし、オンライン会議を行うことができる。また、オペレータＵは、オンライン会議において、会議用アプリに搭載されている書き起こし機能を利用し、会話内容をリアルタイムに書き起こした書き起こし文を、会議用アプリの画面上に文字情報として表示させることができる。このとき、端末装置１０は、書き起こし文に対応するテキスト情報（たとえば、図１～図３の第１テキスト情報ＴＸ１－１）を内部的に保存できる。
【0043】
また、端末装置１０は、オペレータＵの指示に従い、所定の音声認識モデルを用いてオンライン会議の音声データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１を生成し、内部的に保存できる。所定の音声認識モデルは、少なくとも会議用アプリに搭載されている書き起こし機能とは異なるアルゴリズムにより、音声データから会話内容の書き起こし文を生成することができるモデルであればよい。
【0044】
また、端末装置１０は、たとえば、情報処理装置１００から提供されるウェブコンテンツをウェブブラウザなどにより表示できる。なお、端末装置１０は、情報の表示処理を実現する制御情報を情報処理装置１００から受け取った場合には、制御情報に従って表示処理を実現する。
【0045】
制御情報は、たとえば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語や、ＣＳＳ（Cascading Style Sheets）などのスタイルシート言語や、Ｊａｖａ（登録商標）などのプログラミング言語や、ＨＴＭＬ（HyperText Markup Language）などのマークアップ言語などにより記述される。なお、情報処理装置１００などから配信される所定のアプリケーションそのものを制御情報とみなしてもよい。
【0046】
情報処理装置１００は、以下に説明する実施形態に係る情報処理を実行する。情報処理装置１００がサーバ装置で構成される場合、単独のサーバ装置により実現されてもよいし、複数のサーバ装置および複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。情報処理装置１００は、本願に係る情報処理方法を実現する情報処理装置の一例である。
【0047】
（３．情報処理装置１００の構成）
以下、図１０を用いて、実施形態に係る情報処理装置１００の機能構成の一例を説明する。図１０は、実施形態に係る情報処理装置１００の構成例を示す図である。図１０に示すように、実施形態に係る情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
以下、図１０を用いて、実施形態に係る情報処理装置１００の機能構成の一例を説明する。図１０は、実施形態に係る情報処理装置１００の構成例を示す図である。図１０に示すように、実施形態に係る情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
【0048】
（通信部１１０）
通信部１１０は、たとえば、通信モジュールやＮＩＣ（Network Interface Card）などによって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０などの他の装置との間で情報の送受信を行う。
通信部１１０は、たとえば、通信モジュールやＮＩＣ（Network Interface Card）などによって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０などの他の装置との間で情報の送受信を行う。
【0049】
（記憶部１２０）
記憶部１２０は、たとえば、制御部１３０による制御および演算に用いられるプログラムおよびデータを記憶する。記憶部１２０は、たとえば、ＲＡＭ（Random Access Memory）やフラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。図１０に示すように、記憶部１２０は、会議情報記憶部１２１と、モデル情報記憶部１２２とを有する。
記憶部１２０は、たとえば、制御部１３０による制御および演算に用いられるプログラムおよびデータを記憶する。記憶部１２０は、たとえば、ＲＡＭ（Random Access Memory）やフラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。図１０に示すように、記憶部１２０は、会議情報記憶部１２１と、モデル情報記憶部１２２とを有する。
【0050】
（会議情報記憶部１２１）
会議情報記憶部１２１は、オンライン会議の会話内容に関する情報を記憶する。会議情報記憶部１２１に記憶される情報は、たとえば、会議用アプリに搭載されている書き起こし機能を利用し、会話内容をリアルタイムに書き起こした書き起こし文に対応するテキスト情報を含む。図１１は、実施形態に係る会議情報記憶部１２１に記憶される情報の概要を示す図である。
会議情報記憶部１２１は、オンライン会議の会話内容に関する情報を記憶する。会議情報記憶部１２１に記憶される情報は、たとえば、会議用アプリに搭載されている書き起こし機能を利用し、会話内容をリアルタイムに書き起こした書き起こし文に対応するテキスト情報を含む。図１１は、実施形態に係る会議情報記憶部１２１に記憶される情報の概要を示す図である。
【0051】
図１１に示すように、会議情報記憶部１２１に記憶される情報は、「会議ＩＤ」の項目と、「記録日時」の項目と、「録音情報」の項目と、「書き起こし情報」の項目とを有している。会話情報が有するこれらの項目は相互に対応付けられている。
【0052】
「会議ＩＤ」の項目には、記録されるオンライン会議のデータを特定するためにオンライン会議のデータごとに一意に付与される識別情報が記憶される。「記録日時」の項目には、オンライン会議のデータが記憶された日時を示す情報が記憶される。「録音情報」の項目には、オンライン会議の様子を録音した録音データが記憶される。「書き起こし情報」の項目には、オンライン会議中にリアルタイムで実行された会話内容の書き起こしデータが記憶される。
【0053】
たとえば、オンライン会議の録音情報は、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１などを生成する場合に用いられる。
【0054】
会議情報記憶部１２１に記憶される情報は、たとえば、オンライン会議を実施するオペレータＵの操作に従って保存されてもよいし、オンライン会議における設定内容に従って自動的に保存されてもよい。
【0055】
（モデル情報記憶部１２２）
モデル情報記憶部１２２は、実施形態に係る情報処理を実行するモデルに関する情報が記憶される。モデル情報記憶部１２２に記憶されるモデルに関する情報には、入力されるデータなどに基づいて、各種コンテンツを生成するように学習が行われた生成ＡＩであって、オンライン会議の音声データから会話内容を書き起こした書き起こし文の時刻情報のずれを検出したり、書き起こし文の内容を補完したりする生成ＡＩなどの情報が記憶される。
モデル情報記憶部１２２は、実施形態に係る情報処理を実行するモデルに関する情報が記憶される。モデル情報記憶部１２２に記憶されるモデルに関する情報には、入力されるデータなどに基づいて、各種コンテンツを生成するように学習が行われた生成ＡＩであって、オンライン会議の音声データから会話内容を書き起こした書き起こし文の時刻情報のずれを検出したり、書き起こし文の内容を補完したりする生成ＡＩなどの情報が記憶される。
【0056】
なお、モデル情報記憶部１２２は、会話内容の録音データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１を生成する所定の音声認識モデルに関する情報を記憶してもよい。
【0057】
生成ＡＩは、たとえば、ＧＰＴ（Generative Pre-trained Transformer）などのＡＩ（Artificial Intelligence）により実現される。ＧＰＴは、自然言語処理の技術により文章生成が可能な言語モデルである。
【0058】
（制御部１３０）
制御部１３０は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（実施形態に係る「情報処理プログラム」の一例）がＲＡＭを作業領域として実行されることにより実現される。
制御部１３０は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（実施形態に係る「情報処理プログラム」の一例）がＲＡＭを作業領域として実行されることにより実現される。
【0059】
また、制御部１３０は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）、ＧＰＧＰＵ（General Purpose Graphic Processing Unit）などの集積回路により実現され得る。
【0060】
図３に示すように、制御部１３０は、検出部１３１と、生成部１３２とを有し、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０には、情報処理装置１００が実行する各種処理の拡張などに応じて、図１０に示す各部とは異なる新たな機能部が導入されてもよい。
【0061】
（検出部１３１）
検出部１３１は、たとえば、オンライン会議システム（「コミュニケーションツール」の一例）においてやり取りされる会話内容をリアルタイムに書き起こした情報である第１テキスト情報ＴＸ１－１（たとえば、図１～図３など参照）と、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１（たとえば、図１～図３など参照）との間の時刻情報のずれを検出する。
検出部１３１は、たとえば、オンライン会議システム（「コミュニケーションツール」の一例）においてやり取りされる会話内容をリアルタイムに書き起こした情報である第１テキスト情報ＴＸ１－１（たとえば、図１～図３など参照）と、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１（たとえば、図１～図３など参照）との間の時刻情報のずれを検出する。
【0062】
具体的には、検出部１３１は、入力データに基づいてコンテンツを自動的に生成するように学習が行われた学習済みモデルＭｄである生成ＡＩに対して、第１テキスト情報ＴＸ１－１と、第２テキスト情報ＴＸ２－１と、第１テキスト情報ＴＸ１－１に含まれている時刻表記と第２テキスト情報ＴＸ２－１に含まれている時刻表記との間のずれを検出するように指示する第１指示情報ＰＲＯ－１とを入力することにより、生成ＡＩから出力される時刻情報のずれを取得する。
【0063】
また、検出部１３１は、第１指示情報ＰＲＯ－１において、第１テキスト情報ＴＸ１－１および第２テキスト情報ＴＸ２－１において同一の内容が記載された所定数の文章をそれぞれ特定し、特定した文章の各々に対応付けられた時刻表記の差から、時刻情報のずれを検出するように指示できる。
【0064】
また、検出部１３１は、第１指示情報ＰＲＯ－１において、時刻表記の差のうち、他の時刻表記の差と比較して相対的に乖離しているデータを除外して、時刻情報のずれを検出するように指示できる。
【0065】
（生成部１３２）
生成部１３２は、時刻情報のずれに基づいて時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２（たとえば、図６など参照）を用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する。
生成部１３２は、時刻情報のずれに基づいて時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２（たとえば、図６など参照）を用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する。
【0066】
具体的には、生成部１３２は、入力データに基づいてコンテンツを自動的に生成するように学習が行われた学習済みモデルＭｄである生成ＡＩに対して、時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２と、第１テキスト情報ＴＸ１－２に含まれる発話者の情報、及び第２テキスト情報ＴＸ２－２に含まれる文章の情報を用いて会話内容を相互補完するように指示する第２指示情報ＰＲＯ－２とを入力することにより、生成ＡＩから出力される会話内容を書き起こしコンテンツとして取得する。
【0067】
なお、生成部１３２は、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１などを生成してもよい。この場合、生成部１３２は、オペレータＵから処理対象となる会議の情報を特定するための情報を受け付けて、受け付けた情報を用いて、第２テキスト情報ＴＸ２－１の元となる録音データを会議情報記憶部１２１から取得して、処理を実行する。
【0068】
（４．処理手順例）
以下、図１２を用いて、実施形態に係る情報処理装置１００により実行される情報処理の流れについて説明する。図１２は、実施形態に係る情報処理装置１００により実行される情報処理の処理手順の一例を示すフローチャートである。なお、図１２に示す処理手順は、情報処理装置１００が有する制御部１３０により実行される。制御部１３０は、情報処理装置１００の稼働中、図１２に示す処理手順を繰り返し実行する。
以下、図１２を用いて、実施形態に係る情報処理装置１００により実行される情報処理の流れについて説明する。図１２は、実施形態に係る情報処理装置１００により実行される情報処理の処理手順の一例を示すフローチャートである。なお、図１２に示す処理手順は、情報処理装置１００が有する制御部１３０により実行される。制御部１３０は、情報処理装置１００の稼働中、図１２に示す処理手順を繰り返し実行する。
【0069】
図１２に示すように、検出部１３１は、第１テキスト（たとえば、第１テキスト情報ＴＸ１－１）と、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキスト（たとえば、第２テキスト情報ＴＸ２－１）との間の時刻情報のずれを検出する（ステップＳ１０１）。
【0070】
生成部１３２は、時刻情報のずれに基づいて時間的に同期された第１テキストおよび第２テキストを用いて、情報が補完あれた会話内容を示す書き起こしコンテンツを生成する（ステップＳ１０２）。
【0071】
また、生成部１３２は、生成した書き起こしコンテンツを、通信部を通じて端末装置１０に送信することにより、オペレータＵに提供して（ステップＳ１０３）、図１２に示す処理手順を終了する。
【0072】
（５．変形例）
（５－１．校正の指示について）
上述の実施形態において、情報処理装置１００は、第２指示情報ＰＲＯ－２として、句読点の挿入や位置、言葉遣い、及び漢字の誤りの訂正などを盛り込んでもよい。
（５－１．校正の指示について）
上述の実施形態において、情報処理装置１００は、第２指示情報ＰＲＯ－２として、句読点の挿入や位置、言葉遣い、及び漢字の誤りの訂正などを盛り込んでもよい。
【0073】
（５－２．処理対象について）
上述の実施形態に係る情報処理の対象は、オンライン会議における書き起こし情報には特に限定される必要はなく、オンライン会議以外のコミュニケーションツールでやり取りされる音声の書き起こしについても、同様に適用できる。また、上述の実施形態に係る情報処理の対象は、音声認識モデルで書き起こし可能な情報であればよく、たとえば、第１の音声認識モデルを用いて再現された情報と、第１の音声認識モデルとは異なる第２の音声認識モデルを用いて再現された情報とを対象としてもよい。
上述の実施形態に係る情報処理の対象は、オンライン会議における書き起こし情報には特に限定される必要はなく、オンライン会議以外のコミュニケーションツールでやり取りされる音声の書き起こしについても、同様に適用できる。また、上述の実施形態に係る情報処理の対象は、音声認識モデルで書き起こし可能な情報であればよく、たとえば、第１の音声認識モデルを用いて再現された情報と、第１の音声認識モデルとは異なる第２の音声認識モデルを用いて再現された情報とを対象としてもよい。
【0074】
（５－３．システム構成等）
また、上述の実施形態では、実施形態に係る情報処理装置１００が、実施形態に係る情報処理を実行する例を説明したが、この例には限られない。たとえば、オンライン会議に関する情報処理を実行するオンライン会議サーバが実施形態に係る情報処理を実行してもよい。この場合、オンライン会議サーバが、実施形態に係る情報処理を実行するために情報処理装置１００が有する機能を備えていればよい。
また、上述の実施形態では、実施形態に係る情報処理装置１００が、実施形態に係る情報処理を実行する例を説明したが、この例には限られない。たとえば、オンライン会議に関する情報処理を実行するオンライン会議サーバが実施形態に係る情報処理を実行してもよい。この場合、オンライン会議サーバが、実施形態に係る情報処理を実行するために情報処理装置１００が有する機能を備えていればよい。
【0075】
また、上述の実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0076】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0077】
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0078】
（６．ハードウェア構成）
また、上述してきた実施形態または変形例に係る情報処理装置１００は、たとえば、図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、実施形態または変形例に係る情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。
また、上述してきた実施形態または変形例に係る情報処理装置１００は、たとえば、図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、実施形態または変形例に係る情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【0079】
コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
【0080】
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラムなどに基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭなど、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。
【0081】
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、たとえば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナなどといった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、たとえば、ＵＳＢなどにより実現される。
【0082】
なお、入力装置１０２０は、たとえば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどから情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリなどの外付け記憶媒体であってもよい。
【0083】
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
【0084】
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。たとえば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
【0085】
たとえば、コンピュータ１０００が実施形態または変形例に係る情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラムの一例）との協働により、実施形態または変形例に係る情報処理装置１００による処理を実現する。
【0086】
（７．効果）
上述してきたように、実施形態に係る情報処理装置１００は、検出部１３１と、生成部１３２とを有する。検出部１３１は、オンライン会議システムにおける会話内容をリアルタイムに書き起こした情報である第１テキスト情報ＴＸ１－１と、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１との間の時刻情報のずれを検出する。生成部１３２は、時刻情報のずれに基づいて時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２を用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する。
上述してきたように、実施形態に係る情報処理装置１００は、検出部１３１と、生成部１３２とを有する。検出部１３１は、オンライン会議システムにおける会話内容をリアルタイムに書き起こした情報である第１テキスト情報ＴＸ１－１と、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキスト情報ＴＸ２－１との間の時刻情報のずれを検出する。生成部１３２は、時刻情報のずれに基づいて時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２を用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する。
【0087】
また、検出部１３１は、入力データに基づいてコンテンツを自動的に生成するように学習が行われた学習済みモデルＭｄである生成ＡＩに対して、第１テキスト情報ＴＸ１－１と、第２テキスト情報ＴＸ２－１と、第１テキスト情報ＴＸ１－１に含まれている時刻表記と第２テキスト情報ＴＸ２－１に含まれている時刻表記との間のずれを検出するように指示する第１指示情報ＰＲＯ－１とを入力することにより、生成ＡＩから出力される時刻情報のずれを取得する。
【0088】
また、検出部１３１は、第１指示情報ＰＲＯ－１において、第１テキスト情報ＴＸ１－１および第２テキスト情報ＴＸ２－１において同一の内容が記載された所定数の文章をそれぞれ特定し、特定した文章の各々に対応付けられた時刻表記の差から、時刻情報のずれを検出するように指示できる。
【0089】
検出部１３１は、第１指示情報ＰＲＯ－１において、時刻表記の差のうち、他の時刻表記の差と比較して相対的に乖離しているデータを除外して、時刻情報のずれを検出するように指示できる。
【0090】
また、生成部１３２は、入力データに基づいてコンテンツを自動的に生成するように学習が行われた学習済みモデルＭｄである生成ＡＩに対して、時間的に同期された第１テキスト情報ＴＸ１－２および第２テキスト情報ＴＸ２－２と、第１テキスト情報ＴＸ１－２に含まれる発話者の情報、及び第２テキスト情報ＴＸ２－２に含まれる文章の情報を用いて会話内容を相互補完するように指示する第２指示情報ＰＲＯ－２とを入力することにより、生成ＡＩから出力される会話内容を書き起こしコンテンツとして取得する。
【0091】
このように、実施形態に係る情報処理装置１００は、オンライン会議中にリアルタイムで実行された会話内容の書き起こし情報、及び所定の音声認識モデルを用いて会話内容の録音データを事後的に書き起こした書き起こし情報の各々特徴が異なる２つの書き起こし情報を時間的に同期させた後、時間的に同期させた各書き起こし情報を用いて、会話内容を相互補完した書き起こしコンテンツを生成できる。これにより、実施形態に係る情報処理装置１００は、書き起こしの精度の向上を図ることができる。
【0092】
上述の効果は、上述した各部により実行される処理、又は各部により実行される処理のいずれかの組合せにより実現され得る。
【0093】
（８．その他）
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0094】
また、上述した情報処理装置１００は、機能によっては外部のプラットフォームなどをＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
【0095】
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【符号の説明】
【0096】
ＳＹＳ 情報処理システム
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 会議情報記憶部
１２２ モデル情報記憶部
１３０ 制御部
１３１ 検出部
１３２ 生成部
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 会議情報記憶部
１２２ モデル情報記憶部
１３０ 制御部
１３１ 検出部
１３２ 生成部
【要約】
【課題】書き起こしの精度の向上を図ること。
【解決手段】本願に係る情報処理装置は、検出部と、生成部とを有する。検出部は、コミュニケーションツールにおける会話内容をリアルタイムに書き起こした情報である第１テキストと、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキストとの間の時刻情報のずれを検出する。生成部は、時刻情報のずれに基づいて時間的に同期された第１テキストおよび第２テキストを用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する。
【選択図】図１０
【解決手段】本願に係る情報処理装置は、検出部と、生成部とを有する。検出部は、コミュニケーションツールにおける会話内容をリアルタイムに書き起こした情報である第１テキストと、所定の音声認識ツールを用いて会話内容の録音データを事後的に書き起こした情報である第２テキストとの間の時刻情報のずれを検出する。生成部は、時刻情報のずれに基づいて時間的に同期された第１テキストおよび第２テキストを用いて、情報が補完された会話内容を示す書き起こしコンテンツを生成する。
【選択図】図１０
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】