特許 7571867 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G10L 15/22 20060101AFI20241016BHJP

   G10L 15/24 20130101ALI20241016BHJP

【ＦＩ】

G10L15/22 470Z

G10L15/24 Q

【請求項の数】 5

(21)【出願番号】P 2023512548

(86)(22)【出願日】2021-04-06

(86)【国際出願番号】 JP2021014619

(87)【国際公開番号】W WO2022215162

(87)【国際公開日】2022-10-13

【審査請求日】2023-08-23

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】東海林 佳昭

(72)【発明者】

【氏名】小笠原 志朗

(72)【発明者】

【氏名】柴田 朋子

【審査官】大野 弘

(56)【参考文献】

【文献】特開２００７－０１８２９０（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７５３５８（ＷＯ，Ａ１）

【文献】特開２００９－１５２６５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１５／３４

(57)【特許請求の範囲】

【請求項1】

第１音声に基づいて、互いに異なる複数の第１単語を認識する音声認識部と、
第１画像に基づいて、互いに異なる複数の第２単語を認識する画像認識部と、
前記複数の第１単語に含まれかつ前記複数の第２単語に含まれない第３単語、及び前記複数の第２単語に含まれかつ前記複数の第１単語に含まれない第４単語の少なくとも１つを抽出する抽出部と、
前記第３単語を第２画像に変換する第１変換部と、
前記第２画像に類似する第３画像を前記第１画像から検索し、前記第３画像に対応する単語を第５単語として前記複数の第２単語から検索する第１検索部と、
前記第５単語を、前記第３単語に補正する第１補正部と、
前記第４単語を第２音声に変換する第２変換部と、
前記第２音声に類似する第３音声を前記第１音声から検索し、前記第３音声に対応する単語を第６単語として前記複数の第１単語から検索する第２検索部と、
前記第６単語を、前記第４単語に補正する第２補正部と、
を備え、
前記複数の第１単語及び前記複数の第２単語は、時間に関して独立である、
情報処理装置。

【請求項2】

前記第１検索部は、
前記第１画像、及び第２画像の各々の特徴量を算出し、
前記第２画像との類似度が閾値以上の特徴量を有する前記第１画像の部分を前記第３画像として抽出する、
請求項１記載の情報処理装置。

【請求項3】

前記第２検索部は、
前記第１音声、及び第２音声の各々の特徴量を算出し、
前記第２音声との類似度が閾値以上の特徴量を有する前記第１音声の部分を前記第３音声として抽出する、
請求項１記載の情報処理装置。

【請求項4】

第１音声に基づいて、互いに異なる複数の第１単語を認識することと、
第１画像に基づいて、互いに異なる複数の第２単語を認識することと、
前記複数の第１単語に含まれかつ前記複数の第２単語に含まれない第３単語、及び前記複数の第２単語に含まれかつ前記複数の第１単語に含まれない第４単語の少なくとも１つを抽出することと、
前記第３単語を第２画像に変換することと、
前記第２画像に類似する第３画像を前記第１画像から検索し、前記第３画像に対応する単語を第５単語として前記複数の第２単語から検索することと、
前記第５単語を、前記第３単語に補正することと、
前記第４単語を第２音声に変換することと、
前記第２音声に類似する第３音声を前記第１音声から検索し、前記第３音声に対応する単語を第６単語として前記複数の第１単語から検索することと、
前記第６単語を、前記第４単語に補正することと、
を備え、
前記複数の第１単語及び前記複数の第２単語は、時間に関して独立である、
情報処理方法。

【請求項5】

コンピュータを、請求項１乃至請求項３のいずれか１項に記載の情報処理装置が備える各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

端末の操作によって蓄積されたログを活用する技術が知られている。例えば、ペアリング技術は、蓄積されたログに基づいて、相談者に対する最適な被相談者をペアリングする。

【0003】

ログを蓄積する技術として、音声認識技術及び画像認識技術が知られている。音声認識技術は、音声に含まれる単語をログとして抽出する。画像認識技術は、画像に含まれる単語をログとして抽出する。音声認識技術及び画像認識技術により、異なる形式の情報から抽出された単語を、共通の形式で取り扱うことができる。

【0004】

例えば、同時入力される音声及びペン入力を処理することにより、単語の認識精度を向上させる手法が提案されている。

【先行技術文献】

【非特許文献】

【0005】

【文献】渡邉 康司、外４名、「音声とペン入力の同時入力に対する認識方式の検討」、電子情報通信学会技術研究報告、音声、2006年6月16日、vol.106、no.123、p.49-54

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、オンライン会議等のネットワーク通信では、共通の単語を含む音声及び画像が同時に入力されない場合が多い。そして、同時入力されない音声及び画像を組み合わせることによって単語の認識精度を向上させるための手法は、少ない。

【0007】

本発明は、上記事情に着目してなされたもので、その目的とするところは、音声及び画像からの単語の認識精度を向上させる手段を提供することにある。

【課題を解決するための手段】

【0008】

一態様の情報処理装置は、音声認識部と、画像認識部と、抽出部と、第１変換部と、第１検索部と、第１補正部と、第２変換部と、第２検索部と、第２補正部と、を備える。上記音声認識部は、第１音声に基づいて、互いに異なる複数の第１単語を認識する。上記画像認識部は、第１画像に基づいて、互いに異なる複数の第２単語を認識する。上記抽出部は、上記複数の第１単語に含まれかつ上記複数の第２単語に含まれない第３単語、及び上記複数の第２単語に含まれかつ上記複数の第１単語に含まれない第４単語の少なくとも１つを抽出する。上記第１変換部は、上記第３単語を第２画像に変換する。上記第１検索部は、上記第２画像に類似する第３画像を上記第１画像から検索し、上記第３画像に対応する単語を第５単語として上記複数の第２単語から検索する。上記第１補正部は、上記第５単語を、上記第３単語に補正する。上記第２変換部は、上記第４単語を第２音声に変換する。上記第２検索部は、上記第２音声に類似する第３音声を上記第１音声から検索し、上記第３音声に対応する単語を第６単語として上記複数の第１単語から検索する。上記第２補正部は、上記第６単語を、上記第４単語に補正する。上記複数の第１単語及び上記複数の第２単語は、時間に関して独立である。

【発明の効果】

【0009】

実施形態によれば、音声及び画像からの単語の認識精度を向上させる手段を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る情報処理システムの構成の一例を示すブロック図である。

【図2】図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。

【図4】図４は、実施形態に係る情報処理装置における補正動作の一例を示すフローチャートである。

【図5】図５は、実施形態に係る情報処理装置における音声ベース単語情報の補正動作の一例を示すフローチャートである。

【図6】図６は、実施形態に係る情報処理装置における画像ベース単語情報の補正動作の一例を示すフローチャートである。

【図7】図７は、実施形態に係る情報処理装置における補正動作の適用範囲を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して実施形態について説明する。なお、以下の説明において、同一の機能及び構成を有する構成要素については、共通する参照符号を付す。

【0012】

１． 実施形態
１．１ 構成
１．１．１ 情報処理システム
まず、実施形態に係る情報処理システムの構成について説明する。図１は、実施形態に係る情報処理システムの構成の一例を示すブロック図である。

【0013】

図１に示すように、情報処理システム１は、ネットワークＮＷを介して接続されたコンピュータネットワークである。ネットワークＮＷは、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、又はインターネットである。情報処理システム１は、情報処理装置１００、並びに端末２００及び３００を含む。

【0014】

情報処理装置１００は、例えば、データサーバである。情報処理装置１００は、ネットワークＮＷを介して、端末２００と端末３００との間で共有されるメディア情報を保存する。メディア情報は、例えば、音声情報及び画像情報を含む。

【0015】

端末２００及び３００は、例えば、パーソナルコンピュータ又はスマートフォンである。端末２００及び３００は、ネットワークＮＷを介して情報を共有する。

【0016】

１．１．２ 情報処理装置
次に、実施形態に係る情報処理装置の内部構成について説明する。
（ハードウェア構成）
図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、制御回路１１、ストレージ１２、通信モジュール１３、及びドライブ１４を含む。

【0017】

制御回路１１は、情報処理装置１００の各構成要素を全体的に制御する回路である。制御回路１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を含む。

【0018】

ストレージ１２は、情報処理装置１０の補助記憶装置である。ストレージ１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はメモリカード等である。ストレージ１２は、端末２００及び３００から受信したメディア情報を記憶する。また、ストレージ１２は、プログラムを記憶してもよい。

【0019】

通信モジュール１３は、ネットワークＮＷを介したメディア情報の送受信に使用される回路である。通信モジュール１３は、端末２００及び３００から受信したメディア情報をストレージ１２に転送する。

【0020】

ドライブ１４は、記憶媒体１５に記憶されたソフトウェアを読み込むための機器である。ドライブ１４は、例えば、ＣＤ（Compact Disk）ドライブ、及びＤＶＤ（Digital Versatile Disk）ドライブ等を含む。

【0021】

記憶媒体１５は、ソフトウェアを、電気的、磁気的、光学的、機械的又は化学的作用によって記憶する媒体である。記憶媒体１５は、プログラムを記憶してもよい。
（機能構成）
図３は、実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。

【0022】

制御回路１１のＣＰＵは、ストレージ１２又は記憶媒体１５に記憶されたプログラムをＲＡＭに展開する。そして、制御回路１１のＣＰＵは、ＲＡＭに展開されたプログラムを解釈及び実行する。これにより、情報処理装置１００は、音声受信部２１、画像受信部２２、音声認識部２３、画像認識部２４、抽出部２５、音声化部２６、画像化部２７、音声検索部２８、画像検索部２９、音声ベース単語情報補正部３０、及び画像ベース単語情報補正部３１を備えるコンピュータとして機能する。

【0023】

音声受信部２１は、ネットワークＮＷを介して音声情報Ｖａを受信する。音声受信部２１は、音声情報Ｖａを音声認識部２３及び音声検索部２８に送信する。

【0024】

音声情報Ｖａは、音声を含むメディア情報である。音声情報Ｖａは、音声が複数の単語を意味する場合であっても、複数の単語を識別する情報を含まない。

【0025】

画像受信部２２は、ネットワークＮＷを介して画像情報Ｉａを受信する。画像受信部２２は、画像情報Ｉａを画像認識部２４及び画像検索部２９に送信する。

【0026】

画像情報Ｉａは、画像を含むメディア情報である。画像情報Ｉａは、画像が複数の単語を意味する場合であっても、複数の単語を識別する情報を含まない。

【0027】

音声認識部２３は、音声情報Ｖａに基づき、音声ベース単語情報ＷＶａを生成する。具体的には、音声認識部２３は、音声認識処理により、音声情報Ｖａ内の音声を文字列に変換する。音声認識処理には、例えば、音響分析や音響モデル等、種々の手法が適用され得る。また、音声認識部２３は、形態素解析により、文字列を複数の単語に分類する。音声認識部２３は、音声情報Ｖａに基づく複数の単語を、音声ベース単語情報ＷＶａとして抽出部２５に送信する。すなわち、音声ベース単語情報ＷＶａは、音声情報Ｖａ内の音声が意味する複数の単語を識別する。

【0028】

画像認識部２４は、画像情報Ｉａに基づき、画像ベース単語情報ＷＩａを生成する。具体的には、画像認識部２４は、画像認識処理により、画像情報Ｉａ内の画像を文字列に変換する。画像認識処理には、例えば、光学文字認識（ＯＣＲ：Optical Character Recognition）等、種々の手法が適用され得る。また、画像認識部２４は、形態素解析により、文字列を複数の単語に分類する。画像認識部２４は、画像情報Ｉａに基づく複数の単語を、画像ベース単語情報ＷＩａとして抽出部２５に送信する。すなわち、画像ベース単語情報ＷＩａは、画像情報Ｉａ内の画像が意味する複数の単語を識別する。

【0029】

抽出部２５は、音声ベース単語情報ＷＶａ及び画像ベース単語情報ＷＩａに基づき、抽出画像ベース単語情報ＷＩｂ、抽出音声ベース単語情報ＷＶｂ、及び共通単語情報Ｗを生成する。具体的には、抽出部２５は、画像ベース単語情報ＷＩａに含まれ、かつ音声ベース単語情報ＷＶａに含まれない単語を、抽出画像ベース単語情報ＷＩｂとして抽出する。抽出部２５は、抽出画像ベース単語情報ＷＩｂを音声化部２６に送信する。また、抽出部２５は、音声ベース単語情報ＷＶａに含まれ、かつ画像ベース単語情報ＷＩａに含まれない単語を、抽出音声ベース単語情報ＷＶｂとして抽出する。抽出部２５は、抽出音声ベース単語情報ＷＶｂを画像化部２７に送信する。また、抽出部２５は、音声ベース単語情報ＷＶａ及び画像ベース単語情報ＷＩａのいずれにも含まれる単語を、共通単語情報Ｗとしてストレージ１２に記憶させる。

【0030】

なお、音声ベース単語情報ＷＶａ及び画像ベース単語情報ＷＩａは、時間に関して独立した情報である。このため、抽出部２５における抽出処理は、音声ベース単語情報ＷＶａ及び画像ベース単語情報ＷＩａが同時に入力されることを要しない。

【0031】

音声化部２６は、抽出画像ベース単語情報ＷＩｂに基づき、画像ベース音声情報Ｖｂを生成する。具体的には、音声化部２６は、抽出画像ベース単語情報ＷＩｂ内の単語を音声に変換する。音声化部２６は、変換された音声を画像ベース音声情報Ｖｂとして音声検索部２８に送信する。

【0032】

画像化部２７は、抽出音声ベース単語情報ＷＶｂに基づき、音声ベース画像情報Ｉｂを生成する。具体的には、画像化部２７は、抽出音声ベース単語情報ＷＶｂ内の単語を画像に変換する。画像化部２７は、変換された画像を音声ベース画像情報Ｉｂとして画像検索部２９に送信する。

【0033】

音声検索部２８は、音声ベース単語情報ＷＶａから補正対象音声ベース単語情報ＷＶｃを検索する。具体的には、例えば、音声検索部２８は、画像ベース音声情報Ｖｂ内の音声の特徴量、及び音声情報Ｖａ内の音声の特徴量をそれぞれ算出する。音声検索部２８は、画像ベース音声情報Ｖｂ内の音声の特徴量に対する類似度が閾値以上となる特徴量を有する音声を、類似音声として音声情報Ｖａから抽出する。そして、音声検索部２８は、類似音声に対応する単語を、音声ベース単語情報ＷＶａから抽出する。音声検索部２８は、類似音声に対応する単語を、補正対象音声ベース単語情報ＷＶｃとして音声ベース単語情報補正部３０に送信する。

【0034】

画像検索部２９は、画像ベース単語情報ＷＩａから補正対象画像ベース単語情報ＷＩｃを検索する。具体的には、例えば、画像検索部２９は、音声ベース画像情報Ｉｂ内の画像の特徴量、及び画像情報Ｉａ内の画像の特徴量をそれぞれ算出する。画像検索部２９は、音声ベース画像情報Ｉｂ内の画像の特徴量に対する類似度が閾値以上となる特徴量を有する画像を、類似画像として画像情報Ｉａから抽出する。そして、画像検索部２９は、類似画像に対応する単語を、画像ベース単語情報ＷＩａから抽出する。画像検索部２９は、類似画像に対応する単語を、補正対象画像ベース単語情報ＷＩｃとして画像ベース単語情報補正部３１に送信する。

【0035】

音声ベース単語情報補正部３０は、補正対象音声ベース単語情報ＷＶｃ内の単語を、抽出画像ベース単語情報ＷＩｂに基づいて補正する。音声ベース単語情報補正部３０は、補正された単語を、共通単語情報Ｗとしてストレージ１２に記憶させる。

【0036】

画像ベース単語情報補正部３１は、補正対象画像ベース単語情報ＷＩｃ内の単語を、抽出音声ベース単語情報ＷＶｂに基づいて補正する。画像ベース単語情報補正部３１は、補正された単語を、共通単語情報Ｗとしてストレージ１２に記憶させる。

【0037】

以上のように構成することにより、情報処理装置１００は、音声情報Ｖａ及び画像情報Ｉａによって相補的に補正された単語を、共通単語情報Ｗ内に更に含ませることができる。

【0038】

１．２． 動作
次に、実施形態に係る情報処理装置の動作について説明する。

【0039】

１．２．１ 補正動作の概要
まず、実施形態に係る情報処理装置における補正動作の概要について説明する。図４は、実施形態に係る情報処理装置における補正動作の一例を示すフローチャートである。図４の例では、音声情報Ｖａ及び画像情報Ｉａは、共通の議題に関して端末２００及び３００の間で共有されたメディア情報である場合を想定する。

【0040】

図４に示すように、音声情報Ｖａ及び画像情報Ｉａを受信すると（開始）、音声認識部２３は、音声情報Ｖａに基づいて、音声ベース単語情報ＷＶａを生成する（Ｓ１０）。

【0041】

画像認識部２４は、画像情報Ｉａに基づいて、画像ベース単語情報ＷＩａを生成する（Ｓ２０）。

【0042】

抽出部２５は、Ｓ２０の処理で生成された画像ベース単語情報ＷＩａに含まれ、かつＳ１０の処理で生成された音声ベース単語情報ＷＶａに含まれない単語があるか否かを判定する（Ｓ３０）。

【0043】

画像ベース単語情報ＷＩａに含まれ、かつ音声ベース単語情報ＷＶａに含まれない単語がない場合（Ｓ３０；ｎｏ）、Ｓ５０の処理に進む。

【0044】

画像ベース単語情報ＷＩａに含まれ、かつ音声ベース単語情報ＷＶａに含まれない単語がある場合（Ｓ３０；ｙｅｓ）、抽出部２５、音声化部２６、音声検索部２８、及び音声ベース単語情報補正部３０は、音声ベース単語情報ＷＶａの補正動作を実行する（Ｓ４０）。Ｓ４０の処理の結果、補正された単語が共通単語情報Ｗとしてストレージ１２に記憶される。音声ベース単語情報ＷＶａの補正動作の詳細については、後述する。

【0045】

抽出部２５は、Ｓ１０の処理で生成された音声ベース単語情報ＷＶａに含まれ、かつＳ２０の処理で生成された画像ベース単語情報ＷＩａに含まれない単語があるか否かを判定する（Ｓ５０）。

【0046】

音声ベース単語情報ＷＶａに含まれ、かつ画像ベース単語情報ＷＩａに含まれない単語がない場合（Ｓ５０；ｎｏ）、補正動作は終了となる（終了）。

【0047】

音声ベース単語情報ＷＶａに含まれ、かつ画像ベース単語情報ＷＩａに含まれない単語がある場合（Ｓ５０；ｙｅｓ）、抽出部２５、画像化部２７、画像検索部２９、及び画像ベース単語情報補正部３１は、画像ベース単語情報ＷＩａの補正動作を実行する（Ｓ６０）。Ｓ６０の処理の結果、補正された単語が共通単語情報Ｗとしてストレージ１２に記憶される。画像ベース単語情報ＷＩａの補正動作の詳細については、後述する。

【0048】

Ｓ６０の処理が終了すると、補正動作は終了となる（終了）。

【0049】

なお、図４の例では、Ｓ１０の処理の後にＳ２０の処理が実行される場合について説明したが、これに限られない。例えば、Ｓ２０の処理は、Ｓ１０の処理の前に実行されてもよい。また、図４の例では、Ｓ３０及びＳ４０の処理の後にＳ５０及びＳ６０の処理が実行される場合について説明したが、これに限られない。例えば、Ｓ５０及びＳ６０の処理は、Ｓ３０及びＳ４０の処理の前に実行されてもよい。

【0050】

１．２．２ 音声ベース単語情報の補正動作の詳細
次に、実施形態に係る情報処理装置における音声ベース単語情報の補正動作の詳細について説明する。
（フローチャート）
図５は、実施形態に係る情報処理装置における音声ベース単語情報の補正動作の一例を示すフローチャートである。図５に示されるＳ４１、Ｓ４２、Ｓ４３、Ｓ４４、及びＳ４５の処理は、図４に示されるＳ４０の処理に含まれる。

【0051】

図５に示すように、画像ベース単語情報ＷＩａに含まれ、かつ音声ベース単語情報ＷＶａに含まれない単語がある場合（開始）、抽出部２５は、音声ベース単語情報ＷＶａに含まれない単語を画像ベース単語情報ＷＩａから抽出する（Ｓ４１）。抽出部２５は、抽出された単語を抽出画像ベース単語情報ＷＩｂとして音声化部２６に送信する。

【0052】

音声化部２６は、Ｓ４１の処理で抽出された単語を音声化する（Ｓ４２）。音声化部２６は、Ｓ４２の処理によって得られた音声を画像ベース音声情報Ｖｂとして音声検索部２８に送信する。

【0053】

音声検索部２８は、Ｓ４２の処理で得られた音声に類似する音声（類似音声）が音声情報Ｖａ内にあるか否かを判定する（Ｓ４３）。

【0054】

類似音声が音声情報Ｖａ内にない場合（Ｓ４３；ｎｏ）、音声ベース単語情報の補正動作は終了となる（終了）。

【0055】

類似音声が音声情報Ｖａ内にある場合（Ｓ４３；ｙｅｓ）、音声検索部２８は、類似音声に対応する単語を音声ベース単語情報ＷＶａから抽出する。音声検索部２８は、抽出された単語を補正対象音声ベース単語情報ＷＶｃとして音声ベース単語情報補正部３０に送信する。

【0056】

音声ベース単語情報補正部３０は、類似音声に対応する単語を補正する（Ｓ４４）。具体的には、音声ベース単語情報補正部３０は、補正対象音声ベース単語情報ＷＶｃ内の単語を、抽出画像ベース単語情報ＷＩｂ内の対応する単語に一致させる。

【0057】

音声ベース単語情報補正部３０は、補正された単語を共通単語情報Ｗとしてストレージ１２に記憶させる（Ｓ４５）。

【0058】

Ｓ４５の処理が終了すると、音声ベース単語情報の補正動作は終了となる（終了）。
（具体例Ａ）
以下では、音声ベース単語情報の補正動作の具体例Ａを示す。

【0059】

具体例Ａでは、音声ベース単語情報ＷＶａは、「本日」、「天気」、「晴天」、「晴朗」、「波」、及び「高い」の６つの単語を含む。画像ベース単語情報ＷＩａは、「本日」、「天気」、「晴天」、「晴朗」、「浪」、及び「高し」の６つの単語を含む。

【0060】

この場合、抽出部２５は、画像ベース単語情報ＷＩａに含まれ、かつ音声ベース単語情報ＷＶａに含まれない「浪」及び「高し」の２つの単語を、抽出画像ベース単語情報ＷＩｂとして抽出する。また、抽出部２５は、音声ベース単語情報ＷＶａ及び画像ベース単語情報ＷＩａに共通する「本日」、「天気」、「晴天」、及び「晴朗」の４つの単語を共通単語情報Ｗとしてストレージ１２に記憶させる。

【0061】

音声化部２６は、「浪」及び「高し」の２つの単語を音声化することにより、画像ベース音声情報Ｖｂを生成する。

【0062】

音声検索部２８は、「浪」及び「高し」と類似する音声が音声情報Ｖａ内にあるか否かを判定する。上述の通り、音声情報Ｖａ内には、「波」及び「高い」に対応する音声がある。このため、音声検索部２８は、「高し」と「高い」に共通する「たか」という音に着目することにより、「高し」に対応する音声が、音声情報Ｖａ内の「高い」に対応する音声と類似すると判定する。一方、音声検索部２８は、「浪（ろう）」と「波（は）」に共通する音がないことにより、「浪」に対応する音声に類似する音声が音声情報Ｖａ内にないと判定する。以上により、音声検索部２８は、「高し」に類似する「高い」という単語を、補正対象音声ベース単語情報ＷＶｃとして抽出する。

【0063】

音声ベース単語情報補正部３０は、「高い」を「高し」に補正する。これにより、音声ベース単語情報補正部３０は、「高し」という単語を共通単語情報Ｗとしてストレージ１２に更に記憶させることができる。

【0064】

１．２．３ 画像ベース単語情報の補正動作の詳細
次に、実施形態に係る情報処理装置における画像ベース単語情報の補正動作の詳細について説明する。
（フローチャート）
図６は、実施形態に係る情報処理装置における画像ベース単語情報の補正動作の一例を示すフローチャートである。図６に示されるＳ６１、Ｓ６２、Ｓ６３、Ｓ６４、及びＳ６５の処理は、図４に示されるＳ６０の処理に含まれる。

【0065】

図６に示すように、音声ベース単語情報ＷＶａに含まれ、かつ画像ベース単語情報ＷＩａに含まれない単語がある場合（開始）、抽出部２５は、画像ベース単語情報ＷＩａに含まれない単語を音声ベース単語情報ＷＶａから抽出する（Ｓ６１）。抽出部２５は、抽出された単語を抽出音声ベース単語情報ＷＶｂとして画像化部２７に送信する。

【0066】

画像化部２７は、Ｓ６１の処理で抽出された単語を画像化する（Ｓ６２）。画像化部２７は、Ｓ６２の処理によって得られた画像を音声ベース画像情報Ｉｂとして画像検索部２９に送信する。

【0067】

画像検索部２９は、Ｓ６２の処理で得られた画像に類似する画像（類似画像）が画像情報Ｉａ内にあるか否かを判定する（Ｓ６３）。

【0068】

類似画像が画像情報Ｉａ内にない場合（Ｓ６３；ｎｏ）、画像ベース単語情報の補正動作は終了となる（終了）。

【0069】

類似画像が画像情報Ｉａ内にある場合（Ｓ６３；ｙｅｓ）、画像検索部２９は、類似画像に対応する単語を画像ベース単語情報ＷＩａから抽出する。画像検索部２９は、抽出された単語を補正対象画像ベース単語情報ＷＩｃとして画像ベース単語情報補正部３１に送信する。

【0070】

画像ベース単語情報補正部３１は、類似画像に対応する単語を補正する（Ｓ６４）。具体的には、画像ベース単語情報補正部３１は、補正対象画像ベース単語情報ＷＩｃ内の単語を、抽出音声ベース単語情報ＷＶｂ内の対応する単語に一致させる。

【0071】

画像ベース単語情報補正部３１は、補正された単語を共通単語情報Ｗとしてストレージ１２に記憶させる（Ｓ６５）。

【0072】

Ｓ６５の処理が終了すると、画像ベース単語情報の補正動作は終了となる（終了）。
（具体例Ｂ）
以下では、画像ベース単語情報の補正動作の具体例Ｂを示す。

【0073】

具体例Ｂでは、音声ベース単語情報ＷＶａは、「相談」、「技術」、「マッチング」、「経歴」、「背景」、及び「知識」の６つの単語を含む。画像ベース単語情報ＷＩａは、「相談」、「技術」、「ペアリング」、「前職」、「背景」、及び「矢口識」の６つの単語を含む。

【0074】

この場合、抽出部２５は、音声ベース単語情報ＷＶａに含まれ、かつ画像ベース単語情報ＷＩａに含まれない「マッチング」、「経歴」、及び「知識」の３つの単語を、抽出音声ベース単語情報ＷＶｂとして抽出する。また、抽出部２５は、音声ベース単語情報ＷＶａ及び画像ベース単語情報ＷＩａに共通する「相談」、「技術」、及び「背景」の３つの単語を共通単語情報Ｗとしてストレージ１２に記憶させる。

【0075】

画像化部２７は、「マッチング」、「経歴」、及び「知識」の３つの単語を画像化することにより、音声ベース画像情報Ｉｂを生成する。

【0076】

画像検索部２９は、「マッチング」、「経歴」、及び「知識」と類似する画像が画像情報Ｉａ内にあるか否かを判定する。上述の通り、画像情報Ｉａ内には、「ペアリング」、「前職」、及び「矢口識」に対応する画像がある。このため、画像検索部２９は、「矢口識」と「知識」との間の形状の類似性に着目することにより、「知識」に対応する画像が、画像情報Ｉａ内の「矢口識」に対応する画像と類似すると判定する。一方、画像検索部２９は、類似する形状を有する画像がないことにより、「マッチング」及び「経歴」の各々に対応する画像に類似する画像が画像情報Ｉａ内にないと判定する。以上により、画像検索部２９は、「知識」に類似する「矢口識」という単語を、補正対象画像ベース単語情報ＷＩｃとして抽出する。

【0077】

画像ベース単語情報補正部３１は、「矢口識」を「知識」に補正する。これにより、画像ベース単語情報補正部３１は、「知識」という単語を共通単語情報Ｗとしてストレージ１２に更に記憶させることができる。

【0078】

１．２．４ 適用範囲
次に、本実施形態に係る相補的な補正動作の適用範囲について説明する。

【0079】

図７は、実施形態に係る情報処理装置における補正動作の適用範囲を示す図である。図７では、画像情報Ｉａ及び音声情報Ｖａから認識される単語がそれぞれ画像ベース単語情報ＷＩａ及び音声ベース単語情報ＷＶａに含まれるか否かに応じて１６通りのパターンが示される。

【0080】

図７に示すように、画像情報Ｉａにおける単語の有無が画像ベース単語情報ＷＩａにおける単語の有無と一致し、かつ音声情報Ｖａにおける単語の有無が音声ベース単語情報ＷＶａにおける単語の有無と一致する場合には、補正動作は不要である。すなわち、本実施形態に係る相補的な補正動作は、１６通りのパターンのうち、４通りのパターンに対して不要である。

【0081】

画像情報Ｉａから認識される単語と画像ベース単語情報ＷＩａに含まれる単語は一致するが、音声情報Ｖａから認識される単語が音声ベース単語情報ＷＶａに含まれない場合、本実施形態に係る音声ベース単語情報の補正動作が適用され得る。これに伴い、画像情報Ｉａから認識される単語と画像ベース単語情報ＷＩａに含まれる単語は一致するが、音声情報Ｖａから認識されない単語が音声ベース単語情報ＷＶａに含まれる場合が、間接的に解消し得る。また、音声情報Ｖａから認識される単語と音声ベース単語情報ＷＶａに含まれる単語は一致するが、画像情報Ｉａから認識される単語が画像ベース単語情報ＷＩａに含まれない場合、本実施形態に係る画像ベース単語情報の補正動作が適用され得る。これに伴い、音声情報Ｖａから認識される単語と音声ベース単語情報ＷＶａに含まれる単語は一致するが、画像情報Ｉａから認識されない単語が画像ベース単語情報ＷＩａに含まれる場合が、間接的に解消し得る。すなわち、本実施形態に係る相補的な補正動作は、１６通りのパターンのうち、４通りのパターンに対して適用可能である。

【0082】

残りの８パターンについては、発生の可能性が低いパターン、及び補正不可のパターンであるため、本実施形態に係る相補的な補正動作の適用範囲外である。しかしながら、これら８つのパターンは、画像認識処理及び音声認識処理の単体での認識精度が向上することにより、上述した相補的な補正動作の適用可能なパターンへとシフトする可能性がある。このため、これら８つのパターンは、本実施形態に係る相補的な補正動作の潜在的な適用対象と言える。

【0083】

このように、本実施形態に係る相補的な補正動作は、画像情報Ｉａ及び音声情報Ｖａからの単語の認識精度向上に広く寄与することが分かる。

【0084】

１．３ 実施形態に係る効果
実施形態によれば、画像認識部２４は、画像情報Ｉａから画像ベース単語情報ＷＩａを認識する。音声認識部２３は、音声情報Ｖａから音声ベース単語情報ＷＶａを認識する。抽出部２５は、音声情報Ｖａに基づく音声ベース単語情報ＷＶａに含まれ、かつ画像情報Ｉａに基づく画像ベース単語情報ＷＩａに含まれない単語を、抽出音声ベース単語情報ＷＶｂとして抽出する。抽出部２５は、画像情報Ｉａに基づく画像ベース単語情報ＷＩａに含まれ、かつ音声情報Ｖａに基づく音声ベース単語情報ＷＶａに含まれない単語を、抽出画像ベース単語情報ＷＩｂとして抽出する。画像ベース単語情報補正部３１は、画像ベース単語情報ＷＩａのうち、抽出音声ベース単語情報ＷＶｂに対応する補正対象画像ベース単語情報ＷＩｃを、抽出音声ベース単語情報ＷＶｂに一致させるように補正する。音声ベース単語情報補正部３０は、音声ベース単語情報ＷＶａのうち、抽出画像ベース単語情報ＷＩｂに対応する補正対象音声ベース単語情報ＷＶｃを、抽出画像ベース単語情報ＷＩｂに一致させるように補正する。これにより、画像情報Ｉａからの文字認識結果と、音声情報Ｖａからの文字認識結果とを、相補的に補完することができる。このため、共通単語情報Ｗの認識率を向上させることができる。

【0085】

具体的には、画像化部２７は、抽出音声ベース単語情報ＷＶｂを音声ベース画像情報Ｉｂに変換する。画像検索部２９は、音声ベース画像情報Ｉｂの類似画像を画像情報Ｉａから検索する。これにより、画像認識処理において誤って認識された単語を、音声情報Ｖａに基づいて変換された画像との比較によって補正することができる。具体例Ｂに沿って説明すると、画像認識処理において「矢口識」と誤って認識された単語を、音声情報Ｖａに基づいて変換された画像との比較によって「知識」という正しい単語に補正することができる。このため、画像に基づく単語の認識精度を、音声を用いて向上させることができる。

【0086】

また、画像検索部２９は、画像情報Ｉａ及び音声ベース画像情報Ｉｂの各々の特徴量を算出する。画像検索部２９は、音声ベース画像情報Ｉｂとの類似度が閾値以上の特徴量を有する画像情報Ｉａの部分を、補正対象画像ベース単語情報ＷＩｃとして抽出する。これにより、画像ベース単語情報ＷＩａ内の「矢口識」と、音声ベース画像情報Ｉｂ内の「知識」のように、画像として互いに類似する単語の組を、補正候補として抽出することができる。

【0087】

また、音声化部２６は、抽出音声ベース単語情報ＷＶｂを音声ベース画像情報Ｉｂに変換する。音声検索部２８は、画像ベース音声情報Ｖｂの類似音声を音声情報Ｖａから検索する。これにより、音声認識処理において誤って認識された単語を、画像情報Ｉａに基づいて変換された音声との比較によって補正することができる。具体例Ａに沿って説明すると、音声認識処理において「高い」という単語を、画像情報Ｉａに基づいて変換された音声との比較によって「高し」という単語に補正することができる。このため、音声に基づく単語の認識精度を、画像を用いて向上させることができる。

【0088】

また、音声検索部２８は、音声情報Ｖａ及び画像ベース音声情報Ｖｂの各々の特徴量を算出する。音声検索部２８は、画像ベース音声情報Ｖｂとの類似度が閾値以上の特徴量を有する音声情報Ｖａの部分を、補正対象音声ベース単語情報ＷＶｃとして抽出する。これにより、音声ベース単語情報ＷＶａ内の「高い」と、画像ベース音声情報Ｖｂ内の「高し」のように、音声として互いに類似する単語の組を、補正候補として抽出することができる。

【0089】

また、情報処理装置１００は、画像ベース単語情報ＷＩａ、及び音声ベース単語情報ＷＶａを、時間に関して独立に使用する。これにより、音声情報Ｖａ及び画像情報Ｉａの同時入力を要することなく、単語の認識精度を向上させることができる。

【0090】

２． その他
なお、上述した実施形態には、種々の変形が適用可能である。

【0091】

例えば、上述した実施形態では、補正動作を実行するプログラムが、情報処理システム１内の情報処理装置１００で実行される場合について説明したが、これに限られない。例えば、補正動作を実行するプログラムは、クラウド上の計算リソースで実行されてもよい。

【0092】

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0093】

１…情報処理システム
１１…制御回路
１２…ストレージ
１３…通信モジュール
１４…ドライブ
１５…記憶媒体
２１…音声受信部
２２…画像受信部
２３…音声認識部
２４…画像認識部
２５…抽出部
２６…音声化部
２７…画像化部
２８…音声検索部
２９…画像検索部
３０…音声ベース単語情報補正部
３１…画像ベース単語情報補正部
１００…情報処理装置
２００，３００…端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】