特許 7373739 音声テキスト変換システムおよび音声テキスト変換装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-26

(45)【発行日】2023-11-06

(54)【発明の名称】音声テキスト変換システムおよび音声テキスト変換装置

(51)【国際特許分類】

   G10L 15/28 20130101AFI20231027BHJP

   G10L 15/30 20130101ALI20231027BHJP

   G06F 3/16 20060101ALI20231027BHJP

【ＦＩ】

G10L15/28 400

G10L15/30

G06F3/16 650

【請求項の数】 13

(21)【出願番号】P 2019103763

(22)【出願日】2019-06-03

(65)【公開番号】P2020197629

(43)【公開日】2020-12-10

【審査請求日】2022-06-01

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】田坂 啓

(72)【発明者】

【氏名】中尾 克

(72)【発明者】

【氏名】国本 浩

(72)【発明者】

【氏名】西郷 賀津雄

【審査官】大石 剛

(56)【参考文献】

【文献】特開２００２－２５８７２９（ＪＰ，Ａ）

【文献】特開２０１４－１９１２３８（ＪＰ，Ａ）

【文献】特開２０００－２５０５７７（ＪＰ，Ａ）

【文献】特開２００４－２７９７６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／２８

Ｇ１０Ｌ １５／３０

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

音声を収音する受音器が接続された端末装置とサーバとの間で通信可能な音声テキスト変換システムであって、
前記端末装置は、
前記受音器により収音された前記音声の音声信号を前記サーバに送信し、
前記サーバは、
前記端末装置から受信された前記音声信号のスペクトル特性のうち高周波数成分と低周波数成分との比率に基づいて、前記音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別し、
前記音声が前記骨導音声の場合、
前記骨導音声を前記気導音声に変換し、
前記気導音声をテキスト情報に変換し、
変換された前記テキスト情報を出力する、
音声テキスト変換システム。

【請求項2】

音声を収音する受音器が接続された端末装置とサーバとの間で通信可能な音声テキスト変換システムであって、
前記端末装置は、
前記受音器により収音された前記音声の音声信号を前記サーバに送信し、
前記サーバは、
前記端末装置から受信された前記音声信号を受信した際に、前記受音器における電圧降下値に基づいて、前記音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別し、
前記音声が前記骨導音声の場合、
前記骨導音声を前記気導音声に変換し、
前記気導音声をテキスト情報に変換し、
変換された前記テキスト情報を出力する、
音声テキスト変換システム。

【請求項3】

前記音声が前記気導音声の場合、前記気導音声をテキスト情報に変換し、変換された前記テキスト情報を出力する、
請求項１または２に記載の音声テキスト変換システム。

【請求項4】

前記受音器は、前記骨導音声を取得する骨導マイクロホンまたは前記気導音声を取得する気導マイクロホンのいずれか一方を備える、
請求項１～３のいずれか１項に記載の音声テキスト変換システム。

【請求項5】

前記サーバは、前記受音器により収音された前記音声が前記骨導音声の場合、前記音声が前記骨導音声であることを示す識別子を前記音声信号に付与する、
請求項１または２に記載の音声テキスト変換システム。

【請求項6】

前記サーバは、前記識別子の有無に基づいて、前記音声が前記骨導音声または前記気導音声であるかを判別する、
請求項５に記載の音声テキスト変換システム。

【請求項7】

前記識別子は、前記音声と異なる周波数帯域の音源の音声信号である、
請求項５に記載の音声テキスト変換システム。

【請求項8】

前記サーバは、前記骨導音声を前記気導音声に変換するための学習モデルを有し、
前記学習モデルは、前記骨導マイクロホンと前記気導マイクロホンとから同時に収音された前記音声に基づいて、前記骨導音声および前記気導音声のそれぞれの特徴量を抽出し、抽出された前記骨導音声の特徴量を前記気導音声の特徴量に変換する、
請求項４に記載の音声テキスト変換システム。

【請求項9】

前記サーバは、前記気導音声をデータベースとする音響モデルを用いて音声認識する、
請求項１～３のいずれか１項に記載の音声テキスト変換システム。

【請求項10】

音声を収音する受音器が接続された端末装置とサーバとの間で通信可能な音声テキスト変換システムであって、
前記端末装置は、
前記受音器により収音された前記音声の音声信号を前記サーバに送信し、
前記サーバは、
前記端末装置から受信された前記音声信号に基づいて、前記音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別し、
前記音声が前記骨導音声の場合、
前記骨導音声に基づいて変換された前記気導音声を第１のテキスト情報に変換する第１の音声認識処理と、前記骨導音声を第２のテキスト情報に変換する第２の音声認識処理とを実行し、
前記第１のテキスト情報および前記第２のテキスト情報のそれぞれにおける信頼度を判定して比較し、前記信頼度が高い方のテキスト情報を出力する、
音声テキスト変換システム。

【請求項11】

音声を収音する受音器との間で通信可能な音声テキスト変換装置であって、
前記受音器により収音された前記音声のスペクトル特性のうち高周波数成分と低周波数成分との比率に基づいて、前記音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別する音声判別部と、
前記骨導音声を前記気導音声に変換する音声変換部と、
前記気導音声をテキスト情報に変換する音声認識部と、
変換された前記テキスト情報を出力する出力部と、を備える、
音声テキスト変換装置。

【請求項12】

音声を収音する受音器との間で通信可能な音声テキスト変換装置であって、
前記受音器により収音された前記音声を受信した際の、前記受音器における電圧降下値に基づいて、前記音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別する音声判別部と、
前記骨導音声を前記気導音声に変換する音声変換部と、
前記気導音声をテキスト情報に変換する音声認識部と、
変換された前記テキスト情報を出力する出力部と、を備える、
音声テキスト変換装置。

【請求項13】

音声を収音する受音器との間で通信可能な音声テキスト変換装置であって、
前記受音器により収音された前記音声が、ユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別する音声判別部と、
前記骨導音声を前記気導音声に変換する音声変換部と、
前記気導音声をテキスト情報に変換し、前記骨導音声に基づいて変換された前記気導音声を第１のテキスト情報に変換する第１の音声認識処理と、前記骨導音声を第２のテキスト情報に変換する第２の音声認識処理とを実行する音声認識部と、
前記第１のテキスト情報および前記第２のテキスト情報のそれぞれにおける信頼度を判定して比較し、前記信頼度が高い方のテキスト情報を出力する出力部と、を備える、
音声テキスト変換装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音声テキスト変換システムおよび音声テキスト変換装置に関する。

【背景技術】

【0002】

特許文献１には、騒音を低減し、聞き取りやすい音声信号を生成できる音声補正装置が提案されている。この音声補正装置は、空気の振動を用いて気導音を収音する気導マイクと、ユーザの骨の振動を用いて骨導音を収音する骨伝導マイクと、気導音でのユーザの音声の雑音に対する比率を算出する算出部と、骨導音の周波数スペクトルを、比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を記憶する記憶部と、骨導音を、補正係数を用いて補正する補正部と、比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する生成部と、を備える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２３９３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、上述した従来の事情に鑑みて案出され、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる音声テキスト変換システムおよび音声テキスト変換装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示は、音声を収音する受音器が接続された端末装置とサーバとの間で通信可能な音声テキスト変換システムであって、前記端末装置は、前記受音器により収音された前記音声の音声信号を前記サーバに送信し、前記サーバは、前記端末装置から受信された前記音声信号のスペクトル特性のうち高周波数成分と低周波数成分との比率に基づいて、前記音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別し、前記音声が前記骨導音声の場合、前記骨導音声を前記気導音声に変換し、前記気導音声をテキスト情報に変換し、変換された前記テキスト情報を出力する、音声テキスト変換システムを提供する。

【0006】

また、本開示は、音声を収音する受音器との間で通信可能な音声テキスト変換装置であって、前記受音器により収音された前記音声のスペクトル特性のうち高周波数成分と低周波数成分との比率に基づいて、前記音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介した前記ユーザの鼓膜の振動に基づく気導音声のいずれかを判別する音声判別部と、前記骨導音声を前記気導音声に変換する音声変換部と、前記気導音声をテキスト情報に変換する音声認識部と、変換された前記テキスト情報を出力する出力部と、を備える、音声テキスト変換装置を提供する。

【発明の効果】

【0007】

本開示によれば、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る音声テキスト変換システムのユースケース例を示す図

【図2】実施の形態１に係る音声テキスト変換システムの内部構成例を示すブロック図

【図3A】骨導マイクロホンの使用例を示す図

【図3B】気導マイクロホンの使用例を示す図

【図4】実施の形態１に係る音声テキスト変換システムの動作手順例を示すシーケンス図

【図5】実施の形態１に係る音声テキスト変換システムの音声判別手順例を示すフローチャート

【図6A】実施の形態１に係る音声テキスト変換システムの音声認識例１を示す図

【図6B】実施の形態１に係る音声テキスト変換システムの音声認識例２を示す図

【図7】音声テキスト変換装置の一例を示す図

【発明を実施するための形態】

【0009】

（実施の形態１の内容に至る経緯）
特許文献１には、収音された気導音におけるユーザの音声の雑音に対する比率（ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ））に基づいて、骨伝導マイクによって収音された骨導音を補正する音声補正装置が提案されている。この音声補正装置は、比率が第１の閾値以上となる場合に、補正係数（例えば、気導マイクロホンで得られた信号強度を骨導マイクロホンから得られた信号強度で割った値）を用いて骨導音の周波数スペクトルを気導音中の周波数スペクトルに一致させる。音声補正装置は、比率が第２の閾値より小さくなるまで補正を繰り返し、補正後の骨導音から出力信号を生成する。しかし、上述した音声補正装置は、骨導マイクロホンと気導音マイクロホンとを同時に使用して音声を収音する必要があり、一方のマイクロホンによって収音された音声を補正することは困難だった。

【0010】

そこで、以下の各種の実施の形態においては、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる音声テキスト変換システムおよび音声テキスト変換装置の例を説明する。

【0011】

以下、適宜図面を参照しながら、本開示に係る音声テキスト変換システムおよび音声テキスト変換装置の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0012】

（実施の形態１）
図１は、実施の形態１に係る音声テキスト変換システム１００のユースケース例を示す図である。音声テキスト変換システム１００は、受音器１と、端末装置２と、サーバ３と、を含んで構成される。受音器１には、骨導マイクロホンＭＣ１または気導マイクロホンＭＣ２のいずれか一方が接続される。

【0013】

受音器１は、端末装置２との間で有線通信可能に接続された骨導ヘッドセットであり、マイク接続端子１１と、スピーカ（不図示）と、を含んで構成される。マイク接続端子１１は、骨導マイクロホンＭＣ１と気導マイクロホンＭＣ２とを切り替えて接続可能に構成される。受音器１は、接続されたマイクロホンにより収音されたアナログ音声信号（例えば、骨導マイクロホンＭＣ１により収音された骨導音声、または気導マイクロホンＭＣ２により収音された気導音声に基づいて変換されたアナログ音声信号）を端末装置２に送信する。また、受音器１が備えるスピーカは、骨伝導スピーカ（不図示）である。

【0014】

骨導マイクロホンＭＣ１は、ユーザの声帯付近に装着され、声帯の振動（骨導音声）を収音する圧電素子を有して構成される。骨導マイクロホンＭＣ１は、収音された声帯の振動に伴う機械的応力から電位を発生させ、電位を音声信号（つまり、アナログ音声信号）に変換する。なお、骨導マイクロホンＭＣ１は、声帯付近に限らず、例えば頬骨弓部上に装着され、声帯の振動が伝播した鼻腔音の振動を拾ってもよい。

【0015】

骨導マイクロホンＭＣ１は、収音された骨導音声（振動）を増幅する増幅器（不図示）を内蔵し、骨導音声の振動を増幅する。これにより、骨導マイクロホンＭＣ１によって変換されるアナログ音声信号は、増幅器によって利得が上げられているため、デジタル信号変換の際の電圧降下が、気導マイクロホンＭＣ２よりも大きくなる。したがって、端末装置２およびサーバ３は、受信されたアナログ音声信号またはデジタル音声信号の電圧値を検出することにより、音声信号が骨伝導音を変換したものであるか、または気導音声を変換したものであるかを判別することができる。

【0016】

また、骨導マイクロホンＭＣ１は、ユーザの声帯付近に装備され、気導マイクロホンＭＣ２よりも優れた耐騒音性を有している。よって、骨導マイクロホンＭＣ１は、例えば８０～９０ｄＢの騒音が発生する工事現場または高架下などであってもユーザの音声を収音することができる。

【0017】

気導マイクロホンＭＣ２は、空気を伝搬するユーザの気導音声を音声信号（つまり、アナログ音声信号）に変換する。また、気導マイクロホンＭＣ２は、無指向性マイクロホン、単一指向性マイクロホンまたは相指向性マイクロホンのいずれであってもよいし、またはこれらを組み合わせて複数の種類のマイクのそれぞれとして区別されてもよい。

【0018】

骨伝導スピーカ（不図示）は、音声信号を機械的振動に変換してその振動をユーザの皮膚、頭蓋骨を経由して伝播させ、聴覚神経に伝える。即ち、通常のスピーカは空気の振動で伝えられた音（気導音）を聴くのに対し、骨伝導スピーカは骨の振動で伝えられた音（骨導音）を聴く。また、骨伝導スピーカにより骨伝導で伝わる音声は、外部雑音の影響をほとんど受けない。即ち、骨伝導スピーカを備える受音器１は、外部の騒音を拾いにくいため、耐騒音性を高めることができる。さらに、骨導マイクロホンＭＣ１を備える受音器１は、口元が完全にオープンとなる。これにより、受音器１は、例えばユーザが防塵・防毒マスクなどを併用しても通常に通信が可能となる。

【0019】

端末装置２は、例えば、スマートフォン、タブレット端末あるいはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であり、受音器１との間で有線通信可能に接続される。また、端末装置２は、サーバ３との間でネットワークＮＷ１を介して無線通信可能に接続される。端末装置２は、受音器１から受信されたアナログ音声信号をデジタル音声信号に変換し、サーバ３に送信する。また、端末装置２は、アナログ音声信号に基づいてテキストに変換されたテキスト情報、あるいはテキスト情報に基づいて変換された音声信号を受信する。

【0020】

ネットワークＮＷ１は、無線ネットワークである。無線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、４Ｇ（第４世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａｄｖａｎｃｅｄ、５Ｇ（第５世代移動通信方式）、Ｗｉ－ｆｉ（登録商標）、またはＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ）である。

【0021】

サーバ３は、端末装置２との間でネットワークＮＷ１を介して無線通信可能に接続される。サーバ３は、受信されたデジタル音声信号をテキスト情報に変換して端末装置２に送信する。また、サーバ３は、変換したテキスト情報に基づいて再度デジタル音声信号に変換し、端末装置２に送信する。

【0022】

図２は、実施の形態１に係る音声テキスト変換システム１００の内部構成例を示すブロック図である。受音器１については、図１を参照して説明したため、詳細な説明を省略する。

【0023】

まず、端末装置２の内部構成例について説明する。端末装置２は、通信部２０と、プロセッサ２１と、メモリ２２と、Ａ／Ｄ（Ａｎａｌｏｇ―ｔｏ―Ｄｉｇｉｔａｌ）変換部２３と、を含んで構成される。

【0024】

通信部２０は、ネットワークＮＷ１を介してサーバ３と通信可能に接続される。通信部２０は、Ａ／Ｄ変換部２３によって変換されたデジタル音声信号をサーバ３に送信し、テキスト情報またはテキスト情報に基づいて生成されたデジタル音声信号をサーバ３から受信する。

【0025】

プロセッサ２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成されて、メモリ２２と協働して、各種の処理および制御を行う。具体的には、プロセッサ２１はメモリ２２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。各部の機能は、例えば、受音器１から受信されたアナログ音声信号をデジタル音声信号に変換する機能などである。

【0026】

メモリ２２は、例えばプロセッサ２１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ２１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ２１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ２１の動作を規定するプログラムが書き込まれている。また、メモリ２２は、サーバ３に送信されたデジタル音声信号およびサーバ３から受信されたテキスト情報を記憶する。

【0027】

Ａ／Ｄ変換部２３は、受音器１から受信されたアナログ音声信号をデジタル音声信号に変換する。Ａ／Ｄ変換部２３は、変換したデジタル音声信号を、ネットワークＮＷ１を介してサーバ３に送信する。また、Ａ／Ｄ変換部２３は、受音器１からアナログ音声信号を受信した際の電圧降下によって降下した電圧値を測定する。測定された電圧値の情報は、サーバ３に送信される。

【0028】

次に、サーバ３の内部構成例について説明する。サーバ３は、通信部３０と、プロセッサ３１と、メモリ３２と、音声判別部３３と、音声変換部３４と、音声認識部３５と、出力部３６と、記憶部３７と、テキスト音声変換部３８と、を含んで構成される。なお、テキスト音声変換部３８は、必須の構成でなく、省略されても端末装置２に備えられてもよい。

【0029】

通信部３０は、ネットワークＮＷ１を介して端末装置２と通信可能に接続される。通信部３０は、デジタル音声信号を端末装置２から受信し、テキスト情報またはテキスト情報に基づいて生成されたデジタル音声信号を端末装置２に送信する。

【0030】

プロセッサ３１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成されて、メモリ３２と協働して、各種の処理および制御を行う。具体的には、プロセッサ３１はメモリ３２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。各部の機能は、例えば、デジタル音声信号が骨導音声または気導音声のどちらであるかを判定する機能、およびデジタル音声信号を予め生成されている学習データに基づいてテキスト情報に変換する機能などである。

【0031】

メモリ３２は、例えばプロセッサ３１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、プロセッサ３１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、プロセッサ３１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、プロセッサ３１の動作を規定するプログラムが書き込まれている。また、メモリ３２は、学習データ、音響モデル、発音辞書、言語モデル、認識デコーダなどを記憶する。

【0032】

音声判別部３３は、端末装置２からデジタル音声信号と降下した電圧値の情報とを受信し、電圧値の情報に基づいて、デジタル音声信号の基となる音声が骨導音声あるいは気導音声であるかを判別する。

【0033】

音声判別部３３は、デジタル音声信号が骨導音声に基づいて変換された音声信号であると判別した場合には、識別子を付与する。識別子は、例えば、人の音声とは異なる周波数帯域の人工音、あるいは特定の識別信号（例えば、「１１００１１」）などである。音声判別部３３は、電圧値の情報が所定の閾値以下であり、さらに識別子が付与されていると判別すると、デジタル音声信号の基となる音声が骨導音声であることを示す判別結果を音声変換部３４に出力する。

【0034】

また、音声判別部３３は、デジタル音声信号のスペクトル特性のうち、高周波数帯域（例えば、１００１～８０００Ｈｚ）における信号レベル（ｄＢ）に対する低周波数帯域（例えば、０～１０００Ｈｚ）における信号レベル（ｄＢ）の比率を算出し、この比率に基づいて、デジタル音声信号の基となる音声が骨導音声あるいは気導音声であるかを判別してよい。骨導音声は、ユーザの音声による振動を、体内を通じて収音するため、体内減衰により高周波数帯域において信号レベルが小さくなる。よって、音声判別部３３は、比率の値が小さいほど低周波数帯域における信号レベルが高周波数帯域における信号レベルに対する相対的な減衰が小さい場合には気導音声と判別し、相対的な減衰が大きい場合には骨導音声と判別する。

【0035】

なお、上述した比率に基づくデジタル音声信号の基となる音声の判別方法は、ユーザによる個人差および環境差によって得られるスペクトル特性が変化する。よって、音声判別部３３は、予め収集された複数のスペクトル特性に基づいて生成された判別データがメモリ３２に記憶されている場合には、スペクトル特性とこの判別データとを用いてデジタル音声信号の基となる音声が骨導音声あるいは気導音声であるかを判別してもよい。

【0036】

音声変換部３４は、音声判別部３３より入力されたデジタル音声信号が骨導音声の場合には、予め生成された学習モデルを用いて骨導音声の特徴量を気導音声の特徴量にマッピングすることにより、骨導音声のデジタル音声信号を気導音声のデジタル音声信号に変換する。学習モデルは、メモリ３２に予め記憶されており、骨導マイクロホンＭＣ１と気導マイクロホンＭＣ２とから同時に収音した音声から骨導音声および気導音声の特徴量をそれぞれ抽出し、骨導音声の特徴量を気導音声の特徴量にマッピングすることにより生成される。なお、音声の特徴量は、例えば基本周波数（声の高さ）、音声信号のスペクトル特性（声質）、非周期信号（声のかすれ）などの情報である。音声変換部３４は、変換後の気導音声を音声認識部３５に出力する。なお、音声変換部３４は、音声判別部３３により入力されたデジタル音声信号が気導音声の場合には、そのまま音声認識部３５に出力する。

【0037】

音声認識部３５は、例えば音声認識エンジンであり、気導マイクロホンＭＣ２によって収音された音声をデータベースとする音響モデルを用いて、音声変換部３４より入力された気導音声のデジタル音声信号に含まれる音素（例えば、／ａ／，／ｋ／など）を判別する。なお、音響モデルは、気導マイクロホンＭＣ２によって収音された数千人、数千時間の音声の周波数特性および時間特性を統計処理して予め生成され、メモリ３２に記憶される。

【0038】

また、音声認識部３５は、言語モデルを用いて、音声変換部３４より入力された気導音声のデジタル音声信号に含まれる文字列または単語列が言語として適切か否かを評価する。言語モデルは、各国の言語におけるテキストを収集し、統計処理されて生成される。具体的には、言語モデルは、自然言語処理などを実行し、文の品詞および統語構造、単語同士あるいは文書同士の関係性などを定式化したものであり、統計学的な観点から確率的に定められる。言語モデルは、例えばＮグラムモデル、隠れマルコフモデル、最大エントロピーモデルなどであり、メモリ３２に記憶される。

【0039】

音声認識部３５は、音響モデルを用いて判別されたデジタル音声信号に含まれる音素と言語モデルを用いて評価された文字列または単語列とを、発音辞書に基づいて音素を結びつけて単語発話（例えば、／ｓａｋｕｒａ／）を構成し、認識デコーダによって音響的かつ言語的に最も適合する言語表現を解読してテキスト情報に変換される。なお、発音辞書は、音響モデルと言語モデルとを結びつけるためのデータであり、メモリ３２に記憶される。認識デコーダは、所謂解読装置であり、音響モデル、発音辞書および言語モデルを用いて音声信号をその発話内容に対応する言語表現に解読して変換する処理を実行する。音声認識部３５は、認識デコーダにより変換されたテキスト情報を出力部３６に出力する。

【0040】

また、上述した気導音声に変換された骨導音声をテキスト情報に変換する処理を第１の音声認識処理として、音声認識部３５は、骨導音声をテキスト情報に変換する第２の音声認識処理を実行してもよい。この場合、音声変換部３４は、音声判別部３３から入力されたデジタル音声信号が骨導音声であると判別すると、骨導音声と骨導音声から音声変換した気導音声とを音声認識部３５に出力する。

【0041】

音声認識部３５は、変換された第１のテキスト情報と第２のテキスト情報とに対して信頼度を判定し、より高い信頼度を有するテキスト情報を出力部３６に出力する。音声認識部３５は、テキスト情報に対して単語信頼度に基づく信頼度の判定を実行する。具体的には、音声認識部３５は、認識デコーダにより音声信号を第１のテキスト情報および第２のテキスト情報のそれぞれに変換する際に用いられた音響モデルと言語モデルとに基づいて、単語信頼度を判定する。音声認識部３５は、テキスト情報に含まれる各単語に対して近い他の候補の単語が存在するか否かを判定し、その単語に似たスコアを有する他の候補がなければ信頼度が高いと判定し、その単語に同程度のスコアを有する他の候補が多いほど信頼度が低いと判定する。音声認識部３５は、より信頼度が高い方のテキスト情報を出力部３６に出力する。

【0042】

出力部３６は、音声認識部３５より入力されたテキスト情報を記憶部３７およびテキスト音声変換部３８に出力し、通信部３０に出力する。通信部３０は、ネットワークＮＷ１を介してテキスト情報を端末装置２に送信する。

【0043】

記憶部３７は、所謂ストレージであり、音声認識部３５によって変換されたテキスト情報を記憶する。また、記憶部３７は、端末装置ごと（つまり、ユーザごと）にテキスト情報を記憶してもよい。

【0044】

テキスト音声変換部３８は、出力部３６より入力されたテキスト情報を音声信号に変換する。変換された音声信号は、ネットワークＮＷ１を介して端末装置２に送信され、再生される。これにより、ユーザは、発話内容が正しくテキスト情報に変換されたか否かを音声によって確認することができる。また、この音声信号は、一度テキスト情報に変換されたことでノイズレスの音声信号として生成されるため、より聞き取りやすい音声となる。したがって、ユーザは、ノイズが低減された音声を再生することができる。

【0045】

また、テキスト音声変換部３８は、ユーザの音声データに基づいて生成された音響モデルを用いた音声合成エンジンを有してもよい。これにより、テキスト音声変換部３８は、ユーザの音声に変換して音声信号を再生することができる。

【0046】

以上により、音声テキスト変換システム１００は、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【0047】

図３Ａおよび図３Ｂを参照して、受音器１の使用例を説明する。図３Ａは、骨導マイクロホンＭＣ１の使用例を示す図である。図３Ｂは、気導マイクロホンＭＣ２の使用例を示す図である。

【0048】

受音器１は、骨導マイクロホンＭＣ１あるいは気導マイクロホンＭＣ２のいずれか一方を、マイク接続端子１１に接続して使用される。骨導マイクロホンＭＣ１は、ユーザの声帯付近に接触して装着されて使用される。また、気導マイクロホンＭＣ２は、ユーザの口の前に位置するように配置されて使用される。

【0049】

図４は、実施の形態１に係る音声テキスト変換システム１００の動作手順例を示すシーケンス図である。なお、図４において、ネットワークＮＷ１の図示は省略されている。

【0050】

受音器１は、接続された骨導マイクロホンＭＣ１あるいは気導マイクロホンＭＣ２のいずれか一方のマイクロホンを用いて、ユーザの音声を収音してアナログ音声信号に変換する（Ｔ１）。

【0051】

受音器１は、アナログ音声信号を端末装置２に送信する（Ｔ２）。

【0052】

端末装置２は、受信されたアナログ音声信号をデジタル音声信号に変換する（Ｔ３）。なお、端末装置２は、アナログ信号を受信した際の電圧降下に基づいて、降下した電圧値を測定する。

【0053】

端末装置２は、変換したデジタル音声信号を、ネットワークＮＷ１を介してサーバ３に送信する（Ｔ４）。また、端末装置２は、測定された電圧値の情報を、ネットワークＮＷ１を介してサーバ３に送信する。

【0054】

サーバ３は、端末装置２から受信した電圧降下に基づく電圧値の情報に基づいて、デジタル音声信号の基となる音声が骨導音声か否かを判別する（Ｔ５）。また、ステップＴ５の処理においてサーバ３は、デジタル音声信号の基となる音声が骨導音声である場合、デジタル音声信号に識別子を付与する。

【0055】

サーバ３は、ステップＴ５の処理の結果、骨導音声である場合には気導音声のデジタル音声信号に変換する（Ｔ６）。なお、サーバ３は、気導音声である場合には何の処理も実行しない。

【0056】

サーバ３は、気導音声を音声認識してテキスト情報に変換する（Ｔ７）。なお、図４には示していないが、さらにサーバ３は、テキスト情報に基づいて音声信号を生成してもよい。

【0057】

サーバ３は、変換されたテキスト情報を、ネットワークＮＷ１を介して端末装置２に送信する（Ｔ８）。なお、サーバ３は、ステップＴ７の処理においてさらに音声信号を生成する場合には、生成された音声信号とテキスト情報とのうち少なくとも一方を端末装置２に送信する。

【0058】

端末装置２は、テキスト情報を受信する（Ｔ９）。受信されたテキスト情報は、端末装置２に表示されてもよいし、さらに音声信号に変換されて受音器１に送信されてもよい。

【0059】

図５は、実施の形態１に係る音声テキスト変換システム１００の音声判別手順例を示すフローチャートである。図５に示す音声判別処理は、サーバ３における音声判別部３３によって実行される。

【0060】

音声判別部３３は、端末装置２よりデジタル音声信号を受信する（Ｓｔ１）。また、音声判別部３３は、この際に電圧降下により降下した電圧値の情報を受信する。

【0061】

音声判別部３３は、端末装置２より受信された電圧降下により降下した電圧値の情報に基づいて、電圧値が閾値Ｔｈ以下であるか否かを判定する（Ｓｔ２）。

【0062】

音声判別部３３は、ステップＳｔ２の処理において、降下した電圧値が閾値Ｔｈ以下の場合（Ｓｔ２，ＹＥＳ）には、デジタル音声信号に識別子を付与する（Ｓｔ３）。

【0063】

音声判別部３３は、デジタル音声信号に識別子があるか否かを判別する（Ｓｔ４）。これにより、音声判別部３３は、デジタル音声信号の基となる音声が気導音声であるにも関わらず、降下した電圧値が大きくなってしまった場合に骨導音声と誤判別する可能性を低くすることができる。

【0064】

音声判別部３３は、ステップＳｔ４の処理において、識別子が付与されている場合（Ｓｔ４，ＹＥＳ）には、デジタル音声信号の基となる音声が骨導音声であると判定する（Ｓｔ５）。

【0065】

音声判別部３３は、ステップＳｔ４の処理において、識別子が付与されていない場合（Ｓｔ４，ＮＯ）には、デジタル音声信号の基となる音声が気導音声であると判定する（Ｓｔ６）。

【0066】

以上により、音声テキスト変換システム１００は、音声判別処理を終了する。

【0067】

図６Ａおよび図６Ｂを参照して、実施の形態１に係る音声テキスト変換システム１００によって実行された音声認識結果の一例について説明する。図６Ａは、実施の形態１に係る音声テキスト変換システム１００の音声認識例１を示す図である。図６Ｂは、実施の形態１に係る音声テキスト変換システム１００の音声認識例２を示す図である。図６Ａおよび図６Ｂでは、骨導音声、気導音声、学習モデルを用いて骨度音声から変換された気導音声のそれぞれを音声認識した音声認識結果の一例を示す。発話内容Ｕ１１，Ｕ１２のそれぞれは、ユーザによって実際に発話された音声である。

【0068】

発話内容Ｕ１１は、「テレビ ゲーム や パソコンで ゲーム を して 遊ぶ」である。音声認識結果Ａｎ１１は、骨導音声に基づいて音声認識を実行して得られた結果であり、「テレビ ゲーム や 若く 音 で、 ゲーム を し て 遊ぶ」というテキスト情報に変換される。音声認識結果Ａｎ２１は、気導音声に基づいて音声認識を実行して得られた結果であり、「あれ は テレビ ゲーム や パソコン で ワン ゲーム を し て 遊ぶ なあ」というテキスト情報に変換される。音声認識結果Ａｎ３１は、学習モデルを用いて骨導音声から変換された気導音声に基づいて音声認識を実行して得られた結果であり、「テレビ ゲーム や パソコンで ゲーム を し て 遊ぶ」というテキスト情報に変換される。

【0069】

発話内容Ｕ１２は、「あらゆる 現実を すべて 自分の方へ ねじ曲げたのだ」である。音声認識結果Ａｎ１２は、骨導音声に基づいて音声認識を実行して得られた結果であり、「あらゆる 現 Ｆ を、ら すべて 自分 の 方 へ、 ねじ曲げ た の だ」というテキスト情報に変換される。音声認識結果Ａｎ２２は、気導音声に基づいて音声認識を実行して得られた結果であり、「うーん あらゆる 現実 を ら すべて の 主婦 の 方 へ、 ねじ曲げ た の だろ う」というテキスト情報に変換される。音声認識結果Ａｎ３２は、学習モデルを用いて骨導音声から変換された気導音声に基づいて音声認識を実行して得られた結果であり、「あらゆる 現実 を、 すべて 自分 の 方 へ、 ねじ曲げ た の だ」というテキスト情報に変換される。

【0070】

以上により、音声テキスト変換システム１００は、学習モデルを用いて骨導音声を気導音声に変換することにより、ユーザの発話内容を類似する音声認識結果（テキスト情報）を得ることができる。

【0071】

また、音声テキスト変換システム１００は、音声認識結果（テキスト情報）を用いることにより、ノイズを低減した音声信号を生成することができる。

【0072】

また、実施の形態１に係る音声テキスト変換システム１００について、その他の実施例について説明する。

【0073】

端末装置２は、図２に示す内部構成例に限定されない。端末装置２は、例えば、サーバ３の構成を含んで構成されてもよい。この場合、音声テキスト変換装置１００Ａは、ネットワークＮＷ１およびサーバ３が不要となり省略することができる。以下、図７を参照して説明する。

【0074】

図７は、音声テキスト変換装置１００Ａの一例を示す図である。なお、図７に示す音声テキスト変換装置１００Ａの構成は、実施の形態１に係る音声テキスト変換システム１００において説明した構成が有する機能と略同一の機能を有するため、同一の構成については同一の符号を付与して説明を省略する。

【0075】

図７に示す音声テキスト変換装置１００Ａは、受音器１と、端末装置２と、を含んで構成される。端末装置２は、さらに音声判別部３３と、音声変換部３４と、音声認識部３５と、出力部３６と、記憶部３７と、テキスト音声変換部３８と、を含んで構成される。なお、テキスト音声変換部３８は必須の構成でなく、省略されてもよい。また、端末装置２は、さらにテキスト情報を表示する表示部（不図示）などを備えてもよい。

【0076】

以上により、実施の形態１に係る音声テキスト変換システム１００は、音声を収音する受音器１が接続された端末装置２とサーバ３との間が通信可能であり、端末装置２は、受音器により収音された音声の音声信号をサーバ３に送信し、サーバ３は、端末装置２から受信された音声信号に基づいて、音声がユーザの声帯の振動に基づく骨導音声あるいは空気を介したユーザの鼓膜の振動に基づく気導音声のいずれかを判別し、骨導音声を気導音声に変換し、気導音声をテキスト情報に変換し、変換されたテキスト情報を出力する。

【0077】

これにより、実施の形態１に係る音声テキスト変換システム１００は、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【0078】

また、音声テキスト変換システム１００は、音声が気導音声の場合、気導音声をテキスト情報に変換し、変換されたテキスト情報を出力する。これにより、実施の形態１に係る音声テキスト変換システム１００は、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【0079】

また、受音器１は、骨導音声を取得する骨導マイクロホンＭＣ１または気導音声を取得する気導マイクロホンＭＣ２のいずれか一方を備える。これにより、音声テキスト変換システム１００は、複数の種類のマイクロホンを接続可能であり、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【0080】

また、サーバ３は、音声信号のスペクトル特性のうち高周波数成分と低周波数成分との比率に基づいて、音声信号が骨導音声あるいは気導音声のいずれかを判別する。これにより、音声テキスト変換システム１００は、音声信号の基となる音声が骨導音声あるいは気導音声のいずれかを判別可能であり、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【0081】

また、サーバ３は、端末装置２から音声信号を受信した際に降下する電圧値（つまり、電圧降下値）に基づいて、音声信号が骨導音声あるいは気導音声のいずれかを判別する。これにより、音声テキスト変換システム１００は、音声信号の基となる音声が骨導音声あるいは気導音声のいずれかを判別可能であり、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【0082】

また、サーバ３は、受音器１により収音された音声が骨導音声の場合、音声信号に前記音声が骨導音声であることを示す識別子を付与する。これにより、音声テキスト変換システム１００は、音声信号の基となる音声が骨導音声であることを、より明確にしてその後の処理を実行できる。

【0083】

また、サーバ３は、識別子が付与されているか否かに基づいて、音声が骨導音声または気導音声であるかを判別する。これにより、音声テキスト変換システム１００は、音声信号の基となる音声が骨導音声であることをより確実に判別できる。また、音声テキスト変換システム１００は、デジタル音声信号の基となる音声が気導音声であるにも関わらず、降下した電圧値が大きくなってしまった場合に骨導音声と誤判別する可能性を低くすることができる。

【0084】

また、識別子は、音声と異なる周波数帯域の音源である。これにより、音声テキスト変換システム１００は、ユーザの音声を損なうことなく識別子を付与することができ、さらに誤判別する可能性を低くすることができる。

【0085】

また、サーバ３は、骨導音声を気導音声に変換するための学習モデルを有し、学習モデルは、骨導マイクロホンと気導マイクロホンとから同時に収音された音声に基づいて、骨導音声と気導音声の特徴量をそれぞれ抽出する。サーバ３は、抽出された骨導音声の特徴量を気導音声の特徴量に変換する。これにより、音声テキスト変換システム１００は、効率的な音声認識を実行することができるとともに、気導音声の特徴量に変換する際に骨導音声特有の雑音を除去することができる。

【0086】

また、サーバ３は、気導音声をデータベースとする音響モデルを用いて音声認識する。これにより、音声テキスト変換システム１００は、効率的な音声認識を実行することができる。

【0087】

また、サーバ３は、受音器１により収音された音声が骨導音声の場合に、骨導音声に基づいて変換された気導音声を第１のテキスト情報に変換する第１の音声認識処理と、骨導音声を第２のテキスト情報に変換する第２の音声認識処理とを実行する。サーバ３は、第１のテキスト情報および第２のテキスト情報のそれぞれにおける信頼度を判定して比較し、信頼度が高い方のテキスト情報を出力する。これにより、音声テキスト変換システム１００は、受音器１によって収音された音声をより正確にテキスト情報に変換できる。

【0088】

実施の形態１の変形例に係る音声テキスト変換装置１００Ａは、音声を収音する受音器１との間で通信可能な音声テキスト変換装置１００Ａであって、受音器により収音された音声が、ユーザの声帯の振動に基づく骨導音声あるいは空気を介したユーザの鼓膜の振動に基づく気導音声のいずれかを判別する音声判別部と、骨導音声を前記気導音声に変換する音声変換部と、気導音声をテキスト情報に変換する音声認識部と、変換された前記テキスト情報を出力する出力部と、を備える。

【0089】

これにより、実施の形態１の変形例に係る音声テキスト変換装置１００Ａは、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる。

【0090】

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0091】

本開示は、音声テキスト変換システムおよび音声テキスト変換装置の提示において、接続されたマイクロホンの種類に応じて、音声を音声認識し、テキスト変換できる音声テキスト変換システムおよび音声テキスト変換装置の提示の提示として有用である。

【符号の説明】

【0092】

１ 受音器
１１ マイク接続端子
２ 端末装置
２０，３０ 通信部
２１，３１ プロセッサ
２２，３２ メモリ
２３ Ａ／Ｄ変換部
３ サーバ
３３ 音声判別部
３４ 音声変換部
３５ 音声認識部
３６ 出力部
３７ 記憶部
１００ 音声テキスト変換システム
１００Ａ 音声テキスト変換装置
ＮＷ１ ネットワーク
ＭＣ１ 骨導マイクロホン
ＭＣ２ 気導マイクロホン

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7】