特開 2022-69766 骨伝導マイクロホン、骨伝導マイクロホンの音声強調方法及び、音声強調プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022069766

(43)【公開日】2022-05-12

(54)【発明の名称】骨伝導マイクロホン、骨伝導マイクロホンの音声強調方法及び、音声強調プログラム

(51)【国際特許分類】

   G10L 21/0208 20130101AFI20220502BHJP

   G10L 25/30 20130101ALI20220502BHJP

   H04R 1/00 20060101ALI20220502BHJP

   G10L 21/007 20130101ALI20220502BHJP

【ＦＩ】

G10L21/0208 100Z

G10L25/30

G10L21/0208 100A

H04R1/00 327Z

G10L21/007

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020178602

(22)【出願日】2020-10-26

(71)【出願人】

【識別番号】000148759

【氏名又は名称】株式会社タダノ

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100131152

【弁理士】

【氏名又は名称】八島 耕司

(74)【代理人】

【識別番号】100145229

【弁理士】

【氏名又は名称】秋山 雅則

(74)【代理人】

【識別番号】100201352

【弁理士】

【氏名又は名称】豊田 朝子

(72)【発明者】

【氏名】マムティミン マルダン

(57)【要約】

【課題】より明瞭な音声を簡易な処理で得ることができる骨伝導マイクロホン、骨伝導マイクロホンの音声強調方法及び、音声強調プログラムを提供する。
【解決手段】骨伝導マイクロホンは、人の体に接触して声帯振動を検出する振動検出素子と、振動検出素子が検出した声帯振動のデータを第一発話コードと第一音質コードに変換する変換器２３と、声帯振動によって空気が振動することにより生じる人の声の音声データを第二発話コードと第二音質コードに変換する第二変換器が、音声データを第二発話コードと第二音質コードに変換したときの、第二音質コードを記憶する記憶装置２１と、変換器２３が変換した第一発話コードと記憶装置２１が記憶する第二音質コードとに基づいて、音声を強調した音声強調データを生成する生成器２４と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

人の体に接触して声帯振動を検出する振動検出素子と、
前記振動検出素子が検出した前記声帯振動のデータを第一発話コードと第一音質コードに変換する第一変換器と、
前記声帯振動によって空気が振動することにより生じる人の声の音声データを第二発話コードと第二音質コードに変換する第二変換器が、前記音声データを前記第二発話コードと前記第二音質コードに変換したときの、前記第二音質コードを記憶する記憶装置と、
前記第一変換器が変換した前記第一発話コードと前記記憶装置が記憶する前記第二音質コードとに基づいて、音声を強調した音声強調データを生成する生成器と、
を備える骨伝導マイクロホン。

【請求項2】

前記第一変換器は、前記第一発話コードと前記第一音質コードから前記声帯振動のデータを復元する第一デコーダと組み合わせられた場合に第一オートエンコーダを形成する第一エンコーダである、
請求項１に記載の骨伝導マイクロホン。

【請求項3】

前記第二変換器は、前記第二発話コードと前記第二音質コードから前記音声データを復元する第二デコーダと組み合わせられた場合に第二オートエンコーダを形成する第二エンコーダである、
請求項１または２に記載の骨伝導マイクロホン。

【請求項4】

人の体に接触して声帯振動を検出する骨伝導マイクロホンが備える振動検出素子から取得した前記声帯振動のデータを第一発話コードと第一音質コードに変換する変換ステップと、
前記声帯振動によって空気が振動することにより生じる人の声の音声データを第二発話コードと第二音質コードに変換する変換器が、前記音声データを前記第二発話コードと前記第二音質コードに変換したときの、前記第二音質コードを記憶する記憶装置から前記第二音質コードを読み出し、読み出した前記第二音質コードと前記変換ステップで変換した前記第一発話コードとに基づいて前記音声データの音声を強調した音声強調データを生成する生成ステップと、
を備える骨伝導マイクロホンの音声強調方法。

【請求項5】

人の体に接触して声帯振動を検出する振動検出素子と、
前記声帯振動によって空気が振動することにより生じる人の声の音声データを第二発話コードと第二音質コードに変換する変換器が、前記音声データを前記第二発話コードと前記第二音質コードに変換したときの、前記第二音質コードを記憶する記憶装置と、
を備える骨伝導マイクロホンの音声強調プログラムであって、
コンピュータに、
前記振動検出素子から取得した前記声帯振動のデータを第一発話コードと第一音質コードに変換する変換ステップと、
前記記憶装置から前記第二音質コードを読み出し、読み出した前記第二音質コードと前記変換ステップで変換した前記第一発話コードに基づいて、音声を強調した音声強調データを生成する生成ステップと、
を実行させるための音声強調プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は骨伝導マイクロホン、骨伝導マイクロホンの音声強調方法及び、音声強調プログラムに関する。

【背景技術】

【0002】

骨伝導マイクロホンは、骨を伝導する声帯振動を検出する装置である。しかし、声帯振動は骨を伝導すると高周波成分が減衰してしまうので、骨伝導マイクロホンが検出する音声は、通常明瞭でないことが多い。そこで、より明瞭な音声を得るために、骨伝導マイクロホンが検出した音声データのうち音声成分を強調する音声強調装置が開発されている。

【0003】

例えば、特許文献１には、骨伝導マイクロホンが検出した音声データを分析して有声音か無声音かを判別する判別手段と、有声音と判別された音声データを補正して第一気導音声データを生成する第一補正手段と、無性音と判別された音声データを補正して第二気導音声データを生成する第二補正手段と、生成された第一気導音声データと第二気導音声データを合わせて出力データを生成する出力生成手段と、を備える音声強調装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－２０８１７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の音声強調装置では、骨伝導マイクロホンの音声を分析して有声音と無声音に分けるため、音声データの処理が複雑である。

【0006】

本発明は上記の課題を解決するためになされたもので、より明瞭な音声を簡易な処理で得ることができる骨伝導マイクロホン、骨伝導マイクロホンの音声強調方法及び、音声強調プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するため、本発明の第一の観点に係る骨伝導マイクロホンは、
人の体に接触して声帯振動を検出する振動検出素子と、
前記振動検出素子が検出した前記声帯振動のデータを第一発話コードと第一音質コードに変換する第一変換器と、
前記声帯振動によって空気が振動することにより生じる人の声の音声データを第二発話コードと第二音質コードに変換する第二変換器が、前記音声データを前記第二発話コードと前記第二音質コードに変換したときの、前記第二音質コードを記憶する記憶装置と、
前記第一変換器が変換した前記第一発話コードと前記記憶装置が記憶する前記第二音質コードとに基づいて、音声を強調した音声強調データを生成する生成器と、
を備える。

【0008】

前記第一変換器は、前記第一発話コードと前記第一音質コードから前記声帯振動のデータを復元する第一デコーダと組み合わせられた場合に第一オートエンコーダを形成する第一エンコーダであってもよい。

【0009】

前記第二変換器は、前記第二発話コードと前記第二音質コードから前記音声データを復元する第二デコーダと組み合わせられた場合に第二オートエンコーダを形成する第二エンコーダであってもよい。

【0010】

本発明の第二の観点に係る骨伝導マイクロホンの音声強調方法は、
人の体に接触して声帯振動を検出する骨伝導マイクロホンが備える振動検出素子から取得した前記声帯振動のデータを第一発話コードと第一音質コードに変換する変換ステップと、
前記声帯振動によって空気が振動することにより生じる人の声の音声データを第二発話コードと第二音質コードに変換する変換器が、前記音声データを前記第二発話コードと前記第二音質コードに変換したときの、前記第二音質コードを記憶する記憶装置から前記第二音質コードを読み出し、読み出した前記第二音質コードと前記変換ステップで変換した前記第一発話コードとに基づいて前記音声データの音声を強調した音声強調データを生成する生成ステップと、
を備える。

【0011】

本発明の第三の観点に係る音声強調プログラムは、
人の体に接触して声帯振動を検出する振動検出素子と、
前記声帯振動によって空気が振動することにより生じる人の声の音声データを第二発話コードと第二音質コードに変換する変換器が、前記音声データを前記第二発話コードと前記第二音質コードに変換したときの、前記第二音質コードを記憶する記憶装置と、
を備える骨伝導マイクロホンの音声強調プログラムであって、
コンピュータに、
前記振動検出素子から取得した前記声帯振動のデータを第一発話コードと第一音質コードに変換する変換ステップと、
前記記憶装置から前記第二音質コードを読み出し、読み出した前記第二音質コードと前記変換ステップで変換した前記第一発話コードに基づいて、音声を強調した音声強調データを生成する生成ステップと、
を実行させるためのものである。

【発明の効果】

【0012】

本発明の構成によれば、第一変換器は、振動検出素子が検出した声帯振動のデータを第一発話コードと第一音質コードに変換し、生成器は、その第一発話コードと、記憶部に記憶された、人の声の音声データを第二変換器が変換したときの第二音質コードとに基づいて、音声を強調した音声強調データを生成する。これにより、声帯振動のデータから明瞭な音声のデータが得られる。また、声帯振動のデータに複雑な前処理を施す必要がなく、処理が簡易である。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態に係る骨伝導マイクロホンの部品構成図である。

【図2】骨伝導マイクロホンが備える音声強調装置のブロック図である。

【図3】音声強調装置が備える記憶装置に格納された音質テーブルのデータ構成図である。

【図4】音声強調装置が備えるエンコーダとデコーダを学習させる学習装置のブロック図である。

【図5】学習装置が備える学習モデルのブロック図である。

【図6】学習装置が実施する学習処理のフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態に係る骨伝導マイクロホン、骨伝導マイクロホンの音声強調方法及び、音声強調プログラムについて図面を参照して詳細に説明する。なお、図中、同一又は同等の部分には同一の符号を付す。

【0015】

実施の形態に係る骨伝導マイクロホンは、明瞭な音声を得るため、学習済みニューラルネットワークを用いて、振動検出素子が検出した声帯振動のデータから音声強調データを生成する。まず、図１－図３を参照して、骨伝導マイクロホンの構成について説明する。

【0016】

図１は、本発明の実施の形態に係る骨伝導マイクロホン１００の部品構成図である。図２は、骨伝導マイクロホン１００が備える音声強調装置２０のブロック図である。図３は、音声強調装置２０が備える記憶装置２１に格納された音質テーブル２１２のデータ構成図である。なお、図１では、理解を容易にするため、骨伝導マイクロホン１００が出力するスピーカ２００もあわせて示している。

【0017】

図１に示すように、骨伝導マイクロホン１００は、声帯振動を検出する振動検出素子１０と、振動検出素子１０が検出した声帯振動のデータに基づいて音声強調データを生成する音声強調装置２０と、を備える。

【0018】

振動検出素子１０は、図示しないが、ケースと、ケースに収容された圧電素子とを備える。振動検出素子１０では、ケースに振動が伝搬すると、その振動によって圧電素子がたわみ、圧電素子に電位が発生する。振動検出素子１０は、その電位から振動を検出する。

【0019】

振動検出素子１０のケースは、人体の部位、例えば、頭頂部、側頭部、咽頭部、鼻腔部等の皮膚に接触可能な形状を有する。これにより、振動検出素子１０は、ケースが人体の部位に接触した状態に装着される。振動検出素子１０は、この状態で、頭蓋骨等の人体の一部を伝搬する声帯振動を検出する。振動検出素子１０は、検出した声帯振動のデータを音声強調装置２０に送信する。

【0020】

音声強調装置２０は、声帯振動のデータを受信する。音声強調装置２０は、その声帯振動のデータを処理するため、記憶装置２１およびコントローラ２２を備える。

【0021】

記憶装置２１は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）又はフラッシュメモリ等を有する。そして、記憶装置２１は、声帯振動のデータから音声強調データを生成する音声強調プログラム２１１を記憶する。また、記憶装置２１は、音声強調プログラム２１１のパラメータを格納するモデルデータベース２１３を記憶する。

【0022】

コントローラ２２は、演算処理を行うＣＰＵ（Ｃｅｎｔｒａｌ ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むメモリとを含むマイクロコンピュータを備える。ＣＰＵは、ＲＯＭ又は記憶装置２１に記憶されたプログラムをＲＡＭに読み出して実行することにより、各種処理を行う。例えば、コントローラ２２は、ＣＰＵが上記音声強調プログラム２１１を実行する。そして、モデルデータベース２１３を読み出す。これにより、音声強調処理を行う。コントローラ２２は、この音声強調処理を行うため、図２に示すように、ソフトウエアとして構成される変換器２３および生成器２４の処理ブロックを備える。

【0023】

変換器２３は、図１に示す振動検出素子１０が検出した声帯振動のデータを受信する。変換器２３は、図２に示すように、エンコーダＥ１を含み、そのエンコーダＥ１によって声帯振動のデータを発話コードとマイク音質コード（以下、発話コードＣ１と音質コードＣ２という）に変換する。変換器２３は、変換した発話コードＣ１と音質コードＣ２を生成器２４に送信する。

【0024】

一方、記憶装置２１には、音質テーブル２１２が格納されている。その音質テーブル２１２には、通常のマイクロホンを用いて記録した音声のデータを、エンコーダＥ１とは別の、後述するエンコーダＥ２が、発話コードとマイク音質コード（以下、発話コードＣ３と音質コードＣ４という）に変換したときの、音質コードＣ４が、図３に示すように、上記エンコーダＥ１の音質コードＣ２に対応付けられている。

【0025】

生成器２４は、図２に示すように、上述した変換器２３から発話コードＣ１と音質コードＣ２を受信する。また、生成器２４は、受信した音質コードＣ２に対応する音質コードＣ４を記憶装置２１の音質テーブル２１２から読み取る。生成器２４は、デコーダＤ４を含み、そのデコーダＤ４が上記の受信した発話コードＣ１と読み取った音質コードＣ４に基づいて、振動検出素子１０が検出した声帯振動に対応する音声を強調した音声強調データを生成する。詳細には、デコーダＤ４は、発話コードＣ１と音質コードＣ４を復号することにより、音声強調データを生成する。

【0026】

生成器２４は、生成した音声強調データを外部機器に出力する。例えば、生成器２４は、図１に例示するスピーカ２００に音声強調データを出力する。音声強調データでは音声が強調されている。このため、骨伝導マイクロホン１００が取得した音は、音声が明瞭で聞き取りやすい。

【0027】

上述した変換器２３のエンコーダＥ１と生成器２４のデコーダＤ４は、学習済みニューラルネットワークを使用することにより変換処理と生成処理を行う。続いて、図４および図５を参照して、エンコーダＥ１とデコーダＤ４のニューラルネットワークを学習させる学習装置３００について説明する。

【0028】

図４は、音声強調装置２０が備えるエンコーダＥ１とデコーダＤ４を学習させる学習装置３００のブロック図である。図５は、学習装置３００が備える学習モデル３３０のブロック図である。

【0029】

学習装置３００では、図示しないＣＰＵが、図４に示す記憶装置３１０に記憶された学習プログラム３１１をＲＡＭに読み出して実行する。これにより、学習装置３００は、学習処理を行う。その結果、学習装置３００は、ソフトウエアとして構成される学習部３２０および学習モデル３３０を備える。

【0030】

記憶装置３１０には、学習データ３１２が記憶されている。学習部３２０は、記憶装置３１０から学習データ３１２を読み出し、読み出した学習データ３１２を学習モデル３３０に入力する。

【0031】

学習モデル３３０は、図５に示すように、エンコーダＥ１、Ｅ２と、デコーダＤ１－Ｄ４と、が組み合わされたモデルである。学習モデル３３０では、エンコーダＥ１とデコーダＤ１が一組のネットワークを形成している。また、エンコーダＥ２とデコーダＤ２がもう一組のネットワークを形成している。さらに、デコーダＤ３、Ｄ４それぞれは、エンコーダＥ１とエンコーダＥ２に接続され、それぞれが別のネットワークを形成している。

【0032】

図示しないが、エンコーダＥ１とデコーダＤ１は、入力層、隠れ層及び出力層を有するニューラルネットワークモデルによって構築されている。そのニューラルネットワークモデルの入力層と出力層は、次元数が同じであり、隠れ層は、入力層と出力層よりも次元数が小さい。そして、エンコーダＥ１は、ニューラルネットワークモデルの入力層から隠れ層までの部分によって構築され、デコーダＤ１は、そのニューラルネットワークモデルの隠れ層から出力層までの部分によって構築されている。

【0033】

上述した学習データ３１２には、図４に示すように、振動検出素子１０を用いて予め記録しておいた声帯振動データＡと、通常のマイクロホンを用いて予め記録しておいた音声データＢと、が格納されている。

【0034】

ここで、音声データＢは、声帯振動データＡを記録したときの、その声帯振動によって発せられた音声を記録したデータである。すなわち、音声データＢは、声帯振動データＡに対応する音声を記録している。なお、本明細書では、通常のマイクロホンとは、声帯振動によって空気が振動することにより発生する音声を電気信号に変換するマイクロホンのことをいい、気導音マイクロホンともいう。

【0035】

学習部３２０は、学習データ３１２のうち、声帯振動データＡを、図５に示すように、エンコーダＥ１に入力する。そして、声帯振動データＡとデコーダＤ１の出力を比較して、ニューラルネットワークモデル内のノード間の重みを調整する。これにより、学習部３２０は、声帯振動データＡとデコーダＤ１の出力の誤差を小さくする。その結果、エンコーダＥ１とデコーダＤ１が、オートエンコーダを学習する。すなわち、自己符号化を学習する。

【0036】

また、エンコーダＥ２とデコーダＤ２は、エンコーダＥ１とデコーダＤ１で説明したニューラルネットワークモデルとは別のニューラルネットワークモデルによって構築されている。なお、この別のニューラルネットワークモデルは、エンコーダＥ１とデコーダＤ１で説明したニューラルネットワークモデルと同じ層構造を備える。

【0037】

学習部３２０は、学習データ３１２の音声データＢをエンコーダＥ２に入力する。そして、学習部３２０は、音声データＢとデコーダＤ２の出力を比較して、上記別のニューラルネットワークモデル内のノード間の重みを調整する。これにより、音声データＢとデコーダＤ２の出力の誤差を小さくする。その結果、エンコーダＥ２とデコーダＤ２が自己符号化を学習する。

【0038】

エンコーダＥ１とデコーダＤ１、エンコーダＥ２とデコーダＤ２がそれぞれ自己符号化を学習すると、エンコーダＥ１は、声帯振動データＡを符号化した発話コードＣ１と音質コードＣ２を出力する。また、エンコーダＥ２は、音声データＢを符号化した発話コードＣ３と音質コードＣ４を出力する。

【0039】

一方、デコーダＤ３は、デコーダＤ１、Ｄ２と同じ層構造を有するニューラルネットワーク部によって構築されている。学習部３２０は、デコーダＤ３に、エンコーダＥ１が出力する音質コードＣ２と、エンコーダＥ２が出力する発話コードＣ３とを入力する。ここで、音質コードＣ２は、声帯振動データＡを記録した振動検出素子１０のマイク音質のコードである。学習部３２０は、そのマイク音質のコードに対応した出力を得るため、声帯振動データＡとデコーダＤ３の出力を比較する。学習部３２０は、その比較結果に基づいてニューラルネットワーク部のノード間の重みを調整して、声帯振動データＡとデコーダＤ３の出力の誤差を小さくする。これにより、学習部３２０は、声帯振動データＡを出力する状態にデコーダＤ３を学習させる。

【0040】

デコーダＤ４は、デコーダＤ３のニューラルネットワーク部と同じ層構造を有する別のニューラルネットワーク部によって構築されている。学習部３２０は、デコーダＤ４に、エンコーダＥ１が出力する発話コードＣ１と、エンコーダＥ２が出力する音質コードＣ４とを入力する。その音質コードＣ４は、音声データＢを記録した通常のマイクロホンのマイク音質のコードである。学習部３２０は、このマイク音質のコードに対応した出力を得るため、音声データＢとデコーダＤ４の出力を比較して、ニューラルネットワーク部のノード間の重みを調整する。これにより、学習部３２０は、音声データＢとデコーダＤ４の出力の誤差を小さくする。その結果、学習部３２０は、音声データＢを出力する状態にデコーダＤ４を学習させる。

【0041】

学習部３２０は、エンコーダＥ１、Ｅ２とデコーダＤ１－Ｄ４を学習させると、すなわち、学習モデル３３０を学習させると、学習済みの学習モデル３３０のエンコーダＥ１、デコーダＤ４の重み係数等のパラメータを、図２に示すモデルデータベース２１３として記憶装置２１に記憶させる。これにより、学習部３２０は、変換器２３と生成器２４の動作に必要なデータベースを音声強調装置２０に供給する。

【0042】

また、学習部３２０は、学習済みの学習モデル３３０に、再度学習データ３１２を入力する。学習部３２０は、そのときにエンコーダＥ１が出力する音質コードＣ２と、エンコーダＥ２が出力する音質コードＣ４とを用いて、図３に示す音質テーブル２１２を作成する。学習部３２０は、作成した音質テーブル２１２を記憶装置２１に記憶させる。これにより、学習部３２０は、生成器２４の動作に必要なテーブルを音声強調装置２０に供給する。その結果、上述したように、音声強調装置２０が音声強調データを生成して、振動検出素子１０が検出した振動を明瞭で聞き取りやすい音声に変換する。

【0043】

次に、図６を参照して、学習装置３００の学習方法をより詳細に説明する。以下の説明では、図示しないが、学習装置３００は、パーソナルコンピュータまたはサーバー（以下、サーバー等という）によって構成されているものとする。そして、それらサーバー等に設けられた記憶装置に学習プログラム３１１と学習データ３１２が格納され、さらに、その学習プログラム３１１のアイコンがディスプレイ装置に表示されているものとする。また、それらサーバー等は、インターネットを介して、骨伝導マイクロホン１００の音声強調装置２０が備えるコントローラに接続されているものとする。

【0044】

図６は、学習装置３００が実施する学習処理のフローチャートである。

【0045】

はじめに、学習装置３００のユーザーが、上記アイコンを押して、学習プログラム３１１を起動させる。これにより、サーバーまたは、パーソナルコンピュータのＣＰＵによって学習プログラムが実行され、学習処理のフローが開始される。

【0046】

学習処理のフローが開始されると、まず、学習部３２０は、記憶装置３１０から学習データ３１２を読み出す。これにより、学習データ３１２を取得する（ステップＳ１）。

【0047】

なお、学習データ３１２には、音声強調装置２０が強調できる音声の種類を増やすため、人が様々な発音をしたときの、声帯振動データＡと音声データＢが格納されていることが望ましい。例えば、学習データ３１２には、特定の言語のほとんどの文字について、それら文字を読んだときの声帯振動データＡと音声データＢが文字毎に格納されていることが望ましい。

【0048】

続いて、学習部３２０は、取得した学習データ３１２を用いて、学習モデル３３０のエンコーダＥ１とデコーダＤ１のニューラルネットワークと、エンコーダＥ２とデコーダＤ２のニューラルネットワークを学習させる（ステップＳ２）。

【0049】

詳細には、エンコーダＥ１に学習データ３１２の声帯振動データＡを入力し、エンコーダＥ２に学習データ３１２の音声データＢを入力する。そしてデコーダＤ１の出力をＡ^＊、デコーダＤ１の出力をＢ^＊とする場合に、数式１－数式３で表されるコスト関数Ｌ_ａｌｌが一定値以内に収束するまで、ネットワーク内のノード間の重みを調整する。これにより、エンコーダＥ１とデコーダＤ１のネットワークと、エンコーダＥ２とデコーダＤ２のネットワークを学習させる。

【0050】

【数1】

【0051】

【数2】

【0052】

【数3】

【0053】

次に、学習部３２０は、学習データ３１２を用いて、学習モデル３３０全体を学習させる（ステップＳ３）。

【0054】

詳細には、ステップＳ２と同じく、エンコーダＥ１に学習データ３１２の声帯振動データＡを入力し、エンコーダＥ２に学習データ３１２の音声データＢを入力する。そして、デコーダＤ３の出力をＡ^＊＊、デコーダＤ４の出力をＢ^＊＊とする場合に、数式４－数式６で表されるコスト関数Ｌ_ａｌｌが一定値以内に収束するまで、ネットワーク内のノード間の重みを調整する。これにより、デコーダＤ３、Ｄ４を含む学習モデル３３０全体を学習させる。

【0055】

【数4】

【0056】

【数5】

【0057】

【数6】

【0058】

学習モデル３３０全体の学習が完了すると、学習部３２０は、学習済みの学習モデル３３０のパラメータを記憶装置２１に格納する（ステップＳ４）。詳細には、エンコーダＥ１とデコーダＤ４のネットワークの層数、ノード数、ノード間の重み係数等のパラメータを記憶装置２１のモデルデータベース２１３に格納する。

【0059】

また、学習部３２０は、学習済みの学習モデル３３０を用いて、音質テーブル２１２を作成し、その音質テーブル２１２を記憶装置２１に格納する（ステップＳ５）。

【0060】

詳細には、学習部３２０は、学習済みの学習モデル３３０に学習データ３１２を入力し、そのときのエンコーダＥ１、Ｅ２の出力のデータから、エンコーダＥ１の出力である音質コードＣ２に、エンコーダＥ２の出力である音質コードＣ４を対応付ける。このとき、例えば、特定の言語の文字ほとんどについて、声帯振動データＡと音声データＢが学習データ３１２に格納されている場合、それら文字毎に、音質コードＣ２に音質コードＣ４を対応付ける。これにより、学習部３２０は、音質テーブル２１２を作成する。そして、作成した音質テーブル２１２を記憶装置２１に格納する。

【0061】

以上のステップにより、学習装置３００の学習が完了する。

【0062】

学習装置３００の学習が完了した後、骨伝導マイクロホン１００の図示しない電源ボタンが押されて、骨伝導マイクロホン１００が起動すると、コントローラ２２は、上記ステップＳ４で記憶装置２１に格納したモデルデータベース２１３を読み出し、読み出したモデルデータベース２１３に基づいて、エンコーダＥ１とデコーダＤ４のニューラルネットワークモデルを構築する。これにより、学習装置３００の学習を骨伝導マイクロホン１００の動作に反映させる。

【0063】

続いて、骨伝導マイクロホン１００の振動検出素子１０が声帯振動を検出すると、コントローラ２２は、その振動検出素子１０から声帯振動データを取得し、取得した声帯振動データを、モデルデータベース２１３で構築したニューラルネットワークモデルのエンコーダＥ１によって発話コードＣ１と音質コードＣ２に変換する（このステップのことを変換ステップともいう）。

【0064】

コントローラ２２は、上記ステップＳ５で記憶装置２１に格納した音質テーブル２１２から、変換した音質コードＣ２に対応する音質コードＣ４を読み出し、上記エンコーダＥ１によって変換した発話コードＣ１と読み出した音質コードＣ４をデコーダＤ４に入力することにより、発話コードＣ１と音質コードＣ４を復号させる。これにより、コントローラ２２は、音声強調データを生成する（このステップのことを生成ステップともいう）。その結果、骨伝導マイクロホン１００では、音声が強調され、聞き取りやすい。

【0065】

なお、上述したエンコーダＥ１、Ｅ２は、本明細書及び特許請求の範囲でいうところの第一変換器または第一エンコーダ、第二変換器または第二エンコーダの一例である。デコーダＤ１、Ｄ２は、本明細書及び特許請求の範囲でいうところの第一デコーダ、第二デコーダの一例である。また、エンコーダＥ１とデコーダＤ１によって構成されるオートエンコーダとエンコーダＥ２とデコーダＤ２によって構成されるオートエンコーダは、本明細書及び特許請求の範囲でいうところの第一オートエンコーダ、第二オートエンコーダの一例である。さらに、エンコーダＥ１、Ｅ２が変換する発話コードＣ１、音質コードＣ２、発話コードＣ３および音質コードＣ４は、本明細書及び特許請求の範囲でいうところの第一発話コード、第一音質コード、第二発話コードおよび第二音質コードの一例である。

【0066】

また、上記の実施の形態では、学習部３２０には、骨伝導マイクロホン１００が接続され、通常のマイクロホンは接続されていないが、学習部３２０は、骨伝導マイクロホン１００のほかに、通常のマイクロホンに接続されていてもよい。この場合に、ユーザーがテキストデータを声に出して読んで、骨伝導マイクロホン１００の振動検出素子１０が、そのときのユーザーの声帯振動を検出すると共に、通常のマイクロホンがそのときの音声を検出するとよい。そして、学習部３２０は、検出した声帯振動と音声のデータをステップＳ１の学習データ３１２として利用してもよい。この場合、学習部３２０は、検出した声帯振動と音声のデータを学習データ３１２として記憶装置３１０に記憶させるとよい。

【0067】

以上のように、実施の形態に係る骨伝導マイクロホン１００では、変換器２３が含むエンコーダＥ１が、振動検出素子１０によって検出された声帯振動データを発話コードＣ１、音質コードＣ２に変換し、生成器２４が含むデコーダＤ４が、エンコーダＥ１によって変換された発話コードＣ１と、記憶装置２１の音質テーブル２１２に格納され、エンコーダＥ１によって変換された音質コードＣ２に対応する音質コードＣ４と、に基づいて、音声強調データを生成する。このため、骨伝導マイクロホン１００では、明瞭かつ、聞き取りやすい音声を得ることができる。また、声帯振動データに複雑な前処理を施す必要がなく、処理が簡易である。

【0068】

また、変換器２３が含むエンコーダＥ１と生成器２４が含むデコーダＤ４は、学習装置３００によって学習する。このため、骨伝導マイクロホン１００のユーザーの声帯振動データと音声データを格納した学習データ３１２を用いてエンコーダＥ１とデコーダＤ４を学習させることにより、そのユーザーの声帯振動、音声に応じた音声強調データを生成することができる。

【0069】

以上、本発明の実施の形態を説明したが、本発明は上記の実施の形態に限定されるものではない。例えば、実施の形態では、振動検出素子１０が圧電素子を備えているが、本発明はこれに限定されない。本発明では、振動検出素子１０が声帯の振動を検出できればよく、その限りにおいて素子は任意である。例えば、圧電素子の換わりに、電磁型素子、静電型素子であってもよい。

【0070】

また、上記の実施の形態では、骨伝導マイクロホン１００が接続される外部機器としてスピーカ２００が例示されているが、本発明はこれに限定されない。本発明では、骨伝導マイクロホン１００が音声を強調した音声強調データを生成すればよく、その接続先は限定されない。例えば、骨伝導マイクロホン１００は、クレーン装置、高所作業車等のキャビンのコントローラに接続されてもよい。そして、そのコントローラを介して、キャビン内に配置されたスピーカ２００に接続されてもよい。また、骨伝導イヤホンに接続されてもよい。このような形態であれば、大きい作業音が発生して作業者の音声が聞き取りにくい環境であっても、作業者の音声を聞き取りやすくすることができる。

【0071】

上記の実施の形態では、学習装置３００が、骨伝導マイクロホン１００とは別の装置である。しかし、本発明はこれに限定されない。本発明では、骨伝導マイクロホン１００が学習装置３００を備えていてもよい。例えば、音声強調装置２０のコントローラ２２が、学習装置３００、すなわち、学習部３２０と学習モデル３３０を備えていてもよい。この場合、コントローラ２２が通常のマイクロホンに接続されているとよい。そして、音声強調装置２０では、学習モードと動作モードが切り替え可能であり、学習モード時に、振動検出素子１０が検出した声帯音声データと通常のマイクロホンが検出した音声データに基づいて、学習モデル３３０が学習するとよい。このような形態であれば、ユーザーの声帯振動、音声に応じて骨伝導マイクロホン１００を調整することができる。

【符号の説明】

【0072】

１０…振動検出素子、２０…音声強調装置、２１…記憶装置、２２…コントローラ、２３…変換器、２４…生成器、１００…骨伝導マイクロホン、２００…スピーカ、２１１…音声強調プログラム、２１２…音質テーブル、２１３…モデルデータベース、３００…学習装置、３１０…記憶装置、３１１…学習プログラム、３１２…学習データ、３２０…学習部、３３０…学習モデル、Ｃ１，Ｃ３…発話コード、Ｃ２，Ｃ４…音質コード、Ｄ１－Ｄ４…デコーダ、Ｅ１，Ｅ２…エンコーダ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】