(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】音声入力装置及び入力音声処理方法
(51)【国際特許分類】
H04R 3/00 20060101AFI20241008BHJP
G10L 21/0324 20130101ALI20241008BHJP
H04R 1/10 20060101ALI20241008BHJP
【FI】
H04R3/00 320
G10L21/0324
H04R1/10 104Z
(21)【出願番号】P 2020094795
(22)【出願日】2020-05-29
【審査請求日】2023-03-31
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100083806
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【氏名又は名称】高橋 俊一
(72)【発明者】
【氏名】内田 孝之
【審査官】冨澤 直樹
(56)【参考文献】
【文献】中国特許出願公開第111131947(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00-3/14
G10L 21/0324
H04R 1/10
G10L 15/20
(57)【特許請求の範囲】
【請求項1】
話者の外耳道外の第1の位置で音声を収音し第1入力音声信号を送出する第1マイクと、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で音声を収音し第2入力音声信号を送出する第2マイクと、
前記話者の外耳道内で音声を収音し第3入力音声信号を送出する第3マイクと、
前記第1入力音声信号の音圧を検出し、検出した前記音圧に応じて前記第2入力音声信号及び前記第3入力音声信号それぞれの反映度合を設定すると共に、前記反映度合に基づいて前記第2入力音声信号及び前記第3入力音声信号の少なくとも一方を含む出力音声信号を生成する制御部と、
前記出力音声信号を外部に送信する通信部と、を備え
、
前記制御部は、
前記反映度合を反映有りと反映無しとの二者択一とし、検出した前記音圧に応じて前記第2入力音声信号及び前記第3入力音声信号の一方を選択的に出力音声信号として設定する、
音声入力装置。
【請求項2】
前記制御部は、
検出した前記第1入力音声信号の音圧が予め設定された第1の音圧よりも小さい場合に、前記第2入力音声信号を前記出力音声信号として設定し、
前記第1入力音声信号の音圧が前記第1の音圧よりも大きい第2の音圧を超える場合に、前記第3入力音声信号を前記出力音声信号として設定す
る請求項
1記載の音声入力装置。
【請求項3】
話者の外耳道外の第1の位置で音声を収音し第1入力音声信号を送出する第1マイクと、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で音声を収音し第2入力音声信号を送出する第2マイクと、
前記話者の外耳道内で音声を収音し第3入力音声信号を送出する第3マイクと、
前記第1入力音声信号の音圧を検出し、検出した前記音圧に応じて前記第2入力音声信号及び前記第3入力音声信号それぞれの反映度合を設定すると共に、前記反映度合に基づいて前記第2入力音声信号及び前記第3入力音声信号の少なくとも一方を含む出力音声信号を生成する制御部と、
前記出力音声信号を外部に送信する通信部と、を備え
、
前記制御部は、
前記反映度合を音圧比率とし、
前記第2入力音声信号と前記第3入力音声信号とを、検出した前記音圧に応じた前記音圧比率で混合し出力音声信号として設定し、
検出した前記第1入力音声信号の音圧が予め設定された第1の音圧よりも小さい場合に、前記第2入力音声信号の音圧を前記第3入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が前記第1の音圧よりも大きい第2の音圧を超える場合に、前記第3入力音声信号の音圧を前記第2入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が、前記第1の音圧以上、前記第2の音圧以下の範囲の場合に、前記音圧が大きくなるに従って前記第2入力音声信号の音圧に対する前記第3入力音声信号の音圧の比率が大きくなるように混合する、
音声入力装置。
【請求項4】
話者の外耳道外の第1の位置で収音した音声を第1入力音声信号として取得すると共に前記第1入力音声信号の音圧を検出し、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で収音した音声を第2入力音声信号として取得し、
前記話者の外耳道内で収音した音声を第3入力音声信号として取得し、
前記第1入力音声信号の音圧に応じて、
前記第2入力音声信号及び前記第3入力音声信号それぞれの反映度合を設定すると共に、前記反映度合を反映有りと反映無しとの二者択一とし、検出した前記音圧に応じて前記第2入力音声信号
及び前記第3入力音声信号のいずれか一方を選択的に出力音声信号として設定し外部に送信する、
入力音声処理方法。
【請求項5】
話者の外耳道外の第1の位置で収音した音声を第1入力音声信号として取得すると共に前記第1入力音声信号の音圧を検出し、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で収音した音声を第2入力音声信号として取得し、
前記話者の外耳道内で収音した音声を第3入力音声信号として取得し、
前記第2入力音声信号と前記第3入力音声信号とを、
検出した前記第1入力音声信号の音圧が予め設定された第1の音圧よりも小さい場合に、前記第2入力音声信号の音圧を前記第3入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が前記第1の音圧よりも大きい第2の音圧を超える場合に、前記第3入力音声信号の音圧を前記第2入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が、前記第1の音圧以上、前記第2の音圧以下の範囲の場合に、前記音圧が大きくなるに従って前記第2入力音声信号の音圧に対する前記第3入力音声信号の音圧の比率が大きくなるように混合し、出力音声信号として外部に送信する、
入力音声処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声入力装置及び入力音声処理方法に関する。
【背景技術】
【0002】
特許文献1に、マイク及びイヤホンを備えたワイヤレスのヘッドセットを音声入力装置として用い、収音した使用者の発声をAIアシスタントに向け送出することが記載されている。また、特許文献2には、音声入力装置となるマイク付きのワイヤレスイヤホンが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-030780号公報
【文献】特開2019-195179号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
話者が、マイク付きワイヤレスイヤホンなどの音声入力装置に対し、AIアシスタントに送出する音声を周囲音が大きい中で発すると、発した音声と共に大きい周囲音が音声入力装置のマイクで収音されてAIアシスタントに送出される。そのため、AIアシスタントが使用者の音声を認識できずに適切な応答を行えなくなる虞がある。
【0005】
そこで、本発明が解決しようとする課題は、周囲音が大きくても、発した音声のAIアシスタントによる認識率が高い音声入力装置及び入力音声処理方法を提供することにある。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明は次の1)~4)の構成を有する。
1) 話者の外耳道外の第1の位置で音声を収音し第1入力音声信号を送出する第1マイクと、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で音声を収音し第2入力音声信号を送出する第2マイクと、
前記話者の外耳道内で音声を収音し第3入力音声信号を送出する第3マイクと、
前記第1入力音声信号の音圧を検出し、検出した前記音圧に応じて前記第2入力音声信号及び前記第3入力音声信号それぞれの反映度合を設定すると共に、前記反映度合に基づいて前記第2入力音声信号及び前記第3入力音声信号の少なくとも一方を含む出力音声信号を生成する制御部と、
前記出力音声信号を外部に送信する通信部と、を備え、
前記制御部は、
前記反映度合を反映有りと反映無しとの二者択一とし、検出した前記音圧に応じて前記第2入力音声信号及び前記第3入力音声信号の一方を選択的に出力音声信号として設定する、
音声入力装置である。
2) 話者の外耳道外の第1の位置で音声を収音し第1入力音声信号を送出する第1マイクと、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で音声を収音し第2入力音声信号を送出する第2マイクと、
前記話者の外耳道内で音声を収音し第3入力音声信号を送出する第3マイクと、
前記第1入力音声信号の音圧を検出し、検出した前記音圧に応じて前記第2入力音声信号及び前記第3入力音声信号それぞれの反映度合を設定すると共に、前記反映度合に基づいて前記第2入力音声信号及び前記第3入力音声信号の少なくとも一方を含む出力音声信号を生成する制御部と、
前記出力音声信号を外部に送信する通信部と、を備え、
前記制御部は、
前記反映度合を音圧比率とし、
前記第2入力音声信号と前記第3入力音声信号とを、検出した前記音圧に応じた前記音圧比率で混合し出力音声信号として設定し、
検出した前記第1入力音声信号の音圧が予め設定された第1の音圧よりも小さい場合に、前記第2入力音声信号の音圧を前記第3入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が前記第1の音圧よりも大きい第2の音圧を超える場合に、前記第3入力音声信号の音圧を前記第2入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が、前記第1の音圧以上、前記第2の音圧以下の範囲の場合に、前記音圧が大きくなるに従って前記第2入力音声信号の音圧に対する前記第3入力音声信号の音圧の比率が大きくなるように混合する、
音声入力装置である。
3) 話者の外耳道外の第1の位置で収音した音声を第1入力音声信号として取得すると共に前記第1入力音声信号の音圧を検出し、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で収音した音声を第2入力音声信号として取得し、
前記話者の外耳道内で収音した音声を第3入力音声信号として取得し、
前記第1入力音声信号の音圧に応じて、前記第2入力音声信号及び前記第3入力音声信号それぞれの反映度合を設定すると共に、前記反映度合を反映有りと反映無しとの二者択一とし、検出した前記音圧に応じて前記第2入力音声信号及び前記第3入力音声信号のいずれか一方を選択的に出力音声信号として設定し外部に送信する、
入力音声処理方法である。
4) 話者の外耳道外の第1の位置で収音した音声を第1入力音声信号として取得すると共に前記第1入力音声信号の音圧を検出し、
前記話者の外耳道外における前記第1の位置よりも前記話者の口に近い第2の位置で収音した音声を第2入力音声信号として取得し、
前記話者の外耳道内で収音した音声を第3入力音声信号として取得し、
前記第2入力音声信号と前記第3入力音声信号とを、
検出した前記第1入力音声信号の音圧が予め設定された第1の音圧よりも小さい場合に、前記第2入力音声信号の音圧を前記第3入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が前記第1の音圧よりも大きい第2の音圧を超える場合に、前記第3入力音声信号の音圧を前記第2入力音声信号の音圧よりも大きく混合し、
検出した前記第1入力音声信号の音圧が、前記第1の音圧以上、前記第2の音圧以下の範囲の場合に、前記音圧が大きくなるに従って前記第2入力音声信号の音圧に対する前記第3入力音声信号の音圧の比率が大きくなるように混合し、出力音声信号として外部に送信する、
入力音声処理方法である。
【発明の効果】
【0007】
本発明によれば、周囲音が大きくても、発した音声のAIアシスタントによる認識率が高い、という効果が得られる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、本発明の実施の形態に係る音声入力装置の実施例1であるイヤホン91を示す模式的断面図である。
【
図3】
図3は、イヤホン91の動作を示す図である。
【
図4】
図4は、イヤホン91の変形例1であるイヤホン91Aを示すブロック図である。
【
図5】
図5は、イヤホン91Aの動作を示す図である。
【
図6】
図6は、イヤホン91の変形例2の動作を示す図である。
【
図7】
図7は、イヤホン91の変形例3の動作を示す図である。
【
図8】
図8は、イヤホン91の変形例4の動作を示す図である。
【
図9】
図9は、本発明の実施の形態に係る音声入力システムの実施例2であるイヤホンシステム91STを示すブロック図である。
【
図10】
図10は、イヤホンシステム91STの動作を示す表である。
【
図11】
図11は、第3マイクM3が骨伝導マイクの場合の配置位置の例を示した模式的断面図である。
【発明を実施するための形態】
【0009】
(実施例1)
本発明の実施の形態に係る音声入力装置を、実施例1のイヤホン91により
図1及び
図2を参照して説明する。
【0010】
図1は、実施例1のイヤホン91を示す縦断面図である。
図1では、イヤホン91が話者Hの耳介Eに装着された使用状態で示されている。
図2は、イヤホン91のブロック図である。
【0011】
イヤホン91は、本体部1と、本体部1から突出して外耳道E1内に挿入される挿入部2とを有する。
本体部1は、第1マイクM1及び第2マイクM2と、制御部3及び通信部4と、駆動部5及びスピーカユニット6とを有する。
挿入部2は、第3マイクM3を有する。
制御部3は、音圧検出部3a及び入力選択部3bを有する。
【0012】
本体部1は、スピーカユニット6の放音側に気室1aを有する。
挿入部2は、先端に開口し気室1aに連通した放音路2aを有する。
イヤホン91の使用状態において、駆動部5の動作によってスピーカユニット6から出力された音は、気室1a及び放音路2aを通り、外耳道E1内に放出される。
これにより、イヤホン91は、通信部4が外部の音声再生装置から無線送信された音声信号を受信し、制御部3及び駆動部5を介してスピーカユニット6で再生することができる。
【0013】
第1マイクM1は、本体部1における話者Hの口から遠い側の部位である第1の位置に配置されており、本体部1の周囲の音を収音する。
第2マイクM2は、本体部1における話者Hの口に近い側の部位である第2の位置に配置されており、主に、話者Hが発した音声を気導音として収音する。すなわち、イヤホン91の使用状態において、第2マイクM2は、第1マイクM1よりも話者Hの口に近い位置にある。
以下、本体部1の周囲の音を、単に周囲音とも称する。
第3マイクM3は、気導音マイクであって、挿入部2の放音路2aに面した第3の位置に配置され、話者Hが発し骨導音として外耳道E1に達した音声が、外耳道E1及び放音路2aの内部空間Evに反響して生じた気導音を収音する。
すなわち、第1マイクM1の第1の位置は、話者Hの外耳道外にある。第2マイクM2の第2の位置は、話者Hの外耳道外における、第1の位置よりも話者Hの口に近い位置にある。第3マイクM3は話者Hの外耳道内にある。
【0014】
制御部3の音圧検出部3aは、第1マイクM1から入来した第1入力音声信号である入力音声信号SN1の音圧を検出し、検出第1音声信号SN1aとして出力する。
音圧は、例えば、等価騒音レベル(LAeq)として検出する。音圧検出部3aによって等価騒音レベル(LAeq)として検出した検出第1音声信号SN1aの音圧を、以下、音圧Vaと称する。
第1マイクM1は、上述のように、主に周囲音を収音するので、音圧Vaは、周囲音の音圧とみなすことができる。
【0015】
図2に示されるように、入力選択部3bには、第2マイクM2からの第2入力音声信号である入力音声信号SN2及び第3マイクM3からの第3入力音声信号である入力音声信号SN3と、音圧検出部3aからの検出第1音声信号SN1aとが入力される。
制御部3の入力選択部3bは、通信部4へ向けて出力音声信号SNtを生成し出力する。
その際、制御部3の入力選択部3bは、出力音声信号SNtにおける、入力音声信号SN2と入力音声信号SN3それぞれの反映度合RF1と反映度合RF2とを、検出第1音声信号SN1aの音圧Vaに基づいて設定する。
反映度合RF1及び反映度合RF2は、出力音声信号SNtに対する入力音声信号SN2及び入力音声信号SN3の反映の程度を、それぞれ示す指標である。
指標は、例えば音圧の大きさとする。
この例において、入力選択部3bは、反映度合RF1及び反映度合RF2を、一方を反映有、他方を反映無し、の二者択一として設定する。
すなわち、入力選択部3bは、出力音声信号SNtを、検出第1音声信号SN1aの音圧Vaに基づき、入力音声信号SN2及び入力音声信号SN3のいずれか一方に切り換えるように択一選択的に設定して生成する。これにより、出力音声信号SN1は、入力音声信号SN2及び入力音声信号SN3の少なくとも一方を含むものとなっている。
通信部4は、入力選択部3bから出力された出力音声信号SNtを、イヤホン91の外部へ無線送信する。無線送信は、例えば、Bluetooth(登録商標)によって行う。
【0016】
次に、入力選択部3bの動作による入力音声処理方法を、
図3を参照して詳述する。
図3は、横軸を音圧Vaとし、縦軸を、出力音声信号SNtとして択一的に選択される第2マイクM2の入力音声信号SN2及び第3マイクM3の入力音声信号SN3とした図である。
音圧Vaの任意値として、第1の音圧の切換下音圧Va1と、切換下音圧Va1よりも大きい第2の音圧の切換上音圧Va2とを予め設定しておく。
【0017】
入力選択部3bは、音圧Vaが切換下音圧Va1未満となる場合に、生成する出力音声信号SNtとして入力音声信号SN2を選択し設定する。また、音圧Vaが切換上音圧Va2を超える場合に、生成する出力音声信号SNtとして入力音声信号SN3を選択し設定する。
【0018】
入力選択部3bは、出力音声信号SNtとして入力音声信号SN2を選択して設定しているときに、音圧Vaが大きくなって切換上音圧Va2を超えたら、入力音声信号SN2を入力音声信号SN3に切り換える。
入力選択部3bは、出力音声信号SNtとして入力音声信号SN3を選択して設定しているときに、音圧Vaが小さくなって切換下音圧Va1未満となったら、入力音声信号SN3を入力音声信号SN2に切り換える。
【0019】
すなわち、イヤホン91は、周囲音が小さいときには、外耳道E1外において気導音として第2マイクM2で収音した話者Hの音声を、出力音声信号SNtとして外部に送出する。
また、イヤホン91は、周囲音が大きいときには、外耳道E1内において骨導音を経た気導音として第3マイクM3で収音した話者Hの音声を、出力音声信号SNtとして外部に送出する。
【0020】
外耳道E1内において、骨導音を経た気導音として、或いは骨導音として収音された話者Hの音声は、外耳道E1外において気導音で収音された音声と比べて明瞭さは低いものの、周囲音の影響をほとんど受けることなく安定した音圧で得られる。
そのため、イヤホン91は、周囲音が大きくても、周囲音に埋もれることなく話者Hの音声の音圧が大きい出力音声信号SNtを送出できる。
また、周囲音が小さい場合は、話者Hの音声を外耳道E1外において気導音で収音し、話者Hの音声の音圧が比較的大きく、より明瞭な出力音声信号SNtを送出できる。
【0021】
図3に示されるように、イヤホン91は、入力選択部3bが出力音声信号SNtを入力音声信号SN2から入力音声信号SN3に切り換える切換上音圧Va2と、入力音声信号SN3から入力音声信号SN2に切り換える切換下音圧Va1とが異なる値に設定されている。具体的には、切換上音圧Va2が切換下音圧Va1よりも高く設定されている。
【0022】
切換上音圧Va2の値と切換下音圧Va1との値を異ならせることで、第1マイクM1で収音される周囲音が、切換下音圧Va1又は切換上音圧Va2を跨いで頻繁に上下する場合に、入力音声信号SN2と入力音声信号SN3とが頻繁に切り換わって出力音声信号SNtの音圧或いは音質が安定しなくなる現象を回避できる。これにより、イヤホン91の周囲音の音圧変動に伴ってAIアシスタント81の音声認識低下が生じることが防止される。
【0023】
また、切換上音圧Va2を切換下音圧Va1よりも大きく設定することで、切換下音圧Va1と切換上音圧Va2との間で音圧Vaの増減変動が逆転した場合に、選択されるべき入力音声信号に切り換わらなくなる不具合が防止される。
【0024】
切換下音圧Va1及び切換上音圧Va2は、イヤホン91の使用環境などに応じて、AIアシスタント81の認識率が高く維持されるよう製造者側で適切に設定される。また、これに限らず、話者Hが切換下音圧Va1及び切換上音圧Va2を、イヤホン91の使用環境に応じて調整できるようにしてもよい。
【0025】
上述のように、イヤホン91は、本体部1の周囲の音の大小によらず、制御部3が生成し通信部4から送出される出力音声信号SNtにおいて、話者Hの発した音声が大きい音圧で維持される。
これにより、出力音声信号SNtを受信したAIアシスタント81は、話者Hの発した音声の認識率が向上する。
【0026】
以上詳述した実施例1は、上述の構成及び手順に限定されるものではなく、本発明の要旨を逸脱しない範囲において変形した変形例としてもよい。
【0027】
(変形例1)
図4は、イヤホン91の変形例であるイヤホン91Aを示すブロック図であり、
図5は、イヤホン91Aの動作を示す図である。
図4に示されるように、イヤホン91Aは、イヤホン91に対し、入力選択部3bを入力混合部3cに置き換えたものであり、それ以外の構成は同じである。
【0028】
入力混合部3cには、第2マイクM2からの入力音声信号SN2及び第3マイクM3からの入力音声信号SN3と、音圧検出部3aからの検出第1音声信号SN1aとが入力される。
入力混合部3cは、入力音声信号SN2と入力音声信号SN3とを、検出第1音声信号SN1aの音圧Vaに応じた音圧比率で混合し、出力音声信号SNtとして通信部4へ向け出力する。
制御部3の入力混合部3cは、出力音声信号SNtにおける入力音声信号SN2と入力音声信号SN3それぞれの反映度合RF2と反映度合RF3とを、それぞれの音圧の比率で設定する。音圧比率は、出力音声信号SNtに含まれる入力音声信号SN2と入力音声信号SN3との音圧の比率である。
【0029】
図5を参照して入力混合部3cの動作による入力音声処理方法を説明する。
図5は、横軸を音圧Vaの線形軸とし、縦左軸を入力音声信号SN2及び入力音声信号SN3それぞれの混合する混合音圧Vの線形軸とし、縦右軸を出力音声信号SNtの総音圧Vtの線形軸とする。
総音圧Vtは、入力音声信号SN2と入力音声信号SN3とを混合した音声信号の音圧であり、いずれか一方が0(ゼロ)の場合も含む。
【0030】
図5に示されるように、音圧Vaに対し、予め、任意値として混合下限音圧Va3と、混合下限音圧Va3よりも大きい混合上限音圧Va4とを設定しておく。以下、音圧Vaにおける、混合下限音圧Va3以上、混合上限音圧Va4以下の範囲を、音圧Vaにおける混合範囲Rとも称する。
また、入力音声信号SN2及び入力音声信号SN3に対し、予め、混合する最小音圧である混合最小音圧Vminと、混合する最大の音圧である混合最大音圧Vmaxとを設定しておく。混合最小音圧Vminは0(ゼロ)であってもよい。
【0031】
入力混合部3cは、音圧Vaが混合下限音圧Va3未満の場合に、入力音声信号SN2を混合最大音圧Vmaxとし、入力音声信号SN3を混合最小音圧Vminとする。
入力混合部3cは、音圧Vaが混合上限音圧Va4を超える場合に、入力音声信号SN2を混合最小音圧Vminとし、入力音声信号SN3を混合最大音圧Vmaxとする。
入力混合部3cは、音圧Vaの混合範囲Rにおいて、入力音声信号SN2については音圧Vaが大きくなるほど混合音圧Vを減少させ、入力音声信号SN3については、音圧Vaが大きくなるほど混合音圧Vを増加させる。
すなわち、入力混合部3cは、音圧Vaが大きくなるほど、入力音声信号SN2の反映度合FR2を減少させ、入力音声信号SN3の反映度合FR3を増加させる。
入力混合部3cは、音圧Vaの混合範囲Rにおいて、音圧Vaに対し混合音圧Vを例えば線形に増減させる。
【0032】
これにより、入力混合部3cは、音圧Vaにおける混合範囲Rの任意の音圧Vaxにおいて、入力音声信号SN2及び入力音声信号SN3を、それぞれ音圧Vaxに対応した混合音圧V2x及び混合音圧V3xで混合して出力音声信号SNtを生成し、生成した出力音声信号SNtを通信部4に向け出力する。
【0033】
上述の入力混合部3cの動作により、出力音声信号SNtの総音圧Vtは、音圧Vaの大小によらず、一定の総音圧Vtcとなる。
【0034】
混合下限音圧Va3,混合上限音圧Va4,混合最小音圧Vmin,及び混合最大音圧Vmaxは、イヤホン91Aの使用環境などに応じて、AIアシスタント81の音声認識率が高く維持されるように、製造者側で適切に設定される。
混合下限音圧Va3,混合上限音圧Va4,混合最小音圧Vmin,及び混合最大音圧Vmaxは、話者Hが調整可能であってもよい。
【0035】
変形例1のイヤホン91Aによれば、周囲音の音圧Vaが混合下限音圧Va3及び混合上限音圧Va4との間の混合範囲Rにあるときに、入力音声信号SN2と入力音声信号SN3とが、音圧Vaに応じた反映度合FR2,FR3の音圧比率で混合され、混合される音圧の比率が、本体部1の周囲音の音圧の増減に応じて線形で徐々に変化する。
例えば、出力音声信号SNtにおける反映度合FR2は、音圧Vaが音圧Va3のときVmax/Vmin、音圧VaxのときV2x/V3x、音圧Va4のときVmin/Vmaxで示される。
また、出力音声信号SNtにおける反映度合FR3は、音圧Vaが音圧Va3のときVmin/Vmax、音圧VaxでV3x/V2x、音圧Va4でVmax/Vminで示される。
そのため、周囲音の増減に応じた出力音声信号SNtの音質の変化が緩やかで滑らかになり、本体部1の周囲音の音圧によらず、話者Hが発した音声のAIアシスタント81による認識率が高く維持される。
また、イヤホン91Aは、周囲音の増減によらず出力音声信号SNtの総音圧Vtが一定で急変しないので、話者Hが発した音声のAIアシスタント81による認識率がより高く維持される。
【0036】
(変形例2)
イヤホン91Aは、出力音声信号SNtの総音圧Vtを音圧Vaによらず一定とする入力混合部3cに換えて、
図6に示されるように、総音圧Vtを音圧Vaに応じて変える入力混合部3cB(
図4参照)とした、変形例2のイヤホン91B(
図4参照)であってもよい。
【0037】
入力混合部3cBは、例えば、音圧Vaの混合範囲Rにおいて、総音圧Vtを、音圧Vaが大きくなるに従って大きくする。
詳しくは、入力混合部3cBは、
図6に示されるように、入力音声信号SN2の混合最大音圧V2maxと入力音声信号SN3の混合最大音圧V3maxとを、異なる値として混合動作を実行する。例えば、混合最大音圧V3maxを、混合最大音圧V2maxより大きいものとする。
これにより出力音声信号SNtは、混合下限音圧Va3における総音圧Vt1と、混合上限音圧Va4における総音圧Vt1よりも大きい総音圧Vt2との間で音圧が増減する。
【0038】
総音圧Vtを一定とした場合、音圧Vaが大きい、すなわち周囲音が大きい場合に、入力音声信号SN2に背景騒音としてある程度含まれる周囲音の音圧比率が高くなる。従って、出力音声信号SNtの総音圧Vtにおける周囲音の音圧比率が相対的に高くなる。
これに対し、イヤホン91Bは、音圧Vaにおける混合範囲Rにおいて、音圧Vaが大きくなるに従って、入力音声信号SN2に対する入力音声信号SN3の音圧の混合比率が大きくなる。そのため、出力音声信号SNtの総音圧Vtにおける周囲音の音圧比率の上昇が抑制される。
これにより、出力音声信号SNtを受信したAIアシスタント81による音声認識率が安定的に維持される。
【0039】
(変形例3)
変形例1のイヤホン91Aは、入力混合部3cを、非線形に減少及び増加させる入力混合部3cC(
図4参照)に置き換えた変形例3のイヤホン91C(
図4参照)に変形してもよい。
【0040】
入力混合部3cCは、
図7に示されるように、音圧Vaにおける混合範囲Rにおいて、音圧Vaが時間と共に減少する場合の入力音声信号SN2と入力音声信号SN3とを等しい音圧で混合する音圧Va5が、混合下限音圧Va3と混合上限音圧Va4との中点よりも混合下限音圧Va3側に寄って設定されている。
すなわち、入力混合部3cCは、音圧Vaが減少する場合の入力音声信号SN2と入力音声信号SN3との混合を、非線形の特性線LN2b及び特性線LN3bに基づいて実行する。
【0041】
一方、入力混合部3cCは、音圧Vaが時間と共に増加する場合の入力音声信号SN2と入力音声信号SN3とを等しい音圧で混合する音圧Va6が、混合下限音圧Va3と混合上限音圧Va4との中点よりも混合上限音圧Va4側に寄って設定されている。
すなわち、入力混合部3cCは、音圧Vaが増加する場合の入力音声信号SN2と入力音声信号SN3との混合を、非線形の特性線LN2a及び特性線LN3aに基づいて実行する。
【0042】
また、入力混合部3cCは、音圧Vaが増加するも混合上限音圧Va4に至らずに減少に転じた場合は、特性線LN2a及び特性線LN3a上で混合比を変化させる。また、入力混合部3cCは、音圧Vaが減少するも混合下限音圧Va3に至らずに増加に転じた場合は、特性線LN3b及び特性線LN2b上で混合比を変化させる。
【0043】
また、入力混合部3cCは、出力音声信号SNtの総音圧Vtが、音圧Vaの大小によらず、一定の総音圧Vtcとなるように入力音声信号SN2と入力音声信号SN3との混合比を制御する。
図7における入力音声信号SN2及びSN3の非線形特性は、イヤホン91の製造者によって予め設定されるか、又は話者Hの調整によって設定される。
【0044】
変形例3のイヤホン91Cは、周囲音の音圧Vaが、比較的小さく維持されて混合範囲Rの混合下限音圧Va3に近い側にある場合に、出力音声信号SNtを、入力音声信号SN3に対する入力音声信号SN2の比率がより高くなるように混合して生成し、音声の明瞭化を優先的に図る。
また、イヤホン91Cは、周囲音の音圧Vaが、比較的大きく維持されて混合範囲Rの混合上限音圧Va4に近い側にある場合に、出力音声信号SNtを、入力音声信号SN2に対する入力音声信号SN3の比率がより高くなるように混合して生成し、音声の高音圧化を優先的に図る。
【0045】
このように、変形例3のイヤホン91Cは、周囲音の音圧Vaの大小傾向に応じた、音声認識により適した出力音声信号SNtを生成する。そのため、話者Hが発した音声のAIアシスタント81による認識率がより高く維持される。
【0046】
(変形例4)
イヤホン91Cは、入力混合部3cCを、
図8に示されるように、総音圧Vtを音圧Vaに応じて変える入力混合部3cD(
図4参照)に置き換えた変形例4のイヤホン91D(
図4参照)に変形してもよい。
【0047】
入力混合部3cDは、例えば、音圧Vaにおける混合範囲Rにおいて、総音圧Vtを音圧Vaが,大きくなるに従って大きくする。
詳しくは、入力混合部3cDは、
図8に示されるように、入力音声信号SN2の混合最大音圧V2maxと入力音声信号SN3の混合最大音圧V3maxとを、異なる値として混合動作を実行する。例えば、混合最大音圧V3maxを、混合最大音圧V2maxより大きいものとする。
これにより出力音声信号SNtは、混合下限音圧Va3における総音圧Vt1と、混合上限音圧Va4における総音圧Vt1よりも大きい総音圧Vt2との間で音圧が増減する。
【0048】
これにより、変形例2と同様に、音圧Vaが大きくなるほど、入力音声信号SN2に対する入力音声信号SN3の音圧の混合比率が大きくなる。そのため、出力音声信号SNtの総音圧Vtにおける周囲音の音圧比率の上昇が抑制され、出力音声信号SNtを受信したAIアシスタント81の、音声認識率が安定して維持される。
【0049】
イヤホン91,91A~91Cを商品として販売する場合は、単品での販売に限らず、2個以上を組として販売してもよい。イヤホン91,91A~91Cを左右両方の耳に対し装着可能な仕様とすれば、左右の耳用として2個一組で販売してもよい。
また、イヤホン91,91A~91Cは、大規模店舗の複数の従業員が装着する片耳用のマイク付きイヤホンとして、任意の複数個を組として販売してもよい。
【0050】
(実施例2)
本発明の実施の形態に係る音声入力システムを、実施例2のイヤホンシステム91STにより主に
図1,
図9,及び
図10を参照して説明する。
図9は、イヤホンシステム91STのブロック図であり、
図10はイヤホンシステム91STの動作を示す表である。
図9に示されるように、イヤホンシステム91STは、第1の音声入力装置であるイヤホン91Lと第2の音声入力装置であるイヤホン91Rの一対の組として構成される。イヤホン91Lは話者Hの左耳に装着され、イヤホン91Rは話者Hの右耳に装着される。
【0051】
図1に示されるように、イヤホン91Lは、本体部1L及び挿入部2を有し、イヤホン91Rは、本体部1R及び挿入部2を有する。
イヤホン91L及びイヤホン91Rにおける、第1~第3マイクM1~M3と駆動部5とスピーカユニット6との構成及び配置位置は、実施例1のイヤホン91と同じである。
以下、イヤホン91と同じ部材には同じ符号を付し、異なる部材について、符号末尾にそれぞれL,Rを付して区別する。
【0052】
図1及び
図9に示されるように、イヤホン91L及びイヤホン91Rは、イヤホン91の制御部3の替わりにそれぞれ制御部3L及び制御部3Rを有し、イヤホン91の通信部4の替わりにそれぞれ通信部4L及び通信部4Rを有する。
【0053】
イヤホン91Lにおいて、本体部1Lは、第1マイクM1及び第2マイクM2と、制御部3L及び通信部4Lと、駆動部5及びスピーカユニット6とを有する。挿入部2は、第3マイクM3を有する。
イヤホン91Rにおいて、本体部1Rは、第1マイクM1及び第2マイクM2と、制御部3L及び通信部4Lと、駆動部5及びスピーカユニット6とを有する。挿入部2は、第3マイクM3を有する。
【0054】
図1に示されるように、本体部1L及び本体部1Rは、スピーカユニット6の放音側に気室1aを有する。
挿入部2は、先端に開口し気室1aに連通した放音路2aを有する。
イヤホン91L,91Rの使用状態において、駆動部5の動作によってスピーカユニット6から出力された音は、気室1a及び放音路2aを通り、左右の耳それぞれの外耳道E1内に放出される。
これにより、イヤホン91L,91Rは、それぞれ通信部4L,4Rが外部の音声再生装置から無線送信された音声信号を受信し、制御部3L,3R及び駆動部5を介してスピーカユニット6で再生することができる。
イヤホン91Lとイヤホン91Rとは、通信部4Lと通信部4Rとの間で相互に通信可能である。
【0055】
本体部1L,1Rそれぞれに備えられた第1マイクM1は、本体部1L,1Rにおける話者Hの口から遠い側の部位に配置され、本体部1L,1Rの周囲の音を収音する。
本体部1L,1Rそれぞれに備えられた第2マイクM2は、本体部1L,1Rにおける話者Hの口に近い側の部位に配置されている。すなわち、イヤホン91L,91Rの使用状態において、第2マイクM2は、第1マイクM1よりも話者Hの口に近い位置にある。
第3マイクM3は、気導音マイクであって、挿入部2の放音路2aに面した第3の位置に配置され、話者Hが発し骨導音として外耳道E1に達した音声が、外耳道E1及び放音路2aの内部空間Evに反響して生じた気導音を収音する。
すなわち、第1マイクM1の第1の位置は、話者Hの外耳道外にある。第2マイクM2の第2の位置は、話者Hの外耳道外における、第1の位置よりも話者Hの口に近い位置にある。第3マイクM3は話者Hの外耳道内にある。
【0056】
図9に示されるように、イヤホン91Lの制御部3Lは、音圧検出部3aL,入力選択部3bL,及び音圧差評価部3dを有する。
イヤホン91Rの制御部3Rは、音圧検出部3aR,入力選択部3bR,及び出力制御部3eを有する。
【0057】
イヤホン91Lにおいて、音圧検出部3aLは、第1マイクM1から入来した音声信号SN1Lの音圧を検出し、検出第1音声信号SNLとして、入力選択部3bLと音圧差評価部3dとの両方に向け出力する。
イヤホン91Rにおいて、音圧検出部3aRは、第1マイクM1から入来した音声信号SN1Rの音圧を検出し、検出第1音声信号SNRとして、入力選択部3bRと出力制御部3eとの両方に向け出力する。
【0058】
音声信号SN1L,SN1Rの音圧は、例えば、等価騒音レベル(LAeq)として検出する。音圧検出部3aL,3aRによって、等価騒音レベル(LAeq)としてそれぞれが検出した検出第1音声信号SNL,SNRの音圧を、以下、それぞれ音圧VL,VRと称する。
【0059】
本体部1Lに備えられた第1マイクM1は、本体部1Lの周囲音を収音し、本体部1Rに備えられた第1マイクM1は、本体部1Rの周囲音を収音する。
従って、音圧VLは、左耳用のイヤホン91Lの周囲音の音圧とみなすことができる。また、音圧VRは、右耳用のイヤホン91Rの周囲音の音圧とみなすことができる。
【0060】
イヤホン91Rの出力制御部3eは、入来した検出第1音声信号SNRの音圧VRを含む音圧情報JR1と、通信制御情報JR2(詳細は後述する)とを、通信部4Rに向け送出する。
【0061】
イヤホン91L,91Rそれぞれの入力選択部3bL,3bRの動作による入力音声処理方法は、実施例1の入力選択部3bと同様である。
具体的には、
図3に示されるように、イヤホン91Lの入力選択部3bLは、音圧検出部3aLから出力された検出第1音声信号SNLの音圧VLが、予め設定された少なくとも切換下音圧Va1未満となる場合に、出力音声信号SNtLとして入力音声信号SN2Lを選択し設定する。また、音圧VRが少なくとも切換上音圧Va2を超える場合に、出力音声信号SNtLとして入力音声信号SN3Lを選択し設定する。
入力選択部3bLは、上述のように設定した出力音声信号SNtLを、通信部4Lに向け出力する。
このように、入力選択部3bLは、出力音声信号SNtLにおける、入力音声信号SN2Lと入力音声信号SN3Lそれぞれの反映度合RF1Lと反映度合RF2Lとを、検出第1音声信号SN1aの音圧Vaに基づいて設定する。
この例において、入力選択部3bLは、反映度合RF1L及び反映度合RF2Lを、一方を反映有、他方を反映無し、の二者択一として設定する。
【0062】
また、イヤホン91Rの入力選択部3bRは、音圧検出部3aRから出力された検出第1音声信号SNRの音圧VRが、予め設定された少なくとも切換下音圧Va1未満となる場合に、出力音声信号SNtRとして入力音声信号SN2Rを選択し設定する。また、音圧VRが少なくとも切換上音圧Va2を超える場合に、出力音声信号SNtRとして入力音声信号SN3Rを選択し設定する。
入力選択部3bRは、上述のように設定した出力音声信号SNtRを、通信部4Rに向け出力する。
このように、入力選択部3bRは、出力音声信号SNtRにおける、入力音声信号SN2Rと入力音声信号SN3Rそれぞれの反映度合RF1Rと反映度合RF2Rとを、検出第1音声信号SN1aの音圧Vaに基づいて設定する。
この例において、入力選択部3bRは、反映度合RF1R及び反映度合RF2Rを、一方を反映有、他方を反映無し、の二者択一として設定する。
【0063】
通信部4Rは、出力制御部3eから入来した音圧情報JR1を、イヤホン91Rの外部へ無線送信する。無線送信方法は、例えば、Bluetooth(登録商標)である。
ここで、通信部4Rの、入力選択部3bRから出力された出力音声信号SNtRの無線送信の有無は、出力制御部3eから入来した通信制御情報JR2によって制御される。
すなわち、通信制御情報JR2は、出力音声信号SNtRの無線送信の許可と禁止のいずれかの指令を含み、この指令に基づいて、通信部4Rにおける出力音声信号SNtRの無線送信が制御される。
【0064】
イヤホン91Lの通信部4Lは、イヤホン91Rの通信部4Rから無線送信された音圧情報JR1を受信し、音圧差評価部3dに送出する。
音圧差評価部3dは、通信部4Lから送出された音圧情報JR1から音圧VRを取得し、音圧VRと、音圧検出部3aLから取得した検出第1音声信号SNLの音圧VLとの大小を比較する。
【0065】
音圧差評価部3dは、音圧VLと音圧VRとの大小関係に対応して予め設定された出力音声信号SNtL及び出力音声信号SNtRの一方を、イヤホンシステム91STとして外部に無線送信する出力音声信号SNstとして設定する。
次いで音圧差評価部3dは、出力音声信号SNtLに設定された信号を特定する通信制御情報JL2を通信部4Lに出力し、通信部4Lは、通信制御情報JL2をイヤホン91Rの通信部4Rに向け無線送信する。
通信部4Rは、通信制御情報JL2を受信すると共に、受信した通信制御情報JL2を出力制御部3eに送出する。
【0066】
音圧差評価部3dの動作について、
図10を参照して詳述する。
図10は、音圧VLと音圧VRとの大小と、イヤホンシステム91STとして外部に無線送信する出力音声信号SNstとの関係を示した表である。
図10に示されるように、音圧差評価部3dは、音圧VLよりも音圧VRが大きいと判定した場合、イヤホンシステム91STとして無線送信する出力音声信号SNstに、出力音声信号SNtLを設定する。
【0067】
また、音圧差評価部3dは、通信制御情報JL2に、通信部4Lに対し出力音声信号SNtLの無線送信を実行する指示を含め通信部4Lに向け送出する。
音圧差評価部3dは、音圧VLよりも音圧VRが小さいと判定した場合、通信制御情報JL2に、通信部4Lに対し出力音声信号SNtLの無線送信を停止する指示を含め通信部4Lに向け送出する。
【0068】
通信部4Lは、通信制御情報JL2を通信部4Rに向け送信すると共に、通信制御情報JL2に含まれる通信部4Lに対する指示に基づいて、出力音声信号SNtLの無線送信を実行又は停止する。
一方、通信部4Rは、通信部4Lから送信された通信制御情報JL2を受信して出力制御部3eへ送出する。
【0069】
出力制御部3eは、通信制御情報JL2に基づき、通信部4Lに出力音声信号SNtLを無線送信させる場合、通信制御情報JR2を通信部4Rにおける出力音声信号SNtRの無線送信を停止する指示を含め生成する。
また、出力制御部3eは、通信部4Lに出力音声信号SNtLを無線送信させない場合、通信制御情報JR2を通信部4Rにおける出力音声信号SNtRの無線送信を実行させる指示を含め生成する。
出力制御部3eは、生成した通信制御情報JR2を通信部4Rに向け送出する。
通信部4Rは、出力制御部3eから送出された通信制御情報JR2に基づいて、出力音声信号SNtRの無線送信を実行又は停止する。
【0070】
上述の音声入力装置及び入力音声処理方法から明らかなように、イヤホンシステム91STは、二つのイヤホン91L,91Rの内、周囲音の小さい方の出力音声信号を択一選択して外部に無線送信する。
これにより、イヤホンシステム91STは、話者Hの発した音声のAIアシスタント81における認識率が向上する。
【0071】
以上詳述した実施例2は、上述の構成及び手順に限定されるものではなく、本発明の要旨を逸脱しない範囲において変形した変形例としてもよい。
【0072】
イヤホン91L及びイヤホン91Rは、実施例1における変形例1で説明したように、入力選択部3bL及び入力選択部3bRの替わりに、入力混合部3cと同じ動作を実行する入力混合部3cL及び入力混合部3cR(
図9参照)を有していてもよい。
例えば、入力混合部3cLにおいて、入力音声信号SN2Lと入力音声信号SN3とが、音圧Vaに応じたそれぞれ反映度合FR2L,FR3Lの音圧比率で混合され、混合される音圧の比率が、本体部1の周囲音の音圧の増減に応じて線形で徐々に変化する。
反映度合RF1L及び反映度合RF2Lは、出力音声信号SNtLに対する入力音声信号SN2L及び入力音声信号SN3Lの反映の程度を、それぞれ示す指標である。指標は、例えば音圧の大きさとする。従って、音圧比率は、出力音声信号SNtLに含まれる入力音声信号SN2Lと入力音声信号SN3Lとの音圧の比率である。
例えば、
図5に示されるように、出力音声信号SNtLにおける反映度合FR2Lは、音圧Vaが音圧Va3のときVmax/Vmin、音圧VaxのときV2x/V3x、音圧Va4のときVmin/Vmaxで示される。
また、出力音声信号SNtLにおける反映度合FR3は、音圧Vaが音圧Va3のときVmin/Vmax、音圧VaxでV3x/V2x、音圧Va4でVmax/Vminで示される。
イヤホン91L及びイヤホン91Rが、入力選択部3bL及び入力選択部3bRの替わりにそれぞれ入力混合部3cL及び入力混合部3cRを有すると、周囲音の増減に応じた出力音声信号SNstの音質変化が緩やかでなめらかになる。
これにより、本体部1L又は本体部1Rの周囲音の音圧によらず、話者Hが発した音声のAIアシスタント81による認識率が高く維持される。
また、イヤホン91L及びイヤホン91Rが、それぞれ入力混合部3cL,3cRを有することで、周囲音の増減によらず出力音声信号SNstの総音圧が一定で急変しないので、話者Hが発した音声のAIアシスタント81による認識率がより高く維持される。
【0073】
イヤホンシステム91STは、イヤホン91L及びイヤホン91Rがそれぞれ入力混合部3cL及び入力混合部3cRを有する場合に、実施例1の変形例2~4を可能な範囲で適用することができる。
【0074】
通信部4,4L,4Rの無線通信方法は、上述のBluetooth(登録商標)に限定されず、種々の方法を適用できる。また、通信部4,4L,4Rは、外部との通信を無線で行うことに限定されず、有線で行ってもよい。
【0075】
実施例1,2の音声入力装置であるイヤホン91,91A~91D,91L,91Rにおいて、第3マイクM3は、上述の気導音マイクに限定されず、骨導音を収音する骨伝導マイクであってもよい。
図11は、第3マイクM3が骨伝導マイクの場合の配置位置を例示した図である。
図11に示されるように、第3マイクM3は骨伝導マイクであって、挿入部2を外耳道E1に挿入した際に、外耳道E1の内面に密着する第3の位置にあり、話者Hが発した音声の骨導音を収音する。
【0076】
実施例2の音声入力システム91STにおいて、第1の音声入力装置としてのイヤホン91L及び第2の音声入力装置としてのイヤホン91Rの使用態様は、話者Hの一方の耳及び他方の耳に装着されて使用される態様に限定されない。例えば、イヤホン91Lを第1の話者の耳に装着し、イヤホン91Rを第1の話者とは別の第2の話者の耳に装着して使用する態様であってもよい。
【0077】
反映度合RF1L,RF2L,RF1,RF2の指標は、音圧に限定されない、音質などに関係する物理量としてもよい。
【符号の説明】
【0078】
1 本体部
1a 気室
2 挿入部
2a 放音路
3,3L,3R 制御部
3a,3aL,3aR 音圧検出部
3b,3bL,3bR 入力選択部
3c,3cB,3cC,3cD 入力混合部
3d 音圧差評価部
3e 出力制御部
4,4L,4R 通信部
5 駆動部
6 スピーカユニット
81 AIアシスタント
91,91A,91B,91C,91D,91L,91R イヤホン(音声入力装置)
91ST イヤホンシステム(音声入力システム)
E 耳介
E1 外耳道
Ev 内部空間
FR2,FR3 反映度合
H 話者
JR1 音圧情報
JL2,JR2 通信制御情報
M1 第1マイク
M2 第2マイク
M3 第3マイク
LN2b,LN3b,LN2a,LN3a 特性線
R 混合範囲
SN1~SN3,SN1L~SN3L,SN1R~SN3R 入力音声信号
SN1a,SNL,SNR 検出第1音声信号
SNt,SNtL,SNtR,SNst 出力音声信号
V,V2x,V3x 混合音圧
Va,Vax,Va5,Va6 音圧
Va1 切換下音圧
Va2 切換上音圧
Va3 混合下限音圧
Va4 混合上限音圧
Vmax 混合最大音圧
Vmin 混合最小音圧
VL,VR 音圧
Vt,Vt1,Vt2,Vtc 総音圧
V2max,V3max 混合最大音圧