特開 2022-191075 肉伝導マイクロフォンシステム、及び、音声採取方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191075

(43)【公開日】2022-12-27

(54)【発明の名称】肉伝導マイクロフォンシステム、及び、音声採取方法

(51)【国際特許分類】

   H04R 1/00 20060101AFI20221220BHJP

   G06F 3/16 20060101ALI20221220BHJP

   H04R 1/14 20060101ALI20221220BHJP

【ＦＩ】

H04R1/00 327Z

G06F3/16 690

H04R1/14

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021099704

(22)【出願日】2021-06-15

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和二年度、国立研究開発法人科学技術振興機構 研究成果展開事業 センター・オブ・イノベーションプログラム『運動の生活カルチャー化により活力ある未来をつくるアクティブ・フォー・オール拠点』委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】西浦 敬信

(57)【要約】

【課題】安定して再現性の高い肉伝導音を採取することができる肉伝導マイクロフォンシステムを提供する。
【解決手段】肉伝導マイクロフォンシステム１００は、肉伝導音を採取する肉伝導マイクロフォンシステムであって、皮膚表面に密着されることにより肉伝導音を伝播させる伝播部１１と、伝播部に接して設けられて、伝播部を伝播する肉伝導音を電気信号に変換するマイクロフォン１２と、マイクロフォンから出力された電気信号に基づいて音声を生成する処理を実行する処理部５と、伝播部を皮膚表面に所定の押圧力で押し付けるための押圧部３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

肉伝導音を採取する肉伝導マイクロフォンシステムであって、
皮膚表面に密着されることにより前記肉伝導音を伝播させる伝播部と、
前記伝播部に接して設けられて、前記伝播部を伝播する前記肉伝導音を電気信号に変換するマイクロフォンと、
前記マイクロフォンから出力された前記電気信号に基づいて音声を生成する処理を実行する処理部と、
前記伝播部を前記皮膚表面に所定の押圧力で押し付けるための押圧部と、
を備える
肉伝導マイクロフォンシステム。

【請求項2】

前記音声を生成する処理は、音声復元用モデルに前記電気信号を入力値として入力して出力値を得ることを含み、
前記音声復元用モデルは、肉伝導音に基づく電気信号を入力値として、前記肉伝導音に対応した可聴音を出力値として出力するよう機械学習された機械学習モデルである
請求項１に記載の肉伝導マイクロフォンシステム。

【請求項3】

前記音声復元用モデルは、同一のユーザについての前記肉伝導音が変換された前記電気信号と、前記肉伝導音に対応した発声音と、を学習用データとして用いて機械学習された機械学習モデルである
請求項２に記載の肉伝導マイクロフォンシステム。

【請求項4】

前記押圧部は、前記肉伝導音を採取する対象に対して前記マイクロフォンを装着するためのガイド部を有する
請求項１～３のいずれか一項に記載の肉伝導マイクロフォンシステム。

【請求項5】

前記処理部は、規定音についての肉伝導音に基づく電気信号を判定用信号として予め記憶しておき、前記伝播部を伝播する前記肉伝導音から得られた前記電気信号と前記判定用信号との比較に基づく判定結果を出力する
請求項１～４のいずれか一項に記載の肉伝導マイクロフォンシステム。

【請求項6】

前記押圧部は、前記押圧力を調整可能な調整部を有する
請求項１～５のいずれか一項に記載の肉伝導マイクロフォンシステム。

【請求項7】

肉伝導音を採取する肉伝導音採取用マイクロフォンを用いた音声採取方法であって、
押圧部を用いて、伝播部を皮膚表面に所定の押圧力で押し付けて、前記伝播部を前記皮膚表面に密着させ、
前記皮膚表面に密着させた前記伝播部に前記肉伝導音を伝播させ、
前記伝播部に接して設けられたマイクロフォンによって、前記伝播部を伝播する前記肉伝導音を電気信号に変換し、
前記マイクロフォンから出力された前記電気信号に基づいて音声を生成する、ことを備える
音声採取方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、肉伝導マイクロフォンシステム、及び、音声採取方法に関する。

【背景技術】

【0002】

周囲環境に制約されずに会話を伴うコミュニケーションを実現するツールとして、例えば、特開２００８－４２７４１号公報（以下、特許文献１）に開示されているような肉伝導マイクロフォンシステムが挙げられる。

【0003】

例えば、公共施設などの発声が制限される環境や、周囲に他人が存在する環境や、障害などによって通常音声を発声できない身体環境である場合などに、肉伝導マイクロフォンシステムを用いて非可聴音声を採取し、音声に変換することによって、会話を伴うコミュニケーションを実現することができる。非可聴音声は、声帯の規則振動を伴わない音声（無声音）であって、外部からは非可聴な体内軟部組織を伝播する振動音（呼吸音）を指す。

【0004】

このような非可聴音声を採取するため、肉伝導マイクロフォンは、一例として、人体の耳介下部に密着するよう装着される。これにより、声道で発声して体内の軟組成（骨以外の筋肉や脂肪など）を伝わる肉伝導音が採取される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８－４２７４１号公報

【発明の概要】

【0006】

肉伝導マイクロフォンを装着する方法として、皮膚表面に貼る方法がある。この方法では、貼り方により採取される音質が変化する。肉伝導マイクロフォンを装着する他の方法として、肉伝導マイクロフォンを紐などで首に締め付けて装着する方法もある。しかしながら、この方法でも、締め方により採取される音質が変化する。

【0007】

そこで、本開示は、安定して再現性の高い肉伝導音を採取することができる肉伝導マイクロフォンシステム、及び、音声採取方法を提供することを目的の１つとしている。

【0008】

ある実施の形態に従うと、肉伝導マイクロフォンシステムは、肉伝導音を採取する肉伝導マイクロフォンシステムであって、皮膚表面に密着されることにより肉伝導音を伝播させる伝播部と、伝播部に接して設けられて、伝播部を伝播する肉伝導音を電気信号に変換するマイクロフォンと、マイクロフォンから出力された電気信号に基づいて音声を生成する処理を実行する処理部と、伝播部を皮膚表面に所定の押圧力で押し付けるための押圧部と、を備える。

【0009】

ある実施の形態に従うと、肉伝導での音声採取方法は、肉伝導音を採取する肉伝導音採取用マイクロフォンを用いた音声採取方法であって、押圧部を用いて、伝播部を皮膚表面に所定の押圧力で押し付けて、伝播部を皮膚表面に密着させ、皮膚表面に密着させた伝播部に肉伝導音を伝播させ、伝播部に接して設けられたマイクロフォンによって、伝播部を伝播する肉伝導音を電気信号に変換し、マイクロフォンから出力された電気信号に基づいて音声を生成する、ことを備える。

【0010】

更なる詳細は、後述の実施形態として説明される。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態に係る肉伝導マイクロフォンシステムの構成の一例を表した概略図である。

【図2】図２は、図１の肉伝導マイクロフォンの、ユーザへの装着状態を表した概略図である。

【図3】図３は、図１のＡ部分の拡大図である。

【図4】図４は、図１及び図３の肉伝導マイクロフォンの、Ｅ－Ｅ断面概略図である。

【図5】図５は、処理装置の概略を表したブロック図である。

【図6】図６は、実施の形態に係る、肉伝導音採取用マイクロフォンを用いた音声採取方法の流れの一例を表したフローチャートである。

【図7】図７は、発明者による検証実験の条件３，４における肉伝導マイクロフォンのユーザへの装着状態を表した概略図である。

【図8】図８は、発明者による検証実験の条件１で得られた肉伝導音を復元して得られた可聴音の振幅及び周波数の時間変化を表した図である。

【図9】図９は、発明者による検証実験の条件２で得られた肉伝導音を復元して得られた可聴音の振幅及び周波数の時間変化を表した図である。

【図10】図１０は、発明者による検証実験の条件３で得られた肉伝導音を復元して得られた可聴音の振幅及び周波数の時間変化を表した図である。

【図11】図１１は、発明者による検証実験の条件４で得られた肉伝導音を復元して得られた可聴音の振幅及び周波数の時間変化を表した図である。

【図12】図１２は、発明者による検証実験のための気伝導音の振幅及び周波数の時間変化を表した図である。

【発明を実施するための形態】

【0012】

＜１．肉伝導マイクロフォンシステム、及び、音声採取方法の概要＞

【0013】

（１）実施の形態に係る肉伝導マイクロフォンシステムは、肉伝導音を採取する肉伝導マイクロフォンシステムであって、皮膚表面に密着されることにより肉伝導音を伝播させる伝播部と、伝播部に接して設けられて、伝播部を伝播する肉伝導音を電気信号に変換するマイクロフォンと、マイクロフォンから出力された電気信号に基づいて音声を生成する処理を実行する処理部と、伝播部を皮膚表面に所定の押圧力で押し付けるための押圧部と、を備える。

【0014】

肉伝導マイクロフォンシステムが押圧部を備えていることによって、伝播部を皮膚表面に張り付けたり、手などを用いて押さえたりしなくても、伝播部は皮膚表面に所定の押圧力で押し付けられるようになる。その結果、肉伝導マイクロフォンの用い方に特別な技術を必要とせずに安定して再現性の高い肉伝導音の採取が可能になる。

【0015】

（２）好ましくは、音声を生成する処理は、音声復元用モデルに電気信号を入力値として入力して出力値を得ることを含み、音声復元用モデルは、肉伝導音に基づく電気信号を入力値として、肉伝導音に対応した可聴音を出力値として出力するよう機械学習された機械学習モデルである。これにより、肉伝導音を容易に可聴音に変換することが可能になる。

【0016】

（３）好ましくは、音声復元用モデルは、同一のユーザについての肉伝導音が変換された電気信号と、肉伝導音に対応した発声音と、を学習用データとして用いて機械学習された機械学習モデルである。発声音は、例えば、肉伝導マイクロフォンで採取された音声であってもよいし、通常のマイクロフォンで収録した気伝導音であってもよい。これにより、肉伝導音を、音声を採取したユーザ自身の発声音によって再現することが可能になる。

【0017】

（４）好ましくは、押圧部は、肉伝導音を採取する対象に対してマイクロフォンを装着するためのガイド部を有する。これにより、肉伝導音の採取に適した位置にマイクロフォンを取り付けることが可能になる。そのため、マイクロフォンの取り付けに特別な技術を必要とせずに安定して再現性の高い肉伝導音の採取が可能になる。

【0018】

（５）好ましくは、処理部は、規定音についての肉伝導音に基づく電気信号を判定用信号として予め記憶しておき、伝播部を伝播する肉伝導音から得られた電気信号と判定用信号との比較に基づく判定結果を出力する。判定用信号として、肉伝導音の採取に適した位置にマイクロフォンを取り付けた際に採取される肉伝導音に基づく電気信号を用いた場合、これらを比較することによって、肉伝導音の採取時のマイクロフォンの位置が、適切であるか否かを判定することができる。判定結果が出力されることで、マイクロフォンの位置を調整することが可能になり、その結果、再現性の高い肉伝導音の採取が可能になる。

【0019】

（６）好ましくは、押圧部は、押圧力を調整可能な調整部を有する。これにより、押圧の調整が容易になる。その結果、適した押圧力でマイクロフォンを皮膚表面に押し付けることができるようになり、再現性の高い肉伝導音の採取が可能になる。

【0020】

（７）実施の形態に係る肉伝導での音声採取方法は、肉伝導音を採取する肉伝導音採取用マイクロフォンを用いた音声採取方法であって、押圧部を用いて、伝播部を皮膚表面に所定の押圧力で押し付けて、伝播部を皮膚表面に密着させ、皮膚表面に密着させた伝播部に肉伝導音を伝播させ、伝播部に接して設けられたマイクロフォンによって、伝播部を伝播する肉伝導音を電気信号に変換し、マイクロフォンから出力された電気信号に基づいて音声を生成する、ことを備える。押圧部を用いることによって、伝播部を皮膚表面に張り付けたり、手などを用いて押さえたりしなくても、伝播部は皮膚表面に所定の押圧力で押し付けられるようになる。その結果、肉伝導マイクロフォンの用い方に特別な技術を必要とせずに安定して再現性の高い肉伝導音の採取が可能になる。

【0021】

＜２．肉伝導マイクロフォンシステム、及び、音声採取方法の例＞

【0022】

図１は、本実施の形態に係る肉伝導マイクロフォンシステム１００の構成の一例を表した概略図である。図２は、肉伝導マイクロフォン１の、ユーザ２への装着状態を表した概略図である。図２では、上方向を向いたユーザ２を真上から見下ろした状態が表されている。

【0023】

肉伝導マイクロフォンシステム１００は、肉伝導マイクロフォン１を備える。肉伝導マイクロフォン１は、ユーザ２に装着され、ユーザ２の肉伝導音を採取するために用いられる。肉伝導音とは、発声により誘発される皮膚や肉の振動から得られる音声を指す。一例として、肉伝導マイクロフォン１は、ユーザ２の喉周辺の皮膚や肉の振動を検出し、その振動を電気信号に変換する。

【0024】

肉伝導マイクロフォンシステム１００は、押圧部３を備える。押圧部３は、肉伝導マイクロフォン１をユーザ２の皮膚表面に所定の圧力で押し付ける。好ましくは、押圧部３は、肉伝導マイクロフォン１をユーザ２の耳介２０１の後方の位置２０２に押し付ける。これにより、肉伝導マイクロフォン１がユーザの喉周辺の皮膚や肉の振動を検出しやすくなり、音声が得られやすくなる。

【0025】

押圧部３は、ガイド部３１を有する。ガイド部３１は、一部の欠けた円形状であって、ユーザの首周りに回されるベルト状の部材である。図１及び図２の例では、ガイド部３１は、半円形である。

【0026】

ガイド部３１の直径は、両肉伝導マイクロフォン１の当接面１Ａの間の距離Ｌ１が、装着したユーザ２の左右の位置２０２の間の距離Ｌ２よりも小さくなる大きさである。距離Ｌ２は、肉伝導マイクロフォン１を用いて肉伝導音を採取する対象と想定されるさまざまなユーザのうち最もサイズの小さいユーザの左右の位置２０２の間の距離が想定される。

【0027】

押圧部３は、少なくともガイド部３１が可撓性を有する素材で成形されている。可撓性を有する素材としては、例えば、樹脂材料などが用いられる。樹脂材料は、例えば、ポリ塩化ビニル、ポリエチレン、ポリプロピレン、ＡＢＳ樹脂、ＡＥＳ樹脂、ポリカーボネート、変性ポリフェニレンエーテル、ポリエチレンテレフタレート、ポリブチレンテレフタレート、ナイロンの群より選ばれる少なくとも１以上の材料が挙げられる。これにより、円弧状のガイド部３１の成形が容易となるとともに、可撓性によって後述するような所定の押圧力が得られる。

【0028】

ガイド部３１の両端には、それぞれ、調整部３２が設けられ、両調整部３２には、それぞれ、肉伝導マイクロフォン１が取り付けられている。両肉伝導マイクロフォン１は、いずれも、皮膚表面に密着させる側の面である当接面１Ａがガイド部３１の円弧の中心側に向くように、調整部３２に取り付けられている。これにより、後述するようにユーザに取り付けられたときに、肉伝導マイクロフォン１がユーザの皮膚表面に所定の圧力で押し付けられるようになる。

【0029】

図２を参照して、肉伝導マイクロフォン１は、ガイド部３１の円弧の頂点３１Ａの内側がユーザ２の首２００Ｂの真後ろの位置２０３に当たるように押圧部３をユーザ２の首２００Ｂの周りに回し、肉伝導マイクロフォン１をユーザ２の頭部２００Ａの左右に向けて装着される。これにより、肉伝導マイクロフォン１は、ユーザ２の左右の耳介２０１の後方の位置２０２付近に位置するようになり、適切な位置にガイドされる。

【0030】

距離Ｌ１が距離Ｌ２よりも小さいため、図２に示されたようにユーザ２が肉伝導マイクロフォン１を首２００Ｂの周りに装着すると、押圧部３の可撓性によってガイド部３１がやや開く。このため、ガイド部３１から延伸した調整部３２には、内側に向かう力Ｆが生じる。それにより、押圧部３は、位置２０２において、肉伝導マイクロフォン１をユーザ２の皮膚表面に所定の押圧力である力Ｆで押し付けるようになる。

【0031】

調整部３２は、肉伝導マイクロフォン１をユーザ２の皮膚表面に押し付ける押圧力を調整可能である。一例として、調整部３２は、肉伝導マイクロフォン１を矢印Ｂ方向に移動可能に取り付けることによって、押圧力を調整可能とする。矢印Ｂは、ガイド部３１の両端から調整部３２が向く方向であって、一例として、円形状のガイド部３１の両端における接線方向である。

【0032】

図３は、図１のＡ部分の拡大図であって、調整部３２の一例を表す概略図である。図３では、図１の矢印Ｃの向きで見た調整部３２が示されている。図１及び図３を参照して、調整部３２は、肉伝導マイクロフォン１に取り付けられた取付部材２１を有する。取付部材２１に対して、肉伝導マイクロフォン１は、相対的な位置を固定して取り付けられている。一例として、肉伝導マイクロフォン１は、取付部材２１に対して接着剤などで貼り付けられている。

【0033】

取付部材２１の、肉伝導マイクロフォン１が取り付けられている位置とは異なる位置には、固定用孔２１Ａが設けられている。固定用孔２１Ａは、後述する、棒状の固定部材２３を挿通可能な孔である。

【0034】

調整部３２は、取付部材２１を取り付けるスライド部２２を有する。スライド部２２は、ガイド部３１の先端から延伸する部分である。スライド部２２には、スライド用孔２２Ａが設けられている。スライド用孔２２Ａは、長手方向が延伸方向に一致した長さＷを有する長孔である。スライド用孔２２Ａは、後述する固定部材２３を挿通可能な孔である。

【0035】

調整部３２は、棒状の固定部材２３を有する。固定部材２３は、固定用孔２１Ａ及びスライド用孔２２Ａに挿通されことで、スライド部２２に対して取付部材２１を固定可能な部材である。固定部材２３は、一例としてボルトである。

【0036】

取付部材２１は、スライド用孔２２Ａの長手方向に沿って位置が可変である。つまり、取付部材２１は、長手方向に長さＷの範囲で位置が可変である。取付部材２１を長さＷの範囲内の任意の位置において固定部材２３によって固定することにより、取付部材２１のスライド部２２に対する長手方向の位置が調整可能となる。

【0037】

図１，図２の例ではガイド部３１が半円形状であるため、両調整部３２は、平行である。この場合、肉伝導マイクロフォン１が図２のようにユーザ２に装着されると、矢印Ｂ方向は、ユーザ２の前後方向Ｄと一致する。つまり、この場合、調整部３２は、肉伝導マイクロフォン１の位置をユーザ２の前後方向Ｄに調整可能である。

【0038】

肉伝導マイクロフォン１の位置が調整されることによって、肉伝導音を採取に適したユーザ２の位置２０２に肉伝導マイクロフォン１を配置することが可能であるとともに、位置２０２、又は、位置２０２近傍において肉伝導マイクロフォン１のユーザ２への角度を調整することが可能になる。その結果、ガイド部３１の可撓性によって生じる力の、肉伝導マイクロフォン１がユーザ２の皮膚表面に押し付けられる角度に作用する力Ｆ、つまり、肉伝導マイクロフォン１をユーザ２の皮膚表面に押し付ける押圧力を調整可能となる。

【0039】

図４は、肉伝導マイクロフォン１の、図１及び図３のＥ－Ｅ断面概略図である。図４を参照して、肉伝導マイクロフォン１は、伝播部１１を有する。伝播部１１は、ユーザ２の皮膚表面に密着されることにより、ユーザ２の肉伝導音を伝播させる。

【0040】

伝播部１１は、外郭であるケース１０の内部であって、当接面１Ａ側の面１１Ａが当接面１Ａとなるケース１０の面１０Ａに接するように配置される。これにより、肉伝導マイクロフォン１がユーザ２の皮膚表面に押し付けられたときに、伝播部１１の面１１Ａがユーザ２の皮膚表面に密着するようになる。

【0041】

好ましくは、伝播部１１は、図４に示されたように、面１１Ａが面１０Ａより外側に位置し、凸形状となるようにケース１０に配置される。これにより、肉伝導マイクロフォン１がユーザ２の皮膚表面に押し付けられたときに、伝播部１１の面１１Ａがユーザ２の皮膚表面により密着するようになる。

【0042】

肉伝導マイクロフォン１は、マイクロフォン１２を有する。マイクロフォン１２は、伝播部１１に接して設けられて、伝播部１１を伝播する肉伝導音を電気信号に変換する。マイクロフォン１２には通信線１３が接続されており、変換された電気信号は、通信線１３を介して送出される。

【0043】

肉伝導マイクロフォンシステム１００は、処理装置５を備える。処理装置５は、一般的なコンピュータで構成される専用の装置であってもよいし、スマートフォンなどの端末装置に搭載されるものであってもよい。

【0044】

処理装置５は、肉伝導マイクロフォン１と通信線１３で接続されて通信可能であって、肉伝導マイクロフォン１から電気信号を受信する。処理装置５は、肉伝導マイクロフォン１からの電気信号に基づいて音声を生成する処理を実行する。処理装置５と肉伝導マイクロフォン１との通信は、図１に示されたように有線での通信であってもよいし、無線での通信であってもよい。

【0045】

図５は、処理装置５の概略を表したブロック図である。処理装置５は、プロセッサ５１と、メモリ５２と、を有する一般的なコンピュータなどで構成される。プロセッサ５１は、例えば、ＣＰＵ（Central Processing Unit）である。

【0046】

メモリ５２は、一次記憶装置であってもよいし、二次記憶装置であってもよい。メモリ５２は、プロセッサ５１によって実行されるプログラム５２１を記憶している。プロセッサ５１は、メモリ５２に記憶されているプログラム５２１を実行することで演算処理を実行する。

【0047】

処理装置５は、通信装置５３を含む。通信装置５３は、一例として、通信モジュールである。通信装置５３は、通信線１３を介してマイクロフォン１２と通信する。通信装置５３は、マイクロフォン１２と通信することによって、マイクロフォン１２から出力された電気信号を受信する。通信装置５３は、受信した電気信号をプロセッサ５１に入力する。

【0048】

処理装置５は、可聴音に基づく情報を出力する出力装置の一例であるスピーカ５５に接続されている。この場合、出力装置からは可聴音そのものが出力される。出力装置は、他の例として、ディスプレイであってもよい。この場合、出力装置からは、可聴音を文字に変換されて出力される。

【0049】

プロセッサ５１の実行する演算処理は、生成処理５１１を含む。生成処理５１１は、マイクロフォン１２から出力された電気信号に基づいて音声を生成することを含む。音声を生成することは、一例として、音声復元用モデル５１２に電気信号を入力値として入力して出力値を得ることを含む。これにより、プロセッサ５１は、音声復元用モデル５１２からの出力値として音声を得ることができる。

【0050】

音声復元用モデル５１２は、肉伝導音に基づく電気信号を入力値として、肉伝導音に対応した可聴音を出力値として出力するよう機械学習された機械学習モデルである。これにより、マイクロフォン１２で採取された肉伝導音に対応した可聴音が、音声復元用モデル５１２からの出力値として得られる。すなわち、プロセッサ５１は、肉伝導音からの音声の復元を、音声復元用モデル５１２を用いて容易に行うことができる。

【0051】

好ましくは、音声復元用モデル５１２は、同一のユーザについての肉伝導音が変換された電気信号を入力値とし、肉伝導音に対応した発声音を出力値として出力するよう機械学習された機械学習モデルである。これにより、マイクロフォン１２でユーザから採取された肉伝導音に対応したユーザの発声音が、音声復元用モデル５１２からの出力値として得られる。肉伝導音に対応した発声音は、いわゆるクリーン音声であって、例えば、通常のマイクロフォンを用いて、空気伝導にて採取（録音）された可聴音であってもよいし、マイクロフォン１２において採取された肉伝導音のうちの音質のよいであってもよい。

【0052】

出力値が同一のユーザについての発声音である音声復元用モデル５１２を用いることによって、ユーザ２から採取された肉伝導音が、ユーザ２のクリーン音声によって再現されるようになり、よりリアルな再現性が実現される。

【0053】

プロセッサ５１の実行する演算処理は、出力処理５１５を含む。出力処理５１５は、生成処理５１１によって得られた可聴音に基づく情報を出力装置で出力させることを含む。具体的には、出力処理５１５は、生成処理５１１によって得られた可聴音を、スピーカ５５から出力させることを含む。これにより、マイクロフォン１２で採取された肉伝導音に対応した可聴音がスピーカ５５から出力される。そのため、ユーザ２の肉伝導音が可聴音に復元され、スピーカ５５を用いて聞くことができる。

【0054】

好ましくは、プロセッサ５１の実行する演算処理は、判定処理５１３を含む。判定処理５１３は、マイクロフォン１２から出力された電気信号と、判定用信号５１４との比較に基づく判定結果を出力することを含む。判定用信号５１４は、規定音についての肉伝導音に基づく電気信号であって、プロセッサ５１に予め記憶されている。

【0055】

判定用信号５１４は、肉伝導マイクロフォン１を理想的な押圧力でユーザ２の皮膚表面に押し付けた際にマイクロフォン１２によって採取される肉伝導音から得られる電気信号である。具体的には、判定用の単語（例えば「テスト」など）が予め規定されており、肉伝導マイクロフォン１を理想的な押圧力でユーザ２の皮膚表面に押し付けた状態でユーザ２が判定用の単語を発したときにマイクロフォン１２によって採取された肉伝導音から得られる電気信号が、判定用信号５１４として記憶されている。

【0056】

ユーザ２が発した判定用の単語の肉伝導音をマイクロフォン１２によって採取し、得られた電気信号を判定用信号５１４と比較して得られた判定結果は、肉伝導音を採取時の肉伝導マイクロフォン１の皮膚表面への押圧力が理想的な押圧力と一致しているか否か、又は、理想的な押圧力と比較して許容範囲にあるか否か、を表すものである。従って、判定処理５１３の結果が出力されることにより、必要に応じて調整部３２によって押圧力を調整することができる。その結果、肉伝導マイクロフォン１の皮膚表面への押圧力を理想的な押圧力とすることができ、可聴音への復元精度を向上させることができる。

【0057】

プロセッサ５１が複数の音声復元用モデル５１２を有している場合、好ましくは、判定処理５１３は、ユーザ２に適した音声復元用モデル５１２を判定することを含んでもよい。複数の音声復元用モデル５１２は、例えば、出力値とする発声音がユーザごとの発声音であったり、環境ごとの発声音であったりしてよい。

【0058】

この場合、判定用信号５１４は、一例として、音声復元用モデル５１２ごとに用意されている。判定処理５１３においてプロセッサ５１は、ユーザ２が発した判定用の単語の肉伝導音をマイクロフォン１２によって採取し、得られた電気信号を複数の判定用信号５１４それぞれと比較することによって、用いる音声復元用モデル５１２を判定する。これにより、例えば、マイクロフォン１２によって採取された肉伝導音が、ユーザ２に応じた発声音で復元されたり、ユーザ２の環境に応じた発声音で復元されたりするようになる。

【0059】

好ましくは、プロセッサ５１の実行する演算処理は、学習処理５１６を含む。学習処理５１６は、音声復元用モデル５１２の学習を行うことを含む。学習処理５１６でプロセッサ５１は、同一のユーザについての、マイクロフォン１２において採取された肉伝導音が変換された電気信号と、その肉伝導音に対応した発声音と、を学習データとして用いる。

【0060】

プロセッサ５１は、肉伝導音に対応した発声音の入力を他の装置から受け付けてもよい。また、図５に示されたように、処理装置５が、音声を空気伝導で採取するマイクロフォン５６に接続されて、マイクロフォン５６からの入力を肉伝導音に対応した発声音としてもよい。

【0061】

プロセッサ５１によって学習処理５１６が行われることによって、ユーザ２による肉伝導音と発声音との組み合せで音声復元用モデル５１２の学習が行われるようになる。音声復元用モデル５１２がユーザ２による肉伝導音と発声音との組み合せで予め機械学習されている機械学習モデルである場合、プロセッサ５１によって学習処理５１６が行われることによって、音声復元用モデル５１２による復元精度をより向上させることができる。

【0062】

音声復元用モデル５１２がユーザ２による肉伝導音と発声音との組み合せで予め機械学習されている機械学習モデルでなかった場合、プロセッサ５１によって学習処理５１６が行われることによって、ユーザ２が肉伝導マイクロフォンシステム１００を使い続けるうちに、音声復元用モデル５１２がユーザ２による肉伝導音を入力値としてユーザ２による発声音を出力値とする機械学習モデルに更新される。その結果、肉伝導音がユーザ２の発声によって再現されるようになり、よりリアルな再現性が実現される。

【0063】

図６は、本実施の形態に係る、肉伝導音採取用マイクロフォンを用いた音声採取方法の流れの一例を表したフローチャートである。図６を参照して、初めに、押圧部３を用いて、肉伝導マイクロフォン１の伝播部１１をユーザ２の位置２０２の皮膚表面に所定の押圧力で押し付けて、伝播部１１を皮膚表面に密着させる（ステップＳ１００）。皮膚表面に密着させた伝播部１１に肉伝導音を伝播させることによって、ユーザ２によって発声された判定用の単語の肉伝導音をマイクロフォン１２にて採取する（ステップＳ１０１）。採取された肉伝導音は、マイクロフォン１２によって電気信号に変換される（ステップＳ１０３）。

【0064】

得られた電気信号は、予め記憶されている判定用信号５１４と比較され、判定結果が出力される（ステップＳ１０５，Ｓ１０７）。一例として、得られた電気信号に基づく値が、判定用信号５１４に基づく値から予め規定された許容範囲にあるか否かが判定される。

【0065】

比較の結果、許容範囲になかった場合（ステップＳ１０５でＮＯ）、エラー出力などによってその結果が報知される（ステップＳ１０７）。これにより、肉伝導マイクロフォン１のユーザ２の皮膚表面への押圧力を調整することができる。

【0066】

好ましくは、音声採取方法では、得られた電気信号に基づく値が許容範囲となるまで、ステップＳ１０１～Ｓ１０７が繰り返される。その結果、肉伝導マイクロフォン１のユーザ２の皮膚表面への押圧力を、理想的な押圧力とすることができる。

【0067】

得られた電気信号に基づく値が許容範囲である場合（ステップＳ１０５でＹＥＳ）、マイクロフォン１２によってユーザ２の肉伝導音が採取され（ステップＳ１０９）、電気信号に変換される（ステップＳ１１１）。得られた電気信号は、音声復元用モデル５１２に入力値として入力されることによって、その出力値として対応する可聴音が取得される（ステップＳ１１３）。これにより、肉伝導音に対応した音声が生成される。生成された音声は、可聴音としてスピーカ５５から出力される（ステップＳ１１５）。

【0068】

発明者は、実施の形態に係る音声採取方法で得られた肉伝導音の再現性を評価するための検証実験を行った。検証実験には、図１，３，４，５に表された肉伝導マイクロフォンシステム１００を用いた。

【0069】

肉伝導音の再現性の評価は、同じ発声について、肉伝導マイクロフォンシステム１００で採取された肉伝導音を復元して得られた可聴音と、気伝導マイクロフォンで録音された気伝導音と、を比較することで行った。気伝導音に近いほど、可聴音の再現性が高い、すなわち、再現性の高い肉伝導音が採取される、と言える。

【0070】

検証実験において、下の条件１～４で肉伝導を採取した。各条件において、肉伝導音の復元には、同一の音声復元用モデル５１２が用いられた。比較する値は、振幅及び周波数の時間変化とした。肉伝導音から得られた可聴音は、同一のスピーカ５５から出力され、同一のマイクで収集した。
条件１：位置２０２に肉伝導マイクロフォン１を装着し、肉伝導マイクロフォン１の位置２０２への接触を維持する押圧力Ｆ１で皮膚表面に押し付け
条件２：位置２０２に肉伝導マイクロフォン１を装着し、押圧部３による押圧力Ｆ２で皮膚表面に押し付け
条件３：位置２０２と異なる位置２０５に片側のみ接触するように肉伝導マイクロフォン１を装着し、肉伝導マイクロフォン１の位置２０５への接触を維持する押圧力Ｆ１で皮膚表面に押し付け
条件４：位置２０２と異なる位置２０５に片側のみ接触するように肉伝導マイクロフォン１を装着し、押圧部３による押圧力Ｆ２で皮膚表面に押し付け

【0071】

図７は、条件３，４における肉伝導マイクロフォン１の、ユーザ２への装着状態を表した概略図である。条件３，４の場合、ガイド部３１の円弧の頂点３１Ａをユーザ２の首２００Ｂの真後ろの位置２０３より後方に大きくずらして首２００Ｂの周りにガイド部３１を装着する。その結果、肉伝導マイクロフォン１は、位置２０２より後方の位置２０５に位置する。これにより、頂点３１Ａを位置２０３に当たるように装着した場合よりもガイド部３１に広がりが小さくなる。そのため、頂点３１Ａを位置２０３に当たるように装着した場合よりも肉伝導マイクロフォン１を皮膚表面に押し付ける押圧力が小さい。

【0072】

また、条件３，４では、左右両側に設けられた肉伝導マイクロフォン１の一方を位置２０５に接触させ、他方はほぼ接触させない状態とした。この状態でも、皮膚表面に接触した側の肉伝導マイクロフォン１によって肉伝導音の採取は可能である。

【0073】

図８～図１１は、それぞれ、条件１～４で得られた肉伝導音を復元して得られた可聴音の振幅及び周波数の時間変化を表している。図１２は、気伝導音の振幅及び周波数の時間変化を表している。図８，９と図１，１１とを比較すると、条件１，２の方が、振幅及び周波数のいずれも、条件３，４よりも大きく現れており、図１２の振幅及び周波数に近いことがわかった。これより、位置２０５よりも位置２０２に肉伝導マイクロフォン１を接触させた方が、再現性が高いことがわかった。

【0074】

図８，図９それぞれと図１２とを比較すると、条件１の場合も再現率がある程度あると言えるものの、条件２の方が、再現性がより高いことがわかった。一方、図１０，図１１それぞれと図１２とを比較すると、条件３では再現性が極めて低く、条件４では、条件３よりも再現性は高くなるものの、条件１よりも再現性が低いことがわかった。

【0075】

以上の結果より、肉伝導マイクロフォン１は、肉伝導の採取に適した位置である位置２０２の皮膚表面に接触させた方が再現性の高い肉伝導音が採取されることが検証された。また、肉伝導マイクロフォン１は、適正な押圧力Ｆ２で皮膚表面に押圧された方が、より再現性の高い肉伝導音が採取されることが検証された。なお、肉伝導マイクロフォン１を接触させる位置が適切ではないものの、一方の肉伝導マイクロフォン１のみ用いても再現可能な肉伝導音が採取され得ることが検証された。

【0076】

実施の形態に係る肉伝導マイクロフォンシステム１００では、押圧部３を用いて肉伝導マイクロフォン１をユーザ２に装着する構成であるため、ユーザ２が適切に首２００Ｂの周りに装着すると、位置２０２に肉伝導マイクロフォン１が接触し、押圧部３によって適切な押圧力にて皮膚表面に押し付けられる。そのため、肉伝導マイクロフォンシステム１００では、誰が用いても条件２のような状態で肉伝導音を採取可能となり、安定して復元性の高い肉伝導音が採取されることが検証された。

【0077】

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0078】

１ ：肉伝導マイクロフォン
１Ａ ：当接面
２ ：ユーザ
３ ：押圧部
５ ：処理装置
１０ ：ケース
１０Ａ ：面
１１ ：伝播部
１１Ａ ：面
１２ ：マイクロフォン
１３ ：通信線
２１ ：取付部材
２１Ａ ：固定用孔
２２ ：スライド部
２２Ａ ：スライド用孔
２３ ：固定部材
３１ ：ガイド部
３１Ａ ：頂点
３２ ：調整部
５１ ：プロセッサ
５２ ：メモリ
５３ ：通信装置
５５ ：スピーカ
５６ ：マイクロフォン
１００ ：肉伝導マイクロフォンシステム
２００ ：ユーザ
２００Ａ ：頭部
２００Ｂ ：首
２０１ ：耳介
５１１ ：生成処理
５１２ ：音声復元用モデル
５１３ ：判定処理
５１４ ：判定用信号
５１５ ：出力処理
５１６ ：学習処理
５２１ ：プログラム
Ｂ ：矢印
Ｃ ：矢印
Ｄ ：方向
Ｆ ：力
Ｆ１ ：押圧力
Ｆ２ ：押圧力
Ｌ１ ：距離
Ｌ２ ：距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】