特開 2024-65074 検出システム、検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024065074

(43)【公開日】2024-05-14

(54)【発明の名称】検出システム、検出方法及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240507BHJP

【ＦＩ】

G06F3/01 570

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023184114

(22)【出願日】2023-10-26

(31)【優先権主張番号】63/381,326

(32)【優先日】2022-10-28

(33)【優先権主張国・地域又は機関】US

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「カクテルパーティ効果に着目したオンライン話者とオフライン話者の選択的聴取の支援」委託研究、産業技術力強化法第１７条の適用を受けるもの

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100194250

【弁理士】

【氏名又は名称】福原 直志

(72)【発明者】

【氏名】川原 圭博

(72)【発明者】

【氏名】高木 健

(72)【発明者】

【氏名】張 雨珂

(72)【発明者】

【氏名】笹谷 拓也

(72)【発明者】

【氏名】村上 弘晃

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA11

5E555BA02

5E555BA38

5E555BB38

5E555CA41

5E555CB66

5E555EA25

5E555FA00

(57)【要約】

【課題】耳介近傍の動体の動きの検出に要するユーザの負担を軽減すること。
【解決手段】本発明の一態様は、耳軟骨に接し、前記耳軟骨を振動させる振動器と、前記耳軟骨の振動の結果生じた振動を検出する振動検出器と、を備える検出システムである。このような検出システムを用いた検出では外耳道を塞がれてしまうことで生じるユーザの負担が無いので、検出システムは耳介近傍の動体の動きの検出に要するユーザの負担を軽減することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

耳軟骨に接し、前記耳軟骨を振動させる振動器と、
前記耳軟骨の振動の結果生じる振動を検出する振動検出器と、
を備える検出システム。

【請求項2】

前記振動検出器は、耳介の前側の位置である前方位置に位置し、前記振動器は前記耳介の後ろ側の位置である後方位置に位置する、
請求項１に記載の検出システム。

【請求項3】

前記振動器の励起する振動の周波数は超音波の帯域の周波数である、
請求項１に記載の検出システム。

【請求項4】

眼鏡を備える検出システムであって、
耳軟骨に接し前記耳軟骨を振動させる振動器と、
前記耳軟骨の振動の結果生じる振動を検出する振動検出器と、
を備え、
前記振動器は前記眼鏡のモダンの内側に位置し、
前記振動検出器は前記眼鏡のテンプルに位置する、
検出システム。

【請求項5】

耳軟骨に接し、前記耳軟骨を振動させる振動器と、前記耳軟骨の振動の結果生じる振動を検出する振動検出器と、を備える検出システムが実行する検出方法であって、
前記振動器が振動を励起する励起ステップと、
前記振動検出器が前記振動の結果生じる振動を検出する検出ステップと、
を有する検出方法。

【請求項6】

請求項１から４のいずれか一項に記載の検出システムとしてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２２年１０月２８日に出願された米国特許仮出願６３／３８１，３２６号に基づき優先権を主張し、その内容をここに援用する。

【0002】

本発明は、検出システム、検出方法及びプログラムに関する。

【背景技術】

【0003】

近年ウェアラブルなデバイスを使ったヒューマンコンピュータインタラクションに注目が集まっている。その結果ウェアラブルデバイスの小型化が日々進んでおり、ユーザ入力に用いることができる筐体上の場所が少なくなっている。そこで、音響デバイスを用いて耳介近傍の動体の動きをセンシングする技術が提案されている。なお耳介近傍とは、鼻尖、頭頂部、肩及び鎖骨よりは耳介に近い位置、を意味する。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Y. Zhang, J. Zhou, G. Laput, and C. Harrison, “Skintrack: Using the body as an electrical waveguide for continuous finger tracking on the skin,” Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, p.1491-1503, CHI ’16, ACM, New York, NY, USA, 2016.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、これまで提案されてきた技術はイヤホンの耳への装着を必要とするものであり、ユーザの耳をデバイスで塞ぐものであった。そのため、長時間の装着によるユーザの疲労が大きいという問題があった。

【0006】

上記事情に鑑み、本発明は、耳介近傍の動体の動きの検出に要するユーザの負担を軽減する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様は、耳軟骨に接し、前記耳軟骨を振動させる振動器と、前記耳軟骨の振動の結果生じた振動を検出する振動検出器と、を備える検出システムである。

【0008】

本発明の一態様は、眼鏡を備える検出システムであって、耳軟骨に接し前記耳軟骨を振動させる振動器と、前記耳軟骨の振動の結果生じる振動を検出する振動検出器と、を備え、前記振動器は前記眼鏡のモダンの内側に位置し、前記振動検出器は前記眼鏡のテンプルに位置する、検出システムである。

【0009】

本発明の一態様は、耳軟骨に接し、前記耳軟骨を振動させる振動器と、前記耳軟骨の振動の結果生じる振動を検出する振動検出器と、を備える検出システムが実行する検出方法であって、前記振動器が振動を励起する励起ステップと、前記振動検出器が前記振動の結果生じる振動を検出する検出ステップと、を有する検出方法である。

【0010】

本発明の一態様は、上記の検出システムとしてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0011】

本発明により、耳介近傍の動体の動きの検出に要するユーザの負担を軽減することが可能となる。

【図面の簡単な説明】

【0012】

【図1】実施形態の検出システムを説明する説明図。

【図2】実施形態における振動器と振動検出器とを備える眼鏡の一例を示す図である。

【図3】実施形態における実験結果の第１の例を示す図。

【図4】実施形態における実験結果の第２の例を示す図。

【図5】実施形態における実験結果の第３の例を示す図。

【図6】実施形態における実験結果の第４の例を示す図。

【図7】実施形態における実験結果の第５の例を示す図。

【図8】実施形態における解析装置のハードウェア構成の一例を示す図。

【図9】実施形態における検出システムが実行する処理の流れの一例を示すフローチャート。

【発明を実施するための形態】

【0013】

（実施形態）
図１は、実施形態の検出システム１００を説明する説明図である。検出システム１００は、ユーザ９の耳介における動体の動きをセンシングするシステムである。例えば検出システム１００は、ユーザ９が耳介近傍で指や手等の検出対象を動かした場合に、その動きをトラッキングするシステムである。

【0014】

このようなトラッキングの結果は、例えばスマートフォン等のデバイスの制御に用いることが可能である。具体的には、例えば指や手等の検出対象の動きの軌跡とデバイスへの制御信号とが予め対応付けられていれば、トラッキングの結果に基づいてデバイスへの制御信号が決定されるので、デバイスの制御が可能である。

【0015】

また、検出システム１００は、指や手の動き等の検出対象の動きに限らず、耳介の形状の変化をセンシングすることも可能である。例えば、ユーザ９が自身の耳介に指や手で触れて、耳介の形状を変化させたとする。このような場合、検出システム１００は、耳介の形状の変化を検出することができる。したがって、耳介の形状の変化とデバイスの制御信号とが予め対応付けられていれば、耳介の形状の変化によるデバイスの制御を検出システム１００は可能とする。

【0016】

それではより具体的に検出システム１００を説明する。検出システム１００は、振動器１と、振動検出器２と、解析装置３とを備える。

【0017】

振動器１は、耳軟骨に接し、その耳軟骨を振動させる。なお耳軟骨は具体的には、耳の付け根の外耳道口近傍の耳軟骨である。耳軟骨に接しているため、振動器１は外耳道を塞ぐことが無い。耳軟骨に接しているため振動器１によって耳軟骨の振動が励起される。なお、振動器１の生成する振動は、より具体的には、弾性体を伝播する弾性波である。弾性体は、気体であってもよいし、固体であってもよいし、液体であってもよい。

【0018】

なお、耳軟骨は他の部位と比べて柔らかい組織であるため、その振動を励起することは、検出システム１００にとって少ない電力で振動を励起できる面で、好ましい。

【0019】

なお、振動器１が耳軟骨に励起する振動の周波数は、超音波の帯域の周波数であってもよいし、可聴帯域の周波数であってもよいし、０Ｈｚ～２０Ｈｚの低周波の帯域の周波数であってもよい。なお、周波数帯域は広いほど、得られる情報量が増えるので、センシングの精度が向上する。そのため、超音波の周波数だけを用いるよりも例えば可聴帯域の周波数も用いる方がセンシングの精度が高まる。

【0020】

なお、振動器１が耳軟骨に励起する振動の周波数が、超音波の帯域の周波数である場合、可聴帯域の周波数が用いられる場合と異なりユーザは振動器１の励起した振動を音として耳で認識することがない。そのため、振動器１が耳軟骨に励起する振動の周波数が超音波の帯域の周波数である場合、可聴帯域の周波数が用いられる場合よりも、ユーザの会話や通話や音楽鑑賞等の耳を用いた作業を妨害しないという効果を奏する。

【0021】

なお、振動器１の耳軟骨への接触とは、固体又は液体を介しての接触も意味する。例えば、耳軟骨にジェルを塗り、そのジェルの上に振動器１を接触させた場合も、振動器１の耳軟骨への接触である。言い換えれば振動器１の耳軟骨への接触の状態とは、耳軟骨と振動器１との間に常温常圧の気体の層が無い状態、を意味する。

【0022】

耳軟骨が振動するとその振動によって耳軟骨に接する空気等の媒質が振動する。媒質の振動は更にその媒質を囲む媒質に伝搬していく。このようにして耳軟骨の振動は耳軟骨近傍の媒質中を伝搬していく。なお、媒質は例えば空気の場合もあれば、指や手等の生体の部位の場合もある。

【0023】

振動検出器２は、このように媒質中を伝搬してきた振動を検出する。上述の媒質中を伝搬してきた振動は、耳軟骨の振動の結果生じた振動である。したがって、振動検出器２は振動器１による耳軟骨の振動の結果生じた振動を検出する、といえる。

【0024】

耳軟骨の振動は、振動検出器２に到達するまでに、空気や生体の部位等の複数種類の媒質を伝搬してくる。そのため、振動検出器２が検出する振動は、その振動の伝搬経路上の媒質の情報を含む。例えば、伝搬経路上に存在した物体が移動して、その伝搬経路上に存在しなくなれば振動検出器２が検出する振動には、その変化の情報が含まれる。

【0025】

したがって、振動の伝搬経路上の物体の位置が変化した場合、振動検出器２が検出する振動も変化し、振動のその変化は伝搬経路上の物体の位置又は速さの変化を表す。なお、振動検出器２が検出する振動も変化について数学的な説明を行うならば、振動検出器２が検出する振動の変化とは、耳軟骨から振動検出器２へ伝搬する振動の伝搬関数の値の変化を意味する。

【0026】

このように、振動検出器２が検出する振動の変化は振動の伝搬経路上の物体の位置又は速さの変化を表すので、振動検出器２による検出によって、耳介近傍の動体の動きが検出される。なお、図１の“Modulated Signal”は振動器１の励起した振動（すなわち信号）が指により変調されることを表現している。

【0027】

なお振動検出器２は、検出の結果を、所定の出力先に出力する。所定の出力先は、例えば解析装置３である。

【0028】

＜振動器１と振動検出器２との取り付けについて＞
ここで、振動器１と振動検出器２とについて、取り付けの技術の例や、取り付けの位置のより具体的な例を説明する。振動検出器２は、振動器１による耳軟骨の振動の結果生じた振動を検出可能な位置にあればどのような位置にあってもよい。また、振動検出器２は、振動器１による耳軟骨の振動の結果生じた振動を検出可能な位置であって、振動器１とは略同一ではない位置にあってもよい。

【0029】

振動検出器２が振動器１と略同一の位置にある場合、耳軟骨の振動によって励起された振動が物体の動きによって変化したとしても、その変化よりも耳軟骨の振動そのものを振動検出器２は強く検出してしまう。その結果、物体の動きの検出の精度が下がってしまう。振動検出器２と振動器１とが略同一ではない位置にある場合、このような精度の低下が軽減される。

【0030】

振動器１は例えば耳介の前側の位置である前方位置に位置し、振動検出器２は例えば耳介の後ろ側の位置である後方位置に位置してもよい。なお、耳介の前側の位置（前方位置）と後ろ側の位置（後方位置）とは、前方位置が耳介よりも鼻に近い位置であり、後方位置は耳介よりも鼻から遠い位置である。例えば後述する図２のＸ軸において、耳介の位置をＸ軸の原点としてＸ軸の負の位置が後方位置の一例であり、Ｘ軸の正の位置が前方位置の一例である。

【0031】

例えば、振動器１はテープや接着剤等の物と物とを接着する物質によって耳軟骨に接着した状態で取り付けられてよい。なお、テープや接着剤は気体の層ではない。そのため、テープや接着剤によって耳軟骨へ接着した振動器１の状態は、振動器１の耳軟骨への接触の状態の一例である。このような場合、振動検出器２は、耳軟骨の振動の結果生じた振動を検出可能な人体の部位にテープや接着剤等の物と物とを接着する物質によって取り付けられてもよい。

【0032】

耳軟骨の振動の結果生じた振動を検出可能な位置は、振動器１が耳軟骨に励起する振動の強さに依存する。振動器１の出力強度が強いほど耳軟骨に励起される振動は強くなる。耳軟骨に励起される振動が強いほど、振動検出器２による振動の検出は容易になる。したがって、耳軟骨に励起される振動が強いほど、振動器１と振動検出器２との距離を広げることが可能である。

【0033】

そのため、耳軟骨の振動の結果生じた振動を検出可能な位置は、例えば耳介近傍である。耳介近傍とは、鼻尖、頭頂部、肩及び鎖骨よりは耳介に近い位置、を意味する。

【0034】

例えば振動器１は、振動器１が耳軟骨に接するように装着可能な帽子等の被り物に取り付けられていてもよい。帽子は例えばニット帽であってもよい。振動検出器２は、振動器１が耳軟骨に接するように被り物が装着された場合に耳介近傍に位置するように被り物に備えられていてもよい。なお、振動器１が被り物に取り付けられているからといって振動検出器２もその被り物に取り付けられている必要は必ずしもなく、テープや接着剤等の物と物とを接着する物質によって取り付け対象の位置に取り付けられていてもよい。

【0035】

例えば振動器１は、振動器１を取り付け可能な部位を有するイヤーフックであって、上記部位に振動器１が取り付けられている場合には装着時に振動器１が耳軟骨に接する形状のイヤーフック、に取り付けられていてもよい。

【0036】

このような場合、振動検出器２は、振動器１の取り付け位置とは異なるイヤーフックの位置に取り付けられていてよい。振動検出器２は、振動器１の取り付け位置とは異なるイヤーフックの位置に取り付けられている必要はなく、テープや接着剤等の物と物とを接着する物質によって取り付け対象の位置に取り付けられていてもよい。

【0037】

例えば、振動器１と振動検出器２とは眼鏡等の器具に備えられていてもよい。このような場合、振動器１と振動検出器２とを備える器具は、検出システム１００の備えるものである。以下、振動器１と振動検出器２とを備える器具の一例を、器具が眼鏡である場合を例に、図２を用いて説明する。

【0038】

図２は、実施形態における振動器１と振動検出器２とを備える眼鏡１０の一例を示す図である。眼鏡はブリッジを中心にして左右が（すなわち右目側の構造と左目側の構造とが）略対称に成形されている場合が多い。図２の例では、説明の簡単のために、眼鏡１０の右目側の構造のみを示している。

【0039】

なお眼鏡１０の右目側の構造は、図２と同様の構成であってもよいし、左目側に振動器１と振動検出器２とが備えられていれば、右目側の構造は振動器１と振動検出器２とを備えていなくてもよい。また、右目側の構造が振動器１と振動検出器２とを備える場合、左目側は振動器１と振動検出器２とを備えてもよいし、備えなくてもよい。

【0040】

なお近年の眼鏡はスマートグラスのように右目側と左目側とのいずれか一方にのみ取り付ける眼鏡も多い。眼鏡１０もまた、必ずしも右目側の構造と左目側の構造とを備える必要は無くどちらか一方のみであってもよい。

【0041】

図２の例において眼鏡１０はメガネレンズ１０１を備える。なお眼鏡１０のメガネレンズ１０１は度付きであっても、度付きでなくてもよい。度付きでないメガネレンズ１０１を備える眼鏡１０はいわゆる伊達メガネである。

【0042】

眼鏡１０では、図２に示すように、モダン１０２の内側（すなわちモダン１０２の耳の付け根に近い側）に振動器１が取り付けられて（すなわち位置して）いる。そのため眼鏡１０の装着時に、振動器１が耳軟骨に接する。眼鏡１０では、図２に示すように、テンプル１０３に振動検出器２が取り付けられている。なおモダン１０２の内側は、上述したようにモダン１０２の耳の付け根に近い側であり、言い換えれば、モダン１０２が耳介の裏に接する向きである。

【0043】

なお、眼鏡１０は、被り物に取り付けられていてもよい。なお上述したように眼鏡１０は、振動器１と振動検出器２とを備える器具の一例であるが、振動器１と振動検出器２とを備える被り物も振動器１と振動検出器２とを備える器具の一例であり、振動器１と振動検出器２とを備えるイヤーフックも振動器１と振動検出器２とを備える器具の一例である。

【0044】

なお、振動器１と振動検出器２とを備えるイヤーフックは、例えば図２の眼鏡１０においてメガネレンズ１０１を備えない眼鏡１０であってもよい。なお、メガネレンズ１０１を備えない眼鏡１０は、右目側の構造のみのものであってもよいし、左目側の構造のみのものであってもよいし、右目側及び左目側の構造を備えるものであってもよい。

【0045】

なお、メガネレンズ１０１を備えない眼鏡１０は、振動器１、振動検出器２、モダン１０２及びテンプル１０３を備えていればよく、例えばリムやクリングス等のメガネレンズを支持する支持体を備える必要はない。

【0046】

なお図２は、Ｘ軸を示す。Ｘ軸は、耳介の位置を原点Ｏとする座標軸であり、眼鏡のテンプル１０３に沿う座標軸である。上述したように、Ｘ軸の正の位置が前方位置の一例であり、Ｘ軸の負の位置が後方位置の一例である。したがって、図２に示す眼鏡１０における振動器１と振動検出器２との配置は、耳介の前側の位置である前方位置に振動検出器２が位置し、耳介の後ろ側の位置である後方位置に振動器１が位置する配置の一例である。

【0047】

図１の説明に戻る。解析装置３は、バスで接続されたＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、又は、ＮＰＵ（Neural Network Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部３１を備える。

【0048】

制御部３１は、振動検出器２の検出の結果に対して解析処理を実行する。解析処理は、後段の処理に応じてユーザ等により予め定められた処理であって、振動検出器２の検出の結果を後段の処理が処理可能な形式のデータに変換する処理である。解析処理は、例えば、振動検出器２の検出の結果に応じて、指又は手等の検出対象の位置を推定する処理である。位置が推定可能であるならば、位置の推定を所定の時間間隔で実行すれば検出対象の動きの検出は可能である。

【0049】

解析処理により検出対象の位置を推定する処理は、例えば、振動検出器２の検出の結果に基づいて検出対象の位置を推定する学習済みの機械学習モデルを実行する処理である。振動検出器２の検出の結果に基づいて検出対象の位置を推定する学習済みの機械学習モデルは、例えば、振動検出器２の検出の結果と検出対象の位置とを用いた学習が、学習終了条件が満たされるまで、学習対象の数理モデルに対して、実行された結果である。学習対象の数理モデルは、振動検出器２の検出の結果に基づいて検出対象の位置を推定する数理モデルである。

【0050】

学習終了条件は、学習の終了に関する所定の条件である。学習終了条件は、学習の終了に関する条件であればどのようなものであってもよく、例えば学習対象の数理モデルの更新が所定の回数行われたという条件であってもよいし、例えば更新による学習対象の数理モデルの変化が所定の変化より小さいという条件であってもよい。

【0051】

学習対象の数理モデルの学習の技術は、振動検出器２の検出の結果に基づく検出対象の位置の推定の精度を向上させる機械学習の技術であればどのような機械学習の技術であってもよい。したがって、学習対象の数理モデルの学習の技術は、例えば、サポートベクターマシーンであってもよい。

【0052】

学習対象の数理モデルの学習の技術は、その他例えば、敵対的生成ネットワークを用いた技術であってもよいし、アテンション機構を用いた技術であってもよいし、Diffusion Model（拡張モデル）を用いた技術であってもよい。しかしながら、サポートベクターマシーンを用いる場合、他の機械学習の技術と比較して学習データの数が少なくて済む点で、好ましい。

【0053】

＜実験結果＞
ここで検出システム１００を用いた実験の実験結果の例を示す。実験では、送信信号としてサンプリング周波数９６ｋＨｚ、サンプル数８１９２、２４ｂｉｔで２０～４４ｋＨｚのチャープサイン波が用いられた。送信信号は、振動器１の励起する振動の一例である。実験においては図２の眼鏡１０が用いられ、振動器１と振動検出器２とは左目側にのみ備わっていた。実験において振動器１は、骨伝導スピーカーであった。

【0054】

実験では、耳介上で指の位置を変化させ、振動検出器２の検出する信号の周波数特性の変化を得ることが行われた。そのため、実験では、１００回の計測が連続で行われた。１回の計測の定義は繰り返し送信するチャープサイン波の１回分を用いた信号の測定である。したがって１００回の計測では、１００点の周波数特性の情報が得られた。連続で測定することの意義はノイズの影響を低減できるである。１回の周波数解析に要する時間長は、送信信号の８１９２サンプルに相当する８１９２／９６０００（約０．０８５３）秒であった。なお、例示する実験においては１００回の測定が行われたが、必ずしも１００回でなくてもよく、１００回より少ない回数の測定であっても、図３～図７の例の結果と定性的に同様な結果は得られる。

【0055】

図３は、実施形態における実験結果の第１の例を示す図である。図３は、４５個目のサンプル（すなわち測定開始から３．８４秒の時点）における応答波形の周波数特性の例を示す。なお、応答波形とは、振動検出器２の検出する信号の波形である。

【0056】

図３は、指の位置を示す５つの画像（図３の（ａ）の各画像）と、図３の（ａ）の各画像が示す場面で得られる応答波形の周波数特性（図３の（ｂ）に示す結果）とを示す。実験における指の位置は、図３の（ａ）が示すように、“Position１”～“Position5”までの５つの位置であった。

【0057】

図３の（ｂ）に示す応答波形の周波数特性を示すグラフは、横軸が周波数を示し、縦軸が応答波形の振幅を示す。なお、図３の（ｂ）に示す“Position１”～“Position5”のそれぞれに対応する各結果は、チャープサイン波を１５回（すなわち１．２８秒）送信するごとに、”Position1”から”Position2”、”Position2”から”Position3”、”Position3”から”Position4”、”Position4”から”Position5”へと指の位置を変えて、変化後の指の各位置において、得られた結果である。

【0058】

図３の結果は、指の位置の違いで応答波形の周波数特性が変化することを示す。なお、応答波形の周波数特性は振動検出器２の検出の結果から得られる情報の一例であり、応答波形の周波数特性を得る処理は解析装置３による解析処理に含まれていてもよい。したがって解析処理は、例えば、フーリエ変換を実行する処理を含んでもよい。

【0059】

このような場合、解析処理は、フーリエ変換の実行後に、フーリエ変換の結果を用いて指や手等の検出対象の位置を推定する処理を実行してもよい。フーリエ変換の結果（すなわち応答波形の周波数特性）を用いて指や手等の検出対象の位置を推定する処理は、例えば学習済みの数理モデルを用いて行われてもよい。

【0060】

このような場合、学習済みの数理モデルは、応答波形の周波数特性に基づいて検出対象の位置を推定する数理モデルである。したがって、応答波形の周波数特性に基づいて検出対象の位置を推定する数理モデルの学習においては、応答波形の周波数特性と検出対象の位置を示す情報とを用いた学習が行われる。

【0061】

図４は、実施形態における実験結果の第２の例を示す図である。図４は、手の位置を示す５つの画像（図４の（ａ）の各画像）と、図４の（ａ）の各画像が示す場面で得られる応答波形の周波数特性（図４の（ｂ）に示す結果）と、図４の（ａ）の各画像が示す場面で得られる相互相関（図４の（ｃ）に示す結果）と、を示す。相互相関は、具体的には、送信信号と振動検出器２の検出した信号との相関であった。

【0062】

実験における手の位置は、図４の（ａ）が示すように、“Position１”～“Position5”までの５つの位置であった。

【0063】

図４の（ｂ）に示す応答波形の周波数特性を示すグラフは、横軸が周波数を示し、縦軸が応答波形の振幅を示す。なお、図４の（ｂ）に示す“Position１”～“Position5”のそれぞれに対応する各結果は、チャープサイン波を１７回（すなわち１．２８秒）送信するごとに、”Position1”から”Position2”、”Position2”から”Position3”、”Position3”から”Position4”、”Position4”から”Position5”へと手の位置を変えて、変化後の手の各位置において、得られた結果である。

【0064】

図４の（ｃ）に示す相互相関を示すグラフは、横軸が時刻を示し、縦軸が相互相関を示す。なお、図４の（ｃ）に示す“Position１”～“Position5”のそれぞれに対応する各結果は、チャープサイン波を１７回（すなわち１．２８秒）送信するごとに、”Position1”から”Position2”、”Position2”から”Position3”、”Position3”から”Position4”、”Position4”から”Position5”へと手の位置を変えて、変化後の手の各位置において、得られた結果である。また、相互相関は全て、１６個目のサンプルと他の全てのフレームとの差分が順番に用いられた。これにより、直接波（すなわち、振動器１の励起した振動のうち耳介の振動を介さないで振動検出器２によって検出された振動）の影響を抑制した結果が得られている。

【0065】

図４の結果は、手の位置の違いで相互相関が変化することを示す。また図４の結果は、相互相関では手の位置変化に対してピークの推移が顕著に現れるのに対し、周波数特性にはノイズが多く現れる場合があることを示す。周波数特性にノイズが多く現れる理由は、手の反射による干渉の影響を受けたためである。したがって、耳に接近する手の位置変化を推定する際には、周波数特性よりも相互相関を用いた推定を行う方が、推定の精度が高い。

【0066】

なお、相互相関は振動検出器２の検出の結果から得られる情報の一例であり、相互相関を得る処理は解析装置３による解析処理に含まれていてもよい。このような場合、解析処理は、相互相関を得る処理の実行後に、得られた相互相関を用いて指や手等の検出対象の位置を推定する処理を実行してもよい。相互相関を用いて指や手等の検出対象の位置を推定する処理は、例えば学習済みの数理モデルを用いて行われてもよい。

【0067】

このような場合、学習済みの数理モデルは、相互相関に基づいて検出対象の位置を推定する数理モデルである。したがって、相互相関に基づいて検出対象の位置を推定する数理モデルの学習においては、相互相関と検出対象の位置を示す情報とを用いた学習が行われる。

【0068】

なお相互相関を得るには送信信号の情報が必要であるが、送信信号の情報は、後述する記憶部３３等の所定の記憶装置に予め記憶されており、相互相関の取得の際に読みだされる。

【0069】

図５は、実施形態における実験結果の第３の例を示す図である。図５は、耳介の変形を示す２つの画像（図５の（ａ）及び（ｂ）それぞれの上段の画像）と、図５の上段の各画像が示す場面で得られる応答波形の周波数特性（図５の（ａ）及び（ｂ）それぞれの下段の画像）と、を示す。図５の（ａ）及び（ｂ）に示す応答波形の周波数特性を示すグラフは、横軸が周波数を示し、縦軸が応答波形の振幅を示す。図５の結果は、耳介の変形で応答波形の周波数特性が変化することを示す。

【0070】

このような場合、解析処理は、フーリエ変換の実行後に、フーリエ変換の結果を用いて耳介の形状の変化を推定する処理を実行してもよい。フーリエ変換の結果（すなわち応答波形の周波数特性）を用いて耳介の形状の変化を推定する処理は、例えば学習済みの数理モデルを用いて行われてもよい。

【0071】

このような場合、学習済みの数理モデルは、応答波形の周波数特性に基づいて耳介の形状の変化を推定する数理モデルである。したがって、応答波形の周波数特性に基づいて耳介の形状の変化を推定する数理モデルの学習においては、応答波形の周波数特性と耳介の形状の変化を示す情報とを用いた学習が行われる。

【0072】

図６は、実施形態における実験結果の第４の例を示す図である。耳介の変形の識別についての混同行列の結果の一例を示す。より具体的には、振動検出器２の検出の結果に基づき耳介の変形を推定する処理を解析処理で実行した結果の正答率を示す混同行列の結果の一例を示す。

【0073】

図６の“True label”は正解を示す。すなわち、実際の変形を示す。図６の”Predicted label”は解析処理による推定の結果を示す。したがって、混同行列の対角成分が耳介の各変形に対する推定の正答率を示す。図６の結果を得る実験では、耳介の変形として、”squeeze”、”pull-up”、”pull-down”及び”fold”の4種の変形が行われた。図６の結果は、４種のいずれについても、高い精度の推定が行われることを示す。

【0074】

なお、図６の結果を得る実験で用いられた解析処理では、具体的には、周波数応答に基づき耳介の変形の種類を推定する処理であり、機械学習の技術の１つであるサポートベクターマシンによって得られた処理、が実行された。

【0075】

図７は、実施形態における実験結果の第５の例を示す図である。図５は、振動検出器２の検出の結果に基づき指の位置を推定する処理を解析処理で実行した結果の一例を示す。図７において“estimated”の結果は、サポートベクターマシンの出力を示す。図７において”filtered”の結果はカルマンフィルタによって平滑化した推定の結果を示す。図７において、”ground truth”は、真値（すなわち図７の例では指の位置）を示す。

【0076】

図７のｘ軸は正の方向が実空間における所定の方向を示す座標軸であり、ｙ軸は正の方向が実空間においてｘ軸に直交する方向を示す座標軸である。図７の結果は、解析処理による推定の結果の精度が高いことを示す。

【0077】

なお、図７の結果を得る実験で用いられた解析処理では、具体的には、周波数応答に基づき座標を推定する処理であり、機械学習の技術の１つであるサポートベクターマシンによって得られた処理、が実行された。

【0078】

＜学習時の状況の一例について＞
ここで解析処理で学習済みの機械学習モデルが用いられる場合に関して、学習に用いる真値（正解データ）の取得の技術の例を、検出対象が指である場合を例に説明する。真値は、例えば赤いシール等のマーカーが付いた指を、カメラ等の撮影装置で撮影することで得られる。学習データの用意のため、真値の取得とともに、その際の振動検出器２の検出の結果も取得される。得られた振動検出器２の検出の結果と、撮影装置による撮影結果との組が、学習データとして学習対象の数理モデルの学習に用いられる。

【0079】

なお、指には必ずしもマーカーがついている必要はない。マーカーがついていない場合に撮影結果から指の位置を推定する技術は、例えば以下の参考文献１～３に記載の技術が用いられてもよい。なお参考文献２は慣性センサを用いる技術であり、参考文献３は筋電位を用いる技術である。

【0080】

参考文献１：Zhang, Fan, et al. "Mediapipe hands: On-device real-time hand tracking."arXiv preprint arXiv:2006.10214(2020).
参考文献２： Ting Kwok Chan, et al. "Robust hand gesture input using computer vision, inertial measurement unit (IMU) and flex sensors." 2018 IEEE International Conference on Mechatronics, Robotics and Automation (ICMRA). IEEE, 2018.
参考文献３：Yilin Liu, Shijia Zhang, and Mahanth Gowda. "NeuroPose: 3D hand pose tracking using EMG wearables." Proceedings of the Web Conference 2021. 2021.

【0081】

なお、真値は、検出対象の位置を示す情報が得られればどのように得られてもよく、例えば３次元計測等の位置を検出する技術によって得られてもよい。

【0082】

＜解析装置３のハードウェア構成の一例＞
図８は、実施形態における解析装置３のハードウェア構成の一例を示す図である。解析装置３は、バスで接続されたプロセッサ９１とメモリ９２とを備える制御部３１を備え、プログラムを実行する。解析装置３は、プログラムの実行によって制御部３１、インタフェース部３２及び記憶部３３を備える装置として機能する。

【0083】

より具体的には、プロセッサ９１が記憶部３３に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、解析装置３は、制御部３１、インタフェース部３２及び記憶部３３を備える装置として機能する。

【0084】

制御部３１は、解析装置３の備える各機能部の動作を制御する。制御部３１は、例えばインタフェース部３２を介して、振動検出器２の検出の結果を得る。制御部３１は、例えば解析処理を実行する。制御部３１は、例えば記憶部３３の記憶する情報を取得する。記憶部３３の記憶する情報を取得する処理は、具体的には、読み出しである。

【0085】

なお解析処理において学習済みの数理モデルが用いられる場合、制御部３１は、その学習済みの数理モデルを得る学習の処理を実行してもよい。このような場合、制御部３１は、例えばインタフェース部３２を介して学習データを取得する。

【0086】

インタフェース部３２は、解析装置３を外部装置に接続するための通信インタフェースを含んで構成される。インタフェース部３２は、有線又は無線を介して外部装置と通信する。外部装置は、例えば振動検出器２である。このような場合、インタフェース部３２は、振動検出器２との通信によって振動検出器２の検出の結果を得る。

【0087】

インタフェース部３２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成されてもよい。インタフェース部３２は、これらの入力装置を解析装置３に接続するインタフェースとして構成されてもよい。このように、インタフェース部３２の入力装置は、有線又は無線、を介して解析装置３に対する各種情報の入力を受け付ける。なお、上述したインタフェース部３２の取得する各種データは、必ずしもインタフェース部３２の通信インタフェースが取得する必要はなく、インタフェース部３２の入力装置に入力されてもよい。

【0088】

インタフェース部３２は、例えば、各種情報を出力する。インタフェース部３２は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。インタフェース部３２は、これらの表示装置を解析装置３に接続するインタフェースとして構成されてもよい。インタフェース部３２は、例えばインタフェース部３２の通信インタフェース又は入力装置に入力された情報を出力する。

【0089】

記憶部３３は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部３３は解析装置３に関する各種情報を記憶する。記憶部３３は、例えば制御部３１の動作により生じた各種情報を記憶する。記憶部３３は、例えばインタフェース部３２が取得した情報を記憶する。

【0090】

図９は、実施形態における検出システム１００が実行する処理の流れの一例を示すフローチャートである。振動器１が振動を励起する（ステップＳ１０１）。振動器１の励起した振動により耳軟骨が振動し、その振動が空気を振動させる。空気の振動は振動検出器２に到達するまでに位置する弾性体の影響を受けながら、振動検出器２に到達する。

【0091】

次に振動検出器２が振動を検出する（ステップＳ１０２）。次に制御部３１が振動検出器２の検出の結果に対して解析処理を実行する（ステップＳ１０３）。次に制御部３１が、解析処理の結果を所定の出力先に出力する（ステップＳ１０４）。

【0092】

なお、所定の出力先は、例えばインタフェース部３２の表示装置であってもよい。このような場合、制御部３１は、インタフェース部３２の表示装置を制御して、解析処理の結果を表示させる。所定の出力先は、例えば記憶部３３であってもよい。このような場合、制御部３１は、解析処理の結果を記憶部３３に記録する。

【0093】

このように構成された実施形態の検出システム１００は、振動器１と振動検出器２とを備え、検出対象の位置に応じた応答波形を検出可能である。そして、振動器１は、耳軟骨に接しているため、振動器１は外耳道を塞ぐことが無い。そのため検出システム１００を用いた検出では外耳道を塞がれてしまうことで生じるユーザの負担が無いので、検出システム１００は耳介近傍の動体の動きの検出に要するユーザの負担を軽減することができる。

【0094】

また、このように構成された実施形態の検出システム１００は、耳軟骨に接する振動器１を備える。耳軟骨に接しているため、振動器１は接していない場合よりも高い効率で耳軟骨の振動を励起することができる。上述したように耳軟骨の振動は、空気等の弾性体を伝わって伝搬する。したがって耳軟骨は、メガホンの働きをするといえる。そのため、振動器１が耳軟骨に接している場合、接していない場合よりも、振動検出器２による検出の精度が高まる。

【0095】

なお、振動器１が耳介の前側の位置である前方位置に位置し、振動検出器２が耳介の後ろ側の位置である後方位置に位置する場合、振動器１が後方位置に位置し振動検出器２が前方位置に位置する配置等の他の配置と比べて、より高い効率で振動器１が耳軟骨の振動が励起可能であるとともに、振動検出器２がより高い感度で振動を検出することができる。なぜなら、振動器１が前方位置に位置する場合、他の場合よりも、耳軟骨との接触面積が大きいからである。また、耳介の振動は、耳介の前側に向かって強く伝搬する傾向があるので、振動検出器２が後方位置に位置することが、他の配置よりも好ましい。

【0096】

また、このように構成された実施形態の検出システム１００は、振動器１を備える。振動器１は、超音波の周波数であってもよいし、可聴帯域の周波数であってもよいし、０Ｈｚ～２０Ｈｚの低周波の周波数であってもよいが、いずれにしても振動を励起する。このような振動は、波長が髪の毛より十分長い。そのため、例えば振動器１に変えて光を放射するデバイスを用いる場合と比較して、検出システム１００の方が、髪の毛によるセンシングの精度の劣化が抑制される。

【0097】

また、このように構成された実施形態の検出システム１００は、耳介近傍におけるユーザの指等の動きの推定を可能とする。そのため、検出システム１００を用いれば、ユーザによる直感的な操作での操作対象のデバイスの操作が可能となる。

【0098】

また、このように構成された実施形態の検出システム１００を用いれば、ユーザが耳介近傍で指等を動かすことで、ボタン等に触れることなく、操作対象のデバイスを操作可能である。そのため、ボタンに触れる等の小さなものへの接触を要する技術に比べて、検出システム１００は、入力面を拡張するという効果を奏する。

【0099】

さらに、振動器１としては、元々通話や音楽再生に使われるデバイスを使用可能である。そのため、レーザ等の通話や音楽再生には用いられることの少ない技術を用いる場合よりも、デバイスの小型化やコストの削減を実現可能である。

【0100】

また、検出対象の検出に際して仮にカメラ等の撮影装置を用いる場合、検出対象を撮影可能な位置に撮影装置設置される必要がある。したがって、例えば自撮り棒のような、検出対象から離れた位置にカメラを配置させるものを併用する必要が生じる。しかしながら、撮影装置ではなく振動器１と振動検出器２とを用いる場合には、振動器１の生成する振動が回折により遮蔽物の裏側まで伝搬するため、その必要がない。

【0101】

（変形例）
なお、解析装置３は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、制御部３１の実行する各処理は、複数の情報処理装置が分散して実行してもよい。

【0102】

なお、振動器１と振動検出器２が眼鏡１０に備えられている場合、解析装置３は、一部又は全部が眼鏡１０に備えられていてもよい。解析装置３の一部又は全部が備えられる眼鏡１０における取り付け先は、例えばテンプル１０３であってもよい。すなわち、解析装置３の一部又は全部は、例えばテンプル１０３に備えられていてもよい。

【0103】

なお、検出システム１００は必ずしも解析装置３を備える必要はない。

【0104】

なお、制御部３１、インタフェース部３２及び記憶部３３の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0105】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0106】

１００…検出システム、 １…振動器、 ２…振動検出器、 ３…解析装置、 １０…眼鏡、 １０１…メガネレンズ、 １０２…モダン、 １０３…テンプル、 ３１…制御部、 ３２…インタフェース部、 ３３…記憶部、 ９１…プロセッサ、 ９２…メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】