(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-22
(45)【発行日】2025-01-30
(54)【発明の名称】情報処理装置、装着型機器、情報処理方法及びプログラム
(51)【国際特許分類】
H04R 1/10 20060101AFI20250123BHJP
H04R 3/00 20060101ALI20250123BHJP
【FI】
H04R1/10 104Z
H04R3/00 310
(21)【出願番号】P 2023093702
(22)【出願日】2023-06-07
(62)【分割の表示】P 2020560711の分割
【原出願日】2018-12-19
【審査請求日】2023-06-07
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】荒川 隆行
【審査官】冨澤 直樹
(56)【参考文献】
【文献】米国特許出願公開第2017/0347180(US,A1)
【文献】特開2004-065363(JP,A)
【文献】特開2010-154563(JP,A)
【文献】特開2008-028953(JP,A)
【文献】特許第7300091(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 1/10
H04R 3/00
G10K 15/00
(57)【特許請求の範囲】
【請求項1】
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
前記音響情報
に基づくスコアと第1の閾値との大小関係に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
を備え、
前記装着判定部は、前記スコアに応じた間隔で前記ユーザが前記装着型機器を装着しているか否かを繰り返し判定し、
前記間隔は、前記スコアが所定値よりも大きいときには長時間に設定され、前記スコアが前記所定値よりも小さいときには短時間になるように設定され、
前記ユーザが前記装着型機器を装着していないと前記装着判定部によって判定される場合、前記装着型機器は、少なくとも一部の機能を所定時間停止する、情報処理装置。
【請求項2】
前記情報処理装置は、前記音響信号に基づいて、前記ユーザの認証を実行する認証部を更に有し、
前記所定時間の経過後、前記装着型機器は、前記少なくとも一部の機能を再開する、請求項1に記載の情報処理装置。
【請求項3】
前記音響情報は、前記ユーザの外耳道における共鳴に関する情報を含む、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記装着型機器は、前記ユーザの外耳道に向けて音波を発する音波発生部を備える、
請求項1乃至3のいずれか1項に記載の情報処理装置。
【請求項5】
前記音響情報に含まれる音圧レベルが前記装着判定部における判定に対して十分でない場合に、前記音波発生部が音波を発するよう制御する発音制御部を更に備える、
請求項4に記載の情報処理装置。
【請求項6】
前記装着判定部は、前記音波発生部から音波が発せられてから、前記装着型機器において反響音が取得されるまでの反響時間に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
請求項4又は5に記載の情報処理装置。
【請求項7】
装着型機器であって、
前記装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
前記音響情報
に基づくスコアと第1の閾値との大小関係に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
前記ユーザが前記装着型機器を装着していないと前記装着判定部によって判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止させる停止部と、
を備え、
前記装着判定部は、前記スコアに応じた間隔で前記ユーザが前記装着型機器を装着しているか否かを繰り返し判定し、
前記間隔は、前記スコアが所定値よりも大きいときには長時間に設定され、前記スコアが前記所定値よりも小さいときには短時間になるように設定される、装着型機器。
【請求項8】
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
前記音響情報
に基づくスコアと第1の閾値との大小関係に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
前記ユーザが前記装着型機器を装着していないと判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止するステップと、
を備え、
前記判定するステップは、前記スコアに応じた間隔で前記ユーザが前記装着型機器を装着しているか否かを繰り返し判定し、
前記間隔は、前記スコアが所定値よりも大きいときには長時間に設定され、前記スコアが前記所定値よりも小さいときには短時間になるように設定される、情報処理方法。
【請求項9】
コンピュータに、
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
前記音響情報
に基づくスコアと第1の閾値との大小関係に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
前記ユーザが前記装着型機器を装着していないと判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止するステップと、
を実行させるためのプログラム
であって、
前記判定するステップは、前記スコアに応じた間隔で前記ユーザが前記装着型機器を装着しているか否かを繰り返し判定し、
前記間隔は、前記スコアが所定値よりも大きいときには長時間に設定され、前記スコアが前記所定値よりも小さいときには短時間になるように設定される、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、装着型機器、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、外側マイクロホンと内側マイクロホンとを備えたヘッドホン装置が開示されている。当該ヘッドホン装置は、外側マイクロホンで得られた外来音の音声信号と内側マイクロホンで得られた外来音の音声信号とを比較することにより、ヘッドホン装置が装着状態であるか非装着状態であるかを検出することができる。
【0003】
特許文献2には、検出マイクとスピーカとを備えたヘッドセットが開示されている。当該ヘッドセットは、ヘッドセットに入力される音楽等の音響信号と、検出マイクで検出された音響検出信号とを比較して、不一致である場合にヘッドセットが非装着であるものと判定する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2014-33303号公報
【文献】特開2007-165940号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1のヘッドホン装置は、外来音を用いて装着状態の検出を行っている。外来音は外部環境に応じて変化し得るため、外部環境によっては装着判定の精度が十分に得られない可能性がある。特許文献2のヘッドセットは、入力される音響信号と検出された音響検出信号との一致又は不一致に基づいて装着状態を検出するものである。そのため、例えば、ヘッドセットがケースに入っている場合等、ヘッドセットが密閉されている場合には非装着状態であっても音響信号と音響検出信号が一致する場合がある。このように、ヘッドセットが置かれている環境によっては装着判定の精度が十分に得られない可能性がある。
【0006】
本発明は、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一観点によれば、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、を備え、前記ユーザが前記装着型機器を装着していないと前記装着判定部によって判定される場合、前記装着型機器は、少なくとも一部の機能を所定時間停止する、情報処理装置が提供される。
【0008】
本発明の他の一観点によれば、装着型機器であって、前記装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、前記ユーザが前記装着型機器を装着していないと前記装着判定部によって判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止させる停止部と、を備える、装着型機器が提供される。
【0009】
本発明の他の一観点によれば、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、前記ユーザが前記装着型機器を装着していないと判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止するステップと、を備える、情報処理方法が提供される。
【0010】
本発明の他の一観点によれば、コンピュータに、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、前記ユーザが前記装着型機器を装着していないと判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止するステップと、を実行させるためのプログラムが提供される。
【発明の効果】
【0011】
本発明によれば、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することができる。
【図面の簡単な説明】
【0012】
【
図1】第1実施形態に係る情報処理システムの全体構成を示す模式図である。
【
図2】第1実施形態に係るイヤホンのハードウェア構成を示すブロック図である。
【
図3】第1実施形態に係る情報通信装置のハードウェア構成を示すブロック図である。
【
図4】第1実施形態に係るイヤホン制御装置の機能ブロック図である。
【
図5】第1実施形態に係るイヤホン制御装置により行われる装着判定処理を示すフローチャートである。
【
図7】M系列信号又は白色雑音の特性を示すグラフである。
【
図9】一方が開端で他方が閉端である気柱管の構造図である。
【
図11】装着判定に用いられる音響信号の種類と判定基準を示す表である。
【
図12】第2実施形態に係る情報処理システムの全体構成を示す模式図である。
【
図13】第3実施形態に係る装着状態スコアの時間変化を示すグラフである。
【
図14】2つの閾値により装着状態の判定を行う例を示すグラフである。
【
図15】第4実施形態に係る情報処理装置の機能ブロック図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
【0014】
[第1実施形態]
本実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムは、イヤホン等の装着型機器の装着を検出するためのシステムである。
【0015】
図1は、本実施形態に係る情報処理システムの全体構成を示す模式図である。情報処理システムは、互いに無線通信接続され得る情報通信装置1とイヤホン2とを備える。
【0016】
イヤホン2は、イヤホン制御装置20、スピーカ26及びマイクロホン27を備える。イヤホン2は、ユーザ3の耳に装着可能な音響機器であり、典型的にはワイヤレスイヤホン、ワイヤレスヘッドセット等である。スピーカ26は、装着時にユーザ3の外耳道に向けて音波を発する音波発生部として機能するものであり、イヤホン2の装着面側に配されている。マイクロホン27も装着時にユーザ3の外耳道等で反響した音波を受けることができるようにイヤホン2の装着面側に配されている。イヤホン制御装置20は、スピーカ26及びマイクロホン27の制御及び情報通信装置1との通信を行う。
【0017】
なお、本明細書において、音波、音声等の「音」は、周波数又は音圧レベルが可聴範囲外である非可聴音を含むものとする。
【0018】
情報通信装置1は、例えば、コンピュータであり、イヤホン2の動作の制御、イヤホン2から発せられる音波の生成用の音声データの送信、イヤホン2が受けた音波から得られた音声データの受信等を行う。具体例としては、ユーザ3がイヤホン2を用いて音楽鑑賞を行う場合には、情報通信装置1は、音楽の圧縮データをイヤホン2に送信する。また、イヤホン2がイベント会場、病院等における業務指令用の電話装置である場合には、情報通信装置1は業務指示の音声データをイヤホン2に送信する。この場合、更に、ユーザ3の発話の音声データをイヤホン2から情報通信装置1に送信してもよい。また、情報通信装置1又はイヤホン2は、イヤホン2が受けた音波を用いた耳音響認証の機能を備えていてもよい。
【0019】
なお、この全体構成は一例であり、例えば、情報通信装置1とイヤホン2が有線接続されていてもよい。また、情報通信装置1とイヤホン2が一体の装置として構成されていてもよく、情報処理システム内に更に別の装置が含まれていてもよい。
【0020】
図2は、イヤホン制御装置20のハードウェア構成例を示すブロック図である。イヤホン制御装置20は、CPU(Central Processing Unit)201、RAM(Random Access Memory)202、ROM(Read Only Memory)203及びフラッシュメモリ204を備える。また、イヤホン制御装置20は、スピーカI/F(Interface)205、マイクロホンI/F206、通信I/F207及びバッテリ208を備える。なお、イヤホン制御装置20の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
【0021】
CPU201は、ROM203、フラッシュメモリ204等に記憶されたプログラムに従って所定の演算を行うとともに、イヤホン制御装置20の各部を制御する機能をも有するプロセッサである。RAM202は、揮発性記憶媒体から構成され、CPU201の動作に必要な一時的なメモリ領域を提供する。ROM203は、不揮発性記憶媒体から構成され、イヤホン制御装置20の動作に用いられるプログラム等の必要な情報を記憶する。フラッシュメモリ204は、不揮発性記憶媒体から構成され、データの一時記憶、イヤホン制御装置20の動作用プログラムの記憶等を行う記憶装置である。
【0022】
通信I/F207は、Bluetooth(登録商標)、Wi-Fi(登録商標)等の規格に基づく通信インターフェースであり、情報通信装置1との通信を行うためのモジュールである。
【0023】
スピーカI/F205は、スピーカ26を駆動するためのインターフェースである。スピーカI/F205は、デジタルアナログ変換回路、増幅器等を含む。スピーカI/F205は、音声データをアナログ信号に変換し、スピーカ26に供給する。これによりスピーカ26は、音声データに基づく音波を発する。
【0024】
マイクロホンI/F206は、マイクロホン27から信号を取得するためのインターフェースである。マイクロホンI/F206は、アナログデジタル変換回路、増幅器等を含む。マイクロホンI/F206は、マイクロホン27が受け取った音波により生じたアナログ信号をデジタル信号に変換する。これにより、イヤホン制御装置20は、受け取った音波に基づく音声データを取得する。
【0025】
バッテリ208は、例えば二次電池であり、イヤホン2の動作に必要な電力を供給する。これにより、イヤホン2は、外部の電源に有線接続することなく、ワイヤレスで動作することができる。
【0026】
なお、
図2に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。例えば、イヤホン2はユーザ3による操作を受け付けることができるようにボタン等の入力装置を更に備えていてもよく、ユーザ3に情報を提供するためのディスプレイ、表示灯等の表示装置を更に備えていてもよい。このように
図2に示されているハードウェア構成は適宜変更可能である。
【0027】
図3は、情報通信装置1のハードウェア構成例を示すブロック図である。情報通信装置1は、CPU101、RAM102、ROM103及びHDD(Hard Disk Drive)104を備える。また、情報通信装置1は、通信I/F105、入力装置106及び出力装置107を備える。なお、情報通信装置1の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
【0028】
図3では、情報通信装置1を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、入力装置106及び出力装置107は、CPU101等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
【0029】
CPU101は、ROM103、HDD104等に記憶されたプログラムに従って所定の演算を行うとともに、情報通信装置1の各部を制御する機能をも有するプロセッサである。RAM102は、揮発性記憶媒体から構成され、CPU101の動作に必要な一時的なメモリ領域を提供する。ROM103は、不揮発性記憶媒体から構成され、情報通信装置1の動作に用いられるプログラム等の必要な情報を記憶する。HDD104は、不揮発性記憶媒体から構成され、イヤホン2と送受信するデータの一時記憶、情報通信装置1の動作用プログラムの記憶等を行う記憶装置である。
【0030】
通信I/F105は、Bluetooth(登録商標)、Wi-Fi(登録商標)等の規格に基づく通信インターフェースであり、イヤホン2等の他の装置との通信を行うためのモジュールである。
【0031】
入力装置106は、キーボード、ポインティングデバイス等であって、ユーザ3が情報通信装置1を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。
【0032】
出力装置107は、例えば表示装置である。表示装置は、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等であって、情報の表示、操作入力用のGUI(Graphical User Interface)等の表示に用いられる。入力装置106及び出力装置107は、タッチパネルとして一体に形成されていてもよい。
【0033】
なお、
図3に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、HDD104は、半導体メモリを用いたSSD(Solid State Drive)に置換されていてもよく、クラウドストレージに置換されていてもよい。このように
図3に示されているハードウェア構成は適宜変更可能である。
【0034】
図4は、本実施形態に係るイヤホン制御装置20の機能ブロック図である。イヤホン制御装置20は、音響情報取得部211、装着判定部212、発音制御部213、通知情報生成部214及び記憶部215を有する。
【0035】
CPU201は、ROM203、フラッシュメモリ204等に記憶されたプログラムをRAM202にロードして実行する。これにより、CPU201は、音響情報取得部211、装着判定部212、発音制御部213及び通知情報生成部214の機能を実現する。また、CPU201は、当該プログラムに基づいてフラッシュメモリ204を制御することにより記憶部215の機能を実現する。これらの各部で行われる具体的な処理については後述する。
【0036】
なお、
図4の機能ブロックの各機能の一部又は全部は、イヤホン制御装置20ではなく情報通信装置1に設けられていてもよい。すなわち、上述の各機能は、イヤホン制御装置20によって実現されてもよく、情報通信装置1によって実現されてもよく、情報通信装置1とイヤホン制御装置20とが協働することにより実現されてもよい。情報通信装置1及びイヤホン制御装置20は、より一般的に情報処理装置と呼ばれることもある。
【0037】
しかしながら、本実施形態の装着判定の処理は、イヤホン2内に設けられたイヤホン制御装置20で行われることが望ましい。この場合、装着判定における情報通信装置1とイヤホン2との通信を不要にすることができ、イヤホン2の消費電力を低減することができる。イヤホン2は、装着型機器であるため、小型であることが要求される。そのため、バッテリ208の大きさには限界があり、放電容量の大きいものを用いることが難しい。このような事情により、イヤホン2内で装着判定を完結させることによる消費電力低減が有効である。以下の説明では、特記されている場合を除き、
図4の機能ブロックの各機能はイヤホン2内に設けられているものとする。
【0038】
図5は、本実施形態に係るイヤホン制御装置20により行われる装着判定処理を示すフローチャートである。
図5を参照して、イヤホン制御装置20の動作を説明する。
【0039】
図5の装着判定処理は、例えば、イヤホン2の電源がオンであるときに所定の時間が経過するごとに実行される。あるいは、
図5の装着判定処理は、ユーザ3がイヤホン2を操作することにより使用を開始したときに実行されてもよい。
【0040】
ステップS101において、発音制御部213は、検査用信号を生成し、スピーカI/F205を介してスピーカ26に検査用信号を送信する。これにより、スピーカ26は、ユーザ3の外耳道に向けて装着判定用の検査音を発する。
【0041】
なお、ステップS101において、スピーカ26からの検査音を用いる手法に代えて、ユーザ3の体内で生じる音を用いてもよい。体内で生じる音の具体例としては、ユーザ3の呼吸、心拍、筋肉の動き等により生じる生体音が挙げられる。また、別の例としては、ユーザ3に発声を促すことによりユーザ3の声帯から発せられるユーザ3の声を用いてもよい。
【0042】
ユーザ3に発声を促す処理について一例を説明する。通知情報生成部214は、ユーザ3に声を発するように促すため通知情報を生成する。この通知情報は、例えば音声情報であり、スピーカ26から、「声を出してください」というようなメッセージを発することでユーザ3に発声を促すものであり得る。情報通信装置1又はイヤホン2にユーザ3が見ることができる表示装置が存在している場合には、上述のメッセージを表示装置に表示してもよい。
【0043】
また、検査音を発する処理又はこの発声を促す処理は、装着判定の際に常に行われるものであってもよいが、所定の条件を満たしたとき又は所定の条件を満たさないときにのみ行われるものであってもよい。この所定の条件の一例としては、取得された音響情報に含まれる音圧レベルが判定を行うために十分なレベルでない場合が挙げられる。この条件を満たした場合、発声を促して音圧レベルの高い音響情報を取得する。これにより、装着判定の精度を向上させることができる。
【0044】
ステップS102において、音響情報取得部211は、マイクロホン27が受け取った音波に基づく音響情報を取得する。この音響情報は、ユーザ3の体内における共鳴に関する音響情報として記憶部215に記憶される。なお、音響情報取得部211は、音響情報の取得にあたって、フーリエ変換、相関演算、ノイズ除去、レベル補正等の信号処理を適宜行ってもよい。
【0045】
ステップS103において、装着判定部212は、音響情報に基づいて、ユーザ3がイヤホン2を装着しているか否かを判定する。ユーザ3がイヤホン2を装着していると判定された場合(ステップS103におけるYES)、処理はステップS104に移行する。ユーザ3がイヤホン2を装着していないと判定された場合(ステップS103におけるNO)、処理はステップS105に移行する。
【0046】
ステップS104において、イヤホン2は、情報通信装置1との通信、情報通信装置1から取得した情報に基づく音波の生成等の動作を継続する。所定時間の経過後、処理はステップS101に戻り、再び装着判定が行われる。
【0047】
ステップS105において、イヤホン2は、情報通信装置1との通信、情報通信装置1から取得した情報に基づく音波の生成等の動作を停止し、本処理を終了する。
【0048】
これにより、ユーザ3がイヤホン2を装着している場合には動作が継続され、装着していない場合にはイヤホン2の動作を停止する処理が実現される。したがって、非装着時にイヤホン2が動作することによる電力の浪費が抑制される。
【0049】
なお、
図5においては、ステップS105の後には処理が終了し、イヤホン2が動作しなくなるものとしているが、これは一例である。例えば、所定時間経過後に再びステップS101に戻り、再度装着判定が行われてもよく、その後ユーザ3がイヤホン2を装着していると判定された場合にイヤホン2の動作を再開してもよい。
【0050】
ステップS101においてスピーカ26が発する検査音の具体例について説明する。検査音の生成に用いられる信号の例としては、チャープ信号、M系列(Maximum Length Sequence)信号又は白色雑音等の所定範囲の周波数成分を含む信号が用いられ得る。これにより、検査音の周波数範囲を装着判定に用いることができる。
【0051】
図6は、チャープ信号の特性を示すグラフである。
図6は、強度と時間の関係、周波数と時間の関係及び強度と周波数の関係をそれぞれ示している。チャープ信号は、周波数が時間に応じて連続的に変化する信号である。
図6には、周波数が時間に対して線形に増加するチャープ信号の例が示されている。
【0052】
図7は、M系列信号又は白色雑音の特性を示すグラフである。M系列信号は、白色雑音に近い疑似雑音を生成する信号であるため、M系列信号及び白色雑音の特性はほぼ同様である。
図7も
図6と同様に、強度と時間の関係、周波数と時間の関係及び強度と周波数の関係をそれぞれ示している。
図7に示されるようにM系列信号又は白色雑音は、広範囲の周波数の信号を均等に含む信号である。
【0053】
チャープ信号、M系列信号又は白色雑音は、広範囲にわたって周波数が変動する周波数特性を有している。そのため、これらの信号を検査音として用いることにより、ステップS102において広範囲の周波数で反響音を取得することができる。
【0054】
ステップS102において取得される反響音の具体例について説明する。
図8は、反響音の特性の一例を示すグラフである。
【0055】
図8の横軸は周波数を示しており、縦軸は、取得した音波の音圧レベルを示している。
図8では、取得した音波を発生原因ごとに「noise」、「speech」、「echo」の3つに分けて表示している。
【0056】
「noise」は、生体内雑音を示しており、具体的には、ユーザ3の呼吸、心拍、筋肉の動き等により生じる生体音を示している。
図8に示されるように、「noise」は、1kHz以下の範囲に集中している。
【0057】
「speech」は、ユーザ3の発声により生じた音を示している。
図8に示されるように、「speech」は、3kHz以下の範囲に集中している。また、6kHz付近に小さなピークが存在している。このピークは外耳道での反響に起因するものである。
【0058】
「echo」は、検査音がユーザ3の外耳道、声道等の体内で反響したことにより生じた音を示している。
図8に示されるように、「echo」は、複数のピークを有する特性を示す。2kHz付近には、声道共鳴音による複数のピークが存在している。また、6kHz、12kHz、14kHz付近には外耳道共鳴音の1次、2次、3次のピークがそれぞれ存在している。これらの共鳴より生じたピークは、装着判定に用いられ得る。なお、20kHz付近のピークは、イヤホン2の筐体等における共鳴音であるため、当該ピークは、ユーザ3の体内での反響音ではない。しかしながら、共鳴音の吸収率が装着時と非装着時で互いに異なるため、装着の有無に応じて当該ピークのレベルは変化する。そのため、20kHz付近のピークを装着判定に用いてもよい。
【0059】
ここで、共鳴音についてより詳細に説明する。共鳴とは、一般的には、物理的な系に特定の周期で働きかけがなされた場合に、その物理的な系が特徴的な振る舞いを見せる現象のことである。音響現象の場合の共鳴の例としては、ある音響系に種々の周波数の波長の音波を送出した場合に、特定の周波数で大きな反響音が生じる現象が挙げられる。そのような反響音は共鳴音と呼ばれる。
【0060】
共鳴音を説明する単純なモデルとして気柱管共鳴のモデルが知られている。
図9は一方が開端で他方が閉端である気柱管の構造図である。
図9の例において、気柱管の長さをL、音速をV、共鳴の次数をn(n=1、2、・・・)とすると、共鳴周波数fは、以下の式(1)となる。ただし、式(1)において開口端補正は無視している。
【数1】
【0061】
また、
図10は両方が閉端である気柱管の構造図である。
図10の例において、共鳴周波数fは、以下の式(2)となる。
【数2】
【0062】
式(1)及び式(2)から理解されるように、観測された共鳴周波数が高いほど、共鳴が生じた気柱管は短く、観測された共鳴周波数が低いほど、共鳴が生じた気柱管は長い。すなわち、共鳴周波数と、共鳴が生じた部分の長さは反比例の関係にあり、相互に対応付けが可能である。
【0063】
具体例として、
図8の6kHz付近にみられる1次のピークについて考察する。ユーザ3がイヤホン2を装着している場合において、外耳道の構造は、両方が閉端である気柱管に相当する。そのため、式(2)を用いて気柱管の長さを算出することができる。音速Vは約340m/sであり、共鳴周波数fは約6kHzであり、次数nは1であるため、これらを式(2)に代入すると、Lの値は約2.8cmと算出される。この長さはおおよそ人間の外耳道の長さと合致するため、
図8の6kHz付近にみられるピークは確かに外耳道共鳴によるものであるといえる。外耳道以外の人間の体内の空洞(声道、呼吸器等)も気柱管のモデルで説明できるため、同様に共鳴周波数と空洞の長さとを対応付けることができる。これにより、反響音の特性に含まれるピークから共鳴が生じた部分の長さを特定することができ、共鳴部位を特定することもできる。
【0064】
次に、ステップS103における装着判定の具体例を説明する。
図11は、装着判定に用いられる音響信号の種類と判定基準を示す表である。生体音(
図8の「noise」)は、ユーザ3の体内で発生するものであるため、イヤホン2を装着していない場合には、検出されないか、あるいは検出されたとしても非常に小さい音圧となる。したがって、1kHz以下の所定の検出周波数の音響信号の音圧レベルが所定の閾値未満である場合には、非装着であると判定し、閾値以上である場合には、装着していると判定するアルゴリズムにより装着判定が可能である。
【0065】
声道反響音(
図8の「echo」の2kHz付近)も、ユーザ3の体内で発生するものであるため、イヤホン2を装着していない場合には、検出されないかあるいは検出されたとしても非常に小さい音圧となる。したがって、2kHz付近の音響信号の音圧レベルにピークが存在しないか又は十分に小さい場合には、非装着であると判定し、ピークが存在する場合には、装着していると判定するアルゴリズムにより装着判定が可能である。
【0066】
外耳道反響音(
図8の「echo」の5-20kHz付近)も、ユーザ3の体内で発生するものであるため、イヤホン2を装着していない場合には、検出されないかあるいは検出されたとしても非常に小さい音圧となる。したがって、5-20kHz付近の音響信号の音圧レベルにピークが存在しないか又は十分に小さい場合には、非装着であると判定し、ピークが存在する場合には、装着していると判定するアルゴリズムにより装着判定が可能である。
【0067】
なお、生体音により、声道反響音又は外耳道反響音によるピークが発生することもあるため、生体音によって生じたピークを装着判定に用いてもよいが、ピークが微弱であることが多い。そのため、声道反響音又は外耳道反響音のピークを装着判定に用いる場合には、検査音を用いるか、あるいは発声を促す処理を行うことが望ましい。声道反響音のピークは、外耳道に検査音を発した場合よりも発声した場合の方が大きくなるため、声道反響音装着判定に用いる場合には、発声を促す処理を行うことが望ましい。外耳道反響音のピークは、発声した場合よりも外耳道に検査音を発した場合の方が大きくなるため、声道反響音装着判定に用いる場合には、検査音を用いた処理を行うことが望ましい。
【0068】
装着判定は、
図11に示すもののいずれか1つを用いるものであってもよいが、1つ又は複数の基準をパラメータ化して、装着状態スコアを算出し、その装着状態スコアが閾値以上であるか否かに基づいて行われるものであってもよい。
【0069】
本実施形態によれば、イヤホン2等の装着型機器を装着しているユーザ3の体内における共鳴に関する音響情報を取得し、これに基づいてユーザ3が装着型機器を装着しているか否かを判定することができる。これにより、外来音のある環境のみならず、外来音がない静かな環境であっても装着判定を行うことができる。また、体内の共鳴を判定に用いているため、密閉環境における誤判定が生じにくい。したがって、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置を提供することができる。
【0070】
本実施形態において、検査音を用いて装着判定を行う場合には、スピーカ26から音波が発せられてから、マイクロホン27において音波が取得されるまでの反響時間に基づいてユーザ3がイヤホン2を装着しているか否かを判定してもよい。検査音が外耳道に向けて発せられ、反響音が取得されるまでの時間は、ユーザ3の外耳道における音波の往復時間であるため、外耳道の長さにより定まる。この反響時間が外耳道の長さにより定まる時間から大幅にずれる場合には、イヤホン2が装着されていない可能性が高い。したがって、反響時間を装着判定の要素として用いることにより、より高精度に装着判定を行う事ができる。
【0071】
[第2実施形態]
本実施形態の情報処理システムは、イヤホン2の構造及び装着判定の処理が第1実施形態と相違する。以下では主として第1実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
【0072】
図12は、本実施形態に係る情報処理システムの全体構成を示す模式図である。本実施形態において、イヤホン2は、互いに異なる位置に配された複数のマイクロホン27、28を備えている。マイクロホン28は、イヤホン制御装置20によって制御される。マイクロホン28は、装着時に外部から音波を受けることができるようにイヤホン2の装着面とは反対の背面側に配されている。
【0073】
本実施形態のイヤホン2は、生体音を用いた装着判定を行う際により有効である。生体音は、呼吸音、心音、筋肉の動き等によるものであるため音圧が微弱であり、生体音を用いた装着判定は、外部ノイズにより精度が不十分となる場合がある。
【0074】
生体音は生体内で発生するため、生体を通じて伝搬する成分が多い。したがって、イヤホン2の装着時には、マイクロホン28で取得される生体音よりもマイクロホン27で取得される生体音のほうが大きくなる。そこで、マイクロホン28で取得される生体音よりもマイクロホン27で取得される生体音が大きい場合に装着状態であると判定することができる。この手法では、外部ノイズの影響がキャンセルされるため、閾値との大小関係を比較する手法に比べて高い精度での装着判定が可能になる。したがって、本実施形態によれば、第1実施形態と同様の効果が得られることに加え、高い精度での装着判定が実現され得る。
【0075】
[第3実施形態]
本実施形態の情報処理システムは、
図5のステップS103における装着判定処理のアルゴリズムが第1実施形態と相違する。以下では主として第1実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
【0076】
本実施形態では、1つ又は複数の基準をパラメータ化して、装着状態スコアを算出し、その装着状態スコアが閾値以上であるか否かに基づいて装着判定が行われているものとする。また、
図5の処理において、ステップS105において動作が停止された後もステップS101に戻り、一定の周期で装着判定が繰り返されるものとする。
図13は、本実施形態に係る装着状態スコアの時間変化の一例を示すグラフである。図中の装着状態スコアS1が装着状態と非装着状態の間の閾値(第1の閾値)である。
【0077】
第1実施形態の手法では、装着状態スコアが第1の閾値以上である場合に装着状態であると判定され、第1の閾値未満である場合に非装着状態であると判定される。そのため、時刻t1以前の期間、時刻t2から時刻t3の間の期間及び時刻t4以降の期間が非装着状態であり、時刻t1から時刻t2の間の期間及び時刻t3から時刻t4の間の期間が装着状態であると判定される。
【0078】
この場合、時刻t2から時刻t3のように短時間に装着状態スコアが変動した場合にも状態が切り替わる。ユーザ3がイヤホン2を短時間に着脱を繰り返すことはあまりないため、このような短時間の変動は装着状態を適切に示していない場合が多い。特に、イヤホン2を装着しているにもかかわらず非装着であると判定されると、イヤホン2の機能の一部が停止されるため、ユーザ3の利便性を損なうことになる。そこで、本実施形態の情報処理システムは、短時間に装着状態スコアが変動した場合等の場合には、状態が切り替りにくくするように装着判定処理を行う。なお、このような短時間の変化が生じる例としては、ユーザ3がイヤホン2に触ったときが挙げられる。以下、本実施形態において適用され得る装着判定処理の例を4つ説明する。
【0079】
(装着判定処理の第1例)
本実施形態に係る装着判定処理の第1例は、装着状態スコアが第1の閾値以上の状態から第1の閾値よりも小さい状態に変化した場合に、所定の期間、装着状態を維持するようにするものである。装着状態が維持される期間内に装着状態スコアが第1の閾値以上に戻った場合には、非装着状態にはならなかったものとして扱う。これにより、
図13の時刻t2から時刻t3のように短時間だけ装着状態スコアが低下した場合には、装着状態が維持される。
【0080】
(装着判定処理の第2例)
本実施形態に係る装着判定処理の第2例は、装着判定に用いる閾値を2つ設けるものである。
図14は、2つの閾値により装着状態の判定を行う例を示すグラフである。
図14の装着状態スコアS1は、非装着状態から装着状態への切り替えを判定するための第1の閾値であり、装着状態スコアS2は、装着状態から非装着状態への切り替えを判定するための第2の閾値である。
【0081】
本例においては、時刻t2から時刻t3の間、装着状態スコアは、第1の閾値を下回るものの、第2の閾値を下回らないので、装着状態が維持される。時刻t4から時刻t5の期間においても同様に装着状態が維持される。時刻t5以降、装着状態スコアが第2の閾値以下になると非装着状態であると判定される。このように本例では、2つの閾値を設けることにより、装着状態から非装着状態への切り替えと非装着状態から装着状態への切り替えにヒステリシスを与えることができる。したがって、短時間に起こる装着状態スコアの微小変動による装着状態と非装着状態の切り替わりが抑制される。
【0082】
(装着判定処理の第3例)
本実施形態に係る装着判定処理の第3例は、装着状態スコアに応じて装着判定の間隔が異なるようにするというものである。より具体的には、装着状態スコアが所定値よりも大きいときには、装着判定の間隔を長時間に設定し、装着状態スコアが所定値よりも小さいときには、装着判定の間隔を短時間に設定する。この所定値は、装着判定に用いる第1の閾値よりも高い値に設定する。これにより、
図13の時刻t2、t4付近のように装着状態スコアが低くなってきたときには装着判定の間隔が長くなるため、短時間の装着状態スコア変動による状態の切り替わりが起こりにくくなる。したがって、
図13の時刻t2から時刻t3のように短時間だけ装着状態スコアが低下した場合には、装着状態が維持されやすくなる。
【0083】
(装着判定処理の第4例)
本実施形態に係る装着判定処理の第4例は、装着状態スコアと第1の閾値との差に応じて装着判定の間隔が異なるようにするというものである。より具体的には、装着状態スコアと閾値の差が所定値よりも大きいときには、装着判定の間隔を長時間に設定し、装着状態スコアと第1の閾値の差が所定値よりも小さいときには、装着判定の間隔を短時間に設定する。これにより、
図13の時刻t1、t2、t3、t4付近のように装着状態スコアが閾値に近いときには装着判定の間隔が長くなるため、短時間の装着状態スコア変動による状態の切り替わりが起こりにくくなる。したがって、
図13の時刻t2から時刻t3のように短時間だけ装着状態スコアが低下した場合には、装着状態が維持されやすくなる。
【0084】
以上のように、本実施形態においては、短時間に装着状態スコアが変動した場合等の場合には、状態が切り替りにくくするような装着判定処理が実現される。そのため、イヤホン2を装着しているにもかかわらず非装着であると判定されてイヤホン2が使用不能になる等のユーザ3の利便性を損なう事態が生じる可能性が低減される。したがって、本実施形態によれば、第1実施形態と同様の効果が得られることに加え、ユーザの利便性が向上され得る。
【0085】
上述の実施形態において説明したシステムは以下の第4実施形態のようにも構成することができる。
【0086】
[第4実施形態]
図15は、第4実施形態に係る情報処理装置40の機能ブロック図である。情報処理装置40は、音響情報取得部411及び装着判定部412を備える。音響情報取得部411は、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する。装着判定部412は、音響情報に基づいて、ユーザが前記装着型機器を装着しているか否かを判定する。
【0087】
本実施形態によれば、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置40が提供される。
【0088】
[変形実施形態]
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
【0089】
上述の実施形態では、装着型機器の例としてイヤホン2を例示しているが、処理に必要な音響情報を取得可能であれば、耳に装着されるものに限定されるものではない。例えば、装着型機器は、骨伝導型の音響装置であってもよい。
【0090】
また、上述の実施形態では、例えば
図8に示されるように、装着判定に用いられる音の周波数範囲は20kHz以下の可聴範囲内であるが、これに限られるものではなく、検査音は非可聴音であってもよい。例えば、スピーカ26、マイクロホン27の周波数特性が超音波帯域まで対応可能であれば、検査音は超音波であってもよい。この場合、装着判定時に検査音が聞こえることによる不快感が軽減される。
【0091】
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる1又は2以上の構成要素は、各構成要素の機能を実現するように構成されたASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路であってもよい。
【0092】
該記憶媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD(Compact Disk)-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS(Operating System)上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0093】
上述の各実施形態の機能により実現されるサービスは、SaaS(Software as a Service)の形態でユーザに対して提供することもできる。
【0094】
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0095】
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0096】
(付記1)
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
を備える、情報処理装置。
【0097】
(付記2)
前記音響情報は、前記ユーザの声道における共鳴に関する情報を含む、
付記1に記載の情報処理装置。
【0098】
(付記3)
前記装着判定部は、前記声道における共鳴に対応する周波数の信号のピークに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記2に記載の情報処理装置。
【0099】
(付記4)
前記音響情報は、前記ユーザの外耳道における共鳴に関する情報を含む、
付記1乃至3のいずれか1項に記載の情報処理装置。
【0100】
(付記5)
前記装着判定部は、前記外耳道における共鳴に対応する周波数の信号のピークに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記4に記載の情報処理装置。
【0101】
(付記6)
前記装着型機器は、前記ユーザの外耳道に向けて音波を発する音波発生部を備える、
付記1乃至5のいずれか1項に記載の情報処理装置。
【0102】
(付記7)
前記音響情報に含まれる音圧レベルが前記装着判定部における判定に対して十分でない場合に、前記音波発生部が音波を発するよう制御する発音制御部を更に備える、
付記6に記載の情報処理装置。
【0103】
(付記8)
前記装着判定部は、前記音波発生部から音波が発せられてから、前記装着型機器において反響音が取得されるまでの反響時間に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記6又は7に記載の情報処理装置。
【0104】
(付記9)
前記反響時間は、前記ユーザの外耳道における音波の往復時間に基づくものである、
付記8に記載の情報処理装置。
【0105】
(付記10)
前記音波発生部が発する音波は、チャープ信号、M系列信号又は白色雑音に基づく周波数特性を有する、
付記6乃至9のいずれか1項に記載の情報処理装置。
【0106】
(付記11)
前記音響情報に含まれる音圧レベルが前記装着判定部における判定に対して十分でない場合に、前記ユーザに対して声を発するように促すための通知情報を生成する通知情報生成部を更に備える、
付記1乃至10のいずれか1項に記載の情報処理装置。
【0107】
(付記12)
前記装着判定部は、前記音響情報に基づくスコアと第1の閾値との大小関係に基づいて前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記1乃至11のいずれか1項に記載の情報処理装置。
【0108】
(付記13)
前記スコアが前記第1の閾値以上である状態から前記スコアが前記第1の閾値よりも小さい状態に変化した後、前記装着型機器は、少なくとも一部の機能を停止する、
付記12に記載の情報処理装置。
【0109】
(付記14)
前記スコアが前記第1の閾値よりも小さい状態に変化した後、所定の期間内に前記スコアが前記第1の閾値以上に再び変化した場合に、前記装着型機器は、前記少なくとも一部の機能を停止しない、
付記13に記載の情報処理装置。
【0110】
(付記15)
前記装着判定部は、前記第1の閾値よりも小さい第2の閾値に更に基づいて前記ユーザが前記装着型機器を装着しているか否かを判定し、
前記スコアが前記第1の閾値以上である状態から前記スコアが前記第1の閾値よりも小さい状態に変化した後、前記スコアが前記第2の閾値よりも小さい状態に変化しなかった場合には、前記装着型機器は、前記少なくとも一部の機能を停止しない、
付記13に記載の情報処理装置。
【0111】
(付記16)
前記装着型機器は、前記ユーザの耳に装着される音響機器である、
付記1乃至15のいずれか1項に記載の情報処理装置。
【0112】
(付記17)
前記音響情報は、前記ユーザの体内で生じた音に関する情報を含む、
付記1乃至16のいずれか1項に記載の情報処理装置。
【0113】
(付記18)
前記装着判定部は、前記ユーザの体内で生じた音に対応する周波数の音圧レベルに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記17に記載の情報処理装置。
【0114】
(付記19)
前記装着判定部は、互いに異なる位置に配された複数のマイクロホンにより取得された前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記1乃至18のいずれか1項の記載の情報処理装置。
【0115】
(付記20)
装着型機器であって、
前記装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
を備える、装着型機器。
【0116】
(付記21)
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
を備える、情報処理方法。
【0117】
(付記22)
コンピュータに、
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【符号の説明】
【0118】
1 情報通信装置
2 イヤホン
3 ユーザ
20 イヤホン制御装置
26 スピーカ
27、28 マイクロホン
40 情報処理装置
101、201 CPU
102、202 RAM
103、203 ROM
104 HDD
105、207 通信I/F
106 入力装置
107 出力装置
204 フラッシュメモリ
205 スピーカI/F
206 マイクロホンI/F
208 バッテリ
211、411 音響情報取得部
212、412 装着判定部
213 発音制御部
214 通知情報生成部
215 記憶部