特許第6611474号(P6611474)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特許6611474-集音装置、及び集音装置の制御方法 図000002
  • 特許6611474-集音装置、及び集音装置の制御方法 図000003
  • 特許6611474-集音装置、及び集音装置の制御方法 図000004
  • 特許6611474-集音装置、及び集音装置の制御方法 図000005
  • 特許6611474-集音装置、及び集音装置の制御方法 図000006
  • 特許6611474-集音装置、及び集音装置の制御方法 図000007
  • 特許6611474-集音装置、及び集音装置の制御方法 図000008
  • 特許6611474-集音装置、及び集音装置の制御方法 図000009
  • 特許6611474-集音装置、及び集音装置の制御方法 図000010
  • 特許6611474-集音装置、及び集音装置の制御方法 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6611474
(24)【登録日】2019年11月8日
(45)【発行日】2019年11月27日
(54)【発明の名称】集音装置、及び集音装置の制御方法
(51)【国際特許分類】
   H04R 3/00 20060101AFI20191118BHJP
   H04R 1/40 20060101ALI20191118BHJP
   H04R 1/02 20060101ALI20191118BHJP
   B60R 11/02 20060101ALI20191118BHJP
   A47C 7/38 20060101ALI20191118BHJP
   A47C 7/62 20060101ALI20191118BHJP
   B60N 2/80 20180101ALI20191118BHJP
【FI】
   H04R3/00 320
   H04R1/40 320A
   H04R1/02 102B
   H04R1/02 107
   B60R11/02 M
   B60R11/02 S
   A47C7/38
   A47C7/62 Z
   B60N2/80
【請求項の数】10
【全頁数】15
(21)【出願番号】特願2015-111657(P2015-111657)
(22)【出願日】2015年6月1日
(65)【公開番号】特開2016-225884(P2016-225884A)
(43)【公開日】2016年12月28日
【審査請求日】2018年4月6日
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】特許業務法人クシブチ国際特許事務所
(72)【発明者】
【氏名】高田 直樹
(72)【発明者】
【氏名】中島 文彬
【審査官】 大石 剛
(56)【参考文献】
【文献】 特開2010−045574(JP,A)
【文献】 特開2005−352732(JP,A)
【文献】 国際公開第2009/019748(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A47C 7/38
A47C 7/62
B60N 2/80
B60R 11/02
H04R 1/02
H04R 1/40
H04R 3/00
(57)【特許請求の範囲】
【請求項1】
複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置において、
発話者の音声を取得する所定の動作モードか否かを判定する判定部と、
前記所定の動作モード内で、第1の処理と第2の処理を切り替えて、前記マイクアレイの入力音声を取得する制御部とを備え、
前記第1の処理は、前記マイクアレイの指向性を前記発話者へ向けて前記マイクアレイの入力音声を取得する処理であり、前記第2の処理は、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得する処理であることを特徴とする集音装置。
【請求項2】
前記マイクアレイは前記発話者の後方に配置されることを特徴とする請求項1に記載の集音装置。
【請求項3】
前記所定の動作モードとして、前記発話者の音声を取得し、前記音声の認識結果を送信する発話モードを備え、
前記制御部は、前記発話モードにおいて、前記第1の処理により前記発話者の音声を取得し、取得した前記音声に基づく認識結果を送信した後に、前記第1の処理から前記第2の処理へ切り替えることを特徴とする請求項1又は2に記載の集音装置。
【請求項4】
前記集音装置は、所定のスピーカーを介して音声を出力する音声出力部を有し、
前記所定の動作モードとして、前記音声出力部により前記スピーカーを介して音声を出力するとともに前記第1の処理により前記発話者の音声を取得し、前記音声を所定の機器に送信する通話モードを備え、
前記制御部は、前記通話モードにおいて、前記所定の機器の通話状態の解除を検出すると、前記第1の処理から前記第2の処理へ切り替えることを特徴とする請求項1乃至3のいずれか一項に記載の集音装置。
【請求項5】
前記制御部は、前記第2の処理で取得した前記入力音声に基づいて周囲ノイズを取得し、前記第1の処理で取得した前記入力音声から前記周囲ノイズを除去するノイズ除去処理を行うことを特徴とする請求項1乃至4のいずれか一項に記載の集音装置。
【請求項6】
前記所定の動作モード以外の他の動作モードとして、前記スピーカーから出力されて前記発話者で反射した反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定モードを備え、
前記制御部は、前記位置特定モードにおいて、前記第2の処理により前記反射音を取得し、前記反射音に基づいて前記発話者の位置を特定し、前記第1の処理では、前記位置特定モードで特定した前記発話者の位置に応じて前記マイクアレイの指向性を制御することを特徴とする請求項4に記載の集音装置。
【請求項7】
前記制御部は、前記音声出力部により前記スピーカーを介して音声を出力する音声出力モードのときに、超音波の信号を前記スピーカーから出力してその反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定処理を行うことを特徴とする請求項4に記載の集音装置。
【請求項8】
前記マイクアレイと前記スピーカーは、前記発話者の後方に配置される筐体に配置されていることを特徴とする請求項4乃至7のいずれか一項に記載の集音装置。
【請求項9】
前記筐体は、ヘッドレストであることを特徴とすることを特徴とする請求項8に記載の集音装置。
【請求項10】
複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置の制御方法において、
発話者の音声を取得する所定の動作モードか否かを判定するステップと、
前記所定の動作モード内で、第1の処理と第2の処理を切り替えて、前記マイクアレイの入力音声を取得するステップとを実行し、
前記第1の処理は、前記マイクアレイの指向性を前記発話者へ向けて前記マイクアレイの入力音声を取得する処理であり、前記第2の処理は、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得する処理であることを特徴とする集音装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置、及び集音装置の制御方法に関する。
【背景技術】
【0002】
車のダッシュボードや天井、ハンドルなどにマイクを搭載し、ハンズフリー通話や音声認識を行う車載装置が知られている。この種の集音を行う装置(以下、集音装置)には、さらに高性能化する為に、複数のマイクを並べたマイクアレイを備え、ビームフォーミング制御によりマイクアレイの指向性を制御するものが提案されている(例えば、特許文献1参照)。
この特許文献1では、自動車に備えられたバックミラー又は座席の位置に基づいて自動車内の発話者の頭部の位置を検出する位置検出器を備え、検出された頭部の位置、及び各マイクの位置に基づいて指向性演算処理を行うようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2009/157195号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の構成は、バックミラー又は座席の位置を物理的に検出する位置検出器が必要であり、部品点数の増減や構造の複雑化を招きやすい。
本発明は、上述した事情に鑑みてなされたものであり、部品点数の低減や構造の複雑化を抑えつつ、発話者の音声を高精度に取得し易い集音装置、及び集音装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明は、複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置において、発話者の音声を取得する所定の動作モードか否かを判定する判定部と、前記所定の動作モード内で、第1の処理と第2の処理を切り替えて、前記マイクアレイの入力音声を取得する制御部とを備え、前記第1の処理は、前記マイクアレイの指向性を前記発話者へ向けて前記マイクアレイの入力音声を取得する処理であり、前記第2の処理は、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得する処理であることを特徴とする。
【0006】
上記構成において、前記マイクアレイは前記発話者の後方に配置されるようにしても良い。
【0007】
また、上記構成において、前記所定の動作モードとして、前記発話者の音声を取得し、前記音声の認識結果を送信する発話モードを備え、前記制御部は、前記発話モードにおいて、前記第1の処理により前記発話者の音声を取得し、取得した前記音声に基づく認識結果を送信した後に、前記第1の処理から前記第2の処理へ切り替えるようにしても良い。
【0008】
また、上記構成において、前記集音装置は、所定のスピーカーを介して音声を出力する音声出力部を有し、前記所定の動作モードとして、前記音声出力部により前記スピーカーを介して音声を出力するとともに前記第1の処理により前記発話者の音声を取得し、前記音声を所定の機器に送信する通話モードを備え、前記制御部は、前記通話モードにおいて、前記所定の機器の通話状態の解除を検出すると、前記第1の処理から前記第2の処理へ切り替えるようにしても良い。
また、上記構成において、前記制御部は、前記第2の処理で取得した前記入力音声に基づいて周囲ノイズを取得し、前記第1の処理で取得した前記入力音声から前記周囲ノイズを除去するノイズ除去処理を行うようにしても良い。
【0009】
また、上記構成において、前記所定の動作モード以外の他の動作モードとして、前記スピーカーから出力されて前記発話者で反射した反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定モードを備え、前記制御部は、前記位置特定モードにおいて、前記第2の処理により前記反射音を取得し、前記反射音に基づいて前記発話者の位置を特定し、前記第1の処理では、前記位置特定モードで特定した前記発話者の位置に応じて前記マイクアレイの指向性を制御するようにしても良い。
【0010】
また、上記構成において、前記制御部は、前記音声出力部により前記スピーカーを介して音声を出力する音声出力モードのときに、超音波の信号を前記スピーカーから出力してその反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定処理を行うようにしても良い。
【0011】
また、上記構成において、前記マイクアレイと前記スピーカーは、前記発話者の後方に配置される筐体に配置されるようにしても良い。また、上記構成において、前記筐体は、ヘッドレストであるようにしても良い。
【0012】
また、本発明は、複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置の制御方法において、発話者の音声を取得する所定の動作モードか否かを判定するステップと、前記所定の動作モード内で、第1の処理と第2の処理を切り替えて、前記マイクアレイの入力音声を取得するステップとを実行し、前記第1の処理は、前記マイクアレイの指向性を前記発話者へ向けて前記マイクアレイの入力音声を取得する処理であり、前記第2の処理は、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得する処理であることを特徴とする。
【発明の効果】
【0013】
本発明は、部品点数の低減や構造の複雑化を抑えつつ、発話者の音声を高精度に取得し易くなる。
【図面の簡単な説明】
【0014】
図1】第1実施形態に係るヘッドレスト装置の使用例を示した図である。
図2】ヘッドレスト装置の斜視図である。
図3】ヘッドレスト装置の側断面図である。
図4】ヘッドレスト装置を乗員の頭と共に上方から見た図である。
図5】音声入出力ユニットの電気的構成を示すブロック図である。
図6】マイクアレイの指向性に関する制御を示すフローチャートである。
図7】頭部位置測定モード時の制御を示すフローチャートである。
図8】音声再生モード時の制御を示すフローチャートである。
図9】発話モード時の制御を示すフローチャートである。
図10】通話モード時の制御を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施の形態について説明する。
(第1実施形態)
図1は第1実施形態に係るヘッドレスト装置11の使用例を示した図である。図2はヘッドレスト装置11の斜視図であり、図3はヘッドレスト装置11の側断面図である。なお、各図において、乗員Mを基準にした各方向のうちの前方を符号Fを付して示し、上方を符号Uを付して示し、左方を符号Lを付して示している。
図1に示すように、このヘッドレスト装置11は、車両(本実施形態では自動車)に設けられた乗員用シート12に設置され、この乗員用シート12に着座する乗員(本実施形態では運転者)Mの頭MHの後方に配置されるヘッドレストとして機能する。なお、このヘッドレスト装置11は、自動車に限らず、飛行機、船舶、電車などの様々な車両に採用できる。また、このヘッドレスト装置11は、車両に採用する場合に限らず、オフィスチェアやソファーなどのオフィスや住宅で使用される家具にも応用可能であり、要はヘッドレストを備える機器に広く適用可能である。
【0016】
このヘッドレスト装置11は、ヘッドレスト装置11の外形状を形成する中空の筐体13と、筐体13から下方に延びる左右一対のヘッドレストステー14とを備えている。
筐体13には、衝撃緩和用のクッション材(不図示)と、音声入出力ユニット21とが収容されている。音声入出力ユニット21は、左右一対のスピーカー22と、複数のマイクロフォン(以下、マイクと言う)23と、回路基板24とを備えており、回路基板24の制御の下、スピーカー22を介して音声を出力し、マイク23を介して外部音声を入力(集音)する。これによって、ヘッドレスト装置11は音声の入出力機能を具備する。
【0017】
図2及び図3に示すように、音声入出力ユニット21は、前後方向に短い薄型に形成され、筐体13の前側空間に収容される。このように前後方向に薄いコンパクト形状にすることにより、様々な形状のヘッドレスト(つまり、様々な形状の筐体13)に音声入出力ユニット21を収容し易くなる。
また、筐体13は、ヘッドレストステー14を介して上下に移動自在であり、且つ、ヘッドレストステー14に対して前後に傾動自在(図3中、傾動方向を矢印Kで示す)である。これによって、乗員Mの頭MHの位置に合わせて筐体13の位置を適切に調整可能である。
【0018】
左右一対のスピーカー22は、筐体13の前板部13Aに左右に間隔を空けて配置され、前方に向けて音を出力する。これらスピーカー22には、上下方向に長い縦長のスピーカーが用いられる。これにより、乗員Mの頭MHの位置が上下に変動しても、乗員Mの頭MHに向けて音声を出力可能である。また、ヘッドレスト装置11を上下させることによっても、乗員Mの体格の違いによって頭MHの位置が異なったとしても、乗員Mの頭MHに向けて音声を出力可能である。
また、複数のマイク23は、左右のスピーカー22の間に配置され、少なくともヘッドレスト前方の音を集音可能に設けられる。これらマイク23の後方、且つ、左右のスピーカー22の間に回路基板24が配置されている。このようにして、マイク23、回路基板24及びスピーカー22をコンパクトに配置し、全体の小型化が図られている。
【0019】
なお、本実施形態では、回路基板24にマイク23が装着されているが、マイク23を回路基板24から離して設けるようにしても良い。
また、音声入出力ユニット21は筐体13の前側空間に収容されるので、筐体13の角度が変わってもスピーカー22及び各マイク23を前方に向けたレイアウトを維持できる。
【0020】
図4はヘッドレスト装置11を乗員Mの頭MHと共に上方から見た図である。
図4に示すように、ヘッドレスト装置11の筐体13の前方には、乗員Mの頭MHが位置するので、左右一対のスピーカー22の音を乗員Mの左右の耳へ向けて効率良く出力することができる。
複数(本構成では2個)のマイク23は、左右に間隔を空けて同じ高さに配置されており、ヘッドレスト前方からの音をそれぞれ集音する。これらマイク23自体は無指向性マイクが使用され、乗員Mの声を含む周囲の音を広く集音することができる。
【0021】
なお、乗員Mが話した際には、乗員Mの後頭部から首(頸椎)の範囲の皮膚を通して声帯の音声が後方に出ており、この音声を集音することにより乗員Mの声を的確に集音できる。また、本実施形態のマイク23は左右に間隔を空けて配置されているので、特に左右からの音を異なる位相で集音することができ、左右の音を判別し易い。
【0022】
図3に示すように、マイク23前方の開口部(マイク開口部)23Kは、音声入出力ユニット21の設置角度やヘッドレストの角度調整位置が変わっても影響を受けないように、前方に行くほど拡径するすり鉢状の開口形状に形成されている。これによって、音声入出力ユニット21がどのようなレイアウトやヘッドレストの調整角度であっても、乗員Mの後頭部から首の間で後方に発せられる乗員Mの音声などを拾い易くなり、様々な車種への展開がし易い。
【0023】
図4に示すように、ヘッドレスト装置11の左右両端部は、音を通さない音カット構造とされる。これにより、左右のスピーカー22から後方などに漏れる音声がカットされ、マイク23に入る音への影響を抑えることができる。なお、音カット構造は、スピーカー22後方に吸音材を設ける等の公知の音カット構造を適用すれば良い。
【0024】
図5は音声入出力ユニット21の電気的構成を示すブロック図である。
回路基板24は、コネクタ31、32、DC−DC変換器33、通信部34、音声処理部35、アンプ36、及びリモートコントロール37を実装して構成されている。
コネクタ31には、車両電源41が供給されるとともに、乗員Mが操作する操作部42の操作信号が入力される。また、他のコネクタ32には、マイク23がそれぞれ接続される。DC−DC変換器33は、車両電源41からの電力を所定の電力に直流変換し、音声入出力ユニット21の各部に供給する。
【0025】
通信部34は、他の機器(不図示)と通信する通信装置として機能し、本実施形態では、Bluetooth(登録商標)などの通信規格に従った近距離無線通信を行う。この通信部34は、受信結果を音声処理部35に出力し、また、音声処理部35を介して入力したマイク音声を他の機器に送信する。なお、通信は無線通信に限らず、有線通信でも良い。
他の機器は、例えば、携帯電話(スマートフォンを含む)、タブレット端末、カーオーディオ、及びカーナビゲーション装置などである。
【0026】
音声処理部35は、マイクアンプを備えた音響DSP(Digital Signal Pocessor)で構成される。この音声処理部35は、予め記憶された制御プログラムを実行することにより、現在の動作状態(動作モードなど)を判定する判定部、この音声入出力ユニット21の各部を制御する制御部、及び、各種演算処理を行う演算処理部、各マイク23からの入力音声を増幅する音声増幅部などとして機能する。この音声処理部35及び通信部34によって、後段に説明するように、他の機器と音声入出力ユニット21との連係処理が実現される。
音声処理部35が行う演算処理には、マイク入力のビームフォーミング制御(演算)処理、マイク入力のノイズレベルに応じた再生出力制御(スピーカー出力を間引く演算処理を含む)、頭部位置測定モードのテストトーン出力、マイク入力により距離演算処理、マイク音声の音声認識処理などがある。
【0027】
ビームフォーミング制御処理は、複数のマイク23を有するマイクアレイ23Aの指向性を制御する処理である。より具体的には、音源から各マイク23への音波伝搬がそれぞれ異なることに基づき特定の方向からの音を強調、或いは低減する。例えば、複数種類の指向性パターンを有し、パターンの切り替えや各パターンのパラメータの変更により、乗員Mの音声を高精度に集音する指向性パターンに切り替えたり、周囲の音声(ノイズなど)を高精度に集音する指向性パターンに切り替えたりする。
マイク入力のノイズレベルに応じた再生出力制御は、周囲ノイズの影響を小さくするように音量制御、或いは周波数制御する処理である。以下、各マイク23を特に区別する必要がない場合はマイクアレイ23Aと表記する。
【0028】
頭部位置測定モードは、スピーカー22からテスト信号を出力し、マイクアレイ23Aで集音した反射音に基づき乗員Mの頭MHの位置を測定するモードである。このモードでは、乗員Mの頭MHとマイクアレイ23Aとの間の離間距離L1(図4参照)を算出する位置特定処理が実施される。この離間距離L1は、ビームフォーミング制御によって頭MHにマイクアレイ23Aの指向性を制御する際に用いられる。
なお、これらの処理は公知の処理を広く適用することができる。これらによって、シート位置や乗員Mの体格、マイクアレイ23Aとの離間距離L1などの影響による乗員Mの集音音声の品質劣化や音声認識率の劣化を抑えることができる。
【0029】
ところで、指向性などの精度を上げるために耳や頭の位置をセンサーで特定する構成にした場合、非常に複雑なシステムとなってしまい、大幅なコストアップを招いてしまう。また、乗員Mが顔を動かすことを考慮すると、顔の周りにアームなどでマイクアレイ23Aを設置した場合にマイクアレイ23Aなどが邪魔になるおそれがあり、エアバッグ動作時の影響を考慮する必要も生じる。
本実施形態では、乗員Mの頭MHの後方にマイクアレイ23Aを配置し、マイクアレイ23Aの指向性を制御することによって乗員Mの声を集音することにより、部品点数の低減や構造の複雑化を抑え、乗員Mの顔の動きを阻害することなく、音声認識やハンズフリー通話などを実現できるようにしている。
【0030】
アンプ36は、音声処理部35の制御の下、通信部34を介して取得した音声データに基づきスピーカー22を駆動し、音声データに対応する音声をスピーカー22から出力させる。このアンプ36にデジタルアンプを適用することで、アンプ36の小型化などが可能になる。
リモートコントロール37は、操作部42の操作信号に基づいて音声処理部35の動作を制御する。操作部42は、乗員Mの操作を受け付け、音声入出力ユニット21の動作モードなどを切り替える。
【0031】
この動作モードには、乗員Mの頭MHの位置(図4に示す離間距離L1)を測定する頭部位置測定モード、他の機器から送られた音声(楽曲やナビゲーション音声など)を再生する音声再生モード、乗員Mの発話音声を認識する発話モード、及び、携帯電話を用いたハンズフリー通話を実現する通話モードなどがある。
【0032】
次に、この音声入出力ユニット21の動作を説明する。
図6はマイクアレイ23Aの指向性に関する制御を示すフローチャートである。
この図に示すように、この音声入出力ユニット21において、音声処理部35は乗員(発話者)Mの音声を取得する所定の動作モードか否かを判定しており(ステップS1A)、この判定結果に応じて、マイクアレイ23Aの指向性を変更する制御を行うようになっている(ステップS2A、S4A、S5A)。
【0033】
詳述すると、音声処理部35は、乗員Mの音声を取得する動作モード(発話モード、通話モード)の場合(ステップS1A;YES)、マイクアレイ23Aの指向性を乗員Mに向ける(ステップS2A)。一方、音声処理部35は、上記動作モードでない場合(ステップS1A;NO)、音声再生モードか否かを判定し(ステップS3A)、音声再生モードの場合(ステップS3A;YES)、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS4A)。なお、マイクアレイ23Aの指向性制御を解除するか、乗員Mの左右外側へ向けるかは、ユーザ(乗員Mなど)が設定する初期設定などに従えば良い。
また、音声再生モードでない場合(ステップS3A;NO)、音声処理部35は、マイクアレイ23Aの指向性制御を解除する(ステップS5A)。なお、指向性制御を解除した場合は無指向となる。
【0034】
次いで、各動作モードのときのスピーカー22及びマイクアレイ23Aに関する制御を説明する。
図7は頭部位置測定モード時の制御(位置特定処理)を示すフローチャートである。
頭部位置測定モードの場合、音声処理部35は、マイクアレイ23Aの指向性制御を解除した後(ステップS5A)、テスト信号(例えば、テストトーン)をスピーカー22から出力させ(ステップS2B)、マイクアレイ23Aによりテスト信号の反射音を取得する(ステップS3B)。
この場合、スピーカー22の音は、乗員Mの頭MHで反射してマイクアレイ23Aに集音される。より具体的には、乗員Mの後頭部から首までのいずれかの範囲で反射したテスト信号の音などがマイクアレイ23Aに集音される。音声処理部35は、マイク23の入力音声から反射音を特定する処理を行うことにより、テスト信号の反射音を取得する。
【0035】
次に、音声処理部35は、上記反射音の遅延時間(テスト信号を出力してからマイク23に集音されるまでの時間)に基づいて、スピーカー22の音が反射した箇所との距離、つまり、乗員Mの後頭部から首までの範囲との距離である離間距離L1を算出する(ステップS4B)。そして、音声処理部35は、算出した離間距離L1の情報を不図示のメモリに記憶し(ステップS5B)、この離間距離L1の情報を、ビームフォーミング制御の指向性を設定するためのフォーミング制御情報に活用する(ステップS6B)。
すなわち、音声処理部35は、マイクアレイ23Aの指向性を制御する際に、上記離間距離L1に基づいて、乗員Mの後頭部から首までの範囲からの音を効率良く集音できるようにマイクアレイ23Aの指向性を設定する。この指向性の設定は、複数の指向性パターンの中から最適な指向性パターンを選択する処理などの公知の制御を適用すれば良い。
【0036】
なお、この頭部位置測定モードは、マイクアレイ23Aの指向性制御を行う動作モード(例えば、発話モードや通話モード)への移行前に行われる。例えば、発呼時や着信音が鳴っていて通話状態になる前などに行っても良い。
【0037】
図8は音声再生モード時の制御を示すフローチャートである。
なお、音声再生モードは、他の機器から送られた音声(曲やナビゲーション音声など)を再生する動作モードであるため、スピーカー22から対応する音声が出力される。
音声再生モードの場合、音声処理部35は、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向けた状態で(ステップS4A)、マイクアレイ23Aの入力音声を取得する(ステップS2C)。
【0038】
この入力音声は、周囲ノイズと、スピーカー出力の音声(反射音を含む)とを含む音声であり、音声処理部35は、取得した音声からスピーカー出力分の音声を間引く演算処理を行うことにより周囲ノイズを抽出し、このノイズレベルの平均音圧を、実際のノイズレベルとして検出する(ステップS3C)。
音声処理部35は、検出したノイズの情報(本実施形態ではノイズレベル)を不図示のメモリに記憶し(ステップS4C)、このノイズの情報に基づいてスピーカー出力の音量、及び音響特性を自動調整する(ステップS5C)。
【0039】
自動調整の内容としては、例えば、ノイズレベルに予め定めた閾値以上の変化があった場合、一定のスロープで緩やかにボリュームレベルを調整する。また、ノイズレベルが大きいほど音量を増大し、ノイズレベルが下がったら音量を下げるシンプルな制御でも良いし、音響特性の制御として、ノイズレベルが大きいほど低域及び高域を増強して聞きやすくするイコライジング制御などを行うようにしても良い。
【0040】
このステップS2C〜S5Cの処理を適宜に繰り返すことにより、音声再生モードの間、周囲ノイズのレベルを精度良く検出できるとともに、この周囲ノイズに応じた音声再生を行って乗員Mなどに聞きやすくすることができる。
なお、ノイズの情報として、ノイズレベルだけを記憶する場合に限らず、ノイズの周波数などの情報を記憶するようにしても良い。その場合、ノイズの周波数を音量制御や音響特性の制御に活用し、そのノイズの影響を抑制することが好ましい。
【0041】
図9は発話モード時の制御を示すフローチャートである。
前提として、音声処理部35は、音声認識(又は音声操作)の開始を指示する発話スイッチが乗員Mなどにより操作されたことを検出すると、発話モードに移行する。
図9に示すように、音声処理部35は、発話スイッチの操作を検出すると(ステップS1D)、頭部位置測定モードにて取得された離間距離L1に基づいて、マイクアレイ23Aの指向性を乗員M(後頭部から首までのいずれかの範囲)に向ける(ステップS2A)。次いで、音声処理部35は、マイクアレイ23Aの入力音声を取得し、ビームフォーミング制御により乗員Mからの音声を取得する(ステップS3D)。
【0042】
このようにして取得した音声は、マイクアレイ23Aの指向性を乗員Mに向けているため、乗員Mの音声を確実に含む音声データではあるが、エンジン音などの周囲ノイズを含む可能性が高い。周囲ノイズの影響が大きい場合には高精度に音声認識できなくなる。
そこで、音声処理部35は、音声再生モード時に取得した周囲ノイズの情報に基づいて、取得した音声(音声データ)から周囲ノイズを除去するノイズリダクション処理を行い(ステップS4D)、その後に音声認識処理を行う(ステップS5D)。
【0043】
このように、マイクアレイ23Aの指向性を乗員Mに向け、且つ、周囲ノイズを除去して音声認識するので、乗員Mの声を高精度に取得でき、高精度に音声認識することができる。この音声認識処理の後、音声処理部35は、音声認識結果を、通信部34を介して他の機器に送信する(ステップS6D)。これにより、乗員Mの音声に基づいて他の機器を音声操作などすることができる。
その後、音声処理部35は、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS7D)。
【0044】
ここで、発話モード時であっても、ステップS7Dの後、音声処理部35は、上述したステップS3C、S3Dに記載するような周囲ノイズの検出、及び記憶を行う。これにより、乗員Mの音声を取得しないタイミングを利用して効率良く周囲ノイズの情報を取得できる。これにより、メモリに記憶されるノイズの情報を最新の情報に更新できる。以上が発話モード時のスピーカー22及びマイクアレイ23Aに関する制御である。
【0045】
図10は通話モード時の制御を示すフローチャートである。
前提として、音声処理部35は、Bluetoothなどで通信接続された携帯電話が通話状態(発信又は着信状態)になったことを検出すると、通話モードに移行する。
図10に示すように、音声処理部35は、携帯電話が通話状態になったことを検出すると(ステップS1E)、記憶された離間距離L1に基づいて、マイクアレイ23Aの指向性を乗員M(後頭部から首までのいずれかの範囲)に向ける(ステップS2E)。このステップS2Eの処理は、上述したステップS2Aの処理と同じである。
【0046】
次いで、音声処理部35は、マイクアレイ23Aの入力音声を取得し、ビームフォーミング制御により乗員Mからの音声を効率良く取得する(ステップS3E)。このステップS3Eについても、上述したステップS3Dの処理と同じである。
なお、通話モードの場合、音声処理部35の制御の下、電話の相手からの音声を通信部34を介して取得し、スピーカー22から出力する処理も並行して実行される。
【0047】
ステップS3Eの処理の後、音声処理部35は、エコーキャンセル処理、及びノイズリダクション処理を行う(ステップS4E)。エコーキャンセル処理は、マイクアレイ23Aがスピーカー22から再生される音を集音することによって起こるエコーを消去する処理であり、公知の処理を広く適用可能である。
ノイズリダクション処理は、記憶された周囲ノイズの情報に基づいて、取得した音声(音声データ)から周囲ノイズを除去する処理であり、上述したステップ4Dの処理と同じである。これによって、周囲ノイズを除去した乗員Mの音声を取得できる。
【0048】
そして、音声処理部35は、エコーキャンセル処理、及びノイズリダクション処理を行った後の音声のデータを、通信部34を介して携帯電話に送信する(ステップS5E)。これによって、エコーが無くノイズが除去された乗員Mの音声を電話の相手先に送ることができる。
その後、音声処理部35は、Bluetoothなどで通信接続された携帯電話の通話状態の解除を検出すると(ステップS6E)、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS7E)。
【0049】
ここで、通話モードであっても、発話モードの場合と同様に、マイクアレイ23Aの指向性を乗員Mの外側に向けたステップS7Eの後、音声処理部35は、上述したステップS3C、S3Dに記載するような周囲ノイズの検出、及び記憶を行う。これにより、乗員Mの音声を取得しないタイミングを利用して効率良く周囲ノイズの情報を取得できる。これにより、メモリに記憶されるノイズの情報を最新の情報に更新できる。以上が通話モード時のスピーカー22及びマイクアレイ23Aに関する制御である。
【0050】
以上説明したように、本実施形態に係るヘッドレスト装置11は、音声処理部35が、発話者である乗員Mの音声を取得する状態(「第1状態」という)として、乗員Mの音声を取得する動作モード(発話モード、通話モード)か否かを判定する判定部として機能するとともに(図6のステップS1A参照)と、第1状態ではない第2状態として、他の動作モード(音声再生モード、頭部位置測定モード)であった場合に、マイクアレイ23Aの指向性を乗員Mの外側、又は無指向に設定してマイクアレイ23Aの入力音声を取得し、第1状態の動作モードの場合に、マイクアレイ23Aの指向性を乗員Mに向ける制御部として機能する。
【0051】
これにより、マイクアレイ23Aの指向性を乗員Mの外側、又は無指向に設定したときの入力音声に基づいて、発話時の音声処理に役立つ情報である周囲ノイズや乗員Mの位置情報を得ることが可能になる。この得た情報を用いて、発話時に周囲ノイズの除去や指向性制御などの音声処理を行うことが可能となり、専用の位置検出器などが不要である。従って、部品点数の低減や構造の複雑化を抑えつつ、乗員Mの音声を高精度に取得し易くなる。
【0052】
しかも、マイクアレイ23Aは発話者である乗員Mの後方に配置され、音声処理部35は、上記第1状態の動作モード(発話モード、通話モード)の場合に、マイクアレイ23Aの指向性を乗員Mの後頭部から首までの範囲に設定するので、乗員Mの後方にて乗員Mの音声を効率良く取得できる。
また、音声処理部35は、第2状態の動作モード(音声再生モード)で取得した入力音声に基づいて周囲ノイズを取得し(図8参照)、第1状態の動作モード(発話モード、通話モード)の場合に、マイクアレイ23Aの入力音声から周囲ノイズを除去するノイズリダクション処理(ノイズ除去処理)を行うので、周囲ノイズを高精度且つ容易に取得し易く、十分なノイズ除去をし易くなる。
【0053】
また、音声処理部35及びアンプ36は、スピーカー22を介して音声を出力する音声出力部として機能し、乗員Mの音声を取得する発話モードと、スピーカー22を介して音声を出力するとともに乗員Mの音声を取得する通話モードの場合であっても、乗員Mの音声を取得しない状態(第2状態に相当)のときに、マイクアレイ23Aの指向性を乗員Mの外側、又は無指向に設定してマイクアレイ23Aの入力音声を取得し(図9のステップS7D、図10のステップS7Eなど)、周囲ノイズの検出、及び記憶を行う。これにより、乗員Mの音声を取得する動作モードのときでも周囲ノイズを取得でき、最新の周囲ノイズを得やすくなる。
【0054】
また、スピーカー22及びマイクアレイ23Aを用いて乗員Mの位置を特定する頭部位置特定モードの場合(第2状態に相当)にも、マイクアレイ23Aを無指向に設定してマイクアレイ23Aの入力音声を取得するので、乗員Mで反射した反射音を取得して乗員Mの位置情報を精度良く取得できる。この位置情報を用いることにより、乗員Mの音声を高精度に取得可能にマイクアレイ23Aの指向性を制御できる。
【0055】
また、マイクアレイ23Aとスピーカー22は、乗員Mの後方に配置される筐体13に配置されているので、専用の位置検出器などが不要で、優れた集音性能と音声出力機能を備えるコンパクトな装置を提供できる。
しかも、筐体13は、ヘッドレストであるため、既存のヘッドレストのスペースを利用してマイクアレイ23Aとスピーカー22を配置できる。
【0056】
(第2実施形態)
第2実施形態のヘッドレスト装置11は、スピーカー22を介して音声を出力する動作モード(音声出力モード)のときに、音声処理部35の制御の下、超音波の信号をテスト信号としてスピーカー22から出力し、このテスト信号の反射音をマイクアレイ23Aを介して取得し、この反射音に基づいて乗員Mの位置を特定する位置特定処理を行う。この位置特定処理を行うこと以外は、第1実施形態と同様である。
上記音声出力モードは、例えば、他の機器から送られた音声(楽曲やナビゲーション音声など)を再生する音声再生モード、及び通話モード、或いは、いずれか一方のモードでも良い。
【0057】
超音波の信号は可聴域外であるため、乗員Mには認識されず、また、指向性が鋭く反射音も正確に測定し易い。これにより、曲再生やハンズフリー通話などを行いながら乗員Mの位置を精度良く特定でき、且つ、乗員Mに不快感も与えることもない。これにより、第1実施形態の各種効果に加え、乗員Mに聞かせる音声を出力しながら乗員Mの位置を高精度に取得可能になる。
さらに、乗員Mの位置を任意のタイミングで特定できるようになり、最新の情報を得やすくなる。従って、乗員Mの位置に基づくスピーカー22の指向性制御を精度良く行うことが可能である。
【0058】
なお、超音波の信号には、スピーカー22が出力可能な超音波帯域を用いれば良いが、近年の楽曲には可聴帯域外の音が含まれることがあるため、楽曲に使用される周波数帯域外の周波数を用いることが好ましい。また、この位置特定処理は、第1実施形態の頭部位置測定モードの代わりに行えばよいので、頭部位置測定モードを省略することが可能である。
【0059】
上述した実施形態は、あくまでも本発明の一実施の態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、マイクアレイ23Aのマイク23の数は2個に限らず、また、スピーカー22についても、低音用或いは高音用のスピーカーを追加しても良い。
また、ヘッドレストとして機能するヘッドレスト装置11、及びその制御方法に本発明を適用する場合を説明したが、ヘッドレストとして機能する装置に限らず、複数のマイク23を並べたマイクアレイ23Aの指向性を制御可能な集音装置、及びその制御方法に本発明を広く適用可能である。
【0060】
また、上述した各実施形態では、上記制御を行うための制御プログラムをヘッドレスト装置11に予め記憶しておく場合を説明したが、これに限らず、この制御プログラムを、磁気記録媒体、光記録媒体、半導体記録媒体などのコンピューターが読み取り可能な記録媒体に格納し、コンピューターが記録媒体からこの制御プログラムを読み取って実行するようにしても良い。また、この制御プログラムを、通信ネットワーク(電気通信回線)を介して配信サーバーなどからダウンロードできるようにしてもよい。
【符号の説明】
【0061】
11 ヘッドレスト装置(集音装置)
13 筐体
21 音声入出力ユニット
22 スピーカー
23 マイク
23A マイクアレイ
34 通信部
35 音声処理部(判定部、制御部)
36 アンプ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10