特開 2022-150801 音声出力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022150801

(43)【公開日】2022-10-07

(54)【発明の名称】音声出力システム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20220929BHJP

   H04R 1/02 20060101ALI20220929BHJP

【ＦＩ】

H04R3/00 310

H04R1/02 102B

H04R1/02 102A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021053574

(22)【出願日】2021-03-26

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110000660

【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ弁理士法人

(72)【発明者】

【氏名】深谷 哲也

(72)【発明者】

【氏名】渡邊 賢二

【テーマコード（参考）】

5D017

5D220

【Ｆターム（参考）】

5D017AE01

5D017AE11

5D220AA05

5D220AA16

5D220AA44

5D220AB06

(57)【要約】

【課題】対象者以外の人に音が聞こえるのを防ぐ可能性を高める。
【解決手段】車両内において、対象者の座席上の天井に設置されたパラメトリックスピーカーと、対象者の耳の位置を特定する位置特定部と、パラメトリックスピーカーにより出力される音声により形成される音場空間に、耳の位置が含まれ、かつ障害物が含まれないように、パラメトリックスピーカーが有する複数の超音波素子を制御する制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両内において、対象者の座席上の天井に設置されたパラメトリックスピーカーと、
前記対象者の耳の位置を特定する位置特定部と、
前記パラメトリックスピーカーにより出力される音声により形成される音場空間に、前記耳の位置が含まれ、かつ障害物が含まれないように、前記パラメトリックスピーカーが有する複数の超音波素子を制御する素子制御部と
を備える音声出力システム。

【請求項2】

前記複数の超音波素子は、前記耳の位置が、前記音場空間が収束する収束位置に含まれるように制御される、請求項１に記載の音声出力システム。

【請求項3】

前記複数の超音波素子は、２次元に配列され、
前記複数の超音波素子は、前記音場空間が三角柱の形状になるように制御され、
前記三角柱は、前記２次元の配列により形成される矩形の第１の辺を１辺とする三角形で、かつ前記収束位置の端点を１つの頂点とする前記三角形を底面とし、前記矩形のうち、前記第１の辺に垂直な第２の辺を高さとする、請求項２に記載の音声出力システム。

【請求項4】

前記複数の超音波素子は、前記三角柱の形状の前記音場空間のうち、前記収束位置を通る辺の位置及び長さの少なくとも一方が変化するように制御される、請求項３に記載の音声出力システム。

【請求項5】

前記耳の位置は、前記対象者の画像における顔の輪郭と前記耳の接点である、請求項１乃至４の何れか１項に記載の音声出力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声出力システムに関する。

【背景技術】

【0002】

従来、車両用の音声出力機能として、例えば運転者にのみ聞こえるような音声を出力する技術が提案されている。特許文献１には、マイクが受けた音声に基づいて、通話者に指向性スピーカの指向性を追従させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４７７９７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術においては、通話者の耳に向けて円筒形状の音場空間が形成される。このため、話者の頭や身体など耳以外の部分にも音が届いてしまい、この部分において音が反射することで、話者以外の周囲の人にも音が聞こえてしまうという問題があった。

【0005】

本発明は、前記課題に鑑みなされたもので、対象者以外の人に音が聞こえるのを防ぐ可能性を高めることを目的とする。

【課題を解決するための手段】

【0006】

上記の目的を達成するため、本発明の音声出力システムは、車両内において、対象者の座席上の天井に設置されたパラメトリックスピーカーと、前記対象者の耳の位置を特定する位置特定部と、前記パラメトリックスピーカーにより出力される音声により形成される音場空間に、前記耳の位置が含まれ、かつ障害物が含まれないように、前記パラメトリックスピーカーが有する複数の超音波素子を制御する制御部とを備える。

【0007】

上記音声出力システムは、パラメトリックスピーカーから出力される音声により形成される音場空間に、耳の位置が含まれ、かつ障害物が含まれないように、パラメトリックスピーカーが有する超音波素子を制御するので、対象者以外の人に音が聞こえるのを防ぐ可能性を高めることができる。

【図面の簡単な説明】

【0008】

【図1】音声出力システムの構成図である。

【図2】音声出力処理を示すフローチャートである。

【図3】遅延時間を算出する処理の説明図である。

【発明を実施するための形態】

【0009】

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）音声出力システムの構成：
（２）音声出力処理：
（３）他の実施形態：

【0010】

（１）音声出力システムの構成：
図１は、音声出力システム１０の構成を示すブロック図である。音声出力システム１０は、パラメトリックスピーカー１００に対しフェーズドアレイ制御を行うことで、所望の位置に指向性をもたせた音声を出力するシステムである。音声出力システム１０は、パラメトリックスピーカー１００と、切替部１１１と、振幅変調部１１２と、帯域分割部１１３と、利得設定部１１４と、遅延部１１５と、アンプ部１１６と、撮影部１２０と、制御部１３０とを備えている。

【0011】

本実施形態の音声出力システム１０は、車両内に存在する運転者を対象者とし、指向性をもたせた音声を運転者に向けて出力するシステムである。パラメトリックスピーカー１００は、運転席の天井に設置される。パラメトリックスピーカー１００は、複数の超音波素子１０１が直線上に配列された素子列１０２を複数有している。さらに、複数の素子列１０２は、その長手方向に直交する方向に複数配置される。このように、パラメトリックスピーカー１００は、２次元のアレイ構造をなす。超音波素子１０１は、素子列１０２単位で独立に制御部１３０により制御される。なお、本実施形態においては、素子列１０２の長手方向をｘ軸、複数の素子列１０２が並ぶ方向でｘ軸に垂直な方向をｙ軸と定義する。また、素子列１０２の数をＮ（Ｎは２以上の整数）とする。

【0012】

切替部１１１は、制御部１３０の制御の下、振幅変調部１１２との接続を、カーナビゲーションシステムとハンズフリー機器の間で切り替えるスイッチである。ハンズフリー機器には、携帯電話や携帯端末が接続し、これらの機器から出力された音声が入力される。振幅変調部１１２には、切替部１１１を介して、カーナビゲーションシステムからの案内音声や、ハンズフリー機器に入力された携帯電話の音声等が入力される。なお、振幅変調部１１２に入力される音声は、実施形態に限定されるものではなく、他の機器からの音声が入力されてもよい。

【0013】

振幅変調部１１２は、超音波である搬送波（キャリア波）を、切替部１１１を介して入力された音声（可聴音）で振幅変調する。帯域分割部１１３は、搬送波と側帯波を分離し、搬送波及び側帯波をそれぞれ遅延部１１５に出力する。なお、搬送波及び側帯波は、それぞれ利得設定部１１４により利得が設定される。

【0014】

遅延部１１５は、搬送波に対応したパラメトリックスピーカー１００の素子列１０２の数（Ｎ個）の遅延回路１１５１を有する。遅延部１１５はまた、側帯波に対応したＮ個の遅延回路１１５２を有する。各遅延回路１１５１、１１５２の遅延時間は、制御部１３０により決定される。遅延回路１１５１、１１５２が制御されることにより、パラメトリックスピーカー１００から出力される音声の音場空間の形状やサイズが制御される。すなわち、パラメトリックスピーカー１００から出力される音声に指向性をもたせることができる。

【0015】

同一の素子列１０２に対応した遅延回路１１５１、１１５２から出力された搬送波と側帯波は合成されてアンプ部１１６に入力される。アンプ部１１６は、Ｎ個の素子列１０２に対応したＮ個のアンプ１１６１を備える。合成波は各アンプ１１６１で増幅され、対応する素子列１０２の各超音波素子１０１から放射される。

【0016】

撮影部１２０は、車両内において運転席の前に設置されている。撮影部１２０は、運転者の顔を含む画像を撮影可能なように、その撮影位置及び撮影方向が設定されているものとする。制御部１３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で実現される。制御部１３０は、記録媒体やＲＯＭに記憶された種々のプログラムを実行することができる。制御部１３０は、機能構成として、画像取得部１３１、位置特定部１３２及び素子制御部１３３を有している。これらの機能部は、ＣＰＵがプログラムを実行することで実現される。すなわち、各機能部が実行するものとして記載する処理は、制御部１３０（ＣＰＵ）が実行する処理である。なお、他の例としては、上記機能部の少なくとも一部は、ハードウェア回路により実現されてもよい。

【0017】

画像取得部１３１は、撮影部１２０により撮影された撮影画像を取得する。位置特定部１３２は、音声出力の目標位置として対象者の耳の位置を特定する。位置特定部１３２は、撮影画像において、人物の顔の輪郭と、耳の輪郭を抽出し、顔の輪郭と耳の輪郭の接点を耳の位置として特定する。位置特定部１３２は、顔の輪郭と耳の輪郭が複数点で接する場合には、最も上の位置を耳の位置として特定する。ここで、上とは車両の天井方向である。なお、位置特定部１３２は、耳の位置として、撮影画像の縦横に相当する２次元の位置だけでなく、撮影方向の距離（深度）を参照することで、３次元の位置を特定するものとする。

【0018】

なお、撮影部１２０は、被写体までの距離に相当する信号を検知するものとする。撮影部１２０は、単眼でもよく、またステレオカメラでもよい。単眼の場合には、例えば、レンズの口径分に応じた像のボケの程度や、レンズによる色収差や非点収差など画像上の像を機械学習により解析することで学習モデルを生成し、この学習モデルを参照することで距離を推定することができる。ステレオカメラにおいては、２つのカメラから得られた画像に基づいて、距離を推定することができる。また、他の例としては、音声出力システム１０は、距離センサ（不図示）を備え、位置特定部１３２は、距離センサの検知結果と撮影画像とに基づいて、３次元の耳の位置を特定してもよい。

【0019】

素子制御部１３３は、耳の位置に基づいて、超音波素子１０１を制御する。具体的には、素子制御部１３３は、各素子列１０２の遅延時間を決定する。ここで、図２を参照しつつ、遅延時間と、パラメトリックスピーカー１００の各超音波素子１０１から出力される音声により形成される音場空間の関係について説明する。図２に示すように、図２の紙面斜め手前方向をプラス方向とするｘ軸、紙面右方向をプラス方向とするｙ軸、紙面下方向をプラス方向とするｚ軸を定める。なお、パラメトリックスピーカー１００は、そのｘ軸方向が車両の長さ方向に相当し、ｙ軸方向が車両の幅方向に一致するように設置されるものとする。さらに、対象者（運転者）が乗車時に位置すると想定されるｘ軸方向の範囲が、長さａの範囲内に位置するように、パラメトリックスピーカー１００の設置位置が調整されているものとする。なお、車内から天井に向かう方向をｚ軸のマイナス方向と定義する。

【0020】

図２に示すように、パラメトリックスピーカー１００矩形の１点を原点Ｏとし、ｘ軸方向の長さ、すなわち超音波素子１０１の素子列１０２の長手方向の長さをａとする。また、パラメトリックスピーカー１００のｙ軸方向の長さ、すなわち素子列１０２の配列方向の長さをｂとする。素子制御部１３３は、素子列１０２単位で遅延時間を制御することで、図２に示すような、高さがａ、底面の１辺の長さがｂの三角柱形状の音場空間Ｓを形成する。音場空間Ｓは、パラメトリックスピーカー１００の音声により形成される音場空間である。

【0021】

図２に示すように、音場空間Ｓは、超音波素子１０１が配置された配置面から遠ざかるにつれて、その空間が狭くなり、１つの線分に収束する。この線分を音場空間Ｓの収束位置Ｓ１と称する。素子制御部１３３は、遅延時間を制御することにより、音場空間Ｓの収束位置Ｓ１のｙ軸方向及びｚ軸方向の位置を制御することができる。ここで、収束位置Ｓ１は、搬送波及び側帯波それぞれの放射方向により定まる。すなわち、遅延時間の制御により、搬送波及び側帯波の放射方向の制御が可能であり、これにより、収束位置Ｓ１の制御が可能になる。

【0022】

ここで、搬送波及び側帯波の放射方向について説明する。複数の素子列１０２の遅延時間を素子列１０２の配列順にずらすことで、複数の素子列１０２から出力された複数の搬送波において位相が揃った波面が形成され、遅延時間を調整することで、波面の傾きを制御することができる。この波面に垂直な方向を搬送波の放射方向と称する。また、搬送波の放射方向と素子列１０２が配置される配置面に垂直な方向のなす角を搬送波の放射角と称する。側帯波についても同様に位相が揃った波面の傾きを制御することができ、この波面に垂直な方向を側帯波の放射方向と称し、側帯波の放射方向と配置面に垂直な方向のなす角を側帯波の放射角と称する。搬送波と側帯波の放射角を逆向きにすることで、搬送波と側帯波とが重なる領域である音場空間Ｓが形成される。

【0023】

音場空間Ｓの三角柱は、超音波素子１０１が配置された配置面により形成される矩形のうちｙ軸方向の第１の辺を１辺とする三角形を底面とする。また、収束位置Ｓ１は三角柱の側辺の１辺に相当し、その端点は、底面の１つの頂点を形成する。さらに、三角柱は、超音波素子１０１の配置面により形成される矩形のうちｘ軸方向の第２の辺を高さとする。収束位置Ｓ１は、長さをもつ１次元の範囲である。なお、本実施形態においては、音場空間の収束位置Ｓ１の制御に際し、その長さはａで固定とする。

【0024】

素子制御部１３３は、耳の位置をＰ（ｘｔ，ｙｔ，ｚｔ）とした場合に、耳の位置Ｐが収束位置Ｓ１に含まれるように、遅延時間を制御する。ここで、遅延時間は、（式１）により定義される。ここで、耳の位置Ｐが収束位置Ｓ１に含まれるとは、耳の位置Ｐが収束位置Ｓ１の線分を形成するいずれかの点と一致することと同義である。

Ｔ＝ｄＳｉｎθ／ｖ ・・・（式１）

Ｔは遅延時間、ｄは超音波素子１０１の間隔、ｖは音速で３４０ｍ／Ｓである。θには、搬送波の放射角θｃ及び側帯波の放射角θＳが代入される。

【0025】

ｙｔがｂ以下の場合の搬送波及び側帯波の放射角θｃ、θＳは、それぞれ（式２）、（式３）で定義される。また、ｙｔがｂよりも大きい場合の搬送波及び側帯波の放射角θｃ、θＳは、それぞれ（式４）、（式５）で定義される。

（条件１：ｙｔ≦ｂ）
θｃ＝ｔａｎ^－１｛（ｂ－ｙｔ）／ｚｔ｝ ・・・（式２）
θＳ＝ｔａｎ^－１（ｙｔ／ｚｔ） ・・・（式３）

（条件２：ｙｔ＞ｂ）
θｃ＝ｔａｎ^－１｛（ｙｔ－ｂ）／ｚｔ｝ ・・・（式４）
θＳ＝ｔａｎ^－１（ｙｔ／ｚｔ） ・・・（式５）

素子制御部１３３は、ｙｔとｂの大小関係に応じて、（式２）と（式３）又は（式４）と、（式５）を用いて搬送波及び側帯波の放射角θｃ、θＳを求める。そして、（式１）より、搬送波及び側帯波それぞれの遅延時間Ｔｃ、ＴＳを求める。

【0026】

図１に示すように、素子列１０２のＮ列目に対応する搬送波の遅延回路１１５１における遅延時間は「Ｔｃ×０」となる。また、Ｎ－１列目は「Ｔｃ×１」、Ｎ－２列目は、「Ｔｃ×２」、２列目は「Ｔｃ×（Ｎ－１）」、１列目は「Ｔｃ×Ｎ」となる。一方、素子列１０２の１列目に対応する側帯波の遅延回路１１５２における遅延時間は「ＴＳ×０」、２列目は「ＴＳ×１」、Ｎ列目は「ＴＳ×Ｎ」となる。このように、搬送波と側帯波の遅延時間が増加する方向は逆向きになるよう制御される。素子制御部１３３は、以上の処理により、耳の位置（ｘｔ，ｙｔ，ｚｔ）が収束位置Ｓ１上の点となるような音場空間を形成することができる。

【0027】

素子制御部１３３は、さらに、耳の位置Ｐとパラメトリックスピーカー１００の間の空間に障害物が存在する場合には、音声出力を停止する。撮影部１２０により得られた撮影画像において、耳の位置Ｐと、パラメトリックスピーカー１００の矩形の４点を頂点とする四角錐の範囲に物体が検出された場合に、耳の位置Ｐとパラメトリックスピーカー１００の間に障害物が存在すると判定する。そして、この場合には、素子制御部１３３は、パラメトリックスピーカー１００の音声出力を停止する。素子制御部１３３は、配置面の位置と、耳の位置から四角柱の３次元の範囲を特定し、さらに、撮影画像に基づいて、障害物の３次元の位置を特定する。素子制御部１３３は、これらの座標を参照することで、四角柱の範囲に物体が存在するか否かを確認する。

【0028】

（２）音声出力処理：
図３は、音声出力システム１０による音声出力処理を示すフローチャートである。音声出力処理は、例えば、ユーザ操作などに応じて制御部１３０が音声出力開始指示を受け付けた場合に開始される。また、音声出力処理は、音声出力が終了するまで、または終了指示を受け付けるまで定期的に繰り返される。

【0029】

まず、制御部１３０は、撮影部１２０に撮影を指示し、対象者、すなわち運転者の撮影を行わせる（ステップＳ１００）。次に、位置特定部１３２は、画像取得部１３１を介して撮影画像を取得し、撮影画像に基づいて、対象者の耳の位置を検出する（ステップＳ１０２）。次に、素子制御部１３３は、例えばＲＡＭ等の記憶部に格納されている耳の位置を、新たに検知された耳の位置で更新する（ステップＳ１０４）。すなわち、素子制御部１３３は、耳の位置を上書きする。なお、初期状態においては、記憶部には耳の位置は格納されておらず、この場合には、ステップＳ１０４において、素子制御部１３３は、耳の位置を新たに格納する。次に、素子制御部１３３は、耳とパラメトリックスピーカー１００の間に障害物が存在するか否かを判定する（ステップＳ１０６）。障害物が存在する場合には（ステップＳ１０６でＹ）、素子制御部１３３は、パラメトリックスピーカー１００の出力がオンの状態の場合には、パラメトリックスピーカー１００の出力を停止し（ステップＳ１０８）、その後、処理をステップＳ１００へ進める。

【0030】

一方で、障害物が存在しない場合には（ステップＳ１０６でＮ）、帯域分割部１１３は、耳の位置に基づいて、各遅延回路１１５１、１１５２の遅延時間を決定する（ステップＳ１１０）。なお、遅延時間を決定する処理は、音場空間の収束位置を耳の位置に応じて調整する処理に相当する。次に、遅延部１１５及びアンプ部１１６による信号処理が施される（ステップＳ１１２）。次に、素子列１０２の各超音波素子１０１に合成された信号が印可される（ステップＳ１１４）。以上の処理により、耳の位置が収束位置に含まれるするような音場空間を実現できる。

【0031】

以上のように、本実施形態の音声出力システム１０においては、耳の位置に応じて収束位置を制御することで対象者以外の人に音が聞こえるのを防ぐことができる。さらに、耳とパラメトリックスピーカー１００の間に障害物が存在する場合には、パラメトリックスピーカー１００の出力を停止することで、耳とパラメトリックスピーカー１００の間に障害物が含まれないような制御を実現することができる。これにより、合成波が障害物で反射することで、対象者以外の人物に音声が届いてしまうのを防ぐことができる。

【0032】

（３）他の実施形態：
以上の実施形態は、本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、音声出力システム１０は、複数の装置によって実現されるシステムであってもよい。例えば、撮影部１２０及び制御部１３０は、音声出力システム１０と別の装置として設けられてもよい。この場合には、制御部１３０を備える装置から音声出力システム１０に遅延時間が送信されればよい。

【0033】

本実施形態においては、音声を届ける対象者を運転者としたが、対象者は車両の特定の座席に座る乗員であればよく、運転者に限定されるものではない。そして、この場合には、特定の座席の天井にパラメトリックスピーカー１００が設置されればよい。

【0034】

また本実施形態においては、制御部１３０は、耳の位置が収束位置に含まれるように制御するものとしたが、制御部１３０は、音場空間内に耳の位置が含まれるよう制御すればよい。また、耳の位置は、耳に含まれる所定の位置であればよく、耳の端でもよく、耳の中央でもよい。

【0035】

耳の位置の検出方法は、実施形態に限定されるものではない。他の例としては、制御部１３０は、耳の画像を学習データとして機械学習により得られた認識モデルを利用することで、撮影画像から耳の位置を検出してもよい。また、他の例としては、予めＲＯＭ等の記憶部に、耳の特徴量が記憶されており、制御部１３０は、耳の特徴量と撮影画像の特徴量との比較により、耳の位置を検出してもよい。

【0036】

素子制御部１３３は、耳とパラメトリックスピーカー１００の間に障害物が検出された場合に、パラメトリックスピーカー１００をオフするのに替えて、障害物が音場空間に含まれないように収束位置Ｓ１を制御してもよい。例えば、素子制御部１３３は、収束位置Ｓ１をｚ軸のマイナス方向にずらしてもよい。具体的には、素子制御部１３３は、目標位置となる耳の位置のｚ座標（ｚｔ）を変更し、変更後のｚｔを利用して、遅延時間を算出すればよい。また、素子制御部１３３は、収束位置Ｓ１のｘ軸方向の長さを制御してもよい。素子制御部１３３は、例えば、各素子列１０２において出力をオンする素子列１０２を制限することで、収束位置Ｓ１の長さや、ｘ軸方向の位置を制限すればよい。さらに、素子制御部１３３は、ｘ軸方向の制御により、収束位置を１点（点状）になるように制限してもよい。

【0037】

さらに、以上のようなシステムはプログラムや方法としても適用可能である。また、このようなプログラム、方法は、単独の装置として実現される場合もあれば、複数の装置で共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

【符号の説明】

【0038】

１０・・・音声出力システム、１００…パラメトリックスピーカー、１０１…超音波素子、１０２…素子列、１１１…切替部、１１２…振幅変調器、１１３…帯域分割部、１１４…利得設定部、１１５…遅延部、１１６…アンプ部、１２０…撮影部、１３０…制御部、１３１…画像取得部、１３２…位置特定部、１３３…素子制御部、１１５１、１１５２…遅延回路、１１６１…アンプ

【図1】

【図2】

【図3】