特許 7163876 車内会話支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】車内会話支援装置

(51)【国際特許分類】

   G10L 21/028 20130101AFI20221025BHJP

   G10L 21/0272 20130101ALI20221025BHJP

   B60R 11/02 20060101ALI20221025BHJP

   B60R 11/04 20060101ALI20221025BHJP

【ＦＩ】

G10L21/028 B

G10L21/0272 100A

B60R11/02 M

B60R11/02 S

B60R11/04

B60R11/02 C

【請求項の数】 4

(21)【出願番号】P 2019123373

(22)【出願日】2019-07-02

(65)【公開番号】P2021009234

(43)【公開日】2021-01-28

【審査請求日】2021-10-05

(73)【特許権者】

【識別番号】000110321

【氏名又は名称】トヨタ車体株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】三輪 智章

(72)【発明者】

【氏名】若松 洋行

【審査官】泉 卓也

(56)【参考文献】

【文献】特開２０１７－１９３２０７（ＪＰ，Ａ）

【文献】特開２０１８－０７６０３５（ＪＰ，Ａ）

【文献】特開２０１９－０５７８６９（ＪＰ，Ａ）

【文献】再公表特許第２０１７／０６４８４０（ＪＰ，Ａ１）

【文献】特開２００５－１６１８７３（ＪＰ，Ａ）

【文献】特開２００３－１９５８８３（ＪＰ，Ａ）

【文献】再公表特許第２０１７／２０８８２０（ＪＰ，Ａ１）

【文献】米国特許出願公開第２０１６／００２９１１１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００ ー １３／１０

Ｇ１０Ｌ １９／００ ー ９９／００

Ｂ６０Ｒ ９／００ ー １１／０６

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

車両の後部座席において発せられた音を、同音が発せられた車室内位置に関連付けた状態で集音する集音部と、
前記後部座席で音声が発せられた場合に同音声を発した乗員の車室内位置を特定する特定部と、
前記特定部によって特定された前記乗員の車室内位置に基づいて、同車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出する抽出部と、
前記抽出部によって抽出した音を、前記車両の前部座席に着座した乗員に出力する前部座席用のスピーカーと、
前記後部座席の全乗員を撮影可能なカメラと、
前記特定部によって特定した前記車室内位置の乗員についての前記カメラによって撮影した画像を前部座席用モニターに表示する表示部と、を有し、
前記特定部は、前記カメラで撮影した画像に基づいて前記音声を発した乗員の車室内位置を特定するものであり、
前記表示部は、
前記特定部によって前記乗員の車室内位置が複数特定された場合には、同車室内位置が特定された複数の乗員についての前記カメラによって撮影された画像を、前部座席用の操作部の操作を通じて前記複数の乗員のうちのいずれか一人を選択可能な態様で、前記前部座席用モニターに表示するものであり、且つ、
前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員についての前記画像のみを前記前部座席用モニターに表示するものであり、
前記抽出部は、前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員の車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出するものである
車内会話支援装置。

【請求項2】

前記車内会話支援装置は、前記特定部によって前記車室内位置が特定された乗員についての前記カメラによって撮影した画像と、前記抽出部によって抽出した音と、を外部通信機器に無線送信する通信部を有する
請求項１に記載の車内会話支援装置。

【請求項3】

前記車内会話支援装置は、前記後部座席の全乗員の三次元形状を検出する検出部を有し、
前記特定部は、前記カメラによって撮影した乗員の画像と前記検出部によって検出した乗員の三次元形状との照合を行い、前記照合の結果から前記乗員の口元位置を特定して当該乗員が音声を発したことを検出することにより、前記音声を発した乗員の車室内位置を特定するものである
請求項１または２に記載の車内会話支援装置。

【請求項4】

前記抽出部は、前記特定した車室内位置から発せられる音の抽出を、前記特定した車室内位置から発せられた音として前記集音部によって集音された音声信号の音成分の中から、それ以外の車室内位置から発せられた音として前記集音部によって集音された音声信号の音成分を除去するフィルタリング処理を通じて行うものである
請求項１～３のいずれか一項に記載の車内会話支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車室内における乗員間の会話を支援する車内会話支援装置に関するものである。

【背景技術】

【0002】

特許文献１に記載の車内会話支援装置は、車両の後部座席に着座した乗員の音声を集音するマイクロフォンと、このマイクロフォンによって集音した音声を前部座席に着座した乗員に向けて出力するスピーカーとを有している。この車内会話支援装置によれば、後部座席の乗員の発話内容を前部座席の乗員が聞き取りやすくなる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１２５８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記装置では、三列シートの車両において二列目シートと三列目シートとにそれぞれ乗員が着座する場合など、車両の後部座席に複数人が着座している場合に、各乗員の音声をマイクロフォンによってうまく集音することができなくなるおそれがある。この場合には、後部座席の乗員の発話内容を前部座席の乗員が聞き取りにくくなるため、乗員間における会話に支障をきたすおそれがある。

【0005】

本発明は、そうした実情に鑑みてなされたものであり、その目的は、前部座席乗員と後部座席乗員とのスムーズな会話を実現することのできる車内会話支援装置を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するための車内会話支援装置は、車両の後部座席において発せられた音を、同音が発せられた車室内位置に関連付けた状態で集音する集音部と、前記後部座席で音声が発せられた場合に同音声を発した乗員の車室内位置を特定する特定部と、前記特定部によって特定された前記乗員の車室内位置に基づいて、同車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出する抽出部と、前記抽出部によって抽出した音を、前記車両の前部座席に着座した乗員に出力する前部座席用のスピーカーと、を有する。

【0007】

上記構成によれば、後部座席の乗員が音声を発した場合に、同乗員が発した音声を抽出して前部座席用のスピーカーから出力することができる。これにより、乗員が発した音声を余計な音を除いた状態で前部座席用のスピーカーから出力させることができるため、後部座席乗員が発した音声を前部座席乗員が聞き取りやすくすることができる。したがって、前部座席乗員と後部座席乗員とのスムーズな会話を実現することができる。

【0008】

前記車内会話支援装置は、前記後部座席の全乗員を撮影可能なカメラと、前記特定部によって特定した前記車室内位置の乗員についての前記カメラによって撮影した画像を前部座席用モニターに表示する表示部と、を有し、前記特定部は、前記カメラで撮影した画像に基づいて前記音声を発した乗員の車室内位置を特定するものであることが好ましい。

【0009】

上記構成によれば、カメラによる撮影画像をもとに後部座席で音声を発した乗員の車室内位置を特定することができる。しかも、その乗員を撮影した画像を前部座席用モニターに表示することによって、音声を発した乗員が誰であるかを運転者が明確に認識することができる。これにより、前部座席乗員と後部座席乗員とのよりスムーズな会話を実現することができる。

【0010】

上記装置において、前記表示部は、前記特定部によって前記乗員の車室内位置が複数特定された場合には、同車室内位置が特定された複数の乗員についての前記カメラによって撮影された画像を、前部座席用の操作部の操作を通じて前記複数の乗員のうちのいずれか一人を選択可能な態様で、前記前部座席用モニターに表示するものであり、且つ、前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員についての前記画像のみを前記前部座席用モニターに表示するものであり、前記抽出部は、前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員の車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出するものであることが好ましい。

【0011】

上記構成によれば、後部座席において複数の乗員が同時期に発声した場合に、前部座席の乗員が前部座席用モニターの表示を確認しながら前部座席用の操作部を操作することによって、会話したい人を択一的に選択することができる。そして、その選択した乗員の音声を余計な音の少ない状態で聞くことができる。

【0012】

前記車内会話支援装置は、前記特定部によって前記車室内位置が特定された乗員についての前記カメラによって撮影した画像と、前記抽出部によって抽出した音と、を外部通信機器に無線送信する通信部を有することが好ましい。

【0013】

上記構成によれば、外部通信機器を利用して、前部座席の乗員と後部座席の乗員と車両外部の人との間でのスムーズな会話を実現することができる。
前記車内会話支援装置は、前記後部座席の全乗員の三次元形状を検出する検出部を有し、前記特定部は、前記カメラによって撮影した乗員の画像と前記検出部によって検出した乗員の三次元形状との関係に基づいて、前記音声を発した乗員の車室内位置を特定するものであることが好ましい。

【0014】

上記構成によれば、カメラによって撮影される乗員の画像と検出部によって検出される乗員の三次元形状とをもとに、乗員の口元の位置とその口元の動きとを把握することができる。そのため、乗員の口元の動きから同乗員が音声を発したことを検出することができ、ひいては音声を発した乗員の車室内位置を精度良く検出することができる。

【0015】

上記装置において、前記抽出部は、前記特定した車室内位置から発せられる音の抽出を、前記特定した車室内位置から発せられた音として前記集音部によって集音された音声信号の音成分の中から、それ以外の車室内位置から発せられた音として前記集音部によって集音された音声信号の音成分を除去するフィルタリング処理を通じて行うものであることが好ましい。

【0016】

上記構成によれば、後部座席において特定の乗員が発した音声を、それ以外の音成分を除去した状態で前部座席において鮮明に聞くことができるようになる。

【発明の効果】

【0017】

本発明によれば、前部座席乗員と後部座席乗員とのスムーズな会話を実現することができる。

【図面の簡単な説明】

【0018】

【図1】第１実施形態の車内会話支援装置の概略構成を示す略図。

【図2】同車内会話支援装置の電気回路構造を示すブロック図。

【図3】第１実施形態の会話補助制御の実行手順を示すフローチャート。

【図4】同会話補助制御の実行態様の一例を示す略図。

【図5】第２実施形態の会話補助制御の実行手順を示すフローチャート。

【図6】同会話補助制御の（ａ）は選択操作前の実行態様の一例を示す略図であり、（ｂ）は選択操作後の実行態様の一例を示す略図。

【図7】他の実施形態の車内会話支援装置の電気回路構造を示すブロック図。

【発明を実施するための形態】

【0019】

以下、車内会話支援装置の一実施形態について説明する。
図１に示すように、車両１０は、運転席１１Ｒおよび助手席１１Ｌからなる前部座席１１と、二列目シート１２Ｆおよび三列目シート１２Ｂからなる後部座席１２とを有している。

【0020】

図１および図２に示すように、車両１０は、後部座席１２の全乗員を撮影するためのカメラ１３を有している。このカメラ１３は、撮影可能範囲に後部座席１２の全体を含む態様で、車両１０のルーフにおける運転席１１Ｒと助手席１１Ｌとの間の部分に取り付けられている。

【0021】

車両１０は、後部座席１２の全乗員の三次元形状を検出するための形状センサ１４を有している。この形状センサ１４は、検出可能範囲に後部座席１２の全体を含む態様で、車両１０のルーフにおける運転席１１Ｒと助手席１１Ｌとの間の部分に取り付けられている。形状センサ１４としては、検出可能範囲の各部における赤外線を利用した距離計測を通じて三次元形状の検出を行うタイプのものが採用されている。本実施形態では、形状センサ１４が検出部に相当する。

【0022】

車両１０には、後部座席１２において発せられた音を、その音が発せられた車室内位置に関連付けた状態で集音する集音部１５が設けられている。この集音部１５としては、多数のマイクロフォンを有して構成される、いわゆるマイクロフォンアレイが採用されている。集音部１５は、集音可能範囲に後部座席１２の全体を含む態様で、車両１０のルーフにおける二列目シート１２Ｆの上方に取り付けられている。

【0023】

車両１０には、ナビゲーションシステム１６が設けられている。ナビゲーションシステム１６は、車室内における前部座席１１の前方、詳しくはダッシュボードに取り付けられている。ナビゲーションシステム１６はモニター１７を有している。本実施形態では、このモニター１７が前部座席用モニターに相当する。

【0024】

車両１０はスピーカー１８を有している。スピーカー１８は、運転席１１Ｒのドアおよび助手席１１Ｌのドアにそれぞれ設けられている。これらスピーカー１８はナビゲーションシステム１６に接続されるとともに、同ナビゲーションシステム１６から出力される音声信号に応じた音を車室内に出力する。本実施形態では、このスピーカー１８が前部座席用のスピーカーに相当する。

【0025】

車両１０は、運転者の発話に際して同運転者によってオン操作される発話スイッチ１９と、運転者の発する音声を集音するマイクロフォン２０とを有している。これら発話スイッチ１９およびマイクロフォン２０は、車室内における運転席１１Ｒの前方に設けられている。そして、運転者によって発話スイッチ１９がオン操作されると、マイクロフォン２０が作動して運転者の発する音声を集音するようになる。

【0026】

車両１０は、例えばマイクロコンピュータを中心に構成される電子制御装置２１を備えている。この電子制御装置２１には、カメラ１３、形状センサ１４、集音部１５、ナビゲーションシステム１６、発話スイッチ１９、およびマイクロフォン２０が接続されている。電子制御装置２１は、各機器からの入力信号に基づいて各種の演算を行うとともに、その演算結果をもとにモニター１７およびスピーカー１８の作動を制御する。

【0027】

なお本実施形態では、カメラ１３、形状センサ１４および電子制御装置２１によって特定部が構成され、集音部１５および電子制御装置２１によって抽出部が構成され、モニター１７および電子制御装置２１によって表示部が構成される。

【0028】

本実施形態では、モニター１７およびスピーカー１８の作動制御の一部として、前部座席１１の乗員と後部座席１２の乗員との会話をスムーズに行うための会話補助制御が実行される。

【0029】

この会話補助制御としては、後部座席１２の乗員に対する会話補助のために、以下の制御が実行される。
運転者によって発話スイッチ１９がオン操作されると、マイクロフォン２０によって運転者の発する音声が集音されるとともに音声信号として電子制御装置２１に取り込まれる。そして、この音声信号は電子制御装置２１からナビゲーションシステム１６に出力される。これにより、運転者の発した音声が、ナビゲーションシステム１６に接続されたスピーカー１８から車室内に向けて出力されるようになる。

【0030】

このように本実施形態では、運転者によって発話スイッチ１９がオン操作されたときに、スピーカー１８から後部座席１２の乗員に向けて運転者の発した音声が出力されるようになっている。これにより、運転席１１Ｒに着座した運転者が後方に振り向くことなく、後部座席１２の乗員に話しかけることが可能になっている。なお、発話スイッチ１９がオフ操作されているときには、マイクロフォン２０による集音や運転者の発した音声のスピーカー１８からの出力は停止される。

【0031】

また上記会話補助制御としては、前部座席１１の乗員に対する会話補助のために、以下の制御が実行される。図３にそうした会話補助制御にかかる処理の実行手順を示す。図３のフローチャートに示される一連の処理は、所定周期毎の割り込み処理として、電子制御装置２１によって実行される。

【0032】

図３に示すように、この処理では、カメラ１３によって撮影される後部座席１２の画像と形状センサ１４によって検出される後部座席１２の三次元形状とに基づいて、後部座席１２における乗員の状態についての解析が実行される（ステップＳ１１）。具体的には、カメラ１３による撮影画像について画像処理を行うことにより、撮影画像に乗員が含まれているか否かが判断される。そして、撮影画像に乗員が含まれていると判断される場合には、撮影画像の乗員に当たる部分と形状センサ１４によって検出された同部分の三次元形状とを照合することによって、乗員の口元位置が特定されるとともに口元の動きが解析される。また、この場合には、音声を発した乗員の車室内における位置Ｐ１が特定されて記憶される。

【0033】

そして、上記解析の結果をもとに後部座席１２において乗員が音声を発していると判断されると（ステップＳ１２：ＹＥＳ）、集音部１５によって集音された音の中から同乗員が発した音声が抽出されてスピーカー１８から出力される（ステップＳ１３）。

【0034】

この処理では、後部座席１２の乗員の発した音声の抽出が、集音部１５によって検出した音声信号のうち、上記解析において特定されている乗員の車室内位置Ｐ１以外の位置から発せられた音に対応する音声信号は利用せずに、車室内位置Ｐ１から発せられた音に対応する音声信号のみを利用するといったように行われる。そして、このようにして抽出された音声信号はナビゲーションシステム１６に出力される。これにより、同音声信号に応じた音、すなわち後部座席１２の乗員が発した音声が上記ナビゲーションシステム１６に接続されたスピーカー１８から出力されるようになる。

【0035】

また、この場合には、後部座席１２で音声を発した乗員の撮影画像がモニター１７に表示される（ステップＳ１４）。この処理では、具体的には、カメラ１３による後部座席１２の撮影画像から上記解析において特定されている車室内位置Ｐ１周辺の部分が切り取られるとともに、その切り取られた画像がナビゲーションシステム１６に出力される。これにより、車室内位置Ｐ１の乗員、すなわち後部座席１２において音声を発した乗員がナビゲーションシステム１６のモニター１７に表示されるようになる。

【0036】

本実施形態では、こうした会話補助制御を通じて、図４に示すように、後部座席１２の乗員が音声を発した場合には同乗員の画像がモニター１７に表示されるとともに、同乗員が発した音声がスピーカー１８から出力される。

【0037】

一方、前記解析の結果をもとに後部座席１２において乗員が音声を発していないと判断される場合には（ステップＳ１２：ＮＯ）、後部座席１２の乗員のモニター１７への表示や同乗員の発した音声のスピーカー１８からの出力を行うことなく（ステップＳ１３の処理およびステップＳ１４の処理をジャンプして）、本処理は終了される。

【0038】

以下、本実施形態の会話支援装置による作用について説明する。
本実施形態の会話支援装置では、後部座席１２において乗員が音声を発した場合に、同乗員が発した音声が運転席１１Ｒのドアや助手席１１Ｌのドアに設けられたスピーカー１８から出力される。そのため、運転席１１Ｒに着座した運転者や助手席１１Ｌに着座した乗員が後方に振り向くことなく、後部座席１２の乗員の音声を聞くことができる。

【0039】

しかも、この場合には、集音部１５によって集音された音の中から後部座席１２の乗員の発した音声が抽出されてスピーカー１８から出力される。これにより、後部座席１２の乗員の発した音声が余計な音を除いた状態でスピーカー１８から出力されるようになるため、後部座席１２の乗員の発声内容を前部座席１１の乗員が聞き取りやすくすることができる。

【0040】

また本実施形態では、カメラ１３によって撮影される乗員の画像と形状センサ１４によって検出される乗員の三次元形状とに基づいて、後部座席１２で音声を発した乗員の車室内位置Ｐ１が特定される。そして、この車室内位置Ｐ１をもとに、この車室内位置Ｐ１に居る乗員が発した音声の抽出を精度良く行うことができる。

【0041】

さらに本実施形態では、後部座席１２において乗員が音声を発した場合に、同乗員、すなわち車室内位置Ｐ１に居る乗員を撮影した画像がモニター１７に表示される。これにより、運転席１１Ｒに着座した運転者や助手席１１Ｌに着座した乗員が後方に振り向くことなく、後部座席１２において音声を発した乗員が誰であるかを明確に認識することができる。

【0042】

本実施形態によれば、このようにして前部座席１１の乗員と後部座席１２の乗員とのスムーズな会話を実現することができる。
以上説明したように、本実施形態によれば、以下に記載する効果が得られる。

【0043】

（１）後部座席１２で音声が発せられた場合に、同音声を、集音部１５によって集音された音の中から抽出してスピーカー１８から出力するようにした。これにより、後部座席１２の乗員の発声内容を前部座席１１の乗員が聞き取りやすくすることができるため、前部座席１１の乗員と後部座席１２の乗員とのスムーズな会話を実現することができる。

【0044】

（２）後部座席１２の全乗員を撮影可能なカメラ１３を設けた。そのため、このカメラ１３で撮影した画像に基づいて、後部座席１２において音声を発した乗員の車室内位置Ｐ１を特定することができる。

【0045】

（３）後部座席１２で乗員が音声を発した場合に、同乗員をカメラ１３によって撮影した画像をモニター１７に表示するようにした。これにより、後部座席１２において音声を発した乗員が誰であるかを運転者が明確に認識することができるため、前部座席１１の乗員と後部座席１２の乗員との間でのよりスムーズな会話を実現することができる。

【0046】

（第２実施形態）
以下、車内会話支援装置の第２実施形態について、先の第１実施形態との相違点を中心に説明する。なお以下では、本実施形態の車内会話支援装置の各構成のうち、第１実施形態の車内会話支援装置と同一の構成については同一の符号もしくは対応する符号を付すとともに、それら構成についての重複する説明は省略する。

【0047】

本実施形態の車内会話支援装置と先の第１実施形態の車内会話支援装置とは、会話補助制御の実行態様のみが異なる。以下、本実施形態の会話補助制御について、図５を参照して説明する。図５は本実施形態の会話補助制御にかかる処理の実行手順を示している。同図のフローチャートに示される一連の処理は、所定周期毎の割り込み処理として、電子制御装置２１によって実行される。

【0048】

図５に示すように、この処理では、前述した解析（ステップＳ１１）の結果をもとに後部座席１２において乗員が音声を発したと判断された場合に（ステップＳ１２：ＹＥＳ）、音声を発した乗員が一人のみであると判断される場合には（ステップＳ２１：ＮＯ）、先の第１実施形態と同様の処理（ステップＳ１３およびステップＳ１４）が実行される。すなわち、集音部１５によって集音された音の中から同乗員が発した音声が抽出されてスピーカー１８から出力されるとともに（ステップＳ１３）、後部座席１２で音声を発した乗員の撮影画像がモニター１７に表示される（ステップＳ１４）。

【0049】

一方、上記解析の結果をもとに後部座席１２において乗員が音声を発したと判断された場合において（ステップＳ１２：ＹＥＳ）、複数の乗員が同時に音声を発したと判断される場合には（ステップＳ２１：ＮＯ）、以下の処理（ステップＳ２２～ステップＳ２５）が実行される。

【0050】

先ず、図６（ａ）に一例を示すように、前記解析において特定されている複数の乗員、すなわち後部座席１２において音声を発した複数の乗員がモニター１７に表示される（図５のステップＳ２２）。この処理では、具体的には、前記解析において特定されている複数の車室内位置の周辺画像が各別に切り取られるとともに、切り取られた各画像がナビゲーションシステム１６に出力される。なお図６（ａ）は、二人の乗員Ａ，Ｂが後部座席１２において音声を発した場合におけるモニター１７の表示態様を示している。

【0051】

本実施形態では、タッチパネル式のモニター１７が採用されている。本実施形態では、モニター１７の画面が操作部に相当する。そして、このときには、モニター１７に表示された乗員の画像をタッチすることによって複数の乗員のいずれか一人を選択することが可能な態様で、複数の乗員の画像がモニター１７に表示されている。

【0052】

その後、モニター１７の画面操作を通じて同モニター１７に表示された乗員のうちのいずれか一人が選択されたか否かが判断される（ステップＳ２３）。複数の乗員のいずれも選択されていない場合には（ステップＳ２３：ＮＯ）、以下の処理（ステップＳ２４およびステップＳ２５）を実行することなく、本処理は終了される。

【0053】

そして、モニター１７の画面操作を通じて複数の乗員のいずれか一人が選択されると（ステップＳ２３：ＹＥＳ）、このとき選択された乗員の画像のみがナビゲーションシステム１６に出力される。これにより、図６（ｂ）に一例を示すように、モニター１７の画面操作を通じて選択された乗員Ａのみがナビゲーションシステム１６のモニター１７に表示されるようになる。

【0054】

また、モニター１７の画面操作を通じて選択された乗員Ａの発した音声が、集音部１５によって集音された音の中から抽出されてスピーカー１８から出力される（ステップＳ２４）。この処理では、乗員Ａの発した音声の抽出が、集音部１５によって検出した音声信号のうち、前記解析において特定されている乗員Ａの車室内位置ＰＡ以外の位置から発せられた音に対応する音声信号は利用せずに、車室内位置ＰＡから発せられた音に対応する音声信号のみを利用するといったように行われる。そして、このようにして抽出された音声信号はナビゲーションシステム１６に出力される。これにより、図６（ｂ）に一例を示すように、同音声信号に応じた音、すなわち乗員Ａが発した音声が上記ナビゲーションシステム１６に接続されたスピーカー１８から出力されるようになる。

【0055】

以下、本実施形態の会話支援装置による作用について説明する。
本実施形態の会話支援装置では、前記解析において後部座席１２で音声を発した乗員が複数特定されたときに、それら乗員の撮影画像が各別にモニター１７に表示される。このときには、タッチパネル式のモニター１７の画面操作を通じて複数の乗員のうちのいずれか一人を選択可能な態様で、それら乗員の撮影画像がモニター１７に表示される。これにより、前部座席１１の乗員がモニター１７の表示を確認しながら同モニター１７の画面を操作することによって、後部座席１２において音声を発した複数の乗員の中から会話したい人を択一的に選択することができるようになっている。

【0056】

そして、前部座席１１の乗員によるモニター１７の画面操作を通じて会話したい乗員Ａが選択されると、選択された乗員Ａについての画像のみがモニター１７に表示されるようになる。これにより、運転席１１Ｒに着座した運転者や助手席１１Ｌに着座した乗員が後方に振り向くことなく、このときの会話対象が誰であるかを明確に認識することができる。しかも、この場合には、会話対象として選択された乗員Ａの発した音声が、集音部１５によって集音された音の中から抽出されてスピーカー１８に出力される。これにより、上記乗員Ａの発した音声が余計な音を除いた状態でスピーカー１８から出力されるようになるため、同乗員Ａの音声を余計な音の少ない状態で聞くことができるようになる。

【0057】

以上説明したように、本実施形態によれば、先の（１）～（３）に記載の効果に加えて、以下の（４）に記載する効果が得られる。
（４）後部座席１２において複数の乗員が同時期に発声した場合に、前部座席１１の乗員がモニター１７の表示を確認しながら同モニター１７の画面を操作することによって、会話したい人を択一的に選択することができる。そして、その選択した乗員Ａの音声をクリアな状態で聞くことができる。

【0058】

（他の実施形態）
なお、上記各実施形態は、以下のように変更して実施することができる。上記各実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0059】

・会話補助制御において、後部座席１２の乗員が発した音声を抽出する処理（図３のステップＳ１３、または図５のステップＳ２５）を、乗員の車室内位置に対応して集音部１５によって集音された音声信号とそれ以外の車室内位置に対応して集音部１５によって集音された音声信号とを利用したフィルタリング処理を通じて行うようにしてもよい。このフィルタリング処理は、具体的には、前記解析において特定されている車室内位置から発せられた音として集音部１５によって検出された音声信号の音成分から、それ以外の車室内位置から発せられた音として集音部１５によって検出された音声信号の音成分を除去する処理である。同構成によれば、後部座席１２において特定の乗員が発した音声を、それ以外の位置において発せられた音を除去した状態で、前部座席１１において鮮明に聞くことができる。

【0060】

・図７に示すように、音声を発した乗員のカメラ１３による撮影画像と集音部１５によって検出された同乗員に対応する音声信号とを、インターネット網やキャリア網、無線ＬＡＮなどを介して、スマートフォン等の外部通信機器に無線送信する通信部２２を車両１０に設けるようにしてもよい。同構成によれば、外部通信機器を利用して、前部座席１１の乗員と後部座席１２の乗員と車両外部の人との間でのスムーズな会話を実現することができる。

【0061】

・後部座席１２で音声が発せられた場合に、音声を発した乗員の撮影画像をモニター１７に表示することに代えて、同乗員の車室内位置を示す画像をモニター１７に表示するようにしてもよい。例えば、モニター１７の表示画像の背景としてカメラ１３によって撮影した後部座席１２全体の画像を採用するとともに、同画像上における上記乗員の車室内位置に丸印などのマークを付与するようにしてもよい。その他、モニター１７の表示画像の背景として後部座席１２の平面図を採用するとともに、同図上における上記乗員の車室内位置に丸印などのマークを付与すること等も可能である。

【0062】

・第２実施形態の会話補助制御（図５）において、後部座席１２で複数の乗員が同時に音声を発したと判断される場合に（ステップＳ２１：ＮＯ）、各乗員の発した音声を各別に抽出してスピーカー１８から出力するとともに、カメラ１３によって各乗員を撮影した画像をモニター１７に表示するようにしてもよい。

【0063】

・音声を発した乗員の画像を表示するモニターや同乗員が発した音声を出力するスピーカーとしては、ナビゲーションシステム１６のモニター１７と同ナビゲーションシステム１６に接続されたスピーカー１８とを用いることに限らず、専用の前部座席用モニターや専用の前部座席用スピーカーを用いるようにしてもよい。

【0064】

・集音部１５を、一つの正規着座位置を主な集音範囲とする態様で後部座席１２の正規着座位置毎にマイクロフォンを設けることによって構成してもよい。
・形状センサ１４を省略することができる。同構成においても、後部座席１２の全体をカメラによって撮影した画像に基づく画像処理を通じて、後部座席１２において音声を発した乗員の有無を判断するとともに、音声を発した乗員が居る場合における同乗員の車室内位置を特定することができる。その他、集音部１５によって集音される音の後部座席１２における強さの分布に基づいて、後部座席１２において音声を発した乗員の有無を判断したり、後部座席１２において音声を発した乗員の車室内位置を特定したりすることもできる。

【0065】

・後部座席１２において乗員が音声を発した場合に、同乗員の撮影画像あるいは車室内位置をモニター１７に表示する構成を省略することができる。
・各実施形態において、発話スイッチ１９およびマイクロフォン２０を省略することができる。

【符号の説明】

【0066】

１０…車両、１１…前部座席、１１Ｒ…運転席、１１Ｌ…助手席、１２…後部座席、１２Ｆ…二列目シート、１２Ｂ…三列目シート、１３…カメラ、１４…形状センサ、１５…集音部、１６…ナビゲーションシステム、１７…モニター、１８…スピーカー、１９…発話スイッチ、２０…マイクロフォン、２１…電子制御装置、２２…通信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】