特許 6284331 会話支援装置、会話支援方法及び会話支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6284331

(24)【登録日】2018年2月9日

(45)【発行日】2018年2月28日

(54)【発明の名称】会話支援装置、会話支援方法及び会話支援プログラム

(51)【国際特許分類】

   B60R 11/02 20060101AFI20180215BHJP

   H04R 3/12 20060101ALI20180215BHJP

【ＦＩ】

   B60R11/02 M

   B60R11/02 S

   H04R3/12 A

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2013-206680(P2013-206680)

(22)【出願日】2013年10月1日

(65)【公開番号】特開2015-71320(P2015-71320A)

(43)【公開日】2015年4月16日

【審査請求日】2016年8月4日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】山下 宏一

【審査官】 菅 和幸

(56)【参考文献】

【文献】 特開２００８−１２０２６２（ＪＰ，Ａ）

【文献】 特開２０１２−０２５２７０（ＪＰ，Ａ）

【文献】 特開２００９−１０７６０３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０１５２５６２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １１／０２

Ｈ０４Ｒ ３／１２

(57)【特許請求の範囲】

【請求項1】

搭乗者間の会話を支援する会話支援装置であって、
前部座席の搭乗者の視線、または顔の向きを検知する検知手段と、
音声を入力する音声入力部と、前記音声入力部で入力された音声を出力する音声出力部とを備えた音声モジュールと、
前記検知手段の検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定手段と、
各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御手段とを有し、
前記判定手段は、運転者の視線または顔がルームミラーに向けられ、かつ前部座席または後部座席の音声モジュールにおいて音声が入力されたとき、会話動作があると判定し、
前記判定手段により会話動作があると判定されたとき、前記制御手段は、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しない、会話支援装置。

【請求項2】

前記会話支援装置はさらに、搭乗者が存在する座席を判別する判別手段を有し、前記制御手段は、前記判別手段によって判別された座席の音声モジュールへ音声データを転送する、請求項１に記載の会話支援装置。

【請求項3】

前記検知手段は、運転者の顔を撮像する撮像カメラを含み、前記判定手段は、前記撮像カメラからの画像データに基づき会話動作の有無を判定する、請求項１または２に記載の会話支援装置。

【請求項4】

搭乗者間の会話を支援する会話支援方法であって、
前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、
音声モジュールにより音声を入力する音声入力ステップと、
前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、
前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、
各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、
前記判定ステップは、運転者の視線または顔がルームミラーに向けられ、かつ前部座席または後部座席の音声モジュールにおいて音声が入力されたとき、会話動作があると判定し、
前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しない、会話支援方法。

【請求項5】

搭乗者間の会話を支援するため、車載装置において実行される会話支援プログラムであって、
前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、
音声モジュールにより音声を入力する音声入力ステップと、
前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、
前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、
各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、
前記判定ステップは、運転者の視線または顔がルームミラーに向けられ、かつ前部座席または後部座席の音声モジュールにおいて音声が入力されたとき、会話動作があると判定し、
前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しない、会話支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車内環境において、搭乗者の会話を支援する機能を備えた会話支援装置に関し、特に、前部座席の搭乗者の音声を後部座席に出力する会話支援機能を備えた車載装置に関する。

【背景技術】

【0002】

車内環境において、搭乗者同士が会話しているとき、ロードノイズや乗車位置の関係より、相手の声が聞き取り難いことがある。そこで、車載装置は、各座席など複数の位置に配置された車内マイクやスピーカを用いて、お互いの会話が聞き取れるよう支援する会話支援機能を備える。この会話支援機能は、例えば、前部搭乗者の音声を車内マイクにより取得し、その音声のボリュームなどを調整して後部座席に出力するものである。これにより、ユーザーは、ロードノイズにより掻き消されてしまう音声や、後部座席の搭乗者にとって聞き取り難い、前部座席の搭乗者の音声を聞き取ることができ、搭乗者は車内環境においても支障なく会話を楽しむことができる。

【0003】

特許文献１は、車内での会話が適切に行われるようにするため、会話相手を選択することで、搭乗者の音声を相手側のスピーカに出力することができる車室内音場制御システムに関する技術を開示している。特許文献２は、スピーカから出力する各席乗員の音声を、マイク音量と座席位置によって、直接音量とスピーカ音量との和が全乗員同一となるように制御することができる各席乗員情報呈示システムに関する技術を開示している。特許文献３は、車室内に配置された複数の座席に着座した乗員間で支障なく会話することができる車両用会話支援装置に関する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−１６１８７３号公報

【特許文献2】特開平１１−３５５７４８号公報

【特許文献3】特開平１１−３４２７９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記したように、車両に搭載された車載装置には、搭乗者間の会話を支援するため、会話支援機能を備えているが、従来の会話支援機能では、運転者と助手席の搭乗者との間の会話であっても、その音声が後部座席に出力されてしまうため、後部座席の搭乗者にとっては煩わしく感じてしまうことがあった。特に、後部座席の搭乗者同士が会話している場合には、前部座席の搭乗者同士の会話がスピーカから出力されるとノイズになってしまい、不快に感じてしまう。一方、会話する相手を選択可能な会話機能もあるが、これは、ユーザー操作による指示を必要とするため、走行中の場合、運転者にとっては注意力が散乱し、運転作業の妨げになってしまう。

【0006】

本発明は、このような従来の課題を解決し、前部座席の搭乗者による音声を適切に後部座席の搭乗者へ出力することができる会話支援装置、会話支援方法及び会話支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る会話支援装置は、前部座席の搭乗者の視線、または顔の向きを検知する検知手段と、音声を入力する音声入力部と、前記音声入力部で入力された音声を出力する音声出力部とを備えた音声モジュールと、前記検知手段の検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定手段と、各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御手段とを有し、前記判定手段により会話動作があると判定されたとき、前記制御手段は、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しないことで、搭乗者間の会話を支援することができる。

【0008】

好ましくは、前記会話支援装置はさらに、搭乗者が存在する座席を判別する判別手段を有し、前記制御手段は、前記判別手段によって判別された座席の音声モジュールへ音声データを転送する。

【0009】

好ましくは、前記検知手段は、運転者の顔を撮像する撮像カメラを含み、前記判定手段は、前記撮像カメラからの画像データに基づき会話動作の有無を判定する。前記判定手段は、運転者の視線がルームミラーに向けられたとき、会話動作があると判定する。

【0010】

本発明に係る会話支援方法は、前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、音声モジュールにより音声を入力する音声入力ステップと、前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しないことで、搭乗者間の会話を支援することができる。

【0011】

本発明に係る会話支援プログラムは、車載装置において実行され、前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、音声モジュールにより音声を入力する音声入力ステップと、前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しないことで、搭乗者間の会話を支援することができる。

【発明の効果】

【0012】

本発明によれば、前部座席の搭乗者による視線や顔の向きを検知することで、前部座席と後部座席の搭乗者間による会話動作の有無を判定することができる。そして、会話動作があると判定されたとき、前部座席の搭乗者による音声が後部座席で出力されるように音声データの転送を制御することで、前部座席と後部座席との搭乗者間で会話する場面でのみ会話支援が実行され、それ以外の場面では、会話支援機能による弊害を回避することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施例に係る車載装置における各デバイスの配置構成を示す図である。

【図2】車載装置の本体部と各デバイスとの接続関係を示す図である。

【図3】本発明の実施例に係る車載装置の一構成例を示すブロック図である。

【図4】本発明の実施例に係る会話支援プログラムの機能的な構成を示すブロック図である。

【図5】本実施例に係る車載装置の会話支援動作を説明するフローチャートである。

【発明を実施するための形態】

【0014】

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る会話支援装置は、好ましい実施態様では、車載装置において実現される。車載装置は、車内環境において、搭乗者間の会話を支援する会話支援機能を利用し、前部座席の搭乗者の視線、または顔の向きを検知することで、前部座席の搭乗者から後部座席の搭乗者への会話動作を自動的に判定することができ、前部座席の搭乗者同士の会話の場合には、音声を後部座席に出力しないように制御することができる。

【0015】

車載装置は、概して車両に搭載された電子装置であり、会話支援機能以外に、種々の機能を搭載することができる。例えば、車載装置は、オーディオデータやビデオデータを再生する機能、目的地までの経路を案内するナビゲーション機能、ドライバーの居眠りを防止する機能、テレビ／ラジオ放送を受信する機能、インターネットなどのネットワークに接続する通信機能などを搭載することができる。さらに車載装置は、種々のデバイス、例えば、車載用カメラ、ハンズフリー用の車内マイクや車載用スピーカなどを本体部に接続可能であり、好ましい態様では、本体部と外部デバイスとは、Ｂｌｕｅｔｏｏｔｈ等の無線通信によって接続される。ハンズフリー機能は、車載装置への音声入出力を可能にし、その際、音声入出力は、車内マイクや車載用スピーカを介して行われる。

【0016】

車載装置の好ましい実施態様では、車載用カメラは、ルームミラーや各搭乗者と対向するような位置に配置され、ルームミラーへの視線や後部座席の搭乗者と話す際の顔の向きなどを検知することができる。また、音声モジュールは、車両の各座席に対応するように配置され、車内マイクは、当該座席に座る搭乗者の音声をハンズフリー機能により取得する。また、車載用スピーカは、会話相手となる搭乗者に聞こえるように、例えば、後部座席に音声データを出力することができる。車載用カメラ、車内マイクや車載用スピーカなどのデバイスは、無線に限らず、有線により本体部に接続されてもよい。

【0017】

また、車載装置は、音声処理機能を有し、車内マイクを介して取得した音声データからロードノイズを除去することともに、音声認識処理を行い、搭乗者の発話にかかる音声データのみを抽出することができる。

【実施例】

【0018】

次に、本発明の実施例に係る車載装置による会話支援機能の概要について説明する。例えば、運転者と後部座席にいる搭乗者とが会話する際、乗車位置の関係より、後部座席にいる搭乗者にとって、運転者が話す言葉が聞き取り難いという問題がある。このような場面で、車載装置の会話支援機能は、運転者が発する音声を車内マイクにより取得し、その音声を後部座席にあるスピーカから出力させることができる。

【0019】

但し、運転者と助手席の搭乗者との会話が後部座席方向に出力されてしまうと、後部座席にいる者にとっては、却って煩わしく感じることもある。そこで、本発明に係る車載装置では、運転者が、後部座席にいる搭乗者に話しかけるようなしぐさ（会話動作）を検知したとき、会話の支援が実行される。

【0020】

車載装置は、好ましい態様では、例えば、運転者がルームミラー越しに後部座席の搭乗者を見る視線を検知したり、運転者が後部座席の搭乗者に話しかけるように顔をやや後ろ側に傾けるような顔の向きを検知し、これにより、運転者と後部座席との搭乗者間による会話が成されていると判定し、運転者による音声を、後部座席方向に出力する。

【0021】

図１は、本実施例の車載装置における各デバイスの配置構成を示す図である。本実施例に係る車載装置１０は、同図に示すように、車両２０の内部に搭載された電子装置であって、中央前方にある本体部４０と、その本体部４０に接続され、運転者の視線や顔の向きを検出する車載カメラ６０と、各座席Ａ〜Ｄに対応するように配置された複数の音声モジュール８０ａ〜８０ｄとを含んで構成される。好ましい態様では、各座席には重量センサが取付けられ、重量センサの出力が本体部４０へ提供される。そして、本体部４０において、搭乗者が存在している座席が認識される。

【0022】

図２は、本体部４０と各デバイスとの接続関係を示す図である。本体部４０は、その前面にタッチパネル４２を備え、例えば、メニューや周辺地図などの各種画面を表示するとともに、タッチ操作によるユーザー入力を受け各種設定を行うことができる。本体部４０には、ルームミラー６２などに取り付けられた車載カメラ６０と、各座席Ａ〜Ｄに対応するように配置された音声モジュール８０ａ〜８０ｄとが接続されている。音声モジュール８０ａ〜８０ｄは、それぞれ車内マイク８２ａ〜８２ｄと車載用スピーカ８４ａ〜８４ｄとを備え、各モジュールは、後述するように無線通信等によって本体部４０に接続される。また、各モジュールには、スピーカからのボリュームを調整するための操作部が取付けられる。

【0023】

本体部４０と音声モジュール８０ａ〜８０ｄ間の接続には、好ましくは、Ｂｌｕｅｔｏｏｔｈ（登録商標）のＢＴ ＨＳＰ（Headset Profile）が用いられる。ＢＴ ＨＳＰは、接続した機器同士間での音声データの送受信を可能にするプロファイルであって、このプロファイルが本体部４０および各音声モジュール８０ａ〜８０ｄによってサポートされ、本体部４０は、当該プロファイルに従い各モジュール８０間の音声データの転送を制御する。すなわち、本体部４０は、マイク８２ａ〜８２ｄから入力された音声データをどのスピーカから出力させるかの転送制御を行う。好ましい態様では、本体部４０は、運転者の動作から運転者の会話の方向を自動的に判定し、後部座席の搭乗者への会話であると判定された場合には、運転者の音声データが後部座席のスピーカから出力され、そのような会話でないと判定された場合には、運転者の音声データが後部座席のスピーカから出力されないようにする。

【0024】

図３は、車載装置１０の一構成例を示すブロック図である。車載装置１０は、運転者の動作をモニタリングする車載カメラ６０、搭乗者の音声を取得したり、その音声を後部座席方向に出力する音声モジュール８０（８０ａ〜８０ｄ）、ＣＤ、ＤＶＤ、ブルーレイディスク、ハードディスク装置などに格納されたオーディオデータやビデオデータを再生したり、デジタルテレビ放送、ＡＭ／ＦＭラジオ放送などを受信するマルチメディア再生部１００、自車位置周辺の道路地図を表示したり、目的地までの誘導経路を案内するナビゲーション部１０２、外部のネットワーク等とデータ通信を行うことを可能にする通信部１０４、プログラムやデータ等を記憶する記憶部１０６、音声や画像等を出力する出力部１０８、ユーザー操作や音声等を入力する入力部１１０、マイクロコントローラやマイクロプロセッサ等を含みプログラムを実行することで各部を制御する制御部１２０を含んで構成される。また、制御部１２０は、上記したように重量センサ（搭乗者センサ）の検出結果を受け取り、この検出結果に基づき、搭乗者が存在している座席を識別する。なお、ここに示される構成は例示であり、車載装置１０は、このような構成に限定されるものではない。

【0025】

車載カメラ６０は、運転者の視線方向や顔の向きをモニタリングするため、例えば、図１に示すように、フロントの上部中央にあるルームミラー６２に取り付けられ、運転者の顔を撮像している。本実施例では、前部座席ＡまたはＢに座る運転者が、後部座席ＣおよびＤに座る搭乗者に話しかける際の前部搭乗者のしぐさ（会話動作）を検出するために車載カメラ６０を利用するが、視線や顔の向き等を検出可能なものであれば、他のセンサであってもよい。さらに、視線や顔の向きが検出可能であれば、車載カメラ６０の取り付け位置は必ずしもルームミラー６２に限らず、フロントガラス、メーターや計器類を含むインスツルメンツパネル、本体部４２などに取付けられてもよい。さらに、車載カメラ６０は、少なくとも座席数に応じて、複数台用意してもよい。一方、取得された画像データは、制御部１２０により視線方向や顔の向きなどを検知するため画像解析が行われる。画像データは、会話支援機能以外に、運転者の居眠り防止機能にも利用される。

【0026】

音声モジュール８０は、搭乗者の音声を取得する車内マイク８２と、車内マイク８２から取得された音声データを出力する車載用スピーカ８４とを含み、各音声モジュール８０ａ〜８０ｄは、図１に示すように、各座席Ａ〜Ｄにそれぞれ配置され、無線より制御部１２０に接続される。制御部１２０は、ＢＴ ＨＳＰによる接続において、各音声モジュール８０ａ〜８０ｄのデバイスを識別し、音声モジュール間における音声データの送受を制御する。好ましい態様では、制御部１２０は、運転者の会話動作に基づき運転者から後部座席の搭乗者への会話の方向を自動的に判定し、運転者の車内マイク８２ａにより取得した音声データを、搭乗者が着座している後部座席用のスピーカ８４ｃまたは８４ｄから出力させる。

【0027】

通信部１０４は、音声モジュール８０の間で音声データの入出力を可能にするための接続手段として、例えばＢｌｕｅｔｏｏｔｈモジュール(以下、ＢＴモジュールと略す)を含んで構成される。ＢＴモジュールには、例えば、ＨＳＰなどのプロファイルが含まれており、音声モジュール８０と制御部１２０間の音声データの送受信を可能にする。

【0028】

制御部１２０は、記憶部１０６から読み出された各種プログラムに従い、各部の機能を制御する。ここでは、その中の１つである会話支援プログラムを制御部１２０が実行したときの音声データの処理を説明する。

【0029】

図４は、会話支援プログラム１４０の機能的な構成を示す図である。会話支援プログラム１４０は、同図に示すように、運転者の視線、または顔の向きをモニタリングするための車載カメラ６０から画像データを取得する画像データ取得部１４２と、車内マイク８２から入力された音声データを取得する音声データ取得部１４４と、取得した音声データからノイズをカットするとともに、搭乗者の発話にかかる音声データを抽出する処理を行う音声処理部と１４６と、音声処理された音声データを選択された車載用スピーカ８４から出力させる音声データ出力部１４８と、画像データ取得部１４２により取得した画像データに基づき、運転者が後部座席の搭乗者に話しかける会話動作があるか否かを判定する会話動作判定部１５０と、会話動作判定部１５０の判定結果に基づき音声データ出力部１４８を制御する出力制御部１５２とを備えている。

【0030】

画像データ取得部１４２は、車載カメラ６０によって撮像された運転者の画像データを取得し、それを会話動作判定部１５０に提供する。好ましい態様では、画像データ取得部１４２は、撮像された画像データの中から運転者の顔の部分、または視線の部分の画像データをトリミングして会話動作判定部１５０へ提供するようにしてもよい。この場合、トリミングする範囲は予め設定される。

【0031】

音声処理部１４６は、車両のエンジン音、道路とタイヤの摩擦音、走行による風切り音などのロードノイズをカットするフィルタ機能を有し、取得した音声データからロードノイズを除去することができる。また、音声処理部１４６は、音声認識機能を有し、取得した音声データから、搭乗者の発話に係る音声データのみを抽出することができる。音声データ出力部１５０は、音声処理部１４６により音声処理された音声データを選択された音声モジュール８０から出力させることができる。

【0032】

会話動作判定部１５０は、画像データ取得部１４２により取得した運転者の画像データを画像解析し、運転者が後部座席の搭乗者に話しかける動作をしたか否かを判定することができる。例えば、運転者が後部座席の搭乗者に話しかける際、ルームミラー越しに、相手を見るような行為を行う傾向がある。あるいは運転者は、後部座席の搭乗者に話しかける際、後部座席方向に顔を向ける傾向がある。会話動作判定部１５０は、このような運転者のしぐさ（会話動作）に基づき、前部座席から後部座席への会話の方向を判定する。

【0033】

なお、運転者による会話の有無の判定条件には、運転者による発話の有無を含めるようにしてもよい。この場合、会話動作判定部１５０は、運転者の座席の音声モジュール８０から音声データが入力されたことを、前提条件とし、そのような音声データが入力されていない場合には、運転者の視線や顔の変化があったとしても、運転者から後部座席の搭乗者への会話がないものと判定するようにしてもよい。

【0034】

さらに、運転者の視線や顔の変化の他に、会話開始のサイン（動作）を予め決定しておき、当該サインを判定条件としてもよい。例えば、運転者がウインクを複数回行う行為、運転者が口を開ける行為、または運転者が眉毛を動かす行為などをサインにしてもよい。

【0035】

出力制御部１５２は、会話動作判定部１５０による会話動作があるか否かの判定に応じて、音声データ出力部１４８による出力を制御する。運転者による後部座席の搭乗者への会話動作があると判定されたとき、音声データ出力部１４８は、運転者の座席に対応する音声モジュール８０ａの車内マイク８２ａから入力された音声データを後部座席の搭乗者に対応する音声モジュール８０ｃまたは８０ｄのスピーカ８４ｃまたは８４ｄから出力させる。

【0036】

次に、本発明の実施例における車載装置の会話支援動作について図面を参照して説明する。図５は、車載装置による会話支援動作を説明するフローチャートである。

【0037】

車載装置の電源がオンされることで、会話支援機能が起動される（Ｓ２００）。会話支援機能が起動されると、制御部１２０は、記憶部１０６より会話支援プログラム１４０を読み出し、当該会話支援プログラム１４０に従い各部を制御する。会話支援機能を有効にするか否かはユーザー設定が可能であり、予め有効と設定されている場合には、車載装置１０の電源投入と同時に起動される。また、車載装置の電源がオンにされた後、ユーザーの指示に従い、会話支援機能を起動してもよい。

【0038】

会話支援機能が起動されると、画像データ取得部１４２は、車載カメラ６０から出力される画像データを取得する（Ｓ２０１）。画像データは、運転者の動作をモニタリングするためのものであり、運転者の顔の画像を含む。会話動作判定部１５０は、取得した画像データを画像解析し、画像データの中から運転者の視線または顔を認識し、運転者の視線、または顔の向きを検知する（Ｓ２０２）。

【0039】

次に、会話動作判定部１５０は、その運転者の視線または顔の向きの変化に応じて、後部座席の搭乗者に話しかけるような会話動作であるか否かを判定する（Ｓ２０３）。例えば、会話動作判定部１５０は、運転者の視線がルームミラー越しに後部座席の搭乗者を確認する方向に一定角度以上変化されたとき、または、後部座席に話しかけるように顔の向きが一定角度変化されたとき、後部座席の搭乗者への会話動作が発生したと判定する。

【0040】

会話動作判定部１５０は、後部座席の搭乗者への会話動作の発生の判定条件として、運転者の座席の音声モジュールにおいて音声が入力されたこと、あるいは搭乗者の後部座席の音声モジュールにおいて音声が入力されたことを加重要件としてもよい。

【0041】

会話動作判定部１５０により会話動作がないと判定された場合には、出力制御部１５２は、運転者の座席の音声モジュールからの音声データが音声データ取得部１４４によって取得された場合であっても、後部座席の音声モジュールから音声データが出力されないように音声データ出力部１４８を制御する（Ｓ２０４）。

【0042】

例えば、音声データ出力部１４８は、運転者の音声モジュールからの音声データの転送を停止する。あるいは、出力制御部１５２は、搭乗者が存在する後部座席の音声モジュールのスピーカがミュートされるような制御信号を出力するようにしてもよい。これにより、後部座席の搭乗者は、自分に無関係な会話の支援を受けないので、大きな不快を感じることはない。

【0043】

一方、会話動作判定部１５０により会話動作があると判定された場合には、音声データ取得部１４４によって取得された運転者の音声データが音声処理部１４６によって処理された後、当該音声データは、出力制御部１５２によって搭乗者の後部座席に対応する音声モジュールに転送され、そこから音声出力される（Ｓ２０５）。これにより、後部座席の搭乗者は、会話支援された運転者の音声を聞くことができる。

【0044】

このように本実施例によれば、運転者の視線や顔の向きを検知することで、運転者と後部座席の搭乗者間による会話動作の有無を自動的に判定し、会話動作があると判定されたときに、運転者の音声を後部座席から出力させるようにしたので、後部座席の搭乗者は、自分に関係のある会話の支援を受けることができる。また、運転者は、後部座席の搭乗者との会話であることを指示する必要がないため、安全に運転を行うことができる。

【0045】

上記実施例では、運転者が後部座席の搭乗者への会話を支援する例を説明したが、本発明は、運転者に限らず、前部座席の搭乗者、例えば助手席の搭乗者にも適用することができる。さらに上記実施例では、４人乗りの車両に車載装置を搭載した例を説明したが、これに限らず、複数の座席が前後に配列されるようなバスや航空機などに搭載してもよい。その場合、前部座席とは、最前列にある座席に限らず、後部座席に対して相対的に前方にある座席であればよい。

【0046】

さらに上記実施例では、重量センサにより搭乗者の有無を判定するようにしたが、これに限らず、車内を撮像する撮像カメラからの画像データやシートベルトの着用センサの出力信号に基づき搭乗者の有無を判定してもよい。さらに、搭乗者の乗車位置データを作成し、出力制御部は、乗車位置データに基づき会話支援を行うことができる。

【0047】

本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形・変更が可能である。

【符号の説明】

【0048】

１０：車載装置 ２０：車両
４０：本体部 ４２：タッチパネル
６０：車載カメラ ６２：ルームミラー
８０（ａ〜ｄ）：音声モジュール ８２（ａ〜ｄ）：車内マイク
８４（ａ〜ｄ）：車載用スピーカ １００：マルチメディア再生部
１０２：ナビゲーション部 １０４：通信部
１０６：記憶部 １０８：出力部
１１０：入力部 １２０：制御部
１４０：会話支援プログラム １４２：画像データ取得部
１４４：音声データ取得部 １４６：音声処理部
１４８：音声データ出力部 １５０：会話動作判定部
１５２：出力制御部

【図1】

【図2】

【図3】

【図4】

【図5】