特許 7547979 車両用ハンズフリー制御装置、及び車両用ハンズフリー制御装置が実行する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】車両用ハンズフリー制御装置、及び車両用ハンズフリー制御装置が実行する方法

(51)【国際特許分類】

   H04M 1/00 20060101AFI20240903BHJP

   H04W 4/48 20180101ALI20240903BHJP

   H04W 84/10 20090101ALI20240903BHJP

【ＦＩ】

H04M1/00 Q

H04W4/48

H04W84/10 110

【請求項の数】 4

(21)【出願番号】P 2020206569

(22)【出願日】2020-12-14

(65)【公開番号】P2022093856

(43)【公開日】2022-06-24

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】小磯 久

【審査官】山中 実

(56)【参考文献】

【文献】特開２００９－２８４４４２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３５０３６６（ＵＳ，Ａ１）

【文献】特開２０１１－１１４７４１（ＪＰ，Ａ）

【文献】特開２０１４－００４８６０（ＪＰ，Ａ）

【文献】再公表特許第２００５／０６９６７５（ＪＰ，Ａ１）

【文献】特開２０１１－１３５１２２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１７２９９０（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１５１０８８６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｍ １／００

Ｈ０４Ｗ ４／４８

Ｈ０４Ｗ ８４／１０

(57)【特許請求の範囲】

【請求項1】

車両用ハンズフリー制御装置であって、
車両の車室内を撮影し、撮影した映像を前記車両用ハンズフリー制御装置に出力するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、当該搭乗者の搭乗位置を特定する搭乗者検出部と、
搭乗者と、搭乗者が所持する携帯端末に関する情報を紐付けて登録したユーザリストを参照して、前記搭乗者検出部が識別した搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断するとともに、前記車両の無線キーまでの距離を推定する判断部と、
前記判断部が前記近距離無線通信で接続可能な状態にあると判断した携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定する決定部と、
前記決定部が決定した携帯端末と本車両用ハンズフリー制御装置を、前記近距離無線通信で接続し、前記車両の運転席に搭乗している搭乗者の携帯端末と前記近距離無線通信で接続している状態において、前記搭乗者検出部が、前記車両の運転者を識別できなくなった場合でも、前記運転者が所持する前記車両の無線キーまでの距離が設定値以下の場合は、前記運転者の携帯端末との接続を継続する通信制御部と、
を備える、車両用ハンズフリー制御装置。

【請求項2】

前記決定部は、前記車両内の搭乗者が着座している座席において優先度が最も高い座席に座っている搭乗者に紐付けられている携帯端末を、前記近距離無線通信で接続する携帯端末に決定する、
請求項１に記載の車両用ハンズフリー制御装置。

【請求項3】

前記近距離無線通信で接続している携帯端末の機能を、前記車両用ハンズフリー制御装置側から制御する機能制御部をさらに備え、
前記機能制御部は、制御する携帯端末の機能を、前記搭乗者検出部が検出した搭乗者の搭乗位置によって変更する、
請求項１または２に記載の車両用ハンズフリー制御装置。

【請求項4】

車両用ハンズフリー制御装置が実行する車両用ハンズフリー制御方法であって、
車両の車室内を撮影し、撮影した映像を前記車両用ハンズフリー制御装置に出力するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、当該搭乗者の搭乗位置を特定するステップと、
搭乗者と、搭乗者が所持する携帯端末に関する情報を紐付けて登録したユーザリストを参照して、識別された搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断するとともに、前記車両の無線キーまでの距離を推定するステップと、
前記近距離無線通信で接続可能な状態にあると判断された携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定するステップと、
決定された携帯端末と本車両用ハンズフリー制御装置を、前記近距離無線通信で接続し、前記車両の運転席に搭乗している搭乗者の携帯端末と前記近距離無線通信で接続している状態において、前記車両の運転者を識別できなくなった場合でも、前記運転者が所持する前記車両の無線キーまでの距離が設定値以下の場合は、前記運転者の携帯端末との接続を継続するステップと、
が実行される。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮影された映像が入力される車両用ハンズフリー制御装置、及び車両用ハンズフリー制御装置が実行する方法に関する。

【背景技術】

【0002】

自動車の運転中に、運転者が携帯端末（主に、スマートフォン、フィーチャーフォン）を手に持って通話等に使用することは法律や条例で禁止されている。この対策として、携帯端末と、車両側のハンズフリー対応機器を近距離無線通信で接続し、ハンズフリーで通話や操作を行う方法が利用されている。

【0003】

通常、ハンズフリー用の車両側の機器は、直近の最後に接続していた携帯端末に自動接続するように設定されている。したがって、前回の運転者と別の運転者が運転する場合は、自動接続されず、新たな運転者の携帯端末を選択する操作が必要であった。また、新たな運転者が気付かずに運転していると、ハンズフリー機能が使用できない不便さがあった。

【0004】

これに対して、ユーザの顔情報と携帯端末の識別情報を関連付けているテーブルを参照して、運転席カメラで撮影された運転者の顔を識別することにより、携帯端末との接続を自動確立する手法が提案されている（例えば、特許文献１参照）。なお、この運転席カメラでは、運転者以外の同乗者を含む車室内全体を撮影することはできない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－０４２５７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、運転者が一時的に降車した場合、車両側のハンズフリー対応機器の接続先が、運転者の携帯端末から、同乗者の携帯端末に切り替わると便利である。

【0007】

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、車両内における、携帯端末を所持している搭乗者の利便性を向上させる技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本実施形態のある態様の車両用ハンズフリー制御装置は、車両の車室内を撮影し、撮影した映像を前記車両用ハンズフリー制御装置に出力するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、当該搭乗者の搭乗位置を特定する搭乗者検出部と、搭乗者と、搭乗者が所持する携帯端末に関する情報を紐付けて登録したユーザリストを参照して、前記搭乗者検出部が識別した搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断するとともに、前記車両の無線キーまでの距離を推定する判断部と、前記判断部が前記近距離無線通信で接続可能な状態にあると判断した携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定する決定部と、前記決定部が決定した携帯端末と本車両用ハンズフリー制御装置を、前記近距離無線通信で接続し、前記車両の運転席に搭乗している搭乗者の携帯端末と前記近距離無線通信で接続している状態において、前記搭乗者検出部が、前記車両の運転者を識別できなくなった場合でも、前記運転者が所持する前記車両の無線キーまでの距離が設定値以下の場合は、前記運転者の携帯端末との接続を継続する通信制御部と、を備える。

【0009】

本実施形態の別の態様は、車両用ハンズフリー制御装置が実行する車両用ハンズフリー制御方法である。この方法は、車両の車室内を撮影し、撮影した映像を前記車両用ハンズフリー制御装置に出力するカメラが撮影した映像から、前記車両に搭乗している搭乗者を識別するとともに、当該搭乗者の搭乗位置を特定するステップと、搭乗者と、搭乗者が所持する携帯端末に関する情報を紐付けて登録したユーザリストを参照して、識別された搭乗者に紐付けられている携帯端末が、近距離無線通信で接続可能な状態にあるか否かを判断するとともに、前記車両の無線キーまでの距離を推定するステップと、前記近距離無線通信で接続可能な状態にあると判断された携帯端末が複数存在する場合、当該複数の携帯端末に紐付けられている複数の搭乗者の搭乗位置に基づいて、前記近距離無線通信で接続する携帯端末を決定するステップと、決定された携帯端末と本車両用ハンズフリー制御装置を、前記近距離無線通信で接続し、前記車両の運転席に搭乗している搭乗者の携帯端末と前記近距離無線通信で接続している状態において、前記車両の運転者を識別できなくなった場合でも、前記運転者が所持する前記車両の無線キーまでの距離が設定値以下の場合は、前記運転者の携帯端末との接続を継続するステップと、が実行される。

【0010】

なお、以上の構成要素の任意の組合せ、本実施形態の表現を装置、方法、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本実施形態の態様として有効である。

【発明の効果】

【0011】

本実施形態によれば、車両内における、携帯端末を所持している搭乗者の利便性を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】車両内におけるカメラの設置例を示す図である。

【図2】実施の形態に係る車両用ハンズフリー制御システムの構成例を説明するための図である。

【図3】ユーザリスト保持部に保持されるユーザリストの一例を示す図である。

【図4】車両内の搭乗者と搭乗位置の検出例を示す図である。

【図5】実施例１に係る車両用ハンズフリー制御装置の顔認証処理の流れを示すフローチャートである。

【図6】実施例２に係る車両用ハンズフリー制御装置の顔認証処理の流れを示すフローチャートである。

【図7】実施例２の変形例に係る車両用ハンズフリー制御装置の顔認証処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0013】

本実施の形態は、車両の搭乗者が所持する携帯端末のハンズフリー機能を実現するための車両用ハンズフリー制御システムに関する。実施の形態に係る車両用ハンズフリー制御システムでは、運転席だけでなく、助手席や後部座席を含む車室内を広範囲に撮影するカメラを使用する。

【0014】

図１は、車両Ｃ１内におけるカメラ２０の設置例を示す図である。図１に示す例ではカメラ２０がルームミラーに取り付けられている。カメラ２０は、ドライブレコーダや車室内モニタリングシステム（In-Cabin Monitoring System）で使用されるカメラを転用してもよいし、ハンズフリー制御システム専用のカメラを用意してもよい。

【0015】

図２は、実施の形態に係る車両用ハンズフリー制御システム１の構成例を説明するための図である。車両用ハンズフリー制御システム１は、車両用ハンズフリー制御装置１０、カメラ２０、マイク３０、スピーカ４０、モニタ５０及び操作部６０を備える。

【0016】

カメラ２０は車室内を撮影し、撮影した映像を車両用ハンズフリー制御装置１０に出力する。カメラ２０は可視光カメラであってもよいし、赤外線カメラであってもよい。また、可視光域と赤外域の両方を撮影可能なカメラであってもよい。

【0017】

カメラ２０は、レンズ、撮像素子、信号処理回路を備える。撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサを使用することができる。撮像素子は、レンズを介して入射される光を、電気的な映像信号に変換し、信号処理回路に出力する。赤外線映像を撮影する場合、赤外域に感度を有する撮像素子が使用される。信号処理回路は、撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去等の信号処理を施し、車両用ハンズフリー制御装置１０に出力する。

【0018】

車両用ハンズフリー制御装置１０は、処理部１１、記憶部１２、無線通信部１３及び車内通信部１４を備える。車両用ハンズフリー制御装置１０は専用の筐体内に実装されてもよいし、カーナビゲーションシステム、ディスプレイオーディオ、ドライブレコーダ、又は車室内モニタリングシステムの一機能として組み込まれていてもよい。

【0019】

処理部１１は、画像認識部１１１、登録部１１２、搭乗者検出部１１３、判断部１１４、決定部１１５、通信制御部１１６及び機能制御部１１７を含む。処理部１１の機能は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

【0020】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性の記録媒体を含んで構成され、ユーザリスト保持部１２１を含む。ユーザリスト保持部１２１は、車両の搭乗者の顔認証データと、搭乗者が所持する携帯端末２に関する情報を紐付けて登録したリストである。ユーザリストには、運転免許証を所持している人物に限らず、運転免許証を所持しない人物も登録可能である。

【0021】

図３は、ユーザリスト保持部１２１に保持されるユーザリストの一例を示す図である。図３に示すユーザリストには登録者ごとに、顔認証データと携帯端末２に関する情報が紐付けられて登録されている。携帯端末２に関する情報として、携帯端末２の名前と接続状態とＡＶソースが登録されている。接続状態として、ハンズフリー通話の使用／不使用、音楽の自動再生の有無、映像の自動再生の有無、データ通信の使用／不使用が登録されている。データ通信の使用／不使用は、車両用ハンズフリー制御装置１０が、携帯端末２を通じて携帯電話網（４Ｇ／５Ｇ）を使用したデータ通信を行うか否かを規定している。例えば、データ通信を使用して、音楽や映像のストリーミング再生を行うことができる。

【0022】

ＡＶソースは、音楽再生が有り又は映像再生が有りの場合の、音楽データまたは映像データの供給源を示す。例えば、ＡＶソースとして、携帯端末２に記憶されている音楽ファイルや映像ファイルを使用することができる。また、カーナビゲーションシステムやディスプレイオーディオに搭載されたチューナで受信されたラジオ放送やテレビ放送を使用することができる。また、カーナビゲーションシステムやディスプレイオーディオに挿入されたＣＤ／ＤＶＤに記録された音声ファイルや映像ファイルを使用することができる。

【0023】

また登録者ごとに、ＡＶ環境以外の車内環境を登録することもできる。例えば、運転席又は助手席に座った場合のシートポジション、エアコン状態等を登録することができる。エアコン状態として、冷房、暖房、送風の切り替え、設定温度等を登録することができる。さらに車内環境として、サイドミラーの位置等を登録することもできる。

【0024】

図２に戻る。画像認識部１１１はカメラ２０から入力される映像のフレーム画像内において、人物の顔検出用の識別器を用いて人物の顔を探索する。顔検出用の識別器には、人物の顔が映った多数の画像を学習して生成された辞書データが使用される。顔の認識には例えば、Haar-like特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量等を用いることができる。

【0025】

登録部１１２は、搭乗者の顔認証データと携帯端末２に関する情報をユーザリストに登録する。ユーザリストへの登録を希望する搭乗者は、前部座席に座った状態で、操作部６０を操作して登録モードを起動させる。登録モードが起動すると、登録部１１２は画像認識部１１１に、フレーム画像内で検出した搭乗者の顔領域の特徴量を抽出して、当該搭乗者を識別するための顔認証データを生成するよう指示する。

【0026】

登録部１１２は、画像認識部１１１から当該搭乗者の顔認証データを取得すると、通信制御部１１６に、当該搭乗者が所持する携帯端末２とのペアリング処理を開始させる。車両用ハンズフリー制御装置１０と携帯端末２は近距離無線通信で接続することができる。近距離無線通信として、Bluetooth（登録商標）やＷｉ－Ｆｉ（登録商標）を使用することができる。以下、本実施の形態ではBluetoothを使用する例を想定する。

【0027】

登録部１１２は、スピーカ４０及びモニタ５０の少なくとも一方から、携帯端末２のペアリング手続きをガイダンスする。まず登録部１１２は、Bluetooth機能をオンにするようにガイダンスする。登録部１１２は、通信制御部１１６に指示して無線通信部１３から、自己の存在を周囲に通知するための信号（例えば、アドバタイズパケット）を送信させる。携帯端末２が当該信号をスキャンすると、携帯端末２の画面に車両用ハンズフリー制御装置１０が接続可能デバイスとして表示される。当該画面内において当該搭乗者が車両用ハンズフリー制御装置１０を選択すると、携帯端末２と車両用ハンズフリー制御装置１０間でペアリング処理が実行される。ペアリング処理では、両者の間の通信データの暗号化に使用する暗号鍵の交換が行われる。

【0028】

携帯端末２とのペアリングが完了すると、登録部１１２は、通信制御部１１６を介して、携帯端末２の名前と識別情報を取得する。携帯端末２の名前は、ユーザにとって分かりやすい名前であることが好ましい。例えば、当該搭乗者が携帯端末２内の各種サービスで使用しているユーザアカウント名を使用してもよい。なお、携帯端末２から取得された名前が分かりにくい名前であった場合、当該搭乗者は操作部６０から携帯端末２の名前を編集することができる。

【0029】

当該搭乗者は操作部６０から、上述した接続状態の設定項目を入力する。登録部１１２は、顔認証データと携帯端末の名前と接続状態の各項目を紐付けて、ユーザリスト保持部１２１内のユーザリストに登録する。なお、当該搭乗者は上述した車内環境の設定項目を入力することもできる。その場合、車内環境の各項目も紐付けて登録される。

【0030】

搭乗者検出部１１３は、カメラ２０から入力される映像内から、車両Ｃ１に搭乗している搭乗者の顔を識別する。具体的には搭乗者検出部１１３は、画像認識部１１１によりフレーム画像内で検出された搭乗者の顔の特徴データと、ユーザリストに登録されている複数の顔認証データを照合して、搭乗者の顔を特定する。

【0031】

搭乗者検出部１１３は、車両Ｃ１に搭乗している少なくとも一人の搭乗者の搭乗位置を特定する。具体的には搭乗者検出部１１３は搭乗者ごとに、搭乗位置が運転席、助手席、右後部席、左後部席、後部中央席のいずれであるかを特定する。

【0032】

図４は、車両Ｃ１内の搭乗者と搭乗位置の検出例を示す図である。図４に示すフレーム画像Ｆ１内において、画像認識部１１１は、運転席搭乗者用の検出領域Ａ１内において人物の顔を検出すると運転席に搭乗者が存在すると認識する。同様に画像認識部１１１は、助手席搭乗用の検出領域Ａ２内において人物の顔を検出すると助手席に搭乗者が存在すると認識する。同様に画像認識部１１１は、右後部席搭乗用の検出領域Ａ３内において人物の顔を検出すると右後部席に搭乗者が存在すると認識する。同様に画像認識部１１１は、左後部席搭乗用の検出領域Ａ４内において人物の顔を検出すると左後部席に搭乗者が存在すると認識する。なお、図４に示す車室内には存在しないが、後部中央席が存在する車両の場合、後部中央席搭乗用の検出領域も設定される。

【0033】

図２に戻る。判断部１１４は、搭乗者検出部１１３が識別した搭乗者の顔に紐付けられている携帯端末２が、近距離無線通信で接続可能な状態にあるか否かを判断する。通信制御部１１６が当該携帯端末２を接続可能デバイスとして認識している場合、判断部１１４は当該携帯端末２を接続可能な状態にあると判断する。識別した搭乗者が携帯端末２を携帯していない場合、携帯端末２の電源がオフになっている場合、またはBluetooth機能がオフになっている場合、判断部１１４当該携帯端末２を接続可能な状態にないと判断する。

【0034】

判断部１１４が接続可能な状態にあると判断した携帯端末２が複数存在する場合（即ち、複数の搭乗者がいる場合）、決定部１１５は、当該複数の携帯端末２に紐付けられている複数の顔認証データで特定される複数の搭乗者の搭乗位置に基づいて、接続する携帯端末２を決定する。具体的には決定部１１５は、搭乗者が着座している座席において優先順位が最も高い座席に座っている搭乗者の顔認証データに紐付けられている携帯端末２を、接続する携帯端末２に決定する。

【0035】

例えば、座席の優先順位は運転席：１、助手席：２、右後部席：３、左後部席：４に設定される。この例では、運転者が降車した場合、助手席に座っている搭乗者の携帯端末２が車両用ハンズフリー制御装置１０に接続されることになる。なお、座席の優先順位は設定変更可能である。例えば、役職の高い人物が右後部席に座る場合、優先順位を右後部席：１に設定してもよい。

【0036】

無線通信部１３はアンテナを含み、近距離無線通信方式で携帯端末２と信号を送受信する。車内通信部１４は、車載ネットワーク３に接続するための通信処理を実行する。車載ネットワーク３として、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、Ｅｔｈｅｒｎｅｔ（登録商標）等を使用することができる。車載ネットワーク３には、エンジンや補機を制御するための各種のＥＣＵ(Electronic Control Unit)４が接続される。例えば、シートポジションの位置を制御するためのＥＣＵも接続される。また、車載ネットワーク３には、車両Ｃ１内のエアコンディショナシステムの制御部も接続可能である。

【0037】

図２に示す例では車載ネットワーク３に、無線キーシステムの受信機５ｂが接続されている。受信機５ｂは、運転者が所持する無線キー（スマートキー、インテリジェンスキー、リモートコントロールキー等とも呼称される）５ａから無線信号を受信するための受信機である。

【0038】

通信制御部１１６は無線通信部１３を制御して、携帯端末２とのペアリング処理、ペアリング済みの携帯端末２との接続／切断処理、ペアリング済みの機器の管理等を行う。また通信制御部１１６は車内通信部１４を制御して、車載ネットワーク３に接続された各種ＥＣＵ４や機器との間で制御信号を送受信する。

【0039】

機能制御部１１７は、車両用ハンズフリー制御システム１の各種機能（例えば、ハンズフリー通話機能、音声再生機能、映像再生機能等）を制御する。機能制御部１１７は、近距離無線通信で接続している携帯端末２内の機能も制御することができる。

【0040】

マイク３０は、車両Ｃ１内の音を収集して機能制御部１１７に出力する。本実施の形態では、ハンズフリー通話に使用することができる。マイク３０は、車両Ｃ１内に複数設置されてもよい。例えば、前部座席と後部座席にそれぞれ１つ設置されてもよいし、座席ごとに設置されてもよい。なお、少なくとも１つのマイク３０は、カーナビゲーションシステム、ディスプレイオーディオ、ドライブレコーダ、又は車室内モニタリングシステムのマイクを転用したものであってもよい。

【0041】

スピーカ４０は、機能制御部１１７から供給される音声データを再生して出力する。本実施の形態では、ハンズフリー通話に使用することができる。スピーカ４０は、車両Ｃ１内に複数設置されてもよい。例えば、前部座席と後部座席にそれぞれ１つ設置されてもよいし、座席ごとに設置されてもよい。なお、少なくとも１つのスピーカ４０は、カーナビゲーションシステム、ディスプレイオーディオ、カーオーディオシステム、ドライブレコーダ、または車室内モニタリングシステムのスピーカを転用したものであってもよい。

【0042】

モニタ５０は、機能制御部１１７から供給される映像データを再生して表示する。モニタ５０には、液晶ディスプレイ、有機ＥＬディスプレイ、ミニＬＥＤディスプレイ等を使用することができる。モニタ５０は、車両Ｃ１内に複数設置されてもよい。例えば、前部座席と後部座席にそれぞれ１つ設置されてもよいし、座席ごとに設置されてもよい。なお、少なくとも１つのモニタ５０は、カーナビゲーションシステム、ディスプレイオーディオ、ドライブレコーダ、または車室内モニタリングシステムのモニタを転用したものであってもよい。

【0043】

（実施例１）
図５は、実施例１に係る車両用ハンズフリー制御装置１０の顔認証処理の流れを示すフローチャートである。実施例１は、車両Ｃ１内に運転者のみが搭乗している場合の例である。処理部１１は、カメラ２０で撮影された車室内の映像を取得する（Ｓ１０）。画像認識部１１１は、取得された映像のフレーム画像内から運転席の位置に映っている搭乗者の顔を検出する（Ｓ１１）。

【0044】

搭乗者検出部１１３は、検出された搭乗者の顔の特徴データと、ユーザリストに登録されている複数の顔認証データを照合する（Ｓ１２）。ユーザリスト内に一致する顔認証データが存在しない場合（Ｓ１３：Ｎｏ）、顔認証処理を終了する。ユーザリスト内に一致する顔認証データが存在する場合（Ｓ１３：Ｙｅｓ）、判断部１１４はユーザリストを参照して、一致した顔認証データに紐付けられている携帯端末２を特定し、当該携帯端末２と接続するように通信制御部１１６に要求する。

【0045】

通信制御部１１６は当該要求を受けると、現在接続中の携帯端末２があるか否か確認する（Ｓ１４）。現在接続中の携帯端末２がある場合（Ｓ１４：Ｙｅｓ）、通信制御部１１６は現在接続中の携帯端末２との通信を切断する（Ｓ１５）。現在接続中の携帯端末２がない場合（Ｓ１４：Ｎｏ）、ステップＳ１５の処理はスキップされる。通信制御部１１６は、判断部１１４から要求された携帯端末２と接続する（Ｓ１６）。

【0046】

判断部１１４は、ユーザリストを参照し、必要に応じて機能制御部１１７に対してＡＶソースの切り換え要求を行う。機能制御部１１７は、ＡＶソースの切り換え要求を受けると、その要求に応じてＡＶソースを切り換える。機能制御部１１７は、切り換え後のＡＶソースから音声データ又は映像データを取得して、スピーカ４０から音声を出力させる、又はモニタ５０に映像を表示させる。

【0047】

上記図３に示す例では、登録者Ｎｏ．１の登録情報は、携帯端末名：ＡＡＡ、ハンズフリー通話：使用、音楽再生：有り、映像再生：無し、データ通信：使用、ＡＶソース：携帯端末２である。搭乗者Ｎｏ．２の登録情報は、携帯端末名：ＢＢＢ、ハンズフリー通話：使用、音楽再生：無し、映像再生：有り、データ通信：不使用、ＡＶソース：テレビ放送である。

【0048】

運転者が、登録者Ｎｏ．１から登録者Ｎｏ．２に入れ替わると、搭乗者検出部１１３は、画像内において運転席の位置に映っている搭乗者の顔の特徴データと、顔認証データ：ＦＲ０００２との一致を確認する。判断部１１４は、通信制御部１１６に携帯端末ＡＡＡと切断し、携帯端末ＢＢＢと接続するように要求する。携帯端末ＢＢＢと接続後、機能制御部１１７は、ＡＶソースを携帯端末２からテレビ放送に切り換える。機能制御部１１７は、運転席のシートポジションを登録者Ｎｏ．２用のポジションに切り換える。機能制御部１１７は、エアコンの設定を登録者Ｎｏ．２用の設定に切り換える。

【0049】

機能制御部１１７は通信制御部１１６を介して、新たに接続が確立した携帯端末２の機能を制御することができる。例えば機能制御部１１７は、当該携帯端末２のサウンドモードをサイレントモードに切り替えることができる。

【0050】

図５の処理の開始は任意のタイミングで開始されてもよいが、例えば、車両Ｃ１のエンジン始動などによって車両用ハンズフリー制御装置１０に電力が供給されたときに開始する。また、車両用ハンズフリー制御装置１０に電力が供給されている期間は、ステップＳ１０からステップＳ１２の処理を定期的に実行し、運転席の位置に映っている搭乗者が変更したことを検出する。

【0051】

（実施例２）
図６は、実施例２に係る車両用ハンズフリー制御装置１０の顔認証処理の流れを示すフローチャートである。以下の説明では、車両Ｃ１をある店の駐車場に停車させ、運転者がその店に入るため、運転者が車両Ｃ１から離れる場面を想定する。

【0052】

処理部１１は、カメラ２０で撮影された車室内の映像を取得する（Ｓ２０）。画像認識部１１１は、取得された映像のフレーム画像内から運転者の不在を検出すると（Ｓ２１：Ｙｅｓ）、画像内に、照合していない他の搭乗者の顔が存在するか否か判定する（Ｓ２３）。照合していない他の搭乗者の顔が存在しない場合（Ｓ２３：Ｎｏ）、顔認証処理を終了する。つまり、運転中の携帯端末２との通信可能な状態が維持される。

【0053】

照合していない他の搭乗者の顔が存在する場合（Ｓ２３：Ｙｅｓ）、画像認識部１１１は、画像内から次に優先度が高い座席の位置に映っている搭乗者の顔を特定する（Ｓ２４）。搭乗者検出部１１３は、特定された搭乗者の顔の特徴データと、ユーザリストに登録されている複数の顔認証データを照合する（Ｓ２５）。

【0054】

ユーザリスト内に一致する顔認証データが存在しない場合（Ｓ２６：Ｎｏ）、ステップＳ２３に遷移し、画像認識部１１１は、画像内から次に優先度が高い座席の位置に映っている搭乗者の顔を特定する（Ｓ２４）。例えば、座席の優先度が、運転席：１、助手席：２、右後部席：３、左後部席：４に設定されている場合、運転者が不在になると、助手席→右後部席→左後部席の順で搭乗者の顔を照合する。

【0055】

ステップＳ２６において、ユーザリスト内に一致する顔認証データが存在する場合（Ｓ２６：Ｙｅｓ）、判断部１１４はユーザリストを参照して、一致した顔認証データに紐付けられている携帯端末２を特定し、当該携帯端末２と接続するように通信制御部１１６に要求する。通信制御部１１６は当該要求を受けると、現在接続中の運転者の携帯端末２との通信を切断し（Ｓ２７）、要求された携帯端末２と接続する（Ｓ２８）。ステップＳ２７の処理は、運転者の携帯端末２が近距離無線通信による通信可能範囲外にあり通信が切断されている場合はスキップされる。機能制御部１１７は、ユーザリストを参照して、顔認証された搭乗者の設定環境に切り換える。例えば、助手席又は後部座席に座っている搭乗者が、車両Ｃ１の外にいる運転者の携帯端末２からの着信に対して、ハンズフリーで応答することができる。

【0056】

なお、マイク３０が車両Ｃ１内に複数設置されている場合、機能制御部１１７は、ハンズフリー通話の際、新たに接続された携帯端末２を所持する搭乗者が座っている座席に最も近い位置に設置されたマイク３０から車両Ｃ１内の話者音声を取得する。同様に、スピーカ４０が車両Ｃ１内に複数設置されている場合、機能制御部１１７は、ハンズフリー通話の際、当該座席に最も近い位置に設置されたスピーカ４０から相手方の話者音声を出力する。

【0057】

機能制御部１１７は通信制御部１１６を介して、新たに接続が確立した携帯端末２の機能を制御することができる。例えば機能制御部１１７は、当該携帯端末２のサウンドモードをサイレントモードに切り替えることができる。

【0058】

（実施例２の変形例）
図７は、実施例２の変形例に係る車両用ハンズフリー制御装置１０の顔認証処理の流れを示すフローチャートである。図６に示したフローチャートでは、運転者が車両Ｃ１から降り、運転者が不在になる状況の例を説明した。この状況から、降りた運転者がすぐに運転席に戻ってくる場合もある。例えば、運転者が一旦降りて、トランクから荷物を降ろし、すぐに戻ってくるケース等が考えられる。

【0059】

図７に示す変形例に係るフローチャートでは、図６に示したフローチャートに対して、ステップＳ２２が追加される。画像認識部１１１が運転者の不在を検出すると（Ｓ２１：Ｙｅｓ）、判断部１１４は車内通信部１４を介して、受信機５ｂが無線キー５ａから受信した電波の電波強度を取得する。判断部１１４は、取得した電波強度から受信機５ｂと無線キー５ａとの間の距離を推定する。

【0060】

判断部１１４は、推定した無線キー５ａまでの距離と設定値を比較する（Ｓ２２）。無線キー５ａまでの距離が設定値を超える場合（Ｓ２２：Ｙｅｓ）、ステップＳ２３に遷移し、図６と同様に処理する。無線キー５ａまでの距離が設定値を超える場合には、受信機５ｂが無線キー５ａからの電波を受信できない場合も含む。無線キー５ａまでの距離が設定値以下の場合（Ｓ２２：Ｎｏ）、接続する携帯端末２の切り替えを行わず、運転者の携帯端末２との接続を維持する。

【0061】

図７に示す例では、運転者の不在が検出された後、接続する携帯端末２の切り替え処理が発動される条件として、無線キー５ａまでの距離が設定値を超えることを使用した。この点、当該切り替え処理の発動条件として、運転者の不在が検出されてから設定時間が経過したことを使用してもよい。また、当該切り替え処理の発動条件として、両者のＡＮＤ条件を使用してもよい。また、当該切り替え処理の発動条件として、車両用ハンズフリー制御装置１０から運転者が所持する携帯端末２までの距離が設定値を超えることを使用してもよい。また、当該切り替え処理の発動条件として、運転者が所持する携帯端末２までの距離が設定値を超えることと、運転者の不在が検出されてから設定時間が経過したことのＡＮＤ条件を使用してもよい。

【0062】

運転者の携帯端末２のバッテリ切れ、何らかの不具合、操作ミス等により、運転者が運転席に座っている状態でも、当該携帯端末２と車両用ハンズフリー制御装置１０間の通信が途切れる場合がある。この場合、画像認識部１１１による運転者の不在を条件とせずに、通信制御部１１６が運転者の携帯端末２との通信不能を検出すると、ステップＳ２３以下の接続する携帯端末２の切り替え処理が発動されてもよい。

【0063】

以上説明したように本実施の形態によれば、車両Ｃ１内における、携帯端末２を所持している搭乗者の利便性を向上させることができる。具体的には、前回の運転者にかかわらず、今回の運転者の携帯端末２に自動接続でき、煩わしさが低減される。家族間や同僚間等で運転者が入れ替わる時にも、新たな運転者の携帯端末２に自動接続できる。また、運転者が車両Ｃ１から離れた場合でも、次に優先度の高い座席に座っている搭乗者の携帯端末２に自動接続でき、車両側のハンズフリー機能を有効活用できる。また、顔認証データの登録時に、携帯端末２内で使用されているユーザアカウント名を自動で入力できる。

【0064】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0065】

上述した実施の形態では、機能制御部１１７が通信制御部１１６を介して、新たに接続が確立した携帯端末２のサウンドモードをサイレントモードに切り替える例を説明した。この点、機能制御部１１７は、制御する携帯端末２の機能を、搭乗者検出部１１３が検出した搭乗者の搭乗位置によって変更してもよい。例えば、機能制御部１１７は、運転席に座っている搭乗者の携帯端末２のサウンドモードはサイレントモードに切り替え、運転席以外に座っている搭乗者の携帯端末２のサウンドモードは設定を維持してもよい。

【0066】

また上述した実施の形態では、画像認識部１１１はカメラ２０から入力される映像のフレーム画像内において人物の顔を検出した。この点、画像内に映った個人を識別するために、顔以外の生体情報を認証対象としてもよい。例えば、生体情報として画像内に映った虹彩を使用してもよい。また、搭乗者が手のひらをカメラ２０にかざすことにより、画像内に映った指紋や静脈を生体情報として使用してもよい。

【0067】

また上述した実施の形態では、携帯端末２として通話機能を有するスマートフォン、フィーチャーフォンを想定した。この点、携帯端末２には、通話機能を有しないタブレット、携帯型音楽プレーヤ、携帯型ゲーム機等も含まれる。ハンズフリー機能が使用できない場合でも、これらの携帯端末２と近距離無線通信で接続することにより、これらの携帯端末２をＡＶソースとして使用することができる。

【符号の説明】

【0068】

Ｃ１ 車両、 １ 車両用ハンズフリー制御システム、 ２ 携帯端末、 ３ 車載ネットワーク、 ４ ＥＣＵ、 ５ａ 無線キー、 ５ｂ 受信機、 １０ 車両用ハンズフリー制御装置、 １１ 処理部、 １１１ 画像認識部、 １１２ 登録部、 １１３ 搭乗者検出部、 １１４ 判断部、 １１５ 決定部、 １１６ 通信制御部、 １１７ 機能制御部、 １２ 記憶部、 １２１ ユーザリスト保持部、 １３ 無線通信部、 １４ 車内通信部、 ２０ カメラ、 ３０ マイク、 ４０ スピーカ、 ５０ モニタ、 ６０ 操作部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】