特許 6839722 選択画像データ表示を有する車両表示

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6839722

(24)【登録日】2021年2月17日

(45)【発行日】2021年3月10日

(54)【発明の名称】選択画像データ表示を有する車両表示

(51)【国際特許分類】

   B60R 11/02 20060101AFI20210301BHJP

   B60R 1/00 20060101ALI20210301BHJP

   G02F 1/133 20060101ALI20210301BHJP

   G06T 7/00 20170101ALI20210301BHJP

   G06T 7/20 20170101ALI20210301BHJP

   B60K 35/00 20060101ALI20210301BHJP

   G02F 1/13 20060101ALI20210301BHJP

【ＦＩ】

   B60R11/02 C

   B60R11/02 M

   B60R1/00 A

   G02F1/133 505

   G06T7/00 650Z

   G06T7/20 300

   B60K35/00 Z

   G02F1/13 505

【請求項の数】13

【全頁数】13

(21)【出願番号】特願2018-560472(P2018-560472)

(86)(22)【出願日】2017年5月24日

(65)【公表番号】特表2019-523726(P2019-523726A)

(43)【公表日】2019年8月29日

(86)【国際出願番号】US2017034228

(87)【国際公開番号】WO2017205490

(87)【国際公開日】20171130

【審査請求日】2018年11月16日

(31)【優先権主張番号】62/340,697

(32)【優先日】2016年5月24日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500115826

【氏名又は名称】ジェンテックス コーポレイション

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】ボストロム デイヴィッド エム

(72)【発明者】

【氏名】スマイヤーズ マルク エイ

【審査官】 菅 和幸

(56)【参考文献】

【文献】 特開２００８−０４２３９０（ＪＰ，Ａ）

【文献】 特開２００９−０８３７９１（ＪＰ，Ａ）

【文献】 特開２００７−１６８６７０（ＪＰ，Ａ）

【文献】 特開２０１４−２２３８８７（ＪＰ，Ａ）

【文献】 特開２００７−０５３５１３（ＪＰ，Ａ）

【文献】 特開２０１３−００９２７８（ＪＰ，Ａ）

【文献】 特開２０１１−１１６２１９（ＪＰ，Ａ）

【文献】 特開２０１６−０３０４７８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００８５１２１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １１／０２

Ｂ６０Ｋ ３５／００

Ｂ６０Ｒ １／００

Ｇ０２Ｆ １／１３３

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ０２Ｆ １／１３

(57)【特許請求の範囲】

【請求項1】

車両用の表示システムであって、
前記車両の乗客スペース内に配置され、画面を含む表示デバイスと、
前記車両から後方に向けられた視界に対応する第１の画像データを取り込むように構成された第１の撮像装置と、
前記車両の乗客スペースの視界に対応する第２の画像データを取り込むように構成された第２の撮像装置と、
前記乗客スペースからの音声を検知するように構成された少なくとも１つのマイクと、 コントローラであって、
前記第１の画像データを前記画面の第１の部分に表示し、
乗員の発言の検知に応答して、前記発言が起きた前記乗客スペースの前記領域内の前記第２の画像データを取り込むために前記第２の撮像装置をアクティブにし、
前記乗員の顔面領域を識別する前記第２の画像データを処理し、
前記乗員の前記顔面領域に焦点を合わせてトリミングされた画像データを生成する前記第２の画像データをトリミングし、
前記顔面領域を含む前記第２の画像データを前記画面の第２の部分に選択的に表示するよう構成されたコントローラと、を含む、車両用の表示システム。

【請求項2】

前記少なくとも１つのマイクは、前記発言が起きた前記乗客スペースの領域を識別するように構成されたマイクアレイを含む、請求項１に記載の表示システム。

【請求項3】

前記コントローラはさらに、
前記乗員の前記発言が終了してから所定時間が経過した後に、前記画面の前記第２の部分の前記第２の画像データの表示を終了するように構成される、請求項１〜２のいずれか１項に記載の表示システム。

【請求項4】

車両用の表示システムであって、
前記車両の乗客スペース内に配置され、画面を含む表示デバイスと、
前記車両から後方に向けられた視界に対応する第１の画像データを取り込むように構成された第１の撮像装置と、
前記車両の乗客スペースの視界に対応する第２の画像データを取り込むように構成された第２の撮像装置と、
前記車両の乗員に対応する音声を検知するように構成された少なくとも一つのマイクと、
コントローラであって、
前記第１の画像データを前記画面の第１の部分に表示し、
前記乗員の前記音声の検知に応答して、前記音声が起きた前記乗客スペースの前記領域内の前記第２の画像データを取り込むために前記第２の撮像装置をアクティブにし、
表示プロンプトを前記第２の画像データ内で識別される前記車両の乗員の１つまたは複数の特徴の動きとして識別するために前記第２の画像データを処理し、
前記表示プロンプトの検知に応答して、前記乗員の前記１つまたは複数の特徴を含む前記第２の画像データの一部を前記画面の第２の部分に選択的に表示するよう構成されたコントローラと、を含む、車両用の表示システム。

【請求項5】

前記画面の前記第２の部分は、前記第１の部分の上に重ね合わされた表示ウィンドウに対応する、請求項４に記載の表示システム。

【請求項6】

前記コントローラはさらに、
前記表示プロンプトを識別するために、前記第２の画像データ内の乗員のジェスチャおよび動きの少なくとも１つを検知するように構成される、請求項４に記載の表示システム。

【請求項7】

前記コントローラはさらに、
前記第２の画像データで識別された前記乗員の顔面領域を識別してトリミングし、前記顔面領域を前記第２の部分に表示するように構成される、請求項４に記載の表示システム。

【請求項8】

前記コントローラはさらに、
前記第２の画像データ内の動物の動きを検知し、前記表示プロンプトを識別するように構成される、請求項４に記載の表示システム。

【請求項9】

前記コントローラはさらに、
前記第２の画像データで識別された動物の顔面領域を識別してトリミングし、前記第２の部分に前記顔面領域を表示するように構成される、請求項４に記載の表示システム。

【請求項10】

車両用の表示装置であって、
前記車両の乗客スペース内に配置され、画面を含む表示デバイスと、
前記車両から後方に向けられた視界に対応する第１の画像データを取り込むように構成された第１の撮像装置と、
前記車両の乗客スペースの視界に対応する第２の画像データを取り込むように構成された第２の撮像装置と、
前記車両の乗員に対応する音声を検知するように構成された少なくとも一つのマイクと、
コントローラであって、
前記第１の画像データを前記画面の第１の部分に表示し、
前記乗員の前記音声の検知に応答して、前記音声が起きた前記乗客スペースの領域内の前記第２の画像データを取り込むために前記第２の撮像装置をアクティブにし、
表示プロンプトを前記第２の画像データ内で識別される前記車両の乗員の１つまたは複数の特徴の動きとして識別するために前記第２の画像データを処理し、
前記第２の画像データで識別された所定の動き閾値を超える前記動きを検知することに応答して、前記第２の画像データを前記画面の第２の部分に選択的に表示するよう構成されたコントローラと、を含む、車両用の表示装置。

【請求項11】

前記１つまたは複数の特徴は、前記乗員の顔面領域を含む、請求項１０に記載の表示装置。

【請求項12】

前記所定の動き閾値は、前記第２の画像データの複数の連続フレームにわたって所定の距離を超えて移動する前記顔面領域の顔面特徴を含む、請求項１１に記載の表示装置。

【請求項13】

前記コントローラはさらに、
前記顔面特徴の前記動きが所定期間検知されなくなるまで前記顔面領域を前記第２の部分に表示し続けるように構成される、請求項１に記載の表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、車両用の表示システムに関し、より具体的には、車両からの後方視界を提供する表示システムに関する。

【背景技術】

【0002】

車両用の表示システムは、様々な利点を提供し得る。現在のディスプレイ技術は、自動車のディスプレイに有益ないくつかの特徴を提供しない可能性がある。本明細書に紹介された表示システムは、様々な改良を提供する。

【発明の概要】

【0003】

本開示の一態様によれば、車両用の表示システムが開示される。表示システムは、車両の乗客スペース内に配置された表示デバイスを含む。表示デバイスは画面を含む。表示システムは、車両から後方に向けられた視界に対応する第１の画像データを取り込むように構成された第１の撮像装置と、車両の乗客スペースの視界に対応する第２の画像データを取り込むように構成された第２の撮像装置とをさらに含む。表示システムのコントローラは、第１の画像データを画面の第１の部分に表示し、表示プロンプトまたは刺激の検知に応答して第２の画像データを画面の第２の部分に選択的に表示するように構成される。

【0004】

本開示の別の態様によれば、車両用の表示システムが開示される。このシステムは、車両の乗客スペース内に配置された画面を含む表示デバイスを含む。このシステムは、第１の撮像装置および第２の撮像装置をさらに含む。第１の撮像装置は、車両から後方に向けられた視界に対応する第１の画像データを取り込むように構成される。第２の撮像装置は、車両の乗客スペースの視界に対応する第２の画像データを取り込むように構成される。システムはさらに、乗客スペースからの音声を検知するように構成された少なくとも１つのマイクと、コントローラとを含む。コントローラは、第１の画像データを画面の第１の部分に表示し、音声の検知に応答して第２の画像データを画面の第２の部分に選択的に表示するように構成される。音声は、乗員の発言を含む。

【0005】

本開示のさらに別の態様によれば、車両用の表示システムが開示される。このシステムは、車両の乗客スペース内に配置された画面を含む表示デバイスを含む。このシステムは、第１の撮像装置および第２の撮像装置をさらに含む。第１の撮像装置は、車両から後方に向けられた視界に対応する第１の画像データを取り込むように構成される。第２の撮像装置は、車両の乗客スペースの視界に対応する第２の画像データを取り込むように構成される。システムはさらに、乗客スペースからの音声を検知するように構成された少なくとも１つのマイクと、コントローラとを含む。コントローラは、第１の画像データを画面の第１の部分に表示し、第２の画像データにおいて識別される所定の動き閾値を超える対象物の動きを検知することに応答して、第２の画像データを画面の第２の部分に選択的に表示するように構成される。

【0006】

本開示のこれらおよびその他の特徴、利点、および目的は、以下の明細書、特許請求の範囲、および添付図面を参照することにより、当業者によってさらに理解および認識がなされる。

【0007】

本開示は、詳細な説明および添付図面からより十分に理解されるであろう。

【図面の簡単な説明】

【0008】

【図1】図１は表示システムを含む車両の乗客スペースの斜視図である。

【図2】図２は車両の乗客の特徴を含む画像データを表示するように構成された表示デバイスを含む車両の正面図である。

【図3】図３は車両の乗客の特徴を含む画像データを表示するように構成された表示デバイスの詳細図である。

【図4】図４は、図３の表示システムの正面図であり、表示デバイスの音声検知の実施形態をさらに示す。

【図5】図５は、本開示による表示システムのブロック図である。

【発明を実施するための形態】

【0009】

図示した本発明の実施形態は、主に、画像センサシステムおよびその方法に関連する方法ステップと装置構成要素との組み合わせに主に属する。したがって、装置構成要素および方法ステップが説明されており、必要に応じて図面中の慣習的な符号により、本開示の実施形態の理解に関係のある特定の詳細のみを示すことで、当業者が容易に理解して本明細書中の説明の利益を得るであろう詳細な開示が不明瞭にならないようにする。さらに、説明および図面にある同様の数字は同様の要素を表す。

【0010】

この明細書では、関連する用語、例えば、第１および第２、上および下などは、１つの構成要素または動作を他の構成要素または動作と区別するために、単独で用いられるもので、そのような複数の構成要素または動作の間での実際の相互関係または順序を必ずしも要求または包含するものではない。用語「備える（“ｃｏｍｐｒｉｓｅｓ”、“ｃｏｍｐｒｉｓｉｎｇ”）」またはその用語の他のバリエーションは、列挙される複数の要素を含むプロセス、方法、物品、または装置がそれらの要素のみを含むものではなく、はっきりと列挙されていない、またはそのようなプロセス、方法、物品、もしくは装置にとって固有のものではない他の要素を含んでもよいように、非排他的包含を範囲とすることを意図している。

【0011】

図１、図２および図３を参照すると、表示システム１２を備えた車両１０が示される。様々な実施形態において、表示システム１２は、少なくとも１つの撮像装置１４を含むことができる。撮像装置１４は、複数の撮像装置１４に対応することができる。複数の撮像装置１４は、車両１０の乗客スペース１８の内部視界１７に対応する第１の画像データ１６ａを取り込むように構成された第１の撮像装置１４ａを含むことができる。複数の撮像装置１４は、車両１０に近接する外部領域２０に向けられたシーンに対応する第２の画像データ１６ｂを取り込むように構成された第２の撮像装置１４ｂをさらに含むことができる。例示的な実施形態では、外部領域２０は、車両１０の前方方向２２に対して後方に向けられた視界２１に対応することができる。

【0012】

撮像装置１４によって取り込まれた画像データ１６ａおよび１６ｂは、表示システム１２によって表示デバイス２４に表示されてもよい。いくつかの実施形態では、表示デバイス２４は、後方に向けられた視界２１の第２の画像データ１６ｂを示すように構成された後方視界表示デバイス２６に対応することができる。この構成では、表示システム１２は、車両１０の後方のシーンに対応して取り込まれた一連の画像を表示するように動作可能であってもよい。シーンは、第２の撮像装置１４ｂによって取り込まれ得る１つまたは複数の対象物、風景、道路の特徴、およびその他の視覚情報を含むことができる。本明細書で説明されるような撮像装置１４は、コントローラと通信することができ、画素情報の形で画像データ１６を取り込むように構成された画素アレイを含むことができる。本明細書で説明する様々な実施態様では、表示システム１２は、１つまたは複数の撮像装置１４によって取り込まれた画像データ１６を処理し、画像データ１６で識別された１つまたは複数の対象物３０の特徴２８または部分を表示するように構成することができる。

【0013】

例示的な実施形態では、表示システム１２は、表示デバイス２４の表示画面３２の第１の部分３２ａに画像データ１６ａを表示するように構成することができる。さらに、表示システム１２は、第２の画像データ１６ｂを表示画面３２の第２の部分３２ｂに表示するように構成することができる。第１の画像データ１６ａは、ピクチャーインピクチャー表示と同様に、第２の画像データ１６ｂ上の別の表示ウィンドウに重ね合わされてもよいし、分割されてもよい。前述したように、第１の画像データ１６ａは乗客スペース１８内のシーンに対応し、第２の画像データ１６ｂは外部領域２０のシーンに対応してもよい。動作中、第２の画像データ１６ｂは、第２の部分３２ｂ上に表示されて、後方に向けられた視界２１を見る際に車両１０の運転者または乗客３４を助けるように構成された後方視野操作情報を提供することができる。

【0014】

第１の画像データ１６ａおよび／または第２の画像データ１６ｂは、車両１０の動作中、表示画面３２に選択的に表示することができる。さらに、いくつかの実施形態では、第１の画像データ１６ａおよび／または第２の画像データ１６ｂは、画像データ１６内の特徴の検知またはイベントの識別の１つまたは複数に応答して、表示画面３２上に選択的に表示することができる。画像データ１６ａおよび／または１６ｂは、車両１０の１つまたは複数の入力信号または動作条件に応答して選択的に表示されてもよい。表示システム１２は、画像データ１６内の特徴またはイベントを識別するように構成されたコントローラ４０を含むことができる。さらに、コントローラ４０は、車両１０の１つまたは複数の入力信号または動作条件に応答して、画像データ１６ａおよび／または１６ｂを選択的に表示するように構成されてもよい。この構成では、表示システム１２は、様々な多様なアプリケーションのために画像データ１６を表示するために利用され得る柔軟な解決策を提供することができる。コントローラ４０については、図５を参照してさらに説明する。

【0015】

いくつかの実施形態では、コントローラ４０は、第１の撮像装置１４ａおよび／または第２の撮像装置１４ｂから受け取った画像データ１６を処理するように構成された１つまたは複数のプロセッサおよび／または制御回路を含むことができる。例えば、いくつかの実施形態では、コントローラ４０は、第１の撮像装置１４ａからの第１の画像データ１６ａを処理して、車両１０の乗客３４の表示プロンプト（例えば、ジェスチャ、動き、発言、または他の形態の入力または刺激）を識別することができる。コントローラ４０は、乗客３４の表示プロンプトの検知に応答して、表示システム１２を制御して、表示画面３２上の表示ウィンドウ４２に乗客３４の関心の一部分を表示することができる。関心の一部分は、表示ウィンドウ４２に表示するためにトリミングおよび／または他の方法で処理することができる、乗客３４の顔面領域４４に対応することができる。この構成では、表示システム１２は、コントローラ４０が表示プロンプトを識別することに応答して、画像データ１６ａの関心の一部分を選択的に表示するように構成することができる。ジェスチャ、動き、または発言として記述されるが、表示プロンプトは、コントローラ４０によって受信される様々な入力または刺激に対応し得る。したがって、表示システム１２は、コントローラ４０によって識別または受信された様々な入力に基づいて様々な表示機能を提供するように構成されてもよい。

【0016】

いくつかの実施形態では、コントローラ４０は、関心領域に焦点を当てた画像データ１６ａをトリミングするように動作可能である。関心領域は、画像データ１６ａに適用された顔認識プロセスに基づいてコントローラ４０によって識別され、それによって乗客３４または乗員の顔面領域４４を識別する。次に、識別された顔面領域４４は、コントローラ４０によってトリミングされて、乗員の顔面領域４４に焦点を当てたトリミングされた画像データ１６ａを生成することができる。このようにして、コントローラ４０は、表示ウィンドウ４２内の関連情報を実演し、乗客３４からの通信に関係しない追加情報の表示を制限するように動作可能である。

【0017】

本明細書で論じるように、乗客３４は、人（例えば、大人、子供）、動物（例えば、ペット）、および／または乗客スペース１８の任意の関心の対象物に対応することができる。本明細書で説明する撮像装置１４は、車両１０に関連して固定位置で示される。しかしながら、いくつかの実施形態では、撮像装置１４は、車両１０の様々な部分において柔軟に利用されてもよい。このような実施形態では、１つまたは複数の撮像装置１４は、コントローラ４０と（例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＷＩＦＩ（登録商標）、ＺＩＧＢＥＥ（登録商標）などを介して）無線で通信するように構成されてもよい。この構成では、コントローラ４０が視界内に配置された対象物の動きに対応する表示プロンプトを検知するように、１つまたは複数の撮像装置１４を車両１０に関連して、選択的に配置してもよい。

【0018】

いくつかの実施形態では、少なくとも１つの撮像装置１４は、第３の撮像装置１４ｃを含むことができる。用語、「第３」で指定されるが、第３の撮像装置１４ｃは、少なくとも１つの撮像装置１４に対応してもよく、または第１の撮像装置１４ａおよび／または第２の撮像装置１４ｂと任意の組み合わせで利用してもよい。例示的な実施形態では、第３の撮像装置１４ｃは、コントローラ４０と無線通信し、選択可能な視界４５の画像データを取り込むように選択的に配置されるように構成されてもよい。選択可能な視界４５は、１つまたは複数の関心対象物４７を含むように選択することができる。コントローラ４０は、第３の撮像装置１４ｃから受け取った画像データ内の１つまたは複数の関心対象物３０の動きを検知するように構成することができる。画像データにおける関心のある１つまたは複数の対象物３０の動きは、コントローラ４０によって検知されて、表示プロンプトを識別することができる。表示プロンプトに応答して、コントローラ４０は、１つまたは複数の関心対象物３０を表示ウィンドウ４２に選択的に表示することができる。

【0019】

本明細書で説明されるような関心対象物は、撮像装置１４の視界内に取り込まれた任意の対象物、シーン、または領域を指すことができる。例えば、関心対象物は、トレーラヒッチ４６ａ、荷室４６ｂ、燃料ドア４６ｃ、エンジン４６ｄ、車輪４６ｅ、車体下部４６ｆ、死角４６ｇ、または車両１０の任意の部分に対応することができる。いくつかの実施形態では、関心対象物は、領域４７に入る可能性のある対象物の動きについて監視され得る関心領域４７に対応し得る。例えば、いくつかの実施形態では、第３の撮像装置１４ｃは、車両１０の死角４６ｇに対応する画像データを取り込むように構成されてもよい。この構成では、コントローラ４０は、関心領域４７内の対象物の動きの検知に応答して、関心領域４７に入る対象物（例えば、近くの車両）を選択的に表示することができる。

【0020】

車両１０上に選択的に配置されるまたは位置されるように構成されたモジュール式または携帯型の無線設計を有するものとして説明したが、第３の撮像装置１４ｃは、車両１０に関連して固定位置に配置されてもよい。さらに、第１の撮像装置１４ａおよび／または第２の撮像装置１４ｂは、画像データ１６をコントローラ４０に無線で通信するように構成することができる。したがって、撮像装置１４は、車両１０の様々な部分に対応する情報を表示するために、様々なアプリケーションで利用されてもよい。撮像装置１４およびコントローラ４０に関するさらなる詳細は、図５を参照して説明される。

【0021】

さらに図２および図３を参照して、コントローラ４０は、表示プロンプトを、乗客３４の発言に対応する顔面特徴４６（例えば、口、顎、目など）の動きとして識別するように構成することができる。コントローラ４０は、画像データ１６ａ内の表示プロンプトの検知に応答して、乗客３４の顔面領域４４を表示デバイス２４に表示することができる。コントローラ４０は、顔面特徴４６の動きが所定時間検知されなくなるまで、１つまたは複数の顔面特徴４６の動きを検知し続け、顔面領域４４を表示ウィンドウ４２に表示することができる。例えば、コントローラ４０は、乗員の発言終了後、所定時間が経過した後に、乗客３４の顔面領域４４の画像データ１６ａの表示デバイス２４への表示を終了させてもよい。このようにして、コントローラ４０は、乗客３４が移動または話している間の時間的期間中に、顔面領域４４および表示ウィンドウ４２を選択的に表示することができる。

【0022】

表示プロンプトに対応するコントローラ４０によって検知された動きは、動き閾値を超える１つまたは複数の顔面特徴４６の検知された動きに対応することができる。コントローラ４０は、第１の撮像装置１４ａによって取り込まれた複数の連続するフレームにわたって所定の距離を超えて移動する１つまたは複数の顔面特徴４６に対応するピクセルデータの動きを識別することによって、検知された動きが動き閾値を超えたことを識別することができる。１つまたは複数の顔面特徴４６のこのような識別は、コントローラ４０が表示プロンプトをトリガし、所定時間、乗客３４の顔面領域４４を表示ウィンドウ４２に表示することができる。

【0023】

顔面領域４４が表示デバイス２４上に表示されると、コントローラ４０は、第１の画像データ１６ａを処理し続け、１つまたは複数の顔面特徴４６が動き閾値を超えて動き続けるかどうかを決定する。コントローラ４０は、第１の画像データ１６ａの顔面領域４４を所定時間（例えば、２秒、５秒など）表示ウィンドウ４２に表示し続けることができる。コントローラ４０が、動き閾値を超える１つまたは複数の顔面特徴４６の動きを検知した場合、コントローラ４０は、所定時間をリセットして、顔面領域４４を表示ウィンドウ４２に表示し続けることができる。コントローラ４０は、動き閾値を超えないで所定時間が経過するまで、顔面領域４４を表示し続けることができる。このようにして、コントローラ４０は、乗客３４が話している間に顔面領域４４を表示ウィンドウ４２に表示することができる。

【0024】

次に図４を参照し、いくつかの実施形態では、コントローラ４０は、車両１０の乗客３４に対応する発言またはノイズを検知するように構成された１つまたは複数のマイク５２を含むことができる。さらに、あるいは代わりに、そのような発言の検知は、表示プロンプトとしてコントローラ４０によって利用されてもよい。１つまたは複数のマイク５２は、ノイズまたは発言が起きた乗客スペース１８内の領域を検知するように動作可能なマイクアレイに対応することができる。例えば、コントローラ４０は、１つまたは複数のマイク５２から音声信号を受信するように構成されてもよい。音声信号に基づいて、コントローラ４０は、音声信号内のノイズが乗客スペース１８の複数の領域５４の１つに由来するかどうかを識別することができる。例えば、コントローラ４０は、ノイズが乗客スペース１８の第１の領域５４ａ、第２の領域５４ｂ、または第３の領域５４ｃに由来するかどうかを区別するように動作可能であってもよい。コントローラ４０は、この情報を利用して、表示ウィンドウ４２内の顔面領域４４の表示をアクティブにすることができる。いくつかの実施形態では、音声信号は、表示プロンプトを識別するために第１の画像データ１６ａと組み合わせて利用されてもよい。

【0025】

１つまたは複数のマイク５２は、ノイズが発生した乗客スペース１８の領域５４を区別するために、様々な検知方法を利用することができる。このような検知を可能にするために、コントローラ４０の１つまたは複数のプロセッサ６４は、１つまたは複数のマイク５２と通信するデジタル信号プロセッサ（ＤＳＰ）を含むことができる。ＤＳＰは、ノイズが発生した複数の領域５４の特定の領域を決定するために、ビームフォーミングおよび／またはポーラーステアリングを介してマイク５２またはマイクアレイからの音声信号を処理することができる。１つまたは複数のノイズが検知され得る領域の検知に関するさらなる詳細は、参照によりその全体が本明細書に組み込まれる、「車両用アクセサリマイク」と題する米国特許第７，４４７，３２０号に説明される。したがって、コントローラ４０は、乗客スペース１８内のノイズが発生した領域５４の表示を利用して、第１の画像データ１６ａを検索して顔面領域４４を表示デバイス２４に表示することができる。コントローラ４０は、領域５４に由来する動きまたは発言の検知の間中、顔面領域４４を表示し続けることができる。コントローラ４０は、前述したように、顔面領域４４を表示デバイス２４上に所定時間表示し続けることができる。

【0026】

１つまたは複数のマイクロホン５２は、表示デバイス２４に対応し得るバックミラーアセンブリ５６内に配置され得る。バックミラーアセンブリ５６は、表示モードとミラーモードでも動作するように構成することができる。表示モードにおいて、表示デバイス２４は、画像データ１６を表示画面３２上に表示するように構成することができる。さらに、いくつかの実施形態では、バックミラーアセンブリ５６は、電気光学またはエレクトロクロミックミラーアセンブリに対応することができる。したがって、本開示は、「カメラおよびユーザ指示によって取り込まれたビデオを表示するためのディスプレイを含む車両のバックミラーアセンブリ」と題する、米国特許第８，５８２，０５２号、６，８７０，６５５号、６，７３７，６３０号、６，５７２，２３３号、６，５５２，３２６号、６，４２０，８００号、６，４０７，４６８号、６，３４６，６９８号、６，１７０，９５６号、５，８８３，６０５号、および５，８２５，５２７号、および米国特許出願公開第２００９／００９６９３７号Ａ１に開示されるようなミラーディスプレイに対応することができる車両用表示画面３２を組み込むことができるが、すべては、Ｇｅｎｔｅｘ Ｃｏｒｐｏｒａｔｉｏｎに共通して譲渡されており、これらのすべては、その全体が参照により本明細書に組み込まれる。

【0027】

いくつかの実施形態では、コントローラ４０は、１つまたは複数のマイク５２を介して受信された音声認識に応答して、表示デバイスの１つまたは複数の機能を検知および制御するように動作可能である。この構成では、表示デバイス２４はハンズフリー動作を可能にするように構成することができる。コントローラ４０のＤＳＰは、様々な発言状況において、１つまたは複数のマイクによって受信された１つまたは複数の発言信号を処理することができる。ＤＳＰは、所望のまたは識別された空間的位置（すなわち、運転手または他の乗客が位置する場所）からの発言を処理することができる。複数のマイクへの発言信号の到着時間差を用いて、相反するノイズを狭めてフィルタリングすることができる。さらに、ＤＳＰは、音声信号をフィルタリングするために使用され得る基本周波数を含む人間の発言の格納された情報を含むことができる。その結果、コントローラ４０は、発言を含む可能性のある信号および周波数を処理し、表示デバイス２４またはコントローラ４０と通信する１つまたは複数のシステムの動作を制御するように構成された１つまたは複数のコマンドを識別するように構成することができる。

【0028】

バックミラーアセンブリ５６を参照して詳細に説明するが、１つまたは複数のマイク５２は、車両１０の様々な部分に配置されてもよい。例えば、１つまたは複数のマイク５２は、ヘッドライナー、ピラー、シート、ドアパネル、または車両１０の様々な部分に配置されてもよい。したがって、マイク５２は、特定の用途に適合するように車両１０に柔軟に配置されてもよい。

【0029】

本開示は、コントローラ４０が、顔面特徴４６の動きの検知および／または乗客スペース１８内のノイズが発生する領域５４の表示の検知の１つまたは複数を利用し、乗客スペース１８で話している乗客３４を識別することを提供する。この検知に基づいて、コントローラ４０は表示プロンプトを識別し、表示ウィンドウ４２に乗客スペース１８の第１の画像データ１６ａを表示することができる。さらに、コントローラ４０は、車両１０の動作を通じておよび／または様々な車両動作条件に応答して、第２の画像データ１６ｂを表示画面３２に表示することができる。したがって、表示システム１２は、車両１０の動作を補助するために、第１の画像データ１６ａおよび／または第２の画像データ１６ｂを選択的に表示することができる。

【0030】

次に図５を参照し、表示システム１２のブロック図が示される。撮像装置１４（例えば、第１の撮像装置１４ａおよび／または第２の撮像装置１４ｂ）は、コントローラ４０と通信して示される。撮像装置１４の画素アレイは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、例えばＣＭＯＳアクティブ画素センサ（ＡＰＳ）または電荷結合デバイス（ＣＣＤ）に対応することができる。画素アレイの各画素は、光センサ、光センサのアレイ、または光を取り込むように構成されたセンサの任意のグループに対応することができる。コントローラ４０は、撮像装置１４（単数または複数）からアナログまたはデジタル形式で供給される画像データを処理するように動作可能なプロセッサ６４を含むことができる。様々な実施形態において、プロセッサ６４は、複数のプロセッサ、マルチコアプロセッサ、またはプロセッサ、回路、および周辺処理デバイスの任意の組み合わせとして実装されてもよい。

【0031】

いくつかの実施形態では、１つまたは複数の撮像装置１４が赤外線撮像装置に対応することができる。このような装置は、赤外線を投射するように構成された照明モジュールを備えてもよい。例えば、第２の撮像装置１４ｂは、赤外線撮像装置に対応することができる。このような実施形態では、コントローラ４０は、車両１０の１人または複数の乗客３４に対応する赤外線画像データを受信するように構成することができる。この構成では、コントローラ４０は赤外線画像データを利用して網膜識別または様々な識別アルゴリズムに基づいて乗客３４を識別することができる。

【0032】

コントローラ４０は、メモリ６６をさらに備えることができる。メモリ６６は、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期（ＳＤＲＡＭ）、およびデジタル情報を格納するように構成された他の形態のメモリなどの様々な形態のメモリを含むことができる。メモリ６６は、処理のために画像データ１６（例えば、第１の画像データ１６ａおよび／または第２の画像データ１６ｂ）を記憶するように構成されてもよい。画像データ１６の処理は、表示デバイス２４の表示画面３２に出力される画像データ１６の位置および見かけのサイズを調整するために、画像データ１６のスケーリングおよびトリミングを含むことができる。いくつかの実施形態では、メモリ６６は、表示システム１２の動作のための方法およびプロセスを含む追加のプログラミング情報を格納するようにさらに構成されてもよい。

【0033】

１つまたは複数の撮像装置１４は、所望のアプリケーションに適合するように有線または無線接続を介してコントローラ４０と通信するように構成されてもよい。無線通信プロトコルのいくつかの例は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、および未だ開発されていない無線通信プロトコルを含むことができる。したがって、コントローラ４０は、１つまたは複数の撮像装置１４と無線で通信するように構成された通信モジュール６８を含むことができる。無線構成では、撮像装置１４は、第３の撮像装置１４ｃによって例示されるようなバッテリ７０を含むモジュール構成に対応することができる。モジュール構成は、コントローラ４０の通信モジュール６８と無線通信するように構成された通信回路７２をさらに含むことができる。

【0034】

コントローラ４０は、複数の入力、例えば速度入力部７４、およびビークルバス７６とさらに通信することができる。速度入力部７４は、車両１０の速度に対応するデータを測定し通信するように動作可能な速度計または任意の装置を介して車両１０の速度を通信する信号を提供することができる。ビークルバス７６は、コントローラエリアネットワーク（ＣＡＮ）バス、ローカル相互接続ネットワーク（ＬＩＮ）バスなどの任意の適切な標準通信バスを使用して実装することができる。ビークルバス７６は、コントローラ４０に様々な追加情報を提供するように構成することができる。このような情報は、１つまたは複数の車両状態、例えばギヤ選択、乗客占有、ヘッドライト作動などに対応することができるが、車両状態は画像データの表示を制御するためにコントローラ４０によって利用されることができる。例えば、コントローラ４０は、１つまたは複数の車両状態に応答して、第１の画像データ１６ａ、第２の画像データ１６ｂおよび／または第３の画像データ１６ｃを選択的に表示することができる。

【0035】

本明細書に記載された本開示の実施形態が、１つまたは複数の従来のプロセッサと１つまたは複数のプロセッサを制御する固有の内蔵プログラム命令から構成され、本明細書中に記載したように、特定の非プロセッサ回路とともに、いくらか、ほとんど、または全ての画像センサシステムの機能およびその方法を実装してもよいことが理解されるであろう。非プロセッサ回路は、信号ドライバ、クロック回路、電源回路、および／またはユーザ入力デバイスを含むことができるが、これらに限定されない。あるいは、機能のいくつかまたはすべてが、格納されたプログラム命令を持たない状態機械によって、または、各機能または機能いくつかの組み合わせがカスタムロジックとして実装される１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）の中に、実装され得る。もちろん、２つのアプローチの組み合わせを使用することが可能である。したがって、これらの機能の方法および手段が本明細書中に記載されている。さらに、本明細書で開示される概念および原理によって導かれた場合、例えば、利用可能な時間、現在の技術、および経済的な考慮事項によって動機づけられた、おそらくかなりの努力と多くの設計選択肢にもかかわらず、当業者であれば、最小限の実験でそのようなソフトウェア命令およびプログラムならびにＩＣを容易に生成することができると、期待される。

【0036】

当業者であれば、上記の構成要素は、本明細書に明示的に記載されていない追加の方法または代替の方法で組み合わせることができることを理解されたい。本開示の様々な実施態様の変更は、当業者および本開示の教示を適用する者に起こるであろう。したがって、図面および上記の説明に示した実施形態は、単に例示的目的のためであって、本開示の範囲を限定することを意図したものではない。本発明の範囲は、均等論を含む特許法の原則に従って解釈される以下の特許請求の範囲によって定義される。

【図1】

【図2】

【図3】

【図4】

【図5】