特許 7498053 カメラシステムおよび運転支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-03

(45)【発行日】2024-06-11

(54)【発明の名称】カメラシステムおよび運転支援システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240604BHJP

   B60W 40/08 20120101ALI20240604BHJP

   G08G 1/16 20060101ALI20240604BHJP

   H04N 13/366 20180101ALI20240604BHJP

【ＦＩ】

H04N23/60 300

B60W40/08

G08G1/16 F

H04N13/366

H04N23/60 500

【請求項の数】 8

(21)【出願番号】P 2020127720

(22)【出願日】2020-07-28

(65)【公開番号】P2022024890

(43)【公開日】2022-02-09

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100075557

【弁理士】

【氏名又は名称】西教 圭一郎

(72)【発明者】

【氏名】草深 薫

(72)【発明者】

【氏名】佐藤 昭典

【審査官】吉川 康男

(56)【参考文献】

【文献】国際公開第２０１７／１３８２４２（ＷＯ，Ａ１）

【文献】国際公開第２０１５／０７２１００（ＷＯ，Ａ１）

【文献】特開２０１３－０８５２００（ＪＰ，Ａ）

【文献】特開２００３－１１１０５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｂ６０Ｗ ４０／０８

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ １３／３６６

(57)【特許請求の範囲】

【請求項1】

車両の運転者を撮像し、撮像画像を分割して、分割された撮像画像をそれぞれ個別に送信可能に構成されるカメラと、
前記カメラから、分割された撮像画像の一部を受信すると、運転者の眼の位置に関連する第１情報を検出する第１検出処理を実行する第１コントローラと、
前記カメラから、分割された撮像画像の全部を受信すると、合成して合成撮像画像を生成し、運転者の運転状態に関連する第２情報を検出する第２検出処理を実行する第２コントローラと、を備えるカメラシステム。

【請求項2】

請求項１記載のカメラシステムであって、
前記カメラは、前記撮像画像を、運転者の眼を含む第１画像と、前記第１画像を除く第２画像とに分割し、前記第１画像を前記第２画像より先に送信するカメラシステム。

【請求項3】

請求項２記載のカメラシステムであって、
前記第１コントローラは、前記第１画像を受信し、前記第２画像を受信しないカメラシステム。

【請求項4】

請求項２記載のカメラシステムであって、
前記カメラから送信された前記第１画像および前記第２画像のうち、前記第１コントローラに、前記第１画像を送信し、前記第２画像を送信しない中継部を備えるカメラシステム。

【請求項5】

請求項１記載のカメラシステムであって、
前記カメラは、前記撮像画像を、前記撮像画像より画素数が少ない、複数の間引き画像に分割するカメラシステム。

【請求項6】

請求項５記載のカメラシステムであって、
前記第１コントローラは、前記複数の間引き画像の一部を受信したのち、残部を受信しないカメラシステム。

【請求項7】

請求項５記載のカメラシステムであって、
前記カメラから送信された前記複数の間引き画像のうち、前記第１コントローラに、一部の間引き画像を送信したのち、残部を送信しない中継部を備えるカメラシステム。

【請求項8】

請求項１～７のいずれか１つに記載のカメラシステムと、
運転者の両眼に対して投影される視差画像を表示する表示部と、
前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるバリア部と、
前記第１情報に基づいて、前記表示部を制御する表示制御部と、
前記第２情報に基づいて、運転者の運転状態を監視する監視部と、を備える運転支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラシステムおよび運転支援システムに関する。

【背景技術】

【0002】

車両の安全性向上および自動運転制御の補助などを目的として、カメラで運転者を撮影し、その画像から運転者の姿勢、顔の動き、視線などを検出し、車両の運転状態を監視する運転者監視システムが車両に搭載される（例えば、特許文献１等）。また、運転中の運転者が、車両に関連する情報、ナビゲーションに関連する情報などを視認できるように画像を表示させるヘッドアップディスプレイなどの画像表示システムでは、カメラで運転者の顔を撮影し、瞳孔の位置を検出している（例えば、特許文献２等）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－３０４４２８号公報

【文献】特開平６－２３０１３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者監視システムおよび画像表示システムでは、要求される画像が同じではなく、例えば、システムごとにカメラが必要となる。両システムでカメラを共有する場合、一方のシステムの検出処理に適合させた画像を出力すると、他方のシステムの検出処理には適合しない画像となり、検出処理に要する速度が低下するおそれがある。

【課題を解決するための手段】

【0005】

本開示の一実施形態に係るカメラシステムは、カメラと、第１コントローラと、第２コントローラと、を備える。カメラは、車両の運転者を撮像し、撮像画像を分割して個別に送信可能に構成される。第１コントローラは、前記カメラから、分割された撮像画像の一部を受信すると、運転者の眼の位置に関連する第１情報を検出する第１検出処理を実行する。第２コントローラは、前記カメラから、分割された撮像画像の全部を受信すると、合成して撮像画像を生成し、運転者の運転状態に関連する第２情報を検出する第２検出処理を実行する。

【0006】

本開示の一実施形態に係る運転支援システムは、上記のカメラシステムと、表示部と、バリア部と、表示制御部と監視部と、を備える。表示部は、運転者の両眼に対して投影される視差画像を表示する。バリア部は、前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与える。表示制御部は、前記第１情報に基づいて、前記表示部を制御する。監視部は、前記第２情報に基づいて、運転者の運転状態を監視する。

【発明の効果】

【0007】

本開示の一実施形態に係るカメラシステムによれば、２つの異なる検出処理にそれぞれ適合した画像が送信されるので、検出処理速度を向上させることができる。

【0008】

本開示の一実施形態に係る運転支援システムによれば、視差画像の表示および運転状態の監視に係る処理速度が向上する。

【図面の簡単な説明】

【0009】

【図1】運転支援システムが搭載された移動体の概略構成の一例を示す図である。

【図2】運転支援システムを示すブロック図である。

【図3】第１の画像分割例を示す模式図である。

【図4】第２の画像分割例を示す模式図である。

【図5】３次元投影装置の概略構成の一例を示す図である。

【図6】運転者の眼と表示部とバリア部との関係を示す模式図である。

【図7】中継部を備えるカメラシステムを示す模式図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態について、図面を参照しながら詳細に説明がされる。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

【0011】

図１に示されるように、本開示の一実施形態に係るカメラシステム５０は、移動体１０に搭載されている。カメラシステム５０は、カメラ１１と、第１コントローラ１と、第２コントローラ２と、を備える。移動体１０は、カメラシステム５０を含む運転支援システム１００を備えてよい。

【0012】

本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。

【0013】

以下では、移動体１０が、乗用車である場合を例として説明する。移動体１０は、乗用車に限らず、上記例のいずれかであってよい。カメラ１１は、移動体１０に取り付けられてよい。カメラ１１は、移動体１０の運転者１３のアイボックス１６を含む領域を撮像可能に構成される。アイボックス１６とは、例えば運転者１３の体格、姿勢、及び姿勢の変化等を考慮して、運転者１３の眼５が存在しうると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的又は立体的な領域を含んでよい。カメラ１１の取り付け位置は、移動体１０の内部及び外部において任意である。例えば、カメラ１１は、移動体１０のダッシュボード内に位置してよい。

【0014】

図２は、運転支援システムを示すブロック図である。運転支援システム１００は、３次元投影装置１２および運転者監視装置６０で構成されてよい。運転支援システム１００は、カメラシステム５０を含んでよい。運転者監視装置６０と、３次元投影装置１２とは、カメラシステム５０を共有する。カメラシステム５０は、カメラ１１と、第１コントローラ１と、第２コントローラ２とを、備える。第１コントローラ１は、３次元投影装置１２を構成する。第２コントローラ２は、運転者監視装置６０を構成する。

【0015】

カメラ１１は、赤外光カメラと可視光カメラの両方の機能を有していてよい。カメラ１１は、車両の運転者１３を撮像し、撮像画像を分割して個別に送信可能に構成される。カメラ１１は、例えば、撮像部１１ａと、画像分割部１１ｂと、送信部１１ｃと、を含んで構成される。撮像部１１ａは、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでよい。撮像部１１ａは、運転者１３の顔、肩および腕などを含むおよそ上半身を撮像してよい。撮像部１１ａで生成された撮像画像は、画像分割部１１ｂに出力される。画像分割部１１ｂは、撮像部１１ａから出力された撮像画像を複数の画像に分割する。撮像画像の分割数は、２以上であればよい。画像分割の詳細については後述する。画像分割部１１ｂで分割された画像は、送信部１１ｃによってカメラ１１から外部に送信される。送信部１１ｃは、分割された複数の画像を１つずつ個別に送信してよい。撮像画像の分割数が、例えば２の場合、送信部１１ｃは、分割された２つの画像のうち、１つの画像を送信したのち、もう１つの画像を続けて送信してよい。撮像画像の分割数が、３以上の場合も同様に、送信部１１ｃは、分割された画像を順次送信すればよい。画像分割部１１ｂは、分割された画像のそれぞれに識別コードを付与してよい。

【0016】

分割された撮像画像は、カメラ１１から第１コントローラ１および第２コントローラ２に送信される。カメラ１１は、有線通信又は無線通信を介して分割された撮像画像を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ（Controller Area Network）等を含みうる。第１コントローラ１は、３次元投影装置１２を構成してよい。第１コントローラ１は、カメラ１１から、分割された撮像画像の一部を受信すると、運転者１３の眼５の位置に関連する第１情報を検出する第１検出処理を実行する。３次元投影装置１２は、いわゆるヘッドアップディスプレイとして機能しうる。運転者１３の眼５の位置に関連する第１情報は、例えば、瞳孔位置を示す情報であってよい。第１検出処理は、画像に基づいて、運転者１３の瞳孔位置を検出する検出処理であってよい。第２コントローラ２は、運転者監視装置６０を構成してよい。第２コントローラ２は、カメラ１１から、分割された撮像画像の全部を受信すると、合成して撮像画像を生成し、運転者１３の運転状態に関連する第２情報を検出する第２検出処理を実行する。運転者監視装置６０は、いわゆるドライバーモニタリングシステムとして機能しうる。運転者１３の運転状態に関連する第２情報は、例えば、運転者１３の顔の向き（横を向いている、前を向いている、下を向いているなど）を示す情報であってよい。第２検出処理は、画像に基づいて、運転者１３の顔の向きを検出する検出処理であってよい。

【0017】

図３は、第１の画像分割例を示す模式図である。画像分割部１１ｂは、撮像部１１ａで生成された撮像画像Ｐを、運転者１３の眼５を含む第１画像Ｐ１と、第１画像Ｐ１を除く第２画像Ｐ２とに分割する。送信部１１ｃは、第１画像Ｐ１を第２画像Ｐ２より先に送信する。送信部１１ｃから送信された第１画像Ｐ１は、第１コントローラ１および第２コントローラ２で受信される。画像分割部１１ｂは、画像分割において、第１画像Ｐ１の撮像画像Ｐ内における位置を、撮像画像Ｐごとに変更してよい。その場合、送信する第１画像Ｐ１に、分割元の撮像画像Ｐ内における位置を示す情報を付加すればよい。画像分割部１１ｂは、画像分割において、第１画像Ｐ１の撮像画像Ｐ内における位置を撮像画像Ｐによらず同じ位置としてよい。その場合、送信する第１画像Ｐ１に、分割元の撮像画像Ｐ内における位置を示す情報を付加しなくてよい。第１画像Ｐ１の撮像画像Ｐ内における位置を示す情報は、第１コントローラ１および第２コントローラ２が予め有していればよい。

【0018】

第１コントローラ１は、第１受信部１ａと、第１検出部１ｂと、表示制御部１ｃと、を含んで構成される。第１受信部１ａは、カメラ１１の送信部１１ｃから送信される画像の一部を受信する。第１受信部１ａは、例えば、撮像画像Ｐが分割された画像のうち、最初に送信部１１ｃから送信された画像を受信してよい。第１受信部１ａは、画像を受信すると、それ以降、撮像画像Ｐが分割された画像を受信しなくてよい。本例では、第１受信部１ａは、送信部１１ｃから先に送信された第１画像Ｐ１を受信する。第１受信部１ａは、送信部１１ｃから後に送信される第２画像Ｐ２を受信しない。第１検出部１ｂは、第１検出処理である瞳孔位置の検出処理を実行する。第１画像Ｐ１は、運転者１３の眼５を含む画像であり、第１検出部１ｂは、第１画像Ｐ１に基づいて、瞳孔位置を検出することができる。第１画像Ｐ１の撮像画像Ｐ内における位置を示す情報が、第１画像Ｐ１に付加されている場合、付加された情報を用いればよい。第１画像Ｐ１の撮像画像Ｐ内における位置を示す情報が、第１画像Ｐ１に付加されている場合、付加された情報を用いて第１検出部１ｂは、瞳孔位置情報を得る。第１画像Ｐ１の撮像画像Ｐ内における位置を示す情報が、第１画像Ｐ１に付加されていない場合、予め有する位置情報を用いて第１検出部１ｂは、瞳孔位置情報を得る。表示制御部１ｃは、第１検出部１ｂで検出された瞳孔位置情報に基づいて、３次元投影装置１２における画像表示を制御する。

【0019】

第２コントローラ２は、第２受信部２ａと、画像合成部２ｂと、第２検出部２ｃと、出力部２ｄと、を含んで構成される。第２受信部２ａは、カメラ１１の送信部１１ｃから送信される画像の全部を受信する。画像合成部２ｂは、第２受信部２ａが受信した全部の画像を合成して合成撮像画像Ｐ’を生成する。本例では、第２受信部２ａは、送信部１１ｃから送信される第１画像Ｐ１および第２画像Ｐ２を受信する。画像合成部２ｂは、第２受信部２ａが受信した第１画像Ｐ１および第２画像Ｐ２を合成して、合成撮像画像Ｐ’を生成する。第２検出部２ｃは、画像合成部２ｂが合成した合成撮像画像Ｐ’に基づいて、第２検出処理を実行する。撮像画像Ｐは、例えば、運転者１３の上半身を含むので、運転者１３の顔の向きを検出することができる。出力部２ｄは、第２検出部２ｃで検出された顔の向き情報を出力する。

【0020】

３次元投影装置１２において使用される、運転者の眼の位置に関連する第１情報は、運転者監視装置６０において使用される、運転者の運転状態に関連する第２情報に比べて、高い検出速度が求められる。第１コントローラ１は、カメラ１１から送信される画像の一部を受信するだけで、第１検出処理を実行して第１情報を検出することができる。第２コントローラ２は、カメラ１１から送信される画像の全部を受信し、画像を合成して第２検出処理を実行して第２情報を検出することができる。第１検出処理は、第２検出処理より高い検出速度が得られる。これにより、２つの異なる検出処理にそれぞれ適合した画像が送信されるので、処理速度を向上させることができる。

【0021】

図４は、第２の画像分割例を示す模式図である。画像分割部１１ｂは、撮像部１１ａで生成された撮像画像Ｐを、撮像画像Ｐより画素数が少ない、複数の間引き画像に分割する。本例では、４つの間引き画像ＬＰ１～ＬＰ４に分割している。各間引き画像ＬＰ１～ＬＰ４の画素数は、それぞれ撮像画像Ｐの１／４である。例えば、連続する４画素のうち３画素を間引く。これを４画素ごとに繰り返し、画素数が１／４の間引き画像ＬＰ１を得る。連続する４画素のうち間引く３画素の位置を変える、言い換えると、連続する４画素のうち残す１画素の位置を変えることで、間引き画像ＬＰ２～ＬＰ４を得る。送信部１１ｃは、間引き画像ＬＰ１～ＬＰ４を順次送信する。送信部１１ｃから最初に送信された間引き画像ＬＰ１は、第１コントローラ１および第２コントローラ２で受信される。

【0022】

第１コントローラ１の第１受信部１ａは、送信部１１ｃから最初に送信された間引き画像ＬＰ１を受信する。第１受信部１ａは、送信部１１ｃから後に送信される間引き画像ＬＰ２～ＬＰ４を受信しない。第１検出部１ｂは、間引き画像ＬＰ１に基づいて、瞳孔位置を検出することができる。表示制御部１ｃは、第１検出部１ｂで検出された瞳孔位置情報に基づいて、３次元投影装置１２における画像表示を制御する。

【0023】

第２コントローラ２の第２受信部２ａは、送信部１１ｃから送信される間引き画像ＬＰ１～ＬＰ４を全て受信する。画像合成部２ｂは、第２受信部２ａが受信した間引き画像ＬＰ１～ＬＰ４を合成して、合成撮像画像Ｐ’を生成する。第２検出部２ｃは、画像合成部２ｂが合成した合成撮像画像Ｐ’に基づいて、第２検出処理を実行する。撮像画像Ｐは、例えば、運転者１３の上半身を含むので、運転者１３の顔の向きを検出することができる。出力部２ｄは、第２検出部２ｃで検出された顔の向き情報を出力する。

【0024】

カメラシステム５０は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。カメラシステム５０は、センサによって運転者１３の頭部の位置を検出するように構成され、頭部の位置に基づいて、運転者１３の瞳孔位置を検出するように構成されうる。カメラ１１は、２つ以上のセンサによって、運転者１３の瞳孔位置を三次元空間の座標として検出するように構成されうる。

【0025】

第１コントローラ１および第２コントローラ２は、例えばプロセッサとして構成される。第１コントローラ１および第２コントローラ２は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。第１コントローラ１は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

【0026】

３次元投影装置１２について説明する。図５は、３次元投影装置の概略構成の一例を示す図である。３次元投影装置１２は、第１情報である瞳孔位置情報に基づいて、投影する画像を制御するように構成してよい。３次元投影装置１２の位置は、移動体１０の内部及び外部において任意である。例えば、３次元投影装置１２は、移動体１０のダッシュボード内に位置してよい。３次元投影装置１２は、ウインドシールド１５に向けて画像光を射出するように構成される。画像光は、例えば、筐体１２０に設けられた開口を通って射出されてよい。

【0027】

ウインドシールド１５は、３次元投影装置１２から射出された画像光を反射するように構成される。ウインドシールド１５で反射された画像光は、アイボックス１６に到達する。図１に示されている実線の矢印は、３次元投影装置１２から射出される画像光の少なくとも一部がアイボックス１６まで到達する経路を示す。画像光が進む経路は、光路とも称される。運転者１３の眼５がアイボックス１６内に位置する場合、運転者１３は、アイボックス１６に到達する画像光によって、虚像１４を視認可能である。虚像１４は、ウインドシールド１５から眼５に到達する経路を前方に延長した、一点鎖線で示されている線の上に位置する。３次元投影装置１２は、運転者１３に虚像１４を視認させることによって、ヘッドアップディスプレイとして機能しうる。図１において、運転者１３の眼５が並ぶ方向は、ｘ軸方向に対応する。鉛直方向は、ｙ軸方向に対応する。

【0028】

図５に示されるように、３次元投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元表示装置１７は、バックライト１９と、表示面２０ａを有する表示部２０と、バリア部２１と、第１コントローラ１とを備えうる。３次元表示装置１７は、通信部２２をさらに備えてよい。３次元表示装置１７は、記憶部２３をさらに備えてよい。３次元投影装置１２は、例えば、筐体１２０を備えてよい。筐体１２０内には、３次元表示装置１７と、光学素子１８とが収容される。

【0029】

光学素子１８は、第１ミラー１８ａと、第２ミラー１８ｂとを含んでよい。第１ミラー１８ａ及び第２ミラー１８ｂの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第１ミラー１８ａは、光学的なパワーを有する凹面鏡であるとする。第２ミラー１８ｂは、平面鏡であるとする。光学素子１８は、３次元表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。図５に示される一点鎖線の矢印は、３次元表示装置１７から射出される画像光の少なくとも一部が、第１ミラー１８ａ及び第２ミラー１８ｂによって反射され、３次元投影装置１２の外部に射出される際の経路を示す。３次元投影装置１２の外部に射出された画像光は、ウインドシールド１５に到達し、ウインドシールド１５で反射されて運転者１３の眼５に到達する。その結果、運転者１３は、３次元表示装置１７に表示された画像を視認できる。

【0030】

光学素子１８とウインドシールド１５とは、３次元表示装置１７から射出させる画像光を運転者１３の眼５に到達させうるように構成される。光学素子１８とウインドシールド１５とは、光学系３０を構成してよい。言い換えれば、光学系３０は、光学素子１８とウインドシールド１５とを含む。光学系３０は、３次元表示装置１７から射出される画像光を一点鎖線で示されている光路に沿って運転者１３の眼５に到達させるように構成される。光学系３０は、運転者１３に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系３０は、運転者１３に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。

【0031】

光学素子１８は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子１８を構成する要素の数は、２つに限られず、１つであってよいし、３つ以上であってよい。光学素子１８は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。

【0032】

バックライト１９は、画像光の光路上において、運転者１３から見て、表示部２０及びバリア部２１よりも遠い側に位置する。バックライト１９は、バリア部２１と表示部２０とに向けて光を射出する。バックライト１９が射出した光の少なくとも一部は、一点鎖線で示されている光路に沿って進行し、運転者１３の眼５に到達する。バックライト１９は、ＬＥＤ（Light Emission Diode）又は有機ＥＬ若しくは無機ＥＬ等の発光素子を含んでよい。バックライト１９は、発光強度、及び、その分布を制御可能に構成されてよい。

【0033】

表示部２０は、表示パネルを含む。表示部２０は、例えば、ＬＣＤ（Liquid Crystal Display）等の液晶デバイスであってよい。本実施形態において、表示部２０は、透過型の液晶表示パネルを含むとする。表示部２０は、この例に限られず、種々の表示パネルを含んでよい。

【0034】

表示部２０は、複数の画素を有し、各画素においてバックライト１９から入射する光の透過率を制御し、運転者１３の眼５に到達する画像光として射出するように構成される。運転者１３は、表示部２０の各画素から射出される画像光によって構成される画像を視認する。

【0035】

バリア部２１は、入射してくる光の進行方向を規定するように構成される。バリア部２１が表示部２０よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、バリア部２１に入射し、さらに表示部２０に入射する。この場合、バリア部２１は、バックライト１９から射出される光の一部を遮ったり減衰させたりし、他の一部を表示部２０に向けて透過させるように構成される。表示部２０は、バリア部２１によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示部２０がバリア部２１よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、表示部２０に入射し、さらにバリア部２１に入射する。この場合、バリア部２１は、表示部２０から射出される画像光の一部を遮ったり減衰させたりし、他の一部を運転者１３の眼５に向けて透過させるように構成される。

【0036】

表示部２０とバリア部２１とのどちらが運転者１３の近くに位置するかにかかわらず、バリア部２１は、画像光の進行方向を制御できるように構成される。バリア部２１は、表示部２０から射出される画像光の一部を運転者１３の左眼５Ｌ及び右眼５Ｒ（図４参照）のいずれかに到達させ、画像光の他の一部を運転者１３の左眼５Ｌ及び右眼５Ｒの他方に到達させるように構成される。つまり、バリア部２１は、画像光の少なくとも一部の進行方向を運転者１３の左眼５Ｌと右眼５Ｒとに分けるように構成される。左眼５Ｌ及び右眼５Ｒはそれぞれ、第１眼及び第２眼ともいう。本実施形態において、バリア部２１は、バックライト１９と表示部２０との間に位置する。つまり、バックライト１９から射出される光は、先にバリア部２１に入射し、次に表示部２０に入射する。

【0037】

バリア部２１によって画像光の進行方向が規定されることによって、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに異なる画像光が到達しうる。その結果、運転者１３は、左眼５Ｌ及び右眼５Ｒそれぞれで異なる画像を視認しうる。

【0038】

図６は、運転者の眼と表示部とバリア部との関係を示す模式図である。図６に示されるように、表示部２０は、表示面２０ａ上に、運転者１３の左眼５Ｌで視認される左眼視認領域２０１Ｌと、運転者１３の右眼５Ｒで視認される右眼視認領域２０１Ｒとを含む。表示部２０は、運転者１３の左眼５Ｌに視認させる左眼画像と、運転者１３の右眼５Ｒに視認させる右眼画像とを含む視差画像を表示するように構成される。視差画像は、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに投影される画像であって、運転者１３の両眼に視差を与える画像であるとする。表示部２０は、左眼視認領域２０１Ｌに左眼画像を表示し、右眼視認領域２０１Ｒに右眼画像を表示するように構成される。つまり、表示部２０は、左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとに視差画像を表示するように構成される。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、視差方向を表すｕ軸方向に並んでいるとする。左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向に直交するｖ軸方向に沿って延在してよいし、ｖ軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示部２０は、表示面２０ａ上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、運転者１３の眼５に視差を与えず、立体視されない画像であるとする。

【0039】

図６に示されるように、バリア部２１は、開口領域２１ｂと、遮光面２１ａとを有する。バリア部２１が、画像光の光路上において、運転者１３から見て表示部２０よりも近い側に位置する場合、バリア部２１は、表示部２０から射出される画像光の透過率を制御するように構成される。開口領域２１ｂは、表示部２０からバリア部２１に入射する光を透過させるように構成される。開口領域２１ｂは、第１所定値以上の透過率で光を透過させてよい。第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。遮光面２１ａは、表示部２０からバリア部２１に入射する光を遮るように構成される。遮光面２１ａは、第２所定値以下の透過率で光を透過させてよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。第１所定値は、第２所定値より大きい。

【0040】

開口領域２１ｂと遮光面２１ａとは、視差方向を表すｕ軸方向に交互に並ぶとする。開口領域２１ｂと遮光面２１ａとの境界は、図６に例示されているように視差方向に直交するｖ軸方向に沿ってよいし、ｖ軸方向に対して所定角度で傾斜する方向に沿ってよい。言い換えれば、開口領域２１ｂと遮光面２１ａとは、視差方向の成分を含む所定方向に沿って交互に並んでよい。

【0041】

本実施形態では、バリア部２１は、画像光の光路上において、運転者１３から見て表示部２０よりも遠い側に位置している。バリア部２１は、バックライト１９から表示部２０に向けて入射する光の透過率を制御するように構成される。開口領域２１ｂは、バックライト１９から表示部２０に向けて入射する光を透過させるように構成される。遮光面２１ａは、バックライト１９から表示部２０に入射する光を遮るように構成される。このようにすることで、表示部２０に入射する光の進行方向は、所定方向に限定される。その結果、画像光の一部は、バリア部２１によって運転者１３の左眼５Ｌに到達するように制御されうる。画像光の他の一部は、バリア部２１によって運転者１３の右眼５Ｒに到達するように制御されうる。

【0042】

バリア部２１は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に基づいて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域又は光の透過率が低い領域を任意の形状に形成しうる。バリア部２１が液晶シャッターで構成される場合、開口領域２１ｂは、第１所定値以上の透過率を有してよい。バリア部２１が液晶シャッターで構成される場合、遮光面２１ａは、第２所定値以下の透過率を有してよい。第１所定値は、第２所定値より高い値に設定されてよい。第１所定値に対する第２所定値の比率は、一例では、１／１００に設定されてよい。第１所定値に対する第２所定値の比率は、他の例では、１／１０００に設定されてもよい。開口領域２１ｂと遮光面２１ａとの形状が変更可能に構成されるバリア部２１は、アクティブバリアとも称される。

【0043】

第１コントローラ１は、表示部２０を制御するように構成される。バリア部２１がアクティブバリアである場合、第１コントローラ１は、バリア部２１を制御するように構成してよい。第１コントローラ１は、バックライト１９を制御するように構成してよい。第１コントローラ１の表示制御部１ｃが、第１検出部１ｂで検出された瞳孔位置情報に基づいて、表示部２０を制御するように構成される。第１コントローラ１は、瞳孔位置情報に基づいてバリア部２１、及びバックライト１９の少なくとも一方を制御するように構成されうる。

【0044】

通信部２２は、外部装置と通信可能なインタフェースを含んでよい。通信部２２は、例えば、外部装置から画像情報などを取得し、第１コントローラ１に出力してよい。本開示における「通信可能なインタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、又はＲＣＡ端子に対応するコネクタを含んでよい。電気コネクタは、ＥＩＡＪ ＣＰ－１２１ａＡに規定されるＳ端子に対応するコネクタ、又はＥＩＡＪ ＲＣ－５２３７に規定されるＤ端子に対応するコネクタを含んでよい。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、又はＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２１ａを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

【0045】

記憶部２３は、各種情報、又は３次元表示装置１７の各構成部を動作させるためのプログラム等を格納するように構成されてよい。記憶部２３は、例えば半導体メモリ等で構成されてよい。記憶部２３は、第１コントローラ１のワークメモリとして機能してよい。記憶部２３は、第１コントローラ１に含まれてよい。

【0046】

図６に示されるように、バックライト１９から射出された光は、バリア部２１と表示部２０とを透過して運転者１３の眼５に到達する。バックライト１９から射出された光が眼５に到達するまでの経路は、破線で表されている。バリア部２１の開口領域２１ｂを透過して右眼５Ｒに到達する光は、表示部２０の右眼視認領域２０１Ｒを透過する。つまり、右眼５Ｒは、開口領域２１ｂを透過した光によって右眼視認領域２０１Ｒを視認できる。バリア部２１の開口領域２１ｂを透過して左眼５Ｌに到達する光は、表示部２０の左眼視認領域２０１Ｌを透過する。つまり、左眼５Ｌは、開口領域２１ｂを透過した光によって左眼視認領域２０１Ｌを視認できる。

【0047】

表示部２０は、右眼視認領域２０１Ｒ及び左眼視認領域２０１Ｌに、それぞれ右眼画像及び左眼画像を表示するように構成される。これによって、バリア部２１は、左眼画像に係る画像光を左眼５Ｌに到達させ、右眼画像に係る画像光を右眼５Ｒに到達させるように構成される。つまり、開口領域２１ｂは、左眼画像に係る画像光を運転者１３の左眼５Ｌに到達させ、右眼画像に係る画像光を運転者１３の右眼５Ｒに到達させるように構成される。このようにすることで、３次元表示装置１７は、運転者１３の両眼に対して視差画像を投影できる。運転者１３は、左眼５Ｌと右眼５Ｒとで視差画像を見ることによって、画像を立体視できる。

【0048】

バリア部２１の開口領域２１ｂを透過し、表示部２０の表示面２０ａから射出された画像光の少なくとも一部は、光学素子１８を介してウインドシールド１５に到達する。画像光は、ウインドシールド１５で反射されて運転者１３の眼５に到達する。これにより、運転者１３の眼５はウインドシールド１５よりもｚ軸の負の方向の側に位置する第１虚像１４ａを視認できる。第１虚像１４ａは、表示面２０ａが表示している画像に対応する。バリア部２１の開口領域２１ｂと遮光面２１ａとは、ウインドシールド１５の前方であって第１虚像１４ａのウインドシールド１５側に第２虚像１４ｂをつくる。図５に示すように、運転者１３は、見かけ上、第１虚像１４ａの位置に表示部２０が存在し、第２虚像１４ｂの位置にバリア部２１が存在するかのように、画像を視認しうる。

【0049】

表示面２０ａに表示される画像に係る画像光は、バリア部２１によって規定される方向に向けて、３次元表示装置１７から射出される。光学素子１８は、ウインドシールド１５に向けて射出するように構成される。光学素子１８は、画像光を反射したり屈折させたりするように構成されうる。ウインドシールド１５は、画像光を反射し、運転者１３の眼５に向けて進行させるように構成される。画像光が運転者１３の眼５に入射することによって、運転者１３は、視差画像を虚像１４として視認する。運転者１３は、虚像１４を視認することによって立体視できる。虚像１４のうち視差画像に対応する画像は、視差虚像とも称される。視差虚像は、光学系３０を介して投影される視差画像であるともいえる。虚像１４のうち平面画像に対応する画像は、平面虚像とも称される。平面虚像は、光学系３０を介して投影される平面画像であるともいえる。

【0050】

運転者監視装置６０について説明する。図２に示すように、運転者監視装置６０は、第２コントローラ２と、監視部３と、報知部４と、を備える。前述のように、第２コントローラ２の出力部２ｄは、第２検出部２ｃで検出された第２情報を出力する。第２情報は、運転者の運転状態に関連する情報である。監視部３は、第２情報に基づいて、運転者１３の運転状態を判断し、運転者１３に対して、例えば、警告などを報知するかどうかを判断する。監視部３が、運転者１３に対して報知すると判断すると、報知部４は、警告などを報知する。警告の報知は、警告文の表示、警告画像の表示、警告文の音声読み上げ、警告音の出力などを含む。第２情報が、例えば、運転者１３の顔の向きを示す情報である場合、監視部３は、顔の向き情報に基づいて、運転者１３の運転状態が、正常な運転状態であるか、脇見運転の状態であるかを判断してよい。監視部３は、運転者１３の運転状態が、脇見運転の状態であれば、警告を報知すると判断し、報知部４が、運転者１３に対して警告を報知してよい。

【0051】

カメラシステムの他の例について説明する。図７は、中継部を備えるカメラシステムを示す模式図である。図７（ａ）は、第１の画像分割例の場合のカメラシステム５０Ａを示す。図７（ｂ）は、第２の画像分割例の場合のカメラシステム５０Ａを示す。カメラシステム５０Ａは、中継部６を備える点で、上記のカメラシステム５０と異なる。カメラシステム５０Ａは、カメラ１１と、中継部６と、第１コントローラ１と、第２コントローラ２と、を備える。中継部６は、カメラ１１から送信される画像を受信し、受信した画像を第１コントローラ１および第２コントローラ２に送信する。中継部６が、カメラ１１から受信する画像は、上記と同じカメラ１１が撮像画像を分割した画像である。中継部６は、カメラ１１から受信した画像から、第１コントローラ１に送信する画像および第２コントローラ２に送信する画像を選択して送信してよい。中継部６は、カメラ１１から最初に受信した画像を、第１コントローラ１および第２コントローラ２に送信し、それ以降に受信した画像は、第１コントローラ１に送信せず、第２コントローラ２に送信してよい。

【0052】

第１の画像分割例の場合、カメラ１１は、第１画像Ｐ１と第２画像Ｐ２とを順次送信する。中継部６は、第１画像Ｐ１と第２画像Ｐ２とを順次受信する。中継部６は、第１コントローラ１には、第１画像Ｐ１を送信し、第２コントローラ２には、第１画像Ｐ１と第２画像Ｐ２とを送信するように構成される。中継部６は、第１画像Ｐ１を受信すると、第２画像Ｐ２を受信しているかどうかにかかわらず、第１画像Ｐ１を第１コントローラ１に送信してよい。上記のカメラシステム５０では、第１コントローラ１が、第１画像Ｐ１を受信したのちに第２画像Ｐ２を受信しないことを判断する。カメラシステム５０Ａでは、中継部６が、第１コントローラ１に第１画像Ｐ１のみを送信し、第２画像Ｐ２を送信しない。第１コントローラ１は、中継部６から送信される第１画像Ｐ１のみを受信すればよく、第２画像Ｐ２を受信しないことを判断しなくてよい。

【0053】

第２の画像分割例の場合、カメラ１１は、間引き画像ＬＰ１～ＬＰ４を順次送信する。中継部６は、間引き画像ＬＰ１～ＬＰ４を順次受信する。中継部６が、カメラ１１から最初に受信した画像が間引き画像ＬＰ１であるとする。中継部６は、第１コントローラ１には、間引き画像ＬＰ１を送信し、第２コントローラ２には、間引き画像ＬＰ１～ＬＰ４を送信するように構成される。中継部６は、間引き画像ＬＰ１を受信すると、その他の間引き画像ＬＰ２～ＬＰ４を受信しているかどうかにかかわらず、間引き画像ＬＰ１を第１コントローラ１に送信してよい。中継部６は、カメラ１１から最初に受信した間引き画像を第１コントローラ１に送信すればよい。上記のカメラシステム５０では、第１コントローラ１が、間引き画像ＬＰ１を最初に受信したのち、間引き画像ＬＰ２～ＬＰ４を受信しないことを判断する。カメラシステム５０Ａでは、中継部６が、第１コントローラ１に間引き画像ＬＰ１のみを送信する。第１コントローラ１は、中継部６から送信される間引き画像ＬＰ１のみを受信すればよく、間引き画像ＬＰ２～ＬＰ４を受信しないことを判断しなくてよい。

【0054】

本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0055】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１眼は、第２眼と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【0056】

本開示において、ｘ軸、ｙ軸、及びｚ軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ軸、ｙ軸、及びｚ軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。

【符号の説明】

【0057】

１ 第１コントローラ
１ａ 第１受信部
１ｂ 第１検出部
１ｃ 表示制御部
２ 第２コントローラ
２ａ 第２受信部
２ｂ 画像合成部
２ｃ 第２検出部
２ｄ 出力部
３ 監視部
４ 報知部
５ 眼（５Ｌ：左眼、５Ｒ：右眼）
６ 中継部
１０ 移動体
１１ カメラ
１１ａ 撮像部
１１ｂ 画像分割部
１１ｃ 送信部
１２ ３次元投影装置
１３ 運転者
１４ 虚像（１４ａ：第１虚像、１４ｂ：第２虚像）
１５ ウインドシールド
１６ アイボックス
１７ ３次元表示装置
１８ 光学素子（１８ａ：第１ミラー、１８ｂ：第２ミラー）
１９ バックライト
２０ 表示部（２０ａ：表示面）
２０１Ｌ 左眼視認領域
２０１Ｒ 右眼視認領域
２１ バリア部（２１ａ：遮光面、２１ｂ：開口領域）
２２ 通信部
２３ 記憶部
３０ 光学系
５０，５０Ａ カメラシステム
６０ 運転者監視装置
１００ 運転支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】