IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラ株式会社の特許一覧

<>
  • 特許-撮像装置および3次元表示装置 図1
  • 特許-撮像装置および3次元表示装置 図2
  • 特許-撮像装置および3次元表示装置 図3
  • 特許-撮像装置および3次元表示装置 図4
  • 特許-撮像装置および3次元表示装置 図5
  • 特許-撮像装置および3次元表示装置 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-28
(45)【発行日】2025-03-10
(54)【発明の名称】撮像装置および3次元表示装置
(51)【国際特許分類】
   G08G 1/16 20060101AFI20250303BHJP
   G02F 1/13 20060101ALI20250303BHJP
   G02B 27/01 20060101ALI20250303BHJP
   G02B 30/31 20200101ALI20250303BHJP
   B60R 11/04 20060101ALI20250303BHJP
   H04N 13/366 20180101ALI20250303BHJP
   H04N 13/363 20180101ALI20250303BHJP
   H04N 13/346 20180101ALI20250303BHJP
   H04N 13/312 20180101ALI20250303BHJP
【FI】
G08G1/16 F
G02F1/13 505
G02B27/01
G02B30/31
B60R11/04
H04N13/366
H04N13/363
H04N13/346
H04N13/312
【請求項の数】 18
(21)【出願番号】P 2021032012
(22)【出願日】2021-03-01
(65)【公開番号】P2022133121
(43)【公開日】2022-09-13
【審査請求日】2023-08-18
(73)【特許権者】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100075557
【弁理士】
【氏名又は名称】西教 圭一郎
(72)【発明者】
【氏名】草深 薫
(72)【発明者】
【氏名】佐藤 昭典
(72)【発明者】
【氏名】原 將人
【審査官】佐々木 佳祐
(56)【参考文献】
【文献】特開2015-097087(JP,A)
【文献】特開2002-230563(JP,A)
【文献】特開2020-077907(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G02F 1/13
G02B 27/01
G02B 30/31
B60R 11/04
H04N 13/366
H04N 13/363
H04N 13/346
H04N 13/312
(57)【特許請求の範囲】
【請求項1】
少なくとも一部の光を透過し、少なくとも一部の光を反射する光学部材に向けられ、当該光学部材を透過した第1光と当該光学部材で反射した第2光とを撮像した画像を第1周期で取得して撮像画像を生成するカメラと、
前記カメラが撮像可能な波長の第3光を第2周期で発光可能に構成される光源と、
前記撮像画像を処理可能に構成されるコントローラと、を含み、
前記第2周期は、第1周期より長く、
前記コントローラは、前記第3光の発光時に取得された撮像画像である第1画像から前記第3光の非発光時に取得された撮像画像である第2画像を差し引いた画像である第3画像を生成する処理を実行するに際して、前記第1画像と前記第2画像とで異なる位置で撮像される物体がある場合、前記物体の移動先を予測し、前記第1画像および前記第2画像のうち時間的に後に撮像される画像において、前記物体が予測した移動先に位置するように補正可能に構成される、撮像装置。
【請求項2】
請求項1記載の撮像装置であって、
前記第2周期は、前記第1周期の整数倍である、撮像装置。
【請求項3】
請求項1または2記載の撮像装置であって、
前記光源は、前記カメラと直接的または間接的に連動して動作するように構成される、撮像装置。
【請求項4】
請求項3記載の撮像装置であって、
前記光源と前記カメラとは、共通の制御信号に基づいて動作するように構成される、撮像装置。
【請求項5】
請求項1~4のいずれか1項に記載の撮像装置であって、
前記光源は、利用者が存在すると想定される空間に向けて前記第3光を発光するように構成される、撮像装置。
【請求項6】
請求項5記載の撮像装置であって、
前記光源は、前記光学部材による反射を介して、利用者が存在すると想定される空間に向けて前記第3光を発光するように構成される、撮像装置。
【請求項7】
請求項記載の撮像装置であって、
前記コントローラは、前記第1画像から、当該第1画像より前に取得された前記第2画像を差し引いて、前記第3画像を生成する処理を実行可能に構成される、撮像装置。
【請求項8】
請求項1~のいずれか1項に記載の撮像装置であって、
前記第1画像と、当該第1画像より前に取得された前記第2画像とは、同じ露光量で撮像された画像である、撮像装置。
【請求項9】
請求項1~のいずれか1項に記載の撮像装置であって、
前記コントローラは、前記第1画像に基づいて前記カメラの露光量を制御するように構成される、撮像装置。
【請求項10】
請求項記載の撮像装置であって、
前記コントローラは、前記第2画像に基づいて前記カメラの露光量を制御しないように構成される、撮像装置。
【請求項11】
請求項または10記載の撮像装置であって、
前記コントローラは、前記第3画像に基づいて前記カメラの露光量を制御しないように構成される、撮像装置。
【請求項12】
請求項1~11のいずれか1項に記載の撮像装置であって、
前記光学部材は、前記第1光を減光するように構成される、撮像装置。
【請求項13】
請求項1~12のいずれか1項に記載の撮像装置であって、
前記コントローラは、前記第3画像に基づいて利用者を検出可能に構成される、撮像装置。
【請求項14】
請求項1~13のいずれか1項に記載の撮像装置であって、
前記コントローラは、前記第3画像に基づいて利用者の眼の位置を検出可能に構成される、撮像装置。
【請求項15】
請求項1~12のいずれか1項に記載の撮像装置であって、
前記コントローラは、前記第3画像を出力可能に構成され、
前記コントローラから出力された前記第3画像に基づいて利用者の眼の位置を検出可能に構成される第2コントローラをさらに含む、撮像装置。
【請求項16】
請求項14記載の撮像装置と、
前記光学部材に向けて画像光を投光する画像投影装置と、を備え、
前記光学部材は、赤外光を減光するように構成され、
前記画像投影装置は、
前記画像光として表示画像を投光するように構成される表示装置と、
前記画像光を拡大する拡大光学系と、
前記表示装置を制御する第3コントローラと、を含み、
前記表示装置は、
前記画像光を出射する表示パネルと、
透光部と減光部とが交互に並ぶ視差バリアと、を含み、
前記第3コントローラは、検出された利用者の眼の位置に基づいて前記表示装置を制御する、3次元表示装置。
【請求項17】
請求項16記載の3次元表示装置であって、
前記コントローラが、前記第3コントローラを兼ねる、3次元表示装置。
【請求項18】
請求項15記載の撮像装置と、
前記光学部材に向けて画像光を投光する画像投影装置と、を備え、
前記光学部材は、赤外光を減光するように構成され、
前記画像投影装置は、
前記画像光として表示画像を投光するように構成される表示装置と、
前記画像光を拡大する拡大光学系と、を含み、
前記表示装置は、
前記画像光を出射する表示パネルと、
透光部と減光部とが交互に並ぶ視差バリアと、を含み、
前記第2コントローラは、検出された利用者の眼の位置に基づいて前記表示装置を制御する、3次元表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置および3次元表示装置に関する。
【背景技術】
【0002】
車両の安全性向上および自動運転制御の補助などを目的として、車両には、運転者の状態を監視する運転者監視システムが搭載される。運転者の状態は、カメラで運転者を撮影し、その画像から運転者の姿勢、顔の動きなどに基づいて検出することができる。
【0003】
特許文献1記載の装置は、赤外光のビームを運転者に発し、反射赤外線フィルムが組み込まれたフロントガラスで反射した赤外線によって運転者を赤外線カメラで撮影する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2015-097087号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
光学部材による反射光をカメラで撮像する場合、光学部材を透過した透過光も撮像してしまう。外光による車両外の物体の写り込みなどの不要な情報が含まれる場合、例えば、運転者監視システム等の車内情報としての利用に影響する虞が生じる。
【0006】
本開示は、良好な撮像画像を得ることができる撮像装置および3次元表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一実施形態に係る撮像装置は、カメラと、光源と、コントローラと、を含む。前記カメラは、少なくとも一部の光を透過し、少なくとも一部の光を反射する光学部材に向けられ、当該光学部材を透過した第1光と当該光学部材を反射した第2光とを撮像した画像を第1周期で取得して撮像画像を生成する。前記光源は、前記カメラが撮像可能な波長の第3光を第2周期で発光可能に構成される。コントローラは、前記撮像画像を処理可能に構成される。前記第2周期は、第1周期より長く、前記コントローラは、前記第3光の発光時に取得された撮像画像である第2画像と前記第3光の非発光時に取得された撮像画像である第3画像との差分である第4画像を生成する処理を実行可能に構成される。
【0008】
本開示の一実施形態に係る3次元表示装置は、上記の撮像装置と、画像投影装置と、を備える。前記画像投影装置は、表示装置と、拡大光学系と、第3コントローラとを含む。前記表示装置は、画像光を出射する表示パネルと、透光部と減光部とが交互に並ぶ視差バリアと、を含む。拡大光学系は前記画像光を拡大し、前記第3コントローラは検出された利用者の眼の位置に基づいて前記表示装置を制御する。
【0009】
本開示の一実施形態に係る3次元表示装置は、上記の撮像装置と、画像投影装置と、を備える。前記画像投影装置は、表示装置と、拡大光学系と、を含む。前記表示装置は、画像光を出射する表示パネルと、透光部と減光部とが交互に並ぶ視差バリアと、を含む。拡大光学系は前記画像光を拡大し、前記第2コントローラは検出された利用者の眼の位置に基づいて前記表示装置を制御する。
【発明の効果】
【0010】
本開示の一実施形態に係る撮像装置および3次元表示装置によれば、不要な情報が含まれることを低減した撮像画像を得ることができる。
【図面の簡単な説明】
【0011】
図1】撮像装置が搭載された移動体の概略構成の一例を示す図である。
図2】3次元表示装置の概略構成の一例を示す図である。
図3】運転者の眼と表示部と視差バリアとの関係を示す模式図である。
図4】検出処理を示すフローチャートである。
図5】3次元表示装置の概略構成の他の例を示す図である。
図6】実施例の撮像画像および差分画像を示す写真である。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
【0013】
図1に示されるように、本開示の一実施形態に係る撮像装置50は、移動体10に搭載されている。撮像装置50は、光源1と、制御部2と、カメラ11と、を含む。移動体10は、3次元表示装置100を備えてよい。3次元表示装置100は、撮像装置50と、画像投影装置12と、を備える。
【0014】
本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。以下では、移動体10が、乗用車である場合を例として説明する。移動体10は、乗用車に限らず、上記例のいずれかであってよい。
【0015】
撮像装置50について説明する。カメラ11は、撮像方向が移動体10の前方を向いてよい。カメラ11は、移動体10に取り付けられる。カメラ11は、移動体10の運転者である利用者13の眼、顔または上半身などがあると想定される空間を撮像するように構成される。カメラ11の撮像方向は、カメラ11の光軸方向に沿う方向であって、被写体に向かう方向である。言い換えると、撮像方向は、カメラ11の光軸方向に沿う方向であって、入射光と反対向きの方向である。
【0016】
カメラ11の撮像方向の先には、光学部材であるウインドシールド15が位置していてよい。ウインドシールド15は、移動体外部からの光を透過するようにしうる。本開示では、ウインドシールド15を透過するとカメラ11に向かう光を第1光とする。ウインドシールド15は、移動体内部からの光を反射しうる。本開示では、ウインドシールド15で反射することでカメラ11に向かう光を第2光とする。カメラ11は、第1光と第2光とを含む合成光を撮像可能に構成されている。
【0017】
移動体内部からの光の反射によってウインドシールド15には、利用者13が映り込みうる。第2光は、利用者13の像を含みうる。利用者13は、運転時に所定の範囲に位置するものとして、カメラ11は、利用者13が存在すると想定される空間を、ウインドシールド15を介して撮像するように構成される。カメラ11は、ウインドシールド15を介して当該空間に存在する利用者13を撮像するように構成される。カメラ11は、ウインドシールド15で反射した光を撮像することで、利用者13を撮像し得る。カメラ11は、ウインドシールド15を介して少なくとも移動体10の利用者13の顔または眼を撮像するように構成されている。
【0018】
カメラ11の取り付け位置は、移動体10の内部及び外部において任意である。例えば、カメラ11は、移動体10のダッシュボード内に位置してよいし、ダッシュボード上に位置してよい。例えば、カメラ11は、エアダクト等の他のデバイス中に位置してよい。
【0019】
カメラ11は、赤外光を受光して画像を生成するように構成される赤外光カメラであってよい。カメラ11は、赤外光カメラと可視光カメラの両方の機能を有していてよい。カメラ11は、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含んでよい。
【0020】
光源1は、撮像可能な波長の光である第3光を発光可能に構成される。例えば、カメラ11が、赤外光カメラであれば、光源1は、第3光として赤外光を発光可能に構成される。光源1は、利用者13が存在すると想定される空間に向けて第3光を発光するように構成される。例えば、利用者13が運転者であれば、利用者13が存在すると想定される空間は、運転席上方の空間である。光源1が発光した第3光は、利用者13で反射される。利用者13で反射された第3光の一部は、ウインドシールド15を介してカメラに向かう第2光の一部となりうる。第2光は、前述のようにウインドシールド15で反射されてカメラ11で撮像される。外光である太陽光の少なくとも一部が、ウインドシールド15を透過する。太陽光は、赤外光も含む。カメラ11は、ウインドシールド15に向けられているので、ウインドシールド15を透過した赤外光もカメラ11で撮像されうる。すなわち、カメラ11は、ウインドシールド15で反射された光とウインドシールド15を透過した光とを含む合成光を撮像することになる。後述のように、利用者13を写した画像は、例えば、利用者13の眼5の位置を検出する検出処理に用いられる。カメラ11は、第1光を撮像するため、移動体10外部の物体(例えば、人や建物、樹木など)と利用者13が合成された画像を生成しうる。したがって、カメラ11で撮像した撮像画像には、移動体10内部の利用者13と移動体10外部の物体とが含まれうる。移動体10外部の物体は、検出処理において不要な情報となり、検出処理の精度低下の原因となりうる。
【0021】
本実施形態では、カメラ11は、第1光と第2光とを含む合成光を撮像した画像を第1周期で取得して撮像画像を生成するように構成されている。光源1は、第3光を第2周期で発光するように構成されている。発光の第2周期は、撮像画像生成の第1周期より長い。カメラ11は、光源1による第3光の発光時および非発光時のいずれにおいても撮像画像を取得し、発光時に取得された撮像画像を第1画像とし、非発光時に取得された撮像画像を第2画像とする。なお、発光時に取得された撮像画像は、発光中に撮像した撮像画像に限られず、発光時を含む光を蓄積して取得した撮像画像を含む。後者は、例えば、1フレーム当たりの時間に比べて発光時間が短い場合を含みうる。第1画像は、ウインドシールド15で反射された光源1からの第3光の光量が相対的に多く、移動体10内の被写体の明度が高く撮像されやすい。第2画像は、ウインドシールド15で反射された光源1からの第3光の光量が相対的に少なく、移動体10内の被写体の明度が低く撮像されやすい。ウインドシールド15を透過した赤外光の光量は、発光時と非発光時で変わらないので、移動体10外の物体は、第1画像と第2画像で同程度の明度で撮像される。
【0022】
制御部2は、カメラ11で取得された撮像画像を処理可能に構成される。制御部2は、上記の第1画像と第2画像との差分である第3画像を生成する処理を実行可能に構成される。第1画像と第2画像の両方には、後の検出処理で不要な情報となる移動体10外の物体が撮像されている。第1画像と第2画像との差分である第3画像では、移動体10外の物体の少なくとも一部が相殺されて低減され得る。このように、本実施形態の撮像装置50は、移動体10外の物体の映り込みを低減した撮像画像を得ることができる。
【0023】
運転者13等の観察対象は、不均一な光が照らされる虞がある。不均一な光の例としては、太陽光が左右の一方から照らされる場合などが挙げられる。制御部2は、第1画像と第2画像との差分である第3画像を生成する処理を実行可能に構成される。第3画像では、かかる不均一な光によって生じた偏りを第1画像と第2画像と差分をとることで減じうる。
【0024】
カメラ11は、第1周期で撮像画像を生成するので、光源1が発光する第2周期が、第1周期の整数倍であると、第1画像と第2画像とが、一定間隔で生成される。例えば、第2周期が、第1周期の2倍であると、第1画像と第2画像とが1つずつ交互に生成される。このとき、制御部2は、第1画像から、その第1画像より時間的に前に取得された第2画像を差し引いて、第3画像を生成する。制御部2は、第1画像から、その第1画像より時間的に後に取得された第2画像を差し引いて、第3画像を生成してもよい。後の検出処理で必要な移動体10内の利用者13は、第1画像で明瞭に写っている。第2画像より時間的に新しい第1画像を用いて第3画像を生成することで、より新しい利用者13の情報を検出処理で利用することができる。
【0025】
カメラ11と光源1とは、直接的または間接的に連動して動作してよい。例えば、本実施形態のように、制御部2が、カメラ11と光源1の両方の動作を制御する構成であれば、カメラ11と光源1とは、共通の制御信号に基づいて動作することで、直接的に連動させることができる。制御部2は、カメラ11と光源1の動作を制御するので、カメラ11の撮像タイミングと、光源1の発光タイミングとから、発光時の撮像画像である第1画像と非発光時の撮像画像である第2画像とを特定可能である。
【0026】
カメラ11と光源1とが連動していなくてもよい。例えば、制御部2がカメラ11の動作を制御し、光源1の動作を制御しない構成であってよい。制御部2は、光源1の動作を制御しないので、光源1は、独立して発光動作を行う。この場合、制御部2は、カメラ11が第1周期で生成する撮像画像の明度に基づいて第1画像であるか第2画像であるかを判断してよい。発光時の撮像画像である第1画像は、非発光時の撮像画像である第2画像より明度が大きい。例えば、カメラ11が生成する撮像画像ごとに、全画素の明度値を加算演算し、明度値の合計が所定値より大きい(明るい画像)場合は、第1画像であると判断し、明度値の合計が所定値以下(暗い画像)である場合は、第2画像であると判断できる。
【0027】
制御部2は、カメラ11の露光量を制御するように構成されてよい。カメラ11の露光量は、例えば、1つの撮像画像を取得すると、その撮像画像の画素値に基づいて、次の撮像画像の露光量を決定する。本実施形態では、上記のように、光源発光時の第1画像と光源非発光時の第2画像とを取得するので、例えば、暗い画像である第2画像の画素値に基づいて、次の撮像画像である第1画像の露光量を変更する、または、明るい画像である第1画像に基づいて、次の撮像画像の第2画像の露光量を変更すると、同じ移動体10外部の物体であっても第1画像と第2画像とで明度が異なって撮像されるおそれがある。このような場合、第1画像と第2画像の差分である第3画像において、移動体10外部の物体が低減されず、不要な情報が残ってしまう。
【0028】
本実施形態では、制御部2が、第1画像と第2画像とが同じ露光量となるように、カメラ11を制御することで、第1画像と第2画像とで露光量が変化せず、第3画像において、不要な情報を低減することができる。制御部2は、第1画像に基づいて決定した露光量によって、第1画像と第2画像とを撮像するようにカメラ11を制御してよい。カメラ11は、光源発光時の明るい画像である第1画像に基づく露光量のままで暗い画像である第2画像を撮像する。第1画像に基づく露光量と同じ露光量で第2画像を撮像するので、不要な情報である移動体10外の物体を、第1画像と第2画像ともに移動体10内の利用者13に比べて低い明度値で撮像することができる。制御部2によるこのような露光制御は、言い換えると、制御部2は、第2画像に基づいて露光量を制御せず、第3画像に基づいて露光量を制御しない。
【0029】
ウインドシールド15は、外部から透過する赤外光を減光するように構成されてよい。第3画像において、不要な情報である移動体10外の物体は低減し得るが、ウインドシールド15が赤外光を減光することで、第1画像および第2画像に含まれる移動体10外の物体を、より低い明度で撮像することができる。第3画像において、移動体10外の物体の一部分が残った場合であっても、その一部分は利用者13に比べて明度が低く、検出処理における影響を小さくすることができる。
【0030】
ウインドシールド15が透過する赤外光を減光する構成は、例えば、赤外光吸収剤を含む樹脂シートを貼り付けてよく、ウインドシールド15を構成するガラス材料に赤外光吸収剤を分散させてよい。ウインドシールド15に赤外光吸収剤を含む樹脂シートなどを貼り付ける場合は、カメラ11が撮像する光がウインドシールド15で反射するときに吸収されないように、ウインドシールド15の外面側に貼り付ければよい。
【0031】
光源1は、利用者13が存在すると想定される空間に直接的に赤外光を出射してよく、間接的に出射してよい。間接的とは、光源1から出射された光が、反射体による反射を介して利用者13が存在すると想定される空間に到達すればよい。反射体は、鏡などの反射部材であってよく、ウインドシールド15であってよい。ウインドシールド15を反射体とする場合、例えば、カメラ11が撮像する光の光路と、光源1が出射する光の光路とを近接させることができる。これにより、カメラ11と光源1とを並べて配置することができ、撮像装置50を小型化することができる。
【0032】
制御部2は、第3画像に基づいて利用者13を検出可能に構成してよい。制御部2は、例えば、利用者13の顔または利用者13の上半身などを検出して、移動体10の運転状態を取得することができる。例えば、制御部2は、運転状態として、利用者13の顔の向き、顔の動きなどから、脇見運転をしているかどうかを取得することができる。例えば、制御部2は、運転状態として、利用者13の上半身の動きなどから、居眠り運転をしているかどうかを取得することができる。
【0033】
制御部2は、第3画像に基づいて利用者13の眼5の位置を検出可能に構成してよい。撮像装置50は、検出した眼5の位置に関する位置情報を画像投影装置12に出力するように構成してよい。この位置情報に基づいて、画像投影装置12は、投影する画像を制御するように構成してよい。撮像装置50は、有線又は無線を介して眼5の位置を示す情報を画像投影装置12へ出力するように構成してよい。有線は、例えばCAN(Controller Area Network)等を含みうる。
【0034】
前述のように、第3画像は、不要な情報である移動体10外の物体が低減されており、第3画像に基づいて利用者13の検出処理または利用者13の眼の位置の検出処理において、検出精度を向上させることができる。
【0035】
制御部2は、第3画像を出力可能に構成してよい。制御部2から出力された第3画像に基づいて、制御部2以外の制御部(第2コントローラ)が、利用者13の眼の位置を検出可能に構成してよい。撮像装置50は、第1画像と第2画像とから第3画像を生成する生成処理と、第3画像に基づいて利用者13の眼の位置を検出する検出処理とを、異なる制御部が分担して実行してよい。撮像装置50は、生成処理と検出処理とを並列てきに実行することができる。
【0036】
撮像装置50は、第3画像を外部装置に出力してよい。この外部装置は、出力された第3画像から、利用者13の眼5の位置を検出するように構成されてよい。この外部装置は、検出した眼5の位置に関する位置情報を画像投影装置12に出力するように構成してよい。この位置情報に基づいて、画像投影装置12は、投影する画像を制御するように構成してよい。撮像装置50は、有線又は無線を介して撮像した画像を外部装置へ出力するように構成してよい。外部装置は、有線又は無線を介して撮像した画像を画像投影装置12へ出力するように構成してよい。有線は、例えばCAN等を含みうる。
【0037】
撮像装置50は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。制御部2は、センサによって利用者13の頭部の位置を検出するように構成され、頭部の位置に基づいて、利用者13の眼5の位置を検出するように構成されうる。制御部2は、2つ以上のセンサによって、利用者13の眼5の位置を三次元空間の座標として検出するように構成されうる。
【0038】
3次元表示装置100について説明する。3次元表示装置100は、撮像装置50と、画像投影装置12と、を備える。画像投影装置12の位置は、移動体10の内部及び外部において任意である。例えば、画像投影装置12は、移動体10のダッシュボード内に位置してよい。画像投影装置12は、ウインドシールド15に向けて画像光を射出するように構成される。画像光は、例えば、筐体120に設けられた開口を通って射出されてよい。
【0039】
ウインドシールド15は、画像投影装置12から射出された画像光を反射するように構成される。ウインドシールド15で反射された画像光は、アイボックス16に到達する。アイボックス16は、例えば利用者13の体格、姿勢、及び姿勢の変化等を考慮して、利用者13の眼5が存在しうると想定される実空間上の領域である。アイボックス16の形状は任意である。アイボックス16は、平面的または立体的な領域を含んでよい。図1に示されている実線の矢印は、画像投影装置12から射出される画像光の少なくとも一部がアイボックス16まで到達する経路を示す。利用者13の眼5がアイボックス16内に位置する場合、利用者13は、アイボックス16に到達する画像光によって、虚像14を視認可能である。虚像14は、ウインドシールド15から眼5に到達する経路を前方に延長した、一点鎖線で示されている線の上に位置する。画像投影装置12は、利用者13に虚像14を視認させることによって、ヘッドアップディスプレイとして機能しうる。図1において、利用者13の眼5が並ぶ方向は、x軸方向に対応する。鉛直方向は、y軸方向に対応する。カメラ11の撮像範囲は、アイボックス16を含む。
【0040】
図2に示されるように、画像投影装置12は、3次元表示装置17と、光学素子18とを備える。3次元表示装置17は、バックライト19と、表示面20aを有する表示部20と、視差バリア21と、制御部24とを備えうる。3次元表示装置17は、通信部22をさらに備えてよい。3次元表示装置17は、記憶部23をさらに備えてよい。画像投影装置12は、例えば、筐体120を備えてよい。筐体120内には、3次元表示装置17と、光学素子18とが収容される。
【0041】
光学素子18は、第1ミラー18aと、第2ミラー18bとを含んでよい。第1ミラー18a及び第2ミラー18bの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第1ミラー18aは、光学的なパワーを有する凹面鏡であるとする。第2ミラー18bは、平面鏡であるとする。光学素子18は、3次元表示装置17に表示された画像を拡大する拡大光学系として機能してよい。図2に示される一点鎖線の矢印は、3次元表示装置17から射出される画像光の少なくとも一部が、第1ミラー18a及び第2ミラー18bによって反射され、画像投影装置12の外部に射出される際の経路を示す。画像投影装置12の外部に射出された画像光は、ウインドシールド15に到達し、ウインドシールド15で反射されて利用者13の眼5に到達する。その結果、利用者13は、3次元表示装置17に表示された画像を視認できる。
【0042】
光学素子18とウインドシールド15とは、3次元表示装置17から射出させる画像光を利用者13の眼5に到達させうるように構成される。光学素子18は、画像光を拡大する拡大光学系として機能してよい。光学素子18とウインドシールド15とは、光学系30を構成してよい。言い換えれば、光学系30は、光学素子18とウインドシールド15とを含む。光学系30は、3次元表示装置17から射出される画像光を一点鎖線で示されている光路に沿って利用者13の眼5に到達させるように構成される。光学系30は、利用者13に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系30は、利用者13に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。
【0043】
光学素子18は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子18を構成する要素の数は、2つに限られず、1つであってよいし、3つ以上であってよい。光学素子18は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。
【0044】
バックライト19は、画像光の光路上において、利用者13から見て、表示部20及び視差バリア21よりも遠い側に位置する。バックライト19は、視差バリア21と表示部20とに向けて光を射出する。バックライト19が射出した光の少なくとも一部は、一点鎖線で示されている光路に沿って進行し、利用者13の眼5に到達する。バックライト19は、LED(Light Emission Diode)又は有機EL若しくは無機EL等の発光素子を含んでよい。バックライト19は、発光強度、及び、その分布を制御可能に構成されてよい。
【0045】
表示部20は、表示パネルを含む。表示部20は、例えば、LCD(Liquid Crystal Display)等の液晶デバイスであってよい。本実施形態において、表示部20は、透過型の液晶表示パネルを含むとする。表示部20は、この例に限られず、種々の表示パネルを含んでよい。
【0046】
表示部20は、複数の画素を有し、各画素においてバックライト19から入射する光の透過率を制御し、利用者13の眼5に到達する画像光として射出するように構成される。利用者13は、表示部20の各画素から射出される画像光によって構成される画像を視認する。
【0047】
視差バリア21は、入射してくる光の進行方向を規定するように構成される。視差バリア21が表示部20よりもバックライト19に近い側に位置する場合、バックライト19から射出される光は、視差バリア21に入射し、さらに表示部20に入射する。この場合、視差バリア21は、バックライト19から射出される光の一部を遮ったり減衰させたりし、他の一部を表示部20に向けて透過させるように構成される。表示部20は、視差バリア21によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示部20が視差バリア21よりもバックライト19に近い側に位置する場合、バックライト19から射出される光は、表示部20に入射し、さらに視差バリア21に入射する。この場合、視差バリア21は、表示部20から射出される画像光の一部を遮ったり減衰させたりし、他の一部を利用者13の眼5に向けて透過させるように構成される。
【0048】
表示部20と視差バリア21とのどちらが利用者13の近くに位置するかにかかわらず、視差バリア21は、画像光の進行方向を制御できるように構成される。視差バリア21は、表示部20から射出される画像光の一部を利用者13の左眼5L及び右眼5R(図3参照)のいずれかに到達させ、画像光の他の一部を利用者13の左眼5L及び右眼5Rの他方に到達させるように構成される。つまり、視差バリア21は、画像光の少なくとも一部の進行方向を利用者13の左眼5Lと右眼5Rとに分けるように構成される。左眼5L及び右眼5Rはそれぞれ、第1眼及び第2眼ともいう。本実施形態において、視差バリア21は、バックライト19と表示部20との間に位置する。つまり、バックライト19から射出される光は、先に視差バリア21に入射し、次に表示部20に入射する。
【0049】
視差バリア21によって画像光の進行方向が規定されることによって、利用者13の左眼5L及び右眼5Rそれぞれに異なる画像光が到達しうる。その結果、利用者13は、左眼5L及び右眼5Rそれぞれで異なる画像を視認しうる。
【0050】
図3に示されるように、表示部20は、表示面20a上に、利用者13の左眼5Lで視認される左眼視認領域201Lと、利用者13の右眼5Rで視認される右眼視認領域201Rとを含む。表示部20は、利用者13の左眼5Lに視認させる左眼画像と、利用者13の右眼5Rに視認させる右眼画像とを含む視差画像を表示するように構成される。視差画像は、利用者13の左眼5L及び右眼5Rそれぞれに投影される画像であって、利用者13の両眼に視差を与える画像であるとする。表示部20は、左眼視認領域201Lに左眼画像を表示し、右眼視認領域201Rに右眼画像を表示するように構成される。つまり、表示部20は、左眼視認領域201Lと右眼視認領域201Rとに視差画像を表示するように構成される。左眼視認領域201Lと右眼視認領域201Rとは、視差方向を表すu軸方向に並んでいるとする。左眼視認領域201L及び右眼視認領域201Rは、視差方向に直交するv軸方向に沿って延在してよいし、v軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域201L及び右眼視認領域201Rは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域201Lと右眼視認領域201Rとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域201Lと右眼視認領域201Rとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示部20は、表示面20a上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、利用者13の眼5に視差を与えず、立体視されない画像であるとする。
【0051】
図3に示されるように、視差バリア21は、開口領域21bと、遮光面21aとを有する。視差バリア21が、画像光の光路上において、利用者13から見て表示部20よりも近い側に位置する場合、視差バリア21は、表示部20から射出される画像光の透過率を制御するように構成される。開口領域21bは、表示部20から視差バリア21に入射する光を透過させるように構成される。開口領域21bは、第1所定値以上の透過率で光を透過させてよい。第1所定値は、例えば100%であってよいし、100%に近い値であってよい。遮光面21aは、表示部20から視差バリア21に入射する光を遮るように構成される。遮光面21aは、第2所定値以下の透過率で光を透過させてよい。第2所定値は、例えば0%であってよいし、0%に近い値であってよい。第1所定値は、第2所定値より大きい。
【0052】
開口領域21bと遮光面21aとは、視差方向を表すu軸方向に交互に並ぶとする。開口領域21bと遮光面21aとの境界は、図4に例示されているように視差方向に直交するv軸方向に沿ってよいし、v軸方向に対して所定角度で傾斜する方向に沿ってよい。言い換えれば、開口領域21bと遮光面21aとは、視差方向の成分を含む所定方向に沿って交互に並んでよい。
【0053】
本実施形態では、視差バリア21は、画像光の光路上において、利用者13から見て表示部20よりも遠い側に位置している。視差バリア21は、バックライト19から表示部20に向けて入射する光の透過率を制御するように構成される。開口領域21bは、バックライト19から表示部20に向けて入射する光を透過させるように構成される。遮光面21aは、バックライト19から表示部20に入射する光を遮るように構成される。このようにすることで、表示部20に入射する光の進行方向は、所定方向に限定される。その結果、画像光の一部は、視差バリア21によって利用者13の左眼5Lに到達するように制御されうる。画像光の他の一部は、視差バリア21によって利用者13の右眼5Rに到達するように制御されうる。
【0054】
視差バリア21は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に基づいて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域又は光の透過率が低い領域を任意の形状に形成しうる。視差バリア21が液晶シャッターで構成される場合、開口領域21bは、第1所定値以上の透過率を有してよい。視差バリア21が液晶シャッターで構成される場合、遮光面21aは、第2所定値以下の透過率を有してよい。第1所定値は、第2所定値より高い値に設定されてよい。第1所定値に対する第2所定値の比率は、一例では、1/100に設定されてよい。第1所定値に対する第2所定値の比率は、他の例では、1/1000に設定されてもよい。開口領域21bと遮光面21aとの形状が変更可能に構成される視差バリア21は、アクティブバリアとも称される。
【0055】
制御部24は、表示部20を制御するように構成される。視差バリア21がアクティブバリアである場合、制御部24は、視差バリア21を制御するように構成してよい。制御部24は、バックライト19を制御するように構成してよい。制御部24は、撮像装置50から利用者13の眼5の位置に関する位置情報を取得し、その位置情報に基づいて表示部20を制御するように構成される。このような構成では、制御部24は、第3コントローラである。制御部24は、位置情報に基づいて視差バリア21、及びバックライト19の少なくとも一方を制御するように構成されうる。制御部24は、撮像装置50から出力された第3画像を受信し、受信した第3画像から利用者13の眼5を検出してよい。制御部24は、検出した眼5の位置に基づいて表示部20を制御するように構成されてよい。制御部24は、検出した眼5の位置に基づいて、視差バリア21及びバックライト19の少なくとも一報を制御するように構成されうる。このような構成では、制御部24は、第2コントローラである。
【0056】
制御部24は、例えばプロセッサとして構成される。制御部24は、1以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC:Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD:Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部24は、1つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)のいずれかであってよい。
【0057】
通信部22は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えばカメラ11を含んでよい。通信部22は、カメラ11から情報を取得し、制御部24に出力してよい。本開示における「通信可能なインタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、又はRCA端子に対応するコネクタを含んでよい。電気コネクタは、EIAJ CP-121aAに規定されるS端子に対応するコネクタ、又はEIAJ RC-5237に規定されるD端子に対応するコネクタを含んでよい。電気コネクタは、HDMI(登録商標)規格に準拠するコネクタ、又はBNC(British Naval Connector又はBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、及びIEEE8021aを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
【0058】
記憶部23は、各種情報、又は3次元表示装置17の各構成部を動作させるためのプログラム等を格納するように構成されてよい。記憶部23は、例えば半導体メモリ等で構成されてよい。記憶部23は、制御部24のワークメモリとして機能してよい。記憶部23は、制御部24に含まれてよい。
【0059】
図3に示されるように、バックライト19から射出された光は、視差バリア21と表示部20とを透過して利用者13の眼5に到達する。バックライト19から射出された光が眼5に到達するまでの経路は、破線で表されている。視差バリア21の開口領域21bを透過して右眼5Rに到達する光は、表示部20の右眼視認領域201Rを透過する。つまり、右眼5Rは、開口領域21bを透過した光によって右眼視認領域201Rを視認できる。視差バリア21の開口領域21bを透過して左眼5Lに到達する光は、表示部20の左眼視認領域201Lを透過する。つまり、左眼5Lは、開口領域21bを透過した光によって左眼視認領域201Lを視認できる。
【0060】
表示部20は、右眼視認領域201R及び左眼視認領域201Lに、それぞれ右眼画像及び左眼画像を表示するように構成される。これによって、視差バリア21は、左眼画像に係る画像光を左眼5Lに到達させ、右眼画像に係る画像光を右眼5Rに到達させるように構成される。つまり、開口領域21bは、左眼画像に係る画像光を利用者13の左眼5Lに到達させ、右眼画像に係る画像光を利用者13の右眼5Rに到達させるように構成される。このようにすることで、3次元表示装置17は、利用者13の両眼に対して視差画像を投影できる。利用者13は、左眼5Lと右眼5Rとで視差画像を見ることによって、画像を立体視できる。
【0061】
視差バリア21の開口領域21bを透過し、表示部20の表示面20aから射出された画像光の少なくとも一部は、光学素子18を介してウインドシールド15に到達する。画像光は、ウインドシールド15で反射されて利用者13の眼5に到達する。これにより、利用者13の眼5はウインドシールド15よりもz軸の負の方向の側に位置する第1虚像14aを視認できる。第1虚像14aは、表示面20aが表示している画像に対応する。視差バリア21の開口領域21bと遮光面21aとは、ウインドシールド15の前方であって第1虚像14aのウインドシールド15側に第2虚像14bをつくる。図2に示すように、利用者13は、見かけ上、第1虚像14aの位置に表示部20が存在し、第2虚像14bの位置に視差バリア21が存在するかのように、画像を視認しうる。
【0062】
表示面20aに表示される画像に係る画像光は、視差バリア21によって規定される方向に向けて、3次元表示装置17から射出される。光学素子18は、ウインドシールド15に向けて射出するように構成される。光学素子18は、画像光を反射したり屈折させたりするように構成されうる。ウインドシールド15は、画像光を反射し、利用者13の眼5に向けて進行させるように構成される。画像光が利用者13の眼5に入射することによって、利用者13は、視差画像を虚像14として視認する。利用者13は、虚像14を視認することによって立体視できる。虚像14のうち視差画像に対応する画像は、視差虚像とも称される。視差虚像は、光学系30を介して投影される視差画像であるともいえる。虚像14のうち平面画像に対応する画像は、平面虚像とも称される。平面虚像は、光学系30を介して投影される平面画像であるともいえる。
【0063】
図4は、検出処理を示すフローチャートである。3次元表示装置100は、検出処理を、例えば、3次元表示装置100の起動時(電源オン時)に開始してよい。まず、ステップS1において、非発光時に撮像して第2画像を取得する。ステップS2において、発光時に撮像して第1画像を取得する。ステップS3において、第1画像と第2画像との差分である第3画像を生成する。ステップS4では、第3画像に基づいて、利用者13を検出する。第3画像は、移動体10内の不要な情報を削除されているので、これを用いた検出処理では、検出精度を向上させることができる。
【0064】
図5は、3次元表示装置100の概略構成の他の例を示す図である。撮像装置50は、光源1と、カメラ11と、制御部2とを備える。画像投影装置12は、3次元表示装置17と、光学素子18とを備える。3次元表示装置17は、バックライト19と、表示部20と、視差バリア21と、制御部2とを備える。本実施形態では、撮像装置50の制御部2が、画像投影装置12の制御部でもある。この構成では、撮像装置50のコントローラである制御部が、画像投影装置12の第3コントローラである制御部を兼ねている。
【0065】
撮像装置50は、さらに次のような構成を含んでいてよい。不要な情報である、移動体10外の物体が、移動体10から距離が比較的遠いもの(ビルなどの建造物)、距離が比較的近くても移動速度の小さいもの(道路脇の電柱など)は、第1画像と第2画像とで同じ位置で撮像される。第1画像と第2画像とは、例えば、1/60秒の速度で撮像されるので、第1画像と第2画像との撮像間隔では、移動することなく同じ位置で撮像される。移動体10外の物体が、移動体10からの距離が比較的近くて移動速度の大きいもの(すれ違う他の移動体など)は、第1画像と第2画像とで異なる位置で撮像されるおそれがある。第3画像において、移動体10外の物体が低減されずに残ってしまう。制御部2は、例えば、過去の複数枚の撮像画像に基づいて、画像内で移動する物体の移動先を予測し、第1画像と第2画像との差分から第3画像を生成するときに、時間的に後に撮像される画像において、物体が予測した移動先に位置するように画像を補正し、補正した画像を用いて第3画像を生成してよい。生成された第3画像では、移動体10外の物体は低減される。
【0066】
(実施例)
撮像装置50の差分画像(第3画像)生成処理の実施例について説明する。移動体10に撮像装置50を搭載し、運転者である利用者13を撮像した。撮像条件を以下に示す。
・光 源:京セラ株式会社内製光源 (発光周期 毎秒30回)
・カ メ ラ:京セラ株式会社内製カメラ (撮像周期 毎秒60フレーム)
・差分処理:京セラ株式会社内製PCソフトウエア
【0067】
図6は、実施例の撮像画像および差分画像を示す写真である。図6(a)は、光源発光時の撮像画像である第1画像を示す。図6(b)は、光源非発光時の撮像画像である第2画像を示す。図6(c)は、差分画像である第3画像を示す。本例では、図6(a)の第1画像では、画像中央に、移動体10内の利用者13が光源1の光に照らされて、高い明度で写っており、画像向かって左側には、移動体10外の建物も写っている。この建物は、検出処理において、不要な情報となる。図6(b)の第2画像では、光源1が非発光であるので、移動体10内の利用者13は、視認できない程度に明度が低い。建物は、外光(太陽光)によって撮像されたものであるので、光源1が非発光であっても、第1画像と同程度の明度で写っている。図6(c)の第3画像では、第1画像と第2画像との差分により、利用者13は画像中央に残っており、画像向かって左側に建物は残っておらず、不要な情報である建物が低減されていることがわかる。
【0068】
本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を1つに組み合わせたり、或いは分割したりすることが可能である。
【0069】
本開示に係る構成を説明する図は、模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致しない。
【0070】
本開示において「第1」及び「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」及び「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1眼は、識別子である「第1」を、第2眼の識別子「第2」と交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」及び「第2」等の識別子の記載は、それのみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用されるものではない。
【0071】
本開示において、x軸、y軸、及びz軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、x軸、y軸、及びz軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。
【符号の説明】
【0072】
1 光源
2 制御部
5 眼(5L:左眼、5R:右眼)
10 移動体
11 カメラ
12 画像投影装置
13 利用者
14 虚像(14a:第1虚像、14b:第2虚像)
15 ウインドシールド
16 アイボックス
17 3次元表示装置
18 光学素子(18a:第1ミラー、18b:第2ミラー)
19 バックライト
20 表示部(20a:表示面)
201L 左眼視認領域
201R 右眼視認領域
21 視差バリア(21a:遮光面、21b:開口領域)
22 通信部
23 記憶部
24 制御部
30 光学系
50 撮像装置
100 3次元表示装置
120 筐体
図1
図2
図3
図4
図5
図6