特許 7619200 画像生成装置、画像生成方法、及び車両制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-14

(45)【発行日】2025-01-22

(54)【発明の名称】画像生成装置、画像生成方法、及び車両制御システム

(51)【国際特許分類】

   H04N 23/667 20230101AFI20250115BHJP

   H04N 23/55 20230101ALI20250115BHJP

   H04N 23/12 20230101ALI20250115BHJP

【ＦＩ】

H04N23/667

H04N23/55

H04N23/12

【請求項の数】 4

(21)【出願番号】P 2021124652

(22)【出願日】2021-07-29

(65)【公開番号】P2023019712

(43)【公開日】2023-02-09

【審査請求日】2023-10-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】蜂須賀 元晃

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２００５－００６０６６（ＪＰ，Ａ）

【文献】特開２０１９－００１３２４（ＪＰ，Ａ）

【文献】特開２０１７－１０８０６２（ＪＰ，Ａ）

【文献】特開２０２０－０２８０８５（ＪＰ，Ａ）

【文献】特開２０２０－１７０９６６（ＪＰ，Ａ）

【文献】特開２００７－１７４２７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６６７

Ｈ０４Ｎ ２３／５５

(57)【特許請求の範囲】

【請求項1】

画像を生成する画像生成装置であって、
１又は複数のプロセッサを備え、
前記１又は複数のプロセッサは、
フィルタを通して不可視光と可視光とを別々に受光する撮像素子から、前記不可視光の受光結果を示す第１受光データと前記可視光の受光結果を示す第２受光データを取得し、
前記撮像素子の周囲の環境の照度を示す照度情報に基づいて、前記第１受光データと前記第２受光データの少なくとも一方に対してデモザイク処理を行うことによって前記画像を生成する
ように構成され、
第２閾値は第１閾値より高く、
前記照度が前記第１閾値未満である場合、前記１又は複数のプロセッサは、前記第２受光データに対して第２デモザイク処理を行うことなく、前記第１受光データに対して第１デモザイク処理を行うことによって不可視光画像を前記画像として生成し、
前記照度が前記第２閾値以上である場合、前記１又は複数のプロセッサは、前記第１受光データに対して前記第１デモザイク処理を行うことなく、前記第２受光データに対して前記第２デモザイク処理を行うことによって可視光画像を前記画像として生成し、
前記照度が前記第１閾値以上であり、且つ、前記第２閾値未満である場合、前記１又は複数のプロセッサは、前記第１デモザイク処理と前記第２デモザイク処理を行うことによって前記不可視光画像と前記可視光画像の両方を生成する
画像生成装置。

【請求項2】

請求項１に記載の画像生成装置であって、
前記不可視光は近赤外光である
画像生成装置。

【請求項3】

請求項１に記載の画像生成装置と、
前記画像に基づいて車両を制御する制御装置と
を備える
車両制御システム。

【請求項4】

フィルタを通して不可視光と可視光とを別々に受光する撮像素子を用いて、前記不可視光の受光結果を示す第１受光データと前記可視光の受光結果を示す第２受光データを取得する処理と、
前記撮像素子の周囲の環境の照度を示す照度情報に基づいて、前記第１受光データと前記第２受光データの少なくとも一方に対してデモザイク処理を行うことによって画像を生成する現像処理と
を含み、
第２閾値は第１閾値より高く、
前記現像処理は、
前記照度が前記第１閾値未満である場合、前記第２受光データに対して第２デモザイク処理を行うことなく、前記第１受光データに対して第１デモザイク処理を行うことによって不可視光画像を前記画像として生成する処理と、
前記照度が前記第２閾値以上である場合、前記第１受光データに対して前記第１デモザイク処理を行うことなく、前記第２受光データに対して前記第２デモザイク処理を行うことによって可視光画像を前記画像として生成する処理と、
前記照度が前記第１閾値以上であり、且つ、前記第２閾値未満である場合、前記第１デモザイク処理と前記第２デモザイク処理を行うことによって前記不可視光画像と前記可視光画像の両方を生成する処理と
を含む
画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、可視光画像と不可視光画像をフレキシブルに生成可能な画像生成技術に関する。

【背景技術】

【0002】

特許文献１は、単板式撮像素子を備える画像信号処理装置を開示している。単板式撮像素子は、ＲＧＢ信号等の可視光領域信号を取得する特定波長領域信号取得素子と、可視光および赤外光成分を含む光信号を取得する広波長領域信号取得素子とから構成される。画像信号処理装置は、広波長領域信号に対応するデモザイク画像を輝度信号として生成する。また、画像信号処理装置は、可視光領域信号に対応するデモザイク画像に基づいて色差信号を生成する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－１７４２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両制御、街の監視等において、カメラによって撮影される画像が利用される場合がある。可視光の光量が少ない暗環境においては、近赤外画像等の不可視光画像も有用である。よって、通常の可視光画像と近赤外画像等の不可視光画像の両方を取得することができるカメラは有用であると考えられる。但し、可視光画像と不可視光画像の両方を生成するということは、その分だけデモザイク処理が増加することを意味する。必要以上にデモザイク処理を行い、必要以上に画像を生成することは、計算資源及びストレージ資源の浪費、処理時間の増大、等を招く。

【0005】

本開示の１つの目的は、必要以上にデモザイク処理を行うことなく、状況に応じて可視光画像と不可視光画像をフレキシブルに生成することができる技術を提供することにある。

【課題を解決するための手段】

【0006】

第１の観点は、画像を生成する画像生成装置に関連する。
画像生成装置は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、フィルタを通して不可視光と可視光とを別々に受光する撮像素子から、不可視光の受光結果を示す第１受光データと可視光の受光結果を示す第２受光データを取得する。
更に、１又は複数のプロセッサは、撮像素子の周囲の環境の照度を示す照度情報に基づいて、第１受光データと第２受光データの少なくとも一方に対してデモザイク処理を行うことによって画像を生成する。
照度が第１閾値未満である場合、１又は複数のプロセッサは、第２受光データに対して第２デモザイク処理を行うことなく、第１受光データに対して第１デモザイク処理を行うことによって不可視光画像を画像として生成する。

【0007】

第２の観点は、画像を生成する画像生成装置に関連する。
画像生成装置は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、フィルタを通して不可視光と可視光とを別々に受光する撮像素子から、不可視光の受光結果を示す第１受光データと可視光の受光結果を示す第２受光データを取得する。
更に、１又は複数のプロセッサは、撮像素子の周囲の環境の照度を示す照度情報に基づいて、第１受光データと第２受光データの少なくとも一方に対してデモザイク処理を行うことによって画像を生成する。
照度が閾値以上である場合、１又は複数のプロセッサは、第１受光データに対して第１デモザイク処理を行うことなく、第２受光データに対して第２デモザイク処理を行うことによって可視光画像を画像として生成する。

【0008】

第３の観点は、車両制御システムに関連する。
車両制御システムは、
上記第１あるいは第２の観点に係る画像生成装置と、
生成された画像に基づいて車両を制御する制御装置と
を備える。

【0009】

第４の観点は、画像生成方法に関連する。
画像生成方法は、
フィルタを通して不可視光と可視光とを別々に受光する撮像素子を用いて、不可視光の受光結果を示す第１受光データと可視光の受光結果を示す第２受光データを取得する処理と、
撮像素子の周囲の環境の照度を示す照度情報に基づいて、第１受光データと第２受光データの少なくとも一方に対してデモザイク処理を行うことによって画像を生成する現像処理と
を含む。
現像処理は、照度が第１閾値未満である場合、第２受光データに対して第２デモザイク処理を行うことなく、第１受光データに対して第１デモザイク処理を行うことによって不可視光画像を画像として生成する処理を含む。

【0010】

第５の観点は、画像生成方法に関連する。
画像生成方法は、
フィルタを通して不可視光と可視光とを別々に受光する撮像素子を用いて、不可視光の受光結果を示す第１受光データと可視光の受光結果を示す第２受光データを取得する処理と、
撮像素子の周囲の環境の照度を示す照度情報に基づいて、第１受光データと第２受光データの少なくとも一方に対してデモザイク処理を行うことによって画像を生成する現像処理と
を含む。
現像処理は、照度が閾値以上である場合、第１受光データに対して第１デモザイク処理を行うことなく、第２受光データに対して第２デモザイク処理を行うことによって可視光画像を画像として生成する処理を含む。

【発明の効果】

【0011】

本開示によれば、撮像素子の周囲の環境の照度を考慮して、第１デモザイク処理と第２デモザイク処理のうち必要なものが実行される。すなわち、必要以上にデモザイク処理を行うことなく、状況に応じて可視光画像と不可視光画像をフレキシブルに生成することが可能となる。その結果、計算資源及びストレージ資源の浪費が防止され、計算資源及びストレージ資源が効率的に使用されることになる。また、全体としての処理時間も軽減される。

【図面の簡単な説明】

【0012】

【図1】本開示の実施の形態に係る画像生成装置の構成例を示すブロック図である。

【図2】本開示の実施の形態に係る撮像素子の構成例を示す概念図である。

【図3】本開示の実施の形態に係るデモザイク処理の第１の例を説明するための概念図である。

【図4】本開示の実施の形態に係るデモザイク処理の第２の例を説明するための概念図である。

【図5】本開示の実施の形態に係るデモザイク処理の第３の例を説明するための概念図である。

【図6】本開示の実施の形態に係るデモザイク処理の第４の例を説明するための概念図である。

【図7】本開示の実施の形態に係る画像生成方法を示すフローチャートである。

【図8】本開示の実施の形態に係る車両制御システムの構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

添付図面を参照して、本開示の実施の形態を説明する。

【0014】

１．画像生成装置の概要
本実施の形態に係る画像生成装置１は、画像を生成する。例えば、画像生成装置１は、車両やロボット等の移動体に搭載されるカメラである。画像生成装置１（カメラ）は、移動体の周囲の状況を撮影し、その周囲の状況を示す画像を生成する。生成された画像は、移動体の制御（例：自律走行制御、遠隔制御）に利用される。他の例として、画像生成装置１は、スマートシティ等の街に設置されるカメラである。生成された画像は、街の監視等に利用される。

【0015】

以下の説明において、「可視光」は、可視領域の光であり、「不可視光」は、可視領域以外の波長領域（不可視領域）の少なくとも一部の光である。例えば、不可視光は、近赤外光である。「可視光画像ＩＭＧ＿ＶＩ」は、可視光を用いた撮像により生成される画像である。一方、「不可視光画像ＩＭＧ＿ＩＲ」は、可視光ではない不可視光を用いた撮像により生成される画像である。例えば、近赤外光の場合の不可視光画像ＩＭＧ＿ＩＲは近赤外画像である。

【0016】

以下に説明されるように、本実施の形態に係る画像生成装置１は、可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲを状況に応じてフレキシブルに生成することができるように構成される。

【0017】

図１は、本実施の形態に係る画像生成装置１の構成例を示すブロック図である。画像生成装置１は、撮像素子１０、１又は複数のプロセッサ２０（以下、単に「プロセッサ２０」と呼ぶ）、及び記憶装置３０を含んでいる。尚、撮像素子１０、プロセッサ２０、及び記憶装置３０は、単一の装置内に集積されていてもよいし、複数の装置に分散的に配置されていてもよい。

【0018】

撮像素子１０は、フィルタを通して不可視光と可視光とを別々に受光する。そして、撮像素子１０は、不可視光の受光結果を示す「第１受光データＲＡＷ＿ＩＲ」と、可視光の受光結果を示す「第２受光データＲＡＷ＿ＶＩ」を取得する。撮像素子１０は、取得した第１受光データＲＡＷ＿ＩＲと第２受光データＲＡＷ＿ＶＩをプロセッサ２０に出力する。

【0019】

図２は、撮像素子１０の構成例を示す概念図である。撮像素子１０は、カラーフィルタアレイ（CFA: Color Filter Array）１１及びセンサアレイ１２を含んでいる。撮像素子１０に入射した光は、カラーフィルタアレイ１１を通してセンサアレイ１２に入射する。

【0020】

カラーフィルタアレイ１１は、アレイ状に配置された複数のカラーフィルタを含んでいる。複数のカラーフィルタは、異なる波長帯の光を透過させる複数種類のカラーフィルタから構成されている。例えば図２において、「Ｒ」は赤色光を透過させるカラーフィルタであり、「Ｇ」は緑色光を透過させるカラーフィルタであり、「Ｂ」は青色光を透過させるカラーフィルタであり、「Ｎ」は近赤外光を透過させるカラーフィルタである。赤色光、緑色光、及び青色光が可視光であり、近赤外光が不可視光である。

【0021】

センサアレイ１２は、カラーフィルタアレイ１１を透過した光を受光する。センサアレイ１２は、アレイ状に配置された複数のセンサ（セル）を含んでいる。複数のフィルタと複数のセンサは、１対１に対応付けられている。各センサは、フォトダイオードを含んでおり、対応するフィルタを透過した光量に応じた電荷を生成する。受光データ（モザイクデータ）は、複数のセンサのそれぞれにより生成された電荷量を含む。

【0022】

プロセッサ２０は、撮像素子１０から第１受光データＲＡＷ＿ＩＲと第２受光データＲＡＷ＿ＶＩを取得する。そして、プロセッサ２０は、取得した受光データから画像を生成する「現像処理」を行う。

【0023】

より詳細には、プロセッサ２０は、デモザイク処理部２１を含んでいる。デモザイク処理部２１は、第１受光データＲＡＷ＿ＩＲに対してデモザイク処理を行うことによって、不可視光画像ＩＭＧ＿ＩＲを生成することができる。不可視光に関する第１受光データＲＡＷ＿ＩＲに対して行われるデモザイク処理を、以下、「第１デモザイク処理」と呼ぶ。また、デモザイク処理部２１は、第２受光データＲＡＷ＿ＶＩに対してデモザイク処理を行うことによって、可視光画像ＩＭＧ＿ＶＩを生成することができる。可視光に関する第２受光データＲＡＷ＿ＶＩに対して行われるデモザイク処理を、以下、「第２デモザイク処理」と呼ぶ。

【0024】

プロセッサ２０は、更に、画像圧縮を行う画像圧縮部２２を含んでいてもよい。画像圧縮部２２は、不可視光画像ＩＭＧ＿ＩＲ及び可視光画像ＩＭＧ＿ＶＩを圧縮する。圧縮形式は特に限定されない。

【0025】

記憶装置３０は、プロセッサ２０によって生成される不可視光画像ＩＭＧ＿ＩＲ及び可視光画像ＩＭＧ＿ＶＩを記憶する。記憶装置３０としては、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。

【0026】

このように、画像生成装置１は、可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲの両方を同時に生成することができる。可視光画像ＩＭＧ＿ＶＩは、色再現性の観点から優れている。一方、不可視光画像ＩＭＧ＿ＩＲは、可視光の光量が少ない暗環境（例：夜間、トンネル）においても良好に得られるという長所を有する。

【0027】

但し、可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲの両方を生成するということは、その分だけデモザイク処理が増加することを意味する。必要以上にデモザイク処理を行い、必要以上に画像を生成することは、計算資源及びストレージ資源の浪費、処理時間の増大、等を招く。これらのことは、車両制御等のリアルタイム性が要求される制御では特に好ましくない。

【0028】

そこで、本実施の形態によれば、画像生成装置１は、状況に応じて可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲをフレキシブルに生成することができるように構成される。特に、画像生成装置１は、周囲環境の照度に応じて可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲをフレキシブルに生成することができるように構成される。

【0029】

以下、本実施の形態に係る照度に基づく画像生成処理について詳しく説明する。

【0030】

２．照度に基づく画像生成処理
図１に示される照度情報取得装置４０は、撮像素子１０（画像生成装置１）の周囲の環境の照度を示す照度情報ＩＬＵＭを取得する。つまり、照度情報取得装置４０は、撮像素子１０の周囲の環境の照度を計測、算出、あるいは、推定する。例えば、照度情報取得装置４０は、照度を計測する照度センサである。他の例として、照度情報取得装置４０は、ライダー（LIDAR: Laser Imaging Detection and Ranging）を含み、ライダー反射率から照度を推定してもよい。照度情報取得装置４０は、照度情報ＩＬＵＭをプロセッサ２０に出力する。尚、照度情報取得装置４０は、画像生成装置１に含まれていてもよいし、画像生成装置１とは別に設けられてもよい。

【0031】

プロセッサ２０は、更に、デモザイク手法決定部２３を含んでいる。デモザイク手法決定部２３は、照度情報取得装置４０から照度情報ＩＬＵＭを取得する。そして、デモザイク手法決定部２３は、照度情報ＩＬＵＭで示される照度に基づいて、デモザイク処理部２１におけるデモザイク処理の内容を決定する。デモザイク処理部２１は、デモザイク手法決定部２３による決定に従って、必要なデモザイク処理を実行する。

【0032】

以下、本実施の形態に係る照度に応じたデモザイク処理の様々な例について説明する。

【0033】

２－１．第１の例
可視光の光量が少ない暗環境（低照度環境）では、可視光画像ＩＭＧ＿ＶＩの輝度や品質は低い。一方、不可視光画像ＩＭＧ＿ＩＲは、暗環境においても高感度、高輝度に得られる。よって、暗環境では、不可視光画像ＩＭＧ＿ＩＲは有用であり、可視光画像ＩＭＧ＿ＶＩの有用性は比較的低い。そのような暗環境の場合、可視光画像ＩＭＧ＿ＶＩが生成されなくても、後段の処理精度はさほど変わらないと考えられる。言い換えれば、可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲの両方を生成する必要は必ずしもなく、後段の処理には不可視光画像ＩＭＧ＿ＩＲだけで十分であると考えられる。このような観点から、暗環境では不可視光画像ＩＭＧ＿ＩＲが優先される。

【0034】

図３は、本実施の形態に係るデモザイク処理の第１の例を説明するための概念図である。照度が第１閾値Ｔｈ１未満である場合、プロセッサ２０は、第１受光データＲＡＷ＿ＩＲに対して第１デモザイク処理を行うが、第２受光データＲＡＷ＿ＶＩに対して第２デモザイク処理を行わない。すなわち、プロセッサ２０は、可視光画像ＩＭＧ＿ＶＩを生成することなく、不可視光画像ＩＭＧ＿ＩＲだけを生成する。これにより、少なくとも照度が第１閾値Ｔｈ１未満である場合に、必要以上にデモザイク処理が行われることが防止される。その結果、計算資源及びストレージ資源の浪費が防止され、また、処理時間も軽減される。

【0035】

尚、第１の例では、照度が第１閾値Ｔｈ１以上である場合、プロセッサ２０は、第１デモザイク処理と第２デモザイク処理を行い、不可視光画像ＩＭＧ＿ＩＲと可視光画像ＩＭＧ＿ＶＩの両方を生成する。

【0036】

２－２．第２の例
明環境（高照度環境）では、良好な可視光画像ＩＭＧ＿ＶＩが生成される。また、色再現性の観点から言えば、可視光画像ＩＭＧ＿ＶＩは不可視光画像ＩＭＧ＿ＩＲよりも優れている。よって、明環境では、可視光画像ＩＭＧ＿ＶＩは有用であり、不可視光画像ＩＭＧ＿ＩＲの有用性は比較的低い。そのような明環境の場合、不可視光画像ＩＭＧ＿ＩＲが生成されなくても、後段の処理精度はさほど変わらないと考えられる。言い換えれば、可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲの両方を生成する必要は必ずしもなく、後段の処理には可視光画像ＩＭＧ＿ＶＩだけで十分であると考えられる。このような観点から、明環境では可視光画像ＩＭＧ＿ＶＩが優先される。

【0037】

図４は、本実施の形態に係るデモザイク処理の第２の例を説明するための概念図である。照度が第２閾値Ｔｈ２以上である場合、プロセッサ２０は、第２受光データＲＡＷ＿ＶＩに対して第２デモザイク処理を行うが、第１受光データＲＡＷ＿ＩＲに対して第１デモザイク処理を行わない。すなわち、プロセッサ２０は、不可視光画像ＩＭＧ＿ＩＲを生成することなく、可視光画像ＩＭＧ＿ＶＩだけを生成する。これにより、少なくとも照度が第２閾値Ｔｈ２以上である場合に、必要以上にデモザイク処理が行われることが防止される。その結果、計算資源及びストレージ資源の浪費が防止され、また、処理時間も軽減される。

【0038】

尚、第２の例では、照度が第２閾値Ｔｈ２未満である場合、プロセッサ２０は、第１デモザイク処理と第２デモザイク処理を行い、不可視光画像ＩＭＧ＿ＩＲと可視光画像ＩＭＧ＿ＶＩの両方を生成する。

【0039】

２－３．第３の例
図５は、本実施の形態に係るデモザイク処理の第３の例を説明するための概念図である。第３の例は、上述の第１の例と第２の例の組み合わせである。

【0040】

照度が第１閾値Ｔｈ１未満である場合、プロセッサ２０は、第２デモザイク処理を行うことなく第１デモザイク処理だけを行い、可視光画像ＩＭＧ＿ＶＩを生成することなく不可視光画像ＩＭＧ＿ＩＲだけを生成する。一方、照度が第２閾値Ｔｈ２以上である場合、プロセッサ２０は、第１デモザイク処理を行うことなく第２デモザイク処理だけを行い、不可視光画像ＩＭＧ＿ＩＲを生成することなく可視光画像ＩＭＧ＿ＶＩだけを生成する。ここで、第２閾値Ｔｈ２は、第１閾値Ｔｈ１よりも高い。これにより、上述の第１の例と第２の例の両方の効果が得られる。

【0041】

尚、第３の例では、照度が第１閾値Ｔｈ１以上であり、且つ、第２閾値Ｔｈ２未満である場合、プロセッサ２０は、第１デモザイク処理と第２デモザイク処理を行い、不可視光画像ＩＭＧ＿ＩＲと可視光画像ＩＭＧ＿ＶＩの両方を生成する。

【0042】

２－４．第４の例
図６は、本実施の形態に係るデモザイク処理の第４の例を説明するための概念図である。第４の例は、上述の第３の例の変形例である。具体的には、第１閾値Ｔｈ１と第２閾値Ｔｈ２は等しい。この場合、プロセッサ２０は、照度に応じて第１デモザイク処理と第２デモザイク処理を切り替えて実行することになる。

【0043】

２－５．処理フロー
図７は、本実施の形態に係る画像生成方法を要約的に示すフローチャートである。

【0044】

ステップＳ１０において、画像生成装置１は、撮像素子１０を用いて第１受光データＲＡＷ＿ＩＲと第２受光データＲＡＷ＿ＶＩを取得する。

【0045】

ステップＳ２０において、画像生成装置１は、取得した受光データから画像を生成する現像処理を行う。具体的には、ステップＳ２１において、画像生成装置１は、撮像素子１０（画像生成装置１）の周囲の環境の照度を示す照度情報ＩＬＵＭを取得する。ステップＳ２２において、画像生成装置１は、照度に応じてデモザイク手法を決定する（図３～図６参照）。そして、ステップＳ２３において、画像生成装置１は、ステップＳ２２において決定した手法に従ってデモザイク処理を実行し、必要な画像を生成する。

【0046】

ステップＳ３０において、画像生成装置１は、生成した画像を記憶装置３０に格納する。また、画像生成装置１は、生成した画像を外部に出力する。

【0047】

２－６．効果
以上に説明されたように、本実施の形態によれば、撮像素子１０の周囲の環境の照度を考慮して、第１デモザイク処理と第２デモザイク処理のうち必要なものが実行される。すなわち、必要以上にデモザイク処理を行うことなく、状況に応じて可視光画像ＩＭＧ＿ＶＩと不可視光画像ＩＭＧ＿ＩＲをフレキシブルに生成することが可能となる。その結果、計算資源及びストレージ資源の浪費が防止され、計算資源及びストレージ資源が効率的に使用されることになる。また、全体としての処理時間も軽減される。これらのことは、車両制御等のリアルタイム性が要求される制御において特に好ましい。

【0048】

３．車両制御システム
本実施の形態に係る画像生成装置１は、例えば、車両制御（例：自動運転制御、遠隔制御）に適用される。以下、本実施の形態に係る画像生成装置１が車両制御に適用される例について説明する。

【0049】

図８は、本実施の形態に係る車両制御システム１００の構成例を示すブロック図である。車両制御システム１００は、センサ群１１０、走行装置１２０、及び制御装置１３０を含んでいる。

【0050】

センサ群１１０は、車両に搭載されている。センサ群１１０は、車両の周囲の状況を認識する認識センサを含んでいる。認識センサは、本実施の形態に係る画像生成装置１（カメラ）を含んでいる。画像生成装置１は、車両の周囲の状況を撮影し、その周囲の状況を示す画像（不可視光画像ＩＭＧ＿ＩＲ、可視光画像ＩＭＧ＿ＶＩ）を生成する。認識センサは、更に、ＬＩＤＡＲやミリ波レーダを含んでいてもよい。更に、認識センサは、車両の周囲の環境の照度を検出する照度センサを含んでいてもよい。

【0051】

また、センサ群１１０は、車両の状態を検出する車両状態センサを含んでいる。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。更に、センサ群１１０は、車両の位置及び方位を検出する位置センサを含む。位置センサとしては、ＧＰＳ（Global Positioning System）センサが例示される。

【0052】

走行装置１２０は、車両に搭載されている。走行装置１２０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

【0053】

制御装置１３０は、車両を制御する。制御装置１３０は、１又は複数のプロセッサ１３１（以下、単にプロセッサ１３１と呼ぶ）と１又は複数の記憶装置１３２（以下、単に記憶装置１３２と呼ぶ）を含んでいる。プロセッサ１３１は、各種処理を実行する。例えば、プロセッサ１３１は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１３２は、プロセッサ１３１による処理に必要な各種情報を格納する。記憶装置１３２としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。制御装置１３０は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。制御装置１３０の一部は、車両の外部の情報処理装置であってもよい。その場合、制御装置１３０の一部は、車両と通信を行い、車両をリモートで制御する。

【0054】

プロセッサ１３１は、車両の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、加速制御、及び減速制御を含む。プロセッサ１３１は、走行装置１２０（操舵装置、駆動装置、制動装置）を制御することによって車両走行制御を実行する。

【0055】

プロセッサ１３１は、自動運転制御を行ってもよい。より詳細には、プロセッサ１３１は、認識センサを用いて車両の周囲の物体を認識（検出）する。この物体認識に、画像生成装置１によって生成された画像が利用される。本実施の形態によれば、不可視光画像ＩＭＧ＿ＩＲと可視光画像ＩＭＧ＿ＶＩのうち周囲環境（シーン）に適したものが生成される。よって、物体認識が精度良く行われる。プロセッサ１３１は、物体認識の結果に基づいて、車両の走行プランや目標トラジェクトリを生成する。そして、プロセッサ１３１は、車両が目標トラジェクトリに追従するように車両走行制御を行う。

【0056】

画像生成装置１によって生成された画像は、車両の遠隔支援や遠隔運転に利用されてもよい。その場合、制御装置１３０は、遠隔支援装置（図示されない）と通信を行い、遠隔支援装置に画像を送信する。遠隔支援装置は、受信した画像を表示装置に表示する。遠隔オペレータは、表示された画像を見て、遠隔指示あるいは遠隔操作を行う。遠隔支援装置は、遠隔オペレータによる遠隔指示あるいは遠隔操作の情報を車両に送信する。制御装置１３０は、受信した遠隔指示あるいは遠隔操作に従って車両走行制御を行う。

【0057】

以上に説明されたように、画像生成装置１によって生成された画像は車両制御に利用され得る。本実施の形態によれば、不可視光画像ＩＭＧ＿ＩＲと可視光画像ＩＭＧ＿ＶＩのうち周囲環境（シーン）に適したものが生成される。すなわち、不必要なデモザイク処理を抑制しつつ、車両制御の精度も確保することが可能となる。

【符号の説明】

【0058】

１ 画像生成装置
１０ 撮像素子
１１ カラーフィルタアレイ
１２ センサアレイ
２０ プロセッサ
２１ デモザイク処理部
２２ 画像圧縮部
２３ デモザイク手法決定部
３０ 記憶装置
４０ 照度情報取得装置
１００ 車両制御システム
１１０ センサ群
１２０ 走行装置
１３０ 制御装置
ＩＬＵＭ 照度情報
ＩＭＧ＿ＩＲ 不可視光画像
ＩＭＧ＿ＶＩ 可視光画像
ＲＡＷ＿ＩＲ 第１受光データ
ＲＡＷ＿ＶＩ 第２受光データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】