知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023074056
(43)【公開日】2023-05-29
(54)【発明の名称】画像認識システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230522BHJP
G03B 15/00 20210101ALI20230522BHJP
【ＦＩ】
H04N5/232
H04N5/232 290
G03B15/00 V
G03B15/00 Q
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021186800
(22)【出願日】2021-11-17
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】清原 將裕
(72)【発明者】
【氏名】的野 春樹
(72)【発明者】
【氏名】城戸 英彰
(72)【発明者】
【氏名】遠藤 健
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA14
5C122EA12
5C122FA11
5C122FF05
5C122FF09
5C122FF15
5C122FG14
5C122FH01
5C122FH02
5C122FH03
5C122FH11
5C122FH14
5C122HB01
5C122HB06
(57)【要約】
【課題】画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図る。
【解決手段】画像認識システム１０は、撮像装置１１で撮像した画像を取得する画像取得部１０１と、少なくとも１つの環境認識部１１１を有し、画像を少なくとも１つの環境認識部１１１で認識し、認識モデルを生成する認識モデル生成部１０２と、画像及び認識モデルに基づき、撮像装置１１の状態及び当該状態に対応する撮像装置１１の特性を推定する状態推定部１０３と、を有し、状態推定部１０３はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置１１の撮像条件を補正する撮像補正パラメタを生成する。
【選択図】図１
【解決手段】画像認識システム１０は、撮像装置１１で撮像した画像を取得する画像取得部１０１と、少なくとも１つの環境認識部１１１を有し、画像を少なくとも１つの環境認識部１１１で認識し、認識モデルを生成する認識モデル生成部１０２と、画像及び認識モデルに基づき、撮像装置１１の状態及び当該状態に対応する撮像装置１１の特性を推定する状態推定部１０３と、を有し、状態推定部１０３はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置１１の撮像条件を補正する撮像補正パラメタを生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
プロセッサ及びメモリを含み、
撮像装置で撮像した画像を取得する画像取得部と、
少なくとも１つの環境認識部を有し、前記画像を前記少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、
前記画像及び前記認識モデルに基づき、前記撮像装置の状態及び当該状態に対応する前記撮像装置の特性を推定する状態推定部と、を有し、
前記状態推定部はさらに、推定した前記状態及び前記特性、並びに前記認識モデルのうち少なくとも１つに基づいて、前記撮像装置の撮像条件を補正する撮像補正パラメタを生成する、
ことを特徴とする画像認識システム。
撮像装置で撮像した画像を取得する画像取得部と、
少なくとも１つの環境認識部を有し、前記画像を前記少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、
前記画像及び前記認識モデルに基づき、前記撮像装置の状態及び当該状態に対応する前記撮像装置の特性を推定する状態推定部と、を有し、
前記状態推定部はさらに、推定した前記状態及び前記特性、並びに前記認識モデルのうち少なくとも１つに基づいて、前記撮像装置の撮像条件を補正する撮像補正パラメタを生成する、
ことを特徴とする画像認識システム。
【請求項2】
請求項１に記載の画像認識システムであって、前記状態推定部は、
前記撮像装置の集光素子上の雨滴付着状態および曇り付着状態、前記撮像装置と撮像対象物との間の遮蔽物、並びに露光状態のうち少なくとも１つを含む前記撮像装置の前記状態を推定する撮像装置状態推定部と、
前記撮像装置の撮像素子特性、レンズ特性、及び色補正特性のうち少なくとも１つを含む前記撮像装置の前記特性を推定する撮像装置特性推定部と、
推定した前記状態及び前記特性、並びに前記認識モデルのうち少なくとも１つに基づき、前記撮像補正パラメタを生成するパラメタ生成部と、を有する、
ことを特徴とする画像認識システム。
前記撮像装置の集光素子上の雨滴付着状態および曇り付着状態、前記撮像装置と撮像対象物との間の遮蔽物、並びに露光状態のうち少なくとも１つを含む前記撮像装置の前記状態を推定する撮像装置状態推定部と、
前記撮像装置の撮像素子特性、レンズ特性、及び色補正特性のうち少なくとも１つを含む前記撮像装置の前記特性を推定する撮像装置特性推定部と、
推定した前記状態及び前記特性、並びに前記認識モデルのうち少なくとも１つに基づき、前記撮像補正パラメタを生成するパラメタ生成部と、を有する、
ことを特徴とする画像認識システム。
【請求項3】
請求項１に記載の画像認識システムであって、
前記認識モデル生成部は、撮像対象物が存在する領域を認識することによって前記認識モデルを生成し、
前記状態推定部は、前記認識モデル上の、前記撮像対象物が存在する領域ごとに前記撮像補正パラメタを生成する、
ことを特徴とする画像認識システム。
前記認識モデル生成部は、撮像対象物が存在する領域を認識することによって前記認識モデルを生成し、
前記状態推定部は、前記認識モデル上の、前記撮像対象物が存在する領域ごとに前記撮像補正パラメタを生成する、
ことを特徴とする画像認識システム。
【請求項4】
請求項２に記載の画像認識システムであって、
前記パラメタ生成部が生成する前記撮像補正パラメタがハンチング現象を起こした際に収束させるパラメタ安定化部をさらに有する、
ことを特徴とする画像認識システム。
前記パラメタ生成部が生成する前記撮像補正パラメタがハンチング現象を起こした際に収束させるパラメタ安定化部をさらに有する、
ことを特徴とする画像認識システム。
【請求項5】
請求項１に記載の画像認識システムであって、
補正する前記撮像条件が複数ある場合に、補正する前記撮像条件を所定の撮像回数毎に切り替える、
ことを特徴とする画像認識システム。
補正する前記撮像条件が複数ある場合に、補正する前記撮像条件を所定の撮像回数毎に切り替える、
ことを特徴とする画像認識システム。
【請求項6】
請求項１に記載の画像認識システムであって、
前記撮像補正パラメタは、前記撮像装置のシャッタ開放時間、絞り開放度合い、及び画像信号処理のうち少なくとも一つを補正するためのパラメタである、
ことを特徴とする画像認識システム。
前記撮像補正パラメタは、前記撮像装置のシャッタ開放時間、絞り開放度合い、及び画像信号処理のうち少なくとも一つを補正するためのパラメタである、
ことを特徴とする画像認識システム。
【請求項7】
請求項１に記載の画像認識システムであって、
前記画像認識システムは車両に搭載されるとともに、当該車両の車速及び旋回速度の少なくとも一方を含む車両情報を取得する車両情報取得部をさらに有し、
前記車両情報に基づいて、前記状態推定部は、前記撮像補正パラメタを生成する対象領域を修正する、
ことを特徴とする画像認識システム。
前記画像認識システムは車両に搭載されるとともに、当該車両の車速及び旋回速度の少なくとも一方を含む車両情報を取得する車両情報取得部をさらに有し、
前記車両情報に基づいて、前記状態推定部は、前記撮像補正パラメタを生成する対象領域を修正する、
ことを特徴とする画像認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識技術に関し、特に、運転支援システムや自動運転システム、自律移動ロボットなどに代表される周囲を認識しながら移動する移動体に搭載される画像認識システムに関する。
【背景技術】
【0002】
近年、移動体に搭載される画像認識技術は環境変動や環境外乱に対する頑健性が求められている。例えば、移動体の走行場所によっては、認識対象に適切に照明光があたっておらずコントラストが低下したり、太陽光やハロゲン電灯、ネオンサイン等の光源種別によって色相が変化して状態で撮像されたりするなどの環境変動が生じうる。
【0003】
また、屋内環境においては窓等から差し込む西日やＰＣモニタ等の光源による逆光、屋外環境においてはカメラレンズに対する雨滴付着、夜間稼働時の暗ノイズ発生など多様な環境外乱がありうる。一方で、カメラ撮像素子自体のダイナミックレンジの制約や設置場所を画像認識に都合良く選択できない制約がある。このように、撮像装置を用いた画像認識は環境変動や環境外乱に起因して認識性能が低下する。換言すると、画像認識技術においては、構築時に想定している撮像状態と異なる状態では対象物に対する認識性能が低下する。
【0004】
そこで、例えば特許文献１では、「学習モデルを生成する際に用いる画像が撮影された撮影条件を取得する第１取得手段と、処理対象の撮影画像を撮像装置から入力する入力手段と、前記処理対象の撮影画像が撮影された撮影条件を取得する第２取得手段と、前記第１および第２取得手段で取得した撮影条件に基づいて、前記処理対象の撮影画像を変換する変換手段」を有することで、画像認識が構築されたときに想定している撮像状態に近づくように入力画像を変換し、事前に学習を行う環境と、実際に認識を行う環境とで撮影条件が一致していない場合であっても、画像認識の精度を向上させる技術を提供している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－１２５１１６号公報
【特許文献2】特許第６０４５８８８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記従来技術においては、学習に用いる画像の撮像条件が一定であり、かつ実際に撮像した際の撮像条件を、撮像した画像の画像変換によって学習時の撮像条件に一致できることを仮定している。しかしながら、運転支援システムや自動運転システム、自律移動ロボットなどに代表される移動体は様々な場所を移動することを想定しており、その学習用画像も様々な撮像条件で収集されたものを用いることが多く、複数種類の認識対象に対して、同一環境で取得された画像を用いての学習が行われていない場合もある。また、取得した画像を変換することで、画像認識の精度を向上させることを前提としているため、撮像装置で画像を取得した際に既に情報が欠落あるいは縮退している場合には、画像認識の精度を十分に向上することはできない。
【0007】
そこで、本発明は、上記従来技術のように画像認識の学習時の環境に合わせるのではなく、画像認識に用いる装置等の性能が現れる環境に合わせることが重要であるという観点からなされたものであり、その目的は、画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図ることが可能になる画像認識システムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の画像認識システムは、プロセッサ及びメモリを含み、撮像装置で撮像した画像を取得する画像取得部と、少なくとも１つの環境認識部を有し、画像を少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、画像及び認識モデルに基づき、撮像装置の状態及び当該状態に対応する撮像装置の特性を推定する状態推定部と、を有し、状態推定部はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成する。
【発明の効果】
【0009】
本発明により、画像を取得する際の撮像装置の条件を最適化して画像認識精度を向上させることが可能になる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【図1】実施例１に係る画像認識システムの各機能ブロックの接続関係を示すブロック構成図。
【図2】本発明に係る画像認識システムによる撮像補正パラメタ生成の概要を示すブロック図。
【図5】本発明に係る画像認識システムで行われる処理の流れを示すフローチャート。
【図6】実施例２に係る画像認識システムの各機能ブロックの接続関係を示すブロック構成図。
【発明を実施するための形態】
【0011】
以下、本発明に係る画像認識システムの実施例を、車載カメラに適用される場合を例として図面を用いて説明する。
【0012】
＜実施例１＞
図１は、本発明の実施例１に係る画像認識システム１０の各機能ブロックを説明するためのブロック構成図である。
図１に示すように、画像認識システム１０は、撮像装置１１と有線または無線のネットワークを介して接続されており、撮像装置１１から得られた撮像データおよび撮像パラメタを受信する。そして、それらのデータに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成し、フィードバックとして撮像装置１１に送信する。
図１は、本発明の実施例１に係る画像認識システム１０の各機能ブロックを説明するためのブロック構成図である。
図１に示すように、画像認識システム１０は、撮像装置１１と有線または無線のネットワークを介して接続されており、撮像装置１１から得られた撮像データおよび撮像パラメタを受信する。そして、それらのデータに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成し、フィードバックとして撮像装置１１に送信する。
【0013】
撮像装置１１では露光制御部１１６がシャッタ開放時間と絞り開放度合いを制御し、一定時間のみ映像をレンズ等の集光素子を介して撮像装置１１の内部に通過させる。撮像装置１１には撮像素子１１７（光電素子あるいはイメージャとも呼ばれる）が内蔵されており、外界の画像信号がレンズを通過して撮像素子１１７に受光されて電荷に変換される。撮像素子１１７上の各部位に生じた電荷は画像信号処理部１１８（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒとも呼ばれる）において、画像信号処理パラメタに基づいたゲイン調整、平滑化、エッジ強調、デモザイキング、ノイズ除去、ホワイトバランス調整、ＨＤＲ処理（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、必要に応じて低ｂｉｔ化（２４ｂｉｔ／ｐｉｘｅｌなどへの変換など）といった画像信号処理が行われる。画像信号処理が行われたデータは画像データとして画像認識システム１０に送信される。このとき、撮像装置１１は画像データとあわせて画像取得時の撮像パラメタや露光値などの観測パラメタを画像認識システムに送信してもよい。
【0014】
画像認識システム１０は、画像取得部１０１、認識モデル生成部１０２、及び状態推定部１０３を有している。認識モデル生成部１０２は複数の環境認識部１１１を有している。状態推定部１０３は、撮像装置状態推定部１１２、撮像装置特性推定部１１３、パラメタ生成部１１４、及びパラメタ安定化部１１５を有している。
【0015】
なお、図１では、撮像装置１１、画像認識システム１０を別個に記載しているが、これらが同一のハードウェア上に搭載されていてもよく、逆に画像認識システム１０に含まれている画像取得部１０１、認識モデル生成部１０２、状態推定部１０３のうちいずれか１つ以上が異なるハードウェアに分割されて搭載され、通信等で連携して動作する構成であってもよい。
【0016】
また、画像認識システム１０は、具体的には、ＣＰＵ等の演算装置（プロセッサ）、半導体メモリ等の主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えた電子制御ユニット（ＥＣＵ、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、主記憶装置にロードされたプログラムを演算装置が実行することで、認識モデル生成部１０２、状態推定部１０３等の各機能を実現するが、以下では、このようなコンピュータ分野の周知技術を適宜省略しながら、各部の詳細を説明する。
【0017】
画像認識システム１０は、撮像装置１１から受信した画像データ等を画像取得部１０１で取得し、図示しないメモリ等に蓄積するとともに、認識モデル生成部１０２および状態推定部１０３に出力する。
【0018】
認識モデル生成部１０２は内部に１つ以上の環境認識部１１１を有し、画像取得部から得た画像データを入力として、あらかじめ学習で得られた、または手動で設計された認識モデルに基づいて画像データを認識して、その結果を出力する。ここでいう認識モデルとは、例えば本システムが自動運転装置に搭載された車載カメラに適用される場合、環境認識部１１１が、他車両・歩行者・バイク・自転車・動物などの移動体や、信号機・標識・看板・バス停などの環境中に設置された設置物、車線区分線・一時停止線・路側帯・安全地帯・指示標示・規制標示などの路面標示、塀・フェンス・電柱・縁石・建築物などの構造物、落石・タイヤなどの障害物、及び路面凹凸・道路勾配・乾湿度などの路面状態などの認識対象物を１つ以上認識するためにこれらの情報を包含したモデルのことをいう。
【0019】
認識モデル生成部１０２は環境認識部１１１毎に外界認識を行い、認識の結果得た領域の矩形領域・中心点・大きさ・認識の確信度・認識対象の種別・認識した対象の属性などの認識結果を状態推定部１０３に出力する。
【0020】
状態推定部１０３は、画像取得部１０１から画像データ等を、認識モデル生成部１０２から認識結果等を受信し、これらのデータに基づいて撮像装置１１の撮像条件を補正するための撮像補正パラメタを生成し、撮像装置１１に送信する。なお、本発明における撮像条件の補正とは、例えば撮像装置のシャッタ開放時間・絞り開放度合い・画像信号処理パラメタのうち１つ以上の撮像補正パラメタを補正することをいう。
【0021】
状態推定部１０３はさらに、撮像装置状態推定部１１２、撮像装置特性推定部１１３、パラメタ生成部１１４、及びパラメタ安定化部１１５を有する。
【0022】
撮像装置状態推定部１１２は受信した画像データ等に基づき、レンズ上の雨滴付着及び曇り・ワイパー等による遮蔽・露光状態などの１つ以上を含む撮像装置の状態を推定する。すなわち、撮像装置の状態とは、撮像装置が置かれている環境（天候、温度、湿度、周辺物体による干渉等の外的要因）に起因して撮像装置に生じる事象を総称したものとも言える。
【0023】
撮像装置特性推定部１１３は、撮像素子１１７の感度やＳＮ比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）・撮像素子１１７の各画素の感度やＳＮ比・撮像装置１１のぼけ量や歪み量といったレンズ特性・ホワイトバランス特性やゲイン特性などの色補正特性などの１つ以上を含む撮像装置の特性を推定する。すなわち、撮像装置の特性とは、上記の撮像装置の状態とは反対に、受光素子や処理回路等、撮像装置を構成する内部要素そのものの機能等に起因して撮像装置に生じる事象を総称したものとも言える。
【0024】
パラメタ生成部１１４は、撮像装置状態推定部１１２、撮像装置特性推定部１１３、及び認識モデル生成部１０２から出力された結果に基づき、シャッタ開放時間・絞り開放度合い・画像信号処理パラメタのうち１つ以上の補正を行うための撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
【0025】
パラメタ安定化部１１５は、パラメタ生成部１１４が算出した撮像補正パラメタの時系列変化と、認識モデル生成部１０２の認識結果への影響の両方または一方に基づき、撮像補正パラメタがハンチングなどの不安定な状態になっていないか監視し、撮像装置１１に出力する撮像補正パラメタを最終決定する。
【0026】
上述した認識モデル生成部１０２、撮像装置状態推定部１１２、撮像装置特性推定部１１３、及びパラメタ生成部１１４が行う一連の処理の概要について図２を用いて説明する。
【0027】
ここでは、図２に示すように、認識モデル生成部１０２が有する複数の環境認識部のうち、車両認識部によって、画像取得部が取得した画像中のある領域に車両が認識された例について説明する。
【0028】
車両認識部から、画像取得部１０１で得られた画像とともに、車両認識の情報が撮像装置状態推定部１１２に送信され、そこで、当該車両が認識されている領域において「ぼけ」が検知されたとする。
【0029】
すると、その情報が撮像装置特性推定部１１３に送信される。撮像装置特性推定部１１３は、ぼけの原因となった撮像装置の絞り開度の情報から、ぼけ量を推定する。
【0030】
ぼけ量に関する情報がパラメタ生成部１１４に送信されると、パラメタ生成部１１４は、ぼけ量を、撮像装置の車両認識性能が正常に発揮されるような値に修正するように、画像信号処理補正パラメタの中からエッジ強調度合補正パラメタを生成し、不図示のパラメタ安定化部１１５を介して撮像装置１１へとフィードバックする。
【0031】
撮像装置１１は、上記のような一連の処理によって、車両の走行や天候の変化等によって撮像環境が変化し、撮像装置の状態及び特性が変化しても、これらをリアルタイムで監視し、補正することが可能になり、常に最適な条件で撮像することが可能になる。
【0032】
なお、図２で示した例は処理の一例であり、環境認識部が他の対象物を認識した場合も同様の処理が行われ、各状態に対応する特性や、各特性を補正するためのパラメタも複数存在する場合がある。また、各状態や特性、パラメタについては後に詳述する。
【0033】
以下では、本発明に係る画像認識システムの各部についてより詳細に説明する。
【0034】
＜画像取得部１０１＞
画像取得部１０１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）、Ｉ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、Ｅｔｈｅｒｎｅｔなどの通信方式で撮像装置１１から送られる画像データおよび撮像パラメタを受信する。画像データとしては、例えばＲＧＢ８８８などのカラー画像や濃淡輝度画像として得られているものとする。撮像パラメタには撮像時のシャッタ開放時間や絞り開度などが含まれているものとする。
画像取得部１０１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）、Ｉ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、Ｅｔｈｅｒｎｅｔなどの通信方式で撮像装置１１から送られる画像データおよび撮像パラメタを受信する。画像データとしては、例えばＲＧＢ８８８などのカラー画像や濃淡輝度画像として得られているものとする。撮像パラメタには撮像時のシャッタ開放時間や絞り開度などが含まれているものとする。
【0035】
画像取得部１０１は画像データおよび撮像パラメタを受信し、不図示のメモリ等に記録する。このとき画像認識システム１０内固有の時刻データ、あるいはシステム全体の時刻データと紐付けて格納してもよい。画像データ及び撮像パラメタを時刻データと紐付けて記録することで、撮像装置から周期的にデータが送られてきているのか、あるいは通信路や伝送路で遅延が発生しているかを検知することができる。また、後述する撮像補正パラメタの算出結果がどの時刻の撮像データと紐付いているかが分かるため、後述するパラメタ安定化部１１５においてより安定した撮像補正パラメタ出力ができるようになる。
【0036】
＜認識モデル生成部１０２＞
認識モデル生成部１０２では、画像取得部１０１から取得した画像データに基づいて所定の認識対象物を認識し、認識結果を状態推定部１０３に出力する。この画像認識技術については多くの公知技術があるため詳細は割愛するが、車載カメラを搭載した自動運転装置の場合の例をいくつか述べる。
認識モデル生成部１０２では、画像取得部１０１から取得した画像データに基づいて所定の認識対象物を認識し、認識結果を状態推定部１０３に出力する。この画像認識技術については多くの公知技術があるため詳細は割愛するが、車載カメラを搭載した自動運転装置の場合の例をいくつか述べる。
【0037】
認識対象が移動体や設置物の場合には、深層学習の一種である畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を使用して、画像中に含まれる認識対象の矩形領域・中心点・大きさ・認識の確信度・認識対象の種別・認識した対象の属性などの認識結果を得ることのできる技術が公開されており、こうした技術を利用してもよい。
【0038】
認識対象が路面標示の場合についても、いくつかの公知技術があり、例えば特許文献２に記載の技術などを用いることで認識対象の領域・中心点・大きさ・認識対象の種別などの認識結果を得ることができる。さらに、路面標示部分の画像のコントラストやノイズ量に基づいて認識の確信度を得ることもできるため、こうした技術を利用してもよい。
【0039】
認識対象が構造物や障害物の場合についても同様に、いくつかの公知技術があり、例えばステレオカメラを用いると、左右カメラの視差に基づき、カメラから画像中の各点に対応する点までの距離を算出することができる。さらに得られた距離情報の画面下側にある点群の平面近似をおこなうことで道路平面を算出することができ、道路平面から一定以上離れた点を立体物として抽出することで構造物や障害物が算出できることが知られている。
【0040】
認識対象が路面状態の場合についても、深層学習の一種である畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を使用して、画像中のテクスチャや周囲との連続性に基づいて推定する技術が公開されており、こうした技術を利用してもよい。
【0041】
前述の個別の認識処理は、複数の環境認識部１１１で認識対象ごとに分担して実施してもよい。その場合、画像取得部１０１から得る画像データおよび撮像パラメタは環境認識部１１１に並列で伝送され、入力されるものとする。
【0042】
次に、すでに説明した状態推定部１０３が有する撮像装置状態推定部１１２、撮像装置特性推定部１１３、パラメタ生成部１１４、及びパラメタ安定化部１１５の詳細な機能を説明する。
【0043】
＜撮像装置状態推定部１１２＞
撮像装置状態推定部１１２は、画像取得部１０１から受け取った画像データ等に基づき、ウインドシールドまたはレンズ自体への雨滴や泥の付着や、撮像素子から被写体の間に発生する曇りやボケといった画像センサの撮像条件を変化させる要因を検知したり、ワイパー稼働時に発生する間欠的なワイパーブレードによる遮蔽を検知したり、外界の天候や時間帯、人工的な照明によって変化する露光状態の変動を検知したり、撮像装置内に別途備えられている自動露出調整機構（ＡＥ：ａｕｔｏｍａｔｉｃ ｅｘｐｏｓｕｒｅ）による調整値や自動シャッタ速度調整機構によるシャッタ速度値を取得したりする。
撮像装置状態推定部１１２は、画像取得部１０１から受け取った画像データ等に基づき、ウインドシールドまたはレンズ自体への雨滴や泥の付着や、撮像素子から被写体の間に発生する曇りやボケといった画像センサの撮像条件を変化させる要因を検知したり、ワイパー稼働時に発生する間欠的なワイパーブレードによる遮蔽を検知したり、外界の天候や時間帯、人工的な照明によって変化する露光状態の変動を検知したり、撮像装置内に別途備えられている自動露出調整機構（ＡＥ：ａｕｔｏｍａｔｉｃ ｅｘｐｏｓｕｒｅ）による調整値や自動シャッタ速度調整機構によるシャッタ速度値を取得したりする。
【0044】
以下、検知方法の例をいくつか挙げる。
雨滴や泥の付着の検知は以下のように行う。走行しながら連続的に取得した動画像において、ＨａｒｒｉｓやＳＩＦＴ、ＳＵＲＦといった特徴点抽出手法で抽出できる特徴点の座標の変動を時系列で観測すると、雨滴が付着していない領域では滑らかに特徴点の座標が変化するのに対し、雨滴にさしかかる部分で特徴点の座標の変化量が変化する。すなわち、雨滴が付着している領域では特徴点の座標が急激に、あるいは不連続的に変化する。また、泥が付着している場合には、泥にさしかかる部分で特徴点の抽出に失敗し、追跡できなくなる。こうした特徴点の座標の変化量と特徴点抽出の成否を観測することで、雨滴や泥の付着を検出できる。さらに、座標の変化量の変化点と特徴点抽出の成否の変化点を蓄積することで、雨滴や泥の付着領域を推定することができる。
雨滴や泥の付着の検知は以下のように行う。走行しながら連続的に取得した動画像において、ＨａｒｒｉｓやＳＩＦＴ、ＳＵＲＦといった特徴点抽出手法で抽出できる特徴点の座標の変動を時系列で観測すると、雨滴が付着していない領域では滑らかに特徴点の座標が変化するのに対し、雨滴にさしかかる部分で特徴点の座標の変化量が変化する。すなわち、雨滴が付着している領域では特徴点の座標が急激に、あるいは不連続的に変化する。また、泥が付着している場合には、泥にさしかかる部分で特徴点の抽出に失敗し、追跡できなくなる。こうした特徴点の座標の変化量と特徴点抽出の成否を観測することで、雨滴や泥の付着を検出できる。さらに、座標の変化量の変化点と特徴点抽出の成否の変化点を蓄積することで、雨滴や泥の付着領域を推定することができる。
【0045】
曇りやボケの検知は以下のように行う。移動しながら撮像する場合、ある瞬間に撮像した画像に写る被写体は、露光時間中の見かけの移動量分だけボケて撮像される。モーションブラーとも呼ばれる前記の現象は、露光時間が短く、十分に遠方の被写体に対しては影響が少なく、ボケ量が小さくなる。また、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）などで表現されるレンズの空間周波数特性に応じたボケ量も重畳される。そこで、撮像された画像の周波数成分を分析し、前述のボケ量を考慮した閾値よりも高い周波数成分が検出されない場合、モーションブラーとレンズ特性以外の要因、すなわち水蒸気や汚れ付着などでのレンズ曇りが発生していると判定する。なお、レンズ曇り状態は急激に変化しにくいため、画像単体で瞬間的に判断する代わりに、時系列の周波数成分を蓄積し、一定時間あるいは一定走行距離経過するまで高い周波数成分が検出されない場合にレンズ曇りが発生していると判定してもよい。
【0046】
ワイパーブレードによる遮蔽の検知は以下のように行う。ワイパースイッチのオン・オフ状態やワイパー動作速度がＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの車内ネットワークに流れるため、その内容を取得してワイパーによる遮蔽有無を判定する。あるいはワイパーブレードが動作した際にカメラ視野内にどのような角度や見え方で映るのかが分かるため、例えばテンプレートマッチング法などで事前に登録していた形状と照合することにより、画像中のどこにワイパーブレードが存在するかを検出することができる。
【0047】
露光状態の検知は以下のように行う。画像中の画素についてその平均・分散・多峰性・周波数成分などの統計量を算出し、事前に設定した閾値と比較することで、昼夜やトンネル内外を判定したり、カメラのシャッタ速度が適切な範囲内であるかを判定したりする。また、画像を部分領域に分割し、前述と同様の判定をおこなっても良い。すなわち、横方向に３分割、縦方向に２分割したとき、左上領域の輝度平均値が高く、二峰性であり、高周波成分が少ない場合、視野内の左側上空に太陽などの光源が存在し、白飛びしていることがわかる。また、同様に分割したとき、下領域の輝度分散が大きく、周波数成分が高い場合は走行領域を含む地面平面部分が適切に撮像できていることがわかる。これらの状態の変化を観測することで露光状態の変動の検知ができる。
【0048】
撮像装置内の調整値などの取得は、ＣＡＮなどの車内ネットワークに流れている値のうち、必要な識別番号（ＩＤ）に該当するものを受信し、バッファ等に蓄積することで実現する。
【0049】
＜撮像装置特性推定部１１３＞
撮像素子には光子（フォトン）に対する感度の不均一性（ＰＲＮＵ）や、設定した動作条件における暗電流の不均一性（ＤＣＮＵ）等に起因する感度バラつきがあり、さらに温度によって暗電流の値が変化する。このため、撮像装置特性推定部１１３は、画像取得部１０１から受け取った画像データ等に基づき、暗電流を計測したり、一様光源下での電流を計測することで感度測定を予め行いその結果を記憶している。また、上記のように暗電流は温度依存性を有するため、計測の際、温度毎の感度測定結果を記録していてもよい。
撮像素子には光子（フォトン）に対する感度の不均一性（ＰＲＮＵ）や、設定した動作条件における暗電流の不均一性（ＤＣＮＵ）等に起因する感度バラつきがあり、さらに温度によって暗電流の値が変化する。このため、撮像装置特性推定部１１３は、画像取得部１０１から受け取った画像データ等に基づき、暗電流を計測したり、一様光源下での電流を計測することで感度測定を予め行いその結果を記憶している。また、上記のように暗電流は温度依存性を有するため、計測の際、温度毎の感度測定結果を記録していてもよい。
【0050】
同様に、撮像装置特性推定部１１３は、撮像素子を流れる信号のＳＮ比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ）を予め測定および記録している。また、撮像装置１１のぼけ量や歪み量といったレンズの幾何学的な特性や、ホワイトバランス調整値に対する出力特性、ゲイン調整値に対する出力特性などの色補正特性を記録しておいてもよい。これらはカメラのキャリブレーションのタイミングで算出・記憶することができる。
【0051】
例えば、ボケ量や歪み量は、既知の形状および大きさの対象や、直線状の物体境界等がカメラ視野内で観測されている時に、その対象や境界が取得画像上でどの程度周囲画素に広がりをもって観測されているか、どの程度歪んで観測されているかを算出することで求められ、ＭＴＦ曲線や内部パラメタ等として表現される。このボケ量や歪み量は絞り開度によってその度合いが変化するため、絞り開度毎のボケ量や歪み量を記録しておいてもよい。
【0052】
ホワイトバランスやゲインに関する特性は、カラーチャート等を用いて、各照度においてどのように観測されるのかを事前に計測および記録しておくことができる。なお、これらは撮像領域全体として記録しておいてもよいし、４分割・９分割などの適度に分割した領域毎に記録しておいてもよい。
【0053】
上記で求めたあらかじめ記録された感度測定結果などに基づき、実際に走行している環境での暗ノイズレベルを推定することができる。例えば、暗電流は温度に依存するため、走行環境で撮像した際の出力電流に対して暗電流の比率を計算することができる。具体的には、温度と暗電流の対応関係をテーブルとして撮像装置特性推定部１１３に記録しておき、計測された温度に基づきこのテーブルを参照することで、撮像素子を流れる信号のＳＮ比を計算することが可能になる。また、取得画像の輝度値平均から撮像環境の照度を推定し、ホワイトバランスの特性を加味して色調補正のパラメタを推定することも可能である。同様に、実際に走行している環境で、撮像装置状態推定部１１２から受信した撮像時の絞り開度に基づき、ボケ量や歪み量を推定することも可能である。
【0054】
＜パラメタ生成部１１４＞
パラメタ生成部１１４は撮像装置状態推定部１１２、撮像装置特性推定部１１３、及び認識モデル生成部１０２の出力結果に基づき、シャッタ開放時間・絞り開放度合い・画像信号処理のうち１つ以上の補正を行うための撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
パラメタ生成部１１４は撮像装置状態推定部１１２、撮像装置特性推定部１１３、及び認識モデル生成部１０２の出力結果に基づき、シャッタ開放時間・絞り開放度合い・画像信号処理のうち１つ以上の補正を行うための撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
【0055】
以下、撮像条件であるシャッタ開放時間・絞り開放度合い・画像信号処理などを補正するための撮像補正パラメタの算出方法の例をいくつか挙げる。
シャッタ開放時間を補正するための撮像補正パラメタについては、画面全体または画面中の複数箇所に設定した測光点から得られる電流値が一定範囲に分布するように補正するようなパラメタを算出する。すなわち、あるシャッタ開放時間Ｔ１の設定で得られた電流値の中央値Ｖｍｉｄが、事前に設定した閾値ＴＨＲｍｉｎと閾値ＴＨＲｍａｘの間に収まる場合には補正は不要と判断してそのままＴ１を出力する。得られた電流値ＶｍｉｄがＴＨＲｍｉｎよりも小さい場合には、シャッタ開放時間を長くして電流値を増加させるためにＴ１＋ΔＴを、逆に電流値がＴＨＲｍａｘよりも大きい場合はシャッタ開放時間を短くして電流値を減少させるためにＴ１－ΔＴを出力する。ここで、ΔＴは事前に決めた定数であり、ＴＨＲｍａｘ、ＴＨＲｍｉｎは複数段階設けてもよい。
シャッタ開放時間を補正するための撮像補正パラメタについては、画面全体または画面中の複数箇所に設定した測光点から得られる電流値が一定範囲に分布するように補正するようなパラメタを算出する。すなわち、あるシャッタ開放時間Ｔ１の設定で得られた電流値の中央値Ｖｍｉｄが、事前に設定した閾値ＴＨＲｍｉｎと閾値ＴＨＲｍａｘの間に収まる場合には補正は不要と判断してそのままＴ１を出力する。得られた電流値ＶｍｉｄがＴＨＲｍｉｎよりも小さい場合には、シャッタ開放時間を長くして電流値を増加させるためにＴ１＋ΔＴを、逆に電流値がＴＨＲｍａｘよりも大きい場合はシャッタ開放時間を短くして電流値を減少させるためにＴ１－ΔＴを出力する。ここで、ΔＴは事前に決めた定数であり、ＴＨＲｍａｘ、ＴＨＲｍｉｎは複数段階設けてもよい。
【0056】
なお、上記は画面全体または画面中の複数箇所に設定した測光点を用いる方法について述べたが、代わりに認識モデル生成部１０２が出力する認識対象物が存在する領域に含まれる画像領域または測光点から得られた電流値が一定範囲に分布するようにシャッタ開放時間を出力してもよい。
【0057】
絞り開放度合いについては、絞り開度Ａを以下のように設定する。前述のシャッタ開放時間Ｔ１が事前に決めた閾値Ｔｍａｘ０以下の出力値、かつ電流値Ｃが事前に決めた閾値Ｃｔｈｒ０以上の場合、絞り開度Ａが現在の開度よりも小さい値になるようなパラメタを出力する。また、前述のシャッタ開放時間Ｔ１が事前に決めた閾値Ｔｍａｘ１以上の出力値、または電流値Ｃが事前に決めた閾値Ｃｔｈｒ１以上の場合、絞り開度Ａが現在の開度よりも大きい値になるようなパラメタを出力する。ここで、Ｔｍａｘ０＜Ｔｍａｘ１、Ｃｔｈｒ０＜Ｃｔｈｒ１である。また、このときのＴｍａｘ１、Ｃｔｈｒ１は十分に大きい値を設定し、例えば昼間・曇天・屋外においては、絞り開度が最大に開放されるように閾値を設定する。これにより、通常は絞り開度が最大の状態であり、太陽等の光源が視野内にある場合に絞りが小さくなり、撮像中の移動による被写体ぶれを軽減することが可能になる。
【0058】
画像信号処理を補正するための撮像補正パラメタは、例えば平滑化パラメタ、エッジ強調パラメタ、ホワイトバランス補正パラメタ、オフセット補正およびゲイン補正パラメタ、ガンマ補正パラメタのうち１つ以上を含む。以下では、これらのパラメタの算出方法について説明する。
【0059】
平滑化パラメタは、撮像装置特性推定部１１３で推定された暗ノイズレベルに合わせて、画像を平滑化する処理およびパラメタを設定する。例えば、暗ノイズによるＳＮ比が十分に大きい場合（閾値Ｄｔｈｒ１以上の場合）にはノイズ除去の必要がないと判断して、平滑化処理を行わない。ＳＮ比がＤｔｈｒ１未満Ｄｔｈｒ２以上の場合には３×３ｐｉｘｅｌ範囲での平均化処理をおこなう、ＳＮ比がＤｔｈｒ２未満Ｄｔｈｒ３以上の場合には３×３ｐｉｘｅｌ範囲での中央値化処理をおこなう、ＳＮ比がＤｔｈｒ３未満の場合には５×５ｐｉｘｅｌ範囲での中央値化処理をおこなう等、ＳＮ比が小さいほどノイズ削除処理が強くかかるように画像を平滑化する処理およびパラメタを切り替える。なお、上記の閾値についてはＤｔｈｒ１＞Ｄｔｈｒ２＞Ｄｔｈｒ３の関係にあり、それぞれの値は数倍程度離れている。
【0060】
エッジ強調パラメタは、撮像装置特性推定部１１３で推定されたボケ量に合わせて、画像を鮮鋭化する処理およびパラメタを設定する。例えば、画像を鮮鋭化（エッジを強調）するための技術としてはアンシャープマスク処理などが一般に知られている。アンシャープマスク処理とは、元画像をあるガウス分布にしたがってぼかし、得られた画像を元画像から差し引くことで、元画像を鮮鋭化する方法である。このときのカーネルサイズおよびガウスフィルタ係数をパラメタとして切り替え、ボケ量が大きいほど、より強く鮮鋭化がかかるようにパラメタを調整する。
【0061】
ホワイトバランス補正パラメタはグレーワールドアルゴリズムを用いて算出する。ホワイトバランス補正に一般に用いられるグレーワールドアルゴリズムは、画面内の全ての色を平均すれば無彩色に近くなるという統計的事実を前提としたアルゴリズムであり、画面内のＲ（赤），Ｇ（緑），Ｂ（青）の各色の平均信号レベルが等しくなるように、ホワイトバランスのゲインを設定するものである。事前に既知のカラーチャート等を撮影しておき、ホワイトバランスのゲインを記録しておくことで、実際に走行している環境で得られるホワイトバランスのゲインとの比較から、ホワイトバランス補正パラメタを得ることができる。また、環境照明によってホワイトバランス補正パラメタが変化することも考えられるため、複数の環境照明、例えば光源の強度や種類を変えた場合のホワイトバランス補正パラメタを記録しておき、走行時に取得した映像がどの環境照明に近いのかによってホワイトバランス補正パラメタを切り替えてもよい。
【0062】
オフセット補正およびゲイン補正パラメタは、撮像素子に受光した光子の量に応じて発生する電流量を画像の各画素の輝度値に変換する際の、その電流量と輝度値との対応関係を補正するパラメタである。画素に入力される電流量をＶ０、出力する輝度値をＩ０とし、オフセット値（オフセット補正パラメタ）Ｃ０、ゲイン値（ゲイン補正パラメタ）Ｇ０とすると、Ｉ０＝Ｇ０×Ｖ０＋Ｃ０、と表現できる。このとき、撮像素子の製造誤差に起因して、受光した光子の量と発生する電流量が正確な比例関係にならないため、電流量Ｖに応じた誤差を補正するためのルックアップテーブルをＬ（Ｖ）とおいて、Ｉ０＝Ｇ０×Ｖ０＋Ｃ０＋Ｌ（Ｖ０）、としてもよい。このＣ０，Ｇ０，Ｌ（Ｖ）は、事前に既知のチャート等を撮影しておき、その出力値を記録しておくことで求めることができる。
【0063】
ガンマ補正パラメタは、低輝度領域、中間輝度領域、高輝度領域などの各輝度領域において観測したい対象が十分な階調で表現できるように、出力する画素の輝度値の割り付けを調整するためのパラメタである。一般にカメラでの撮像結果を画像として出力する際、１画素あたりのビット数を、８ｂｉｔ、１０ｂｉｔ、１２ｂｉｔ、２４ｂｉｔ、３２ｂｉｔなどの有限のビット数で階調を表現する必要がある。例えば、画面中の低輝度領域に認識モデル生成部１０２が出力する認識対象物の一部あるいは全部が存在していて、その領域内に含まれる輝度値の階調数がある閾値Ｇｔｈｒ以下であるとき、低輝度領域に割り当てる階調数を増やすために、ガンマ補正パラメタ値を小さくする。ここで、入力画像の輝度値をＩ１、出力画像の輝度値をＩ２、ガンマ補正パラメタの値をγとすると、Ｉ２／Ｃ＝（Ｉ１／Ｃ）＾γ、と表せる。ここでＣは輝度値の範囲を０～１に正規化する定数、＾はべき乗を表す演算記号である。
【0064】
上述のように、撮像装置状態推定部１１２が、外的要因によって撮像装置１１に生じている事象を推定し、撮像装置特性推定部が、それらの事象に応じて、温度測定による暗電流の推定、推定された暗電流のＳＮ比の推定、取得した画像の輝度値平均を利用した撮像環境の照度の推定、ホワイトバランスを考慮した色調補正量の推定、撮像時の絞り開度を利用したボケ量及び歪み量の推定等を行っている。そして、その推定値に基づいて、パラメタ生成部１１４が、撮像条件であるシャッタ開放時間・絞り開放度合い・画像信号処理を補正するための撮像補正パラメタを生成している。
【0065】
すなわち、撮像装置１１が搭載された車両が移動する等、撮像装置１１周辺の環境が変化し続けるような状況であっても、上述の処理によって、撮像条件がリアルタイムで補正され、常に最適な撮像条件で画像を取得することが可能になっている。
【0066】
上述した算出方法で、シャッタ開放時間・絞り開放度合い・画像信号処理を補正するための撮像補正パラメタが算出できるが、これらのパラメタは互いに影響を与え合うため、以下で説明する各環境認識部１１１の認識性能が安定する範囲を考慮して、適用すべきパラメタを１つに決定する必要が生じる場合がある。
【0067】
具体的には、状態推定部１０３に、環境認識部１１１ごとの認識性能が安定する範囲として、図３に示すようなの認識性能が安定するパラメタ範囲を予め記憶させておく（図２の各斜線部分）。そして、撮像装置１１の撮像条件が、これらの認識性能が安定する領域内に収まるように、各パラメタを決定する。
【0068】
例えば、環境認識部１１１の１つとして車両認識機能を想定すると、図３に示すように、車両認識の認識性能が良好に動作するコントラスト範囲は比較的広い範囲であるが、許容されるぼけ範囲は比較的狭い。これらの範囲は、車両認識機能を構築する際、すなわち車両認識アルゴリズムに学習用画像と教師データを入力して機械学習をさせる際に、どのようなコントラスト範囲かつ画像ぼけ範囲を学習させるかによって得ることができる。
【0069】
車両認識の観点から、撮像装置１１の撮像条件を最適化するには以下のような処理を行う。まず、走行時に取得した映像に対して環境認識部１１１が車両認識を行い、車両が存在する領域として認識された画像領域内のコントラストとぼけを算出し、コントラスト範囲およびぼけ範囲に対する位置づけを算出する。そして、認識性能が最も安定すると考えられる位置、すなわちコントラスト範囲およびぼけ範囲の中心部（斜線領域中Ａで示される点）に向かうように、シャッタ開放時間・絞り開放度合い・画像信号処理を補正するための撮像補正パラメタを算出する。さらに、認識モデル生成部１０２の認識結果が向上するか否か、すなわち、補正の結果実際に点Ａの位置に近づいたか否かを記録する。
【0070】
すなわち、例えば、コントラスト範囲の中心が、認識された画像領域内のコントラストよりも大きい場合、よりコントラストを高めるように撮像補正パラメタを算出する。具体的にはシャッタ開放時間を伸ばすために、ＴＨＲｍｉｎを小さくしてΔＴを大きくする、絞り開放度合いを広げるために閾値Ｔｍａｘを大きくする、ゲイン補正のゲイン値Ｇ０を大きくする、ガンマ補正のガンマ値を変更する、という処理の中から１つ以上を行う。
【0071】
また、認識モデル生成部１０２の認識結果への影響として、環境認識部１１１ごとの性能安定範囲が変化するか否かを判定する。具体的には、ここでは認識性能が安定するコントラスト範囲およびぼけ範囲に対し、近づくのか、遠ざかるのか、を判定し、これによって性能が向上する見込みか、あるいは性能が低下する見込みか、のいずれかを出力する。
【0072】
複数の環境認識部１１１に対して同時に調整を行う場合は、各パラメタ範囲の論理積、すなわち重複領域に対して前述の処理を行えばよい。この場合、算出される認識モデル生成部１０２の認識結果への影響は、環境認識部１１１の種類によって異なる。
【0073】
なお、環境認識部１１１の性能安定範囲については、入力する学習用画像と教師データからコントラスト範囲とぼけ範囲を得る代わりに、学習完了した後の車両認識アルゴリズムに対して評価用の画像を入力し、その認識成否からコントラスト範囲とぼけ範囲を得てもよい。
【0074】
なお、図３においては、一例として車両認識、白線認識、及び信号認識それぞれの認識性能が安定する領域が論理積を有する（重なる領域がある）場合を説明した。しかし、図４のように認識性能が安定するパラメタ範囲の重複領域がない場合もありうる。その場合、画像取得タイミングによって異なるパラメタで撮像を行ってもよい。具体的には、撮像タイミングを奇数回目と偶数回目に分けて、奇数回目の撮像ではパラメタＡの領域、偶数回目の撮像ではパラメタＢの領域の中からパラメタ決定を行えばよい。あるいは、環境認識部１１１の実行周期に合わせて使用するパラメタの領域を切り替えてもよい。
【0075】
＜パラメタ安定化部１１５＞
上述した算出方法で、各撮像補正パラメタを算出し、撮像装置１１にフィードバックを行い撮像を実行する場合、ハンチングが起きる可能性がある。すなわち、例えば、ある時点で撮像した画像が環境認識部１１１に適した画像よりも暗い場合、より明るい画像を得るためにシャッタ開放時間を伸ばして画像を撮像する。しかし、その結果得られた画像が今度は環境認識部１１１に適した画像よりも明るすぎる場合、再度暗い画像を得るためにシャッタ開放時間を短縮して画像を撮像する、ということが短時間で周期的に繰り返される場合がある。つまり、ある特定の条件下では算出されるパラメタが振動してしまい、認識性能が安定しなくなるおそれがある。そのため、パラメタ安定化部１１５は、パラメタ生成部１１４が算出した各撮像補正パラメタを時系列に沿って蓄積し、その変動周期を監視し、一定周期以上の振動を検知した場合には、出力されるパラメタの変化量を少なくする。
上述した算出方法で、各撮像補正パラメタを算出し、撮像装置１１にフィードバックを行い撮像を実行する場合、ハンチングが起きる可能性がある。すなわち、例えば、ある時点で撮像した画像が環境認識部１１１に適した画像よりも暗い場合、より明るい画像を得るためにシャッタ開放時間を伸ばして画像を撮像する。しかし、その結果得られた画像が今度は環境認識部１１１に適した画像よりも明るすぎる場合、再度暗い画像を得るためにシャッタ開放時間を短縮して画像を撮像する、ということが短時間で周期的に繰り返される場合がある。つまり、ある特定の条件下では算出されるパラメタが振動してしまい、認識性能が安定しなくなるおそれがある。そのため、パラメタ安定化部１１５は、パラメタ生成部１１４が算出した各撮像補正パラメタを時系列に沿って蓄積し、その変動周期を監視し、一定周期以上の振動を検知した場合には、出力されるパラメタの変化量を少なくする。
【0076】
具体的には、例えば、時刻ｔ１でのシャッタ開放時間Ｔｔ１、時刻ｔ２でのシャッタ開放時間Ｔｔ２、．．．、時刻ｔｎでのシャッタ開放時間Ｔｔｎとすると、このシャッタ開放時間の変化周期を直近の一定時間内でのフーリエ変換などで求め、閾値以上の高周波が検出された場合、出力するシャッタ開放時間をパラメタ生成部１１４で算出したパラメタを時系列の移動平均、例えば｛Ｔｔ（ｎ－１）＋Ｔｔｎ｝／２、とすることで実現できる。
【0077】
【0078】
本画像認識システム１０は、撮像装置１１より、画像および撮像パラメタを取得する（Ｓ１０）。これは一般に撮像装置１１から撮像完了後に同期信号、割込信号、データ転送開始信号などの転送の基点になる信号が送られ、そのタイミングに基づいて画像認識システム１０側のデータ取得処理が起動され、引き続き送信されるデータを順次メモリに格納することによって実現される。
【0079】
データ取得完了後、さらに認識モデル生成部１０２により画像認識処理が行われ、その認識結果でなにか認識された場合（Ｓ１１のＹｅｓ）には、認識された領域に対して以降の撮像補正パラメタ算出処理等が行われる。一方で何も認識されなかった場合（Ｓ１１のＮｏ）は、画面全体を対象として以降の撮像補正パラメタ算出処理等を行うことになる。
【0080】
撮像装置状態および撮像装置特性を推定する処理（Ｓ１２）では、前述した撮像装置状態推定部１１２、および撮像装置特性推定部１１３による推定処理が行われる。
【0081】
環境認識の認識結果領域に対し撮像補正パラメタを算出する処理（Ｓ１３）では、認識モデル生成部１０２での認識結果領域に従い、パラメタ生成部１１４による撮像補正パラメタの算出処理をおこなう。
【0082】
この撮像補正パラメタの算出処理後、撮像補正パラメタのある一定時間内の蓄積結果の周波数成分を求め、所定の周波数以上で変動している場合（Ｓ１４のＹｅｓ）には、ハンチングが発生しているとして、パラメタを安定化させるために、直前の出力値との平均をとる等の方法でパラメタ安定化部１１５によるハンチングの抑制をおこなう（Ｓ１５）。
【0083】
このとき、前述のようにパラメタ生成部１１４が、認識が安定するパラメタ範囲の重複領域がなく、異なるパラメタで複数回の撮影を行う場合には、周波数の算出をパラメタ毎に分けてもよい。
【0084】
また、認識モデル生成部１０２により画像認識処理が行われ、その認識結果で何も認識されなかった場合（Ｓ１１のＮｏ）は、取得した画像全体の領域に対して、撮像補正パラメタの算出処理をおこなう。
【0085】
以上で説明したように、本発明の画像認識システムによれば、画像認識の性能が出る環境に合わせ、画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図ることができるようになる。
【0086】
＜実施例２＞
図６は、本発明の実施例２に係る画像認識システム１０を説明するためのブロック図である。本実施例における画像認識システム１０は、撮像装置１１と有線または無線ネットワークを介して接続されており、撮像装置１１から得られた撮像データおよび撮像パラメタを受信し、撮像補正パラメタを撮像装置１１に送信する点は実施例１と同様である。しかし、本実施例においては撮像装置１１が自動走行車両等の移動車両に搭載されていることが前提となっており、車両情報取得部１１９をさらに有する点が異なる。
以下では、実施例１と重複している部分については適宜省略しながら、各部の詳細を説明する。
図６は、本発明の実施例２に係る画像認識システム１０を説明するためのブロック図である。本実施例における画像認識システム１０は、撮像装置１１と有線または無線ネットワークを介して接続されており、撮像装置１１から得られた撮像データおよび撮像パラメタを受信し、撮像補正パラメタを撮像装置１１に送信する点は実施例１と同様である。しかし、本実施例においては撮像装置１１が自動走行車両等の移動車両に搭載されていることが前提となっており、車両情報取得部１１９をさらに有する点が異なる。
以下では、実施例１と重複している部分については適宜省略しながら、各部の詳細を説明する。
【0087】
本実施例における、画像取得部１０１、認識モデル生成部１０２については、実施例１に記載したものと同様であるため説明を省略する。
【0088】
＜車両情報取得部１１９＞
車両情報取得部１１９は、ＣＡＮ等のネットワーク経由で、撮像装置１１が搭載された車両の車速および旋回角度に関する情報を取得する。これらの情報と、カメラの画角、車両に対するカメラの取り付け位置および姿勢の情報を合わせ、アッカーマンモデル等の車両モデルを考慮すると、車両の挙動に伴うカメラの視野の変化を推定することができる。この推定方法自体は既存の技術が種々知られており、それらを好適に使用可能である。
車両情報取得部１１９は、ＣＡＮ等のネットワーク経由で、撮像装置１１が搭載された車両の車速および旋回角度に関する情報を取得する。これらの情報と、カメラの画角、車両に対するカメラの取り付け位置および姿勢の情報を合わせ、アッカーマンモデル等の車両モデルを考慮すると、車両の挙動に伴うカメラの視野の変化を推定することができる。この推定方法自体は既存の技術が種々知られており、それらを好適に使用可能である。
【0089】
＜状態推定部１０３＞
実施例１と同様に、状態推定部１０３は、画像取得部１０１から画像データ等を、認識モデル生成部１０２から認識結果等を受信し、撮像装置１１に対し、撮像補正パラメタを送信する。状態推定部１０３は、内部に撮像装置状態推定部１１２・撮像装置特性推定部１１３・パラメタ生成部１１４・パラメタ安定化部１１５のうち１つ以上を有する。このうちパラメタ生成部１１４が実施例１と異なるため、これを中心に説明する。
実施例１と同様に、状態推定部１０３は、画像取得部１０１から画像データ等を、認識モデル生成部１０２から認識結果等を受信し、撮像装置１１に対し、撮像補正パラメタを送信する。状態推定部１０３は、内部に撮像装置状態推定部１１２・撮像装置特性推定部１１３・パラメタ生成部１１４・パラメタ安定化部１１５のうち１つ以上を有する。このうちパラメタ生成部１１４が実施例１と異なるため、これを中心に説明する。
【0090】
＜パラメタ生成部１１４＞
実施例２におけるパラメタ生成部１１４は、撮像装置状態推定部１１２・撮像装置特性推定部１１３・認識モデル生成部１０２の結果・車両情報取得部１１９の出力に基づき、撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
実施例２におけるパラメタ生成部１１４は、撮像装置状態推定部１１２・撮像装置特性推定部１１３・認識モデル生成部１０２の結果・車両情報取得部１１９の出力に基づき、撮像補正パラメタと、認識モデル生成部１０２の認識結果への影響を算出する。
【0091】
前述したように車両情報取得部１１９はカメラの視野の変化を推定することができる。そこで、本実施例においては、認識モデル生成部１０２が出力する画像に含まれる認識対象物が、画面の中央付近なのか外周部付近か、旋回外側か否か、を考慮して、認識対象物が存在する領域のうち、パラメタ算出時に使用しない領域を決めることが特徴である。
【0092】
具体的には、速度Ｖに依存して決める外周領域と判定するための閾値をＥｔｈｒ（Ｖ）とおき、画面外周部から距離Ｅｔｈｒ（Ｖ）の範囲内に認識対象物の領域中心が含まれる認識対象物はパラメタ生成部１１４内では認識対象物とは扱わないようにすることができる。また、旋回角度をθ、速度をＶとすると、旋回外側と判定するための閾値をＯｔｈｒ（θ、Ｖ）とおき、同様に画面外周部から距離Ｅｔｈｒ（Ｖ）の範囲内に認識対象物の領域中心が含まれる認識対象物はパラメタ生成部１１４内では認識対象物とは扱わないようにすることができる。
【0093】
これにより、走行時および旋回時において、撮像画像中に含まれる認識対象物のうち、すぐに視野外に出て見えなくなる対象に対して適合したパラメタになることを防ぐことができ、画面中央あるいは進行方向に存在する認識対象物に適したパラメタを算出することができるようになる。
【0094】
以上で説明したように、本発明の画像認識システムによれば、画像認識の性能が出る環境に合わせ、画像を取得する際の撮像装置の条件を最適化することで画像認識の精度向上を図ることができるようになる。
【0095】
以上で説明した本発明の実施例によれば、以下の作用効果を奏する。
（１）本発明に係る画像認識システムは、プロセッサ及びメモリを含み、撮像装置で撮像した画像を取得する画像取得部と、少なくとも１つの環境認識部を有し、画像を少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、画像及び認識モデルに基づき、撮像装置の状態及び当該状態に対応する撮像装置の特性を推定する状態推定部と、を有し、状態推定部はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成する。
（１）本発明に係る画像認識システムは、プロセッサ及びメモリを含み、撮像装置で撮像した画像を取得する画像取得部と、少なくとも１つの環境認識部を有し、画像を少なくとも１つの環境認識部で認識し、認識モデルを生成する認識モデル生成部と、画像及び認識モデルに基づき、撮像装置の状態及び当該状態に対応する撮像装置の特性を推定する状態推定部と、を有し、状態推定部はさらに、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づいて、撮像装置の撮像条件を補正する撮像補正パラメタを生成する。
【0096】
上記構成によって、車両の走行や天候の変化等によって撮像環境が変化し、撮像装置の状態及び特性が変化しても、これらをリアルタイムで監視し、補正することが可能になり画像を取得する際の撮像装置の条件を最適化して画像認識精度を向上させることが可能になる。
【0097】
（２）状態推定部は、撮像装置の集光素子上の雨滴付着状態および曇り付着状態、撮像装置と撮像対象物との間の遮蔽物、並びに露光状態のうち少なくとも１つを含む撮像装置の状態を推定する撮像装置状態推定部と、撮像装置の撮像素子特性、レンズ特性、及び色補正特性のうち少なくとも１つを含む撮像装置の特性を推定する撮像装置特性推定部と、推定した状態及び特性、並びに認識モデルのうち少なくとも１つに基づき、撮像補正パラメタを生成するパラメタ生成部と、を有する。これにより、撮像装置内外の各状態、特性を正確に把握し、それらを補正するためのパラメタを生成することが可能になる。
【0098】
（３）認識モデル生成部は、撮像対象物が存在する領域を認識することによって認識モデルを生成し、状態推定部は、認識モデル上の、撮像対象物が存在する領域ごとに撮像補正パラメタを生成する。これにより、取得した画像に認識対象物が複数存在するような場合でも、それらの対象物それぞれに対して本発明を好適に適用することが可能になる。
【0099】
（４）パラメタ生成部が生成する撮像補正パラメタがハンチング現象を起こした際に収束させるパラメタ安定化部をさらに有する。これにより、生成した撮像補正パラメタがハンチング現象を起こした場合であっても、パラメタを安定させることが可能になるので、撮像装置の挙動が不安定になることを防止できる。
【0100】
（５）補正する撮像条件が複数ある場合に、補正する撮像条件を所定の撮像回数毎に切り替える。これにより、パラメタ領域上の、撮像装置の認識性能が安定する領域の論理積領域がない、あるいは複数に分かれている場合であっても、それぞれの領域に対して最適なパラメタ調整を行うことが可能になる。
【0101】
（６）撮像補正パラメタは、撮像装置のシャッタ開放時間、絞り開放度合い、及び画像信号処理のうち少なくとも一つを補正するためのパラメタである。これにより、撮像装置の有するほぼ全ての機能が補正対象となり、ゆえにほぼ全ての撮像装置状態／特性について本発明を好適に適用できる。
【0102】
（７）画像認識システムは車両に搭載されるとともに、当該車両の車速及び旋回速度の少なくとも一方を含む車両情報を取得する車両情報取得部をさらに有し、車両情報に基づいて、状態推定部は、撮像補正パラメタを生成する対象領域を修正する。これにより、車両の移動によって画像上において認識対象物が高頻度で出現／消失する場合であっても、実際に認識すべき対象物を取捨選択することが可能になり、システムの演算処理負荷を軽減することが可能になる。
【0103】
なお、本発明は上記した実施例に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、上記の実施例は本発明に対する理解を助けるために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0104】
１０ 画像認識システム、１０２ 認識モデル生成部、１０３ 状態推定部、１１２ 撮像装置状態推定部、１１３ 撮像装置特性推定部、１１４ パラメタ生成部、１１５ パラメタ安定化部、１１９ 車両情報取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】