特開 2024-164986 環境認識装置及び環境認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164986

(43)【公開日】2024-11-28

(54)【発明の名称】環境認識装置及び環境認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241121BHJP

   G06V 10/82 20220101ALI20241121BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06T7/00 650Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023080766

(22)【出願日】2023-05-16

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】遠藤 健

(72)【発明者】

【氏名】土屋 舜太郎

(72)【発明者】

【氏名】田代 直之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096FA32

5L096GA07

5L096HA11

5L096KA04

5L096KA15

5L096MA03

(57)【要約】

【課題】学習における正解値データの作成コストを低減しつつ、多様な環境において高精度な認識を実現する環境認識装置を提供する。
【解決手段】本発明の環境認識装置１は、画像取得部１００と、画像取得部で取得した画像の環境条件を取得する環境条件取得部１０１と、画像認識モデルにより画像の認識処理をする認識処理部１０３と、画像取得部で取得した画像を画像認識モデルの学習条件に合わせて変換する画像変換部１０２と、を備え、認識処理部は、環境条件取得部で取得した環境条件が認識処理部の画像認識モデルの学習条件と異なる場合に、画像取得部で取得した画像を画像変換部により学習条件に合わせて変換した画像の認識処理をするようにした。
【選択図】 図１

【特許請求の範囲】

【請求項1】

画像を取得する画像取得部と、
前記画像取得部で取得した画像の環境条件を取得する環境条件取得部と、
画像認識モデルにより画像の認識処理をする認識処理部と、
前記画像取得部で取得した画像を前記画像認識モデルの学習条件に合わせて変換する画像変換部と、を備え、
前記認識処理部は、前記環境条件取得部で取得した環境条件が前記認識処理部の画像認識モデルの学習条件と異なる場合に、前記画像取得部で取得した画像を前記画像変換部により前記学習条件に合わせて変換した画像の認識処理をする
ことを特徴とする環境認識装置。

【請求項2】

請求項１に記載の環境認識装置において、
前記画像変換部は、前記画像取得部で取得した画像に複数の画像変換モデルを順次適用して、前記環境条件の画像を前記学習条件に対応した画像に変換する
ことを特徴とする環境認識装置。

【請求項3】

請求項２に記載の環境認識装置において、
前記画像変換部は、画像変換モデルの適用順序毎の前記認識処理部の認識率に基づいて認識率の高いに適用順序を求め、求めた適用順序で画像変換モデルを順次適用する
ことを特徴とする環境認識装置。

【請求項4】

請求項２に記載の環境認識装置において、
前記画像変換部は、画像変換モデル毎に画像変換した際の変換前後の各ピクセルの輝度差の平均値である平均輝度変化量を算出し、平均輝度変化量が小さい画像変換モデルの順に順次適用する
ことを特徴とする環境認識装置。

【請求項5】

請求項１に記載の環境認識装置において、
前記環境条件及び前記学習条件は、国または天候である
ことを特徴とする環境認識装置。

【請求項6】

請求項５に記載の環境認識装置において、
前記画像変換部は、前記環境条件として国の環境条件を変換する場合、路面などの色合い変換、車両の部分形状変換、白線の追加、道路標識の形状や文字の変換を行う
ことを特徴とする環境認識装置。

【請求項7】

請求項５に記載の環境認識装置において、
前記画像変換部は、前記環境条件として天候の環境条件を変換する場合、雨滴の追加・除去、明るさの変換、車両ランプの点灯状態の変更、街灯の点灯状態の変更、建物の室内の明るさの変更、路面などに積もった雪の除去、歩行者が所持する傘の除去、または霧の除去を行う
ことを特徴とする環境認識装置。

【請求項8】

請求項１に記載の環境認識装置において、
前記画像変換部の画像変換モデルは、畳み込みニューラルネットワークであり、その学習において、前記環境条件間を相互に変換できるモデルを利用し、前記認識処理部の損失を含めた損失関数を最小化することで学習される
ことを特徴とする環境認識装置。

【請求項9】

請求項２に記載の環境認識装置において、
前記環境認識装置はサーバクライアントモデルとして構成し、
前記画像変換部における、前記環境条件の画像を前記学習条件に対応した画像に変換する複数変換モデルを格納する変換モデル格納部と前記変換モデル格納部から画像変換に使用する画像変換モデルを選択する変換処理選択部をサーバの構成とし、それ以外の構成はクライアントの構成とする
ことを特徴とする環境認識装置。

【請求項10】

請求項１に記載の環境認識装置において、さらに、
前記画像取得部で取得した画像と、前記画像変換部により前記学習条件に合わせて変換した画像と、を表示する表示部
を備えることを特徴とする環境認識装置。

【請求項11】

画像取得部が画像を取得するステップと、
前記画像取得部で取得した画像の環境条件を取得するステップと、
認識処理部の画像認識モデルの学習条件と前記環境条件とが異なる場合に、画像変換部が前記画像取得部で取得した画像を前記学習条件に合わせて変換するステップと、
前記認識処理部が前記画像変換部により変換した画像を前記画像認識モデルにより認識するステップと、
を含むことを特徴とする環境認識方法。

【請求項12】

請求項１１に記載の環境認識方法において、
前記画像変換部が前記画像取得部で取得した画像に複数の画像変換モデルを順次適用して、前記学習条件に対応した画像に変換するステップ
を含むことを特徴とする環境認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境認識装置及び環境認識方法に関する。

【背景技術】

【0002】

予防安全機能や自動運転などの実現において、走行環境をカメラで撮影し、撮影した画像に対して画像処理などの認識処理を実行することが有効である。認識性能の観点から、認識処理では深層学習などの機械学習モデルが利用される。認識処理では、様々な環境条件(天候など)において、高い精度で認識することが期待されている。

【0003】

これに対して、機械学習モデルでは、学習データとして、多様な環境条件毎の正解値データを作成し、学習に利用することが有効であるが、多様な環境条件における正解値データの作成は工数がかかる。このため、例えば特許文献１の予測システムを訓練するためのシステムでは、予測システムは、スタイルモデルを使用して、低照度環境の合成画像を、深度マップを生成するための深度モデルへの入力としての昼間表現に変換することにより訓練を実行できると記載（段落０００４を参照）している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－１９１１８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の先行技術によれば、夜間のデータを日中のデータに変換することで、日中のデータだけで学習された機械学習モデルで、夜間の認識を実行できる。一方、走行環境における環境条件は、夜間だけでなく、雨天や霧など多数の天候条件が考えられる。また、天候だけでなく、走行する国自体も多様であるため、先行技術の手法のように夜間への環境条件に対応するだけでは、多様な走行環境において、高精度な認識処理を実現することは困難である。

【0006】

本発明の目的は、学習における正解値データの作成コストを低減しつつ、多様な環境において高精度な認識を実現する環境認識装置及び環境認識方法を提供することにある。

【課題を解決するための手段】

【0007】

前記課題を解決するため、本発明の環境認識装置は、画像取得部と、前記画像取得部で取得した画像の環境条件を取得する環境条件取得部と、画像認識モデルにより画像の認識処理をする認識処理部と、前記画像取得部で取得した画像を前記画像認識モデルの学習条件に合わせて変換する画像変換部と、を備え、前記認識処理部は、前記環境条件取得部で取得した環境条件が前記認識処理部の画像認識モデルの学習条件と異なる場合に、前記画像取得部で取得した画像を前記画像変換部により前記学習条件に合わせて変換した画像の認識処理をするようにした。

【発明の効果】

【0008】

本発明によれば、学習における正解値データの作成コストを低減しつつ、多様な環境において高精度な認識を実現することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態の環境認識装置の構成を示す機能ブロック図である。

【図2】環境認識装置の動作を説明するフローチャートである。

【図3】画像取得部で取得した撮像画像の一例を示す図である。

【図4】変換モデル格納部の構成を示す図である。

【図5】実行順序と認識率を対応付けたテーブル情報を示す図である。

【図6】画像変換の過程を示す図である。

【図7】画像変換モデル毎の平均輝度変化量を示すテーブル情報を示す図である。

【図8】夜間から晴れの画像変換モデルの学習方法について説明する図である。

【図9】別の夜間から晴れの画像変換モデルの学習方法について説明する図である。

【図10】環境認識装置の他の構成を示す機能ブロック図である。

【図11】表示部に表示する画像変換前後の画像の一例を示す図である。

【図12】表示部に変換途中の画像を追加表示する一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0011】

図１は、実施形態の環境認識装置１の構成を示す機能ブロック図である。環境認識装置１は、図１に示すように、画像取得部１００、環境条件取得部１０１、画像変換部１０２、認識処理部１０３を備えている。

【0012】

具体的には、環境認識装置１は、カメラ、コンピュータ、メモリ及び記憶装置などで構成されており、コンピュータが、メモリや記憶装置に格納されたプログラムを実行することにより、後述する各種機能部を実現する。

【0013】

以降で、車両に設置され１台のカメラが接続される環境認識装置１の詳細を説明するが、これに限らず、複数台のカメラを接続する構成にも適応できる。また、環境認識装置１は、車両の運行状況を監視する路測機等の車両監視システム等の様々な環境の監視システムに利用することができる。

【0014】

画像取得部１００は、カメラ等の撮像画像を取得する機能部である。

【0015】

環境条件取得部１０１は、車両の周辺環境の環境条件を取得する機能部であり、取得した環境条件を画像取得部１００で取得した画像の撮像場所の環境条件とする。つまり、本明細書の画像の環境条件は、画像の撮像場所の環境情報を意味する。

【0016】

ここで、環境条件は、晴れ、雨、夜（明暗）、雪、霧などの天候に関する情報や、日本、アメリカ、中国、欧州、インドなどの国や地域に関する情報を含んでいる。これらの環境情報は、画像取得部１００が取得した画像、車両のＧＰＳ情報、カーナビ・地図システム、車両のワイパーの動作情報などから、取得または判別する。

【0017】

具体的には、撮像画像を利用する場合には、画像全体の明るさから、晴れ、夜（明暗）、雪を判別でき、また、雨滴を検出した場合には雨と判定する。霧に関しては、画像全体が白くぼけていることを基準に判断することができる。さらに、走行環境中の撮像画像から看板や標識の文字を認識することで、走行している地域や国を判別できる。

【0018】

天候情報に関しては、カーナビシステムから情報を取得しても良い。
また、ＧＰＳ情報やカーナビ・地図システムの情報を基準に、走行している地域や国を判別してもよい。
さらに、ワイパーなどの動作情報を利用することで、雨の環境条件を高精度に把握することができる。

【0019】

画像変換部１０２は、詳細は後述するが、環境条件取得部１０１で取得した環境条件が後述する認識処理部１０３の学習条件と一致しない場合に、画像取得部１００が取得した画像が認識処理部１０３の学習条件と一致するように、画像変換を実行する。ここで、学習条件とは、認識処理部１０３で利用する機械学習モデルの学習に利用された画像の環境条件であり、例えば、国内かつ晴れというような条件のことである。

【0020】

画像変換部１０２は、画像変換に利用する画像変換モデルを少なくとも一つ格納し、変換に利用するものを選択する。これら画像変換モデルは、畳み込みニューラルネットワークや深層学習モデルでも良いし、他の機械学習アルゴリズムで学習された統計モデルでも良いし、古典的なフィルタ処理を並べたものであっても良い。

【0021】

現在の環境条件がアメリカかつ雨であり、認識処理部１０３の学習条件が日本かつ晴れであった場合には、画像変換部１０２は、現在の環境条件と学習条件が一致していないため、画像変換を実行する。この際、格納された複数の画像変換モデルのうち、夜から晴れへの画像変換モデル、及びアメリカから日本への画像変換モデルを選択する。この２つの変換モデルを順番に実行することで、画像取得部１００が取得した画像を、日本かつ晴れの環境条件の見え方となるように画像変換する。

【0022】

認識処理部１０３は、画像取得部１００が取得した画像、または、画像変換部１０２が変換した画像を利用して認識処理を実行する。認識処理では、機械学習モデルを利用する。この機械学習モデルは特定の環境条件（例えば、日本かつ晴れ）の画像を利用して学習されたものであり、その環境条件、すなわち学習条件は画像変換部１０２に格納されている。また、認識処理で利用する機械学習モデルは、画像の各ピクセルを識別するセグメンテーションモデルや、画像中に写る物体を検出する物体検出モデルや、画像の各ピクセルの深度を算出する深度算出モデルでも良い。

【0023】

つぎに、図２のフローチャートを参照して、実施形態の環境認識装置１の動作を詳細に説明する。なお、説明は、走行環境の環境条件が、アメリカかつ雨であり、認識処理部１０３は、走行路を認識するセグメンテーションモデルを利用しているものとし、学習には、日本かつ晴れの学習データが利用されているものとして行う。

【0024】

図３は、画像取得部１００で取得した撮像画像の一例を示す図である。図３の符号３００は走行路、符号３０１は歩道、符号３０２は雨滴を表している。アメリカと日本では、走行路３００のアスファルトの色合いが異なるものとする。

【0025】

環境認識装置１は、画像取得処理Ｓ１０１、環境条件取得処理Ｓ１０２、環境条件と学習条件の合致性の確認処理Ｓ１０３、変換モデル選択処理Ｓ１０４、変換順序決定処理Ｓ１０５、画像変換処理Ｓ１０６、認識処理Ｓ１０７を順に実行する。

【0026】

図２に戻り、画像取得処理Ｓ１０１で、画像取得部１００が、カメラの画像データを取得する。

【0027】

環境条件取得処理Ｓ１０２で、環境条件取得部１０１が、ＧＰＳ情報を参照し、現在の走行している国がアメリカであると判定する。その後、カーナビシステムから天候情報を取得し、現在の天候が雨であることを判定する。

【0028】

環境条件と学習条件の合致性の確認処理Ｓ１０３で、環境条件取得部１０１は、環境条件取得処理Ｓ１０２で取得した環境条件がアメリカかつ雨であり、学習条件格納部１０２１に格納されている認識処理部１０３の学習条件が日本かつ晴れであることから、両条件が一致していないと判定し（Ｓ１０３のＮｏ）、変換モデル選択処理Ｓ１０４に進む。環境条件取得部１０１は、両条件が一致していると判定した場合には（Ｓ１０３のＹｅｓ）、画像変換は行わずに、認識処理Ｓ１０７に進む。

【0029】

変換モデル選択処理Ｓ１０４で、変換処理選択部１０２３は、画像変換部１０２の変換モデル格納部１０２２に格納された画像変換モデルのうち、今回利用する画像変換モデルを選択する。
図４は、変換モデル格納部１０２２の構成を示す図である。変換モデル格納部１０２２には、例えば、国や地域を変換する変換モデルと、天候を変換するモデルがそれぞれ格納されている。

【0030】

具体的には、変換モデル選択処理Ｓ１０４は、環境条件取得処理Ｓ１０２で取得した環境条件がアメリカかつ雨であり、認識処理部１０３の学習条件が日本かつ晴れであることから、環境条件を学習条件に一致させるために、アメリカから日本への変換と雨から晴れへの変換の２つの変換モデルを選択する。これら変換モデルは後述する学習により学習されている。

【0031】

図２に戻り、変換順序決定処理Ｓ１０５で、変換実行部１０２４は、変換モデル選択処理Ｓ１０４で選択した複数の変換モデルを実行する順序を決定する。順序の決定は、図５に示すような、それぞれの実行順序における認識処理部１０３のセグメンテーションモデルの認識率を示すテーブル情報を用いる。この実行順序と認識率の関連性は、事前にあらかじめ決定し、テーブル情報として用意しておく。

【0032】

具体的には、事前に評価画像を多数用意し、それぞれの実行順序で画像変換を実行し、その変換後の画像をセグメンテーションモデルで認識した際の認識率を求め、実行順序と認識率を対応付けて図５のテーブル情報を作成する。

【0033】

図５では、国に関する変換を実施した後、天候に関する変換を実行した方が認識率が高いことが分かる。そのため、変換順序決定処理Ｓ１０５では、アメリカから日本への画像変換を実行した後に、雨から晴れへの画像変換を実行するという変換順序を決定する。

【0034】

また、今回のように変換モデル選択処理Ｓ１０４で複数の画像変換モデルが選択されていた場合、変換順序決定処理Ｓ１０５でその実行順序を決定するが、単一の変換モデルのみ選択されていた場合には、図５に示すようなテーブル情報にアクセスすることなく、その単一の画像変換モデルのみを実行することを決定する。

【0035】

図２の画像変換処理Ｓ１０６で、変換実行部１０２４は、変換順序決定処理Ｓ１０５で決定した順序に基づき、画像取得処理Ｓ１０１で取得した画像を画像変換する。
図６は、環境条件がアメリカかつ雨の画像データを、学習条件が日本かつ晴れの認識処理部１０３で処理するための、画像変換の過程を示す図である。

【0036】

初めに、アメリカから日本への変換を実行するために、撮像画像の走行路のアスファルトの色合いを変更する。これにより、アメリカかつ雨の環境条件であった画像（ＵＳ、雨）を、日本かつ雨の環境条件となる画像（ＪＰ、雨）に変換することができる。その後、雨から晴れへの変換を実行する。これにより、雨滴を除去し、日本かつ雨の環境条件の画像を、日本かつ晴れの画像（ＪＰ、晴）に変換する。

【0037】

図２の認識処理Ｓ１０７で、認識処理部１０３は、画像変換処理Ｓ１０６で変換した変換画像、または、環境条件と学習条件の合致性の確認処理Ｓ１０３で環境条件と学習条件が一致していると判定した画像を、認識処理する。

【0038】

実施形態の環境認識方法は、上記のように、取得画像の環境条件と認識処理の学習条件を参照して利用する画像変換モデルを選択し、取得画像の環境条件が認識処理の学習条件に合致するように適応的に取得画像の画像変換を実行する。これにより、認識処理で利用する機械学習モデルが特定の条件（例えば、日本かつ晴れ）でのみ学習された場合においても、多様な環境条件（例えば、アメリカかつ雨）に対しても正確に認識することができる。換言すると、特定の条件の学習データのみ正解値データを作成するだけで、認識処理部は多様な環境において高精度な認識を実現することができる。

【0039】

実施形態の環境認識装置１は、画像変換に利用する画像変換モデルとして複数のモデルが選択された場合、あらかじめ計算しておいた認識処理部１０３の認識率を基準に適用順序を決定する。これにより、認識処理部１０３の認識性能を考慮して、画像変換を実行することができるため、認識処理部１０３の性能をさらに改善することができる。

【0040】

また、実施形態の環境認識装置１では、図４に、国と天候に関する環境条件を変換する変換モデルを示した。画像を撮影する国や天候に応じて画像の見え方は大きく変化するため、通常、認識処理部では、それら国や天候毎の学習データを事前に収集し、正解値データを作成し、学習することが必要となる。しかしながら、図４の画像変換モデルにより、それら国と天候という環境条件自体を、認識処理部の学習条件に一致するように画像変換することで、認識処理部１０３は、特定の国と天候条件のみの正解値データにより学習するだけで、多様な国と天候に対して高精度な認識が可能となる。

【0041】

つぎに、画像変換モデルの詳細を説明する。
天候の関する変換を行う、図４の「雨空->晴」（雨から晴れの変換）の画像変換モデルでは、撮像画像から雨滴の除去を実行して変換することを説明したが、これ以外にも、雨滴の追加、画像全体の明るさの変更や、歩行者が所持する傘の除去などを実行することによって変換することもできる。

【0042】

雨以外の環境条件として、夜間、積雪、霧の環境条件を晴れに変換できる。具体的には、夜間においては、画像全体の明るさの変換や、車両ランプの点灯状態の変更、街灯の点灯状態の変更、建物の室内の明るさの変更を実行して、晴れに変換する。積雪においては、路面などに積もった雪の除去や、画像全体の明るさ、歩行者が所持する傘の除去を実行して、晴れに変換する。また、霧の場合には、霧を除去して晴れに変換する。

【0043】

上記のように、実施形態の環境認識装置１は、雨、夜間、積雪、霧等の天候の環境条件に特徴的な条件について、除去または変更等を行って晴れの画像に変換し、その見え方の差を吸収することで、認識処理部はさらに高精度な認識ができるようにする。

【0044】

以下では、国に関する変換を行う画像変換モデルについて説明する。
実施形態の環境認識装置１は、画像変換モデルにより撮像画像のアスファルトの色合いの変換を実行して、国に関する環境条件を変更することを説明した。

【0045】

これ以外にも、国によって路面の白線(路面標示などの路面ペイント含む)の有無が異なることから、画像変換モデルにより、撮像画像の路面の白線の除去・追加を行う画像変換をして、国に関する環境条件を変更することもできる。

【0046】

さらに、国毎に車両のナンバープレートの取り付け位置が異なることから、画像変換モデルにより、撮像画像のナンバープレートの取り付け位置を変更する画像変換をして、国に関する環境条件を変更することもできる。その際に、ナンバープレート内に記載の文字自体を変換するようにしてもよい。また、車両自体の形状も異なることから、車両の高さや幅、それ以外にも車の外形自体を変換するようにしてもよい。

【0047】

また、国によって、道路標識の形状と記載の文字が異なる。例えば、一時停止標識は国によって、六角形や三角形などが存在している。そこで、画像変換モデルにより、道路標識の形状を変更する画像変換をして、国に関する環境条件を変更することもできる。その際に、画像変換モデルにより、道路標識に記載の文字を画像変換してもよい。

【0048】

上記のように、実施形態の環境認識装置１は、撮像画像の国の環境条件に特徴的な、路面のアスファルトの色合い、車両の部分形状、白線の有無、道路標識の形状や文字等を画像変換モデルにより変換して、国による見え方の差を吸収することで、認識処理部はさらに高精度な認識ができるようにする。

【0049】

上記では、実施形態の環境認識装置１では、変換順序決定処理Ｓ１０５（図２）において変換実行部１０２４が、図５に示したように認識率の高い順序の画像変換を行うことを示したが、変換実行部１０２４が、平均輝度変化量の小さい画像変換モデルから順に画像変換を実行するようにしてもよい。

【0050】

ここで、平均輝度変化量は、例えば、雨から晴れの画像変換モデルの場合、雨の画像を入力し、晴れの画像に変換した際の、変換前後における各ピクセルの輝度差の平均値である。画像変換モデル毎の平均輝度変化量は、あらかじめ多数の画像を変換することで、算出してもおいてもよいし、また、リアルタイムで変換実行部１０２４が認識する画像を変換し、変換前後の平均輝度変化量を求めてよい。

【0051】

図７は、画像変換モデル毎の平均輝度変化量を示すテーブル情報を示す図である。
図７では、アメリカから日本への画像変換モデルでの平均輝度変化量は３０であり、雨から晴れへの画像変換モデルでの平均輝度変化量は８０である。そのため、アメリカから日本への画像変換モデルの方が、画像の見え方の変化量が小さい。そこで、変換実行部１０２４は、まず、平均輝度変化量の小さい方のアメリカから日本への画像変換を実行し、その後に、その後、雨から晴れへの画像変換を実行する。

【0052】

上記の画像変換モデルの適用順序を平均輝度変化量の小さく見え方の変化が少ない順にすることは、画像変換において画像の見え方の大幅な変換は、画像変換に失敗するリスクが高く難易度が高いことに基づいている。そのため、見え方の変化量が小さい画像変換から順番に実行し、その後、それら環境条件を取り除いた画像に対して、難易度の高い見え方が大きく変わる画像変換を実行する。これにより、画像変換に失敗するリスクを低減でき、認識処理部１０３のさらなる高精度化が可能となる。

【0053】

つぎに、図８、図９により、夜間から晴れの画像変換モデルの学習方法について説明する。なお、以下の説明が、夜間から晴れの画像変換に限定されるものでないことは言うまでもない。

【0054】

図８の、Ｎ１０１が夜間から晴れへの画像変換モデルである。学習では、夜間から晴れへの画像変換モデルＮ１０１だけでなく、晴れから夜間への変換モデルＮ１００も利用する。それぞれＮ１００、Ｎ１０１は畳み込みニューラルネットワークである。学習には、夜間に取得した実画像と晴れに取得した実画像を利用する。学習の損失には、３つの損失を利用する。

【0055】

１つ目の損失は、一貫性損失である。一貫性損失は、夜間の実画像をＮ１０１へ入力し、晴れに変換した画像（晴れＣＧ画像）を生成する。その後、晴れＣＧ画像をＮ１００へ入力し、夜間に変換した画像（夜間ＣＧ画像）を生成する。そして、入力である夜間の実画像と夜間ＣＧ画像のピクセル毎の輝度の差を損失として計算する。同様に、晴れの実画像をＮ１００へ入力し、その変換結果をＮ１０１へ入力し、その出力と晴れの実画像との輝度差を損失として計算する。これら２つの差を加算したものを、一貫性損失とする。

【0056】

２つ目の損失としては、敵対性損失を利用する。敵対性損失では、夜間の実画像をＮ１０１へ入力し、変換後の晴れＣＧ画像を取得する。取得した晴れＣＧ画像と、晴れの実画像を晴れ識別器Ｎ１０３へ入力する。晴れ識別器Ｎ１０３は、入力された画像が、ＣＧ画像であるか、実画像であるかを判別する識別器である。

【0057】

同様に、晴れの実画像をＮ１００へ入力に、変換後の夜間ＣＧ画像を取得し、その夜間ＣＧ画像を夜間識別器Ｎ１０２へ入力する。夜間識別器Ｎ１０２には、夜間の実画像も入力する。夜間識別器Ｎ１０２は、入力された画像がＣＧ画像であるか、実画像であるかを判別する。

【0058】

これら、晴れ識別器と夜間識別器の識別結果に対してクロスエントロピーを計算し、その和を敵対性損失として利用する。これら１つ目の損失である一貫性損失と、２つ目の損失である敵対性損失は、公知のＣｙｃｌｅＧＡＮで利用されるものと同一である。

【0059】

３つ目の損失は、認識処理部の識別結果に対する損失であり、図９により、損失の計算方法を説明する。図９のＮ１００とＮ１０１は、図８のＮ１００とＮ１０１と同一の画像変換モデルである。ここで、認識処理部１０３も同様に、畳み込みニューラルネットワークで構成されており、晴れの画像をセグメンテーションできるように学習済みであり、そのネットワークのパラメータは画像変換モデルの学習において更新しない。

【0060】

３つ目の損失では、晴れの実画像Ｉ１００とその実画像における正解値Ｉ１０１を利用する。ここで、正解値Ｉ１０１はセグメンテーション用の正解値である。

【0061】

初めに、Ｉ１００を晴れから夜間への画像変換モデルＮ１００に入力し、夜間ＣＧ画像Ｉ１０２を取得する。その後、夜間から晴れへの画像変換モデルＮ１０１へI１０２を入力し、晴れＣＧ画像Ｉ１０３を取得する。その後、晴れＣＧ画像Ｉ１０３、及び正解値Ｉ１０１を認識処理部へ入力し、セグメンテーションに関する損失としてクロスエントロピーを計算する。

【0062】

この３つ目の損失を、１つ目の損失、及び２つ目の損失に加算したものが、画像変換モデルの学習で利用する損失である。学習では、Ｎ１００、及びＮ１０１の画像変換モデルと、Ｎ１０２、及びＮ１０３の識別器を交互に最適化する。

【0063】

以上より、実施形態の環境認識装置１では、画像変換モデルの学習において、環境条件間を相互に変換できるモデル（夜間から晴れへの変換モデルだけでなく、晴れから夜間への変換モデル）を利用する。

【0064】

これにより、画像変換モデルの学習で必要となる、環境条件毎に取得した実画像（夜間と晴れの実画像）は、環境条件以外が完全に一致したペア（完全に同一地点で取得された夜間と晴れのペア画像）である必要が無く、それぞれ異なる地点で取得されていても学習することができる。これにより、画像変換モデルの学習に必要となるデータの取得にかかるコストを低減することができる。

【0065】

また、実施形態の環境認識装置１では、認識処理部１０３の学習条件に合致する画像（晴れの実画像）を入力し、画像変換を２回実行（晴れから夜間へ変換、その後、夜間から晴れに変換）し、変換後のＣＧ画像と正解値を利用して、認識処理部１０３の損失を計算し、その損失に基づき画像変換モデルを学習する。

【0066】

これにより、認識処理部１０３の損失を画像変換モデルの損失に加え学習することができ、認識に適した画像変換モデルを構築することができる。また、上述した学習（晴れから夜間へ変換、その後、夜間から晴れに変換し、変換後の晴れＣＧ画像で認識部の損失定義）を利用することで、認識処理部の学習条件（晴れ）の正解値のみで認識部の損失を計算することができ、夜間データに対する正解値データを作成することなく、認識処理部の損失を加えることができるため、正解値データの作成コストを低減することができる。

【0067】

つぎに、実施形態の環境認識装置１をサーバクライアントモデルとして構成する例を説明する。この構成では、図１に示した構成のうち、画像変換部１０２の変換モデル格納部１０２２と変換処理選択部１０２３をサーバの構成とし、それ以外の構成はクライアントの構成とする。すなわち、クライアントが認識処理を実行する上で必要となる画像変換モデルを、サーバが決定する構成である。

【0068】

詳細には、クライアントは、図２のＳ１０３で、環境条件と学習条件が一致していないと判定された場合に、サーバに環境条件と学習条件とを通知し、サーバは、変換モデル格納部１０２２と変換処理選択部１０２３の構成により、図２のＳ１０４とＳ１０５の処理を行い、変換モデル格納部１０２２に格納された画像変換モデルから選択された画像変換モデルがクライアントに通知する。クライアントは、サーバから通知された画像変換モデルにより、Ｓ１０６を実行して画像変換を行い、Ｓ１０７で認識処理を行う。

【0069】

このように、環境認識装置１をサーバクライアントモデルとして構成することで、クライアントでは、複数の画像変換モデルを格納する領域が不要となり、一つの画像変換モデルの領域を備えればよい。これにより、クライアントのメモリにかかるコストを低減することができる。

【0070】

サーバに新規の環境条件を変換する画像変換モデルを追加することにより、既存のクライアントが、新規の環境条件に対しても、認識処理を行うことができるので、認識処理の拡張性や可用性を向上することができる。

【0071】

上記のとおり、実施形態の環境認識装置１は、画像取得する環境条件が、認識処理部１０３の学習条件と異なる場合に、取得画像を認識処理部１０３の学習条件に合わせて画像変換することにより、多くの環境条件に認識処理することができる。このため、環境認識装置１が、画像変換前後の画像を表示するようにして、画像を確認できるようにしてもよい。

【0072】

図１０は、画像変換前後の画像を表示するようにした環境認識装置１の構成を示す機能ブロック図である。詳しくは、図１０の環境認識装置１は、図１に示した環境認識装置１に表示部１０４を備えるようにする。

【0073】

図１１は、表示部１０４に表示する画像変換前後の画像の一例を示す図である。詳しくは、図１１は、アメリカかつ雨の画像を、日本かつ晴れの画像に画像変換する場合の表示例である。

【0074】

また、環境認識装置１は、複数の画像変換モデルを適用する場合の画像の変化を表示部１０４に表示してもよい。図１２は、変換途中の画像を追加表示する一例を示す図である。詳しくは、アメリカかつ雨の画像を、日本かつ晴れの画像に画像変換する場合に、日本かつ雨の画像に変換する画像変換モデルを適用した画像（ＪＰ、雨）を表示し、その後に、日本かつ晴れの画像を表示する。

【0075】

図１２のように、変換途中の画像を表示することにより、変換処理選択部１０２３により変換順序決定処理Ｓ１０５で決定した変換順序の変換結果を確認できるので、図５で説明した認識率に基づいて決めた画像変換モデルの適用順序や、図７で説明した平均輝度変化量に基づいて決めた画像変換モデルの適用順序を手動変更することもできる。

【0076】

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。

【符号の説明】

【0077】

１００ 画像取得部
１０１ 環境条件取得部
１０２ 画像変換部
１０２１ 学習条件格納部
１０２２ 変換モデル格納部
１０２３ 変換処理選択部
１０２４ 変換実行部
１０３ 認識処理部
１０４ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】