特開 2023-170839 撮像情報認識方法、撮像情報認識装置、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170839

(43)【公開日】2023-12-01

(54)【発明の名称】撮像情報認識方法、撮像情報認識装置、および、プログラム

(51)【国際特許分類】

   G06V 20/56 20220101AFI20231124BHJP

   G06T 7/00 20170101ALI20231124BHJP

【ＦＩ】

G06V20/56

G06T7/00 650A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022082903

(22)【出願日】2022-05-20

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和３年５月２１日に、自動車技術会２０２１年春季大会学術講演会講演予稿集のウェブサイト（ｈｔｔｐｓ：／／ｔｅｃｈ．ｊｓａｅ．ｏｒ．ｊｐ／ｐａｐｅｒｉｎｆｏ／ｊａ／ｃｏｎｔｅｎｔ／ｐ２０２１０１．０８８／）にて論文が掲載 令和３年５月２６日に、自動車技術会２０２１年春季大会学術講演会のウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｊｓａｅ．ｏｒ．ｊｐ／２０２１ｈａｒｕ／）にて学術発表が掲載 令和３年６月３０日に、Ｔｈｅ ２０２１ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍプログラム講演要旨のウェブサイト（ｈｔｔｐｓ：／／ｉｔｓ．ｐａｐｅｒｃｅｐｔ．ｎｅｔ／ｃｏｎｆｅｒｅｎｃｅｓ／ｃｏｎｆｅｒｅｎｃｅｓ／ＩＶ２１／ｐｒｏｇｒａｍ／ＩＶ２１＿ＣｏｎｔｅｎｔＬｉｓｔＷｅｂ＿２．ｈｔｍｌ）にて講演要旨が掲載 令和３年６月３０日に、Ｔｈｅ ２０２１ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ予稿集のウェブサイト（ｈｔｔｐｓ：／／２０２１．ｉｅｅｅ－ｉｖ．ｏｒｇ／ｐｏｒｔａｌ－ｓｉｔｅ－ａｃｃｏｕｎｔ－ｃｒｅａｔｉｎｇ－ｔｅｓｔ－ｐｒｏｃｅｄｕｒｅ／）にて論文が掲載 令和３年７月１２日に、Ｔｈｅ ２０２１ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍのウェブサイト（ｈｔｔｐｓ：／／２０２１．ｉｅｅｅ－ｉｖ．ｏｒｇ／）にて学会発表が掲載 令和３年１１月１３日に、Ｔｈｅ ２０２１ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍの要旨集「２０２１ ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ（ＩＶ）」のウェブサイト（ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／９５７５６３１）にて論文が掲載

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人新エネルギー・産業技術総合開発機構、戦略的イノベーション創造プログラム（ＳＩＰ）第２期／自動運転（システムとサービスの拡張）／自動運転技術（レベル３、４）に必要な認識技術等に関する研究」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504160781

【氏名又は名称】国立大学法人金沢大学

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】市原 直樹

(72)【発明者】

【氏名】米陀 佳祐

(72)【発明者】

【氏名】菅沼 直樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096FA69

5L096HA02

5L096HA08

(57)【要約】      （修正有）

【課題】太陽の逆光以外の領域であって、画像上において輝度値が高い領域を、逆光の領域と判断する可能性を低減する画像認識方法、撮像情報認識装置及びプログラムを提供する。
【解決手段】撮像情報認識方法は、撮像部によって異なる時間に撮像された複数の画像又は映像である撮像情報に含まれる逆光を示す領域を認識するための撮像情報認識方法であって、撮像情報に含まれる複数の画像又は映像に含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、複数の画像のうち少なくとも２以上の画像又は映像から抽出する高輝度抽出ステップ（Ｓ１０）と、撮像情報に含まれる複数の高輝度領域の内、対応する高輝度領域同士を比較するステップ（Ｓ１１）と、撮像情報のうち、所定の枚数又は時間以上の撮像情報に含まれる高輝度領域の部分を、逆光を示す領域である逆光領域と決定する時系列処理ステップ（Ｓ１２）と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像部によって異なる時間に撮像された複数の画像又は映像である撮像情報に含まれる逆光を示す領域を認識するための撮像情報認識方法であって、
前記撮像情報に含まれる複数の前記画像又は前記映像に含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、複数の前記画像のうち少なくとも２以上の画像又は前記映像から抽出する高輝度抽出ステップと、
前記撮像情報に含まれる複数の前記高輝度領域の内、対応する前記高輝度領域同士を比較することで、前記撮像情報のうち、所定の枚数または時間以上の前記撮像情報に含まれる前記高輝度領域の部分を、逆光を示す領域である逆光領域と決定する時系列処理ステップと、を含む、
撮像情報認識方法。

【請求項2】

前記高輝度抽出ステップで抽出された１つまたは複数の前記高輝度領域の位置を示す前記画像上における座標を、実空間における三次元の座標に変換する座標変換ステップをさらに含み、
前記時系列処理ステップでは、前記座標変換ステップで変換された座標に基づいて、複数の前記高輝度領域のうち、対応する前記高輝度領域同士を比較し、持続的に前記画像に含まれる前記高輝度領域の部分を前記逆光領域と決定する、
請求項１に記載の撮像情報認識方法。

【請求項3】

予め記憶している、道路の形状および位置と、前記道路上に設置される道路構造物の位置とを示す位置情報を参照することで、前記逆光領域に前記道路構造物が含まれることとなる、観測体の位置する前記道路上の位置を推定する推定ステップをさらに含む、
請求項２に記載の撮像情報認識方法。

【請求項4】

前記推定ステップにおいて、前記逆光領域のうちの二点から引かれた、前記道路構造物を交点とする二本の母線が回転してできる円錐を、前記道路の表面で切断することで形成される楕円を、前記逆光領域に前記道路構造物が含まれることとなる前記道路上の位置と推定する、
請求項３に記載の撮像情報認識方法。

【請求項5】

前記高輝度抽出ステップにおいて、前記複数の画像に対する機械学習で用いられる畳み込み層において特定の値を持つ画素を前記複数の画像のそれぞれにおいて可視化することで、前記高輝度領域を抽出する、
請求項１～４のいずれか１項に記載の撮像情報認識方法。

【請求項6】

撮像部によって異なる時間に撮像された複数の画像又は映像である撮像情報に含まれる逆光を示す領域を認識するための撮像情報認識装置であって、
前記撮像情報に含まれる複数の前記画像のそれぞれ又は前記映像に含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、前記画像のうち少なくとも２以上の画像又は前記映像から抽出する高輝度抽出部と、
前記撮像情報に含まれる複数の前記高輝度領域の内、対応する前記高輝度領域同士を比較することで、前記撮像情報のうち、所定の枚数または時間以上の前記撮像情報に含まれる前記高輝度領域の部分を、逆光を示す領域である逆光領域と決定する時系列処理部と、を備える、
撮像情報認識装置。

【請求項7】

請求項１～４のいずれか１項に記載の撮像情報認識方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像における逆光の領域を認識する撮像情報認識方法、撮像情報認識装置、および、プログラムに関する。

【背景技術】

【0002】

従来、画像における逆光の領域を認識する技術が提案されている。

【0003】

特許文献１には、深層学習を用いることにより、画像における逆光の領域を認識する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願公開第２０２０／００９０３２２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示される方法は、太陽の逆光以外の領域であって、画像上において輝度値が高い領域も、逆光の領域と判断してしまう可能性が高いという課題がある。

【0006】

そこで、本発明は、太陽の逆光以外の領域であって、画像上において輝度値が高い領域を、逆光の領域と判断する可能性を低減することができる撮像情報認識方法等を提供する。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一態様に係る撮像情報認識方法は、撮像部によって異なる時間に撮像された複数の画像又は映像である撮像情報に含まれる逆光を示す領域を認識するための撮像情報認識方法であって、前記撮像情報に含まれる複数の前記画像又は前記映像に含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、複数の前記画像のうち少なくとも２以上の画像又は前記映像から抽出する高輝度抽出ステップと、前記撮像情報に含まれる複数の前記高輝度領域の内、対応する前記高輝度領域同士を比較することで、前記撮像情報のうち、所定の枚数または時間以上の前記撮像情報に含まれる前記高輝度領域の部分を、逆光を示す領域である逆光領域と決定する時系列処理ステップと、を含む。

【0008】

また、例えば、本発明の一態様に係る撮像情報認識装置は、撮像部によって異なる時間に撮像された複数の画像又は映像である撮像情報に含まれる逆光を示す領域を認識するための撮像情報認識装置であって、前記撮像情報に含まれる複数の前記画像のそれぞれ又は前記映像に含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、前記画像のうち少なくとも２以上の画像又は前記映像から抽出する高輝度抽出部と、前記撮像情報に含まれる複数の前記高輝度領域の内、対応する前記高輝度領域同士を比較することで、前記撮像情報のうち、所定の枚数または時間以上の前記撮像情報に含まれる前記高輝度領域の部分を、逆光を示す領域である逆光領域と決定する時系列処理部と、を備える。

【0009】

また、例えば、本発明の一態様に係るプログラムは、本発明の一態様に係る撮像情報認識方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0010】

本発明の一態様に係る撮像情報認識方法等は、太陽の逆光以外の領域であって、画像上において輝度値が高い領域を、逆光の領域と判断する可能性を低減することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態における撮像情報認識装置のブロック図である。

【図2】図２は、実施の形態における撮像情報認識方法の出力結果を示す図である。

【図3】図３は、実施の形態における撮像情報認識方法の処理を示すフローチャートである。

【図4】図４は、実施の形態における撮像情報認識方法における時系列処理の例を表す図である。

【図5】図５は、実施の形態における撮像情報認識方法の座標変換の処理を示すフローチャートである。

【図6】図６は、実施の形態における撮像情報認識方法の推定の処理を示すフローチャートである。

【図7】図７は、実施の形態における撮像情報認識方法の推定の詳細な処理を示すフローチャートである。

【図8A】図８Ａは、実施の形態における撮像情報認識方法の推定の方法を示す概要図である。

【図8B】図８Ｂは、実施の形態における撮像情報認識方法の信号の視認を可能にするための推定の例を示す図である。

【発明を実施するための形態】

【0012】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0013】

以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。

【0014】

（実施の形態）
以下、太陽の逆光以外の領域であって、画像上において輝度値が高い領域を、逆光の領域と判断する可能性を低減することができる撮像情報認識方法、撮像情報認識装置およびプログラムについて説明する。

【0015】

［撮像情報認識装置の構成］
まず、実施の形態における撮像情報認識装置の構成について説明する。図１は、実施の形態における撮像情報認識装置１のブロック図である。

【0016】

撮像情報認識装置１は、車両等で実現される観測体に搭載され、制御部１０と、撮像部１５と、記憶部１６とを備える。また、制御部１０は、高輝度抽出部１１と、時系列処理部１２と、座標変換部１３と、推定部１４とを備える。

【0017】

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリとから実現される。制御部１０は、高輝度抽出部１１、時系列処理部１２、座標変換部１３、および、推定部１４を制御することによって、上記の各部に計算結果を出力させる。また、制御部１０は、撮像部１５を制御することによって、撮像部１５に画像を撮像させる。なお、本実施形態では、撮像部１５は画像を撮像しているが、継続的に映像を撮像してもよい。ここで、映像とは、例えば、一定時間の動画像である。

【0018】

高輝度抽出部１１は、複数の画像のそれぞれに含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、複数の画像のそれぞれから抽出する。高輝度抽出部１１は、撮像部１５が撮像した画像であって、記憶部１６に記憶された画像を読み出して、当該画像に対して上記の処理を行う。

【0019】

なお、本実施形態では、複数の画像のそれぞれの画像から高輝度領域を抽出しているが、複数の画像のうち少なくとも２以上の画像から高輝度領域を抽出してもよい。また、撮像部によって映像を撮像する場合、映像中の少なくとも２つの異なる時間における高輝度領域を抽出する。すなわち、映像（映像に含まれるフレーム）中の、少なくとも、第１時間と、第１時間とは異なる第２時間とにおける高輝度領域を抽出する。また、撮像部によって画像および映像を撮像する場合、少なくとも、１の画像における高輝度領域と、映像における所定時間（当該所定時間は画像が取得された時間とは異なる）の高輝度領域とを抽出してもよい。

【0020】

なお、高輝度抽出部１１は、二値化された画像において、所定の閾値以上の色度を示す画素の領域を、複数の画像のそれぞれから抽出し、高輝度領域と同等の領域としてもよい。または、高輝度抽出部１１は、二値化された画像において、所定の閾値未満の色度を示す画素の領域を、複数の画像のそれぞれから抽出し、高輝度領域と同等の領域としてもよい。

【0021】

時系列処理部１２は、複数の画像のそれぞれに含まれる高輝度領域であって、１の画像の高輝度領域と、これに対応する（すなわち、１の画像における高輝度領域と位置や大きさ的に略同じ）高輝度領域同士を比較することで、複数の画像のうち、所定の枚数以上の画像に含まれる高輝度領域の部分を、逆光を示す領域である逆光領域と決定する。言い換えると、所定の枚数以上の画像に含まれる所定箇所の高輝度領域の部分を、逆光を示す領域である逆光領域と決定する。つまり、時系列処理部１２は、持続的に画像に含まれる高輝度領域の部分を逆光領域と決定する。

【0022】

なお、撮像部が映像を撮像する場合は、映像（フレーム）において、または画像及び映像（フレーム）において、所定時間（枚数）以上継続して抽出される高輝度領域の箇所を逆光領域と決定する。

【0023】

座標変換部１３は、高輝度抽出部１１が抽出した高輝度領域の位置を示す画像上における座標を、実空間における三次元の座標に変換する。つまり、座標変換部１３は、高輝度領域の座標を、画像座標系から、方位座標系に変換する。ここで、実空間における三次元の座標は、水平方向の角度であるピッチ角θと、垂直方向の角度であるヨー角φで表されてもよい。

【0024】

推定部１４は、予め記憶している、道路の形状および位置と、道路上に設置される道路構造物の位置とを示す位置情報を参照することで、逆光領域に道路構造物が含まれることとなる、観測体の位置する道路上の位置を推定する。

【0025】

推定部１４は、具体的には、逆光領域のうちの二点から引かれた、道路構造物を交点とする二本の母線が回転してできる円錐を、道路の表面で切断することで形成される楕円を、逆光領域に道路構造物が含まれることとなる道路上の位置と推定する。

【0026】

撮像部１５は、光学レンズと、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子と、画像処理エンジンとを備える。撮像部１５は、車載カメラ等のカメラである。撮像部１５は、異なる時間に複数の画像を撮像する。

【0027】

記憶部１６は、撮像部１５が撮像した画像、および、高輝度抽出部１１と、時系列処理部１２と、座標変換部１３と、推定部１４とが算出した計算結果等を記憶する。記憶部１６は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで実現される。

【0028】

［撮像情報認識方法の概要］
次に、実施の形態における撮像情報認識方法の概要について説明する。図２は、実施の形態における撮像情報認識方法の出力結果を示す図である。

【0029】

例えば、実施の形態における撮像情報認識方法で用いられる撮像情報は、図２に示されるように、被写体２０および信号機３０等を含んだ、車載カメラによって撮影された道路上の画像である。図２の（ａ）は、上述の画像に対する、実施の形態における撮像情報認識方法による処理前の様子を示している。図２の（ａ）の左上の領域１００が、逆光の領域である。領域１００は、逆光により、画素の輝度値が所定の輝度値よりも高くなっている。

【0030】

これに対して、図２の（ｂ）は、図２の（ａ）の画像に対して、実施の形態における撮像情報認識方法による処理を行った後の様子を示す図である。図２の（ｂ）の画像は、画素の輝度値によって、異なる色で表現されるヒートマップを用いて表されている。具体的には、画素の輝度値が所定の輝度値よりも高い領域（つまり、逆光領域）は、第１領域２００として表され、画素の輝度値が所定の輝度値未満の領域は、第２領域２１０として表される。例えば、第１領域２００はオレンジ色で表され、第２領域２１０は青色で表されてもよい。

【0031】

図３は、実施の形態における撮像情報認識方法の処理を示すフローチャートである。

【0032】

まず、高輝度抽出部１１は、複数の撮像情報のそれぞれに含まれる高輝度領域を、複数の画像のそれぞれから抽出する（ステップＳ１０）。高輝度抽出部１１は、複数の画像のそれぞれに含まれる、所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、複数の画像のそれぞれから抽出する。

【0033】

次に、時系列処理部１２は、複数の画像のそれぞれに含まれる所定箇所における高輝度領域同士を比較する（ステップＳ１１）。具体的には、時系列処理部１２は、異なる時間に撮影された複数の画像のそれぞれに含まれる高輝度領域同士の位置および大きさ等を比較する。

【0034】

異なる時間に撮影された複数の画像は、連続して撮影された画像でもよい。時系列処理部１２は、複数の画像において、それぞれの画像の高輝度領域として抽出された領域に対応する領域における画素同士を比較し、両方において、高輝度領域として抽出されているか否かを判定してもよい。

【0035】

続いて、時系列処理部１２は、複数の画像のうち、所定の枚数以上の画像に含まれる所定箇所における高輝度領域を、逆光領域と決定する（ステップＳ１２）。例えば、時系列処理部１２は、複数の画像のうち、全ての画像に含まれる所定箇所における高輝度領域を、逆光領域と決定してもよい。

【0036】

時系列処理部１２は、複数の画像において、それぞれの画像の高輝度領域として抽出された所定領域の画素同士を比較し、両方において、高輝度領域として抽出されたと判定された領域を確定することで、当該領域を逆光領域と決定してもよい。また、時系列処理部１２は、方位座標系に変換したヒートマップを時系列処理することで、高輝度領域として持続的に抽出される部分を抽出する。例えば、時系列処理部１２は、数式（１）に表されるバイナリベイズフィルタを用いて、複数の画像に含まれる高輝度領域の中から、持続的に抽出されている部分を抽出してもよい。

【0037】

【数1】

【0038】

ここで、ｔは、時間を示し、αは、減衰係数を示し、θは、水平方向における角度であるピッチ角を示し、φは、垂直方向における角度であるヨー角を示す。また、

【数2】

は、観測確率、具体的には角度θおよびφで表される位置が逆光領域である確率を示す。また、

【数3】

は、

【数4】

のログオッズを示し、

【数5】

は、時刻ｔにおける事後確率のログオッズを示し、具体的には角度θおよびφで表される位置が逆光領域である確率を示す。また、

【数6】

は、時刻ｔ－１における事後確率のログオッズを示し、具体的には角度θおよびφで表される位置が時刻ｔの１つ前のフレームにおいて、逆光領域である確率を示す。

【0039】

そして、時系列処理部１２は、時系列処理後のヒートマップの高い部分を逆座標変換してカメラが撮影した画像に投影する。これにより、時系列処理部１２は、画像上のいずれの位置が逆光領域に含まれるかを判定できる。

【0040】

［撮像情報認識方法の詳細］
次に、実施の形態における撮像情報認識方法の詳細について、説明する。

【0041】

図４は、実施の形態における撮像情報認識方法における時系列処理（図３のステップＳ１１）の例を表す図である。まず、図４の（ａ）に示されるように、領域２３０および領域２４０が、高輝度領域として抽出される。

【0042】

しかしながら、図４の（ｂ）～図４の（ｅ）にかけて、時間が経過していくにつれ、領域２３０は、輝度が低下していくために、高輝度領域として抽出されなくなる。よって、時系列処理部１２は、複数の画像の中の所定の枚数以上の画像において、領域２３０が高輝度領域として抽出されていないため、領域２３０を逆光領域と決定しない。図４に示される例では、時系列処理部１２は、所定の枚数以上の画像において、高輝度領域として抽出されている領域２４０を逆光領域と決定する。

【0043】

高輝度抽出部１１は、複数の画像に対する機械学習で用いられる畳み込み層において特定の値を持つ画素を複数の画像のそれぞれにおいて可視化することで、高輝度領域を抽出する。具体的には、Ｇｒａｄ―ＣＡＭ（Ｇｒａｄｉｅｎｔ―Ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）という手法が用いられてもよい。高輝度抽出部１１は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた畳み込み層における高輝度領域を抽出することで、撮像部１５の逆光状態を認識する。

【0044】

高輝度抽出部１１は、畳み込み層で抽出対象として反応した画素を、ヒートマップを用いて表示してもよい。例えば、高輝度抽出部１１は、ヒートマップを用いて、畳み込み層で抽出対象として反応した画素を赤く表示し、畳み込み層で抽出対象として反応しなかった画素を青く表示してもよい。

【0045】

図５は、実施の形態における撮像情報認識方法の座標変換の処理を示すフローチャートである。座標変換の処理は、時系列処理（図３のステップＳ１１）における前処理である。

【0046】

まず、座標変換部１３は、図３のステップＳ１０で抽出された高輝度領域の、画像における座標を特定する（ステップＳ２０）。座標変換部１３は、複数の画像のそれぞれについて、抽出された高輝度領域の、画像における座標（画像座標系における座標）を特定する。つまり、座標変換部１３は、高輝度領域が画像上のいずれの位置に存在するかを特定する。

【0047】

次に、座標変換部１３は、高輝度領域の画像における座標を、実空間における３次元座標に変換する（ステップＳ２１）。座標変換部１３は、高輝度領域の画像における座標を、方位座標系に変換する。

【0048】

続いて、時系列処理部１２は、変換された座標に基づいて、所定箇所における高輝度領域同士を比較し、持続的に画像に含まれる高輝度領域の部分を逆光領域と決定する（ステップＳ２２）。なお、「所定箇所における高輝度領域同士を比較する」とは、１の画像において高輝度領域が複数抽出される場合、１の高輝度領域と当該１の高輝度領域と略同じ位置や大きさの高輝度領域とを比較することを意味する。時系列処理部１２は、高輝度領域の実空間における３次元座標に基づいて、高輝度領域同士を比較し、持続的に画像に含まれる高輝度領域の部分を逆光領域と決定する。ここで、「持続的に画像に含まれる」とは、複数の画像のうちの、所定の枚数以上の画像に高輝度領域の部分が含まれることを意味してもよい。

【0049】

例えば、座標変換部１３は、ピンホールカメラモデルを用いて、撮像情報の座標系を、撮像情報座標系からカメラ座標系に変換する。そして、座標変換部１３は、車両の方位情報を用いて、撮像情報の座標系を、カメラ座標系から方位座標系に変換する。

【0050】

なお、ここでは、カメラ座標系を方位座標系に変換した後、所定箇所における高輝度領域同士を比較しているが、方位座標系に変換する前、すなわち、撮像情報座標系において高輝度領域同士を比較してもよい。

【0051】

なお、撮像部１５が映像を撮像する場合、カメラ座標系において、映像の連続フレームの画像から撮像部１５の移動量を推定して、移動量に応じて高輝度領域の位置および方向を補正してもよい。このとき、連続した画像または映像から撮像部１５の移動量、または、該当領域を表す画素の移動量を推定する技術としてｖｉｓｕａｌ ｏｄｏｍｅｔｒｙまたはｏｐｔｉｃａｌ ｆｌｏｗという技術が用いられてもよい。

【0052】

図６は、実施の形態における撮像情報認識方法の推定の処理を示すフローチャートである。推定の処理は、図３に示される撮像情報認識方法によって決定された逆光領域を用いた応用処理である。

【0053】

まず、推定部１４は、道路の形状および位置と、道路構造物の位置とを参照する（ステップＳ３０）。推定部１４は、記憶部１６に保存された道路の形状および位置と、道路構造物の位置とのそれぞれを示す情報を参照する。ここで、道路構造物とは、例えば、信号機等である。

【0054】

次に、推定部１４は、図３に示される撮像情報認識方法によって決定された逆光領域に道路構造物が含まれることとなる、位置を推定する（ステップＳ３１）。つまり、推定部１４は、観測体が道路を撮影した時に、撮影した画像上の逆光領域に、道路構造物が含まれる道路上の観測体の位置を推定する。

【0055】

図７は、実施の形態における撮像情報認識方法の推定の詳細な処理を示すフローチャートである。

【0056】

まず、推定部１４は、逆光領域のうちの２点から、道路構造物を交点とする２本の母線を引く（ステップＳ４０）。推定部１４は、逆光領域の幅を表す２点から、２本の直線を引く。当該直線は、撮影された画像上の逆光領域に含まれるか否かの判定の対象となる道路構造物の位置で交差する。

【0057】

次に、推定部１４は、２本の母線が回転してできる円錐を特定する（ステップＳ４１）。推定部１４は、ステップＳ４０で引いた２本の直線を３６０度回転させて形成される円錐を特定する。

【0058】

続いて、推定部１４は、円錐を、道路の表面で切断することで形成される楕円を特定する（ステップＳ４２）。推定部１４は、道路の表面をなす平面で、ステップＳ４１で特定された円錐を切断することで形成される楕円を特定する。

【0059】

そして、推定部１４は、楕円の示す領域を、逆光領域に道路構造物が含まれることとなる、道路上の位置と推定する（ステップＳ４３）。つまり、推定部１４は、ステップＳ４２で特定された楕円の示す領域を、観測体が道路を撮影するときに、撮影した画像の逆光領域に道路構造物が含まれることになる道路上の位置と推定する。

【0060】

図８Ａは、実施の形態における撮像情報認識方法の推定の方法を示す概要図である。推定部１４は、逆光領域である領域１００の両端の点１１０ａと１１０ｂとのそれぞれから、直線を引く。当該２本の直線は、信号機３０で交わる。

【0061】

そして、当該２本の直線が３６０度回転してできる円錐が、道路４００の表面をなす面で切断される。道路４００の表面に凹凸がある場合は、道路４００の延びる方向を示す面を、道路４００の表面をなす面とする。円錐が道路４００の表面のなす面で切断された面が、楕円３００である。

【0062】

観測体４０は、楕円３００の外にある点５００の位置で停止することで、観測体４０が撮影した撮像情報の逆光領域の中に信号機３０の像が含まれることを抑止できる。つまり、観測体４０は、恣意的に、停止線５１０より、相当程度、手前に停車することとなる。

【0063】

図８Ｂは、実施の形態における撮像情報認識方法の信号の視認を可能にするための推定の例を示す図である。例えば、観測体４０が停止線５１０で停止した場合に、信号機３０が、観測体４０が撮影した撮像情報上の逆光領域に含まれる場合、観測体４０は、信号機３０の手前にある信号機３０ａが視認可能な位置にある点５００で停止する。つまり、観測体４０は、停止線５１０よりも後退した位置で停止する。このように、撮像情報認識装置１は、観測体４０から視認される信号機３０が逆光領域に入るために、代わりに信号機３０ａが視認可能な位置を推定することで、観測体４０の停車位置を計画するパスプランニングを行ってもよい。

【0064】

［効果等］
以上のように、実施の形態における撮像情報認識方法は、撮像部１５によって異なる時間に撮像された複数の画像又は映像である撮像情報に含まれる逆光を示す領域を認識するための撮像情報認識方法であって、複数の撮像情報に含まれる複数の前記画像又は前記映像に含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、複数の前記画像のうち少なくとも２以上の画像または前記映像から抽出する高輝度抽出ステップと、複数の撮像情報に含まれる複数の高輝度領域の内、対応する前記高輝度領域同士を比較することで、複数の撮像情報のうち、所定の枚数以上の撮像情報に含まれる高輝度領域の部分を、逆光を示す領域である逆光領域と決定する時系列処理ステップと、を含む。

【0065】

これにより、実施の形態における撮像情報認識方法は、異なる時間に撮像された複数の撮像情報において持続的な高輝度領域を逆光領域と決定するので、太陽の逆光以外の領域であって、撮像情報上において輝度値が高い領域を、逆光の領域と判断する可能性を低減することができる。

【0066】

また、例えば、実施の形態における撮像情報認識方法は、高輝度抽出ステップで抽出された１つまたは複数の高輝度領域の位置を示す撮像情報上における座標を、実空間における三次元の座標に変換する座標変換ステップをさらに含み、時系列処理ステップでは、座標変換ステップで変換された座標に基づいて、１つまたは複数の高輝度領域のうち、対応する前記高輝度領域同士を比較し、持続的に撮像情報に含まれる高輝度領域の部分を逆光領域と決定する。

【0067】

これにより、実施の形態における撮像情報認識方法は、抽出された高輝度領域の方位座標を算出するので、逆光領域を正確に決定することができる。

【0068】

また、例えば、実施の形態における撮像情報認識方法は、予め記憶している、道路の形状および位置と、道路上に設置される道路構造物の位置とを示す位置情報を参照することで、逆光領域に道路構造物が含まれることとなる、観測体の位置する道路上の位置を推定する推定ステップをさらに含む。

【0069】

これにより、実施の形態における撮像情報認識方法は、撮像情報の逆光領域に道路構造物が含まれない撮像情報を撮影することができる位置で観測体を停車させることができ、安全運転の支援に応用され得る。

【0070】

また、例えば、実施の形態における撮像情報認識方法は、推定ステップにおいて、逆光領域のうちの二点から引かれた、道路構造物を交点とする二本の母線が回転してできる円錐を、道路の表面で切断することで形成される楕円を、逆光領域に道路構造物が含まれることとなる道路上の位置と推定する。

【0071】

これにより、実施の形態における撮像情報認識方法は、撮像情報の逆光領域に道路構造物が含まれない撮像情報を撮影することができる位置を正確に割り出すことができる。

【0072】

また、例えば、実施の形態における撮像情報認識方法は、高輝度抽出ステップにおいて、複数の撮像情報に対する機械学習で用いられる畳み込み層において特定の値を持つ画素を複数の撮像情報のそれぞれにおいて可視化することで、高輝度領域を抽出する。

【0073】

これにより、実施の形態における撮像情報認識方法は、撮像情報上において、高輝度領域を、ヒートマップを用いて表すことができ、高い精度で逆光領域を決定できる。

【0074】

また、例えば、実施の形態における撮像情報認識装置１は、撮像部１５によって異なる時間に撮像された複数の撮像情報に含まれる逆光を示す領域を認識するための撮像情報認識装置１であって、前記撮像情報に含まれる複数の前記画像のそれぞれ又は前記映像に含まれる所定の輝度値よりも高い輝度値を示す画素の領域である高輝度領域を、複数の撮像情報のそれぞれから抽出する高輝度抽出部１１と、複数の撮像情報のそれぞれに含まれる複数の高輝度領域の内、対応する前記高輝度領域同士を比較することで、複数の撮像情報のうち、所定の枚数以上の撮像情報に含まれる高輝度領域の部分を、逆光を示す領域である逆光領域と決定する時系列処理部１２と、を備える。

【0075】

これにより、実施の形態における撮像情報認識装置１は、上記撮像情報認識方法と同様の効果を奏することができる。

【0076】

また、例えば、実施の形態にかかるプログラムは、上記撮像情報認識方法をコンピュータに実行させるためのプログラムである。

【0077】

これにより、実施の形態におけるプログラムは、上記撮像情報認識方法と同様の効果を奏することができる。

【0078】

［その他の実施の形態］
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。

【0079】

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

【0080】

また、上記実施の形態において、撮像情報認識装置１の外部に存在する撮像装置が取得した撮像情報を、撮像情報認識装置１が取得してもよい。当該撮像装置は、連続して静止画を撮像できる装置でもよいし、継続的に動画像を撮像できる装置であってもよい。

【0081】

また、上記実施形態では、撮像情報認識装置１は観測体に搭載されているが、観測体とは別に存在していてもよい。この場合、撮像情報認識装置１と観測体とは、通信部等を介してデータのやり取りなどが通信可能に構成される。また、この場合、撮像部１５のみを観測体に搭載し、その他の機能に関しては撮像情報認識装置１が備えていてもよい。

【0082】

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0083】

また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0084】

また、本発明の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0085】

例えば、本発明は、上記実施の形態の端末として実現されてもよいし、端末に相当するシステムとして実現されてもよい。また、本発明は、自己位置推定方法として実現されてもよいし、自己位置推定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。なお、プログラムには、汎用の携帯端末を上記実施の形態の携帯端末として動作させるためのアプリケーションプログラムが含まれる。

【0086】

また、上記実施の形態では、撮像情報認識装置１は、単一の装置によって実現されたが、複数の装置として実現されてもよい。また、撮像情報認識装置１が複数の装置によって実現される場合、上記実施の形態で説明された撮像情報認識装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。

【0087】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0088】

１ 撮像情報認識装置
１０ 制御部
１１ 高輝度抽出部
１２ 時系列処理部
１３ 座標変換部
１４ 推定部
１５ 撮像部
１６ 記憶部
２０ 被写体
３０、３０ａ 信号機
４０ 観測体
１００、２３０、２４０ 領域
１１０ａ、１１０ｂ、５００ 点
２００ 第１領域
２１０ 第２領域
３００ 楕円
４００ 道路
５１０ 停止線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】