特許 6802035 画像処理装置、警告装置、画像処理システム、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6802035

(24)【登録日】2020年11月30日

(45)【発行日】2020年12月16日

(54)【発明の名称】画像処理装置、警告装置、画像処理システム、画像処理方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20201207BHJP

   G08G 1/09 20060101ALI20201207BHJP

   G06T 7/00 20170101ALI20201207BHJP

   H04N 7/18 20060101ALI20201207BHJP

【ＦＩ】

   G06T1/00 330A

   G08G1/09 F

   G08G1/09 D

   G06T1/00 510

   G06T7/00 300E

   H04N7/18 J

   H04N7/18 K

【請求項の数】14

【全頁数】31

(21)【出願番号】特願2016-208026(P2016-208026)

(22)【出願日】2016年10月24日

(65)【公開番号】特開2018-72893(P2018-72893A)

(43)【公開日】2018年5月10日

【審査請求日】2019年5月30日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】服部 英春

(72)【発明者】

【氏名】泉 喜文

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１６−０８５６１９（ＪＰ，Ａ）

【文献】 特開２００６−３３８５５５（ＪＰ，Ａ）

【文献】 特開２０１５−０１４９８８（ＪＰ，Ａ）

【文献】 特開２０１０−１９８１９８（ＪＰ，Ａ）

【文献】 Lykele Hazelhoff，Combined generation of road marking and road sign databases applied to consistency checking of pedestrian crossings，14th IAPR International Conference on Machine Vision Applications，米国，IEEE，２０１５年 ５月１８日，p.439-p.442，ＵＲＬ，https://ieeexplore.ieee.org/abstract/document/7153105

【文献】 八文字 聡 Satoshi Yatsumonji，テンプレートマッチングを用いた道路交通標識の認識 Road Sign Recognition System by template matching，電気学会論文誌Ｃ Ｖｏｌ．１２０−Ｃ Ｎｏ．１ The Transactions of The Institute of Electrical Engineers of Japan，日本，社団法人電気学会，２０００年 １月 １日，第120-C巻，p.174−p.175

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／０９

Ｈ０４Ｎ ７／１８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記入力画像に含まれる第２の対象物を検出する物体検出部と、
前記物体検出部により検出された前記第１の対象物と前記第２の対象物との時系列での関連性に基づいて、前記第１の対象物および前記第２の対象物を認識する物体関連解析部と、を備え、
前記第１の対象物は道路の付近に設置された標識であり、
前記第２の対象物は路面に描かれた標示であり、
前記物体関連解析部は、前記標識が示す交通規制または指示の内容と、前記標示が示す交通規制または指示の内容とが、時系列順に取得された所定数以上の前記入力画像において同一であるという条件を満たす場合に、前記標識と前記標示とを互いに関連付けて認識する画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記第１の対象物および前記第２の対象物の位置を取得し、取得した前記第１の対象物および前記第２の対象物の位置の累積結果に基づいて、前記第１の対象物および前記第２の対象物の信頼度を判定する信頼度判定部をさらに備える画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置において、
前記明暗補正部は、前記入力画像の所定範囲に対象領域を設定し、前記入力画像よりも前に撮影された過去画像の前記対象領域に対応する領域内の色の明るさの平均値と、前記入力画像の前記対象領域内の色の明るさの平均値とに基づいて、前記明暗補正画像を作成する画像処理装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の画像処理装置において、
前記色解析部は、前記入力画像の所定範囲に対象領域を設定し、前記入力画像の前記対象領域内の色差分値に基づいて、前記色補正画像を作成する画像処理装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の画像処理装置において、
前記物体検出部は、予め設定された基準画像を用いて、前記第１の対象物と前記第２の対象物とをそれぞれ検出する画像処理装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の画像処理装置において、
前記物体関連解析部は、前記条件を満たす前記標識および前記標示のうち一方の認識率が所定の第１の閾値以上であり、かつ他方の認識率が前記第１の閾値よりも低い所定の第２の閾値未満であり、他方の認識率が前記第２の閾値よりも低い所定の第３の閾値以上である場合に、前記他方の前記標識または前記標示が劣化していると判定する画像処理装置。

【請求項7】

請求項１から請求項６のいずれか一項に記載の画像処理装置において、
前記物体関連解析部は、前記物体検出部が前記第１の対象物または前記第２の対象物として検出した前記標識や前記標示の種別に応じて、前記第１の対象物および前記第２の対象物の認識結果の中から対象とする認識結果を決めて、前記第１の対象物および前記第２の対象物の認識を行う画像処理装置。

【請求項8】

車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記入力画像に含まれる第２の対象物を検出する物体検出部と、
前記物体検出部により検出された前記第１の対象物と前記第２の対象物との時系列での関連性に基づいて、前記第１の対象物および前記第２の対象物を認識する物体関連解析部と、を備え、
前記第１の対象物は道路の付近に設置された標識であり、
前記第２の対象物は路面に描かれた標示であり、
前記物体関連解析部は、前記物体検出部が前記第１の対象物または前記第２の対象物として検出した前記標識や前記標示の種別に応じて、前記第１の対象物および前記第２の対象物の認識結果の中から対象とする認識結果を決めて、前記第１の対象物および前記第２の対象物の認識を行う画像処理装置。

【請求項9】

請求項１から請求項８のいずれか一項に記載の画像処理装置と、
前記画像処理装置による前記第１の対象物および前記第２の対象物の認識結果に基づいて、前記車両の運転者に対する警告を出力する警告出力部と、を備える警告装置。

【請求項10】

車両に搭載された端末装置と、前記端末装置との間で通信を行うサーバ装置と、を有し、
前記端末装置は、
車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記入力画像に含まれる第２の対象物を検出する物体検出部と、
前記物体検出部による前記第１の対象物と前記第２の対象物との検出結果を示す検出後画像を前記サーバ装置に送信する画像送信部と、を備え、
前記サーバ装置は、
前記端末装置から送信された前記検出後画像を受信する画像受信部と、
前記画像受信部により受信された検出後画像の明暗を補正した明暗補正画像を作成する第２の明暗補正部と、
前記画像受信部により受信された検出後画像の色を補正した色補正画像を作成する第２の色解析部と、
前記明暗補正画像に基づいて前記検出後画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記検出後画像に含まれる第２の対象物を検出する第２の物体検出部と、
前記画像受信部により受信された前記検出後画像における前記第１の対象物と前記第２の対象物との時系列での関連性に基づいて、前記第１の対象物および前記第２の対象物を認識する物体関連解析部と、を備える画像処理システム。

【請求項11】

請求項１０に記載の画像処理システムにおいて、
前記サーバ装置は、前記物体関連解析部により認識された前記第１の対象物および前記第２の対象物に関する認識後画像を前記端末装置に送信する第２の画像送信部をさらに備え、
前記端末装置は、
前記サーバ装置から送信された前記認識後画像を受信する第２の画像受信部と、
前記第２の画像受信部により受信された前記認識後画像に基づいて、前記第１の対象物および前記第２の対象物に関する通知を前記車両の運転者に対して行う通知部と、をさらに備える画像処理システム。

【請求項12】

請求項１０に記載の画像処理システムにおいて、
前記サーバ装置は、前記物体関連解析部による前記第１の対象物および前記第２の対象物の認識結果に基づく警告情報を前記端末装置に送信する警告情報送信部をさらに備え、
前記端末装置は、
前記サーバ装置から送信された前記警告情報を受信する警告情報受信部と、
前記警告情報受信部により受信された前記警告情報に基づいて、前記車両の運転者に対する警告を出力する警告出力部と、をさらに備える画像処理システム。

【請求項13】

請求項１０に記載の画像処理システムにおいて、
前記サーバ装置は、前記物体関連解析部による前記第１の対象物および前記第２の対象物の認識結果に基づいて、前記車両を所定の目的地まで誘導するための誘導情報を前記端末装置に送信する誘導情報送信部をさらに備え、
前記端末装置は、
前記サーバ装置から送信された前記誘導情報を受信する誘導情報受信部と、
前記誘導情報受信部により受信された前記誘導情報に基づいて、前記車両を前記目的地まで誘導する車両誘導部と、をさらに備える画像処理システム。

【請求項14】

車両に搭載された車載カメラによって撮影され、コンピュータに入力された入力画像の処理方法であって、前記コンピュータにより、
前記入力画像の明暗を補正した明暗補正画像を作成し、
前記入力画像の色を補正した色補正画像を作成し、
前記明暗補正画像に基づいて、道路の付近に設置されて前記入力画像に含まれる標識を第１の対象物として検出し、
前記色補正画像に基づいて、路面に描かれて前記入力画像に含まれる標示を第２の対象物として検出し、
前記第１の対象物として検出された前記標識が示す交通規制または指示の内容と、前記第２の対象物として検出された前記標示が示す交通規制または指示の内容とが、時系列順に取得された所定数以上の前記入力画像において同一であるという条件を満たす場合に、前記標識と前記標示とを互いに関連付けて認識する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、警告装置、画像処理システムおよび画像処理方法に関する。

【背景技術】

【0002】

近年、スマートホンやドライブレコーダなどの撮像装置によって撮像された映像を用いて、画像内の道路上付属物を検出することが提案されている。たとえば特許文献１には、車両内に設置されたカメラで撮像した画像から、道路上付属物である標識や路面に描かれた標示を認識して、認識結果の情報を運転者に通知する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−１３９３２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラの撮影画像における標識や標示の見え方は、撮影時の状況に応じて様々に変化する。たとえば、車両の走行方向が変わることでカメラの向きが変化し、それに応じてカメラの向きに対する標識や標示と太陽との位置関係が変化すると、撮影画像全体の明るさに対する標識や標示の明るさが撮影画像内で変化する。しかしながら、特許文献１に記載の技術では、この点について特に考慮されていない。そのため、撮影画像から対象物である標識や標示を正しく認識できない場合がある。

【課題を解決するための手段】

【0005】

本発明の一態様による画像処理装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記入力画像に含まれる第２の対象物を検出する物体検出部と、前記物体検出部により検出された前記第１の対象物と前記第２の対象物との時系列での関連性に基づいて、前記第１の対象物および前記第２の対象物を認識する物体関連解析部と、を備え、前記第１の対象物は道路の付近に設置された標識であり、前記第２の対象物は路面に描かれた標示であり、前記物体関連解析部は、前記標識が示す交通規制または指示の内容と、前記標示が示す交通規制または指示の内容とが、時系列順に取得された所定数以上の前記入力画像において同一であるという条件を満たす場合に、前記標識と前記標示とを互いに関連付けて認識する。
本発明の他の態様による画像処理装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記入力画像に含まれる第２の対象物を検出する物体検出部と、前記物体検出部により検出された前記第１の対象物と前記第２の対象物との時系列での関連性に基づいて、前記第１の対象物および前記第２の対象物を認識する物体関連解析部と、を備え、前記第１の対象物は道路の付近に設置された標識であり、前記第２の対象物は路面に描かれた標示であり、前記物体関連解析部は、前記物体検出部が前記第１の対象物または前記第２の対象物として検出した前記標識や前記標示の種別に応じて、前記第１の対象物および前記第２の対象物の認識結果の中から処理対象とする認識結果を決める。
本発明による警告装置は、画像処理装置と、前記画像処理装置による前記第１の対象物および前記第２の対象物の認識結果に基づいて、前記車両の運転者に対する警告を出力する警告出力部と、を備える。
本発明による画像処理システムは、車両に搭載された端末装置と、前記端末装置との間で通信を行うサーバ装置と、を有し、前記端末装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記入力画像に含まれる第２の対象物を検出する物体検出部と、前記物体検出部による前記第１の対象物と前記第２の対象物との検出結果を示す検出後画像を前記サーバ装置に送信する画像送信部と、を備え、前記サーバ装置は、前記端末装置から送信された前記検出後画像を受信する画像受信部と、前記画像受信部により受信された検出後画像の明暗を補正した明暗補正画像を作成する第２の明暗補正部と、前記画像受信部により受信された検出後画像の色を補正した色補正画像を作成する第２の色解析部と、前記明暗補正画像に基づいて前記検出後画像に含まれる第１の対象物を検出し、前記色補正画像に基づいて前記検出後画像に含まれる第２の対象物を検出する第２の物体検出部と、前記画像受信部により受信された前記検出後画像における前記第１の対象物と前記第２の対象物との時系列での関連性に基づいて、前記第１の対象物および前記第２の対象物を認識する物体関連解析部と、を備える。
本発明による画像処理方法は、車両に搭載された車載カメラによって撮影され、コンピュータに入力された入力画像の処理方法であって、前記コンピュータにより、前記入力画像の明暗を補正した明暗補正画像を作成し、前記入力画像の色を補正した色補正画像を作成し、前記明暗補正画像に基づいて、道路の付近に設置されて前記入力画像に含まれる標識を第１の対象物として検出し、前記色補正画像に基づいて、路面に描かれて前記入力画像に含まれる標示を第２の対象物として検出し、前記第１の対象物として検出された前記標識が示す交通規制または指示の内容と、前記第２の対象物として検出された前記標示が示す交通規制または指示の内容とが、時系列順に取得された所定数以上の前記入力画像において同一であるという条件を満たす場合に、前記標識と前記標示とを互いに関連付けて認識する。

【発明の効果】

【0006】

本発明によれば、カメラで撮影された画像から対象物を正しく認識することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る画像処理装置のハードウェア構成例を示す図である。

【図3】色空間変換部の動作の一例を説明するための図である。

【図4】明暗補正部の動作の一例を説明するための図である。

【図5】色解析部の動作の一例を説明するための図である。

【図6】物体検出部の動作の一例を説明するための図である。

【図7】物体検出部の動作の一例を説明するための図である。

【図8】物体関連解析部の動作の一例を説明するための図である。

【図9】物体関連解析部による劣化判定の一例を説明するための図である。

【図10】信頼度判定部の動作の一例を説明するための図である。

【図11】描画部の動作の一例を説明するための図である。

【図12】本発明の第１の実施形態による画像処理装置の動作を説明するためのフローチャートである。

【図13】本発明の第２の実施形態に係る警告装置の構成を示すブロック図である。

【図14】本発明の第３の実施形態に係る画像処理システムの構成を示すブロック図である。

【図15】本発明の第４の実施形態に係る画像処理システムの構成を示すブロック図である。

【図16】本発明の第５の実施形態に係る画像処理システムの構成を示すブロック図である。

【発明を実施するための形態】

【0008】

最初に、本発明の概要について以下に説明する。

【0009】

一般に、道路上の付属物である標識に関する情報や、路面に描かれた標示に関する情報を、地図情報などの付加情報として設けるためには、車両が走行する可能性がある全てのルートについて、事前にどのような標識や標示が存在するかを調査しなければならず、多額の調査費用がかかってしまう。また、新設された道路や工事により変更となった道路上の標識や標示については、その付加情報をタイムリーに地図情報に反映できないという問題もある。そこで、以下に説明する本発明の実施形態では、たとえばスマートホン、ドライブレコーダ、カーナビゲーション装置等の車載端末を使用して、複数かつ不特定多数のユーザが撮影した画像から標識や標示をタイムリーに検出することを可能としている。

【0010】

ところで、カメラの撮影画像から標識や標示を対象物として認識する場合に、車両の走行方向が変わることでカメラの向きが変化し、それに応じてカメラの向きに対する対象物と太陽との位置関係が変化すると、撮影画像全体の明るさに対する対象物の明るさが撮影画像内で変化する。たとえば、対象物と太陽との位置関係が順光である場合と逆光である場合とでは、撮影画像全体の明るさに対する対象物の明るさは大きく異なる。また、対象物に直射日光が当たっている場合とそうでない場合とでも、撮影画像全体の明るさに対する対象物の明るさは大きく異なる。そのため、撮影画像から対象物である標識や標示を正しく認識できない場合がある。このような場合、正しい標識や標示の情報をユーザに通知できない。特に、前述の特許文献１の技術では、標識や標示を正しく検出できず、ユーザに正しい標識や標示の情報を通知できないという課題がある。そこで、以下に説明する本発明の実施形態では、車載端末で撮影した画像内の所望の対象物を検出し、対象物同士の検出結果から対象物の特定を可能とするための技術を提案する。

【0011】

また、本発明の実施形態は、撮影された画像の明るさが変化する場合でも、画像内の背景と背景内の物体を分離して、背景内の物体検出や、対象物同士の検出結果を用いて対象物の特定を実現する画像処理装置およびその方法を提供するものである。

【0012】

以下に、図面を参照して本発明の実施形態について説明する。

【0013】

−第１の実施形態−
＜画像処理装置の機能構成＞
図１は、本発明の第１の実施形態に係る画像処理装置１の機能構成を示すブロック図である。図１に示すように、画像処理装置１は、その機能として、入力部１０と、色空間変換部１１と、明暗補正部１２と、色解析部１３と、物体検出部１４と、物体関連解析部１５と、信頼度判定部１６と、描画部１７と、記録部１８と、画像記憶部９０と、制御部９１とを有している。なお、図１に示す画像処理装置１の各機能は、たとえばスマートホン等の携帯移動端末装置、パーソナルコンピュータ、サーバ装置などの情報機器において、各種のプログラムやハードウェアを組み合わせて実現される。

【0014】

入力部１０は、画像処理装置１において処理対象とする入力画像を外部から取得する。入力部１０には、車両に搭載された不図示の車載カメラによって撮影された画像のデータが所定の時間間隔ごとに入力画像として入力される。なお、車両に設置されたドライブレコーダや、スマートホン等の携帯移動端末装置が有するカメラなどを、車載カメラとして用いてもよい。また、不図示の情報通信ネットワークや記録媒体を介して取得した車載カメラの撮影画像を入力画像として用いてもよい。入力画像は静止画像であってもよいし、動画像中の任意のフレームを抜き出して入力画像としてもよい。静止画像のデータ形式としては、たとえばＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧ、ＢＭＰ等が用いられる。一方、動画像のデータ形式としては、たとえばＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ等が用いられる。

【0015】

色空間変換部１１は、入力画像の色空間を変換することで、入力画像における色の明るさ情報を取得する。

【0016】

明暗補正部１２は、画像記憶部９０に記憶されている過去の入力画像の色の明るさ情報と、色空間変換部１１で求められた現在の入力画像の色の明るさ情報とを用いて、現在の入力画像の色の明るさ変化量を求め、その明るさ変化量に基づいて、入力画像の明暗を補正した画像を作成する。以下では、この明暗補正部１２により作成された画像を明暗補正画像と称する。

【0017】

色解析部１３は、原色の差分値と色解析用の閾値とを用いて、入力画像の各画素における色の関係を解析することで、入力画像の色を補正した画像を作成する。以下では、この色解析部１３により作成された画像を色補正画像と称する。

【0018】

物体検出部１４は、明暗補正部１２により作成された明暗補正画像と、色解析部１３により作成された色補正画像とを用いて、入力画像に含まれる標識および標示を検出対象物体として検出し、その内容を認識する。なお、物体検出部１４が検出する標識とは、道路上や道路付近に設置された道路標識であり、標示とは、路面に描かれた道路標示である。具体的には、物体検出部１４は、明暗補正画像から標識を分離するための閾値を求め、その閾値を用いて明暗補正画像内の背景と標識とを分離する。また、色補正画像から標示に相当する部分を検出することで、色補正画像内の背景と標示とを分離する。こうして明暗補正画像と色補正画像から標識と標示とをそれぞれ抽出し、予め設定された基準画像と比較することで、標識および標示を検出すると共に、これらが示す交通規制や指示の内容を認識する。

【0019】

物体関連解析部１５は、物体検出部１４により検出された標識および標示の認識結果に基づいて、これらの物体同士の関連性を解析する。その結果、関連性が高いと判断した標識と標示とを組み合わせることで、これらが示す交通規制や指示の内容を認識する。

【0020】

信頼度判定部１６は、物体検出部１４により検出された標識と標示の位置を取得して累積し、その累積結果に基づいてこれらの信頼度を判定する。

【0021】

描画部１７は、物体検出部１４により検出された標識および標示に対して、これらの物体を囲むような検出枠を入力画像上に描画する。描画部１７により検出枠が描画された画像は、物体検出部１４による標識と標示との検出結果を示す画像であるため、以下ではこの画像を検出後画像と称する。

【0022】

記録部１８は、描画部１７により作成された検出後画像を画像記憶部９０に記憶させて保存する。なお、検出後画像は、画像処理装置１から外部にも出力される。

【0023】

制御部９１は、上述した画像処理装置１の各構成要素に接続されており、これらの動作を制御する。なお、制御部９１の制御によらず、各構成要素が必要に応じて自律的に動作してもよい。

【0024】

＜画像処理装置のハードウェア構成＞
図２は、本発明の第１の実施形態に係る画像処理装置１のハードウェア構成例を示す図である。図２に示すように、画像処理装置１は、ＣＰＵ２０１と、メモリ２０２と、記憶装置２０３と、出力装置２０４と、入力装置２０５と、通信デバイス２０６とを有しており、これらがバス２０７によって相互に接続されている。

【0025】

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、そのプログラムに応じた処理を実行するプロセッサである。ＣＰＵ２０１が実行する処理により、図１で説明した入力部１０、色空間変換部１１、明暗補正部１２、色解析部１３、物体検出部１４、物体関連解析部１５、信頼度判定部１６、描画部１７、記録部１８および制御部９１の各機能構成が実現される。

【0026】

メモリ２０２は、ＣＰＵ２０１において読み込まれる各種プログラムを格納すると共に、ＣＰＵ２０１が実行中の処理において利用される様々なデータを必要に応じて一時的に格納する。

【0027】

記憶装置２０３は、画像処理装置１において利用される各種データを格納する装置であり、図１で説明した画像記憶部９０に相当する。記憶装置２０３には、たとえば、前述の入力画像、明暗補正画像、色補正画像、基準画像、検出後画像などが格納される。また、過去の入力画像も記憶装置２０３に格納されている。

【0028】

出力装置２０４は、検出後画像を出力するための装置であり、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。たとえば、ディスプレイを出力装置２０４として用いた場合、描画部１７によって生成された検出後画像がディスプレイの画面上に表示される。

【0029】

入力装置２０５は、ユーザによる指示等を入力するための装置であり、キーボード、マウス、マイク等のデバイスで構成される。たとえば、入力装置２０５を介したユーザの指示に応じて、画像処理装置１において処理対象とする入力画像が決定される。

【0030】

通信デバイス２０６は、他の装置と通信を行うための装置である。たとえば、通信デバイス２０６を用いて、車載カメラから送信された入力画像を受信したり、ネットワークを介して接続されたサーバ装置との間で各種データの送受信を行ったりすることができる。なお、画像処理装置１内に通信デバイス２０６を設けず、外部に設けられた通信デバイス２０６を画像処理装置１と接続して用いてもよい。

【0031】

＜各部の構成と動作＞
次に、上記の色空間変換部１１、明暗補正部１２、色解析部１３、物体検出部１４、物体関連解析部１５、信頼度判定部１６、描画部１７、記録部１８の各機能構成の動作について、以下に詳細に説明する。

【0032】

（i）色空間変換部１１
色空間変換部１１は、入力画像における色の明るさ情報として、たとえば、入力画像のＲＧＢ色空間をＬａｂ色空間に変換した画像を生成する。Ｌａｂ色空間変換により、入力画像に対するＬ値、ａ値、およびｂ値が取得される。なお、Ｌ値は明度に相当する情報であり、ａ値およびｂ値は色の明るさを表す情報である。

【0033】

図３は、色空間変換部１１の動作の一例を説明するための図である。図３において、左側の画像ＮはＲＧＢ色空間で表現された入力画像の例を示し、右側の画像ＮＡはＬａｂ色空間で表現された色空間変換後の入力画像の例を示す。これらの画像には、標識３１、標示３２および道路３３が含まれている。色空間変換部１１で求められた色空間変換後の画像ＮＡは、画像記憶部９０に記憶される。

【0034】

（ii）明暗補正部１２
明暗補正部１２は、色空間変換部１１で求められた色空間変換後の入力画像の色の明るさ情報、すなわちａ値またはｂ値のいずれか少なくとも一方を用いて、以下のようにして明暗補正画像を作成する。

【0035】

図４は、明暗補正部１２の動作の一例を説明するための図である。図４において、左側の画像（Ｎ−１）Ａは過去に取得された入力画像（Ｎ−１）の色空間を変換した画像例を示し、右側上の画像ＮＡは図３と同様に、現在の入力画像Ｎの色空間を変換した画像例を示す。また、右側下の画像ＮＢは明暗補正後の画像例を示す。

【0036】

明暗補正部１２は、画像ＮＡの所定範囲に対して明暗補正の対象領域Ｒ２を設定し、画像ＮＡの領域Ｒ２内の色情報（ａ値またはｂ値）の平均値ａｖｅＲ２を算出する。この平均値ａｖｅＲ２は、入力画像Ｎの領域Ｒ２内の色の明るさの平均値に相当する。なお、領域Ｒ２の位置および形状は、車載カメラの搭載位置、撮影方向、画角等に基づいて、画像ＮＡにおいて標識が存在すべき範囲として予め設定しておくことができる。

【0037】

また、明暗補正部１２は、画像（Ｎ−１）Ａに対して、上記の領域Ｒ２に対応する明暗補正の対象領域Ｒ１を設定し、画像（Ｎ−１）Ａの領域Ｒ１内の色情報（ａ値またはｂ値）の平均値ａｖｅＲ１を算出する。この平均値ａｖｅＲ１は、過去の入力画像（Ｎ−１）の領域Ｒ２内の色の明るさの平均値に相当する。なお、領域Ｒ１の位置および形状は、領域Ｒ２と同じであってもよいし、過去の入力画像（Ｎ−１）を取得してから現在の入力画像Ｎを取得するまでの車両の移動距離を考慮して定めてもよい。

【0038】

上記の平均値ａｖｅＲ２、ａｖｅＲ１を算出したら、次に明暗補正部１２は、下記の式（１）を用いて、明暗補正画像を作成するための倍率値ｖを算出する。
V=E2/E1 ・・・（１）

【0039】

式（２）において、Ｅ１、Ｅ２は、平均値ａｖｅＲ２、ａｖｅＲ１のどちらかをそれぞれ表す。具体的には、ａｖｅＲ１≧ａｖｅＲ２である場合には、Ｅ１＝ａｖｅＲ２、Ｅ２＝ａｖｅＲ１とする。一方、ａｖｅＲ１＜ａｖｅＲ２である場合には、Ｅ１＝ａｖｅＲ１、Ｅ２＝ａｖｅＲ２とする。あるいは、倍率値ｖを固定値としてもよい。

【0040】

倍率値ｖを算出したら、次に明暗補正部１２は、下記の式（２）を用いて、画像ＮＡの領域Ｒ２内の各画素に対する明暗補正後の色の明るさ値ｃｎＣｏｒを求める。ただし式（２）において、ｃｎは画像ＮＡの領域Ｒ２内の各画素のａ値またはｂ値を示す。
cnCor=cn-(aveR2-cn)*v ・・・（２）

【0041】

上記の式（２）により、画像ＮＡの領域Ｒ２内の各画素について補正後の色の明るさ値ｃｎＣｏｒを算出することで、平均よりも暗い画素についてはより暗く、平均よりも明るい画素についてはより明るくなるように、画像ＮＡの明暗を補正することができる。このような補正をすることにより、画像ＮＡのままでは検出対象とする標識３１が背景に埋もれていて見えづらい場合であっても、その後の処理において容易に検出できるようになる。

【0042】

明暗補正部１２は、以上説明したような処理により、画像ＮＡの領域Ｒ２について画素毎にｃｎＣｏｒ値を求めることで、画像ＮＡの明暗を補正し、明暗補正画像ＮＢを作成する。

【0043】

（iii）色解析部１３
色解析部１３は、入力画像の色差分値を以下のようにして算出し、この色差分値を用いて色補正画像を作成する。

【0044】

図５は、色解析部１３の動作の一例を説明するための図である。図５において、左側の画像Ｎは図３と同様に、ＲＧＢ色空間で表現された入力画像の例を示し、右側の画像ＭＢは色補正後の画像例を示す。

【0045】

色解析部１３は、入力画像Ｎの所定範囲に対して色補正の対象領域Ｒ３を設定し、この領域Ｒ３内の各画素について色差分値を算出する。領域Ｒ３の位置および形状は、車載カメラの搭載位置、撮影方向、画角等に基づいて、画像Ｎにおいて標示が存在すべき範囲として予め設定しておくことができる。具体的には、各画素の原色毎の色情報値Ｒ、Ｇ、Ｂから、下記の式（３）を用いて、各画素の原色毎の色差分の絶対値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂを求める。ただし式（３）において、ａｂｓは絶対値を示す。
s_R=abs(R-G)，s_G=abs(G-B)，s_B=abs(B-R) ・・・（３）

【0046】

上記の式（３）により求められた色差分の絶対値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂが全て所定の閾値Ｔｈ_ｓ以下の場合、色解析部１３は、当該画素に対して元の色情報値Ｒ、Ｇ、Ｂをそのまま設定する。一方、求められた色差分の絶対値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂのどれか一つでも閾値Ｔｈ_ｓを超える場合、色解析部１３は、当該画素の色情報値を全て０に設定し、Ｒ＝Ｇ＝Ｂ＝０とする。なお、閾値Ｔｈ_ｓの値は、たとえばＴｈ_ｓ＝３０である。

【0047】

色解析部１３は、以上説明したような処理により、入力画像Ｎの領域Ｒ３について画素毎に色情報値を再設定することで、入力画像Ｎの色を補正し、入力画像Ｎの領域Ｒ３内の色をマスクした色補正画像ＭＢを作成する。

【0048】

（iv）物体検出部１４
物体検出部１４は、明暗補正部１２により作成された明暗補正画像に基づいて、入力画像に含まれる標識を検出するための画像を以下のようにして作成する。

【0049】

図６は、物体検出部１４の動作の一例を説明するための図である。図６において、左側の画像ＮＢは図４と同様に、明暗補正後の画像例を示し、右側の画像ＮＤは標識と背景を分離した画像例を示す。

【0050】

物体検出部１４は、下記の式（４）を用いて、明暗補正部１２で算出された前述の画像（Ｎ−１）、Ｎにおける色の明るさの平均値ａｖｅＲ１、ａｖｅＲ２を重み付けした加重平均値ａｖｅＲＮを算出する。ただし式（４）において、Ｃ２／Ｃ１は、過去の入力画像（Ｎ−１）に対する重み付け係数を表し、Ｃ３／Ｃ１は、現在の入力画像Ｎに対する重み付け係数を表している。また、Ｃ１＝Ｃ２＋Ｃ３である。
aveRN=aveR1*C2/C1+aveR2*C3/C1 ・・・（４）

【0051】

上記の式（４）において、加重平均値ａｖｅＲＮを過去の入力画像（Ｎ−１）の色の明るさに近づけたい場合には、Ｃ３よりＣ２を大きくして過去の入力画像（Ｎ−１）の重みを大きくすればよい。反対に、加重平均値ａｖｅＲＮを現在の入力画像Ｎの色の明るさに近づけたい場合には、Ｃ２よりＣ３を大きくして現在の入力画像Ｎの重みを大きくすればよい。ただし、Ｃ３を大きくして現在の入力画像Ｎを重視し過ぎると、その後の処理において標識を正確に検出できない場合もあるため、重みＣ２をあまり小さくし過ぎないことで、ある程度は過去の入力画像（Ｎ−１）も考慮する必要がある。たとえば、過去の入力画像（Ｎ−１）の重みを大きくする場合には、Ｃ２＝０．９、Ｃ３＝０．１と設定する。また、現在の入力画像Ｎの重みを大きくする場合には、Ｃ２＝Ｃ３＝０．５と設定することが考えられる。

【0052】

上記のようにして加重平均値ａｖｅＲＮを算出したら、次に物体検出部１４は、下記の式（５）を用いて、明暗補正画像ＮＢから検出対象とする標識と背景を分離するための閾値Ｔｈを画像毎に求める。
Th=aveRN+α ・・・（５）

【0053】

上記の式（５）におけるαは、加重平均値ａｖｅＲＮから閾値Ｔｈを設定するための補正値である。この補正値αの値を適切に設定することで、明暗補正画像ＮＢから所望の明るさ以上の画素または所望の明るさ以下の画素だけを抽出することができる。すなわち、式（５）のαは、明暗補正画像ＮＢから検出対象物体である標識を切り出しやすくするためのパラメータである。

【0054】

前述の式（２）において、画像ＮＡの領域Ｒ２内の各画素のａ値をｃｎとした場合、明暗補正画像ＮＢの各画素の色の明るさ値ｃｎＣｏｒは、画像ＮＡの各画素のａ値に応じて設定される。この場合、物体検出部１４は、式（５）においてαをプラス値として画像毎に閾値Ｔｈを求め、この閾値Ｔｈを用いて、明暗補正画像ＮＢの領域Ｒ２から背景と標識３１を分離した画像ＮＤを作成する。具体的には、明暗補正画像ＮＢの領域Ｒ２内の各画素について、ｃｎＣｏｒ≧Ｔｈの場合は、分離後の色の明るさをｓ値（たとえばｓ＝２５５）に設定し、ｃｎＣｏｒ＜Ｔｈの場合は、分離後の色の明るさをｔ値（たとえばｔ＝０）に設定する。これにより、領域Ｒ２内で色の明るさが所定値以上である物体を標識３１として効率よく分離可能となる。

【0055】

一方、前述の式（２）において、画像ＮＡの領域Ｒ２内の各画素のｂ値をｃｎとした場合、明暗補正画像ＮＢの各画素の色の明るさ値ｃｎＣｏｒは、画像ＮＡの各画素のｂ値に応じて設定される。この場合、物体検出部１４は、式（５）においてαをマイナス値として画像毎に閾値Ｔｈを求め、この閾値Ｔｈを用いて、明暗補正画像ＮＢの領域Ｒ２から背景と標識３１を分離した画像ＮＤを作成する。具体的には、明暗補正画像ＮＢの領域Ｒ２内の各画素について、ｃｎＣｏｒ≦Ｔｈの場合は、分離後の色の明るさをｓ値（たとえばｓ＝２５５）に設定し、ｃｎＣｏｒ＞Ｔｈの場合は、分離後の色の明るさをｔ値（たとえばｔ＝０）に設定する。これにより、領域Ｒ２内で色の明るさが所定値以下である物体を標識３１として効率よく分離可能となる。

【0056】

物体検出部１４は、以上説明したような処理により、明暗補正画像ＮＢの領域Ｒ２について画素毎にｃｎＣｏｒ値と閾値Ｔｈとを比較し、その比較結果に基づいて分離後の色の明るさを設定することで、明暗補正画像ＮＢから検出対象物体である標識３１と背景を分離した分離画像ＮＤを作成する。この分離画像ＮＤは、標識３１の候補を多く含むものとなる。

【0057】

また、物体検出部１４は、色解析部１３により作成された色補正画像に基づいて、入力画像に含まれる標示を検出するための画像を以下のようにして作成する。

【0058】

図７は、物体検出部１４の動作の一例を説明するための図である。図７において、左側の画像ＭＢは図５と同様に、色補正後の画像例を示し、右側の画像ＭＣは標示と背景を分離した画像例を示す。

【0059】

物体検出部１４は、色補正画像ＭＢの領域Ｒ３内において標示の形状に対応する矩形部分を抽出することで、色補正画像ＭＢから検出対象物体である標示３２と背景を分離した画像ＭＣを作成する。この分離画像ＭＣは、標示３２の候補を多く含むものとなる。

【0060】

上記のようにして、標識３１に対応する分離画像ＮＤおよび標示３２に対応する分離画像ＭＣを作成したら、次に物体検出部１４は、これらの画像で背景から分離された検出対象物体が標識３１と標示３２のいずれに該当するかを識別するための処理を実行する。この処理において、たとえば物体検出部１４は、識別すべき標識や標示に対応して予め設定された基準画像を画像記憶部９０から読み込み、この基準画像と分離画像ＮＤおよびＭＣとをそれぞれ比較することで、検出対象物体が標識３１または標示３２であるか否かを判定する。具体的には、たとえば、基準画像と分離画像ＮＤ（またはＭＣ）のＲＧＢ値をそれぞれ用いて、基準画像のヒストグラムＡと、分離画像ＮＤ（またはＭＣ）のヒストグラムＢを作成し、これらのヒストグラムの形状またはBhattacharyya距離に基づいて、ヒストグラムＡ、Ｂの類似度を算出する。この類似度を用いて、分離画像ＮＤ（またはＭＣ）に標識３１（または標示３２）が含まれているか否かを判定する。

【0061】

ヒストグラムＡ、Ｂの類似度は、たとえば下記の式（６）を用いて算出することができる。式（６）において、Ｂ３２（ｃ）はヒストグラムＡ、Ｂ間のBhattacharyya距離を表している。このＢ３２（ｃ）のｒ成分に関するＢ３２（ｒ）、ｇ成分に関するＢ３２（ｇ）、ｂ成分に関するＢ３２（ｂ）を用いて、類似度Ｒを算出することができる。ここでｃは、ｒ、ｇ、ｂのどれかを表す。また、ＨＡ（Ｉ）、ＨＢ（Ｉ）はヒストグラムＡ、Ｂの階調値Iの度数をそれぞれ表し、ＨＳＵＭはヒストグラムのビンの総数を表す。

【0062】

【数1】

【0063】

物体検出部１４は、以上説明したような処理により、ヒストグラム間の類似度を算出し、基準画像と検出対象物体である標識３１および標示３２との類似度合いを判定する。これにより、予め設定された基準画像を用いて、分離画像ＮＤおよびＭＣから標識３１と標示３２とをそれぞれ検出することが可能となる。さらに、ヒストグラム間の類似度判定に対して、周知のニューラルネットワークを用いた機械学習により画像の特徴量から識別器を作成し、その識別器を用いて、検出した物体を識別する判定を加えてもよい。つまり、類似度が高いと判定された基準画像が複数検出された場合、ニューラルネットワークを用いた識別器により、検出物体としてどの画像が正しいか（確からしいか）を識別する。

【0064】

（v）物体関連解析部１５
物体関連解析部１５は、物体検出部１４により検出されて識別された標識と標示との関連性を解析する。以下では、物体検出部１４にて分離画像ＮＤ内の物体が検出されて標識と識別され、また、物体検出部１４にて分離画像ＭＣ内の物体が検出されて標示と識別された場合を例として、物体関連解析部１５の処理を説明する。

【0065】

図８は、物体関連解析部１５の動作の一例を説明するための図である。図８（ａ）は、画像処理装置１を搭載した車両が走行する道路の例を示している。この道路には、道路沿いに標識４１、４２が設置されており、路面に標示５１、５２が描かれている。図８（ｂ）、図８（ｃ）、図８（ｄ）および図８（ｅ）は、車両が図８（ａ）の道路を図の左側から右側に向かって走行したときに、車両の前方に搭載された車載カメラによって時系列順に撮影されて画像処理装置１に入力される画像の例を示している。

【0066】

最初に入力される図８（ｂ）の入力画像Ｌ−１には、標識４１および標示５１が映り込んでいる。物体検出部１４は、この入力画像Ｌ−１に基づいて作成された明暗補正画像ＮＢと色補正画像ＭＢから、前述のように分離画像ＮＤ、ＭＣをそれぞれ作成して基準画像と比較することで、入力画像Ｌ−１から検出対象物体である標識や標示の検出および認識を行う。その結果、入力画像Ｌ−１から標識４１を検出し、標識４１が示す交通規制の内容、すなわち制限速度の数値（単位：ｋｍ／時）が「６０」または「５０」のいずれかであると認識して、それぞれの認識率が０．６と０．５であったとする。この標識４１の検出を起点として、物体関連解析部１５は一定の期間、たとえば次の標識４２が検出されるまでの間、標識４１と標示５１との関連性を解析する。なお、認識率とは認識結果の確からしさを表す値である。たとえば、上記の認識結果「６０」に対する認識率の値０．６は、標識４１が示す制限速度の数値が「６０」であることの確からしさが０．６（６０％）であることを表している。

【0067】

次に入力される図８（ｃ）の入力画像Ｌには、標識４１および標示５１が入力画像Ｌ−１よりも大きく映り込んでいる。物体検出部１４は、この入力画像Ｌから、入力画像Ｌ−１に対して行ったのと同様の手法により、検出対象物体である標識や標示の検出および認識を行う。その結果、入力画像Ｌから標識４１を検出し、標識４１が示す制限速度の数値が「６０」または「５０」のいずれかであると認識して、それぞれの認識率が０．５と０．７であったとする。また、入力画像Ｌから標示５１を検出し、標示５１が示す交通規制の内容、すなわち制限速度の数値が「６０」または「５０」のいずれかであると認識して、それぞれの認識率が０．４と０．６であったとする。

【0068】

続いて入力される図８（ｄ）の入力画像Ｌ＋１には、標識４１および標示５１が映り込んでいない。そのため、物体検出部１４は、この入力画像Ｌ＋１からはいずれの標識や標示も検出できない。

【0069】

さらに続いて入力される図８（ｅ）の入力画像Ｌ＋２には、次の標識４２および標示５２が映り込んでいる。物体検出部１４は、この入力画像Ｌ＋２からも同様に、検出対象物体である標識や標示の検出および認識を行う。その結果、入力画像Ｌ＋２から標識４２を検出し、標識４２が示す制限速度の数値が「６０」または「５０」のいずれかであると認識して、それぞれの認識率が０．６と０．５であったとする。

【0070】

物体関連解析部１５は、以上説明したような入力画像Ｌ−１から入力画像Ｌ＋２までの物体検出部１４による標識４１、４２および標示５１の検出結果に基づいて、これらの検出対象物体に対する認識結果を特定する。たとえば、検出対象物体の認識結果ごとに認識率の平均値を算出し、その算出結果に基づいて認識結果を特定する。具体的には、上記の例の場合は、認識結果「６０」に対する認識率の平均値は０．５２５、認識結果「５０」に対する認識率の平均値は０．５７５とそれぞれ求められる。したがって、物体関連解析部１５は、より平均値が高い認識結果である「５０」を標識４１、４２および標示５１に対する認識結果として決定する。

【0071】

なお、上記の例では、入力画像Ｌ−１、Ｌ、Ｌ＋１からそれぞれ検出された標識４１、４２が表す交通規制の内容すなわち制限速度と、入力画像Ｌから検出された標示５１が表す交通規制の内容すなわち制限速度とが、これらの入力画像において同一であるとした。このように、物体検出部１４により検出された標識と標示がそれぞれ示す交通規制の内容が、時系列順に取得された所定数以上の入力画像において同一であるという条件を満たす場合には、物体関連解析部１５は、これらの標識と標示とを互いに関連付けて認識することができる。その結果、上記のような方法を用いて、検出対象物体である標識および標示の認識結果を決定することができる。さらに、検出対象物体である標識と標示がそれぞれ示す指示の内容が同一である場合、たとえば標識と標示が共に横断歩道の存在を示すような場合にも、物体関連解析部１５は上記の例と同様に、これらを互いに関連付けて認識することができる。

【0072】

一方、物体検出部１４により検出された標識と標示がそれぞれ示す交通規制や指示の内容が異なる場合、たとえば上記の例において標識４１が制限時速５０ｋｍを表しており、標識４２が駐停車禁止を表しているような場合には、物体関連解析部１５は、これらの検出対象物体の関連付けを行わない。その場合、それぞれの検出対象物体に対する物体検出部１４の認識結果を用いて、以降の処理を実施すればよい。

【0073】

物体関連解析部１５は、以上説明したような処理により、物体検出部１４により検出された標識４１、４２と標示５１との時系列での関連性に基づいて、これらの検知対象物を認識する。

【0074】

なお、上記の例では、物体関連解析部１５が標識４１の検出を起点として一定の期間、標識と標示の関連性を解析することとしたが、同様に、標示５１の検出を起点としてもよい。また、標識４１が複数の連続する入力画像のフレームで検出された場合は、その最終フレームまでの間、または次の標識４２を検出するまでの間、物体関連解析部１５が標識と標示の関連性を解析することとしてもよい。

【0075】

さらに物体関連解析部１５は、上記の処理によって関連付けした標識および標示のうち一方の認識率が高く、他方の認識率が低い場合には、以下で説明するように、後者の標識または標示が劣化していると判定してもよい。

【0076】

図９は、物体関連解析部１５による劣化判定の一例を説明するための図である。図９（ａ）に示す入力画像において、物体検出部１４により標識６１が検出されて標識６１の内容、すなわち制限速度の数値が「５０」と認識され、その認識率が所定の閾値、たとえば０．８以上であったとする。このような場合、物体検出部１４は、２種類の認識率の閾値、たとえば０．５と０．３を用いて、図９（ａ）の入力画像から標示６２を検出することができる。その結果、２種類の閾値のうち高い方、すなわち０．５では標示６２を検出できず、低い方の０．３で標示６２を検出できたとする。このような場合、物体関連解析部１５は、標示６２が示す制限速度の数値を標識６１と同じ「５０」として認識すると共に、標示６２にかすれ等の劣化があると判定する。

【0077】

また、図９（ｂ）に示す入力画像において、物体検出部１４により標示６２が検出されて標示６２の内容、すなわち制限速度の数値が「５０」と認識され、その認識率が所定の閾値、たとえば０．８以上であったとする。このような場合、物体検出部１４は上記の例と同様に、２種類の認識率の閾値、たとえば０．５と０．３を用いて、図９（ｂ）の入力画像から標識６１を検出することができる。その結果、２種類の閾値のうち高い方、すなわち０．５では標識６１を検出できず、低い方の０．３で標識６１を検出できたとする。このような場合、物体関連解析部１５は、標識６１が示す制限速度の数値を標示６２と同じ「５０」として認識すると共に、標識６１にかすれ等の劣化があると判定する。

【0078】

以上説明したような処理により標識または標示の一方が劣化していると判定したら、物体関連解析部１５は、その判定結果に応じた判定フラグｆを設定して出力する。たとえば、標示が劣化していると判定した場合は判定フラグｆに１を設定し、標識が劣化していると判定した場合は判定フラグｆに２を設定する。なお、標識および標示のいずれも劣化していないと判定した場合は、判定フラグｆに０を設定する。

【0079】

ここで、物体関連解析部１５は、車両の周囲環境などに応じて標識と標示のどちらかの検出結果を優先し、検出対象物体である標識および標示の認識結果を決定してもよい。たとえば、夜間では車両のライトが路面を照らすことで、標識よりも標示を検出しやすいと考えられるため、標示の検出結果を優先する。この場合、物体検出部１４による検出結果として得られた標示の認識率に対して所定のオフセット値、たとえば０．２を加えるか、もしくは、物体検出部１４が標示を検出するための認識率に対する閾値を下げるように、たとえば０．５から０．３に変更することで、標示の検出結果を優先することができる。また、たとえば車両が雪道を走行している場合は、標示を検出することが難しいと考えられるため、標識の検出結果を優先する。この場合、車両が雪道を走行しているかの判断は、入力画像において道路に対応する部分の領域の輝度値から行うことができる。たとえば、当該領域の平均輝度が１８０以上であれば、車両が雪道を走行していると判断して標識の検出結果を優先する。

【0080】

また、標識と標示には、それぞれが示す交通規制や指示の内容に応じて、その両方が定められている場合と、一方のみが定められている場合とがある。標識と標示の双方が定められている交通規制や指示には、たとえば最高速度や回転禁止等が該当し、標識のみが定められている交通規制や指示には、進入禁止等が該当し、標示のみが定められている交通規制や指示には、停止禁止部分等が該当する。したがって、物体関連解析部１５は、こうした標識や標示の種別に応じて、一定区間における検出対象物体の認識結果をどちらの認識結果に基づいて決定するかを選択してもよい。

【0081】

たとえば前述の図８で説明した例のように、最初に検出した標識または標示が示す交通規制や指示について、標識と標示の双方が定められている場合を考える。このような場合、物体関連解析部１５は、一定区間における標識と標示の両方の認識結果を用いて、これらの検出対象物体の認識結果を決定する。一方、最初に検出した標識が表す交通規制や指示について標識のみが定められている場合には、物体関連解析部１５は、一定区間におけるその標識の認識結果のみを用いて、検出対象物体である標識の認識結果を決定する。また、最初に検出した標示が表す交通規制や指示について標示のみが定められている場合には、物体関連解析部１５は、一定区間におけるその標示の認識結果のみを用いて、検出対象物体である標示の認識結果を決定する。このように、物体関連解析部１５は、検出した標識や標示の種別に応じて、処理対象とする認識結果を切り換えることができる。

【0082】

（vi）信頼度判定部１６
信頼度判定部１６は、物体検出部１４により検出された標識および標示について、これらの物体の検出結果に対する信頼度を判定する。図１０は、信頼度判定部１６の動作の一例を説明するための図である。

【0083】

信頼度判定部１６は、検出された各物体の撮影時における車両の位置情報や、車載カメラの搭載位置、撮影方向、画角等に基づいて、各物体の位置（緯度、経度）を取得する。そして、図１０に示すように、取得した位置の検出頻度を物体毎に累積して、記憶装置２０３に格納する。このとき、他のユーザが所有する画像処理装置１の検出結果を取得して累積結果に加えてもよい。その結果、各物体すなわち各標識および各標示に対して、複数回の検出結果が蓄積される。

【0084】

上記のようにして標識および標示ごとに取得した位置の累積結果が求められたら、信頼度判定部１６は、累積した検出頻度を予め設定された閾値Ｔｈ_ｈと比較する。その結果、検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した標識や標示の位置（緯度、経度）に対する信頼度Ｃが高いと判定する。このようにして、検出した標識や標示に対する位置の信頼度を判定することで、様々な車両の車載カメラで撮影された画像を用いた場合でも、標識や標示の位置を正確に求めることができる。すなわち、車載カメラを搭載した移動体ごとに移動速度や撮影位置が異なり、そのために検出された標識や標示の位置が微妙に異なる場合でも、正しい位置を認識することができる。

【0085】

（vii）描画部１７
描画部１７は、信頼度判定部１６による信頼度の判定結果に基づいて、物体検出部１４による標識および標示の検出結果を入力画像上に描画する。図１１は、描画部１７の動作の一例を説明するための図である。図１１において、左側の画像Ｎは図３と同様に、ＲＧＢ色空間で表現された入力画像の例を示し、右側の画像ＮＥは標識および標示の検出結果が描画された画像例を示す。

【0086】

信頼度判定部１６において信頼度Ｃが高いと判定された場合、図１１に示されるように、物体検出部１４で検出された標識３１と標示３２をそれぞれ囲むように検出枠３４、３５を入力画像Ｎ上で描画することにより、これらの物体の検出結果を示す画像ＮＥを作成する。一方、前述の検出頻度が閾値Ｔｈ_ｈに達しておらず、信頼度判定部１６において信頼度Ｃが低いと判定された場合、描画部１７は、検出枠３４、３５を入力画像Ｎ上に描画せず、画像ＮＥを作成しない。

【0087】

（viii）記録部１８
記録部１８は、描画部１７において入力画像Ｎ上に検出枠３４、３５を描画することで作成された画像ＮＥを、画像記憶部９０に保存する。

【0088】

＜画像処理装置の処理手順＞
図１２は、本発明の第１の実施形態による画像処理装置１の動作を説明するためのフローチャートである。

【0089】

（i）ステップＳ１００１
入力部１０は、車載カメラから入力された画像を受け付け、当該入力画像Ｎを色空間変換部１１に出力する。

【0090】

（ii）ステップＳ１００２
色空間変換部１１は、入力部１０から出力された入力画像ＮをＬａｂ色空間画像に変換した画像ＮＡを求める。

【0091】

（iii）ステップＳ１００３
明暗補正部１２は、色空間変換部１１で求めた画像ＮＡから、領域Ｒ２内の色の明るさの平均値ａｖｅＲ２を算出する。また、明暗補正部１２は、画像記憶部９０から時間的に１つ前の色空間変換後の画像（Ｎ−１）Ａを読み込み、領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を算出する。そして、明暗補正部１２は、上述の式（１）、（２）を用いて、明暗を補正した画像ＮＢを生成する。

【0092】

（iv）ステップＳ１００４
色解析部１３は、上述の式（３）を用いて、各画素の原色毎の色差分の絶対値ｓ＿Ｒ、ｓ＿Ｇ、ｓ＿Ｂを求め、これらの値を閾値Ｔｈ＿ｓと比較することで、色をマスクした色補正後の画像ＭＢを作成する。

【0093】

（v）ステップＳ１００５
物体検出部１４は、上述の式（４）、（５）を用いて、画像毎に閾値Ｔｈを求める。

【0094】

（vi）ステップＳ１００６
物体検出部１４は、明暗を補正した画像ＮＢの各画素値ｃｎＣｏｒについて、閾値Ｔｈと比較する。その結果、ｃｎＣｏｒがａ値に相当する場合には、ｃｎＣｏｒ≧閾値Ｔｈであれば処理をステップＳ１００７に移行し、ｃｎＣｏｒ＜閾値Ｔｈであれば処理をステップＳ１００８に移行する。なお、ｃｎＣｏｒがｂ値に相当する場合には、ステップＳ１００６の判定における不等号の向きが図１２とは反対になる。すなわち、ｃｎＣｏｒ≦閾値Ｔｈであれば処理をステップＳ１００７に移行し、ｃｎＣｏｒ＞閾値Ｔｈであれば処理をステップＳ１００８に移行する。

【0095】

（vii）ステップＳ１００７
画像ＮＢの各画素値ｃｎＣｏｒがａ値、ｂ値のいずれに相当する場合でも、物体検出部１４は、補正値にｓ値（例えば、２５５）を設定する。

【0096】

（viii）ステップＳ１００８
画像ＮＢの各画素値ｃｎＣｏｒがａ値、ｂ値のいずれに相当する場合でも、物体検出部１４は、補正値にｔ値（例えば、０）を設定する。

【0097】

（ix）ステップＳ１００９
物体検出部１４は、対象画像内の全ての画素について補正値が求まるまで、上記ステップＳ１００６からＳ１００８の処理を繰り返す。ステップＳ１００６からＳ１００９の処理を繰り返すことにより、画像ＮＢから背景と物体が分離された画像ＮＤが作成され、検出対象物体である標識３１が検出される。

【0098】

（x）ステップＳ１０１０
物体検出部１４は、画像ＭＢの領域Ｒ３内から矩形を構成する物体を求める。これにより、画像ＭＢから背景と物体が分離された画像ＭＣが作成され、検出対象物体である標示３２が検出される。

【0099】

（xi）ステップＳ１０１１
物体検出部１４は、基準画像を画像記憶部９０から読み出し、検出した物体の画像と基準画像に対してヒストグラムをそれぞれ作成し、上述の式（６）を用いて、ヒストグラム間の類似度Ｒを算出する。そして、算出した類似度Ｒに基づいて検出した物体と基準画像の類似度合いを判断し、たとえば類似度Ｒ≦閾値Ｔｈ_Ｒの場合に類似度合いが高いと判断して、検出した物体を標識もしくは標示として識別する。なお、類似度ＲはBhattacharyya距離として算出されるため、類似度Ｒの値が小さいほどヒストグラム間の距離が短く、類似度が高いことを意味する。このとき上述したように、ニューラルネットワークを用いた機械学習により求めた識別器を用い、その識別器による判別結果を上記判定に加えて、識別したい標識もしくは標示か否かを判定してもよい。

【0100】

（xii）ステップＳ１０１２
物体関連解析部１５は、物体検出部１４で検出した物体同士の関連を解析する。このとき物体関連解析部１５は、図８で説明したように、たとえば、時系列順に取得された複数の入力画像において検出された標識および標示の認識率をそれぞれ保存しておき、一定期間内で保存された認識率の平均値を算出することで、最終的な標識および標示の認識結果を決定する。これにより、標識と標示の時系列での関連性に基づいて、検知対象物である標識および標示を認識する。

【0101】

（xiii）ステップＳ１０１３
信頼度判定部１６は、検出した物体の撮影時の位置情報（緯度、経度）を累積し、累積した検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した物体の位置に対する信頼度Ｃが高いと判定する。一方、検出頻度が閾値Ｔｈ_ｈ未満であれば、信頼度Ｃが低いと判定する。信頼度判定部１６は、物体検出部１４が検出した各物体について、こうした信頼度Ｃの判定を行う。

【0102】

（xiv）ステップＳ１０１４
描画部１７は、信頼度Ｃが高い場合に、物体検出部１４で検出した物体を囲むように検出枠３４、３５を入力画像Ｎ上に描画し、画像ＮＥを作成する。一方、信頼度Ｃが低い場合には、描画部１７は、検出枠を入力画像Ｎ上に描画することはしない。

【0103】

（xv）ステップＳ１０１５
記録部１８は、描画部１７で検出枠３４、３５を描画した画像ＮＥを画像記憶部９０に保存する。

【0104】

以上説明したように、本発明の第１の実施形態によれば、過去の入力画像（Ｎ−１）に基づく色の明るさの平均値ａｖｅＲ１と、現在の入力画像Ｎに基づく色の明るさの平均値ａｖｅＲ２とを用いて、入力画像Ｎの明暗を補正した画像ＮＢを作成し、この画像ＮＢ毎に、標識と背景を分離するための閾値Ｔｈを求めて画像ＮＤを作成している。したがって、閾値Ｔｈを用いて、入力画像Ｎ内の背景と検出対象物体である標識とを分離することが可能となる。

【0105】

また、色の原色であるＲ、Ｇ、Ｂについて、入力画像Ｎ内の各画素の原色毎の色差分の絶対値ｓ＿Ｒ、ｓ＿Ｇ、ｓ＿Ｂを算出して、色をマスクした画像ＭＢを作成し、この画像ＭＢ内の矩形を求めて画像ＭＣを作成している。したがって、入力画像Ｎ内の背景と検出対象物体である標示とを分離することが可能となる。

【0106】

また、複数画像にて検出した物体の検出結果を用いて、物体の信頼度を判定している。したがって、各物体を精度よく認識することが可能となる。

【0107】

また、検出した物体の位置情報を累積し、検出頻度を判定することで、検出した各物体の位置情報をより正確に求めることが可能となる。

【0108】

また、色をマスクした画像ＭＢおよび明暗を強調した画像ＮＢ内から物体を検出しているため、画像内の標識もしくは標示の一部が切れていても、画像内に映った物体の色および明暗に応じて物体を検出するため、標識および標示を検出することが可能となる。

【0109】

このように、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像を作成し、画像毎に画像内の領域を分離する閾値を求めることで、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することが可能となる。また、より正確な位置情報と共に、画像内から物体を検出し、かつ時系列順に取得された複数の画像からそれぞれ検出した物体同士の認識結果を用いることで、精度よく各物体を認識することが可能となる。さらに、不特定多数のユーザが撮影した車載スマートホンの映像内から物体を検出し、位置情報の検出頻度からより正確な位置を求めることで、新設された道路や工事により変更となった道路上の道路付属物や標示をタイムリーに検出することが可能となる。

【0110】

以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。

【0111】

（１）画像処理装置１は、明暗補正部１２と、色解析部１３と、物体検出部１４と、物体関連解析部１５と、を備える。明暗補正部１１は、車両に搭載された車載カメラによって撮影された入力画像Ｎの明暗を補正した明暗補正画像ＮＢを作成する。色解析部１３は、入力画像Ｎの色を補正した色補正画像ＭＢを作成する。物体検出部１４は、明暗補正画像ＮＢに基づいて入力画像Ｎに含まれる標識を検出し、色補正画像ＭＢに基づいて入力画像Ｎに含まれる標示を検出する。物体関連解析部１５は、物体検出部１４により検出された標識と標示との時系列での関連性に基づいて、対象物である標識および標示を認識する。このようにしたので、カメラで撮影された画像から対象物である標識および標示を正しく認識することができる。

【0112】

（２）画像処理装置１は、信頼度判定部１６をさらに備える。信頼度判定部１６は、標識および標示の位置を取得し、取得した標識および標示の位置の累積結果に基づいて、標識および標示の信頼度Ｃを判定する。このようにしたので、標識や標示の検出結果が正しいか否かを判定することができる。

【0113】

（３）明暗補正部１２は、入力画像Ｎの所定範囲に対象領域Ｒ２を設定し、入力画像Ｎよりも前に撮影された過去画像（Ｎ−１）の対象領域Ｒ２に対応する領域Ｒ１内の色の明るさの平均値ａｖｅＲ１と、入力画像Ｎの対象領域Ｒ２内の色の明るさの平均値ａｖｅＲ２とに基づいて、明暗補正画像ＮＢを作成する。このようにしたので、対象物である標識を検出するのに適切な明暗補正画像ＮＢを作成することができる。

【0114】

（４）色解析部１３は、入力画像Ｎの所定範囲に対象領域Ｒ３を設定し、入力画像Ｎの対象領域Ｒ３内の色差分値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂに基づいて、色補正画像ＭＢを作成する。このようにしたので、対象物である標示を検出するのに適切な色補正画像ＭＢを作成することができる。

【0115】

（５）物体検出部１４は、予め設定された基準画像を用いて、対象物である標識と標示とをそれぞれ検出する。このようにしたので、標識および標示をそれぞれ正確に検出することができる。

【0116】

（６）物体関連解析部１５は、標識が示す交通規制または指示の内容と、標示が示す交通規制または指示の内容とが、時系列順に取得された所定数以上の入力画像において同一であるという条件を満たす場合に、標識と標示とを互いに関連付けて認識する。このようにしたので、互いに対応する標識と標示とを正確かつ確実に関連付けることができる。

【0117】

（７）また、物体関連解析部１５は、上記の条件を満たす標識および標示のうち一方の認識率が所定の第１の閾値、たとえば０．８以上であり、かつ他方の認識率が第１の閾値よりも低い所定の第２の閾値、たとえば０．３未満である場合に、その他方の標識または標示が劣化していると判定することができる。このようにすれば、互いに対応する標識または標示のうち一方がかすれ等によって劣化している場合に、これを確実に判定することができる。

【0118】

−第２の実施形態−
図１３は、本発明の第２の実施形態に係る警告装置１２００の構成を示すブロック図である。警告装置１２００は、車両に搭載されて用いられるものであり、たとえば地図上に経路を表示してユーザを目的地まで誘導するナビゲーションシステムとして機能する。さらに、車両の周囲に存在する標識や標示等の対象物の情報をリアルタイムで収集し、所定の警告場所に近づいたときに、画面表示や音声により警告（アラート）を出力する。警告場所は、たとえば役所、警察署等の汎用的な建物や、ランドマーク的な建物などの予め決められた場所であってもよいし、過去の車両走行中にユーザがマーキングした場所であってもよい。本実施形態による警告装置１２００は、ユーザから情報を収集しながら、ユーザにとって有益な情報を提供するものである。

【0119】

警告装置１２００は、画像データを撮影する撮像デバイス１２０１と、画像データから検出対象を含む画像を認識する画像処理装置１と、画像処理装置１から出力された認識後画像を表示する表示デバイス１２０２と、画像処理装置１から出力されたアラート情報を出力する出力デバイス１２０３と、を有している。警告装置１２００には、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１２０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。なお、画像処理装置１の構成および動作は、第１の実施形態で説明したとおりである。

【0120】

画像処理装置１は、第１の実施形態で説明したように、撮像デバイス１２０１で撮影した画像から、様々な標識および標示を認識する。さらに、道路上付属物などの物体に対応する基準画像を準備しておき、これを認識対象に含めてもよい。

【0121】

表示デバイス１２０２は、画像処理装置１から出力された標識や標示等の認識結果を示す画像を表示するものであり、たとえばスマートホンのディスプレイ装置に相当する。

【0122】

出力デバイス１２０３は、画像処理装置１から出力されたアラート情報に基づく警告を画像や音声により出力するものであり、たとえばスマートホンのディスプレイ装置やスピーカーに相当する。

【0123】

警告装置１２００は、画像処理装置１における前述の物体関連解析部１５による標識や標示等の物体の認識結果に基づいて、画像処理装置１から出力デバイス１２０３にアラート情報を出力する。出力デバイス１２０３は、画像処理装置１からアラート情報が出力されると、これに基づいて車両の運転者であるユーザに対する警告を出力する。たとえば、検出した物体の内容と地図情報が一致した場合は、地図情報をユーザに通知する。また、１回の検出において、検出した物体の内容と地図情報が一致しない場合は、その時点ではアラート情報をユーザに通知しない。また、同じ地点で複数回物体を検出できなかったが、地図情報には物体の情報がある場合、その地点の標識や標示が変わった可能性があるため、ユーザに標識や標示の確認を促すようにメッセージを通知する。たとえば、「標識（または標示）を確認してください」という音声を出力することで、メッセージ通知を行う。なお、標識と標示の情報を組み合わせてユーザに通知してもよいし、これらの情報を分けてユーザに通知してもよい。さらに、アラートが出された地点での撮影画像や物体の認識結果を示す画像などを、その地点を示す情報と共に、警告装置１２００において登録するようにしてもよい。

【0124】

以上説明した本発明の第２の実施形態によれば、警告装置１２００は、画像処理装置１と、物体関連解析部１５による標識および標示の認識結果に基づいて車両の運転者に対する警告を出力する警告出力部としての出力デバイス１２０３と、を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から標識や標示を認識し、その認識結果を示す画像とアラート情報をセットにしてユーザに通知する警告装置１２００を提供することが可能となる。

【0125】

−第３の実施形態−
図１４は、本発明の第３の実施形態に係る画像処理システム１３００の構成を示すブロック図である。画像処理システム１３００は、車両で撮影された画像からＰＯＩ（Point of Interest）情報を作成するものであり、サーバ１３０３と、移動端末装置１３０７と、を有する。

【0126】

移動端末装置１３０７は、画像データを撮影する撮像デバイス１３０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１Ａと、画像処理装置１Ａから出力された検出後画像をサーバ１３０３に送信すると共にサーバ１３０３から伝送されてきた認識後画像を受信する通信デバイス１３０２と、認識後画像を表示する表示デバイス１３０５と、を有している。移動端末装置１３０７は、第２の実施形態で説明した警告装置１２００と同様に、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１３０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。

【0127】

画像処理装置１Ａは、第１の実施形態において図１で説明した画像処理装置１の各機能構成のうち、入力部１０から物体検出部１４までの機能構成を有している。すなわち、移動端末装置１３０７は、画像処理装置１Ａとして、入力部１０、色空間変換部１１、明暗補正部１２、色解析部１３および物体検出部１４を有している。画像処理装置１Ａは、物体検出部１４により、撮像デバイス１３０１で撮影した画像から、標識や標示等を検出し、これらの検出結果を示す画像を検出後画像として通信デバイス１３０２に出力する。さらに画像処理装置１Ａは、道路上付属物等の物体や、施設情報、スポット情報等を表す特定看板などを検出対象に含めてもよい。なお、検出後画像は、撮影された画像全体でもよいし、検出した物体を含む部分画像でもよい。通信デバイス１３０２は、画像処理装置１Ａから出力されたこれらの検出対象物体に対する検出後画像をサーバ１３０３に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。

【0128】

サーバ１３０３は、移動端末装置１３０７から送信された検出後画像を受信すると共に画像処理装置１Ｂから出力された認識後画像を移動端末装置１３０７に送信する通信デバイス１３０４と、受信した検出後画像から標識および標示を認識する画像処理装置１Ｂと、画像処理装置１Ｂから出力された認識後画像に基づくＰＯＩ情報を格納する格納デバイス１３０６と、を有している。

【0129】

画像処理装置１Ｂは、第１の実施形態において図１で説明した画像処理装置１と同じ機能構成を有している。画像処理装置１Ｂは、入力部１０から物体関連解析部１５までにより、移動端末装置１３０７から送信された検出後画像から、標識や標示、道路上付属物、特定看板等の物体を認識する。格納デバイス１３０６には、これらの認識後画像が位置情報と組み合わされ、ＰＯＩ情報として格納される。

【0130】

通信デバイス１３０４は、画像処理装置１Ｂから出力されたこれらの認識対象物体に対する認識後画像を移動端末装置１３０７に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。

【0131】

サーバ１３０３から認識後画像が送信されると、移動端末装置１３０７の通信デバイス１３０２はこれを受信して表示デバイス１３０５に出力する。表示デバイス１３０５は、サーバ１３０３から伝送された認識後画像を表示するものであり、たとえばスマートホンのディスプレイ装置に相当する。このとき表示デバイス１３０５は、たとえば地図画面を表示し、その地図画面上の対応する位置に認識後画像に含まれる対象物の存在を示すマークを表示することで、認識された標識や標示等に関する通知を車両の運転者であるユーザに通知してもよい。

【0132】

以上説明した本発明の第３の実施形態によれば、画像処理システム１３００は、車両に搭載された移動端末装置１３０７と、移動端末装置１３０７との間で通信を行うサーバ１３０３と、を有する。移動端末装置１３０７は、画像処理装置１Ａとして、明暗補正部１２、色解析部１３および物体検出部１４を備え、また、物体検出部１４による標識と標示との検出結果を示す検出後画像をサーバ１３０３に送信する画像送信部としての通信デバイス１３０２を備える。サーバ１３０３は、移動端末装置１３０７から送信された検出後画像を受信する画像受信部としての通信デバイス１３０４を備え、また、画像処理装置１Ｂは、受信された検出後画像を用いて標識および標示を認識する、図１で説明した画像処理装置１と同等の構成を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から、標識や標示、特定看板などを認識し、その認識後画像と位置情報をセットでＰＯＩ情報として格納するシステムを提供することが可能となる。

【0133】

画像処理システム１３００において、サーバ１３０３の通信デバイス１３０４は、画像処理装置１Ｂにより認識された標識および標示に関する認識後画像を移動端末装置１３０７に送信する第２の画像送信部としても機能する。また、移動端末装置１３０７の通信デバイス１３０２は、サーバ１３０３から送信された認識後画像を受信する第２の画像受信部としても機能する。さらに、移動端末装置１３０７は、通信デバイス１３０２により受信された認識後画像に基づいて、標識および標示に関する通知を車両の運転者に対して行う通知部としての表示デバイス１３０５を備える。このようにしたので、車両の運転時に有用な情報を運転者に通知することができる。

【0134】

−第４の実施形態−
図１５は、本発明の第４の実施形態に係る画像処理システム１４００の構成を示すブロック図である。画像処理システム１４００は、車両で撮影された画像に基づいて車両の運転者に警告を出力するものであり、サーバ１４０３と、移動端末装置１４０８と、を有する。

【0135】

画像処理システム１４００は、第２の実施形態で説明した警告装置１２００と同様に、たとえば地図上に経路を表示してユーザを目的地まで誘導するナビゲーションシステムとして機能する。さらに、車両の周囲に存在する標識や標示等の対象物の情報をリアルタイムで収集し、所定の警告場所に近づいたときに、画面表示や音声により警告（アラート）を出力する。警告場所は、たとえば役所、警察署等の汎用的な建物や、ランドマーク的な建物などの予め決められた場所であってもよいし、過去の車両走行中にユーザがマーキングした場所であってもよい。本実施形態による画像処理システム１４００は、ユーザから情報を収集しながら、ユーザにとって有益な情報を提供するものである。

【0136】

移動端末装置１４０８は、画像データを撮影する撮像デバイス１４０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１Ａと、画像処理装置１Ａから出力された検出後画像をサーバ１４０３に送信すると共にサーバ１４０３から伝送されてきた認識後画像およびアラート情報を受信する通信デバイス１４０２と、認識後画像を表示する表示デバイス１４０５と、アラート情報を出力する出力デバイス１４０６と、を有している。移動端末装置１４０８は、第３の実施形態で説明した移動端末装置１３０７と同様に、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１４０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。

【0137】

画像処理装置１Ａの構成および動作は、第３の実施形態で説明したとおりである。通信デバイス１４０２は、第１の実施形態において図２で説明した通信デバイス２０６に相当する。

【0138】

サーバ１４０３は、移動端末装置１４０８から送信された検出後画像を受信すると共に画像処理装置１Ｂから出力された認識後画像やアラート情報を移動端末装置１４０８に送信する通信デバイス１４０４と、受信した検出後画像から標識や標示を認識する画像処理装置１Ｂと、画像処理装置１Ｂから出力された認識後画像に基づく認識情報を格納する格納デバイス１４０７と、を有している。

【0139】

画像処理装置１Ｂの構成および動作は、第３の実施形態で説明したとおりである。サーバ１４０３は、画像処理装置１Ｂによる標識や標示等の物体の認識結果に基づいて、画像処理装置１Ｂから通信デバイス１４０４に認識後画像やアラート情報を出力する。格納デバイス１４０７には、画像処理装置１Ｂが標識や標示等の道路上付属物を認識して得られた認識後画像が位置情報と組み合わされ、認識情報として格納される。通信デバイス１４０４は、画像処理装置１Ｂから出力された認識対象物体に対する認識後画像やアラート情報を移動端末装置１４０８に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。

【0140】

サーバ１４０３から認識後画像やアラート情報が送信されると、移動端末装置１４０８の通信デバイス１４０２はこれらを受信して、表示デバイス１４０５と出力デバイス１４０６にそれぞれ出力する。表示デバイス１４０５は、第３の実施形態で説明した表示デバイス１３０５と同様に、サーバ１４０３から伝送された認識後画像を表示してユーザに通知するものであり、たとえばスマートホンのディスプレイ装置に相当する。

【0141】

出力デバイス１４０６は、サーバ１４０３から伝送されたアラート情報に基づく警告を画像や音声により出力するものであり、たとえばスマートホンのディスプレイ装置やスピーカーに相当する。なお、アラートが出された地点での撮影画像や物体の認識結果を示す画像などを、その地点を示す情報と共に、サーバ１４０３や移動端末装置１４０８において登録するようにしてもよい。

【0142】

以上説明した本発明の第４の実施形態によれば、画像処理システム１４００は、第３の実施形態に係る画像処理システム１３００と同様に、車両に搭載された移動端末装置１４０８と、移動端末装置１４０８との間で通信を行うサーバ１４０３と、を有する。移動端末装置１４０８は、画像処理装置１Ａとして、明暗補正部１２、色解析部１３および物体検出部１４を備え、また、物体検出部１４による標識と標示との検出結果を示す検出後画像をサーバ１４０３に送信する画像送信部としての通信デバイス１４０２を備える。サーバ１４０３は、移動端末装置１４０８から送信された検出後画像を受信する画像受信部としての通信デバイス１４０４を備え、また、画像処理装置１Ｂは、受信された検出後画像を用いて標識および標示を認識する、図１で説明した画像処置装置１と同等の構成を備える。さらに、画像処理システム１４００において、サーバ１４０３の通信デバイス１４０４は、画像処理装置１Ｂによる標識および標示の認識結果に基づく警告情報（アラート情報）を移動端末装置１４０８に送信する警告情報送信部としても機能する。また、移動端末装置１４０８の通信デバイス１４０２は、サーバ１４０３から送信された警告情報（アラート情報）を受信する警告情報受信部としても機能する。さらに、移動端末装置１４０８は、通信デバイス１４０２により受信された警告情報（アラート情報）に基づいて、車両の運転者に対する警告を出力する警告出力部としての出力デバイス１４０６を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から、標識や標示を認識し、その認識結果に基づく警告をユーザに行うシステムを提供することが可能となる。

【0143】

−第５の実施形態−
図１６は、本発明の第５の実施形態に係る画像処理システム１５００の構成を示すブロック図である。画像処理システム１５００は、たとえば、ユーザによって走行ルートが設定されると、車両の周囲に存在する標識や標示等の対象物の情報をリアルタイムで収集しながらユーザに提示し、走行ルートに従って車両を目的地まで誘導する。このとき、第２の実施形態で説明した警告装置１２００のように、地図上に経路を表示して車両誘導を行う代わりに、本実施形態では、設定されたルート上で車両誘導に関する標識や標示を認識したら、その標識や標示の認識結果に基づいて車両を誘導する。たとえば、左折すべき地点において左折方向を示す標識や標示を認識したら、「ここを左折です」との音声を出力する等の方法により、車両の誘導を行う。画像処理システム１５００は、サーバ１５０３と、移動端末装置１５０８と、を有する。

【0144】

移動端末装置１５０８は、画像データを撮影する撮像デバイス１５０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１Ａと、画像処理装置１Ａから出力された検出後画像をサーバ１５０３に送信すると共にサーバ１５０３から伝送されてきた認識後画像および誘導情報を受信する通信デバイス１５０２と、認識後画像を表示する表示デバイス１５０５と、誘導情報を出力する出力デバイス１５０６と、を有している。移動端末装置１５０８は、第３の実施形態で説明した移動端末装置１３０７や、第４の実施形態で説明した移動端末装置１４０８と同様に、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１５０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。

【0145】

画像処理装置１Ａの構成および動作は、第３の実施形態で説明したとおりである。通信デバイス１５０２は、第１の実施形態において図２で説明した通信デバイス２０６に相当する。

【0146】

サーバ１５０３は、移動端末装置１５０８から送信された検出後画像を受信すると共に画像処理装置１Ｂから出力された認識後画像や誘導情報を移動端末装置１５０８に送信する通信デバイス１５０４と、受信した検出後画像から標識や標示、方面看板を認識する画像処理装置１Ｂと、画像処理装置１Ｂから出力された認識後画像に基づく認識情報を格納する格納デバイス１５０７と、を有している。

【0147】

画像処理装置１Ｂの構成および動作は、第３の実施形態で説明したとおりである。サーバ１５０３は、画像処理装置１Ｂによる標識や標示、方面看板等の物体の認識結果に基づいて、画像処理装置１Ｂから通信デバイス１５０４に認識後画像や誘導情報を出力する。たとえば、車両の進行方向に関係する方面看板か否かを識別し、方面看板の矢印や文字から、矢印や文字のパターンマッチング等により誘導方向を識別して誘導情報を出力する。格納デバイス１５０７には、画像処理装置１Ｂが標識や標示等の道路上付属物を認識して得られた認識後画像が位置情報と組み合わされ、認識情報として格納される。通信デバイス１５０４は、画像処理装置１Ｂから出力された認識対象物体に対する認識後画像や誘導情報を移動端末装置１５０８に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。

【0148】

サーバ１５０３から認識後画像や誘導情報が送信されると、移動端末装置１５０８の通信デバイス１５０２はこれらを受信して、表示デバイス１５０５と出力デバイス１５０６にそれぞれ出力する。表示デバイス１５０５は、第３の実施形態で説明した表示デバイス１３０５と同様に、サーバ１５０３から伝送された認識後画像を表示してユーザに通知するものであり、たとえばスマートホンのディスプレイ装置に相当する。

【0149】

出力デバイス１５０６は、サーバ１５０３から伝送された誘導情報に基づいて、たとえば車両が曲がるべき方向を画像や音声でユーザに指示することにより、車両を目的地まで誘導する。出力デバイス１５０６は、たとえばスマートホンのディスプレイ装置やスピーカーに相当する。

【0150】

以上説明した本発明の第５の実施形態によれば、画像処理システム１５００は、第３の実施形態に係る画像処理システム１３００と同様に、車両に搭載された移動端末装置１５０８と、移動端末装置１５０８との間で通信を行うサーバ１５０３と、を有する。移動端末装置１５０８は、画像処理装置１Ａとして、明暗補正部１２、色解析部１３および物体検出部１４を備え、また、物体検出部１４による標識と標示との検出結果を示す検出後画像をサーバ１５０３に送信する画像送信部としての通信デバイス１５０２を備える。サーバ１５０３は、移動端末装置１５０８から送信された検出後画像を受信する画像受信部としての通信デバイス１５０４を備え、また、画像処理装置１Ｂは、受信された検出後画像を用いて標識および標示を認識する、図１で説明した画像処理装置１と同等の構成を備える。さらに、画像処理システム１５００において、サーバ１５０３の通信デバイス１５０４は、画像処理装置１Ｂによる標識および標示の認識結果に基づいて、車両を所定の目的地まで誘導するための誘導情報を移動端末装置１５０８に送信する誘導情報送信部としても機能する。また、移動端末装置１５０８の通信デバイス１５０２は、サーバ１５０３から送信された誘導情報を受信する誘導情報受信部としても機能する。さらに、移動端末装置１５０８は、通信デバイス１５０２により受信された誘導情報に基づいて、車両を目的地まで誘導する車両誘導部としての出力デバイス１５０６を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から、標識や標示を認識し、その認識結果に基づいて車両を簡易的に誘導するシステムを提供することが可能となる

【0151】

以上説明した各実施形態については、次のような変形が可能である。
色空間変換部１１では、入力画像をＬａｂ色空間に変換した画像を作成したが、ＨＳＶ色空間等の他の色空間の画像に変換してもよい。その場合でも、上記実施形態と同様の効果を有する。
物体検出部１４では、式（６）を用いて、基準画像と検出した物体の画像との類似度を判定したが、Ｂ３２（ｒ）、Ｂ３２（ｇ）、Ｂ３２（ｂ）のどれか１つを用いてもよく、また、それぞれの組合せを用いて類似度を判定してもよい。その場合でも、上記実施形態と同様の効果を有する。
物体検出部１４では、道路の付近に設置された標識と、路面に描かれた標示とを、それぞれ対象物として検出および認識し、物体関連解析部１５では、これらの対象物の関連性を解析することで、これらの対象物を認識することとしたが、別のものを対象物としてもよい。その場合でも、上記実施形態と同様の効果を有する。

【0152】

本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステムや装置に提供し、そのシステムや装置に搭載されたコンピュータ（ＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコードがコンピュータに実行されることで、前述した実施形態の機能が実現されることになり、そのプログラムコードや、これを記憶した記憶媒体や、これを実行するコンピュータなどが、本発明の構成要素となる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0153】

なお、以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

【符号の説明】

【0154】

１，１Ａ，１Ｂ・・・画像処理装置
１０・・・入力部
１１・・・色空間変換部
１２・・・明暗補正部
１３・・・色解析部
１４・・・物体検出部
１５・・・物体関連解析部
１６・・・信頼度判定部
１７・・・描画部
１８・・・記録部
９０・・・画像記憶部
９１・・・制御部
１２００・・・警告装置
１３００，１４００，１５００・・・画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】