特許 6653361 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6653361

(24)【登録日】2020年1月29日

(45)【発行日】2020年2月26日

(54)【発明の名称】路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200217BHJP

   G08G 1/00 20060101ALI20200217BHJP

   G01N 21/17 20060101ALI20200217BHJP

   E01C 23/01 20060101ALI20200217BHJP

【ＦＩ】

   G06T7/00 650A

   G08G1/00 J

   G01N21/17 F

   E01C23/01

【請求項の数】12

【全頁数】21

(21)【出願番号】特願2018-142290(P2018-142290)

(22)【出願日】2018年7月30日

(65)【公開番号】特開2020-21121(P2020-21121A)

(43)【公開日】2020年2月6日

【審査請求日】2018年7月30日

(73)【特許権者】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(72)【発明者】

【氏名】堂阪 真司

(72)【発明者】

【氏名】小野 貴史

(72)【発明者】

【氏名】中村 隆幸

(72)【発明者】

【氏名】井藤 雅稔

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１８−１７８５４９（ＪＰ，Ａ）

【文献】 特開２００１−２３６５０６（ＪＰ，Ａ）

【文献】 特開２０１８−０１２３６９（ＪＰ，Ａ）

【文献】 特開２０１０−０９２４０３（ＪＰ，Ａ）

【文献】 特開２００９−２８１９８１（ＪＰ，Ａ）

【文献】 特開平１１−１８５００８（ＪＰ，Ａ）

【文献】 西野 咲子、外３名，“車載カメラを用いた射影変換画像からの区画線の剥離率推定”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１５年 ３月 ２日，Vol.114, No.508，pp.17-22

【文献】 岸本 康成、外６名，“ラベル伝播を用いた区画線の擦れ検出手法の提案”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１７年 ９月 ８日，Vol.117, No.211，pp.97-102

【文献】 河野 慎、外４名，“ピギーバック型道路自動点検システムのための白線の擦れ検出手法検討”，情報処理学会研究報告，日本，情報処理学会，２０１７年 ５月１８日，Vol.2017-CDS-19, No.15，pp.1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０８Ｇ １／００

Ｇ０１Ｎ ２１／１７

Ｅ０１Ｃ ２３／０１

Ｂ６０Ｒ ２１／０１３

Ｇ０６Ｑ ５０／２６

(57)【特許請求の範囲】

【請求項1】

路面標示を撮影した撮影画像を処理する路面標示画像処理装置であって、
撮影画像から道路標示及び区画線を含む路面標示の形状を推定して前記路面標示の有無及び種別を分類する形状推定手段と、
前記路面標示が有ると分類された前記撮影画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類する濃淡推定手段と、
前記路面標示の掠れ度合いを出力する出力手段と、を有し、
前記濃淡推定手段は、掠れ度合いの段階が異なる路面標示を含む静止画群を学習済みである畳み込みニューラルネットワークを用いて構成し、前記掠れ度合いを分類する
ことを特徴とする路面標示画像処理装置。

【請求項2】

請求項１に記載の路面標示画像処理装置であって、
前記形状推定手段は、前記撮影画像の部分を部分画像として取得し、前記部分画像のうち前記路面標示が存在し得る部分画像を処理対象として抽出し、前記処理対象の部分画像のそれぞれに対して前記路面標示の有無及び種別を分類し、
前記濃淡推定手段は、前記路面標示が有ると分類された前記部分画像のそれぞれに対して前記路面標示の掠れ度合いの段階を分類する
ことを特徴とする路面標示画像処理装置。

【請求項3】

請求項２に記載の路面標示画像処理装置であって、
前記形状推定手段は、複数の部分画像にまたがって単一の前記路面標示が存在すると推定された場合に、前記複数の部分画像を結合して単一の部分画像として再形成する
ことを特徴とする路面標示画像処理装置。

【請求項4】

請求項１ないし３のいずれかに記載の路面標示画像処理装置であって、
道路に沿った複数の前記撮影画像を処理するものであり、
前記撮影画像の撮影地点を示す位置情報を入力する位置情報入力手段と、
前記形状推定手段の推定した前記路面標示が道路延長に沿った形状を持つ路面標示である場合、当該路面標示を検出した撮影画像の前後一定区間内の撮影画像において同じ種別の路面標示を所定の割合以上検出できないときは当該路面標示を誤認識と判定する分布解析手段と、を有する
ことを特徴とする路面標示画像処理装置。

【請求項5】

請求項１ないし４のいずれかに記載の路面標示画像処理装置であって、
前記形状推定手段は検出対象の路面標示を含む静止画群を学習済みである畳み込みニューラルネットワークを用いて構成し、前記検出対象の路面標示を分類する
ことを特徴とする路面標示画像処理装置。

【請求項6】

請求項５に記載の路面標示画像処理装置であって、
前記形状推定手段は、さらに前記検出対象の路面標示以外の路面標示を含む静止画群を学習済みである
ことを特徴とする路面標示画像処理装置。

【請求項7】

請求項５または６に記載の路面標示画像処理装置であって、
前記形状推定手段は、さらに前記路面標示以外の物体の写り込みを含む静止画群を学習済みである
ことを特徴とする路面標示画像処理装置。

【請求項8】

請求項５ないし７のいずれかに記載の路面標示画像処理装置であって、
前記形状推定手段は、さらに近接して存在することが既知である路面標示及び物体の２種類以上からなる特定の組み合わせを含む静止画群を学習済みである
ことを特徴とする路面標示画像処理装置。

【請求項9】

請求項１ないし８のいずれかに記載の路面標示画像処理装置であって、
前記濃淡推定手段は、前記路面標示が写り込んでいない静止画群を学習済みであり、
前記濃淡推定手段により前記路面標示が写り込んでいないと分類された場合は路面標示ではないとして扱う
ことを特徴とする路面標示画像処理装置。

【請求項10】

請求項１ないし９のいずれかに記載の路面標示画像処理装置であって、
前記形状推定手段は、道路管理者または都道府県公安委員会が管理する路面標示を分類する
ことを特徴とする路面標示画像処理装置。

【請求項11】

路面標示を撮影した撮影画像を処理する路面標示画像処理装置が実行する路面標示画像処理方法であって、
撮影画像から道路標示及び区画線を含む路面標示の形状を推定して前記路面標示の有無及び種別を分類するステップと、
前記路面標示が有ると分類された前記撮影画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類するステップと、
前記撮影画像に写り込んだ前記路面標示の掠れ度合いを出力するステップと、を有し、
前記路面標示の掠れ度合いの段階を分類するステップでは、掠れ度合いの段階が異なる路面標示を含む静止画群を学習済みである畳み込みニューラルネットワークを用いて前記掠れ度合いを分類する
ことを特徴とする路面標示画像処理方法。

【請求項12】

請求項１ないし１０のいずれかに記載の路面標示画像処理装置の各手段としてコンピュータを動作させることを特徴とする路面標示画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、路面標示の撮影画像を解析処理して、路面標示の有無及び種別及び掠れ度合いを分類する画像処理装置に関する。

【背景技術】

【0002】

従来、横断歩道や停止線に代表される路面標示の維持管理のために、道路管理者や都道府県公安委員会が機器や目視による点検作業を定期的に行い、路面標示の塗り替えの判断を行っていた（非特許文献１参照）。路面標示は道路利用者の安全を担保するための情報であり、路面標示の塗り替えにより路面標示の視認性を良好な状態に保つことは重要である。

【0003】

路面標示の点検指標はさまざまあるが、路面標示の塗り替えの判断においては、観測者が路面標示を視認し、視認した印象によりランクを区分する目視評価ランクと呼ばれる指標が用いられることが多い。目視評価ランクは、路面標示の塗り替えの判断に直結するという意味で重要であるが、路面標示の状態を見た目から総合的に判断する指標であるため、人間の視覚に頼っているのが従来である。

【0004】

例えば測定機器を用いて塗膜の剥離率や反射輝度、拡散反射率等の路面標示の耐久性に関わる物理量を計測することは可能であるが、計測値と目視評価ランクとの相関が高いとはいえず、また、日本全国に存在する膨大な数量の路面標示のひとつひとつを定期的に計測することも現実的ではない。そのため、最終的な路面標示の点検は人による目視が主体である。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】全国道路標識・標示業協会著「路面標示ハンドブック」全国道路標識・標示業協会出版、2012年10月1日

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来、路面標示の目視評価ランクの評価にあたっては、目視点検を代替する手段がなく、観測者として人的資源が必要であるという問題があった。

【0007】

また、評価は観測者の印象によるものであるから、観測者が異なると評価が異なることがあり、すなわち評価を物理量又は機械的な処理を用いて一意に定めることができないという問題があった。

【0008】

本発明は、上記に鑑みてなされたものであり、路面標示の視認性をより簡易に、より安定して評価することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る路面標示画像処理装置は、路面標示を撮影した撮影画像を処理する路面標示画像処理装置であって、撮影画像から道路標示及び区画線を含む路面標示の形状を推定して前記路面標示の有無及び種別を分類する形状推定手段と、前記路面標示が有ると分類された前記撮影画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類する濃淡推定手段と、前記路面標示の掠れ度合いを出力する出力手段と、を有し、前記濃淡推定手段は、掠れ度合いの段階が異なる路面標示を含む静止画群を学習済みである畳み込みニューラルネットワークを用いて構成し、前記掠れ度合いを分類することを特徴とする。

【0010】

本発明に係る路面標示画像処理方法は、路面標示を撮影した撮影画像を処理する路面標示画像処理装置が実行する路面標示画像処理方法であって、撮影画像から道路標示及び区画線を含む路面標示の形状を推定して前記路面標示の有無及び種別を分類するステップと、前記路面標示が有ると分類された前記撮影画像から前記路面標示の色の濃淡を推定して前記路面標示の掠れ度合いの段階を分類するステップと、前記撮影画像に写り込んだ前記路面標示の掠れ度合いを出力するステップと、を有し、前記路面標示の掠れ度合いの段階を分類するステップでは、掠れ度合いの段階が異なる路面標示を含む静止画群を学習済みである畳み込みニューラルネットワークを用いて前記掠れ度合いを分類することを特徴とする。

【0011】

本発明に係る路面標示画像処理プログラムは、上記路面標示画像処理装置の各手段としてコンピュータを動作させることを特徴とする。

【発明の効果】

【0012】

本発明によれば、ビデオカメラ等で道路を撮影した撮影画像に基づいて画像に写り込んだ路面標示の有無及び種別及び掠れ度合いを判定するので、路面標示の視認性をより簡易に、より安定して評価できる。

【図面の簡単な説明】

【0013】

【図1】本実施の形態における路面標示画像処理装置の構成を示す機能ブロック図である。

【図2】道路を撮影した撮影画像の例を示す図である。

【図3A】形状推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。

【図3B】形状推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。

【図3C】形状推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。

【図3D】形状推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。

【図4】濃淡推定部にて用いられる畳み込みニューラルネットワークが分類するクラスの例を示す図である。

【図5】路面標示画像処理装置のメインルーチンのフローチャートである。

【図6】形状推定サブルーチンのフローチャートである。

【図7】道路を撮影した撮影画像から部分画像を得る例を示す図である。

【図8】同一の路面標示が複数の部分画像にまたがっている例を示す図である。

【図9】図８の複数の部分画像を結合して１つの部分画像とした例を示す図である。

【図10】濃淡推定サブルーチンのフローチャートである。

【図11】分布解析サブルーチンのフローチャートである。

【図12】分布解析サブルーチンの判定処理の例を示す図である。

【図13】結果出力サブルーチンのフローチャートである。

【図14A】道路を撮影した連続した３枚の静止画の例を示す図である。

【図14B】道路を撮影した連続した３枚の静止画の例を示す図である。

【図14C】道路を撮影した連続した３枚の静止画の例を示す図である。

【図15】部分画像に加工を施した例を示す図である。

【図16】路面標示画像処理装置の出力結果を利用したアプリケーションの画面の例を示す図である。

【発明を実施するための形態】

【0014】

本発明の実施の形態の一つを以下に示す。

【0015】

［路面標示画像処理装置の構成］
図１は本実施の形態における路面標示画像処理装置の構成を示す機能ブロック図である。

【0016】

図１に示す路面標示画像処理装置１００は、静止画取得部１１１、畳み込みニューラルネットワーク１２１とパラメータ１２２から構成される形状推定部１１２、畳み込みニューラルネットワーク１２３とパラメータ１２４から構成される濃淡推定部１１３、撮影位置突合部１１４、分布解析部１１５、及び出力部１１６を具備する。

【0017】

静止画取得部１１１は、路面標示の掠れ度合いを判定するために用いる撮影画像（静止画）を取得する。本実施の形態においては、市販ビデオカメラを車両に搭載して走行しながら撮影した撮影動画のファイルをＳＤメモリカードなどの記憶媒体１０１に格納して、当該メモリカードを路面標示画像処理装置１００に装着して読み込ませる。静止画取得部１１１は、記憶媒体１０１から読み込んだ撮影動画から一定間隔ごとに静止画を取得する。記憶媒体１０１に保存されている撮影動画の各フレームに着目した場合、それぞれのフレームを静止画とみなすことができる。なお、本装置は静止画又は動画像の撮影の方法には依らず、例えば地上にて市販カメラを用いて路面標示を接写した静止画を用いてもよい。静止画取得部１１１は、ネットワークを介して撮影動画又は静止画を取得してもよい。

【0018】

図２は道路を撮影した撮影画像の例を示す図である。同図に示す撮影画像２０１は、片側１車線の左側通行の道路を撮影した画像である。撮影画像２０１には、横断歩道予告２０２、車道外側線２０３、追い越しのための右側部分はみ出し通行禁止２０４、及び歩道の端２０５が写り込んでいる。歩道の端２０５より左には道路に面した家屋などが写り込んでいる。撮影画像２０１の幅及び高さはいかようでもよいが、本実施の形態においては、撮影画像２０１は幅３６００ピクセル、高さ２０００ピクセルであるとする。

【0019】

形状推定部１１２は、静止画に写った路面標示の種別を分類する。本実施の形態では、形状推定部１１２は、畳み込みニューラルネットワークを用いて静止画に写った路面標示の種別を分類する。

【0020】

畳み込みニューラルネットワークはニューラルネットワークの考え方に基づいて画像の分類を行う技術である。畳み込みニューラルネットワークにおいて、画像はクラスと呼ばれる単位で分類される。例えば、りんごの画像とみかんの画像を分類することができる畳み込みニューラルネットワークは、りんごクラスとみかんクラスの２種類のクラスを有するネットワークであると言える。畳み込みニューラルネットワークを用いる際は、前もって製品の開発製造段階において、分類させたいクラスごとに教師画像と呼ばれる正解画像群を準備し、正解画像群を畳み込みニューラルネットワークの学習機能に入力することで、畳み込みニューラルネットワークが内部に保持するニューラルネットワークの繋がりに正解画像群を学習させ、学習の結果を畳み込みニューラルネットワークのパラメータとして設定する。これによって畳み込みニューラルネットワークは、以降、目的画像を畳み込みニューラルネットワークの判定機能に入力することで、目的画像を予め学習させたクラスに分類した結果を返すことができる。畳み込みニューラルネットワークの利点は、対象とする画像を判定する際に画像の特徴などを人間が予め考慮する必要がなく、大量の正解画像群を事前すなわち製品の開発製造段階で学習させておくだけで、目的画像の判定が高い精度で可能になるという点にある。この利点のため畳み込みニューラルネットワークは広く用いられており、利用可能な多数のオープンソースのライブラリが入手可能であり、畳み込みニューラルネットワークは容易に利用できる。本装置は、畳み込みニューラルネットワーク１２１，１２３にオープンソースのライブラリを用いることで、学習機能及び判定機能を実現する。

【0021】

図３Ａ〜３Ｄは形状推定部１１２にて用いられる畳み込みニューラルネットワーク１２１が分類するクラスの例を示す図である。

【0022】

本実施の形態においては、事前すなわち本装置の開発製造段階で図３Ａ〜３Ｄに示すクラスごとに正解画像群を用意し、形状推定部１１２が用いる畳み込みニューラルネットワーク１２１の学習機能に正解画像群を入力し、学習の結果を畳み込みニューラルネットワーク１２１のパラメータ１２２として設定する。本装置の運用時には畳み込みニューラルネットワーク１２１の判定機能に目的画像を入力し、目的画像に路面標示が写り込んでいるか否かを区分するとともに、写り込んだ路面標示の種別を区分する。

【0023】

路面標示は、道路標示、区画線、及び法定外表示を含む。また、路面標示には複数の種別がある。点検主体が道路管理者であるか又は都道府県公安委員会であるかによって、点検対象とする路面標示の種別が異なる。

【0024】

本実施の形態においては、点検主体は都道府県公安委員会であるとし、特に５種類の路面標示を本装置の検出対象の路面標示とする。具体的には、図３Ａに示す、横断歩道予告３１１、停止線３１２、横断歩道３１３、追い越しのための右側部分はみ出し通行禁止３１４、及び止まれ文字３１５を本装置の検出対象の路面標示であるとし（非特許文献１参照）、この５種類の路面標示を畳み込みニューラルネットワーク１２１が分類するクラスに含める。検出対象の路面標示を検出するためのクラスの種類の数Ｎ（本実施の形態ではＮ＝５）は任意に設定してもよい。

【0025】

また、本実施の形態においては、検出対象の路面標示以外に９種類のクラスを畳み込みニューラルネットワーク１２１が分類するクラスに含める。具体的には、図３Ｂに示すＴ型交差点クロスマーク３２１、十型交差点クロスマーク３２２、車道外側線３２３、及び路面標示が写りこんでいない路面３３１、図３Ｃに示す壁面３４１、車体３４２、及び歩道３４３、図３Ｄに示す横断歩道と停止線の組み合わせ３５１、壁面と車道外側線の組み合わせ３５２を畳み込みニューラルネットワーク１２１が分類するクラスに含める。したがって、畳み込みニューラルネットワーク１２１は計１４種類のクラスを有する。

【0026】

なお、上記実施におけるＴ型交差点クロスマーク３２１、十型交差点クロスマーク３２２、車道外側線３２３の３種類のクラスは、検出対象に含まれない種別の路面標示を区分したクラスである。検出対象の路面標示以外の路面標示を検出するためのクラスの種類の数Ｋ（本実施の形態ではＫ＝３）は任意に設定してもよい。路面標示が写りこんでいない路面３３１は、路面標示の有無を判断するためのクラスである。壁面３４１、車体３４２、歩道３４３の３種類のクラスは、路面標示以外の物体の写り込みを区分したクラスである。路面標示以外の物体の写り込みを検出するためのクラスの種類の数Ｌ（本実施の形態ではＬ＝３）は任意に設定してもよい。横断歩道と停止線の組み合わせ３５１、壁面と車道外側線の組み合わせ３５２の２種類のクラスは、近接して存在することが既知である路面標示及び物体の２種類以上からなる特定の組み合わせを区分したクラスである。近接して存在することが既知である路面標示及び物体の２種類以上からなる特定の組み合わせを検出するためのクラスの種類の数Ｊ（本実施の形態ではＪ＝２）は任意に設定してもよい。

【0027】

なお、学習機能に入力する正解画像群を準備するときは、分類対象が写り込んだ静止画群を用意し、静止画群のうち各クラスの分類対象が写り込んだ部分を市販の画像処理ソフトで切り出して正解画像とする。この作業は、本装置の開発製造段階において、人間が製造作業の一環として実施するものである。

【0028】

本実施の形態においては、正解画像用に道路を撮影した静止画群を用意し、静止画群のうち分類対象が写り込んだ部分を市販の画像処理ソフトで切り出す。各クラスに少なくとも正解画像を１０００枚以上用いる。

【0029】

学習に用いる正解画像は、矩形であれば正方形であっても長方形であってもよい。例えば、停止線３１２はその形状に合わせて横長の長方形の画像を用意しても良い。

【0030】

なお、検出対象の路面標示である５種類のクラスを除く９種類のクラスについては、正解画像の枚数の確保が困難な場合、複数のクラスをまとめて一つのクラスとすることもできる。例えば、Ｔ型交差点クロスマーク３２１と十型交差点クロスマーク３２２をまとめて、一つの交差点クロスマークのクラスとしてもよいし、壁面３４１、車体３４２、歩道３４３をまとめて、物体の写り込みのクラスとしてもよい。

【0031】

濃淡推定部１１３は、静止画に写った路面標示の掠れ度合いを分類する。本実施の形態では、濃淡推定部１１３は、畳み込みニューラルネットワークを用いて静止画に写った路面標示の掠れ度合いを分類する。掠れ度合いとは、路面標示の磨耗、剥離、劣化による塗膜の不鮮明さ及び欠損の程度を指す。

【0032】

図４は濃淡推定部１１３にて用いられる畳み込みニューラルネットワーク１２３が分類するクラスの例を示す図である。

【0033】

本実施の形態においては、事前すなわち本装置の開発製造段階で図４に示すクラスごとに正解画像群を用意し、濃淡推定部１１３が用いる畳み込みニューラルネットワーク１２３の学習機能に正解画像群を入力し、学習の結果を畳み込みニューラルネットワーク１２３のパラメータ１２４として設定する。本装置の運用時には畳み込みニューラルネットワーク１２３の判定機能に目的画像を入力し、写り込んだ路面標示の掠れ度合いを分類する。

【0034】

掠れ度合いを分類する段階の数は、点検主体の点検基準による。本実施の形態においては、掠れ度合いの分類をレベル１、レベル２、レベル３の３段階とするが、掠れ度合いの段階の数Ｍ（本実施の形態ではＭ＝３）は任意に設定してもよい。例えば、路面標示ハンドブックに紹介されている目視評価ランクの数に合わせて５段階に分類してもよい（非特許文献１参照）。

【0035】

掠れ度合いの各レベルの定義は、点検主体の点検基準による。本実施の形態においては、レベル１は路面標示全体の形状を維持しており掠れにより不鮮明な箇所の面積が全体の３０％未満を占める路面標示、レベル２は路面標示全体の形状は維持しているが掠れにより不鮮明な箇所の面積が全体の３０％以上、６０％未満を占める路面標示、レベル３は欠損により路面標示全体の形状を維持していない、又は掠れにより不鮮明な箇所の面積が全体の６０％以上を占める路面標示とする。

【0036】

図４の符号４０１〜４０３で示すクラスのそれぞれが掠れ度合いのレベル１〜３に対応する。路面標示が写り込んでいない路面及び物体の写り込み４０４のクラスを、路面４４１、壁面４４２、車体４４３、歩道４４４の４種類で構成する。

【0037】

濃淡推定部１１３が用いる畳み込みニューラルネットワーク１２３は、掠れ度合いのレベル１、レベル２、レベル３の各クラスと、路面標示が写り込んでいない路面及び物体の写り込みのクラスからなる４種類のクラスを事前に学習したパラメータ１２４を設定する。

【0038】

学習に用いる画像は、矩形であれば正方形であっても長方形であってもよい。また、各レベルの学習に用いる正解画像群は、単一の種別の路面標示で構成してもよいし、複数の種別の路面標示で構成してもよいし、畳み込みニューラルネットワーク１２１の学習に用いた正解画像を再利用してもよい。

【0039】

本実施の形態においては、畳み込みニューラルネットワーク１２１の学習に用いた正解画像を再利用する。具体的には、レベル１、レベル２、レベル３の３種類のクラスの正解画像については、検出対象の路面標示である５種類のクラス、すなわち横断歩道予告３１１、停止線３１２、横断歩道３１３、追い越しのための右側部分はみ出し通行禁止３１４、及び止まれ文字３１５の正解画像を掠れ度合いのレベルごとに分類して再利用する。路面標示が写り込んでいない路面及び物体の写り込みの正解画像については、路面標示が写りこんでいない路面３３１、壁面３４１、車体３４２、歩道３４３の正解画像をそのまま再利用する。なお、学習に用いる画像の枚数の目安は、使用するライブラリにより異なるが、本実施の形態においては、各クラスに少なくとも１０００枚以上を用いる。

【0040】

撮影位置突合部１１４は、撮影動画を撮影した位置情報に基づいて静止画取得部１１１の取得した静止画の撮影地点を特定する。本実施の形態においては、市販ＧＰＳロガーを車両に搭載して走行しながら取得した位置情報のファイルをＳＤメモリカードなどの記憶媒体１０２に格納して、当該メモリカードを路面標示画像処理装置１００に装着して読み込ませる。なお、本装置は撮影位置の記録の方法には依らず、例えば撮影した静止画におけるＥｘｉｆに記録された撮影位置の情報を用いてもよい。撮影位置突合部１１４は、ネットワークを介して位置情報のファイルを取得してもよい。

【0041】

分布解析部１１５は、解析対象の静止画に区間線あるいは区間線様の道路延長に沿った形状を持つ路面標示が含まれていた場合に、前後の一連の静止画群を参照し、その路面標示が一定区間内の静止画群において一定割合以上で検出されるかを解析する。分布解析部１１５は、道路延長に沿った形状を持つ路面標示であると判定された路面標示が一定区間内において一定割合以上で検出されていない場合は、その路面標示を誤検出とする。

【0042】

出力部１１６は、検出対象の路面標示を検出した静止画の識別子、当該路面標示の静止画中の位置、種別、及び掠れ度合いの情報を出力する。静止画の識別子として、静止画を取得した撮影動画のフレーム番号を用いてもよい。出力部１１６は、路面標示を検出した静止画の撮影位置の情報を出力してもよい。

【0043】

［路面標示画像処理装置の動作］
次に、本実施の形態における路面標示画像処理装置の動作について説明する。図５は、路面標示画像処理装置１００のメインルーチンのフローチャートである。

【0044】

まず、路面標示画像処理装置１００が処理を開始すると、静止画取得部１１１が、記憶媒体１０１から撮影動画のファイルを読み取って、一定間隔ごとに静止画を取り出し、取り出された静止画群を以降の手順へと送る（手順５０１）。一定間隔ごとに静止画を取り出す際、例えば動画が毎秒３０フレームで撮影されているときは、１秒あたり３０枚の静止画を取り出してその全てを以降の手順での処理対象としてもよいし、３０枚のうち一定枚数だけを処理対象とするような間引きを行ってもよい。あるいは、ＧＰＳによって車両の緯度経度座標や移動速度を取得しておいて例えば３メートルごと等の一定距離間隔を進んだ位置に相当する静止画を抜き出して処理対象としてもよい。

【0045】

次に形状推定部１１２は、後述する形状推定サブルーチンの処理によって、静止画群の各静止画から路面標示が含まれる部分画像を抽出し、部分画像に含まれる路面標示の種別を分類する（手順５０２）。部分画像は、静止画の一部分を切り出した画像であり、路面標示の種別の分類および路面標示の濃淡の推定の処理単位である。静止画から複数の部分画像を抽出してもよい。

【0046】

次に濃淡推定部１１３が、後述する濃淡推定サブルーチンの処理によって、部分画像に含まれる路面標示の掠れ度合いを分類する（手順５０３）。

【0047】

次に撮影位置突合部１１４が、記憶媒体１０２から位置情報ファイルを読み取って、静止画群の各静止画の撮影地点を特定する（手順５０４）。静止画の撮影地点を特定する際、例えば動画から取り出された静止画に相当するフレームが撮影された時刻を取得し、位置情報が記録された時刻と突合することで撮影地点を特定してもよいし、さらに両時刻が一致しない場合は前後の位置情報を用いて線形補間等の数値計算を行って推定してもよい。あるいは記憶媒体１０１に記録されているデータが動画ではなく静止画の場合は、静止画のＥｘｉｆに記録された位置情報を用いてもよい。

【0048】

次に分布解析部１１５が、後述する分布解析サブルーチンの処理によって、解析対象の静止画に道路延長に沿った形状を持つ路面標示が含まれていた場合に、前後一定区間内の静止画群において路面標示が一定割合以上で検出されるかを解析する（手順５０５）。

【0049】

次に出力部１１６が、後述する結果出力サブルーチンの処理によって、静止画群について、各静止画に写り込んだ検出対象の路面標示の静止画中の位置、種別、掠れ度合いの情報を出力する（手順５０６）。

【0050】

以上の処理により、道路を撮影した静止画又は撮影動画から検出対象の路面標示の有無、静止画中の位置、種別、掠れ度合いの情報を得ることができる。

【0051】

（形状推定処理）
図６は、形状推定サブルーチンのフローチャートである。

【0052】

形状推定サブルーチンが呼び出されると、形状推定部１１２は、処理対象の静止画を矩形で分割し、分割して得られた静止画の各部分（部分画像）のうち、後述する条件に合致した部分画像からなる部分画像群を以降の手順へと送る（手順６０１）。

【0053】

図７は撮影画像２０１から部分画像を得る例を示す図である。矩形７０１は高さ８００ピクセル、幅８００ピクセルの正方形の矩形であり、処理後画像は撮影画像２０１と矩形の左上頂点を合わせるところから始めて、矩形を水平方向、鉛直方向に４００ピクセルずつずらして隈なく分割したものである。撮影画像２０１中の各矩形で表される部分が部分画像である。

【0054】

なお、部分画像の大きさは任意であるが、静止画に写りこむ路面標示の大きさを鑑みて、路面標示の大部分が部分画像内に収まるような大きさを確保し、かつ路面標示の近傍にあるその他の路面標示や物体が極力入り込まないような大きさに留めることは、道路の静止画に対する路面標示及び物体の写り込みの性質から見て合理的である。

【0055】

また、部分画像の各辺は本実施例のように固定長にしてもよいし、幅と高さの異なる複数種類の部分画像を用いてもよい。例えば、遠近法を考慮し、静止画の上方、すなわち道路の奥に向かうにつれ部分画像を小さくしてもよい。

【0056】

静止画全体を分割して部分画像を取得するため、静止画の上部の部分画像には路面を含んでいない領域、又は遠近法により路面標示が小さく写っている領域等が含まれる。このような領域を含む部分画像は、路面標示が写っていないか、又は写っていたとしても形状や濃淡を推定する上で大きさが不十分である。特に後者の場合、誤った推定結果を出力する原因となり得るため、以降の手順に送ることは好ましくない。

【0057】

本実施の形態においては、遠近法により静止画のうち下部の領域に道路の大半が写ることを鑑みて、静止画の下部の部分画像を以降の手順へ送る。具体的には、図７の撮影画像２０１の下部６０％の領域７０２に全体が含まれる部分画像の集合を以降の手順へ送る。なお、処理対象とする部分画像の条件は上記に限定するものではなく、例えば、静止画の周囲を処理対象から外してもよいし、静止画の左右の端を処理対象から外してもよい。

【0058】

部分画像を得る方法は上記の本実施例の方法を用いてもよいし、例えばSelective Searchのような既存の物体候補検出アルゴリズムを用いて抽出する方法でもよい。あるいは、Faster R-CNNにおけるRegion Proposal Network(RPN)のような既存のニューラルネットワークによる検出手法を用いてもよい。

【0059】

次に形状推定部１１２は、部分画像群を畳み込みニューラルネットワーク１２１の判定機能に入力し、各部分画像を図３Ａ〜３Ｄのいずれかのクラスに分類する（手順６０２）。以下、この分類結果を形状分類結果と呼ぶ。

【0060】

なお、部分画像の分類されたクラスが２種類以上からなる特定の組み合わせを区分したクラスであった場合、部分画像は組み合わせを構成する要素のそれぞれを個別に検出したものとみなす。本実施の形態においては、横断歩道と停止線の組み合わせ３５１、壁面と車道外側線の組み合わせ３５２の２種類のクラスが該当する。例えば部分画像が壁面と車道外側線の組み合わせ３５２のクラスに分類された場合、その部分画像は壁面３４１のクラスに分類された部分画像と、車道外側線３２３のクラスに分類された部分画像の、計２つの部分画像があるとみなされて以降の手順へと進む。

【0061】

次に形状推定部１１２は、部分画像群に含まれる各部分画像について、形状分類結果が路面標示であるかを判定する（手順６０３）。形状分類結果が路面標示である部分画像を以降の手順の処理対象とし（手順６０４）、形状分類結果が路面標示でない部分画像は以降の手順の処理対象としない（手順６０５）。つまり、図３Ａ，３Ｂに示したクラス（ただし、路面標示が写りこんでいない路面３３１は除く）に分類された部分画像のみを以降の手順の処理対象とする。手順６０３から手順６０５までの処理は、部分画像群に含まれる各部分画像について繰り返される。

【0062】

なお、部分画像の分類されたクラスが２種類以上からなる特定の組み合わせを区分したクラスであった場合、例えば部分画像の分類されたクラスが壁面と車道外側線の組み合わせ３５２であれば、形状推定部１１２は、前述のように、その部分画像は壁面３４１のクラスに分類された部分画像と、車道外側線３２３のクラスに分類された部分画像の、計２つの部分画像とみなして処理する。壁面３４１のクラスに分類された部分画像は以降の手順の処理対象としないとされ、車道外側線３２３のクラスに分類された部分画像は以降の手順の処理対象とされる。したがって、壁面と車道外側線の組み合わせ３５２のクラスに分類された部分画像は、以降では車道外側線３２３のクラスに分類された部分画像として扱われる。壁面と横断歩道と停止線の組み合わせ３５１のクラスに分類された部分画像は、以降では横断歩道３１３のクラスに分類された部分画像と停止線３１２のクラスに分類された部分画像の２つの部分画像として扱われる。

【0063】

次に形状推定部１１２は、同一の路面標示が複数の部分画像にまたがっていた場合に複数の部分画像を１つの部分画像に結合し、結合前の複数の部分画像の代わりに結合した１つの部分画像を以降の手順へと送る（手順６０６）。同一とは、形状分類結果が同一のクラスであることを言う。またがるとは、２つの部分画像を任意に選んだ際、両部分画像が同一のクラスであり、かつ両部分画像を構成する辺の少なくとも１組以上が交差または重なっている状態を言う。１つの部分画像に結合するとは、複数の部分画像の全てを内部に含む最小の矩形による部分画像を得ることを言う。

【0064】

図８は同一の路面標示（横断歩道予告２０２）が複数の部分画像にまたがっている例を示す図である。

【0065】

図８（ａ）〜（ｄ）の部分画像８０１〜８０４では、それぞれ同一の横断歩道予告２０２が検出されている。また各部分画像８０１〜８０４は互いにまたがる位置に存在している。したがって、形状推定部１１２は、部分画像８０１〜８０４を結合して、図９に示すような１つの部分画像９０１を得る。なお、撮影画像２０１は、横断歩道予告２０２以外に、車道外側線２０３と追い越しのための右側部分はみ出し通行禁止２０４の路面標示を含んでいる。これらの路面標示が複数の部分画像にまたがっている場合も同じく結合の対象となる。

【0066】

次に形状推定部１１２は、部分画像群と形状分類結果を出力して（手順６０７）、形状推定サブルーチンを終了する。

【0067】

（濃淡推定処理）
図１０は、濃淡推定サブルーチンのフローチャートである。

【0068】

濃淡推定サブルーチンが呼び出されると、濃淡推定部１１３は、形状推定部１１２の出力した部分画像群を畳み込みニューラルネットワーク１２３の判定機能に入力し、各部分画像を図４に記載のいずれかのクラスに分類する（手順１００１）。具体的には、濃淡推定部１１３は、各部分画像を、掠れ度合いのレベル１〜３のクラスまたは路面標示が写り込んでいない路面及び物体の写り込みのクラスに分類する。濃淡推定部１１３は、分類結果である濃淡分類結果を出力し（手順１００２）、濃淡推定サブルーチンを終了する。

【0069】

（分布解析処理）
図１１は、分布解析サブルーチンのフローチャートである。

【0070】

分布解析サブルーチンが呼び出されると、分布解析部１１５は、部分画像群に含まれる各部分画像について、形状分類結果が道路延長に沿った路面標示であるかを判定する（手順１１０１）。本実施の形態においては、道路延長に沿った路面標示とは追い越しのための右側部分はみ出し通行禁止３１４及び車道外側線３２３のことである。

【0071】

部分画像の形状分類結果が道路延長に沿った路面標示であった場合、分布解析部１１５は、検出された道路延長に沿った路面標示が前後一定区間においても一定割合以上で検出されているか否かを判定する（手順１１０２）。具体的には、分布解析部１１５は、撮影位置突合部１１４により得られた静止画群の撮影位置情報を用いて、部分画像を含む静止画の撮影位置の前後一定区間内にて撮影された静止画に含まれる部分画像の形状分類結果を取得し、前後一定区間内の撮影位置の静止画のうち一定割合以上に同種の路面標示が含まれているかを判定する。本実施の形態においては、一定区間を５ｍとし、一定割合を６０％とする。

【0072】

図１２は手順１１０２の判定処理を説明するための図である。図１２では、道路１２０１上に黒色または白色の撮影地点１２１１〜１２２３を等間隔に並べている。黒色の撮影地点の静止画からは道路延長に沿った路面標示である追い越しのための右側部分はみ出し通行禁止３１４が検出されている。白色の撮影地点の静止画からは追い越しのための右側部分はみ出し通行禁止３１４以外の路面標示が検出されている。また、隣り合う撮影地点間の間隔１２３１は１ｍとし、撮影地点１２１７が判定処理の対象となる部分画像を含んでいる静止画の撮影地点であるとする。撮影地点１２１２〜１２１６と撮影地点１２１８〜１２２２が判定対象の前後５ｍ以内の撮影地点に相当する。撮影地点１２１２〜１２２２に含まれる同種の道路延長に沿った路面標示が検出された静止画の割合は撮影地点群全体の７０％である。したがって撮影地点１２１７の静止画の部分画像から検出された路面標示は道路延長に沿った路面標示である確度が高いと判断され、以降の手順の処理に送られる。このように、道路延長に沿った路面標示について、確度の高い部分画像のみが以降の手順の処理に送られることで、本装置の検出精度が向上する。

【0073】

形状分類結果が道路延長に沿った路面標示以外の路面標示の部分画像および道路延長に沿った路面標示である確度が高い部分画像を以降の手順の処理対象とする（手順１１０３）。形状分類結果が道路延長に沿った路面標示であるが、道路延長に沿った路面標示である確度が低い部分画像は以降の手順の処理対象としない（手順１１０４）。手順１１０１から手順１１０４までの処理は、部分画像群に含まれる各部分画像について繰り返されて、形状分類結果が道路延長に沿った路面標示であるが確度の低い部分画像は以降の処理対象から除外される。

【0074】

次に分布解析部１１５は部分画像群を出力して（手順１１０５）、分布解析サブルーチンを終了する。

【0075】

（結果出力処理）
図１３は、結果出力サブルーチンのフローチャートである。

【0076】

結果出力サブルーチンが呼び出されると、出力部１１６は、部分画像群に含まれる各部分画像について、形状分類結果が検出対象の路面標示であるか（手順１３０１）、濃淡分類結果がレベル１ないし３であるかを判定する（手順１３０２）。出力部１１６は、形状分類結果が検出対象の路面標示であって、濃淡分類結果がレベル１ないし３である部分画像を以降の手順の処理対象とする （手順１３０３）。形状分類結果が検出対象の路面標示でない部分画像と濃淡分類結果が路面標示が写り込んでいない路面及び物体の写り込みの部分画像は以降の手順の処理対象としない（手順１３０４）。

【0077】

このように、本装置は、形状推定の観点から部分画像が路面標示を含んでいるかを判定するのに加え、濃淡推定の観点から部分画像が路面標示を含んでいるかを陰に判定している。すなわち２つの異なる観点から路面標示を含んでいるかを判定している。これにより１つの観点だけで判定することによる特徴の見落としを減らし、確度の高い判定を実現している。

【0078】

次に出力部１１６は、部分画像群に含まれる各部分画像について、属する静止画の識別子及び静止画中の位置及び種別及び掠れ度合いを出力して（手順１３０５）、結果出力サブルーチンを終了する。種別とは形状分類結果のクラスのことであり、掠れ度合いとは濃淡分類結果のクラスのことである。また、部分画像の静止画中の位置とは、部分画像の占める領域を特定できる情報であればよく、例えば部分画像の左上頂点座標と幅と高さの情報でもよいし、部分画像の左上頂点座標と右下頂点座標の情報でもよい。また、静止画中の位置を出力するというのは、座標を数値として出力してもよいし、左上頂点と右下頂点を含む矩形の枠を描画した静止画又は動画を出力としてもよい。

【0079】

［検出対象の路面標示のクラス（図３Ａ）以外のクラスを有することの利点］
以下では、車両による道路の撮影画像を処理する例を通じて、畳み込みニューラルネットワーク１２１が近接して存在することが既知である路面標示及び物体の２種類以上からなる特定の組み合わせのクラス、検出対象に含まれない種別の路面標示を区分したクラス、及び路面標示以外の物体の写り込みを区分したクラスを有することの利点を述べる。

【0080】

図１４Ａ〜１４Ｃは、車両がＴ字路に侵入する際に道路を撮影して得られる時系列順に連続した３枚の静止画の例である。

【0081】

図１４Ａの撮影画像１４０１はＴ型交差点の停止線の手前に車両が位置するときに撮影された画像の例である。撮影画像１４０１には、停止線１４１１、横断歩道１４１２、Ｔ型交差点クロスマーク１４１３、車道外側線１４１４の路面標示と、歩道の端１４１５と、Ｔ型交差点の突き当たりの民家の壁１４１６が写り込んでいる。また、図１４Ａでは、形状推定部１１２が抽出した部分画像１４４１を示している。

【0082】

部分画像１４４１は停止線１４１１と横断歩道１４１２の両方を含んでおり、横断歩道と停止線の組み合わせ３５１のクラスに分類される。もし形状推定部１１２の畳み込みニューラルネットワーク１２１が横断歩道と停止線の組み合わせ３５１のクラスを有していなければ、部分画像１４４１は横断歩道と停止線の組み合わせ３５１以外のいずれかのクラスに分類され、横断歩道と停止線の両方を含んでいるという正しい結果を得られなかったであろう。部分画像１４４１は横断歩道３１３のクラス又は停止線３１２のクラスのいずれか一方だけに分類されていたかもしれないし、横向きの白線と縦向きの白線からなる形状がＴ型交差点クロスマーク３２１として誤認識されていたかもしれない。本実施の形態では、形状推定部１１２の畳み込みニューラルネットワーク１２１が、横断歩道と停止線の組み合わせ３５１のクラスを有するので、部分画像１４４１は横断歩道と停止線の両方を含んでいるという正しい結果を得ることができる。

【0083】

このように、近接して存在することが既知である路面標示及び物体の２種類以上からなる特定の組み合わせのクラスを畳み込みニューラルネットワーク１２１が有していることは、形状の誤認識が減り検出精度が高まるという利点がある。

【0084】

図１４Ｂの撮影画像１４０２はＴ型交差点の停止線付近に車両が位置するときに撮影された画像の例である。撮影画像１４０２には、Ｔ型交差点クロスマーク１４１３、車道外側線１４１４の路面標示とＴ型交差点の突き当たりの民家の壁１４１６が写り込んでいる。また、図１４Ｂでは、形状推定部１１２が抽出した部分画像１４４２，１４４３を示している。

【0085】

部分画像１４４２は車道外側線１４１４と壁１４１６を含んでおり、壁面と車道外側線の組み合わせ３５２のクラスに分類される。もし形状推定部１１２の畳み込みニューラルネットワーク１２１が壁面と車道外側線の組み合わせ３５２のクラスを有していなければ、部分画像１４４２に写り込んだ車道外側線１４１４の横に延びた形状が停止線３１２として誤認識されていたかもしれない。本実施の形態では、車両がＴ字路に差し掛かった際に車道外側線が停止線に似た見た目で壁面と近接して画像に写り込むという撮影上の特徴を踏まえ、形状推定部１１２の畳み込みニューラルネットワーク１２１が壁面と車道外側線の組み合わせ３５２のクラスを有するので、部分画像１４４２は壁と車道外側線を含んでいるという正しい結果を得ることができる。

【0086】

部分画像１４４３はＴ型交差点クロスマーク１４１３を含んでおり、Ｔ型交差点クロスマーク３２１のクラスに分類される。もし形状推定部１１２の畳み込みニューラルネットワーク１２１が、検出対象に含まれない種別の路面標示を区分したクラスを有していなければ、部分画像１４４３は検出対象の５種類のいずれかの路面標示のクラスに分類され、誤って検出されていたかもしれない。これらの路面標示は、都道府県公安委員会の管理ではなく自治体等の道路管理者が管理することとなっており、一方で本実施の形態は前に述べたように都道府県公安委員会が点検主体となる路面標示の判定を行うことを目的としているのであるから、通常の考え方であれば、目的外である３種類の路面標示のクラスを検出対象として畳み込みニューラルネットワークに学習させる必然性はない。本実施の形態では、車両による道路の撮影画像には検出対象以外の路面標示が写り込むという撮影上の特徴を踏まえ、形状推定部１１２の畳み込みニューラルネットワーク１２１が検出対象に含まれない種別の路面標示を区分したクラスを有しており、部分画像１４４３はＴ型交差点クロスマーク３２１であり検出対象に含まれないという正しい結果を得ることができる。

【0087】

このように、検出対象に含まれない種別の路面標示を区分したクラスを畳み込みニューラルネットワーク１２１が有していることは、形状の誤認識が減り検出精度が高まるという利点がある。

【0088】

図１４Ｃの撮影画像１４０３は車両がＴ型交差路の停止線を越え左折を開始する直前に撮影された画像の例である。撮影画像１４０３においては、Ｔ型交差点の突き当たりにある民家の壁１４１６が写り込んでいる。図１４Ｃでは、形状推定部１１２か抽出した部分画像１４４４を示している。

【0089】

部分画像１４４４は壁１４１６を含んでおり、壁面３４１のクラスに分類される。もし形状推定部１１２の畳み込みニューラルネットワーク１２１が、路面標示以外の物体の写り込みを区分したクラスを有していなければ、部分画像１４４４は形状の似たクラスがないために他のどのクラスにも分類される可能性がある。したがって検出対象の５種類のいずれかのクラスに分類され、誤って検出されていたかもしれない。特に、例えば壁１４１６の色が白色であった場合、部分画像１４４４は何らかの路面標示の一部を写した画像に見た目が近くなり、誤って検出されやすい。本実施の形態では、車両による道路の撮影画像には路面標示以外の物体が写り込むという撮影上の特徴を踏まえ、形状推定部１１２の畳み込みニューラルネットワーク１２１が路面標示以外の物体の写り込みを区分したクラスを有しており、部分画像１４４４は壁面３４１であり検出対象に含まれないという正しい結果を得ることができる。

【0090】

このように、路面標示以外の物体の写り込みを区分したクラスを畳み込みニューラルネットワーク１２１が有していることは、形状の誤認識が減り検出精度が高まるという利点がある。

【0091】

なお、路面標示以外の物体の種類は電柱や看板等、図３Ｃに示した３種類のクラス以外にも無数にあり、畳み込みニューラルネットワーク１２１がそれら全てを区分したクラスを有することは困難である。一方で、畳み込みニューラルネットワーク１２１の判定機能は、有しているクラスに含まれない種類の物体、例えば電柱の画像を目的画像として入力された場合に、目的画像を有しているクラスの中で最も形状が近いと推定されるクラスに分類することができる。電柱は物体であるので、目的画像は路面標示のいずれかの種別のクラスより物体のいずれかのクラスに分類される可能性が高いと推察できる。また、本装置においては、路面標示以外の物体を正しく分類することは必要ではなく、路面標示以外の物体を誤って路面標示であると分類しないことが必要である。したがって、路面標示以外の物体を区分したクラスが有限個であったとしても、路面標示以外の物体を誤って検出しないという意味において、路面標示以外の物体の写り込みを区分したクラスを畳み込みニューラルネットワーク１２１が有していることは利点がある。

【0092】

［畳み込みニューラルネットワークに入力する画像の加工］
以下ではさらに、有用な工夫として、画像の加工について述べる。

【0093】

図１５は部分画像に加工を施した例を示す図である。

【0094】

畳み込みニューラルネットワークの学習機能及び判定機能は入力された画像を正方形に拡大又は縮小して処理する。これは形状推定部１１２及び濃淡推定部１１３にて用いる畳み込みニューラルネットワークも同様である。したがって、例えば停止線３１２は横に長い長方形の画像であるが、畳み込みニューラルネットワークの学習機能に入力すると縦方向に拡大されるため、パラメータ１２２は変形後の形状にて学習されることになる。変形を生じさせない方法として、例えば、図１５のように黒塗りの領域１５０１を用意して予め正方形の画像にして畳み込みニューラルネットワークの学習機能及び判定機能に入力することで、画像中の路面標示の縦横比を維持して学習及び判定を実施することができる。特に路面標示は色のパターンや形状のパターンが少なく縦横比の情報は重要であるため、形状推定の精度を高める上で利点がある。

【0095】

畳み込みニューラルネットワーク１２１，１２３の学習機能に入力する画像、畳み込みニューラルネットワーク１２１，１２３の判定機能に入力する画像は、上記の加工処理を施した画像を用いてもよい。

【0096】

[出力結果を利用したアプリケーション例]
本実施の形態の路面標示画像処理装置１００においては、静止画に写り込んだ路面標示の静止画中の位置及び種別及び掠れ度合いを判定し出力する機能を提供した。上記示した手順を改良することで、路面標示の静止画中の位置だけでなく撮影位置についても出力し、例えばGeographic Information System(GIS)を用いた可視化装置にて結果を地図画面に出力させることも可能である。

【0097】

図１６は、路面標示画像処理装置１００の出力結果を利用したアプリケーションの画面の例を示す図である。同図に示すアプリケーション画面１６００は、静止画領域１６０１、動画領域１６０２、地図領域１６０３、静止画情報領域１６０４、及び標示種別選択領域１６０５を備える。

【0098】

静止画領域１６０１は、検出対象の路面標示が検出された静止画を表示する領域である。静止画に重ねて、路面標示を検出した部分画像１６１１，１６１２の位置が示される。

【0099】

動画領域１６０２は、路面標示の検出に用いた動画を再生できる領域である。

【0100】

地図領域１６０３は、路面標示を検出した場所の地図を表示する領域である。地図に重ねて、動画撮影時のルート１６３０、及び路面標示を検出した静止画の撮影位置を示すマーカー１６３１〜１６３５が表示される。マーカー１６３１〜１６３５は、検出した路面標示の掠れ度合いが分かるように、掠れ度合いに応じた態様で表示される。例えば、掠れ度合いがレベル１は青色、レベル２は黄色、レベル３は赤色で表示する。マーカー１６３１〜１６３５のいずれかが選択されると、選択されたマーカー１６３１〜１６３５の位置で撮影された静止画が静止画領域１６０１に表示される。図１６の例では、マーカー１６３２が選択されている。地図領域１６０３に表示される地図は、一般的な地図アプリケーションと同様に、拡大縮小、スクロールなどの操作が可能である。

【0101】

静止画情報領域１６０４には、路面標示を検出した静止画のファイル名が表示される。地図上にマーカー１６３１〜１６３５が表示されている静止画のファイル名だけを表示してもよい。ファイル名のいずれかが選択されると、選択されたファイル名の静止画が静止画領域１６０１に表示される。静止画情報領域１６０４には、ファイル名に加えて、検出した路面標示の種別、掠れ度合いなどを表示してもよい。

【0102】

標示種別選択領域１６０５は、地図領域１６０３および静止画情報領域１６０４に表示する情報の絞り込みに用いる。標示種別選択領域１６０５で選択された種別の路面標示が検出された静止画のマーカーおよびファイル名のみを地図領域１６０３および静止画情報領域１６０４で表示する。例えば、標示種別選択領域１６０５で横断歩道予告のチェックボックスのみがチェックされた場合は、横断歩道予告を検出できた静止画の撮影位置を示すマーカーとファイル名のみを表示する。標示種別選択領域１６０５において掠れ度合いを絞り込めるようにしてもよい。

【0103】

以上説明したように、本実施の形態によれば、形状推定部１１２が、道路を撮影した撮影画像から路面標示の形状を推定して路面標示の有無及び種別を分類し、濃淡推定部１１３が、撮影画像から路面標示の濃淡を推定して路面標示の掠れ度合いの段階を分類し、出力部１１６が、路面標示の掠れ度合いを出力することにより、道路を撮影した撮影画像から路面標示の掠れ度合いを判定できる。路面標示の掠れ度合い、すなわち路面標示の磨耗、剥離、劣化による塗膜の不鮮明さ及び欠損の程度の分類の基準を目視評価ランクに準拠させることで、人間の目視による路面標示の目視評価ランクの分類作業を代替できる。

【0104】

また、人間の目視により路面標示の目視評価ランクを分類する場合、路面標示の数量は膨大であるため、分類は複数人によって実施されることが通常である。複数人による場合、人間の感覚には個人差があるため、分類を行った人によって分類の結果が異なるということが起こり得る。本装置を用いた場合、畳み込みニューラルネットワークのパラメータ１２２，１２４が同一であれば入力した静止画像又は動画像に対して常に一意の出力となるため、本装置を複数台用意したとしても目視評価ランクを一意に定めることができる。

【0105】

本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

【符号の説明】

【0106】

１００…路面標示画像処理装置
１１１…静止画取得部
１１２…形状推定部
１１３…濃淡推定部
１１４…撮影位置突合部
１１５…分布解析部
１１６…出力部
１２１，１２３…ニューラルネットワーク
１２２，１２４…パラメータ
１０１，１０２…記憶媒体

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】

【図15】

【図16】