特許 7517489 路面検査装置、路面検査方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】路面検査装置、路面検査方法、およびプログラム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240709BHJP

   E01C 23/01 20060101ALI20240709BHJP

【ＦＩ】

G08G1/00 J

E01C23/01

【請求項の数】 9

(21)【出願番号】P 2023016665

(22)【出願日】2023-02-07

(62)【分割の表示】P 2021527304の分割

【原出願日】2019-06-28

(65)【公開番号】P2023054011

(43)【公開日】2023-04-13

【審査請求日】2023-03-06

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】山岬 健一

(72)【発明者】

【氏名】中野 学

(72)【発明者】

【氏名】鷲見 慎一郎

【審査官】湯本 照基

(56)【参考文献】

【文献】特開２０１８－１７１０１（ＪＰ，Ａ）

【文献】特開２００９－１７９９９７（ＪＰ，Ａ）

【文献】特開２０１９－１００１３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００

Ｅ０１Ｃ ２３／０１

(57)【特許請求の範囲】

【請求項1】

道路が写る画像を取得する画像取得手段と、
前記画像に写る道路の区画線に基づいて前記画像に写る道路を当該道路の幅方向に複数の領域に区分し、区分された前記複数の領域のうち少なくとも１つを対象領域として画像処理により道路の損傷を検出する損傷検出手段と、
前記画像処理により損傷が検出された道路の位置を特定可能な位置特定情報を出力する情報出力手段と、
を備える路面検査装置。

【請求項2】

前記損傷検出手段は、前記画像に写る道路の区画線を検出し、当該検出した区画線を境界として、前記画像に写る道路を当該道路の幅方向に複数の領域に区分する、
請求項１に記載の路面検査装置。

【請求項3】

前記損傷検出手段が区分する前記複数の領域は、前記画像に写る道路の車道に対応する領域及び路肩に対応する領域を含む、
請求項１又は２に記載の路面検査装置。

【請求項4】

前記損傷検出手段が区分する前記複数の領域は、前記画像に写る道路の車線に対応する領域を含む、
請求項１から３のいずれか１項に記載の路面検査装置。

【請求項5】

前記損傷検出手段は、前記画像の中から道路に対応する領域を検出し、当該検出された領域を前記複数の領域に区分する、
請求項１から４のいずれか１項に記載の路面検査装置。

【請求項6】

前記損傷検出手段は、前記画像に写る道路の属性に基づいて、区分された前記複数の領域から前記画像処理の対象領域を設定する、
請求項１から５のいずれか１項に記載の路面検査装置。

【請求項7】

前記損傷検出手段は、前記画像に写る道路の属性に基づいて、前記画像処理において使用する処理ロジックを決定する、
請求項１から６のいずれか１項に記載の路面検査装置。

【請求項8】

コンピュータが、
道路が写る画像を取得し、
前記画像に写る道路の区画線に基づいて前記画像に写る道路を当該道路の幅方向に複数の領域に区分し、区分された前記複数の領域のうち少なくとも１つを対象領域として画像処理により道路の損傷を検出し、
設定された前記対象領域に対して前記画像処理を行い、
前記画像処理により損傷が検出された道路の位置を特定可能な位置特定情報を出力する、
ことを含む路面検査方法。

【請求項9】

コンピュータを、
道路が写る画像を取得する画像取得手段、
前記画像に写る道路の区画線に基づいて前記画像に写る道路を当該道路の幅方向に複数の領域に区分し、区分された前記複数の領域のうち少なくとも１つを対象領域として画像処理により道路の損傷を検出する損傷検出手段、
前記画像処理により損傷が検出された道路の位置を特定可能な位置特定情報を出力する情報出力手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、敷設された道路路面の管理業務を支援する技術に関する。

【背景技術】

【0002】

道路は車両の通行や経年などによって劣化する。その結果、道路の路面に損傷が発生し得る。道路の損傷をそのままにしておくと事故の原因になり得る。そのため、道路は定期的に点検する必要がある。

【0003】

道路の点検を効率よく行うための技術の一例が、下記特許文献１に開示されている。下記特許文献１には、道路の画像を用いて、その道路の路面の損傷（ひび割れ、轍掘れなど）を検出する技術の一例が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０２１３７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般的に、画像処理によってコンピュータに係る負荷は大きい。特許文献１に開示される技術のように、道路の画像を用いて点検を行う場合、コンピュータが道路の画像を大量に処理することになる。その結果、コンピュータでの処理時間が長くなり、業務の効率が低下し得る。業務の効率を改善させるために、コンピュータでの処理を高速化させる技術が望まれる。

【0006】

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、道路の画像を用いて道路を点検する際、コンピュータによる画像の処理速度を向上させる技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の路面検査装置は、
道路が写る画像を取得する画像取得手段と、
道路の損傷を検出するための画像処理の前記画像における対象領域を、前記画像に写る道路の属性に基づいて設定し、設定された前記対象領域に対して前記画像処理を行う損傷検出手段と、
前記画像処理によって損傷が検出された道路の位置を特定可能な位置特定情報を出力する情報出力手段と、
を備える。

【0008】

本発明の路面検査方法は、
コンピュータが、
道路が写る画像を取得し、
道路の損傷を検出するための画像処理の前記画像における対象領域を、前記画像に写る道路の属性に基づいて設定し、
設定された前記対象領域に対して前記画像処理を行い、
前記画像処理によって損傷が検出された道路の位置を特定可能な位置特定情報を出力する、
ことを含む。

【0009】

本発明のプログラムは、コンピュータに上述の路面検査方法を実行させる。

【発明の効果】

【0010】

本発明によれば、道路の画像を用いて道路を点検する際、コンピュータによる画像の処理速度を向上させる技術が提供される。

【図面の簡単な説明】

【0011】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0012】

【図1】第１実施形態における路面検査装置の機能構成を例示する図である。

【図2】路面検査装置のハードウエア構成を例示するブロック図である。

【図3】第１実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。

【図4】対象領域を設定するルールを定義する設定ルール情報を例示する図である。

【図5】第２実施形態の路面検査装置の機能構成を例示する図である。

【図6】第２実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。

【図7】第３実施形態における路面検査装置の機能構成を例示する図である。

【図8】第３実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。

【図9】第４実施形態における路面検査装置の機能構成を例示する図である。

【図10】第４実施形態の表示処理部が表示する重畳画像の一例を示す図である。

【図11】第４実施形態の表示処理部が表示する重畳画像の一例を示す図である。

【図12】第４実施形態の表示処理部が表示する重畳画像の一例を示す図である。

【図13】第４実施形態の表示処理部が表示する重畳画像の一例を示す図である。

【図14】第４実施形態の表示処理部が表示する重畳画像の一例を示す図である。

【図15】第５実施形態における路面検査装置の機能構成を例示する図である。

【図16】第５実施形態の路面検査装置により実行される処理の流れを例示するフローチャートである。

【図17】対象領域を設定するルールを定義する設定ルール情報の他の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様の構成要素には同様の符号を付し、説明を適宜省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中の矢印の向きは、情報の流れを分かり易くするためのものであり、特に説明のない限り通信の方向（一方向通信／双方向通信）を限定しない。

【0014】

［第１実施形態］
＜機能構成例＞
図１は、第１実施形態における路面検査装置１０の機能構成を例示する図である。図１に示されるように、本実施形態に係る路面検査装置１０は、画像取得部１１０、損傷検出部１２０、および情報出力部１３０を備える。

【0015】

画像取得部１１０は、点検対象の路面が写る画像を取得する。図１に例示されるように、路面の画像は、車両２０に備えられた撮像装置２２によって生成される。具体的には、車両２０が点検対象区間の道路を走行している間に、撮像装置２２が撮影動作を行うことによって、点検対象区間の道路の路面映像が生成される。画像取得部１１０は、路面映像を構成する複数のフレーム画像の少なくとも１つを、画像処理（解析）対象の画像として取得する。撮像装置２２がインターネット等のネットワークに接続する機能を備えている場合、画像取得部１１０は、ネットワークを介して撮像装置２２から路面の画像を取得してもよい。また、ネットワークに接続する機能を備える撮像装置２２が、路面映像を図示しない映像データベースに送信し、画像取得部１１０は、当該映像データベースにアクセスして路面映像を取得するように構成されていてもよい。また、画像取得部１１０は、例えば、通信ケーブルによって接続された撮像装置２２、あるいは、メモリカードなどの可搬型記憶媒体から、路面映像を取得してもよい。

【0016】

損傷検出部１２０は、画像取得部１１０が取得した路面の画像について、その画像に写る道路の属性に基づいて、道路の損傷を検出するための画像処理の対象とする領域（以下、「対象領域」と表記）を設定する。そして、損傷検出部１２０は、設定された対象領域に対して、道路の損傷を検出するための画像処理を行う。画像処理によって検出される道路の損傷は、例えば、路面に生じたひび割れ、わだち掘れ、ポットホール、陥没、窪み、および段差などである。

【0017】

情報出力部１３０は、損傷検出部１２０により道路の損傷が検出された場合、その損傷が検出された位置を特定可能な情報（以下、「位置特定情報」とも表記）を生成および出力する。なお、情報出力部１３０は、処理対象の画像のメタデータ（例えば、Ｅｘｉｆ（Exchangeable Image File Format）など）に含まれる当該画像の撮影位置（緯度および経度）を示す情報（すなわち、道路の緯度および経度を示す情報）を、位置特定情報として利用することができる。また、画像取得部１１０が、画像と共に位置データを取得している場合、情報出力部１３０は、当該画像と共に取得された位置データを、位置特定情報として利用することができる。また、処理対象の画像に写る道路の位置は、映像データのフレーム番号から推測することもできる。例えば、ある区間を走行した結果として、３６０００フレームで構成される映像が得られた場合、１８０００番目のフレームは、その区間の中間地点の近傍と推測することができる。また、車両２０の走行時の制御データが取得できている場合、この制御データを更に用いることによって、フレーム画像の撮影位置（道路の位置）をより高い精度で推定することができる。よって、情報出力部１３０は、処理対象の画像のフレーム番号を位置特定情報として利用してもよい。この場合、情報出力部１３０は、道路の緯度経度情報および１つの映像データにおけるフレーム番号の少なくとも一方を含む位置特定情報を生成および出力する。また、損傷検出部１２０が、撮影位置を特定可能な特定の物体（例：キロポスト、番地や道路名を示す標識など）を画像処理において更に認識するように構成されており、情報出力部１３０が、当該特定の物体の認識結果から得られる情報（キロポストの数字、標識に記載された番地や道路名など）を位置特定情報として利用するように構成されていてもよい。

【0018】

＜ハードウエア構成例＞
路面検査装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、ハードウエアとソフトウエアとの組み合わせで路面検査装置１０の各機能構成部を実現する場合について、図２を用いてさらに説明する。図２は、路面検査装置１０のハードウエア構成を例示するブロック図である。

【0019】

路面検査装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0020】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0021】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0022】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0023】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は路面検査装置１０の各機能（画像取得部１１０、損傷検出部１２０、情報出力部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。

【0024】

入出力インタフェース１０５０は、路面検査装置１０と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース１０５０には、キーボードやマウスといった入力装置（図示せず）、ディスプレイやプリンタといった出力装置（図示せず）などが接続され得る。また、入出力インタフェース１０５０には、撮像装置２２（または、撮像装置２２に備えられた可搬型記憶媒体）が接続され得る。路面検査装置１０は、入出力インタフェース１０５０を介して撮像装置２２（または、撮像装置２２に備えられた可搬型記憶媒体）と通信し、撮像装置２２によって生成された路面映像を取得することができる。

【0025】

ネットワークインタフェース１０６０は、路面検査装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。路面検査装置１０は、ネットワークインタフェース１０６０を介して、撮像装置２２や図示しない映像データベースと通信し、撮像装置２２によって生成された路面映像を取得することができる。

【0026】

なお、路面検査装置１０のハードウエア構成は図２に例示される構成に限定されない。

【0027】

＜処理の流れ＞
図３は、第１実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。

【0028】

まず、画像取得部１１０は、処理対象となる道路の画像を取得する（Ｓ１０２）。画像取得部１１０は、例えば、入出力インタフェース１０５０やネットワークインタフェース１０６０を介して、撮像装置２２によって生成された路面映像を取得する。そして、画像取得部１１０は、路面映像を構成する複数のフレーム画像の全部または一部を、処理対象の道路の画像として読み込む。ここで、画像取得部１１０は、後工程での処理を効率化するために、道路の画像に対して前処理を実行するように構成されていてもよい。例えば、画像取得部１１０は、道路の画像に対して、正面補正処理やデブラーリング処理などの前処理を実行してもよい。

【0029】

次に、損傷検出部１２０は、画像取得部１１０により取得された処理対象の画像に写る道路の属性を示す情報（道路属性情報）を取得する（Ｓ１０４）。道路の属性は、例えば、その道路の位置情報（例えば、ＧＰＳ（Global Positioning System）情報など）、その道路の敷設環境（例えば、山間部や平地など）、路面の種類（舗装材料の種類：例えば、コンクリート、アスファルト、砂利、レンガ、石畳など）、その道路が敷設されてからの経過時間、その道路の位置における車両の交通量、および、その道路の位置における過去の損傷履歴の少なくとも１つを含む。以下に、道路の属性を取得する方法の具体例をいくつか示す。但し、道路の属性の取得方法は、以下に示す例に制限されない。

【0030】

損傷検出部１２０は、例えば処理対象の画像のＥｘｉｆデータなどから、その画像の撮影位置（その画像に写る道路の位置）を示す情報を、道路属性情報として取得することができる。また、画像取得部１１０が取得した画像について、ＧＰＳ情報などの位置情報（その画像の撮影位置を示す情報）が紐づけられている場合、損傷検出部１２０は、その位置情報を、処理対象の画像に写る道路の道路属性情報として取得することができる。また、道路の敷設環境、路面の種類、道路の敷設日時、車両の交通量、および、過去の損傷履歴といった道路の属性を示す情報を、道路の位置情報と対応付けて記憶するデータベース（図示せず）が構築されていれば、損傷検出部１２０は、処理対象の画像に写る道路の位置情報に基づいて当該データベースを参照することによって、上述したような属性を示す情報の少なくともいずれか１つを取得することができる。

【0031】

また、損傷検出部１２０は、画像に基づいて道路の属性を判定するように構成されていてもよい。例えば、損傷検出部１２０は、ルールベース或いは機械学習によって構築された判別器を使って、入力された画像に写る道路の属性（敷設環境や路面の種類など）を判別するように構成されてもよい。例えば、道路の画像と当該道路の敷設場所の環境や路面の種類を示すラベル（正解ラベル）とを組み合わせた学習データを複数用意し、当該複数の学習データを用いて機械学習を繰り返すことで、未知の入力画像（道路の画像）に写る道路の敷設環境や当該道路の路面の種類を判別可能な判別器を構築することができる。

【0032】

次に、損傷検出部１２０は、取得した道路属性情報に基づいて、損傷検出用の画像処理の対象領域を設定する（Ｓ１０６）。

【0033】

一例として、損傷検出部１２０は、道路の位置情報を示す道路属性情報を取得した場合、例えば図４に示されるような対象領域の設定ルールを参照して、損傷検出用の画像処理の対象領域を当該道路の位置情報に応じて設定することができる。図４は、対象領域を設定するルールを定義する設定ルール情報を例示する図である。図４に例示される設定ルール情報は、損傷検出用の画像処理の対象領域とする道路の区分を、区間（道路の位置）の情報に紐付けて定義している。図４に例示される設定ルール情報は、損傷検出用の画像処理の対象領域とする道路の区分を、区間Ａでは「車道」および「路肩」と、区間Ｂでは「車道」のみとそれぞれ定義している。なお、図４に示されるような設定ルール情報は、例えば、道路管理者や点検業務を請負う点検事業者によって予め入力され、路面検査装置１０の記憶領域（メモリ１０３０やストレージデバイス１０４０など）に記憶される。ここで、例えば、道路属性情報として取得された道路の位置情報が区間Ａに含まれる位置を示す場合、損傷検出部１２０は、図４に例示される設定ルール情報に基づいて「車道」および「路肩」という道路の区分を特定し、その「車道」および「路肩」に対応する画素領域を、損傷検出用の画像処理の対象領域に設定する。また、道路属性情報として取得された道路の位置情報が区間Ｂに含まれる位置を示す場合、損傷検出部１２０は、図４に例示される設定ルール情報に基づいて「車道」という道路の区分を特定し、その「車道」に対応する画素領域を、損傷検出用の画像処理の対象領域に設定する。なお、図１７に例示されるように、車道の区分を車線単位に細分化した設定ルールが設けられていてもよい。図１７は、対象領域を設定するルールを定義する設定ルール情報の他の一例を示す図である。例えば、道路属性情報として取得された道路の位置情報が区間Ａに含まれる位置を示す場合、損傷検出部１２０は、図１７に例示される設定ルール情報に基づいて「走行車線」、「対向車線」および「路肩」という道路の区分を特定する。そして、損傷検出部１２０は、「走行車線」、「対向車線」、および「路肩」に対応する画素領域を、損傷検出用の画像処理の対象領域に設定する。また、道路属性情報として取得された道路の位置情報が区間Ｂに含まれる位置を示す場合、損傷検出部１２０は、図１７に例示される設定ルール情報に基づいて「走行車線」という道路の区分を特定する。そして、損傷検出部１２０は、「走行車線」に対応する画素領域を、損傷検出用の画像処理の対象領域に設定する。また、道路属性情報として取得された道路の位置情報が区間Ｃに含まれる位置を示す場合、損傷検出部１２０は、図１７に例示される設定ルール情報に基づいて「走行車線」および「追越車線」という道路の区分を特定する。そして、損傷検出部１２０は、「走行車線」および「追越車線」に対応する画素領域を、損傷検出用の画像処理の対象領域に設定する。また、道路属性情報として取得された道路の位置情報が区間Ｄに含まれる位置を示す場合、損傷検出部１２０は、図１７に例示される設定ルール情報に基づいて「第１走行車線」、「第２走行車線」、および「追越車線」という道路の区分を特定する。そして、損傷検出部１２０は、「第１走行車線」、「第２走行車線」、および「追越車線」に対応する画素領域を、損傷検出用の画像処理の対象領域に設定する。なお、損傷検出部１２０は、例えば車道中央線、車線境界線、車道外側線といった目印の検出位置に基づいて、「対向車線」、「走行車線（第１走行車線／第２走行車線）」、「追越車線」、「路肩」といった区分に対応する画素領域を特定することができる。

【0034】

他の一例として、損傷検出部１２０は、道路の敷設環境を示す道路属性情報を取得した場合、その道路属性情報が示す敷設環境に応じた対象領域を設定することができる。具体的な例として、交通量が多い道路や降雨等により道路の端の部分やその外側の領域（例えば、路肩や道路に隣接する地面の領域など）の損傷劣化が激しい区間がある。よって、損傷検出部１２０は、道路の敷設環境がそのような区間であることを示す道路属性情報を取得した場合、例えば車道外側線の外側の領域を含む領域を、損傷検出用の画像処理の対象領域として設定する。また、損傷検出部１２０は、道路の敷設環境が車道のみを損傷検出対象とする区間であることを示す道路属性情報を取得した場合、例えば車道外側線の内側の領域を、損傷検出用の画像処理の対象領域として設定する。

【0035】

他の一例として、損傷検出部１２０は、路面の種類を示す道路属性情報を取得した場合、その道路属性情報が示す路面の種類と、道路管理者や点検事業者が設けた判断基準とに基いて、損傷検出用の画像処理の対象領域を設定することができる。例えば、道路管理者や点検事業者が、予め決められた種類の路面のみを対象として点検を行うこともある。具体的な例として、道路管理者や点検事業者が、アスファルトまたはコンクリートで舗装された路面のみを点検の対象とし、グラベル（砂利道）といったその他の材料で舗装された路面を点検の対象としないといったケースも考えられる。この場合、損傷検出部１２０は、道路属性情報によって示される路面の種類がアスファルト舗装やコンクリート舗装である場合は対象領域として設定し、グラベル（砂利道）等のその他の種類である場合は対象領域として設定しない（検出対象としない）。

【0036】

他の一例として、損傷検出部１２０は、道路の交通量を示す道路属性情報を取得した場合、その道路属性情報が示す交通量に応じて、損傷検出用の画像処理の対象領域を設定することができる。例えば、損傷検出部１２０は、交通量が多い（交通量が所定の閾値を超える）区間は車道と路肩を対象領域として設定し、交通量が少ない（交通量が所定の閾値以下の）区間は車道のみを損傷検出用の画像処理の対象領域として設定することができる。

【0037】

他の一例として、損傷検出部１２０は、過去の損傷履歴を示す道路属性情報を取得した場合、その過去の損傷履歴に基づいて、損傷検出用の画像処理の対象領域を決定することができる。具体的な例として、処理対象の画像に写る道路の道路属性情報として、車道外側線を境に車道／路肩双方の領域において過去に損傷が発生したことを示す情報が取得されたとする。この場合、損傷検出部１２０は、車道外側線の内側の領域（車道の領域）と、車道外側線の外側の領域（例えば路肩や道路脇の地面の領域）双方を含むように、損傷検出用の画像処理の対象領域を設定する。

【0038】

ここで、損傷検出部１２０は、例えば次のようにして、画像の中から「車道」や「路肩」といった道路の区分に対応する領域を特定することができる。まず、損傷検出部１２０は、処理対象の画像の中から、道路領域を特定するための所定の目印（区画線、路面標示、縁石、ガードレールなど）を検出する。この場合、損傷検出部１２０は、例えば、自動運転技術の分野等で既知となっている、道路上の目印を検出するアルゴリズムを利用することができる。そして、損傷検出部１２０は、所定の目印の検出位置に基づいて、道路に対応する領域を判別する。なお、処理対象の画像において、車道外側線といった所定の目印が検出できない場合もある。この場合、損傷検出部１２０は、例えば画像から抽出可能な色特徴量などに基づいて道路の領域と道路外の地面の領域を決定する、或いは、機械学習によって道路の領域と道路外の地面の領域との境界を識別可能に構築した判別器を使って道路の領域を決定するように構成されていてもよい。道路の領域が判別された後、損傷検出部１２０は、当該道路の領域を幅方向に複数の領域（車道の領域、路肩の領域、歩道の領域など）に区分する。そして、損傷検出部１２０は、画像に写る道路を当該道路の幅方向に複数の領域（例えば、車道、路肩、歩道など）に区分した結果を用いて、損傷検出用の画像処理の対象領域を設定する。このように、画像の中から道路に対応する画素領域を検出し、その領域の中で画像処理の対象領域を設定することによって、道路以外の領域（例えば、周囲の背景領域）から抽出可能な特徴量によって道路の損傷が誤検出される可能性が減る。これにより、道路の損傷を検出する精度（画像処理の精度）が向上する。

【0039】

次に、損傷検出部１２０は、設定された対象領域に対して損傷検出用の画像処理を実行する（Ｓ１０８）。この画像処理の結果、処理対象の画像に写る道路に損傷が存在しているか否かが判別される。

【0040】

そして、画像処理によって道路の損傷が検出された場合（Ｓ１１０：ＹＥＳ）、情報出力部１３０は、損傷のある道路の位置を特定可能な位置特定情報を出力する（Ｓ１１２）。情報出力部１３０は、例えば、Ｅｘｉｆデータに含まれる画像の撮影位置を示す情報や、路面映像における処理対象の画像のフレーム番号などを、位置特定情報として取得することができる。そして、情報出力部１３０は、路面映像に含まれる各画像の画像処理結果に基づいて生成された位置情報を所定のフォーマット（例えば、ＣＳＶ（Comma Separated Values）形式など）で一覧化する。メモリ１０３０またはストレージデバイス１０４０などの記憶領域に出力する。また、情報出力部１３０は、位置特定情報の一覧を、図示しないディスプレイに表示出力するように構成されていてもよい。

【0041】

＜作用・効果の例＞
本実施形態では、画像を用いて道路の損傷の有無を点検する際、まず、処理対象の画像に写る道路の属性に基づいて損傷検出用の画像処理の対象領域が設定される。そして、設定された対象領域に対して損傷検出用の画像処理が実行される。このように、画像処理の対象領域を道路属性情報に基づいて限定することにより、画像処理の高速化を図ることができる。なお、画像を用いて道路の損傷の有無を点検する場合、一般的に多数の画像を処理する必要がある。そのため、本実施形態で説明したような構成によれば、画像処理の高速化する効果をより顕著に得ることができる。また、本実施形態では、画像処理によって道路の損傷が検出された位置を特定可能な位置特定情報が出力される。道路の点検業務に携わる人物は、この位置特定情報を参照することによって、損傷がある道路の位置を容易に把握することが可能となる。

【0042】

［第２実施形態］
本実施形態の路面検査装置１０は、以下で説明する点を除き、第１実施形態と同様の構成を有する。

【0043】

＜機能構成例＞
道路の位置（具体的には、当該位置に基づいて特定される、道路の敷設環境、路面の種類、交通量など）によって、発生する損傷の種類や損傷の発生のし易さなどが変わり得る。本実施形態において、損傷検出部１２０は、損傷検出用の画像処理において使用する判別器（道路の損傷を検出するための処理ロジック）を、その画像に写る道路の属性に基づいて切り替えるように構成される。

【0044】

図５は、第２実施形態の路面検査装置１０の機能構成を例示する図である。図５において、路面検査装置１０は、路面の種類別に判別器（処理ロジック）を有しており、損傷検出部１２０は、処理対象の画像に写る道路の路面の種類に応じて、画像処理で使用する判別器を切り替えるように構成されている。図５の例において、路面検査装置１０は、アスファルトで舗装された路面の損傷に特化して構築された第１判別器１２０２と、コンクリートで舗装された路面の損傷に特化して構築された第２判別器１２０４とを有している。なお、図示されていないが、石畳や砂利といった他の種類の路面の損傷に特化した判別器が更に用意されていてもよい。また、図示されていないが、道路の敷設環境や交通量といった他の属性に対応する判別器が更に用意されていてもよい。

【0045】

＜処理の流れ＞
図６は、第２実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。本実施形態のフローチャートは、Ｓ２０２の工程を更に含む点で、図３のフローチャートと異なっている。

【0046】

本実施形態において、損傷検出部１２０は、Ｓ１０４の処理で取得された道路属性情報に基づいて、画像処理で使用する判別器（処理ロジック）を選択する（Ｓ２０２）。例えば、路面の種類がアスファルトであることを示す道路属性情報が取得された場合、損傷検出部１２０は、第１判別器１２０２を、画像処理で使用する判別器として選択する。そして、Ｓ１０８の処理において、損傷検出部１２０は、Ｓ１０６の処理で設定された対象領域に対して、Ｓ２０２の処理で選択された判別器を用いた画像処理を実行する。

【0047】

＜作用・効果の例＞
以上、本実施形態では、道路の属性に応じて複数の判別器（損傷検出用の画像処理の処理ロジック）が用意されており、処理対象の画像に写る道路の属性に対応する判別器を用いて画像処理が実行される。道路の属性に応じて適した判別器（処理ロジック）を用いて損傷検出用の画像処理を行うことで、道路の損傷を検出する精度を向上させる効果が得られる。

【0048】

［第３実施形態］
本実施形態は、以下の点を除き、上述の第１実施形態または第２実施形態と同様の構成を有する。

【0049】

＜機能構成例＞
道路に存在する損傷の種類は、後に行うべき補修作業を決めるために必要な情報である。本実施形態において、損傷検出部１２０は、画像処理において検出された損傷の種類を更に識別するように構成される。また、本実施形態において、情報出力部１３０は、画像処理において検出された道路の損傷の種類を示す情報を、位置特定情報と対応付けて更に出力するように構成される。

【0050】

図７は、第３実施形態における路面検査装置１０の機能構成を例示する図である。図７において、損傷検出部１２０は、画像処理において検出された損傷の種類を示す情報を出力するように構築された判別器１２０６を備える。判別器１２０６は、例えば、学習用の画像と、その画像に存在する損傷の種類（ひび割れ、わだち掘れ、ポットホール、陥没、窪み、および段差など）を示す正解ラベルとを組み合わせた学習データを用いて機械学習を繰り返すことによって、損傷の種類を識別可能に構築される。

【0051】

＜処理の流れ＞
図８は、第３実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。本実施形態のフローチャートのＳ３０２の工程が、図３のフローチャートと異なる点である。

【0052】

本実施形態において、情報出力部１３０は、Ｓ１０８の画像処理において道路の損傷が検出された場合に、検出された損傷の種類を示す情報と位置特定情報とを含む情報を出力する（Ｓ３０２）。情報出力部１３０は、例えば、位置特定情報と損傷の種類を示す情報（例えば、損傷の種類別に割り当てられたコード情報など）とを１つのレコードに含むＣＳＶ形式のデータを出力する。

【0053】

＜作用・効果の例＞
以上、本実施形態では、損傷している道路の位置を特定可能な位置特定情報と共に、その位置で検出された損傷の種類を示す情報が出力される。道路の保守点検業務に携わる人物は、これらの位置特定情報と道路の損傷の種類を示す情報とを確認することにで、どの位置においてどのような修復措置が必要であるかを容易に把握することができる。

【0054】

＜変形例＞
本実施形態において、情報出力部１３０は、画像処理において識別された損傷の種類毎にスコア（損傷の度合い）を算出し、損傷の種類毎に算出された当該スコアを示す情報を更に出力するように構成されていてもよい。例えば、情報出力部１３０は、損傷が検出された画像領域の面積（画素数）を損傷の種類毎に合算し、その合算面積が画像処理の対象領域の面積に占める割合を、損傷の度合いを示す情報として算出および出力するように構成されていてもよい。道路の保守点検業務に携わる人物は、損傷の種類と損傷の度合いを示す情報に基づいて、補修作業の優先順位を適切に決定することが可能となる。

【0055】

また、損傷の種類や位置に応じて、補修の緊急性（損傷の危険性）が異なることもある。例えば、ポットホールは、ひび割れなどと比べて、車両や人物の通行に悪影響を与える可能性が高く、補修の緊急性が高い損傷と言える。また、例えば、損傷が車道や歩道の中央に存在する場合と、車道や歩道の端に存在する場合とでは、前者の位置の方が、通行する車両や人物に悪影響を与えやすく、補修の緊急性が高い損傷と言える。そこで、情報出力部１３０は、検出された損傷の種類や位置に応じた重み付けを行って、損傷の度合いを算出するように構成されていてもよい。例えば、情報出力部１３０は、損傷の種類毎に予め定義された重み係数や、損傷の検出位置に応じて決定される重み係数を用いて、損傷の度合いを算出するように構成される。この構成によれば、情報出力部１３０から出力される「損傷の度合い」が補修の緊急性をより正確に示す情報となる。つまり、情報出力部１３０から出力される「損傷の度合い」が、道路の保守点検業務を行う人物にとってより有益な情報となる。例えば、道路の保守点検業務を行う人物は、情報出力部１３０から出力される「損傷の度合い」に基づいて、より効果の高い補修作業を優先して進めるなど、効率的な計画を立てることが可能となる。

【0056】

［第４実施形態］
本実施形態は、以下で説明する点を除き、第１実施形態、第２実施形態、および、第３実施形態のいずれかと同様の構成を有する。

【0057】

＜機能構成＞
図９は、第４実施形態における路面検査装置１０の機能構成を例示する図である。図９に示されるように、本実施形態の路面検査装置１０は、表示処理部１４０および画像記憶部１５０を更に備える。

【0058】

本実施形態において、表示処理部１４０は、路面検査装置１０に接続された表示装置１４２に重畳画像を表示する。重畳画像は、画像処理によって検出された道路の損傷の位置を示す情報を道路の画像に重畳させた画像であり、例えば、情報出力部１３０によって生成される。一例として、情報出力部１３０は、損傷検出部１２０が実行した画像処理の結果を基に、処理対象の道路の画像において損傷が位置する領域を特定し、当該領域の位置を区別可能とする重畳データを生成する。そして、情報出力部１３０は、重畳データを道路の画像に重畳させることによって、重畳画像を生成する。情報出力部１３０は、生成した重畳画像を、位置特定情報と対応付けて画像記憶部１５０（例えば、メモリ１０３０やストレージデバイス１０４０など）に記憶する。表示処理部１４０は、例えば、表示対象の画像に対応する位置特定情報を指定する入力を受け付けると、指定された位置特定情報に対応付けて記憶された重畳画像を画像記憶部１５０から読み出し、表示装置１４２に表示させる。

【0059】

＜重畳画像の表示例＞
図１０から図１４は、第４実施形態の表示処理部１４０が表示する重畳画像の一例を示す図である。なお、これらの図は一例であり、本実施形態の発明の内容を制限するものではない。

【0060】

図１０に例示される重畳画像は、対象領域を示すマス目上の表示要素と、損傷が検出された位置に対応するマスを強調表示する表示要素とを含んでいる。このような重畳画像によれば、どの位置に損傷があるかを一目で把握できる。

【0061】

また、表示処理部１４０は、重畳画像の表示時に正面補正処理を行ってもよい。この場合、図１１に示すような道路を上面からみた状態の重畳画像が表示装置１４２に表示される。図１１に例示されるような画像によれば、損傷の大きさを正確に把握することができる。なお、正面補正処理は、重畳画像の生成時に情報出力部１３０によって行われてもよい。

【0062】

また、重畳画像は、図１２に示されるように、損傷の度合いを示す情報（本図の例では「損傷率」）を含んでいてもよい。この場合、例えば、情報出力部１３０が、画像処理の対象領域の大きさ（マスの数や画素数）と損傷の領域の大きさとに基づいて損傷の度合いを算出し、その算出結果を重畳画像と対応付けて画像記憶部１５０に記憶させる。そして、表示処理部１４０は、重畳画像を表示する際、その重畳画像と共に損傷の度合いを示す情報を読み出して、所定の表示位置に表示する。ここで、情報出力部１３０は、損傷の度合いを道路の区分毎に算出するように構成されていてもよい。この場合、表示処理部１４０は、例えば図１３に示されるように、損傷の度合いを示す情報を、道路の区分（「車道」や「路肩」など）毎に対応する位置に表示する。

【0063】

また、情報出力部１３０は、第３実施形態で説明したような、損傷の種類毎にスコア（損傷の度合い）を算出する機能を有する場合、図１４に示すように、損傷の種類毎のスコアを示す情報を含む重畳画像を生成してもよい。このような重畳画像によれば、道路のどの位置にどのような種類の損傷があるかを容易に把握できる。例えば、図１４に例示される重畳画像によれば、車道の領域において、当該領域の１９％を示すひび割れと、当該領域の６％を占めるポットホールが存在していること、および、路肩の領域において当該領域の１０％を占めるポットホールが存在していることが容易に把握できる。

【0064】

本実施形態の構成によれば、道路の保守点検業務を行う人物が、損傷のある道路につき、その損傷の状態を容易に確認することができる。

【0065】

［第５実施形態］
本実施形態の路面検査装置１０は、以下に説明する点において、上述の各実施形態と異なる。

【0066】

＜機能構成例＞
図１５は、第５実施形態における路面検査装置１０の機能構成を例示する図である。本実施形態の損傷検出部１２０は、複数の判別器（路面の損傷を検出する画像処理の処理ロジック）を有している。本実施形態の損傷検出部１２０は、画像に写る道路の属性に基づいて、当該属性に対応する判別器を複数の判別器の中から選択する。そして、本実施形態の損傷検出部１２０は、選択した判別器を用いて損傷検出用の画像処理を実行する。一方で、本実施形態の損傷検出部１２０は、上述の各実施形態で説明したような、画像処理の対象領域を道路属性情報に基づいて設定する機能を備えていない。

【0067】

＜ハードウエア構成例＞
ハードウエア構成は、図２と同様である。本実施形態では、ストレージデバイス１０４０に、損傷検出部１２０の機能を実現するプログラムモジュールの代わりに、上述の損傷検出部１２０の機能を実現するためのプログラムモジュールが記憶されている。また、プロセッサ１０２０が、メモリ１０３０にこのプログラムを読み込んで実行することにより、上述の損傷検出部１２０の機能が実現される。

【0068】

＜処理の流れ＞
図１６は、第５実施形態の路面検査装置１０により実行される処理の流れを例示するフローチャートである。

【0069】

まず、画像取得部１１０は、処理対象となる道路の画像を取得する（Ｓ５０２）。次に、損傷検出部１２０は、画像取得部１１０により取得された処理対象の画像に写る道路の属性を示す情報（道路属性情報）を取得する（Ｓ５０４）。Ｓ５０２およびＳ５０４の処理は、それぞれ、図３のＳ１０２およびＳ１０４の処理と同様である。

【0070】

次に、損傷検出部１２０は、属性毎に用意された複数の判別器の中から、処理対象の画像に写る道路の道路属性情報に対応する判別器を選択する（Ｓ５０６）。例えば、路面の種類が「アスファルト」であることを示す道路属性情報が取得された場合、損傷検出部１２０は、「アスファルト」用に特化して構築された判別器を選択する。そして、損傷検出部１２０は、選択した判別器を用いて、損傷検出用の画像処理を実行する（Ｓ５０８）。この画像処理の結果、処理対象の画像に写る道路に損傷が存在しているか否かが判別される。

【0071】

画像処理によって損傷が検出された場合（Ｓ５１０：ＹＥＳ）、情報出力部１３０は、損傷のある道路の位置を特定可能な位置特定情報を生成および出力する（Ｓ５１２）。Ｓ５１０およびＳ５１２の処理は、それぞれ、図３のＳ１１０およびＳ１１２の処理と同様である。

【0072】

＜作用・効果の例＞
以上、本実施形態では、処理対象の画像に写る道路の道路属性情報に対応する処理ロジックを用いて、損傷検出用の画像処理が実行される。つまり、画像に写る道路の属性に特化した処理ロジックを用いて、損傷検出用の画像処理が実行される。このようにすることで、画像処理による損傷の検出精度を向上させることができる。

【0073】

以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。

【0074】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0075】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
道路が写る画像を取得する画像取得手段と、
道路の損傷を検出するための画像処理の前記画像における対象領域を、前記画像に写る道路の属性に基づいて設定し、設定された前記対象領域に対して前記画像処理を行う損傷検出手段と、
前記画像処理によって損傷が検出された道路の位置を特定可能な位置特定情報を出力する情報出力手段と、
を備える路面検査装置。
２．
前記損傷検出手段は、前記画像の中から道路に対応する領域を検出し、当該検出した領域の中で前記対象領域を設定する、
１．に記載の路面検査装置。
３．
前記損傷検出手段は、
前記画像に写る道路を、当該道路の幅方向に複数の領域に区分し、
前記道路を複数の領域に区分した結果を用いて前記対象領域を設定する、
２．に記載の路面検査装置。
４．
前記道路の属性は、位置情報、敷設環境、路面の種類、当該道路を敷設してからの経過時間、車両の交通量、および、過去の損傷履歴の少なくとも１つを含む、
１．から３．のいずれか１つに記載の路面検査装置。
５．
前記道路の属性は当該道路の位置情報であり、
前記損傷検出手段は、前記道路の位置情報に予め紐付けられた領域設定用のルールに基づいて、前記対象領域を設定する、
４．に記載の路面検査装置。
６．
前記損傷検出手段は、前記画像に基づいて、前記道路の属性を判定する、
１．から５．のいずれか１つに記載の路面検査装置。
７．
前記損傷検出手段は、前記画像処理において使用する処理ロジックを、前記道路の属性に基づいて切り替える、
１．から６．のいずれか１つに記載の路面検査装置。
８．
前記道路の属性は当該道路の路面の種類であり、
前記損傷検出手段は、前記画像処理において使用する処理ロジックを、前記路面の種類に基づいて決定する、
７．に記載の路面検査装置。
９．
前記損傷検出手段は、前記画像処理において道路の損傷の種類を更に識別し、
前記情報出力手段は、前記画像処理によって検出された前記道路の損傷の種類を示す情報を更に出力する、
１．から８．のいずれか１つに記載の路面検査装置。
１０．
前記情報出力手段は、識別された前記道路の損傷の種類毎に損傷の度合いを算出し、前記損傷の種類毎に算出した損傷の度合いを示す情報を更に出力する、
９．に記載の路面検査装置。
１１．
前記位置特定情報は、前記道路の緯度経度情報および前記画像のフレーム番号の少なくとも一方を含む、
１．から１０．のいずれか１つに記載の路面検査装置。
１２．
前記画像処理によって検出された道路の損傷の位置を示す情報を前記画像に重畳させた重畳画像を、表示装置に表示する表示処理手段を更に備える、
１．から１１．のいずれか１つに記載の路面検査装置。
１３．
コンピュータが、
道路が写る画像を取得し、
道路の損傷を検出するための画像処理の前記画像における対象領域を、前記画像に写る道路の属性に基づいて設定し、
設定された前記対象領域に対して前記画像処理を行い、
前記画像処理によって損傷が検出された道路の位置を特定可能な位置特定情報を出力する、
ことを含む路面検査方法。
１４．
前記コンピュータが、
前記画像の中から道路に対応する領域を検出し、当該検出した領域の中で前記対象領域を設定する、
ことを含む１３．に記載の路面検査方法。
１５．
前記コンピュータが、
前記画像に写る道路を、当該道路の幅方向に複数の領域に区分し、
前記道路を複数の領域に区分した結果を用いて前記対象領域を設定する、
ことを含む１４．に記載の路面検査方法。
１６．
前記道路の属性は、位置情報、敷設環境、路面の種類、当該道路を敷設してからの経過時間、車両の交通量、および、過去の損傷履歴の少なくとも１つを含む、
１３．から１５．のいずれか１つに記載の路面検査方法。
１７．
前記道路の属性は当該道路の位置情報であり、
前記コンピュータが、
前記道路の位置情報に予め紐付けられた領域設定用のルールに基づいて、前記対象領域を設定する、
ことを含む１６．に記載の路面検査方法。
１８．
前記コンピュータが、
前記画像に基づいて、前記道路の属性を判定する、
ことを含む１３．から１７．のいずれか１つに記載の路面検査方法。
１９．
前記コンピュータが、
前記画像処理において使用する処理ロジックを、前記道路の属性に基づいて切り替える、
ことを含む１３．から１８．のいずれか１つに記載の路面検査方法。
２０．
前記道路の属性は当該道路の路面の種類であり、
前記コンピュータが、
前記画像処理において使用する処理ロジックを、前記路面の種類に基づいて決定する、
ことを含む１９．に記載の路面検査方法。
２１．
前記コンピュータが、
前記画像処理において道路の損傷の種類を更に識別し、
前記画像処理によって検出された前記道路の損傷の種類を示す情報を更に出力する、
ことを含む１３．から２０．のいずれか１つに記載の路面検査方法。
２２．
前記コンピュータが、
識別された前記道路の損傷の種類毎に損傷の度合いを算出し、前記損傷の種類毎に算出した損傷の度合いを示す情報を更に出力する、
ことを含む２１．に記載の路面検査方法。
２３．
前記位置特定情報は、前記道路の緯度経度情報および前記画像のフレーム番号の少なくとも一方を含む、
１３．から２２．のいずれか１つに記載の路面検査方法。
２４．
前記コンピュータが、
前記画像処理によって検出された道路の損傷の位置を示す情報を前記画像に重畳させた重畳画像を、表示装置に表示する、
ことを含む１３．から２３．のいずれか１つに記載の路面検査方法。
２５．
コンピュータに、１３．から２４．のいずれか１つに記載の路面検査方法を実行させるプログラム。
２６．
道路が写る画像を取得する画像取得手段と、
前記画像に写る道路の属性に基づいて、路面の損傷を検出するための画像処理の処理ロジックを選択し、選択された前記処理ロジックを用いて前記画像に対する画像処理を行う損傷検出手段と、
前記画像処理によって損傷が検出された道路の位置を特定可能な位置特定情報を出力する情報出力手段と、
を備える路面検査装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】