特開 2022-25734 情報処理装置、路面性状調査システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022025734

(43)【公開日】2022-02-10

(54)【発明の名称】情報処理装置、路面性状調査システム、情報処理方法およびプログラム

(51)【国際特許分類】

   E01C 23/01 20060101AFI20220203BHJP

   G06T 1/00 20060101ALI20220203BHJP

【ＦＩ】

E01C23/01

G06T1/00 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020128784

(22)【出願日】2020-07-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(71)【出願人】

【識別番号】390034463

【氏名又は名称】株式会社オリエンタルコンサルタンツ

(74)【代理人】

【識別番号】100110607

【弁理士】

【氏名又は名称】間山 進也

(72)【発明者】

【氏名】近清 なつみ

(72)【発明者】

【氏名】塚本 和樹

(72)【発明者】

【氏名】岩男 誠二

(72)【発明者】

【氏名】田中 志和

(72)【発明者】

【氏名】植田 知孝

【テーマコード（参考）】

2D053

5B050

【Ｆターム（参考）】

2D053AA32

2D053AB03

2D053FA02

5B050CA07

5B050DA02

5B050EA06

5B050FA09

(57)【要約】      （修正有）

【課題】遮熱性舗装における遮熱材のはがれを定量的に算出する情報処理装置及び路面性状調査システムを提供する。
【解決手段】路面上を走行した車両の路面カメラ（撮像手段の一例）から取得された当該路面の撮像画像を評価する情報処理装置は、撮影画像の画素ごとの輝度を示す輝度画像を取得し、輝度画像の画素ごとの輝度値の出現頻度に基づいて、路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する。そして、情報処理装置は、推定された輝度分布に基づいて、輝度画像におけるはがれ領域を決定し、決定されたはがれ領域に含まれる画素数を用いて、遮熱材のはがれ率を算出する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

路面上を走行した車両の撮像手段から取得された当該路面の撮像画像を評価する情報処理装置であって、
前記撮像画像の画素ごとの輝度を示す輝度画像を取得する輝度画像取得手段と、
前記輝度画像の画素ごとの輝度値の出現頻度に基づいて、前記路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する推定手段と、
推定された前記輝度分布に基づいて、前記輝度画像における前記はがれ領域を決定する決定手段と、
決定された前記はがれ領域に含まれる画素数を用いて、前記遮熱材のはがれ率を算出する算出手段と、
を備える情報処理装置。

【請求項2】

前記決定手段は、所定の入力操作に基づいて、前記路面の空隙の領域を示す空隙領域を決定し、
前記算出手段は、前記はがれ領域および前記空隙領域に含まれる画素数を用いて、前記はがれ率を算出する請求項１に記載の情報処理装置。

【請求項3】

前記決定手段は、前記輝度分布に示される輝度値の高い順に、前記塗装領域、前記はがれ領域、前記空隙領域を決定する請求項２に記載の情報処理装置。

【請求項4】

前記算出手段は、下記（式２）を用いて、前記はがれ率を算出する請求項２または３に記載の情報処理装置。

【数1】

【請求項5】

前記推定手段は、ＥＭアルゴリズムに基づく混合分布を用いて、前記輝度分布を推定する請求項１乃至４のいずれか一項に記載の情報処理装置。

【請求項6】

前記決定手段は、推定された前記塗装領域の輝度分布と前記はがれ領域との輝度分布に基づいて決定される前記塗装領域と前記はがれ領域の輝度の閾値を用いて、前記はがれ領域を決定する請求項１乃至５のいずれか一項に記載の情報処理装置。

【請求項7】

請求項１乃至６のいずれか一項に記載の情報処理装置と、前記車両と、を備える路面性状調査システムであって、
前記車両は、路面上の走行に応じて前記撮像手段によって前記撮像画像を取得する路面性状調査システム。

【請求項8】

路面上を走行した車両の撮像手段から取得された当該路面の撮像画像を評価する情報処理装置が実行する情報処理方法であって、
前記撮像画像の画素ごとの輝度を示す輝度画像を取得する輝度画像取得ステップと、
前記輝度画像の画素ごとの輝度値の出現頻度に基づいて、前記路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する推定ステップと、
推定された前記輝度分布に基づいて、前記輝度画像における前記はがれ領域を決定する決定ステップと、
決定された前記はがれ領域に含まれる画素数を用いて、前記遮熱材のはがれ率を算出する算出ステップと、
を実行する情報処理方法。

【請求項9】

コンピュータに、請求項８に記載の方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示内容は、情報処理装置、路面性状調査システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、施工から長期間経過した道路上の構造物の劣化が著しく、このような構造物の点検および老朽化保全の必要性が増してきている。そのため、走行中の車両や人に損害を与える可能性がある道路上の構造物に対して、定期的な点検を行い、国または自治体への点検結果の報告が行われている（特許文献１参照）。

【0003】

また、道路の舗装表面には、表面温度の上昇を抑制するための遮熱性舗装が施されている。この遮熱性舗装は、経年劣化により塗装（遮熱材）のはがれが発生することが知られており、定期的な点検が必要となる（非特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の方法では、目視や手作業に頼る部分が多く、調査に時間がかかるとともに、定量的に遮熱材のはがれを算出することが困難であるという課題があった。

【課題を解決するための手段】

【0005】

上述した課題を解決すべく、請求項１に係る発明は、路面上を走行した車両の撮像手段から取得された当該路面の撮像画像を評価する情報処理装置であって、前記撮像画像の画素ごとの輝度を示す輝度画像を取得する輝度画像取得手段と、前記輝度画像の画素ごとの輝度値の出現頻度に基づいて、前記路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する推定手段と、推定された前記輝度分布に基づいて、前記輝度画像における前記はがれ領域を決定する決定手段と、決定された前記はがれ領域に含まれる画素数を用いて、前記遮熱材のはがれ率を算出する算出手段と、を備える情報処理装置である。

【発明の効果】

【0006】

本発明によれば、遮熱性舗装における遮熱材のはがれを定量的に算出することができるという効果を奏する。

【図面の簡単な説明】

【0007】

【図1】路面性状調査システムの全体構成の一例を示す図である。

【図2】情報処理装置およびデータ取得装置のハードウエア構成の一例を示す図である。

【図3】路面性状調査システムの機能構成の一例を示す図である。

【図4】取得データ管理テーブルの一例を示す概念図である。

【図5】撮影システムを用いたデータ取得処理の一例を示すシーケンス図である。

【図6】撮影システムによって取得される路面映像データについて説明するための図である。

【図7】情報処理装置を用いた路面性状の評価処理の一例を示すシーケンス図である。

【図8】遮熱性舗装が施された路面における塗装のはがれについて説明するための図である。

【図9】遮熱材のはがれ率の算出処理の一例を示すフローチャートである。

【図10】（Ａ）は、輝度画像の一例を示す模式図であり、（Ｂ）は、輝度画像の各画素の輝度値の整数変換後の画像の一例を示す模式図である。

【図11】ＥＭアルゴリズムによって推定された混合分布の一例を示す図である。

【図12】情報処理装置に表示される評価画面の一例を示す図である。

【図13】（Ａ）（Ｂ）決定部によって決定された輝度画像の領域の一例を説明するための図である。

【図14】評価画像の一例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

【0009】

●システムの概略●
まず、図１を用いて、本実施形態に係る路面性状調査システムの概略について説明する。図１は、路面性状調査システムの全体構成の一例を示す図である。図１に示されている路面性状調査システム１は、撮影システム９によって取得された各種データを用いて、路面性状の調査を行うシステムである。

【0010】

路面性状調査システム１は、路面ｒｓ１等の構造物のひび割れ等の性状を調査する撮影システム９、および撮影システム９で取得された各種データを評価する情報処理装置３によって構成されている。構造物は、歩道面、車が走行する車道面（路面）、電車が走行する線路、法面、トンネルの内面、または道路上の構造物等である。なお、道路上の構造物は、例えば、路端部上に設置される標識または電柱等である。

【0011】

以降は、車両６が走行する路面の性状を調査する場合について説明する。路面性状調査システム１は、例えば、一方に長く延びる構造物を一定の区間に区切ってその表面性状を調査する場合に利用される。

【0012】

図１に示されているように、撮影システム９は、車両６、路面カメラ６１、データ取得装置５、およびＧＮＳＳ(Global Navigation Satellite System：全球測位衛星システム)センサ６５を有している。路面カメラ６１、データ取得装置５およびＧＮＳＳセンサ６５は、車両６に搭載されている。なお、「路面カメラ６１」は、複数の路面カメラの総称である。ＧＮＳＳは、ＧＰＳ(Global Positioning System)または準天頂衛星（QZSS）等の衛星測位システムの総称である。

【0013】

路面カメラ６１は、車両６のルーフ後部に、進行方向とは反対の方向に向けて設けられ、車両６の後方の路面ｒｓ１を撮像するステレオカメラである。なお、路面カメラ６１は、車両６のルーフの前部に進行方向と同じ方向に向けて設けてもよく、車両６のルーフの側部に進行方向と直角（または略直角）方向に向けて設けてもよい。また、路面カメラ６１は、ステレオカメラに限られず、光電変換素子を一列または複数列に配置させたラインセンサを搭載したラインカメラ、または光電変換素子が面状に配置されたエリアセンサを搭載したカメラ等の撮像装置であってもよい。路面カメラ６１は、撮像手段の一例である。

【0014】

ＧＮＳＳセンサ６５は、複数のＧＮＳＳ衛星が発信した各時間の信号を受信し、各信号を受信した時刻との差で衛星までの距離を算出することで、地球上の位置を計測する測位手段の一例である。測位手段は、測位専用の装置であってもよく、ＰＣまたはスマートフォン等にインストールされた測位専用のアプリケーションであってもよい。

【0015】

また、上記各計測データには、各路面映像データおよび測定位置データが含まれている。これらのうち、各路面映像データは、路面カメラ６１によって得られた映像（動画）のデータである。この各路面映像データでは、映像のフレームデータ毎に、メタデータとして撮影された時刻を示す撮影時刻データが付加されている。なお、路面カメラ６１によって、映像（動画）の路面映像データだけでなく、静止画または静止画の集合によるデータを得るようにしてもよい。

【0016】

測定位置データは、ＧＮＳＳセンサ６５によって得られたデータである。この測定位置データには、メタデータとして測位された時刻を示す測位時刻データが付加されている。

【0017】

データ取得装置５は、路面カメラ６１およびＧＮＳＳセンサ６５から取得した各種データを取得するＰＣ(Personal Computer)である。各計測データは、情報処理装置３に受け渡され、情報処理装置３での評価（データ解析）に用いられる。なお、データ取得装置５から情報処理装置３への計測データの受け渡し方法は、ＬＡＮ(Local Area Network)、Ｗｉ－Ｆｉ(Wireless Fidelity（登録商標）)、４Ｇ(4th Generation)、５Ｇ（5th Generation）、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等を使った無線通信、ＵＳＢ(Universal Serial Bus)ケーブル等を使った有線通信、またはＵＳＢメモリ等を使った人的な移動が挙げられる。

【0018】

情報処理装置３は、データ取得装置５から受け渡された各計測データに基づいて、構造物の性状を評価するＰＣである。情報処理装置３には、構造物の性状を評価するための専用アプリケーションプログラムがインストールされている。情報処理装置３は、各路面映像データから路面ｒｓ１の凹凸等の表面性状を計測し、計測結果に基づいて、路面ｒｓ１の損傷の有無、損傷の度合いを評価する。また、情報処理装置３は、構造物性状の評価結果、測定位置データ、および自治体もしくは国（以下、「道路管理者」と記す）から取得した道路台帳等のデータを利用して、道路管理者が定めるフォーマットに従った提出書類のデータを作成する。道路台帳には、実際の正確な道路の位置を示す実際位置データが含まれている。

【0019】

なお、道路台帳には、道路地図が掲載されているが、正確な道路位置情報（測位情報：緯度、経度値）が含まれていない場合がある。この場合、正確な道路測位情報を得るためには、道路地図と、測位地図情報（国土地理院等が保有している、緯度、経度値情報）を照合する必要がある。そして、情報処理装置３によって作成された提出書類のデータは、道路管理者に、電子データまたは書類に印刷した状態で提出される。なお、情報処理装置３は、ＰＣに限られず、スマートフォンまたはタブレット端末等であってもよい。また、情報処理装置３は、車両６に搭載されていてもよい。

【0020】

●ハードウエア構成●
続いて、図２を用いて、路面性状調査システム１を構成する各装置のハードウエア構成について説明する。なお、図２に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。

【0021】

●情報処理装置のハードウエア構成
図２は、情報処理装置のハードウエア構成の一例を示す図である。情報処理装置３の各ハードウエア構成は、３００番台の符号で示されている。情報処理装置３は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤ(Hard Disk)３０４、ＨＤＤ(Hard Disk Drive)コントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ(Interface)３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、キーボード３１１、ポインティングデバイス３１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ３１４、メディアＩ／Ｆ３１６、およびタイマ３１７を備えている。

【0022】

これらのうち、ＣＰＵ３０１は、情報処理装置３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ３０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ３０６は、表示部の一例である。なお、ディスプレイ３０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリまたはプリンタ等である。ネットワークＩ／Ｆ３０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

【0023】

また、キーボード３１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１２は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード３１１およびポインティングデバイス３１２のみならず、タッチパネルまたは音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ３１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲまたはＢｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイ（登録商標）ディスク）等であってもよい。メディアＩ／Ｆ３１６は、フラッシュメモリ等の記録メディア３１５に対するデータの読み出しまたは書き込み（記憶）を制御する。タイマ３１７は、時間計測機能を有する計測装置である。タイマ３１７は、コンピュータによるソフトタイマでもよい。

【0024】

●データ取得装置のハードウエア構成
図２は、データ取得装置のハードウエア構成の一例を示す図である。データ取得装置５の各ハードウエア構成は、括弧内の５００番台の符号で示されている。データ取得装置５は、コンピュータによって構築されており、図２に示されているように、情報処理装置３と同様の構成を備えているため、各ハードウエア構成の説明を省略する。

【0025】

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、実施形態に係る情報処理装置３は、本発明に係るプログラムが実行されることで本発明に係る情報処理方法を実現する。

【0026】

●機能構成●
続いて、図３および図４を用いて、実施形態に係る路面性状調査システムの機能構成について説明する。図３は、実施形態に係る路面性状調査システムの機能構成の一例を示す図である。なお、図３には、図１に示されている装置のうち、後述の処理または動作に関連しているものが示されている。

【0027】

●情報処理装置の機能構成
まず、図３を用いて、情報処理装置３の機能構成について説明する。情報処理装置３は、通信部３１、受付部３２、表示制御部３３、輝度画像取得部３４、変換部３５、推定部３６、決定部３７、算出部３８、作成部４１および記憶・読出部３９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開され情報処理装置用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能または手段である。また、情報処理装置３は、図２に示されているＲＯＭ３０２およびＨＤ３０４によって構築される記憶部３０００を有している。

【0028】

通信部３１は、主に、ネットワークＩ／Ｆ３０９に対するＣＰＵ３０１の処理によって実現され、通信ネットワークを介して、他の装置との間で各種データまたは情報の通信を行う。通信部３１は、例えば、データ取得装置５との間で、路面性状の評価に係る各種データを送受信する。

【0029】

受付部３２は、主に、キーボード３１１またはポインティングデバイス３１２に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。受付部３２は、例えば、後述する評価画面４００に対する各種選択または入力を受け付ける。表示制御部３３は、主に、ＣＰＵ３０１の処理によって実現され、ディスプレイ３０６に、各種画像を表示させる。表示制御部３３は、例えば、後述する評価画面４００を、ディスプレイ３０６に表示させる。

【0030】

輝度画像取得部３４は、ＣＰＵ３０１の処理によって実現され、撮影画像の画素ごとの輝度を示す輝度画像を取得する。変換部３５は、ＣＰＵ３０１の処理によって実現され、輝度画像における輝度値の整数変換を行う。推定部３６は、ＣＰＵ３０１の処理によって実現され、輝度画像の画素ごとの輝度値の出現頻度に基づいて、路面の遮熱性舗装の領域を示す塗装領域および塗装（遮熱材）のはがれの領域を示すはがれ領域の輝度分布を推定する。

【0031】

決定部３７は、ＣＰＵ３０１の処理によって実現され、推定部３６によって推定された輝度分布に基づいて、輝度画像におけるはがれ領域を決定する。算出部３８は、ＣＰＵ３０１の処理によって実現され、決定部３７によって決定されたはがれ領域に含まれる画素数を用いて、塗装（遮熱材）のはがれ率を算出する。作成部４１は、ＣＰＵ３０１の処理によって実現され、算出部３８によるはがれ率の算出結果を示す評価画像を作成する。

【0032】

記憶・読出部３９は、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００に、各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

【0033】

●データ取得装置の機能構成
次に、図３を用いて、データ取得装置５の機能構成について説明する。データ取得装置５は、通信部５１、判断部５２、撮影制御部５３、センサ制御部５４、時刻データ取得部５５、要求受付部５６、データ管理部５７および記憶・読出部５９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたデータ取得装置用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、データ取得装置５は、図２に示されているＲＯＭ５０２およびＨＤ５０４によって構築される記憶部５０００を有している。

【0034】

通信部５１は、主に、ネットワークＩ／Ｆ５０９に対するＣＰＵ５０１の処理によって実現され、通信ネットワークを介して、他の装置との間で各種データまたは情報の通信を行う。通信部５１は、例えば、撮影制御部５３およびセンサ制御部５４によって取得された取得データを、情報処理装置３に対して送信する。判断部５２は、ＣＰＵ５０１の処理によって実現され、各種判断を行う。

【0035】

撮影制御部５３は、主に、外部機器接続Ｉ／Ｆ５０８に対するＣＰＵ５０１の処理によって実現され、路面カメラ６１による撮影処理を制御する。また、撮影制御部５３は、路面カメラ６１によって撮影された撮像画像に係る撮像画像データ（路面映像データ）を取得する。センサ制御部５４は、主に、外部機器接続Ｉ／Ｆ５０８に対するＣＰＵ５０１の処理によって実現され、ＧＮＳＳセンサ６５に対するデータ取得処理を制御する。また、センサ制御部５４は、ＧＮＳＳセンサ６５による測位結果である測位位置データを取得する。時刻データ取得部５５は、主に、タイマ５１７に対するＣＰＵ５０１の処理によって実現され、撮影制御部５３またはセンサ制御部５４によってデータが取得された時刻を示す時刻データ（撮影時刻データ、測位時刻データ）を取得する。

【0036】

要求受付部５６は、主に、キーボード５１１またはポインティングデバイス５１２に対するＣＰＵ５０１の処理によって実現され、利用者からの所定の要求を受け付ける。データ管理部５７は、主に、ＣＰＵ５０１の処理によって実現され、各種データの管理を行う。データ管理部５７は、例えば、路面カメラ６１およびＧＮＳＳセンサ６５から送信された路面映像データおよび測位位置データを、取得データ管理ＤＢ５００１に登録する。

【0037】

記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

【0038】

○取得データ管理テーブル
図４は、取得データ管理テーブルの一例を示す概念図である。取得データ管理テーブルは、データ取得装置５によって取得された各種取得データを管理するためのテーブルである。記憶部５０００には、図４に示されているような取得データ管理テーブルによって構成されている取得データ管理ＤＢ５００１が構築されている。この取得データ管理テーブルは、フォルダごとに、路面映像データ、測位位置データおよび取得時刻を関連づけて管理している。

【0039】

これらのうち、路面映像データは、路面カメラ６１によって撮影された撮像データのデータファイルである。測位位置データは、ＧＮＳＳセンサ６５によって計測された測位位置を示すデータである。さらに、取得時刻は、路面映像データおよび測位位置データが取得された時刻を示す時刻データである。一つの点検工程において取得されたデータは、同一のフォルダ内に記憶される。

【0040】

●実施形態の処理または動作●
●データ取得処理
続いて、図５乃至図１４を用いて、実施形態に係る路面性状調査システムの処理または動作について説明する。まず、図５および図６を用いて、撮影システム９を用いたデータ取得処理について説明する。構造物性状の点検作業者は、例えば、車両６に搭乗して道路上の存在する路面状態の撮影を行う。以下、詳細に説明する。

【0041】

図５は、撮影システムを用いたデータ取得処理の一例を示すシーケンス図である。まず、点検作業者が所定の入力操作等を行うことで、データ取得装置５の要求受付部５６は、データ取得開始要求を受け付ける（ステップＳ１１）。そして、データ取得装置５は、路面カメラ６１およびＧＮＳＳセンサ６５を用いたデータ取得処理を実行する（ステップＳ１２）。具体的には、撮影制御部５３は、路面カメラ６１に対して撮影要求を行うことで、所定の領域に対する撮影処理を開始する。また、センサ制御部５４は、路面カメラ６１による撮影処理と同期させながら、ＧＮＳＳセンサ６５による検知処理を開始する。そして、撮影制御部５３は、路面カメラ６１によって取得された路面映像データを取得し、センサ制御部５４は、ＧＮＳＳセンサ６５によって取得された測位位置データを取得する。また、時刻データ取得部５５は、撮影制御部５３およびセンサ制御部５４によって各種データが取得された時刻を示す時刻データを取得する。

【0042】

そして、データ管理部５７は、ステップＳ１２で取得された取得データを、取得データ管理ＤＢ５００１（図４参照）に登録する（ステップＳ１３）。データ管理部５７は、取得データに含まれている各データの取得時刻を示す時刻データに関連づけて、路面映像データおよび測位位置データを一つのフォルダに記憶する。

【0043】

ここで、図６を用いて、撮影システム９を用いたデータ取得処理の概略について説明する。図６は、撮影システムによって取得される路面映像データについて説明するための図である。図６に示されているように、車両６のルーフ後部には、二つの路面カメラ６１ａ，６１ｂが設けられている。また、各路面カメラ６１ａ，６１ｂは、斜め下方の路面ｒｓ１に向くように一列に並べて配置されており、それぞれ路面ｒｓ１の所定範囲を撮影範囲ｐｒ１ａ，ｐｒ１ｂとして撮像する。路面カメラ６１は、車両６の進行方向に対して画像の一部が重なり合うタイミングで撮像を繰り返し行う。路面カメラ６１は、路面ｒｓ１の幅方向全体を撮像可能なように複数台設置されるため、幅方向に対しても画像の一部が重なり合うように複数台が同時に撮像を行う。

【0044】

車両６は、路面ｒｓ１上を走行しながら、路面カメラ６１で路面ｒｓ１の所定範囲を、進行方向にその一部が重なるように撮像していく。なお、路面カメラ６１は、車両６の前方のナンバープレート周辺に設置されてもよい。また、路面カメラ６１は、車両６に三つ以上設置されてもよい。道路幅が狭い場合には、車両６に路面カメラを一つだけ設置されるようにしてもよい。路面カメラ６１がステレオカメラである場合、路面カメラ６１は、例えば、左右に並べた二つのカメラの視差情報を利用し、評価対象の路面ｒｓ１に形成された凹凸等の奥行き情報を取得する。

【0045】

このように、撮影システム９は、車両６を走行させながら、データ取得装置５に備えられた路面カメラ６１を用いて、路面を撮影する。データ取得装置５は、車両６の走行に伴い、路面映像データおよび測位位置データを時系列に取得していく。このとき、路面カメラ６１およびＧＮＳＳセンサ６５は、時刻同期が取られており、撮影時の車両６の姿勢から撮像画像の傾き補正（画像補正）が行われ、撮影時刻から路面映像データと測位位置データ（北緯東経）が紐づけられる。

【0046】

●路面性状の評価処理
次に、図７および図１４を用いて、情報処理装置３における路面性状の解析処理について説明する。図７は、情報処理装置を用いた路面性状の評価処理の一例を示すシーケンス図である。

【0047】

まず、情報処理装置３の通信部３１は、データ取得装置５に対して、データ送信要求を送信する（ステップＳ３１）。このデータ送信要求は、要求対象のデータが記憶されたフォルダ名を含む。これにより、データ取得装置５の通信部５１は、情報処理装置３から送信されたデータ送信要求を受信する。

【0048】

次に、データ取得装置５の記憶・読出部５９は、ステップＳ３１で受信されたデータ送信要求に含まれているフォルダ名を検索キーとして取得データ管理ＤＢ５００１を検索することにより、データ送信要求に含まれているフォルダ名に関連づけられた取得データを読み出す（ステップＳ３２）。そして、通信部５１は、情報処理装置３に対して、ステップＳ３２で読み出された取得データを送信する（ステップＳ３３）。この取得データは、路面映像データ、測位位置データおよび時刻データを含む。これにより、情報処理装置３の通信部３１は、データ取得装置５から送信された取得データを受信する。

【0049】

次に、情報処理装置３は、ステップＳ３３で受信された取得データを用いて、遮熱性舗装の遮熱材のはがれ率の算出処理を実行する（ステップＳ３４）。ここで、遮熱性舗装が施された路面の状態について説明する。図８は、遮熱性舗装が施された路面における遮熱材のはがれについて説明するための図である。図８に示されているように、遮熱性舗装が施された路面は、遮熱性舗装が施された塗装領域と、舗装剥離が発生したはがれ領域と、路面上の空隙が存在する空隙箇所である空隙領域とに分類される。遮熱性舗装とは、舗装表面に赤外線を反射させる遮熱性樹脂を塗布したり、遮熱モルタルを充填したりすることにより、舗装の路面温度の上昇を抑制することができる。はがれ領域とは、遮熱性舗装による塗装が剥がれた領域であり、塗装のはがれは、経年劣化により発生する。また、塗装領域、はがれ領域および空隙領域の明るさは、塗装領域が最も明るく、空隙領域が最も暗くなることが図８から推察される。そこで、情報処理装置３は、撮像画像の輝度値を利用して、路面における塗装のはがれが発生したはがれ領域の割合を示すはがれ率の算出を行う。以下詳細に説明する。

【0050】

○はがれ率の算出処理
ここで、図９乃至図１３を用いて、遮熱性舗装の遮熱材のはがれ率のはがれ率の算出処理について説明する。図９は、遮熱材のはがれ率の算出処理の一例を示すフローチャートである。

【0051】

まず、情報処理装置３の輝度画像取得部３４は、ステップＳ３３で受信された路面映像データの輝度画像を取得する（ステップＳ５１）。具体的には、輝度画像取得部３４は、受信された路面映像データを、静止画としての撮像画像の画像データとして分割する。そして、輝度画像取得部３４は、分割された画像データに対して、各画像データに含まれる各画素の輝度値を示す輝度画像（図１０（Ａ）参照）を取得する。なお、説明を簡略化するため、図１０（Ａ）に示されている輝度画像の大きさは、５×５ｐｉｘｅｌである例を示すが、輝度画像の大きさは、これに限られず、５００×５００ｐｉｘｅｌのようなサイズであってもよい。

【0052】

次に、変換部３５は、輝度画像取得部３４によって取得された輝度画像に含まれる輝度値を、整数値に変換する（ステップＳ５２）。図１０（Ｂ）に示されているように、変換部３５は、例えば、０～２５５の範囲で輝度値の整数変換を行う。図１０（Ａ）に示されている輝度画像の各画素の輝度値は、その大きさに応じて、図１０（Ｂ）に示されているような０～２５５の整数値に変換される。なお、変換部３５による整数変換の範囲は、０～２５５に限られない。そして、変換部３５は、一つの輝度画像に含まれる整数値の出現頻度を、輝度ヒストグラムとして算出する（ステップＳ５３）。

【0053】

次に、推定部３６は、変換部３５によって算出された輝度値のヒストグラムに基づいて、遮熱性舗装の塗装領域の輝度分布と遮熱材のはがれが発生したはがれ領域の輝度分布を含む混合分布を推定する（ステップＳ５４）。具体的には、推定部３６は、算出されたヒストグラムが、塗装領域に属する画素の輝度分布と、はがれ領域に属する画素の輝度分布の混合分布に近似できると仮定し、二つの分布を混合させた（足し合わせた）混合分布の推定を行う。推定部３６は、ＥＭアルゴリズム（expectation-maximization algorithm）と呼ばれる確率分布のパラメータを推定する手法に従って、下記（式１）に示されているような混合正規分布ｐ（ｘ）を推定する。

【0054】

【数1】

【0055】

本例では、ＥＭアルゴリズムを輝度分布の推定に適用する。ここで、ｘは輝度値であり、ｐ_ｋ（ｘ）は推定された各領域の分布であり、ｐ_ｋ（ｘ）は平均値μ_ｋ、分散σ_ｋから決まる正規分布である。また、ａ_ｋは各分布がｐ（ｘ）にどれだけ寄与しているか、つまり混合比率を表している。ＥＭアルゴリズムでは、μ_ｋ、σ_ｋ、ａ_ｋの三つのパラメータを初期値から更新していくことで、ｐ（ｘ）の推定を行う。μ_ｋ、ａ_ｋの初期値は、輝度画像ごとにヒストグラムから各正規分布が最大となる点（分布の頂点）を推定し、その点の輝度、頻度の値にそれぞれ設定する。なお、（式１）は、混合正規分布ｐ（ｘ）を算出する例を示したが、推定部３６は、正規分布に限られず、ベータ分布等のその他の分布を用いて混合分布を算出する構成であってもよい。

【0056】

図１１は、ＥＭアルゴリズムによって推定された混合分布の一例を示す図である。図１１は、ステップＳ５４で推定された塗装領域とはがれ領域の輝度分布の混合分布、およびステップＳ５３で算出された輝度ヒストグラムを示している。図１１に示されているように、推定部３６は、上述の（式１）を用いた処理によって、塗装領域の輝度分布とはがれ領域の輝度分布の二つの分布の混合分布を推定する。例えば、（式１）は、ｐ（ｘ）＝ａ_１ｐ_１（ｘ）＋ａ_２ｐ_２（ｘ）と書き下すことができ、ａ_１ｐ_１（ｘ）は、図１２に示す実線の分布となり、塗装領域の輝度分布を示す。一方で、ａ_２ｐ_２（ｘ）は、図１２に示す破線の分布となり、はがれ領域の輝度分布を示す。このような二つの分布を混合させた（足し合わせたような）分布が混合分布ｐ（ｘ）となる。

【0057】

次に、表示制御部３３は、路面性状の評価を行うための評価画面４００を、ディスプレイ３０６に表示させる（ステップＳ５５）。図１２は、情報処理装置に表示される評価画面の一例を示す図である。図１２に示されている評価画面４００は、塗装領域とはがれ領域を分けるための輝度閾値（第１の閾値）を設定するための設定領域４１０、はがれ領域と空隙領域を分けるための輝度閾値（第２の閾値）を設定するための設定領域４３０、ステップＳ５３で算出された輝度ヒストグラムおよびステップＳ５４で推定された混合分布を表示させる表示領域４５０、はがれ率の値を示すはがれ率表示領域４９０、および撮像画像における各画素の属する領域を示した設定用画像を表示させる表示領域２００を含む。

【0058】

このうち、設定領域４１０は、輝度の整数値の範囲４１１における輝度閾値（第１の閾値）の設定値を示す設定ポイント４１３、および輝度閾値（第１の閾値）の値を直接入力するための入力領域４１５を含む。同様に、設定領域４３０は、輝度の整数値の範囲４３１における輝度閾値（第２の閾値）の設定値を示す設定ポイント４３３、および輝度閾値（第２の閾値）の値を直接入力するための入力領域４３５を含む。また、表示領域４５０は、混合分布における輝度閾値に該当する箇所を表示している。

【0059】

次に、受付部３２は、ディスプレイ３０６に表示された評価画面４００に対する輝度閾値の入力が受け付ける（ステップＳ５６）。利用者は、整数値の範囲４１１，４３１の間で、設定ポイント４１３，４３３をポインティングデバイス３１２等の入力手段を用いて移動させることで、閾値の箇所を視覚的に把握しながら輝度閾値を入力することができる。なお、利用者は、入力領域４１５，４３５に数値を入力することで、輝度閾値を入力してもよい。

【0060】

また、表示領域２００は、入力された輝度閾値およびステップＳ５２で算出された画素ごとの輝度値に基づいて、領域ごとに色分けされた撮像画像を設定用画像として表示する。利用者は、表示領域２００に表示された画像を確認しながら、入力する輝度閾値の値を調整する。

【0061】

次に、決定部３７は、受付部３２によって入力された輝度閾値の値に基づいて、塗装領域とはがれ領域を分けるための輝度の閾値を、撮像画像ごとに決定する（ステップＳ５７）。また、決定部３７は、ステップＳ５７によって決定された輝度閾値に基づいて、撮像画像の各画素が、塗装領域、はがれ領域および空隙領域のいずれの領域に属するかを決定する（ステップＳ５８）。図１３（Ａ）に示されているように、決定部３７は、輝度画像の各画素の輝度値（整数値）と、輝度閾値を比較することで、各画素が属する領域を決定する。図１３（Ａ）の例では、塗装領域とはがれ領域の輝度閾値（第１の閾値）は、１１５であり、はがれ領域と空隙領域の輝度閾値（第２の閾値）は、５９である。

【0062】

次に、算出部３８は、決定部３７によって決定された各領域の大きさ、すなわち各領域に属する画素数の総和を、撮像画像ごとに算出する（ステップＳ５９）。図１３（Ｂ）は、図１２（Ａ）に示されている各領域に属する画素数の総和を示す。図１２（Ｂ）の例の場合、塗装領域の画素数は１１、はがれ領域の画素数は８、空隙領域の画素数は６である。

【0063】

そして、算出部３８は、ステップＳ５９で算出された各領域の大きさを用いて、撮像画像が示す路面における塗装のはがれ率を算出する（ステップＳ６０）。算出部３８は、下記（式２）を用いて、撮像画像ごとにはがれ率をそれぞれ算出する。

【0064】

【数2】

【0065】

ここで、はがれ領域の画素数は、ステップＳ５９で算出されたはがれ領域に属する画素数であり、空隙領域の画素数は、ステップＳ５９で算出された空隙領域に属する画素数であり、全画素数は、撮像画像全体の画素数、すなわち塗装領域、はがれ領域および空隙領域に属する画素数の総和である。図１３（Ｂ）の例では、はがれ領域の画素数は８、空隙領域の画素数は６、全画素数は２５であるため、算出部３８は、はがれ率４２．１％を算出する。算出部３８は、上記（式２）を用いることで、遮熱性舗装に対する遮熱材のはがれのみを含んだはがれ率として、遮熱材のはがれの状況をより精度良く算出することができる。

【0066】

このように、情報処理装置３は、路面が撮影された撮像画像の輝度値に基づいて決定されたはがれ領域に基づいて遮熱材のはがれ率を算出することで、処理に要する時間を低減することができるとともに、遮熱性舗装における遮熱材のはがれを定量的に算出することができる。

【0067】

図７に戻り、情報処理装置３の作成部４１は、算出部３８によるはがれ率の算出結果の評価画像を作成する（ステップＳ３６）。具体的には、作成部４１は、ステップＳ３４で受信された路面映像データが分割された撮像画像に対応する測位位置情報および時刻データを用いて、模式的に路面を再現した評価画像を作成する。図１４に示されているように、作成部４１は、複数の撮像画像の相対位置に基づいて、複数の撮像画像を並べる。そして、作成部４１は、撮像画像ごとのはがれ率の値を用いて、並べられた撮像画像の濃淡または色彩で、はがれ率を表現する。作成部４１は、例えば、はがれ率が高い撮像画像の位置を暗くし、はがれ率が低い撮像画像の位置を明るくする。

【0068】

また、作成部４１は、以下表１に示されているように、撮像画像の撮影区間ごとのはがれ率の平均値を算出する。そして、作成部４１は、図１４に示されている評価画像の対応する区間に応じて算出したはがれ率の値を表示させる。なお、作成部４１によって作成される評価画像の内容は、これに限られず、撮影画像ごとにはがれ率の値を個別に示す内容であってもよい。また、作成部４１によって作成された評価画像は、図１に示されている道路管理者に提供される提出書類に含まれていてもよい。

【0069】

【表1】

【0070】

●実施形態の効果
以上説明したように、路面性状調査システム１は、車両６に搭載された路面カメラ６１によって撮影された撮像画像の輝度分布に基づいて遮熱材のはがれ率の算出を行うことで、算出処理に要する時間を低減させることができる。また、路面性状調査システム１は、従来の撮像画像の目視によるはがれの状態を確認する方法と比較して、遮熱性舗装における遮熱材のはがれを定量的に算出することができる。これにより、路面性状調査システム１は、遮熱性舗装における遮熱材のはがれの点検効率を大幅に向上させることができる。

【0071】

●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、路面上を走行した車両６の路面カメラ６１（撮像手段の一例）から取得された当該路面の撮像画像を評価する情報処理装置３であって、撮影画像の画素ごとの輝度を示す輝度画像を取得し、輝度画像の画素ごとの輝度値の出現頻度に基づいて、路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する。そして、情報処理装置３は、推定された輝度分布に基づいて、輝度画像におけるはがれ領域を決定し、決定されたはがれ領域に含まれる画素数を用いて、遮熱材のはがれ率を算出する。これにより、情報処理装置３は、処理に要する時間を低減することができるとともに、遮熱性舗装の遮熱材のはがれを定量的に算出することができる。

【0072】

また、本発明の一実施形態に係る情報処理装置３は、所定の入力操作に基づいて、路面の空隙の領域を示す空隙領域を決定し、はがれ領域および空隙領域に含まれる画素数を用いて、遮熱材のはがれ率を算出する。これにより、情報処理装置３は、遮熱材のはがれのみを含んだはがれ率として、遮熱材のはがれの状況をより精度良く算出することができる。

【0073】

さらに、本発明の一実施形態に係る路面性状調査システム１は、情報処理装置３と、車両６と、を備え、車両６は、路面上の走行に応じて路面カメラ６１（撮像手段の一例）によって撮像画像を取得する。これにより、路面性状調査システム１は、路面の塗装のはがれの点検効率を大幅に向上させることができる。

【0074】

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。

【0075】

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習および深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

【0076】

これまで本発明の一実施形態に係る情報処理装置、路面性状調査システム、情報処理方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0077】

１ 路面性状調査システム
３ 情報処理装置
５ データ取得装置
６ 車両
９ 撮影システム
６１ 路面カメラ（撮像手段の一例）
６５ ＧＮＳＳセンサ
３１ 通信部
３４ 輝度画像取得部（輝度画像取得手段の一例）
３５ 変換部
３６ 推定部（推定手段の一例）
３７ 決定部（決定手段の一例）
３８ 算出部（算出手段の一例）
４１ 作成部
５１ 通信部

【先行技術文献】

【特許文献】

【0078】

【特許文献1】特開２０１９－３３４７８号公報

【非特許文献】

【0079】

【非特許文献1】「６.遮熱性舗装のはがれ対策に関する室内試験による検証」（平２５．土木技術支援・人材育成センター年報、Annual Report、C.E.S.T.C., TMG 2013）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】