IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧 ▶ 株式会社オリエンタルコンサルタンツの特許一覧

特開2022-25734情報処理装置、路面性状調査システム、情報処理方法およびプログラム
<>
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図1
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図2
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図3
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図4
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図5
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図6
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図7
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図8
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図9
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図10
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図11
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図12
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図13
  • 特開-情報処理装置、路面性状調査システム、情報処理方法およびプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022025734
(43)【公開日】2022-02-10
(54)【発明の名称】情報処理装置、路面性状調査システム、情報処理方法およびプログラム
(51)【国際特許分類】
   E01C 23/01 20060101AFI20220203BHJP
   G06T 1/00 20060101ALI20220203BHJP
【FI】
E01C23/01
G06T1/00 A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2020128784
(22)【出願日】2020-07-30
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(71)【出願人】
【識別番号】390034463
【氏名又は名称】株式会社オリエンタルコンサルタンツ
(74)【代理人】
【識別番号】100110607
【弁理士】
【氏名又は名称】間山 進也
(72)【発明者】
【氏名】近清 なつみ
(72)【発明者】
【氏名】塚本 和樹
(72)【発明者】
【氏名】岩男 誠二
(72)【発明者】
【氏名】田中 志和
(72)【発明者】
【氏名】植田 知孝
【テーマコード(参考)】
2D053
5B050
【Fターム(参考)】
2D053AA32
2D053AB03
2D053FA02
5B050CA07
5B050DA02
5B050EA06
5B050FA09
(57)【要約】      (修正有)
【課題】遮熱性舗装における遮熱材のはがれを定量的に算出する情報処理装置及び路面性状調査システムを提供する。
【解決手段】路面上を走行した車両の路面カメラ(撮像手段の一例)から取得された当該路面の撮像画像を評価する情報処理装置は、撮影画像の画素ごとの輝度を示す輝度画像を取得し、輝度画像の画素ごとの輝度値の出現頻度に基づいて、路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する。そして、情報処理装置は、推定された輝度分布に基づいて、輝度画像におけるはがれ領域を決定し、決定されたはがれ領域に含まれる画素数を用いて、遮熱材のはがれ率を算出する。
【選択図】図11
【特許請求の範囲】
【請求項1】
路面上を走行した車両の撮像手段から取得された当該路面の撮像画像を評価する情報処理装置であって、
前記撮像画像の画素ごとの輝度を示す輝度画像を取得する輝度画像取得手段と、
前記輝度画像の画素ごとの輝度値の出現頻度に基づいて、前記路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する推定手段と、
推定された前記輝度分布に基づいて、前記輝度画像における前記はがれ領域を決定する決定手段と、
決定された前記はがれ領域に含まれる画素数を用いて、前記遮熱材のはがれ率を算出する算出手段と、
を備える情報処理装置。
【請求項2】
前記決定手段は、所定の入力操作に基づいて、前記路面の空隙の領域を示す空隙領域を決定し、
前記算出手段は、前記はがれ領域および前記空隙領域に含まれる画素数を用いて、前記はがれ率を算出する請求項1に記載の情報処理装置。
【請求項3】
前記決定手段は、前記輝度分布に示される輝度値の高い順に、前記塗装領域、前記はがれ領域、前記空隙領域を決定する請求項2に記載の情報処理装置。
【請求項4】
前記算出手段は、下記(式2)を用いて、前記はがれ率を算出する請求項2または3に記載の情報処理装置。
【数1】
【請求項5】
前記推定手段は、EMアルゴリズムに基づく混合分布を用いて、前記輝度分布を推定する請求項1乃至4のいずれか一項に記載の情報処理装置。
【請求項6】
前記決定手段は、推定された前記塗装領域の輝度分布と前記はがれ領域との輝度分布に基づいて決定される前記塗装領域と前記はがれ領域の輝度の閾値を用いて、前記はがれ領域を決定する請求項1乃至5のいずれか一項に記載の情報処理装置。
【請求項7】
請求項1乃至6のいずれか一項に記載の情報処理装置と、前記車両と、を備える路面性状調査システムであって、
前記車両は、路面上の走行に応じて前記撮像手段によって前記撮像画像を取得する路面性状調査システム。
【請求項8】
路面上を走行した車両の撮像手段から取得された当該路面の撮像画像を評価する情報処理装置が実行する情報処理方法であって、
前記撮像画像の画素ごとの輝度を示す輝度画像を取得する輝度画像取得ステップと、
前記輝度画像の画素ごとの輝度値の出現頻度に基づいて、前記路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する推定ステップと、
推定された前記輝度分布に基づいて、前記輝度画像における前記はがれ領域を決定する決定ステップと、
決定された前記はがれ領域に含まれる画素数を用いて、前記遮熱材のはがれ率を算出する算出ステップと、
を実行する情報処理方法。
【請求項9】
コンピュータに、請求項8に記載の方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示内容は、情報処理装置、路面性状調査システム、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、施工から長期間経過した道路上の構造物の劣化が著しく、このような構造物の点検および老朽化保全の必要性が増してきている。そのため、走行中の車両や人に損害を与える可能性がある道路上の構造物に対して、定期的な点検を行い、国または自治体への点検結果の報告が行われている(特許文献1参照)。
【0003】
また、道路の舗装表面には、表面温度の上昇を抑制するための遮熱性舗装が施されている。この遮熱性舗装は、経年劣化により塗装(遮熱材)のはがれが発生することが知られており、定期的な点検が必要となる(非特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の方法では、目視や手作業に頼る部分が多く、調査に時間がかかるとともに、定量的に遮熱材のはがれを算出することが困難であるという課題があった。
【課題を解決するための手段】
【0005】
上述した課題を解決すべく、請求項1に係る発明は、路面上を走行した車両の撮像手段から取得された当該路面の撮像画像を評価する情報処理装置であって、前記撮像画像の画素ごとの輝度を示す輝度画像を取得する輝度画像取得手段と、前記輝度画像の画素ごとの輝度値の出現頻度に基づいて、前記路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する推定手段と、推定された前記輝度分布に基づいて、前記輝度画像における前記はがれ領域を決定する決定手段と、決定された前記はがれ領域に含まれる画素数を用いて、前記遮熱材のはがれ率を算出する算出手段と、を備える情報処理装置である。
【発明の効果】
【0006】
本発明によれば、遮熱性舗装における遮熱材のはがれを定量的に算出することができるという効果を奏する。
【図面の簡単な説明】
【0007】
図1】路面性状調査システムの全体構成の一例を示す図である。
図2】情報処理装置およびデータ取得装置のハードウエア構成の一例を示す図である。
図3】路面性状調査システムの機能構成の一例を示す図である。
図4】取得データ管理テーブルの一例を示す概念図である。
図5】撮影システムを用いたデータ取得処理の一例を示すシーケンス図である。
図6】撮影システムによって取得される路面映像データについて説明するための図である。
図7】情報処理装置を用いた路面性状の評価処理の一例を示すシーケンス図である。
図8】遮熱性舗装が施された路面における塗装のはがれについて説明するための図である。
図9】遮熱材のはがれ率の算出処理の一例を示すフローチャートである。
図10】(A)は、輝度画像の一例を示す模式図であり、(B)は、輝度画像の各画素の輝度値の整数変換後の画像の一例を示す模式図である。
図11】EMアルゴリズムによって推定された混合分布の一例を示す図である。
図12】情報処理装置に表示される評価画面の一例を示す図である。
図13】(A)(B)決定部によって決定された輝度画像の領域の一例を説明するための図である。
図14】評価画像の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【0009】
●システムの概略●
まず、図1を用いて、本実施形態に係る路面性状調査システムの概略について説明する。図1は、路面性状調査システムの全体構成の一例を示す図である。図1に示されている路面性状調査システム1は、撮影システム9によって取得された各種データを用いて、路面性状の調査を行うシステムである。
【0010】
路面性状調査システム1は、路面rs1等の構造物のひび割れ等の性状を調査する撮影システム9、および撮影システム9で取得された各種データを評価する情報処理装置3によって構成されている。構造物は、歩道面、車が走行する車道面(路面)、電車が走行する線路、法面、トンネルの内面、または道路上の構造物等である。なお、道路上の構造物は、例えば、路端部上に設置される標識または電柱等である。
【0011】
以降は、車両6が走行する路面の性状を調査する場合について説明する。路面性状調査システム1は、例えば、一方に長く延びる構造物を一定の区間に区切ってその表面性状を調査する場合に利用される。
【0012】
図1に示されているように、撮影システム9は、車両6、路面カメラ61、データ取得装置5、およびGNSS(Global Navigation Satellite System:全球測位衛星システム)センサ65を有している。路面カメラ61、データ取得装置5およびGNSSセンサ65は、車両6に搭載されている。なお、「路面カメラ61」は、複数の路面カメラの総称である。GNSSは、GPS(Global Positioning System)または準天頂衛星(QZSS)等の衛星測位システムの総称である。
【0013】
路面カメラ61は、車両6のルーフ後部に、進行方向とは反対の方向に向けて設けられ、車両6の後方の路面rs1を撮像するステレオカメラである。なお、路面カメラ61は、車両6のルーフの前部に進行方向と同じ方向に向けて設けてもよく、車両6のルーフの側部に進行方向と直角(または略直角)方向に向けて設けてもよい。また、路面カメラ61は、ステレオカメラに限られず、光電変換素子を一列または複数列に配置させたラインセンサを搭載したラインカメラ、または光電変換素子が面状に配置されたエリアセンサを搭載したカメラ等の撮像装置であってもよい。路面カメラ61は、撮像手段の一例である。
【0014】
GNSSセンサ65は、複数のGNSS衛星が発信した各時間の信号を受信し、各信号を受信した時刻との差で衛星までの距離を算出することで、地球上の位置を計測する測位手段の一例である。測位手段は、測位専用の装置であってもよく、PCまたはスマートフォン等にインストールされた測位専用のアプリケーションであってもよい。
【0015】
また、上記各計測データには、各路面映像データおよび測定位置データが含まれている。これらのうち、各路面映像データは、路面カメラ61によって得られた映像(動画)のデータである。この各路面映像データでは、映像のフレームデータ毎に、メタデータとして撮影された時刻を示す撮影時刻データが付加されている。なお、路面カメラ61によって、映像(動画)の路面映像データだけでなく、静止画または静止画の集合によるデータを得るようにしてもよい。
【0016】
測定位置データは、GNSSセンサ65によって得られたデータである。この測定位置データには、メタデータとして測位された時刻を示す測位時刻データが付加されている。
【0017】
データ取得装置5は、路面カメラ61およびGNSSセンサ65から取得した各種データを取得するPC(Personal Computer)である。各計測データは、情報処理装置3に受け渡され、情報処理装置3での評価(データ解析)に用いられる。なお、データ取得装置5から情報処理装置3への計測データの受け渡し方法は、LAN(Local Area Network)、Wi-Fi(Wireless Fidelity(登録商標))、4G(4th Generation)、5G(5th Generation)、WiMAX(Worldwide Interoperability for Microwave Access)またはLTE(Long Term Evolution)等を使った無線通信、USB(Universal Serial Bus)ケーブル等を使った有線通信、またはUSBメモリ等を使った人的な移動が挙げられる。
【0018】
情報処理装置3は、データ取得装置5から受け渡された各計測データに基づいて、構造物の性状を評価するPCである。情報処理装置3には、構造物の性状を評価するための専用アプリケーションプログラムがインストールされている。情報処理装置3は、各路面映像データから路面rs1の凹凸等の表面性状を計測し、計測結果に基づいて、路面rs1の損傷の有無、損傷の度合いを評価する。また、情報処理装置3は、構造物性状の評価結果、測定位置データ、および自治体もしくは国(以下、「道路管理者」と記す)から取得した道路台帳等のデータを利用して、道路管理者が定めるフォーマットに従った提出書類のデータを作成する。道路台帳には、実際の正確な道路の位置を示す実際位置データが含まれている。
【0019】
なお、道路台帳には、道路地図が掲載されているが、正確な道路位置情報(測位情報:緯度、経度値)が含まれていない場合がある。この場合、正確な道路測位情報を得るためには、道路地図と、測位地図情報(国土地理院等が保有している、緯度、経度値情報)を照合する必要がある。そして、情報処理装置3によって作成された提出書類のデータは、道路管理者に、電子データまたは書類に印刷した状態で提出される。なお、情報処理装置3は、PCに限られず、スマートフォンまたはタブレット端末等であってもよい。また、情報処理装置3は、車両6に搭載されていてもよい。
【0020】
●ハードウエア構成●
続いて、図2を用いて、路面性状調査システム1を構成する各装置のハードウエア構成について説明する。なお、図2に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
【0021】
●情報処理装置のハードウエア構成
図2は、情報処理装置のハードウエア構成の一例を示す図である。情報処理装置3の各ハードウエア構成は、300番台の符号で示されている。情報処理装置3は、コンピュータによって構築されており、図2に示されているように、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HD(Hard Disk)304、HDD(Hard Disk Drive)コントローラ305、ディスプレイ306、外部機器接続I/F(Interface)308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、およびタイマ317を備えている。
【0022】
これらのうち、CPU301は、情報処理装置3全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HD304は、プログラム等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHD304に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ306は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ306は、表示部の一例である。なお、ディスプレイ306は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリまたはプリンタ等である。ネットワークI/F309は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン310は、図2に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。
【0023】
また、キーボード311は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス312は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード311およびポインティングデバイス312のみならず、タッチパネルまたは音声入力装置等であってもよい。DVD-RWドライブ314は、着脱可能な記録媒体の一例としてのDVD-RW313に対する各種データの読み出しまたは書き込みを制御する。なお、DVD-RWに限らず、DVD-RまたはBlu-ray(登録商標) Disc(ブルーレイ(登録商標)ディスク)等であってもよい。メディアI/F316は、フラッシュメモリ等の記録メディア315に対するデータの読み出しまたは書き込み(記憶)を制御する。タイマ317は、時間計測機能を有する計測装置である。タイマ317は、コンピュータによるソフトタイマでもよい。
【0024】
●データ取得装置のハードウエア構成
図2は、データ取得装置のハードウエア構成の一例を示す図である。データ取得装置5の各ハードウエア構成は、括弧内の500番台の符号で示されている。データ取得装置5は、コンピュータによって構築されており、図2に示されているように、情報処理装置3と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
【0025】
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray(登録商標) Disc、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、実施形態に係る情報処理装置3は、本発明に係るプログラムが実行されることで本発明に係る情報処理方法を実現する。
【0026】
●機能構成●
続いて、図3および図4を用いて、実施形態に係る路面性状調査システムの機能構成について説明する。図3は、実施形態に係る路面性状調査システムの機能構成の一例を示す図である。なお、図3には、図1に示されている装置のうち、後述の処理または動作に関連しているものが示されている。
【0027】
●情報処理装置の機能構成
まず、図3を用いて、情報処理装置3の機能構成について説明する。情報処理装置3は、通信部31、受付部32、表示制御部33、輝度画像取得部34、変換部35、推定部36、決定部37、算出部38、作成部41および記憶・読出部39を有している。これら各部は、図2に示されている各構成要素のいずれかが、HD304からRAM303上に展開され情報処理装置用のプログラムに従ったCPU301からの命令によって動作することで実現される機能または手段である。また、情報処理装置3は、図2に示されているROM302およびHD304によって構築される記憶部3000を有している。
【0028】
通信部31は、主に、ネットワークI/F309に対するCPU301の処理によって実現され、通信ネットワークを介して、他の装置との間で各種データまたは情報の通信を行う。通信部31は、例えば、データ取得装置5との間で、路面性状の評価に係る各種データを送受信する。
【0029】
受付部32は、主に、キーボード311またはポインティングデバイス312に対するCPU301の処理によって実現され、利用者から各種の選択または入力を受け付ける。受付部32は、例えば、後述する評価画面400に対する各種選択または入力を受け付ける。表示制御部33は、主に、CPU301の処理によって実現され、ディスプレイ306に、各種画像を表示させる。表示制御部33は、例えば、後述する評価画面400を、ディスプレイ306に表示させる。
【0030】
輝度画像取得部34は、CPU301の処理によって実現され、撮影画像の画素ごとの輝度を示す輝度画像を取得する。変換部35は、CPU301の処理によって実現され、輝度画像における輝度値の整数変換を行う。推定部36は、CPU301の処理によって実現され、輝度画像の画素ごとの輝度値の出現頻度に基づいて、路面の遮熱性舗装の領域を示す塗装領域および塗装(遮熱材)のはがれの領域を示すはがれ領域の輝度分布を推定する。
【0031】
決定部37は、CPU301の処理によって実現され、推定部36によって推定された輝度分布に基づいて、輝度画像におけるはがれ領域を決定する。算出部38は、CPU301の処理によって実現され、決定部37によって決定されたはがれ領域に含まれる画素数を用いて、塗装(遮熱材)のはがれ率を算出する。作成部41は、CPU301の処理によって実現され、算出部38によるはがれ率の算出結果を示す評価画像を作成する。
【0032】
記憶・読出部39は、主に、CPU301の処理によって実現され、記憶部3000に、各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
【0033】
●データ取得装置の機能構成
次に、図3を用いて、データ取得装置5の機能構成について説明する。データ取得装置5は、通信部51、判断部52、撮影制御部53、センサ制御部54、時刻データ取得部55、要求受付部56、データ管理部57および記憶・読出部59を有している。これら各部は、図2に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたデータ取得装置用のプログラムに従ったCPU501からの命令によって動作することで実現される機能または手段である。また、データ取得装置5は、図2に示されているROM502およびHD504によって構築される記憶部5000を有している。
【0034】
通信部51は、主に、ネットワークI/F509に対するCPU501の処理によって実現され、通信ネットワークを介して、他の装置との間で各種データまたは情報の通信を行う。通信部51は、例えば、撮影制御部53およびセンサ制御部54によって取得された取得データを、情報処理装置3に対して送信する。判断部52は、CPU501の処理によって実現され、各種判断を行う。
【0035】
撮影制御部53は、主に、外部機器接続I/F508に対するCPU501の処理によって実現され、路面カメラ61による撮影処理を制御する。また、撮影制御部53は、路面カメラ61によって撮影された撮像画像に係る撮像画像データ(路面映像データ)を取得する。センサ制御部54は、主に、外部機器接続I/F508に対するCPU501の処理によって実現され、GNSSセンサ65に対するデータ取得処理を制御する。また、センサ制御部54は、GNSSセンサ65による測位結果である測位位置データを取得する。時刻データ取得部55は、主に、タイマ517に対するCPU501の処理によって実現され、撮影制御部53またはセンサ制御部54によってデータが取得された時刻を示す時刻データ(撮影時刻データ、測位時刻データ)を取得する。
【0036】
要求受付部56は、主に、キーボード511またはポインティングデバイス512に対するCPU501の処理によって実現され、利用者からの所定の要求を受け付ける。データ管理部57は、主に、CPU501の処理によって実現され、各種データの管理を行う。データ管理部57は、例えば、路面カメラ61およびGNSSセンサ65から送信された路面映像データおよび測位位置データを、取得データ管理DB5001に登録する。
【0037】
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に、各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
【0038】
○取得データ管理テーブル
図4は、取得データ管理テーブルの一例を示す概念図である。取得データ管理テーブルは、データ取得装置5によって取得された各種取得データを管理するためのテーブルである。記憶部5000には、図4に示されているような取得データ管理テーブルによって構成されている取得データ管理DB5001が構築されている。この取得データ管理テーブルは、フォルダごとに、路面映像データ、測位位置データおよび取得時刻を関連づけて管理している。
【0039】
これらのうち、路面映像データは、路面カメラ61によって撮影された撮像データのデータファイルである。測位位置データは、GNSSセンサ65によって計測された測位位置を示すデータである。さらに、取得時刻は、路面映像データおよび測位位置データが取得された時刻を示す時刻データである。一つの点検工程において取得されたデータは、同一のフォルダ内に記憶される。
【0040】
●実施形態の処理または動作●
●データ取得処理
続いて、図5乃至図14を用いて、実施形態に係る路面性状調査システムの処理または動作について説明する。まず、図5および図6を用いて、撮影システム9を用いたデータ取得処理について説明する。構造物性状の点検作業者は、例えば、車両6に搭乗して道路上の存在する路面状態の撮影を行う。以下、詳細に説明する。
【0041】
図5は、撮影システムを用いたデータ取得処理の一例を示すシーケンス図である。まず、点検作業者が所定の入力操作等を行うことで、データ取得装置5の要求受付部56は、データ取得開始要求を受け付ける(ステップS11)。そして、データ取得装置5は、路面カメラ61およびGNSSセンサ65を用いたデータ取得処理を実行する(ステップS12)。具体的には、撮影制御部53は、路面カメラ61に対して撮影要求を行うことで、所定の領域に対する撮影処理を開始する。また、センサ制御部54は、路面カメラ61による撮影処理と同期させながら、GNSSセンサ65による検知処理を開始する。そして、撮影制御部53は、路面カメラ61によって取得された路面映像データを取得し、センサ制御部54は、GNSSセンサ65によって取得された測位位置データを取得する。また、時刻データ取得部55は、撮影制御部53およびセンサ制御部54によって各種データが取得された時刻を示す時刻データを取得する。
【0042】
そして、データ管理部57は、ステップS12で取得された取得データを、取得データ管理DB5001(図4参照)に登録する(ステップS13)。データ管理部57は、取得データに含まれている各データの取得時刻を示す時刻データに関連づけて、路面映像データおよび測位位置データを一つのフォルダに記憶する。
【0043】
ここで、図6を用いて、撮影システム9を用いたデータ取得処理の概略について説明する。図6は、撮影システムによって取得される路面映像データについて説明するための図である。図6に示されているように、車両6のルーフ後部には、二つの路面カメラ61a,61bが設けられている。また、各路面カメラ61a,61bは、斜め下方の路面rs1に向くように一列に並べて配置されており、それぞれ路面rs1の所定範囲を撮影範囲pr1a,pr1bとして撮像する。路面カメラ61は、車両6の進行方向に対して画像の一部が重なり合うタイミングで撮像を繰り返し行う。路面カメラ61は、路面rs1の幅方向全体を撮像可能なように複数台設置されるため、幅方向に対しても画像の一部が重なり合うように複数台が同時に撮像を行う。
【0044】
車両6は、路面rs1上を走行しながら、路面カメラ61で路面rs1の所定範囲を、進行方向にその一部が重なるように撮像していく。なお、路面カメラ61は、車両6の前方のナンバープレート周辺に設置されてもよい。また、路面カメラ61は、車両6に三つ以上設置されてもよい。道路幅が狭い場合には、車両6に路面カメラを一つだけ設置されるようにしてもよい。路面カメラ61がステレオカメラである場合、路面カメラ61は、例えば、左右に並べた二つのカメラの視差情報を利用し、評価対象の路面rs1に形成された凹凸等の奥行き情報を取得する。
【0045】
このように、撮影システム9は、車両6を走行させながら、データ取得装置5に備えられた路面カメラ61を用いて、路面を撮影する。データ取得装置5は、車両6の走行に伴い、路面映像データおよび測位位置データを時系列に取得していく。このとき、路面カメラ61およびGNSSセンサ65は、時刻同期が取られており、撮影時の車両6の姿勢から撮像画像の傾き補正(画像補正)が行われ、撮影時刻から路面映像データと測位位置データ(北緯東経)が紐づけられる。
【0046】
●路面性状の評価処理
次に、図7および図14を用いて、情報処理装置3における路面性状の解析処理について説明する。図7は、情報処理装置を用いた路面性状の評価処理の一例を示すシーケンス図である。
【0047】
まず、情報処理装置3の通信部31は、データ取得装置5に対して、データ送信要求を送信する(ステップS31)。このデータ送信要求は、要求対象のデータが記憶されたフォルダ名を含む。これにより、データ取得装置5の通信部51は、情報処理装置3から送信されたデータ送信要求を受信する。
【0048】
次に、データ取得装置5の記憶・読出部59は、ステップS31で受信されたデータ送信要求に含まれているフォルダ名を検索キーとして取得データ管理DB5001を検索することにより、データ送信要求に含まれているフォルダ名に関連づけられた取得データを読み出す(ステップS32)。そして、通信部51は、情報処理装置3に対して、ステップS32で読み出された取得データを送信する(ステップS33)。この取得データは、路面映像データ、測位位置データおよび時刻データを含む。これにより、情報処理装置3の通信部31は、データ取得装置5から送信された取得データを受信する。
【0049】
次に、情報処理装置3は、ステップS33で受信された取得データを用いて、遮熱性舗装の遮熱材のはがれ率の算出処理を実行する(ステップS34)。ここで、遮熱性舗装が施された路面の状態について説明する。図8は、遮熱性舗装が施された路面における遮熱材のはがれについて説明するための図である。図8に示されているように、遮熱性舗装が施された路面は、遮熱性舗装が施された塗装領域と、舗装剥離が発生したはがれ領域と、路面上の空隙が存在する空隙箇所である空隙領域とに分類される。遮熱性舗装とは、舗装表面に赤外線を反射させる遮熱性樹脂を塗布したり、遮熱モルタルを充填したりすることにより、舗装の路面温度の上昇を抑制することができる。はがれ領域とは、遮熱性舗装による塗装が剥がれた領域であり、塗装のはがれは、経年劣化により発生する。また、塗装領域、はがれ領域および空隙領域の明るさは、塗装領域が最も明るく、空隙領域が最も暗くなることが図8から推察される。そこで、情報処理装置3は、撮像画像の輝度値を利用して、路面における塗装のはがれが発生したはがれ領域の割合を示すはがれ率の算出を行う。以下詳細に説明する。
【0050】
○はがれ率の算出処理
ここで、図9乃至図13を用いて、遮熱性舗装の遮熱材のはがれ率のはがれ率の算出処理について説明する。図9は、遮熱材のはがれ率の算出処理の一例を示すフローチャートである。
【0051】
まず、情報処理装置3の輝度画像取得部34は、ステップS33で受信された路面映像データの輝度画像を取得する(ステップS51)。具体的には、輝度画像取得部34は、受信された路面映像データを、静止画としての撮像画像の画像データとして分割する。そして、輝度画像取得部34は、分割された画像データに対して、各画像データに含まれる各画素の輝度値を示す輝度画像(図10(A)参照)を取得する。なお、説明を簡略化するため、図10(A)に示されている輝度画像の大きさは、5×5pixelである例を示すが、輝度画像の大きさは、これに限られず、500×500pixelのようなサイズであってもよい。
【0052】
次に、変換部35は、輝度画像取得部34によって取得された輝度画像に含まれる輝度値を、整数値に変換する(ステップS52)。図10(B)に示されているように、変換部35は、例えば、0~255の範囲で輝度値の整数変換を行う。図10(A)に示されている輝度画像の各画素の輝度値は、その大きさに応じて、図10(B)に示されているような0~255の整数値に変換される。なお、変換部35による整数変換の範囲は、0~255に限られない。そして、変換部35は、一つの輝度画像に含まれる整数値の出現頻度を、輝度ヒストグラムとして算出する(ステップS53)。
【0053】
次に、推定部36は、変換部35によって算出された輝度値のヒストグラムに基づいて、遮熱性舗装の塗装領域の輝度分布と遮熱材のはがれが発生したはがれ領域の輝度分布を含む混合分布を推定する(ステップS54)。具体的には、推定部36は、算出されたヒストグラムが、塗装領域に属する画素の輝度分布と、はがれ領域に属する画素の輝度分布の混合分布に近似できると仮定し、二つの分布を混合させた(足し合わせた)混合分布の推定を行う。推定部36は、EMアルゴリズム(expectation-maximization algorithm)と呼ばれる確率分布のパラメータを推定する手法に従って、下記(式1)に示されているような混合正規分布p(x)を推定する。
【0054】
【数1】
【0055】
本例では、EMアルゴリズムを輝度分布の推定に適用する。ここで、xは輝度値であり、p(x)は推定された各領域の分布であり、p(x)は平均値μ、分散σから決まる正規分布である。また、aは各分布がp(x)にどれだけ寄与しているか、つまり混合比率を表している。EMアルゴリズムでは、μ、σ、aの三つのパラメータを初期値から更新していくことで、p(x)の推定を行う。μ、aの初期値は、輝度画像ごとにヒストグラムから各正規分布が最大となる点(分布の頂点)を推定し、その点の輝度、頻度の値にそれぞれ設定する。なお、(式1)は、混合正規分布p(x)を算出する例を示したが、推定部36は、正規分布に限られず、ベータ分布等のその他の分布を用いて混合分布を算出する構成であってもよい。
【0056】
図11は、EMアルゴリズムによって推定された混合分布の一例を示す図である。図11は、ステップS54で推定された塗装領域とはがれ領域の輝度分布の混合分布、およびステップS53で算出された輝度ヒストグラムを示している。図11に示されているように、推定部36は、上述の(式1)を用いた処理によって、塗装領域の輝度分布とはがれ領域の輝度分布の二つの分布の混合分布を推定する。例えば、(式1)は、p(x)=a(x)+a(x)と書き下すことができ、a(x)は、図12に示す実線の分布となり、塗装領域の輝度分布を示す。一方で、a(x)は、図12に示す破線の分布となり、はがれ領域の輝度分布を示す。このような二つの分布を混合させた(足し合わせたような)分布が混合分布p(x)となる。
【0057】
次に、表示制御部33は、路面性状の評価を行うための評価画面400を、ディスプレイ306に表示させる(ステップS55)。図12は、情報処理装置に表示される評価画面の一例を示す図である。図12に示されている評価画面400は、塗装領域とはがれ領域を分けるための輝度閾値(第1の閾値)を設定するための設定領域410、はがれ領域と空隙領域を分けるための輝度閾値(第2の閾値)を設定するための設定領域430、ステップS53で算出された輝度ヒストグラムおよびステップS54で推定された混合分布を表示させる表示領域450、はがれ率の値を示すはがれ率表示領域490、および撮像画像における各画素の属する領域を示した設定用画像を表示させる表示領域200を含む。
【0058】
このうち、設定領域410は、輝度の整数値の範囲411における輝度閾値(第1の閾値)の設定値を示す設定ポイント413、および輝度閾値(第1の閾値)の値を直接入力するための入力領域415を含む。同様に、設定領域430は、輝度の整数値の範囲431における輝度閾値(第2の閾値)の設定値を示す設定ポイント433、および輝度閾値(第2の閾値)の値を直接入力するための入力領域435を含む。また、表示領域450は、混合分布における輝度閾値に該当する箇所を表示している。
【0059】
次に、受付部32は、ディスプレイ306に表示された評価画面400に対する輝度閾値の入力が受け付ける(ステップS56)。利用者は、整数値の範囲411,431の間で、設定ポイント413,433をポインティングデバイス312等の入力手段を用いて移動させることで、閾値の箇所を視覚的に把握しながら輝度閾値を入力することができる。なお、利用者は、入力領域415,435に数値を入力することで、輝度閾値を入力してもよい。
【0060】
また、表示領域200は、入力された輝度閾値およびステップS52で算出された画素ごとの輝度値に基づいて、領域ごとに色分けされた撮像画像を設定用画像として表示する。利用者は、表示領域200に表示された画像を確認しながら、入力する輝度閾値の値を調整する。
【0061】
次に、決定部37は、受付部32によって入力された輝度閾値の値に基づいて、塗装領域とはがれ領域を分けるための輝度の閾値を、撮像画像ごとに決定する(ステップS57)。また、決定部37は、ステップS57によって決定された輝度閾値に基づいて、撮像画像の各画素が、塗装領域、はがれ領域および空隙領域のいずれの領域に属するかを決定する(ステップS58)。図13(A)に示されているように、決定部37は、輝度画像の各画素の輝度値(整数値)と、輝度閾値を比較することで、各画素が属する領域を決定する。図13(A)の例では、塗装領域とはがれ領域の輝度閾値(第1の閾値)は、115であり、はがれ領域と空隙領域の輝度閾値(第2の閾値)は、59である。
【0062】
次に、算出部38は、決定部37によって決定された各領域の大きさ、すなわち各領域に属する画素数の総和を、撮像画像ごとに算出する(ステップS59)。図13(B)は、図12(A)に示されている各領域に属する画素数の総和を示す。図12(B)の例の場合、塗装領域の画素数は11、はがれ領域の画素数は8、空隙領域の画素数は6である。
【0063】
そして、算出部38は、ステップS59で算出された各領域の大きさを用いて、撮像画像が示す路面における塗装のはがれ率を算出する(ステップS60)。算出部38は、下記(式2)を用いて、撮像画像ごとにはがれ率をそれぞれ算出する。
【0064】
【数2】
【0065】
ここで、はがれ領域の画素数は、ステップS59で算出されたはがれ領域に属する画素数であり、空隙領域の画素数は、ステップS59で算出された空隙領域に属する画素数であり、全画素数は、撮像画像全体の画素数、すなわち塗装領域、はがれ領域および空隙領域に属する画素数の総和である。図13(B)の例では、はがれ領域の画素数は8、空隙領域の画素数は6、全画素数は25であるため、算出部38は、はがれ率42.1%を算出する。算出部38は、上記(式2)を用いることで、遮熱性舗装に対する遮熱材のはがれのみを含んだはがれ率として、遮熱材のはがれの状況をより精度良く算出することができる。
【0066】
このように、情報処理装置3は、路面が撮影された撮像画像の輝度値に基づいて決定されたはがれ領域に基づいて遮熱材のはがれ率を算出することで、処理に要する時間を低減することができるとともに、遮熱性舗装における遮熱材のはがれを定量的に算出することができる。
【0067】
図7に戻り、情報処理装置3の作成部41は、算出部38によるはがれ率の算出結果の評価画像を作成する(ステップS36)。具体的には、作成部41は、ステップS34で受信された路面映像データが分割された撮像画像に対応する測位位置情報および時刻データを用いて、模式的に路面を再現した評価画像を作成する。図14に示されているように、作成部41は、複数の撮像画像の相対位置に基づいて、複数の撮像画像を並べる。そして、作成部41は、撮像画像ごとのはがれ率の値を用いて、並べられた撮像画像の濃淡または色彩で、はがれ率を表現する。作成部41は、例えば、はがれ率が高い撮像画像の位置を暗くし、はがれ率が低い撮像画像の位置を明るくする。
【0068】
また、作成部41は、以下表1に示されているように、撮像画像の撮影区間ごとのはがれ率の平均値を算出する。そして、作成部41は、図14に示されている評価画像の対応する区間に応じて算出したはがれ率の値を表示させる。なお、作成部41によって作成される評価画像の内容は、これに限られず、撮影画像ごとにはがれ率の値を個別に示す内容であってもよい。また、作成部41によって作成された評価画像は、図1に示されている道路管理者に提供される提出書類に含まれていてもよい。
【0069】
【表1】
【0070】
●実施形態の効果
以上説明したように、路面性状調査システム1は、車両6に搭載された路面カメラ61によって撮影された撮像画像の輝度分布に基づいて遮熱材のはがれ率の算出を行うことで、算出処理に要する時間を低減させることができる。また、路面性状調査システム1は、従来の撮像画像の目視によるはがれの状態を確認する方法と比較して、遮熱性舗装における遮熱材のはがれを定量的に算出することができる。これにより、路面性状調査システム1は、遮熱性舗装における遮熱材のはがれの点検効率を大幅に向上させることができる。
【0071】
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、路面上を走行した車両6の路面カメラ61(撮像手段の一例)から取得された当該路面の撮像画像を評価する情報処理装置3であって、撮影画像の画素ごとの輝度を示す輝度画像を取得し、輝度画像の画素ごとの輝度値の出現頻度に基づいて、路面の遮熱性舗装の領域を示す塗装領域および遮熱材のはがれの領域を示すはがれ領域の輝度分布を推定する。そして、情報処理装置3は、推定された輝度分布に基づいて、輝度画像におけるはがれ領域を決定し、決定されたはがれ領域に含まれる画素数を用いて、遮熱材のはがれ率を算出する。これにより、情報処理装置3は、処理に要する時間を低減することができるとともに、遮熱性舗装の遮熱材のはがれを定量的に算出することができる。
【0072】
また、本発明の一実施形態に係る情報処理装置3は、所定の入力操作に基づいて、路面の空隙の領域を示す空隙領域を決定し、はがれ領域および空隙領域に含まれる画素数を用いて、遮熱材のはがれ率を算出する。これにより、情報処理装置3は、遮熱材のはがれのみを含んだはがれ率として、遮熱材のはがれの状況をより精度良く算出することができる。
【0073】
さらに、本発明の一実施形態に係る路面性状調査システム1は、情報処理装置3と、車両6と、を備え、車両6は、路面上の走行に応じて路面カメラ61(撮像手段の一例)によって撮像画像を取得する。これにより、路面性状調査システム1は、路面の塗装のはがれの点検効率を大幅に向上させることができる。
【0074】
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。
【0075】
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習および深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【0076】
これまで本発明の一実施形態に係る情報処理装置、路面性状調査システム、情報処理方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0077】
1 路面性状調査システム
3 情報処理装置
5 データ取得装置
6 車両
9 撮影システム
61 路面カメラ(撮像手段の一例)
65 GNSSセンサ
31 通信部
34 輝度画像取得部(輝度画像取得手段の一例)
35 変換部
36 推定部(推定手段の一例)
37 決定部(決定手段の一例)
38 算出部(算出手段の一例)
41 作成部
51 通信部
【先行技術文献】
【特許文献】
【0078】
【特許文献1】特開2019-33478号公報
【非特許文献】
【0079】
【非特許文献1】「6.遮熱性舗装のはがれ対策に関する室内試験による検証」(平25.土木技術支援・人材育成センター年報、Annual Report、C.E.S.T.C., TMG 2013)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14