特開2024-156565ひび幅計測装置、ひび幅計測方法およびひび幅計測プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156565
(43)【公開日】2024-11-06
(54)【発明の名称】ひび幅計測装置、ひび幅計測方法およびひび幅計測プログラム
(51)【国際特許分類】
G01B 11/04 20060101AFI20241029BHJP
G06T 7/00 20170101ALI20241029BHJP
【ＦＩ】
G01B11/04 H
G06T7/00 350B
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023071143
(22)【出願日】2023-04-24
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100118762
【弁理士】
【氏名又は名称】高村 順
(72)【発明者】
【氏名】磯谷 和樹
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA22
2F065CC14
2F065FF01
2F065FF42
2F065HH02
2F065JJ03
2F065JJ26
2F065QQ04
2F065QQ24
2F065QQ41
5L096AA02
5L096AA06
5L096BA03
5L096CA02
5L096DA02
5L096EA43
5L096FA03
5L096FA64
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】画像上の任意に選択された位置におけるひび幅を従来に比して正確に計測することができるひび幅計測装置を得ること。
【解決手段】ひび幅計測装置１は、ひびを有する構造物の画像データであるひび画像データから構造物における実際のひび幅を計測するひび幅計測装置１であって、ひび幅計測部１６を備える。ひび幅計測部１６は、ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いてひび画像データで選択された２点間を結ぶ線分と交わるひびに相当する領域のひび画像データ上での合計ひび幅を算出する。また、ひび幅計測部１６は、ひび画像データのサイズと構造物のサイズとの対応関係を示すサイズ対応情報を用いて、合計ひび幅から実際のひび幅を算出する。
【選択図】図１
【解決手段】ひび幅計測装置１は、ひびを有する構造物の画像データであるひび画像データから構造物における実際のひび幅を計測するひび幅計測装置１であって、ひび幅計測部１６を備える。ひび幅計測部１６は、ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いてひび画像データで選択された２点間を結ぶ線分と交わるひびに相当する領域のひび画像データ上での合計ひび幅を算出する。また、ひび幅計測部１６は、ひび画像データのサイズと構造物のサイズとの対応関係を示すサイズ対応情報を用いて、合計ひび幅から実際のひび幅を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ひびを有する構造物の画像データであるひび画像データから前記構造物における実際のひび幅を計測するひび幅計測装置であって、
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出し、前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出するひび幅計測部を備えることを特徴とするひび幅計測装置。
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出し、前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出するひび幅計測部を備えることを特徴とするひび幅計測装置。
【請求項2】
定められた前記画素ひび幅関係情報および定められた前記サイズ対応情報のうち少なくとも一方を記憶するプリセット条件記憶部と、
前記定められた画素ひび幅関係情報および前記定められたサイズ対応情報のうち少なくとも一方が初期値として設定された前記画素ひび幅関係情報および前記サイズ対応情報の設定画面を表示する条件設定表示部と、
をさらに備えることを特徴とする請求項１に記載のひび幅計測装置。
前記定められた画素ひび幅関係情報および前記定められたサイズ対応情報のうち少なくとも一方が初期値として設定された前記画素ひび幅関係情報および前記サイズ対応情報の設定画面を表示する条件設定表示部と、
をさらに備えることを特徴とする請求項１に記載のひび幅計測装置。
【請求項3】
前記ひび幅計測部は、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする請求項１に記載のひび幅計測装置。
【請求項4】
前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを出力するひび分類部をさらに備えることを特徴とする請求項３に記載のひび幅計測装置。
【請求項5】
前記ひび分類画像データを用いて前記線分と交わる前記ひびの延在方向であるひび方向を算出するひび方向算出部をさらに備え、
前記ひび幅計測部は、前記線分が前記ひび方向と直交するかを判定し、前記線分が前記ひび方向と直交していない場合には、前記幅算出基準線を、前記線分と交わり前記ひび方向に直交する直線とすることを特徴とする請求項３に記載のひび幅計測装置。
前記ひび幅計測部は、前記線分が前記ひび方向と直交するかを判定し、前記線分が前記ひび方向と直交していない場合には、前記幅算出基準線を、前記線分と交わり前記ひび方向に直交する直線とすることを特徴とする請求項３に記載のひび幅計測装置。
【請求項6】
前記ひび画像データから前記１画素が表す色情報の値に応じた前記１画素あたりのひび幅を推論するための第２学習済モデルを用いて、前記ひび画像データから前記画素ひび幅関係情報を出力する画素ひび幅関係情報算出部をさらに備えることを特徴とする請求項３に記載のひび幅計測装置。
【請求項7】
前記ひび画像データを表示するひび画像表示部と、
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在するかを判定する機能をさらに有し、
前記計測結果表示部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在しない場合に、前記２点間にひびがないことを示す注意情報を表示する機能をさらに有することを特徴とする請求項３に記載のひび幅計測装置。
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在するかを判定する機能をさらに有し、
前記計測結果表示部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在しない場合に、前記２点間にひびがないことを示す注意情報を表示する機能をさらに有することを特徴とする請求項３に記載のひび幅計測装置。
【請求項8】
前記ひび画像データを表示する画像表示部と、
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記ひび画像データから選択位置における前記ひび幅を推論するための第３学習済モデルを用いて、前記画像表示部によって表示されている前記ひび画像データから前記選択位置における前記ひび幅を推論することを特徴とする請求項１に記載のひび幅計測装置。
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記ひび画像データから選択位置における前記ひび幅を推論するための第３学習済モデルを用いて、前記画像表示部によって表示されている前記ひび画像データから前記選択位置における前記ひび幅を推論することを特徴とする請求項１に記載のひび幅計測装置。
【請求項9】
前記１画素が表す色情報の値は、輝度値、明度値、色相値および彩度値の群から選択される少なくとも１つであることを特徴とする請求項１から８のいずれか１つに記載のひび幅計測装置。
【請求項10】
コンピュータを用いてひびを有する構造物の画像データであるひび画像データから前記構造物における実際のひび幅を計測するひび幅計測方法であって、
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出する第１工程と、
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出する第２工程と、
を含むことを特徴とするひび幅計測方法。
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出する第１工程と、
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出する第２工程と、
を含むことを特徴とするひび幅計測方法。
【請求項11】
前記第１工程では、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする請求項１０に記載のひび幅計測方法。
【請求項12】
前記第１工程では、前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを生成することを特徴とする請求項１１に記載のひび幅計測方法。
【請求項13】
ひびを有する構造物の画像データであるひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出する第１ステップと、
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記構造物における実際のひび幅を算出する第２ステップと、
をコンピュータに実行させることを特徴とするひび幅計測プログラム。
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記構造物における実際のひび幅を算出する第２ステップと、
をコンピュータに実行させることを特徴とするひび幅計測プログラム。
【請求項14】
前記第１ステップでは、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする請求項１３に記載のひび幅計測プログラム。
【請求項15】
前記第１ステップでは、前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを生成することを特徴とする請求項１４に記載のひび幅計測プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ひびを含む構造物の画像データからひび幅を計測するひび幅計測装置、ひび幅計測方法およびひび幅計測プログラムに関する。
【背景技術】
【0002】
トンネルなどの構造物では、点検結果の報告書として、ひびの幅を正確に記載して提出することが求められている。特許文献１には、コンクリート構造物などの構造物の表面に発生するひびの幅を求めるひび割れの計測方法が開示されている。特許文献１に記載のひび割れ計測方法では、構造物の表面を撮影した原画像データをピクセル毎に２値化して、ひび割れ領域を判定し、ひび割れ領域の外周縁に沿って、その外側を周回する１ピクセル分以上の外周回領域を設定する。そして、特許文献１に記載のひび割れ計測方法では、ひび割れ領域内の各画素の輝度値合計と、外周回領域の輝度値合計と、の加算値であるひび割れの見掛面積を算出し、見掛面積からひび割れ面積を求める。また、特許文献１に記載のひび割れ計測方法では、構造物の表面を撮影する際に、長さが既知の複数のマークが表示されたクラックスケールを同時に撮影し、原画像データに撮影されたクラックスケールからひび割れの長さを求め、ひび割れ面積をひび割れ長さで除算することにより、ひび幅を求める。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００３－２１４８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来の技術では、構造物を撮影した画像全体に対して処理を行っているため、原画像データ内に、複数のひびが狭い範囲に存在する場合、あるいはひびと酷似したコンクリートの目地が存在する場合には、意図しない結果が得られてしまう問題があった。また、１本のひびにおいて、ひび幅は場所によって異なるのが通常であるが、上記従来の技術によるひび幅の算出は、ひび幅の平均値しか算出することができず、任意の位置における正確なひび幅を取得することができない。このため、指定した位置におけるひび幅を画像から求める技術が望まれていた。
【0005】
本開示は、上記に鑑みてなされたものであって、画像上の任意に選択された位置におけるひび幅を従来に比して正確に計測することができるひび幅計測装置を得ることを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係るひび幅計測装置は、ひびを有する構造物の画像データであるひび画像データから構造物における実際のひび幅を計測するひび幅計測装置であって、ひび幅計測部を備える。ひび幅計測部は、ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いてひび画像データで選択された２点間を結ぶ線分と交わるひびに相当する領域のひび画像データ上での合計ひび幅を算出する。また、ひび幅計測部は、ひび画像データのサイズと構造物のサイズとの対応関係を示すサイズ対応情報を用いて、合計ひび幅から実際のひび幅を算出する。
【発明の効果】
【0007】
本開示によれば、画像上の任意に選択された位置におけるひび幅を従来に比して正確に計測することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係るひび幅計測装置の構成の一例を示すブロック図
【図2】輝度－ピクセル関係情報の概要の一例を示す図
【図3】実施の形態１に係るひび幅計測方法の手順の一例を示すフローチャート
【図4】実施の形態１に係るひび幅計測方法の手順の一例を模式的に示す図
【図5】実施の形態１に係るひび幅計測装置を実現するコンピュータシステムの構成の一例を示すブロック図
【図6】実施の形態２に係るひび幅計測装置の構成の一例を模式的に示す図
【図7】モデル生成部が使用するニューラルネットワークの一例を模式的に示す図
【図8】実施の形態２に係るひび幅計測装置の構成の他の例を模式的に示す図
【図9】実施の形態２に係るひび幅計測装置におけるひび分類学習済モデル生成方法の手順の一例を示すフローチャート
【図10】実施の形態２に係るひび幅計測方法の手順の一例を示すフローチャート
【図11】実施の形態２に係るひび幅計測方法の手順の一例を示すフローチャート
【図12】実施の形態２に係るひび幅計測方法の手順の一例を模式的に示す図
【図13】実施の形態３に係るひび幅計測装置の構成の一例を模式的に示す図
【図14】実施の形態３に係るひび幅計測方法の手順の一例を示すフローチャート
【図15】実施の形態４に係るひび幅計測装置の構成の一例を模式的に示す図
【図16】設定画面とプリセット条件の一例を示す図
【図17】実施の形態５に係るひび幅計測装置の構成の一例を模式的に示す図
【図18】実施の形態５に係るひび幅計測装置における輝度－ピクセル関係学習済モデル生成方法の手順の一例を示すフローチャート
【図19】実施の形態６に係るひび幅計測方法の手順の一例を示すフローチャート
【図20】実施の形態７に係るひび幅計測装置の構成の一例を模式的に示す図
【図21】実施の形態７に係るひび幅計測装置におけるひび幅学習済モデル生成方法の手順の一例を示すフローチャート
【図22】実施の形態７に係るひび幅計測方法の手順の一例を示すフローチャート
【発明を実施するための形態】
【0009】
以下に、本開示の実施の形態に係るひび幅計測装置、ひび幅計測方法およびひび幅計測プログラムを図面に基づいて詳細に説明する。
【0010】
実施の形態１．
図１は、実施の形態１に係るひび幅計測装置の構成の一例を示すブロック図である。ひび幅計測装置１は、ひびを有する構造物の画像データであるひび画像データから構造物における実際のひび幅を計測する装置である。ひび幅計測装置１は、ひび画像記憶部１１と、画像表示部１２と、計測箇所選択部１３と、画像解像度情報記憶部１４と、輝度－ピクセル関係情報記憶部１５と、ひび幅計測部１６と、計測結果表示部１７と、を備える。
図１は、実施の形態１に係るひび幅計測装置の構成の一例を示すブロック図である。ひび幅計測装置１は、ひびを有する構造物の画像データであるひび画像データから構造物における実際のひび幅を計測する装置である。ひび幅計測装置１は、ひび画像記憶部１１と、画像表示部１２と、計測箇所選択部１３と、画像解像度情報記憶部１４と、輝度－ピクセル関係情報記憶部１５と、ひび幅計測部１６と、計測結果表示部１７と、を備える。
【0011】
ひび画像記憶部１１は、ひびの計測対象となる構造物の画像データであるひび画像データを記憶する。作業者によって撮影された構造物のひび画像データがひび画像記憶部１１に記憶される。構造物の一例は、トンネルの内面である。ひび画像データは、複数の画素によって構成されるデータである。ここでは、ひび画像データは、モノクロの画像データであるものとする。
【0012】
画像表示部１２は、ひび画像記憶部１１に記憶されているひび画像データを表示する。表示するひび画像データは、一例では、ひび幅計測装置１のユーザによって選択されたひび画像データである。
【0013】
計測箇所選択部１３は、画像表示部１２に表示されたひび画像データのうち、ユーザに対してひび幅を計測したい位置を選択する機能を提供し、ユーザによってひび幅を計測したい位置が選択されると、ひび画像データにおける選択位置の情報を取得する。ひび画像データは、通常矩形状であるので、ひび画像データの定められた点を原点とし、ひび画像データの外形を構成する１つの辺に平行で原点を通る軸をＸ軸とし、Ｘ軸と平行な辺に垂直な他方の辺に平行で原点を通る軸をＹ軸とした座標系を用いて、選択位置を表すことができる。一例では、ユーザは、選択位置の間にひびが含まれるようにひび画像データ上の２点を選択する。
【0014】
画像解像度情報記憶部１４は、構造物の撮影時に決まるひび画像データにおける１画素あたりの構造物の実際の大きさである画像解像度情報を記憶する。具体的には、画像解像度情報は、実際の構造物の長さと、ひび画像データにおける長さと、の関係から、ひび画像データの１画素の長さと、実際の構造物の長さと、の対応関係を算出した情報である。ひび画像データの１画素の長さは、正方形状の１画素の各辺の長さとすることができる。画像解像度情報は、サイズ対応情報に対応する。
【0015】
輝度－ピクセル関係情報記憶部１５は、ひび画像データのひびの位置に含まれる１画素が示すひび幅を輝度値に基づいて算出する際に使用する情報である輝度－ピクセル関係情報を記憶する。図２は、輝度－ピクセル関係情報の概要の一例を示す図である。図２では、壁面３００にひび３１０が存在し、ひび３１０の一部に画素ｐ１－ｐ９を幅方向に配列している。実際の構造物におけるひび３１０は連続的に存在しているが、ひび画像データの画素は離散信号である。このため、ひび３１０と判定された箇所のひび幅を詳細に計算するために、実施の形態１ではサブピクセルの考えを用いる。このときに使用するのが、１画素の中におけるひび３１０の割合を示す情報である輝度－ピクセル関係情報１５１である。具体的には、ひび画像データから、１画素のすべてがひび３１０であるとすることができる輝度値である第１輝度値を求める。また、ひび画像データから１画素のすべてがひびに相当しないとすることができる輝度値である第２輝度値を求める。ひび画像データがグレースケール画像である場合、すなわち輝度値が２５６階調で表される場合には、輝度値が０に近づくほど黒くなり、輝度値が２５５に近づくほど白くなる。ひび３１０が周囲に比して黒く見えるひび画像データの場合には、第１輝度値以下の画素のひび幅は、ひび幅１画素であると定義する。つまり、１画素のすべてがひび３１０であるとする。また、第２輝度値以上の画素のひび幅は、ひび幅０画素であると定義する。つまり、１画素のすべてがひび３１０でないとする。そして、輝度値から１つの画素のひび幅、すなわち１画素あたりひび幅が、ひび幅０画素とひび幅１画素との間のどの値であるのかの関係を示す情報が輝度－ピクセル関係情報１５１である。一例では、第１輝度値と第２輝度値との間において、１画素あたりひび幅と輝度値との間の関係を示す関数が輝度－ピクセル関係情報１５１である。
【0016】
輝度－ピクセル関係情報１５１の算出は、ひび３１０とひび以外の部分とがセグメンテーションされたひび画像データを用いて行われる。一例では、セグメンテーションの結果、確実にひび３１０であるとされた位置における複数の画素を選択し、選択した複数の画素の輝度値の平均値を第１輝度値とすることができる。また、ひび３１０に相当しないとされた位置における複数の画素を選択し、選択した複数の画素の輝度値の平均値を第２輝度値とすることができる。
【0017】
輝度－ピクセル関係情報１５１は、撮影環境が同じひび画像データであれば同じ輝度－ピクセル関係情報１５１を用いることができる。撮影環境は、対象物、日付などである。一例では、ひび画像データの撮影環境が同じ日付の同じトンネルであれば、同じ輝度－ピクセル関係情報１５１を用いることができる。しかし、ひび画像データの撮影環境が異なる日付で異なるトンネルであれば、トンネル内の明るさが異なってくるため、同じ輝度－ピクセル関係情報１５１を用いることは望ましくない。輝度－ピクセル関係情報は、画素ひび幅関係情報に対応する。
【0018】
図１に戻り、ひび幅計測部１６は、ひび画像のうち計測箇所選択部１３で選択された２点間の領域のうちひびの位置を特定する。ひびの位置の特定は、一例では選択された２点間の領域を２値化処理することによって行うことができる。ひび幅計測部１６は、ひびの位置に存在するそれぞれの画素について、輝度－ピクセル関係情報を用いて輝度値から１画素あたりひび幅を算出する。このとき、それぞれの画素について、ひび幅０画素よりも大きくひび幅１画素以下の１画素あたりひび幅が算出されることになる。ひび幅計測部１６は、選択された２点間を結ぶ線分がひびの位置を通る画素についての１画素あたりひび幅を合計した合計ひび幅を算出する。そして、ひび幅計測部１６は、画像解像度情報を用いて画像上での合計ひび幅をトンネルでのひび幅に変換する。
【0019】
図２の例では、画素ｐ１から画素ｐ９までが示されており、画素ｐ１－ｐ９のハッチングの密度で輝度値が示されている。ひび幅計測部１６は、２値化処理によって、画素ｐ２から画素ｐ７までがひび３１０の位置であると特定する。ひび幅計測部１６は、画素ｐ２から画素ｐ７までの各画素の輝度値から、輝度－ピクセル関係情報１５１を用いて１画素の幅あたりのひび３１０の幅の割合を示す１画素あたりひび幅を算出する。この結果、画素ｐ２，ｐ３，ｐ４，ｐ５，ｐ６，ｐ７の１画素あたりひび幅はそれぞれ０．１，０．２，１．０，１．０，０．５，０．２であったものとする。ひび幅計測部１６は、算出した画素ｐ２から画素ｐ７までの各画素の１画素あたりひび幅を合計した合計ひび幅を算出する。すなわち、合計ひび幅＝０．１＋０．２＋１．０＋１．０＋０．５＋０．２＝３．０画素となる。そして、画像解像度情報を用いて合計ひび幅を実際のひび幅に換算することで、トンネルでの実際のひび幅が算出される。
【0020】
サブピクセルの考え方を適用しない場合には、ユーザによって選択された２点間のうちひび３１０と判定された領域にある画素は、ひび幅が１画素であると計算する。つまり、図２の例では、ひび３１０と判定された領域にあるすべての画素ｐ２－ｐ７の長さ、すなわち６個分の画素の長さである６画素が合計ひび幅とされる。一方、実施の形態１では、ひび３１０と判定された領域にある画素のそれぞれについて輝度－ピクセル関係情報１５１を用いて輝度値から１画素あたりひび幅を算出し、算出した１画素あたりひび幅を合計したものが合計ひび幅とされる。これによって、より正確なひび幅の算出が可能となる。なお、ひび画像の輝度値は、ひび画像データの明度を用いることができる。
【0021】
図１に戻り、計測結果表示部１７は、ひび幅計測部１６によって算出された構造物であるトンネルでの実際のひび幅を表示する。一例では、計測結果表示部１７は、ひび幅をひび画像データに重ねて表示する。このとき、ひび幅は、ユーザが選択した２点間を結ぶ線分の近くに表示することが望ましい。
【0022】
図１において、計測箇所選択部１３、画像表示部１２および計測結果表示部１７で行われる処理は、ひび幅計測装置１の操作画面を介して行われる処理であり、表示部にひび画像データ、計測結果等を表示し、表示部に表示されたデータに対して入力部で選択された情報を取得する処理である。ひび幅計測部１６で行われる処理は、ひび幅計測装置１の内部で行われる内部処理である。
【0023】
次に、このような構成のひび幅計測装置１におけるひび幅計測方法について説明する。図３は、実施の形態１に係るひび幅計測方法の手順の一例を示すフローチャートである。図４は、実施の形態１に係るひび幅計測方法の手順の一例を模式的に示す図である。図４では、操作画面を介して行われる処理と、内部処理と、を分けて表示している。このうち、操作画面を介して行われる処理については、操作画面に表示される内容をイメージしたものが示されている。なお、ひび画像記憶部１１には、トンネルなどの構造物を撮影したひび画像データが予め記憶されているものとする。
【0024】
まず、画像表示部１２は、ひび画像記憶部１１からひび画像データ１１１を読み出して表示する（ステップＳ１１）。読み出すひび画像データ１１１は、ユーザによって選択されたものであってもよいし、撮影日時などの決められた順に選択されたものであってもよい。
【0025】
ユーザは、表示されたひび画像データ１１１からひび幅を計測したい位置を含むように２点を選択する。つまり、ユーザは、ひび幅を計測したいひび３１０を挟むように２点をひび画像データ１１１上で選択する。ユーザによって２点が選択されると、計測箇所選択部１３は、ユーザによって選択された２点のひび画像データ１１１上の位置を選択する（ステップＳ１２）。
【0026】
ひび幅計測部１６は、ひび画像データ１１１上の選択された２点を結ぶ領域からひび３１０の位置を特定する（ステップＳ１３）。ひび幅計測部１６は、一例では、２点を結ぶ領域の画素について２値化処理を行い、ひび３１０とひび以外の領域とにセグメンテーションし、ひび３１０の位置を特定する。次いで、ひび幅計測部１６は、特定したひび３１０の位置の各画素の輝度値を求め（ステップＳ１４）、各画素について輝度値から輝度－ピクセル関係情報１５１を用いて１画素あたりひび幅を算出する（ステップＳ１５）。ひび幅計測部１６は、特定したひび３１０の位置の各画素の１画素あたりひび幅の合計である合計ひび幅を算出し（ステップＳ１６）、画像解像度情報１４１を用いて、合計ひび幅から実際の構造物におけるひび幅を算出する（ステップＳ１７）。そして、計測結果表示部１７は、算出したひび幅１６１をひび画像データ１１１に重ねて表示する（ステップＳ１８）。以上で、処理が終了する。
【0027】
次に、ひび幅計測装置１のハードウェア構成について説明する。実施の形態１のひび幅計測装置１は、コンピュータシステム上で、ひび幅計測装置１における処理が記述されたコンピュータプログラムであるプログラムが実行されることにより、コンピュータシステムがひび幅計測装置１として機能する。図５は、実施の形態１に係るひび幅計測装置を実現するコンピュータシステムの構成の一例を示すブロック図である。図５に示されるように、このコンピュータシステムは、制御部９０１と、入力部９０２と、記憶部９０３と、表示部９０４と、通信部９０５と、出力部９０６と、を備え、これらはシステムバス９０７を介して接続されている。
【0028】
図５において、制御部９０１は、一例では、ＣＰＵ（Central Processing Unit）等のプロセッサであり、実施の形態１のひび幅計測装置１における処理が記述されたプログラムを実行する。入力部９０２は、一例ではキーボード、マウスなどで構成され、コンピュータシステムのユーザが、各種情報の入力を行うために使用する。記憶部９０３は、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの各種メモリおよびハードディスクなどのストレージデバイスを含み、上記制御部９０１が実行すべきプログラム、処理の過程で得られた必要なデータなどを記憶する。また、記憶部９０３は、プログラムの一時的な記憶領域としても使用される。表示部９０４は、ディスプレイ、液晶表示パネルなどで構成され、コンピュータシステムのユーザに対して各種画面を表示する。一例では、入力部９０２と表示部９０４とが一体的に形成されたタッチパネルで入力部９０２および表示部９０４が構成されていてもよい。通信部９０５は、通信処理を実施する受信機および送信機である。出力部９０６は、プリンタ、スピーカなどである。なお、図５は、一例であり、コンピュータシステムの構成は図５の例に限定されない。
【0029】
ここで、プログラムが実行可能な状態になるまでのコンピュータシステムの動作例について説明する。上述した構成をとるコンピュータシステムには、たとえば、図示しないＣＤ（Compact Disc）－ＲＯＭドライブまたはＤＶＤ（Digital Versatile Disc）－ＲＯＭドライブにセットされたＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭから、プログラムが記憶部９０３にインストールされる。そして、プログラムの実行時に、記憶部９０３から読み出されたプログラムが記憶部９０３の主記憶領域に格納される。この状態で、制御部９０１は、記憶部９０３に格納されたプログラムに従って、実施の形態１のひび幅計測装置１としての処理を実行する。
【0030】
なお、上記の説明においては、ＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭを記録媒体として、ひび幅計測装置１における処理を記述したプログラムを提供しているが、これに限らず、コンピュータシステムの構成、提供するプログラムの容量などに応じて、たとえば、通信部９０５を経由してインターネットなどの伝送媒体により提供されたプログラムを用いることとしてもよい。
【0031】
図１に示した計測箇所選択部１３およびひび幅計測部１６は、図５に示した記憶部９０３に記憶されたプログラムが図５に示した制御部９０１により実行されることによって実現される。計測箇所選択部１３およびひび幅計測部１６の実現には、図５に示した記憶部９０３も用いられる。また、計測箇所選択部１３の実現には、図５に示した入力部９０２も用いられる。画像表示部１２および計測結果表示部１７は、図５に示した記憶部９０３に記憶されたプログラムが図５に示した制御部９０１により実行され、図５に示した表示部９０４に表示されることによって実現される。ひび画像記憶部１１、画像解像度情報記憶部１４および輝度－ピクセル関係情報記憶部１５は、図５に示した記憶部９０３によって実現される。
【0032】
実施の形態１のひび幅計測装置１は、ひび画像データの１画素が表す輝度値の値と１画素あたりのひび幅との関係を示す輝度－ピクセル関係情報を用いてひび画像データで選択された２点間を結ぶ線分と交わるひびに相当する領域のひび画像データ上でのひび幅を算出し、ひび画像データのサイズと構造物のサイズとの対応関係を示す画像解像度情報を用いて、ひび画像データ上でのひび幅から実際のひび幅を算出するひび幅計測部１６を備える。これによって、ひび画像データ上でユーザが任意に選択した２つの位置の間に挟まれるひびのひび幅を、従来に比して正確に計測することができる。
【0033】
実施の形態２．
特許文献１に記載の技術では、閾値による２値化を行ってひびの位置を特定しているが、このような手法では照明等の画像の撮影条件が変わると検出精度も変化することが多い。このため、ひび領域の検出精度が安定していないという問題もあった。
特許文献１に記載の技術では、閾値による２値化を行ってひびの位置を特定しているが、このような手法では照明等の画像の撮影条件が変わると検出精度も変化することが多い。このため、ひび領域の検出精度が安定していないという問題もあった。
【0034】
また、実施の形態１では、ひび画像データからユーザが２点を選択していたが、選択した２点間にひびが存在しない場合もあり得る。このため、ユーザがひびを挟んだ２点を選択できることが望ましい。実施の形態２では、ひび幅を算出するにあたり、ひび領域の検出精度を安定させ、ユーザがひびを挟んだ２点を選択しやすくすることができるひび幅計測装置について説明する。
【0035】
図６は、実施の形態２に係るひび幅計測装置の構成の一例を模式的に示す図である。なお、図１と同一の構成要素には同一の符号を付して、その説明を省略し、図１と異なる部分について説明を行う。実施の形態２に係るひび幅計測装置１Ａは、実施の形態１の構成に加えて、学習装置２０と、ひび分類学習済モデル記憶部２１と、ひび分類部２２と、をさらに備える。
【0036】
学習装置２０は、ひび画像データのひびを分類する学習済モデルであるひび分類学習済モデルを生成する装置である。学習装置２０は、データ取得部２０１と、モデル生成部２０２と、を備える。
【0037】
データ取得部２０１は、ひびを含む画像データであるひび画像データと、ひび位置を示す正解データと、を学習用データとして取得する。ひび画像データとひび位置を示す正解データとは、対応付けられている。また、ひび画像データには、ひびのほかに、トンネル目地などのひびではない物も含まれている。ひび画像データには、過去にひび幅の計測で使用した画像データを用いることができる。
【0038】
モデル生成部２０２は、データ取得部２０１から出力されるひび画像データおよびひび位置を示す正解データの組合せに基づいて作成される学習用データに基づいて、ひび分類画像データであるひび分類画像データを学習する。すなわち、ひび幅計測装置１Ａのひび画像データおよびひび位置を示す正解データから最適なひび分類画像データを推論するひび分類学習済モデルを生成する。ここで、学習用データは、ひび画像データおよびひび位置を示す正解データを互いに関連付けたデータである。ひび分類学習済モデルは、第１学習済モデルに対応する。
【0039】
なお、学習装置２０は、ひび幅計測装置１Ａのひび分類画像データを学習するために使用されるが、一例では、ネットワークを介してひび幅計測装置１Ａに接続され、このひび幅計測装置１Ａとは別個の装置であってもよい。あるいは、図６に示されるように、学習装置２０は、ひび幅計測装置１Ａに内蔵されていてもよい。さらに、学習装置２０は、クラウドサーバ上に存在していてもよい。
【0040】
モデル生成部２０２が用いる学習アルゴリズムは、いわゆる教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例として、ニューラルネットワークを適用した場合について説明する。
【0041】
モデル生成部２０２は、一例では、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、ひび分類画像データを学習する。ここで、教師あり学習とは、入力とラベルである結果とのデータの組を学習装置２０に与えることで、これらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。
【0042】
ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる隠れ層である中間層、および複数のニューロンからなる出力層で構成される。中間層は、１層でもよいし、２層以上でもよい。
【0043】
図７は、モデル生成部が使用するニューラルネットワークの一例を模式的に示す図である。図７に例示されるような３層のニューラルネットワークであれば、複数の入力が入力層Ｘ１から入力層Ｘ３に入力されると、この値にｗ１１からｗ１６で示される重みを掛けて中間層Ｙ１から中間層Ｙ２に入力される。重みｗ１１からｗ１６は、個々に区別しない場合には、重みｗ１と称される。また、中間層Ｙ１から中間層Ｙ２の結果にさらにｗ２１からｗ２６で示される重みを掛けて出力層Ｚ１から出力層Ｚ３より出力される。重みｗ２１からｗ２６は、個々に区別しない場合には、重みｗ２と称される。出力層Ｚ１から出力層Ｚ３の出力結果は、重みｗ１，ｗ２の値によって変わる。
【0044】
実施の形態２において、ニューラルネットワークは、データ取得部２０１によって取得されるひび画像データとひび位置を示す正解データとの組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、ひび分類画像データを学習する。
【0045】
すなわち、ニューラルネットワークは、入力層にひび画像データを入力して出力層から出力された結果が、ひび位置を示す正解データに近づくように重みｗ１，ｗ２を調整することで学習する。
【0046】
モデル生成部２０２は、以上のような学習を実行することでひび分類学習済モデルを生成し、出力する。
【0047】
図６に戻り、ひび分類学習済モデル記憶部２１は、モデル生成部２０２から出力されたひび分類学習済モデルを記憶する。
【0048】
ひび分類部２２は、ひび画像データからひびの位置を推論するためのひび分類学習済モデルを用いて、ひび画像データからひび分類画像データを推論し、出力する。すなわち、このひび分類学習済モデルにひび画像記憶部１１から取得したひび画像データを入力することで、ひび画像データから推論されるひび分類画像データを出力することができる。ひび分類部２２でひびが分類されたひび分類画像データは、セマンティックセグメンテーションされたひび画像データとも称される。つまり、ひび分類画像データは、セマンティックセグメンテーションされた画像データであり、ひびとひび以外の部分とが画素単位で分類された画像データである。
【0049】
なお、本実施の形態では、ひび幅計測装置１Ａのモデル生成部２０２で学習したひび分類学習済モデルを用いてひび分類画像データを出力するものとして説明したが、他のひび幅計測装置１Ａ等の外部からひび分類学習済モデルを取得し、このひび分類学習済モデルに基づいてひび分類画像データを出力するようにしてもよい。
【0050】
また、ひび分類部２２は、ひび幅計測装置１Ａのひび画像データからひび分類画像データを取得するために使用される。図６の例では、ひび分類部２２は、ひび幅計測装置１Ａに内蔵されているが、一例では、ネットワークを介してひび幅計測装置１Ａに接続され、このひび幅計測装置１Ａとは別個の装置であってもよい。さらに、ひび分類部２２は、クラウドサーバ上に存在していてもよい。
【0051】
画像表示部１２は、ひび画像記憶部１１のひび画像データだけではなく、ひび分類部２２によって出力されるひび分類画像データも表示する。ユーザは、ひび画像データまたはひび分類画像データで計測箇所選択部１３を用いて２点を選択する。ユーザは、ひび分類画像データを参照することで、ひびの位置を認識することが容易となる。
【0052】
計測箇所選択部１３は、ひび画像データまたはひび分類画像データでユーザによって選択された２点の位置を特定する。
【0053】
ひび幅計測部１６は、ひびの位置の特定が実施の形態１とは異なる。つまり、実施の形態２では、ひび幅計測部１６は、ひび分類画像データを用いてユーザによって選択された２点を結ぶ線分の間のひびの境界の位置を特定する。
【0054】
図６において、計測箇所選択部１３、画像表示部１２および計測結果表示部１７で行われる処理は、ひび幅計測装置１Ａの操作画面を介して行われる処理であり、ひび幅計測部１６およびひび分類部２２で行われる処理は、ひび幅計測装置１Ａの内部で行われる内部処理である。また、学習装置２０で行われる処理は、事前に行われる事前処理である。
【0055】
図８は、実施の形態２に係るひび幅計測装置の構成の他の例を模式的に示す図である。なお、図１および図６と同一の構成要素には同一の符号を付して、その説明を省略し、異なる部分について説明する。図８に示されるひび幅計測装置１Ｂは、構成は実施の形態１のひび幅計測装置１と同じであり、画像表示部１２、計測箇所選択部１３およびひび幅計測部１６の機能は、図６で説明したものと同様である。また、ひび幅計測装置１Ｂの外部に、学習装置２０と推論装置２５とが設けられる。学習装置２０は、上記で説明した構成と同じである。
【0056】
推論装置２５は、データ取得部２５１と、ひび分類学習済モデル記憶部２１と、ひび分類部２２と、を有する。データ取得部２５１はひび画像データを取得する。一例では、データ取得部２５１は、ひび画像記憶部１１からひび画像データを取得する。ひび分類学習済モデル記憶部２１およびひび分類部２２の機能は、図６で説明したものと同様である。
【0057】
このように、推論装置２５がひび幅計測装置１Ｂの外部に設けられる場合には、ひび分類画像データが外部からひび幅計測装置１Ｂに入力されることになる。このため、ひび幅計測装置１Ｂの内部にはひび分類部２２およびひび分類学習済モデル記憶部２１は不要となる。なお、図８では、推論装置２５がひび分類学習済モデルを用いてひび画像データからひび分類画像データを生成し、ひび分類画像データをひび幅計測装置１Ｂに入力する例を示しているが、他の方法によって作成されたひび分類画像データをひび幅計測装置１Ｂに入力してもよい。一例では、ユーザがひび画像データをひびとひび以外の部分とに画素単位で分類したひび分類画像データをひび幅計測装置１Ｂに入力してもよい。
【0058】
次に、このような構成のひび幅計測装置１Ａ，１Ｂの処理について説明する。以下では、学習装置２０での学習処理について説明した後、ひび幅計測方法について説明する。
【0059】
図９は、実施の形態２に係るひび幅計測装置におけるひび分類学習済モデル生成方法の手順の一例を示すフローチャートである。データ取得部２０１は、ひび画像データと、ひび位置を示す正解データと、を取得する（ステップＳ３１）。なお、ひび画像データおよびひび位置を示す正解データを同時に取得するものとしたが、ひび画像データおよびひび位置を示す正解データを関連付けて入力できればよく、ひび画像データおよびひび位置を示す正解データをそれぞれ別のタイミングで取得してもよい。
【0060】
次いで、モデル生成部２０２は、データ取得部２０１によって取得されるひび画像データおよびひび位置を示す正解データの組み合わせに基づいて作成される学習用データにしたがって、いわゆる教師あり学習によりひび分類画像データを学習し、ひび分類学習済モデルを生成する（ステップＳ３２）。
【0061】
その後、ひび分類学習済モデル記憶部２１は、モデル生成部２０２が生成したひび分類学習済モデルを記憶する（ステップＳ３３）。以上で、ひび分類学習済モデル生成方法が終了する。
【0062】
図１０および図１１は、実施の形態２に係るひび幅計測方法の手順の一例を示すフローチャートである。図１０および図１１は、図６に示されるひび幅計測装置１Ａでのひび幅計測方法の処理手順を示している。図１２は、実施の形態２に係るひび幅計測方法の手順の一例を模式的に示す図である。図１２では、操作画面を介して行われる処理と、内部処理と、を分けて表示している。このうち、操作画面を介して行われる処理については、操作画面に表示される内容をイメージしたものが示されている。なお、ひび画像記憶部１１には、トンネルなどの構造物を撮影した画像であるひび画像データが予め記憶されているものとする。
【0063】
まず、画像表示部１２は、ひび画像記憶部１１からひび画像データ１１１を読み出して表示する（ステップＳ５１）。取得するひび画像データ１１１は、ユーザによって選択されたものであってもよいし、撮影日時などの決められた順に選択されたものであってもよい。
【0064】
ひび分類部２２は、画像表示部１２によって表示されたものと同じひび画像データ１１１をひび画像記憶部１１から取得する（ステップＳ５２）。次いで、ひび分類部２２は、ひび分類学習済モデル記憶部２１に記憶されているひび分類学習済モデルに取得したひび画像データ１１１を入力することで出力されるひび分類画像データ２２１を取得する（ステップＳ５３）。ひび分類画像データ２２１は、壁面３００とひび３１０とがセマンティックセグメンテーションされた画像データである。画像表示部１２は、ひび分類画像データ２２１をひび画像データ１１１とともに表示する（ステップＳ５４）。
【0065】
ユーザは、表示されたひび画像データ１１１またはひび分類画像データ２２１からひび幅を計測したい位置を含むように２点を選択する。つまり、ユーザは、ひび幅を計測したいひび３１０を挟むように２点をひび画像データ上またはひび分類画像データ上で選択する。なお、ここではユーザは、ひび３１０の延在方向に対して２点を結ぶ線分が垂直となるように、２点を選択するものとする。ユーザによって２点が選択されると、計測箇所選択部１３は、ユーザによって選択された２点のひび画像データ上またはひび分類画像データ上の位置を取得する（ステップＳ５５）。以下では、２点を結ぶ線分は、幅算出基準線と称される。
【0066】
ひび幅計測部１６は、ひび分類画像データ上で、幅算出基準線が通る領域中のひび３１０と壁面３００との境界を求める（ステップＳ５６）。ひび幅計測部１６は、ひび３１０と壁面３００との境界を求めると、幅算出基準線が通る領域中の境界と境界との間の画素の位置を取得する（ステップＳ５７）。ひび幅計測部１６は、取得した画素の位置に対応するひび画像データ１１１の位置での輝度値を求める（ステップＳ５８）。その後、ひび幅計測部１６は、各画素について輝度値から輝度－ピクセル関係情報１５１を用いて１画素あたりひび幅を算出する（ステップＳ５９）。ひび幅計測部１６は、取得した画素の１画素あたりひび幅の合計である合計ひび幅を算出し（ステップＳ６０）、画像解像度情報１４１を用いて、合計ひび幅から実際の構造物におけるひび幅を算出する（ステップＳ６１）。そして、計測結果表示部１７は、算出したひび幅１６１をひび画像データ１１１に重ねて表示する（ステップＳ６２）。以上で、処理が終了する。
【0067】
なお、図１０では、ひび分類部２２は、表示されたひび画像データ１１１をセマンティックセグメンテーションしたひび分類画像データ２２１を生成し、画像表示部１２が、ひび分類画像データ２２１をひび画像データ１１１とともに表示した後に、ユーザが２点を選択するようにしている。しかし、ステップＳ５１でひび画像データ１１１を表示した後に、ユーザがひび画像データ１１１上で２点を選択してもよい。この場合には、ひび分類部２２は、ユーザが選択した２点を対角線とする矩形の領域についてセマンティックセグメンテーションを実行した部分的なひび分類画像データを生成する。そして、この部分的なひび分類画像データを用いて、ステップＳ５６以降の処理が行われる。
【0068】
また、図８に示されるひび幅計測装置１Ｂの場合には、図１０の処理は、以下に示す点が異なる。ひび幅計測装置１Ｂの場合には、ステップＳ５２，Ｓ５３の処理が省略される。また、ステップＳ５４では、画像表示部１２は、外部から入力されたひび分類画像データ２２１をひび画像データ１１１とともに表示する。
【0069】
実施の形態１では、ひびと壁面との分割は、ユーザが選択した２点間を結ぶ線分が通る領域を対象として２値化処理によって行われていたが、このような手法では照明等の画像の撮影条件が変わると検出精度も変化することが多く、ひび領域の検出精度が安定していない。しかし、実施の形態２のひび幅計測装置１Ａ，１Ｂでは、ひび幅計測部１６は、ひび幅を算出する基準となる幅算出基準線をユーザが選択した２点間を結ぶ線分とし、ひび画像データをひびとひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、幅算出基準線と交わるひびに相当する領域を決定するようにした。これによって、対象箇所だけではなく周辺画素をも考慮した判定を行うことができるとともに、従来の画像処理では難しい目地等と区別した分割ができる。この結果、ひび領域の検出精度が従来に比して向上するという効果を実施の形態１の効果に加えて有する。
【0070】
実施の形態３．
実施の形態１，２では、ユーザが選択した２点がひびの延在方向に垂直であることを前提としていた。しかし、ユーザがひびの延在方向に垂直な方向の２点を選択することは困難である場合が多い。そこで、ユーザが選択した２点が、ひびの延在方向に垂直でない場合に、ひびの延在方向に垂直となるように、補正処理を行うひび幅計測装置について説明する。
実施の形態１，２では、ユーザが選択した２点がひびの延在方向に垂直であることを前提としていた。しかし、ユーザがひびの延在方向に垂直な方向の２点を選択することは困難である場合が多い。そこで、ユーザが選択した２点が、ひびの延在方向に垂直でない場合に、ひびの延在方向に垂直となるように、補正処理を行うひび幅計測装置について説明する。
【0071】
図１３は、実施の形態３に係るひび幅計測装置の構成の一例を模式的に示す図である。なお、図１および図６と同一の構成要素には同一の符号を付して、その説明を省略し、図１および図６と異なる部分について説明する。
【0072】
図１３に示されるひび幅計測装置１Ｃは、図６のひび幅計測装置１Ａにおいて、ひび方向算出部３１をさらに備える。ひび方向算出部３１は、ひび分類画像データを用いてユーザが選択した２点を結ぶ線分と交わるひびの延在方向であるひび方向を算出する。具体的には、ひび方向算出部３１は、ひび分類画像データの定められた点を原点とし、ひび分類画像データの外形を構成する１つの辺に平行で原点を通る軸をＸ軸とし、Ｘ軸と平行な辺に垂直な他方の辺に平行で原点を通る軸をＹ軸とした座標系を用いて、ユーザが選択した２点を結ぶ線分と交わるひび方向を算出する。一例では、ひび方向算出部３１は、ひび分類部２２で分類されたひびのうち、選択した２点を結ぶ線分を通るひびを選択し、ひびを構成するすべての画素からの距離が最小となる近似直線を算出する。このとき、ひびを構成するすべての画素の座標を用いて、最小二乗法によって近似直線を算出する。ひび方向算出部３１は、算出した近似直線の傾きをひび方向とする。
【0073】
また、実施の形態３に係るひび幅計測装置１Ｃでは、ひび幅計測部１６の機能が異なる。ひび幅計測部１６は、選択した２点を通る線分がひび方向と直交するかを判定し、線分がひび方向と直交していない場合には、幅算出基準線を、線分と交わりひび方向に直交する直線として、ひび幅を算出する機能をさらに有する。
【0074】
具体的なひび幅計測部１６の機能について説明する。ひび幅計測部１６は、ひび方向算出部３１が算出した近似直線と、選択した２点を通る線分と、が直交しているかを判定する。近似直線の傾きと選択した２点を通る線分の傾きとの積が－１である場合には、両者は直交し、両者の傾きの積が－１でない場合には両者は直交していないと判定することができる。両者が直交している場合には、ひび幅計測部１６は、選択した２点を結ぶ線分を幅算出基準線として、実施の形態２で算出した方法で得られたひび幅を算出する。一方、両者が直交していない場合には、ひび幅計測部１６は、選択した２点を結ぶ線分と交わり、近似直線に直交する１つの直線を算出する。選択した２点を結ぶ線分と交わり、近似直線に直交する１つの直線としては、選択した２点を通る線分と近似直線との交点を通る直線としてもよいし、選択した２点のうちいずれかを通る直線としてもよい。ひび幅計測部１６は、算出した直線を幅算出基準線として、実施の形態２で説明した方法によってひび幅を算出する。
【0075】
【0076】
ステップＳ５５の後に、ひび方向算出部３１は、ひび分類画像データ上でユーザによって選択された２点を結ぶ線分と交わるひびの延在方向を示す近似直線を算出する（ステップＳ７１）。その後、ひび幅計測部１６は、選択された２点を結ぶ線分が近似直線と直交しているかを判定する（ステップＳ７２）。直交している場合（ステップＳ７２でＹｅｓの場合）には、図１１のステップＳ５６に処理が移る。
【0077】
直交していない場合（ステップＳ７２でＮｏの場合）には、ひび幅計測部１６は、選択した２点を結ぶ線分と交わり、近似直線に直交する直線を算出する（ステップＳ７３）。一例では、ひび幅計測部１６は、選択した２点を結ぶ線分と近似直線との交点を通る近似直線に直交する直線を算出する。次いで、ひび幅計測部１６は、算出した直線を幅算出基準線として（ステップＳ７４）、図１１のステップＳ５６に処理が移る。
【0078】
なお、実施の形態３で説明したひびの延在方向に垂直なひび幅を求める処理と、実施の形態２で説明したユーザによって選択された２点を結ぶ線分がひびと交わる長さをひび幅として求める処理と、をユーザによって選択可能としてもよい。
【0079】
実施の形態３のひび幅計測装置１Ｃは、ひびの方向を算出するひび方向算出部３１をさらに備え、ひび幅計測部１６は、ユーザが選択した２点を結ぶ線分がひびの方向と直交しない場合に、ひびの方向に直交する直線を幅算出基準線として算出し、幅算出基準線が通る領域中のひびと壁面との境界を求めて、境界と境界との間のひび幅を算出する。これによって、ユーザが選択した２点を結ぶ線分に近い位置でのより正確なひび幅を算出することが可能となる。
【0080】
実施の形態４．
実施の形態１から３では、画像解像度情報および輝度－ピクセル関係情報は、ひび画像データの撮影環境ごとにユーザによって求める必要があった。しかし、同じ構造物のひびを頻繁に検査する場合には、同じ撮影環境でひび画像データが撮影されることが多い。また、異なる場所の対象物でも、撮影環境が類似することもある。このような場合には、画像解像度情報または輝度－ピクセル関係情報を予め設定されたものの中から選択可能としてもよい。
実施の形態１から３では、画像解像度情報および輝度－ピクセル関係情報は、ひび画像データの撮影環境ごとにユーザによって求める必要があった。しかし、同じ構造物のひびを頻繁に検査する場合には、同じ撮影環境でひび画像データが撮影されることが多い。また、異なる場所の対象物でも、撮影環境が類似することもある。このような場合には、画像解像度情報または輝度－ピクセル関係情報を予め設定されたものの中から選択可能としてもよい。
【0081】
図１５は、実施の形態４に係るひび幅計測装置の構成の一例を模式的に示す図である。なお、図１および図６と同一の構成要素には同一の符号を付して、その説明を省略し、図１および図６と異なる部分について説明を行う。実施の形態４に係るひび幅計測装置１Ｄは、実施の形態２の構成に加えて、プリセット条件記憶部４１と、条件設定表示部４２と、をさらに備える。
【0082】
プリセット条件記憶部４１は、定められた画像解像度情報と、定められた輝度－ピクセル関係情報と、を含むプリセット条件を記憶する。定められた画像解像度情報および定められた輝度－ピクセル関係情報は、よく使用される撮影環境での画像解像度情報および輝度－ピクセル関係情報とすることができる。
【0083】
なお、プリセット条件記憶部４１に記憶される定められた画像解像度情報および定められた輝度－ピクセル関係情報は、１つに限られることはなく、複数であってもよい。一例では、頻繁に検査を行う構造物の撮影環境に対応する画像解像度情報および輝度－ピクセル関係情報をプリセット条件記憶部４１に記憶しておくことができる。
【0084】
条件設定表示部４２は、画像解像度情報および輝度－ピクセル関係情報を設定する設定画面を表示し、ユーザによる設定を受け付ける。実施の形態４では、条件設定表示部４２は、プリセット条件記憶部４１に記憶されている定められた画像解像度情報および定められた輝度－ピクセル関係情報のそれぞれを、画像解像度情報の初期値および輝度－ピクセル関係情報の初期値に設定した設定画面を表示する。プリセット条件記憶部４１に複数の画像解像度情報が記憶されている場合には、予め定められた画像解像度情報を初期値とすることができる。同様に、プリセット条件記憶部４１に複数の輝度－ピクセル関係情報が記憶されている場合には、予め定められた輝度－ピクセル関係情報を初期値とすることができる。条件設定表示部４２によって表示される設定画面では、画像解像度情報および輝度－ピクセル関係情報をユーザが任意に変更することもできる。また、条件設定表示部４２は、設定画面でユーザによって決定された画像解像度情報および輝度－ピクセル関係情報をそれぞれ画像解像度情報記憶部１４および輝度－ピクセル関係情報記憶部１５に設定する。これによって、ひび幅計測時において、ひび幅計測部１６は、画像解像度情報記憶部１４に記憶された画像解像度情報および輝度－ピクセル関係情報記憶部１５に記憶された輝度－ピクセル関係情報を参照して、ひび幅の計測処理を行う。
【0085】
図１６は、設定画面とプリセット条件の一例を示す図である。設定画面４２０は、条件設定表示領域４２１と、設定ボタン４２２と、キャンセルボタン４２３と、を有する。条件設定表示領域４２１には、プリセット条件記憶部４１に記憶されているプリセット条件４１０中の定められた画像解像度情報４１１および定められた輝度－ピクセル関係情報４１２が初期値として設定されている。ここでは、プリセット条件４１０の定められた画像解像度情報４１１には、プリセット名が「ＡＡ」で画像解像度が「０．５」ｍｍ／ｐｉｃのデータのみが設定されているものとする。定められた画像解像度情報４１１には１つのデータしか設定されていないので、このデータが設定画面４２０にプリセットされる初期値となる。また、プリセット条件４１０の定められた輝度－ピクセル関係情報４１２には２つのデータが設定されている。この場合には、初期値として設定されているプリセット名が「ＸＸトンネル」であるデータが設定画面４２０にプリセットされる初期値となる。ここでは、輝度－ピクセル関係情報４１２は、輝度値と１画素あたりひび幅を示すｐｉｘとの組を複数有する情報となっている。また、他のプリセットされたデータを選択したい場合には、ボタン４２１ａを押すことで、定められた輝度－ピクセル関係情報４１２がリスト表示され、リスト表示された中からデータを選択することができる。
【0086】
なお、条件設定表示領域４２１における画像解像度情報および輝度－ピクセル関係情報は、ユーザによって適宜編集可能である。一例では、画像解像度情報については、条件設定表示部４２を介して任意の数値を入力することができる。また、輝度－ピクセル関係情報については、図示しないが公知の方法で輝度値と１画素あたりひび幅との組を複数登録したり、輝度値と１画素あたりひび幅との組を複数登録した輝度－ピクセル関係情報のデータをひび幅計測装置１Ｄに読み込んだりすることができる。
【0087】
設定ボタン４２２は、条件設定表示領域４２１に表示されている画像解像度情報および輝度－ピクセル関係情報をひび幅計測装置１Ｄに適用するボタンである。設定ボタン４２２が押されると、条件設定表示領域４２１に設定された画像解像度情報は、画像解像度情報記憶部１４に設定され、条件設定表示領域４２１に設定された輝度－ピクセル関係情報は、輝度－ピクセル関係情報記憶部１５に設定される。キャンセルボタン４２３は、設定画面での設定を中止するボタンである。
【0088】
図１６の設定画面４２０において、ユーザは、プリセット条件４１０の中に、ひび幅の計測対象となるひび画像データの撮影条件と一致するものまたは類似するものがある場合には、一致するまたは類似する条件の画像解像度情報または輝度－ピクセル関係情報を選択する。このような条件の選択によって、画像解像度情報または輝度－ピクセル関係情報をユーザが求めたり、入力したりする手間を省くことが可能となる。
【0089】
なお、実施の形態１または実施の形態３の構成に、プリセット条件記憶部４１と条件設定表示部４２とを設ける構成としてもよい。また、上記した説明では、プリセット条件記憶部４１には、定められた画像解像度情報および定められた輝度－ピクセル関係情報を記憶する場合を説明したが、定められた画像解像度情報および輝度－ピクセル関係情報のうち少なくとも一方が記憶されていればよい。
【0090】
実施の形態４のひび幅計測装置１Ｄにおけるひび幅計測方法は、実施の形態１から３で説明したものと同様であるので、その説明を省略する。
【0091】
実施の形態４のひび幅計測装置１Ｄは、定められた画像解像度情報および定められた輝度－ピクセル関係情報のうち少なくとも一方を記憶するプリセット条件記憶部４１と、定められた画像解像度関係情報および定められた輝度－ピクセル関係情報のうち少なくとも一方が初期値として設定された画像解像度情報および輝度－ピクセル関係情報の設定画面を表示する条件設定表示部４２と、をさらに備える。ひび画像データの撮影環境が類似するものであれば、同じ画像解像度情報および同じ輝度－ピクセル関係情報を用いることが可能な場合もある。このような場合には、ひび幅の計測対象となるひび画像データを用いたひび幅の計測のために、その都度、画像解像度情報および輝度－ピクセル関係情報を作成するのではなく、過去の一致するまたは類似する画像解像度情報および輝度－ピクセル関係情報を流用することで、ひび幅の計測にかかる時間を短縮することができる。つまり、画像解像度情報および輝度－ピクセル関係情報をユーザが作成する手間を省略することができるという効果を有する。
【0092】
実施の形態５．
図１７は、実施の形態５に係るひび幅計測装置の構成の一例を模式的に示す図である。なお、図１および図６と同一の構成要素には同一の符号を付して、その説明を省略し、図１および図６と異なる部分について説明する。実施の形態５に係るひび幅計測装置１Ｅは、図６のひび幅計測装置１Ａにおいて、輝度－ピクセル関係情報記憶部１５を除去し、学習装置５０と、輝度－ピクセル関係学習済モデル記憶部５１と、輝度－ピクセル関係算出部５２と、ひび分類画像記憶部５３と、をさらに備える。
図１７は、実施の形態５に係るひび幅計測装置の構成の一例を模式的に示す図である。なお、図１および図６と同一の構成要素には同一の符号を付して、その説明を省略し、図１および図６と異なる部分について説明する。実施の形態５に係るひび幅計測装置１Ｅは、図６のひび幅計測装置１Ａにおいて、輝度－ピクセル関係情報記憶部１５を除去し、学習装置５０と、輝度－ピクセル関係学習済モデル記憶部５１と、輝度－ピクセル関係算出部５２と、ひび分類画像記憶部５３と、をさらに備える。
【0093】
学習装置５０は、ひび画像データのひび領域における各画素について輝度値から１画素あたりひび幅を算出する輝度－ピクセル関係学習済モデルを生成する装置である。学習装置５０は、データ取得部５０１と、モデル生成部５０２と、を備える。輝度－ピクセル関係学習済モデルは、第２学習済モデルに対応する。
【0094】
データ取得部５０１は、ひび画像データと、正解データである輝度値に応じた画素とひび幅との関係情報と、を学習用データとして取得する。ひび画像データと輝度値に応じた画素とひび幅との関係情報とは、対応付けられている。輝度値に応じた画素とひび幅との関係情報は、一例では、実施の形態１から３において、ひび画像データの画素の各輝度値が、１画素の幅を基準としたときの何画素のひび幅に相当するかを示す輝度－ピクセル関係情報を事前に予備実験で求めた結果を、ひび画像データに対応付けて蓄積したものである。
【0095】
モデル生成部５０２は、データ取得部５０１から出力されるひび画像データおよび輝度値に応じた画素とひび幅との関係情報の組合せに基づいて作成される学習用データに基づいて、輝度－ピクセル関係情報を学習する。すなわち、ひび幅計測装置１Ｅのひび画像データおよび輝度値に応じた画素とひび幅との関係情報から最適な輝度－ピクセル関係情報を推論する学習済モデルである輝度－ピクセル関係学習済モデルを生成する。ここで、学習用データは、ひび画像データおよび輝度値に応じた画素とひび幅との関係情報を互いに関連付けたデータである。
【0096】
なお、学習装置５０は、ひび幅計測装置１Ｅの輝度－ピクセル関係情報を学習するために使用されるが、一例では、ネットワークを介してひび幅計測装置１Ｅに接続され、このひび幅計測装置１Ｅとは別個の装置であってもよい。あるいは、図１７に示されるように学習装置５０は、ひび幅計測装置１Ｅに内蔵されていてもよい。さらに、学習装置５０は、クラウドサーバ上に存在していてもよい。
【0097】
モデル生成部５０２が用いる学習アルゴリズムは教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例では、図７で説明したニューラルネットワークモデルに従って、教師あり学習によって輝度－ピクセル関係情報を学習する。つまり、図７でニューラルネットワークは、入力層にひび画像データを入力して出力層から出力された結果が、輝度値に応じた画素とひび幅との関係情報に近づくように重みｗ１，ｗ２を調整することで学習し、輝度－ピクセル関係学習済モデルを生成する。
【0098】
輝度－ピクセル関係学習済モデル記憶部５１は、モデル生成部５０２から出力された輝度－ピクセル関係学習済モデルを記憶する。
【0099】
輝度－ピクセル関係算出部５２は、ひび画像データから１画素が表す輝度値に応じた１画素あたりのひび幅を推論するための輝度－ピクセル関係学習済モデル記憶部５１に記憶された輝度－ピクセル関係学習済モデルを用いて、ひび画像データから輝度－ピクセル関係情報を推論し、出力する。すなわち、この輝度－ピクセル関係学習済モデルにひび画像記憶部１１から取得したひび画像データを入力することで、ひび画像データから推論される輝度－ピクセル関係情報を出力することができる。輝度－ピクセル関係情報は、ひび画像データにおいて、画素の各輝度値がどのくらいの１画素あたりひび幅に相当するかを示す情報である。輝度－ピクセル関係算出部５２は、関係情報算出部に対応する。
【0100】
なお、実施の形態５では、ひび幅計測装置１Ｅのモデル生成部５０２で学習した輝度－ピクセル関係学習済モデルを用いて輝度－ピクセル関係情報を出力するものとして説明したが、他のひび幅計測装置１Ｅ等の外部から輝度－ピクセル関係学習済モデルを取得し、この輝度－ピクセル関係学習済モデルに基づいて輝度－ピクセル関係情報を出力するようにしてもよい。
【0101】
また、輝度－ピクセル関係算出部５２は、ひび幅計測装置１Ｅのひび画像データから輝度－ピクセル関係情報を取得するために使用される。図１７の例では、輝度－ピクセル関係算出部５２は、ひび幅計測装置１Ｅに内蔵されているが、一例では、ネットワークを介してひび幅計測装置１Ｅに接続され、このひび幅計測装置１Ｅとは別個の装置であってもよい。さらに、輝度－ピクセル関係算出部５２は、クラウドサーバ上に存在していてもよい。
【0102】
ひび分類画像記憶部５３は、ひび画像データをひびと壁面とにセマンティックセグメンテーションした画像データであるひび分類画像データを記憶する。ひび分類画像記憶部５３は、画像表示部１２に表示されたひび画像データに対応するひび分類画像データをひび幅計測部１６に出力する。実施の形態５では、ひび分類画像記憶部５３は、ひび幅計測装置１Ｅの外部でセマンティックセグメンテーションされたひび分類画像データを記憶する形態としているが、ひび幅計測装置１Ｅが、実施の形態２のようにひび分類部２２を有し、ひび分類部２２によってセマンティックセグメンテーションされたひび分類画像データがひび幅計測部１６に入力される形態としてもよい。
【0103】
次に、このような構成のひび幅計測装置１Ｅの処理について説明する。以下では、学習装置５０での学習処理について説明する。
【0104】
図１８は、実施の形態５に係るひび幅計測装置における輝度－ピクセル関係学習済モデル生成方法の手順の一例を示すフローチャートである。データ取得部５０１は、ひび画像データと、輝度値に応じた画素とひび幅との関係情報と、を取得する（ステップＳ９１）。なお、ひび画像データおよび輝度値に応じた画素とひび幅との関係情報を同時に取得するものとしたが、ひび画像データおよび輝度値に応じた画素とひび幅との関係情報を関連付けて入力できればよく、ひび画像データおよび輝度値に応じた画素とひび幅との関係情報をそれぞれ別のタイミングで取得してもよい。
【0105】
次いで、モデル生成部５０２は、データ取得部５０１によって取得されるひび画像データおよび輝度値に応じた画素とひび幅との関係情報の組み合わせに基づいて作成される学習用データにしたがって、いわゆる教師あり学習により輝度－ピクセル関係情報を学習し、輝度－ピクセル関係学習済モデルを生成する（ステップＳ９２）。
【0106】
その後、輝度－ピクセル関係学習済モデル記憶部５１は、モデル生成部５０２が生成した輝度－ピクセル関係学習済モデルを記憶する（ステップＳ９３）。以上で、輝度－ピクセル関係学習済モデル生成方法が終了する。
【0107】
なお、実施の形態５でのひび幅計測方法は、実施の形態２で説明したものと同様であるので、その説明を省略する。
【0108】
実施の形態５では、ひび幅計測装置１Ｅは、輝度－ピクセル関係学習済モデルに、ひび画像データを入力することで、輝度－ピクセル関係情報を出力する輝度－ピクセル関係算出部５２を備える。これによって、過去に蓄積された、ひび周辺の輝度および過去の輝度－ピクセル関係情報から機械学習によって生成した輝度－ピクセル関係学習済モデルを用いて、輝度－ピクセル関係情報を自動算出することができる。この結果、ユーザによる画像データを用いて輝度－ピクセル関係情報を算出する手間を削減することが可能となる。
【0109】
実施の形態６．
実施の形態２では、ひび分類部２２でひび画像データにおいて壁面とひびとをセマンティックセグメンテーションしていた。ひび分類画像データではなくひび画像データを用いてユーザが２点を選択する場合において、ユーザが選択した２点間に、ひびではなく、ひびに類似した目地等が存在する場合もある。このような場合に、注意喚起を行うことが可能なひび幅計測装置について説明する。
実施の形態２では、ひび分類部２２でひび画像データにおいて壁面とひびとをセマンティックセグメンテーションしていた。ひび分類画像データではなくひび画像データを用いてユーザが２点を選択する場合において、ユーザが選択した２点間に、ひびではなく、ひびに類似した目地等が存在する場合もある。このような場合に、注意喚起を行うことが可能なひび幅計測装置について説明する。
【0110】
実施の形態６に係るひび幅計測装置は、実施の形態２と同様の構成を有する。ただし、ひび幅計測部１６は、ひび分類画像データ上でユーザが選択した２点間にひびが存在するか否かを判定する機能をさらに有する。具体的には、ひび幅計測部１６は、ユーザが選択した２点間を結ぶ線分と交わるひびに相当する領域が存在するかを判定する機能をさらに有する。また、計測結果表示部１７は、選択した２点間にひびが存在しない場合に、選択した２点間にひびがないことを示す注意情報をユーザに対して表示する機能をさらに有する。
【0111】
【0112】
ステップＳ５５の後に、ひび幅計測部１６は、ひび分類画像データ上で、選択された２点を結ぶ線分が通る領域上にひびが存在するかを判定する（ステップＳ１１１）。ひびが存在する場合（ステップＳ１１１でＹｅｓの場合）には、図１１のステップＳ５６に処理が移る。
【0113】
一方、ひびが存在しない場合（ステップＳ１１１でＮｏの場合）には、計測結果表示部１７は、選択した２点間にひびがないことを示す注意情報を表示する（ステップＳ１１２）。以上で処理が終了する。
【0114】
なお、上記した例では、実施の形態２の構成に実施の形態６の構成を適用した場合を示したが、実施の形態３から５のいずれか１つに実施の形態６の構成を適用してもよい。
【0115】
実施の形態６では、ひび幅計測部１６は、ひび分類画像データ上のユーザが選択した２点間にひびが存在するかを判定し、ひびが存在しない場合に、計測結果表示部１７は、選択した２点間にひびがないことを示す注意情報を表示するようにした。これによって、ユーザは、ひび画像データでひびと思って選択した部分がひびでないことを認識することが可能となる。また、ひびではない箇所のひび幅の計測がなされることがないので、ひび幅の計測処理を効率的に実行することが可能となる。
【0116】
実施の形態７．
図２０は、実施の形態７に係るひび幅計測装置の構成の一例を模式的に示す図である。なお、図１と同一の構成要素には同一の符号を付して、その説明を省略し、図１と異なる部分について説明する。実施の形態７に係るひび幅計測装置１Ｆは、実施の形態１のひび幅計測装置１に対して、画像解像度情報記憶部１４および輝度－ピクセル関係情報記憶部１５を除去し、学習装置７０と、ひび幅学習済モデル記憶部７１と、をさらに備える。
図２０は、実施の形態７に係るひび幅計測装置の構成の一例を模式的に示す図である。なお、図１と同一の構成要素には同一の符号を付して、その説明を省略し、図１と異なる部分について説明する。実施の形態７に係るひび幅計測装置１Ｆは、実施の形態１のひび幅計測装置１に対して、画像解像度情報記憶部１４および輝度－ピクセル関係情報記憶部１５を除去し、学習装置７０と、ひび幅学習済モデル記憶部７１と、をさらに備える。
【0117】
学習装置７０は、ひび画像データからひびの実際の構造物におけるひび幅を算出するひび幅学習済モデルを生成する装置である。学習装置７０は、データ取得部７０１と、モデル生成部７０２と、を備える。ひび幅学習済モデルは、第３学習済モデルに対応する。
【0118】
データ取得部７０１は、ひび画像データと、過去の点検データと、を学習用データとして取得する。ひび画像データと過去の点検データとは、対応付けられている。また、過去の点検データは、ひび画像データに対応するひび位置およびひび幅を含むデータであり、正解データに対応する。過去の点検データにおけるひび幅は、ひび画像データ上におけるひび幅でもよいが、実際の構造物上で計測したひび幅であることが望ましい。つまり、過去の点検データにおけるひび幅は、ひび画像データから計測したデータではなく、実際の構造物でクラックスケールを用いて計測したデータであることが望ましい。これは、実際の構造物でクラックスケールを用いて計測したデータの方がより正確な値に近いためである。
【0119】
モデル生成部７０２は、データ取得部７０１から出力されるひび画像データおよび過去の点検データの組合せに基づいて作成される学習用データに基づいて、選択位置におけるひび幅を学習する。すなわち、ひび幅計測装置１Ｆのひび画像データおよび過去の点検データから最適な選択位置におけるひび幅を推論するひび幅学習済モデルを生成する。ここで、学習用データは、ひび画像データおよび過去の点検データを互いに関連付けたデータである。
【0120】
なお、学習装置７０は、ひび幅計測装置１Ｆの選択位置におけるひび幅を学習するために使用されるが、一例では、ネットワークを介してひび幅計測装置１Ｆに接続され、このひび幅計測装置１Ｆとは別個の装置であってもよい。あるいは、図２０に示されるように学習装置７０は、ひび幅計測装置１Ｆに内蔵されていてもよい。さらに、学習装置７０は、クラウドサーバ上に存在していてもよい。
【0121】
モデル生成部７０２が用いる学習アルゴリズムは教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例では、図７で説明したニューラルネットワークモデルに従って、教師あり学習によって選択位置におけるひび幅を学習する。つまり、図７でニューラルネットワークは、入力層にひび画像データを入力して出力層から出力された結果が、過去の点検データに近づくように重みｗ１，ｗ２を調整することで学習し、でひび幅学習済モデルを生成する。
【0122】
ひび幅学習済モデル記憶部７１は、モデル生成部７０２から出力されたひび幅学習済モデルを記憶する。
【0123】
ひび幅計測部１６は、ひび画像データから選択位置におけるひび幅を推論するためのひび幅学習済モデル記憶部７１に記憶されたひび幅学習済モデルを用いて、画像表示部１２によって表示されているひび画像データから選択位置におけるひび幅を推論する。すなわち、このひび幅学習済モデルにひび画像記憶部１１から取得したひび画像データと計測箇所選択部１３で選択された選択位置とを入力することで、ひび画像データから推論される選択位置におけるひび幅を出力することができる。
【0124】
なお、実施の形態７では、ひび幅計測装置１Ｆのモデル生成部７０２で学習したひび幅学習済モデルを用いて選択位置におけるひび幅を出力するものとして説明したが、他のひび幅計測装置１Ｆ等の外部からひび幅学習済モデルを取得し、このひび幅学習済モデルに基づいて選択位置におけるひび幅を出力するようにしてもよい。
【0125】
また、ひび幅計測部１６は、ひび幅計測装置１Ｆのひび画像データから選択位置におけるひび幅を取得するために使用される。図２０の例では、ひび幅計測部１６は、ひび幅計測装置１Ｆに内蔵されているが、一例では、ネットワークを介してひび幅計測装置１Ｆに接続され、このひび幅計測装置１Ｆとは別個の装置であってもよい。さらに、ひび幅計測部１６は、クラウドサーバ上に存在していてもよい。
【0126】
次に、このような構成のひび幅計測装置１Ｆの処理について説明する。以下では、学習装置７０での学習処理について説明した後、ひび幅計測方法について説明する。
【0127】
図２１は、実施の形態７に係るひび幅計測装置におけるひび幅学習済モデル生成方法の手順の一例を示すフローチャートである。データ取得部７０１は、ひび画像データと、過去の点検データと、を取得する（ステップＳ１３１）。過去の点検データは、ひび画像に対応するひび位置とひび幅とを含む。なお、ひび画像データおよび過去の点検データを同時に取得するものとしたが、ひび画像データおよび過去の点検データを関連付けて入力できればよく、ひび画像データおよび過去の点検データをそれぞれ別のタイミングで取得してもよい。
【0128】
次いで、モデル生成部７０２は、データ取得部７０１によって取得されるひび画像データおよび過去の点検データの組み合わせに基づいて作成される学習用データにしたがって、いわゆる教師あり学習により選択位置におけるひび幅を学習し、ひび幅学習済モデルを生成する（ステップＳ１３２）。
【0129】
その後、ひび幅学習済モデル記憶部７１は、モデル生成部７０２が生成したひび幅学習済モデルを記憶する（ステップＳ１３３）。以上で、ひび幅学習済モデル生成方法が終了する。
【0130】
図２２は、実施の形態７に係るひび幅計測方法の手順の一例を示すフローチャートである。まず、画像表示部１２は、ひび画像記憶部１１からひび画像データを読み出して表示する（ステップＳ１５１）。取得するひび画像データは、ユーザによって選択されたものであってもよいし、撮影日時などの定められた順に選択されたものであってもよい。
【0131】
ユーザは、表示されたひび画像データからひび幅を計測したい位置を含むように２点を選択する。つまり、ユーザは、ひび幅を計測したいひびを挟むように２点をひび画像データ上で選択する。ユーザによって２点が選択されると、計測箇所選択部１３は、ユーザによって選択された２点のひび画像データ上の位置を選択する（ステップＳ１５２）。
【0132】
ひび幅計測部１６は、表示されたひび画像データと、ひび画像データ上の２点の選択位置と、を取得する（ステップＳ１５３）。次いで、ひび幅計測部１６は、ひび幅学習済モデル記憶部７１に記憶されたひび幅学習済モデルに、ひび画像データと、２点の選択位置と、を入力し、選択された位置におけるひび幅を出力する（ステップＳ１５４）。そして、計測結果表示部１７は、ひび幅計測部１６によって算出されたひび幅をひび画像データに重ねて表示する（ステップＳ１５５）。以上で、処理が終了する。
【0133】
実施の形態７のひび幅計測装置１Ｆでは、ひび幅学習済モデル記憶部７１に記憶されたひび幅学習済モデルに、ひび画像データと、２点の選択位置と、を入力し、選択された位置におけるひび幅を出力するようにした。これによって、ひび画像データでひび幅を計測したい位置を含むように２点を選択するだけで、ひび幅を計測することができる。
【0134】
なお、上記した実施の形態１から７では、ひび画像データがモノクロデータである場合を例に挙げて説明したが、ひび画像データがカラーデータであってもよい。ひび画像データがカラーデータである場合にも、輝度値を用いた処理が可能である。この場合には、輝度値は明度を示す明度値とすることができる。また、このほかに色相の値である色相値、彩度の値である彩度値を用いてもよい。輝度値、明度値、色相値および彩度値はひび画像データの１画素が表す色情報の値の一例である。つまり、ひび幅計測部１６は、ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いてひび画像データで選択された２点間を結ぶ線分と交わるひびに相当する領域のひび画像データ上でのひび幅を算出し、ひび画像データのサイズと構造物のサイズとの対応関係を示す画像解像度情報を用いて、ひび画像データ上でのひび幅から実際のひび幅を算出する。
【0135】
以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
【0136】
以下、本開示の諸態様を付記としてまとめて記載する。
【0137】
［付記１］
ひびを有する構造物の画像データであるひび画像データから前記構造物における実際のひび幅を計測するひび幅計測装置であって、
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出し、前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出するひび幅計測部を備えることを特徴とするひび幅計測装置。
［付記２］
定められた前記画素ひび幅関係情報および定められた前記サイズ対応情報のうち少なくとも一方を記憶するプリセット条件記憶部と、
前記定められた画素ひび幅関係情報および前記定められたサイズ対応情報のうち少なくとも一方が初期値として設定された前記画素ひび幅関係情報および前記サイズ対応情報の設定画面を表示する条件設定表示部と、
をさらに備えることを特徴とする付記１に記載のひび幅計測装置。
［付記３］
前記ひび幅計測部は、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする付記１または２に記載のひび幅計測装置。
［付記４］
前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを出力するひび分類部をさらに備えることを特徴とする付記３に記載のひび幅計測装置。
［付記５］
前記ひび分類画像データを用いて前記線分と交わる前記ひびの延在方向であるひび方向を算出するひび方向算出部をさらに備え、
前記ひび幅計測部は、前記線分が前記ひび方向と直交するかを判定し、前記線分が前記ひび方向と直交していない場合には、前記幅算出基準線を、前記線分と交わり前記ひび方向に直交する直線とすることを特徴とする付記３に記載のひび幅計測装置。
［付記６］
前記ひび画像データから前記１画素が表す色情報の値に応じた前記１画素あたりのひび幅を推論するための第２学習済モデルを用いて、前記ひび画像データから前記画素ひび幅関係情報を出力する画素ひび幅関係情報算出部をさらに備えることを特徴とする付記３から５のいずれか１つに記載のひび幅計測装置。
［付記７］
前記ひび画像データを表示するひび画像表示部と、
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在するかを判定する機能をさらに有し、
前記計測結果表示部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在しない場合に、前記２点間にひびがないことを示す注意情報を表示する機能をさらに有することを特徴とする付記３から６のいずれか１つに記載のひび幅計測装置。
［付記８］
前記ひび画像データを表示する画像表示部と、
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記ひび画像データから選択位置における前記ひび幅を推論するための第３学習済モデルを用いて、前記画像表示部によって表示されている前記ひび画像データから前記選択位置における前記ひび幅を推論することを特徴とする付記１に記載のひび幅計測装置。
［付記９］
前記１画素が表す色情報の値は、輝度値、明度値、色相値および彩度値の群から選択される少なくとも１つであることを特徴とする付記１から８のいずれか１つに記載のひび幅計測装置。
［付記１０］
コンピュータを用いてひびを有する構造物の画像データであるひび画像データから前記構造物における実際のひび幅を計測するひび幅計測方法であって、
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出する第１工程と、
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出する第２工程と、
を含むことを特徴とするひび幅計測方法。
［付記１１］
前記第１工程では、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする付記１０に記載のひび幅計測方法。
［付記１２］
前記第１工程では、前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを生成することを特徴とする付記１１に記載のひび幅計測方法。
［付記１３］
ひびを有する構造物の画像データであるひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出する第１ステップと、
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記構造物における実際のひび幅を算出する第２ステップと、
をコンピュータに実行させることを特徴とするひび幅計測プログラム。
［付記１４］
前記第１ステップでは、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする付記１３に記載のひび幅計測プログラム。
［付記１５］
前記第１ステップでは、前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを生成することを特徴とする付記１４に記載のひび幅計測プログラム。
ひびを有する構造物の画像データであるひび画像データから前記構造物における実際のひび幅を計測するひび幅計測装置であって、
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出し、前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出するひび幅計測部を備えることを特徴とするひび幅計測装置。
［付記２］
定められた前記画素ひび幅関係情報および定められた前記サイズ対応情報のうち少なくとも一方を記憶するプリセット条件記憶部と、
前記定められた画素ひび幅関係情報および前記定められたサイズ対応情報のうち少なくとも一方が初期値として設定された前記画素ひび幅関係情報および前記サイズ対応情報の設定画面を表示する条件設定表示部と、
をさらに備えることを特徴とする付記１に記載のひび幅計測装置。
［付記３］
前記ひび幅計測部は、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする付記１または２に記載のひび幅計測装置。
［付記４］
前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを出力するひび分類部をさらに備えることを特徴とする付記３に記載のひび幅計測装置。
［付記５］
前記ひび分類画像データを用いて前記線分と交わる前記ひびの延在方向であるひび方向を算出するひび方向算出部をさらに備え、
前記ひび幅計測部は、前記線分が前記ひび方向と直交するかを判定し、前記線分が前記ひび方向と直交していない場合には、前記幅算出基準線を、前記線分と交わり前記ひび方向に直交する直線とすることを特徴とする付記３に記載のひび幅計測装置。
［付記６］
前記ひび画像データから前記１画素が表す色情報の値に応じた前記１画素あたりのひび幅を推論するための第２学習済モデルを用いて、前記ひび画像データから前記画素ひび幅関係情報を出力する画素ひび幅関係情報算出部をさらに備えることを特徴とする付記３から５のいずれか１つに記載のひび幅計測装置。
［付記７］
前記ひび画像データを表示するひび画像表示部と、
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在するかを判定する機能をさらに有し、
前記計測結果表示部は、前記２点間を結ぶ線分と交わる前記ひびに相当する領域が存在しない場合に、前記２点間にひびがないことを示す注意情報を表示する機能をさらに有することを特徴とする付記３から６のいずれか１つに記載のひび幅計測装置。
［付記８］
前記ひび画像データを表示する画像表示部と、
前記ひび幅計測部によって算出された前記実際のひび幅を表示する計測結果表示部と、
をさらに備え、
前記ひび幅計測部は、前記ひび画像データから選択位置における前記ひび幅を推論するための第３学習済モデルを用いて、前記画像表示部によって表示されている前記ひび画像データから前記選択位置における前記ひび幅を推論することを特徴とする付記１に記載のひび幅計測装置。
［付記９］
前記１画素が表す色情報の値は、輝度値、明度値、色相値および彩度値の群から選択される少なくとも１つであることを特徴とする付記１から８のいずれか１つに記載のひび幅計測装置。
［付記１０］
コンピュータを用いてひびを有する構造物の画像データであるひび画像データから前記構造物における実際のひび幅を計測するひび幅計測方法であって、
前記ひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出する第１工程と、
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記実際のひび幅を算出する第２工程と、
を含むことを特徴とするひび幅計測方法。
［付記１１］
前記第１工程では、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする付記１０に記載のひび幅計測方法。
［付記１２］
前記第１工程では、前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを生成することを特徴とする付記１１に記載のひび幅計測方法。
［付記１３］
ひびを有する構造物の画像データであるひび画像データの１画素が表す色情報の値と１画素あたりのひび幅との関係を示す画素ひび幅関係情報を用いて前記ひび画像データで選択された２点間を結ぶ線分と交わる前記ひびに相当する領域の前記ひび画像データ上での合計ひび幅を算出する第１ステップと、
前記ひび画像データのサイズと前記構造物のサイズとの対応関係を示すサイズ対応情報を用いて、前記合計ひび幅から前記構造物における実際のひび幅を算出する第２ステップと、
をコンピュータに実行させることを特徴とするひび幅計測プログラム。
［付記１４］
前記第１ステップでは、前記ひび幅を算出する基準となる幅算出基準線を前記線分とし、前記ひび画像データを前記ひびと前記ひび以外のものとを画素単位でセグメンテーションした画像データであるひび分類画像データを用いて、前記幅算出基準線と交わる前記ひびに相当する領域を決定することを特徴とする付記１３に記載のひび幅計測プログラム。
［付記１５］
前記第１ステップでは、前記ひび画像データから前記ひびの位置を推論するための第１学習済モデルを用いて、前記ひび画像データから前記ひび分類画像データを生成することを特徴とする付記１４に記載のひび幅計測プログラム。
【符号の説明】
【0138】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ ひび幅計測装置、１１ ひび画像記憶部、１２ 画像表示部、１３ 計測箇所選択部、１４ 画像解像度情報記憶部、１５ 輝度－ピクセル関係情報記憶部、１６ ひび幅計測部、１７ 計測結果表示部、２０，５０，７０ 学習装置、２１ ひび分類学習済モデル記憶部、２２ ひび分類部、２５ 推論装置、３１ ひび方向算出部、４１ プリセット条件記憶部、４２ 条件設定表示部、５１ 輝度－ピクセル関係学習済モデル記憶部、５２ 輝度－ピクセル関係算出部、５３ ひび分類画像記憶部、７１ ひび幅学習済モデル記憶部、１１１ ひび画像データ、１４１，４１１ 画像解像度情報、１５１，４１２ 輝度－ピクセル関係情報、１６１ 算出したひび幅、２０１，２５１，５０１，７０１ データ取得部、２０２，５０２，７０２ モデル生成部、２２１ ひび分類画像データ、３００ 壁面、３１０ ひび、４１０ プリセット条件、４２０ 設定画面、４２１ 条件設定表示領域、４２１ａ ボタン、４２２ 設定ボタン、４２３ キャンセルボタン、９０１ 制御部、９０２ 入力部、９０３ 記憶部、９０４ 表示部、９０５ 通信部、９０６ 出力部、９０７ システムバス、ｐ１－ｐ９ 画素。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】