(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022061149
(43)【公開日】2022-04-18
(54)【発明の名称】コンクリート表層品質評価システム
(51)【国際特許分類】
G06N 20/00 20190101AFI20220411BHJP
G01N 21/88 20060101ALI20220411BHJP
G06T 7/00 20170101ALI20220411BHJP
G01N 33/38 20060101ALI20220411BHJP
【FI】
G06N20/00
G01N21/88 J
G06T7/00 350B
G01N33/38
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2020168953
(22)【出願日】2020-10-06
(71)【出願人】
【識別番号】000231198
【氏名又は名称】日本国土開発株式会社
(71)【出願人】
【識別番号】300089747
【氏名又は名称】株式会社科学情報システムズ
(74)【代理人】
【識別番号】100087480
【弁理士】
【氏名又は名称】片山 修平
(74)【代理人】
【識別番号】100136261
【弁理士】
【氏名又は名称】大竹 俊成
(72)【発明者】
【氏名】佐原 晴也
(72)【発明者】
【氏名】佐野 健彦
(72)【発明者】
【氏名】武田 祐二
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA90
2G051AB07
2G051EB05
2G051FA10
5L096BA03
5L096BA18
5L096CA01
5L096DA01
5L096DA02
5L096FA32
5L096KA04
5L096KA15
(57)【要約】
【課題】使い勝手を向上することができる。
【解決手段】コンクリートの表層の画像と、前記画像をn点刻みで評価した評価結果と、を含む学習データの入力を受け付ける学習データ受付部と、前記学習データを用いて、評価対象の画像をn点刻みよりも大きいm点刻みで評価する機械学習モデルを生成するモデル生成部と、撮像された評価対象の画像の入力を受け付ける評価画像受付部と、前記機械学習モデルを用いて、前記評価対象の画像をm点刻みで評価し、出力する評価部と、を備え、前記モデル生成部は、前記学習データに含まれるn点刻みで評価した評価結果が、m点刻みの評価と一致しない場合に、前記評価結果の近傍のm点刻みの評価に置き換えて前記機械学習モデルを生成する。
【選択図】
図11
【特許請求の範囲】
【請求項1】
コンクリートの表層の画像と、前記画像をn点刻みで評価した評価結果と、を含む学習データの入力を受け付ける学習データ受付部と、
前記学習データを用いて、評価対象の画像をn点刻みよりも大きいm点刻みで評価する機械学習モデルを生成するモデル生成部と、
撮像された評価対象の画像の入力を受け付ける評価画像受付部と、
前記機械学習モデルを用いて、前記評価対象の画像をm点刻みで評価し、出力する評価部と、を備え、
前記モデル生成部は、前記学習データに含まれるn点刻みで評価した評価結果が、m点刻みの評価と一致しない場合に、前記評価結果の近傍のm点刻みの評価に置き換えて前記機械学習モデルを生成する、コンクリート表層品質評価システム。
【請求項2】
前記モデル生成部は、前記学習データに含まれるn点刻みで評価した評価結果が、m点刻みの評価に該当しない場合に、前記評価結果よりも大きく、該評価結果に最も近いm点刻みの評価と、前記評価結果よりも小さく、該評価結果に最も近いm点刻みの評価に置き換えて前記機械学習モデルを生成する、請求項1に記載のコンクリート表層品質評価システム。
【請求項3】
コンクリートの表層の画像と、前記画像を評価した評価結果と、を含む学習データの入力を受け付ける学習データ受付部と、
前記学習データを用いて、評価対象の画像を評価する機械学習モデルを生成するモデル生成部と、
区画された複数の領域を表示し、表示した前記複数の領域のいずれかを指定して撮像された評価対象の画像の入力を受け付ける評価画像受付部と、
前記機械学習モデルを用いて、前記評価画像受付部が受け付けた前記評価対象の画像を評価し、出力する評価部と、を備え、
前記評価画像受付部は、前記複数の領域を表示する際に、前記評価部が既に評価した領域と、評価していない領域とを識別可能な状態で表示する、コンクリート表層品質評価システム。
【請求項4】
前記評価画像受付部は、各領域に対応する画像を撮像したユーザ又は端末を識別可能な状態で前記複数の領域を表示する、請求項3に記載のコンクリート表層品質評価システム。
【請求項5】
前記評価画像受付部は、同一の領域を指定して撮像された複数の評価対象の画像の入力を受け付け、
前記評価部は、前記複数の評価対象の画像のうち最後に撮像された評価対象の画像を評価した結果を出力する、請求項3又は4に記載のコンクリート表層品質評価システム。
【請求項6】
前記評価部は、前記複数の領域それぞれにおける評価の分布を色分け表示する、請求項3~5のいずれか一項に記載のコンクリート表層品質評価システム。
【請求項7】
前記評価部は、前記複数の領域において各評価結果が占める割合をグラフ表示する、請求項3~6のいずれか一項に記載のコンクリート表層品質評価システム。
【請求項8】
前記評価部は、前記複数の領域における評価結果の平均を表示する、請求項3~7のいずれか一項に記載のコンクリート表層品質評価システム。
【請求項9】
前記学習データに含まれる前記コンクリートの表層の画像と、前記評価対象の画像は、撮像する端末の画像補正機能がオフの状態で撮像された画像である、請求項1~8のいずれか一項に記載のコンクリート表層品質評価システム。
【請求項10】
少なくとも前記評価画像受付部と前記評価部は、前記評価対象の画像を撮像する端末とインターネットを介さずに通信可能な第1装置が有する、請求項1~9のいずれか一項に記載のコンクリート表層品質評価システム。
【請求項11】
少なくとも前記モデル生成部は、前記第1装置と異なる第2装置が有する、請求項10に記載のコンクリート表層品質評価システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンクリート表層品質評価システムに関する。
【背景技術】
【0002】
コンクリート構造物は、一般に、外部からの様々な劣化因子の侵入によって経年劣化(コンクリートの材料劣化)を生じる。このため、構築されたコンクリート構造物の表面付近の緻密性や劣化因子侵入に対する抵抗性などの品質(以下、表層品質)をいかに良くするかは、構造物全体の耐久性を確保・向上するうえで極めて重要になる。
【0003】
このように重要な役割を担うコンクリート構造物の表層品質の評価手法として、型枠に打ち込んだコンクリートから型枠を取り外した後のコンクリートの表面(以下、脱型表面)を目視で観察し、その出来栄えを4段階の数値で分類して評価する技術が知られている(例えば非特許文献1参照)。
【0004】
また、機械学習により、コンクリート構造物の脱型表面の評価を行う技術も知られている(例えば、特許文献1等参照)。本技術は、脱型後のコンクリート構造物の画像と、熟練した技術者による画像に関する評価と、を関連付けて予め機械学習させた基準情報と、撮像された画像データとを用いて、コンクリート構造物の施工品質を評価するものである。
【0005】
なお、トンネルの発破工法による掘削に際し、岩盤の画像データを用いた機械学習により、岩盤強度を判定する技術も知られている(例えば、特許文献2等参照)。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】コンクリート構造物の品質確保の手引き(案) (橋脚、橋台、函渠、擁壁編) 平成27年12月 国土交通省 東北地方整備局
【特許文献】
【0007】
【特許文献1】特開2016-142601号公報
【特許文献2】特開2018-17570号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
画像データの評価は技術者が行うため、同じ技術者が異なる画像データに同じ評価(点数付け)をしたとしても、実際には、全く同じ評価とはならない。例えば、0.5点刻みで評価するときの評価が3.5点だとしても、その評価は4点に近い場合もあれば、3点に近い場合もある。また、異なる技術者が同じ画像データの評価(点数付)をしたとしても、同じ評価とはならない場合もある。上記特許文献1、2では、このような人による評価の曖昧さを考慮した機械学習を行っていないため、使い勝手が悪い。
【0009】
また、トンネルの壁面のコンクリート表層などを機械学習を用いて自動評価する場合、壁面の複数の領域を順に撮像して評価するが、特に、複数人で撮像を分担する場合には、どの領域が撮像済みであるかが分かり難く、使い勝手が悪い。
【0010】
1つの側面では、本発明は、使い勝手の良いコンクリート表層品質評価システムを提供することを目的とする。
【課題を解決するための手段】
【0011】
一つの態様では、コンクリート表層品質評価システムは、コンクリートの表層の画像と、前記画像をn点刻みで評価した評価結果と、を含む学習データの入力を受け付ける学習データ受付部と、前記学習データを用いて、評価対象の画像をn点刻みよりも大きいm点刻みで評価する機械学習モデルを生成するモデル生成部と、撮像された評価対象の画像の入力を受け付ける評価画像受付部と、前記機械学習モデルを用いて、前記評価対象の画像をm点刻みで評価し、出力する評価部と、を備え、前記モデル生成部は、前記学習データに含まれるn点刻みで評価した評価結果が、m点刻みの評価と一致しない場合に、前記評価結果の近傍のm点刻みの評価に置き換えて前記機械学習モデルを生成する、コンクリート表層品質評価システムである。ここで、nおよびmは0より大きい有理数であり、n<mを満たすものである。
【0012】
別の態様では、コンクリート表層品質評価システムは、コンクリートの表層の画像と、前記画像を評価した評価結果と、を含む学習データの入力を受け付ける学習データ受付部と、前記学習データを用いて、評価対象の画像を評価する機械学習モデルを生成するモデル生成部と、区画された複数の領域を表示し、表示した前記複数の領域のいずれかを指定して撮像された評価対象の画像の入力を受け付ける評価画像受付部と、前記機械学習モデルを用いて、前記評価画像受付部が受け付けた前記評価対象の画像を評価し、出力する評価部と、を備え、前記評価画像受付部は、前記複数の領域を表示する際に、前記評価部が既に評価した領域と、評価していない領域とを識別可能な状態で表示する、コンクリート表層品質評価システムである。
【発明の効果】
【0013】
本明細書記載のコンクリート表層品質評価システムによれば、使い勝手を向上することができる。
【図面の簡単な説明】
【0014】
【
図1】一実施形態に係るコンクリート表層品質評価システムの構成を概略的に示す図である。
【
図2】
図2(a)は、現場用サーバ、学習用サーバ、データ管理用サーバのハードウェア構成を示す図であり、
図2(b)は、作業者端末のハードウェア構成を示す図である。
【
図4】現場用サーバの表示部に表示されるスタート画面の一例を示す図である。
【
図5】学習データの収集処理を示すフローチャートである。
【
図6】
図6(a)~
図6(e)は、コンクリート表層の評価項目について説明するための図である。
【
図8】5つの評価項目についての、評価点と表面の状態との関係を示す表である。
【
図10】学習用サーバによる評価モデルの生成処理を示すフローチャートである。
【
図11】作業者による評価結果と、目視評価DBに格納される評価点との関係を示す図である。
【
図12】評価モデルを用いた評価処理を示すフローチャートである。
【
図15】画像評価画面に評価結果が表示された状態を示す図である。
【
図17】各評価範囲の評価点の分布をヒートマップ形式で表示した画面の一例を示す図である。
【
図18】評価点の平均点の推移と、評価点それぞれが占める割合の推移を表示する画面の一例を示す図である。
【発明を実施するための形態】
【0015】
以下、コンクリート表層品質評価システムの一実施形態について、
図1~
図18に基づいて詳細に説明する。
【0016】
図1には、一実施形態に係るコンクリート表層品質評価システム100の構成が概略的に示されている。コンクリート表層品質評価システム100は、コンクリート構造物の表層品質を評価するためのシステムである。コンクリート表層品質評価システム100は、
図1に示すように、現場用サーバ10と、作業者端末20と、学習用サーバ40と、データ管理用サーバ50と、を備える。各サーバ10、40、50は、インターネットなどのネットワーク80に接続されている。また、現場用サーバ10と、作業者端末20との間は、ローカルエリアネットワーク30(無線LAN等)により接続されている。
【0017】
現場用サーバ10と、作業者端末20は、コンクリート構造物が存在する現場で用いられる。現場用サーバ10は、作業者端末20で収集されるコンクリート構造物に関する学習データを取得し、学習用サーバ40に送信する。また、現場用サーバ10は、学習データを用いて学習用サーバ40で生成された評価モデル(機械学習モデル)を用いて、作業者端末20で撮像されたコンクリート構造物の表層の画像(評価画像)を解析して表層品質を評価し、評価結果を作業者端末20に出力する。また、現場用サーバ10は、評価結果をデータ管理用サーバ50にも出力する。
【0018】
図2(a)には、現場用サーバ10のハードウェア構成が示されている。現場用サーバ10は、
図2(a)に示すように、CPU(Central Processing Unit)90、ROM(Read Only Memory)92、RAM(Random Access Memory)94、記憶部(ここではSSD(Solid State Drive))96、ネットワークインタフェース97、表示部93、入力部95、及び可搬型記憶媒体用ドライブ99等を備えている。表示部93は、液晶ディスプレイ等を含み、入力部95は、キーボードやマウス、タッチパネル等を含む。これら現場用サーバ10の構成各部は、バス98に接続されている。現場用サーバ10では、ROM92あるいは記憶部96に格納されているプログラム、或いは可搬型記憶媒体用ドライブ99が可搬型記憶媒体91から読み取ったプログラムをCPU90が実行することにより、
図3に示す、各部の機能が実現される。なお、
図3の各部の機能は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
【0019】
現場用サーバ10は、
図3に示すように、機械評価部12、機械評価出力部14、目視評価取得部16、としての機能を有する。
【0020】
機械評価部12は、作業者端末20で撮像されたコンクリート表層の画像(評価画像)の入力を受け付け、学習用サーバ40で生成された評価モデルを用いて、受け付けた評価画像を評価する。機械評価部12は、評価結果を機械評価出力部14に受け渡す。
【0021】
機械評価出力部14は、機械評価部12の評価結果を作業者端末20(表示処理部22)に対して送信する。また、機械評価出力部14は、機械評価部12の評価結果をデータ管理用サーバ50に対して送信する。さらに、機械評価出力部14は、評価結果を評価結果DB18に格納する。
【0022】
目視評価取得部16は、作業者端末20において作業者が撮像したコンクリート表層の一部の画像と、当該コンクリート表層の一部を作業者が目視で評価した評価結果と、を含む学習データを取得し、学習用サーバ40に対して送信する。
【0023】
作業者端末20は、作業者が携帯可能な端末(タブレット端末やスマートフォンなど)である。
図2(b)には、作業者端末20のハードウェア構成が示されている。作業者端末20は、
図2(b)に示すように、CPU190、ROM192、RAM194、記憶部(ここではSSD)196、ネットワークインタフェース197、表示部193、入力部195、カメラ187、及び可搬型記憶媒体用ドライブ199等を備えている。これら作業者端末20の構成各部は、バス198に接続されている。作業者端末20では、ROM192あるいは記憶部196に格納されているプログラム、或いは可搬型記憶媒体用ドライブ199が可搬型記憶媒体191から読み取ったプログラムをCPU190が実行することにより、
図3に示す、各部の機能が実現される。
【0024】
作業者端末20は、
図3に示すように、表示処理部22、入力処理部24、撮像処理部26、送信部28としての機能を有する。
【0025】
表示処理部22は、各種画面の表示処理を実行する。入力処理部24は、各種画面に対して作業者が入力した内容を取得し、当該入力内容に応じた処理を実行する。撮像処理部26は、作業者の入力に応じてカメラ187を用いて撮像を行う。送信部28は、各種画面に入力された情報や、撮像処理部26が撮像した画像を現場用サーバ10に送信する。なお、現場用サーバ10と作業者端末20とは、外部ネットワークへの接続を必要としない無線LAN等で接続されているため、携帯電話の基地局が存在しないような山奥の現場や、トンネル内においても現場用サーバ10と作業者端末20と間で通信することが可能となっている。
【0026】
学習用サーバ40は、ワークステーション等の情報処理装置であり、作業者端末20から現場用サーバ10に送信された学習データを現場用サーバ10から取得し、コンクリート表層を評価するための評価モデルを生成する。なお、現場用サーバ10は、学習用サーバ40が生成した評価モデルを取得する機能を有している。
【0027】
学習用サーバ40は、
図3に示すように、機械学習部42を有する。機械学習部42は、現場用サーバ10の目視評価取得部16から適宜送信されてくる学習データを取得し、目視評価DB44に格納する。なお、現場用サーバ10と学習用サーバ40との間はインターネット等により接続されているため、現場用サーバ10は、インターネット環境が整っている状態で、学習用サーバ40に学習データをまとめて送信するようにすればよい。
【0028】
データ管理用サーバ50は、クラウドサーバ等の情報処理装置であり、現場用サーバ10において評価モデルを用いて評価された評価結果を取得し、管理する。また、データ管理用サーバ50では、作業者端末20や不図示のその他の端末(例えば、事務所等に設置されたPC)からの要求に応じて、管理している評価結果を出力する。なお、データ管理用サーバ50は、
図2(a)に示すように現場用サーバ10や学習用サーバ40と同様のハードウェア構成を有している。
【0029】
データ管理用サーバ50は、
図3に示すように、データ管理部52を有する。データ管理部52は、現場用サーバ10の機械評価出力部14から適宜送信されてくる評価結果を取得し、機械評価DB54に格納する。なお、データ管理用サーバ50と現場用サーバ10との間はインターネット等により接続されているため、現場用サーバ10(機械評価出力部14)は、インターネット環境が整っている状態で、データ管理用サーバ50に評価結果をまとめて送信するようにすればよい。
【0030】
本実施形態においては、現場用サーバ10の表示部93には、
図4に示すようなスタート画面が表示されるものとする。
図4のスタート画面には、「画像評価」の2次元コード、「画像登録」の2次元コード、及び「評価結果確認」ボタンが設けられている。作業者は、「画像評価」の2次元コードを作業者端末20のカメラ187を用いて読み込めば、ブラウザ上で、画像評価のサービス(評価モデルを用いた評価処理のサービス)にアクセスすることができる。また、作業者は、「画像登録」の2次元コードを作業者端末20のカメラ187を用いて読み込めば、ブラウザ上で、画像登録のサービス(学習データの収集処理のサービス)にアクセスすることができる。また、作業者は、「評価結果確認」ボタンを押せば、現場用サーバ10の表示部93上において評価結果を確認することができる。なお、本実施形態では、2次元コードを用いて各サービスにアクセスできるため、作業者は、各サービスのURLを手入力するなどしなくてもよくなる。これにより、作業者の利便性を向上することができる。
【0031】
(学習データの収集処理について)
次に、作業者端末20による学習データの収集処理について、
図5のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。なお、
図5の処理は、作業者が、現場用サーバ10の表示部93上に
図4の画面を表示し、作業者端末20のカメラ187を用いて「画像登録」の2次元コードを読み込むことで、作業者端末20のWebブラウザ上に
図7に示す画面(評価入力画面)を呼び出した段階から開始される処理である。なお、作業者は作業者端末を使用する際に作業者端末に作業者名を設定することによって、どの作業者が作業者端末20を利用しているかは把握できているものとする。
【0032】
なお、作業者(ここでは、コンクリート診断士などコンクリート技術に精通した技術者とする)は、コンクリート構造物の前に位置し、コンクリート構造物の評価を行える状態であるとともに、コンクリート構造物の画像を撮像できる状態にあるものとする。例えば、作業者は、コンクリート構造物を1~2m四方の矩形の範囲に区分けし、各範囲について、5つの評価項目に関する評価を行う。ここで、5つの評価項目は、
図6(a)~
図6(e)に示すような、表面気泡、型枠継ぎ目のノロ漏れ、打重ね線、砂すじ、沈みひび割れ、である。
【0033】
図5の処理では、まず、ステップS18において、入力処理部24は、
図7の評価入力画面の「登録」ボタンが押されるまで待機する。
図7の評価入力画面においては、5つの評価項目(表面気泡、型枠継ぎ目のノロ漏れ、打重ね線、砂すじ、沈みひび割れ)に対して、「4.0」、「3.5」、「3.0」、「2.5」、「2.0」、「1.5」、「1.0」点のいずれかの評価点を入力することができる。なお、専門家は、
図7の評価入力画面において、複数の評価項目についての評価を行ってもよいし、1つの評価項目についてのみ評価を行ってもよい。
【0034】
図8は、上記5つの評価項目についての、評価点と脱型表面の状態との関係を示す表である。
図8では、脱型表面の状態を4点~1点の4段階に分類しており、点数が大きいほど出来栄えが美しい脱型表面であることを示している。脱型表面を観察し、評価する作業者は、
図8の表に基づいて、脱型表面を評価することができる。なお、評価が4点と3点の間であり、どちらの点数とも言えないような場合には、作業者は、4点と3点の間の点数である3.5点と評価する。これは、コンクリート技術に精通した技術者が評価した場合においても、各評価点の境界に位置するコンクリート表面状態が存在することを勘案するものである。なお、
図8の脱型表面の状態と評価点の関係は、概ね、「良い=4点」、「普通=3点」、「やや悪い=2点」、「悪い=1点」であるので、専門家は、脱型表面を見て美しいと思えば4点、ごく普通に観察されるレベルの脱型表面と思えば3点というように、評価してもよい。なお、脱型表面の状態と評価の点数との関係は逆(良いほど点数が低い)であってもよい。
【0035】
なお、
図8の表は一例であって、評価は4段階以外であってもよい。更に、評価点に対して関連付ける語句は「良い、普通、悪い」以外でもよい。例えば、「少ない、普通、多い」や「きれい、普通、汚い」など、コンクリート構造物の脱型表面の出来栄えや美しさの状態を区別しうる語句を用いればよい。
【0036】
図7の評価入力画面において作業者がコンクリート構造物の所定範囲の評価を入力し、「登録」ボタンを押すと(ステップS18:肯定)、入力処理部24は、ステップS20に移行し、作業者が入力した評価を取得する。なお、入力処理部24は、取得した評価の情報を送信部28に受け渡す。ここで、作業者が作業者端末20の操作を行っている際に、作業者端末20に内蔵されているGNSS(Global Navigation Satellite System:全地球測位システム)により、位置情報を取得して記録することが好ましい。また、後述のステップS26において画像を取得する際にもGNSSにより位置情報を取得して記録すれば、作業者が評価した場所と、画像を撮像した場所とが一致しているかどうかの判定ができる。すなわち、作業者がコンクリート構造物の施工現場にて実物を見て評価したことを証明することができる。この際に、作業者端末20に内蔵されている時計機能により評価時間や、撮像時間などを記録するようにしてもよい。
【0037】
次いで、ステップS22では、表示処理部22が画像入力画面を表示する。画像入力画面は、
図9に示すような画面であり、カメラ187で撮像されているライブビュー画像を表示する枠と、「撮像」ボタンとが設けられている。作業者は、直前に評価したコンクリート構造物の範囲を枠内に表示した状態で、「撮像」ボタンを押す。
【0038】
ステップS24では、撮像処理部26が、作業者によって「撮像」ボタンが押されるまで待機する。作業者が「撮像」ボタンを押すと(ステップS24:肯定)、撮像処理部26は、ステップS26に移行し、カメラ187による撮像を実行して、評価された範囲の画像を取得する。なお、画像取得部54は、取得した画像を送信部28に受け渡す。
【0039】
次いで、ステップS28に移行すると、送信部28は、作業者の評価と画像を対応付けて学習データを生成する。ここで、作業者は、
図7の評価入力画面において、評価項目「砂すじ」に「2.0」点を入力したが、その他の評価項目には評価点を入力しなかったとする。この場合、送信部28は、評価項目「砂すじ」=評価点「2.0」に画像を対応付けて学習データを生成する。一方、送信部28は、その他の評価項目については、学習データは生成しないようにする。なお、作業者は、評価入力画面において、評価項目「砂すじ」に「2.0」点を入力し、評価項目「打重ね線」に「1.5」点を入力するような場合もある。このような場合には、送信部28は、評価項目「砂すじ」=評価点「2.0」に画像を対応付けて学習データを生成するとともに、評価項目「打重ね線」=評価点「1.5」に画像を対応付けて学習データを生成することとすればよい。
【0040】
次いで、ステップS30では、送信部28は、学習データを現場用サーバ10の目視評価取得部16に対して送信する。なお、学習データの送信は、学習データが所定数集まった段階で行ってもよいし、
図5の全処理が終了した段階で行ってもよい。
【0041】
次いで、ステップS32では、送信部28が、終了か否かを判断する。例えば、作業者が、終了する旨を入力した場合には、ステップS32の判断は肯定され、
図5の全処理が終了する。一方、作業者が継続する旨を入力した場合には、ステップS32の判断が否定され、ステップS18に戻り、上述したステップS18~S32の処理・判断が繰り返し実行される。
【0042】
なお、
図5においては、作業者は最初にコンクリート構造物の所定範囲を目視して評価し、その後に評価した範囲を撮像する場合について説明したが、これに限られるものではない。例えば、作業者は最初に所定範囲を撮像し、撮像された画像を用いて、コンクリート構造物を評価するようにしてもよい。
【0043】
なお、現場用サーバ10の目視評価取得部16は、学習データが所定数集まった段階等の適切なタイミングで、学習データを学習用サーバ40の機械学習部42に送信する。
【0044】
(学習用サーバ40による評価モデルの生成処理)
次に、
図10のフローチャートに沿って、学習用サーバ40による評価モデルの生成処理について説明する。
【0045】
図10の処理では、まず、ステップS50において、機械学習部42が、現場用サーバ10(目視評価取得部16)から学習データが送信されてくるまで待機する。現場用サーバ10から学習データが送信されてくると(ステップS50:肯定)、ステップS52に移行し、機械学習部42は、受信した学習データを目視評価DB44に格納する。
【0046】
ここで、機械学習部42は、作業者端末20において作業者が0.5点刻みで評価した結果を、そのまま目視評価DB44に格納するのではなく、
図11に示すように(n+0.5)点(nは1,2,3)の学習データを、n点の学習データ、及びn+1点の学習データとして目視評価DB44に格納することとする。このようにすることで、作業者の迷いによる曖昧な評価を機械学習し、評価モデルに反映させることができる。
【0047】
次いで、ステップS54では、機械学習部42が、各評価項目の評価の数(すなわち画像の数)が必要数に到達したか否かを判断する。このステップS54の判断が否定された場合には、ステップS50に戻る。一方、ステップS54の判断が肯定された場合には、ステップS56に移行する。
【0048】
ここで、本実施形態では、各評価項目の各評価点「4点」、「3点」、「2点」、「1点」についての学習データの必要数を少なくとも100データ以上、好ましくは1000データ以上、より好ましくは10000データ以上、目視評価DB44に格納した段階でステップS54の判断が肯定されるものとする。このような多数の学習データを収集することで、特徴量に乏しいコンクリート表層の状態を精度よく評価することが可能な評価モデルを生成することができる。
【0049】
また、本実施形態においては、学習データの必要数を評価項目ごとに異ならせてもよい。例えば、評価項目「表面気泡」の場合、画像の中で気泡がある部分は黒っぽく写り、気泡がない部分は白っぽく写る傾向にあり、このような白黒の違いで気泡の有無を判別できる。したがって、5つの評価項目の中では比較的評価がしやすい外観症状である。同様に、評価項目「型枠継ぎ目のノロ漏れ」の場合、ノロ漏れがない継ぎ目は細い直線であり、ノロ漏れがある継ぎ目は直線の周囲に色の違いなどの症状が現れるため、細い直線か否かに注目すれば比較的評価がしやすい外観症状である。これに対し、評価項目「砂すじ」、「打重ね線」は脱型表面で頻繁に観察される「色むら」と区別しにくく、5つの評価項目の中でも評価がしにくい外観症状である。また、評価項目「沈みひび割れ」については、軽微な症状は比較的頻繁に観察されるが、評価点「1点」や「2点」に相当する症状は稀にしか生じないため、多数のデータを収集しにくい外観症状である。
【0050】
ステップS56に移行すると、機械学習部42は、目視評価DB44に格納されている学習データを用いて機械学習を行い、評価モデルを生成する。機械学習としては、例えば多数の学習データを用いた、ニューラルネットワークによる教師あり学習とすることができる。また、機械学習には、いわゆるディープラーニングのような既存の技術を利用することができる。本実施形態では、
図11に示すように学習データを扱うことで、作業者の迷いによる曖昧な評価を機械学習し、評価モデルに反映させることができる。このような評価モデルを用いることで、コンクリート診断士などのコンクリートに精通した技術者が評価する場合と同様の精度でコンクリート表層の評価を自動的に行うことが可能となる。機械学習部42は、評価モデルを生成すると、生成した評価モデルを現場用サーバ10の機械評価部12に送信する(ステップS58)。以上により、
図10の全処理が終了する。
【0051】
(評価モデルを用いた評価処理)
次に、
図12のフローチャートに沿って、評価モデルを用いた評価処理について詳細に説明する。
図12には、作業者端末20と現場用サーバ10の並行処理が示されている。
図12の処理は、作業者端末20において撮像された画像を、
図10の処理で生成された評価モデルを用いて評価する処理である。なお、
図12の処理は、作業者が、現場用サーバ10の表示部93上に
図4の画面を表示し、作業者端末20のカメラ187を用いて「画像評価」の2次元コードを読み込むことで、作業者端末20の表示部193上に
図13に示す画面(画像評価画面)を呼び出した段階から開始される処理である。なお、作業者は作業者端末を使用する際に作業者端末に作業者名を設定することによって、どの作業者が作業者端末20を利用しているかは把握できているものとする。
【0052】
なお、作業者は、予めコンクリート構造物を1~2m四方の矩形の評価範囲(A1、A2、A3、…、J6、J7、J8)に区分けし、各評価範囲の位置がわかるようにチョーク等で印をつけているものとする。評価範囲の数は、評価対象の広さや評価観点、撮像機器(カメラ187)の性能などに応じ適宜設定する。また、評価範囲の区分け数(行数、列数)は、作業者が現場用サーバ10に予め入力しているものとする。
【0053】
図12の処理では、まず、ステップS70において、作業者端末20の入力処理部24が、作業者から評価画像の撮像要求があるまで待機する。すなわち、入力処理部24は、
図13の画面の「カメラ起動」ボタンが押されるまで待機する。なお、この場合の作業者は、専門家であってもよいし、専門家以外であってもよい。
【0054】
作業者から評価画像の撮像要求が入力されると、ステップS71に移行し、表示処理部22は、表示部193上に評価範囲選択画面を表示する。
図14には、評価範囲選択画面の一例が示されている。
図14の評価範囲選択画面においては、作業者は、評価範囲(A1、A2、A3、…、J6、J7、J8)の中から、撮像しようとしている評価範囲を1つ選択することができる。ここで、表示処理部22は、評価範囲選択画面の各評価範囲を色分け表示する。例えば、表示処理部22は、機械評価部12から作業者本人が撮像を行った評価範囲と、作業者本人以外の人が撮像を行った評価範囲の情報を取得し、誰も撮像を行っていない評価範囲の背景色は「白」、作業者本人が既に撮像を行った(既に評価した)評価範囲の背景色は「濃緑」、作業者本人以外が既に撮像を行った(既に評価した)評価範囲の背景色は「薄緑」とする。これにより、複数の作業者が分担して評価画像の撮像を行う場合であっても、各作業者は、撮像済み(評価済み)の評価範囲を容易に識別できるようになっている。なお、背景色にかかわらず、作業者は全ての評価範囲を選択できるようにしてもよいし、既に撮像が完了している(既に評価が行われた)評価範囲については選択できないようにしてもよい。また、既に撮像が完了している評価範囲のうち、作業者本人が撮像した評価範囲は選択できるようにし、作業者本人以外が撮像した評価範囲は選択できないようにしてもよい。
【0055】
図12に戻り、次のステップS72では、入力処理部24は、評価範囲の1つが作業者によって選択されるまで待機する。作業者が評価範囲(例えば評価範囲A1)を選択すると、ステップS73に移行し、表示処理部22は、
図13の画像評価画面において、選択された評価範囲(例えば評価範囲A1)を撮像可能な状態にする。作業者は、作業者端末20のカメラ187を撮像しようとしている評価範囲(例えば評価範囲A1)に向け、作業者端末20の入力部195に入力を行う(所定の撮像ボタンを押す)ことで、撮像を行う。
【0056】
次いで、ステップS74では、撮像処理部26が、作業者によって撮像ボタンが押されるまで待機する。作業者が撮像ボタンを押すと(ステップS74:肯定)、撮像処理部26は、ステップS76において、カメラ187による撮像を実行して、作業者が選択した評価範囲の画像を取得する。
【0057】
次いで、ステップS78では、撮像処理部26が、送信部28を介して、取得した画像(評価画像)を現場用サーバ10の機械評価部12に送信する。なお、ステップS78は、
図13の画像評価画面に設けられている「画像評価」ボタンが作業者によって押された段階で実行することとしてもよい。
【0058】
一方、現場用サーバ10側においては、ステップS170において、機械評価部12が、評価画像を受信するまで待機している。したがって、作業者端末20側でステップS78の処理が実行されると、ステップS172に移行し、機械評価部12は、評価モデルを用いて、評価画像を評価する。機械評価部12は、評価画像を評価モデルの入力とし、評価モデルから出力される評価項目ごとの各点(4点、3点、2点、1点)それぞれの尤度を取得する。そして、機械評価部12は、各評価項目の各評価点の尤度と各評価点を乗算し、各乗算値を積算して、評価点の期待値を算出し、当該期待値から各評価項目の評価点を決定する。この場合、評価点の期待値は、自然数以外(例えば3.639点など)になる場合があるが、表示処理部22は、評価点の期待値の小数第1位を四捨五入して、評価点とする。
【0059】
次いで、ステップS174では、機械評価出力部14は、評価結果(評価点と、評価点の期待値)を作業者端末20の表示処理部22に対して送信する。
【0060】
一方、作業者端末20側では、ステップS80において、表示処理部22が、現場用サーバ10の機械評価出力部14から評価結果が送信されてくるまで待機している。したがって、現場用サーバ10側でステップS174の処理が実行されると、ステップS82に移行し、表示処理部22は、評価結果を取得し、表示部193に表示する。この場合、評価取得部62は、例えば、
図15に示すように画像評価画面に評価結果を表示する。
【0061】
なお、現場用サーバ10の機械評価出力部14は、ステップS174の後、ステップS176において、評価結果(評価範囲の情報及び評価画像を含む)をデータ管理用サーバ50のデータ管理部52に送信する。データ管理部52では、評価範囲、評価画像(評価画像を縮小したサムネイル画像であってもよい)、及び評価点を対応付けて、機械評価DB54に格納する。なお、データ管理部52は、同一の評価範囲が重複して撮像され、評価された場合には、データを上書きするものとする。すなわち、データ管理部52は、最後に撮像された評価画像に基づく評価点を機械評価DB54において管理する。これにより、評価範囲の評価のやり直しが可能となる。なお、機械評価出力部14は、データ管理用サーバ50に送信したデータと同様のデータを評価結果DB18に格納する。
【0062】
【0063】
(現場での評価結果の確認)
現場の作業者や現場監督などは、現場用サーバ10において、評価結果DB18に格納されている評価結果を適宜確認することができる。例えば、作業者等が、
図4のスタート画面において「評価結果確認」ボタンを押すと、機械評価出力部14は、評価結果DB18を参照して、
図16に示すような評価結果画面を生成し、表示部93上に表示する。
【0064】
図16の評価結果画面においては、各評価範囲における特定の評価項目(
図16では、表面気泡)に関する評価点と、コンクリート画像(サムネイル画像)を確認することができる。また、「評価結果」の欄においては、特定の評価項目(例えば、表面気泡)に関する評価点の平均点を確認することができる。なお、評価項目は、変更可能であり、例えば変更後の評価項目の評価点を一覧表示することができる。なお、各評価範囲を選択した場合に、
図15のような詳細な情報を表示する画面をポップアップ表示することとしてもよい。また、
図16においては、
図14と同様に、既に撮像が行われた(既に評価が行われた)評価範囲と、撮像が行われていない評価範囲とを区別して表示(例えば色分け表示)してもよい。また、撮像した作業者ごとに区別して表示してもよい。
【0065】
図16の評価結果画面からは、どの評価範囲が未評価であるかがわかるため、現場監督等は、未評価の評価範囲近傍に位置する作業者に対して、当該評価範囲の撮像を指示することができる。また、現場監督等が、評価点に違和感を抱く評価範囲がある場合には、その旨を作業者に伝え、当該評価範囲を再度撮像させることもできる。
【0066】
(評価結果の共有)
工事に関わる関係者のうち許諾を受けた者は、各自が利用する端末を用いて、データ管理用サーバ50にインターネット経由でアクセスすることで、評価結果を共有することができる。このため、現場から離れた位置(事務所等)にいる管理者等も、データ管理用サーバ50にアクセスすることで、
図16の評価結果画面に表示されている情報と同様の情報を、端末上に表示することができる。
【0067】
また、データ管理部52は、端末からの求めに応じて、
図17に示すような、各評価範囲の評価点の分布をヒートマップ形式で表示した画面を、端末上に表示する。これにより、表層品質の優劣の分布を視認しやすくなるため、コンクリート構造物の位置ごとの傾向がわかり、次回以降の施工において役立てることができる。
【0068】
また、データ管理部52は、端末からの求めに応じて、機械評価DB54のデータを統計処理し、
図18に示すようなグラフを端末上に表示する。
図18は、選択した評価項目(
図18では、表面気泡)に関する評価点の平均点の推移と、評価点それぞれが占める割合の推移を示している。なお、
図18は、同様の構造物を施工したときの評価点の平均点や割合を、古い順に左側から並べたものである。作業者等は、
図18の内容を確認することで、数の評価範囲を含む広い領域の総合的な評価の時間推移を把握することができる。これにより、作業者等は施工の進捗に伴う表層品質の推移やPDCAサイクルを実施したことによる効果などを確認することができる。
【0069】
なお、データ管理用サーバ50では、複数の現場の評価結果を管理することができるため、複数の現場において得られた評価結果を比較表示等することもできる。
【0070】
以上、詳細に説明したように、本実施形態によると、機械学習部42は、コンクリートの表層の画像と、画像をn点刻み(例えば0.5点刻み)で評価した評価結果と、を含む学習データの入力を受け付け、学習データを用いて、評価対象の画像をn点刻みよりも大きいm点刻み(例えば1点刻み)で評価する評価モデルを生成する。そして、機械評価部12は、撮像された評価画像の入力を受け付け、機械学習部42が生成した評価モデルを用いて、評価画像をm点刻みで評価し、機械評価出力部14は、評価結果を作業者端末20に出力する。このとき、機械学習部42は、学習データに含まれるn点刻みで評価した評価結果が、m点刻みの評価と一致しない場合に、前記評価結果の近傍のm点刻みの評価に置き換えて評価モデルを生成する(
図11参照)。これにより、作業者の迷いによる曖昧な評価を機械学習し、評価モデルに反映させることができる。
【0071】
また、本実施形態では、機械学習部42は、学習データに含まれるn点刻みで評価した評価結果が、m点刻みの評価に該当しない場合に、評価結果よりも大きく、該評価結果に最も近いm点刻みの評価と、評価結果よりも小さく、該評価結果に最も近いm点刻みの評価に置き換えて評価モデルを生成する。これにより、n点刻みで評価した評価結果のうち、m点刻みの評価に該当しない評価結果を適切に利用して、評価モデルを生成することができる。
【0072】
また、本実施形態では、作業者端末20の表示処理部22は、
図14の評価範囲選択画面において複数の評価範囲を表示する際に、既に評価が行われた評価範囲と、評価が行われていない評価範囲とを識別可能な状態で表示する。これにより、作業者は、評価範囲を適切に識別し、選択することができる。
【0073】
また、本実施形態では、作業者端末20の表示処理部22は、
図14の評価範囲選択画面において複数の評価範囲を表示する際に、各評価範囲の撮像を行った作業者が本人であるか、本人以外であるかがわかるように表示する。これにより、作業者は、評価範囲を適切に識別し、選択することができる。
【0074】
また、本実施形態では、一つの評価範囲が重複して撮像され、評価された場合には、機械評価DB54や、評価結果DB18において、データを上書きする。これにより、評価範囲の評価のやり直しが可能となる。
【0075】
また、本実施形態では、データ管理用サーバ50のデータ管理部52は、
図17に示すように、各評価範囲の評価点の分布をヒートマップ形式で色分け表示した画面を生成し、端末上に表示する。これにより、表層品質の優劣の分布を視認しやすくなるため、コンクリート構造物の位置ごとの傾向がわかり、次回以降の施工において役立てることができる。
【0076】
また、本実施形態では、データ管理用サーバ50のデータ管理部52は、
図18に示すように、各評価範囲の評価点が占める割合や評価点の平均点を表示する画面を生成し、端末上に表示する。これにより、複数の評価範囲を含む広い領域の総合的な評価を行うことができる。
【0077】
また、本実施形態では、評価モデルを用いて評価画像の評価を行う現場用サーバ10が、作業者端末20とインターネットを介さずに通信できるようになっている。これにより、トンネル内や山奥などのインターネット環境が脆弱な環境においても、評価画像の評価を行うことができる。
【0078】
また、本実施形態では、機械学習部42の機能を、現場用サーバ10とは異なる学習用サーバ40が有している。これにより、負荷の高い処理を必要とする機械学習部42の機能を、現場に持ち込む現場用サーバ10に持たせなくてもよいため、現場用サーバ10の軽量化を図ることが可能となる。また、学習用サーバ40は、複数の現場用サーバ10から学習データを得ることができるため、複数の現場用サーバ10から得られた大量の学習データから評価モデルを生成することもできる。
【0079】
なお、上記実施形態では、作業者端末20を用いてコンクリート表層の画像のうち、カメラ187の画像補正機能がオンの状態で撮像された画像は、学習データや評価画像として用いないこととしてもよい。すなわち、カメラ187の画像補正機能がオフの状態で撮像された画像のみを学習データや評価画像として用いることで、画像補正による影響により、適切でない評価モデルが生成されたり、適切でない評価がされるのを防止することができる。なお、作業者端末20が
図4の2次元コードを用いてサービスにアクセスした場合に、作業者端末20は、画像補正機能を自動的にオフにするようにしてもよい。
【0080】
なお、上記実施形態では、作業者端末20と現場用サーバ10が異なる装置である場合について説明したが、作業者端末20と現場用サーバ10の機能を1つの装置で実現することとしてもよい。
【0081】
なお、上記実施形態では、学習データに含まれる評価がn=0.5点刻みであり、評価モデルを生成する際に、m=1点刻みの評価に置き換える場合について説明したが、これに限られるものではない。例えば、学習データに含まれる評価が5点刻みであり、評価モデルを生成する際に10点刻みの評価に置き換えることとしてもよい。
【0082】
なお、上記実施形態では、作業者本人が既に撮像を行った(既に評価した)評価範囲の背景色と、作業者本人以外が既に撮像を行った(既に評価した)評価範囲の背景色と、を異ならせる場合について説明したが、これに限られるものではない。例えば、作業者別に背景色を異ならせてもよい。また、背景色に限らず、文字色や、枠の色、太さなどで、各評価範囲を区別可能に表示してもよい。
【0083】
なお、上記実施形態では、コンクリート構造物の表面で観察される外観症状のうちの、表面気泡、砂すじ、打重ね線、型枠継ぎ目のノロ漏れ、沈みひび割れを評価項目としたが、これに限らず、その他の外観症状、例えば温度ひび割れ、あばた、豆板、流れ縞、施工縞、コールドジョイント、色むら、表面剥離などを評価項目に含めてもよい。すなわち、上記実施形態では、施工不良ではない外観症状(表面気泡、砂すじ、打重ね線、型枠継ぎ目のノロ漏れ、沈みひび割れ)を評価項目としたが、施工不良である外観症状を評価項目に含めてもよい。施工不良である外観症状を評価項目とする場合、評価点としては、軽微、中程度、重大などを評価点として定義すればよい。
【0084】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体に記録しておくことができる。
【0085】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0086】
プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【0087】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【0088】
10 現場用サーバ(第1装置)
12 機械評価部(評価画像受付部、評価部)
16 目視評価取得部(学習データ受付部)
20 作業者端末(端末)
40 学習用サーバ(第2装置)
42 機械学習部(モデル生成部)
100 コンクリート表層品質評価システム