特許 7453848 切羽画像加工装置、切羽画像加工方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】切羽画像加工装置、切羽画像加工方法

(51)【国際特許分類】

   E21D 9/00 20060101AFI20240313BHJP

   E21D 11/00 20060101ALI20240313BHJP

   G06T 5/50 20060101ALI20240313BHJP

【ＦＩ】

E21D9/00 Z

E21D11/00 Z

G06T5/50

【請求項の数】 7

(21)【出願番号】P 2020089125

(22)【出願日】2020-05-21

(65)【公開番号】P2021183773

(43)【公開日】2021-12-02

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】有家 舜祐

(72)【発明者】

【氏名】邊見 涼

(72)【発明者】

【氏名】淡路 動太

(72)【発明者】

【氏名】伊原 広明

(72)【発明者】

【氏名】三原 泰司

【審査官】松本 泰典

(56)【参考文献】

【文献】特開２０１９－０２３３９２（ＪＰ，Ａ）

【文献】特開２０２０－０２７４２４（ＪＰ，Ａ）

【文献】特開２０１８－０８８６３０（ＪＰ，Ａ）

【文献】特許第６６７５６９１（ＪＰ，Ｂ１）

【文献】特開２０１８－２０７１９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１４２０５２（ＵＳ，Ａ１）

【文献】特開２０２０－０３８２２７（ＪＰ，Ａ）

【文献】特開２０１９－１１４２３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ２１Ｄ ９／００

Ｅ２１Ｄ １１／００

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

吹付コンクリートが施工された切羽を撮像した切羽画像を取得する取得部と、
クラックの種類を選択する指示を入力するクラック種類入力部と、
吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成するデータ加工部と、
前記合成画像を出力する加工データ出力部と、
を有し、
前記クラック種類入力部は、
クラックの幅を指定するクラック幅、
クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、
実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、
のうち少なくともいずれか１つを取得し、
前記データ加工部は、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成する
切羽画像加工装置。

【請求項2】

前記クラック種類入力部は、
前記クラック幅、
前記クラック濃さ、
前記クラック色、
クラックの長さを指定するクラック長さ、
クラックの形状の特徴に応じた分類のいずれであるかを指定するクラック形状、
のうち少なくともいずれか１つを取得する
請求項１に記載の切羽画像加工装置。

【請求項3】

前記データ加工部は、
前記クラック種類入力部によって入力可能な複数の項目のうち、前記クラック種類入力部によって指示されたクラックの種類と、前記クラック種類入力部によって指示されなかった項目については過去に生成したクラック画像の値とを用いて、前記切羽画像に対してクラック画像を合成する
請求項１または請求項２に記載の切羽画像加工装置。

【請求項4】

前記取得された切羽画像のうち、加工対象とする切羽画像を選択する指示を入力する切羽画像選択部を有し、
前記データ加工部は、前記切羽画像選択部によって選択された切羽画像に対してクラック画像を合成する
請求項１に記載の切羽画像加工装置。

【請求項5】

前記データ加工部によって加工されたクラック画像に対してクラックを表すラベルを付与するラベル付与部
を有する請求項１から請求項４のうちいずれか１項に記載の切羽画像加工装置。

【請求項6】

吹付コンクリートに対して実際にクラックが生じている切羽を撮像した切羽画像において当該クラックに対して生じた影の表す画像領域の色を抽出する色抽出部を有し、
前記データ加工部は、前記切羽画像に対して、前記色抽出部によって抽出された色によってクラックを表したクラック画像を合成する
請求項１から請求項５のうちいずれか１項に記載の切羽画像加工装置。

【請求項7】

取得部が、吹付コンクリートが施工された切羽を撮像した切羽画像を取得し、
クラック種類入力部が、クラックの種類を選択する指示を入力し、
データ加工部が、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成し、
加工データ出力部が、前記合成画像を出力し、
前記クラックの種類を選択する指示を入力することは、
クラックの幅を指定するクラック幅、
クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、
実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、
のうち少なくともいずれか１つを取得することを含み、
前記合成画像を生成することは、
前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成することを含む
切羽画像加工方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、切羽画像加工装置、切羽画像加工方法に関する。

【背景技術】

【0002】

山岳トンネルの切羽周辺にカメラを設置し、切羽を監視するシステムがある（例えば、特許文献１）。このようなシステムでは、切羽をカメラで監視するシステムにおいて、切羽で発生する切羽崩落や肌落ちの予兆である鏡吹付けコンクリートのクラックを検知している。また、このようなシステムにおいて、ＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ；人工知能）を用いて検知しようとする場合には、切羽の鏡吹付けコンクリートに発生するクラックの画像が必要であり、検知する精度を高めるためには、多様なクラック発生パターンや、重機や人などのノイズが含まれた教師データを大量に集める必要がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－２０７１９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、実際のトンネル切羽において鏡吹付けコンクリートにクラックが発生する頻度は低いため、多種多様な教師データを大量に集めることは非常に難しい。
また、ブレーカーなどの重機を用いて実験的に鏡吹付けコンクリートにクラックを発生させることは可能であるが、得られるクラックパターンは限られてしまうという課題がある。

【0005】

本発明は、このような事情に鑑みてなされたもので、その目的は、切羽の鏡吹付コンクリートに発生するクラックの画像を効率よく収集することが可能な切羽画像加工装置、切羽画像加工方法を提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本願発明の一態様は、吹付コンクリートが施工された切羽を撮像した切羽画像を取得する取得部と、クラックの種類を選択する指示を入力するクラック種類入力部と、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成するデータ加工部と、前記合成画像を出力する加工データ出力部と、を有し、前記クラック種類入力部は、クラックの幅を指定するクラック幅、クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、のうち少なくともいずれか１つを取得し、前記データ加工部は、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成する切羽画像加工装置である。

【0007】

また、本発明の一態様は、取得部が、吹付コンクリートが施工された切羽を撮像した切羽画像を取得し、クラック種類入力部が、クラックの種類を選択する指示を入力し、データ加工部が、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成し、加工データ出力部が、前記合成画像を出力し、前記クラックの種類を選択する指示を入力することは、クラックの幅を指定するクラック幅、クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、のうち少なくともいずれか１つを取得することを含み、前記合成画像を生成することは、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成することを含む切羽画像加工方法である。

【発明の効果】

【0008】

以上説明したように、この発明によれば、切羽の鏡吹付コンクリートに発生するクラックの画像を効率よく収集することができる。

【図面の簡単な説明】

【0009】

【図1】この発明の一実施形態による切羽監視システム１の構成を示す概略ブロック図である。

【図2】鏡吹付けコンクリートの施工がなされた切羽を撮像した切羽画像にクラック画像を合成した場合の一例を示す図である。

【図3】切羽画像加工装置４０の動作を説明するフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態による切羽画像加工装置を用いた切羽監視システムについて図面を参照して説明する。
図１は、この発明の一実施形態による切羽監視システム１の構成を示す概略ブロック図である。
切羽監視システム１は、カメラ１０と、端末装置２０（端末装置２０ａ、端末装置２０ｂ）と、操作端末３０と、切羽画像加工装置４０と、クラック検出装置５０を有する。

【0011】

カメラ１０は、トンネルの切羽よりも後方側に所定の距離（例えば１０メートル程度）の位置におけるトンネルの側壁に設置され、切羽Ｆを撮像する。カメラ１０は、撮像結果を切羽画像としてクラック検出装置５０に出力する。カメラ１０は、１秒間に数フレームから十数フレーム程度となるタイミングで撮像し、順次クラック検出装置５０に切羽画像を出力する。
ここで、切羽Ｆは、トンネルの掘削が行われることによって露出する地山に対して、厚みが数ｃｍ（センチメートル）程度となるようにコンクリートが吹付けられる「鏡吹付けコンクリート」が施工される。
カメラ１０は、鏡吹付けコンクリートが施工された切羽を撮像し、切羽画像を出力する。また、カメラ１０は、地山掘削、吹付けコンクリート、鋼製支保工建込などの、切羽施工の各種サイクル毎に切羽画像を撮像するようにしてもよい。

【0012】

端末装置２０は、切羽に対する掘削施工する現場において複数台（例えば、端末装置２０ａ、端末装置２０ｂ等。特に識別しない場合には単に端末装置２０と称する。）用いられる。この端末装置２０としては、例えば、スマートフォンやタブレット等のいずれかを用いることができる。端末装置２０は、掘削等の作業を行う作業者に携帯される。端末装置２０は、クラック検出装置５０に対し、無線または有線によって接続され、クラック検出装置５０と通信を行う機能を有する。また、端末装置２０は、スピーカやタッチパネル等を備える。
なお、ここでは端末装置２０が２台（端末装置２０ａ、端末装置２０ｂ）である場合について説明するが、１台のみであってもよいし、３台以上であってもよい。

【0013】

操作端末３０は、マウスやキーボード等の入力装置と、ディスプレイ等の表示装置を有する。技術者等のユーザから各種操作を受け付けることができる。この操作端末３０としては、コンピュータを用いてもよい。

【0014】

切羽画像加工装置４０は、画像取得部４００、記憶部４０１、切羽画像選択部４０２、クラック種類入力部４０３、色抽出部４０４、データ加工部４０５、ラベル付与部４０６、教師データ生成部４０７、出力部４０８とを有する。

【0015】

ここで、切羽画像加工装置４０において、教師データは大きく分けて２種類ある。第１の教師データは、鏡吹付けコンクリートの施工がなされた切羽においてクラックが発生した状態を撮影した画像を用いた教師データであり、第２の教師データは、鏡吹付けコンクリートの施工がなされた切羽を撮像した画像において、クラックが発生していない箇所に対して、クラックを表す画像であるクラック画像が合成された合成画像を用いた教師データである。このようなクラックの形状は、概ね線状である。

【0016】

第１の教師データは、実際に切羽の施工現場において鏡吹付けコンクリートにクラックが発生している切羽を撮像した切羽画像を用いることができる。
第２の教師データは、鏡吹付けコンクリートの施工がなされた切羽を撮像した画像に対して、クラックが発生した場合にはどのような状態であるかを、経験や知識をもとに、技術者によって、クラック画像を操作端末３０が操作されることで切羽画像に描画された合成画像を用いることができる。
図２は、鏡吹付けコンクリートの施工がなされた切羽を撮像した切羽画像にクラック画像を合成した場合の一例を示す図である。ここでは、クラック画像２０１、２０２、２０３、２０４、２０５、２０６、２０７、２０８、２０９に示すように複数のクラック画像が鏡吹付コンクリートの表面に対して合成される。ここでは、１つの切羽画像に対して複数のクラック画像が合成された場合が図示されているが、１つのみ合成するようにしてもよい。

【0017】

第１の教師データを用いる場合、鏡吹付けコンクリートに実際に発生したクラックを撮像した画像を用いるため、学習によって得られる学習済みモデルによるクラック判定の精度が高いというメリットがある。一方で、学習に必要な枚数の画像を準備することが容易ではない場合がある。
第２の教師データを用いる場合、実際に発生したクラックを撮像した画像ではないものの、種々のクラックのパターンを描画することができ、学習に必要な枚数の画像を準備しやすいメリットがある。ここでは、合成画像におけるクラック画像は、技術者の経験や知識を反映させた上で描画することで、実際に発生したクラックを高い精度で再現するように描画することも可能である。また、クラックを表す画像は、鏡吹付けコンクリートの施工がなされた切羽が撮像された画像に対し、操作端末３０から技術者によって操作入力されることで描画される。クラック画像は、切羽の状態や施工現場の環境を考慮して形状や色味等によって表現される。

【0018】

画像取得部４００は、吹付コンクリートが施工された切羽を撮像した切羽画像を取得する。例えば、画像取得部４００は、カメラ１０によって生成される切羽画像を取得する。

【0019】

記憶部４０１は、各種データを記憶する。例えば記憶部４０１は、カメラ１０によって撮像され画像取得部４００によって取得された複数の切羽画像や、後述する合成画像等を記憶する。

【0020】

切羽画像選択部４０２は、取得された切羽画像のうち、加工対象とする切羽画像を選択する指示を入力する。
クラック種類入力部４０３は、クラックの種類を選択する指示を入力する。

【0021】

色抽出部４０４は、吹付コンクリートに対して実際にクラックが生じている切羽を撮像した切羽画像において当該クラックに対して生じた影の表す画像領域の色を抽出する。
ここで、クラックが発生するとその部分に影が生じる。これを利用し、実際に発生したクラックを撮影した画像において、クラックの影の部分の色を抽出し、その抽出された色でクラックを描写し、クラック画像を生成することができる。

【0022】

データ加工部４０５は、吹付けコンクリートにクラックがあることを示すクラック画像を切羽画像に対して合成することで合成画像を生成する。このようにして得られた合成画像は、クラック検出装置５０の学習部５０１において学習を行うために必要な教師データとして用いることができる。
データ加工部４０５は、切羽画像に対してクラックを表す画像を操作端末３０のキーボードやマウス等から入力される操作内容に応じて合成する。操作内容としては、クラック画像を合成する際の条件、クラックそのものを描画するための操作、等であってもよい。
データ加工部４０５が合成画像を生成する機能は、例えば、画像処理ソフトウェアを実行することで実現してもよい。切羽画像に対してクラック画像を合成する処理を行う画像処理ソフトウェアとしては、アドビシステムズ社（Ａｄｏｂｅ Ｓｙｓｔｅｍｓ Ｉｎｃｏｒｐｏｒａｔｅｄ）のＰｈｏｔｏｓｈｏｐ（登録商標）を用いてもよい。

【0023】

データ加工部４０５は、切羽画像選択部４０２によって選択された切羽画像に対してクラック画像を合成する。例えば、記憶部４０１に記憶される複数の切羽画像のうち、操作端末３０のマウス等を用いて選択された切羽画像を、クラック画像を合成する対象の切羽画像として決定し、合成を行う（加工対象選択機能）。
データ加工部４０５は、クラック種類入力部４０３によって選択されたクラックの種類に応じたクラック画像を切羽画像に対して合成する。例えば、クラック画像の態様の選択肢を複数のパターンについて予め記憶部４０１に記憶しておき、そのクラック画像の態様のうち、操作端末３０のマウス等を用いて選択されたパターンのクラック画像を用いて切羽画像に対して合成を行う（クラックパターン選択機能）。

【0024】

クラック画像の態様としては、例えば、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ（不透明度）、クラックの色がある。クラックの幅は、鏡吹付けコンクリートに対して実験によって発生させたクラックの場合、最大幅４ピクセル程度（実寸２５ｍｍ程度）であった。このため、データ加工部４０５は、４ピクセルを最大幅として、１ピクセルから４ピクセルの間のうちいずれの値にするかを操作端末３０からの操作入力を受け付け、指定された幅に従ってクラック画像を生成する。ここではクラックの幅は最大幅４ピクセル程度（実寸２５ｍｍ程度）としたが、鏡吹付けコンクリートに生じ売るクラックを考慮し、他の値を用いるようにしてもよい。
また、クラックの長さについては、長さの最小値と最大値とを、実験結果を基に予め決めており、その長さの範囲のうちいずれの値にするかを操作端末３０からの操作入力を受け付け、指定された長さに従ってクラック画像を生成する。
また、クラックの形状については、直線状、Ｗ字状（ジグザグ状）等、形状の特徴に応じた分類であってもよい。データ加工部４０５は、この分類のいずれにするかについて操作端末３０からの操作入力を受け付け、指定された長さに従ってクラック画像を生成することができる。
また、クラックの影の濃さは、実験の結果、様々な場合があった。そのため、データ加工部４０５は、クラックの影の濃さ（不透明度）について、70％、50％、30％のように、複数の濃さのパターンのうち、いずれにするかについて操作端末３０から操作入力を受け付け、指定されたクラックの影の濃さに基づいてクラック画像を生成する。
クラックの色は、色抽出部４０４によって抽出された色を適用することができる。ここでは、データ加工部４０５は、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値を取得し、この画素値に応じてクラック画像を生成する。これにとり、実際に生じ得るクラックの色を元に、クラック画像を生成することができる。

【0025】

データ加工部４０５は、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色について、操作端末３０から入力される操作内容に応じて決定することができる。また、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色については、少なくともいずれか１つについて指定されるようにし、指定されなかった項目については、過去に生成したクラック画像の値を用いるようにしてもよい。また、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色のそれぞれの項目の選択肢の中から選択するようにしてもよいし、操作端末３０がマニュアルでクラック画像を任意に描くようにしてもよい。
また、このようにして生成されたクラック画像を、切羽画像のどの位置に配置するかについては、操作端末３０から入力される配置する位置を指定する操作入力に応じて決定するようにしてもよい。

【0026】

このようにしてデータ加工部４０５によって生成される合成画像は、教師データとして用いることができる。

【0027】

また、データ加工部４０５は、切羽画像に対してクラック画像を合成する場合、切羽画像におけるクラックに対応する領域に含まれる画素の画素値（ＲＧＢ画像の場合にはＲＧＢの各値）を書き換えることで合成画像を生成するようにしてもよいし、切羽画像のレイヤとは別のレイヤにクラック画像を描画し、これらのレイヤを重ね合わせることで合成画像を生成するようにしてもよい。ここで、クラック画像が切羽画像とは別のレイヤとして生成されている場合には、クラック画像に対応するレイヤに基づいて、クラックである領域を示す座標データも関連付けすることができる。

【0028】

ラベル付与部４０６は、合成された画像に基づいて、クラック画像に対応する画素についてクラックを表すラベル（アノテーション）を付与する。例えば、ラベル付与部４０６は、合成画像に含まれる各画素において、クラック画像に対応する画素であるか否かを判定し、クラック画像である場合には、ラベルを付与する。クラック画像であるか否かについては、データ加工部４０５によって加えられた画素であるか否かについて判定するようにしてもよい。
ラベル付与部４０６は、合成画像のうち、クラック画像に該当する画素のそれぞれに対して、「クラック」を表すラベルを付与するようにしてもよいし、クラック画像を構成する画像の領域に対してラベルを付与してもよい。

【0029】

なお、鏡吹付けコンクリートに実際にクラックが発生した切羽を撮像した切羽画像についてラベルを付与する場合、どの部分がクラック画像であるかを特定する必要がある。ここでは、例えば、技術者が操作端末３０を操作することで、切羽画像のうちクラックに対応する箇所に対して、クラックであることを指定することで、クラック画像を特定するようにしてもよい。

【0030】

このように、ラベル付与部４０６が「クラック」を示すラベルを画素毎に付与することで、切羽画像や合成画像において、「クラック」を示すラベルが付与された画素が隣接している画像の領域をクラックが存在する領域として特定することが可能となる。

【0031】

教師データ生成部４０７は、合成画像に対してラベル付与部４０６によって画素にラベルが付与されたデータを、教師データとして得る。例えば、教師データ生成部４０７は、ラベルが付与された切羽画像または合成画像を教師データとして得ることで、教師データを生成する。

【0032】

出力部４０８は、合成画像を出力する。出力先としては、記憶部４０１に書き込むことでもよいし、クラック検出装置５０の学習部５０１に対して出力してもよい。

【0033】

次に、クラック検出装置５０について説明する。
クラック検出装置５０は、教師データ取得部５００、学習部５０１、記憶部５０２、検出部５０３を含む。

【0034】

教師データ取得部５００は、切羽画像加工装置４０によって生成された教師データを取得する。
学習部５０１は、鏡吹付けコンクリートが施工された切羽が撮像された切羽画像における画素のうち、吹付けコンクリートに存在するクラックに対応する画素に対してクラックを表すラベルが付与された教師データを用いて、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習する。この教師データは、教師データ取得部５００によって、切羽画像加工装置４０から得られた教師データを利用することができる。
この学習には、ＡＩ（artificial intelligence：人工知能）技術を用いる。例えば、この学習には、セマンティックセグメンテーション(Semantic Segmentation)を用いる。セマンティックセグメンテーション(Semantic Segmentation)は、画像内の全画素にそれぞれラベルを付与するディープラーニング(Deep Learning)を用いたアルゴリズムである。
このセマンティックセグメンテーションでは、対象物を画素単位で検出できることから、線状に多数発生するクラックに対しても認識分解能が高く、また、施工時の作業者や重機の移動によって生じる画像の変化であるノイズに対しても高い識別性能を持っている。そのため、施工中の切羽をカメラ１０によって動画撮影をするような条件下であっても効率的にクラックを識別することが可能となる。
セマンティックセグメンテーションでは、例えば、クラックに対応する画素の情報と、その画素の周辺の画素の情報との関係を学習する。
学習部５０１は、学習を行うことで、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習した学習済モデルを生成する。

【0035】

記憶部５０２は、学習部５０１によって得られた学習済みモデルを記憶する。記憶部５０２は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この記憶部５０２は、例えば、不揮発性メモリを用いることができる。

【0036】

検出部５０３は、吹付けコンクリートが施工された切羽が撮像された切羽画像における画素のうち、吹付けコンクリートに存在するクラックに対応する画素に対してクラックを表すラベルが付与された教師データを用いて、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習した学習済みモデルに対し、判定対象である切羽画像を入力し、判定対象の切羽画像に対してセグメンテーションすることでクラックに対応する領域があるか否かを検出する。
出力部５０４は、検出部５０３によって、切羽画像にクラックに対応する領域があることを検出した場合には、クラックが検出されたことを示す情報を出力する。この出力としては、例えば、端末装置２０ａ、端末装置２０ｂ等であってもよいし、切羽施工の現場を管理する管理者の端末装置に対して出力してもよい。これにより、これら端末装置からクラックが生じたことを示す警報音を出力したり、クラックが発生したことを示す警告メッセージを画面上に表示したりすることができる。出力部４０８は、クラックがあると検出された結果を端末装置２０に送信することで、切羽崩落発生前に作業者に対して避難を促すことができる。

【0037】

上述したこのクラック検出装置５０において、画像取得部４００、切羽画像選択部４０２、クラック種類入力部４０３、色抽出部４０４、データ加工部４０５、ラベル付与部４０６、教師データ生成部４０７、出力部４０８は、例えばＣＰＵ（中央処理装置）等の処理装置若しくは専用の電子回路で構成されてよい。
また、クラック検出装置５０において、教師データ取得部５００、学習部５０１、検出部５０３、出力部５０４は、ＣＰＵ等の処理装置若しくは専用の電子回路で構成されてもよい。

【0038】

次に、切羽画像加工装置４０における動作を説明する。図３は、切羽画像加工装置４０の動作を説明するフローチャートである。
切羽画像加工装置４０の画像取得部４００は、カメラ１０によって撮像された切羽画像を取得し（ステップＳ１０１）、記憶部４０１に記憶する。ここで撮影される切羽については、施工された鏡吹付けコンクリートにおいてクラックが発生していない状態が撮像された切羽画像である。なお、鏡吹付けコンクリートにおいてクラックが発生している状態が撮像された切羽画像であってもよい。また、画像取得部４００は、カメラ１０によって撮影が行われる毎に切羽画像を取得し、記憶部４０１に記憶する。

【0039】

次に、切羽画像選択部４０２は、操作端末３０からの操作入力に基づいて、記憶部４０１に記憶された切羽画像の中から、加工する対象である切羽画像を読み出す（ステップＳ１０２）。ここで選択される切羽画像は、クラックが生じていない状態の鏡吹付けコンクリートが撮像された切羽画像とクラックが生じている状態の鏡吹付けコンクリートが撮像された切羽画像とのうちいずれであってもよいが、クラックが生じていない状態の鏡吹付けコンクリートが撮像された切羽画像を対象として選択された場合には、クラックがない状態の鏡吹付けコンクリートの施工状態を考慮し、この施工状態であればどのようなクラックが発生し得るかを検討した結果を基に得られるクラック画像を合成した教師データを得ることができる。
一方、クラックが生じている状態の鏡吹付けコンクリートが撮像された切羽画像を対象として選択された場合には、既に発生しているクラックの状態を考慮し、さらにクラックが発生した場合には、どのようなクラックが発生しうるかを検討した結果を基に得られるクラック画像を合成した教師データを得ることができる。

【0040】

色抽出部４０４は、記憶部４０１に記憶された切羽画像のうち、クラックが生じている鏡吹付けコンクリートが撮像された切羽画像におけるクラックを示す画素から、色を示す画素値を取得する（ステップＳ１０３）。色を抽出する対象の切羽画像は、ステップＳ１０２において選択された切羽画像とは異なる切羽画像であって、クラックが発生した状態の鏡吹付けコンクリートが撮像された切羽画像が操作端末３０によって選択され、この切羽画像からクラックの色を抽出するようにしてもよい。また、色を抽出する対象の切羽画像は、操作端末３０からの選択入力に従って選択されてもよい。

【0041】

次に、クラック種類入力部４０３は、クラックの態様を指定する入力を操作端末３０から受け付ける（ステップＳ１０４）。ここでは、クラック種類入力部４０３は、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ（不透明度）等について指定する入力を受け付ける。
クラックの色が抽出され、クラックの態様の指定入力を受け付けると、データ加工部４０５は、抽出された色、指定入力されたクラックの態様に応じたクラック画像を生成し（ステップＳ１０５）、生成されたクラック画像を切羽画像に合成する（ステップＳ１０６）。なお、クラック画像を切羽画像のどの位置に配置するかについては、操作端末３０から指定される。

【0042】

合成画像が生成されると、ラベル付与部４０６は、合成画像におけるクラック画像に対してラベルを付与する（ステップＳ１０７）。ラベルが付与されると、教師データ生成部４０７は、ラベルが付与された合成画像を教師データとして取得し、クラック検出装置５０に教師データとして出力する（ステップＳ１０８）。

【0043】

なお、上述した処理において、１つの切羽画像に対して、クラック画像を変えた合成画像を複数種類生成するようにしてもよい。

【0044】

以上説明した実施形態においては、クラックが発生していない状態の鏡吹付けコンクリートを撮像した切羽画像であっても、写真合成によって人為的に疑似クラックを作成することでクラック画像を切羽画像に合成するようにしたので、実際にクラックが発生している鏡吹付けコンクリートを撮像した切羽画像がなくても、クラックを含む切羽画像を準備することができ、これを教師データとして用いることができる。これにより、鏡吹付けコンクリートにクラックが発生している状態の切羽画像を効率的に大量に作成することが可能となる。

【0045】

実際のトンネル切羽において、鏡吹付けコンクリートにクラックが発生する頻度は低く、また実験によって得られるクラックパターンは限られている。そのため、実際にクラックが発生した切羽の画像を大量に準備することが容易ではないが、本実施形態によれば、写真合成等によって人為的にクラックを表現した合成画像を用いるようにしたので、大量のクラックパターンやノイズパターンを学習用データとして作成することができ、ＡＩの学習効率および判定精度の向上を実現することが可能となる。

【0046】

また、クラック画像を合成する対象の切羽画像や、合成するクラックの態様を任意に選択することができるため、選択された内容に応じて、多様かつ大量の教師データを効率的に作成することができる。

【0047】

また、実際に発生していなければ取得できない態様のクラックについても、上述のようにクラック画像を生成し合成することで、教師データとして作成することができるため、ＡＩが検知可能なパターンを大幅に増やすことができる。すなわち、実際に発生しうる態様のクラックについて実際に撮影した切羽画像を準備できなかったとしても、技術者の知識や経験を活かして合成画像として生成することで準備することができる。
また、上述の実施形態によれば、ラベル付与部４０６がラベルを付与するようにしたので、本来必要なアノテーション作業（クラック部分を画像処理ソフトで選択し正解ラベルを付与する作業）を人手によって行う必要がないので、アノテーション作業にかかる時間を大幅に削減することができる。
また、上述した実施形態によれば、教師データの作成から学習済みモデルの作成までにかかる時間を大幅に短縮することができる。

【0048】

また、以上説明した実施形態において、クラック検出装置５０が、教師データ取得部５００、学習部５０１を有する場合について説明したが、これら教師データ取得部５００、学習部５０１の機能を、クラック検出装置５０とは別の装置に設け、当該別の装置を学習装置として構成するようにしてもよい。そして学習装置において学習することで得られた学習済モデルをクラック検出装置５０の記憶部５０２に書き込むようにしてもよい。

【0049】

上述した実施形態における切羽画像加工装置４０とクラック検出装置５０とをそれぞれコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0050】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0051】

１…切羽監視システム、１０…カメラ、２０，２０ａ，２０ｂ…端末装置、３０…操作端末，４０…切羽画像加工装置、５０…クラック検出装置、４００…画像取得部、４０１…記憶部、４０２…切羽画像選択部、４０３…クラック種類入力部、４０４…色抽出部、４０５…データ加工部、４０６…ラベル付与部、４０７…教師データ生成部、４０８…出力部、５００…教師データ取得部、５０１…学習部、５０２…記憶部、５０３…検出部、５０４…出力部

【図1】

【図2】

【図3】