IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社sMedioの特許一覧

特開2024-401評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法
<>
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図1
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図2
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図3
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図4
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図5
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図6
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図7
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図8
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図9
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図10
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図11
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図12
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図13
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図14
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図15
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図16
  • 特開-評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000401
(43)【公開日】2024-01-05
(54)【発明の名称】評価値取得方法、プログラム、評価値取得装置および学習済モデル生成方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20231225BHJP
   G01B 11/30 20060101ALI20231225BHJP
   G01B 11/24 20060101ALI20231225BHJP
【FI】
G06T7/00 350B
G01B11/30 A
G01B11/24 K
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022099157
(22)【出願日】2022-06-20
(71)【出願人】
【識別番号】510254797
【氏名又は名称】株式会社sMedio
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】成島 慧
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA04
2F065AA49
2F065AA53
2F065CC14
2F065CC40
2F065FF02
2F065FF04
2F065FF11
2F065GG04
2F065HH12
2F065QQ04
2F065SS13
5L096AA06
5L096AA09
5L096DA02
5L096EA45
5L096KA04
(57)【要約】
【課題】凹凸を有する面の状態につき、利用者にとって有用な評価データを提供する。
【解決手段】凹凸を有する面に対応する3次元座標データを取得し、前記3次元座標データから第1条件に基づいて生成された第1仮画像と第2条件に基づいて生成された第2仮画像とを少なくとも合成して得られる評価用画像を、評価学習用画像と前記凹凸に関する評価値との関係を学習させた学習済モデルに提供することにより、前記学習済モデルから評価値を取得することを含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
凹凸を有する面に対応する3次元座標データを取得し、
前記3次元座標データから第1条件に基づいて生成された第1仮画像と第2条件に基づいて生成された第2仮画像とを少なくとも合成して得られる評価用画像を、評価学習用画像と前記凹凸に関する評価値との関係を学習させた学習済モデルに提供することにより、前記学習済モデルから評価値を取得すること、
を含む評価値取得方法。
【請求項2】
前記第1仮画像および前記第2仮画像は、前記3次元座標データに基づいて生成される陰影図に基づいて得られ、
前記第1条件および前記第2条件は、陰影図を生成するための光源方向を含み、
前記第1条件における第1光源方向と前記第2条件における第2光源方向とが異なる、請求項1の評価値取得方法。
【請求項3】
前記第1光源方向と第2光源方向との角度は、45°の整数倍である、請求項2の評価値取得方法。
【請求項4】
前記第1光源方向と第2光源方向との角度は、90°の整数倍である、請求項2の評価値取得方法。
【請求項5】
前記評価用画像は、さらに第3~第8光源方向に基づいてそれぞれ生成された陰影図である第3~第8仮画像を合成して得られ、
前記第1~第8光源方向は、互いに45°ずつ異なる、請求項3の評価値取得方法。
【請求項6】
前記第1仮画像および前記第2仮画像は、前記陰影図に基づいて生成された2値化画像を含む、請求項2の評価値取得方法。
【請求項7】
前記3次元座標データは数値標高モデル(DEM)を含む、請求項1の評価値取得方法。
【請求項8】
前記3次元座標データは、前記面において分割された少なくとも第1エリアと第2エリアとに対応して取得され、
前記評価用画像は、前記第1エリアと前記第2エリアとに対応して得られ、
前記学習済モデルは、前記第1エリアに対応する前記評価用画像が提供される学習済モデルと、前記第2エリアに対応する前記評価用画像が提供される学習済モデルとを含む請求項1の評価値取得方法。
【請求項9】
前記評価値は、第1評価項目に対応する評価値と、第2評価項目に対応する評価値とを含み、
前記評価用画像は、前記第1評価項目と前記第2評価項目とに対応して得られ、
前記学習済モデルは、前記第1評価項目に対応する前記評価用画像が提供される学習済モデルと、前記第2評価項目に対応する前記評価用画像が提供される学習済モデルとを含む、請求項1の評価値取得方法。
【請求項10】
前記3次元座標データを含む情報を測定機器から受信し、前記評価値を通信端末に送信すること、を含む請求項1の評価値取得方法。
【請求項11】
前記凹凸を有する面が切羽面である、請求項1の評価値取得方法。
【請求項12】
請求項1~11のいずれかの評価値取得方法をコンピュータに実行させるためのプログラム。
【請求項13】
請求項1~11のいずれかの評価値取得方法を実行する評価取得装置。
【請求項14】
凹凸を有する面に対応する3次元座標データから第1条件に基づいて生成された第1仮画像と第2条件に基づいて生成された第2仮画像とを少なくとも合成して得られる評価学習用画像と、前記凹凸に関する評価値と、の関係を学習させた学習済モデルを生成すること、
を含む学習済モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、評価値取得方法に関する。
【背景技術】
【0002】
従来、トンネル採掘時の切羽面、コンクリート施工後の壁面、老朽化した橋桁やマンション壁面などの凹凸を有する面の状態は、目視により評価されていた。近年、評価者の違いによる評価のばらつきを抑え、定量的な評価を実現することが望まれている。定量的な評価を実現するため、例えばトンネル採掘時の切羽面をデジタルカメラ等で撮影することによって得られた画像を用い、切羽面の状態を評価する技術が開発されている。この評価方法として、画像を解析する技術、機械学習を用いる技術が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-183774号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
デジタルカメラ等により撮影された画像から、例えばコンクリート老朽化による変色などの状態は比較的容易に認識することができる。他方、切羽面など大小の割れ目などが多数混在する凹凸面の状態をデジタルカメラ等で撮影された画像から的確に把握することは難しい。また、これらに基づき評価しても、実際の現場で熟練者が目視で行う評価とは一致しにくいという問題があった。また、特許文献1にはSfMなど複数画像から3次元形状を導き出す技術が記載されている。しかしデジタルカメラ画像が撮影環境や撮影技術により、その有用性が大きく変動するものであるため、同一対象に係る複数の画像を正確に組み合わせること自体が難しく、正確性及び利便性において熟練者の目視評価には未だ及ばない。かかる撮影技術の差異に起因する評価のバラツキを低減することも課題となっている。
【0005】
本発明の目的の一つは、凹凸を有する面の状態につき、利用者にとって有用な評価データを提供することにある。
【課題を解決するための手段】
【0006】
一実施形態によれば、凹凸を有する面に対応する3次元座標データを取得し、前記3次元座標データから第1条件に基づいて生成された第1仮画像と第2条件に基づいて生成された第2仮画像とを少なくとも合成して得られる評価用画像を、評価学習用画像と前記凹凸に関する評価値との関係を学習させた学習済モデルに提供することにより、前記学習済モデルから評価値を取得すること、を含む評価値取得方法が提供される。
【0007】
一実施形態によれば、前記第1仮画像および前記第2仮画像は、前記3次元座標データに基づいて生成される陰影図に基づいて得られ、前記第1条件および前記第2条件は、陰影図を生成するための光源方向を含み、前記第1条件における第1光源方向と前記第2条件における第2光源方向とが異なる、前記評価値取得方法が提供される。
【0008】
一実施態様によれば、前記第1光源方向と第2光源方向との角度は、45°の整数倍である、前記評価値取得方法が提供される。
【0009】
一実施態様によれば、前記第1光源方向と第2光源方向との角度は、90°の整数倍である、前記評価値取得方法が提供される。
【0010】
一実施態様によれば、前記評価用画像は、さらに第3~第8光源方向に基づいてそれぞれ生成された陰影図である第3~第8仮画像を合成して得られ、前記第1~第8光源方向は、互いに45°ずつ異なる、前記評価値取得方法が提供される。
【0011】
一実施態様によれば、前記第1仮画像および前記第2仮画像は、前記陰影図に基づいて生成された2値化画像を含む、前記評価値取得方法が提供される。
【0012】
一実施態様によれば、前記3次元座標データは数値標高モデル(DEM)を含む、前記評価値取得方法が提供される。
【0013】
一実施態様によれば、前記3次元座標データは、前記面において分割された少なくとも第1エリアと第2エリアとに対応して取得され、前記評価用画像は、前記第1エリアと前記第2エリアとに対応して得られ、前記学習済モデルは、前記第1エリアに対応する前記評価用画像が提供される学習済モデルと、前記第2エリアに対応する前記評価用画像が提供される学習済モデルとを含む前記評価値取得方法が提供される。
【0014】
一実施態様によれば、前記評価値は、第1評価項目に対応する評価値と、第2評価項目に対応する評価値とを含み、前記評価用画像は、前記第1評価項目と前記第2評価項目とに対応して得られ、前記学習済モデルは、前記第1評価項目に対応する前記評価用画像が提供される学習済モデルと、前記第2評価項目に対応する前記評価用画像が提供される学習済モデルとを含む、前記評価値取得方法が提供される。
【0015】
一実施態様によれば、前記3次元座標データを含む情報を測定機器から受信し、前記評価値を通信端末に送信すること前記評価値取得方法が提供される。
【0016】
一実施態様によれば、前記凹凸を有する面が切羽面である、前記評価値取得方法が提供される。
【0017】
一実施態様によれば、前記評価値取得方法をコンピュータに実行させるためのプログラムが提供される。
【0018】
一実施態様によれば、前記評価値取得方法を実行する評価取得装置が提供される。
【0019】
一実施態様によれば、凹凸を有する面に対応する3次元座標データから第1条件に基づいて生成された第1仮画像と第2条件に基づいて生成された第2仮画像とを少なくとも合成して得られる評価学習用画像と、前記凹凸に関する評価値と、の関係を学習させた学習済モデルを生成すること、を含む学習済モデル生成方法が提供される。
【発明の効果】
【0020】
本発明によれば、凹凸を有する面の状態につき、利用者にとって有用な評価データを提供することができる。
【図面の簡単な説明】
【0021】
図1】一実施形態における評価システムの構成を示すブロック図である。
図2】一実施形態における3次元座標データ取得装置の構成を示すブロック図である。
図3】一実施形態における通信端末の構成を示すブロック図である。
図4】トンネル採掘現場における切羽面について模式化された正面図である。
図5】一実施形態における管理データベースに記録されたデータを説明する図である。
図6】一実施形態における評価の流れを表すフロー図である。
図7】一実施形態における3次元座標データ取得装置の使用例である。
図8】一実施形態における切羽面からのDEMデータ生成の模式図である。
図9】一実施形態における切羽面上の割れ目の形態と、光源の方向による見え方の変化を表す模式図である。
図10】一実施形態における光源の方向による割れ目の陰影の変化を表す模式図である。
図11】一実施形態における陰影図から、白黒の2色のみで表した2値化画像を生成する例を表す模式図である。
図12】一実施形態における評価値取得機能を説明するフロー図である。
図13】一実施形態における3次元座標データ取得装置、通信端末及び評価サーバにおける評価値取得処理を示すフロー図である。
図14】一実施形態における評価入力画面を説明する図である。
図15】一実施形態における教師データ生成処理を示すフロー図である。
図16】一実施形態における教師データセットを説明する図である。
図17】一実施形態における学習済モデル生成処理を示すフロー図である。
【発明を実施するための形態】
【0022】
初めに、本発明の一実施形態について、評価値取得の流れを簡単に説明する。前述のとおり、本発明の一実施形態は、凹凸を有する面の(以下凹凸面とする)所定の項目について利用者が、評価する際の参考となる評価値を提供するものである。利用者は、初めに評価したい凹凸面について3次元座標データを取得する。次に3次元座標データを視覚化するために仮画像に変換する。その際、仮画像は所定の第1条件、第2条件といった複数の条件に基づき生成される。生成させた仮画像を合成して評価用画像を生成させる。その評価画像を所定の評価モデルに提供することで評価値を算出し、利用者の参考データとして用いる、というものである。
【0023】
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号を付し、その繰り返しの説明は省略する場合がある。
【0024】
[1.評価システム]
図1は、一実施形態における評価システムの構成を示すブロック図である。一実施形態における評価システム1000は、インターネットなどのネットワークNWに接続された評価サーバ1およびモデル生成サーバ3を含む。通信端末8は、スマートフォン、タブレットパソコン、ラップトップパソコンおよびデスクトップパソコンなどであり、ネットワークNWに接続して他の装置とデータ通信を行う。3次元座標データ取得装置7は凹凸面を測定する装置である。
【0025】
評価サーバ1は、ネットワークNWに接続して通信端末8を介して3次元座標データを受信することができる。評価サーバ1は、機械学習によって得られた学習済モデルを用いて、3次元座標データ取得装置7により取得された3次元座標データに基づき、評価用画像を生成し、生成された評価用画像に対応する評価値を出力する。学習済モデルの詳細については後述する。モデル生成サーバ3は、教師データを用いた機械学習によって、評価サーバ1において使用される学習済モデルを生成する。
【0026】
本明細書において「3次元座標データ」とは、凹凸面の座標データであり画像データなどの形式で視覚化されていないデータのことを示す。特に、3次元座標データ取得装置7により取得された3次元点群データとDEM(Digital Elevation Model)形式に変換した後のDEMデータを合わせて「3次元座標データ」と呼び、区別のために前者を3次元点群データ、後者をDEMデータと呼ぶこととする。
【0027】
[1-1.3次元座標データ取得装置]
3次元座標データ取得装置7は、本発明において測定対象となる凹凸面の3次元座標データを取得する装置であり、パターン光投影法又はレーザー切断方式などの手法を用いた公知の3Dスキャナー、或いはLiDAR(Light Detection and Ranging)などの技術を用いることができるが、3次元座標データが直接取得できれば、これに限られるものではない。
【0028】
3次元座標データ取得装置7は、有線若しくはBLUETOOTH(登録商標)などの無線にて通信端末と接続され、通信端末8とデータの授受ができる。
【0029】
図2は一実施形態における3次元座標データ取得装置7の構成を示すブロック図である。3次元座標データ取得装置は、制御部71、表示部72、操作部73、記憶部75、通信部77及びセンサ部78を含む。3次元座標データ取得装置7は、これらの構成のすべてを含むものに限定されない。
【0030】
制御部71は、CPUなどのプロセッサおよびRAM等の記憶装置を備えるコンピュータの一例である。制御部71は、CPUを用いて記憶部75に記憶されたプログラムを実行することによって、プログラムに記述された命令に従った処理を行う。記憶部75に記憶されたプログラムは、例えば、後述する3次元座標データ生成及び通信端末8との間のデータ授受に関する入出力処理などが含まれる。
【0031】
表示部72は、制御部71の制御に応じて、様々な画面を表示する表示領域を有するディスプレイである。表示部72は、例えば、液晶ディスプレイまたは有機ELディスプレイ等の表示装置である。表示部72に表示される画面は、主に3次元座標データ取得装置7の操作に係る選択入力画面を含む。操作部73は、ユーザの操作に応じた信号を制御部71に出力する操作装置である。操作部73は、例えば表示部72の表面に配置されたタッチセンサであってよい。操作部73がタッチパネルである場合には、表示部72と組み合わせることによってタッチパネルを構成する。ユーザの指またはスタイラスペン等で操作部73に接触することによって、ユーザの操作に応じた命令または情報が3次元座標データ取得装置7へ入力される。操作部74は、3次元座標データ取得装置7の筐体に配置されたスイッチを含んでもよい。
【0032】
通信部77は通信モジュールを含み、ネットワークに接続して又は有線若しくは無線通信にて、通信端末8とデータ通信又は通信端末8による遠隔操作を行う。
【0033】
センサ部78は、測定対象となる凹凸面の3次元座標データを取得する。例えば、3次元座標データ取得装置7がLiDARの場合には、図示しないレーザー発振部から照射されたパルス光が測定対象である面に当たり跳ね返ってくる光を検知する。この場合、レーザー発振と検知した跳ね返り光の時間差に基づき、制御部71でxyz座標を計算し、3次元点群データを生成することができる。
【0034】
記憶部75に記憶されたプログラムは、例えば、通信端末8との間のデータ授受に関する入出力処理を実行するための入出力プログラム755、センサ部78で取得したデータに基づき実際の3次元座標データを生成する3次元座標データ生成プログラム756が含まれる。記憶部75は、例えば取得した3次元座標データを一時的に記録してもよい。入出力プログラム755及び3次元座標データ生成プログラム756は、コンピュータにより実行可能であればよい。入出力プログラム755及び3次元座標データ生成プログラム756は、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶された状態で3次元座標データ取得装置7に提供されてもよい。この場合には、3次元座標データ取得装置7は、記録媒体を読み取る装置を備えていてもよい。入出力プログラム755は、通信部77を用いてダウンロードすることによって提供されてもよい。
【0035】
[1-2.通信端末]
図3は、一実施形態における通信端末の構成を示すブロック図である。通信端末8は、制御部81、表示部83、操作部84、記憶部85及び通信部87を含む。通信端末8は、これらの構成のすべてを含むものに限定されない。通信端末8は、マイクロフォン、スピーカなど他の構成を含んでもよい。
【0036】
制御部81は、CPUなどのプロセッサおよびRAM等の記憶装置を備えるコンピュータの一例である。制御部81は、CPUを用いて記憶部85に記憶されたプログラムを実行することによって、プログラムに記述された命令にしたがった処理を行う。記憶部85に記憶されたプログラムは、例えば、後述する評価値取得処理およびモデル生成処理と連携した入出力処理が含まれる。
【0037】
表示部83は、制御部81の制御に応じて、様々な画面を表示する表示領域を有するディスプレイである。表示部83は、例えば、液晶ディスプレイまたは有機ELディスプレイ等の表示装置である。表示部83に表示される画面は、後述する評価入力画面を含む。操作部84は、ユーザの操作に応じた信号を制御部81に出力する操作装置である。操作部84は、例えば、表示部83の表面に配置されたタッチセンサである。操作部84は、表示部83と組み合わせることによってタッチパネルを構成する。ユーザの指またはスタイラスペン等で操作部84に接触することによって、ユーザの操作に応じた命令または情報が通信端末8へ入力される。操作部84は、通信端末8の筐体に配置されたスイッチを含んでもよい。
【0038】
通信部87は、通信モジュールを含み、ネットワークNWに接続して、他の装置とデータ通信を行う。
【0039】
記憶部85に記憶されたプログラムは、例えば、後述する評価値取得処理およびモデル生成処理に関する処理を実行するための入出力プログラム855が含まれる。
【0040】
記憶部85は、通信端末8において用いられるその他のデータ(例えば、評価用画像データを含む)を記憶してもよい。入出力プログラム855は、コンピュータにより実行可能であればよい。入出力プログラム855は、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶された状態で通信端末8に提供されてもよい。この場合には、通信端末8は、記録媒体を読み取る装置を備えていてもよい。入出力プログラム855は、通信部87を用いてダウンロードすることによって提供されてもよい。
【0041】
[1-3.評価サーバ]
図1に戻り説明する。評価サーバ1は、制御部11、記憶部15および通信部17を含む。制御部11は、CPU(Central Processing Unit)などのプロセッサおよびRAM等の記憶装置を備えるコンピュータの一例である。制御部11は、CPUを用いて記憶部15に記憶されたプログラムを実行することによって、プログラムに記述された命令にしたがった処理を行う。記憶部15に記憶されたプログラムは、評価値取得処理を実行するための評価プログラム155を含み、評価サーバ1は、所定の評価項目についての評価値取得方法を実行する評価値取得装置としても機能する。通信部17は、通信モジュールを含み、ネットワークNWに接続して、他の装置とデータ通信を行う。
【0042】
記憶部15は、不揮発性メモリなどの記憶装置を含む。記憶部15は、学習済モデル50、評価プログラム155、評価用画像生成プログラム156および管理データベース157を記憶する。記憶部15は、評価サーバ1において用いられるその他のデータを記憶してもよい。評価プログラム155及び評価用画像生成プログラム156は、コンピュータにより実行可能であればよい。評価プログラム155及び評価用画像生成プログラム156は、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶された状態で評価サーバ1に提供されてもよい。この場合には、評価サーバ1は、記録媒体を読み取る装置を備えていてもよい。評価プログラム155及び評価用画像生成プログラム156は、通信部17を用いてダウンロードすることによって提供されてもよい。
【0043】
学習済モデル50は、モデル生成サーバ3において教師データを用いた機械学習によって生成される。この例では、学習済モデル50は、評価モデル51を含む。評価モデル51は、一例では畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を利用したモデルである。評価モデル51は上記の機械学習手法を利用する場合に限らず、公知の様々な機械学習手法を利用することができ、複数の手法を組み合わせて利用することもできる。
【0044】
評価モデル51は、評価用画像を取得し、その評価用画像に対応する評価値を出力する。すなわち、評価モデル51は、評価用画像(予め取得された評価学習用画像)と評価値との関係を学習させたモデルである。評価用画像は、通信端末8から送信された3次元座標データに基づき制御部11で生成された評価用画像により得られる。学習済モデル50の詳細については、後述する。
【0045】
管理データベース157は、評価対象となる凹凸面の評価に関するデータを含む。管理データベース157に含まれるデータは、例えば、通信端末8から受信した3次元座標データ、生成された評価用画像及びそれらに対応する評価値を含む。管理データベース157に含まれるデータの詳細については、後述する。
【0046】
[1-4.モデル生成サーバ]
モデル生成サーバ3は、制御部31、記憶部35および通信部37を含む。制御部31は、CPUなどのプロセッサおよびRAM等の記憶装置を備えるコンピュータの一例である。制御部31は、CPUを用いて記憶部35に記憶されたプログラムを実行することによって、プログラムに記述された命令にしたがった処理を行う。記憶部35に記憶されたプログラムは、例えば、後述するモデル生成処理を実行するためのモデル生成プログラム355が含まれる。すなわち、モデル生成サーバ3は、所定の学習済モデル生成方法を実行する学習済モデル生成装置としても機能する。通信部37は、通信モジュールを含み、ネットワークNWに接続して、他の装置とデータ通信を行う。
【0047】
記憶部35は、不揮発性メモリなどの記憶装置を含む。記憶部35は、教師データセット60およびモデル生成プログラム355を記憶する。記憶部35は、モデル生成サーバ3において用いられるその他のデータを記憶してもよい。モデル生成プログラム355は、コンピュータにより実行可能であればよい。モデル生成プログラム355は、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶された状態でモデル生成プログラム355に提供されてもよい。この場合には、モデル生成サーバ3は、記録媒体を読み取る装置を備えていてもよい。モデル生成プログラム355は、通信部37を用いてダウンロードすることによって提供されてもよい。
【0048】
教師データセット60は、評価学習用画像を示すデータと評価値を示すデータとが関連付けられたデータであり、学習済モデル50を生成するときに用いられる。教師データセット60の詳細については後述する。
【0049】
[2.管理データベース]
続いて、管理データベース157について説明する。
【0050】
図4は、一実施形態における凹凸面について模式化された正面図であり、トンネル採掘現場における切羽面をイメージしている。図4は、評価エリア区分を図示したものであり、切羽面の場合はa~cの三分割で評価することが一般的である。3次元座標データを取得する場合、切羽面全体についてデータを取得するが、切羽面全体の形状などを判断する際には評価項目などによってはエリアを分割して判断したほうが的確な判断ができる場合がある。そのような場合は、一旦データをエリアごとに分割してから、エリアごとに評価用画像生成を行う。その際、各エリアに対応した画像データ及び評価値には、a~cの識別子が付される。
【0051】
図5は、上記実施形態における管理データベースに記録されたデータを説明する図である。管理データベース157は、評価エリアと評価エリアに対する評価とを関連付けたデータを含む。一実施形態におけるトンネル採掘現場における切羽面では、評価データは、トンネルの識別情報(例えばトンネル名称や整理番号)とトンネル内の測定位置(図4に示す例では、測定位置:a~cの各ブロック)とに関連付けられている。なお、エリアの分割態様は特に限定されるものではなく、評価項目などに応じて変動させることもできる。
【0052】
評価値については、1つの評価項目に対する評価値(例えば「割れ目」)のみを含んでいてもよいし、複数の評価項目(例えば「割れ目、「風化」などのそれぞれに対する評価値)、又は複数の評価項目に対応する評価値に基づく切羽面状態の総合的評価値を含んでいてもよい。
【0053】
また、各評価項目に対応した複数の学習済モデル50が設けられてもよいし、例えば凹凸の評価に関する複数の評価項目についてまとめて対応する学習済モデル50が設けられてもよい。
【0054】
なお、切羽面の場合、現場評価者が用いる評価項目としては「切羽の状態」「素掘り面の状態」「圧縮強度」「風化変質」「割れ目間隔」「割れ目状態」「走向傾斜」「湧水量」「劣化」などが用いられている。本実施形態においては、評価項目として「割れ目」について評価する場合について説明するが、これは現場評価者が用いる細分化された評価項目に関する評価をベースに、「割れ目」に関する評価を総合的に判断したものに相当する。
【0055】
通信端末8を介し評価サーバ1に送信される切羽面の3次元座標データは、各評価エリアの区分領域に対応して、3次元座標データ測定装置7において取得されたデータに対応する。以下の説明では、図5に示すように、撮影されたエリア区分に対応して、評価用画像EG(Ea)といった形式で表す。Eaは評価エリアを示す。例えば、エリアcを撮影した画像は、評価用画像EG(c)として表される。
【0056】
3次元座標データの取得は、必ずしも被評価面全体について取得しなくともよい。例えば特定のエリアcの評価だけが必要な場合は、3次元座標データ取得装置7にてエリアcを含むデータを取得し、画像生成の前後の任意のタイミングで、エリアcに関する部分だけ切り出して用いればよい。
【0057】
[3.評価用画像生成機能]
次に、3次元座標データから評価用画像を生成する工程について、一実施形態として切羽面に生じている「割れ目」を評価するための評価用画像を例に説明する。
【0058】
初めに評価画像の生成と 評価の流れについて、一実施態様を図6のフロー図を用いて簡単に説明する。最初に、凹凸を有する面(以下、凹凸面とする)の3次元点群データを3次元座標データ取得装置により取得する(ステップS001)。取得した3次元点群データが評価したいエリア以外の部分をも含む場合は、評価する対象エリアについてデータの切り出しを行う(ステップS002)。得られた3次元点群データをDEM形式に変換する(ステップS003)。
【0059】
得られたDEMデータから仮画像を生成して視覚化する。一実施態様において仮画像は、例えばDEMデータを第1の条件、第2の条件、第3の条件などに対応する第1光源方向、第2光源方向、第3の光源方向などに基づく別々の陰影図を生成する(ステップS004)。生成したそれぞれの陰影図を、輝度などを閾値として生成した2値化画像からなる仮画像を生成する。これを例えば第1仮画像、第2仮画像、第3仮画像などとする(ステップS005)。これら複数の仮画像を合成し、学習済みモデルで評価できる所定のフォーマットに変換された評価用画像を生成し(ステップS006)、これを学習済みモデルで評価する(ステップS007)。ここで所定のフォーマットとは、評価用画像の形状や縦横のピクセル数などを意味する。以下、詳しく説明する。
【0060】
評価用画像生成機能は、評価サーバ1の制御部11が評価用画像生成プログラム156を実行することによって実現される。
【0061】
前述のように、本発明は、切羽面における「割れ目」のような凹凸部位について、2次元の画像などからでは特徴が認識しにくい対象物について、3次元座標データを取得しその特徴を明確に把握し、3次元座標データによる情報を生かした評価用画像を生成して評価するものである。その画像化の態様は制限されるものではない。
【0062】
図7は、3次元座標データ取得装置7の使用例であり、LiDARなどを用いて例えばトンネル採掘工事現場における切羽面の状態を評価するための3次元点群データを取得する方法を図示している。ここで、データ取得対象となる切羽面は奥の半円状の領域となる。3次元座標データ取得装置7を切羽面に対して垂直向きに配置することにより、図7における切羽面の奥行方向をx軸、左右方向をy軸、上下方向をz軸として示すことができる。3次元座標データ取得装置7が取得するデータの取得できる範囲(角度)を破線Yで示しており、切羽面以外の外壁もデータとして取得する。そのため制御部71では、点群データから切羽面を切り出す処理が行われる。
【0063】
3次元座標データ取得装置7は、測定時に三脚などを用いて固定された状態で撮影場所に設置されてもよく、測定者が手で持ちながら測定してもよい。また、3次元座標データ取得装置7は1台でデータを取得してもよく、間隔を空けて複数台で同じ面のデータを取得し、後にデータを合成して使用してもよい。
【0064】
切羽面の場合、面上に生じた「割れ目」を評価するにあたり、3次元座標データを視覚化可能とするため第1条件に相当する第1光源位置に基づく陰影図、及び第2条件に相当する第2光源位置に基づく陰影図といった複数の陰影図を生成し、それらを2値化することでそれぞれ第1仮画像、第2仮画像といった異なる仮画像を生成し、それらを合成したものを評価用画像として使用できる。以下、評価用画像の生成について説明する。
【0065】
通常、3次元座標データから陰影図を生成するためには、3次元座標データ取得装置7で取得した3次元点群データからDEMデータを生成することとなる。
【0066】
図8は切羽面YからのDEMデータ生成の模式図である。図8中、SL(スプリングライン)の上側だけが評価の対象となるため、切羽面801のSL上の部分だけ切り出して使用する。
【0067】
DEMデータとは、被評価面(切羽面)を等間隔の多数の長方形や正方形などからなるメッシュで分割し、それぞれに標高値を持たせたデータである。この標高値は図7におけるx方向の座標に相当する。
【0068】
図右側の802は1つのメッシュの拡大図であり、1つのメッシュに複数の3次元点群データの点803が含まれることを表す。このようにこれらメッシュ内に複数の3次元点群データが存在する場合には、それらの平均値、最高値又は最低値などを標高値(x座標)として代表させることができる。代表値の選択は評価項目ごとに適宜選択してもよい。なお、y座標及びz座標はメッシュの中心座標を代表値とすることができる。なお、メッシュ内に切羽面801とその外縁部との境界804がある場合、境界の外部の3次元点群データは使用しなくともよい。
【0069】
メッシュの数は任意に定めることができ、例えば評価項目や、それに対応する後述する学習済モデルによって別々に定めてもよい。例えば3次元点群データからDEMデータを生成する際に測定領域を区分けするメッシュの形状は、正方形に限られない。測定者は凹凸面の状況や画像生成の便宜から最適な形状を選択することができる。
【0070】
ここで、本実施態様において「割れ目」のような細かい形態を反映させたい場合、x座標値を補正して「割れ目」に起因する凹凸を判断しやすいデータに改変できる。例えば切羽面などにおいて割れ目の凹凸差に比べ、切羽面全体の湾曲程度が相対的に大きい場合は、湾曲分を一定の法則に基づき補正し、平面に近い状態に改変したDEMデータを用い後述の陰影図を生成することもできる。
【0071】
次に、得られたDEMデータを用いて陰影図を生成する。陰影図は立体的な地図生成に使用されている手法である、DEMデータから生成される凹凸を視覚化する際に、所定の位置から光を当てた場合の影を付けることで、凹凸面の状態を視覚的に把握しやすい図とすることができる。しかし、光の照射方向に平行する線形構造が捉えにくいこと、陰になる部分の地形が不明瞭になるという欠点がある。このため線形構造や凹凸の変化を的確に把握するためには、複数の位置からの光源を想定した多くの画像を利用することが好ましい。
【0072】
本明細書中では、3次元座標データから、例えば第1の条件、第2の条件などのように、2以上の条件に基づいてそれぞれ仮画像を生成することが好ましい。一実施形態において、前記第1、第2などの条件は、陰影図を生成する際の光源の位置を構成する「高さ」及び「方向」とすることができる(この場合、第1方向、第2方向などとする)。切羽面の陰影図における光源の高さとは、光源が切羽面に対して垂直な角度から入射する場合を90°とし、切羽面の延長面から入射する場合を0°として0~90°で表す。また光源の方向とは、切羽面に向かって真上(図7におけるz軸の正方向)から光線を入射させる場合を0°とし、右回りに0~360°で設定するものとする。
【0073】
図9は、切羽面上の割れ目901の形態(深さ、広さ)と、光源902の向きによる見え方の変化を表す模式図である。図9の左上側図と右上側図は光を当てた際の正面図であり、割れ目に対して直情の方向から見た図となる。それぞれの中心部の黒色の領域は割れ目に生じる影を表している。左下側図及び右下側図は断面形状と光源の位置を表している。ここで光源の高さは45°に固定した。図9の左上下側図と右上下側図の割れ目の断面形状は同じであるが、光源の向きが180°変化すると、生じる影は異なるものとなることがわかる(左下図では暗部903と明部904が生じているが、右下図では暗部のみとなっている)。また本図では図示しないが、割れ目内に突起や二次的な割れ目が形成されている場合は、例えばデジタルカメラなどにより正面から撮影した画像では状態が分かりにくく、陰影図のほうが形状を的確に把握できる。
【0074】
図10は、図9とは別の形状の割れ目につき、光源の高さを45°に固定して、向きを45°ごとに8通りの方向、すなわち第1~8の条件における陰影の変化を表す模式図である。周囲の8種の図の上部に記載されている数字は、光源の向きを示す角度である。割れ目は上下方向の直線形状で、断面は45°の角度で切れ目が入っている(中央の正面図及び断面図参照)。図から明らかなように、実際に影が生じているのは225°、270°、315°の場合の3通りであり、他の方向については影を生じない。
【0075】
このように、様々な向きを有する割れ目の状態を網羅的に把握するためには、好ましくは90°ごとに4方向、より好ましくは45°ごとに8方向の光源(第1~第8の条件)を使用する。このように、光源の方向を変化させることにより陰影の形状は大きく変化し、これらを総合して判断することにより割れ目の深さ、形状を的確に把握することが可能となる。
【0076】
図11は、図10の陰影図から白黒の2色のみで表した2値化画像を生成する例を表している。2値化画像とは、陰影図における輝度などのパラメータに一定の閾値を設け、閾値を上回る領域を白色、それ以外を黒色などの2色で表した図である。一般的には陰影図の輝度は0~255の範囲で設定され、黒色が0、白色が255となる。ここで例えば閾値を50と設定した場合、輝度が50以上となる領域を白色、50未満を黒色で表現した図となる。同じ割れ目を表す図であっても、光源の方向により見え方が異なることがわかる。図11の場合、これら8種の2値化画像が第1~第8の仮画像となる。なお、閾値は全ての仮画像で同じにする必要はなく、光源の方向により適宜変更してもよい。
【0077】
一実施形態においては、第1~第8条件に基づき生成された仮画像を合成し評価用画像を生成する。図11では中央の合成画像が評価用画像に該当する。この場合の合成処理は第1~第8仮画像における黒色部分のみをすべての画像で足し合わせたものである。この評価用画像を学習済モデルに提供することにより、割れ目の状態につき評価値を出力することができる。
【0078】
上記仮画像を生成する際の条件、及び仮画像から評価用画像を合成する際の条件は、各エリアで異なるものとすることができる。すなわち前記3次元座標データは、切羽面において分割された少なくとも第1エリア、第2エリア、第3エリアなどに対応して取得され、前記評価用画像も第1エリア、第2エリア、第3エリアなどに対応して生成することができる。その場合、学習済モデルは、第1エリアに対応する評価用画像が提供される学習済モデルと、第2エリアに対応する評価用画像が提供される学習済モデル50とを含むことができる。
【0079】
また評価の対象となる評価用画像(2値化画像)はエリアごとに単一である必要はなく、素材となる陰影図の条件、又は2値化画像生成時の閾値の設定を異なるものとした複数の2値化画像を評価用画像とし、「割れ目」などの状態を評価してもよい。この場合、複数の2値化画像からなる評価用画像に基づき1つの評価値を算出するための学習済モデルを使用することとなる。
【0080】
なお学習モデルに提供できる評価用画像には、所定のフォーマットが規定されることがあり、例えば、評価用画像の全体の形状(例えば矩形など)、DEMデータのメッシュ数に基づく縦横のピクセル数などについて予め定めることができる。かかる場合、評価用画像生成の工程において、評価用画像を当該フォーマットに合わせる工程が必要となる。そのため2値化画像においては全体形状を矩形とするためにDEMデータの時点でメッシュのかかっていなかった領域は白のデータで埋める、又はピクセル数を合わせるために縦横方向の拡大縮小を行う、などの調整を行うことができる。
【0081】
[4.評価値取得機能]
評価値取得機能について説明する。評価値取得機能は、評価サーバ1の制御部11が評価プログラム155を実行することによって実現される。以下に説明する評価値取得機能を実現するための構成の一部または全部がハードウエアによって実現されてもよい。
【0082】
評価サーバ1は、通信端末8から3次元座標データが送信されると、評価対象エリアを示す情報と関連付けて、管理データベース157に記録する。そして制御部11にて評価用画像が生成され、生成した評価用画像はエリア情報と関連付けられ管理データベースに記録される。例えば、エリアaが関連付けられた評価用画像に係るデータは、EG(a)として管理データベース157に記録される。ここで、対象となる測定エリアに係る情報などは、予め3次元座標データ測定装置7で付加された情報などを評価サーバ1において受信することによって設定されている。
【0083】
管理データベース157に評価用画像EGのデータが記録されると、評価値取得機能は、学習済モデル50を用いて、その評価用画像EGに対応する評価値ESを算出する。以下、評価値取得機能について説明する。
【0084】
図12は、一実施形態における評価値取得機能を説明する図である。評価値取得機能は、評価用画像取得部101および学習済モデル50によって実現される。評価用画像取得部101は、管理データベース157に記録された評価用画像データ(この場合、EG(a)~EG(c))を取得する。取得された評価用画像EG(a)~EG(c)は、学習済モデル50に提供される。
【0085】
学習済モデル50は、提供された評価用画像の評価値(評価値)ES(a)~ES(c)を出力する。評価値ESは、例えば、5段階(1~5)で規定され、値が小さいほど良い評価を示す。
【0086】
このようにして、評価値取得機能100は、学習済モデル50を用いて、評価値ES(a)~ES(c)を取得する。取得した評価値ES(a)~ES(c)ESは、管理データベース157に記録される。
【0087】
続いて、通信端末8における入出力処理によって連携される評価値取得処理の流れについて説明する。
【0088】
図13は一実施形態における3次元座標データ取得装置7と、通信端末8と、評価サーバ1とにおける評価値取得処理を示すフロー図である。3次元座標データ取得装置7において切羽面の3次元座標データ取得処理が行われる。データ取得処理はデータ取得者がLiDARなどにより切羽面の3次元座標データを取得することにより、切羽面の3次元座標データ取得する処理である(3次元座標データ取得処理:ステップS101)。取得された3次元座標データはネットワーク、又は有線若しくは無線の通信手段により通信端末に送られ(ステップS102)、さらに通信端末から評価サーバ1へ送信される。(ステップS103)
【0089】
評価サーバにおいて、3次元座標データにエリアを識別する情報が付加される(ステップ104)。
【0090】
評価サーバ1は、通信端末8から受信した3次元座標データを管理データベース157に記録する。
【0091】
評価サーバ1は、前述のように、評価用画像生成プログラム156により、制御部11にて評価用画像を生成する(評価用画像生成:ステップS105)。評価サーバ1は、生成した評価用画像を評価モデル51に提供し、評価値ESを取得し(エリア評価処理:ステップS106)、管理データベース157に記録する。
【0092】
評価サーバ1は、評価値ESを通信端末8に送信する(ステップS107)。通信端末8は、受信した評価値ESを用いて、評価結果を評価入力画面に表示する(評価結果表示:ステップS108)。
【0093】
通信端末8の表示部83に表示される評価入力画面について説明する。図14は、一実施形態における評価入力画面を説明する図である。図14に示すように、評価入力画面には、評価値表示領域DA、複数の項目切り替えボタンSB、画像確認ボタンCBおよびデータ送信ボタンTBが表示される。評価値表示領域DAは、評価エリア(図14における「エリア」)に対応して評価値ES(図14における「AI評価値」)を表示する領域を含む。ここで表示される評価値ESは、項目切替ボタンSBを操作することによって、対象の評価項目の評価値に切り替えて表示される。図14の例では、「割れ目」のボタンが強調表示されることで、「割れ目」の評価項目に対応する評価値ASが表示されていることを示す。
【0094】
ユーザ評価の領域には、ユーザが目視で切羽を観察し、又は評価項目として定められている「切羽の状態」「素掘り面の状態」「圧縮強度」「風化変質」「割れ目の間隔」「割れ目の形態」「割れ目の頻度」「走向傾斜」「湧水量」「劣化」などの個別判断に基づき、「割れ目」の状態を総合的に判断した評価結果を入力できるようになっている。目視評価の領域を操作すると、数値選択ボックスNBが表示される。数値選択ボックスNBのうちユーザの操作により指定された数値が、目視評価として入力される。このとき、ユーザが画像確認ボタンCBを操作することにより、その評価に関連する評価エリアの画像を評価サーバ1から取得して、評価入力画面に表示することができる。なお、ここで表示される画像は、その画像に基づいて割れ目の状態を評価するものではなく、あくまでエリアの分類を視覚的に判別しやすくするためのものであるので、デジタルカメラなどによる写真でもよいし、概略を示した図でもよい。
【0095】
このとき、ユーザは、AI評価値の領域を確認することで、評価サーバ1における評価を参考にすることができる。例えば、客観的な評価であるAI評価値に対して、ユーザの評価が大きく離れる場合には、ユーザは注意深く再度評価をすることもできる。ユーザがデータ送信ボタンTBを操作すると、通信端末8は目視評価の領域に入力された評価値をユーザ評価値USとして評価サーバ1に送信する。評価サーバ1は、通信端末8から受信したユーザ評価値を管理データベース157に記録する。このようにして管理データベース157に記録された情報は、様々な通信端末8において取得して表示させることができる。
【0096】
[5.モデル生成処理]
続いて、通信端末8における入出力処理によって連携されるモデル生成サーバ3におけるモデル生成処理の流れについて説明する。モデル生成処理は、教師データ生成処理と学習済モデル生成処理とを含む。教師データ生成処理は、学習済モデル50を生成するための教師データセット60を生成する処理である。この処理によって、教師データセット60が蓄積される。学習済モデル生成処理は、蓄積された教師データセット60を用いて、学習済モデル50における評価モデル51を生成するための処理である。
【0097】
[5-1.教師データ生成処理]
図15は、一実施形態における通信端末8、評価サーバ1、及びモデル生成サーバ3における教師データ生成処理を示すフロー図である。モデル生成サーバ3は、評価サーバ1において生成し管理データベースに蓄積されている評価用画像EGを取得し(評価用画像取得:ステップS301)教師データセット60に記録する。教師データセット60の詳細については後述する。
【0098】
モデル生成サーバ3は、評価用画像EGを通信端末8に送信する(ステップS302)。通信端末8は、表示部83に評価用画像などを表示し、各評価用画像に対する評価値を入力するための領域を表示する。ユーザは、評価用画像のそれぞれに対して、切羽面の目視観察又は予め設定されている評価項目に基づく判断による評価値を入力する(評価入力処理:ステップS303)。通信端末8は、入力された評価値を評価用画像EGに対応する教師用評価値EStとしてモデル生成サーバ3に送信され、教師用評価値を取得する(ステップS304)。
【0099】
図16は、一実施形態における教師データセットを説明する図である。上述の教師データ生成処理によって生成される教師データセット60は、図16に示すように評価用画像EG、教師用評価値EStを含む。
【0100】
[5-2.学習済モデル生成処理]
図17は一実施形態における通信端末とモデル生成サーバとにおける学習済モデル生成処理を示すフロー図である。モデル生成サーバ3は、教師データセット60を読み出して、評価用画像EGと教師用評価値EStとの関係を学習させた評価モデル51を生成する。機械学習用のモデル(訓練モデル)は、評価モデル51と同じニューラルネットワークを用いた演算処理を行うモデルである。訓練モデルは、既に生成された評価モデル51を用いてもよい。
【0101】
モデル生成サーバ3は、例えば、訓練モデルに評価用画像EGを入力し、訓練モデルから出力された評価値(訓練モデルによる評価値出力処理:ステップS401)と教師用評価値EStとを用いて、誤差逆伝搬法による機械学習を実行する。この機械学習によって、訓練モデルのニューラルネットワークにおける重み係数を更新して評価モデル51を生成する(評価モデル生成処理:ステップS402)。生成した評価モデルは学習済モデルとして評価サーバに登録される(学習済モデル登録処理:ステップS403)
【0102】
[6.変形例]
本発明は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。実施形態の構成の一部および以下に説明する変形例の一部について、他の構成を追加・削除・置換してもよい。以下、変形例について説明する。
【0103】
(1)評価サーバ1における機能は、複数のサーバが協働して実現されてもよい。例えば、学習済モデル50が別のサーバにおいて記憶されていてもよい。モデル生成サーバ3における機能は、複数のサーバが協働して実現されてもよい。評価サーバ1とモデル生成サーバ3とは、1つのサーバによって実現されてもよい。
【0104】
(2)3次元座標データから仮画像及び評価用画像を生成する機能は、評価サーバ1の制御部11以外で行われてもよい。例えば、通信端末8の機能として評価用画像を生成してもよく、又はモデル生成サーバ内で生成してもよい。
【0105】
(3)モデル生成サーバ3は、ネットワークNWに接続されていないモデル生成端末であってもよい。この場合において、教師データセット60が通信端末8など他の端末で生成されるときには、記憶媒体を介してモデル生成端末に提供されてもよい。モデル生成端末において生成した学習済モデル50は、通信端末8など他の端末を介して、または記憶媒体を介して、学習済モデル50が記憶されるサーバ(例えば評価サーバ1)に対して提供されてもよい。
【0106】
(4)3次元座標データ取得装置7は通信端末8と別体である必要はなく、通信端末8自体の機能として3次元座標データ取得機能を有していてもよい。別体である場合、3次元座標データ取得装置7は、ネットワークにより又は有線若しくはBLUETOOTH(登録商標)などの無線にて通信端末と通信により接続され、又は通信端末とは接続されずにUSBメモリなどの記録媒体を介して、通信端末とデータの授受ができる。
【0107】
(5)3次元座標データに基づき生成される仮画像及び評価用画像としては、陰影図や2値化画像に限られない。白黒カラーなど別の色彩、傾斜量図など別の表現技法を、適宜選択することができる。この場合、例えば傾斜量の色彩への割り当て条件を適宜変更することにより、凹凸面の特徴を的確に表現できる評価画像を生成することができる。
【0108】
(6)一実施形態では、切羽面における割れ目の評価を、エリアa~cに分割したが、エリアの分割はこのような態様に限定されるものではなく、測定される凹凸面の形状に応じて任意に定めることができる。又はエリアごとに分割しなくともよい。また、各エリアを複数の分割エリアに細分化して、それぞれについて後述する評価値を算出し、それら複数の評価値を統合して1つの評価値としてもよい。複数の分割エリアに係る評価値と評価値との関係を学習させた学習済モデルにより評価値を取得してもよく、又は単に複数の分割エリアに係る評価値の平均値を評価値として採用してもよい。
【0109】
(7)一実施形態では、複数の仮画像から1つの評価用画像を生成し、その評価用画像を用いて評価値を出力したが、例えば評価用画像が1つだと適切な評価が難しい場合は、複数の評価用画像を生成し、それらに基づき全体の評価値を出力してもよい。その場合には、複数の評価用画像から評価値を算出する学習済モデルを用いてよい。
【0110】
(8)凹凸面に関し複数の評価項目について評価する場合は、それぞれの評価項目につき評価値、評価画像、学習済モデルを含んでよい。例えば、凹凸面に関し第1評価項目及び第2評価項目について評価する場合、評価値は、第1評価項目に対応する評価値と、第2評価項目に対応する評価値とを含み、評価用画像は、第1評価項目と第2評価項目とに対応して得られ、学習済モデルは、第1評価項目に対応する評価用画像が提供される学習済モデルと、第2評価項目に対応する評価用画像が提供される学習済モデルとを含むことができる。
【0111】
(9)評価用画像が凹凸面を複数のエリアに区切って生成される場合には、各エリアで同じ学習済みモデルを使用せず、異なる学習モデル済みを使用して評価してもよい。例えば、エリアごとに評価項目に係る状況が大きく異なる場合などには、評価の精度を上げるために異なる学習モデルを使用することができる。なお「異なる」とは、学習済モデル生成の際に使用する教師データが異なることを意味する。
【符号の説明】
【0112】
1:評価サーバ、3:モデル生成サーバ、7:3次元座標データ取得装置、8:通信端末、11:制御部、15:記憶部、17:通信部、155:評価プログラム、156:評価用画像生成プログラム、157:管理データベース、50:学習済モデル、51:評価モデル、31:制御部、35:記憶部、37:通信部、355:モデル生成プログラム、60:教師データセット、71:制御部、72:表示部、73:操作部、75:記憶部、77:通信部、78:センサ部、755:入出力プログラム、756:3次元座標データ生成プログラム、801:切羽面、802:メッシュ、803:3次元点群データ、804:境界線、81:制御部、83:表示部、84:操作部、85:記憶部、855:入出力プログラム、87:通信部、901:割れ目、902:光源、903:暗部、904:明部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17