特許 7580275 土質特性推定方法、学習済モデル生成方法、土質特性推定装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-31

(45)【発行日】2024-11-11

(54)【発明の名称】土質特性推定方法、学習済モデル生成方法、土質特性推定装置、およびプログラム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20241101BHJP

   G06T 7/00 20170101ALI20241101BHJP

【ＦＩ】

G06Q50/08

G06T7/00 350B

G06T7/00 P

【請求項の数】 13

(21)【出願番号】P 2021003642

(22)【出願日】2021-01-13

(65)【公開番号】P2022108568

(43)【公開日】2022-07-26

【審査請求日】2023-08-02

(73)【特許権者】

【識別番号】000166627

【氏名又は名称】五洋建設株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】熊谷 隆宏

(72)【発明者】

【氏名】石田 仁

(72)【発明者】

【氏名】秋本 哲平

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】国際公開第２０２０／２４１４１９（ＷＯ，Ａ１）

【文献】特開２０１９－１６７７５１（ＪＰ，Ａ）

【文献】特開２００５－２６３０７０（ＪＰ，Ａ）

【文献】特開２０２０－０５６２５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

建設作業の作業対象である地盤を撮影した画像を表す撮影データを取得するステップと、
前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを取得するステップと、
地盤を撮影した画像を表すデータと建設作業により発生する音および振動の少なくともいずれか一方を表すデータとを入力データとし、地盤の岩種、風化度合、凹凸度合、亀裂の有無、水分の有無および含有する水分量の少なくともいずれか一つを表すデータを出力データとして、当該入力データと当該出力データとの相関関係を機械学習させた学習済モデルに、前記撮影データ及び前記検出データを入力して得られる出力データを用いて、前記作業対象である地盤の岩種、風化度合、凹凸度合、亀裂の有無、水分の有無および含有する水分量の少なくともいずれか一つを推定するステップと、
を情報処理装置が実行する土質特性推定方法。

【請求項2】

前記情報処理装置がさらに
前記撮影データおよび前記検出データを前記学習済モデルに入力して得られる出力データと、当該撮影データおよび当該検出データに対応する位置情報とに基づいて、前記作業対象である地盤における土層および岩層の３次元の構成図を表すデータを生成するステップ、
を実行する請求項１に記載の土質特性推定方法。

【請求項3】

前記検出データは、前記建設作業により発生する音および振動の少なくともいずれか一方を表す時系列データをスペクトル分析した結果を示すデータである、
請求項１又は２に記載の土質特性推定方法。

【請求項4】

前記検出データは、前記時系列データをスペクトル分析した結果を表す画像データである、
請求項３に記載の土質特性推定方法。

【請求項5】

前記検出データを取得するステップは、前記建設作業において収録装置により収録された音または振動の所定の周波数帯を除去するステップを有し、前記所定の周波数帯を除去したデータを前記検出データとして取得する、
請求項１から４のいずれか１項に記載の土質特性推定方法。

【請求項6】

前記除去するステップにおいては、前記建設作業を行う作業機械の動作音または動作振動に対応する周波数帯を除去する周波数帯とする、
請求項５に記載の土質特性推定方法。

【請求項7】

前記建設作業を行う作業機械の動作に関する情報を表す動作データを取得するステップ、を更に備え、
前記推定するステップにおいては、前記撮影データ、前記検出データおよび前記動作データを前記学習済モデルに入力する、
請求項１から６のいずれか１項に記載の土質特性推定方法。

【請求項8】

建設作業の作業対象である地盤を撮影した画像を表す撮影データ、および、前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを含む第１データ、並びに、当該地盤の岩種、風化度合、凹凸度合、亀裂の有無、水分の有無および含有する水分量の少なくともいずれか一つを示す第２データを取得するステップと、
前記第１データを入力データとし、前記第２データを出力データとして、前記第１データと前記第２データとの相関関係を機械学習させた前記学習済モデルを生成するステップと、
を更に備える請求項１から７のいずれか１項に記載の土質特性推定方法。

【請求項9】

前記第１データおよび前記第２データを取得するステップにおいては、
前記撮影データの撮影タイミングを示す撮影時刻情報、および、前記撮影データに対応する撮影位置を示す撮影位置情報を取得するとともに、前記検出データの検出タイミングを示す検出時刻情報、および、前記検出データに対応する検出位置を示す検出位置情報を取得し、
前記撮影データと前記検出データとを前記撮影時刻情報と前記検出時刻情報および前記撮影位置情報と前記検出位置情報に基づき対応付ける、
請求項８に記載の土質特性推定方法。

【請求項10】

建設作業の作業対象である地盤を撮影した画像を表す撮影データ、および、前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを含む第１データ、並びに、当該地盤の岩種、風化度合、凹凸度合、亀裂の有無、水分の有無および含有する水分量の少なくともいずれか一つを示す第２データを取得するステップと、
前記第１データを入力データとし、前記第２データを出力データとして、前記第１データと前記第２データとの相関関係を機械学習させた学習済モデルを生成するステップと、
を情報処理装置が実行する学習済モデル生成方法。

【請求項11】

建設作業の作業対象である地盤を撮影した画像を表す撮影データを取得する第１取得部と、
前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを取得する第２取得部と、
地盤を撮影した画像を表すデータと建設作業により発生する音および振動の少なくともいずれか一方を表すデータとを入力データとし、地盤の岩種、風化度合、凹凸度合、亀裂の有無、水分の有無および含有する水分量の少なくともいずれか一つを表すデータを出力データとして、当該入力データと当該出力データとの相関関係を機械学習させた学習済モデルに、前記撮影データ及び前記検出データを入力して得られる出力データを用いて、前記作業対象である地盤の岩種、風化度合、凹凸度合、亀裂の有無、水分の有無および含有する水分量の少なくともいずれか一つを推定する推定部と、
を備える土質特性推定装置。

【請求項12】

前記推定部がさらに、
前記撮影データおよび前記検出データを前記学習済モデルに入力して得られる出力データと、当該撮影データおよび当該検出データに対応する位置情報とに基づいて、前記作業対象である地盤における土層および岩層の３次元の構成図を表すデータを生成する
請求項１１に記載の土質特性推定装置。

【請求項13】

請求項１１に記載の土質特性推定装置としてコンピュータを機能させるためのプログラムであって、前記第１取得部、前記第２取得部および前記推定部としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、土質特性を推定する技術に関する。

【背景技術】

【0002】

地盤や岩盤の掘削工事または盛土工事等の土木工事において、作業位置における土質および岩種の判定が行われている。土質および岩種の判定方法として、従来では、事前のボーリング調査結果、地盤の表面の外観、並びに、ポータブルコーン貫入試験器または土壌硬度計により得られる強度および硬度の情報等に基づき判定する方法が用いられている。

【0003】

また、特許文献１には、地表の物質の領域に関する情報を含む２次元画像のデータを取得し、取得した２次元画像のデータを用いて、指定された地域および期間内の地面の材質を分類するシステムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２２００５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、従来の手法では、地面の材質を分類することができるものの、土質および岩種等の土質材料の特性をより精度よく推定するとの観点において改善の余地がある。

【0006】

本発明の一態様は、上記問題点に鑑みたものである。本発明の一態様は、地盤の土質特性をより精度よく推定することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る土質特性推定方法は、建設作業の作業対象である地盤を撮影した画像を表す撮影データを取得するステップと、前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを取得するステップと、前記撮影データおよび前記検出データを、機械学習により構築された学習済モデルに入力して得られる出力データを用いて、前記地盤の土質特性を推定するステップと、を情報処理装置が実行する。

【0008】

上記の構成によれば、情報処理装置は、撮影データおよび検出データを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【0009】

上記土質特性推定方法において、前記検出データは、前記建設作業により発生する音および振動の少なくともいずれか一方を表す時系列データをスペクトル分析した結果を示すデータであってもよい。

【0010】

上記の構成によれば、情報処理装置は、音および／または振動を表す時系列データをスペクトル分析した結果を示すデータを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【0011】

上記土質特性推定方法において、前記検出データは、前記時系列データをスペクトル分析した結果を表す画像データであってもよい。

【0012】

上記の構成によれば、情報処理装置は、音および／または振動を表す時系列データをスペクトル分析した結果を表す画像データを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【0013】

上記土質特性推定方法において、前記検出データを取得するステップは、前記建設作業において収録装置により収録された音または振動の所定の周波数帯を除去するステップを有し、前記所定の周波数帯を除去したデータを前記検出データとして取得してもよい。

【0014】

上記の構成によれば、情報処理装置は、建設作業において発生する不要な音または振動の周波数帯を除去した検出データを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【0015】

上記土質特性推定方法において、前記除去するステップにおいては、前記建設作業を行う作業機械の動作音または動作振動に対応する周波数帯を除去する周波数帯としてもよい。

【0016】

上記の構成によれば、情報処理装置は、建設作業を行う作業機械の動作音または動作振動に対応する周波数帯を除去した検出データを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【0017】

上記土質特性推定方法において、前記建設作業を行う作業機械の動作に関する情報を表す動作データを取得するステップ、を更に備え、前記推定するステップにおいては、前記撮影データ、前記検出データおよび前記動作データを前記学習済モデルに入力してもよい。

【0018】

上記の構成によれば、情報処理装置は、建設作業を行う作業機械の動作に関する情報を表す動作データを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【0019】

上記土質特性推定方法において、建設作業の作業対象である地盤を撮影した画像を表す撮影データ、および、前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを含む第１データ、並びに、前記地盤の土質材料の特性を示す第２データを取得するステップと、前記第１データと該第１データに対応する前記第２データとを用いて、前記第１データと前記第２データとの相関関係を機械学習させた前記学習済モデルを生成するステップと、を更に備えてもよい。

【0020】

上記の構成によれば、情報処理装置は、撮影データおよび検出データを含む第１データと、土質材料の特性を示す第２データとを用いて機械学習により学習済モデルを生成する。情報処理装置がこの学習済モデルを用いることにより、土質特性をより高い精度で推定することができる。

【0021】

上記土質特性推定方法において、前記第１データおよび前記第２データを取得するステップにおいては、前記撮影データの撮影タイミングを示す撮影時刻情報、および、前記撮影データに対応する撮影位置を示す撮影位置情報を取得するとともに、前記検出データの検出タイミングを示す検出時刻情報、および、前記検出データに対応する検出位置を示す検出位置情報を取得し、前記撮影データと前記検出データとを前記撮影時刻情報と前記検出時刻情報および前記撮影位置情報と前記検出位置情報に基づき対応付けてもよい。

【0022】

上記の構成によれば、情報処理装置は、時刻情報と位置情報とに基づき対応付けられた撮影データと検出データとを用いて学習済モデルを生成する。情報処理装置がこの学習済モデルを用いることにより、土質特性をより高い精度で推定することができる。

【0023】

また、本発明に係る学習済モデル生成方法は、建設作業の作業対象である地盤を撮影した画像を表す撮影データ、および、前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを含む第１データ、並びに、前記地盤の土質特性を示す第２データを取得するステップと、前記第１データと該第１データに対応する前記第２データとを用いて、前記第１データと前記第２データとの相関関係を機械学習させた学習済モデルを生成するステップと、を情報処理装置が実行する。

【0024】

上記の構成によれば、情報処理装置は、撮影データおよび検出データを含む第１データと、土質材料の特性を示す第２データとを用いて機械学習により学習済モデルを生成する。この学習済モデルが用いられることにより、土質特性をより高い精度で推定することができる。

【0025】

また、本発明に係る土質特性推定装置は、建設作業の作業対象である地盤を撮影した画像を表す撮影データを取得する第１取得部と、前記建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを取得する第２取得部と、前記撮影データおよび前記検出データを、機械学習により構築された学習済モデルに入力して得られる出力データを用いて、前記地盤の土質特性を推定する推定部と、を備える。

【0026】

上記の構成によれば、土質特性推定装置は、撮影データおよび検出データを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【0027】

また、本発明に係るプログラムは、前記土質特性推定装置としてコンピュータを機能させるためのプログラムであって、前記第１取得部、前記第２取得部および前記推定部としてコンピュータを機能させるためのプログラムである。

【0028】

上記の構成によれば、土質特性推定装置は、撮影データおよび検出データを学習済モデルに入力して得られる出力データを用いて、地盤の土質特性を推定する。これにより、土質特性をより高い精度で推定することができる。

【発明の効果】

【0029】

本発明の一態様によれば、地盤の土質特性をより精度よく推定することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態１に係る土質特性推定システムの概要を示す図である。

【図2】本発明の実施形態１に係る土質特性システムに含まれる各種装置の要部構成を示すブロック図である。

【図3】本発明の実施形態１に係る学習済モデルの一例を模式的に示した図である。

【図4】本発明の実施形態１に係る土質特性推定方法の流れを示すシーケンスチャートである。

【図5】本発明の実施形態１に係る撮影データの一例を示す図である。

【図6】本発明の実施形態１に係る検出データの表す波形の一例を示す図である。

【図7】スペクトル分析により変換された検出データの内容を例示する図である。

【図8】本発明の実施形態２に係る土質特性システムに含まれる各種装置の要部構成を示すブロック図である。

【図9】本発明の実施形態２に係る学習済モデル生成方法の流れを示すシーケンスチャートである。

【図10】本発明の実施形態３に係る土質特性推定方法の流れを示すシーケンスチャートである。

【発明を実施するための形態】

【0031】

〔実施形態１〕
≪システム概要≫
図１は、本実施形態に係る土質特性推定システム１の概要を示す図である。土質特性推定システム１は、建設作業の作業対象である地盤の土質特性を推定するシステムである。建設作業は、例えば掘削作業、切土作業、盛土作業、均し作業、締固め作業など、地盤や岩盤に何らかの変化をもたらす作業である。地盤は、建物や建造物などを支える基礎となる土地であり、地表面の岩盤を含む。

【0032】

地盤は、単一の土種または岩種の土質材料を敷き均した状態であってもよく、また、複数の層が積層した状態であってもよい。地盤は、一例として、土の上に砂利が敷かれた状態であってもよい。作業対象である地盤は、一例として、厚さ３０ｃｍごとの敷き均しまたは締め固め等の作業における新しい表層部を含む。

【0033】

地盤の土質特性は、地盤の特徴および／または性質をいう。地盤の土質特性は、一例として、地盤に含まれる土質材料の土質、岩種、強度、硬度、風化度合、凹凸度合、亀裂の有無、水分の有無、および／または含有する水分量（有水量）である。土質材料は、一例として、岩、土、砂、粘土、または砂利、小石等の岩材料を含む。土質特性は、専門家が種々の測定データを参照して判定することができる。本実施形態において「専門家」とは、地質学の専門家または地質技術者等、土質特性の判定を下す技能を有する者を示す。また、土質特性は、一例として、ポータブルコーン貫入試験器または土壌硬度計により計測される。

【0034】

土質特性推定システム１は、情報処理装置１０、測定装置２０、および作業機械３０を含む。情報処理装置１０と測定装置２０とは、通信路Ｎ１により互いに通信可能に接続される。

【0035】

作業機械３０は、建設作業を行う機械であり、一例として、バックホウ、ブルドーザー、ペイローダー、またはローラーである。作業機械３０が行う建設作業は、一例として、バックホウによる掘削作業、ペイローダー、ブルドーザーまたはローラーによる敷均しや締固め作業である。

【0036】

測定装置２０は、建設作業の作業対象である地盤に関する測定を行うための装置である。本実施形態において測定装置２０は、建設作業の作業対象である地盤を被写体とした撮影を行う。また、測定装置２０は、建設作業により発生する音および／または振動を表すデータを生成する。

【0037】

情報処理装置１０（土質特性推定装置の一例）は、学習済モデルを用いて地盤の土質材料を推定する装置である。ここで、学習済モデルは、地盤の撮影データおよび検出データと土質特性の判定結果との相関関係を機械学習させたモデルである。

【0038】

通信路Ｎ１は、無線通信および／または有線通信の伝送路であり、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。ただし、通信路Ｎ１の構成はこれらに限定されない。

【0039】

≪要部構成≫
（測定装置）
図２は、土質特性推定システム１に含まれる装置の要部構成を示すブロック図である。測定装置２０は、制御部２１、通信部２２、撮影部２３、検出部２４、光源２５および記憶部２６を備える。

【0040】

（撮影部）
撮影部２３は地盤を撮影する。撮影部２３は、一例として、地盤のステレオ画像、または三次元画像を生成するための画像を撮影するためのカメラであってもよい。「ステレオ画像」とは、異なる視点からの複数の単眼画像、または、複数の単眼画像群から生成される、立体視が可能な画像である。「三次元画像」とは、複数の単眼画像から生成される、三次元の立体画像である。また、撮影部２３は、一例として、地盤のスペクトル画像を生成するための画像を撮影するためのカメラであってもよい。「スペクトル画像」とは、スペクトルカメラ等により取得される異なる波長帯の電磁波を記録した複数の画像の少なくとも１つから生成される、複数の波長帯の電磁波を記録した画像である。スペクトル画像には、可視光線、紫外線、赤外線、遠赤外線等の少なくともいずれかの波長帯の電磁波が記録される。

【0041】

撮影部２３は、建設作業中において、作業対象である地盤を撮影可能なように配置および固定される。撮影部２３は、一例として、振動の影響が少なく、かつ作業機械３０の作業状態（例えば、バックホウのつめ等の作業状態）を撮影しやすい位置に設置されることが好ましい。例えば、バックホウ等、作業機械３０が移動することなく作業する機械である場合、撮影部２３は作業機械３０に固定される。一方、ブルドーザーまたはローラー等、作業機械３０が移動または振動しながら作業する機械である場合、必要に応じてジンバルおよび衝撃を吸収する緩衝部材を用いて撮影部２３を作業機械３０に固定してもよい。

【0042】

撮影部２３は、連続する掘削作業等の建設作業において、一定の時間間隔で連続撮影する、いわゆる「タイムラプス撮影」を行う。

【0043】

（検出部）
検出部２４は、建設作業により発生する音および振動の少なくともいずれか一方を検出する。建設作業により発生する音は、例えば、建設作業により地盤から発生する音、または、作業機械３０から発生する音を含む。建設作業により発生する振動は、例えば、作業機械の振動、または、地盤の振動を含む。検出部２４は、一例として、建設作業により発生する音を収音する収音装置である。

【0044】

建設作業により地盤から発生する音は、一例として、土の敷き均し作業により土が締まる際に発生する音である。このような音は、土の締まり方や土種に関係し、一例として、細粒分の含有率、含水比、粒径の大きさ、鉱物組成等が影響する。また、一例として、締固作業は上下動の作業であるが、作業対象である地盤に含まれる土および岩から音が発生するため、この音を検出部２４が検出し、収音する。

【0045】

岩種または土質等に応じて発生する音および振動の周波数はその特徴が異なっている。例えば、硬い岩であれば高周波側が卓越し、一方、軟らかい土であれば低周波側が卓越する。また、岩および土の違いにより、第１の卓越周波数帯、第２の卓越周波数帯、…といった形で現れる周波数帯の特徴に違いがある。

【0046】

検出部２４は、建設作業により発生する音および振動の少なくともいずれか一方を検出可能なように配置および固定される。検出部２４は、一例として、作業機械３０に固定される。一例として、検出部２４が収音装置である場合、検出部２４の収音方向が、撮影部２３が撮影する地盤の方向となるように、検出部２４が作業機械３０に固定される。また、撮影部２３と検出部２４の作動方向を連動させるようにしてもよい。

【0047】

（光源）
光源２５は、撮影部２３が画像を撮影する際の標準光源である。光源２５は、例えば発光ダイオードを用いたライトで実現可能である。光源２５の光は、太陽光と同程度の色および強度であることが望ましい。例えば、光源２５の光は、彩度が所定の範囲内である光であることが望ましい。ここで、所定の範囲とは、例えば人間の目で光源２５の光を見た場合に、白色光に見える程度の彩度の値の範囲を示す。また例えば、光源２５の光を、白色光に見えるような色相の光としてもよい。白色光とは、色相をほとんど持たない白っぽい光のことであり、例えば彩度が閾値未満または色温度が３５００ケルビン以上５０００ケルビン以下程度の色の光としてもよい。これにより、光源２５の光の色が撮影画像に与える影響を最小限にすることができる。また、光源２５は平面から拡散光を照射可能なフラット光源であることが望ましい。これにより、撮影の際に均等に光を照射することができる。

【0048】

（制御部）
制御部２１は、測定装置２０を統括的に制御する。制御部２１は、撮影部２３を制御して地盤を撮影させる。例えば制御部２１は、通信部２２を介して他の装置から受信した撮影開始指示に応答して、撮影部２３に撮影を実行させてもよい。また例えば、制御部２１は測定装置２０に備えられたまたは測定装置２０に接続された、入力装置等を介して、撮影開始を指示するユーザの入力操作を受け付けてもよい。そして、該入力操作を受け付けた場合、制御部２１は撮影部２３に撮影を実行させてもよい。

【0049】

制御部２１は、撮影部２３が撮影した画像に基づき、建設作業の対象である地盤を撮影した画像を表す撮影データを生成する。撮影データは、ステレオ画像、三次元画像等の画像を表すデータであってもよいし、スペクトル画像を表すデータであってもよい。また、制御部２１は、検出部２４が検出した音および／または振動を表す検出データを生成する。

【0050】

撮影部２３による撮影と、検出部２４による収音は、一例として、同タイミング、さらに望ましくは略同時に、実行される。また、連続的に収音した検出データから、必要部分を切り出して使用しても良い。制御部２１は、１回の測定で得られた撮影データおよび検出データを対応付けてもよい。制御部２１は、１回の測定毎に撮影データおよび検出データを記憶部２６に記憶させてもよい。

【0051】

また、制御部２１は情報処理装置１０からの要求に応じて、記憶部２６に記憶された撮影データおよび検出データを読み出して、該撮影データおよび検出データを、通信部２２を介して情報処理装置１０に送信してもよい。また、制御部２１は１回の測定毎に撮影データおよび検出データを自律的に情報処理装置１０に送信してもよい。

【0052】

また、測定装置２０が光源２５を含む場合、制御部２１は光源２５の位置および向きのうち少なくとも一方を制御してもよい。また、測定装置２０が光源２５を含む場合、制御部２１は光源２５の光の強さを制御してもよい。

【0053】

また、制御部２１は、所定の時刻信号に基づき映像、音および／または振動の時刻情報を生成する。また、制御部２１は、所定の信号に基づき、映像、音および／または振動の位置を示す位置情報を生成する。位置情報は、一例として、座標値（ｘ、ｙ、ｚ）を含む。制御部２１は、一例として、衛星測位システム（Global Navigation Satellite System、等）により受信する信号に基づき、座標値（ｘ、ｙ、ｚ）を生成する。なお、位置情報を生成する手法は、上述した手法に限られず、位置情報を生成する他の手法が用いられてもよい。

【0054】

例えば、制御部２１は、自動追尾トータルステーションを用いる方法により、位置情報を生成してもよい。この場合、一例として、作業機械３０にマーカを設置するとともに、所定の基準位置にマーカを設置する。基準点と作業機械３０との両方が撮影範囲に含まれるように所定の撮影装置（図示略）が撮影を行い、測定装置２０等の装置が撮影画像を画像解析することにより、位置情報を生成してもよい。

【0055】

制御部２１は、撮影データに撮影時刻情報および撮影位置情報を付与する。撮影時刻情報は、撮影データの撮影タイミングを示す情報である。撮影時刻情報は一例として、制御部２１が撮影データを生成したタイミングを示す情報である。撮影位置情報は、撮影位置を示す情報である。撮影位置情報は一例として、制御部２１が生成した座標値（ｘ、ｙ、ｚ）を含む。

【0056】

制御部２１は、検出データに検出時刻情報および検出位置情報を付与する。検出データに付与する検出時刻情報は、音および／または振動の検出タイミングを示す情報であり、一例として、制御部２１が検出データを生成したタイミングを示す情報である。検出位置情報は、検出データの表す音および／または振動の検出位置を示す情報である。検出位置情報は一例として、制御部２１が生成した座標値（ｘ、ｙ、ｚ）を含む。

【0057】

（記憶部）
記憶部２６は、測定装置２０の処理に必要な各種データを記憶する記憶装置である。記憶部２６は、制御部２１が生成した撮影データおよび検出データを一時的に記憶する。

【0058】

（通信部）
通信部２２は、測定装置２０と他の装置との通信を行う通信インタフェースである。通信部２２は、制御部２１の制御に従って情報処理装置１０等の他の装置と通信する。一例として、通信部２２は、制御部２１が生成した撮影データおよび検出データを情報処理装置１０に送信する。また、通信部２２は、図示しない他の装置から、測定装置２０での撮影開始の指示を受信してもよい。撮影開始の指示を受信した場合、通信部２２は該指示を制御部２１に出力する。

【0059】

図２では、ひとつの撮影部２３とひとつの検出部２４とが含まれる測定装置２０を図示しているが、複数の撮影部２３および／または複数の検出部２４が測定装置２０に含まれていてもよい。一例として、測定装置２０は、ステレオカメラである第１の撮影部と、赤外線カメラである第２の撮影部との複数の撮影部を備える構成であってもよい。また、一例として、測定装置２０は、収音する第１の検出部と、振動を検出する第２の検出部との複数の検出部を備える構成であってもよい。また、測定装置２０はボタン、マウス、およびタッチパネル等の入力部と、ディスプレイ等の表示部を含んでいてもよい。

【0060】

（情報処理装置）
（通信部）
情報処理装置１０は、制御部１１、通信部１２、および記憶部１３を含む。通信部１２は、情報処理装置１０と他の装置との通信を行う通信インタフェースである。通信部１２は、制御部１１の制御に従って測定装置２０等の他の装置と通信する。一例として、通信部１２は、測定装置２０から撮影データおよび検出データを受信する。なお、外部記録媒体を介して撮影データおよび検出データを取得する場合、通信部１２は測定装置２０との通信を行わなくてもよい。

【0061】

（記憶部）
記憶部１３は、情報処理装置１０の処理に必要なデータを記憶する記憶装置である。記憶部１３は、情報処理装置１０が土質特性を推定する方法を実行するためのプログラムを記憶する。また、記憶部１３は、学習済モデルＬＭ１を記憶する。学習済モデルＬＭ１は、撮影データおよび検出データと、土質特性の判定結果との相関関係を機械学習させた学習済モデルである。学習済モデルＬＭ１の構造は特に限定されない。例えば、学習済モデルＬＭ１は、ＣＮＮ（Convolution al Neural Network、畳み込みニューラルネットワーク）構造を有するモデルで実現可能である。

【0062】

なお、記憶部１３は情報処理装置１０の外部装置であってもよい。例えば、記憶部１３は、情報処理装置１０と通信可能に接続されたサーバ等の記憶装置であってもよい。また、情報処理装置１０は、外部記録媒体を接続することが可能なインタフェースを備えていてもよい。例えば、情報処理装置１０はＵＳＢフラッシュメモリまたはＳＤカード等を接続可能なインタフェースを備えていてもよい。また、情報処理装置１０はボタン、マウス、およびタッチパネル等の入力部と、ディスプレイ等の表示部を含んでいてもよい。

【0063】

（制御部）
制御部１１は、情報処理装置１０を統括的に制御する。制御部１１は、第１取得部１１１、第２取得部１１２、推定部１１３を含む。

【0064】

（第１取得部）
第１取得部１１１は、測定装置２０が生成した撮影データを取得する。第１取得部１１１は、一例として、測定装置２０から撮影データを受信することにより、撮影データを取得してもよい。また、第１取得部１１１は、一例として、撮影データが記憶された外部記憶装置等の記憶装置から撮影データを読み出すことにより、撮影データを取得してもよい。

【0065】

（第２取得部）
第２取得部１１２は、測定装置２０が生成した検出データを取得する。第２取得部１１２は、一例として、測定装置２０から検出データを受信することにより、検出データを取得してもよい。また、第２取得部１１２は、一例として、検出データが記憶された外部記憶装置等の記憶装置から検出データを読み出すことにより、検出データを取得してもよい。

【0066】

（推定部）
推定部１１３は、第１取得部１１１が取得した撮影データおよび第２取得部１１２が取得した検出データを、学習済モデルＬＭ１に入力して得られる出力データを用いて、地盤の土質特性を推定する。

【0067】

≪学習済モデルの詳細≫
図３は、本実施形態に係る学習済モデルＬＭ１の一例を模式的に示した図である。学習済モデルＬＭ１には、撮影データおよび検出データを含む入力データが入力される。

【0068】

学習済モデルＬＭ１は、例えば、畳み込み層と、プーリング層と、結合層とから成る。畳み込み層において、入力データはフィルタリングによる情報の畳み込みがなされる。畳み込みを経たデータは、プーリング層においてプーリング処理が施される。これにより、データ中の特徴の位置変化に対するモデルの認識能力を向上させることができる。プーリング処理を経たデータは、結合層で処理されることによって、学習済モデルＬＭ１の出力データ、すなわち、土質特性の推定結果の形式に変換されて出力される。

【0069】

すなわち、学習済モデルＬＭ１に入力データとして入力された撮影データおよび検出データを、図３に示す各層をこれらの順に通過させることにより、最終的に出力データとして土質特性の推定結果が出力される。

【0070】

学習済モデルＬＭ１の出力データは、土質特性を示すデータである。出力データは一例として、「砂質土」、「粘性土」、「軟岩Ｉ」、「軟岩ＩＩ」、といった岩種または土種を示す情報を含む。また、出力データは、一例として、地盤の強度および硬度を示す情報を含む。また、出力データは、地盤の締まり程度の指標となるコーン貫入抵抗値を含んでいてもよい。

【0071】

なお、推定結果の出力形式は特に限定されない。例えば、各種特性は指標値として数値で示されてもよいし、「水分有り」「無し」等の２値で示されてもよい。もしくは、土質性状の推定結果はテキストデータで示されてもよい。

【0072】

≪処理の流れ≫
図４は、本実施形態に係る土質特性推定方法Ｓ１００の流れを示すシーケンスチャートである。土質特性推定方法Ｓ１００は、一例として、作業機械３０が地盤に対する建設作業を行っている際に実行される。なお、一部のステップは、並行してまたは順序を替えて実行されてもよい。土質特性推定方法Ｓ１００を実行するのに先立って、測定装置２０による計時が正しく設定されているかを確認してもよい。

【0073】

（Ｓ１０１）
ステップＳ１０１において、測定装置２０は、建設作業の作業対象である地盤を撮影し、撮影データを生成する。撮影部２３がタイムラプス撮影を行うことにより、複数の撮影データが生成される。撮影データは、一例として、作業機械３０に固定された撮影部２３が撮影した画像に基づくステレオ画像、三次元画像、またはスペクトル画像を表すデータである。

【0074】

図５は、撮影データの表す画像の一例を示す図である。図において、画像Ｉｍｇ１１の地盤および画像Ｉｍｇ１２の地盤は、主に粘性土により構成されている。画像Ｉｍｇ１３の地盤は、主に岩石により構成されている。画像Ｉｍｇ１１を構成する粘性土は、画像Ｉｍｇ１２の地盤を構成する粘性土よりも軟らかい。これらに例示されるように、地盤を構成する土質材料は、種類等によりその特性は様々である。

【0075】

（Ｓ１０２）
図４のステップＳ１０２において、測定装置２０は、建設作業により発生する音および／または振動を検出部２４で検出し、検出した音および／または振動を表す検出データを生成する。検出データは、建設作業中、地盤の撮影タイミングに対応するタイミングで、または撮影のタイミングを含んで継続的に検出された音および／または振動を表すデータである。

【0076】

（Ｓ１０３）
ステップＳ１０３において、測定装置２０は、生成した撮影データを情報処理装置１０に送信する。情報処理装置１０の第１取得部１１１は、通信部１２を介して測定装置２０から撮影データを受信し、受信した撮影データを記憶部１３に記憶する。

【0077】

（Ｓ１０４）
ステップＳ１０４において、測定装置２０は、生成した検出データを情報処理装置１０に送信する。情報処理装置１０の第２取得部１１２は、通信部１２を介して測定装置２０から検出データを受信し、受信した検出データを記憶部１３に記憶する。

【0078】

図６は、検出データの表す波形の一例を示す図である。図において、波形ｓ１１は、検出部２４が収音した音の波形である。図において、横軸は時間（秒）を示し、縦軸は音圧（ｄＢ）を示す。

【0079】

（Ｓ１０５）
図４のステップＳ１０５において、情報処理装置１０の第２取得部１１２は、ステップＳ１０４で取得した検出データに対し、高速フーリエ変換（ＦＦＴ）等のスペクトル分析を行い、検出データを周波数毎のスペクトルデータに変換する。本実施形態では、変換されたスペクトルデータが、学習済モデルＬＭ１に入力する検出データとして用いられる。換言すると、学習済モデルＬＭ１の入力とされる検出データは、建設作業により発生する音および振動の少なくともいずれか一方を表す時系列データをスペクトル分析した結果を示すデータである。第２取得部１１２は、変換した検出データを記憶部１３に記憶する。

【0080】

図７の（ａ）および（ｂ）は、スペクトル分析により変換された検出データの内容を例示する図である。図７の（ａ）において、横軸は時間（秒）を示し、縦軸は周波数（Hz）を示す。また、図７の（ａ）では、色により振幅の大きさが示されている。図７の（ｂ）において、横軸は周波数を示し、縦軸は振幅を示す。図７の（ｂ）は、周波数と振幅との関係を示す二次元情報である。図７の（ａ）は、所定の経過時間毎にスペクトル分析を行った結果を示すものであり、経過時間と周波数と振幅との関係を表す三次元情報である。

【0081】

（Ｓ１０６・Ｓ１０７）
図４のステップＳ１０６において、第１取得部１１１は、記憶部１３から撮影データを読み出すことにより撮影データを取得する。また、ステップＳ１０７において、第２取得部１１２は、記憶部１３から検出データを読み出すことにより検出データを取得する。第１取得部１１１が取得する撮影データおよび第２取得部１１２が取得する検出データは、学習済モデルＬＭ１の入力とされる入力データである。

【0082】

（Ｓ１０８）
ステップＳ１０８において、第１取得部１１１（または第２取得部１１２）は、画像時刻情報と検出時刻情報および画像位置情報と検出位置情報が対応している撮影データと検出データとの対応付けを行う。一例として、第１取得部１１１（または第２取得部１１２）は、記憶部１３に記憶されている複数の撮影データおよび複数の検出データの中から、付与されている時刻情報の差分が所定の閾値未満であり、かつ、付与されている位置情報の差分が所定の閾値未満である撮影データと検出データとを対応付ける。

【0083】

第１取得部１１１（又は第２取得部１１２）は、撮影データと検出データとを、１対１で対応付けてもよく、また、複数対複数で対応付けてもよい。また、第１取得部１１１（又は第２取得部１１２）は、複数の撮影データとひとつの検出データとを対応付けてもよい。一例として、第１取得部１１１（または第２取得部１１２）は、タイムラプス撮影により撮影された一連の複数の撮影データと、撮影データの撮影期間において連続的に収音された音のスペクトル分析結果を示すデータと、と対応付けてもよい。換言すると、学習済モデルＬＭ１の入力データは、１または複数の撮影データと、１または複数の検出データとを含む。

【0084】

（Ｓ１０９）
ステップＳ１０９において、情報処理装置１０の推定部１１３は、撮影データおよび検出データを、学習済モデルＬＭ１に入力して得られる出力データを用いて、地盤の土質特性を推定する。このとき、推定部１１３は、学習済モデルＬＭ１の出力データをそのまま推定結果としてもよく、また、学習済モデルＬＭ１の出力データを用いて、推定結果を示すデータを生成してもよい。一例として、推定部１１３は、学習済モデルＬＭ１の出力データと、撮影データおよび検出データに対応する位置情報とに基づいて、建設作業の現場における３次元的な土層および岩層の構成図を表すデータを生成してもよい。

【0085】

（Ｓ１１０）
ステップＳ１１０において、情報処理装置１０の推定部１１３は、ステップＳ１０９の推定結果を出力する。一例として、推定部１１３は、推定した土質特性を、ディスプレイ等の表示部に表示させてもよい。また、一例として、推定部１１３は、推定した土質特性を示すデータを、通信路Ｎ１を介して建設作業現場などにある他の端末に送信することにより出力してもよい。また、一例として、推定部１１３は、推定した土質特性を示すデータを、外部記憶装置に記憶させることにより出力してもよい。

【0086】

以上説明したように本実施形態によれば、機械学習された学習済モデルＬＭ１を用いた土質特性の推定において、画像だけでなく音および／または振動を表すデータを入力データに用いる。これにより、画像のみを入力データとして用いる場合に比べて、土質特性をより精度よく推定することができる。

【0087】

また、従来では、建設作業における土質特性の判定方法として、事前のボーリング調査結果、地盤の表面の外観、並びに、ポータブルコーン貫入試験器、または土壌硬度計により得られる強度および硬度の情報等に基づく判定が行われていた。このような従来の手法では、土質特性の判定に手間や時間を要するという問題があった。それに対し本実施形態によれば、土質特性の推定に要する手間や時間を小さくすることができる。

【0088】

また、本実施形態では、建設作業の現場において収集される撮影データおよび検出データを情報処理装置１０がリアルタイムで収集し、収集したデータを学習済モデルＬＭ１に入力して得られる出力データを用いて土質特性を推定する。これにより、作業機械３０による建設作業の進行と並行してリアルタイムで地盤の土質特性を推定することができる。

【0089】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0090】

（装置の要部構成）
図８は、本実施形態に係る土質特性推定システム１Ｂに含まれる装置の要部構成を示すブロック図である。実施形態２に係る土質特性推定システム１Ｂは、実施形態１に係る情報処理装置１０に代えて、情報処理装置１０Ｂを備える。情報処理装置１０Ｂは、情報処理装置１０の制御部１１に代えて、制御部１１Ｂを備える。制御部１１Ｂは、推定フェーズ実行部１１０および学習フェーズ実行部１２０を備える。推定フェーズ実行部１１０は、第１取得部１１１、第２取得部１１２、および推定部１１３を含む。学習フェーズ実行部１２０は、教師データ取得部１２１および生成部１２２を含む。

【0091】

教師データ取得部１２１は、学習済モデルＬＭ１の入力に対応する第１データ、および、学習済モデルＬＭ１の出力に対応する第２データのセットである教師データを取得する。第１データは、撮影データおよび検出データを含む。撮影データおよび検出データの内容は上述の実施形態１で示したものと同様である。第１データに含まれる撮影データは、一例として、作業機械３０に固定された撮影部２３が撮影した地盤を表す画像データである。第１データに含まれる検出データは、一例として、検出部２４が検出した音および／または振動のスペクトル分析の結果を示すデータである。撮影データおよび検出データは、上述の実施形態１で示したように、時刻情報および位置情報を含む。

【0092】

教師データ取得部１２１は、一例として、測定装置２０から第１データを受信することにより、第１データを取得してもよい。また、教師データ取得部１２１は、一例として、第１データが記憶された外部記憶装置から第１データを読み出すことにより、第１データを取得してもよい。

【0093】

第２データは、地盤の土質特性を示すデータである。第２データは、一例として、専門家が地盤に関する種々の測定データを参照して判定した結果を示すデータである。第２データは、一例として、事前のボーリング調査結果、地盤の表面の外観、並びに、ポータブルコーン貫入試験器または土壌硬度計により得られる強度および硬度の情報等に基づき判定された結果を示すデータである。

【0094】

第２データは、土質特性の判定の対象である地盤の位置を示す位置情報を含む。また、第２データは、判定の対象である地盤に対する建設作業が行われた時刻を示す時刻情報を含んでもよい。

【0095】

教師データ取得部１２１は、一例として、専門家が情報処理装置１０Ｂの入力部（マウス、タッチパネル等）を用いて入力した第２データを取得してもよく、また、専門家が他の端末を操作して入力した第２データを、情報処理装置１０Ｂが当該他の端末から通信路Ｎ１を介して受信することにより第２データを取得してもよい。また、教師データ取得部１２１は、第２データが記憶された外部記憶装置等の記憶装置から第２データを読み出すことにより、第２データを取得してもよい。

【0096】

教師データ取得部１２１は、第１データと、第１データに対応する第２データとを対応付けて、記憶部１３に記憶する。記憶部１３において、第１データと第２データとの組は１つの教師データとして記憶される。すなわち、教師データは、建設作業の作業対象である地盤に関する撮影データおよび検出データと、地盤の土質特性の判定結果との組み合わせから成る。

【0097】

生成部１２２は、第１データと該第１データに対応する第２データとを用いて、第１データと第２データとの相関関係を機械学習させた学習済モデルＬＭ１を生成する。

【0098】

（学習済モデル生成方法の流れ）
図９は、情報処理装置１０Ｂが行う学習済モデル生成方法Ｓ２００の流れを例示するシーケンスチャートである。なお、一部のステップは、並行してまたは順序を替えて実行されてもよい。

【0099】

（Ｓ２０１）
ステップＳ２０１において、作業機械３０が地盤に対する建設作業を行っている際に、測定装置２０は、建設作業の作業対象である地盤を撮影し、撮影データを生成する。

【0100】

（Ｓ２０２）
ステップＳ２０２において、測定装置２０は、建設作業により発生する音および／または振動を検出部２４で検出し、検出した音および／または振動を表す検出データを生成する。検出データは、地盤の撮影タイミングに対応するタイミング、あるいは撮影のタイミングを含んで継続的に検出された音および／または振動を表すデータである。

【0101】

（Ｓ２０３）
ステップＳ２０３において、測定装置２０は、撮影データおよび検出データを情報処理装置１０Ｂに送信する。情報処理装置１０Ｂの教師データ取得部１２１は、撮影データおよび検出データを受信し、受信した撮影データおよび検出データを記憶部１３に記憶する。換言すると、教師データ取得部１２１は、撮影データおよび検出データを含む第１データを取得する。

【0102】

教師データ取得部１２１は、撮影データと検出データとを別々に受信してもよく、また、撮影データと検出データとを纏めて受信してもよい。また、教師データ取得部１２１は、複数の撮影データおよび／または複数の検出データを纏めて受信してもよい。教師データ取得部１２１は、撮影データおよび／または検出データの受信処理を１または複数実行する。これにより、複数の撮影データおよび複数の検出データが記憶部１３に蓄積される。

【0103】

（Ｓ２０４）
ステップＳ２０４において、教師データ取得部１２１は、受信した検出データに対しスペクトル分析を行い、周波数毎のスペクトルを表す検出データに変換する。教師データ取得部１２１は、変換された検出データを記憶部１３に記憶する。

【0104】

（Ｓ２０５）
ステップＳ２０５において、教師データ取得部１２１は第２データを取得する。一例として、教師データ取得部１２１は、他の端末から通信路Ｎ１を介して第２データを受信することにより、第２データを取得する。

【0105】

（Ｓ２０６）
ステップＳ２０６において、教師データ取得部１２１は、撮影データと検出データとを時刻情報および位置情報に基づき対応付ける。一例として、教師データ取得部１２１は、撮影データに付与された撮影時刻情報および撮影位置情報と、検出データに付与された検出時刻情報および検出位置情報に基づき撮影データと検出データとを対応付け、対応付けた撮影データと検出データとの組を第１データとする。

【0106】

また、教師データ取得部１２１は、第１データと第２データとを各データに付与された位置情報に基づき対応付ける。このとき、教師データ取得部１２１は、第１データと第２データとを位置情報および時刻情報に基づき対応付けてもよい。

【0107】

（Ｓ２０７）
ステップＳ２０７において、生成部１２２は、第１データと該第１データに対応する第２データとを用いて、第１データと第２データとの相関関係を機械学習させた学習済モデルＬＭ１を生成する。

【0108】

（土質特性推定方法の流れ）
本実施形態に係る土質特性推定方法の流れは、上述の実施形態１で説明した土質特性推定方法Ｓ１００の流れと同様であるため、ここではその説明を繰り返さない。

【0109】

本実施形態によれば、情報処理装置１０Ｂが、第１データと第２データとの組を用いて学習済モデルＬＭ１を構築する。情報処理装置１０Ｂが構築した学習済モデルＬＭ１が建設作業の作業対象である地盤の土質特性の推定に用いられることにより、土質特性をより精度よく推定することができる。

【0110】

また、本実施形態によれば、情報処理装置１０Ｂが、撮影データと検出データとを時刻情報および位置情報に基づき対応付ける。これにより、教師データの作成にかかる労力を削減することができる。

【0111】

〔実施形態３〕
本発明の実施形態３について、図面を参照して説明する。なお、上述の実施形態１～２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。

【0112】

本実施形態に係る土質特性推定システム１Ｃは、実施形態２に係る情報処理装置１０Ｂに代えて、情報処理装置１０Ｃを備える。また、本実施形態において、測定装置２０の検出部２４は、建設作業により発生する音または振動を収収録する収録装置である。なお、情報処理装置１０Ｃの構成図は、図２に記載する情報処理装置１０と同じ構成のため図示していない。

【0113】

図１０は、本実施形態に係る土質特性推定方法Ｓ１００Ｃの流れを示すシーケンスチャートである。土質特性推定方法Ｓ１００Ｃは、図４に示した土質特性推定方法Ｓ１００のステップＳ１０４の後に、ステップＳ１１１の処理を含む。

【0114】

ステップＳ１１１において、第２取得部１１２は、建設作業において検出部２４により収音された音または振動の所定の周波数帯を除去する。所定の周波数帯は、土質特性の分析において不要とみなされる音または振動に対応する周波数帯である。所定の周波数帯は、一例として、建設作業を行う作業機械３０の動作音または動作振動に対応する周波数帯である。

【0115】

具体的には、例えば、建設作業を行っていない状態において作業機械３０の機械音を予め検出部２４が収音し、収音した音データに対し情報処理装置１０Ｃ等の装置がＦＦＴ等のスペクトル分析を行って周波数帯の分析を行っておく。第２取得部１１２は、建設作業において検出部２４により収音された音に対し、上記の作業機械３０の機械音の周波数帯をフィルターカットして音データを加工する。

【0116】

ステップＳ１１１の処理を終えると、ステップＳ１０５において、第２取得部１１２は、所定の周波数帯を除去した検出データのスペクトル分析結果を示すデータを生成して記憶部１３に記憶する。その後、ステップＳ１０７において、第２取得部１１２は、記憶部１３に記憶された検出データを読み出すことにより取得する。換言すると、ステップＳ１０７において、第２取得部１１２は、所定の周波数帯を除去した検出データを取得する。

【0117】

本実施形態によれば、情報処理装置１０Ｃは、建設作業において発生する不要な音や振動（ノイズ）の周波数帯を除去した検出データを学習済モデルＬＭ１に入力して得られる出力データを用いて地盤の土質特性を推定する。作業機械３０が発生する音や振動がノイズとして大きい場合、その音や振動を除去することで推定精度を高くすることができる。すなわち、本実施形態によれば、ノイズを除去しない場合に比べて土質特性をより高い精度で推定することができる。

【0118】

〔付記事項〕
〔付記事項１〕
学習済モデルＬＭ１に入力する入力データに含まれるデータは、上述した実施形態で示したものに限られない。換言すると、入力データは、撮影データおよび検出データに加えて、他のデータを含んでいてもよい。

【0119】

一例として、入力データは、建設作業を行う作業機械３０の動作に関する情報を表す動作データを含んでいてもよい。建設作業の対象土壌に応じて作業機械３０に与える抵抗値が異なることから、動作データは、一例として、作業機械３０の油圧動力を示す情報を含むことが望ましい。

【0120】

この場合、推定フェーズにおいて用いられる学習済モデルＬＭ１は、撮影データ、検出データおよび動作データと、土質特性の判定結果との相関関係を機械学習させた学習済モデルである。この場合、情報処理装置１０、１０Ｂ、１０Ｃ（以下、単に「情報処理装置１０等」という）は、動作データを取得するステップを実行するとともに、撮影データ、検出データ及び動作データを学習済モデルＬＭ１に入力することにより得られる出力データを用いて、土質特性を推定する。なお、入力データとして動作データを用いる際には、測定装置として動作取得部を、情報処理装置には動作データ用の第３取得部を設けるようにすることが望ましい。

【0121】

また、上述の実施形態において、入力データは、撮影データを含んでいなくてもよい。換言すると、検出データを学習済モデルＬＭ１の入力として用いる構成であってもよい。

【0122】

〔付記事項２〕
上述の各実施形態では、情報処理装置１０、１０Ｂ、１０Ｃが、測定装置２０が検出した音および／または振動を表すデータをスペクトル分析し、分析結果を示す分析結果データを、学習済モデルＬＭ１の入力として用いた。学習済モデルＬＭ１の入力とする検出データは、スペクトル分析の分析結果を示すデータに限られない。情報処理装置１０、１０Ｂは、一例として、測定装置２０から受信した、音および／または振動を表す検出データをそのまま学習済モデルＬＭ１の入力としてもよい。

【0123】

また、情報処理装置１０、１０Ｂ、１０Ｃは、一例として、測定装置２０から受信した検出データを他の手法で加工または変換したデータを、学習済モデルＬＭ１の入力としてもよい。一例として、推定部１１３は、測定装置２０から受信した検出データの表す波形の画像データを生成し、生成した画像データを学習済モデルＬＭ１の入力データとしてもよい。換言すると、学習済モデルＬＭ１の入力データとされる検出データは、建設作業により発生する音および振動の少なくともいずれか一方を示す波形の画像を表すデータであってもよい。波形を表す画像データは、一例として、図６に示した音の波形の時系列データである。

【0124】

また、学習済モデルＬＭ１の入力とされる検出データは、音および／または振動の時系列を表すデータをスペクトル分析した結果を表す画像データであってもよい。スペクトル分析の結果を表す画像データは、一例として、図７に示すスペクトル分析の結果を表す画像データである。

【0125】

この場合、第２取得部１１２は、測定装置２０から受信した検出データに対しスペクトル分析を行い、スペクトル分析結果の画像を示す画像データを生成する。推定部１１３は、第２取得部１１２が生成した画像データを学習済モデルＬＭ１の入力として用いる。

【0126】

また、この場合、学習済モデルＬＭ１を構築するために用いる教師データに含まれる検出データは、入力データに含まれる検出データと同様、音および／または振動の時系列を表すデータに対しスペクトル分析を行った結果が画像で表されたデータである。

【0127】

〔付記事項３〕
上記各実施形態において、建設作業を行う作業機械３０は、図１に例示したものに限られない。作業機械３０は、建設作業を行う他の機械であってもよい。

【0128】

〔付記事項４〕
上述の各実施形態に係る情報処理装置１０等の機能は、単体の装置により実現されてもよく、また、複数の装置が協働するシステムにより実現されてもよい。例えば、推定フェーズ実行部１１０を実装する第１の装置と、学習フェーズ実行部１２０を実装する第２の装置とが別体の装置として構成され、第１の装置と第２の装置とにより上述の情報処理装置１０等が実現されてもよい。この場合、第２の装置は、一例として、建設作業の作業対象である地盤を撮影した画像を表す撮影データ、および、建設作業により発生する音および振動の少なくともいずれか一方を表す検出データを含む第１データ、並びに、地盤の土質特性を示す第２データを取得するステップと、第１データと該第１データに対応する第２データとを用いて、第１データと第２データとの相関関係を機械学習させた学習済モデルを生成するステップと、を実行してもよい。なお、第１の装置と第２の装置間は通信部１２で接続される。

【0129】

また、上述の各実施形態に係る測定装置２０の機能は、単体の装置により実現されてもよく、また、複数の装置が協働することにより実現されてもよい。例えば、地盤を撮影して撮影データを生成する第１の装置と、収音して検出データを生成する第２の装置とが別体の装置として構成され、第１の装置と第２の装置とにより上述の測定装置２０が実現されてもよい。この場合、情報処理装置１０等は、撮影データを第１の装置から受信し、検出データを第２の装置から受信する。

【0130】

また、上述の実施形態では、情報処理装置１０等が検出データに対しＦＦＴ等のスペクトル分析を行ってスペクトルデータに変換する処理を行ったが、スペクトル分析を行う装置は情報処理装置１０等に限られない。情報処理装置１０等以外の装置（例えば、測定装置２０）が検出データに対しスペクトル分析を行って分析結果を示すスペクトルデータ（または分析結果を示す画像データ）に変換する処理を行ってもよい。この場合、スペクトル分析を行った装置が、変換したスペクトルデータを情報処理装置１０に通信路Ｎ１等を介して送信する。情報処理装置１０等は、他の装置からスペクトルデータを受信する。

【0131】

一例として、測定装置２０が、検出部２４が収録した検出データをスペクトル分析し、スペクトル分析結果を示すデータを生成してもよい。この場合、測定装置２０が生成したスペクトル結果データを情報処理装置１０に送信する。情報処理装置１０は、測定装置２０からスペクトル結果データを受信し、受信したスペクトル結果データを学習済モデルＬＭ１の入力とする。

【0132】

また、本明細書に係る土質特性推定システム１の構成は、上述の実施形態で示したものに限られない。一例として、上述の実施形態に係る測定装置２０と情報処理装置１０等とが一体の装置として構成されていてもよい。また、一例として、例えば、情報処理装置１０はインターネット等の通信ネットワークを介して測定装置２０と接続されるクラウドサーバであってもよい。

【0133】

〔付記事項５〕
上述の実施形態では、測定装置２０が、撮影データに撮影時刻情報を付与するとともに、検出データに検出時刻情報を付与し、情報処理装置１０等は、撮影データに付与された撮影時刻情報と検出データに付与された検出時刻情報とに基づき、撮影データと検出データとの対応付けを行った。撮影データと検出データとを対応付ける方法は、上述した実施形態で示した方法に限られない。撮影データと検出データとの対応付けは、一例として、以下の手法により行われてもよい。測定装置２０は、撮影データを生成する毎にリアルタイムで情報処理装置１０等に送信するとともに、検出データを生成する毎にリアルタイムで情報処理装置１０等に送信する。情報処理装置１０等は、撮影データの受信タイミングと検出データの受信タイミングとに基づき、撮影データと検出データとの対応付けを行う。

【0134】

〔付記事項６〕
上述の各実施形態で用いられる学習済モデルＬＭ１は、上述した実施形態で示したものに限られない。学習済モデルＬＭ１は例えば、ＭＴＲＮＮ（Multi Timescale RNN）、ＬＳＴＭ（Long Short Term Memory）等のＲＮＮ（Recurrent Neural Network）、ＡＲＩＭＡ（AutoRegressive, Integrated and Moving Average）モデル等であってもよい。

【0135】

〔付記事項７〕
上述の各実施形態において、情報処理装置１０等は、測定装置２０から受信した撮影データの一部を抽出して学習済モデルＬＭ１の入力としてもよい。作業機械３０に撮影部２３を固定する場合、バケット、排土板、リッパ、鉄輪等の部材が撮影画像に含まれるため、情報処理装置１０等が、これらの部材の部分を撮影画像から除いた撮影データを生成し、生成した撮影データを学習済モデルＬＭ１の入力データとしてもよい。換言すると、情報処理装置１０等は、撮影部２３が撮影した画像から、作業機械３０の部材が写っていない領域の画像を抽出し、抽出した画像を表す撮影データを学習済モデルＬＭ１の入力データとして用いてもよい。この場合、学習済モデルＬＭ１を構築するために用いる教師データに含まれる撮影データは、入力データに含まれる撮影データと同様、撮影部２３が撮影した画像から一部の領域を抽出した画像を表すデータである。また、画像からの抽出においては、セマンティック・セグメンテーション等のアルゴリズムを用いて機機械学習により構築された学習モデルに入力するようにしてもよい。

【0136】

〔付記事項８〕
また、上述の実施形態において、作業機械３０が建設作業において可動する可動部を備える場合、測定装置２０が、可動部の動きに追従して撮影方向を制御してもよい。一例として、作業機械３０がバックホウである場合、測定装置２０が、バックホウのつめの位置を特定し、特定したつめを追尾して撮影するようにしてもよい。この場合、測定装置２０は、バックホウのつめが撮影部２３の撮影範囲に含まれるように撮影部２３の撮影方向を制御する。バックホウのつめの位置の特定は、例えば、撮影部２３が撮影した画像に対し測定装置２０が画像解析処理を実行することにより行ってもよい。また、例えば、バックホウのつめにマーカを装着し、測定装置２０がマーカを検出することによりつめの位置を特定してもよい。

【0137】

〔ソフトウェアによる実現例〕
情報処理装置１０、１０Ｂ、１０Ｃの制御ブロック（特に第１取得部１１１、第２取得部１１２、推定部１１３、教師データ取得部１２１、および生成部１２２のうち少なくとも１つ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0138】

後者の場合、情報処理装置１０、１０Ｂ、１０Ｃは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0139】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0140】

１、１Ｂ、１Ｃ 土質特性推定システム
１０、１０Ｂ、１０Ｃ 情報処理装置
１１、１１Ｂ、２１ 制御部
１２、２２ 通信部
１３、２６ 記憶部
２０ 測定装置
２１ 制御部
２２ 通信部
２３ 撮影部
２４ 検出部
２５ 光源
２６ 記憶部
３０、３０Ｂ 作業機械
１１０ 推定フェーズ実行部
１１１ 第１取得部
１１２ 第２取得部
１１３ 推定部
１２０ 学習フェーズ実行部
１２１ 教師データ取得部
１２２ 生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】