(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022804
(43)【公開日】2024-02-21
(54)【発明の名称】粒度分布予測装置、機械学習装置、粒度分布予測方法、及び、機械学習方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240214BHJP
G06T 7/62 20170101ALI20240214BHJP
G06V 10/82 20220101ALI20240214BHJP
G01N 15/0227 20240101ALI20240214BHJP
【FI】
G06T7/00 350C
G06T7/62
G06V10/82
G01N15/02 C
【審査請求】有
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022126161
(22)【出願日】2022-08-08
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和4年度土木学会全国大会第77回年次学術講演会、第VI部門品質管理(4)、[VI-976]「画像分析AIを用いた簡易的な粒度分析技術」峯啓一郎、柳浦良行、溝山勇、成瀬文宏、小林陵平、水谷一馬、令和4年8月1日
(71)【出願人】
【識別番号】506332605
【氏名又は名称】基礎地盤コンサルタンツ株式会社
(74)【代理人】
【識別番号】100139114
【弁理士】
【氏名又は名称】田中 貞嗣
(74)【代理人】
【識別番号】100139103
【弁理士】
【氏名又は名称】小山 卓志
(74)【代理人】
【識別番号】100214260
【弁理士】
【氏名又は名称】相羽 昌孝
(74)【代理人】
【識別番号】100227455
【弁理士】
【氏名又は名称】莊司 英史
(72)【発明者】
【氏名】峯 啓一郎
(72)【発明者】
【氏名】島田 徹也
(72)【発明者】
【氏名】川西 里香
(72)【発明者】
【氏名】柳浦 良行
(72)【発明者】
【氏名】成瀬 文宏
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA03
5L096CA02
5L096DA02
5L096EA12
5L096EA43
5L096FA59
5L096GA51
5L096HA11
5L096JA11
5L096JA22
5L096KA04
5L096KA15
(57)【要約】
【課題】土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる粒度分布予測装置を提供する。
【解決手段】本発明に係る粒度分布予測装置5は、盛土・土質材料試料の粒度分布を予測する粒度分布予測装置5であって、盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得部500と、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデル2を記憶する学習済みモデル記憶部52と、前記判定データ取得部500により取得された前記判定データを前記学習モデルに入力し、前記予測用画像に撮像された前記盛土・土質材料試料の粒度分布を推論する推論部501とを備えることを特徴とする。
【選択図】
図8
【特許請求の範囲】
【請求項1】
盛土・土質材料試料の粒度分布を予測する粒度分布予測装置であって、
盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得部と、
盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルを記憶する学習済みモデル記憶部と、
前記判定データ取得部により取得された前記判定データを前記学習モデルに入力し、前記予測用画像に撮像された盛土・土質材料試料の粒度分布を推論する推論部とを備えることを特徴とする粒度分布予測装置。
【請求項2】
前記学習モデルがニューラルネットワークモデルであり、
前記ニューラルネットワークモデルは、
複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、
異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有することを特徴とする粒度分布予測装置。
【請求項3】
前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層であることを特徴とする請求項2に記載の粒度分布予測装置。
【請求項4】
前記複数のプーリング層を構成するプーリング層が、マックスプーリング層であることを特徴とする請求項2に記載の粒度分布予測装置。
【請求項5】
前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層とマックスプーリング層の組み合わせであることを特徴とする請求項2に記載の粒度分布予測装置。
【請求項6】
前記複数の組み合わせ中間層からの出力が入力される複数の結合層を有することを特徴とする請求項2乃至請求項5に記載の粒度分布予測装置。
【請求項7】
前記複数の結合層からの出力が、ソフトマックス関数処理部に入力されることを特徴とする請求項6に記載の粒度分布予測装置。
【請求項8】
前記推論部で推論された盛土・土質材料試料の粒度分布に基づいて、細粒分、砂分、礫分割合を算出することを特徴とする請求項7に記載の粒度分布予測装置。
【請求項9】
盛土・土質材料試料の粒度分布を予測する粒度分布予測装置に用いられる学習モデルを生成する機械学習装置であって、
前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとで構成される学習データを複数組記憶する学習データ記憶部と、
前記学習モデルに前記学習データを複数組入力することで、前記入力データと前記出力データとの相関関係を前記学習モデルに機械学習させる機械学習部と、
前記機械学習部により機械学習させた前記学習モデルを記憶する学習済みモデル記憶部とを備えることを特徴とする機械学習装置。
【請求項10】
盛土・土質材料試料の粒度分布を予測する粒度分布予測方法であって、
盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得工程と、
前記判定データ取得工程により取得された前記判定データを、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルに入力し、前記予測用画像に撮像された前記盛土・土質材料試料の粒度分布を推論する推論工程とを備えることを特徴とする粒度分布予測方法。
【請求項11】
前記予測用画像には、盛土・土質材料試料と共にマーカーが写り込んでいることを特徴とする請求項10に記載の粒度分布予測方法。
【請求項12】
前記マーカーが白色の円盤又は球体であることを特徴とする請求項11に記載の粒度分布予測方法。
【請求項13】
盛土・土質材料試料の粒度分布を予測する粒度分布予測方法に用いられる学習モデルを生成する機械学習方法であって、
前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとで構成される学習データを学習データ記憶部に複数組記憶する学習データ記憶工程と、
前記学習モデルに前記学習データを複数組入力することで、前記入力データと前記出力データとの相関関係を前記学習モデルに機械学習させる機械学習工程と、
前記機械学習工程により機械学習させた前記学習モデルを学習済みモデル記憶部に記憶する学習済みモデル記憶工程とを備えることを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、盛土・土質材料試料における粒度分布を予測する粒度分布予測装置、粒度分布予測装置に用いられる学習モデルを生成する機械学習装置、盛土・土質材料試料における粒度分布を予測する粒度分布予測方法、及び、粒度分布予測方法に用いられる学習モデルを生成する機械学習方法に関する。
【背景技術】
【0002】
盛土材料の品質管理や土質材料の区分には、JIS A 1204規格による粒度試験(以降、JIS粒度試験)が用いられているが、当該試験には少なくとも1日を要し、盛土などの施工現場において全数検査を行うことは困難である。また、経済的にも試験を実施できる数量にも限界がある。実際には、経験者による目視や触診に基づいて土質材料の区分が行われたり、抜き取り検査により粒度試験が実施されたりするのが一般的である。このため、判定の不備による盛土や造成地の変状が発生する二次被害が多数報告されている。
【0003】
一般宅地においても、地震時の被害を低減するため建築時において、土質材料の区分に基づいた液状化判定を行い、対策を行うことが望まれているが、費用面などの問題があり、粒度試験が実施されることは殆どない。
【0004】
そこで、非特許文献1においては、粒度試験の実施に代え、画像解析を用いて粒度分布を推定する方法が提案されている。また、非特許文献2においては、機械学習による土質判定の自動化を行う方法であって、有機質土、礫混じり砂、シルト混じり砂の3種の判別を行う方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【非特許文献1】古川ほか「画像解析を用いた粒度分布推定手法の構築」土木学会論文集B2(海岸工学),Vol73,No.2,I_1645-I_1650,2017
【非特許文献2】伊藤「機械学習による土質判定自動化の可能性について」,全地連「技術フォーラム2017」旭川
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献1記載の従来技術は、前処理として試料の炉乾燥を行ったり、サンプルシートを作成した上でスキャナー画像の取得を行ったりする必要があり、簡便な粒度分布推定方法ではない、という問題があった。また、現場で撮影した写真画像から短時間で粒度分布の予測を行うことができない、という問題もあった。
【0007】
一方、非特許文献2記載の従来技術は機械学習を用いるものであるものの、有機質土、礫混じり砂、シルト混じり砂の3種の判別を行うものであって、粒度分布を予測し得るようなものではない、という問題があった。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明に係る粒度分布予測装置は、盛土・土質材料試料の粒度分布を予測する粒度分布予測装置であって、盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得部と、盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルを記憶する学習済みモデル記憶部と、前記判定データ取得部により取得された前記判定データを前記学習モデルに入力し、前記予測用画像に撮像された盛土・土質材料試料の粒度分布を推論する推論部とを備えることを特徴とする。
【0009】
また、本発明に係る粒度分布予測装置は、前記学習モデルがニューラルネットワークモデルであり、前記ニューラルネットワークモデルは、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有することを特徴とする。
【0010】
また、本発明に係る粒度分布予測装置は、前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層であることを特徴とする。
【0011】
また、本発明に係る粒度分布予測装置は、前記複数のプーリング層を構成するプーリング層が、マックスプーリング層であることを特徴とする。
【0012】
また、本発明に係る粒度分布予測装置は、前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層とマックスプーリング層の組み合わせであることを特徴とする。
【0013】
また、本発明に係る粒度分布予測装置は、前記複数の組み合わせ中間層からの出力が入力される複数の結合層を有することを特徴とする。
【0014】
また、本発明に係る粒度分布予測装置は、前記複数の結合層からの出力が、ソフトマックス関数処理部に入力されることを特徴とする。
【0015】
また、本発明に係る粒度分布予測装置は、前記推論部で推論された盛土・土質材料試料の粒度分布に基づいて、細粒分、砂分、礫分割合を算出することを特徴とする。
【0016】
また、本発明に係る機械学習装置は、盛土・土質材料試料の粒度分布を予測する粒度分布予測装置に用いられる学習モデルを生成する機械学習装置であって、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとで構成される学習データを複数組記憶する学習データ記憶部と、前記学習モデルに前記学習データを複数組入力することで、前記入力データと前記出力データとの相関関係を前記学習モデルに機械学習させる機械学習部と、前記機械学習部により機械学習させた前記学習モデルを記憶する学習済みモデル記憶部とを備えることを特徴とする。
【0017】
また、本発明に係る機械学習装置は、前記学習モデルがニューラルネットワークモデルであり、前記ニューラルネットワークモデルは、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有することを特徴とする。
【0018】
また、本発明に係る機械学習装置は、前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層であることを特徴とする。
【0019】
また、本発明に係る機械学習装置は、前記複数のプーリング層を構成するプーリング層が、マックスプーリング層であることを特徴とする。
【0020】
また、本発明に係る機械学習装置は、前記複数のプーリング層を構成するプーリング層が、アベレージプーリング層とマックスプーリング層の組み合わせであることを特徴とする。
【0021】
また、本発明に係る機械学習装置は、前記複数の組み合わせ中間層からの出力が入力される複数の結合層を有することを特徴とする。
【0022】
また、本発明に係る機械学習装置は、前記複数の結合層からの出力が、ソフトマックス関数処理部に入力されることを特徴とする。
【0023】
また、本発明に係る粒度分布予測方法は、盛土・土質材料試料の粒度分布を予測する粒度分布予測方法であって、盛土・土質材料試料が撮像された予測用画像を含む判定データを取得する判定データ取得工程と、前記判定データ取得工程により取得された前記判定データを、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとの相関関係を機械学習させた学習モデルに入力し、前記予測用画像に撮像された前記盛土・土質材料試料の粒度分布を推論する推論工程とを備えることを特徴とする。
【0024】
また、本発明に係る粒度分布予測方法は、前記予測用画像には、盛土・土質材料試料と共にマーカーが写り込んでいることを特徴とする。
【0025】
また、本発明に係る粒度分布予測方法は、前記マーカーが白色の円盤又は球体であることを特徴とする。
【0026】
また、本発明に係る機械学習方法は、盛土・土質材料試料の粒度分布を予測する粒度分布予測方法に用いられる学習モデルを生成する機械学習方法であって、前記盛土・土質材料試料が撮像された学習用画像を含む入力データと、当該学習用画像に対応する粒度分布に関するデータを含む出力データとで構成される学習データを学習データ記憶部に複数組記憶する学習データ記憶工程と、前記学習モデルに前記学習データを複数組入力することで、前記入力データと前記出力データとの相関関係を前記学習モデルに機械学習させる機械学習工程と、前記機械学習工程により機械学習させた前記学習モデルを学習済みモデル記憶部に記憶する学習済みモデル記憶工程とを備えることを特徴とする。
【発明の効果】
【0027】
本発明に係る粒度分布予測装置によれば、判定データを前記学習モデルに入力し、盛土・土質材料試料が撮像された予測用画像を含む判定データに基づいて粒度分布が推論されるので、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる。
【0028】
また、学習モデルがニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る粒度分布予測装置によれば、より精度が高い粒度分布の予測を行うことができる。
【0029】
また、本発明に係る機械学習装置によれば、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる粒度分布予測装置に用いられる学習モデルを生成することができる。
【0030】
また、学習モデルがニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る機械学習装置によれば、より精度が高い粒度分布の予測を行うことができる粒度分布予測装置に用いられる学習モデルを生成することができる。
【0031】
また、本発明に係る粒度分布予測方法によれば、判定データを前記学習モデルに入力し、盛土・土質材料試料が撮像された予測用画像を含む判定データに基づいて粒度分布が推論されるので、精度高く粒度分布を予測することができる。
【0032】
また、本発明に係る機械学習方法によれば、精度高く粒度分布を予測することができる粒度分布予測装置に用いられる学習モデルを生成することができる。
【図面の簡単な説明】
【0033】
【
図1】本発明の実施形態に係る粒度分布予測システム1の一例を示す全体構成図である。
【
図2】本発明の実施形態に係る機械学習装置4の一例を示すブロック図である。
【
図3】本発明の実施形態に係る機械学習装置4により学習される学習データの作成のフローチャートを示す図である。
【
図4】二値化処理と輝度の調整処理の具体例を示す図である。
【
図5】本発明の実施形態に係る機械学習装置4により学習される学習データの例を示す図である。
【
図6】本発明の実施形態に係る学習モデル2に適用されるニューラルネットワークモデル20の一例を示す概略図である。
【
図7】出力層で得られる推論結果を説明する図である。
【
図8】本発明の実施形態に係る粒度分布予測装置5の一例を示すブロック図である。
【
図9】本発明の実施形態に係る粒度分布予測システム1を構成し得るスマートフォン800のハードウエア構成図である。
【
図10】粒度分布予測システム1の各装置3~6を構成するコンピュータ900の一例を示すハードウエア構成図である。
【
図11】本発明の実施形態に係る機械学習装置4による機械学習方法の一例を示すフローチャートである
【
図12】予測用画像撮像処理のフローチャートを示す図である。
【
図13】スマートフォン800を用いた予測用画像撮像処理の様子を示す図である。
【
図14】本発明の実施形態に係る粒度分布予測装置5による粒度分布予測方法の一例を示すフローチャートである。
【
図15】予測用画像31からの画像データの切り出しを説明する図である。
【
図16】表示データ作成処理サブルーチンのフローチャートを示す図である。
【
図17】本発明の実施形態に係る粒度分布予測装置5による表示例を示す図である。
【発明を実施するための形態】
【0034】
以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
(本発明の実施形態)
図1は、本発明の実施形態に係る粒度分布予測システム1の一例を示す全体構成図である。粒度分布予測システム1は、盛土・土質材料試料10に関する情報を取得し、これに基づいて、盛土・土質材料試料10における粒度分布を予測するシステムである。このために、粒度分布予測システム1は、人工知能技術を用いた機械学習装置4と、この機械学習装置4によって学習された学習データに基づいて推論を行う粒度分布予測装置5とを有している。
【0035】
盛土・土質材料試料10は、盛土材料単体の試料あってもよいし、土質材料単体の試料であってもよいし、盛土材料と土質材料とを混合した試料であってもよい。
【0036】
盛土・土質材料試料10は撮像装置3によって撮像されるが、このとき盛土・土質材料試料10は適当なバット11の上に積載される。バット11の上に積載される盛土・土質材料試料10の量は、バット11の底が見えない程度とし、撮像装置3がバット11の底を撮像することがないようにする。対象とされる盛土・土質材料試料10はバット11の上に積載されると、コテ等(不図示)で表面がならされる。
【0037】
図の下側は機械学習における学習フェーズを示している。学習フェーズでは、土質試験の結果により粒度分布が既に知られている盛土・土質材料試料10が撮像装置3によって取得され、取得された画像と既知の粒度分布が対応付けられて機械学習が行われ、学習モデル2が生成される。
【0038】
一方、図の上側は機械学習における推論フェーズを示している。上記のようにして生成された学習モデル2は、この推論フェーズに供される。推論フェーズのために盛土・土質材料試料10を撮像する際には、盛土・土質材料試料10の上にマーカー15が載置される。
【0039】
例えば、盛土施工現場において、盛土・土質材料試料10の粒度分布を予測するような場合、現場では極力簡単な手段を用いて、短時間で粒度分布を把握することが望ましい。このための一助として、本実施形態ではマーカー15が用いられる。
【0040】
マーカー15は撮像装置3によって取得された画像を解析する際の基準とすることができる。例えば、盛土・土質材料試料10と同時に撮影したマーカー15により、撮影方向に関する情報を取得することができる。撮影方向に関する補正が必要な場合には、この撮影方向に関する情報を利用することができる。また、マーカー15の寸法は既知であるため、盛土・土質材料試料10全体の画像から、予測用画像を切り出す際には、画像に写り込んだマーカー15の寸法を基準とすることができる。また、マーカー15は画像の明暗補正の際の基準とすることもできる。
【0041】
本実施形態では、マーカー15として直径35mmのプラスティック製の薄い白色の円盤を用いているが、マーカー15は特殊な材料を用いる必要はなく、白色で汚れを簡単に落とすことができる材料を用いれば、どのようなものでもよい。また、マーカー15の平面視の形状は本実施形態のように円に限定される必要はなく、任意の形状とすることができる。また、白色のプラスティック製の球体なども好適にマーカー15として用い得る。本発明においては、このようなマーカー15を用いるために、精度高く粒度分布の予測を行うことができる。
【0042】
なお、盛土・土質材料試料10の画像を取得する際に、距離計あるいは、LiDAR(Light Detection And Ranging)スキャナーによる点群データが同時に取得することが可能な場合には、上記のような指定サイズのマーカーを用いなくても、切り出し画像のサイズの決定や、撮影方向の補正等を行うことが可能ではある。しかしながら、マーカー15を用いる方法により、種々の演算を簡略化することが可能となる。
【0043】
粒度分布予測システム1は、盛土・土質材料試料10を撮像する撮像装置3と、機械学習の学習フェーズの主体として動作する機械学習装置4と、機械学習における推論フェーズの主体として動作する粒度分布予測装置5と、粒度分布予測システム1の管理者や作業者が使用する端末装置6を備える。粒度分布予測システム1の各装置3~6は、ネットワーク7により相互に通信可能に接続される。なお、
図1に示す粒度分布予測システム1のシステム構成は一例であり、適宜変更することができる。例えば、本実施形態においては、粒度分布予測装置5と機械学習装置4と端末装置6とをそれぞれ独立した情報処理装置により構成しているが、これらを一つの情報処理装置で構成することもできる。
【0044】
ネットワーク7は狭義の意味でのネットワークである必要なく、データ通信を行うことを可能とするもの程度の最も広い意味でのネットワークとして捉える。また、ネットワーク7は有線のものであってもよいし、また、無線のものであってもよい。
【0045】
図1においては、撮像装置3、機械学習装置4、粒度分布予測装置5、端末装置6をそれぞれ独立した装置として示したが、これらの装置を適宜組み合わせた装置も用いることができる。例えば、図の上側の撮像装置3と粒度分布予測装置5とを組み合わせた装置として、現在広く普及しているスマートフォンやタブレット端末を用いることができる。学習済みの学習モデル2を記憶させたスマートフォンを粒度分布予測装置5として用い、スマートフォン内蔵のカメラを撮像装置3として用いる。当該スマートフォンを盛土施工現場に持ち込み、これにより、マーカー15と共に盛土・土質材料試料10の画像を撮影することで、粒度分布や土質区分(細粒分、砂分、礫分)に係る情報を、手間なく短時間で得ることが可能となる。なお、スマートフォンの構成例については、後述する。
【0046】
また、
図1においては、機械学習装置4と粒度分布予測装置5とを別体の装置として示したが、これらの装置を別体の装置とすることなく、同一の装置とすることができる。例えば、機械学習装置4と粒度分布予測装置5として同一のパーソナルコンピュータを用いることができる。すなわち、当該パーソナルコンピュータが、機械学習装置4と粒度分布予測装置5と兼ねることができる。
【0047】
また、粒度分布予測システム1は、(a)撮像装置3としてデジタルカメラ等により画像データを取得して、機械学習装置4としてパーソナルコンピュータで機械学習を行う形態、(b)撮像装置3としてスマートフォン内蔵カメラで画像データを取得して、当該画像データを無線通信により、機械学習装置4としてのサーバーコンピュータに送信して、当該サーバーコンピュータで機械学習を行う形態、また、(c)撮像装置3としてスマートフォン内蔵カメラで画像データを取得して、当該スマートフォンを機械学習装置4としても利用する形態、など種々のシステム構成を採ることが
上記の(a)の形態は、デジタルカメラ等により取得した画像データのファイルを、機械学習装置4としてのパーソナルコンピュータに読み込ませることで機械学習を行う。このような機械学習の形態は、多数の画像データを一括して学習する場合に適した形態である。
【0048】
一方、(b)、(c)の形態は、盛土・土質材料試料10の画像データ取得と同時並行的に機械学習を行うことができる。また、(b)、(c)の形態で、スマートフォンを粒度分布予測装置5としても用いれば、施工現場において抜き取り検査や全数検査を行うことが可能となる。無線通信を行うことができないような場合は、(c)の形態での運用となる。(b)の形態での運用では、画像データや学習モデル2などをサーバ型のコンピュータで一括して蓄積することが可能となり利便性が高い。
【0049】
撮像装置3は、例えば、CMOSセンサーやCCDセンサー等のイメージセンサーで構成されるカメラを備え、盛土・土質材料試料10の全体を撮像する。なお、撮像装置3は、手持ち式又は固定設置式のカメラであって、例えば、作業者が操作して画像を撮像するものでもよいし、所定の撮像条件が満たされたときに自動で画像を撮像するものでもよい。また、本実施形態では、一つの撮像装置3によって、盛土・土質材料試料10全体を撮像するようにしているが、複数の撮像装置3によって、盛土・土質材料試料10を撮像するようにしてもよい。
【0050】
撮像装置3は、撮像装置3の画角内に盛土・土質材料試料10を撮像し、所定の画像形式に基づいてデジタルデータとしての画像を出力する。なお、撮像装置3は、
図1に示すように、機械学習装置4に接続された撮像装置3と、粒度分布予測装置5に接続された撮像装置3とが別々に設けられてもよいし、1つの撮像装置3が機械学習装置4及び粒度分布予測装置5の双方に接続されて共用されてもよい。また、
図1では、簡略化のため、1つの撮像装置3が、機械学習装置4及び粒度分布予測装置5にそれぞれ接続されているが、複数の撮像装置3がそれぞれ接続されていてもよい。
【0051】
機械学習装置4は、汎用又は専用のコンピュータ等で構成され得る。機械学習装置4は、機械学習における学習フェーズの主体として動作する。機械学習装置4は、撮像装置3により撮像された画像(学習用画像)を含む学習データを用いて、学習モデル2の機械学習を実施する。機械学習装置4は、学習済みの学習モデル2をネットワーク7や記録媒体等を介して粒度分布予測装置5に提供する。なお、コンピュータの構成例については、後述する。
【0052】
粒度分布予測装置5は、汎用又は専用のコンピュータ等で構成され得る。粒度分布予測装置5は、機械学習における推論フェーズの主体として動作する。粒度分布予測装置5は、機械学習装置4により学習済みの学習モデル2を用いて、撮像装置3により撮像された画像(予測用画像)から盛土・土質材料試料10の予測を行う。
【0053】
端末装置6は、汎用又は専用のコンピュータ等で構成され得る。端末装置6は、粒度分布予測システム1にて、学習データの準備、学習モデル2の機械学習、盛土・土質材料試料10の粒度分布予測を行うために、入力画面を介して各種の操作入力を受け付けるとともに、アプリケーションやブラウザ等の表示画面を介して各種の情報を表示する。また、
図1では、簡略化のため、1つの端末装置6を図示しているが、端末装置6は複数でもあってもよい。また、端末装置6を省略することもできる。
(機械学習装置4)
図2は、本発明の実施形態に係る機械学習装置4の一例を示すブロック図である。機械学習装置4は、制御部40、通信部41、学習データ記憶部42、及び、学習済みモデル記憶部43を備える。
【0054】
撮像装置3は学習用画像30を撮像し、機械学習装置4に送信する。機械学習装置4の制御部40は、学習データ作成部410、学習データ取得部400及び機械学習部401として機能する。通信部41は、ネットワーク7を介して外部装置(例えば、撮像装置3、粒度分布予測装置5及び端末装置6等)と接続され、各種のデータを送受信する通信インターフェースとして機能する。
【0055】
学習データ作成部410は、例えば、撮像装置3で撮像された学習用画像から学習データを作成する。学習データ作成部410では、概略、
図3に示すような学習データの作成のフローチャートに基づいて学習データの作成処理がなされる。
図4は学習データの作成処理で実行される二値化処理と輝度の調整処理の具体例を示す図である。
【0056】
当該フローチャートにおいて、ステップS1では、撮像装置3で撮像された学習用画像30のデータを取得する。通常、撮像装置3で撮像される画像はカラーであるので、ステップS2で二値化処理を施して画像をモノクロ化する(
図4参照)。盛土・土質材料試料10は産地によって色味が異なるので、本発明においては、このような二値化処理を施すことで産地由来の差異を排除するようにしている。
【0057】
続いて、ステップS3では、輝度の調整処理が施される(
図4参照)。本ステップでは、撮像装置3で撮像された画像の輝度の平均値が、必ず、256(階調)の半値である128となるようにする処理が施される。
【0058】
輝度の調整処理の方法は種々あるが、本発明においては、
(画像データの輝度値)-(画像データの輝度の平均値)+128
の計算式を実行することで輝度の調整を行った。ここで、レンジオーバーした値は切り捨て処理をした。標準偏差などを考慮することで、より精度の高い輝度の調整を行うことができるが、計算が煩雑となるために、本発明においては、先の計算式を利用するようにしている。当該計算式を用いたたとしても、実用上は特に問題がないことを確認している。
【0059】
本発明においては、画像に対して、ステップS3のような輝度の調整処理が施されるために、撮像装置3で画像を撮像する際の撮影条件等の影響を排除することが可能となる。
【0060】
ステップS4では、上記のように二値化処理・輝度調整処理が施された画像を入力データとし、室内土質試験結果を出力データとして対応付けることで、一つの学習データとする。
図5に、このような学習データをいくつか示す。
【0061】
図5は本発明の実施形態に係る機械学習装置4により学習される学習データの例を示す図である。本発明においては、標準的な土質の区分(細粒分(0.000~0.075[mm])、砂分(0.075~2.000[mm])、礫分(2.000~19.000[mm])に基づいて盛土・土質材料試料10の細粒分、砂分、礫分の割合を決定するものである。
【0062】
図5(A)は細粒分や比較的小径の砂分の割合が多い場合の学習データを示している。一方、
図5(C)は礫分の割合が多い場合の学習データを示している。
図5(B)はこれらの中間で、細粒分、砂分、礫分をまんべんなく含んだ場合の学習データを示している。
【0063】
図2に戻り、学習データ取得部400は、学習データ作成部410で作成された学習データを取得する。また、学習データ取得部400は、外部装置と通信部41及びネットワーク7を介して接続されているので、入力データ及び出力データが対応付けられて構成される学習データを、外部装置から取得するようにしてもよい。
【0064】
学習データ記憶部42は、学習データ取得部400で取得した学習データを複数組記憶するデータベースである。なお、学習データ記憶部42を構成するデータベースの具体的な構成は適宜設計すればよい。
【0065】
機械学習部401は、学習データ記憶部42に記憶された学習データを用いて機械学習を実施する。すなわち、機械学習部401は、学習モデル2に学習データを複数組入力することで、学習データを構成する入力データと出力データとの相関関係を学習モデル2に機械学習させることで、学習モデル2を生成する。
【0066】
学習済みモデル記憶部43は、機械学習部401により機械学習させた学習済みの学習モデル2を記憶するデータベースである。学習済みモデル記憶部43に記憶された学習モデル2は、ネットワーク7や記録媒体等を介して実システム(例えば、粒度分布予測装置5)に提供される。なお、学習モデル2は、外部コンピュータ(例えば、サーバ型コンピュータやクラウド型コンピュータ)に提供されて、外部コンピュータの記憶部に記憶されてもよい。また、
図2では、学習データ記憶部42と、学習済みモデル記憶部43とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。
【0067】
次に、学習モデル2について説明する。
図6は本発明の実施形態に係る学習モデル2に適用されるニューラルネットワークモデル20の一例を示す概略図である。
【0068】
ニューラルネットワークモデル20は、機械学習の具体的な手法として、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を採用したものである。ニューラルネットワークモデル20は、入力層21と、中間層23と、出力層27とを備えており、データ(機械学習の場合は学習データ、予測の場合は予測用の画像データ)は入力層21に入力され、中間層23を経て、出力層27に出力される流れとなっている。入力層21は、入力データとしての画像データの画素数に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。
【0069】
入力層21から入力されたデータは、点線で示される第1ルート、一点鎖線で示される第2ルート、二点鎖線で示される第3ルートを経て、結合層、出力層へと順次データ処理がなされていく。このように複数のルートを経ることは、本発明の実施形態に係るニューラルネットワークモデル20の一つの特徴点であるということができる。
【0070】
中間層23は、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層を有している。図中、221、222、223、224のそれぞれが単位中間層である。
【0071】
例えば、単位中間層221を見ると、畳み込み層c→アベレージプーリング層a→畳み込み層c→アベレージプーリング層a→畳み込み層c→アベレージプーリング層aの順で各層が並んでいる。ここで、アベレージプーリング層aは、画像における輪郭をぼやかす効果を有している。単位中間層221のように、画像をアベレージプーリング層aで3回処理することは、画像を大きい度合いでぼやかしていることを意味している。このように大きい度合いでぼやかしているにも関わらず、画像中の形が認識できれば、認識できたものは大きいものであり、礫分である可能性が高いなどと判断できる。
【0072】
一方、単位中間層224を見ると、畳み込み層c→マックスプーリング層m→畳み込み層c→マックスプーリング層m→畳み込み層c→マックスプーリング層mの順で各層が並んでいる。マックスプーリング層mは、画像における輪郭を強調する効果を有している。単位中間層221のように、画像をマックスプーリング層mで3回処理することは、画像における輪郭を大きい度合いで強調していることを意味している。このように大きい度合いで強調しているにも関わらず、画像中における形の認識が困難であれば、認識できたものは形がほとんどない、細粒分や小径の砂分である可能性が高いなどと判断できる。
【0073】
単位中間層222は、畳み込み層c→マックスプーリング層m→畳み込み層c→アベレージプーリング層a→畳み込み層c→アベレージプーリング層aの順で各層が並んでおり、どちらかというと、画像における輪郭をぼやかす効果を有している。
【0074】
単位中間層223は、畳み込み層c→マックスプーリング層m→畳み込み層c→マックスプーリング層m→畳み込み層c→アベレージプーリング層aの順で各層が並んでおり、どちらかというと、画像における輪郭を強調する効果を有している。
【0075】
本発明の実施形態に係るニューラルネットワークモデル20の単位中間層は、例えば、単位中間層223では、2回のマックスプーリング層による処理と、1回のアベレージプーリング層による処理とを含んでいるが、プーリング層による処理の回数は3回に限定されるものではなく任意である。
【0076】
上記のように構成される単位中間層は選択的にデータ処理に利用される。第1ルートでは、単位中間層221と単位中間層222とによりデータが処理される。本明細書では、単位中間層221と単位中間層222とからなる中間層を、組み合わせ中間層として定義する。
【0077】
第2ルートでは、単位中間層221と単位中間層222と単位中間層223とによりデータが処理される。第2ルートでは、単位中間層221と単位中間層222と単位中間層223とからなる中間層が、組み合わせ中間層である。
【0078】
第3ルートでは、単位中間層222と単位中間層223と単位中間層224とによりデータが処理される。第3ルートでは、単位中間層222と単位中間層223と単位中間層224とからなる中間層が、組み合わせ中間層である。
【0079】
本実施形態においては、ルートが3つあり、組み合わせ中間層の数は3であるが、設定する組み合わせ中間層の数は任意であり、特に組み合わせ中間層の数が3に限定される分けではない。
【0080】
第1ルートにおける組み合わせ中間層で処理されたデータは第1結合層251に入力され、組み合わせ中間層で取り出された特徴量に対する分類分けが行われる。同様に、第2ルートにおける組み合わせ中間層で処理されたデータは第2結合層252に入力され、組み合わせ中間層で取り出された特徴量に対する分類分けが行われる。同様に、第3ルートにおける組み合わせ中間層で処理されたデータは第3結合層253に入力され、組み合わせ中間層で取り出された特徴量に対する分類分けが行われる。
【0081】
第1結合層251からの出力、第2結合層252からの出力、第3結合層253からの出力はソフトマックス関数処理部26を経て、出力層27へと至る。ソフトマックス関数処理部26は、出力層27における各出力の合計が1となるように処理を行う。出力層27における各出力は、それぞれの結合層から出力された特徴ベクトルに基づいて、画像データに含まれる粒度分布の割合の判定結果を含む出力データを出力する。
【0082】
本発明においては、ニューラルネットワークモデル20は、畳み込み層(コンボリューション層)とプーリング層から構成されており、その組み合わせにより優位に検出する粒度が異なる特性を有している。
【0083】
ニューラルネットワークモデル20においては、前記したように、複数の特性を有するネットワークを組み合わせることで、盛土・土質材料試料10の幅広い粒度特性に対応した予測を可能としており、予測精度を確保している。例えば、画像のエッジを強調するマックスプーリング層mで細粒成分の検出性を確保し、平均的な画像を得るアベレージプーリング層aで粗粒成分の検出性を確保している。
【0084】
ニューラルネットワークモデル20における畳み込みニューラルネットワークを構成する畳み込み層とプーリング層の特性を調節すること、特性の異なる畳み込みネットワーク(組み合わせ中間層)の数を調整することで、粒度分布予測装置5のカスタマイズが可能であり、特定の土質材料、特定目的の土質区分に対応可能である。複数の学習済み学習モデル2を準備し、適宜学習モデル2を選択することで土質判定用途にあった予測結果が得られる粒度分布予測装置5を構築することも可能である。
【0085】
JIS粒度試験と比較すると、本発明に係る粒度分布予測装置5による予測結果は、細粒分、砂分及び礫分の土質区分において、95%以上の判定精度を有している。また、JIS粒度試験と本発明に係る粒度分布予測装置5の予測における加積粒度分布曲線を比較すると、両者の曲線は概ね一致しており、実務上問題が生じない精度での予測結果となっている。また、この曲線から求まる粒度分布に関する定数の1つである50%粒径D50などの値も、実務上問題が生じない精度を有する。
【0086】
図7は各出力層で得られる推論結果を説明する図である。
図7に示すように、第1出力は粒径が0.000~0.075[mm]であるもの比率(これを(1)とする)であり0から1の間の値をとり得る。
【0087】
また、第2出力は粒径が0.075~0.106[mm]であるもの比率(これを(2)とする)であり0から1の間の値をとり得る。
【0088】
また、第3出力は粒径が0.106~0.250[mm]であるもの比率(これを(3)とする)であり0から1の間の値をとり得る。
【0089】
また、第4出力は粒径が0.250~0.425[mm]であるもの比率(これを(4)とする)→であり0から1の間の値をとり得る。
【0090】
また、第5出力は粒径が0.425~0.850[mm]であるもの比率(これを(5)とする)であり0から1の間の値をとり得る。
【0091】
また、第6出力は粒径が0.850~2.000[mm]であるもの比率(これを(6)とする)であり0から1の間の値をとり得る。
【0092】
また、第7出力は粒径が2.000~4.750[mm]であるもの比率(これを(7)とする)であり0から1の間の値をとり得る。
【0093】
また、第8出力は粒径が4.750~9.500[mm]であるもの比率(これを(8)とする)であり0から1の間の値をとり得る。
【0094】
また、第9出力は粒径が9.500~19.000[mm]であるもの比率(これを(9)とする)であり0から1の間の値をとり得る。
【0095】
機械学習部401は、学習データをニューラルネットワークモデル20に入力し、入力データ(学習用画像30に基づく画像データ)と、出力データ(各粒径分布の比率)との相関関係をニューラルネットワークモデル20に機械学習させる。具体的には、機械学習部401は、学習データを入力データとして、ニューラルネットワークモデル20の入力層21に入力する。
【0096】
機械学習部401は、出力層23から推論結果として出力された出力データと、当該学習データを構成する出力データ(正解ラベル)とを比較する誤差関数を用いて、誤差関数の評価値が小さくなるように、各シナプスに対応付けられた重みを調整する(バックプロバケーション)ことを反復する。
【0097】
機械学習部401は、上記の一連の処理を所定の回数反復実施することや、誤差関数の評価値が許容値より小さくなること等の所定の学習終了条件が満たされたと判断した場合には、機械学習を終了し、そのときのニューラルネットワークモデル20(各シナプスのそれぞれに対応付けられた全ての重みからなる重みパラメータ群)を、学習済みの学習モデル2として学習済みモデル記憶部43に格納する。なお、機械学習部401は、学習モデル2の機械学習を実施する際、重みを調整する手法として、例えば、オンライン学習、バッチ学習、ミニバッチ学習等を採用してもよいし、複数組の学習データを訓練データとテストデータに分割して学習モデル2を評価する手法として、例えば、ホールドアウト法、交差検証等を採用してもよいし、所定の学習終了条件として、誤判定率が最小であることを判定するようにしてもよい。
(粒度分布予測装置5)
図8は、本発明の実施形態に係る粒度分布予測装置5の一例を示すブロック図である。粒度分布予測装置5は、制御部50、通信部51、及び、学習済みモデル記憶部52を備える。
【0098】
制御部50は、判定データ取得部500、判定データ作成部510、推論部501及び出力処理部502として機能する。通信部51は、ネットワーク7を介して外部装置(例えば、撮像装置3、機械学習装置4及び端末装置6等)と接続され、各種のデータを送受信する通信インターフェースとして機能する。
【0099】
判定データ取得部500は、撮像装置3などの外部装置と通信部51及びネットワーク7を介して接続され、盛土・土質材料試料10が撮像された予測用画像31を含む判定データを取得する。判定データ作成部510は、予測用画像31を推論部501に入力可能な画像データに加工する。より具体的には、判定データ作成部510は、予測用画像から画像を切り出して二値化の処理や輝度調整の処理を行う。
【0100】
推論部501は、判定データ取得部500により取得された画像データを学習モデル2に入力することにより、盛土・土質材料試料10の粒度分布の比率を推論する推論処理を行う。
【0101】
学習済みモデル記憶部52は、推論部501の推論処理にて用いられる学習済みの学習モデル2を記憶するデータベースである。なお、学習済みモデル記憶部52に記憶される学習モデル2の数は1つに限定されず、例えば、機械学習の手法が異なる複数の学習済みモデルが記憶され、選択的に利用可能としてもよい。また、学習済みモデル記憶部52は、外部コンピュータ(例えば、サーバ型コンピュータやクラウド型コンピュータ)の記憶部で代用されてもよく、その場合には、推論部501は、当該外部コンピュータにアクセスすることで、上記の推論処理を行ってもよい。
【0102】
出力処理部502は、推論部501により推論された盛土・土質材料試料10の画像データに対する粒度分布の比率の予測結果を出力するための出力処理を行う。予測結果を出力するための具体的な出力手段は、種々の手段を採用することが可能である。例えば、出力処理部502は、判定結果を端末装置6に送信したり、さらに画面表示したりしてもよいし、判定結果を粒度分布予測装置5の記憶部に記憶したりしてもよい。
【0103】
ここでの学習モデル2は、機械学習装置4にて複数組の学習データを用いて、学習用画像30から作成された画像データと、粒度分布の比率とのの相関関係を機械学習させたものであり、重みパラメータ群が調整済み(学習済み)の学習モデル2である。したがって、推論部501は、予測用画像31から切り出された画像データを学習モデル2に入力することにより、当該予測用画像31の画像データにおける粒度分布の比率を推論することができる。
【0104】
なお、予測用画像31に含まれる画像データに対する粒度分布の比率の予測結果は、学習済みモデル記憶部52や他の記憶装置(不図示)に記憶されることが好ましく、過去の予測結果は、例えば、学習済みの学習モデル2の推論精度の更なる向上のため、オンライン学習や再学習に用いられる学習データとして利用してもよい。
(スマートフォン800の構成)
本発明に係る粒度分布予測装置で利用され得るコンピュータの一例であるスマートフォン800の構成について説明する。
図9は本発明の実施形態に係る粒度分布予測システム1を構成し得るスマートフォン800のハードウエア構成図である。なお、本実施形態では、コンピュータとしてスマートフォンを用いる例に基づいて説明するが、本発明に係る粒度分布予測装置ではコンピュータとしてはタブレット端末装置など他のものも利用され得る。
【0105】
制御部811は、演算処理装置(プロセッサ、Central Processing Unit)や、この演算処理装置上で実行される各種プログラムなどに相当する構成である。前記演算処理装置上で動作する基本オペレーティングシステム816には、例えば、カレンダーや時計の基本的な計時機能等を実現するプログラムも含まれている。
【0106】
記憶部815は、データを記憶しておく揮発性メモリ(DRAM、SRAM等)や不揮発性メモリ(ROM、フラッシュメモリ等)などのストレージである。この記憶部815においては、制御部811が書き込んだデータを保持したり、書き込まれているデータが制御部811によって参照されたり、或いは、制御部811が不要となったデータを消去したりすることができるようになっている。
【0107】
記憶部815には、基本オペレーティングシステム816と、この基本オペレーティングシステム816上で動作する本発明の粒度分布予測装置アプリケーションプログラム817と、この粒度分布予測装置アプリケーションプログラム817によって利用される学習モデル2などが記憶されている。記憶部815に記憶されている各プログラムは、制御部811において実行される。
【0108】
本発明に係る粒度分布予測装置は、記憶部815にインストールされたアプリケーションソフトウェアである粒度分布予測装置アプリケーションプログラム817に基づいて、制御部811が各種処理を実行することで各種機能が実現されるようになっている。
【0109】
図において、制御部811と連結されたブロック構成(例えば、タッチパネル部830など)に対して各種制御指令を発したり、各種データを転送したり、また、当該ブロック構成で取得されたデータを受けたりすることができるようになっている。
【0110】
通信部820は、無線通信によって外部の機器とデータ通信、音声通話を実現するものでる。通信部820は、制御部11の指令に基づいて、例えば、記憶部815に書き込まれたデータを外部機器に送信したり、外部機器からの受信したデータを制御部811に転送したりすることなどができる。
【0111】
GPS受信部823は、複数の衛星からのGPS(Global Positioning System)信号を受信することで、自らの緯度・経度を特定する構成である。GPS受信部823で特定された緯度・経度は制御部811に送信される。制御部811は、記憶部815に記憶されている地図データ・アプリケーション(不図示)と連携することで、地図上におけるスマートフォン800自身の存在位置、ひいては、スマートフォン800を携帯していることが想定されるユーザーの位置を割り出す。特に、粒度分布予測装置5としてスマートフォン800を用いた場合、このようなGPS受信部823が設けられているのが一般的であるため、盛土・土質材料試料10の採取場所と、画像データと、予測された粒度分布の比率とを対応付けることなどが可能となる。
【0112】
撮像部825は、静止画像撮像データや動画像撮像データを取得する構成である。このような撮像部825で取得された静止画像撮像データや動画像撮像データは、制御部811で画像処理され、タッチパネル部830に表示されたり、必要に応じて記憶部815に保存されたりする。記憶部815に保存された静止画像撮像データは、粒度分布予測装置5で利用可能に構成することができる。
【0113】
スマートフォン800に設けられているタッチパネル部830は、ユーザーインターフェースとして利用される。タッチパネル部830は、ユーザーの指の接触を検知することで、ユーザーが情報を入力できる入力部831と共に、ユーザーに対して情報を表示する表示部832とが一体となったものである。タッチパネル部830において、表示部832と入力部831とは重ねられるように設けられると共に、入力部831は透明とされているので、ユーザーは表示部832の表示に対して指を接触させることで、表示に基づいた入力を行うことができるようになっている。このようなタッチパネル部830に基づいたユーザーによる入力操作については、従来周知の技術が本発明に適用される。
【0114】
タッチパネル部830の入力部831は、例えば静電容量方式のものを用いることができる。また、タッチパネル部830の表示部32には、例えばLCD(Liquid Crystal Display)や有機EL(Electroluminescence)などの表示装置を用いることができる。
【0115】
スマートフォン800におけるタッチパネル部830で一般的に知られている「タップ」、「ダブルタップ」、「ロングタップ」、「ドラッグ」、「ムーブ」、「フリック」、「スワイプ」、「ピンチ」、「ピンチアウト」と称される各入力操作は、本発明に係る粒度分布予測装置5においても採用され得る。
【0116】
音声処理部835は、音声信号の変復調を行う。音声処理部835は、マイク836から与えられる信号を変調して、変調後の信号を制御部811へ与える。また、音声処理部835は、音声信号をスピーカー837へ与える。音声処理部835は、例えば、音声処理用のプロセッサによって実現される。マイク836は、音声信号の入力を受け付けて制御部811へ出力するための音声入力部として機能する。スピーカー837は、音声信号を、スマートフォン800の外部へ出力するための音声出力部として機能する。
【0117】
加速度センサー841は、スマートフォン800に対して加えられる加速度を計測する慣性センサーであり、例えば、加速度の検出方式としてMEMS(Micro Electro Mechanical System)技術を応用したMEMS加速度センサーを利用することができる。
【0118】
地磁気センサー842は、磁場(磁界)の大きさ、方向を計測するセンサーである。地磁気センサー42としては、ホール素子のホール効果を利用したホール素子センサーや、磁気抵抗素子を用いたMRセンサーなどを用いることができる。
【0119】
また、ジャイロセンサー843は、スマートフォン800の回転角速度を計測する角速度センサーである。このようなジャイロセンサー43としては、MEMS技術を用いた振動式ジャイロセンサーを好適に用い得る。
(コンピュータ900の構成)
図10は、粒度分布予測システム1の各装置3~6を構成し得るコンピュータ900の一例を示すハードウエア構成図である。
【0120】
粒度分布予測システム1の各装置3~6は、汎用又は専用のコンピュータ900により構成される。コンピュータ900は、その主要な構成要素として、バス910、プロセッサ912、メモリ914、入力デバイス916、出力デバイス917、表示デバイス918、ストレージ装置920、通信I/F(インターフェース)部922、外部機器I/F部924、I/O(入出力)デバイスI/F部926、及び、メディア入出力部928を備える。なお、上記の構成要素は、コンピュータ900が使用される用途に応じて適宜省略されてもよい。
【0121】
プロセッサ912は、1つ又は複数の演算処理装置(CPU(Central Processing Unit)、MPU(Micro-processing unit)、DSP(digital signal processor)、GPU(Graphics Processing Unit)等)で構成され、コンピュータ900全体を統括する制御部として動作する。メモリ914は、各種のデータ及びプログラム930を記憶し、例えば、メインメモリとして機能する揮発性メモリ(DRAM、SRAM等)と、不揮発性メモリ(ROM、フラッシュメモリ等)とで構成される。
【0122】
入力デバイス916は、例えば、キーボード、マウス、テンキー、電子ペン等で構成され、入力部として機能する。出力デバイス917は、例えば、音(音声)出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス918は、例えば、液晶ディスプレイ、有機ELディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス916及び表示デバイス918は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置920は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等で構成され、記憶部として機能する。ストレージ装置920は、オペレーティングシステムやプログラム930の実行に必要な各種のデータを記憶する。
【0123】
通信I/F部922は、インターネットやイントラネット等のネットワーク940(
図1のネットワーク7と同じでもよい)に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器I/F部924は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器950に有線又は無線により接続され、所定の通信規格に従って外部機器950との間でデータの送受信を行う通信部として機能する。I/OデバイスI/F部926は、各種のセンサー、アクチュエーター等のI/Oデバイス960に接続され、I/Oデバイス960との間で、例えば、センサーによる検出信号やアクチュエーターへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部928は、例えば、DVD(Digital Versatile Disc)ドライブ、CD(Compact Disc)ドライブ等のドライブ装置で構成され、DVD、CD等のメディア(非一時的な記憶媒体)970に対してデータの読み書きを行う。
【0124】
上記構成を有するコンピュータ900において、プロセッサ912は、ストレージ装置920に記憶されたプログラム930をメモリ914に呼び出して実行し、バス910を介してコンピュータ900の各部を制御する。なお、プログラム930は、ストレージ装置920に代えて、メモリ914に記憶されていてもよい。プログラム930は、インストール可能なファイル形式又は実行可能なファイル形式でメディア970に記録され、メディア入出力部928を介してコンピュータ900に提供されてもよい。プログラム930は、通信I/F部922を介してネットワーク940経由でダウンロードすることによりコンピュータ900に提供されてもよい。また、コンピュータ900は、プロセッサ912がプログラム930を実行することで実現する各種の機能を、例えば、FPGA(field-programmable gate array)、ASIC(application specific integrated circuit)等のハードウエアで実現するものでもよい。
【0125】
コンピュータ900は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ900は、コンピュータ900の使用用途に応じて、クライアント型コンピュータやエッジ型コンピュータで構成されてもよいし、サーバ型コンピュータやクラウド型コンピュータで構成されてもよい。
(機械学習方法)
図11は、本発明の実施形態に係る機械学習装置4による機械学習方法の一例を示すフローチャートである。
【0126】
まず、ステップS100において、学習データ取得部400は、機械学習を開始するための事前準備として、所望の数の学習データを準備し、その準備した学習データを学習データ記憶部42に記憶する。ここで準備する学習データの数は、最終的に得られる学習モデル2に求められる推論精度を考慮して設定すればよい。
【0127】
学習データを準備する方法には、いくつかの方法を採用することができる。例えば、撮像装置3を用いて盛土・土質材料試料10の学習用画像30を撮像し、端末装置6を用いて、室内土質試験結果と対応付けていく。このような作業を、新たな盛土・土質材料試料10が出現する毎に繰り返すことで学習データを複数組準備することが可能である。
【0128】
次に、ステップS110において、機械学習部401は、機械学習を開始すべく、学習前の学習モデル2を準備する。
【0129】
次に、ステップS120において、機械学習部401は、学習データ記憶部42に記憶された複数組の学習データから、例えば、ランダムに1組の学習データを取得する。
【0130】
次に、ステップS130において、機械学習部401は、1組の学習データに含まれる入力データを、準備された学習前(又は学習中)の学習モデル2の入力層に入力する。その結果、学習モデル2の出力層から推論結果として出力データが出力されるが、当該出力データは、学習前(又は学習中)の学習モデル2によって生成されたものである。そのため、学習前(又は学習中)の状態では、推論結果として出力された出力データは、学習データに含まれる出力データ(正解ラベル)とは異なる情報を示す。
【0131】
次に、ステップS140において、機械学習部401は、ステップS120において取得された1組の学習データに含まれる出力データ(正解ラベル)と、ステップS130において出力層から推論結果として出力された出力データとを比較し、各シナプスの重みを調整することで、機械学習を実施する。これにより、機械学習部401は、入力データと出力データとの相関関係を学習モデル2に学習させる。
【0132】
次に、ステップS150において、機械学習部401は、所定の学習終了条件が満たされたか否かを、例えば、推論結果と、学習データに含まれる出力データ(正解ラベル)とに基づく誤差関数の評価値や、学習データ記憶部42内に記憶された未学習の学習データの残数に基づいて判定する。
【0133】
ステップS150において、機械学習部401が、学習終了条件が満たされておらず、機械学習を継続すると判定した場合(ステップS150でNo)、ステップS120に戻り、学習中の学習モデル2に対してステップS120~S140の工程を未学習の学習データを用いて複数回実施する。一方、ステップS150において、機械学習部401が、学習終了条件が満たされて、機械学習を終了すると判定した場合(ステップS150でYes)、ステップS160に進む。
【0134】
そして、ステップS160において、機械学習部401は、各シナプスに対応付けられた重みを調整することで機械学習させた学習済みの学習モデル2(調整済みの重みパラメータ群)を学習済みモデル記憶部43に記憶し、
図11に示す一連の機械学習方法を終了する。
【0135】
機械学習方法において、ステップS100が学習データ記憶工程、ステップS110~S150が機械学習工程、ステップS160が学習済みモデル記憶工程に相当する。なお、
図11に示す一連の機械学習方法では、重みを調整する手法として、オンライン学習を採用した場合について説明したが、バッチ学習やミニバッチ学習(例えば、100組の学習データ単位)等が採用されてもよい。また、複数組の学習データを訓練データとテストデータに分割した場合には、
図11に示す一連の機械学習方法は、訓練データを用いて実行されればよい。さらに、所定の学習終了条件が満たされたか否かを誤判定率に基づいて判定するようにしてもよい。
【0136】
以上のように、本実施形態に係る機械学習装置4及び機械学習方法によれば、撮像装置3より盛土・土質材料試料10の少なくとも一部が撮像された学習用画像30から、盛土・土質材料試料10の粒度分布予測を高精度に推論(判定、予測)することが可能な学習モデル2を提供することができる。
(粒度分布予測方法)
ここでは、撮像装置3と粒度分布予測装置5とを兼ねるスマートフォン800を粒度分布予測装置5として用いる例について説明する。まず、スマートフォン800の撮像部825で、予測用画像を撮像する上で、スマートフォン800にインストールされていると好ましいアプリケーションソフトウェアについて説明する。このようなアプリケーションソフトウェアは、予測用画像として適したものを撮像するように組まれたものである。
【0137】
図12は予測用画像撮像処理のフローチャートを示す図である。スマートフォン800による予測用画像の撮影者はタッチパネル部830を参照しつつ、
図13に示すように、マーカー15と盛土・土質材料試料10とを画角内に納めるようにすることが想定されている。
【0138】
アプリケーションソフトウェア側では、ステップS11では、画像認識によりマーカー15を検出する。ステップS12では、検出されたマーカーが真円であるか否かが判定される。
【0139】
ステップS12の判定がYESであると、ステップS13に進み撮像部825のシャッター(不図示)を切り、ステップS14に進み、撮像部825で取得した画像データを、記憶部815に格納する。一方、ステップS12の判定がNOであるときは、ステップS11に戻り、撮影者が適切な角度でマーカー15と盛土・土質材料試料10とを画角に納めるタイミングを待つ。
【0140】
このようなアプリケーションソフトウェアをマーカー15と盛土・土質材料試料10の撮像時に用いると、予測に適した予測用画像を取得することが容易となる。なお、画像の撮像において、上記のようなアプリケーションソフトウェアが用いられず、盛土・土質材料試料10の正面からの写真とならなかった場合、正面からの撮影画像となるようにマーカー15の形状から撮像画像の補正を行うようにすることができる。
【0141】
図14は、本発明の実施形態に係る粒度分布予測装置5による粒度分布予測方法の一例を示すフローチャートである。なお、
図14に示す一連の粒度分布予測方法は、粒度分布予測装置5により所定のタイミングにて繰り返し実行される。所定のタイミングは、任意のタイミングでよく、例えば、撮像装置3(又は撮像部825)が予測用画像31を新たに撮像したときでもよいし、所定の事象発生時(端末装置6から管理者や作業者による判定操作を受け付けた時、粒度分布予測システム1から判定指令を受信した時等)でもよい。
【0142】
ステップS200において、盛土・土質材料試料10が撮像装置(又は撮像部825)3により撮像されて、予測用画像31が粒度分布予測装置5に送信されることで、判定データ取得部500が、当該予測用画像31を含む判定データを取得する。
【0143】
ステップS210では、予測用画像31に映り込んでいるマーカーを基準に予測用画像から、複数の画像データを切り出す。
図15は予測用画像31からの画像データの切り出しを説明する図である。
図15に予測用画像31には、盛土・土質材料試料10と共にマーカー15が映り込んでいるが、このマーカー15の広さを基準として、マーカー15の近傍の矩形状の画像データを切り出して、それぞれの画像データを予測に供するようにする。
【0144】
本実施形態においては、1つの予測用画像31から5つの画像データを切り出すようにしているが、切り出す画像データの数が特に5つに限定される分けではなく、切り出す画像データの数は任意である。
【0145】
続く、ステップS220においては、切り出された画像データに対して二値化処理・輝度調整処理が施される。このような処理は、
図3のフローチャートに関連して説明した処理と同様であるので、詳細な説明を割愛する。
【0146】
次のステップS230では、学習モデル2に二値化処理・輝度調整処理が施された画像データを入力し、推論結果を出力する。次のS240では、全て(本実施形態では5つ)の画像データについて、推論が完了したか否かが判定される。当該判定の結果がNOであれば、ステップS280に進み、次の画像データについての処理を進めていく。
【0147】
一方、当該判定の結果がYESであれば、ステップS250に進む。ステップS250では、推論結果の平均を算出する。本実施形態では、5つの画像データに基づく推論結果の平均値が算出される。このステップS250では、
図7に示す(1)~(9)の値の平均値を得ることができる。
【0148】
続いて、ステップS260では、表示データ作成処理サブルーチンが実行される。表示データ作成処理サブルーチンでは、(1)~(9)の平均値に基づいて、各種の表示のためのデータの作成が実行される。
【0149】
図16は表示データ作成処理サブルーチンのフローチャートを示す図である。また、
図17は、表示データ作成処理サブルーチンによって作成されたデータの表示例を示すものである
図16において、ステップS300では、累積値の算出を行う。累積値は、(1)、(1)+(2)、(1)+(2)+(3)、(1)+(2)+(3)+(4)、・・・、(1)+(2)+(3)+(4)+(5)+(6)+(7)+(8)+(9)の9つの算出を行うことで得ることができる。これらの算出値は、
図17の表示例において、Aによって示される箇所に表示される。
【0150】
次のステップS310では、土出区分についての算出を行う。具体的には、細粒分の算出値としては(1)により、砂分の算出値は(2)+(3)+(4)+(5)+(6)により、また、礫分の算出値は(7)+(8)+(9)により得ることができる。これらの算出値は、
図17の表示例において、Bによって示される箇所に表示される。
【0151】
次のステップS320においてはD
10、D
20、D
30、D
40、D
50、D
60の各値を算出する。これらの算出式は周知のものが用いられ、
図17の表示例において、Cによって示される箇所に表示される。
【0152】
次のステップS330においては、これまで算出された算出値を表示すると共に、算出値に基づいたグラフが描画される。描画されるグラフは、
図17の表示例において、Dによって示される箇所に表示される。
【0153】
表示データ作成処理サブルーチンが終了しリターンすると、元の粒度分布予測方法のフローチャートに戻り処理が終了する。
【0154】
以上、本発明に係る粒度分布予測装置5によれば、判定データを前記学習モデルに入力し、盛土・土質材料試料が撮像された予測用画像を含む判定データに基づいて粒度分布が推論されるので、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる。
【0155】
また、学習モデル2がニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る粒度分布予測装置5によれば、より精度が高い粒度分布の予測を行うことができる。
【0156】
また、本発明に係る機械学習装置4によれば、土質判定者の経験や技能に依ることなく、精度高く、安定した粒度分布予測を短時間かつ簡便に行うことができる粒度分布予測装置に用いられる学習モデル2を生成することができる。
【0157】
また、学習モデル2がニューラルネットワークモデルで、複数の畳み込み層と複数のプーリング層との組み合わせを含む複数の単位中間層と、異なる単位中間層の組み合わせからなる複数の組み合わせ中間層と、を有する本発明に係る機械学習装置4によれば、より精度が高い粒度分布の予測を行うことができる粒度分布予測装置5に用いられる学習モデル2を生成することができる。
【0158】
また、本発明に係る粒度分布予測方法によれば、判定データを前記学習モデルに入力し、盛土・土質材料試料が撮像された予測用画像を含む判定データに基づいて粒度分布が推論されるので、精度高く粒度分布を予測することができる。
【0159】
また、本発明に係る機械学習方法によれば、精度高く粒度分布を予測することができる粒度分布予測装置5に用いられる学習モデルを生成することができる。
【0160】
上記実施形態における機械学習装置4の制御部40、又は、粒度分布予測装置5の制御部50が備える各部は、
図10に示すコンピュータ900のプロセッサ912にプログラムで実行させることで実現されるものでもよい。
【0161】
また、上記実施形態に係る粒度分布予測装置5の態様に代えて、盛土・土質材料試料10の粒度分布の予測・判定するために用いられる推論装置(推論方法又は推論プログラム)の態様で提供してもよい。この場合、推論装置は、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行する。
【0162】
当該一連の処理には、予測用画像31を含む判定データを取得するデータ取得処理と、データ取得処理にて判定データを取得すると、予測用画像31を学習モデルに入力し、予測用画像31に撮像された盛土・土質材料試料の粒度分布を推論する推論処理とが含まれる。
【0163】
上記の推論装置(推論方法又は推論プログラム)の態様で提供することで、粒度分布予測装置5を実装する場合に比して簡単に種々の装置への適用が可能となる。なお、推論装置(推論方法又は推論プログラム)が盛土・土質材料試料10の粒度分布を予測・判定する際、上記実施形態に係る機械学習装置4により生成された学習済みの学習モデル2を用いて、粒度分布予測装置5の推論部501が実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るものである。
【符号の説明】
【0164】
1・・・粒度分布予測システム
2・・・学習モデル
3・・・撮像装置
4・・・機械学習装置
5・・・粒度分布予測装置
6・・・端末装置
7・・・ネットワーク
10・・・盛土・土質材料試料
11・・・バット
15・・・マーカー
20・・・ニューラルネットワークモデル
21・・・入力層
221、222、223、224・・・単位中間層
c・・・畳み込み層
a・・・アベレージプーリング層
m・・・マックスプーリング層
23・・・中間層
251・・・第1結合層
252・・・第2結合層
253・・・第3結合層
26・・・ソフトマックス関数処理部
27・・・出力層
30・・・学習用画像
31・・・予測用画像
40・・・制御部
41・・・通信部
42・・・学習データ記憶部
43・・・学習済みモデル記憶部
50・・・制御部
51・・・通信部
52・・・学習済みモデル記憶部
400・・・学習データ取得部
401・・・機械学習部
410・・・学習データ作成部
500・・・判定データ取得部
501・・・推論部
502・・・出力処理部
510・・・判定データ作成部
800・・・スマートフォン(コンピュータの一例)
811・・・制御部
815・・・記憶部
816・・・基本オペレーティングシステム
817・・・粒度分布予測装置アプリケーションプログラム
818・・・データベース
820・・・通信部
823・・・GPS受信部
825・・・撮像部
830・・・タッチパネル部
831・・・入力部
832・・・表示部
835・・・音声処理部
836・・・マイク
837・・・スピーカー
841・・・加速度センサー
842・・・地磁気センサー
843・・・ジャイロセンサー
900・・・コンピュータ
910・・・バス
912・・・プロセッサ
914・・・メモリ
916・・・入力デバイス
917・・・出力デバイス
918・・・表示デバイス
920・・・ストレージ装置
922・・・通信I/F(インターフェース)部
924・・・外部機器I/F部
926・・・I/O(入出力)デバイスI/F部
928・・・メディア入出力部