特開 2024-61292 生コンクリートの品質予測システム及び生コンクリートの予測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024061292

(43)【公開日】2024-05-07

(54)【発明の名称】生コンクリートの品質予測システム及び生コンクリートの予測方法

(51)【国際特許分類】

   G01N 33/38 20060101AFI20240425BHJP

【ＦＩ】

G01N33/38

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022169149

(22)【出願日】2022-10-21

(71)【出願人】

【識別番号】000000240

【氏名又は名称】太平洋セメント株式会社

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】工藤 正智

(72)【発明者】

【氏名】石田 弘徳

(57)【要約】

【課題】練り混ぜ開始後、早期に生コンクリートの品質を、高い精度で予測可能な生コンクリートの品質予測システム及び生コンクリートの品質予測方法を提供する。
【解決手段】学習済みモデルが記憶される記憶部と、予測用入力データの入力を受け付ける入力部と、出力結果を出力する出力部とを備え、教師データは、練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、画像抽出情報、及び時系列情報を含む学習データ群に基づく学習用入力データと、品質予測情報を含む学習用出力データとが関連付けられたデータであり、予測用入力データとして、予測対象の生コンクリートの複数の画像データが入力され、出力結果として、当該予測対象の生コンクリートの品質予測情報を出力する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

教師データに基づく機械学習により生成された学習済みモデルが記憶される記憶部と、
予測用入力データの入力を受け付ける入力部と、
前記学習済みモデルによって導出される出力結果を出力する出力部とを備え、
前記教師データは、練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、生コンクリートの練り混ぜ時の状態に関連する情報である画像抽出情報、及び時間経過に伴う状態変化に関連する情報である時系列情報を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられたデータであり、
前記予測用入力データとして、練り混ぜられている予測対象の生コンクリートの複数の画像データが入力され、
前記出力結果として、当該予測対象の生コンクリートの前記品質予測情報を出力することを特徴とする生コンクリートの品質予測システム。

【請求項2】

前記学習用入力データ、及び前記予測用入力データは、生コンクリートを練り混ぜるミキサの羽根が、生コンクリートをすくい上げている状態の画像データを含む複数の画像データから抽出される前記画像抽出情報、及び前記時系列情報を含む前記学習データ群に基づくデータであることを特徴とする請求項１に記載の生コンクリートの品質予測システム。

【請求項3】

前記学習用入力データ、及び前記予測用入力データは、前記ミキサの羽根が生コンクリート中に沈んでいる状態の画像データと、生コンクリートをすくい上げている状態の画像データとを含む複数の画像データから抽出される前記画像抽出情報、及び前記時系列情報を含む前記学習データ群に基づくデータであることを特徴とする請求項２に記載の生コンクリートの品質予測システム。

【請求項4】

前記学習用入力データ、及び前記予測用入力データは、練り混ぜられている生コンクリートを撮影する撮像部によって、生コンクリートの練り混ぜられた生コンクリートが前記ミキサから排出されるまでの期間に取得された画像データから抽出された前記画像抽出情報、及び前記時系列情報を含む前記学習データ群に基づくデータであることを特徴とする請求項１～３のいずれか一項に記載の生コンクリートの品質予測システム。

【請求項5】

前記学習用入力データ、及び前記予測用入力データは、生コンクリートの配合関連情報、又は製造関連情報をさらに含む前記学習データ群に基づくデータであることを特徴とする請求項１～３のいずれか一項に記載の生コンクリートの品質予測システム。

【請求項6】

練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、生コンクリートの練り混ぜ時の状態に関連する情報である画像抽出情報、及び時間経過に伴う状態変化に関連する情報である時系列情報を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられた教師データに基づく機械学習により生成された学習済みモデルが記憶された記憶部を備え、
前記記憶部に対し、予測用入力データとして練り混ぜられている予測対象の生コンクリートの複数の画像データを入力し、前記複数の画像データを前記学習済みモデルに適用するステップ（Ａ）と、
前記学習済みモデルによって導出される当該予測対象の生コンクリートの前記品質予測情報を取得するステップ（Ｂ）とを含むことを特徴とする生コンクリートの品質予測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生コンクリートの品質を予測するためのシステム及び方法に関する。

【背景技術】

【0002】

生コンクリートは、使用用途や使用する現場の環境に応じて、要求される特性が異なる。そのため、従来、生コンクリートの製造工程においては、製造する生コンクリートが、要求される特性を満たすように、感覚や経験に基づいて、目視で練り混ぜ状態を確認して出荷していた。

【0003】

生コンクリートの品質に関連する重要な特性の一つとして、スランプ値がある。スランプ値は、硬化前のコンクリートのコンシステンシーを示す指標として用いられる値であり、一般的に生コンクリートの出荷時や荷卸し時には、当該生コンクリートのスランプ値が要求される数値範囲内であるかどうかの評価や検査が行われる。

【0004】

生コンクリートのスランプ値の評価結果や検査結果は、製造された生コンクリートを出荷できるかどうか、荷卸し現場にて使用できるかどうかの品質に関する合否判定の基準となる。このため、生コンクリートのスランプ値は、製造工場から出荷される前に、できる限り作業者の感覚や経験に依らず、高い精度で予測できることが期待されている。

【0005】

そこで近年では、生コンクリートのスランプ値をより高い精度で予測するために、ミキサ内の練り混ぜられている生コンクリートの画像データとスランプ値とを関連付けた教師データを適用した機械学習によって生成された学習済みモデルを用いて、生コンクリートのスランプ値を予測する方法が提案されている（下記特許文献１を参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１４４１３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１に記載されている予測方法は、十分高い精度で生コンクリートのスランプ値を予測できる。ただし、当該方法は、練り混ぜを開始して１～５分程度経過した後の、各種材料が攪拌され、十分に練り混ぜた状態の生コンクリートを撮影して得られる画像データに基づいて、スランプ値の予測が行われる。この主な理由は、練り混ぜが開始してしばらくは、材料が十分に混ざりあっておらず、生コンクリートの状態が刻々と変化することから、スランプ値の予測が安定しないためである。

【0008】

材料が十分に練り混ぜられるまでには、練り混ぜ開始から１～５分程度を要するため、練り混ぜている生コンクリートが、期待するスランプ値にはならないとの予測結果が得られた場合、数分の練り混ぜ工程が無駄となるがある。このような対応は、場合によっては、数十分、数時間の時間が無駄となってしまう可能性があり、生コンクリートの製造において品質の安定化に関する大きなリスクともなり得る。

【0009】

また、上記特許文献１に記載されている予測方法は、１枚１枚の画像で評価することで、十分高い精度で生コンクリートのスランプ値を予測できる。ただし、当該方法は、１枚１枚の画像から得られる予測結果を用いており、実際の熟練の技術者の評価では、動画で予測していることから熟練の技術者の感覚と近い予測が可能であることがより望ましい。

【0010】

上述したようなこれらのリスクの回避や、更なる生産効率の向上の観点から、最近では、材料が十分に練り混ぜられるのを待つことなく、練り混ぜ開始後、早期に生コンクリートのスランプ値等の流動性に基づく品質に関連する指標、又はその他の生コンクリートの品質に関連する指標を高い精度で予測できることが期待されている。

【0011】

本発明は、上記課題に鑑み、練り混ぜ開始後、早期に生コンクリートの品質を、高い精度で予測可能な生コンクリートの品質予測システム及び生コンクリートの品質予測方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の生コンクリートの品質予測システムは、
教師データに基づく機械学習により生成された学習済みモデルが記憶される記憶部と、
予測用入力データの入力を受け付ける入力部と、
前記学習済みモデルによって導出される出力結果を出力する出力部とを備え、
前記教師データは、練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、生コンクリートの練り混ぜ時の状態に関連する情報である画像抽出情報、及び時間経過に伴う状態変化に関連する情報である時系列情報を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられたデータであり、
前記予測用入力データとして、練り混ぜられている予測対象の生コンクリートの複数の画像データが入力され、
前記出力結果として、当該予測対象の生コンクリートの前記品質予測情報を出力することを特徴とする。

【0013】

上記品質予測システムの学習用入力データ、及び予測用入力データとして適用される画像データは、カメラによって取得されたデータをそのまま採用してもよく、ビデオカメラでの動画撮影によって取得された動画データから切り出された一フレームの画像データであってもよい。そして、「撮影時刻が異なる複数の画像データ」とは、異なる時間に写真撮影することで得られた複数の画像データであってもよく、取得した動画データの異なる時間のコマ画像を抽出して得た複数の画像データや、動画データを再生している最中に異なる時間でスナップショットして得た複数の画像データ等であっても構わない。なお、システムを構成するハードウェアの処理能力にもよるが、当然ながら「撮影時刻が異なる複数の画像データ」は、動画データを構成するフレーム単位の各画像データであってもよい。

【0014】

本発明の品質予測システムで用いられる学習済みモデルは、機械学習によって作成されるが、機械学習に用いられる学習方法については、「発明を実施するための形態」の項目において詳述される。

【0015】

画像抽出情報とは、複数の画像データに基づいて抽出される情報であって、例えば、生コンクリートの表面の振幅や、ミキサの羽根の動きによって生コンクリートが沈み込む深さ等である。

【0016】

時系列情報とは、異なる時刻に撮影された複数の画像データに基づく情報であって、例えば、練り混ぜ工程の時間経過に伴う、生コンクリートの表面の振幅の変化量や、ミキサの羽根の動きによって生コンクリートが沈み込む深さの変化量等である。

【0017】

上述したように、従来の品質予測方法は、練り混ぜ工程での時間経過に伴う生コンクリートの状態変化が小さくなった後でなければ、安定的に予測することができなかった。そこで、本発明者らは、生コンクリートの時間経過に伴う状態変化と、品質とを関連付けることに着目し、上記品質予測システムの着想を得た。

【0018】

時系列情報は、生コンクリートの品質の予測とともに、生コンクリートの練り混ぜ状態を把握することにも寄与すると考えられる。つまり、時系列情報は、画像抽出情報を抽出するために、どの時刻で取得された画像データを採用すべきかという点においても活用できる。

【0019】

以上より、上記構成の品質予測システムは、画像抽出情報と時系列情報とによって、より高精度に生コンクリートの品質予測が可能である。また、時系列情報は、練り混ぜ工程が進行すると、生コンクリートの状態がどのように変化するかの予測に利用することができる。このため、上記構成の品質予測システムは、生コンクリートが十分に練り混ぜられていない段階であっても、生コンクリートが十分に練り混ぜられた状態を予測して、生コンクリートの品質を予測することができる。

【0020】

上記品質予測システムにおいて、
前記学習用入力データ、及び前記予測用入力データは、生コンクリートを練り混ぜるミキサの羽根が生コンクリートをすくい上げている状態の画像データを含む複数の画像データから抽出される前記画像抽出情報、及び前記時系列情報を含む前記学習データ群に基づくデータであっても構わない。

【0021】

上記品質予測システムにおいて、
前記学習用入力データ、及び前記予測用入力データは、前記ミキサの羽根が生コンクリート中に沈んでいる状態の画像データと、生コンクリートをすくい上げている状態の画像データとを含む複数の画像データから抽出される前記画像抽出情報、及び前記時系列情報を含む前記学習データ群に基づくデータであっても構わない。

【0022】

上記構成によれば、生コンクリートの表面の振幅や、ミキサの羽根の動きによって生コンクリートが沈み込む深さ等、生コンクリートの状態を予測するために用いられる時系列情報に基づく特徴量が得やすくなる。したがって、上記構成の品質予測システムは、時系列情報による予測精度が高められるため、品質の予測精度がさらに向上するととも、より早い段階での品質予測が可能となる。

【0023】

上記品質予測システムにおいて、
前記学習用入力データ、及び前記予測用入力データは、練り混ぜられている生コンクリートを撮影する撮像部によって、生コンクリートの練り混ぜ開始から練り混ぜられた生コンクリートが前記ミキサから排出されるまでの期間に取得された画像データから抽出された前記画像抽出情報、及び前記時系列情報を含む前記学習データ群に基づくデータであっても構わない。

【0024】

上記品質予測システムにおいて、
前記学習用入力データ、及び前記予測用入力データは、生コンクリートの配合関連情報、又は製造関連情報をさらに含む前記学習データ群に基づくデータであっても構わない。

【0025】

生コンクリートを練り混ぜる容器内の環境パラメータ、生コンクリートの配合関連情報及び製造関連情報については、「発明を実施するための形態」の項目において、画像抽出情報等とともに詳述される。

【0026】

上記構成の品質予測システムは、画像抽出情報及び時系列情報に加えて更なる情報に基づいて、生コンクリートの品質に関連する指標を予測することができるため、予測精度がさらに向上する。

【0027】

本発明の生コンクリートの品質予測方法は、
練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる複数の画像データから抽出される、生コンクリートの練り混ぜ時の状態に関連する情報である画像抽出情報、及び時間経過に伴う状態変化に関連する情報である時系列情報を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられた教師データに基づく機械学習により生成された学習済みモデルが記憶された記憶部を備え、
前記記憶部に対し、予測用入力データとして練り混ぜられている予測対象の生コンクリートの複数の画像データを入力し、前記複数の画像データを前記学習済みモデルに適用するステップ（Ａ）と、
前記学習済みモデルによって導出される当該予測対象の生コンクリートの前記品質予測情報を取得するステップ（Ｂ）とを含むことを特徴とする。

【発明の効果】

【0028】

本発明によれば、練り混ぜ開始後、早期に生コンクリートの品質を、高い精度で予測可能な生コンクリートの品質予測システム及び生コンクリートの品質予測方法が実現される。

【図面の簡単な説明】

【0029】

【図1】生コンクリートの品質予測システムの一実施態様の模式的な全体構成図である。

【図2】一実施形態におけるメインサーバの構成を模式的に示すブロック図である。

【図3】ミキサの一部を模式的に示す図面である。

【図4】検証実験の結果をプロットしたグラフである。

【図5】所定の条件で取得した７枚の画像データが図示された図面である。

【図6】所定の条件で取得した７枚の画像データが図示された図面である。

【図7】所定の条件で取得した３０枚の画像データが図示された図面である。

【図8】検証実験の結果をプロットしたグラフである。

【発明を実施するための形態】

【0030】

以下、本発明の生コンクリートの品質予測システムについて、図面を参照して説明する。なお、以下の各図面は、いずれも模式的に図示されたものであり、図面上の個数は、実際の個数と必ずしも一致していない。

【0031】

本発明の生コンクリートの品質予測システムは、後述される撮影時刻が異なる複数の画像データから抽出される画像抽出情報、及び時系列情報を含む学習用入力データと、生コンクリートの品質予測情報を含む学習用出力データとを関連付けてなる教師データに基づく機械学習により生成された学習済みモデルを用いて、生コンクリートの品質を予測するシステムである。

【0032】

最初に、画像抽出情報及び時系列情報の詳細と、これらの情報と生コンクリートの品質との関係性について説明する。なお、学習用入力データは、配合関連情報及び製造関連情報を含んでいてもよいため、これらについてもここで併せて説明する。

【0033】

［画像抽出情報］
画像抽出情報は、ミキサ内の練り混ぜられている生コンクリートの画像データから抽出される情報であって、生コンクリートの粘度や含水量等を把握するとともに、所定の時間経過後に生コンクリートの状態を予測するための要素となる。このため、生コンクリートの品質の予測値に関連する品質予測情報は、画像抽出情報と関連付けることができる。

【0034】

したがって、画像抽出情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質を予測することができる。

【0035】

なお、画像抽出情報は、具体的には、生コンクリートの表面の振幅や、ミキサの羽根によって生コンクリートが沈み込む深さ等が挙げられる。学習済みモデルに適用される画像抽出情報は、上記の各画像抽出情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0036】

［時系列情報］
時系列情報は、ミキサ内の練り混ぜられている生コンクリートを異なる時刻で撮影して取得された複数の画像データに基づく、画像抽出情報、及び当該情報に関連する時間経過に伴う変化量の情報であって、画像抽出情報と組み合わせられることで、所定の時間経過後の生コンクリートの状態を予測するための要素となる。このため、生コンクリートの品質の予測値に関連する品質予測情報は、時系列情報と関連付けることができる。さらに、時系列情報は、練り混ぜを開始してから、十分な練り混ぜが行われるまでの生コンクリートの状態の変化に関する情報を含み得る。このため、画像抽出情報と時系列情報との組み合わせによれば、練り混ぜを開始してから早期の段階における画像抽出情報と、十分練り混ぜられた状態の生コンクリートの画像抽出情報とを関連付けることができる。

【0037】

したがって、画像抽出情報、及び時系列情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質を予測することができる。

【0038】

なお、時系列情報は、具体的には、時間変化に伴う生コンクリートの表面の振幅の変化量や、ミキサの羽根の動きによって生コンクリートが沈み込む深さの変化量等が挙げられる。学習済みモデルに適用される時系列情報は、上記の各時系列情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。また、学習済みモデルに適用される時系列情報は、撮影時刻が異なる複数の画像データから抽出される、当該学習済みモデルに適用される画像抽出情報とは別の特徴量に関する情報であっても構わない。

【0039】

［配合関連情報］
生コンクリートの配合関連情報とは、製造される生コンクリートにおける水和反応が進行する速度等に寄与する情報であって、生コンクリートの流動性等にどのような変化が生じ、時間経過によってどの程度のスランプロスが生じるかを予測するための要素となる。

【0040】

したがって、配合関連情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質をより高い精度で予測することができる。

【0041】

なお、配合関連情報は、具体的には、水セメント比（Ｗ／Ｃ）、セメント種類、混和剤種類、混和剤量、及び単位水量が挙げられる。学習済みモデルに適用される配合関連情報は、上記の各配合関連情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0042】

［製造関連情報］
生コンクリートの製造関連情報とは、練り混ぜ中の生コンクリートの硬さや流動性を確認できる要素であり、生コンクリートの品質を予測するための要素となる。また、上記配合関連情報との組み合わせによって、水和反応がどの程度進行しているか等を把握する要素として用いることができる。

【0043】

したがって、製造関連情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして学習が行われて生成された学習済みモデルが適用された品質予測システムは、生コンクリートの品質をより高い精度で予測することができる。

【0044】

なお、製造関連情報は、具体的には、ミキサ種類、ミキサ形式、練り混ぜ時間、練り混ぜ音、電力負荷値、練り混ぜ時の生コン温度、ミキサ内温湿度等が挙げられる。学習済みモデルに適用される製造関連情報は、上記の各製造関連情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0045】

また、上記の配合関連情報、及び製造関連情報のうちの、少なくとも一つの情報が、生コンクリート工場における既存の情報管理システムから取得される構成としても構わない。具体的には、既存の生コンクリート工場における、生コンクリートを出荷時に通常使用する、指定した材料の配合関連情報を管理するシステムから、上記の配合関連情報が取得されてもよい。さらに、生コンクリートの練り混ぜ時の状況を管理する管理システムから、練り混ぜ時間、練り混ぜ音、電力負荷値、練り混ぜ時の生コンクリートの温度、ミキサ内温湿度等の製造関連情報が取得されてもよい。なお、上記の情報管理システムは、配合関連情報、及び製造関連情報の取得方法に関する一例であって、各情報の取得方法を限定するものではない。

【0046】

以上より、画像抽出情報及び時系列情報を含む学習用入力データと、品質予測情報を含む学習用出力データとによって機械学習を行って生成された学習済みモデルが適用された品質予測システムは、時系列情報を含まない学習用入力データよって機械学習を行って生成された学習済みモデルが適用された品質予測システムよりも高い精度で、かつ、練り混ぜ開始から早期に生コンクリートの品質を予測することができる。

【0047】

さらに、配合関連情報及び製造関連情報を含む学習用入力データと、品質予測情報を含む学習用出力データとによって機械学習を行って生成された学習済みモデルが適用された品質予測システムは、生コンクリートの品質をより高い精度で予測することができる。

【0048】

学習済みモデルの学習に用いる教師データのサンプルの数は、学習用入力データからスランプ情報を導出するために必要な特徴量を抽出し、さらに予測精度を高める観点から、好ましくは１００以上、より好ましくは１，０００以上、さらに好ましくは１０，０００以上、さらに好ましくは５０，０００以上、特に好ましくは１００，０００以上である。さらに、各学習済みモデルにおける学習回数は、予測精度を高める観点から、好ましくは１，０００回以上、より好ましくは８，０００回以上、特に好ましくは１０，０００回以上であるが、特に限定されない。例えば、学習データとして質の高い１つのサンプルのみが教師データとして採用されても構わない。

【0049】

次に、本発明の品質予測ステムで用いられる学習済みモデルを作成するための機械学習の方法について説明する。本発明の品質予測ステムで用いられる学習済みモデルを作成するための機械学習の方法としては、例えば、ニューラルネットワーク、線形回帰、決定木、サポートベクター回帰、アンサンブル法、サポートベクターマシン、判別分析、単純ベイズ法、最近傍法等が挙げられる。これらの方法は、一種を単独で用いてもよく、二種以上を組み合わせて用いてもよい。

【0050】

これらの方法の中でも、より高い精度で品質を予測することができる観点から、ニューラルネットワークによる機械学習が選択されることが好ましい。ニューラルネットワークは、より高い精度で品質を予測することができる観点から、入力層と出力層の間に一つ以上の中間層を有する階層型のニューラルネットワークが好適である。

【0051】

ニューラルネットワークの例としては、三次元畳み込みニューラルネットワーク（３ＤＣＮＮ：３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、長期・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）ニューラルネットワーク（ＬＳＴＭを用いて再帰型ニューラルネットワークを改良したもの）等が挙げられる。

【0052】

これらの中でも、画像認識の分野に優れた性能を有し、時間軸に関する、三次元畳み込みニューラルネットワーク（中間層として、畳み込み層やプーリング層等を有するニューラルネットワーク）がより好適である。三次元畳み込みニューラルネットワークは、異なる時刻に取得された複数の画像データから特徴量（時間変化に伴って変化する特徴量を含む）を検出し、当該特徴量を用いて、分類又は回帰を行うことが可能な予測モデルを作成することができる。畳み込みニューラルネットワークにおける、畳み込み層とプーリング層の組み合わせからなる層の数は、より高い精度で予測をすることができる観点から、好ましくは二つ以上、より好ましくは三つ以上である。

【0053】

また、機械学習を行うためのツールとしては、例えば、Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリである「ＴｅｎｓｏｒＦｌｏｗ（登録商標）」や、ＩＢＭ社が開発したシステムである「ＩＢＭ Ｗａｔｓｏｎ（登録商標）」等を用いることができる。

【0054】

次に、品質予測システム１の具体的な構成について説明する。

【0055】

本発明の生コンクリートの品質予測システム１の本実施形態の構成について説明する。図１は、生コンクリートの品質予測システム１の一実施態様の模式的な全体構成図である。品質予測システム１は、図１に示すように、メインサーバ１０と、当該メインサーバ１０とネットワーク接続された、データサーバ２０と、操作用端末３０と、複数の参照用端末４０とで構成されている。

【0056】

なお、メインサーバ１０にネットワーク接続されるデータサーバ２０、操作用端末３０、参照用端末４０のそれぞれの数は任意であって、それぞれ有線又は無線でデータ通信を行うように接続されている。また、図１においては図示されていないが、メインサーバ１０には、品質予測の対象となる生コンクリートを練り混ぜている状態を撮影する撮像部６０がネットワーク接続されている（図２参照）。

【0057】

本実施形態におけるメインサーバ１０は、作業者が操作用端末３０を操作して動作開始の操作を行うと、予測動作を開始する。そして、学習済みモデルＭ１に適用する画像データを含む予測用入力データｄ１が、撮像部６０からメインサーバ１０に入力されると、メインサーバ１０内で所定の処理が行われて、生コンクリートの品質の予測値に関連する情報である品質予測情報がメインサーバ１０から出力される。

【0058】

メインサーバ１０から出力された品質予測情報を含む出力データｄ３は、各参照用端末４０に送信される。そして、各参照用端末４０は、メインサーバ１０から出力された当該出力データｄ３から得られる生コンクリートの品質の予測値をそれぞれの表示装置５０に表示する。

【0059】

なお、本実施形態の各参照用端末４０は、図１に示すように、表示装置５０と別体のデスクトップ型ＰＣであるが、ノートＰＣ、スマートフォン、タブレット等の表示装置５０が一体的に構成されている端末であっても構わない。また、各参照用端末４０は、操作用端末３０としての機能を兼ねていても構わない。

【0060】

図２は、本実施形態におけるメインサーバ１０の構成を模式的に示すブロック図である。図２に示すように、本実施形態におけるメインサーバ１０は、データ入力部１１と、データ出力部１２、演算処理部１３とを備える。

【0061】

図３は、ミキサ２の一部を模式的に示す図面である。図３に示すように、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２の羽根２ａが写り込む位置に固定されている。図３においては、説明の便宜のため、撮像部６０の撮影対象となる領域６０ａが、一点鎖線によって模式的に図示されている。

【0062】

本実施形態における撮像部６０は、練り混ぜの開始から練り混ぜ終了まで、継続的に撮影を行い、フレームレートが６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画データ（時系列の複数の画像データ）を取得する。このため、当該動画データには、ミキサ２の羽根２ａが生コンクリート中に沈んでいる状態と、ミキサ２の羽根２ａが生コンクリートをすくい上げている状態とを撮影して取得した画像データとが含まれる。なお、撮像部６０は、上述したような動画データを取得するカメラではなく、所定の時間間隔で写真撮影を行い、複数の画像データを取得するカメラであっても構わない。

【0063】

なお、ミキサ２の回転速度等にもよるが、ミキサ２の羽根２ａが生コンクリート中に沈んでいる最中を撮影した画像データから抽出される画像抽出情報は、生コンクリートの表面における変動が品質予測にほとんど寄与しない場合がある。このような場合は、撮像部６０が取得する画像データは、ミキサ２の羽根２ａが生コンクリート中に沈んでいる状態を撮影して得られた画像データを含んでいなくても構わない。

【0064】

演算処理部１３及び記憶部１３ａは、例えば、ＣＰＵやＭＰＵ等の演算処理ユニットで構成される。記憶部１３ａは、例えば、フラッシュメモリやハードディスク等のメモリで構成される。そして、記憶部１３ａは、教師データに基づく機械学習により生成された学習済みモデルＭ１が記録されている。

【0065】

教師データは、撮像部６０が撮影して取得した複数の画像データから抽出される画像抽出情報、及び画像抽出情報の時間経過に伴う状態変化に関連する情報である時系列情報を含む学習用入力データと、生コンクリートの品質に関連する情報を含む学習用出力データとが関連付けられたデータである。

【0066】

画像抽出情報は、撮像部６０が取得した画像データから抽出される、生コンクリートの一時的な情報であり、撮影時における生コンクリートの状態に関連する情報である。

【0067】

生コンクリートの品質に関連する情報とは、出力データに含まれる生コンクリートの品質予測情報である。本実施形態における、生コンクリートの品質予測情報は、スランプ値であるが、生コンクリートの品質に関連する他の情報を採用しても構わない。生コンクリートの品質予測システム１は、生コンクリートのコンシステンシーや流動性に関する指標であれば、特に好適に、練り混ぜに際しての時間経過に伴う生コンクリートの状態変化と関連付けられるため、十分に予測が可能である。また、生コンクリートの品質予測システム１は、上記の関連付けに基づいて、生コンクリートのコンシステンシーや流動性に関する指標以外の、その他の品質であっても予測対象とすることができる。

【0068】

学習用出力データに含まれる品質予測情報は、生コンクリートの製造工場での出荷前品質検査において取得されたデータであってもよく、打設現場での打設前品質検査において取得されたデータであっても構わない。いずれのデータを適用するかについては、例えば、生コンクリートのいつの時点における品質が予測対象となるかによって選択される。

【0069】

本実施形態におけるデータ入力部１１は、撮像部６０から送信される画像データを予測用入力データｄ１として入力を受け付ける。また、本実施形態におけるデータ入力部１１は、データサーバ２０又は操作用端末３０から送信される、学習済みモデルＭ１に適用するための予測用の生コンクリートの配合関連情報、製造関連情報を含む予測用入力データｄ１を受け付ける。

【0070】

データ入力部１１は、予測用入力データｄ１の入力を受け付けると、演算処理部１３に入力するための演算用入力データｄ２を生成して、演算処理部１３に対して出力する。

【0071】

データ出力部１２は、演算処理部１３から出力された出力データｄ３が入力されると、図２に示すように、参照用端末４０が受信可能な送信用データｄ４を出力データｄ３に基づいて生成して、各参照用端末４０に対して送信用データｄ４を送信する。

【0072】

演算処理部１３は、データ入力部１１から出力される演算用入力データｄ２が入力されると、記憶部１３ａに記録されている学習済みモデルＭ１を読み出し、学習済みモデルＭ１に対して演算用入力データｄ２を適用する。

【0073】

演算処理部１３は、学習済みモデルＭ１による演算処理を実行し、演算用入力データｄ２に基づいて導出される品質予測情報を含む出力データｄ３をデータ出力部１２に対して出力する。

【0074】

［検証実験１］
ここで、上記の各情報に基づいて学習した学習済みモデルＭ１を適用した品質予測システム１が、どのぐらいの精度でスランプ値を予測できるかを確認した検証実験について説明する。

【0075】

（実施例１）
実施例１は、上述した生コンクリートの品質予測システム１によって、製造したコンクリートの練り混ぜ直後のスランプ値を予測する。具体的には、実施例１では、セメント、細骨材（山砂）、粗骨材Ａ（砕石５号）、粗骨材Ｂ（砕石６号）を二軸ミキサに投入して、空練りした後、水を投入して練り混ぜて、生コンクリート１～１００を作製し、このスランプ値を予測することとした。なお、各材料の単位量は、セメントを３６０～６００ｋｇ／ｍ³、細骨材（山砂）を１５０～１６５ｋｇ／ｍ³、粗骨材Ａ（砕石５号）をｋｇ／ｍ³、粗骨材Ｂ（砕石６号）をｋｇ／ｍ³、にそれぞれ調整した。

【0076】

（比較例１）
比較例１は、時系列情報を含まない学習用入力データを適用し、二次元畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）を適用して学習した学習済みモデルを用いたことを除いて、実施例１と同様である。

【0077】

予測用入力データを入力して生コンクリートの品質を予測するタイミングは、生コンクリートの練り混ぜ開始から練り混ぜられた生コンクリートが前記ミキサから排出されるまでの期間とすることができる。練り混ぜ開始とは、水以外の生コンクリートの配合材料がミキサに投入され、ミキサが回転を開始した状態をいう。

【0078】

また、特に、予測するタイミングを、練り混ぜが開始され注水が開始されてから、練り混ぜられた生コンクリートが前記ミキサから排出開始されるまでの期間とすることで、より正解率を向上させることができる。ミキサから排出開始とは、ミキサの下方側に位置する排出部の開口が開き、そこから練り混ぜられた生コンクリートの排出が開始した状態をいう。

【0079】

注水開始前であっても、ミキサ２の羽根２ａが生コンクリート中に沈んでいる状態と、ミキサ２の羽根２ａが生コンクリートをすくい上げている状態とを撮影して取得した画像データを取得することができる。そして、注水が開始されると、セメントと水の水和反応が開始されるとともに混和剤の効果が発現した、生コンクリートの性状となるため、注水開始後に予測することで、より正答率を向上させることができる。 また、排出開始されると、排出による容量の減少に伴い、ミキサ内の生コンクリートの液面が下降し、データに映り込むミキサの羽根や内壁の状態が変動しうるため、データの統一性の観点から、排出開始前までの期間とすることで、より正答率を向上させることができる。

【0080】

実施例１、比較例１ともに、予測するタイミングは、練混ぜ開始から１２０秒後とした。なお、練り混ぜ開始から６０秒後に注水を行っている。

【0081】

実施例１、比較例１ともに、学習に使用した画像の切り出しは、より具体的には、２５６ピクセル×２５６ピクセルの範囲で切り出した所定の画像データの中心位置を原点（（ｘ，ｙ）＝（０，０））とし、（ｘ，ｙ）＝（－１０，－１０）、（０，－１０）、（＋１０，－１０）、（－１０，０）、（＋１０，０）、（－１０，＋１０）、（０，＋１０）、（＋１０，＋１０）の座標を中心とした２５６ピクセル×２５６ピクセルの範囲でそれぞれ行った。なお、煩雑な記載を避けるために省略したが、上記のｘ座標及びｙ座標の単位は、ピクセルである。

【0082】

それぞれの出力データ数は、１，０４３とした。

【0083】

学習済みモデルＭ１の生成は、学習ライブラリはＴｅｎｓｏｒ Ｆｌｏｗ（登録商標）を使用し、学習回数は、２００，０００回とした。

【0084】

予測値が実際のスランプ値に対して許容差範囲に収まる場合を正解として、正解率を確認した。なお、許容差範囲は、０．５ｃｍ、１．０ｃｍ、１．５ｃｍ、２．０ｃｍ、２．５ｃｍ、３．０ｃｍとして、それぞれ確認した。

【0085】

（結果）
図４は、検証実験１の結果をプロットしたグラフである。図４によれば、いずれの許容誤差範囲の条件においても、比較例１に比べて実施例１の方が、高い正解率となっていることが確認される。つまり、二次元畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）を適用して学習した学習済みモデルを用いて、同様のタイミングで予測した場合の比較例１では低い正解率であるが、時系列情報を学習させた実施例１のほうが正解率であることが確認でき、すなわち、時系列情報が学習用データに含まれていない比較例１よりも、これが含まれている実施例１の方が、予測精度が向上している。

【0086】

［検証実験２］
さらに、学習用入力データとして採用する画像データの取得条件と、予測精度との関連性を確認する検証実験を行ったので、以下で説明する。

【0087】

（実施例２）
実施例１と同様の材料、練混ぜ時間、動画データを使用した場合の、動画データから切り出した練混ぜ画像データを学習用入力データとして使用した。学習には、ミキサ羽根の切り替えしがなく、生コンクリートの動きがあるタイミングの画像、連続する時間、１／３０秒間隔で連続した７枚の画像を学習用入力データとして使用した。図５は、上記条件で取得した７枚の画像データが図示された図面である。

【0088】

（実施例３）
実施例１と同様の材料、練混ぜ時間、動画データを使用した場合の、動画データから切り出した練混ぜ画像データを学習用入力データとして使用した。学習には、ミキサ羽根の切り替えしについて一連の動きを捉え、かつその動きが複数回行われるタイミングの画像、連続する時間、１／３０秒間隔で連続した７枚の画像を学習データとして使用した。図６は、上記条件で取得した７枚の画像データが図示された図面である。なお、ミキサ羽根の切り替えしについて一連の動きを捉え、かつその動きが複数回行われるタイミングは、１回以上であればよい。

【0089】

（実施例４）
実施例１と同様の材料、練混ぜ時間、動画データを使用した場合の、動画データから切り出した練混ぜ画像データを学習用入力データとして使用した。学習には、ミキサ羽根の切り替えしがなく、生コンクリートの動きがあるタイミングの画像があり、かつミキサ羽根の切り替えしについて一連の動きを捉え、かつその動きが複数回行われるタイミングの画像、連続する時間、１／３０秒間隔で連続した３０枚の画像を学習データとして使用した。図７は、上記条件で取得した３０枚の画像データが図示された図面である。

【0090】

（比較例２）
実施例１と同様の材料、練混ぜ時間、動画データを使用した場合の、動画データから切り出した練混ぜ画像データを学習用入力データとして使用した。学習には生コンクリートの動きが存在しない、連続する時間、１／３０秒間隔で連続した３枚の画像を学習データとして使用した（図８）。

【0091】

（結果）
図８は、検証実験２の結果をプロットしたグラフである。図８によれば、いずれの許容差範囲の条件においても、比較例２に比べて実施例２、実施例３、実施例４の方が、高い正解率となっていることが確認される。つまり、時系列情報のうち、生コンクリートの動きが存在しない、連続する時間の画像が学習用データに含まれていない比較例２よりも、これが含まれている実施例２、実施例３、実施例４、の方が、予測精度が向上している。

【0092】

特に、ミキサ羽根の切り替えしがなく、生コンクリートの動きがあるタイミングの画像を含む、実施例２は、正解率が最も良く、ミキサ羽根の切り替えしについて一連の動きを捉え、かつ、その動きが複数回行われるタイミングの画像を含んだ実施例３と、ミキサ羽根の切り替えしがなく、生コンクリートの動きがあるタイミングの画像とミキサ羽根の切り替えしについて一連の動きを捉え、かつ、その動きが複数回行われるタイミングの画像を含んだ実施例４とも、ほぼ同等の正解率であることが確認できた。

【0093】

［検証実験３］
最後に、時系列情報を含むか否かによる、練り混ぜ開始からの経過時間ごとの予測精度の違いを確認する検証実験を行ったので、以下で説明する。

【0094】

（実施例５）
実施例１と同様の材料、練混ぜ時間、動画を使用した場合の、動画から切り出した練混ぜ画像を学習データとして使用し、練混ぜ時間ごとの正解率を確認した。

【0095】

（比較例３）
比較例３は、時系列情報を含まない学習用入力データを適用し、二次元畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）を適用して学習した学習済みモデルを用いたことを除いて、実施例１と同様である。

【0096】

実施例５と比較例３ともに、所定の時間での比較を行った。なお、許容差は１．５ｃｍとした正解率で評価した。なお、練り混ぜ開始から６０秒後に注水を行った。

【0097】

（結果）
結果は、下記表１のとおりであった。

【0098】

【表1】

【0099】

上記表１からもわかるように、時系列情報が学習用データに含まれていない比較例３よりも、これが含まれている実施例５の方が、比較的早いタイミングにおいて、比較的高い精度で予測できていることが確認できた。

【0100】

以上より、品質予測システム１は、画像抽出情報、及び時系列情報に基づいて学習した学習済みモデルを適用することで、従来の画像抽出情報に基づく予測よりも高い精度で生コンクリートの品質を予測することができる。また、上述したように、練り混ぜを開始してすぐに、練り混ぜられた生コンクリートの状態を予測できるため、練り混ぜ開始後、早期に生コンクリートの品質を予測することができる。

【0101】

なお、本実施形態の品質予測システム１は、図３に示すように、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２の羽根２ａが含まれる位置に配置されているが、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２が含まれない位置に配置されていても構わない。ミキサ２が含まれていなくとも、練り混ぜられている生コンクリートは、常に流動しており、練り混ぜの進行によって、流動性に変化が現れる。

【0102】

つまり、品質予測システム１は、撮像部６０の撮影対象となる領域６０ａ外でのミキサ２の動作に起因して、当該領域６０ａ内で生じる生コンクリートの波打つ動き等を捉えた画像データから抽出された画像抽出情報、及び時系列情報に基づいて、生コンクリートの品質を予測する構成とすることもできる。

【0103】

また、本実施形態において、学習用入力データ、及び予測用入力データは、予測精度を向上させる観点から配合関連情報、製造関連情報を含むデータとしたが、これらの情報を学習用入力データ、及び予測用入力データに含めるか否かは任意である。

【0104】

なお、上述した品質予測システム１が備える構成は、あくまで一例であり、本発明は、図示された各構成に限定されない。

【符号の説明】

【0105】

１ ： 品質予測システム
２ ： ミキサ
２ａ ： 羽根
１０ ： メインサーバ
１１ ： データ入力部
１２ ： データ出力部
１３ ： 演算処理部
１３ａ ： 記憶部
２０ ： データサーバ
３０ ： 操作用端末
４０ ： 参照用端末
５０ ： 表示装置
６０ ： カメラ
６０ａ ： 領域
Ｍ１ ： 学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】