特開 2024-61296 生コンクリートの品質予測システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024061296

(43)【公開日】2024-05-07

(54)【発明の名称】生コンクリートの品質予測システム

(51)【国際特許分類】

   G01N 33/38 20060101AFI20240425BHJP

   G06Q 50/08 20120101ALI20240425BHJP

【ＦＩ】

G01N33/38

G06Q50/08

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022169153

(22)【出願日】2022-10-21

(71)【出願人】

【識別番号】000000240

【氏名又は名称】太平洋セメント株式会社

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】工藤 正智

(72)【発明者】

【氏名】石田 弘徳

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC07

5L050CC07

(57)【要約】

【課題】練り混ぜ開始後、ミキサ内の粉塵や、水蒸気等が写り込む環境下で、早期に生コンクリートの品質を高い精度で予測可能な生コンクリートの品質予測システムを提供する。
【解決手段】学習済みモデルが記憶される記憶部と、予測用入力データの入力を受け付ける入力部と、出力結果を出力する出力部と、画像データについてエラー画像データであるか否かを判定する判定部と、判定部がエラー画像データと判定した画像データに対してより輝度を高める高輝度化処理を実行する高輝度化処理部と、画像データとを重ね合わせて、重畳画像データを生成する重畳画像データ生成部とを備え、教師データは、画像抽出情報を含む学習データ群に基づく学習用入力データと、品質予測情報を含む学習用出力データとが関連付けられたデータであり、予測用入力データとして、予測対象の生コンクリートの画像データ群が入力され、出力結果として、当該予測対象の生コンクリートの品質予測情報を出力する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

教師データに基づく機械学習により生成された学習済みモデルが記憶される記憶部と、
予測用入力データの入力を受け付ける入力部と、
前記学習済みモデルによって導出される出力結果を出力する出力部と、
練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる画像データ群に含まれる画像データについて、正常画像データであるか、エラー画像データであるかを判定する判定部と、
前記画像データ群に含まれる画像データの少なくとも一部の画像データの輝度を高める処理であって、前記判定部がエラー画像データと判定した画像データに対してより輝度を高める高輝度化処理を実行する高輝度化処理部と、
前記高輝度化処理部が前記高輝度化処理を施したエラー画像データと、正常画像データとを重ね合わせて、前記学習済みモデルに適用する重畳画像データを生成する重畳画像データ生成部とを備え、
前記教師データは、前記重畳画像データから抽出される、生コンクリートの練り混ぜ時における状態に関連する情報である画像抽出情報を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられたデータであり、
前記予測用入力データとして、前記撮像部が取得した予測対象の生コンクリートの前記画像データ群が入力され、
前記出力結果として、当該予測対象の生コンクリートの前記品質予測情報を出力することを特徴とする生コンクリートの品質予測システム。

【請求項2】

前記重畳画像データ生成部が重ね合わせる画像データは、含まれるエラー画像データのお数に応じて正常画像データが追加されることを特徴とする請求項１に記載の生コンクリートの品質予測システム。

【請求項3】

前記重畳画像データ生成部は、重ね合わせる画像データに含まれるエラー画像データの割合が、重ね合わせる画像データの総数に対して１０％以下である場合に、前記重畳画像データを生成することを特徴とする請求項１に記載の生コンクリートの品質予測システム。

【請求項4】

エラー画像データに対する前記高輝度化処理における輝度の最大上昇値は、正常画像データに対する前記高輝度化処理における輝度の最大上昇値に対して１．５倍以上であることを特徴とする請求項１～３のいずれか一項に記載の生コンクリートの品質予測システム。

【請求項5】

前記重畳画像データ生成部は、前記撮像部によって取得されて前記入力部に対して順次入力される一連の画像データに基づいて、前記重畳画像データを生成するように構成されていることを特徴とする請求項１～３のいずれか一項に記載の生コンクリートの品質予測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生コンクリートの品質を予測するためのシステムに関する。

【背景技術】

【0002】

生コンクリートは、使用用途や使用する現場の環境に応じて、要求される特性が異なる。そのため、従来、生コンクリートの製造工程においては、製造する生コンクリートが、要求される特性を満たすように、感覚や経験に基づいて、目視で練り混ぜ状態を確認して出荷していた。

【0003】

生コンクリートの品質に関連する重要な特性の一つとして、スランプ値がある。スランプ値は、硬化前のコンクリートのコンシステンシーを示す指標として用いられる値であり、一般的に生コンクリートの出荷時や荷卸し時には、当該生コンクリートのスランプ値が要求される数値範囲内であるかどうかの評価や検査が行われる。

【0004】

生コンクリートのスランプ値の評価結果や検査結果は、製造された生コンクリートを出荷できるかどうか、荷卸し現場にて使用できるかどうかの品質に関する合否判定の基準となる。このため、生コンクリートのスランプ値は、製造工場から出荷される前に、できる限り作業者の感覚や経験に依らず、高い精度で予測できることが期待されている。

【0005】

そこで近年では、生コンクリートのスランプ値をより高い精度で予測するために、ミキサ内の練り混ぜられている生コンクリートの画像データとスランプ値とを関連付けた教師データを適用した機械学習によって生成された学習済みモデルを用いて、生コンクリートのスランプ値を予測する方法が提案されている（下記特許文献１を参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１４４１３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１に記載されている予測方法は、十分高い精度で生コンクリートのスランプ値を予測できる。ただし、当該方法は、練り混ぜを開始して１～５分程度経過した後の、各種材料が攪拌され、十分に練り混ぜた状態の生コンクリートを撮影して得られる画像データに基づいて、スランプ値の予測が行われる。この主な理由は、練り混ぜが開始してしばらくは、材料が十分に混ざりあっておらず、生コンクリートの状態が刻々と変化することから、スランプ値の予測が安定しないためである。

【0008】

材料が十分に練り混ぜられるまでには、練り混ぜ開始から１～５分程度を要するため、練り混ぜている生コンクリートが、期待するスランプ値にはならないとの予測結果が得られた場合、数分の練り混ぜ工程が無駄となる場合がある。このような対応は、場合によっては、数十分、数時間の時間が無駄となってしまう可能性があり、生コンクリートの製造に関して大きなリスクともなり得る。

【0009】

上述したようなリスクの回避や、更なる生産効率の向上の観点から、最近では、材料が十分に練り混ぜられるのを待つことなく、練り混ぜ開始後、早期に生コンクリートのスランプ値等のコンシステンシー、ワーカビリティー、プラスティシティー、材料分離抵抗性、流動性に基づく品質に関連する指標、又はその他の生コンクリートの品質に関連する指標を高い精度で予測できることが期待されている。

【0010】

また、練り混ぜられている生コンクリートの画像データには、ミキサ内の粉塵や、水蒸気等が写り込むことがしばしばある。画像内に写り込んだ粉塵や、水蒸気等は、練り混ぜられている生コンクリートの状態の読み取りを阻害する要因となり得るため、品質予測の精度に影響を及ぼすと考えられる。このため、上述したような画像データは、以下の説明においても用いられるように、「エラー画像」、又は「エラー画像の情報を含むエラー画像データ」等と称される場合がある。なお、本明細書においては、区別のために、「エラー画像」、「エラー画像データ」以外の画像データを、「正常画像」、「正常画像データ」と称する。

【0011】

生コンクリートの品質予測技術においては、練り混ぜ開始後における早期の段階での予測や、上述したようなエラー画像が連続的に発生する環境に影響されにくい予測システムが期待されている。

【0012】

本発明は、上記課題に鑑み、練り混ぜ開始後、ミキサ内の粉塵や、水蒸気等が写り込む環境下で、早期に生コンクリートの品質を高い精度で予測可能な生コンクリートの品質予測システムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の生コンクリートの品質予測システムは、
教師データに基づく機械学習により生成された学習済みモデルが記憶される記憶部と、
予測用入力データの入力を受け付ける入力部と、
前記学習済みモデルによって導出される出力結果を出力する出力部と、
練り混ぜられている生コンクリートを撮影する撮像部によって取得された撮影時刻が異なる画像データ群に含まれる画像データについて、正常画像データであるか、エラー画像データであるかを判定する判定部と、
前記画像データ群に含まれる画像データの少なくとも一部の画像データの輝度を高める処理であって、前記判定部がエラー画像データと判定した画像データに対してより輝度を高める高輝度化処理を実行する高輝度化処理部と、
前記画像データ群に含まれる画像データと、前記高輝度化処理部が前記高輝度化処理を施した画像データとを重ね合わせて、前記学習済みモデルに適用する重畳画像データを生成する重畳画像データ生成部とを備え、
前記教師データは、前記重畳画像データから抽出される、生コンクリートの練り混ぜ時における状態に関連する情報である画像抽出情報を含む学習データ群に基づく学習用入力データと、生コンクリートの練り混ぜ後の品質に関連する情報である品質予測情報を含む学習用出力データとが関連付けられたデータであり、
前記予測用入力データとして、前記撮像部が取得した予測対象の生コンクリートの前記画像データ群が入力され、
前記出力結果として、当該予測対象の生コンクリートの前記品質予測情報を出力することを特徴とする。

【0014】

上記品質予測システムの学習用入力データ、及び予測用入力データとして適用される画像データは、カメラによって取得されたデータをそのまま採用してもよく、ビデオカメラでの動画像の撮影によって取得された動画像データから切り出された一フレームの画像データであってもよい。そして、「撮影時刻が異なる複数の画像データ」とは、異なる時間に写真撮影することで得られた複数の画像データであってもよく、取得した動画像データの異なる時間のコマ画像を抽出して得た複数の画像データや、動画像データを再生している最中に異なる時間でスナップショットして得た複数の画像データ等であっても構わない。なお、「撮影時刻が異なる複数の画像データ」は、動画像データを構成するフレーム単位の各画像データであってもよい。

【0015】

本発明の品質予測システムで用いられる学習済みモデルは、機械学習によって作成されるが、機械学習に用いられる学習方法については、「発明を実施するための形態」の項目において詳述される。

【0016】

画像抽出情報とは、複数の画像データに基づいて抽出される情報であって、例えば、生コンクリートの表面の振幅や、ミキサの羽根の動きによって生コンクリートが沈み込む深さ等である。

【0017】

また、本明細書における「画像データを重ね合わせる」とは、複数の画像データにおいて対応するピクセルごとに、パラメータ（例えば、輝度値）の平均化処理を行い、各ピクセルに対してそれぞれの平均値を当てはめた一つの画像データを生成する処理である。

【0018】

異なる時間で取得された複数の画像データについて、高輝度化処理を行った後、重ね合わせて重畳画像データを作成すると、当該重畳画像データには、時間変化に伴う生コンクリートやミキサの動きに関する情報（以下、「時系列情報」と称する場合がある。）が現れる。時系列情報は、例えば、練り混ぜ工程の時間経過に伴う、生コンクリートの表面の振幅の変化量や、ミキサの羽根の動きによって生コンクリートが沈み込む深さの変化量等である。

【0019】

時系列情報は、生コンクリートの品質の予測とともに、生コンクリートの練り混ぜ状態を把握することにも寄与すると考えられる。つまり、時系列情報は、画像抽出情報を抽出するために、どの時刻で取得された画像データを採用すべきかという点においても活用できる。

【0020】

高輝度化処理は、判定部によってエラー画像データと判定された画像データに対して、正常画像データよりも、輝度を高める処理である。画像データは、輝度値が高められるほど、全体が白色の画像データに近づく。全体が白色の画像データに近づく程、ピクセルごとの差が小さくなり、ピクセルごとの差が小さくなるため、重ね合わせにおける影響が低減される。

【0021】

以上より、上記品質予測システムは、画像抽出情報と時系列情報とによって、より高精度に生コンクリートの品質予測が可能である。また、時系列情報は、練り混ぜ工程が進行すると、生コンクリートの状態がどのように変化するかの予測に利用することができる。このため、上記構成の品質予測システムは、生コンクリートが十分に練り混ぜられていない段階であっても、生コンクリートが十分に練り混ぜられた状態を予測して、生コンクリートの品質を予測することができる。

【0022】

さらに、上述した高輝度化処理によって、重畳画像データは、エラー画像による異物の映り込み等の影響が低減される。したがって、上記品質予測システムは、偶発的に生じたエラー画像の影響をも低減した、より高精度な生コンクリートの品質予測が可能となる。

【0023】

上記品質予測システムにおいて、
前記重畳画像データ生成部が重ね合わせる画像データは、含まれるエラー画像データの数に応じて正常画像データが追加されるように構成されていても構わない。

【0024】

上記品質予測システムにおいて、
前記重畳画像データ生成部は、重ね合わせる画像データに含まれるエラー画像データの割合が、重ね合わせる画像データの総数に対して１０％以下である場合に、前記重畳画像データを生成するように構成されていても構わない。

【0025】

上記品質予測システムにおいて、
エラー画像データに対する前記高輝度化処理における輝度の最大上昇値は、エラー画像データではない画像データに対する前記高輝度化処理における輝度の最大上昇値に対して１．５倍以上であっても構わない。

【0026】

上記構成とすることで、一時的にエラー画像データの発生頻度が高くなってしまった場合であっても、エラー画像データの影響を、所望のレベル以下にまで低下させて、生コンクリートの品質を予測することができる。つまり、上記構成の品質予測システムは、エラー画像データの発生頻度によらず、安定して高い精度で生コンクリートの品質予測ができる。

【0027】

上記品質予測システムにおいて、
前記重畳画像データ生成部は、前記撮像部によって取得されて前記入力部に対して順次入力される一連の画像データに基づいて、前記重畳画像データを生成するように構成されていても構わない。

【発明の効果】

【0028】

本発明によれば、練り混ぜ開始後、ミキサ内の粉塵や、水蒸気等が写り込む環境下で、早期に生コンクリートの品質を高い精度で予測可能な生コンクリートの品質予測システムが実現される。

【図面の簡単な説明】

【0029】

【図1】生コンクリートの品質予測システムの一実施態様の模式的な全体構成図である。

【図2】一実施形態におけるメインサーバの構成を模式的に示すブロック図である。

【図3】ミキサの一部を模式的に示す図面である。

【図4】一連の画像データにおいて、重畳画像データの基になる組み合わせの一例を示す図面である。

【発明を実施するための形態】

【0030】

以下、本発明の生コンクリートの品質予測システムについて、図面を参照して説明する。なお、以下の各図面は、いずれも模式的に図示されたものであり、図面上の個数は、実際の個数と必ずしも一致していない。

【0031】

本発明の生コンクリートの品質予測システムは、後述される撮影時刻が異なる複数の画像データから抽出される画像抽出情報、及び時系列情報を含む学習用入力データと、生コンクリートの品質予測情報を含む学習用出力データとを関連付けてなる教師データに基づく機械学習により生成された学習済みモデルを用いて、生コンクリートの品質を予測するシステムである。

【0032】

最初に、画像抽出情報及び時系列情報の詳細と、これらの情報と生コンクリートの品質との関係性について説明する。なお、学習用入力データは、配合関連情報及び製造関連情報を含んでいてもよいため、これらについてもここで併せて説明する。

【0033】

［画像抽出情報］
画像抽出情報は、ミキサ内の練り混ぜられている生コンクリートの画像データから抽出される情報であって、生コンクリートの粘度や含水量等を把握するとともに、所定の時間経過後に生コンクリートの状態を予測するための要素となる。このため、生コンクリートの品質の予測値に関連する品質予測情報は、画像抽出情報と関連付けることができる。

【0034】

したがって、画像抽出情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質を予測することができる。

【0035】

なお、画像抽出情報は、具体的には、生コンクリートの表面の振幅や、ミキサの羽根によって生コンクリートが沈み込む深さ等が挙げられる。学習済みモデルに適用される画像抽出情報は、上記の各画像抽出情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0036】

［時系列情報］
時系列情報は、ミキサ内の練り混ぜられている生コンクリートを異なる時刻で撮影して取得された複数の画像データに基づく、画像抽出情報、及び当該情報に関連する時間経過に伴う変化量の情報であって、画像抽出情報と組み合わせられることで、所定の時間経過後の生コンクリートの状態を予測するための要素となる。このため、生コンクリートの品質の予測値に関連する品質予測情報は、時系列情報と関連付けることができる。さらに、時系列情報は、練り混ぜを開始してから、十分な練り混ぜが行われるまでの生コンクリートの状態の変化に関する情報を含み得る。このため、画像抽出情報と時系列情報との組み合わせによれば、練り混ぜを開始してから早期の段階における画像抽出情報と、十分練り混ぜられた状態の生コンクリートの画像抽出情報とを関連付けることができる。

【0037】

したがって、画像抽出情報、及び時系列情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質を予測することができる。

【0038】

なお、時系列情報は、具体的には、時間変化に伴う生コンクリートの表面の振幅の変化量や、ミキサの羽根の動きによって生コンクリートが沈み込む深さの変化量等が挙げられる。学習済みモデルに適用される時系列情報は、上記の各時系列情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。また、学習済みモデルに適用される時系列情報は、撮影時刻が異なる複数の画像データから抽出される、当該学習済みモデルに適用される画像抽出情報とは別の特徴量に関する情報であっても構わない。

【0039】

以上より、画像抽出情報及び時系列情報を含む学習用入力データと、品質予測情報を含む学習用出力データとによって機械学習を行って生成された学習済みモデルが適用された品質予測システムは、時系列情報を含まない学習用入力データよって機械学習を行って生成された学習済みモデルが適用された品質予測システムよりも高い精度で、かつ、練り混ぜ開始から早期に生コンクリートの品質を予測することができる。

【0040】

さらに、配合関連情報及び製造関連情報を含む学習用入力データと、品質予測情報を含む学習用出力データとによって機械学習を行って生成された学習済みモデルが適用された品質予測システムは、生コンクリートの品質をより高い精度で予測することができる。

【0041】

学習済みモデルの学習に用いる教師データのサンプルの数は、学習用入力データからスランプ情報を導出するために必要な特徴量を抽出し、さらに予測精度を高める観点から、好ましくは１００以上、より好ましくは１，０００以上、さらに好ましくは１０，０００以上、さらに好ましくは５０，０００以上、特に好ましくは１００，０００以上である。さらに、各学習済みモデルにおける学習回数は、予測精度を高める観点から、好ましくは１，０００回以上、より好ましくは８，０００回以上、特に好ましくは１０，０００回以上であるが、特に限定されない。例えば、学習データとして質の高い１つのサンプルのみが教師データとして採用されても構わない。

【0042】

次に、本発明の品質予測ステムで用いられる学習済みモデルを作成するための機械学習の方法について説明する。本発明の品質予測ステムで用いられる学習済みモデルを作成するための機械学習の方法としては、例えば、ニューラルネットワーク、線形回帰、決定木、サポートベクター回帰、アンサンブル法、サポートベクターマシン、判別分析、単純ベイズ法、最近傍法等が挙げられる。これらの方法は、一種を単独で用いてもよく、二種以上を組み合わせて用いてもよい。

【0043】

これらの方法の中でも、より高い精度で品質を予測することができる観点から、ニューラルネットワークによる機械学習が選択されることが好ましい。ニューラルネットワークは、より高い精度で品質を予測することができる観点から、入力層と出力層の間に一つ以上の中間層を有する階層型のニューラルネットワークが好適である。

【0044】

ニューラルネットワークの例としては、三次元畳み込みニューラルネットワーク（３ＤＣＮＮ：３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、長期・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）ニューラルネットワーク（ＬＳＴＭを用いて再帰型ニューラルネットワークを改良したもの）等が挙げられる。

【0045】

これらの中でも、画像認識の分野に優れた性能を有する、畳み込みニューラルネットワーク（中間層として、畳み込み層やプーリング層等を有するニューラルネットワーク）がより好適である。畳み込みニューラルネットワークにおける、畳み込み層とプーリング層の組み合わせからなる層の数は、より高い精度で予測をすることができる観点から、好ましくは二つ以上、より好ましくは三つ以上である。

【0046】

また、機械学習を行うためのツールとしては、例えば、Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリである「ＴｅｎｓｏｒＦｌｏｗ（登録商標）」や、ＩＢＭ社が開発したシステムである「ＩＢＭ Ｗａｔｓｏｎ（登録商標）」等を用いることができる。

【0047】

次に、品質予測システム１の具体的な構成について説明する。

【0048】

本発明の生コンクリートの品質予測システム１の本実施形態の構成について説明する。図１は、生コンクリートの品質予測システム１の一実施態様の模式的な全体構成図である。品質予測システム１は、図１に示すように、メインサーバ１０と、当該メインサーバ１０とネットワーク接続された、データサーバ２０と、操作用端末３０と、複数の参照用端末４０とで構成されている。

【0049】

なお、メインサーバ１０にネットワーク接続されるデータサーバ２０、操作用端末３０、参照用端末４０のそれぞれの数は任意であって、それぞれ有線又は無線でデータ通信を行うように接続されている。また、図１においては図示されていないが、メインサーバ１０には、品質予測の対象となる生コンクリートを練り混ぜている状態を撮影する撮像部６０がネットワーク接続されている（図２参照）。

【0050】

本実施形態におけるメインサーバ１０は、作業者が操作用端末３０を操作して動作開始の操作を行うと、予測動作を開始する。そして、学習済みモデルＭ１に適用する画像データを含む予測用入力データｄ１が、撮像部６０からメインサーバ１０に入力されると、メインサーバ１０内で所定の処理が行われて、生コンクリートの品質の予測値に関連する情報である品質予測情報がメインサーバ１０から出力される。

【0051】

メインサーバ１０から出力された品質予測情報を含む出力データｄ３は、各参照用端末４０に送信される。そして、各参照用端末４０は、メインサーバ１０から出力された当該出力データｄ３から得られる生コンクリートの品質の予測値をそれぞれの表示装置５０に表示する。

【0052】

なお、本実施形態の各参照用端末４０は、図１に示すように、表示装置５０と別体のデスクトップ型ＰＣであるが、ノートＰＣ、スマートフォン、タブレット等の表示装置５０が一体的に構成されている端末であっても構わない。また、各参照用端末４０は、操作用端末３０としての機能を兼ねていても構わない。

【0053】

図２は、本実施形態におけるメインサーバ１０の構成を模式的に示すブロック図である。図２に示すように、本実施形態におけるメインサーバ１０は、データ入力部１１と、データ出力部１２、演算処理部１３とを備える。

【0054】

図３は、ミキサ２の一部を模式的に示す図面である。図３に示すように、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２の羽根２ａが写り込む位置に固定されている。図３においては、説明の便宜のため、撮像部６０の撮影対象となる領域６０ａが、一点鎖線によって模式的に図示されている。

【0055】

本実施形態における撮像部６０は、練り混ぜの開始から練り混ぜ終了まで、継続的に撮影を行い、フレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画データ（時系列の複数の画像データ）を取得する。このため、当該動画データには、ミキサ２の羽根２ａが生コンクリート中に沈んでいる状態と、ミキサ２の羽根２ａが生コンクリートをすくい上げている状態とを撮影して取得した画像データとが含まれる。なお、撮像部６０は、上述したような動画データを取得するカメラではなく、所定の時間間隔で写真撮影を行い、複数の画像データを取得するカメラであっても構わない。

【0056】

なお、ミキサ２の回転速度等にもよるが、ミキサ２の羽根２ａが生コンクリート中に沈んでいる最中を撮影した画像データから抽出される画像抽出情報は、生コンクリートの表面における変動が品質予測にほとんど寄与しない場合がある。このような場合は、撮像部６０が取得する画像データは、ミキサ２の羽根２ａが生コンクリート中に沈んでいる状態を撮影して得られた画像データを含んでいなくても構わない。

【0057】

演算処理部１３は、図２に示すように、記憶部１３ａと、判定部１３ｂと、高輝度処理部と１３ｃ、重畳画像データ生成部１３ｄとを備える。演算処理部１３は、例えば、ＣＰＵやＭＰＵ等の演算処理ユニットで構成される。なお、記憶部１３ａについては、例えば、フラッシュメモリやハードディスク等のメモリで構成される。そして、記憶部１３ａは、教師データに基づく機械学習により生成された学習済みモデルＭ１が記録されている。

【0058】

教師データは、撮像部６０が撮影して取得した複数の画像データから抽出される画像抽出情報、及び画像抽出情報の時間経過に伴う状態変化に関連する情報である時系列情報を含む学習用入力データと、生コンクリートの品質に関連する情報を含む学習用出力データとが関連付けられたデータである。

【0059】

画像抽出情報は、撮像部６０が取得した画像データから抽出される、生コンクリートの一時的な情報であり、撮影時における生コンクリートの状態に関連する情報である。

【0060】

生コンクリートの品質に関連する情報とは、出力データに含まれる生コンクリートの品質予測情報である。本実施形態における、生コンクリートの品質予測情報は、スランプ値であるが、生コンクリートの品質に関連する他の情報を採用しても構わない。生コンクリートの品質予測システム１は、生コンクリートのコンシステンシーや流動性に関する指標であれば、特に好適に、練り混ぜに際しての時間経過に伴う生コンクリートの状態変化と関連付けられるため、十分に予測が可能である。また、生コンクリートの品質予測システム１は、上記の関連付けに基づいて、生コンクリートのコンシステンシーや流動性に関する指標以外の、その他の品質であっても予測対象とすることができる。

【0061】

学習用出力データに含まれる品質予測情報は、生コンクリートの製造工場での出荷前品質検査において取得されたデータであってもよく、打設現場での打設前品質検査において取得されたデータであっても構わない。いずれのデータを適用するかについては、例えば、生コンクリートのいつの時点における品質が予測対象となるかによって選択される。

【0062】

本実施形態におけるデータ入力部１１は、撮像部６０から送信される画像データを予測用入力データｄ１として入力を受け付ける。また、本実施形態におけるデータ入力部１１は、データサーバ２０又は操作用端末３０から送信される、学習済みモデルＭ１に適用するための予測用の生コンクリートの配合関連情報、製造関連情報を含む予測用入力データｄ１を受け付ける。

【0063】

データ入力部１１は、予測用入力データｄ１の入力を受け付けると、演算処理部１３に入力するための演算用入力データｄ２を生成して、演算処理部１３に対して出力する。

【0064】

データ出力部１２は、演算処理部１３から出力された出力データｄ３が入力されると、図２に示すように、参照用端末４０が受信可能な送信用データｄ４を出力データｄ３に基づいて生成して、各参照用端末４０に対して送信用データｄ４を送信する。

【0065】

判定部１３ｂは、データ入力部１１から出力される演算用入力データｄ２に含まれる画像データが、正常画像であるか、エラー画像データであるかを判定する。具体的に判定方法の一例としては、例えば、判定対象となる画像データと、当該画像データを取得した時間から、一定時間遡った時間において取得された画像データとを比較して、輝度値の変動が１０％以上であるピクセルの数が、ピクセルの総数に対して７０％以上であればエラー画像データと判定する方法が考えられる。

【0066】

高輝度化処理部１３ｃは、判定部１３ｂの判定に基づいて、演算用入力データｄ２に含まれる各画像データの、輝度値を高める処理（以下、「高輝度化処理」という。）を実施する。本実施形態においては、判定部１３ｂが正常画像データと判定された画像データは、全ピクセルにおける輝度値を５０％上昇させ、エラー画像データと判定された画像データは、全ピクセルにおける輝度値を７０％上昇させる。なお、エラー画像による影響を低減させる観点から、エラー画像データに対する高輝度化処理における輝度の最大上昇値は、正常画像データに対する高輝度化処理における輝度の最大上昇値に対して１．５倍以上であることが好ましい。なお、高輝度化処理部１３ｃによる高輝度化処理は、この方法に限定されず、既知の手法に代えることができる。例えば、元となる画像データの透明度（０％～１００％の間で設定可能）を下げ、画像データの背景の透明度を、それに合わせて調整する処理としてもよい。この場合、背景は白（ＲＧＢでは２５５．２５５．２５５、輝度値では２５５）とすることができる。各種の処理における設定は、比率を変更する方法に限られず、例えば、直接的な数値として設定してもよい。

【0067】

重畳画像データ生成部１３ｄは、高輝度化処理された各画像データを重畳し、一つ、又は複数の重畳画像データを作成する。そして、重畳画像データ生成部１３ｄが生成した時重畳画像データは、記憶部１３ａに格納された学習済みモデルＭ１に適用される。

【0068】

なお、エラー画像による影響を低減させる観点から、重畳画像データを作成するための画像データ群については、エラー画像データが含まれていない場合に比べて、エラー画像データが含まれている場合の方が、含まれる画像データの数が多くなるように、正常画像データを追加する調整が行われることが好ましい。

【0069】

重ね合わせる画像データ数について、具体的には、画像抽出情報を読み出せるかどうかや、各画像データが持つ情報の影響度等のバランス等を考慮すると、２枚～２０枚程度とすることが好ましい。一例としては、演算用入力データｄ２に、エラー画像データが含まれない場合は２枚、そして、エラー画像データが含まれる場合は、エラー画像データ一つ当たり２枚の正常画像データを追加する形で、最大２０枚までの範囲で調整が行われる。

【0070】

演算処理部１３は、学習済みモデルＭ１による演算処理を実行し、演算用入力データｄ２に基づいて導出される品質予測情報を含む出力データｄ３をデータ出力部１２に対して出力する。

【0071】

［検証実験］
ここで、エラー画像データによって予測精度のどの程度の影響が現れるかと、品質予測システム１によれば、エラー画像データによる影響が低減できることについて確認した検証実験について説明する。

【0072】

（実施例１）
実施例１は、上述した生コンクリートの品質予測システム１によって、製造したコンクリートの練り混ぜ直後のスランプ値を予測する。なお、画像データは、撮像部６０によって３０ｆｐｓで撮影した動画像データから取得した。

【0073】

（比較例１）
比較例１は、判定部１３ｂによって正常画像データかエラー画像化判定することなく、全ての画像データに対して同様の高輝度化処理を施したことを除いて、実施例１と同様である。

【0074】

本検証は、予め準備したエラー画像データを含まない画像データ群からなるサンプルＡ及びＢと、エラー画像データ含む画像データ群からなるサンプルＣとを、実施例１及び比較例１の品質予測システムそれぞれに適用した。なお、サンプルＡは、粉塵等のエラー画像が発生しない実験場にて作成したサンプルであり、サンプルＢ及びＣは、粉塵等が発生する環境下で練り混ぜられている生コンクリートを撮影して取得された動画像からそれぞれピックアップしたものである。使用した画像枚数は、サンプルＡ及びＢは、１２０枚、サンプルＣは２１０枚とした。

【0075】

それぞれ、学習に使用した画像の切り出しは、より具体的には、２５６ピクセル×２５６ピクセルの範囲で切り出した所定の画像データの中心位置を原点（（ｘ，ｙ）＝（０，０））とし、（ｘ，ｙ）＝（－１０，－１０）、（０，－１０）、（＋１０，－１０）、（－１０，０）、（＋１０，０）、（－１０，＋１０）、（０，＋１０）、（＋１０，＋１０）の座標を中心とした２５６ピクセル×２５６ピクセルの範囲でそれぞれ行った。なお、煩雑な記載を避けるために省略したが、上記のｘ座標及びｙ座標の単位は、ピクセルである。

【0076】

それぞれの出力データ数は、１，０４３とした。

【0077】

学習済みモデルＭ１の生成は、学習ライブラリはＴｅｎｓｏｒ Ｆｌｏｗ（登録商標）を使用し、学習回数は、２００，０００回とし行った。

【0078】

予測スランプ値の正答率は、予測スランプ値と実際に測定したスランプ値との誤差の許容値を２．０％とした場合と、２．５％とした場合で、それぞれ算出した。

【0079】

（結果）
下記表１は、検証実験の結果を示す。

【0080】

【表1】

【0081】

上記表１によれば、比較例１に比べて実施例１の方が、高い正解率となっており、エラー画像データが含まれるサンプルＣの結果において、顕著に差が現れていることが確認される。つまり、品質予測システム１は、エラー画像データによって予測精度が低下することなく、エラー画像データが含まれない場合とエラー画像データが含まれる場合とで、ほぼ同等の予測精度が実現できていることがわかる。

【0082】

上記品質予測システムは、画像抽出情報と時系列情報とによって、より高精度に生コンクリートの品質予測が可能である。また、時系列情報は、練り混ぜ工程が進行すると、生コンクリートの状態がどのように変化するかの予測に利用することができる。このため、上記構成の品質予測システムは、生コンクリートが十分に練り混ぜられていない段階であっても、生コンクリートが十分に練り混ぜられた状態を予測して、生コンクリートの品質を予測することができる。

【0083】

なお、本実施形態の品質予測システム１は、図３に示すように、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２の羽根２ａが含まれる位置に配置されているが、撮像部６０は、撮影対象となる領域６０ａ内に、ミキサ２が含まれない位置に配置されていても構わない。ミキサ２が含まれていなくとも、練り混ぜられている生コンクリートは、常に流動しており、練り混ぜの進行によって、流動性に変化が現れる。

【0084】

つまり、品質予測システム１は、撮像部６０の撮影対象となる領域６０ａ外でのミキサ２の動作に起因して、当該領域６０ａ内で生じる生コンクリートの波打つ動き等を捉えた重畳画像データから抽出された画像抽出情報、及び時系列情報に基づいて、生コンクリートの品質を予測する構成とすることもできる。

【0085】

さらに、品質予測システム１は、高輝度化処理によって、重畳画像データのエラー画像による異物の映り込み等の影響が低減される。したがって、品質予測システム１は、偶発的に生じたエラー画像の影響をも低減した、より高精度な生コンクリートの品質予測が可能となる。

【0086】

なお、撮像部６０が取得する画像データの大半がエラー画像データとなってしまうことも想定される。このような場合、正常画像データによって、エラー画像データの影響を低減させることが難しいという事情が生じ得る。このため、品質予測システム１の重畳画像データ生成部１３ｄは、重ね合わせる画像データに含まれるエラー画像データの割合が、重ね合わせる画像データの総数に対して１０％以下である場合に、重畳画像データを生成するように構成されていても構わない。

【0087】

なお、重ね合わせる画像データ群は、含まれるエラー画像データの数に応じて、正常画像を追加する構成でなくてもよく、予め設定されている枚数で実行される構成であっても構わない。このような構成が採用される場合は、例えば、重ね合わせる画像データ群に含まれるエラー画像データの割合が、重ね合わせる画像データの総数に対して９０％を超える場合には、例えば、表示装置５０におけるエラー表示や、警報ブザーによって、作業者や管理者に対して、異常状態を知らせるように構成されていてもよく、撮像部６０とは別の撮像部で取得された画像データを適用するように構成されていても構わない。

【0088】

［別実施形態］
以下、別実施形態につき説明する。

【0089】

〈１〉 品質予測システム１に適用される学習用入力データ、及び予測用入力データは、それぞれのデータを取得する生コンクリートに関する配合関連情報、製造関連情報を含んでいても構わない。

【0090】

［配合関連情報］
生コンクリートの配合関連情報とは、製造される生コンクリートにおける水和反応が進行する速度等に寄与する情報であって、生コンクリートの流動性等にどのような変化が生じ、時間経過によってどの程度のスランプロスが生じるかを予測するための要素となる。

【0091】

したがって、配合関連情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された生コンクリートの品質を予測するための学習済みモデルを適用することで、製造される生コンクリートの品質をより高い精度で予測することができる。

【0092】

なお、配合関連情報は、具体的には、水セメント比（Ｗ／Ｃ）、セメント種類、混和剤種類、混和剤量、及び単位水量が挙げられる。学習済みモデルに適用される配合関連情報は、上記の各配合関連情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0093】

［製造関連情報］
生コンクリートの製造関連情報とは、練り混ぜ中の生コンクリートの硬さや流動性を確認できる要素であり、生コンクリートの品質を予測するための要素となる。また、上記配合関連情報との組み合わせによって、水和反応がどの程度進行しているか等を把握する要素として用いることができる。

【0094】

したがって、製造関連情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして学習が行われて生成された学習済みモデルが適用された品質予測システムは、生コンクリートの品質をより高い精度で予測することができる。

【0095】

なお、製造関連情報は、具体的には、ミキサ種類、ミキサ形式、練り混ぜ時間、練り混ぜ音、電力負荷値、練り混ぜ時の生コン温度、ミキサ内温湿度等が挙げられる。学習済みモデルに適用される製造関連情報は、上記の各製造関連情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0096】

また、上記の配合関連情報、及び製造関連情報のうちの、少なくとも一つの情報が、生コンクリート工場における既存の情報管理システムから取得される構成としても構わない。具体的には、既存の生コンクリート工場における、生コンクリートを出荷時に通常使用する、指定した材料の配合関連情報を管理するシステムから、上記の配合関連情報が取得されてもよい。さらに、生コンクリートの練り混ぜ時の状況を管理する管理システムから、練り混ぜ時間、練り混ぜ音、電力負荷値、練り混ぜ時の生コンクリートの温度、ミキサ内温湿度等の製造関連情報が取得されてもよい。なお、上記の情報管理システムは、配合関連情報、及び製造関連情報の取得方法に関する一例であって、各情報の取得方法を限定するものではない。

【0097】

さらに、重畳画像データ生成部１３ｄは、撮像部６０によって取得されてデータ入力部１１に対して順次入力される一連の画像データに基づいて、重畳画像データを生成するように構成されていても構わない。図４は、一連の画像データにおいて、重畳画像データの基になる組み合わせの一例を示す図面である。図４において×が付された画像は、エラー画像データと判定された画像データを示している。

【0098】

図４に示すように、例えば、順次撮像部６０からデータ入力部１１に入力される、ミキサ２内の生コンクリートを撮影した時系列に関する一連の画像データの内の、連続する四枚の画像データに基づいて、上述した一連の処理を行って、それぞれの組み合わせ（Ａ１，Ａ２）において、生コンクリートの品質予測を行っても構わない。また、一連の動作の中で生成される重畳画像データについては、基となる画像データが重複していてもよい。具体的には、図４に示すように、予め設定した枚数の幅で、所定の枚数分ずらしながら（組み合わせＡ１と組み合わせＡ２に基づいて）重畳画像データを順次作成し、リアルタイムで順次生コンクリートの品質を予測するように構成されていても構わない。

【0099】

〈２〉 上述した品質予測システム１が備える構成は、あくまで一例であり、本発明は、図示された各構成に限定されない。

【符号の説明】

【0100】

１ ： 品質予測システム
２ ： ミキサ
２ａ ： 羽根
１０ ： メインサーバ
１１ ： データ入力部
１２ ： データ出力部
１３ ： 演算処理部
１３ａ ： 記憶部
１３ｂ ： エラー画像判定部
１３ｃ ： 高輝度化処理部
１３ｄ ： 重畳画像データ生成部
２０ ： データサーバ
３０ ： 操作用端末
４０ ： 参照用端末
５０ ： 表示装置
６０ ： カメラ
６０ａ ： 領域
Ｍ１ ： 学習済みモデル

【図1】

【図2】

【図3】

【図4】