特開 2024-127228 混練体の品質予測モデル生成システム、混練体の品質予測モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127228

(43)【公開日】2024-09-20

(54)【発明の名称】混練体の品質予測モデル生成システム、混練体の品質予測モデル生成プログラム

(51)【国際特許分類】

   G01N 33/38 20060101AFI20240912BHJP

   G06T 7/00 20170101ALI20240912BHJP

【ＦＩ】

G01N33/38

G06T7/00 350B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023036233

(22)【出願日】2023-03-09

(71)【出願人】

【識別番号】000000240

【氏名又は名称】太平洋セメント株式会社

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】千石 理紗

(72)【発明者】

【氏名】工藤 正智

(72)【発明者】

【氏名】立岩 華英

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096DA02

5L096EA03

5L096EA13

5L096FA64

5L096HA11

5L096KA04

(57)【要約】

【課題】予測精度のバラつきが抑制された混練体の品質予測モデルを作成できる、混練体の品質予測モデル作成システム、及びプログラムを提供する。
【解決手段】液体材料と固体材料とが混合された混練体を撮影する撮像部によって取得された複数の画像データと、品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、学習用入力データに基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、演算処理部は、補正対象画像データであるか、補正非対象画像データであるかを判定する判定部と、写り込んだ固体材料の粒径の最大値を取得する測定部と、補正対象画像データの画素密度を補正し、補正済画像データを生成する画像補正部と、補正非対象画像データ、及び補正済画像データの少なくとも一方と、混練体の品質に関する品質関連データとが入力されて機械学習を実行する学習部とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

混練部で練り混ぜられている、液体材料と固体材料とが混合された混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、
前記入力部に入力された前記学習用入力データに基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、
前記演算処理部は、
前記学習用入力データに含まれる画像データにおいて、固体材料が写り込んでいる画像データを補正対象画像データと判定し、固体材料が写り込んでいない画像データを補正非対象画像データと判定する判定部と、
前記補正対象画像データと判定された複数の画像データのそれぞれにおいて、写り込んだ固体材料の粒径の最大値を取得する測定部と、
前記補正対象画像データに写り込んだ固体材料の粒径の最大値と、予め取得された固体材料の粒径の最大値との比較結果に基づいて、前記補正対象画像データの画素密度を補正し、補正済画像データを生成する画像補正部と、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を実行する学習部とを備えることを特徴とする混練体の品質予測モデル生成システム。

【請求項2】

予め取得される固体材料の粒径は、前記混練体の配合関連情報に基づいて決定されることを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項3】

前記学習用入力データは、複数バッチより取得された複数の画像データと、前記複数の画像データのそれぞれに対応する混練体の品質に関する情報とが含まれていることを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項4】

前記混練体はフレッシュコンクリートであり、前記測定部が測定対象とする固体材料は骨材であることを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項5】

コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記学習用入力データに含まれる画像データにおいて、固体材料が写り込んでいる画像データを補正対象画像データと判定し、固体材料が写り込んでいない画像データを補正非対象画像データと判定する判定ステップと、
前記補正対象画像データと判定された複数の画像データのそれぞれにおいて、写り込んだ固体材料の粒径の最大値を取得する測定ステップと、
前記補正対象画像データに写り込んだ固体材料の粒径の最大値と、予め取得された固体材料の粒径の最大値との比較結果に基づいて、前記補正対象画像データの画素密度を補正し、補正済画像データを生成する補正ステップと、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする混練体の品質予測モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、品質予測モデル生成システム、品質予測モデル生成プログラムに関し、特に、混練体の品質予測モデル生成システム、品質予測モデル生成プログラムに関する。

【背景技術】

【0002】

混練体とは、水等の液体材料と、粉等の材料、それから骨材等の固体材料を混ぜ合わせたものであり、例えば、水と、セメント、フライアッシュ、高炉スラグ等の水硬性硬化物質と、骨材とを混ぜ合わせたものである。具体的な混練体としては、フレッシュコンクリート、フレッシュモルタル、ジオポリマー、フレッシュペースト等が挙げられる。混練体は、使用用途や使用する現場の環境に応じて、要求される特性が異なる。そのため、従来、混練体の製造工程においては、製造する混練体が、要求される特性を満たすように、感覚や経験に基づいて、目視で練混ぜ状態を確認して出荷していた。

【0003】

混練体の品質に関連する重要な特性の一つとして、スランプ値がある。スランプ値は、硬化前のコンクリートのコンシステンシーを示す指標として用いられる値であり、一般的に未硬化の混練体の出荷時や荷卸し時には、当該混練体のスランプ値が要求される数値範囲内であるかどうかの評価や検査が行われる。

【0004】

混練体のスランプ値の評価結果や検査結果は、製造された混練体を出荷できるかどうか、荷卸し現場にて使用できるかどうかの品質に関する合否判定の基準となる。このため、混練体のスランプ値は、製造工場から出荷される前に、できる限り作業者の感覚や経験に依らず、高い精度で予測できることが期待されている。

【0005】

そこで近年では、混練体のスランプ値をより高い精度で予測するために、混練部の混練体の画像データとスランプ値とを関連付けた教師データを適用した機械学習によって生成された予測モデルを用いて、混練体のスランプ値を予測する方法が提案されている（下記特許文献１を参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１４４１３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１に記載されている予測方法は、十分高い精度で混練体のスランプ値を予測できる。そこで、本発明者は、上記特許文献１に記載されている予測方法に関し、更なる高精度化や、各生産拠点への導入を進めることについて鋭意検討していたところ、以下の課題を見出した。

【0008】

本発明者は、混練体のスランプ値等の流動性に基づく品質に関連する指標、又はその他の混練体の品質に関連する指標を、十分な予測精度で予測が可能な品質予測モデルを準備し、各生産拠点に設置されている装置に適用して、期待する精度で品質を予測ができるかどうかを確認した。ところが、生産拠点によっては、予測精度が許容できない程に大きくバラついてしまうことがあった。

【0009】

上記結果となった原因について、本発明者は、取得された画像データに含まれるノイズによる影響と推察し、画像データに含まれるノイズの影響を低減する方法を検討した。しかしながら、ノイズの影響を低減する方法をいくら適用しても、予測精度のバラつきは、期待した程の改善がみられなかった。

【0010】

本発明は、上記課題に鑑み、予測精度のバラつきが抑制された混練体の品質予測モデルを作成できる、混練体の品質予測モデル作成システム、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の混練体の品質予測モデル作成システムは、
混練部で練り混ぜられている、液体材料と固体材料とが混合された混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、
前記入力部に入力された前記学習用入力データに基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、
前記演算処理部は、
前記学習用入力データに含まれる画像データにおいて、固体材料が写り込んでいる画像データを補正対象画像データと判定し、固体材料が写り込んでいない画像データを補正非対象画像データと判定する判定部と、
前記補正対象画像データと判定された複数の画像データのそれぞれにおいて、写り込んだ固体材料の粒径の最大値を取得する測定部と、
前記補正対象画像データに写り込んだ固体材料の粒径の最大値と、予め取得された固体材料の粒径の最大値との比較結果に基づいて、前記補正対象画像データの画素密度を補正し、補正済画像データを生成する画像補正部と、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を実行する学習部とを備えることを特徴とする。

【0012】

本明細書において、「画像データ」とは、静止画像データ、及び動画像データを含む意図で用いられる。動画像データは、所定のフレームレートで取得された画像データの集合であり、また、動画像データの一コマを切り出せば静止画像データが取得できることから、静止画像データとまとめて「画像データ」という。

【0013】

また、本明細書において、「画素密度」とは、単位面積あたりの画素数を指す。

【0014】

さらに、本明細書において、「粒径」とは、固体材料をある一方向から見たときの、当該固体材料の外接円の直径に相当する。

【0015】

混練部は、混練体の練混ぜが行われる構成要素であり、混練体が収容される筐体と、混練体を練り混ぜるための撹拌部材を含むものである。例えば、フレッシュコンクリート等のセメントを含む混練体の場合における混練部は、レディーミクストコンクリート工場（生コン工場）やコンクリート製品工場におけるミキサ、建設現場に設置された現場プラント等が相当する。

【0016】

上記品質予測モデル作成システムにおいて、判定部が画像データに関して補正非対象画像データと分類する基準については、厳密に固体材料が写り込んでいるか否かで判断する場合に限られない。例えば、判定部は、機械学習において影響が極めて小さいと判断される程度の大きさの固体部材が写り込んでいる画像データに関して、補正非対称画像データと判断されるように構成されていても構わない。

【0017】

また、画素密度の補正は、例えば、画像データの混練体が写り込んでいる領域を切り出して拡大した拡大図データに対し、高解像度化処理を施す処理である。

【0018】

本発明者は、上記課題について検討していたところ、製造工場ごとに混練体を練り混ぜる混練部の形状やサイズ、撮像部の設置位置が異なっており、配合条件が同じ混練体であっても、撮像部が取得する画像データでは混練体を表示している部分の画素密度がバラつくことに気が付いた。

【0019】

上記事情を見出した本発明者は、当該要因に対して対策を行うべく、形状やサイズ、撮像部の設置位置が異なる混練部に適用したとしても、画素密度のバラつきが比較的小さい画像データを学習用入力データとして適用して品質予測モデルを作成できるシステムを検討し、上記構成のシステムを構築するに至った。

【0020】

混練体に含まれる固体材料は、規格や要求仕様に基づいて、形状やサイズがほぼ特定される。例えば、混練体に含まれる固体材料は、粒径が規格や要求仕様を満たすように、混練部に投入される前に、ふるいにかけられて、形状やサイズが調整される。このため、固体材料の粒径の最大値については、混練部に投入される前に、品質予測に影響を与えない程度の誤差範囲内において、予め特定することができる。また、固体材料の粒径のデータを取得する方法は、混練部に投入される前にカメラで取得した画像データを解析することで取得する方法も考えられる。

【0021】

判定部によって判別可能な形で画像データに写り込んだ固体材料は、比較的粒径が大きい固体材料である場合が多い（図２Ｂ参照）。このため、粒径の最大値は、予め特定された固体材料の粒径の最大値と概ね一致すると考えることができる。つまり、混練部内の撮像部の位置等をも考慮すれば、撮像部が取得した複数の画像データのうちの、粒径が最大の固体材料が写り込んでいる画像データにおける、当該固体材料の領域面積と、本来写り込むべき領域面積との差を求めることができる。この領域面積の差は、撮像部と混練体の液面との離間距離と相関関係を有する。なお、画像データ上におけるそれぞれの領域面積は、例えば、材料を表示している画素数と、本来写り込むべき領域の画素数とをカウントすることで算出することができる。

【0022】

そうすると、画像補正部は、画像データに基づいて取得された固体材料の粒径の最大値と、予め特定された固体材料の粒径の最大値に基づいて、混練体を表示している領域の画素密度を合わせるために、補正対象画像データをどのように補正すればよいかを推定できる。

【0023】

つまり、上記品質予測モデル作成システムは、学習部が、混練体を表示している領域の画素密度のバラつきがある程度の範囲内に収まっている画像データによって機械学習を実行することができる。

【0024】

したがって、上記構成の品質予測モデル作成システムは、混練部の形状やサイズが異なっている場合やカメラと対象物の距離が異なる場合であっても、予測精度のバラつきが少ない品質予測モデルを作成することができる。

【0025】

ここで、機械学習の一般的な考え方として、あらゆる条件下においても高精度で予測可能となるように、膨大な学習用入力データを適用して予測モデルを作成するという考え方がある。しかしながら、学習用入力データの取得は、多くの場合、製造される製品を撮影した画像データ等である場合が多く、網羅的に画像データを取得するのは難しい。また、あらゆる条件に対応できる予測モデルの作成することは、一般的には膨大な数の学習用入力データを用意する必要があり、作成にかかる時間やコストを考慮すると現実的な手段とは言えない。このため、学習部に入力するデータを、高精度モデルを作成するためにより適したデータに補正処理するシステムは、時間やコストの面で非常に大きなメリットがある。

【0026】

上記品質予測モデル作成システムにおいて、
予め取得される固体材料の粒径は、前記混練体の配合関連情報に基づいて決定されても構わない。

【0027】

配合関連情報は、打設後の生コンクリートにおける水和反応がどのように進展し、時間経過によってどの程度の強度が発現するかを予測するための要素として用いられる。配合関連情報の具体的な内容については、「発明を実施するための形態」の項目において例示列挙して説明される。

【0028】

上記品質予測モデル作成システムにおいて、
前記学習用入力データは、複数バッチより取得された複数の画像データと、前記複数の画像データのそれぞれに対応する混練体の品質に関する情報とが含まれていても構わない。

【0029】

上記態様によれば、一つの混練部で一度に練り混ぜられる混練体、すなわち、１バッチごとの混練体の量が異なる場合における補正済画像データの特徴量を抽出できる可能性が高まるため、混練体の予測精度のバラつきをより低減させた予測モデルを作成することができる。

【0030】

上記品質予測モデル作成システムにおいて、
前記混練体はフレッシュコンクリートであり、前記測定部が測定対象とする固体材料は骨材であっても構わない。

【0031】

本発明の混練体の品質予測モデル生成プログラムは、
コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記学習用入力データに含まれる画像データにおいて、固体材料が写り込んでいる画像データを補正対象画像データと判定し、固体材料が写り込んでいない画像データを補正非対象画像データと判定する判定ステップと、
前記補正対象画像データと判定された複数の画像データのそれぞれにおいて、写り込んだ固体材料の粒径の最大値を取得する測定ステップと、
前記補正対象画像データに写り込んだ固体材料の粒径の最大値と、予め取得された固体材料の粒径の最大値との比較結果に基づいて、前記補正対象画像データの画素密度を補正し、補正済画像データを生成する補正ステップと、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする。

【0032】

本明細書において、「コンピュータ」とは、プログラムが格納される記憶部と、当該プログラムを実行し、上記の各ステップの処理を行う演算処理部とを備えた装置を総称するものである。具体的には、例えば、ＰＣ、タブレット、スマートフォン、クラウドサーバ、又はその他の専用システム、専用モジュールが想定される。

【発明の効果】

【0033】

本発明によれば、予測精度のバラつきが抑制された混練体の品質予測モデルを作成できる、混練体の品質予測モデル作成システム、及びプログラムが実現される。

【図面の簡単な説明】

【0034】

【図1】品質予測モデル作成システムの一実施態様の全体構成を示すブロック図である。

【図2A】混練体が練り混ぜられているミキサ内の一場面を模式的に示す図面である。

【図2B】ミキサ内を撮像した参考用画像である。

【図3】混練体が練り混ぜられているミキサ内の一場面を模式的に示す図面である。

【図4】演算処理部で実行される学習用入力データ作成の処理動作を示すフローチャートである。

【発明を実施するための形態】

【0035】

以下、本発明の混練体の品質予測モデル作成システム、及び品質予測モデル作成プログラムについて、図面を参照して説明する。なお、以下の各図面は、いずれも模式的に図示されたものであり、図面上の個数は、実際の個数と必ずしも一致していない。

【0036】

本発明の混練体の品質予測モデル作成システムは、混練部に相当するミキサ内で練り混ぜられている混練体を撮像部が撮影して取得した画像データ、及び当該混練体の品質関連データを含む学習用入力データに基づく機械学習を行うことで、混練体の品質予測モデルを作成するシステムである。なお、以下の実施系形態は、品質情報データがスランプ値である前提で説明されるが、品質情報データは、他の情報であっても構わない。

【0037】

具体的には、品質予測データは、混練体の流動性（例えば、スランプフローや空気量）等に関する情報を含むデータである。以下の実施形態の説明におけるフレッシュコンクリートの品質予測情報は、スランプ値であるが、フレッシュコンクリートの品質に関連する他の情報を採用しても構わない。以下で説明される実施形態の品質予測モデル作成システム１によって生成される品質予測モデルは、フレッシュコンクリートの状態変化をより正確に捉えられるため、フレッシュコンクリートのコンシステンシーや流動性に関する指標について十分に予測が可能である。また、品質予測モデル作成システム１によって生成される品質予測モデルは、上記の関連付けに基づいて、フレッシュコンクリートのコンシステンシーや流動性に関する指標以外の、その他の品質であっても予測対象とすることができる。

【0038】

最初は、画像データから抽出される情報（以下、「画像抽出情報」という。）と、混練体の品質との関係性について説明する。なお、上述したように、混練体とは、水等の液体材料と、粉体等の材料、それから、骨材等の固体材料とを混ぜ合わせたものであり、例えば、水と、セメント、フライアッシュ、高炉スラグ等の建設用建材とを混ぜ合わせたものである。具体的な混練体としては、フレッシュコンクリート、フレッシュモルタル、ジオポリマー、フレッシュペースト等が挙げられる。

【0039】

［画像抽出情報］
画像抽出情報は、混練部で練り混ぜられている混練体の画像データから抽出される情報であって、混練体の粘度や含水量等を把握するとともに、所定の時間経過後に混練体の状態を予測するための要素となる。このため、混練体の品質の予測値に関連する品質予測情報は、画像抽出情報と関連付けることができる。

【0040】

したがって、画像抽出情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された混練体の品質を予測するための品質予測モデルを適用することで、製造される混練体の品質を予測することができる。

【0041】

なお、画像抽出情報は、具体的には、混練体の表面の振幅、ミキサの羽根によって混練体が沈み込む深さ、骨材の大きさや形状等が挙げられる。品質予測モデルに適用される画像抽出情報は、上記の各画像抽出情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0042】

［配合関連情報］
次に、配合関連情報について説明する。配合関連情報は、製造される混練体における水和反応が進行する速度等に寄与する情報である。

【0043】

配合関連情報としては、混練体の配合に関連の情報であり、例えば、コンクリートの設計強度、セメント種類、単位セメント量、セメント密度、セメント比表面積、粗骨材種類、単位粗骨材量、細骨材種類、単位細骨材量、骨材密度、粗粒率、細骨材率、骨材の表面水率、骨材の粒度分布、骨材の最大寸法、骨材の実積率、ふるい試験残分量等のデータを用いることができる。

【0044】

学習済みモデルの学習に用いる教師データのサンプルの数は、学習用入力データからスランプ情報を導出するために必要な特徴量を抽出し、さらに予測精度を高める観点から、好ましくは１００以上、より好ましくは１，０００以上、さらに好ましくは１０，０００以上、さらに好ましくは５０，０００以上、特に好ましくは１００，０００以上である。さらに、各学習済みモデルにおける学習回数は、例えば、１，０００回以上とすることができるが、特に限定されない。

【0045】

混練体の場合について具体的に言えば、画像データの取得は、複数バッチの混練体の画像データを取得して学習用入力データとして適用することが好ましいが、１バッチの混練体の画像データのみが教師データとして採用されても構わない。

【0046】

次に、本発明の品質予測モデル作成ステムで用いられる機械学習の方法について説明する。本発明の品質予測モデル作成システムで用いられる機械学習の方法としては、例えば、ニューラルネットワーク、線形回帰、決定木、サポートベクター回帰、アンサンブル法、サポートベクターマシン、判別分析、単純ベイズ法、最近傍法等が挙げられる。これらの方法は、一種を単独で用いてもよく、二種以上を組み合わせて用いてもよい。

【0047】

これらの方法の中でも、より高い精度で品質を予測することができる観点から、ニューラルネットワークによる機械学習が選択されることが好ましい。ニューラルネットワークは、より高い精度で品質を予測することができる観点から、入力層と出力層の間に一つ以上の中間層を有する階層型のニューラルネットワークが好適である。

【0048】

ニューラルネットワークの例としては、三次元畳み込みニューラルネットワーク（３ＤＣＮＮ：３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、長期・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）ニューラルネットワーク（ＬＳＴＭを用いて再帰型ニューラルネットワークを改良したもの）等が挙げられる。

【0049】

これらの中でも、画像認識の分野に優れた性能を有し、時間軸に関する、三次元畳み込みニューラルネットワーク（中間層として、畳み込み層やプーリング層等を有するニューラルネットワーク）がより好適である。三次元畳み込みニューラルネットワークは、異なる時刻に取得された複数の画像データから特徴量（時間変化に伴って変化する特徴量を含む）を検出し、当該特徴量を用いて、分類又は回帰を行うことが可能な品質予測モデルを作成することができる。畳み込みニューラルネットワークにおける、畳み込み層とプーリング層の組み合わせからなる層の数は、より高い精度で予測をすることができる観点から、好ましくは二つ以上、より好ましくは三つ以上である。

【0050】

また、機械学習を行うためのツールとしては、例えば、Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリである「ＴｅｎｓｏｒＦｌｏｗ（登録商標）」や、ＩＢＭ社が開発したシステムである「ＩＢＭ Ｗａｔｓｏｎ（登録商標）」等を用いることができる。

【0051】

次に、品質予測モデル作成システム１の具体的な構成について説明する。

【0052】

本発明の品質予測モデル作成システム１の本実施形態の構成について説明する。図１は、品質予測モデル作成システム１の一実施態様の全体構成を示すブロック図である。品質予測モデル作成システム１は、図１に示すように、データ入力部１０と、演算処理部１１と、モデル記憶部１２と、情報記憶部１３とで構成されている。

【0053】

図２Ａは、混練体が練り混ぜられているミキサ２内の一場面を模式的に示す図面であり、図２Ｂは、骨材Ａ１を確認するための、ミキサ２内を撮像した参考用画像である。図３は、混練体が練り混ぜられているミキサ２内の一場面を模式的に示す図面であって、図２Ａとは別の方向から見たときの図面である。

【0054】

なお、本来であれば、品質予測モデル作成システム１は、練り混ぜ中のミキサ２内を撮像して画像データを取得するが、説明の便宜のため、それから、ミキサ２内の状態が確認しやすいように、図２Ａ及び図３では、練り混ぜを停止させた状態が模式的に図示されており、図２Ｂでは、練り混ぜを停止させた状態で撮像された画像データを採用している。また、図２Ｂにおいては、複数の骨材が映り込んではいるが、図示の都合のため、一つの骨材Ａ１にのみ丸印と符号を付している。

【0055】

本実施形態のデータ入力部１０は、図１に示すように、学習用入力データとして、撮像部２０が取得した画像データｄ１の入力を受け付ける。そして、データ入力部１０は、画像データｄ１を演算処理部１１に適用可能な画像データｄ２に変換して、演算処理部１１に入力する。演算処理部１１が画像データｄ１をそのまま処理可能な構成であれば、データ入力部１０は、画像データｄ１をそのまま画像データｄ２として、演算処理部１１に入力するように構成されていてもよい。

【0056】

なお、本実施形態では、撮像部２０からデータ入力部１０に対して、直接画像データｄ１が入力される構成となっているが、データ入力部１０に入力される画像データｄ１は、データサーバやクラウドサーバ、スマートフォンやＰＣ等が備える記憶部、又は専用の記憶装置に格納された状態のデータであっても構わない。

【0057】

撮像部２０は、図３に示すように、静止時における液面からの高さがｈ１となる位置に固定されている。なお、高さｈ１は、ミキサ２の形状やサイズ等に応じて、任意に設定される。

【0058】

撮像部２０は、例えば、所定の時間間隔で、静止画像データを取得するカメラであってもよく、動画像データを取得するビデオカメラであっても構わない。

【0059】

情報記憶部１３は、学習用入力データを取得する対象となる混練体Ｃ１に関連する情報、具体的には、骨材Ａ１の粒径の最大値の情報を含む、混練体Ｃ１の配合関連情報が格納されている記憶部である。なお、品質予測モデル作成システム１に対して有線、又は無線でデータ通信を行うような外部機器や、周辺機器、又はサーバ等から骨材Ａ１の粒径に関する情報が入力される構成が採用される場合は、品質予測モデル作成システム１が情報記憶部１３を備えていなくても構わない。

【0060】

演算処理部１１は、図１に示すように、判定部１１ａと、測定部１１ｂと、画像補正部１１ｃと、学習部１１ｄとを備える。なお、演算処理部１１は、例えば、ＣＰＵやＭＰＵ等の演算処理装置によって構成されるが、必ずしも一つの装置やＩＣチップで構成される必要はなく、複数の装置、又は複数のＩＣチップが組み合わされて構成されていても構わない。

【0061】

判定部１１ａは、画像データｄ２について、撮影領域２０ａ内に混練体Ｃ１の固体材料の一つである骨材Ａ１が写り込んでいる否かを判定する。判定部１１ａは、撮影領域２０ａ内に骨材Ａ１が写り込んでいないと判定すると、画像データｄ２を補正非対象画像データｄ３として分類する。なお、本判定処理は、撮影領域２０ａの画像データから一部の領域を切り取った画像データに対して行われてもよい。

【0062】

測定部１１ｂは、画像データｄ２について、撮影領域２０ａ内に骨材Ａ１が写り込んでいると判定すると、画像データｄ２を補正対象画像データｄ４として分類し、撮影領域２０ａ内で確認される各骨材Ａ１が占める画素数（ｐｉｘｅｌ）を測定する。

【0063】

そして、測定部１１ｂは、測定した各骨材Ａ１の測定値のうちの最大値と、情報記憶部１３に格納されている骨材Ａ１の画素数の最大値との比較結果に基づいて画素密度の補正値を決定する。

【0064】

画像補正部１１ｃは、測定部１１ｂにおいて決定された補正値に基づいて画素密度を高める補正処理を行い、補正済画像データｄ５を生成する。生成した補正済画像データｄ５は、学習部１１ｄに入力される。なお、当該画像処理としては、例えば、撮像画像のｐｐｉ（ｐｉｘｅｌ／ｉｎｃｈ）について、１ｉｎｃｈあたり画素数を増加させるといった、既知の画像処理方法を採用し得るが、特にこれらの処理方法には限定されない。

【0065】

このような補正処理が実行されることにより、ミキサ２の形状やサイズが異なっても、学習用入力データに含まれる画像データにおける、混練体の表示領域の画素密度が統一される。

【0066】

なお、画像補正部１１ｃによる最初の補正処理が実施されたにも関わらず、誤差が許容範囲内でなかった場合、画像補正部１１ｃは、許容範囲内に収まるように再度の処理を行う。また、再度の処理を実施したにも関わらず、当該誤差が許容範囲内に収まらなかった場合、画像補正部１１ｃは、画像データをエラー画像データとして学習部１１ｄに入力するデータから除外する。

【0067】

学習部１１ｄは、判定部１１ａから入力される補正非対象画像データｄ３と、画像補正部１１ｃから入力される補正済画像データｄ５と、学習用入力データの一つである、データサーバ３０から読み出される、画像データ（ｄ３，ｄ５）に写っている混練体のスランプ値データｄ６とに基づいて、機械学習を実行する。学習部１１ｄは、機械学習を実行することにより品質予測モデルＭ１を生成し、モデル記憶部１２に格納する。

【0068】

次に、図を参照しながら、演算処理部１１における学習用入力データに含まれる画像データ（ｄ３，ｄ５）の生成に関連する動作について説明する。

【0069】

図４は、演算処理部１１で実行される学習用入力データ作成の処理動作を示すフローチャートであり、より具体的には、学習部１１ｄに入力される画像データの作成工程を示すフローチャートである。

【0070】

図４に示すように、最初に、情報記憶部１３に、骨材Ａ１の画素数の最大値が格納される（ステップＳ１）。

【0071】

ステップＳ１により、骨材Ａ１の画素数の最大値（配合関連情報）が格納された後、画像データｄ１の取得が開始される（ステップＳ２）。なお、当該ステップＳ２は、画像データの作成工程よりも前に予め行われていても構わない。

【0072】

ステップＳ２により、画像データｄ１がデータ入力部１０に入力されると、データ入力部１０が判定部１１ａに対して画像データｄ２を出力し、判定部１１ａが画像データｄ２についての判定を行う（ステップＳ３）。

【0073】

判定部１１ａは、画像データｄ２に骨材Ａ１が写り込んでいないと判定した場合、画像データｄ２を補正非対象画像データｄ３と判定し、補正非対象画像データｄ３をそのまま学習部１１ｄに入力する。画像データｄ２に骨材Ａ１が写り込んでいると判定した場合、判定部１１ａは、当該画像データを補正対象画像データｄ４と判定し、補正対象画像データｄ４を測定部１１ｂに入力する。

【0074】

測定部１１ｂは、判定部１１ａから入力された補正対象画像データｄ４に写り込んでいる骨材Ａ１の粒径を測定する（ステップＳ４）。なお、画素数の測定は、補正対象画像データｄ４において識別された全ての骨材Ａ１に対して実施される。

【0075】

ステップＳ４の実施後、ステップＳ４において取得された複数の骨材Ａ１の粒径のうちの最大値と、情報記憶部１３に格納されている骨材Ａ１の画素数の最大値に基づいて、画像補正部１１ｃは、画素密度の補正値を決定する（ステップＳ５）。

【0076】

ステップＳ５の実施後、画像補正部１１ｃは、ステップＳ５において決定した補正値に基づいて、補正対象画像データｄ４の補正処理を実施する（ステップＳ６）。

【0077】

ステップＳ６の実施後、画像補正部１１ｃは、補正対象画像データｄ４に移り込んでいる最も大きい骨材Ａ１の画素数と、情報記憶部１３に格納されている骨材の粒径の最大値から導かれる、当該骨材を補正対象画像データｄ４上に表示した場合における画素数とを比較する（ステップＳ７）。

【0078】

画素数の誤差が許容範囲よりも大きいと判定された場合、補正対象画像データｄ４は、当該誤差をより小さくするための補正処理が実施される（ステップＳ８）。当該誤差が許容範囲内に収まった画像データは、補正済画像データｄ５として処理が終了する。

【0079】

以上の工程を経て、学習部１１ｄに入力される画像データ（ｄ３，ｄ５）が作成される。

【0080】

［検証実験］
ここで、学習用入力データに含まれる画像データについて画素密度の補正処理を行った品質予測モデルが、従来の何らの処理もしていない画像データに基づく機械学習によって作成された品質予測モデルよりも、ミキサの違いによる予測精度のバラつきが抑制されていることを確認するための検証実験を行ったので、その詳細について説明する。

【0081】

（実施例）
上述した品質予測モデル作成システム１に対し、下記条件の下で取得した学習用入力データを適用して品質予測モデルＭ１を作成した。補正処理における画素密度の基準値としては、１バッチのフレッシュコンクリートの量が４０Ｌの場合の基準値を用いた。

【0082】

撮影条件：３０ｆｐｓ（１秒当たり３０フレーム）の撮像装置により、１０秒間の撮影を行った。撮影時間は、練り混ぜ開始後、十分に材料が混ざった時点から練り混ぜ完了までの時間の内、任意に設定することができる。特に、混練体の材料が均一に混ざった状態から撮影を開始することが望ましい。これは、予測対象の品質を実際に測定する場合の状態に合わせるためである。例えば、予測対象の品質がスランプ値である場合には、実際にスランプ試験を行う際の混練体の状態に近い状態で撮影し、学習用データとした方が、より精度が向上する。

【0083】

画像データの画素数 ：幅１２８０ｐｉｘｅｌ×高さ１０８０ｐｉｘｅｌ
バッチ数 ：５バッチ
取得画像データ数 ：３０枚／秒

【0084】

対象とするミキサ、及び撮像部の構成は、以下の三つとした。
１．強制二軸ミキサ（株式会社北川鉄工所製）
図３における高さｈ１が２ｍとなる位置に撮像部６０を設置
２．強制二軸ミキサ（株式会社北川鉄工所製）
図３における高さｈ１が３ｍとなる位置に撮像部６０を設置
３．ジクロス （株式会社北川鉄工所製）
図３における高さｈ１が２ｍとなる位置に撮像部６０を設置

【0085】

上記からわかるように、品質予測モデルの一サンプルを生成するにあたって用いた画像データの総数は、１０秒×３０枚／秒×５バッチ×３（ミキサの種類）＝４，５００枚とした。

【0086】

（比較例）
比較例は、画像補正部１１ｃによる補正処理を行わない点を除いて、実施例と同じである。

【0087】

上述した各サンプルにて作成した品質予測モデルを用いて、合計３０回のスランプ値の予測を行い、予測値と実測値とが誤差±２．５ｃｍの範囲内で一致した割合を比較した。

【0088】

（結果）
各サンプルにて作成した品質予測モデルについて、予測値と実測値とが誤差±２．５ｃｍの範囲内で一致した割合は、下記表１のとおりとなった。

【0089】

【表1】

【0090】

上記表１によれば、比較例に対して、実施例の結果が１９％も高くなっており、より高い精度でスランプ値を予測できていることが確認できる。

【0091】

以上より、上記構成の品質予測モデル作成システム１は、ミキサ２の形状や大きさ等の違いによる予測精度のバラつきが抑制された品質予測モデルを作成できる。

【0092】

上述した品質予測モデル作成システム１が備える構成は、あくまで一例であり、本発明は、図示された各構成に限定されない。例えば、品質予測モデル作成システム１は、ＰＣ等のコンピュータに、上述したステップ（Ｓ１～Ｓ８）を実行させる品質予測モデル作成プログラムがインストールされることによって実現されていても構わない。なお、当該品質予測モデル作成プログラムは、上述したステップ（Ｓ１～Ｓ８）のうちの品質予測モデル作成システム１が必要とするステップをコンピュータに実行させるように構成されていればよい。

【符号の説明】

【0093】

１ ： 品質予測モデル作成システム
２ ： ミキサ
２ａ ： 内壁面
３ ： 攪拌部材
３ａ ： 回転軸
１０ ： データ入力部
１１ ： 演算処理部
１１ａ ： 判定部
１１ｂ ： 測定部
１１ｃ ： 画像補正部
１１ｄ ： 学習部
１２ ： モデル記憶部
１３ ： 情報記憶部
２０ ： 撮像部
２０ａ ： 撮影領域
３０ ： データサーバ
Ａ１ ： 骨材
Ｍ１ ： 品質予測モデル

【図1】

【図2A】

【図2B】

【図3】

【図4】