特開 2024-130749 混練体の品質予測モデル生成システム、混練体の品質予測モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130749

(43)【公開日】2024-09-30

(54)【発明の名称】混練体の品質予測モデル生成システム、混練体の品質予測モデル生成プログラム

(51)【国際特許分類】

   G01N 33/38 20060101AFI20240920BHJP

【ＦＩ】

G01N33/38

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023040642

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】000000240

【氏名又は名称】太平洋セメント株式会社

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】立岩 華英

(72)【発明者】

【氏名】工藤 正智

(72)【発明者】

【氏名】千石 理紗

(72)【発明者】

【氏名】石田 弘徳

(57)【要約】

【課題】予測精度のバラつきが抑制された混練体の品質予測モデルを生成できる、混練体の品質予測モデル生成システム、及びプログラムを提供する。
【解決手段】混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の入力画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、学習用入力データに含まれる複数の入力画像データ、又は複数の入力画像データの所定の領域を切り出して生成した複数の学習用画像データからなる学習用画像データ群に基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、学習用画像データ群は、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データが相対的に多く含まれる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の入力画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、
前記学習用入力データに含まれる前記複数の入力画像データ、又は前記複数の入力画像データの所定の領域を切り出して生成した複数の学習用画像データからなる学習用画像データ群に基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、
前記学習用画像データ群は、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データが相対的に多く含まれることを特徴とする混練体の品質予測モデル生成システム。

【請求項2】

前記複数の入力画像データは、前記撮像部が前記混練部を撮影して取得した動画データのフレームを構成する複数の画像データであることを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項3】

前記複数の入力画像データは、異なる複数の混練部で練り混ぜられている混練体を撮影して取得された画像データを含むことを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項4】

前記学習用画像データ群に含まれる画像データにおける、前記混練体を表示している部分の解像度が略同一であることを特徴とする請求項３に記載の混練体の品質予測モデル生成システム。

【請求項5】

前記入力画像データは、中央部を前記混練部の攪拌羽根が通過する領域を撮影して取得された画像データであることを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項6】

前記入力画像データは、前記混練部の攪拌羽根を回転させる回転軸を実質的に含まない領域を撮影して取得された画像データであることを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項7】

コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の入力画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記学習用入力データに含まれる前記複数の入力画像データの所定の領域を切り出して生成して学習用画像データを生成する学習用画像データ生成ステップと、
前記学習用画像データ生成ステップにおいて生成された複数の学習用画像データのうちの少なくとも一部を含む、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データが相対的に多く含まれる学習用画像データ群と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする混練体の品質予測モデル生成プログラム。

【請求項8】

コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の入力画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記複数の入力画像データのうちの少なくとも一部からなり、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データが相対的に多く含まれる学習用画像データ群と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする混練体の品質予測モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、品質予測モデル生成システム、品質予測モデル生成プログラムに関し、特に、混練体の品質予測モデル生成システム、品質予測モデル生成プログラムに関する。

【背景技術】

【0002】

混練体とは、水等の液体と、粉体等を混ぜ合わせたものであり、例えば、水と、セメント、フライアッシュ、高炉スラグ等の建設用建材とを混ぜ合わせたものである。具体的な混練体としては、フレッシュコンクリート、フレッシュモルタル、ジオポリマー、フレッシュペースト等が挙げられる。混練体は、使用用途や使用する現場の環境に応じて、要求される特性が異なる。そのため、従来、混練体の製造工程においては、製造する混練体が、要求される特性を満たすように、感覚や経験に基づいて、目視で練混ぜ状態を確認して出荷していた。

【0003】

混練体の品質に関連する重要な特性の一つとして、スランプ値がある。スランプ値は、硬化前のコンクリートのコンシステンシーを示す指標として用いられる値であり、一般的に未硬化の混練体の出荷時や荷卸し時には、当該混練体のスランプ値が要求される数値範囲内であるかどうかの評価や検査が行われる。

【0004】

混練体のスランプ値の評価結果や検査結果は、製造された混練体を出荷できるかどうか、荷卸し現場にて使用できるかどうかの品質に関する合否判定の基準となる。このため、混練体のスランプ値は、製造工場から出荷される前に、できる限り作業者の感覚や経験に依らず、高い精度で予測できることが期待されている。

【0005】

そこで近年では、混練体のスランプ値をより高い精度で予測するために、混練部の混練体の画像データとスランプ値とを関連付けた教師データを適用した機械学習によって生成された予測モデルを用いて、混練体のスランプ値を予測する方法が提案されている（下記特許文献１を参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１４４１３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１に記載されている予測方法は、十分高い精度で混練体のスランプ値を予測できる。そこで、本発明者は、上記特許文献１に記載されている予測方法に関し、更なる高精度化や、各生産拠点への導入を進めることについて鋭意検討していたところ、以下の課題を見出した。

【0008】

本発明者は、混練体のスランプ値等の流動性に基づく品質に関連する指標、又はその他の混練体の品質に関連する指標を、十分な予測精度で予測が可能な品質予測モデルを準備し、各生産拠点に設置されている装置に適用して、期待する精度で品質を予測ができるかどうかを確認した。ところが、生産拠点によっては、予測精度が許容できない程に大きくバラついてしまうことがあった。

【0009】

上記結果となった原因について、本発明者は、取得された画像データに含まれるノイズによる影響と推察し、画像データに含まれるノイズの影響を低減する方法を検討した。しかしながら、ノイズの影響を低減する方法をいくら適用しても、予測精度のバラつきは、期待した程の改善がみられなかった。

【0010】

本発明は、上記課題に鑑み、予測精度のバラつきが抑制された混練体の品質予測モデルを生成できる、混練体の品質予測モデル生成システム、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の混練体の品質予測モデル生成システムは、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の入力画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、
前記学習用入力データに含まれる前記複数の入力画像データ、又は前記複数の入力画像データの所定の領域を切り出して生成した複数の学習用画像データからなる学習用画像データ群に基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、
前記学習用画像データ群は、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データが相対的に多く含まれることを特徴とする。

【0012】

本明細書において、「画像データ」とは、静止画像データ、及び動画像データを含む意図で用いられる。動画像データは、所定のフレームレートで取得された画像データの集合であり、また、動画像データの一コマを切り出せば静止画像データが取得できることから、静止画像データとまとめて「画像データ」という。

【0013】

混練部は、混練体の練混ぜが行われる構成要素であり、混練体が収容される筐体と、混練体を練り混ぜるための撹拌部材を含むものである。例えば、フレッシュコンクリート等のセメントを含む混練体の場合における混練部は、レディーミクストコンクリート工場（生コン工場）やコンクリート製品工場におけるミキサ、建設現場に設置された現場プラント等が相当する。

【0014】

本発明者は、上記課題について検討していたところ、機械学習に用いられる学習用画像データと、品質予測に用いられる予測用画像データとで、混練部を構成する構造体や、混練体の写り込み方が大きく異なっていることに気が付いた。そして、本発明者は、このような違いが、品質予測の精度に影響していることを突き止めた。

【0015】

上記要因を見出した本発明者は、当該要因に対して対策を行うべく、形状やサイズ、撮像部の設置位置が異なる混練部であっても、期待するレベルの精度で混練体の品質予測が可能な品質予測モデルを生成できるシステムを検討し、上記構成のシステムを構築するに至った。

【0016】

上記品質予測モデル生成システムによれば、機械学習での特徴量の抽出等において、混練体の状態や動きによる寄与が相対的に高くなり、各生産拠点で異なる場合が多い混練部を構成する構造体等の状態や動きによる寄与が相対的に低くなる。

【0017】

したがって、上記品質予測モデル生成システムは、従来よりも混練部を構成する構造体等の状態や動きに影響されにくい品質予測モデルを生成することができる。

【0018】

上記品質予測モデル生成システムにおいて、
前記複数の入力画像データは、前記撮像部が前記混練部を撮影して取得した動画データのフレームを構成する複数の画像データであっても構わない。

【0019】

上記構成とすることで、時系列に沿った混練体の動きに基づいた機械学習を行うことができる。

【0020】

また、混練体を練り混ぜる時の混練部は、多くの場合、攪拌羽根などが一定の速度で回転している。このため、上記構成によれば、周期的に所定の時間間隔内に含まれる画像データを抽出することで、攪拌羽根の写り込んでいる領域が少ない画像データを簡単に抽出することができる。

【0021】

上記品質予測モデル生成システムにおいて、
前記複数の入力画像データは、異なる複数の混練部で練り混ぜられている混練体を撮影して取得された画像データを含んでいても構わない。

【0022】

さらに、上記品質予測モデル生成システムは、
前記学習用画像データ群に含まれる画像データにおける、前記混練体を表示している部分の解像度が略同一であっても構わない。

【0023】

ここでの「略同一」とは、学習用画像データ群に含まれる全画像データの解像度［ｐｉｘｅｌ／ｉｎｃｈ］の平均値を基準として、当該平均値との差が、５％以内にある場合を意図した概念である。

【0024】

上記構成とすることで、各混練部における練り混ぜられている混練体の動作に基づいた機械学習が可能となる。したがって、上記構成の品質予測モデル生成システムは、生産拠点ごとの混練部の形状やサイズの違いによる影響をより受けにくい品質予測モデルを生成することができる。

【0025】

上記品質予測モデル生成システムにおいて、
前記入力画像データは、中央部を前記混練部の攪拌羽根が通過する領域を撮影して取得された画像データであっても構わない。

【0026】

上記品質予測モデル生成システムにおいて、
前記入力画像データは、前記混練部の攪拌羽根を回転させる回転軸を実質的に含まない領域を撮影して取得された画像データであっても構わない。

【0027】

ここでの「実質的に含まない」とは、画像データ全体の面積に対して写り込んでいる面積が５％以下である場合を意図した概念である。

【0028】

上記構成とすることで、混練部を構成する構造体のうちの大部分を占める攪拌羽根を回転させる回転軸が画像データの中央部に写り込むのではなく、周辺部に部分的に写り込む、又は写り込まなくなる。したがって、画像データにおいては、混練部で練り混ぜられている混練体が、相対的により広い範囲にわたって写り込みやすくなる。

【0029】

なお、上記構成によれば、攪拌羽根が画像データの中央部に写り込みやすくなる場合がある。しかしながら、攪拌羽根は、混練体が練り混ぜられている間は常に回転軸を中心に回転しており、常に画像データに大きく写り込むわけではない。したがって、上記構成において、画像データに攪拌羽根が大きく写り込んでしまった場合は、当該画像データを学習用画像データとして採用しない等で対処できる。

【0030】

本発明の混練体の品質予測モデル生成プログラムは、
コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の入力画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記学習用入力データに含まれる前記複数の入力画像データの所定の領域を切り出して生成して学習用画像データを生成する学習用画像データ生成ステップと、
前記学習用画像データ生成ステップにおいて生成された複数の学習用画像データのうちの少なくとも一部を含む、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データが相対的に多く含まれる学習用画像データ群と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする。

【0031】

また、本発明の混練体の品質予測モデル生成プログラムは、
コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の入力画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記複数の入力画像データのうちの少なくとも一部からなり、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データが相対的に多く含まれる学習用画像データ群と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする。

【0032】

本明細書において、「コンピュータ」とは、プログラムが格納される記憶部と、当該プログラムを実行し、上記の各ステップの処理を行う演算処理部とを備えた装置を総称するものである。具体的には、例えば、ＰＣ、タブレット、スマートフォン、クラウドサーバ、又はその他の専用システム、専用モジュールが想定される。

【発明の効果】

【0033】

本発明によれば、予測精度のバラつきが抑制された混練体の品質予測モデルを生成できる、混練体の品質予測モデル生成システム、及びプログラムが実現される。

【図面の簡単な説明】

【0034】

【図1】品質予測モデル生成システムの一実施態様の全体構成を示すブロック図である。

【図2】本実施形態におけるミキサ内を模式的に示す図面である。

【図3】品質予測モデルの生成工程を示すフローチャートである。

【図4】比較例におけるミキサ内を模式的に示す図面である。

【図5】品質予測モデル生成システムの別実施態様の全体構成を示すブロック図である。

【発明を実施するための形態】

【0035】

以下、本発明の混練体の品質予測モデル生成システム、及び品質予測モデル生成プログラムについて、図面を参照して説明する。なお、以下の各図面は、いずれも模式的に図示されたものであり、図面上の個数は、実際の個数と必ずしも一致していない。

【0036】

本発明の混練体の品質予測モデル生成システムは、混練部に相当するミキサ内で練り混ぜられている混練体を撮像部が撮影して取得した画像データ、及び当該混練体の品質関連データを含む学習用入力データに基づく機械学習を行うことで、混練体の品質予測モデルを生成するシステムである。なお、以下の実施系形態は、品質情報データがスランプ値である前提で説明されるが、品質情報データは、他の情報であっても構わない。

【0037】

具体的には、品質予測データは、混練体の流動性等に関する情報を含むデータである。以下の実施形態の説明におけるフレッシュコンクリートの品質予測情報は、スランプ値であるが、フレッシュコンクリートの品質に関連する他の情報を採用しても構わない。以下で説明される実施形態の品質予測モデル生成システム１によって生成される品質予測モデルは、フレッシュコンクリートの状態変化をより正確に捉えられるため、フレッシュコンクリートのコンシステンシーや流動性に関する指標について十分に予測が可能である。また、品質予測モデル生成システム１によって生成される品質予測モデルは、上記の関連付けに基づいて、フレッシュコンクリートのコンシステンシーや流動性に関する指標以外の、その他の品質であっても予測対象とすることができる。

【0038】

最初は、画像データから抽出される情報（以下、「画像抽出情報」という。）と、混練体の品質との関係性について説明する。なお、上述したように、混練体とは、水等の液体と、粉体等を混ぜ合わせたものであり、例えば、水と、セメント、フライアッシュ、高炉スラグ等の建設用建材とを混ぜ合わせたものである。具体的な混練体としては、フレッシュコンクリート、フレッシュモルタル、ジオポリマー、フレッシュペースト等が挙げられる。

【0039】

［画像抽出情報］
画像抽出情報は、混練部で練り混ぜられている混練体の画像データから抽出される情報であって、混練体の粘度や含水量等を把握するとともに、所定の時間経過後に混練体の状態を予測するための要素となる。このため、混練体の品質の予測値に関連する品質予測情報は、画像抽出情報と関連付けることができる。

【0040】

したがって、画像抽出情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された混練体の品質を予測するための品質予測モデルを適用することで、製造される混練体の品質を予測することができる。

【0041】

なお、画像抽出情報は、具体的には、混練体の表面の振幅、攪拌羽根によって混練体が沈み込む深さ、骨材の大きさや形状等が挙げられる。品質予測モデルに適用される画像抽出情報は、上記の各画像抽出情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0042】

品質予測モデル生成のための学習に用いる教師データのサンプルの数は、学習用入力データからスランプ情報を導出するために必要な特徴量を抽出し、さらに予測精度を高める観点から、好ましくは１００以上、より好ましくは１，０００以上、さらに好ましくは１０，０００以上、さらに好ましくは５０，０００以上、特に好ましくは１００，０００以上である。さらに、各品質予測モデルにおける学習回数は、例えば、１，０００回以上とすることができるが、特に限定されない。

【0043】

混練体の場合について具体的に言えば、画像データの取得は、複数バッチの混練体の画像データを取得して学習用入力データとして適用することが好ましいが、１バッチの混練体の画像データのみが教師データとして採用されても構わない。

【0044】

次に、本発明の品質予測モデル生成システムで用いられる機械学習の方法について説明する。本発明の品質予測モデル生成システムで用いられる機械学習の方法としては、例えば、ニューラルネットワーク、線形回帰、決定木、サポートベクター回帰、アンサンブル法、サポートベクターマシン、判別分析、単純ベイズ法、最近傍法等が挙げられる。これらの方法は、一種を単独で用いてもよく、二種以上を組み合わせて用いてもよい。

【0045】

これらの方法の中でも、より高い精度で品質を予測することができる観点から、ニューラルネットワークによる機械学習が選択されることが好ましい。ニューラルネットワークは、より高い精度で品質を予測することができる観点から、入力層と出力層の間に一つ以上の中間層を有する階層型のニューラルネットワークが好適である。

【0046】

ニューラルネットワークの例としては、三次元畳み込みニューラルネットワーク（３ＤＣＮＮ：３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、長期・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）ニューラルネットワーク（ＬＳＴＭを用いて再帰型ニューラルネットワークを改良したもの）等が挙げられる。

【0047】

これらの中でも、画像認識の分野に優れた性能を有し、時間軸に関する、三次元畳み込みニューラルネットワーク（中間層として、畳み込み層やプーリング層等を有するニューラルネットワーク）がより好適である。三次元畳み込みニューラルネットワークは、異なる時刻に取得された複数の画像データから特徴量（時間変化に伴って変化する特徴量を含む）を検出し、当該特徴量を用いて、分類又は回帰を行うことが可能な品質予測モデルを生成することができる。畳み込みニューラルネットワークにおける、畳み込み層とプーリング層の組み合わせからなる層の数は、より高い精度で予測をすることができる観点から、好ましくは二つ以上、より好ましくは三つ以上である。

【0048】

また、機械学習を行うためのツールとしては、例えば、Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリである「ＴｅｎｓｏｒＦｌｏｗ（登録商標）」や、ＩＢＭ社が開発したシステムである「ＩＢＭ Ｗａｔｓｏｎ（登録商標）」等を用いることができる。

【0049】

次に、品質予測モデル生成システム１の具体的な構成について説明する。

【0050】

本発明の品質予測モデル生成システム１の本実施形態の構成について説明する。図１は、品質予測モデル生成システム１の一実施態様の全体構成を示すブロック図である。品質予測モデル生成システム１は、図１に示すように、データ入力部１０と、演算処理部１１と、記憶部１２とで構成されている。

【0051】

図２は、本実施形態におけるミキサ２内を模式的に示す図面である。図２に示すように、学習用入力データに含まれる画像データは、ミキサ２内に設置された撮像部２０によって取得される。なお、図２においては、攪拌羽根３及び回転軸３ａの状態が確認しやすいように、混練体が投入される前の状態が図示されている。

【0052】

本実施形態のデータ入力部１０は、図１に示すように、学習用入力データとして、撮像部２０が取得した画像データｄ１の入力を受け付ける。そして、データ入力部１０は、画像データｄ１を演算処理部１１に適用可能な画像データｄ２に変換して、演算処理部１１に入力する。演算処理部１１が画像データｄ１をそのまま処理可能な構成であれば、データ入力部１０は、画像データｄ１をそのまま画像データｄ２として、演算処理部１１に入力するように構成されていてもよい。

【0053】

なお、本実施形態では、撮像部２０からデータ入力部１０に対して、直接画像データｄ１が入力される構成となっているが、データ入力部１０に入力される画像データｄ１は、データサーバやクラウドサーバ、スマートフォンやＰＣ等が備える記憶部、又は専用の記憶装置に格納された状態のデータであっても構わない。そして、演算処理部１１は、複数のミキサ２内を撮像して取得された画像データに基づく機械学習を実施することで品質予測モデルＭ１を生成するように構成されていても構わない。

【0054】

本実施形態における撮像部２０は、図２に示すように、ミキサ２の攪拌羽根３を回転させる回転軸３ａを実質的に含まない領域２０ａを撮影対象領域とするように、ミキサ２内に設置されている。なお、撮像部２０を設置する位置は、回転軸３ａを実質的に含む領域を撮影対象領域としてもよく、混練体を練り混ぜる工程中において、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きくなる瞬間をとらえることができる領域を撮影対象領域としても構わない。

【0055】

また、図２に示すように、本実施形態では撮像部２０の撮影対象領域である領域２０ａの中心２０ｃが、攪拌羽根３の通過領域に含まれるように構成されている。これは、町域２０ａ内に回転軸３ａが写り込まないようにする目的で調整されているが、撮影対象領域が上述の態様を満たすのであれば、領域２０ａの中心２０ｃの位置が、攪拌羽根３ａの通過領域に含まれていなくても構わない。

【0056】

撮像部２０は、例えば、所定の時間間隔で、静止画像データを取得するカメラであってもよく、動画データを取得するビデオカメラであっても構わない。なお、撮像部２０としてビデオカメラが採用される場合、例えば、動画データのフレームを構成する複数の画像データのうちの少なくとも一部の画像データが学習用入力データとして演算処理部１１に入力される。

【0057】

演算処理部１１は、図１に示すように、判定部１１ａと、学習部１１ｂとを備える。なお、演算処理部１１は、例えば、ＣＰＵやＭＰＵ等の演算処理装置によって構成されるが、必ずしも一つの装置やＩＣチップで構成される必要はなく、複数の装置、又は複数のＩＣチップが組み合わされて構成されていても構わない。

【0058】

判定部１１ａは、画像データｄ２について、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きいか否かを判定する。そして、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きいと判定された画像データｄ３を、学習用画像データとして学習部１１ｂに入力する。

【0059】

なお、面積の比較方法の具体例としては、画像データ中において対象物を表示していると認識されるｐｉｘｅｌ数を比較する方法が考えられる。

【0060】

学習部１１ｂは、判定部１１ａから入力される複数の画像データｄ３に基づいて、機械学習を実行する。そして、学習部１１ｂは、機械学習を実行することにより品質予測モデルＭ１を生成し、記憶部１２に格納する。

【0061】

次に、品質予測モデル生成システム１による品質予測モデルＭ１の生成工程の一例について、図面を参照しながら説明する。

【0062】

図３は、品質予測モデルＭ１の生成工程を示すフローチャートである。品質予測モデルＭ１の生成が開始されると、最初に、学習済みデータ入力部に撮像部２０が取得した画像データｄ１を含む学習用入力データが入力される（ステップＳ１）。

【0063】

ステップＳ１により、画像データｄ１がデータ入力部１０に入力されると、データ入力部１０が判定部１１ａに対して画像データｄ２を出力し、判定部１１ａが画像データｄ２について、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きいか否かの判定を行う（ステップＳ２）。

【0064】

判定部１１ａは、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きいと判定した画像データを抽出し、学習用画像データとしての画像データｄ３を学習部１１ｂに入力する（ステップＳ３）。

【0065】

学習部１１ｂが、入力された複数の画像データｄ３に基づいて、機械学習を実行し、品質予測モデルＭ１を生成する（ステップＳ４）。

【0066】

学習部１１ｂが生成した品質予測モデルＭ１を記憶部１２に格納する（ステップＳ５）。

【0067】

以上の各ステップを経て、品質予測モデルＭ１が生成される。

【0068】

［検証実験］
ここで、画像データｄ３における混練体以外の攪拌羽根３や回転軸３ａの写り込み具合と、品質予測モデルによる混練体の品質予測精度との関連性について確認するための検証実験を行ったので、その詳細について説明する。

【0069】

（実施例）
実施例は、品質予測モデル生成システム１によって生成された品質予測モデルＭ１を適用して混練体のスランプ値の予測を行う。

【0070】

撮影条件：３０ｆｐｓ（１秒当たり３０フレーム）の撮像装置により、１０秒間の撮影を行った。撮影時間は、練り混ぜ開始後、十分に材料が混ざった時点から練り混ぜ完了までの時間の内、任意に設定することができる。特に、混練体の材料が均一に混ざった状態から撮影を開始することが望ましい。これは、予測対象の品質を実際に測定する場合の状態に合わせるためである。例えば、予測対象の品質がスランプ値である場合には、実際にスランプ試験を行う際の混練体の状態に近い状態で撮影し、学習用データとした方が、より精度が向上する。

【0071】

学習用入力データを取得するミキサ数 ：構造が異なる４つのミキサ（Ｎ１～Ｎ４）
画像データの画素数 ：幅１２８０ｐｉｘｅｌ×高さ１０８０ｐｉｘｅｌ
バッチ数 ：各ミキサにつき５００バッチ
１バッチの画像枚数 ：４５０枚（３０枚／秒×１５秒）
スランプの幅 ：３～２３ｃｍ

【0072】

上記からわかるように、品質予測モデルの一サンプルを生成するにあたって用いた画像データの総数は、１５秒×３０枚／秒×５００バッチ×４（ミキサの種類）＝９００，０００枚とした。

【0073】

（比較例）
図４は、比較例におけるミキサ２内を模式的に示す図面である。図４に示すように、比較例は、撮像部２０が、攪拌羽根３と回転軸３ａが全体の少なくとも１／３以上の範囲に攪拌羽根３と回転軸３ａとが写り込む領域４０ａを撮影対象領域としている点と、判定部１１ａを備えず、撮像部２０が取得した画像データがそのまま学習部１１ｂに適用される点を除いて、実施例と同一である。

【0074】

上述した条件下で生成された品質予測モデルを用いて、スランプ値の予測を行い、予測値と実測値とが誤差±２．５ｃｍの範囲内で一致した場合を正解と定義して比較した。

【0075】

予測精度の評価は、学習用入力データとしての画像データを取得した４つのミキサ（Ｎ１～Ｎ４）と、学習用入力データとしての画像データを取得していないミキサＮ５とによって行った。

【0076】

（結果）
実施例、及び比較例について、各ミキサでの正解率は、下記表１のとおりとなった。

【0077】

【表1】

【0078】

上記表１によれば、いずれのミキサにおいても、比較例によりも実施例の方が安定して高い正解率となっていることが確認できる。また、ミキサＮ５において、比較例では極端に正解率が低下しているのに対し、実施例では他のミキサ（Ｎ１～Ｎ４）と同等の正解率となっている。

【0079】

以上より、上記構成の品質予測モデル生成システム１は、予測精度のバラつきが抑制された混練体の品質予測モデルＭ１を生成できる。また、上記構成の品質予測モデル生成システム１は、学習用入力データとしての画像データを取得していないミキサにおいても、高い精度で混練体の品質予測が可能な、より汎用性が高い品質予測モデルＭ１を生成することができる。

【0080】

［別実施形態］
以下、別実施形態につき説明する。

【0081】

〈１〉 図５は、品質予測モデル生成システム１の別実施態様の全体構成を示すブロック図である。図５に示すように、演算処理部１１は、さらに、画像処理部１１ｃを備え、画像データｄ２に対し、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい領域を切り出す処理を実行するように構成されていても構わない。当該構成では、画像処理部１１ｃによって切り出された画像データが学習用入力データとしての画像データｄ３として学習部１１ｂに入力される。

【0082】

〈２〉 上述した実施形態における品質予測モデル生成システム１は、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データのみを判定部１１ａが抽出して学習部１１ｂに入力している。

【0083】

しかしながら、学習部１１ｂに適用される画像データ群には、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも小さい画像データが含まれていても構わない。

【0084】

なお、この場合は、学習部１１ｂに適用される画像データ群に含まれる画像データは、混練体が表示されている領域の面積が、混練体とは異なる物体が表示されている領域の面積よりも大きい画像データの方が多くなるように選別される。

【0085】

また、学習部１１ｂに入力される画像データ群に含まれる画像データｄ３は、解像度が略同一となるように調整、選別されても構わない。例えば、判定部１１ａが、混練体が表示されている領域の大小のみならず、混練体が表示されている領域の解像度が略同一のものを選定するような構成や、画像処理部１１ｃが、混練体が表示されている領域の解像度が略同一となるように、画像データｄ２の一部を切り出すように構成されていても構わない。

【0086】

〈３〉 上述した品質予測モデル生成システム１が備える構成は、あくまで一例であり、本発明は、図示された各構成に限定されない。例えば、品質予測モデル生成システム１は、ＰＣ等のコンピュータに、上述したステップ（Ｓ１～Ｓ５）を実行させる品質予測モデル生成プログラムがインストールされることによって実現されていても構わない。なお、当該品質予測モデル生成プログラムは、上述したステップ（Ｓ１～Ｓ５）のうちの品質予測モデル生成システム１が必要とするステップをコンピュータに実行させるように構成されていればよい。

【符号の説明】

【0087】

１ ： 品質予測モデル生成システム
２ ： ミキサ
３ ： 攪拌羽根
３ａ ： 回転軸
１０ ： データ入力部
１１ ： 演算処理部
１１ａ ： 判定部
１１ｂ ： 学習部
１２ ： 記憶部
２０ ： 撮像部
２０ａ ： 撮影領域
４０ａ ： 撮影領域
Ｍ１ ： 品質予測モデル

【図1】

【図2】

【図3】

【図4】

【図5】