特開 2024-92607 混練体の品質予測モデル生成システム、混練体の品質予測モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024092607

(43)【公開日】2024-07-08

(54)【発明の名称】混練体の品質予測モデル生成システム、混練体の品質予測モデル生成プログラム

(51)【国際特許分類】

   G01N 33/38 20060101AFI20240701BHJP

【ＦＩ】

G01N33/38

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022208660

(22)【出願日】2022-12-26

(71)【出願人】

【識別番号】000000240

【氏名又は名称】太平洋セメント株式会社

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】千石 理紗

(72)【発明者】

【氏名】工藤 正智

(72)【発明者】

【氏名】立岩 華英

(57)【要約】

【課題】予測精度のバラつきが抑制された混練体の品質予測モデルを作成できる、混練体の品質予測モデル作成システム、及びプログラムを提供する。
【解決手段】学習用入力データの入力を受け付ける入力部と、混練体の品質予測モデルを生成する演算処理部とを備え、演算処理部は、学習用入力データに含まれる画像データについて、所定の領域内に構造体が写り込んでいると判定すると、補正対象画像データとして分類し、所定の領域内に構造体が写り込んでいないと判定すると、補正非対象画像データとして分類する判定部と、画素密度の基準値と、補正対象画像データとして分類された画像データの画素密度との比較結果に基づいて、当該画像データの画素密度を補正し、補正済画像データを生成する画像補正部と、所定のデータが入力されて機械学習を実行する学習部とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、
前記入力部に入力された前記学習用入力データに基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、
前記演算処理部は、
前記学習用入力データに含まれる前記画像データについて、所定の領域内に混練体とは異なる構造体が写り込んでいると判定すると、当該画像データを補正対象画像データとして分類し、前記所定の領域内に混練体とは異なる構造体が写り込んでいないと判定すると、当該画像データを補正非対象画像データとして分類する判定部と、
画素密度の基準値と、前記補正対象画像データとして分類された画像データの前記所定の領域内の混練体が写り込んでいる部分の画素密度との比較結果に基づいて、当該画像データの画素密度を補正し、補正済画像データを生成する画像補正部と、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を実行する学習部とを備えることを特徴とする混練体の品質予測モデル生成システム。

【請求項2】

前記画像補正部は、前記画像データの前記所定の領域内における、前記混練部の攪拌部材の回転軸と、混練体の位置関係に基づいて、前記補正対象画像データの画素密度を補正する請求項１に記載の混練体の品質予測モデル生成システム。

【請求項3】

前記画像補正部は、前記画像データの前記所定の領域内における、前記混練部の内壁面と、混練体の位置関係に基づいて、前記補正対象画像データの画素密度を補正する請求項１に記載の混練体の品質予測モデル生成システム。

【請求項4】

画素密度の前記基準値は、品質予測モデルの作成開始前に予め取得された、画素密度と１バッチの混練体の量との相関性に基づいて決定されることを特徴とする請求項１に記載の混練体の品質予測モデル生成システム。

【請求項5】

前記学習用入力データは、複数バッチより取得された複数の画像データと、前記複数の画像データのそれぞれに対応する混練体の品質に関する情報とが含まれていることを特徴とする請求項１～４のいずれか一項に記載の混練体の品質予測モデル生成システム。

【請求項6】

コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記学習用入力データに含まれる前記画像データについて、所定の領域内に混練体とは異なる構造体が写り込んでいるか否かを判定する判定ステップと、
前記判定ステップの結果に基づいて、前記学習用入力データに含まれる前記画像データを補正対象画像データと、補正非対象画像データとに分類する分類ステップと、
前記分類ステップにおいて前記補正対象画像データとして分類された画像データに関し、画素密度の基準値と、前記所定の領域内の混練体が写り込んでいる部分の画素密度との比較結果に基づいて、当該画像データの画素密度を補正し、補正済画像データを生成する補正ステップと、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする混練体の品質予測モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、品質予測モデル生成システム、品質予測モデル生成プログラムに関し、特に、混練体の品質予測モデル生成システム、品質予測モデル生成プログラムに関する。

【背景技術】

【0002】

混練体とは、水等の液体と、粉体等を混ぜ合わせたものであり、例えば、水と、セメント、フライアッシュ、高炉スラグ等の建設用建材とを混ぜ合わせたものである。具体的な混練体としては、フレッシュコンクリート、フレッシュモルタル、ジオポリマー、フレッシュペースト等が挙げられる。混練体は、使用用途や使用する現場の環境に応じて、要求される特性が異なる。そのため、従来、混練体の製造工程においては、製造する混練体が、要求される特性を満たすように、感覚や経験に基づいて、目視で練混ぜ状態を確認して出荷していた。

【0003】

混練体の品質に関連する重要な特性の一つとして、スランプ値がある。スランプ値は、硬化前のコンクリートのコンシステンシーを示す指標として用いられる値であり、一般的に未硬化の混練体の出荷時や荷卸し時には、当該混練体のスランプ値が要求される数値範囲内であるかどうかの評価や検査が行われる。

【0004】

混練体のスランプ値の評価結果や検査結果は、製造された混練体を出荷できるかどうか、荷卸し現場にて使用できるかどうかの品質に関する合否判定の基準となる。このため、混練体のスランプ値は、製造工場から出荷される前に、できる限り作業者の感覚や経験に依らず、高い精度で予測できることが期待されている。

【0005】

そこで近年では、混練体のスランプ値をより高い精度で予測するために、混練部の混練体の画像データとスランプ値とを関連付けた教師データを適用した機械学習によって生成された予測モデルを用いて、混練体のスランプ値を予測する方法が提案されている（下記特許文献１を参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１４４１３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１に記載されている予測方法は、十分高い精度で混練体のスランプ値を予測できる。そこで、本発明者は、上記特許文献１に記載されている予測方法に関し、更なる高精度化や、各生産拠点への導入を進めることについて鋭意検討していたところ、以下の課題を見出した。

【0008】

本発明者は、混練体のスランプ値等の流動性に基づく品質に関連する指標、又はその他の混練体の品質に関連する指標を、十分な予測精度で予測が可能な品質予測モデルを準備し、各生産拠点に設置されている装置に適用して、期待する精度で品質を予測ができるかどうかを確認した。ところが、条件によっては、生産拠点ごとで予測精度が大きくバラつく場合があり、更には、同一の混練部を撮影して取得した画像データを用いた場合であっても、バッチごとの予測精度のバラつきが予想以上に大きいことがあった。

【0009】

上記結果となった原因について、本発明者は、取得された画像データに含まれるノイズによる影響と推察し、画像データに含まれるノイズの影響を低減する方法を検討した。しかしながら、当該方法を適用したとしても、予測精度のバラつきは、期待した程の改善がみられなかった。

【0010】

本発明は、上記課題に鑑み、予測精度のバラつきが抑制された混練体の品質予測モデルを作成できる、混練体の品質予測モデル作成システム、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の混練体の品質予測モデル作成システムは、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力部と、
前記入力部に入力された前記学習用入力データに基づいて機械学習を実行し、混練体の品質予測モデルを生成する演算処理部とを備え、
前記演算処理部は、
前記学習用入力データに含まれる前記画像データについて、所定の領域内に混練体とは異なる構造体が写り込んでいると判定すると、当該画像データを補正対象画像データとして分類し、前記所定の領域内に混練体とは異なる構造体が写り込んでいないと判定すると、当該画像データを補正非対象画像データとして分類する判定部と、
画素密度の基準値と、前記補正対象画像データとして分類された画像データの前記所定の領域内の混練体が写り込んでいる部分の画素密度との比較結果に基づいて、当該画像データの画素密度を補正し、補正済画像データを生成する画像補正部と、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を実行する学習部とを備えることを特徴とする。

【0012】

本明細書において、「構造体」とは、混練部を構成する部品や、混練部に固定された物品等を指す。

【0013】

また、本明細書において、「画像データ」とは、静止画像データ、及び動画像データを含む意図で用いられる。動画像データは、所定のフレームレートで取得された画像データの集合であり、また、動画像データの一コマを切り出せば静止画像データが取得できることから、静止画像データとまとめて「画像データ」という。

【0014】

また、本明細書において、「所定の領域」とは、撮像画像の画角全体の領域であってもよく、画角の一部を切り取った領域であっても構わない。

【0015】

混練部は、混練体の練混ぜが行われる構成要素であり、混練体が収容される筐体と、混練体を練り混ぜるための撹拌部材を含むものである。例えば、フレッシュコンクリート等のセメントを含む混練体の場合における混練部は、レディーミクストコンクリート工場（生コン工場）やコンクリート製品工場におけるミキサ、建設現場に設置された現場プラント等が相当する。

【0016】

上記品質予測モデル作成システムにおいて、判定部が画像データに関して補正非対象画像データと補正対象画像データとに分類する基準については、厳密に所定の領域内に混練体とは異なる構造体が写り込んでいるか否かで判断する場合に限られず、機械学習において影響が極めて小さいと判断される程度で写り込んでいる場合は許容される。

【0017】

なお、当該判断は、画像データに写り込んでいる構造体に基づいて決定される画素密度の補正値と基準値とを比較した際の差が、許容範囲内か否かに基づいて行われる。具体的には、画素密度に関し、（｜基準値―補正値｜／基準値）によって求められる値が、０．１以下であれば許容され得るが、好ましくは０．０５以下である。

【0018】

また、画素密度の補正は、例えば、画像データの混練体が写り込んでいる領域を切り出して拡大した拡大図データに対し、高解像度化処理を施す処理である。

【0019】

本発明者は、同一の混練部を撮影して取得した画像データを用いても、一つの混練部で一度に練り混ぜられる混練体（以下、「１バッチ」という場合がある。）ごとに予測精度がバラついている点に着目した。

【0020】

混練体の製造工場では、受注状況や納品状況、製造日の気候等に応じて、混練部で一度に練り混ぜられる混練体の量が適宜調整される。１バッチの量が変動すると、混練部において練り混ぜられる混練体が移動する範囲が変化する。つまり、練り混ぜられている混練体を撮影するために、混練部に固定されている撮像部と混練体との距離が変化する。

【0021】

撮像部と混練体との距離が変化すると、混練体を表示する単位面積あたりの画素数（以下、「画素密度」という）が変化する。より具体的には、撮像部と混練体との距離が遠ざかるほど、混練体が写り込んでいる領域の画素密度が低下する。

【0022】

混練体が表示されている部分の画素密度が低下すると、練り混ぜられている途中の混練体の動きを精細に捉えることができず、実際とは異なった動きに見えてしまう場合がある。

【0023】

つまり、予測精度のバラつきを生じさせる要因の一つとしては、１バッチの量が異なることにより、画像データにおける混練体を表示している部分の画素密度が変化し、画像データに含まれる混練体の動きを正確に読み取れていなかったためと推察される。

【0024】

上記のように推察した本発明者は、当該要因に対して対策を行うべく、混練体が表示されている部分の画素密度のバラつきが比較的小さい画像データを学習用入力データとして適用して品質予測モデルを作成できるシステムを検討し、上記構成のシステムを構築するに至った。

【0025】

混練部の混練体を撮影するための設置された撮像部は、撮影する領域を変化させる程度に首振り動作を行う場合があるものの、基本的には所定の領域を撮影するように定位置に固定されている。つまり、混練部に設置された撮像部と、混練部の各構造体との位置関係は、１バッチの混練体の量によってはほとんど変わらない。

【0026】

撮像部と各構造体との位置がほとんど変わらない場合、補正対象画像データに基づいて、混練部の混練体の量、そして、撮像部と混練体との距離を推定することができる。さらに、撮像部と混練体との距離が推定できた場合、画像補正部は、補正対象画像データを、どのように補正すればよいかを推定できる。

【0027】

なお、補正非対象画像データは、構造体がほとんど写り込まないほどに、１バッチの混練体の量が多く、撮像部と混練体の位置が近い状態で取得された画像データとなっている場合が多い。このため、補正非対象画像データは、十分に高い画素密度で混練体を撮影できており、補正を行う必要性がほとんどない。

【0028】

つまり、上記品質予測モデル作成システムは、学習部が、混練体を表示している領域の画素密度のバラつきがある程度の範囲内に収まっている画像データによって機械学習を実行する。

【0029】

したがって、上記構成の品質予測モデル作成システムは、１バッチの混練体の量や流動性が大きく異なり、撮像部が取得した画像データにおける混練体が写り込んでいる領域の画素密度が大きく異なる場合においても、予測精度のバラつきが少ない品質予測モデルを作成することができる。

【0030】

ここで、機械学習の一般的な考え方として、あらゆる条件下においても高精度で予測可能となるように、膨大な学習用入力データを適用して予測モデルを作成するという考え方がある。しかしながら、学習用入力データの取得は、多くの場合、製造される製品を撮影した画像データ等である場合が多く、網羅的に画像データを取得するのは難しい。また、あらゆる条件に対応できる予測モデルの作成することは、一般的には膨大な数の学習用入力データを用意する必要があり、作成にかかる時間やコストを考慮すると現実的な手段とは言えない。このため、学習部に入力するデータを、高精度モデルを作成するためにより適したデータに補正処理するシステムは、時間やコストの面で非常に大きなメリットがある。

【0031】

上記品質予測モデル作成システムにおいて、
前記画像補正部は、前記画像データの前記所定の領域内における、前記混練部の攪拌部材の回転軸と、混練体の位置関係に基づいて、前記補正対象画像データの画素密度を補正するように構成されていても構わない。

【0032】

上記品質予測モデル作成システムにおいて、
前記画像補正部は、前記画像データの前記所定の領域内における、前記混練部の内壁面と、混練体の位置関係に基づいて、前記補正対象画像データの画素密度を補正するように構成されていても構わない。

【0033】

攪拌部材の回転軸や、混練部の内壁面は、混練部の混練体を撮影すると、混練体の量が少ない場合において不可避的に写り込む可能性が高いため、補正済画像データの画素密度を決定する基準に適している。

【0034】

上記品質予測モデル作成システムにおいて、
画素密度の前記基準値は、品質予測モデルの作成開始前に予め取得された、画素密度と１バッチの混練体の量との相関性に基づいて決定されても構わない。

【0035】

上記品質予測モデル作成システムにおいて、
前記学習用入力データは、複数バッチより取得された複数の画像データと、前記複数の画像データのそれぞれに対応する混練体の品質に関する情報とが含まれていても構わない。

【0036】

上記態様によれば、１バッチごとの混練体の量が異なる場合における補正済画像データの特徴量を抽出できる可能性が高まるため、混練体の予測精度のバラつきをより低減させた予測モデルを作成することができる。

【0037】

本発明の混練体の品質予測モデル生成プログラムは、
コンピュータに、
混練部で練り混ぜられている混練体を撮影する撮像部によって取得された複数の画像データと、混練体の練混ぜ後の品質に関連するデータである品質関連データとを含む、学習用入力データの入力を受け付ける入力ステップと、
前記学習用入力データに含まれる前記画像データについて、所定の領域内に混練体とは異なる構造体が写り込んでいるか否かを判定する判定ステップと、
前記判定ステップの結果に基づいて、前記学習用入力データに含まれる前記画像データを補正対象画像データと、補正非対象画像データとに分類する分類ステップと、
前記分類ステップにおいて前記補正対象画像データとして分類された画像データに関し、画素密度の基準値と、前記所定の領域内の混練体が写り込んでいる部分の画素密度との比較結果に基づいて、当該画像データの画素密度を補正し、補正済画像データを生成する補正ステップと、
前記補正非対象画像データ、及び前記補正済画像データの少なくとも一方と、混練体の品質に関する前記品質関連データとが入力されて機械学習を行う学習ステップとを実行させることを特徴とする。

【0038】

本明細書において、「コンピュータ」とは、プログラムが格納される記憶部と、当該プログラムを実行し、上記の各ステップの処理を行う演算処理部とを備えた装置を総称するものである。具体的には、例えば、ＰＣ、タブレット、スマートフォン、クラウドサーバ、又はその他の専用システム、専用モジュールが想定される。

【発明の効果】

【0039】

本発明によれば、予測精度のバラつきが抑制された混練体の品質予測モデルを作成できる、混練体の品質予測モデル作成システム、及びプログラムが実現される。

【図面の簡単な説明】

【0040】

【図1】品質予測モデル作成システムの一実施態様の全体構成を示すブロック図である。

【図2A】混練体が練り混ぜられているミキサ内の一場面を模式的に示す図面である。

【図2B】混練体が練り混ぜられているミキサ内の一場面を撮像した画像である。

【図3】混練体が練り混ぜられているミキサ内の一場面を模式的に示す図面である。

【図4】演算処理部で実行される学習用入力データ作成の処理動作を示すフローチャートである。

【図5A】混練体が練り混ぜられているミキサ内の一場面を模式的に示す図面である。

【図5B】混練体が練り混ぜられているミキサ内の一場面を撮像した画像である。

【図6】混練体が練り混ぜられているミキサ内の一場面を模式的に示す図面である。

【発明を実施するための形態】

【0041】

以下、本発明の混練体の品質予測モデル作成システム、及び品質予測モデル作成プログラムについて、図面を参照して説明する。なお、以下の各図面は、いずれも模式的に図示されたものであり、図面上の個数は、実際の個数と必ずしも一致していない。

【0042】

本発明の混練体の品質予測モデル作成システムは、混練部に相当するミキサ内で練り混ぜられている混練体を撮像部が撮影して取得した画像データ、及び当該混練体の品質関連データを含む学習用入力データに基づく機械学習を行うことで、混練体の品質予測モデルを作成するシステムである。なお、以下の実施系形態は、品質情報データがスランプ値である前提で説明されるが、品質情報データは、他の情報であっても構わない。

【0043】

具体的には、品質予測データは、混練体の流動性等に関する情報を含むデータである。以下の実施形態の説明におけるフレッシュコンクリートの品質予測情報は、スランプ値であるが、フレッシュコンクリートの品質に関連する他の情報を採用しても構わない。以下で説明される実施形態の品質予測モデル作成システム１によって生成される品質予測モデルは、フレッシュコンクリートの状態変化をより正確に捉えられるため、フレッシュコンクリートのコンシステンシーや流動性に関する指標について十分に予測が可能である。また、品質予測モデル作成システム１によって生成される品質予測モデルは、上記の関連付けに基づいて、フレッシュコンクリートのコンシステンシーや流動性に関する指標以外の、その他の品質であっても予測対象とすることができる。

【0044】

最初は、画像データから抽出される情報（以下、「画像抽出情報」という。）と、混練体の品質との関係性について説明する。なお、上述したように、混練体とは、水等の液体と、粉体等を混ぜ合わせたものであり、例えば、水と、セメント、フライアッシュ、高炉スラグ等の建設用建材とを混ぜ合わせたものである。具体的な混練体としては、フレッシュコンクリート、フレッシュモルタル、ジオポリマー、フレッシュペースト等が挙げられる。

【0045】

［画像抽出情報］
画像抽出情報は、混練部で練り混ぜられている混練体の画像データから抽出される情報であって、混練体の粘度や含水量等を把握するとともに、所定の時間経過後に混練体の状態を予測するための要素となる。このため、混練体の品質の予測値に関連する品質予測情報は、画像抽出情報と関連付けることができる。

【0046】

したがって、画像抽出情報を含む学習用入力データ、品質予測情報を含む学習用出力データとして機械学習を行って生成された混練体の品質を予測するための品質予測モデルを適用することで、製造される混練体の品質を予測することができる。

【0047】

なお、画像抽出情報は、具体的には、混練体の表面の振幅、ミキサの羽根によって混練体が沈み込む深さ、骨材の大きさや形状等が挙げられる。品質予測モデルに適用される画像抽出情報は、上記の各画像抽出情報のうちの一種だけを用いてもよく、二種以上を組み合わせて用いてもよい。

【0048】

学習済みモデルの学習に用いる教師データのサンプルの数は、学習用入力データからスランプ情報を導出するために必要な特徴量を抽出し、さらに予測精度を高める観点から、好ましくは１００以上、より好ましくは１，０００以上、さらに好ましくは１０，０００以上、さらに好ましくは５０，０００以上、特に好ましくは１００，０００以上である。さらに、各学習済みモデルにおける学習回数は、例えば、１，０００回以上とすることができるが、特に限定されない。

【0049】

混練体の場合について具体的に言えば、画像データの取得は、複数バッチの混練体の画像データを取得して学習用入力データとして適用することが好ましいが、１バッチの混練体の画像データのみが教師データとして採用されても構わない。

【0050】

次に、本発明の品質予測モデル作成ステムで用いられる機械学習の方法について説明する。本発明の品質予測モデル作成システムで用いられる機械学習の方法としては、例えば、ニューラルネットワーク、線形回帰、決定木、サポートベクター回帰、アンサンブル法、サポートベクターマシン、判別分析、単純ベイズ法、最近傍法等が挙げられる。これらの方法は、一種を単独で用いてもよく、二種以上を組み合わせて用いてもよい。

【0051】

これらの方法の中でも、より高い精度で品質を予測することができる観点から、ニューラルネットワークによる機械学習が選択されることが好ましい。ニューラルネットワークは、より高い精度で品質を予測することができる観点から、入力層と出力層の間に一つ以上の中間層を有する階層型のニューラルネットワークが好適である。

【0052】

ニューラルネットワークの例としては、三次元畳み込みニューラルネットワーク（３ＤＣＮＮ：３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、長期・短期記憶（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）ニューラルネットワーク（ＬＳＴＭを用いて再帰型ニューラルネットワークを改良したもの）等が挙げられる。

【0053】

これらの中でも、画像認識の分野に優れた性能を有し、時間軸に関する、三次元畳み込みニューラルネットワーク（中間層として、畳み込み層やプーリング層等を有するニューラルネットワーク）がより好適である。三次元畳み込みニューラルネットワークは、異なる時刻に取得された複数の画像データから特徴量（時間変化に伴って変化する特徴量を含む）を検出し、当該特徴量を用いて、分類又は回帰を行うことが可能な品質予測モデルを作成することができる。畳み込みニューラルネットワークにおける、畳み込み層とプーリング層の組み合わせからなる層の数は、より高い精度で予測をすることができる観点から、好ましくは二つ以上、より好ましくは三つ以上である。

【0054】

また、機械学習を行うためのツールとしては、例えば、Ｇｏｏｇｌｅ社が開発したソフトウェアライブラリである「ＴｅｎｓｏｒＦｌｏｗ（登録商標）」や、ＩＢＭ社が開発したシステムである「ＩＢＭ Ｗａｔｓｏｎ（登録商標）」等を用いることができる。

【0055】

次に、品質予測モデル作成システム１の具体的な構成について説明する。

【0056】

本発明の品質予測モデル作成システム１の本実施形態の構成について説明する。図１は、品質予測モデル作成システム１の一実施態様の全体構成を示すブロック図である。品質予測モデル作成システム１は、図１に示すように、データ入力部１０と、演算処理部１１と、記憶部１２とで構成されている。

【0057】

図２Ａは、混練体が練り混ぜられているミキサ２内の一場面を模式的に示す図面であり、混練体が練り混ぜられているミキサ内の一場面を撮像した画像である。図３は、混練体が練り混ぜられているミキサ２内の一場面を模式的に示す図面であって、図２とは別の方向から見たときの図面である。

【0058】

本実施形態のデータ入力部１０は、図１に示すように、学習用入力データとして、撮像部２０が取得した画像データｄ１の入力を受け付ける。そして、データ入力部１０は、画像データｄ１を演算処理部１１に適用可能な画像データｄ２に変換して、演算処理部１１に入力する。演算処理部１１が画像データｄ１をそのまま処理可能な構成であれば、データ入力部１０は、画像データｄ１をそのまま画像データｄ２として、演算処理部１１に入植するように構成されていてもよい。

【0059】

なお、本実施形態では、撮像部２０からデータ入力部１０に対して、直接画像データｄ１が入力される構成となっているが、データ入力部１０に入力される画像データｄ１は、データサーバやクラウドサーバ、スマートフォンやＰＣ等が備える記憶部、又は専用の記憶装置に格納された状態のデータであっても構わない。

【0060】

撮像部２０は、図２及び図３に示すように、攪拌部材３の回転軸３ａからの高さ（撮像部２０と回転軸３ａとの離間距離）がｈ１となる位置において、回転軸３ａが混練体によって覆われていない状態の下で、撮影領域２０ａ内に回転軸３ａの一部が写り込むように固定されている。

【0061】

撮像部２０は、例えば、所定の時間間隔で、静止画像データを取得するカメラであってもよく、動画像データを取得するビデオカメラであっても構わない。

【0062】

演算処理部１１は、図１に示すように、判定部１１ａと、画像補正部１１ｂと、学習部１１ｃとを備える。なお、演算処理部１１は、例えば、ＣＰＵやＭＰＵ等の演算処理装置によって構成されるが、必ずしも一つの装置やＩＣチップで構成される必要はなく、複数の装置、又は複数のＩＣチップが組み合わされて構成されていても構わない。

【0063】

判定部１１ａは、画像データｄ２について、撮影領域２０ａ内に混練体とは異なる攪拌部材３の回転軸３ａが写り込んでいる否かを判定する。判定部１１ａは、撮影領域２０ａ内に回転軸３ａが写り込んでいないと判定すると、画像データｄ２を補正非対象画像データｄ３として分類する。なお、本判定処理は、撮影領域２０ａの画像データから一部の領域を切り取った画像データに対して行われてもよい。

【0064】

また、判定部１１ａは、画像データｄ２について、撮影領域２０ａ内に回転軸３ａが写り込んでいると判定すると、画素密度の補正値を決定するための基準となる構造体として、回転軸３ａを特定する。そして、撮影領域２０ａ内において回転軸３ａの映り込んでいる領域面積に基づいて画素密度の補正値を決定し、決定した画素密度の補正値と、画像データｄ２の実際の画素密度とを比較し、誤差が許容範囲内であれば、画像データｄ２を補正非対象画像データｄ３として分類し、誤差が許容範囲より大きければ画像データｄ２を補正対象画像データｄ４として分類する。

【0065】

画像補正部１１ｂは、判定部１１ａにおいて決定された補正値に基づいて画素密度を高める補正処理を行い、補正済画像データｄ５を生成する。生成した補正済画像データｄ５は、学習部１１ｃに入力される。なお、当該画像処理としては、例えば、撮像画像のｐｐｉ（ｐｉｘｅｌ／ｉｎｃｈ）について、１ｉｎｃｈあたり画素数を増加させるといった、既知の画像処理方法を採用し得るが、特にこれらの処理方法には限定されない。

【0066】

ここで、補正値を決定するための構造体としては、１バッチの撮影中に位置がほぼ変化せず、かつ、撮像部２０の撮影領域２０ａに比較的写り込む可能性が高い構造体が採用される。構造体の具体例は、攪拌部材３の回転軸３ａや、ミキサ２の内壁面２ａ（図２参照）、更には、材料投入口の壁面等を採用し得る。

【0067】

具体的には、攪拌部材３の回転軸３ａや、ミキサ２の内壁面２ａ、材料投入口の壁面等は、撮像部２０との間の位置関係が固定されており、その位置が変化することはないが、混練体の量によって、混練体によって覆われる領域が変化する。混練体の量が少なければ、覆われる領域が少なくなり、結果として、撮影領域２０ａ内に映り込む領域は多くなる。逆に、混練体の量が多ければ、混練体によって覆われる領域が多くなり、撮影領域２０ａ内に映り込む領域は、少なくなる。つまり、構造体の映る面積と混練体の量との間には相関があるため、構造体の映り込んだ面積を基準として、混練体の映る領域の画素密度の補正を行うことができる。

【0068】

より具体的には、構造体の実際の面積と、撮影領域２０ａ内に映り込んだ構造体の面積とを比較して、基準値が設定される。例えば、判定部１１ａは、構造体の実際の面積が０．２ｍ²の場合であって、混練体の量が４０Ｌの場合について、映り込んだ構造体の面積が全体の１／２である場合には、当該撮影領域２０ａ内に写る構造体が０．１ｍ²であると判定する。つまり、映り込んだ構造体の面積に対する、撮影領域２０ａに映り込んだ混練体の面積に基づいて、実際の混練体の面積が算出される。なお、実際の混練体の面積が算出されるため、画素密度が算出される。このようにして、判定部１１ａは、混練体の量が４０Ｌの場合の基準値となる画素密度を決定する。

【0069】

次に、混練体の量が４０Ｌの場合の画素密度を基準値として、当該基準値に合わせて画素密度の補正を行う場合、判定部１１ａは、補正対象画像データｄ４について、構造体の映り込んだ領域の面積を算出し、実際の構造体の面積を比較する。例えば、混練体の量が３０Ｌであって、構造体の映り込んだ面積が全体の２／３である場合、判定部１１ａは、当該撮影領域に写る構造体が０．１３ｍ²であると判定する。そして、同様に、判定部１１ａは、実際の混練体の面積を算出し、画素密度を決定する。

【0070】

そして、例えば、基準値の画素密度が７．５ｐｐｉであり、補正対象画像データｄ４の画素密度が６．３ｐｐｉである場合には、７．５ｐｐｉと６．３ｐｐｉの差分を、補正値とした補正処理が行われる。

【0071】

このような補正処理を実行することにより、混練体の量が異なることに起因して撮像部と混練体の表面（液面）との距離が変動する場合であっても、学習用入力データの画素密度が統一化される。

【0072】

学習部１１ｃは、判定部１１ａから入力される補正非対象画像データｄ３と、画像補正部１１ｂから入力される補正済画像データｄ５と、学習用入力データの一つである、データサーバ３０から読み出される、画像データ（ｄ３，ｄ５）に写っている混練体のスランプ値データｄ６とに基づいて、機械学習を実行する。学習部１１ｃは、機械学習を実行することにより品質予測モデルＭ１を生成し、記憶部１２に格納する。

【0073】

次に、図を参照しながら、演算処理部１１における学習用入力データに含まれる画像データ（ｄ３，ｄ５）の生成に関連する動作について説明する。

【0074】

図４は、演算処理部１１で実行される学習用入力データ作成の処理動作を示すフローチャートであり、より具体的には、学習部１１ｃに入力される画像データの作成工程を示すフローチャートである。

【0075】

図４に示すように、最初に、判定部１１ａが、画素密度の基準値を決定する（ステップＳ１）。本実施形態においては、過去の混練体の製造実績から、画素密度と１バッチの混練体の量との相関性が取得されている。つまり、本実施形態では、画像データの混練体部分の画素密度の基準値が、品質予測モデルの作成開始前に予め取得された、画素密度と１バッチの混練体の量との相関性に基づいて決定される。

【0076】

なお、画素密度の基準値の決定は、学習用入力データとして入力される画像データのうちの、最初の数枚の画像データに基づいて決定されても構わない。すなわち、画素密度の基準値の決定は、予め画素密度と１バッチの混練体の量との相関性が取得された状態で実施される必要はなく、例えば、機械学習がある程度進行した段階で行われても構わない。

【0077】

ステップＳ１により、画素密度の基準値が決定されると、画像データｄ１の取得が開始される（ステップＳ２）。

【0078】

ステップＳ２により、画像データｄ１がデータ入力部１０に入力されると、データ入力部１０が判定部１１ａに対して画像データｄ２を出力し、判定部１１ａが画像データｄ２の判定を行う（ステップＳ３）。

【0079】

判定部１１ａは、画像データｄ２の撮影対象が混練体のみであった場合、画像データｄ２を補正非対象画像データｄ３として、そのまま学習部１１ｃに入力し、学習用入力データの作成は完了する（ステップＳ４）。

【0080】

ここで、参考として、１バッチの混練体の量を異ならせた場合の、ミキサ２内の状態の違いを確認する。図５Ａ、図５Ｂ及び図６は、図２Ａ、図２Ｂ及び図３とは別の、混練体が練り混ぜられているミキサ内の一場面を模式的に示す図面、及び画像データである。図５Ａ、図５Ｂ及び図６に示すように、１バッチの混練体の量が多くなると、攪拌部材３の回転軸３ａは、混練体に隠れやすくなり、撮像部２０の撮影領域２０ａ内に回転軸３ａが写り込みにくくなる。実際にミキサ２内を撮像して取得された図２Ｂの画像と図５Ｂの画像とを比較すると、図５Ｂでは、左右の回転軸の一部が僅かに確認できる程度であるが、図２Ｂでは、左右の回転軸全体がはっきりと確認できる。

【0081】

画像データｄ２の撮影対象が混練体以外の構造体を含んでいた場合、判定部１１ａは、補正対象画像データｄ４に写り込んでいる構造体の中で、画素密度の補正値を決定するための構造体を判定する（ステップＳ５）。なお、本実施形態では、画素密度の補正値を決定するための構造体が、攪拌部材３の回転軸３ａと判定されるように構成されている。

【0082】

ステップＳ５により、画素密度の補正値を決定するための構造体が判定されると、判定部１１ａが当該構造体に基づいて画素密度の補正値を決定する（ステップＳ６）。

【0083】

ステップＳ６により、画素密度の補正値が決定されると、判定部１１ａは、ステップＳ１で決定された基準値と、ステップＳ６で決定された画素密度の補正値とを比較する（ステップＳ７）。

【0084】

画素密度の補正値と基準値との誤差が許容範囲内であると判定された場合、画像データｄ２は、補正処理が行われることなく、そのまま補正非対象画像データｄ３として、学習部１１ｃに入力される（ステップＳ８）。

【0085】

画素密度の補正値と基準値との誤差が許容範囲よりも大きいと判定された場合、画像データｄ２は、補正対象画像データｄ４と分類されて画像補正部１１ｂに入力される。画像補正部１１ｂに入力された補正対象画像データｄ４は、画素密度が高められて許容範囲内に収めるような処理が施され、補正済画像データｄ５として、学習部１１ｃに入力される（ステップＳ９）。

【0086】

以上の工程を経て、学習部１１ｃに入力される画像データ（ｄ３，ｄ５）が作成される。

【0087】

［検証実験］
ここで、学習用入力データに含まれる画像データについて画素密度の補正処理を行った品質予測モデルが、従来の何らの処理もしていない画像データで機械学習によって作成された品質予測モデルよりも、予測精度のバラつきが抑制されていることを確認するための検証実験を行ったので、その詳細について説明する。

【0088】

（実施例１）
上述した品質予測モデル作成システム１によって、下記条件の下で取得した学習用入力データを適用して生成した品質予測モデルを作成した。補正処理における画素密度の基準値としては、１バッチのフレッシュコンクリートの量が４０Ｌの場合の基準値を用いた。フレッシュコンクリートを練り混ぜるミキサは、光洋機械産業社製の強制練り２軸ミキサを使用した。画像データの取得は、ミキサ２内において、回転軸３ａからの高さが１８０ｃｍとなる位置に固定された撮像部２０によって行った。

【0089】

撮影条件：３０ｆｐｓ（１秒当たり３０フレーム）の撮像装置にて、撮影時間１０秒にて撮影した。撮影時間は、練り混ぜ開始後、十分に材料が混ざった時点から練り混ぜ完了までの時間の内、任意に設定することができる。特に、混練体の材料が均一に混ざった状態から撮影を開始することが望ましい。これは、予測対象の品質を実際に測定する場合の状態に合わせるためである。例えば、予測対象の品質がスランプ値である場合には、実際にスランプ試験を行う際の混練体の状態に近い状態で撮影し、学習用データとした方が、より精度が向上する。

【0090】

画像データの画素数 ：幅９６０ｐｉｘｅｌ×高さ４８０ｐｉｘｅｌ
バッチ数 ：３０バッチ
取得画像データ数 ：３０枚／バッチ（画像データの総数は９，０００枚）
１バッチのフレッシュコンクリートの量：３０Ｌ～５０Ｌ
各バッチのフレッシュコンクリートの量：３０Ｌ（１２バッチ）、４０Ｌ（１５バッチ）、５０Ｌ（３バッチ）
補正処理を行った画像データ数 ：１２バッチ（３０Ｌのバッチ数）×３００枚＝３，６００枚

【0091】

（比較例１）
画像補正部１１ｂによる補正処理を行わない点を除いて、実施例１と同じである。

【0092】

（参考例１）
１バッチのフレッシュコンクリートの量を４０Ｌで固定した点を除いて、実施例１と同じである。３０バッチについて４０Ｌで固定されており、４０Ｌの場合の基準値を用いているため、画像データｄ２は、判定部１１ａによって、いずれも補正非対象画像データｄ３として分類される。

【0093】

（参考例２）
実施例１で取得したバッチごとの画像データの中から、１バッチのフレッシュコンクリートの量が４０Ｌ±５Ｌの範囲にあるデータを選び出して、学習用入力データに適用した点を除いて、実施例１と同じである。学習用入力データの数は、１５バッチ（４０Ｌのバッチ数）×３００枚＝４，５００枚である。

【0094】

上述した各サンプルにて作成した品質予測モデルを用いて、合計○○回のスランプ値の予測を行い、予測値と実測値とが誤差±２．５ｃｍの範囲内で一致した割合を比較した。

【0095】

（結果）
各サンプルにて作成した品質予測モデルについて、予測値と実測値とが誤差±２．５ｃｍの範囲内で一致した割合は、下記表１のとおりとなった。

【0096】

【表1】

【0097】

上記表１によれば、比較例１に対して、実施例１の結果が１０％以上も高くなっており、より高い精度でスランプ値を予測できていることが確認できる。

【0098】

参考例１及び参考例２については、学習用入力データとして入力される画像データが、補正対象画像データに分類されない条件で実施されているため、補正処理を行わずとも高い精度でスランプ値を予測できている。参考例２は、参考例１より学習用入力データの数が少ないため、若干精度が下がっている。

【0099】

ただし、参考例２については、画像データの選別作業を要する態様であり、所望の画像データが得られない場合は、画像データの収集に膨大な時間とコストがかかってしまうため、現実的な方法ではないことに留意する必要がある。

【0100】

以上より、上記構成の品質予測モデル作成システム１は、１バッチの混練体の量による予測精度のバラつきが抑制された品質予測モデルを作成できる。また、品質予測モデル作成システム１は、画像データの混練体が写り込んでいる部分の画素密度を補正することにより、混練体の動きをより正確に捉えようとする技術思想に基づいて構成されたシステムである。

【0101】

したがって、品質予測モデル作成システム１は、従来よりも、画像データｄ１内の混練体の動きに基づく特徴量の抽出ができると推察される。このことは、品質予測モデル作成システム１によって作成される品質予測モデルＭ１が、混練体の品質を予測するにあたって、従来の品質予測モデルに比べて、画像データｄ１に写り込む構造体に左右されにくいことに影響していると考えられる。

【0102】

上述した品質予測モデル作成システム１が備える構成は、あくまで一例であり、本発明は、図示された各構成に限定されない。例えば、品質予測モデル作成システム１は、ＰＣ等のコンピュータに、上述したステップ（Ｓ１～Ｓ９）を実行させる品質予測モデル作成プログラムがインストールされることによって実現されていても構わない。なお、当該品質予測モデル作成プログラムは、上述したステップ（Ｓ１～Ｓ９）のうちの品質予測モデル作成システム１が必要とするステップをコンピュータに実行させるように構成されていればよい。

【符号の説明】

【0103】

１ ： 品質予測モデル作成システム
２ ： ミキサ
２ａ ： 内壁面
３ ： 攪拌部材
３ａ ： 回転軸
１０ ： データ入力部
１１ ： 演算処理部
１１ａ ： 判定部
１１ｂ ： 画像補正部
１１ｃ ： 学習部
１２ ： 記憶部
２０ ： 撮像部
２０ａ ： 撮影領域
３０ ： データサーバ
Ｍ１ ： 品質予測モデル

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6】