(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023144761
(43)【公開日】2023-10-11
(54)【発明の名称】粒径クラス判定装置、該方法および該プログラム、ならびに、画像サイズ決定支援装置、該方法および該プログラム
(51)【国際特許分類】
G01N 15/02 20060101AFI20231003BHJP
【FI】
G01N15/02 C
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022051891
(22)【出願日】2022-03-28
(71)【出願人】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100111453
【弁理士】
【氏名又は名称】櫻井 智
(72)【発明者】
【氏名】土屋 雅大
(72)【発明者】
【氏名】桑名 孝汰
(72)【発明者】
【氏名】大菅 宏児
(57)【要約】
【課題】本発明は、より広い判定対象の粒径クラスを判定できる粒径クラス判定装置、該方法および該プログラム、ならびに、これらでの粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援装置、該方法および該プログラムを提供する。
【解決手段】本発明の粒径クラス判定装置Dは、異なる粒径の粒子を含む複数の粒子を撮像した画像を取得し、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、入力画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデルによって、前記取得した画像における前記複数の粒径クラスそれぞれの各確率を求める。ここで、前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、前記機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
異なる粒径の粒子を含む複数の粒子を撮像した画像を取得する画像取得部と、
画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデルによって、前記画像取得部で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理部とを備え、
前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、
前記機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである、
粒径クラス判定装置。
【請求項2】
前記所定の定数は、7より大きく、12より小さい値である、
請求項1に記載の粒径クラス判定装置。
【請求項3】
前記粒子は、核となる第1粒子と、前記第1粒子の表面に付いた、前記第1粒子より小さい第2粒子とを備えて成る疑似粒子である、
請求項1または請求項2に記載の粒径クラス判定装置。
【請求項4】
前記複数の粒子を照明する照明部をさらに備え、
前記画像取得部は、画像を生成する撮像部である、
請求項1ないし請求項3のいずれか1項に記載の粒径クラス判定装置。
【請求項5】
粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援装置であって、
所定の学習用データセットを取得する第1データ取得部と、
所定のサイズ決定用データセットを取得する第2データ取得部と、
画像が入力され、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得部で取得した所定の学習用データセットを用いて機械学習する機械学習部と、
前記機械学習部で機械学習した第2機械学習モデルに、前記第2データ取得部で取得した所定のサイズ決定用データセットを入力することによって、前記機械学習部で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する出力部とを備え、
前記所定の学習用データセットおよび前記所定のサイズ決定用データセットそれぞれは、複数の画像の各画像データを備える複数のデータ群を同数で備え、
前記複数のデータ群は、画像のサイズが互いに異なり、
前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられ、
前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられ、
前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備え、
前記機械学習部は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習し、
前記出力部は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習部で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習部で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する、
画像サイズ決定支援装置。
【請求項6】
請求項5に記載の画像サイズ決定支援装置をさらに備え、
前記機械学習済みの機械学習モデルには、前記機械学習部で機械学習した第2機械学習モデルが用いられる、
請求項1ないし請求項4のいずれか1項に記載の粒径クラス判定装置。
【請求項7】
異なる粒径の粒子を含む複数の粒子を撮像した画像を取得する画像取得工程と、
画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデルによって、前記画像取得工程で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理工程とを備え、
前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、
前記機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである、
粒径クラス判定方法。
【請求項8】
異なる粒径の粒子を含む複数の粒子を撮像した画像を取得する画像取得工程と、
画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデルによって、前記画像取得工程で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理工程とを備える、コンピュータによって実行される粒径クラス判定プログラムであって、
前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、
前記機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである、
粒径クラス判定プログラム。
【請求項9】
粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援方法であって、
所定の学習用データセットを取得する第1データ取得工程と、
所定のサイズ決定用データセットを取得する第2データ取得工程と、
画像が入力され、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得工程で取得した所定の学習用データセットを用いて機械学習する機械学習工程と、
前記機械学習工程で機械学習した第2機械学習モデルに、前記第2データ取得工程で取得した所定のサイズ決定用データセットを入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する出力工程とを備え、
前記所定の学習用データセットおよび前記所定のサイズ決定用データセットそれぞれは、複数の画像の各画像データを備える複数のデータ群を備え、
前記複数のデータ群は、画像のサイズが互いに異なり、
前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられ、
前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられ、
前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備え、
前記機械学習工程は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習し、
前記出力工程は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習工程で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する、
画像サイズ決定支援方法。
【請求項10】
コンピュータによって実行され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援プログラムであって、
所定の学習用データセットを取得する第1データ取得工程と、
所定のサイズ決定用データセットを取得する第2データ取得工程と、
画像が入力され、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得工程で取得した所定の学習用データセットを用いて機械学習する機械学習工程と、
前記機械学習工程で機械学習した第2機械学習モデルに、前記第2データ取得工程で取得した所定のサイズ決定用データセットを入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する出力工程とを備え、
前記所定の学習用データセットおよび前記所定のサイズ決定用データセットそれぞれは、複数の画像の各画像データを備える複数のデータ群を備え、
前記複数のデータ群は、画像のサイズが互いに異なり、
前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられ、
前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられ、
前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備え、
前記機械学習工程は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習し、
前記出力工程は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習工程で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する、
画像サイズ決定支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、測定対象の粒径クラスを判定する粒径クラス判定装置、粒径クラス判定方法および粒径クラス判定プログラム、ならびに、これらでの粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援装置、画像サイズ決定支援方法および画像サイズ決定支援プログラムに関する。
【背景技術】
【0002】
高炉を用いた鉄鋼の生産では、採掘した鉄鉱石が用いられるだけでなく、焼結鉱も用いられている。この焼結鉱の粒子は、鉄鉱石、石灰石およびコークス等の、核となる粉体と、前記粉体の表面に付いた、前記粉体より小さいこれらの微粉体とを備えて成る疑似粒子である。例えば、最大直径15mm程度の幅広い粒度分布を持つ粉鉱石等を原料とし、1mm以上の粉鉱石等に、1mm以下の微粉鉱石等を付着させ、平均3~5mm程度の焼結鉱の粒子が、いわゆる焼結工程によって生成される。この焼結工程では、大略、原料を層状に積み重ねた積層体に対し、その上部より加熱し、その下部にて空気を吸引することによって、熱が伝達される。このため、積層体中に、空気の流通のための隙間が必要であり、通常、2mmを超えない焼結鉱の粒子は、空気の通気性を劣化させ、焼結鉱の生産性を低下させてしまう。このため、焼結工程での、通気性を劣化させる粒子の発生を回避するために、粒径や粒度分布を測定したい、というニーズがある。
【0003】
この粒度分布を測定する技術は、例えば、特許文献1に開示されている。この特許文献1に開示された土の粒度分布推定方法は、原料土からふるい分けされて複数の粒度にクラス分けされた、各々の単一粒径土の多数の画像を訓練データとして、サーバに組み込まれた人工知能による機械学習により得られた学習済みモデルによって、採取土の粒度分布を推定する土の粒度分布の推定方法であって、訓練データとなる各々の前記単一粒径土の画像は、平面視して空隙が生じない厚さで敷き均された当該単一粒径土の表面を、所定の撮影距離で撮影装置によって撮像されたものとなっていると共に、クラス分けされた各々の粒度の割合と紐図けされており、平面視して空隙が生じない厚さで敷き均された、粒度分布を推定すべき採取土の表面を前記所定の撮影距離で前記撮影装置によって撮像した画像を、前記学習済みモデルに入力して、当該採取土のクラス分けされた各々の粒度の割合を出力させることにより、採取土の粒度分布を推定する。そして、その[0029]段落には、「また、土の性質には、含水比や粒子の組成なども含まれるが、これらの性質は対象外とすることができる。本実施形態では、自然乾燥状態の現地発生土を原料土とし、この原料土をふるい分けして、訓練データとなるクラス分けした各々の粒度の単一粒径土を得ることができると共に、種々の粒度の土が混合されたままの状態の、ふるい分けされていない現地発生土の自然乾燥状態の原料土を、粒度分布を推定すべき採取土(現地発生土)として、粒度分布を推定できるようになっている。」と記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
前記特許文献1に開示された土の粒度分布推定方法は、その[0029]段落に記載されている通り、測定対象が自然乾燥状態である場合に、粒度分布を推定できる。このため、前記特許文献1に開示された土の粒度分布推定方法は、測定対象が自然乾燥状態ではない場合には適していないと考えられる。特に、焼結工程では、原料に水を加えて練り固めたものを焼き固めるので、その粒度分布の測定に、前記特許文献1に開示された土の粒度分布推定方法は、適していないと考えられる。そして、焼結工程で生成される焼結鉱の粒子は、疑似粒子であるため、粉体だけでなく前記粉体に付いた微粉体を含めて粒径を判定する必要があるが、前記特許文献1に開示された土の粒度分布推定方法は、粉体だけ、あるいは、微粉体だけで粒径分布を推定してしまう虞がある。
【0006】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、より広い判定対象の粒径クラスを判定できる粒径クラス判定装置、粒径クラス判定方法および粒径クラス判定プログラム、ならびに、これらでの粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援装置、画像サイズ決定支援方法および画像サイズ決定支援プログラムを提供することである。
【課題を解決するための手段】
【0007】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる粒径クラス判定装置は、異なる粒径の粒子を含む複数の粒子を撮像した画像を取得する画像取得部と、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデル(第1機械学習モデル)によって、前記画像取得部で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理部とを備え、前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、前記機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである。好ましくは、上述の粒径クラス判定において、前記判定目標の粒径値は、最小の粒径の粒径クラスに対応する範囲の上限値に設定されている。好ましくは、上述の粒径クラス判定において、前記粒径クラス処理部は、前記求めた各確率を、そのまま、前記入力された画像に対する各粒径クラスの各確率とする。
【0008】
発明者の知見によれば、粒径クラスを、大きな粒径の大粒径クラス、小さな粒径の小粒径クラスおよびこれらの間の中粒径クラスの3個に設定した場合、画像のサイズが小さ過ぎると、大きな粒径を写し込んだ画像では、一粒全体が写らずに粒子の輪郭が欠けるため、適切に抽出し難い。特に、粒子が疑似粒子である場合、核の粉体(後述の第1粒子の一例)に付着した微粉体(後述の第2粒子の一例)を抽出してしまう虞があり、本来の疑似粒子を抽出できない虞がある。一方、画像のサイズが大き過ぎると、画像に大きな粒子と小さな粒子とが写り込んだ場合、小さい粒子の輪郭情報が埋もれてしまう虞があり、適切に抽出し難い。このため、判定目標の粒径値に対し、画像のサイズには、最適解が存在すると考えられる。
【0009】
上記粒径クラス判定装置は、複数の粒子を撮像した画像の粒径クラスの判定に、機械学習モデルを用いるので、様々な判定対象の画像で機械学習することで、より広い判定対象の粒径クラスを判定できる。この判定の際に、前記機械学習モデルに入力される画像のサイズが判定目標の粒径値を所定の定数で定数倍したサイズであるので、上記粒径クラス判定装置は、適切に粒径クラスを判定できる。特に、上記粒径クラス判定装置は、判定対象が疑似粒子である場合に、好適である。
【0010】
他の一態様では、上述の粒径クラス判定装置において、前記所定の定数は、7より大きく、12より小さい値である。好ましくは、上述の粒径クラス判定装置において、前記所定の定数は、8より大きく、11より小さい値である。好ましくは、上述の粒径クラス判定装置において、前記所定の定数は、10である。
【0011】
これによれば、前記所定の定数を、7より大きく、12より小さい値にした粒径クラス判定装置が提供できる。
【0012】
他の一態様では、これら上述の粒径クラス判定装置において、前記粒子は、核となる第1粒子と、前記第1粒子の表面に付いた、前記第1粒子より小さい第2粒子とを備えて成る疑似粒子である。好ましくは、上述の粒径クラス判定において、前記疑似粒子は、高炉に用いられる焼結鉱の粒子である。
【0013】
これによれば、疑似粒子を判定対象とした粒径クラス判定装置が提供できる。上記粒径クラス判定装置を、疑似粒子の粒径クラスの判定に用いるので、疑似粒子の粒径クラスが適切に判定できる。
【0014】
他の一態様では、これら上述の粒径クラス判定装置において、前記複数の粒子を照明する照明部をさらに備え、前記画像取得部は、画像を生成する撮像部である。
【0015】
このような粒径クラス判定装置は、照明部をさらに備え、画像取得部に撮像部を用いるので、例えば工場内の製造ラインで上記粒径クラス判定装置が利用でき、生産中に粒径クラスが判定できる。
【0016】
本発明の他の一態様にかかる画像サイズ決定支援装置は、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する装置であって、所定の学習用データセットを取得する第1データ取得部と、所定のサイズ決定用データセットを取得する第2データ取得部と、画像が入力され、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得部で取得した所定の学習用データセットを用いて機械学習する機械学習部と、前記機械学習部で機械学習した第2機械学習モデルに、前記第2データ取得部で取得した所定のサイズ決定用データセットを入力することによって、前記機械学習部で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する出力部とを備え、前記所定の学習用データセットおよび前記所定のサイズ決定用データセットそれぞれは、複数の画像の各画像データを備える複数のデータ群を備え、前記複数のデータ群は、画像のサイズが互いに異なり、前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられ、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられ、前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備え、前記機械学習部は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習し、前記出力部は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習部で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習部で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する。
【0017】
このような画像サイズ決定支援装置は、機械学習済みの第2学習モデルに、所定のサイズ決定用データセットを入力することによって得られた、前記複数の粒径クラスそれぞれの各確率を出力するので、ユーザは、この出力された複数の粒径クラスそれぞれの各確率と、画像に紐付けられた含有率を参照することで、複数の画像のサイズの中から、最適な画像のサイズを決定できる。したがって、上記画像サイズ決定支援装置は、ユーザによる画像のサイズの決定を好適に支援できる。よって、これによれば、これらでの粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援装置が提供できる。
【0018】
他の一態様では、これら上述の粒径クラス判定装置において、上述の画像サイズ決定支援装置をさらに備え、前記機械学習済みの機械学習モデルには、前記機械学習部で機械学習した第2機械学習モデルが用いられる。
【0019】
これによれば、画像のサイズの決定を支援する機能付きの粒径クラス判定装置が提供できる。上記粒径クラス判定装置は、画像サイズ決定支援装置と一体であるので、1個の装置で、画像のサイズの決定と粒径クラスの判定とを行うことができる。
【0020】
本発明の他の一態様にかかる粒径クラス判定方法は、異なる粒径の粒子を含む複数の粒子を撮像した画像を取得する画像取得工程と、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデルによって、前記画像取得工程で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理工程とを備え、前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、前記機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである。
【0021】
本発明の他の一態様にかかる粒径クラス判定プログラムは、異なる粒径の粒子を含む複数の粒子を撮像した画像を取得する画像取得工程と、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデルによって、前記画像取得工程で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理工程とを備える、コンピュータによって実行されるプログラムであって、前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、前記機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである。
【0022】
このような粒径クラス判定方法および粒径クラス判定プログラムは、複数の粒子を撮像した画像の粒径クラスの判定に、機械学習モデルを用いるので、様々な判定対象の画像で機械学習することで、より広い判定対象の粒径クラスを判定できる。この判定の際に、前記機械学習モデルに入力される画像のサイズが判定目標の粒径値を所定の定数で定数倍したサイズであるので、上記粒径クラス判定方法および粒径クラス判定プログラムは、適切に粒径クラスを判定できる。特に、上記粒径クラス判定方法および粒径クラス判定プログラムは、判定対象が疑似粒子である場合に、好適である。
【0023】
本発明の他の一態様にかかる画像サイズ決定支援方法は、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する方法であって、所定の学習用データセットを取得する第1データ取得工程と、所定のサイズ決定用データセットを取得する第2データ取得工程と、画像が入力され、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得工程で取得した所定の学習用データセットを用いて機械学習する機械学習工程と、前記機械学習工程で機械学習した第2機械学習モデルに、前記第2データ取得工程で取得した所定のサイズ決定用データセットを入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する出力工程とを備え、前記所定の学習用データセットおよび前記所定のサイズ決定用データセットそれぞれは、複数の画像の各画像データを備える複数のデータ群を備え、前記複数のデータ群は、画像のサイズが互いに異なり、前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられ、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられ、前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備え、前記機械学習工程は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習し、前記出力工程は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習工程で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する。
【0024】
本発明の他の一態様にかかる画像サイズ決定支援プログラムは、コンピュータによって実行され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援するプログラムであって、所定の学習用データセットを取得する第1データ取得工程と、所定のサイズ決定用データセットを取得する第2データ取得工程と、画像が入力され、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得工程で取得した所定の学習用データセットを用いて機械学習する機械学習工程と、前記機械学習工程で機械学習した第2機械学習モデルに、前記第2データ取得工程で取得した所定のサイズ決定用データセットを入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する出力工程とを備え、前記所定の学習用データセットおよび前記所定のサイズ決定用データセットそれぞれは、複数の画像の各画像データを備える複数のデータ群を備え、前記複数のデータ群は、画像のサイズが互いに異なり、前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられ、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられ、前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備え、前記機械学習工程は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習し、前記出力工程は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習工程で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習工程で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する。
【0025】
このような画像サイズ決定支援方法および画像サイズ決定支援プログラムは、機械学習済みの第2学習モデルに、所定のサイズ決定用データセットを入力することによって得られた、前記複数の粒径クラスそれぞれの各確率を出力するので、ユーザは、この出力された複数の粒径クラスそれぞれの各確率と、画像に紐付けられた含有率を参照することで、複数の画像のサイズの中から、最適な画像のサイズを決定できる。したがって、上記画像サイズ決定支援方法および画像サイズ決定支援プログラムは、ユーザによる画像のサイズの決定を好適に支援できる。よって、これらによれば、これらでの粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援方法および画像サイズ決定支援プログラムが提供できる。
【発明の効果】
【0026】
本発明にかかる粒径クラス判定装置、粒径クラス判定方法および粒径クラス判定プログラムは、より広い判定対象の粒径クラスを判定できる。本発明によれば、これらでの粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する画像サイズ決定支援装置、画像サイズ決定支援方法および画像サイズ決定支援プログラムが提供できる。
【図面の簡単な説明】
【0027】
【
図1】実施形態にかかる画像サイズ決定支援機能付きの粒径クラス判定装置の構成を示すブロック図である。
【
図2】前記粒径クラス判定装置における画像取得部および照明部を製造ラインに配置した状況を説明するための模式図である。
【
図3】学習用データセットおよび検証用データセットを説明するための図である。
【
図4】前記粒径クラス判定装置における機械学習モデルを説明するための図である。
【
図5】サイズ決定用データセットを説明するための図である。
【
図6】機械学習に関する前記粒径クラス判定装置の動作を示すフローチャートである。
【
図7】画像サイズ決定支援に関する前記粒径クラス判定装置の動作を示すフローチャートである。
【
図8】篩を用いて求めた粉率と前記粒径クラス判定装置を用いて推定した粉率との相関性を示すグラフである。
【
図9】粒径クラスの判定に関する前記粒径クラス判定装置の動作を示すフローチャートである。
【
図10】一例として、判定対象の画像中において、判定目標の粒径値に対応する粒径クラスの箇所をマークで指し示した画像である。
【発明を実施するための形態】
【0028】
以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【0029】
実施形態における粒径クラス判定装置は、異なる粒径の粒子を含む複数の粒子を撮像した画像を取得する画像取得部と、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデル(第1機械学習モデル)によって、前記画像取得部で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理部とを備える。前記複数の範囲における各境界値のいずれかは、判定目標の粒径値であり、前記第1機械学習モデルに入力される画像のサイズは、前記判定目標の粒径値を所定の定数で定数倍したサイズである。そして、実施形態における画像サイズ決定支援装置は、粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援する装置である。この画像サイズ決定支援装置は、所定の学習用データセットを取得する第1データ取得部と、所定のサイズ決定用データセットを取得する第2データ取得部と、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得部で取得した所定の学習用データセットを用いて機械学習する機械学習部と、前記機械学習部で機械学習した第2機械学習モデルに、前記第1データ取得部で取得した所定のサイズ決定用データセットを入力することによって、前記機械学習部で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する出力部とを備える。前記所定の学習用データセットおよび前記所定の検証用データセットそれぞれは、複数の画像の各画像データを備える複数のデータ群を備え、前記複数のデータ群は、画像のサイズが互いに異なる。前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられている。前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられている。そして、前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備え、前記機械学習部は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習し、前記出力部は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習部で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習部で機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を出力する。以下、このような粒径クラス判定装置、これに実装される粒径クラス判定方法およびこれに実装される粒径クラス判定プログラム、ならびに、画像サイズ決定支援装置、これに実装される画像サイズ決定支援方法およびこれに実装される画像サイズ決定支援プログラムについて、これら粒径クラス判定装置と画像サイズ決定支援装置とを一体にした、画像サイズ決定支援機能付きの粒径クラス判定装置によって、より具体的に説明する。
【0030】
図1は、実施形態にかかる画像サイズ決定支援機能付きの粒径クラス判定装置の構成を示すブロック図である。
図2は、前記粒径クラス判定装置における画像取得部および照明部を製造ラインに配置した状況を説明するための模式図である。
図3は、学習用データセットおよび検証用データセットを説明するための図である。
図3Aは、一例として、粒径が2mm以下である複数の粒子を撮像した画像を示し、
図3Bは、一例として、粒径が2mmを超え2.8mm以下である複数の粒子を撮像した画像を示し、
図3Cは、一例として、粒径が2.8mmを超え4.75mm以下である複数の粒子を撮像した画像を示す。
図3Dは、
図3Aに示す画像を複数に分割する様子を示し、
図3Eは、
図3Bに示す画像を複数に分割する様子を示し、
図3Fは、
図3Cに示す画像を複数に分割する様子を示す。
図3Gは、一例として、第1分割サイズで分割した複数のデータ群の画像群を示し、
図3Hは、一例として、第2分割サイズで分割した複数のデータ群の画像群を示し、
図3Iは、一例として、第3分割サイズで分割した複数のデータ群の画像群を示し、
図3Jは、一例として、第4分割サイズで分割した複数のデータ群の画像群を示す。
図4は、前記粒径クラス判定装置における機械学習モデルを説明するための図である。
図5は、サイズ決定用データセットを説明するための図である。
図5Aは、一例として、粉率20%のデータ群における複数の画像を示し、
図5Bは、一例として、粉率30%のデータ群における複数の画像を示し、
図5Cは、一例として、粉率40%のデータ群における複数の画像を示し、
図5Dは、一例として、粉率50%のデータ群における複数の画像を示す。
【0031】
実施形態における粒径クラス判定装置Dは、例えば、
図1に示すように、画像取得部1と、照明部2と、制御処理部3と、入力部4と、出力部5と、インターフェース部(IF部)6と、記憶部7とを備える。
【0032】
画像取得部1は、制御処理部3に接続され、制御処理部3の制御に従って、異なる粒径の粒子を含む複数の粒子を撮像した画像を取得するものである。前記粒子は、任意の粒子であってよいが、本実施形態では、前記粒子は、例えば、核となる第1粒子と、前記第1粒子の表面に付いた、前記第1粒子より小さい1または複数の第2粒子とを備えて成る疑似粒子である。より具体的には、前記粒子は、上述した、鉄鉱石、石灰石およびコークス等の、核となる粉体(第1粒子の一例)と、前記粉体の表面に付いた、前記粉体より小さいこれらの微粉体(第2粒子の一例)とを備えて成る焼結鉱の粒子(焼結鉱粒子)である。このような焼結鉱は、好ましくは、高炉で用いられる。画像取得部1は、本実施形態では、焼結工程中に、焼結工程後における複数の焼結鉱粒子の画像を取得するために、画像取得部1は、例えば、画像を生成する撮像部1であり、この撮像部1は、
図2に示すように、焼結工程後における各焼結鉱粒子を搬送するベルトコンベアBCの上方に、前記ベルトコンベアBC上の各焼結鉱粒子を俯瞰できるように、配設される。より詳しくは、前記撮像部1は、その光軸を、前記ベルトコンベアBCの搬送面(各焼結鉱粒子が載る面)の法線方向に一致させ、前記ベルトコンベアBCの直上に配設される。前記撮像部1は、前記ベルトコンベアBCにおける幅方向(搬送方向に直交する方向)の全体を撮像できる画角であることが好ましい。焼結工程後の各焼結鉱粒子を撮像し、その粒径クラスを判定することで、その判定結果に応じて焼結工程の焼結条件が調整でき、焼結工程を最適化して効率的に焼結工程が実施できる。このような撮像部1は、例えば、撮像対象における光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。
【0033】
なお、画像取得部1は、撮像部1に限らず、他の装置であってもよい。例えば、画像取得部1は、外部の機器との間でデータを入出力するインターフェース回路である。前記外部の機器は、異なる粒径の粒子を含む複数の粒子を撮像した画像を記憶した、例えばUSB(Universal Serial Bus)メモリおよびSDカード(登録商標)等の記憶媒体である。あるいは、前記外部の機器は、前記画像を記録した、例えばCD-ROM(Compact Disc Read Only Memory)、CD-R(Compact Disc Recordable)、DVD-ROM(Digital Versatile Disc Read Only Memory)およびDVD-R(Digital Versatile Disc Recordable)等の記録媒体からデータを読み込むドライブ装置である。この画像取得部1としてのインターフェース回路は、有線または無線によって前記外部の機器に接続されてよい。あるいは、画像取得部1は、例えば、外部の機器と通信信号を送受信する通信インターフェース回路であって、前記外部の機器は、ネットワーク(WAN(Wide Area Network、公衆通信網を含む))あるいはLAN(Local Area Network)を介して前記通信インターフェース回路に接続され、前記画像を管理するサーバ装置である。このような画像取得部1では、製造中ではなくても、画像の粒径クラスが判定でき、過去の焼結工程が検証できる。ここで、画像取得部1がインターフェース回路や通信インターフェース回路である場合では、画像取得部1は、IF部6と兼用されてもよい(すなわち、IF部6が画像取得部1として用いられてもよい)。
【0034】
照明部2は、制御処理部3に接続され、制御処理部3の制御に従って、判定対象である前記複数の粒子を照明する装置である。本実施形態では、照明部2は、
図2に示すように、4個の第1ないし第4照明部2-1~2-4を備え、これら第1ないし第4照明部2-1~2-4は、撮像部1を四方から囲み、前記ベルトコンベアBC上の各焼結鉱粒子を照明できるように、配設される。より具体的には、前記ベルトコンベアBCの搬送面に平行な仮想平面上に、正方形を仮想的に設定した場合に、撮像部1は、その光軸が前記正方形の中心(2対角線の交点)を通るように配置され、第1ないし第4照明部2-1~2-4は、前記正方形の四隅(四角)に1つずつ、その光軸が、前記撮像部1の光軸が前記ベルトコンベアBCの搬送面と交わる交点を通るように、配設される。なお、照明部2は、マニュアル操作により、オンオフされてもよい。
【0035】
入力部4は、制御処理部3に接続され、例えば、支援開始を指示するコマンドや判定開始を指示するコマンド等の各種コマンド、および、支援の結果、求められた画像のサイズ等の、画像サイズ決定支援機能付きの粒径クラス判定装置Dを動作させる上で必要な各種データを粒径クラス判定装置Dに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。出力部5は、制御処理部3に接続され、制御処理部3の制御に従って、入力部4から入力されたコマンドやデータおよび判定結果の粒径クラス等を出力する機器であり、例えばCRTディスプレイ、LCD(液晶表示装置)および有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
【0036】
なお、入力部4および出力部5は、タッチパネルより構成されてもよい。このタッチパネルを構成する場合において、入力部4は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部5は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置に触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として粒径クラス判定装置Dに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い粒径クラス判定装置Dが提供される。
【0037】
IF部6は、制御処理部3に接続され、制御処理部3の制御に従って、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるRS-232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、および、USB規格を用いたインターフェース回路等である。また、IF部6は、例えば、データ通信カードや、IEEE802.11規格等に従った通信インターフェース回路等の、外部の機器と通信信号を送受信する通信インターフェース回路であってもよい。
【0038】
入力部4は、後述の所定の学習用データセットの入力や検証用データセットの入力を受け付け、取得し、後述の所定のサイズ決定用データセットの入力を受け付け、取得する。入力部4は、所定の学習用データセットを取得する第1データ取得部の一例に相当し、所定のサイズ決定用データセットを取得する第2データ取得部の一例に相当する。あるいは、IF部6は、所定の学習用データセットを記憶した記憶媒体、所定の学習用データセットを記録した記録媒体、または、所定の学習用データセットを管理するサーバ装置から、前記所定の学習用データセットを取得する。IF部6は、所定のサイズ決定用データセットを記憶した記憶媒体、所定のサイズ決定用データセットを記録した記録媒体、または、所定のサイズ決定用データセットを管理するサーバ装置から、前記所定のサイズ決定用データセットを取得する。IF部6は、前記第1データ取得部の他の一例に相当し、前記第2データ取得部の他の一例に相当する。
【0039】
記憶部7は、制御処理部3に接続され、制御処理部3の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、例えば、粒径クラス判定装置Dの各部1、2、4~7を当該各部の機能に応じてそれぞれ制御する制御プログラムや、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得部(本実施形態では入力部4やIF部6)で取得した所定の学習用データセットを用いて機械学習する機械学習プログラムや、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの機械学習モデル(第1機械学習モデル)によって、前記画像取得部で取得した画像における前記複数の粒径クラスそれぞれの各確率を求める粒径クラス処理プログラムや、前記画像取得部1で取得した画像を、入力部4で受け付けた画像のサイズに調整する画像サイズ調整プログラム等が含まれる。本実施形態では、機械学習済みの第1機械学習モデルには、前記機械学習プログラムによって機械学習した機械学習済みの第2機械学習モデルが用いられる。前記各種の所定のデータには、例えば、画像取得部1で取得した画像、学習用データセット、後述の検証用データセットおよびサイズ決定用データセット等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部7は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部7は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3のワーキングメモリとなるRAM(Random Access Memory)等を含む。また、記憶部7は、比較的記憶容量の大きいハードディスク装置を備えて構成されてもよい。
【0040】
制御処理部3は、粒径クラス判定装置Dの各部1、2、4~7を当該各部の機能に応じてそれぞれ制御し、異なる粒径の粒子を含む複数の粒子を撮像した画像に基づいて前記粒子の粒径クラスを判定し、前記粒径クラスの判定に用いる画像のサイズを決定する際に、前記決定を支援するための回路である。制御処理部3は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部3は、制御処理プログラムが実行されることによって、制御部31、機械学習部32、粒径クラス処理部33および画像サイズ調整部34を機能的に備える。
【0041】
制御部11は、粒径クラス判定装置Dの各部1、2、4~7を当該各部の機能に応じてそれぞれ制御し、粒径クラス判定装置Dの全体制御を司るものである。
【0042】
機械学習部32は、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する未機械学習の第2機械学習モデルを、前記第1データ取得部(本実施形態では入力部4やIF部6)で取得した所定の学習用データセットを用いて機械学習するものである。
【0043】
前記所定の学習用データセットは、複数の画像の各画像データを備える複数のデータ群を備える。前記複数のデータ群は、画像のサイズが互いに異なる。前記所定の学習用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、前記複数の粒径クラスそれぞれの画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の粒径クラスが紐付けられている。したがって、機械学習部32は、前記未機械学習の第2機械学習モデルを教師ありで分類問題として機械学習する。
【0044】
そして、前記未機械学習の第2機械学習モデルは、前記複数のデータ群の個数と同数であって前記複数のデータ群それぞれに応じて備える。前記機械学習部32は、前記所定の学習用データセットにおける前記複数のデータ群それぞれについて、当該データ群に応じた未機械学習の第2機械学習モデルを、当該データ群における複数の画像を用いて機械学習する。
【0045】
本実施形態では、粒子は、上述したように、焼結工程後の焼結鉱粒子であり、粒径クラス判定装置Dは、これをベルトコンベアBCで搬送中に撮像した画像に基づいて粒径クラスを判定する。このベルトコンベアBC上における複数の焼結鉱粒子は、発明者の知見によれば、局所的に略同一粒径で存在する。本実施形態では、この略同一粒径で局在する各焼結鉱粒子を、大中小の3個の粒径クラスのいずれかに分類することとする。そして、本実施形態では、効率的に焼結工程を運用するために、2mmを超えない焼結鉱粒子を検出することが目的となる。このため、本実施形態では、前記3個の粒径クラスは、前記複数の焼結鉱粒子に、通常、観察される粒径を勘案することによって、JIS規格(JIS Z8801-1)の篩で分別可能な、粒径が2mm以下の粒子(すなわち、前記2mmを超えない焼結鉱粒子、小粒径粒子)の粒径クラス(小粒径クラス)、粒径が2mmを超え2.8mm以下の粒子(中粒径粒子)の粒径クラス(中粒径クラス)、および、粒径が2.8mmを超え4.75mm以下の粒子(大粒径粒子)の粒径クラス(大粒径クラス)とする。
【0046】
発明者の知見によれば、粒径クラスを、このような大中小の3個の粒径クラスに設定した場合、画像のサイズが小さ過ぎると、大きな粒径を写し込んだ画像では、一粒全体が写らずに粒子の輪郭が欠けるため、適切に抽出し難い。特に、粒子が疑似粒子の焼結鉱粒子である場合、核の粉体に付着した微粉体を抽出してしまう虞があり、本来の疑似粒子の焼結鉱粒子を抽出できない虞がある。一方、画像のサイズが大き過ぎると、画像に大きな粒子と小さな粒子とが写り込んだ場合、小さい粒子の輪郭情報が埋もれてしまう虞があり、適切に抽出し難い。このため、判定目標の粒径値に対し、画像のサイズ(画像の大きさ)には、最適解が存在すると考えられる。本実施形態では、前記2mmを超えない焼結鉱粒子を検出ことが目的であるから、判定目標の粒径値は、前記2mmとなる。
【0047】
このため、前記所定の学習用データセットにおける前記複数のデータ群の画像のサイズ(画像サイズ)は、前記判定目標の粒径値を定数倍したサイズで互いに異なるように設定される。具体的には、前記所定の学習用データセットにおける前記複数のデータ群は、最適解探索の手段として4個の第1ないし第4データ群であり、第1データ群における画像のサイズ(第1画像サイズ)は、判定目標の粒径値の12倍に設定され、第2データ群における画像のサイズ(第2画像サイズ)は、判定目標の粒径値の10倍に設定され、第3データ群における画像のサイズ(第3画像サイズ)は、判定目標の粒径値の7倍に設定され、第4データ群における画像のサイズ(第4画像サイズ)は、判定目標の粒径値の5倍に設定された。
【0048】
より具体的には、前記所定の学習用データセットは、次のように作成された。本実施形態では、前記所定の学習用データセットとともに、所定の検証用データセットも作成された。前記所定の検証用データセットは、学習用データセットと同一構成で、機械学習した機械学習モデルが適切に機械学習されたか否か(すなわち、正解できるか否か)を検証するためのデータである。
【0049】
まず、焼結鉱をJIS規格の篩にかけることによって、小粒径粒子の焼結鉱粒子の集合体(小粒径焼結鉱集合体)、中粒径粒子の焼結鉱粒子の集合体(中粒径焼結鉱集合体)および大粒径粒子の焼結鉱粒子の集合体(大粒径焼結鉱集合体)が用意された。
【0050】
次に、この小粒径焼結鉱集合体が平面上に広げられ、直上からデジタルカメラで撮像することによって、例えば、
図3Aに示す、2456×2054pixelの画像(小粒径画像)が生成された。同様の作業が複数回繰り返され、複数の小粒径画像が生成された。同様の作業が、中粒径焼結鉱集合体および大粒径焼結鉱集合体それぞれに対し、実施され、中粒径焼結鉱集合体を撮像した画像(中粒径画像)が複数生成され、大粒径焼結鉱集合体を撮像した画像(大粒径画像)が複数生成された。
図3Bおよび
図3Cには、それぞれ、中粒径画像および大粒径画像が示されている。
【0051】
次に、小粒径画像が約12倍のサイズとなるように、本実施形態では1pixelが0.06mmであるので、例えば、
図3Dに示すように、411×375pixelのサイズに分割され、前記複数の小粒径画像から、2842枚の、小粒径画像を分割した画像(第1画像サイズの小粒径分割画像)が生成された。この2842枚の第1画像サイズの小粒径分割画像のうち、2085枚が学習用データセットにおける第1データ群に属する画像データとされ、これら各画像データそれぞれには、小粒径クラスが紐付けられた。前記2842枚の第1画像サイズの小粒径分割画像のうち、784枚が検証用データセットにおける第1データ群に属する画像データとされ、これら各画像データそれぞれには、小粒径クラスが紐付けられた。例えば、
図3Eおよび
図3Fそれぞれに示すように、同様の作業が、中粒径画像および大粒径画像それぞれに対し、実施され、複数の中粒径画像から、1813枚の、中粒径画像を分割した画像(第1画像サイズの中粒径分割画像)が生成され、複数の大粒径画像から、1960枚の、大粒径画像を分割した画像(第1画像サイズの大粒径分割画像)が生成された。この1813枚の第1画像サイズの中粒径分割画像のうち、1372枚が学習用データセットにおける第1データ群に属する画像データとされ、残余の441枚が検証用データセットにおける第1データ群に属する画像データとされ、これら各画像データそれぞれには、中粒径クラスが紐付けられた。この1960枚の第1画像サイズの大粒径分割画像のうち、1372枚が学習用データセットにおける第1データ群に属する画像データとされ、残余の588枚が検証用データセットにおける第1データ群に属する画像データとされ、これら各画像データそれぞれには、大粒径クラスが紐付けられた。これによって、例えば、
図3Gに示す、学習用データセットにおける第1データ群が生成され、図略の検証用データセットにおける第1データ群が生成された。
【0052】
次に、前記複数の小粒径画像、前記複数の中粒径画像および前記複数の大粒径画像それぞれに対し、同様の作業が、約10倍のサイズになるように、319×290pixelのサイズで実施された。これによって、例えば、
図3Hに示す、学習用データセットにおける第2データ群が生成され、図略の検証用データセットにおける第2データ群が生成された。学習用データセットの第2データ群における第2画像サイズの小粒径分割画像(小粒径画像を第2画像サイズで分割した画像)、第2画像サイズの中粒径分割画像(中粒径画像を第2画像サイズで分割した画像)および第2画像サイズの大粒径分割画像(大粒径画像を第2画像サイズで分割した画像)は、それぞれ、2058枚、1127枚および1372枚であり、検証用データセットの第2データ群における第2画像サイズの小粒径分割画像、第2画像サイズの中粒径分割画像および第2画像サイズの大粒径分割画像は、それぞれ、784枚、411枚および588枚であった。
【0053】
次に、前記複数の小粒径画像、前記複数の中粒径画像および前記複数の大粒径画像それぞれに対し、同様の作業が、約7倍のサイズになるように、237×216pixelのサイズで実施された。これによって、例えば、
図3Iに示す、学習用データセットにおける第3データ群が生成され、図略の検証用データセットにおける第3データ群が生成された。学習用データセットの第3データ群における第3画像サイズの小粒径分割画像(小粒径画像を第3画像サイズで分割した画像)、第3画像サイズの中粒径分割画像(中粒径画像を第3画像サイズで分割した画像)および第3画像サイズの大粒径分割画像(大粒径画像を第3画像サイズで分割した画像)は、それぞれ、3402枚、1863枚および2268枚であり、検証用データセットの第3データ群における第3画像サイズの小粒径分割画像、第3画像サイズの中粒径分割画像および第3画像サイズの大粒径分割画像は、それぞれ、1296枚、972枚および729枚であった。
【0054】
次に、前記複数の小粒径画像、前記複数の中粒径画像および前記複数の大粒径画像それぞれに対し、同様の作業が、約5倍のサイズになるように、184×167ixelのサイズで実施された。これによって、例えば、
図3Jに示す、学習用データセットにおける第4データ群が生成され、図略の検証用データセットにおける第4データ群が生成された。学習用データセットの第4データ群における第4画像サイズの小粒径分割画像(小粒径画像を第4画像サイズで分割した画像)、第4画像サイズの中粒径分割画像(中粒径画像を第4画像サイズで分割した画像)および第4画像サイズの大粒径分割画像(大粒径画像を第4画像サイズで分割した画像)は、それぞれ、6048枚、3312枚および4032枚であり、検証用データセットの第4データ群における第4画像サイズの小粒径分割画像、第4画像サイズの中粒径分割画像および第4画像サイズの大粒径分割画像は、それぞれ、2304枚、1296枚および1728枚であった。
【0055】
本実施形態では、前記未機械学習の第2機械学習モデルは、第1データ群に応じた未機械学習の第2機械学習モデル(第1画像サイズ用の未機械学習の第2機械学習モデル)、第2データ群に応じた未機械学習の第2機械学習モデル(第2画像サイズ用の未機械学習の第2機械学習モデル)、第3データ群に応じた未機械学習の第2機械学習モデル(第3画像サイズ用の未機械学習の第2機械学習モデル)および第4データ群に応じた未機械学習の第2機械学習モデル(第4画像サイズ用の未機械学習の第2機械学習モデル)の4個を備える。機械学習部32は、学習用データセットにおける第1データ群の複数の画像(複数の第1画像サイズの小粒径分割画像、複数の第1画像サイズの中粒径分割画像および複数の第1画像サイズの大粒径分割画像)を用いて、第1画像サイズ用の未機械学習の第2機械学習モデルを教師ありで機械学習し、学習用データセットにおける第2データ群(複数の第2画像サイズの小粒径分割画像、複数の第2画像サイズの中粒径分割画像および複数の第2画像サイズの大粒径分割画像)を用いて、第2画像サイズ用の未機械学習の第2機械学習モデルを教師ありで機械学習し、学習用データセットにおける第3データ群(複数の第3画像サイズの小粒径分割画像、複数の第3画像サイズの中粒径分割画像および複数の第3画像サイズの大粒径分割画像)を用いて、第3画像サイズ用の未機械学習の第2機械学習モデルを教師ありで機械学習し、学習用データセットにおける第4データ群(複数の第4画像サイズの小粒径分割画像、複数の第4画像サイズの中粒径分割画像および複数の第4画像サイズの大粒径分割画像)を用いて、第4画像サイズ用の未機械学習の第2機械学習モデルを教師ありで機械学習する。これによって第1データ群(第1画像サイズ)の機械学習済みの第2機械学習モデルが生成され、第2データ群(第2画像サイズ)の機械学習済みの第2機械学習モデルが生成され、第3データ群(第3画像サイズ)の機械学習済みの第2機械学習モデルが生成され、第4データ群(第4画像サイズ)の機械学習済みの第2機械学習モデルが生成される。
【0056】
前記機械学習モデルには、本実施形態では、公知の、深層学習(ディープラーニング、Deep Learning)の畳み込みニューラルネットワーク((Convolutional Neural Network、CNN)が用いられる。
【0057】
このCNN8は、例えば、
図4に示すように、過学習を回避する機能を持つCNNであり、複数層の前処理部81(81-1~81-6)と、後処理部82とを備える。
【0058】
本実施形態では、CNN8は、6層の第1ないし第6前処理部81~81-6を備える。これら第1ないし第6前処理部81-1~81-6は、入力チャネル数および出力チャネル数が必ずしも互いに同じではないが、その構造が同一であり、畳み込み層811(811-1~811-6)と、プーリング層812(812-1~812-6)と、ドロップアウト層813(813-1~813-6)とを備える。各畳み込み層811(811-1~811-6)は、当該層の入力画像に対し畳み込み演算を実行するものであり、前記入力画像の特徴を抽出する。各プーリング層812(812-1~812-6)は、畳み込み層811(811-1~811-6)に接続され、畳み込み層811(811-1~811-6)の出力(特徴マップ)のサイズを、所定の処理で小さくするものである。前記所定の処理には、通常、マックスプーリングが用いられる。このマックスプーリングは、例えば12×12サイズの特徴マップを3×3サイズに縮小する場合、12×12サイズの特徴マップを4×4サイズの9個の領域に分け、各領域の中で各最大値を抽出し、前記3×3サイズの各値とする。なお、前記最大値の代え、領域の平均値を求めるアベレージプリングが用いられてもよい。各ドロップアウト層813(813-1~813-6)は、プーリング層812(812-1~812-6)に接続され、過学習を回避するものである。ドロップアウト層813は、複数のノードを備え、機械学習の更新ごと、前記複数のノードを一定確率でランダムに選択して非活性化(無効化)するものである。例えば、第1前処理部81-1は、出力チャネル数が16チャネルであり、16チャネルで第2前処理部81-2に接続され、ドロップアウト層813は、16個のノードで構成され、これら16個のノードが機械学習の更新ごとにランダムに非活性化される。なお、
図4に示す例では、ドロップアウト層813(813-1~813-6)は、各前処理部81-1~81-6に備えられたが、ドロップアウト層813を備えない前処理部81があってもよい。第1前処理部81-1は、入力チャネル数が1チャネルであり、出力チャネル数が16チャネルである。第2前処理部81-2は、入力チャネル数が16チャネルであり、出力チャネル数が32チャネルである。第3前処理部81-3は、入力チャネル数が32チャネルであり、出力チャネル数が64チャネルである。第4前処理部81-4は、入力チャネル数が64チャネルであり、出力チャネル数が64チャネルである。第5前処理部81-5は、入力チャネル数が64チャネルであり、出力チャネル数が128チャネルである。第6前処理部81-6は、入力チャネル数が128チャネルであり、出力チャネル数が64チャネルである。
【0059】
後処理部82は、全結合層821と、出力層822とを備えるニューラルネットワークであり、前記ニューラルネットワークによって、前処理部81の処理結果に基づいて、前処理部81に入力された入力画像を認識するものである。本実施形態では、複数の粒子を撮像した画像が前記入力画像として入力され、前記画像(前記入力画像)に対する小粒径クラスの確率、中粒径クラスの確率および大粒径クラスの確率の各確率が出力される。
【0060】
図1に戻って、粒径クラス処理部33は、画像が入力され、粒径を互いに異なる複数の範囲に複数の粒径クラスとして分けた場合に、前記複数の粒径クラスそれぞれについて、前記入力された画像が当該粒径クラスに分類される確率を出力する機械学習済みの第1機械学習モデルによって、前記画像取得部1で取得した画像における前記複数の粒径クラスそれぞれの各確率を求めるものである。制御部31は、この粒径クラス処理部33によって求められた、前記画像における前記複数のクラスそれぞれの各確率を出力部5に出力する。そして、本実施形態における粒径クラス判定装置Dは、上述のように画像サイズ決定支援機能付きであり、粒径クラス処理部33は、機械学習部32で機械学習した機械学習済みの第2機械学習モデルに、前記第2データ取得部で取得した所定のサイズ決定用データセットを入力することによって、前記所定のサイズ決定用データセットの各画像における前記複数のクラスそれぞれの各確率を求める。制御部31は、この粒径クラス処理部33によって求められた、前記所定のサイズ決定用データセットの各画像における前記複数のクラスそれぞれの各確率を出力部5に出力する。前記機械学習済みの第1機械学習モデルには、前記機械学習部32で機械学習した第2機械学習モデルが用いられる。
【0061】
本実施形態では、上述のように、前記画像に対する小粒径クラスの確率(小粒径確率)、中粒径クラスの確率(中粒径確率)および大粒径クラスの確率(大粒径確率)の各確率が求められ、出力される。
【0062】
前記サイズ決定用データセットは、複数の画像の各画像データを備える複数のデータ群を備える。前記複数のデータ群は、画像のサイズが互いに異なる。前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれにおいて、当該データ群における複数の画像は、最小の粒径の粒径クラスに属する粒子の含有率が異なる画像を含む複数の画像であり、当該データ群における複数の画像それぞれについて、当該画像の含有率が紐付けられている。
【0063】
そして、粒径クラス処理部33は、前記所定のサイズ決定用データセットにおける前記複数のデータ群それぞれについて、当該データ群における画像のサイズと同じ画像のサイズの、前記所定の学習用データセットにおけるデータ群、を用いて前記機械学習部32で機械学習した第2機械学習モデルに、当該データ群における複数の画像を入力することによって、前記機械学習部で32機械学習した第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を求める。制御部31は、この粒径クラス処理部33によって前記複数のデータ群それぞれについて求められた、前記所定のサイズ決定用データセットの各画像における前記複数のクラスそれぞれの各確率を出力部5に出力する。
【0064】
本実施形態では、粒径クラスは、上述のように、小粒径クラス、中粒径クラスおよび大粒径クラスであり、前記最小の粒径の粒径クラスは、小粒径クラスとなり、前記最小の粒径の粒径クラスに属する粒子は、JIS規格の篩に掛けた場合に粒径が2mm以下の粒子となり、前記最小の粒径の粒径クラスに属する粒子の含有率は、この粒径が2mm以下の粒子の含有率となる。本実施形態では、この粒径が2mm以下の粒子が「粉」と定義され、測定対象における「粉」の含有率(測定対象全体に対する粉の割合)が「粉率」と定義される。
【0065】
前記所定のサイズ決定用データセットにおける前記複数のデータ群の画像のサイズは、前記所定の学習用データセットにおける前記複数のデータ群の画像のサイズとされる。上述の例では、前記所定のサイズ決定用データセットにおける前記複数のデータ群は、4個の第1ないし第4データ群であり、第1データ群における画像のサイズ(第1画像サイズ)は、判定目標の粒径値の12倍に設定され、第2データ群における画像のサイズ(第2画像サイズ)は、判定目標の粒径値の10倍に設定され、第3データ群における画像のサイズ(第3画像サイズ)は、判定目標の粒径値の7倍に設定され、第4データ群における画像のサイズ(第4画像サイズ)は、判定目標の粒径値の5倍に設定される。
【0066】
画像サイズを決定するために、互いに異なる粉率は、20%、30%、40%および50%に設定された。
【0067】
より具体的には、前記所定のサイズ決定用データセットは、次のように作成された。
【0068】
まず、焼結鉱をJIS規格の篩を用いることによって、粉率20%の焼結鉱粒子の集合体(粉率20%焼結鉱集合体)、粉率30%の焼結鉱粒子の集合体(粉率30%焼結鉱集合体)、粉率40%の焼結鉱粒子の集合体(粉率40%焼結鉱集合体)および粉率50%の焼結鉱粒子の集合体(粉率50%焼結鉱集合体)が、それぞれ、2個ずつ用意された。
【0069】
次に、2個の粉率20%焼結鉱集合体それぞれに対し、上述の前記所定の学習用データセットにおける小粒径画像の生成作業と同様に作業され、粉率20%の焼結鉱の画像(粉率20%画像)が生成され、上述の前記所定の学習用データセットにおける小粒径分割画像の生成作業と同様に作業され、粉率20%画像を第1画像サイズで分割した画像(第1画像サイズの粉率20%分割画像)、粉率20%画像を第2画像サイズで分割した画像(第2画像サイズの粉率20%分割画像)、粉率20%画像を第3画像サイズで分割した画像(第3画像サイズの粉率20%分割画像)および粉率20%画像を第4画像サイズで分割した画像(第4画像サイズの粉率20%分割画像)が生成された。前記用意された2個の粉率20%焼結鉱集合体それぞれは、別途、JIS規格の篩試験によって実際の粉率が実測された。1個の粉率20%焼結鉱集合体に対し、これら第1ないし第4画像サイズの各粉率20%分割画像は、それぞれ、50枚、生成された。その一例が
図5Aに示されている。
【0070】
次に、2個の粉率30%焼結鉱集合体それぞれに対し、上述同様に作業され、50枚ずつ、第1画像サイズの粉率30%分割画像、第2画像サイズの粉率30%分割画像、第3画像サイズの粉率30%分割画像および第4画像サイズの粉率30%分割画像が生成され、前記2個の粉率30%焼結鉱集合体における各粉率が実測された。その一例が
図5Bに示されている。
【0071】
次に、2個の粉率40%焼結鉱集合体それぞれに対し、上述同様に作業され、50枚ずつ、第1画像サイズの粉率40%分割画像、第2画像サイズの粉率40%分割画像、第3画像サイズの粉率40%分割画像および第4画像サイズの粉率40%分割画像が生成され、前記2個の粉率40%焼結鉱集合体における各粉率が実測された。その一例が
図5Cに示されている。
【0072】
次に、2個の粉率50%焼結鉱集合体それぞれに対し、上述同様に作業され、50枚ずつ、第1画像サイズの粉率50%分割画像、第2画像サイズの粉率50%分割画像、第3画像サイズの粉率50%分割画像および第4画像サイズの粉率50%分割画像が生成され、前記2個の粉率50%焼結鉱集合体における各粉率が実測された。その一例が
図5Dに示されている。
【0073】
次に、これら第1画像サイズの粉率20%分割画像、第1画像サイズの粉率30%分割画像、第1画像サイズの粉率40%分割画像および第1画像サイズの粉率50%分割画像が、サイズ決定用データセットにおける第1データ群に属する画像データとされ、これら第2画像サイズの粉率20%分割画像、第2画像サイズの粉率30%分割画像、第2画像サイズの粉率40%分割画像および第2画像サイズの粉率50%分割画像が、サイズ決定用データセットにおける第2データ群に属する画像データとされ、これら第3画像サイズの粉率20%分割画像、第3画像サイズの粉率30%分割画像、第3画像サイズの粉率40%分割画像および第3画像サイズの粉率50%分割画像が、サイズ決定用データセットにおける第3データ群に属する画像データとされ、これら第4画像サイズの粉率20%分割画像、第4画像サイズの粉率30%分割画像、第4画像サイズの粉率40%分割画像および第4画像サイズの粉率50%分割画像が、サイズ決定用データセットにおける第4データ群に属する画像データとされた。本実施形態では、粉率20%焼結鉱集合体、粉率30%焼結鉱集合体、粉率40%焼結鉱集合体および粉率50%焼結鉱集合体を、それぞれ、2個ずつ用意したことに応じて、サイズ決定用データセットも、2個、生成された。
【0074】
粒径クラス処理部33は、第1画像サイズ用の機械学習済みの第2機械学習モデルに、前記所定のサイズ決定用データセットにおける第1データ群における複数の画像を入力することによって、前記第1画像サイズの機械学習済みの機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を求め、制御部31は、これら各確率を出力部5に出力する。粒径クラス処理部33は、第2画像サイズ用の機械学習済みの第2機械学習モデルに、前記所定のサイズ決定用データセットにおける第2データ群における複数の画像を入力することによって、前記第2画像サイズの機械学習済みの機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を求め、制御部31は、これら各確率を出力部5に出力する。粒径クラス処理部33は、第3画像サイズ用の機械学習済みの第2機械学習モデルに、前記所定のサイズ決定用データセットにおける第3データ群における複数の画像を入力することによって、前記第3画像サイズの機械学習済みの機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を求め、制御部31は、これら各確率を出力部5に出力する。粒径クラス処理部33は、第4画像サイズ用の機械学習済みの第2機械学習モデルに、前記所定のサイズ決定用データセットにおける第4データ群における複数の画像を入力することによって、前記第4画像サイズの機械学習済みの機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を求め、制御部31は、これら各確率を出力部5に出力する。
【0075】
画像サイズ調整部34は、前記画像取得部1で取得した画像を、入力部4で受け付けた画像サイズに調整するものである。画像サイズ調整部34は、例えば、前記画像取得部1で取得した1枚の画像から、入力部4で受け付けた画像サイズの画像領域(例えば画像の中央部分の画像領域等)を切り出すことによって、入力部4で受け付けた画像サイズの画像を1枚、生成してよい。あるいは、例えば、画像サイズ調整部34は、前記画像取得部1で取得した1枚の画像から、入力部4で受け付けた画像サイズの画像領域を不連続で複数、切り出すことによって、入力部4で受け付けた画像サイズの画像を複数枚、生成してよい。本実施形態では、例えば、画像サイズ調整部34は、前記画像取得部1で取得した1枚の画像を、入力部4で受け付けた画像サイズの画像領域で2次元マトリックス状に分割することによって、入力部4で受け付けた画像サイズの画像を複数枚、生成する。そして、粒径クラス処理部33は、画像サイズ調整部34で分割することによって生成された複数枚の各画像それぞれについて、当該画像を、入力部4で受け付けた画像のサイズに対応する機械学習済みの第2機械学習モデルを機械学習済みの第1機械学習モデルとして、これに入力することによって、機械学習済みの第2機械学習モデルから出力された前記複数の粒径クラスそれぞれの各確率を求め、制御部31は、これら各確率を出力部5に出力する。
【0076】
このような制御処理部3、入力部4、出力部5、IF部6および記憶部7は、例えば、デスクトップ型やノート型等のコンピュータによって構成可能である。
【0077】
次に、本実施形態の動作について説明する。
図6は、機械学習に関する前記粒径クラス判定装置の動作を示すフローチャートである。
図7は、画像サイズ決定支援に関する前記粒径クラス判定装置の動作を示すフローチャートである。
図8は、篩を用いて求めた粉率と前記粒径クラス判定装置を用いて推定した粉率との相関性を示すグラフである。
図9は、粒径クラスの判定に関する前記粒径クラス判定装置の動作を示すフローチャートである。
図10は、一例として、判定対象の画像中において、判定目標の粒径値に対応する粒径クラスの箇所をマークで指し示した画像である。
図10Aないし
図10Dは、判定後の画像を示し、
図10Eは、
図10Aに対応する判定前の画像を示し、
図10Fは、
図10Bに対応する判定前の画像を示し、
図10Gは、
図10Cに対応する判定前の画像を示し、
図10Hは、
図10Dに対応する判定前の画像を示す。
【0078】
このような構成の画像サイズ決定支援機能付きの粒径クラス判定装置Dは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部3には、その制御処理プログラムの実行によって、制御部31、機械学習部32、粒径クラス処理部33および画像サイズ調整部34が機能的に構成される。
【0079】
第2機械学習モデルの機械学習では、ユーザ(オペレータ)は、所定の学習用データセットを画像サイズ決定支援機能付きの粒径クラス判定装置Dに入力部4またはIF部6を介して入力する。上述の例では、第1ないし第4画像サイズそれぞれに対応する第1ないし第4データ群を備える所定の学習用データセットが粒径クラス判定装置Dに入力される。
【0080】
図6において、まず、粒径クラス判定装置Dは、制御処理部3の制御部31によって、この入力部4またはIF部6を介して入力された前記所定の学習用データセットを取得し、記憶部7に記憶する(S11)。
【0081】
次に、粒径クラス判定装置Dは、制御処理部3の機械学習部32によって、前記所定の学習用データセットにおける1つのデータ群における複数の画像(画像データ)を用いて、前記データ群用として、未機械学習の第2機械学習モデルを機械学習する(S12)。例えば、第1データ群(第1画像サイズ)における複数の画像を用いて、前記第1データ群用として、未機械学習の第2機械学習モデルが機械学習される。
【0082】
次に、機械学習が終了すると、粒径クラス判定装置Dは、機械学習部32によって、前記データ群用として機械学習した機械学習済みの第2機械学習モデルを前記データ群と対応付けて(紐付けて)記憶部7に記憶する(S13)。上述の例では、前記第1データ群用として機械学習した機械学習済みの第2機械学習モデルが前記第1データ群(例えば第1データ群を特定し識別するための識別子(データ群ID、画像サイズID))と対応付けて記憶部7に記憶される。なお、機械学習済みの第2機械学習モデルは、検証用データセットによって検証されてもよい。
【0083】
次に、粒径クラス判定装置Dは、機械学習部32によって、前記所定の学習用データセットにおける全てのデータ群(全ての画像サイズ)について処理S12および処理S13の各処理を終了したか否かを判定する(S14)。この判定の結果、前記全てのデータ群について前記各処理を終了していない場合(No)には、粒径クラス判定装置Dは、次のデータ群について前記各処理を実行するために、処理を処理S12に戻す。一方、前記判定の結果、前記全てのデータ群について前記各処理を終了している場合(Yes)には、粒径クラス判定装置Dは、本処理を終了する。なお、必要に応じて、各データ群に対応する機械学習済みの各機械学習モデルは、IF部6から外部の機器へ出力されてもよい。
【0084】
これによって上述の例では、第1データ群用(第1画像サイズ用)の機械学習済みの第2機械学習モデルが生成され、第2データ群用(第2画像サイズ用)の機械学習済みの第2機械学習モデルが生成され、第3データ群用(第3画像サイズ用)の機械学習済みの第2機械学習モデルが生成され、第4データ群用(第4画像サイズ用)の機械学習済みの第2機械学習モデルが生成され、これらが記憶部7に記憶される。
【0085】
機械学習に関し、粒径クラス判定装置Dは、このように動作する。
【0086】
画像サイズの決定の支援では、機械学習済みの第2機械学習モデルを生成した後に、ユーザ(オペレータ)は、所定のサイズ決定用データセットを画像サイズ決定支援機能付きの粒径クラス判定装置Dに入力部4またはIF部6を介して入力する。上述の例では、第1ないし第4画像サイズそれぞれに対応する第1ないし第4データ群を備える所定のサイズ決定用データセットが粒径クラス判定装置Dに入力される。
【0087】
図7において、まず、粒径クラス判定装置Dは、制御処理部3の制御部31によって、この入力部4またはIF部6を介して入力された前記所定のサイズ決定用データセットを取得し、記憶部7に記憶する(S21)。
【0088】
次に、粒径クラス判定装置Dは、制御処理部3の粒径クラス処理部33によって、前記所定のサイズ決定用データセットにおける1つのデータ群における複数の画像(画像データ)を、前記データ群における画像サイズと同じ画像サイズの、前記所定の学習用データセットにおけるデータ群、を用いて上述のように機械学習部32で機械学習した第2機械学習モデルに用いることによって、前記複数の粒径クラスそれぞれの各確率を求め、これら各確率を記憶部7に記憶する(S22)。前記各確率には、前記データ群(データ群ID、画像サイズID)、この各確率を求めるために機械学習済みの第2機械学習モデルに入力した画像(入力画像)(画像を特定し識別するための識別子(画像ID))、この入力画像に紐付けられた含有率が対応付けられる。例えば、第1データ群(第1画像サイズ)における複数の画像(画像データ)それぞれについて、当該画像が第1データ群用の機械学習済みの第2機械学習モデルに入力され、当該画像に対する小粒径確率、中粒径確率および大粒径確率が求められ、これら各確率が、データ群ID、画像IDおよび粉率と対応付けられて記憶部7に記憶される。
【0089】
次に、粒径クラス判定装置Dは、粒径クラス処理部33によって、前記所定のサイズ決定用データセットにおける全てのデータ群(全ての画像サイズ)について処理S22を終了したか否かを判定する(S23)。この判定の結果、前記全てのデータ群について前記処理S22を終了していない場合(No)には、粒径クラス判定装置Dは、次のデータ群について前記処理S22を実行するために、処理を処理S22に戻す。一方、前記判定の結果、前記全てのデータ群について前記処理S22を終了している場合(Yes)には、粒径クラス判定装置Dは、次に、処理S24を実行する。
【0090】
この処理S24では、粒径クラス判定装置Dは、制御処理部3の制御部31によって、処理S22で求めて記憶部7に記憶された複数の各確率を、これに対応付けられたデータ群(データ群ID、画像サイズID)、入力画像(画像ID)および含有率(上述の例では粉率)とともに、出力部5に出力し、本処理を終了する。なお、必要に応じて、これら複数の各確率は、前記データ群(データ群ID、画像サイズID)等とともに、IF部6から外部の機器へ出力されてもよい。
【0091】
画像サイズの決定の支援に関し、粒径クラス判定装置Dは、このように動作する。
【0092】
本実施形態では、上述したように、2個のサイズ決定用データセットを用意したので、各サイズ決定用データセットに対し、上述の各処理が実行され、各サイズ決定用データセットに対し、各確率が得られた。その結果が
図8に示されている。
図8の横軸は、JIS規格の篩を用いて実測した粉率(小粒径粒子の含有率)(質量%)である。
図8の縦軸は、サイズ決定用データセットを粒径クラス判定装置Dに用いて推定した粉率(面積%)であり、粒径クラス判定装置Dで上述の処理S21ないし処理S24の各処理によって求めた小粒径確率、中粒径確率および大粒径確率のうち、小粒径確率の平均値である。例えば、第1画像サイズでは、2個のサイズ決定用データセットのうちの一方の生成にかかる粉率20%焼結鉱集合体に対し、JIS規格の篩を用いて実測した粉率が横軸の値となり、この粉率20%焼結鉱集合体から生成された第1データ群における50枚の各画像それぞれについて、前記第1データ群用の機械学習済みの第2機械学習モデルによって、当該画像に対する小粒径確率、中粒径確率および大粒径確率が求められ、前記50枚の各画像に対して求められた各小粒径確率の平均値が縦軸の値となる。また例えば、第3画像サイズでは、2個のサイズ決定用データセットのうちの一方の生成にかかる粉率40%焼結鉱集合体に対し、JIS規格の篩を用いて実測した粉率が横軸の値となり、この粉率40%焼結鉱集合体から生成された第3データ群における50枚の各画像それぞれについて、前記第3データ群用の機械学習済みの第2機械学習モデルによって、当該画像に対する小粒径確率、中粒径確率および大粒径確率が求められ、前記50枚の各画像に対して求められた各小粒径確率の平均値が縦軸の値となる。第1画像サイズ(第1データ群)の結果は、◆で示され、第2画像サイズ(第2データ群)の結果は、●で示され、第3画像サイズ(第3データ群)の結果は、×で示され、第4画像サイズ(第4データ群)の結果は、▲で示されている。
【0093】
図8に×で示す第3画像サイズの結果および▲で示す第4サイズの結果から分かるように、実測の粉率のいずれに対しても、粒径クラス判定装置Dで求めた小粒径確率の平均値は、約33.3%となっている。したがって、第3および第4画像サイズでは、粒径クラス判定装置Dは、各粒径クラスを均等に判定しており、小粒径粒子、中粒径粒子および大粒径粒子を区別することができず、粒径クラスが判定できていない。よって、粒径クラスの判定には、第3および第4画像サイズは、小過ぎると考察される。
【0094】
一方、
図8に◆で示す第1画像サイズの結果から分かるように、実測の粉率のいずれに対しても、粒径クラス判定装置Dで求めた小粒径確率の平均値は、約100%となっている。したがって、第1画像サイズでは、粒径クラス判定装置Dは、全て小粒径クラスと判定しており、小粒径粒子、中粒径粒子および大粒径粒子を区別することができず、粒径クラスが判定できていない。よって、粒径クラスの判定には、第1画像サイズは、大き過ぎると考察される。
【0095】
このため、粒径クラスの判定には、画像サイズは、第3画像サイズより大きく、第1画像サイズより小さい範囲内である。すなわち、機械学習モデルに入力される画像サイズを、前記判定目標の粒径値を所定の定数で定数倍したサイズとした場合に、上述では、前記判定目標の粒径値は、2mmであり、前記所定の定数は、7より大きく、12より小さい値である。好ましくは、前記所定の定数は、8より大きく、11より小さい値である。好ましくは、前記所定の定数は、10である。
【0096】
粒径クラスの判定では、ユーザ(オペレータ)は、画像サイズ(または、前記所定の定数)を粒径クラス判定装置Dに入力部4を介して入力する。例えば、第2画像サイズ(または、前記所定の定数として10)が粒径クラス判定装置Dに入力される。なお、複数の画像サイズ(または、前記所定の定数)それぞれに対応する機械学習済みの第2機械学習モデルが記憶部7に予め記憶されているものとする。
【0097】
図9において、まず、粒径クラス判定装置Dは、制御処理部3の制御部31によって、入力部4で画像サイズ(または、前記所定の定数)の入力を受け付け、この入力された画像サイズ(または前記所定の定数)を記憶部7に記憶する(S31)。なお、照明部2が点灯される。
【0098】
次に、粒径クラス判定装置Dは、制御処理部3の制御部31によって、この入力された画像サイズ(または前記所定の定数)に対応する機械学習済みの第2機械学習モデルを、記憶部7に記憶された複数の機械学習済みの第2機械学習モデルの中から選択し、この選択した機械学習済みの第2機械学習モデルを、粒径クラス処理部33で用いる第1機械学習モデルとして設定する(S32)。
【0099】
次に、粒径クラス判定装置Dは、制御部31によって、画像取得部1で画像を取得し、記憶部7に記憶する(S33)。
【0100】
次に、粒径クラス判定装置Dは、制御処理部3の画像サイズ調整部34によって、処理S33で取得した画像を、処理S31で受け付けた画像サイズに調整する(S34)。
【0101】
次に、粒径クラス判定装置Dは、制御処理部3の粒径クラス処理部33によって、処理S34で画像サイズを調整した画像を、処理S32で設定された機械学習済みの機械学習モデルに入力することによって、前記画像に対する各確率を求め、各確率の中から最も高い確率の粒径クラスを、前記画像に対する粒径クラスと判定し、この判定の結果を記憶部7に記憶する(S35)。
【0102】
次に、粒径クラス判定装置Dは、制御部31によって、処理S35で判定された判定の結果を出力部5に出力する(S36)。
【0103】
より具体的には、処理S34ないし処理S36の各処理では、処理S31で受け付けた画像サイズの領域が、処理S33で取得した画像から、一方の角(例えば画像の左上の角)から、前記一方の角に対する対角の角(この例では画像の右下の角)へ、いわゆるラスタースキャン方式で走査するように、順次に、抽出され、この領域の抽出ごとに、この抽出した領域の画像が、処理S32で設定された機械学習済みの機械学習モデルに入力され、この抽出した領域の画像に対する各確率が求められ、前記抽出した領域の画像に対する粒径クラスが判定され、この判定の結果が、前記抽出した領域の位置で、前記処理S33で取得した画像に重畳され、表示される。ここでは、前記判定では、前記求めた各確率が、そのまま、前記抽出した領域の画像に対する各粒径クラスの各確率とされる。例えば、
図10Aないし
図10Dそれぞれに示すように、小粒径確率が50%以上である領域の画像に対し、前記領域の位置で、50%以上の確率で小粒径クラスであると判定されることを表すマーク;□が、前記処理S33で取得した画像に重畳され、表示される。
図10Aに示す画像は、
図10Eに示す粉率20%の画像に対する粒径クラスの判定結果;□を、前記
図10Eに示す粉率20%の画像に重畳した画像である。
図10Bに示す画像は、
図10Fに示す粉率30%の画像に対する粒径クラスの判定結果;□を、前記
図10Fに示す粉率30%の画像に重畳した画像である。
図10Cに示す画像は、
図10Gに示す粉率40%の画像に対する粒径クラスの判定結果;□を、前記
図10Gに示す粉率40%の画像に重畳した画像である。
図10Dに示す画像は、
図10Hに示す粉率50%の画像に対する粒径クラスの判定結果;□を、前記
図10Hに示す粉率50%の画像に重畳した画像である。処理S33で取得した画像は、処理S31で受け付けた画像サイズの領域に二次元マトリックス状に分けられ、この分けられた複数の領域の画像それぞれに対し、粒径クラスが判定され、その判定結果;□が付される。
図10に示すように、粉率が高くなるに従って、マーク□の個数が増えている。すなわち、粉率が高くなるに従って、50%以上の確率で小粒径クラスであると判定される領域の個数が増えている。
【0104】
図9に戻って、次に、粒径クラス判定装置Dは、制御部31によって、本処理の終了であるか否かを判定する。この判定の結果、本処理の終了である場合(Yes)には、粒径クラス判定装置Dは、本処理を終了し、前記判定の結果、本処理の終了ではない場合(No)には、粒径クラス判定装置Dは、次に、処理S38を実行する。例えば、上述の処理S33ないし処理S36の各処理の実行中に、入力部4で、処理の終了を指示する所定のコマンドの入力を受け付けた場合(所定の入力スイッチ等が入力操作された場合)には、前記本処理の終了と判定され、これを除く場合には、前記本処理の終了ではないと判定される。
【0105】
この処理S38では、粒径クラス判定装置Dは、制御部31によって、次の判定タイミングになっているか否かを判定する。この判定の結果、次の判定タイミングになっている場合(Yes)には、粒径クラス判定装置Dは、次の画像の粒径クラスを判定するために、処理を処理S33に戻す。一方、前記判定の結果、次の判定タイミングになっていない場合(No)には、粒径クラス判定装置Dは、処理を処理S38に戻す。したがって、次の判定タイミングになるまで、処理S38が繰り返される。例えば、所定のサンプリング間隔で、画像の粒径クラスを判定する場合、前回の判定タイミングから、前記所定のサンプリング間隔の時間が経過した場合に、次の判定タイミングになっていると判定される。
【0106】
なお、上述では、処理S31によって画像サイズの入力を受け付け、この入力された画像サイズに応じた機械学習済みの第2機械学習モデルを粒径クラス処理部33に処理S32によって設定したが、画像サイズは、予め規定され、これに応じた機械学習済みの第2機械学習モデルは、粒径クラス処理部33に予め設定され、これら処理S31および処理S32は、省略されてもよい。
【0107】
粒径クラスの判定に関し、粒径クラス判定装置Dは、このように動作する。
【0108】
以上説明したように、本実施形態における画像サイズ決定支援機能付きの粒径クラス判定装置D、ならびに、これに実装された粒径クラス判定方法および粒径クラス判定プログラムは、複数の粒子を撮像した画像の粒径クラスの判定に、第1機械学習モデルを用いるので、様々な判定対象の画像で機械学習することで、より広い判定対象の粒径クラスを判定できる。この判定の際に、前記第1機械学習モデルに入力される画像のサイズが判定目標の粒径値を所定の定数で定数倍したサイズであるので、上記粒径クラス判定装置D、粒径クラス判定方法および粒径クラス判定プログラムは、適切に粒径クラスを判定できる。特に、上記粒径クラス判定装置D、粒径クラス判定方法および粒径クラス判定プログラムは、判定対象が疑似粒子である場合に、好適である。
【0109】
上記粒径クラス判定装置D、粒径クラス判定方法および粒径クラス判定プログラムは、照明部2(2-1~2-4)をさらに備え、画像取得部1に撮像部1を用いるので、例えば工場内の製造ラインで上記上記粒径クラス判定装置D、粒径クラス判定方法および粒径クラス判定プログラムが利用でき、生産中に粒径クラスが判定できる。
【0110】
上述の実施形態によれば、前記所定の定数を、7より大きく、12より小さい値にした上記粒径クラス判定装置D、粒径クラス判定方法および粒径クラス判定プログラムが提供できる。
【0111】
上述の実施形態によれば、疑似粒子を判定対象とした上記粒径クラス判定装置D、粒径クラス判定方法および粒径クラス判定プログラムが提供できる。上記粒径クラス判定装置D、粒径クラス判定方法および粒径クラス判定プログラムを、疑似粒子の粒径クラスの判定に用いるので、疑似粒子の粒径クラスが適切に判定できる。
【0112】
本実施形態における画像サイズ決定支援機能付きの粒径クラス判定装置D、ならびに、これに実装された画像サイズ決定支援方法および画像サイズ決定支援プログラムは、機械学習済みの第2学習モデルに、所定のサイズ決定用データセットを入力することによって得られた、前記複数の粒径クラスそれぞれの各確率を出力するので、ユーザは、この出力された複数の粒径クラスそれぞれの各確率と、画像に紐付けられた含有率(実施形態ではその一例の粉率)を参照することで、複数の画像サイズの中から、最適な画像サイズを決定できる。したがって、上記画像サイズ決定支援機能付きの粒径クラス判定装置D、画像サイズ決定支援方法および画像サイズ決定支援プログラムは、ユーザによる画像サイズの決定を好適に支援できる。よって、本実施形態によれば、これらでの粒径クラスの判定に用いる画像サイズを決定する際に、前記決定を支援する上記画像サイズ決定支援機能付きの粒径クラス判定装置D、画像サイズ決定支援方法および画像サイズ決定支援プログラムが提供できる。
【0113】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【0114】
D 画像サイズ決定支援機能付きの粒径クラス判定装置
1 画像取得部
2(2-1~2-4) 照明部
3 制御処理部
4 入力部
5 出力部
6 インターフェース部(IF部)
7 記憶部
31 制御部
32 機械学習部
33 粒径クラス処理部
34 画像サイズ調整部