特開 2023-77687 混合度判定装置及び混合度判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023077687

(43)【公開日】2023-06-06

(54)【発明の名称】混合度判定装置及び混合度判定方法

(51)【国際特許分類】

   G01N 15/00 20060101AFI20230530BHJP

   G06T 7/136 20170101ALI20230530BHJP

   G01N 21/27 20060101ALI20230530BHJP

【ＦＩ】

G01N15/00 Z

G06T7/136

G01N21/27 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021191060

(22)【出願日】2021-11-25

(71)【出願人】

【識別番号】515086908

【氏名又は名称】株式会社トヨタプロダクションエンジニアリング

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】石田 雄貴

(72)【発明者】

【氏名】椛島 治樹

【テーマコード（参考）】

2G059

5L096

【Ｆターム（参考）】

2G059AA05

2G059BB09

2G059EE13

2G059FF01

2G059FF04

2G059KK04

2G059MM01

5L096CA04

5L096DA02

5L096EA03

5L096EA43

5L096FA54

(57)【要約】

【課題】複数種類の粉粒体から構成される混合材料の混合度を安定して評価することができる混合度判定装置及び混合度判定方法を提供すること。
【解決手段】混合材料１０を高解像度で撮像した原画像を取得する撮像部６及び画像取得処理部５ａと、原画像を含み、原画像の解像度を順次低くした複数の中間画像を生成する中間画像生成部５ｂと、各中間画像に対して複数種類の粉粒体から選択された１種類の選択粉粒体を峻別した二値化画像を生成する二値化処理部５ｃと、二値化画像における選択粉粒体の画素数をもとに各二値化画像における選択粉粒体の混合度を算出する混合度算出部５ｄと、各二値化画像の混合度のうちの最大値を選択粉粒体の混合度として判定する混合度判定部５ｅとを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

互いに色の異なる複数種類の粉粒体から構成される混合材料の混合度を判定する混合度判定装置であって、
前記混合材料を高解像度で撮像した原画像を取得する画像取得部と、
前記原画像を含み、前記原画像の解像度を順次低くした複数の中間画像を生成する中間画像生成部と、
各中間画像に対して前記複数種類の粉粒体から選択された１種類の選択粉粒体を峻別した二値化画像を生成する二値化処理部と、
前記二値化画像における選択粉粒体の画素数をもとに各二値化画像における前記選択粉粒体の混合度を算出する混合度算出部と、
各二値化画像の混合度のうちの最大値を前記選択粉粒体の混合度として判定する混合度判定部と
を備えたことを特徴とする混合度判定装置。

【請求項2】

前記混合度算出部は、シャノンインデックスを用いて各二値化画像における前記選択粉粒体の混合度を算出することを特徴とする請求項１に記載の混合度判定装置。

【請求項3】

前記混合度算出部は、各二値化画像を複数のサブセルに分割し、各サブセルの混合度をもとに各二値化画像の混合度を算出することを特徴とする請求項２に記載の混合度判定装置。

【請求項4】

前記混合度算出部は、各二値化画像の混合度を解像度に対して移動平均した値を前記混合度として算出することを特徴とする請求項１～３のいずれか一つに記載の混合度判定装置。

【請求項5】

前記原画像の解像度は、１つの前記選択粉粒体が１画素に対応する中間画像よりも高いことを特徴とする請求項１～４のいずれか一つに記載の混合度判定装置。

【請求項6】

互いに色の異なる複数種類の粉粒体から構成される混合材料の混合度を判定する混合度判定方法であって、
前記混合材料を高解像度で撮像した原画像を取得する画像取得ステップと、
前記原画像を含み、前記原画像の解像度を順次低くした複数の中間画像を生成する中間画像生成ステップと、
各中間画像に対して前記複数種類の粉粒体から選択された１種類の選択粉粒体を峻別した二値化画像を生成する二値化処理ステップと、
前記二値化画像における選択粉粒体の画素数をもとに各二値化画像における前記選択粉粒体の混合度を算出する混合度算出ステップと、
各二値化画像の混合度のうちの最大値を前記選択粉粒体の混合度として判定する混合度判定ステップと
を含むことを特徴とする混合度判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数種類の粉粒体から構成される混合材料の混合度を安定して評価することができる混合度判定装置及び混合度判定方法に関する。

【背景技術】

【0002】

従来、樹脂成型品を製造する前段階では、樹脂ペレット、着色剤、発泡剤などの複数種類の粉粒体を混合する処理が施される。この複数種類の粉粒体の混合度を定量評価できると、攪拌設備などの攪拌時間を最小限にすることができる。その結果、樹脂成型部品などの品質向上を図ることができるとともに設備コストを低減することができる。

【0003】

ここで、混合度を求める手法には、シャノンインデックスを用いるものが提案されている（非特許文献１参照）。この手法は、シャノン・エントロピーを演算し、このシャノン・エントロピーの値を粉粒体の分散具合を示す混合度として求めている。

【0004】

なお、特許文献１には、ごみの混合度評価システムにおいて、補正した画像を階調化して二値化し、二値化画像を複数の分割エリアを有する２以上の評価エリアに分割し、各評価エリアのごみの混合度を評価するものが開示されている。

【0005】

特許文献２には、樹脂製品の混合度評価方法において、複数の撮影画像から算出した実測面積比率を用いて評価を行うものが開示されている。

【0006】

特許文献３には、混合粉体全体画像における特定粉体の存在確率に基づく混合度を算出し、混合度が所定条件を満たすと混合を終了させる粉体混合システムが開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特許６４５７１３７号公報

【特許文献2】特開２０１９－６０８０５号公報

【特許文献3】特開２０２１－５８８６０号公報

【非特許文献】

【0008】

【非特許文献1】「シャノン・エントロピーによる粉粒体の混合度の定量評価」 中田洋一ら著、粉体工学会誌、ｖｏｌ．５７ Ｎｏ．５ ｐｐ２９６－３０４ ２０１７年

【発明の概要】

【発明が解決しようとする課題】

【0009】

ところで、上記のシャノン・エントロピーによる粉粒体の混合度の定量評価は、粉粒体を１点とみなしたモデルによって混合度を演算している。しかしながら、実際の粉粒体は有限のサイズをもっており、画像上では必ずしも１画素として現れるものではない。画像の解像度が適正であれば、１つの粉粒体に対して１画素が対応付けられるが、画像の解像度が過大である場合、１つの粉粒体に対して複数の画素が対応付けられ、画像の解像度が不足すれば、１つの粉粒体に対する画素が消えてしまう。画像の解像度が過大で、１つの粉粒体に複数の画素が対応付けられた場合、あたかも複数の粒子が凝集している状態の混合度が演算され、適正な混合度に比して低い値の混合度として演算されてしまう（図２参照）。また、画像の解像度が不足している場合、粉粒体の画素が消えてしまうので適正な混合度に比して低い値の混合度として演算されてしまう。したがって、複数種類の粉粒体から構成される混合材料の混合度を判定する場合、混合材料を撮像した画像の解像度の高低により混合度が変化してしまい、安定した混合度の定量評価を行うことができない場合があるという課題がある。

【0010】

本発明は、上記の課題を解決するためになされたものであり、複数種類の粉粒体から構成される混合材料の混合度を安定して評価することができる混合度判定装置及び混合度判定方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

上述した課題を解決し、目的を達成するため、本発明は、互いに色の異なる複数種類の粉粒体から構成される混合材料の混合度を判定する混合度判定装置であって、前記混合材料を高解像度で撮像した原画像を取得する画像取得部と、前記原画像を含み、前記原画像の解像度を順次低くした複数の中間画像を生成する中間画像生成部と、各中間画像に対して前記複数種類の粉粒体から選択された１種類の選択粉粒体を峻別した二値化画像を生成する二値化処理部と、前記二値化画像における選択粉粒体の画素数をもとに各二値化画像における前記選択粉粒体の混合度を算出する混合度算出部と、各二値化画像の混合度のうちの最大値を前記選択粉粒体の混合度として判定する混合度判定部とを備えたことを特徴とする。

【0012】

また、本発明は、上記の発明において、前記混合度算出部は、シャノンインデックスを用いて各二値化画像における前記選択粉粒体の混合度を算出することを特徴とする。

【0013】

また、本発明は、上記の発明において、前記混合度算出部は、各二値化画像を複数のサブセルに分割し、各サブセルの混合度をもとに各二値化画像の混合度を算出することを特徴とする。

【0014】

また、本発明は、上記の発明において、前記混合度算出部は、各二値化画像の混合度を解像度に対して移動平均した値を前記混合度として算出することを特徴とする。

【0015】

また、本発明は、上記の発明において、前記原画像の解像度は、１つの前記選択粉粒体が１画素に対応する中間画像よりも高いことを特徴とする。

【0016】

また、本発明は、互いに色の異なる複数種類の粉粒体から構成される混合材料の混合度を判定する混合度判定方法であって、前記混合材料を高解像度で撮像した原画像を取得する画像取得ステップと、前記原画像を含み、前記原画像の解像度を順次低くした複数の中間画像を生成する中間画像生成ステップと、各中間画像に対して前記複数種類の粉粒体から選択された１種類の選択粉粒体を峻別した二値化画像を生成する二値化処理ステップと、前記二値化画像における選択粉粒体の画素数をもとに各二値化画像における前記選択粉粒体の混合度を算出する混合度算出ステップと、各二値化画像の混合度のうちの最大値を前記選択粉粒体の混合度として判定する混合度判定ステップとを含むことを特徴とする。

【発明の効果】

【0017】

本発明によれば、複数種類の粉粒体から構成される混合材料の混合度を安定して評価することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、本実施の形態に係る混合度判定装置の構成を示す模式図である。

【図2】図２は、解像度の違いによる、原画像の選択粉粒体の大きさと選択粉粒体の画素数との関係を説明する説明図である。

【図3】図３は、中間画像の生成と中間画像の二値化処理の結果の一例を示す説明図である。

【図4】図４は、シャノン・エントロピーの演算を説明する説明図である。

【図5】図５は、各二値化画像の解像度に対する混合度の変化を示す図である。

【図6】図６は、攪拌時間の増加に伴う混合度の変化を示す図である。

【図7】図７は、制御部による混合度判定処理手順を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、添付図面を参照して、本実施の形態に係る混合度判定装置及び混合度判定方法について説明する。

【0020】

＜概要構成＞
図１は、本実施の形態に係る混合度判定装置１の構成を示す模式図である。図１に示すように、混合度判定装置１は、互いに色の異なる複数種類の粉粒体から構成される混合材料１０の表面を撮像部６で撮像し、撮像した画像をもとに、複数種類の粉粒体から選択された１種類の選択粉粒体の混合度を求めるものである。粉粒体は、樹脂ペレット、着色剤、発泡剤などであり、複数種類の粉粒体は、攪拌装置によって攪拌された混合材料１０である。

【0021】

混合度判定装置１は、装置本体１ａと、装置本体１ａに接続される撮像部６とを有する。撮像部６は、カメラなどの撮像デバイスである。装置本体１ａは、入力部２、表示部３、記憶部４及び制御部５を有する。

【0022】

入力部２は、マウスやキーボードなどの入力インタフェースである。表示部３は、各種情報を表示する液晶ディスプレイなどの表示インタフェースである。記憶部４は、ハードディスク装置や不揮発性メモリなどの記憶デバイスである。

【0023】

制御部５は、混合度判定装置１の全体を制御する制御部であり、画像取得処理部５ａ、中間画像生成部５ｂ、二値化処理部５ｃ、混合度算出部５ｄ及び混合度判定部５ｅを有する。制御部５は、これらの機能部に対応するプログラムを不揮発性メモリや磁気ディスク装置などの記憶装置に記憶しておき、これらのプログラムをメモリにロードして、ＣＰＵで実行することで、対応するプロセスを実行させることになる。

【0024】

画像取得処理部５ａは、撮像部６を操作して混合材料１０の表面画像を原画像として高解像度で取得する。なお、撮像部６及び画像取得処理部５ａは、画像取得部として機能する。

【0025】

中間画像生成部５ｂは、画像取得処理部５ａが取得した高解像度の原画像を含み、原画像の解像度を順次低くした複数の中間画像を生成する。中間画像生成部５ｂは、原画像の画像サイズを小さくすることによって順次解像度が低い中間画像を生成する。画像サイズの低減は、例えば、原画像を１００％として１％ずつ小さくし、例えば、原画像の１％のサイズまで小さくする。画像サイズの低減間隔は、１％ずつ小さくする等差数列的であってもよいし、１／２ずつ小さくする等比数列的であってもよい。原画像の画素数が１００万画素である場合、１％の中間画像の画素数は１万画素となる。

【0026】

二値化処理部５ｃは、各中間画像に対して複数種類の粉粒体から選択された１種類の選択粉粒体を峻別した二値化画像を生成する。二値化処理は、選択粉粒体と他の粉粒体とを峻別する二値化を行うが、この二値化処理は、例えば、適応的閾値処理であってもよいし、大津の二値化処理であってもよい。適応的二値化処理は、画像全体の中で任意の大きさの局所領域を設定し、この局所領域ごとに閾値の計算を行って各画像を二値化する。大津の二値化処理は、重み付けされたクラス内分散を最小にする閾値を探索して各画素の二値化を行う。

【0027】

混合度算出部５ｄは、各二値化画像における選択粉粒体の画素数をもとに各二値化画像における選択粉粒体の混合度を算出する。この混合度は、シャノンインデックスを用いたエントロピーであるシャノン・エントロピーを求めることによって得られる。

【0028】

混合度判定部５ｅは、混合度算出部５ｄによって算出された各二値化画像の混合度のうちの最大値を選択粉粒体の混合度として判定し、表示部３あるいは記憶部４に出力する。

【0029】

なお、解像度の異なる複数の中間画像を生成するのは、１つの選択粉粒体と画像上の１画素とが対応する画像を得るためである。図２に示すように、原画像Ｄには、混合材料１０として白色の粉粒体１２に黒色の粉粒体１１が混入されている。ここで、黒色の粉粒体１１の混合度を求める場合、二値化画像Ｄ２ａの解像度は、選択粉粒体としての１つの粉粒体１１が、二値化画像Ｄ２ａの１画素に対応している。しかし、画像の解像度が過大な高解像度をもつ二値化画像Ｄ２ｂである場合、原画像Ｄの１つの粉粒体１１に複数の画素（４つの画素）が対応付けられてしまい、あたかも４つの粉粒体１１が凝集している状態としての混合度が演算され、適正な混合度に比して低い値の混合度が演算されてしまう。なお、二値化画像の解像度が不足する場合、１つの粉粒体１１に対する画素が消えてしまい、間違った混合度として演算されてしまう。このように、複数種類の粉粒体から構成される混合材料の混合度を判定する場合、混合材料を撮像した画像の解像度の高低により混合度が変化してしまい、安定した混合度の定量評価を行うことができない。そこで、本実施の形態では、１つの選択粉粒体に対して適正な解像度をもつ二値化画像が含まれるように、異なる解像度をもつ複数の中間画像が生成される。なお、原画像Ｄの解像度は、適正解像度より大きくする必要がある。なお、本実施の形態では、混合度を求める際に予め粉粒体の平均粒径を知る必要はない。

【0030】

＜中間画像生成及び二値化処理＞
図３は、中間画像の生成と中間画像の二値化処理の結果の一例を示す説明図である。図３に示すように、画像取得処理部５ａは、撮像部６により混合材料１０の表面画像を原画像Ｄ０として取得する。ここでは、混合材料１０として白色の粉粒体１２に黒色の粉粒体１１が混じっているものとし、黒色の粉粒体１１の混合度を求める場合について説明する。

【0031】

中間画像生成部５ｂは、原画像Ｄ０を含み、原画像Ｄ０の解像度を順次低くした複数の中間画像Ｄ１（Ｄ１―１～Ｄ１―ｎ）を生成する。中間画像Ｄ１－ｎは最も解像度が低い画像である。上記のように、解像度の低下は画像サイズの低下と同じである。中間画像Ｄ１－１は、原画像Ｄ０と同じである。なお、中間画像Ｄ１－ｋは、１つの粉粒体１１と１画素とがほぼ同じになった画像である。

【0032】

二値化処理部５ｃは、生成された各中間画像Ｄ１のそれぞれに対して二値化処理を施して複数の二値化画像Ｄ２（Ｄ２―１～Ｄ２－ｎ）を生成する。二値化画像Ｄ２－１では、解像度が大きすぎるため、１つの粉粒体１１に対応する画素が４つになる。二値化画像Ｄ２－ｋは、１つの粉粒体１１に対応する画素が１つである。二値化画像Ｄ２－ｎでは、１つの粉粒体１１の粒径に対する画素が大きすぎて、１つの粉粒体１１に対する画素が消えてしまっている。

【0033】

＜混合度算出処理＞
混合度算出部５ｄは、シャノンインデックスを用いて各二値化画像Ｄ２における粉粒体１１の混合度を算出する。混合度は、シャノンインデックスを用いたエントロピー（シャノン・エントロピーＳ）の値を次式（１）により求める。

【数1】

シャノン・エントロピーＳは、図４に示すように、二値化画像Ｄ２の検査領域Ｅを任意の均等サイズのサブセルＥｓに分割して求める。ここで、ＭはサブセルＥｓの数、ｊはサブセルＥｓの呼び番号、Ｃは検査領域Ｅ内の粉粒体種類数、ｉは粉粒体種類の呼び番号、ｐc/jは検査領域Ｅ内の粉粒体総数に対するサブセルＥｓ内の粉粒体種類の粉粒体数の割合である。ｐｉは検査領域Ｅ内の粉粒体総数に対するサブセルＥｓ内の粉粒体数の割合である。

【0034】

ここで、式（１）内の項Ａは、サブセルＥｓ内の混合度を表し、
Ａ＝（白画素の割合）×ｌｎ（白画素の割合）＋（黒画素の割合）×ｌｎ（黒画素の割合）
として、サブセルＥｓ内の混合度が求まる。
なお、ｐｉは、検査領域Ｅ内の粉粒体総数に対するサブセルＥｓ内の粉粒体数の割合であるが、二値化画像Ｄ２に対する白画素を数えず、検査領域Ｅ内の黒画素数に対するサブセルＥｓ内の黒画素数として読み替えることができる。

【0035】

これにより、シャノン・エントロピーＳは、サブセルＥｓ内の混合度を示す項Ａにｐｉを乗算した値をサブセルＥｓごとに求め、求めた値をＭ個分、総和することによって算出される。

【0036】

図５は、各二値化画像Ｄ２の解像度に対する混合度（シャノン・エントロピーＳ）の変化を示す図である。図５に示した曲線Ｌは、二値化画像Ｄ２の解像度に対する混合度の変化を示しており、解像度が大きい場合、混合度は、１つの粉粒体１１に対する黒画素数が複数となり、解像度が大きくなるにしたがって凝集が大きくなったものとして小さくなる。一方、解像度が小さい場合、混合度は、１つの粉粒体１１に対する黒画素数が消えてしまうので小さくなる。そして、解像度がＰａのとき、混合度は最大値Ｓmaxとなる。このＰａの解像度は、二値化画像Ｄ２―ｋの解像度である。混合度が最大値Ｓmaxの時、１つの粉粒体１１に対して１つの黒画素が対応したものとなり、混合度が適正なものと判定し、この最大値Ｓmaxを粉粒体１１の混合度として出力する。これにより、適正な混合度を安定して得ることができる。また、１つの選択粉粒体の粒径にばらつきがある場合でも安定して適正な混合度を判定することができる。また、本実施の形態では、１つの選択粉粒体の粒径を知る必要はない。

【0037】

このようにして判定された混合度は、図６に示すように攪拌装置の攪拌時間の増加に伴って増大する。そして、ある攪拌時間を超えると混合度は飽和するため、最適な攪拌時間を決定することができる。

【0038】

なお、図５及び図６に示すように、解像度の変化に伴って混合度の変化が波打つ場合があるため、隣接する複数の解像度に対して移動平均した平均混合度を混合度として求めることが好ましい。

【0039】

＜混合度判定処理手順＞
図７は、制御部５による混合度判定処理手順を示すフローチャートである。図７に示すように、まず、画像取得処理部５ａは、混合材料１０を高解像度で撮像した原画像Ｄ０を取得する（ステップＳ１１０）。原画像Ｄ０の解像度は、１つの選択粉粒体が１画素に対応する解像度よりも高い解像度である。その後、中間画像生成部５ｂは、原画像Ｄ０を含み、原画像Ｄ０の解像度を順次低くした複数の中間画像Ｄ１を生成する（ステップＳ１２０）。

【0040】

その後、二値化処理部５ｃは、各中間画像Ｄ１に対して複数種類の粉粒体から選択された１種類の選択粉粒体を峻別した二値化画像Ｄ２を生成する（ステップＳ１３０）。そして、混合度算出部５ｄは、シャノンインデックスを用い、二値化画像Ｄ２における選択粉粒体の画素数をもとに各二値化画像Ｄ２における選択粉粒体の混合度（シャノン・エントロピーＳ）を算出する（ステップＳ１４０）。その後、混合度判定部５ｅは、各二値化画像の混合度のうちの最大値を選択粉粒体の混合度として判定し（ステップＳ１５０）、表示部３あるいは記憶部４に出力し、本処理を終了する。

【0041】

上記の実施の形態では、黒色の粉粒体１１と白色の粉粒体１２とが混じった混合材料１０における粉粒体１２の混合度を求める一例を示したが、混合度は、互いに色の異なる複数種類の粉粒体から構成される混合材料の１つの色の粉粒体に対しても求めることができる。例えば、赤色の粉粒体の混合度を算出する場合、カラー撮像素子によって混合材料を撮像し、Ｒ成分のみの画像に対して二値化処理した二値化画像を生成すればよい。また、どのような色の粉粒体であっても、その色成分を抽出した画像を生成し、その画像に対して二値化処理を行えばよい。

【0042】

なお、上記の実施の形態及び変形例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0043】

本発明の混合度判定装置及び混合度判定方法は、複数種類の粉粒体から構成される混合材料の混合度を安定して評価する場合に有用である。

【符号の説明】

【0044】

１ 混合度判定装置
１ａ 装置本体
２ 入力部
３ 表示部
４ 記憶部
５ 制御部
５ａ 画像取得処理部
５ｂ 中間画像生成部
５ｃ 二値化処理部
５ｄ 混合度算出部
５ｅ 混合度判定部
６ 撮像部
１０ 混合材料
１１，１２粉粒体
Ｄ，Ｄ０ 原画像
Ｄ１，Ｄ１－１～Ｄ１－ｎ 中間画像
Ｄ２，Ｄ２－１～Ｄ２－ｎ，Ｄ２ａ，Ｄ２ｂ 二値化画像
Ｅ 検査領域
Ｅｓ サブセル
Ｌ 曲線
Ｓ シャノン・エントロピー
Ｓmax 最大値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】