(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】判定システム
(51)【国際特許分類】
G01N 21/90 20060101AFI20241008BHJP
【FI】
G01N21/90 D
(21)【出願番号】P 2022516808
(86)(22)【出願日】2020-04-24
(86)【国際出願番号】 JP2020017750
(87)【国際公開番号】W WO2021214995
(87)【国際公開日】2021-10-28
【審査請求日】2022-10-13
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】谷内田 尚司
(72)【発明者】
【氏名】井上 恵子
(72)【発明者】
【氏名】澤田 あずさ
(72)【発明者】
【氏名】細井 利憲
【審査官】平田 佳規
(56)【参考文献】
【文献】特開平07-092109(JP,A)
【文献】特開2010-048712(JP,A)
【文献】特開2010-181231(JP,A)
【文献】特開2011-085575(JP,A)
【文献】特開昭50-011094(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
A61J 1/06
B07C 5/342
B65B 57/00 - B65B 57/20
B65G 43/00 - B65G 43/10
G01B 11/00 - G01B 11/30
G01V 8/10 - G01V 8/26
(57)【特許請求の範囲】
【請求項1】
画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する
前記撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する
前記撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
前記第1照明部が光を照射する前記第1状態と、前記第2照明部が光を照射する前記第2状態とを切り替える照明制御装置と、
を有し、
前記照明制御装置は、時間の経過とともに、前記第1状態よりも前記第2状態の方が長い状態から前記第2状態よりも前記第1状態の方が長い状態へと、前記第1状態と前記第2状態とを切り替える間隔を変化させる
判定システム。
【請求項2】
請求項1に記載の判定システムであって、
前記第1照明部は、光を照射していないときに閉じるシャッター幕を有している
判定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、判定方法、記録媒体、判定システムに関する。
【背景技術】
【0002】
容器に入った液体中の異物を検出するための技術が知られている。
【0003】
異物を検出する際に用いられる技術の一つとして、例えば、特許文献1がある。特許文献1には、第1の照射光を容器に照射する第1の照射源と、第1の照射光と異なる方向から第2の照射光を容器に照射する第2の照射源と、撮像手段と、検査手段と、を有する異物検出装置が記載されている。特許文献1によると、撮像手段は、容器からの第1の照射光の透過光路上の透過光の撮影と、第2の照射光の乱反射光の撮影を行う。そして、検査手段は、撮像手段が取得した画像に基づいて、充填液体中の異物を検出する。また、特許文献1には、第1の照射光と第2の照射光とを別時間帯で照射するようにしたことが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載のように、第1の照射光と第2の照射光とを単に別時間帯で照射する場合、検査に時間がかかったり、異物の重さなど異物の性質に応じた適切なタイミングで撮影を行うことが出来なかったりすることがあった。その結果、精度よく効率的に異物を検出できないおそれが生じていた。
【0006】
そこで、本発明の目的は、精度よく効率的に異物を検出できないおそれがある、という課題を解決する、判定装置、判定方法、記録媒体、判定システムを提供することにある。
【課題を解決するための手段】
【0007】
かかる目的を達成するため本開示の一形態である判定装置は、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を有する
という構成をとる。
【0008】
また、本開示の他の形態である判定方法は、
判定装置が、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
という構成をとる。
【0009】
また、本開示の他の形態である記録媒体は、
判定装置に、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
【0010】
また、本開示の他の形態である判定システムは、
画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
を有する
という構成をとる。
【発明の効果】
【0011】
上述したような各構成によると、精度よく効率的に異物を検出することを可能とする判定装置、判定方法、記録媒体、判定システムを提供することが可能となる。
【図面の簡単な説明】
【0012】
【
図1】本開示の第1の実施形態における判定システムの構成例を示す図である。
【
図2】容器と照明の位置関係の一例を示す図である。
【
図5】照明制御装置の構成例を示すブロック図である。
【
図6】照明制御装置による点灯制御例を示す図である。
【
図7】照明制御装置による点灯制御例を示す図である。
【
図11】本開示の第1の実施形態における判定装置の動作例を示すフローチャートである。
【
図12】判定部の処理例を示すフローチャートである。
【
図13】容器と照明の他の位置関係の一例を示す図である。
【
図14】本開示の第2の実施形態における判定装置のハードウェア構成図の一例を示す図である。
【
図15】本開示の第2の実施形態における判定装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
[第1の実施形態]
本開示の第1の実施形態について、
図1から
図13までを参照して説明する。
図1は、判定システム100の構成例を示す図である。
図2は、容器700と照明の位置関係の一例を示す図である。
図3、
図4は、照明の点灯例を説明するための図である。
図5は、照明制御装置400の構成例を示すブロック図である。
図6、
図7は、照明制御装置400による点灯制御例を示す図である。
図8は、判定装置600の構成例を示すブロック図である。
図9は、画像情報631の一例を示す図である。
図10は、分割部642の処理例を示す図である。
図11は、判定装置600の動作例を示すフローチャートである。
図12は、判定部645の処理例を示すフローチャートである。
図13は、容器700と照明の他の位置関係の一例を示す図である。
【0014】
本開示の第1の実施形態においては、水や薬剤などの液体を充填した容器700内部に混入している物体を検出して、検出した物体のうち異物を判定する判定システム100について説明する。後述するように、判定システム100は、複数の照明条件を切り替えながらカメラ500による撮影を行うことで、時系列の画像データを取得する。例えば、判定システム100は、容器700に対して第1照明部310から光を照射する状態と、容器700に対して第2照明部320から光を照射する状態と、を所定の間隔で切り替えながら、時系列の画像データを取得する。そして、判定システム100は、取得した時系列の画像データをそれぞれの状態に対応する時系列の画像データに分割した後、分割した時系列の画像データそれぞれに基づいて、異物を判定する。
【0015】
なお、本実施形態において、判定対象である異物には、ガラス片などの光を透過する異物と、ゴム片や髪の毛などの光を透過しない異物とがある。一般に、光を透過する異物であるガラス片などは、ゴム片や髪の毛などの光を透過しない異物よりも比重が重く、容器700内部に充填された液体内において、舞い上がった状態からより早く底に沈む。
【0016】
また、本実施形態においては、
図1で示す状態のうち容器700において液体を充填する側を上側、反対側を下側と定義して説明する。
図1の場合、容器700の内部に充填された液体は、容器700の下側に溜まっている。
【0017】
図1は、判定システム100の全体の構成例を示す側面図である。
図1を参照すると、判定システム100は、例えば、把持装置200と、第1照明部310と、第2照明部320と、照明制御装置400と、カメラ500と、判定装置600と、を含んでいる。
図1で示すように、第1照明部310と照明制御装置400とは、互いに通信可能なよう接続されている。また、第2照明部320と照明制御装置400とは、互いに通信可能なよう接続されている。また、カメラ500と判定装置600とは、互いに通信可能なよう接続されている。また、照明制御装置400とカメラ500とは、互いに通信可能なよう接続することが出来る。
【0018】
把持装置200は、容器700を把持する装置である。例えば、把持装置200は、下方に向かって突出し容器700の上側に当接する上側把持部と、上方に向かって突出し容器700の下側に当接する下側把持部とを含んでいる。
図1で示すように、把持装置200のうち上側把持部が容器700の上側から容器700に当接し、下側把持部が容器700の下側から容器700に当接することで、把持装置200は、容器700を上下方向から挟み込んで容器700を把持する。なお、把持装置200は、上記例示した以外の方法で容器700を把持しても構わない。
【0019】
また、把持装置200は、容器700を挟み込んで把持した状態で、容器700を傾斜させたり回転させたりすることが出来る。把持装置200が容器700を挟み込んだ状態で容器700を傾斜させたり回転させたりすることで、容器700の内部で沈殿している異物を舞い上がらせることが出来る。なお、本実施形態においては、把持装置200が容器700を傾斜させたり回転させたりするための構成については特に限定しない。把持装置200は、既知の方法を用いて、容器700を傾斜させたり回転させたりするよう構成して構わない。
【0020】
第1照明部310は、照明制御装置400からの制御に応じて、容器700内に充填された液体に対して光を照射する。
図1は、側面方向からみた、第1照明部310と第2照明部320と容器700の位置関係の一例を示しており、
図2は、カメラ500の撮影方向からみた、第1照明部310と第2照明部320と容器700の位置関係の一例を示している。
図1、
図2で示すように、第1照明部310は、容器700や把持装置200からみてカメラ500が設置される側とは反対側に設置されている。このような構成によると、第1照明部310は、容器700越しにカメラ500に対して光を照射する。その結果、
図3で示すように、第1照明部310が光を照射している間、カメラ500には、容器700を透過した透過光が入射する。この際、容器700の内部に光を透過しない異物が存在する場合には、光を透過しない異物により当該異物が存在する箇所の透過光が遮られる。例えば、
図3では、黒色の丸により、光を透過しない異物が表されている。
【0021】
また、第1照明部310は、液晶などを用いたシャッター幕を有している。第1照明部310が有するシャッター幕は、第1照明部310が光を照射していないときに閉じる。そのため、第1照明部310は、光を照射する点灯状態と、シャッター幕が閉じている消灯状態と、の2つの状態をとることが出来る、ということも出来る。
【0022】
第2照明部320は、第1照明部310と同様に、照明制御装置400からの制御に応じて、容器700内に充填された液体に対して光を照射する。
図1、
図2で示すように、第2照明部320は、容器700の例えば側面に設置されている。このような構成によると、第2照明部320は、容器700の側面方向から光を照射する。その結果、
図4で示すように、第2照明部320が光を照射している間、カメラ500には、容器700を透過した透過光が直接入射しない。なお、容器700の内部に光を透過する異物が存在する場合には、容器700内に存在する光を透過する異物が、光を乱反射させる。そのため、
図4で示すように、容器700の内部に光を透過する異物が存在する場合、第2照明部320が光を照射することで、異物により乱反射した乱反射光がカメラ500に入射する。例えば、
図4では、白色の丸により、光を透過する異物が表されている。
【0023】
また、第2照明部320は、液晶などを用いたシャッター幕を有することが出来る。第2照明部320が有するシャッター幕は、第1照明部310の場合と同様に、第2照明部320が光を照射していないときに閉じる。つまり、第2照明部320は、光を照射する点灯状態と、シャッター幕が閉じている消灯状態と、の2つの状態をとることが出来る、ということも出来る。なお、第2照明部320は、シャッター幕を有していなくても構わない。
【0024】
なお、第2照明部320の設置位置は、
図1、
図2で例示する場合に限定されない。第2照明部320は、第2照明部320が照射して容器700を透過した透過光が直接、カメラ500に入射しない位置ならば、斜め後方など
図1、
図2で例示する以外の位置に設置されていても構わない。
【0025】
照明制御装置400は、第1照明部310と第2照明部320の点灯状態、消灯状態を制御することで、照明条件を切り替える制御装置である。
図5は、照明制御装置400の構成例を示している。
図5を参照すると、照明制御装置400は、例えば、制御部410を有している。
【0026】
照明制御装置400は、例えば、CPUなどの演算装置と記憶装置とを有している。例えば、照明制御装置400は、記憶装置が記憶するプログラムを演算装置が実行することで、上記処理部を実現する。照明制御装置400は、ハードウェアにより上記処理部を実現しても構わない。
【0027】
制御部410は、第1照明部310や第2照明部320に点灯指示を送信することなどにより、第1照明部310や第2照明部320の状態を制御する。例えば、制御部410は、同一時刻において第1照明部310が点灯状態にあり第2照明部320が消灯状態にある第1状態、または、同一時刻において第1照明部310が消灯状態にあり第2照明部320が点灯状態にある第2状態、のいずれかになるように、第1照明部310や第2照明部320の状態を制御する。なお、上述したように、照明条件が第1状態にある場合、カメラ500に対して容器700を透過した透過光が入射する。一方、照明条件が第2状態にある場合、カメラ500に対して容器700を透過した透過光が入射しない。
【0028】
また、制御部410は、第1照明部310や第2照明部320の点灯間隔がカメラ500の撮影間隔と同期するように、第1照明部310や第2照明部320の状態を制御することが出来る。換言すると、制御部410は、カメラ500の撮影間隔に応じた間隔で第1状態と第2状態とを切り替えるよう、第1照明部310や第2照明部320を制御することが出来る。例えば、後述するように、カメラ500は、150~200fps程度の高フレームレートで画像データを取得する。そのため、制御部410は、0.005秒~0.0067秒、または、その倍数、の間隔で、第1状態と第2状態とを切り替えるよう、第1照明部310や第2照明部320を制御することが出来る。なお、制御部410は、カメラ500との間で、間隔を同期するための必要な情報を送受信するよう構成しても構わない。
【0029】
図6は、制御部410による制御例を示している。例えば、制御部410は、
図6で示すように、カメラ500が撮影するごとに第1状態と第2状態とが切り替わるよう、第1照明部310や第2照明部320の状態を制御することが出来る。換言すると、制御部410は、第1状態と第2状態とが0.005秒~0.0067秒ごとなど等間隔で切り替わるように、第1照明部310や第2照明部320の状態を制御することが出来る。
【0030】
また、制御部410は、時間の経過とともに第1状態と第2状態とを切り替える間隔を変えるよう構成することが出来る。
図7は、制御部410による他の制御例を示している。例えば、
図7を参照すると、制御部410は、カメラ500が2回撮影するまで第2状態を続けた後、第1状態に切り替える。例えば、制御部410は、第2状態を0.01秒~0.013秒間続けた後、0.005秒~0.0067秒の間第1状態とする。制御部410は、このような切り替えを所定時間続ける。続いて、制御部410は、等間隔で第1状態と第2状態とを切り替える処理を所定時間続ける。その後、制御部410は、第1状態を0.01秒~0.013秒間続けた後、0.005秒~0.0067秒の間第2状態とする切り替えを所定時間行う。このように、制御部410は、撮影開始直後に第1状態よりも第2状態を長くする一方で、時間の経過とともに第2状態よりも第1状態を長くするよう、切り替える間隔を変えることが出来る。なお、第2状態を0.015秒~0.02秒間続けた後、0.005秒~0.0067秒の間第1状態とするなど、制御部410が第1状態と第2状態とを切り替える間隔は、任意に変更して構わない。また、第2状態の方が第1状態よりも長い切り替えを行う時間、等間隔の切り替えを行う時間、第1状態方が第2状態よりも長い切り替えを行う時間、それぞれの時間についても任意に設定して構わない。上述したように、一般に、光を透過する異物であるガラス片などは、ゴム片や髪の毛などの光を透過しない異物よりも比重が重く、容器700内部に充填された液体内において、舞い上がった状態からより早く底に沈む。そのため、撮影開始後早期の段階で光を透過する異物を検出するのに好適な第2段階の割合を大きくし、時間の経過とともに光を透過しない異物を検出するのに好適な第1段階の割合を大きくすることで、異物の特性に沿った検出を行うことが可能となる。
【0031】
例えば、以上のように、制御部410は、第1状態と第2状態とが予め定められた間隔で切り替わるように、第1照明部310や第2照明部320の状態を制御することが出来る。
【0032】
カメラ500は、容器700を撮影することで画像データを取得する撮像装置である。例えば、カメラ500は、容器700を傾斜などさせた後、画像データの撮影を開始する。
図1で示すように、カメラ500は、把持装置200からみて第1照明部310が位置する側とは反対側の所定位置に予め設置されている。カメラ500は、間隔を同期するための必要な情報を照明制御装置400との間で送受信するよう構成しても構わない。
【0033】
例えば、カメラ500は、150~200fps程度の高フレームレートで連続的に画像データを取得する。そして、カメラ500は、取得した画像データを、撮影時刻を示す情報などとともに、判定装置600へ対して送信する。カメラ500は、上記例示した以外のフレームレートで画像データを取得しても構わない。
【0034】
なお、上述したように、第1照明部310や第2照明部320の状態は、照明制御装置400により制御される。そのため、カメラ500が取得する時系列の画像データは、第1状態において撮影した画像データと第2状態において撮影した画像データとが交互に存在するなど、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざったものとなる。
【0035】
判定装置600は、カメラ500が撮影・取得した画像データに基づいて、液体を充填した容器700内部に混入している物体を検出して異物を判定する情報処理装置である。
図8は、判定装置600の構成例を示している。
図8を参照すると、判定装置600は、主な構成要素として、例えば、画面表示部610と、通信I/F部620と、記憶部630と、演算処理部640と、を有している。
【0036】
画面表示部610は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置からなる。画面表示部610は、演算処理部640からの指示に応じて、画像情報631、追跡情報632、判定結果情報633などの記憶部630に格納された各種情報を画面表示することが出来る。
【0037】
通信I/F部620は、データ通信回路からなる。通信I/F部620は、通信回線を介して接続されたカメラ500や外部装置などとの間でデータ通信を行う。
【0038】
記憶部630は、ハードディスクやメモリなどの記憶装置である。記憶部630は、演算処理部640における各種処理に必要な処理情報やプログラム634を記憶する。プログラム634は、演算処理部640に読み込まれて実行されることにより各種処理部を実現する。プログラム634は、通信I/F部620などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部630に保存されている。記憶部630で記憶される主な情報としては、例えば、画像情報631、追跡情報632、判定結果情報633などがある。
【0039】
画像情報631は、カメラ500が取得した時系列の画像データを含んでいる。画像情報631においては、例えば、画像データと、画像データをカメラ500が取得した日時を示す情報(撮影時刻を示す情報)と、が対応づけられている。
【0040】
図9は、画像情報631に含まれる時系列の画像データの一例を示している。
図9を参照すると、画像情報631には、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざっている。上述したように、カメラ500が画像データを取得する際には、照明制御装置400により第1状態と第2状態とが切り替えられている。そのため、画像情報631として格納される画像データは、第1状態において撮影した画像データと第2状態において撮影した画像データとが交互に存在するなど、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざった状態になる。
【0041】
追跡情報632は、後述する追跡部644が追跡を行った結果に応じた情報を含んでいる。例えば、追跡情報632においては、物体ごとに与えられる識別情報と、物体の位置を示す時系列情報と、が対応づけられている。また、物体の位置を示す時系列情報には、例えば、時刻情報と、各時刻における物体の位置を示す座標などの位置情報と、が含まれている。
【0042】
なお、後述するように、追跡部644は、分割部642が画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割した後に、分割後のそれぞれの時系列データに基づく追跡を行う。そのため、追跡情報632には、第1状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、第2状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、が含まれる。
【0043】
なお、追跡情報632には、上記例示したような物体の位置以外の情報が含まれても構わない。例えば、追跡情報632には、検出領域の面積を示す情報などが含まれていても構わない。
【0044】
判定結果情報633は、判定部645が判定した結果を示す情報を含んでいる。例えば、判定結果情報633においては、物体ごとに与えられる識別情報と、判定部645が追跡情報632に基づいて判定した結果を示す情報と、が対応づけられている。つまり、判定結果情報633には、検出した物体が異物、気泡、容器の傷や汚れなど、のうちのいずれに該当するかを示す情報が含まれている。
【0045】
演算処理部640は、MPUなどのマイクロプロセッサとその周辺回路を有する。演算処理部640は、記憶部630からプログラム634を読み込んで実行することにより、上記ハードウェアとプログラム634とを協働させて各種処理部を実現する。演算処理部640で実現される主な処理部としては、例えば、画像取得部641、分割部642、検出部643、追跡部644、判定部645、出力部646などがある。
【0046】
画像取得部641は、通信I/F部620を介して、カメラ500から当該カメラ500が取得した画像データを取得する。そして、画像取得部641は、取得した画像データを、例えば画像データの取得日時(撮影時刻を示す情報)と対応付けて、画像情報631として記憶部630に格納する。
【0047】
分割部642は、画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する。例えば、判定装置600は、照明制御装置400がどのような条件(どのような間隔で)で第1状態と第2状態とを切り替えるかを示す情報を有している。そこで、分割部642は、上記情報を用いて、画像データに対応する時刻などに基づいて、画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する。
【0048】
図10は、分割部642による分割処理の一例を説明するための図である。
図10で示すように、分割部642は、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざった状態の画像情報631を、第1状態において撮影した時系列の画像データと、第2状態において撮影した時系列の画像データと、に分割する。
【0049】
なお、分割部642は、時刻以外の情報に基づいて時系列の画像データを分割しても構わない。例えば、分割部642は、画像データを2値化した際の明暗の割合などに基づいて、時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割しても構わない。分割部642は、上記例示した方法を組み合わせて分割処理を行っても構わない。
【0050】
検出部643は、画像データに基づいて、容器700や容器700内に充填された液体に対応する領域内に存在する物体を検出する。例えば、検出部643は、画像データに対する2値化処理を行って、2値化処理の結果に基づいて物体を検出する。なお、検出部643は、そのほか既知の技術を用いて物体を検出しても構わない。
【0051】
本実施形態の場合、検出部643は、分割部642が分割した、第1状態において撮影した時系列の画像データそれぞれから物体を検出するとともに、第2状態において撮影した時系列の画像データそれぞれから物体を検出する。
図3で示すように、第1状態においては、カメラ500に透過光が入射する一方で、光を透過しない異物により当該異物が存在する箇所の透過光が遮られる。そのため、検出部643は、第1状態において撮影した画像データに基づいて、主に光を透過しない異物を含む物体を検出することが出来る。一方、
図4で示すように、第2状態においては、カメラ500に透過光が入射しない一方で、光を透過する異物による乱反射光がカメラ500に入射する。そのため、検出部643は、第2状態において撮影した画像データに基づいて、主に光を透過する異物を含む物体を検出することが出来る。
【0052】
追跡部644は、検出部643が検出した物体の追跡を行う。上述したように、カメラ500は、200fpsなどの高フレームレートで画像データを取得している。そのため、撮影時刻が連続する(撮影時刻が所定値より近い)2つの画像データ間において、同一の物体の位置は極めて近いものと想定される。そこで、追跡部644は、検出部643が検出した物体の位置と、撮影時刻が一つ前(または、所定値内)の画像データにおいて検出部643が検出した物体の位置と、を比較する。そして、追跡部644は、物体間の距離が予め定められた閾値以下である物体が存在する場合、距離が閾値以下である、検出部643が検出した物体と撮影時刻が一つ前の画像データにおいて検出部643が検出した物体とが同一の物体であると判定する。この場合、追跡部644は、検出部643が検出した物体に、同一の物体と判断した物体に対して付与されているIDなどの識別情報を付与する。一方、撮影時刻が一つ前(または、所定値内)の画像データにおいて、検出部643が検出した物体との間の距離が予め定められた閾値以下となる物体が存在しない場合、追跡部644は新規な物体を検出したと判定する。この場合、追跡部644は、検出した物体に対して新たなIDなどの識別情報を付与する。
【0053】
例えば、以上のように、追跡部644は、異なる画像データにおける物体間の距離に基づく追跡を行うことで、検出部643が検出した物体に対して識別情報を与える。また、追跡部644は、検出部643が検出した物体の位置を示す座標を取得する。そして、追跡部644は、識別情報と画像データの撮影時刻を示す時刻情報と座標とを対応付けて、追跡情報632として記憶部630に格納する。
【0054】
なお、本実施形態の場合、追跡部644は、分割部642が分割した、第1状態において撮影した時系列の画像データに基づく追跡と、第2状態において撮影した時系列の画像データに基づく追跡と、を行う。つまり、追跡部644は、第1状態において撮影した時系列の画像データに基づく位置の比較を行うとともに、第2状態において撮影した時系列の画像データに基づく位置の比較を行う。上述したように、検出部643は、第1状態において撮影した画像データに基づいて、主に光を透過しない異物を含む物体を検出する。そのため、追跡部644は、第1状態において撮影した時系列の画像データに基づいて、主に光を透過しない異物を含む物体の追跡を行うことが出来る。一方、検出部643は、第2状態において撮影した画像データに基づいて、主に光を透過する異物を含む物体を検出する。そのため、追跡部644は、第2状態において撮影した時系列の画像データに基づいて、主に光を透過する異物を含む物体の追跡を行うことが出来る。
【0055】
判定部645は、追跡情報632に基づいて、検出部643が検出した物体が気泡と異物のいずれに該当するか判定する。そして、判定部645は、検出部643が検出した各物体の判定結果について、判定結果情報633として記憶部630に格納する。
【0056】
例えば、判定部645は、追跡情報632に基づいて物体が上方へと移動していると判断される場合、当該物体は気泡であると判定する。一方、判定部645は、追跡情報632に基づいて、物体が下方へと移動していると判断される場合、当該物体は異物であると判定する。例えば、以上のように、判定部645は、追跡情報632に基づいて物体の移動方向を判断することで、物体が気泡または異物のいずれであるかを判定することが出来る。なお、判定部645は、予め学習されたモデルなどを用いて上記判定を行うなど、上記例示した以外の方法により気泡と異物とを判定しても構わない。
【0057】
なお、上述したように、追跡情報632には、第1状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、第2状態に対応する時系列データを用いた追跡を行った結果に応じた情報と、が含まれる。そのため、判定部645は、追跡情報632のうち第1状態に対応する時系列データを用いた追跡を行った結果に応じた情報に基づいて、物体が気泡または光を透過しない異物のいずれであるかを判定しても構わない。同様に、判定部645は、追跡情報632のうち第2状態に対応する時系列データを用いた追跡を行った結果に応じた情報に基づいて、物体が気泡または光を透過する異物のいずれであるかを判定しても構わない。このように、判定部645は、物体が気泡または異物のいずれであるかを判定するとともに、異物が光を透過するか否か判定することが出来る。
【0058】
なお、判定部645は、物体の判定を行う際、追跡情報632以外の情報を用いても構わない。例えば、判定部645は、物体の画像特徴、サイズや平均輝度値などを示す情報を併用して、物体の判定を行うことが出来る。物体のサイズや平均輝度値など動き以外の情報も併せて判断することによって、気泡や異物の特徴を総合的に判断できるため、より高い判定精度を得ることが可能になる。
【0059】
出力部646は、画像情報631、追跡情報632、判定結果情報633などを出力する。例えば、出力部646は、画像情報631、追跡情報632、判定結果情報633などを、画面表示部610上に画面表示したり、通信I/F部620を介して外部装置に対して送信したりすることが出来る。
【0060】
以上が、判定装置600の構成例である。
【0061】
なお、判定装置600は上述した以外の構成を有しても構わない。例えば、判定装置600は、把持装置200に対して傾斜・回転の指示をしたり傾斜・回転の停止を指示したりするよう構成することが出来る。
【0062】
容器700は、ガラス瓶やペットボトルなどの透光性を有する容器である。容器700の内部には、水や薬剤などの液体が充填されている。容器700の内部には、異物が混入している可能性がある。異物としては、例えば、ゴム片、髪の毛、繊維片、煤などの光を透過しない異物や、ガラスやプラスチック片などの光を透過する異物が想定される。
【0063】
以上が、判定システム100が有する把持装置200、第1照明部310、第2照明部320、照明制御装置400、カメラ500、判定装置600の構成例である。続いて、
図11、
図12を参照して、判定装置600の動作例について説明する。
【0064】
図11を参照すると、画像取得部641は、通信I/F部620を介して、カメラ500から当該カメラ500が取得した画像データを取得する(ステップS101)。画像取得部641は、第1状態において撮影した画像データと第2状態において撮影した画像データとが混ざった状態の時系列の画像データを取得する。
【0065】
分割部642は、時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する(ステップS102)。例えば、判定装置600は、照明制御装置400がどのような条件(どのような間隔で)で第1状態と第2状態とを切り替えるかを示す情報を有している。分割部642は、上記情報を用いて、画像情報631に含まれる時系列の画像データを、第1状態において撮影した時系列の画像データと第2状態において撮影した時系列の画像データとに分割する。分割部642は、上記例示した以外の方法を用いて分割処理を行っても構わない。
【0066】
検出部643は、第1状態において撮影した時系列の画像データに基づいて、容器700や容器700内に充填された液体に対応する領域内に存在する物体を検出する。(ステップS111)。ステップS111の処理において、検出部643は、主に光を透過しない異物を含む物体を検出する。なお、検出部643は、既知の技術を用いて物体を検出して構わない。
【0067】
追跡部644は、検出部643が検出した物体の追跡を行う(ステップS112)。つまり、追跡部644は、主に光を透過しない異物を含む物体の追跡を行う。例えば、追跡部644は、撮影時刻が近い(または連続する)画像データにおける物体間の距離に基づいて、物体を追跡する。
【0068】
画像データ内において検出部643が検出したすべての物体を追跡できていない場合(ステップS113、No)、追跡部644は、追跡していない物体の追跡を行う。一方、画像データ内において検出部643が検出したすべての物体を追跡できた場合(ステップS113、Yes)、追跡部644は、当該画像データに基づく追跡を完了する。
【0069】
分割部642が分割した、第1状態において撮影した時系列の画像データすべてについて追跡が完了した場合(ステップS114、Yes)、判定装置600は第1状態において撮影した時系列の画像データに基づく処理を終了する。一方、未検出や未追跡の画像データがある場合(ステップS114、No)、判定装置600は、検出部643による検出や追跡部644による追跡を続行する。
【0070】
また、検出部643は、第2状態において撮影した時系列の画像データに基づいて、容器700や容器700内に充填された液体に対応する領域内に存在する物体を検出する。(ステップS121)。ステップS121の処理において、検出部643は、主に光を透過する異物を含む物体を検出する。なお、検出部643は、既知の技術を用いて物体を検出して構わない。
【0071】
追跡部644は、検出部643が検出した物体の追跡を行う(ステップS122)。つまり、追跡部644は、主に光を透過する異物を含む物体の追跡を行う。例えば、追跡部644は、撮影時刻が近い(または連続する)画像データにおける物体間の距離に基づいて、物体を追跡する。
【0072】
画像データ内において検出部643が検出したすべての物体を追跡できていない場合(ステップS123、No)、追跡部644は、追跡していない物体の追跡を行う。一方、画像データ内において検出部643が検出したすべての物体を追跡できた場合(ステップS123、Yes)、追跡部644は、当該画像データに基づく追跡を完了する。
【0073】
分割部642が分割した、第2状態において撮影した時系列の画像データすべてについて追跡が完了した場合(ステップS124、Yes)、判定装置600は第2状態において撮影した時系列の画像データに基づく処理を終了する。一方、未検出や未追跡の画像データがある場合(ステップS124、No)、判定装置600は、検出部643による検出や追跡部644による追跡を続行する。
【0074】
以上が、判定装置600の動作例である。なお、ステップS111からステップS114までの処理と、ステップS121からステップS124までの処理は並列で行って構わない。続いて、
図12を参照して、判定部645の処理例について説明する。
【0075】
図12を参照すると、判定部645は、追跡情報632を取得する(ステップS201)。
【0076】
判定部645は、追跡情報632に基づいて、検出部643が検出した物体が気泡または異物のいずれであるかを判定する(ステップS202)。例えば、判定部645は、物体の移動方向に基づいて、物体が気泡または異物のいずれであるかを判定することが出来る。判定部645は、上記例示した以外の方法により判定を行っても構わない。なお、判定部645は、物体が気泡または異物のいずれであるかを判定するとともに、異物が光を透過する異物と光を透過しない異物のいずれであるかを判定しても構わない。
【0077】
以上が、判定部645の処理例である。
【0078】
このように、判定装置600は、分割部642と検出部643と追跡部644と判定部645とを有している。このような構成により、追跡部644は、分割部642が分割した、第1状態において撮影した時系列の画像データに基づいて検出部643が検出した物体の追跡と、第2状態において撮影した時系列の画像データに基づいて検出部643が検出した物体の追跡と、を行うことが出来る。また、判定部645は、追跡部644による追跡の結果に基づく判定を行うことが出来る。これにより、連続的に撮影した時系列のデータに基づいて、光を透過する異物に好適な方法で検出、追跡、判定を行うとともに、光を透過しない異物に好適な方法で検出、追跡、判定を行うことが可能となる。その結果、精度よく効率的に異物を検出することが可能となる。
【0079】
なお、判定システム100の構成は、本実施形態において例示した場合に限定されない。例えば、
図13で示すように、判定システム100は、第3照明部330を有することが出来る。第3照明部330は、第2照明部320と同様の間隔で、容器700内に充填された液体に対して光を照射する。
図13で示すように、第3照明部330は、例えば、容器700の側面方向であって、当該容器700からみて第2照明部320の設置位置とは反対側に設置することが出来る。このように、判定システム100は、複数の照明を有していても構わない。
【0080】
また、本実施形態においては、1台の情報処理装置により判定装置600としての機能を実現する場合について説明した。しかしながら、判定装置600としての機能は、ネットワークを介して接続された複数台の情報処理装置により実現されても構わない。
【0081】
また、本実施形態において、判定システム100は、照明制御装置400と判定装置600とを有するとした。しかしながら、判定装置600が照明制御装置400としての機能を有しても構わない。つまり、照明制御装置400と判定装置600とは一体的に構成することが出来る。判定装置600が照明制御装置400としての機能を有する場合、判定システム100は、個別の照明制御装置400を有さなくても構わない。
【0082】
また、本実施形態においては、照明条件の一例として、同一時刻において第1照明部310が点灯状態にあり第2照明部320が消灯状態にある第1状態と、同一時刻において第1照明部310が消灯状態にあり第2照明部320が点灯状態にある第2状態と、をあげた。しかしながら、照明条件は、必ずしも本実施形態で例示した場合に限定されない。例えば、照明条件には、同一時刻において第1照明部310が点灯状態にあり第2照明部320が点灯状態にある状態や、第1照明部310と第2照明部320とが消灯状態にあり第3照明部330が点灯状態にあるなど、上記例示した以外の状態が含まれても構わない。また、例えば、第1照明部310が点灯状態にあり第2照明部320が点灯状態にある状態と第1照明部310が消灯状態にあり第2照明部320が点灯状態にある状態を切り替えるなど、本実施形態で例示した以外の切り替えが行われても構わない。
【0083】
[第2の実施形態]
次に、
図14、
図15を参照して、本発明の第2の実施形態について説明する。第2の実施形態では、判定装置800の構成の概要について説明する。
【0084】
図14は、判定装置800のハードウェア構成例を示している。
図14を参照すると、判定装置800は、一例として、以下のようなハードウェア構成を有している。
・CPU(Central Processing Unit)801(演算装置)
・ROM(Read Only Memory)802(記憶装置)
・RAM(Random Access Memory)803(記憶装置)
・RAM803にロードされるプログラム群804
・プログラム群804を格納する記憶装置805
・情報処理装置外部の記録媒体810の読み書きを行うドライブ装置806
・情報処理装置外部の通信ネットワーク811と接続する通信インタフェース807
・データの入出力を行う入出力インタフェース808
・各構成要素を接続するバス809
【0085】
また、判定装置800は、プログラム群804をCPU801が取得して当該CPU801が実行することで、
図15に示す分割部821、判定部822としての機能を実現することが出来る。なお、プログラム群804は、例えば、予め記憶装置805やROM802に格納されており、必要に応じてCPU801がRAM803などにロードして実行する。また、プログラム群804は、通信ネットワーク811を介してCPU801に供給されてもよいし、予め記録媒体810に格納されており、ドライブ装置806が該プログラムを読み出してCPU801に供給してもよい。
【0086】
なお、
図14は、判定装置800のハードウェア構成例を示している。判定装置800のハードウェア構成は上述した場合に限定されない。例えば、判定装置800は、ドライブ装置806を有さないなど、上述した構成の一部から構成されてもよい。
【0087】
分割部821は、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割する。例えば、照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第1状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態と、を含むことが出来る。照明条件に第1状態と第2状態とを含む場合、分割部821は、取得した時系列の画像データを、第1状態で撮影した時系列の画像データと第2状態で撮影した時系列の画像データとに分割することが出来る。
【0088】
判定部822は、分割部821が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する。
【0089】
このように、判定装置800は、分割部821と判定部822とを有している。このような構成によると、判定部822は、分割部821が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定することが出来る。これにより、連続的に撮影した時系列のデータを撮影条件に基づいて分割した後判定することが可能となる。その結果、精度よく効率的に異物を検出することが可能となる。
【0090】
なお、上述した判定装置800は、当該判定装置800に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、判定装置800に、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割する分割部と、分割部が分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する判定部と、を実現するためのプログラムである。
【0091】
また、上述した判定装置800により実行される判定方法は、判定装置800が、複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、照明条件に応じた時系列の画像データに分割し、分割した時系列の画像データそれぞれに基づいて、容器の内部に混入している異物を判定する、という方法である。
【0092】
上述した構成を有する、プログラム、又は、判定方法、の発明であっても、上記判定装置800と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
【0093】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0094】
(付記1)
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を有する
判定装置。
(付記2)
付記1に記載の判定装置であって、
前記照明条件には、画像データを取得する撮像装置に対して容器を透過した透過光が入射する第1状態と、画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態と、が含まれている
判定装置。
(付記3)
付記2に記載の判定装置であって、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しない第2状態の際には、前記第1状態において光を照射する照明部が有するシャッター幕が閉じた状態である
判定装置。
(付記4)
付記2または付記3に記載の判定装置であって、
前記第1状態と前記第2状態とを切り替える間隔が時間の経過とともに変化している
判定装置。
(付記5)
付記1から付記4までのいずれか1項に記載の判定装置であって、
前記分割部は、画像データを取得する撮像装置の撮影間隔に応じて前記照明条件を切り替えながら撮影することで取得した時系列の画像データを分割する
判定装置。
(付記6)
付記5に記載の判定装置であって、
前記分割部は、画像データを取得した時刻を示す情報に基づいて、時系列の画像データを分割する
判定装置。
(付記7)
付記1から付記6までのいずれか1項に記載の判定装置であって、
前記分割部が分割した時系列の画像データそれぞれに含まれる各画像データから物体を検出する検出部と、
前記検出部が検出した前記物体を、前記分割部が分割した時系列の画像データごとに追跡する追跡部と、
を有し、
前記判定部は、前記追跡部による追跡の結果に基づいて、前記検出部が検出した前記物体が前記異物であるか否か判定する
判定装置。
(付記8)
付記7に記載の判定装置であって、
前記判定部は、前記物体が気泡であるか、または、前記異物であるか、を判定する
判定装置。
(付記9)
付記7または付記8に記載の判定装置であって、
前記判定部は、前記物体が前記異物であると判定するとともに、当該異物が光を透過するか否か判定する
判定装置。
(付記10)
判定装置が、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割し、
分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する
判定方法。
(付記11)
判定装置に、
複数の照明条件を切り替えながら容器に充填された液体を撮影することで取得した時系列の画像データを、前記照明条件に応じた時系列の画像データに分割する分割部と、
前記分割部が分割した時系列の画像データそれぞれに基づいて、前記容器の内部に混入している異物を判定する判定部と、
を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
(付記12)
画像データを取得する撮像装置に対して容器を透過した透過光が入射するよう光を照射する第1照明部と、
画像データを取得する撮像装置に対して容器を透過した透過光が入射しないよう光を照射する第2照明部と、
前記第1照明部が光を照射する第1状態と、前記第2照明部が光を照射する第2状態とを含む複数の照明条件が切り替わる環境下で、容器に充填された液体を撮影する撮像装置と、
前記撮像装置が取得した時系列の画像データを前記照明条件に応じた時系列の画像データに分割する分割部と、前記分割部が分割した時系列の画像データそれぞれに基づいて前記容器の内部に混入している異物を判定する判定部と、を有する判定装置と、
を有する
判定システム。
(付記13)
付記12に記載の判定システムであって、
前記第1照明部は、光を照射していないときに閉じるシャッター幕を有している
判定システム。
(付記14)
付記12または付記13に記載の判定システムであって、
前記第1照明部が光を照射する前記第1状態と、前記第2照明部が光を照射する前記第2状態とを切り替える照明制御装置を有する
判定システム。
(付記15)
付記14に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを等間隔で切り替える
判定システム。
(付記16)
付記14または付記15に記載の判定システムであって、
前記照明制御装置は、前記第1状態と前記第2状態とを切り替える間隔を、時間の経過とともに変化させる
判定システム。
(付記17)
付記14から付記16までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、時間の経過とともに、前記第1状態よりも前記第2状態の方が長い状態から前記第2状態よりも前記第1状態の方が長い状態へと、前記第1状態と前記第2状態とを切り替える間隔を変化させる
判定システム。
(付記18)
付記14から付記17までのいずれか1項に記載の判定システムであって、
前記照明制御装置は、画像データを取得する撮像装置の撮影間隔に応じて、前記第1状態と前記第2状態とを切り替える
判定システム。
【0095】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0096】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【符号の説明】
【0097】
100 判定システム
200 把持装置
310 第1照明部
320 第2照明部
330 第3照明部
400 照明制御装置
410 制御部
500 カメラ
600 判定装置
610 画面表示部
620 通信I/F部
630 記憶部
631 画像情報
632 追跡情報
633 判定結果情報
634 プログラム
640 演算処理部
641 画像取得部
642 分割部
643 検出部
644 追跡部
645 判定部
646 出力部
700 容器
800 判定装置
801 CPU
802 ROM
803 RAM
804 プログラム群
805 記憶装置
806 ドライブ装置
807 通信インタフェース
808 入出力インタフェース
809 バス
810 記録媒体
811 通信ネットワーク
821 分割部
822 判定部