特許 7470926 画像処理方法、プログラム、及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-11

(45)【発行日】2024-04-19

(54)【発明の名称】画像処理方法、プログラム、及び画像処理システム

(51)【国際特許分類】

   G01N 21/89 20060101AFI20240412BHJP

   B07C 5/342 20060101ALN20240412BHJP

【ＦＩ】

G01N21/89 Z

B07C5/342

【請求項の数】 10

(21)【出願番号】P 2020093720

(22)【出願日】2020-05-28

(65)【公開番号】P2021189010

(43)【公開日】2021-12-13

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】椎名 浩司

(72)【発明者】

【氏名】田嶋 伸行

(72)【発明者】

【氏名】石井 翔平

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０１２－１８５０８７（ＪＰ，Ａ）

【文献】特開２０２１－０８５６５９（ＪＰ，Ａ）

【文献】特開平０８－１５５４０１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０１７１５０４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｂ０７Ｃ １／００ － Ｂ０７Ｃ ９９／００

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

(57)【特許請求の範囲】

【請求項1】

移送手段による移送中の対象物を撮像した撮像画像を取得する取得処理と、
前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する出力処理と、
前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する調整処理と、を有し、
前記画像処理では、複数段階の処理を行い、
前記調整処理では、前記画像処理の結果が前記複数段階の処理のうちのどの処理の結果であるかに応じて、前記待ち時間を調整する、
画像処理方法。

【請求項2】

移送手段による移送中の対象物を撮像した撮像画像を取得する取得処理と、
前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する出力処理と、
前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する調整処理と、を有し、
前記出力処理では、前記出力信号として複数種類の出力信号を出力可能であり、
前記調整処理では、前記出力信号の種類毎に前記待ち時間を調整する、
画像処理方法。

【請求項3】

前記調整処理では、前記撮像画像での前記対象物の位置に基づいて、前記待ち時間を調整する、
請求項１又は２に記載の画像処理方法。

【請求項4】

前記撮像画像での前記対象物の位置は、基準位置に対する前記対象物の相対位置であり、
前記待ち時間は、予め設定された基準時間に対して、前記相対位置に応じた調整時間を加減算することによって調整される、
請求項３に記載の画像処理方法。

【請求項5】

前記基準位置は、前記撮像画像に固定的に設定されている、
請求項４に記載の画像処理方法。

【請求項6】

前記出力処理では、前記移送手段による移送中の前記対象物に対して物理的な処理を行う処理システムに、前記出力信号を出力する、
請求項１～５の何れか１項に記載の画像処理方法。

【請求項7】

前記取得処理での前記撮像画像の取得タイミングを管理する管理処理を更に有する、
請求項１～６の何れか１項に記載の画像処理方法。

【請求項8】

請求項１～７の何れか１項に記載の画像処理方法を、１以上のプロセッサに実行させるためのプログラム。

【請求項9】

移送手段による移送中の対象物を撮像した撮像画像を取得する取得部と、
前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する出力部と、
前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する調整部と、を有し、
前記画像処理では、複数段階の処理を行い、
前記調整部は、前記画像処理の結果が前記複数段階の処理のうちのどの処理の結果であるかに応じて、前記待ち時間を調整する、
画像処理システム。

【請求項10】

移送手段による移送中の対象物を撮像した撮像画像を取得する取得部と、
前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する出力部と、
前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する調整部と、を有し、
前記出力部は、前記出力信号として複数種類の出力信号を出力可能であり、
前記調整部は、前記出力信号の種類毎に前記待ち時間を調整する、
画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理方法、プログラム、及び画像処理システムに関する。より詳細には、本開示は、対象物を撮像した撮像画像に対する画像処理の結果に応じて、対象物に対する処理を実行させるための出力信号を出力する画像処理方法、プログラム、及び画像処理システムに関する。

【背景技術】

【0002】

特許文献１に記載の検査装置は、ベルトコンベア（移送手段）と、カメラと、出力ユニットと、エア噴出手段と、制御装置とを備える。ベルトコンベアは、外装色の異なる複数個のティッシュカートン（対象物）を所定順序で移送する。カメラは、ティッシュカートンの外装を撮影する。出力ユニットは、カメラの撮影画像からティッシュカートンの外装色を感知し、その感知結果（出力信号）を制御装置に出力する。エア噴出手段は、ベルトコンベア上のティッシュカートンを、エアを吹き付けることで排出シュートへ弾き出す。制御装置は、出力ユニットからの検知結果を受信したときに、外装センサによる感知色がその直前に感知された色に対して所定順序に従った色でない場合は、エア噴射手段を作動させてティッシュカートンを排出シュートへ弾き出す。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－３５０３５４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような検査装置では、出力ユニットは、カメラによるティッシュカートンの撮影時から一定の待ち時間（すなわちティッシュカートンがエア噴出手段の正面位置に来るまでの時間）が経過した時に、感知結果を制御装置に出力する。そして、制御装置は、その感知結果を受信すると、エア噴射手段を作動させてティッシュカートンを排出シュートへ弾き出す。

【0005】

このため、ベルトコンベアでのティッシュカートンの位置が正規の位置からずれていると、一定の待ち時間経過時（すなわちエア噴出手段のエア噴出時）に、ティッシュカートンがエア噴出手段の正面に位置していない。従って、エア噴出手段のエアによって、ティッシュカートンが排出シュートに弾き出されない場合がある。

【0006】

本開示は、移送中の対象物に対して適切に処理を実行することができる画像処理方法、プログラム及び画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一の態様の画像処理方法は、取得処理と、出力処理と、調整処理と、を有する。前記取得処理では、移送手段による移送中の対象物を撮像した撮像画像を取得する。前記出力処理では、前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する。前記調整処理では、前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する。前記画像処理では、複数段階の処理を行う。前記調整処理では、前記画像処理の結果が前記複数段階の処理のうちのどの処理の結果であるかに応じて、前記待ち時間を調整する。
本開示の一の態様の画像処理方法は、取得処理と、出力処理と、調整処理と、を有する。前記取得処理では、移送手段による移送中の対象物を撮像した撮像画像を取得する。前記出力処理では、前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する。前記調整処理では、前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する。前記出力処理では、前記出力信号として複数種類の出力信号を出力可能である。前記調整処理では、前記出力信号の種類毎に前記待ち時間を調整する。

【0008】

本開示の一の態様のプログラムは、上記の一の態様の画像処理方法を、１以上のプロセッサに実行させる。

【0009】

本開示の一の態様の画像処理システムは、取得部と、出力部と、調整部と、を有する。前記取得部は、移送手段による移送中の対象物を撮像した撮像画像を取得する。前記出力部は、前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する。前記調整部は、前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する。前記画像処理では、複数段階の処理を行う。前記調整部は、前記画像処理の結果が前記複数段階の処理のうちのどの処理の結果であるかに応じて、前記待ち時間を調整する。
本開示の一の態様の画像処理システムは、取得部と、出力部と、調整部と、を有する。前記取得部は、移送手段による移送中の対象物を撮像した撮像画像を取得する。前記出力部は、前記撮像画像に対する画像処理の結果に応じて、前記対象物に対する処理を実行させるための出力信号を出力する。前記調整部は、前記撮像画像に関連する情報に基づいて、前記撮像画像の取得時から前記出力信号を出力するまでの待ち時間を調整する。前記出力部は、前記出力信号として複数種類の出力信号を出力可能である。前記調整部は、前記出力信号の種類毎に前記待ち時間を調整する。

【発明の効果】

【0010】

本開示は、移送中の対象物に対して適切に処理を実行することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係る画像処理システムを備える移動検査システムを示すブロック図である。

【図2】図２Ａは、対象物の位置が基準位置から移送方向とは反対方向にずれている状態を説明する説明図である。図２Ｂは、対象物の位置が基準位置から移送方向にずれている状態を説明する説明図である。

【図3】図３は、同上の移動検査システムの動作を説明するフローチャートである。

【図4】図４は、変形例１に係る移動検査システムを示すブロック図である。

【図5】図５は、同上の移動検査システムの動作を説明するフローチャートである。

【発明を実施するための形態】

【0012】

（１．実施形態）
（１－１．概要）
図１を参照して、本実施形態に係る画像処理方法について説明する。

【0013】

本実施形態に係る画像処理方法は、取得処理と、出力処理と、調整処理とを有する。

【0014】

取得処理では、ベルトコンベア２０１（移送手段）による移送中の対象物２（例えば電子部品）を撮像した撮像画像を撮像装置２０３から取得する。出力処理では、取得処理で取得された撮像画像に対する画像処理の結果に応じて、撮像された対象物２に対する処理を実行させるための出力信号Ｕ１を出力する。出力信号Ｕ１は、対象物２に対する処理を実行する処理システム２００に出力される。上記の「商品に対する処理」とは、例えば、エア噴出装置２０４から噴出されるエアによって対象物２をベルトコンベア２０１から排出路２０２に弾き出す処理、又は、ロボットアーム装置によって対象物２をピッキング（掴み取る）する処理などである。

【0015】

調整処理では、取得処理で取得された撮像画像に関連する情報に基づいて、待ち時間を調整する。待ち時間は、取得処理での撮像画像の取得時から上記の出力信号Ｕ１を出力するまでの時間である。上記の「撮像画像に関連する情報」とは、例えば、撮像画像での対象物２の位置Ｘ１、又は、上記の画像処理における後述の複数段階の処理の結果を含む。上記の待ち時間は、取得処理での撮像画像の取得時から、対象物２がベルトコンベア２０１上の所定地点（第２地点Ｐ２）を通過するまでの時間である。なお、本実施形態では、上記の取得時は、撮像装置２０３による対象物２の撮像時と実質的に同じ時と見なしている。上記の所定地点（第２地点）Ｐ２とは、処理システム２００によって、対象物２に対する処理が実行される地点である。

【0016】

すなわち、この画像処理方法では、対象物２を撮像した撮像画像を撮像装置２０３から取得した時から待ち時間経過時に出力信号Ｕ１が処理システム２００に出力され、出力信号Ｕ１を受信した処理システム２００によって、対象物２に対する処理が実行される。その際、上記の撮像画像に関連する情報に基づいて上記の待ち時間が調整されることで、上記の画像に関連する情報に基づいて出力信号Ｕ１の出力タイミング（すなわち処理システム２００が対象物２に対する処理を実行する実行タイミング）が調整される。これにより、ベルトコンベア２０１での対象物２の位置Ｘ１が正規の位置でなくても、ベルトコンベア２０１による移送中の対象物２に対する処理を適切に実行することができる。

【0017】

（１－２．詳細説明）
以下、本実施形態に係る画像処理方法が適用された画像処理システム１について説明する。以下の説明では、画像処理システム１が移送検査システム１００に備えられた場合を例示する。また、対象物２は、例えば電子部品（例えば平面視矩形の半導体チップ）を想定する。

【0018】

図１に示すように、移送検査システム１００は、ベルトコンベア２０１による移送中の対象物２を撮像装置２０３で撮像し、その撮像した撮像画像Ｇ１に基づいて対象物２の適不適を判定し、不適と判定した対象物２をエア噴出装置２０４の噴出エアによってベルトコンベア２０１から弾き出すシステムである。

【0019】

移送検査システム１００は、処理システム２００と、画像処理システム１とを備える。

【0020】

処理システム２００は、ベルトコンベア２０１と、排出路２０２と、撮像装置２０３と、エア噴出装置２０４と、制御装置２０５とを備える。

【0021】

ベルトコンベア２０１は、対象物２を移送する。より詳細には、ベルトコンベア２０１は、例えば、輪状の幅広のベルトを台車の上で回転させ、そのベルトに対象物２を載せることで、対象物２をベルトコンベア２０１によって移送方向Ｑ１に一定速度で移送する。なお、移送方向Ｑ１は、ベルトコンベア２０１のベルトが進む方向である。

【0022】

排出路２０２は、エア噴出装置２０４の噴出エアによってベルトコンベア２０１から弾き出された対象物２が通る道である。排出路２０２は、例えば、ベルトコンベア２０１の所定地点（第２地点Ｐ２）において、ベルトコンベア２０１の片方の側面からベルトコンベア２０１と交差する方向に延びている。

【0023】

撮像装置２０３は、ベルトコンベア２０１による移送中の対象物２を撮像する。より詳細には、撮像装置２０３は、ＣＣＤイメージセンサなどを備えて構成されている。撮像装置２０３は、ベルトコンベア２０１の第１地点Ｐ１の周囲（例えば上方）に配置されており、ベルトコンベア２０１の上方（すなわち対象物２の上方）から第１地点Ｐ１を含む一定範囲Ｗ１を撮像する。これにより、撮像装置２０３は、第１地点Ｐ１を通過する対象物２を撮像する。撮像装置２０３は、例えば一定時間間隔で静止画を撮像するが、静止画の代わりに動画を撮像してもよい。

【0024】

エア噴出装置２０４は、その噴出エアによって、ベルトコンベア２０１による移送中の対象物２をベルトコンベア２０１から排出路２０２に弾き出す装置である。エア噴出装置２０４は、ベルトコンベア２０１の第２地点Ｐ２の周囲（例えば排出路２０２とは反対側）に配置されている。第２地点Ｐ２は、ベルトコンベア２０１上の地点であって、移送方向Ｑ１において、第１地点Ｐ１から一定距離はれた地点である。エア噴出装置２０４は、ベルトコンベア２０１の第２地点Ｐ２に向けてエアを噴出する。これにより、エア噴出装置２０４は、対象物２がベルトコンベア２０１の第２地点Ｐ２を通過する時にエアを噴出することで、第２地点Ｐ２を通過する対象物２をベルトコンベア２０１から排出路２０２に弾き出すことが可能である。

【0025】

なお、エア噴出装置２０４は、ベルトコンベア２０１による移送中の対象物２に対して物理的な処理を行う処理装置の一例である。上記の「物理的な処理」とは、例えば、対象物２を移動させること、対象物２を持ち上げること、対象物２の方向を変えることを含む。

【0026】

制御装置２０５は、ベルトコンベア２０１、撮像装置２０３及びエア噴出装置２０４を制御する装置である。制御装置２０５は、画像処理システム１からの出力信号Ｕ１に応じてエア噴出装置２０４を作動させる。エア噴出装置２０４は、作動するとエアを噴出する。この噴出エアによって、対象物２がベルトコンベア２０１から排出路２０２に弾き出される。

【0027】

画像処理システム１は、撮像装置２０３の撮像画像Ｇ１に基づいて対象物２の適不適を判定し、その判定結果に応じて、エア噴出装置２０４を作動させるための出力信号Ｕ１の出力タイミングを制御する。

【0028】

画像処理システム１は、管理部１１と、画像取得部１２と、画像処理部１３と、待ち時間調整部１４と、出力部１５とを備える。

【0029】

管理部１１は、管理処理を行う。この管理処理では、例えば制御装置２０５を介して撮像装置２０３の動作を管理する。より詳細には、管理処理では、例えば制御装置２０５を介して、撮像装置２０３が静止画を撮像する時間間隔を調整する。換言すれば、管理処理では、撮像装置２０３が撮像する撮像タイミングを調整する。これにより、画像処理部１３の後述の画像処理において、撮像装置２０３から撮像画像Ｇ１を取得する取得タイミングが調整（管理）される。本実施形態では、管理部１１は、制御装置２０５を介して撮像装置２０３の動作を管理するが、制御装置２０５を介さずに直接、撮像装置２０３の動作を管理してもよい。

【0030】

画像取得部１２は、取得処理を行う。この取得処理では、対象物２を撮像した撮像画像Ｇ１（図２Ａ参照）を撮像装置２０３から取得する。また、取得処理では、画像取得部１２が撮像装置２０３から撮像画像Ｇ１を取得した時刻（取得時刻）を記憶する。なお、本実施形態では、取得時刻は、撮像装置２０３が撮像した時刻と同じと見なしている。

【0031】

画像処理部１３は、画像処理を行う。この画像処理では、画像取得部１２の取得処理で取得された撮像画像Ｇ１に対して画像処理を行う。より詳細には、この画像処理では、画像認識技術を用いて、撮像画像Ｇ１に対象物２（図２Ａ参照）が写っているか否かの判定（対象物判定）を行う。この判定では、対象物２を写したテンプレート画像が画像処理システム１の所定の記憶部に予め記憶されている。そして、この画像処理では、撮像画像Ｇ１の各部分とテンプレート画像との類似度を判定し、撮像画像Ｇ１の各部分において類似度が閾値以上の部分があるかを判定する。この判定では、撮像画像Ｇ１において、対象物２が写っている部分の類似度は、閾値以上になり、対象物２が写っていない部分の類似度は、閾値未満となる。このため、この画像処理では、撮像画像Ｇ１の各部分において類似度が閾値以上の部分に、対象物２が写っていると判定する。

【0032】

また、上記の画像処理では、撮像画像Ｇ１に写っている対象物２にマーク２ａ（図２Ａ参照）が表記されているか否かの判定（マーク判定）を行う。上記のマーク２ａは、特定形状の印（例えば丸印）であり、例えば、対象物２の上面の周縁の所定位置に表記されている。この画像処理では、撮像画像Ｇ１に写っている対象物２にマーク２ａに表記されていること判定した場合、対象物２でのマーク２ａの位置に基づいて、対象物２の方向が特定方向を向いているか否かの判定（方向判定）を行う。上記の「対象物２の方向」は、例えば、対象物２の位置Ｓ１からマーク２ａの位置に向かう方向である。上記の特定方向とは、例えば対象物２の移送方向Ｑ１である。

【0033】

このように、本実施形態では、画像処理部１３の画像処理では、複数段階の処理（例えば、マーク判定及び方向判定の２段階の処理）が行われる。また、マーク判定の結果及び方向判定の結果は、画像処理の結果の一例である。

【0034】

待ち時間調整部１４は、調整処理を行う。この調整処理では、画像処理部１３の画像処理の結果に基づいて、待ち時間を調整する。上記の待ち時間は、エア噴出装置２０４のエア噴出タイミング（すなわち出力部１５からの出力信号Ｕ１の出力タイミング）を制御するための時間である。より詳細には、調整処理では、画像処理部１３の画像処理の結果に基づいて、撮像画像Ｇ１での対象物２の位置Ｘ１（例えば撮像画像Ｇ１での対象物２の中心の位置）を求め、求めた位置に応じて待ち時間を調整する。すなわち、調整処理では、撮像画像Ｇ１での対象物２の位置Ｘ１に基づいて、待ち時間を調整する。なお、撮像画像Ｇ１での対象物２の位置Ｘ１は、撮像画像Ｇ１に関連する情報の一例である。したがって、待ち時間調整部１４の調整処理では、撮像画像Ｇ１に関連する情報に基づいて待ち時間を調整している。

【0035】

より詳細には、撮像画像Ｇ１での対象物２の位置Ｘ１は、移送方向Ｑ１における基準位置Ｋ１に対する対象物２の相対位置Ｒ１（図２Ａ参照）である。基準位置Ｋ１は、対象物２が本来位置すべき位置（すなわち正規の位置）である。以後、正規の位置を正規の位置Ｋ１とも記載する。基準位置Ｋ１は、例えば撮像画像Ｇ１の所定位置に固定的に設定されている。この場合、上記の待ち時間は、予め設定された基準時間に対して、上記の相対位置Ｒ１に応じた調整時間が加減算されることによって、調整される。上記の基準時間は、上記の調整時間がゼロに場合の待ち時間である。すなわち、上記の基準時間は、撮像画像Ｇ１での対象物２の位置Ｘ１が基準位置Ｋ１に一致する場合、画像取得部１２による撮像画像Ｇ１の取得時点から、対象物２がベルトコンベア２０１の第２地点Ｐ２を通過するまでの時間である。上記の調整時間は、上記の相対位置Ｒ１が基準位置Ｋ１に一致するときはゼロであり、上記の相対位置Ｒ１が大きいほど大きくなり、上記の相対位置Ｒ１が小さいほど小さくなる。また、上記の相対位置Ｒ１が基準位置Ｋ１から移送方向Ｑ１とは反対方向にずれている場合（図２Ａ参照）は、調整時間は基準時間に加算される。すなわち、待ち時間は、調子時間分長くなるように調整される。また、上記の相対位置Ｒ１が基準位置Ｋ１から移送方向Ｑ１にずれている場合（図２Ｂ参照）は、調整時間は基準時間から減算される。すなわち、待ち時間は、調子時間分短くなるように調整される。

【0036】

出力部１５は、出力処理を行う。この出力処理では、画像取得部１２が撮像装置２０３から撮像画像Ｇ１を取得した時点（すなわち画像処理部１３が記憶した上記の取得時刻）から上記の待ち時間経過した時（すなわち対象物２がベルトコンベア２０１の第２地点Ｐ２を通過する時）に、出力信号Ｕ１を処理システム２００の制御装置２０５に出力する。この出力信号Ｕ１は、エア噴出装置２０４を作動させるための信号である。制御装置２０５は、出力部１５から上記の出力信号Ｕ１を受信すると速やかに、エア噴出装置２０４を作動させる。これにより、エア噴出装置２０４の噴出エアによって、ベルトコンベア２０１の第２地点Ｐ２を通過する対象物２が、ベルトコンベア２０１から排出路２０２に弾き出される。

【0037】

画像処理システム１は、例えば、プロセッサ及びメモリを有するマイクロコンピュータで構成されている。つまり、画像処理システム１は、プロセッサ及びメモリを有するコンピュータシステムで実現されている。そして、プロセッサが適宜のプログラムを実行することにより、コンピュータシステムが画像処理システム１として機能する。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的記録媒体に記録されて提供されてもよい。

【0038】

（１－３．動作説明）
次に図３のフローチャートを参照して移送検査システムの動作を説明する。

【0039】

撮像装置２０３がベルトコンベア２０１の第１地点Ｐ１を撮像すると、画像取得部１２の取得処理は、その撮像した撮像画像Ｇ１を取得し（ステップＳ１）、且つその取得時刻を記憶する（ステップＳ２）。そして、画像処理部１３が、画像取得部１２で取得された撮像画像に対して画像処理を行う。より詳細には、画像処理部１３の画像処理では、画像認識技術を用いて、撮像画像Ｇ１に対象物２が写っているか否かの判定（対象物判定）を行う（ステップＳ３）。この判定の結果、撮像画像Ｇ１に対象物２が写っていない場合（ステップＳ４：Ｎｏ）は、処理が終了する。他方、ステップＳ３の判定の結果、撮像画像Ｇ１に対象物２が写っている場合（ステップＳ４：Ｙｅｓ）は、画像処理部１３の画像処理では、当該撮像画像Ｇ１に基づいて、対象物２にマーク２ａが表記されているか否かの判定を行う（ステップＳ５）。この判定の結果、対象物２にマーク２ａが表示されていない場合（ステップＳ６：Ｎｏ）は、画像処理部１３は、当該対象物２を不適であると判定して（ステップＳ７）、ステップＳ８～Ｓ１１の処理を実行する。

【0040】

より詳細には、画像処理部１３の画像処理では、撮像画像Ｇ１での対象物２の位置Ｘ１を求める（ステップＳ８）。そして、画像処理部１３の画像処理では、移送方向Ｑ１における基準位置Ｋ１に対する対象物２の相対位置Ｒ１を求め、その相対位置Ｒ１に応じた調整時間を基準時間に加減算することによって、待ち時間を算出（調整）する（ステップＳ９）。そして、出力部１５の出力処理では、画像取得部１２による撮像画像Ｇ１の取得時刻（すなわちステップＳ２の取得時刻）から上記の待ち時間の経過を待って（ステップＳ１０）、出力信号Ｕ１を処理システム２００の制御装置２０５に出力する（ステップＳ１１）。このように、出力部１５が取得時刻から待ち時間の経過を待つことで、対象物２がベルトコンベア２０１の第２地点Ｐ２まで移送される。そして、制御装置２０５は、出力信号Ｕ１を受信すると速やかにエア噴出装置２０４を作動させて、エア噴出装置２０４からエアを噴出させる（ステップＳ１２）。この結果、エア噴出装置２０４の噴出エアによって、ベルトコンベア２０１の第２地点Ｐ２を通過する対象物２（すなわち不適と判定された対象物２）がベルトコンベア２０１から排出路２０２に弾き出される。

【0041】

他方、ステップＳ５の判定の結果、対象物２にマーク２ａが表記されている場合（ステップＳ６：Ｙｅｓ）は、画像処理部１３の画像処理では、対象物２でのマーク２ａの位置に基づいて、対象物２の方向が特定方向を向いているか否かの判定（方向判定）を行う（ステップＳ１３）。この判定の結果、対象物２の方向が特定方向を向いていない場合（ステップＳ１４：Ｎｏ）は、画像処理では、当該対象物２は不適であると判定して（ステップＳ１５）、ステップＳ１６～Ｓ１９の処理を実行する。ステップＳ１６～Ｓ１９の処理は、ステップＳ８～Ｓ１１の処理と同じである。

【0042】

すなわち、画像処理部１３の画像処理では、当該撮像画像Ｇ１での対象物２の位置Ｘ１を求める（ステップＳ１６）。そして、画像処理部１３の画像処理では、移送方向Ｑ１における基準位置Ｋ１に対する対象物２の相対位置Ｒ１を求め、その相対位置Ｒ１に応じた調整時間を基準時間に加減算することによって、待ち時間を算出（調整）する（ステップＳ１７）。そして、出力部１５の出力処理では、画像取得部１２による撮像画像Ｇ１の取得時刻（すなわちステップＳ２の取得時刻）から上記の待ち時間の経過を待って（ステップＳ１８）、出力信号Ｕ１を処理システム２００の制御装置２０５に出力する（ステップＳ１９）。このように、取得時刻から待ち時間の経過を待つことで、対象物２がベルトコンベア２０１の第２地点Ｐ２まで移送される。そして、制御装置２０５は、出力信号Ｕ１を受信すると速やかにエア噴出装置２０４を作動させて、エア噴出装置２０４からエアを噴出させる（ステップＳ１２）。この結果、エア噴出装置２０４からの噴出エアによって、ベルトコンベア２０１の第２地点Ｐ２を通過する対象物２（すなわち不適と判定された対象物２）がベルトコンベア２０１から排出路２０２に弾き出される。

【0043】

他方、ステップＳ１３の判定の結果、対象物２の方向が特定方向を向いている場合（ステップＳ１４：Ｙｅｓ）は、画像処理部１３は、当該対象物２は適であると判定する（ステップＳ２０）。この場合、対象物２は、エア噴出装置２０４の噴出エアによってベルトコンベア２０１から弾き出されずに移送される。そして、処理は終了する。

【0044】

（１－４．主要な効果）
本実施形態の画像処理方法は、取得処理と、出力処理と、調整処理とを有する。取得処理では、ベルトコンベア２０１（移送手段）による移送中の対象物２を撮像した撮像画像Ｇ１を取得する。出力処理では、撮像画像Ｇ１に対する画像処理の結果に応じて、対象物２に対する処理を実行させるための出力信号Ｕ１を出力する。調整処理では、撮像画像Ｇ１に関連する情報に基づいて、撮像画像Ｇ１の取得時から出力信号Ｕ１を出力するまでの待ち時間を調整する。

【0045】

この構成により、撮像画像Ｇ１に関連する情報に基づいて、撮像画像Ｇ１の取得時から出力信号Ｕ１を出力するまでの待ち時間を調整するため、撮像画像Ｇ１に関連する情報に基づいて、出力信号Ｕ１の出力タイミングを調整することができる。この結果、ベルトコンベア２０１での対象物２の配置Ｘ１が正規の位置（基準位置Ｋ１）からずれていても、ベルトコンベア２０１による移送中の対象物２に対して処理（例えば物理的な処理）を適切に実行することができる。

【0046】

（２．変形例）
上記の実施形態の変形例を説明する。以下に説明する変形例は、適宜組み合わせて実施可能である。また、上述の実施形態に係る画像処理方法と同様の機能は、画像処理システム１、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0047】

一態様に係る画像処理システム１は、画像取得部１２（取得部）と、出力部１５と、待ち時間調整部１４（調整部）とを有する。画像取得部１２は、ベルトコンベア２０１（移送手段）による移送中の対象物２を撮像した撮像画像Ｇ１を取得する。出力部１５は、撮像画像Ｇ１に対する画像処理の結果に応じて、対象物２に対する処理を実行させるための出力信号Ｕ１を出力する。待ち時間調整部１４は、撮像画像Ｇ１に関連する情報に基づいて、撮像画像Ｇ１の取得時から出力信号Ｕ１を出力するまでの待ち時間を調整する。

【0048】

一態様に係るプログラムは、上記の実施形態の画像処理方法を、１以上のプロセッサに実行させる。

【0049】

一態様に係る非一時的記録媒体は、上記の実施形態の画像処理方法を、１以上のプロセッサに実行させるプログラムを記録する。

【0050】

（２－１．変形例１）
上記の実施形態では、複数段階の処理（例えばマーク判定及び方向判定）の結果に応じて出力される出力信号Ｕ１によって、共通の処理装置（例えばエア噴出装置２０４）が制御される。ただし、図４に示すように、複数段階の処理（例えばマーク判定及び方向判定）の結果に応じて出力される出力信号Ｕ１によって、異なる処理装置（例えばエア噴出装置２０４及びロボットアーム装置２０６）が制御されてもよい。

【0051】

図４の例では、処理システム２００は、上記の異なる処理装置として、例えば、エア噴出装置２０４とロボットアーム装置２０６とを備える。エア噴出装置２０４は、上記の実施形態のエア噴出装置２０４と同じ構成である。ロボットアーム装置２０６は、ベルトコンベア２０１による移送中の対象物２を摘んで対象物２の方向を特定方向に修正する装置である。ロボットアーム装置２０６は、ベルトコンベア２０１の第３地点Ｐ３の周囲に配置されている。ロボットアーム装置２０６は、制御装置２０５の制御に応じて、対象物２がベルトコンベア２０１の第３地点Ｐ３を通過する時に対象物２を摘んで対象物２の方向を特定方向に修正する。

【0052】

本変形例では、エア噴出装置２０４は、画像処理部１３のマーク判定の結果に応じて出力部１５から出力される出力信号Ｕ１によって、作動される。ロボットアーム装置２０６は、画像処理部１３の方向判定の結果に応じて出力部１５から出力される出力信号Ｕ１によって、作動される。

【0053】

本変形例では、待ち時間調整部１４は、画像処理部１３の画像処理の結果が複数段階の処理（例えばマーク判定及び方向判定）のうちのどの処理の結果であるかに応じて、待ち時間を調整する。なお、待ち時間の調整は、上記の実施形態で説明した通り、予め設定された基準時間に対して、基準位置Ｋ１に対する対象物２の相対位置Ｒ１に応じた調整時間が加減算されることによって行われる。本変形例では、上記の基準時間として、複数段階の処理ごとに異なる長さの基準時間が設定されている。すなわち、本変形例では、複数段階の処理に対応して、異なる長さの複数の基準時間が設定されている。例えば、マーク判定に対しては第１基準時間が設定され、方向判定に対しては第２基準時間が設定されている。第１基準時間は、撮像画像Ｇ１での対象物２の位置Ｘ１が基準位置Ｋ１に一致する場合に、画像取得部１２による撮像画像Ｇ１の取得時点から、対象物２がベルトコンベア２０１の第２地点Ｐ２を通過するまでの時間である。第２基準時間は、撮像画像Ｇ１での対象物２の位置Ｘ１が基準位置Ｋ１に一致する場合に、画像取得部１２による撮像画像Ｇ１の取得時点から、対象物２がベルトコンベア２０１の第３地点を通過するまでの時間である。

【0054】

待ち時間調整部１４は、画像処理部１３の画像処理の結果がマーク判定の結果である場合は、基準時間として第１基準時間を用いて上記の実施形態の場合と同様に待ち時間を求めることで、待ち時間を算出（調整）する。また、待ち時間調整部１４は、画像処理部１３の画像処理の結果が方向判定の結果である場合は、基準時間として第２基準時間を用いて上記の実施形態の場合と同様に待ち時間を求めることで、待ち時間を算出（調整）する。すなわち、待ち時間調整部１４は、画像処理部１３の画像処理の結果が複数段階の処理のうちのどの処理の結果であるかに応じて、異なる長さの基準時間を用いることで（すなわち基準時間の長さを調整することで）、待ち時間を算出（調整）する。

【0055】

なお、画像処理部１３の画像処理（例えばマーク判定及び方向判定などの複数段階の処理）の結果は、撮像画像Ｇ１に関連する情報の一例である。したがって、待ち時間調整部１４の調整処理では、撮像画像Ｇ１に関連する情報に基づいて待ち時間を調整している。

【0056】

本変形例では、出力部１５の出力処理では、出力信号Ｕ１として複数種類の出力信号（第１出力信号及び第２出力信号）を処理システム２００の制御装置２０５に出力する。より詳細には、出力部１５の出力処理では、画像処理部１３の画像処理の結果が複数段階の処理（例えばマーク判定及び方向判定）のどの処理の結果であるかに応じて、異なる種類の出力信号（第１出力信号及び第２出力信号）を処理システム２００の制御装置２０５に出力する。これにより、制御装置２０５は、出力部１５から受信した出力信号の種類に基づいて、複数の処理装置（例えばエア噴出装置２０４及びロボットアーム装置２０６）のうちのどの処理装置を作動させるべきかを判断する。例えば、出力部１５の出力処理では、画像処理部１３の画像処理の結果がマーク判定の結果である場合は、出力信号Ｕ１として第１出力信号を出力し、画像処理部１３の画像処理の結果が方向判定の結果である場合は、出力信号Ｕ１として第２出力信号を出力する。制御装置２０５は、受信した出力信号Ｕ１が第１出力信号である場合は、エア噴出装置２０４を作動させ、受信した出力信号Ｕ１が第２出力信号である場合は、ロボットアーム装置２０６を作動させる。

【0057】

本変形例では、上記のように、待ち時間調整部１４の調整処理では、出力部１５の出力処理で出力される出力信号の種類（すなわち複数種類の出力信号）毎に待ち時間を調整している。例えば、待ち時間調整部１４の調整処理では、出力部１５から第１信号が出力される場合は、少なくとも第１基準時間を用いることで待ち時間を調整し、出力部１５から第２信号が出力される場合は、少なくとも第２基準時間を用いることで待ち時間を調整する。

【0058】

図５を参照して、本変形例の移送検査システム１００の動作を説明する。本変形例の移送検査システム１００の動作は、上記の実施形態の移送検査システムの動作（図４参照）において、下記の変更点１，２が異なる以外は同じである。（変更点１）ステップＳ９，Ｓ１１，Ｓ１７，Ｓ１９がそれぞれ、ステップＳ９Ａ，Ｓ１１Ａ，Ｓ１７Ａ，Ｓ１９Ａに変更される。（変更点２）ステップＳ１２が省略されて、ステップＳ１２Ａ，１２Ｂが追加される。以下の説明では、上記の実施形態の移送検査システム１００の動作と異なるステップ（ステップＳ９Ａ，Ｓ１１Ａ，Ｓ１２Ａ，Ｓ１２Ｂ，Ｓ１７Ａ，Ｓ１９Ａ）のみ説明し、同じステップの説明は、ステップ番号を付して省略する。

【0059】

ステップＳ９Ａでは、画像処理部１３は、複数の基準時間の中からマーク判定に対応する基準時間（第１基準時間）を選択する。そして、画像処理部１３は、移送方向Ｑ１における基準位置Ｋ１に対する対象物２の相対位置Ｒ１を求め、その相対位置Ｒ１に応じた調整時間を第１基準時間に加減算することによって、待ち時間を算出（調整）する。

【0060】

ステップＳ１１Ａでは、出力部１５は、出力信号Ｕ１として、マーク判定に対応する第１出力信号を処理システム２００の制御装置２０５に出力する（ステップＳ１１）。

【0061】

ステップＳ１２Ａは、ステップＳ１１Ａの次に実行される。ステップＳ１２Ａでは、制御装置２０５は、第１出力信号を受信すると速やかにエア噴出装置２０４を作動させて、エア噴出装置２０４からエアを噴出させる。この結果、エア噴出装置２０４の噴出エアによって、ベルトコンベア２０１の第２地点Ｐ２を通過する対象物２（すなわち不適と判定された対象物２）がベルトコンベア２０１から排出路２０２に弾き出される。そして、処理が終了する。

【0062】

ステップＳ１７Ａでは、画像処理部１３は、複数の基準時間の中から方向判定に対応する基準時間（第２基準時間）を選択する。そして、画像処理部１３は、移送方向Ｑ１における基準位置Ｋ１に対する対象物２の相対位置Ｒ１を求め、その相対位置Ｒ１に応じた調整時間を第２基準時間に加減算することによって、待ち時間を算出（調整）する。

【0063】

ステップＳ１９Ａでは、出力部１５は、出力信号Ｕ１として、方向判定に対応する第２出力信号を処理システム２００の制御装置２０５に出力する。

【0064】

ステップＳ１２Ｂは、ステップＳ１９Ａの次に実行される。ステップＳ１２Ｂでは、制御装置２０５は、第２出力信号を受信すると速やかにロボットアーム装置２０６を作動させて、ロボットアーム装置２０６によって、ベルトコンベア２０１の第３地点Ｐ３を通過する対象物２の方向を、特定方向を向くように調整する。そして、処理が終了する。

【0065】

本変形例によれば、画像処理部１３の画像処理での複数段階の処理（例えばマーク判定及び方向判定）の処理の結果に応じて出力される出力信号（第１出力信号及び第２出力信号）によって、異なる処理装置２０４，２０６を作動させることができる。

【0066】

（２－２．変形例２）
上記の実施形態では、基準位置Ｋ１は、撮像画像Ｇ１の所定位置に固定的に設定される。ただし、ベルトコンベア２０１において、対象物２の移送方向Ｑ１に等間隔に複数の線（すなわち移送方向Ｑ１に直交する複数の線）を表記し、各線の位置を基準位置Ｋ１としてもよい。また、ベルトコンベア２０１において、複数の対象物２が移送方向Ｑ１に等間隔に並べられる場合は、注目する対象物２の１つ前又は１つ後の対象物２の位置Ｘ１を基準位置Ｋ１としてもよい。

【0067】

（２－３．変形例３）
上記の実施形態及び変形例では、出力部１５からの出力信号Ｕ１が制御装置２０５に出力され、その出力信号Ｕ１を受信した制御装置２０５が処理装置（エア噴出装置２０４及びロボットアーム装置２０６）を作動させる。すなわち、出力部１５からの出力信号Ｕ１によって間接的に、処理装置が作動される。ただし、出力部１５からの出力信号Ｕ１を直接、処理装置に出力することで、出力信号によって直接、処理装置を作動させてもよい。

【0068】

（２－４．その他の変形例）
上記の実施形態及び変形例では、処理装置としてエア噴出装置２０４及びロボットアーム装置２０６を例示する。ただし、処理装置は、ベルトコンベア２０１による移送中の対象物２に対して処理（例えば物理的な処理）を行う装置であれば、どのような装置であってもよい。

【0069】

（３．まとめ）
第１の態様の画像処理方法は、取得処理（Ｓ１）と、出力処理（Ｓ１１，Ｓ１９；Ｓ１１Ａ，Ｓ１９Ａ）と、調整処理（Ｓ９，Ｓ１７；Ｓ９Ａ，Ｓ１７Ａ）と、を有する。取得処理（Ｓ１）では、移送手段（２０１）による移送中の対象物（２）を撮像した撮像画像（Ｇ１）を取得する。出力処理（Ｓ１１，Ｓ１９；Ｓ１１Ａ，Ｓ１９Ａ）では、撮像画像（Ｇ１）に対する画像処理の結果に応じて、対象物（２）に対する処理を実行させるための出力信号（Ｕ１）を出力する。調整処理（Ｓ９，Ｓ１７；Ｓ９Ａ，Ｓ１７Ａ）では、撮像画像（Ｇ１）に関連する情報に基づいて、撮像画像（Ｇ１）の取得時から出力信号（Ｕ１）を出力するまでの待ち時間を調整する。

【0070】

この構成によれば、撮像画像（Ｇ１）に関連する情報に基づいて、撮像画像（Ｇ１）の取得時から出力信号（Ｕ１）を出力するまでの待ち時間を調整する。このため、撮像画像（Ｇ１）に関連する情報に基づいて、出力信号（Ｕ１）の出力タイミングを調整することができる。この結果、移送手段（２０１）での対象物（２）の位置（Ｘ１）が正規の位置（Ｋ１）からずれていても、移送手段（２０１）による移送中の対象物（２）に対する処理（例えば物理的な処理）を適切に実行することができる。

【0071】

第２の態様の画像処理方法では、第１の態様において、調整処理（Ｓ９，Ｓ１７；Ｓ９Ａ，Ｓ１７Ａ）では、撮像画像（Ｇ１）での対象物（２）の位置（Ｘ１）に基づいて、待ち時間を調整する。

【0072】

この構成によれば、撮像画像（Ｇ１）での対象物（２）の位置（Ｘ１）に基づいて、待ち時間を調整することができる。

【0073】

第３の態様の画像処理方法では、第２の態様において、撮像画像（Ｇ１）での対象物（２）の位置（Ｘ１）は、基準位置（Ｋ１）に対する対象物（２）の相対位置（Ｒ１）である。待ち時間は、予め設定された基準時間に対して、相対位置（Ｒ１）に応じた調整時間を加減算することによって調整される。

【0074】

この構成によれば、対象物（２）の位置（Ｘ１）は、基準位置（Ｋ１）に対する対象物（２）の相対位置（Ｒ１）である。この結果、相対位置（Ｒ１）に応じた調整時間を基準時間に加減算するという簡単な計算で、待ち時間を調整することができる。

【0075】

第４の態様の画像処理方法では、第３の態様において、基準位置（Ｋ１）は、撮像画像（Ｇ１）に固定的に設定されている。

【0076】

この構成によれば、基準位置（Ｋ１）を実空間内の物体（例えば対象物（２）を移送する移送手段（２０１））に表記する必要がなくなる。

【0077】

第５の態様の画像処理方法では、第１～第４の態様の何れか１つにおいて、画像処理では、複数段階の処理（Ｓ５，Ｓ１３）を行う。調整処理（Ｓ９Ａ，Ｓ１７Ａ）では、画像処理の結果が複数段階の処理（Ｓ５，Ｓ１３）のうちのどの処理の結果であるかに応じて、待ち時間を調整する。

【0078】

この構成によれば、複数段階の処理（Ｓ５，Ｓ１３）のうちのどの処理の結果であるかに応じて、待ち時間を調整することができる。

【0079】

第６の態様の画像処理方法では、第１～第５の態様の何れか１つにおいて、出力処理（Ｓ１１Ａ，Ｓ１９Ａ）では、出力信号（Ｕ１）として複数種類の出力信号を出力可能である。調整処理（Ｓ９Ａ，Ｓ１７Ａ）では、複数種類の出力信号毎に待ち時間を調整する。

【0080】

この構成によれば、出力処理で、出力信号（Ｕ１）として複数種類の出力信号が出力可能である場合、複数種類の出力信号毎に待ち時間を調整することができる。

【0081】

第７の態様の画像処理方法では、第１～第６の態様の何れか１つにおいて、出力処理（Ｓ１１，Ｓ１９；Ｓ１１Ａ，Ｓ１９Ａ）では、処理システム（２００）に対して、出力信号（Ｕ１）を出力する。処理システム（２００）は、移送手段（２０１）による移送中の対象物（２）に対して物理的な処理を行う。

【0082】

この構成によれば、処理システム（２００）が実行する物理的な処理の実行タイミングを調整することができる。

【0083】

第８の態様の画像処理方法は、第１～第７の態様の何れか１つにおいて、管理処理を有する。管理処理は、取得処理（Ｓ１）での撮像画像（Ｇ１）の取得タイミングを管理する。

【0084】

この構成によれば、出力信号（Ｕ１）を受信する側のシステム（１００）ではなくて、出力信号（Ｕ１）を出力する側のシステム（１）で、取得処理（Ｓ１）での画像の取得タイミングを管理することができる。

【0085】

第９の態様のプログラムは、第１～第８の態様の何れか１つの画像処理方法を、１以上のプロセッサに実行させる。

【0086】

この構成によれば、上記の画像処理方法をプロセッサに実行させるためのプログラムを提供することができる。

【0087】

第１０の態様の画像処理システム（１）は、取得部（１２）と、出力部（１５）と、調整部（１４）と、を有する。取得部（１２）は、移送手段（２０１）による移送中の対象物（２）を撮像した撮像画像（Ｇ１）を取得する。出力部（１５）は、撮像画像（Ｇ１）に対する画像処理の結果に応じて、対象物（２）に対する処理を実行させるための出力信号（Ｕ１）を出力する。調整部（１４）は、撮像画像（Ｇ１）に関連する情報に基づいて、撮像画像（Ｇ１）の取得時から出力信号（Ｕ１）を出力するまでの待ち時間を調整する。

【0088】

この構成によれば、撮像画像（Ｇ１）に関連する情報に基づいて、撮像画像（Ｇ１）の取得時から出力信号（Ｕ１）を出力するまでの待ち時間を調整する。このため、撮像画像（Ｇ１）に関連する情報に基づいて、出力信号（Ｕ１）の出力タイミングを調整することができる。この結果、移送手段（２０１）での対象物（２）の位置（Ｘ１）が正規の位置（Ｋ１）からずれていても、移送手段（２０１）による移送中の対象物（２）に対する処理（例えば物理的な処理）を適切に実行することができる。

【符号の説明】

【0089】

１ 画像処理システム
２ 対象物
１２ 画像取得部（取得部）
１４ 待ち時間調整部（調整部）
１５ 出力部
２００ 処理システム
２０１ 移送手段
Ｇ１ 撮像画像
Ｋ１ 基準位置
Ｒ１ 相対位置
Ｓ１ 取得処理
Ｓ５ マーク判定（複数段階の処理の１つ）
Ｓ９，Ｓ１７，Ｓ９Ａ，Ｓ１７Ａ 調整処理
Ｓ１１，Ｓ１９，Ｓ１１Ａ，Ｓ１９Ａ 出力処理
Ｓ１３ 方向判定（複数段階の処理の１つ）
Ｕ１ 出力信号
Ｘ１ 対象物の位置

【図1】

【図2】

【図3】

【図4】

【図5】