特開 2023-69358 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023069358

(43)【公開日】2023-05-18

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230511BHJP

   B25J 13/08 20060101ALN20230511BHJP

【ＦＩ】

G06T7/70 A

B25J13/08 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021181149

(22)【出願日】2021-11-05

(71)【出願人】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】田島 裕一郎

(72)【発明者】

【氏名】佐々木 友謙

(72)【発明者】

【氏名】松谷 征一郎

(72)【発明者】

【氏名】上村 紘大

(72)【発明者】

【氏名】佐藤 精基

(72)【発明者】

【氏名】水谷 仁紀

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707AS14

3C707KS02

3C707KS03

3C707KT02

3C707KT06

3C707NS02

5L096AA06

5L096BA03

5L096BA05

5L096BA18

5L096CA02

5L096DA02

5L096FA12

5L096FA69

5L096GA32

(57)【要約】

【課題】画像データに基づく物体の位置推定を精度良く行える画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像処理装置１０は、物体１０１が移動するベルトコンベア１００の上流側に設定された撮像領域１０５の画像データから、撮像領域１０５にある物体１０１の位置を推定する。画像処理装置１０は、ベルトコンベア１００上での物体１０１の速度を推定する。画像処理装置１０は、物体１０１が設定条件を満たす場合に、物体１０１について、検出された物体１０１の位置と推定された物体１０１の速度とに基づいて、所定時刻における、ベルトコンベア１００の下流側に設定された処理領域１０６での位置を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定する、第１位置推定部と、
前記経路上での前記物体の速度を推定する、速度推定部と、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定する、第２位置推定部と、
を備えている、画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記第１位置推定部は、
前記画像データにおける第１座標系での前記物体の座標を推定し、前記第１座標系での前記物体の座標を、前記経路上に設定された第２座標系での座標に変換し、
前記第２位置推定部は、
変換された前記第２座標系での座標と、前記物体の速度とに基づいて、前記所定時刻における、前記第２座標系での前記物体の座標を推定する、
画像処理装置。

【請求項3】

請求項２に記載の画像処理装置であって、
前記速度推定部は、
前記第１座標系での前記物体の座標を変換した前記第２座標系での座標に基づいて、前記物体の速度を推定する、
画像処理装置。

【請求項4】

請求項１から請求項３の何れか一つに記載の画像処理装置であって、
前記所定時刻において、推定された前記第２領域での位置にある前記物体対して、光学的又は物理的な処理を実行する、処理実行部、
を更に備えている、画像処理装置。

【請求項5】

請求項４に記載の画像処理装置であって、
前記処理実行部は、前記所定時刻において、推定された前記第２領域での位置にある前記物体に対して、投影装置によって光学的なマーキングを実行する、
画像処理装置。

【請求項6】

物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定する、ステップと、
前記経路上での前記物体の速度を推定する、ステップと、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定する、ステップと、
を備えている、画像処理方法。

【請求項7】

コンピュータに、
物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定する、ステップと、
前記経路上での前記物体の速度を推定する、ステップと、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定する、ステップと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

製品生産現場において、製品はベルトコンベアに載って搬送される。そして、これまでに、ベルトコンベア上の製品を追跡して、追跡した製品に対して、プロジェクタでマーキングし、又はロボットで作業を施すシステムが種々提案されている。例えば、特許文献１には、コンベヤにより運搬される物体の位置を検出し、ロボットが、検出された位置に基づき物体に対し作業を行うロボットシステムが記載されている。特許文献１に開示されているロボットシステムでは、コンベヤにより運搬される物品を撮像して、画像処理により物品の位置を検出している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－４７５１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されている技術を用いて、対象物体の位置を検出し、その対象物体にロボットで作業を行うことができる。しかしながら、画像処理で物体の位置を検出する際、画像にロボットの一部が写り込むおそれがある。この写り込みがノイズとなり、画像を用いた対象物体の位置の検出精度が低下するおそれがある。

【0005】

本開示の目的の一例は、画像データに基づく物体の位置推定を精度良く行える画像処理装置、画像処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示の一側面における画像処理装置は、
物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定する、第１位置推定部と、
前記経路上での前記物体の速度を推定する、速度推定部と、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定する、第２位置推定部と、
を備えている、ことを特徴とする。

【0007】

また、上記目的を達成するため、本開示の一側面における画像処理方法は、
物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定するステップと、
前記経路上での前記物体の速度を推定するステップと、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定するステップと、
を備えている、ことを特徴とする。

【0008】

更に、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定するステップと、
前記経路上での前記物体の速度を推定するステップと、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定するステップと、
を実行させることを特徴とする。

【発明の効果】

【0009】

以上のように本開示における技術によれば、画像データに基づく物体の位置推定を精度良く行うことができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る画像処理装置が用いられるシステムについて説明するための図である。

【図2】図２は、実施形態に係る画像処理装置の構成を示すブロック図である。

【図3】図３は、実施形態に係る画像処理装置が用いられる、物体を投光マーカによりマーキングするシステムを説明するための図である。

【図4】図４は、画像処理装置の具体的構成を示すブロック図である。

【図5】図５は、撮像座標系の座標から三次元座標系の座標への変換を説明するための図である。

【図6】図６は、三次元座標系の座標から投影用撮像座標系の座標への変換を説明するための図である。

【図7】図７は、画像処理装置によるキャリブレーション実行時の動作を示すフロー図である。

【図8】図８は、画像処理装置による位置推定時の動作を示すフロー図である。

【図9】図９は、実施形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

【発明を実施するための形態】

【0011】

はじめに、以降で説明する実施形態の理解を容易にするために概要を説明する。

【0012】

図１は、本実施形態に係る画像処理装置１０が用いられるシステムについて説明するための図である。画像処理装置１０は、例えば製品生産現場において、ベルトコンベア１００に載せられて搬送される製品等の物体１０１の位置を推定する際に用いられる。

【0013】

ベルトコンベア１００上の上流側には撮像領域１０５が設定され、下流側には処理領域１０６が設定されている。撮像領域１０５は、撮像装置２１によって撮像される領域である。処理領域１０６は、物体１０１に対して、光学的又は物理的な処理が実行される領域である。

【0014】

物体１０１は、撮像領域１０５で撮像されると、画像データに基づいて、不良品であるかが検査される。不良品と判定された物体１０１は、処理領域１０６で、光学的又は物理的な処理が実行される。光学的な処理とは、例えば、物体１０１に投光マーカによりマーキングする処理である。物理的な処理とは、例えば、物体１０１をロボットアームで取り除く処理である。処理領域１０６での物体１０１の位置は、画像処理装置１０で推定される。

【0015】

画像処理装置１０は、撮像領域１０５における物体１０１の位置を検出し、その位置から処理領域１０６における位置を推定する装置である。画像処理装置１０は、撮像装置２１により、物体１０１が位置する撮像領域１０５が撮像された画像データを取得する。画像処理装置１０は、その画像データから、撮像領域１０５での物体１０１の位置と、物体１０１の移動速度とを推定する。画像処理装置１０は、推定した位置と移動速度とから、所定時刻における処理領域１０６での物体１０１の位置を推定する。

【0016】

このように、本実施形態では、撮像領域１０５と処理領域１０６とは、ベルトコンベア１００上の異なる位置に設定されている。撮像領域１０５と処理領域１０６とが重なっている場合、撮像領域１０５が撮像された画像データに、投光マーカ又はロボットアームが映り込むことがある。画像データに投光マーカ等が映り込むと、それがノイズとなって、画像データに基づいて行われる物体１０１の位置検出、及び、不良品の検査の結果に、影響が及ぶおそれがある。

【0017】

そこで、本実施形態に係る画像処理装置１０は、撮像領域１０５と処理領域１０６との分離を可能とし、撮像領域１０５を撮像する際に余計なものが映り込まないようにしている。その結果、画像処理装置１０は、精度の良い、物体１０１の位置検出、及び、不良品の検査を実現している。

【0018】

［装置構成］
図２は、本実施形態に係る画像処理装置１０の構成を示すブロック図である。

【0019】

画像処理装置１０は、第１位置推定部１と、速度推定部２と、第２位置推定部３とを備えている。

【0020】

第１位置推定部１は、物体１０１が移動する経路であるベルトコンベア１００の上流側に設定された第１領域の画像データから、その第１領域にある物体１０１の位置を推定する。第１領域は、図１で説明した撮像領域１０５である。画像データは、撮像装置２１によって撮像されて得られるデータである。

【0021】

速度推定部２は、ベルトコンベア１００上での物体１０１の速度を推定する。

【0022】

第２位置推定部３は、物体１０１が設定条件を満たす場合に、物体１０１について、検出された物体１０１の位置と推定された物体１０１の速度とに基づいて、所定時刻における、ベルトコンベア１００の下流側に設定された第２領域での位置を推定する。第２領域は、図１で説明した処理領域１０６である。また、物体１０１が設定条件を満たす場合とは、例えば、画像データに基づいて物体１０１の検査が行われた結果、不良品であると判定された場合である。物体１０１の検査は、画像処理装置１０が行っても良いし、別の装置が行っても良い。

【0023】

上記構成の画像処理装置１０は、ベルトコンベア１００の上流側での物体１０１の位置と、物体１０１の速度とから、下流側での物体１０１の位置を推定している。これにより、製品生産現場において、本実施形態の画像処理装置１０を用いることで、ベルトコンベア１００の上流側で物体１０１の位置検出、及び、検査を行い、ベルトコンベア１００の下流側で、物体１０１に対して、光学的又は物理的な処理を実行することができる。

【0024】

つまり、図１で説明したように、画像処理装置１０は、撮像領域１０５と処理領域１０６との分離を可能とする。その結果、撮像領域１０５を撮像して得られる画像データには、余計なものが映り込まない。このため、画像処理装置１０は、精度の良い、画像データを用いた物体１０１の位置検出及び不良品の検査を、実現可能としている。

【0025】

以下に、画像処理装置１０の具体的な内容についてより詳細に説明する。以下では、画像処理装置１０は、ベルトコンベア１００上流側で物体１０１を検査して、検査結果に応じて、下流側で物体１０１を投光マーカによりマーキングするシステムで用いられるものとして説明する。まず、物体１０１を投光マーカによりマーキングするシステムについて説明する。

【0026】

図３は、本実施形態に係る画像処理装置１０が用いられる、物体１０１を投光マーカによりマーキングするシステムを説明するための図である。

【0027】

ベルトコンベア１００は、図中矢印の向きに、物体１０１を搬送する。このベルトコンベア１００の幅方向における両側部それぞれには、複数のマーカ１００Ａが設けられている。複数のマーカ１００Ａは、幅方向に対向し、かつ、ベルト延伸方向（搬送方向）に沿って等間隔に配置されている。複数のマーカ１００Ａそれぞれの位置関係、例えば、マーカ間の距離は既知である。なお、複数のマーカ１００Ａは固定されていて、ベルトコンベア１００のベルト部分が移動しても移動しないが、ベルトコンベア１００自身が移動した場合はともに移動する。

【0028】

ベルトコンベア１００の上流側には撮像装置２１が設けられている。ベルトコンベア１００の下流側には投影装置２２及び撮像装置２３が設けられている。撮像装置２１、投影装置２２及び撮像装置２３は、画像処理装置１０に接続されている。

【0029】

撮像装置２１は、ベルトコンベア１００の上流側を撮像する。撮像装置２１が撮像する領域は、図１で説明した撮像領域１０５である。撮像領域１０５は、マーカ１００Ａが含まれるように設定される。撮像装置２１は、例えば、カメラ、赤外線カメラ、超音波カメラ、Ｘ線カメラなどである。

【0030】

投影装置２２は、画像処理装置１０によって推定された、ベルトコンベア１００の下流側における物体１０１の位置を取得して、その位置の物体１０１を投光マーカ１０２でマーキングする。投影装置２２が投光マーカ１０２を投影する投影領域１０７は、図１で説明した処理領域１０６である。投影装置２２は、例えば、プロジェクタなどが考えられる。

【0031】

撮像装置２３は、投影装置２２の投影領域１０７と重なるように、ベルトコンベア１００の下流側に設定された撮像領域１０８を撮像するように設定されている。撮像装置２３は、投影装置２２のキャリブレーションを行う際に、投影装置２２が投影する投影パターンを撮像する。撮像装置２３は、例えば、カメラ、赤外線カメラ、超音波カメラ、Ｘ線カメラなどである。

【0032】

撮像領域１０８は、マーカ１００Ａが含まれるように設定される。上記のように、マーカ１００Ａそれぞれの位置関係は既知である。このため、マーカ１００Ａを含むように設定された撮像領域１０５と撮像領域１０８との位置関係は明確となる。

【0033】

図４は、画像処理装置１０の具体的構成を示すブロック図である。

【0034】

画像処理装置１０は、上記した第１位置推定部１、速度推定部２、及び第２位置推定部３に加え、処理実行部４及びキャリブレーション部５をさらに備えている。

【0035】

キャリブレーション部５は、画像処理装置１０で物体１０１の位置推定を行う前に、撮像装置２１及び撮像装置２３それぞれのパラメータ（内部パラメータ及び外部パラメータ）を推定するキャリブレーションを行う。撮像装置２１及び撮像装置２３のキャリブレーション手法は同じであるため、以下では、撮像装置２１のキャリブレーション手法についてのみ説明する。

【0036】

内部パラメータは、例えば、撮像装置２１のレンズ焦点距離、及び、レンズの歪み係数などを示すパラメータである。キャリブレーション部５は、例えば、「A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000」に記載されているＺ．Ｚｈａｎｇの手法を用いて、内部パラメータを推定する。この手法は、格子状のパターンが印刷されたボードを撮像装置２１で複数の方向から撮像し、画像中の特徴点を元にパラメータを推定する方法である。推定されたパラメータは、撮像時に用いることができる。

【0037】

外部パラメータは、ベルトコンベア１００に対する撮像装置２１の位置及び角度（外部パラメータ）を示すパラメータである。この外部パラメータは、ベルトコンベア１００上に設定された三次元座標系（第２座標系）を、撮像装置２１より得られる画像データの座標系（第１座標系）へ変換するパラメータである。詳しくは、キャリブレーション部５は、撮像装置２１で、撮像領域１０５を撮像して得られる画像データを用いて、ＰｎＰ（Perspective-n-Point）問題を解くことで、外部パラメータを求める。ＰｎＰ問題を解くアルゴリズムについては、例えば、「V. Lepetit, F. Moreno-Noguer, and P. Fua, “EPnP: An Accurate O(n) Solution to the PnP problem,” International Journal of Computer Vision, vol. 81, no. 2, pp. 155-166, 2009」に記載されている。

【0038】

また、キャリブレーション部５は、投影装置２２と撮像装置２３との間でキャリブレーションを行う。投影装置２２の投影領域１０７の座標系（以下、投影座標系と言う）と、撮像装置２３の撮像領域１０８の座標系（以下、投影用撮像座標系と言う）とはそれぞれ異なる座標系となっている。これは、投影装置２２と撮像装置２３とが同じ位置に設置できないことに起因する。キャリブレーション部５は、投影装置２２が投影した投影パターンを撮像装置２３で撮像して得られる画像データから、投影用撮像座標系と投影座標系との幾何変換を推定する。投影パターンは、複数のマーカが格子状に並んだ市松模様のパターンである。

【0039】

この変換には、例えば透視投影変換が用いられる。投影用撮像座標系を、投影座標系に変換する変換パラメータをＨ、投影座標系の座標を（ｘ’，ｙ’）、投影用撮像座標系の座標を（ｘ，ｙ）で表すと、（ｘ’，ｙ’）＝Ｈ（ｘ，ｙ）で表すことができる。

【0040】

キャリブレーション部５は、撮像装置２３で撮像した画像データ中の投影パターンの各マーカのコーナの座標（ｘ_ｍ，ｙ_ｍ）と、投影装置２２が投影した投影パターンの各マーカのコーナの座標（ｘ’_ｍ，ｙ’_ｍ）との対応関係を求める。そして、キャリブレーション部５は、２つのコーナの座標の位置ずれが最小となるような変換パラメータＨを、以下の（１）式を用いた最小二乗法により推定する。

【0041】

Σ_ｉ||ｘ’_ｍ ^ｉ－Ｈ（ｘ_ｍ ^ｉ）|| …（１）
ここで、ｘ_ｍ＝（ｘ_ｍ，ｙ_ｍ）、ｘ’_ｍ＝（ｘ’_ｍ，ｙ’_ｍ）、ｉは投影パターンの各マーカの番号、である。

【0042】

第１位置推定部１は、撮像装置２１から取得した画像データに基づいて、撮像領域１０５における物体１０１の位置を推定する。詳しくは、第１位置推定部１は、画像データにおける座標系（以下、撮像座標系と言う）での物体１０１の座標を推定する。そして、第１位置推定部１は、その座標を、ベルトコンベア１００上に設定された三次元座標系の座標に変換して、ベルトコンベア１００上での物体１０１の位置を推定する。なお、第１位置推定部１は、画像データから物体１０１の位置を推定する際、内部パラメータのレンズの歪み係数を用いて、画像データのレンズ歪みを補正する。

【0043】

図５は、撮像座標系の座標から三次元座標系の座標への変換を説明するための図である。この例では、三次元座標系は、ベルトの延伸方向をＸ軸、ベルトの幅方向をＹ軸、高さ方向をＺ軸としている。

【0044】

第１位置推定部１は、撮像座標系における物体１０１の座標を検出する。第１位置推定部１は、検出した撮像座標系の座標を、三次元座標系の座標に変換する。なお、変換後の三次元座標系での物体１０１の座標は、Ｚ＝０となるＸ－Ｙ平面上に存在することになる。

【0045】

二次元の撮像座標系での物体１０１の座標（ｕ，ｖ）と、三次元座標系の座標（Ｘ，Ｙ，Ｚ）との座標間の関係は、例えば、ピンホールカメラモデルを用いて、以下の（２）式のように表すことができる。

【0046】

ｓ[ｕ ｖ １]^Ｔ＝Ａ[Ｒ ｔ][Ｘ Ｙ ０ １]^Ｔ＝Ａ[ｒ_０ ｒ_１ t][Ｘ Ｙ １]^Ｔ
[Ｘ Ｙ １]^Ｔ＝ｓ(Ａ[ｒ_０ ｒ_１ t])^－１[ｕ ｖ １]^Ｔ …（２）
ここで、Ｒは回転行列［ｒ_０，ｒ_１，ｒ_２］、ｔは並進ベクトル、Ａはカメラ行列（外部パラメータ）、ｓは定数であり、上記（２）式の右辺の第三次元が１となる制約条件から求められる。

【0047】

第１位置推定部１は、上記変換式により、推定した、撮像座標系での物体１０１の座標を、三次元座標系での座標に変換する。これにより、ベルトコンベア１００の上流側での物体１０１の位置が推定される。

【0048】

速度推定部２は、撮像装置２１から取得した画像データから物体１０１の移動速度を推定する。速度推定部２が推定する物体１０１の移動速度は、第２位置推定部３が物体１０１の位置を推定する際の計算に用いられる速度（以下、計算用速度と言う）を意味し、実際の物体１０１の移動速度ではない。速度推定部２は、ベルトコンベア１００の速度を、例えば速度センサから取得して、取得した速度から計算用速度を推定してもよいし、取得した速度を計算用速度としてもよい。また、速度推定部２は、複数の物体１０１それぞれの速度の平均値を、計算用速度としてもよい。

【0049】

第２位置推定部３は、第１位置推定部１が推定した三次元座標系での物体１０１の座標と、速度推定部２が推定した計算用速度とに基づいて、所定時刻（連携機器への送信時刻、すなわち、マーキング処理を実行する時刻）における、三次元座標系での物体１０１の座標を推定する。上記したように、撮像領域１０５と撮像領域１０８との位置関係（距離）は既知である。第２位置推定部３は、その距離と、物体１０１の位置及び速度とから、三次元座標系における撮像領域１０８内での物体１０１の座標を推定する。

【0050】

なお、ベルトコンベア１００上の物体１０１は、直線移動するものとする。

【0051】

図６は、三次元座標系の座標から投影用撮像座標系の座標への変換を説明するための図である。

【0052】

第２位置推定部３は、推定後の三次元座標系の座標を、以下の（４）式を用いて、投影用撮像座標系に変換する。ｓは上記同様定数であり、下記（４）式の右辺の第三次元が１となる制約条件から求められる。
ｓ[ｕ ｖ １]^Ｔ＝(Ａ[ｒ_０ ｒ_１ t])[Ｘ Ｙ １]^Ｔ …（４）

【0053】

第２位置推定部３は、内部パラメータのレンズの歪み係数を用いて、上記の（４）式で推定した投影用撮像座標系での座標に、撮像装置２３のレンズ歪みを付与する。レンズの歪みを付与する具体的な方法は、例えば、URL:https://docs.opencv.org/4.5.2/d9/d0c/group__calib3d.htmlに記載されている。

【0054】

第２位置推定部３は、キャリブレーション部５が行った、投影装置２２と撮像装置２３との間でキャリブレーション結果に基づいて、投影用撮像座標系の座標（ｕ，ｖ）を、投影座標系の座標（ｘ，ｙ）に変換する。

【0055】

処理実行部４は、所定時刻において、第２位置推定部３が推定した、撮像領域１０８での位置にある物体１０１対して、投影装置２２によって投光マーカ１０２（図３参照）によりマーキングを実行する。

【0056】

次に、実施形態における画像処理装置の動作について図７を用いて説明する。図７及び図８は、画像処理装置１０の動作を示すフロー図である。以下の説明においては、適宜図１～図６を参酌する。また、本実施形態では、画像処理装置を動作させることによって、画像処理方法が実施される。よって、本実施形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。

【0057】

図７は、画像処理装置１０によるキャリブレーション実行時の動作を示すフロー図である。

【0058】

キャリブレーション部５は、撮像装置２１及び撮像装置２３それぞれの内部パラメータを推定するキャリブレーションを行う（Ｓ１）。次に、キャリブレーション部５は、撮像装置２１及び撮像装置２３それぞれの外部パラメータを推定するキャリブレーションを行う（Ｓ２）。キャリブレーション部５は、投影装置２２と撮像装置２３との間でキャリブレーションを行う（Ｓ３）。

【0059】

なお、図７のＳ１～Ｓ３の実行順序は、適宜変更可能である。

【0060】

図８は、画像処理装置１０による位置推定時の動作を示すフロー図である。

【0061】

画像処理装置１０は、撮像装置２１から画像データを取得する（Ｓ１）。第１位置推定部１は、取得した画像データに基づいて、撮像領域１０５における物体１０１の位置、つまり、撮像座標系での物体１０１の座標を推定する（Ｓ１２）。このとき、第１位置推定部１は、画像データのレンズ歪みを補正した後、撮像座標系での物体１０１の座標を推定する。

【0062】

次に、第１位置推定部１は、推定した撮像座標系の座標を、三次元座標系の座標に変換する（Ｓ１３）。この変換は、上記（２）式を用いて行われる。

【0063】

速度推定部２は、取得した画像データから物体１０１の移動速度を推定する（Ｓ１４）。ここで速度推定部２が推定する速度は、上記した計算用速度である。すなわち、速度推定部２は、複数の物体１０１の速度からベルトコンベア１００のコンベア速度を計算し、そのコンベア速度を計算用速度として推定する。

【0064】

第２位置推定部３は、Ｓ１３で変換した三次元座標系の座標と、Ｓ１４で推定した速度とから、三次元座標における撮像領域１０８での物体１０１の座標を推定する（Ｓ１５）。第２位置推定部３は、推定した三次元座標の座標を、投影用撮像座標系の座標へ変換する（Ｓ１６）。

【0065】

第２位置推定部３は、投影用撮像座標系の座標を、投影座標系の座標に変換する（Ｓ１７）。第２位置推定部３は、キャリブレーション部５が行った、投影装置２２と撮像装置２３との間でキャリブレーション結果に基づいて、Ｓ１７の変換を行う。

【0066】

処理実行部４は、Ｓ１７で得られた、投影座標系の座標にある物体１０１対して、投影装置２２によって投光マーカ１０２（図３参照）によりマーキングを実行する（Ｓ１８）。

【0067】

以上のように本実施形態に係る画像処理装置１０は、撮像領域１０５と処理領域１０６との分離を可能とし、撮像領域１０５を撮像する際に余計なものが映り込まないようにしている。その結果、画像処理装置１０は、精度の良い、物体１０１の位置検出、及び、不良品の検査を実現している。

【0068】

なお、本実施形態では、処理領域１０６では、投影装置２２で光学的な処理が行われるものとして説明したが、ロボットアームを用いて対象の物体１０１を取り除くといった、物理的な処理が行われても良い。

【0069】

実施形態におけるプログラムは、コンピュータに、図７に示すステップＳ１～Ｓ３及び図８に示すステップＳ１１～Ｓ１８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、第１位置推定部１、速度推定部２、第２位置推定部３、処理実行部４及びキャリブレーション部５として機能し、処理を行なう。

【0070】

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、第１位置推定部１、速度推定部２、第２位置推定部３、処理実行部４及びキャリブレーション部５のいずれかとして機能しても良い。

【0071】

ここで、本実施形態におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図９を用いて説明する。図９は、本実施形態における画像処理装置１０を実現するコンピュータの一例を示すブロック図である。

【0072】

図９に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

【0073】

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

【0074】

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

【0075】

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

【0076】

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

【0077】

なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

【0078】

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記３０）によって表現することができるが、以下の記載に限定されるものではない。

【0079】

（付記１）
物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定する、第１位置推定部と、
前記経路上での前記物体の速度を推定する、速度推定部と、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定する、第２位置推定部と、
を備えている、画像処理装置。

【0080】

（付記２）
付記１に記載の画像処理装置であって、
前記第１位置推定部は、
前記画像データにおける第１座標系での前記物体の座標を推定し、前記第１座標系での前記物体の座標を、前記経路上に設定された第２座標系での座標に変換し、
前記第２位置推定部は、
変換された前記第２座標系での座標と、前記物体の速度とに基づいて、前記所定時刻における、前記第２座標系での前記物体の座標を推定する、
画像処理装置。

【0081】

（付記３）
付記２に記載の画像処理装置であって、
前記速度推定部は、
前記第１座標系での前記物体の座標を変換した前記第２座標系での座標に基づいて、前記物体の速度を推定する、
画像処理装置。

【0082】

（付記４）
付記２又は付記３に記載の画像処理装置であって、
前記第１領域を撮像する撮像装置のパラメータを推定する、第１キャリブレーション部、
を備える、画像処理装置。

【0083】

（付記５）
付記２又は付記３に記載の画像処理装置であって、
前記第１キャリブレーション部は、
前記撮像装置の座標系の座標と、前記第２座標系の座標とを変換するパラメータを推定する、
画像処理装置。

【0084】

（付記６）
付記１から付記５の何れか一つに記載の画像処理装置であって、
前記所定時刻において、推定された前記第２領域での位置にある前記物体対して、光学的又は物理的な処理を実行する、処理実行部、
を更に備えている、画像処理装置。

【0085】

（付記７）
付記６に記載の画像処理装置であって、
前記処理実行部は、前記所定時刻において、推定された前記第２領域での位置にある前記物体に対して、投影装置によって光学的なマーキングを実行する、
画像処理装置。

【0086】

（付記８）
付記６又は付記７に記載の画像処理装置であって、
前記第２領域を撮像する撮像装置のパラメータを推定する、第２キャリブレーション部、
を備える、画像処理装置。

【0087】

（付記９）
付記８に記載の画像処理装置であって、
前記第２キャリブレーション部は、
前記第２座標系の座標と、前記撮像装置の座標系の座標とを変換するパラメータを推定する、
画像処理装置。

【0088】

（付記１０）
付記９に記載の画像処理装置であって、
前記第２キャリブレーション部は、
前記撮像装置の座標系の座標と、前記投影装置の座標系の座標とを変換するパラメータを推定する、
画像処理装置。

【0089】

（付記１１）
物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定する、ステップと、
前記経路上での前記物体の速度を推定する、ステップと、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定する、ステップと、
を備えている、画像処理方法。

【0090】

（付記１２）
付記１１に記載の画像処理方法であって、
前記第１領域にある前記物体の位置を推定するステップでは、
前記画像データにおける第１座標系での前記物体の座標を推定し、前記第１座標系での前記物体の座標を、前記経路上に設定された第２座標系での座標に変換し、
前記第２領域での位置を推定するステップでは、
変換された前記第２座標系での座標と、前記物体の速度とに基づいて、前記所定時刻における、前記第２座標系での前記物体の座標を推定する、
画像処理方法。

【0091】

（付記１３）
付記１２に記載の画像処理方法であって、
前記物体の速度を推定するステップでは、
前記第１座標系での前記物体の座標を変換した前記第２座標系での座標に基づいて、前記物体の速度を推定する、
画像処理方法。

【0092】

（付記１４）
付記１２又は付記１３に記載の画像処理方法であって、
前記第１領域を撮像する撮像装置のパラメータを推定する、ステップ、
を備える、画像処理方法。

【0093】

（付記１５）
付記１２又は付記１３に記載の画像処理方法であって、
前記第１領域を撮像する撮像装置のパラメータを推定するステップでは、
前記撮像装置の座標系の座標と、前記第２座標系の座標とを変換するパラメータを推定する、
画像処理方法。

【0094】

（付記１６）
付記１１から付記１５の何れか一つに記載の画像処理方法であって、
前記所定時刻において、推定された前記第２領域での位置にある前記物体対して、光学的又は物理的な処理を実行する、ステップ、
を更に備えている、画像処理方法。

【0095】

（付記１７）
付記１６に記載の画像処理方法であって、
前記処理を実行するステップでは、前記所定時刻において、推定された前記第２領域での位置にある前記物体に対して、投影装置によって光学的なマーキングを実行する、
画像処理方法。

【0096】

（付記１８）
付記１６又は付記１７に記載の画像処理方法であって、
前記第２領域を撮像する撮像装置のパラメータを推定する、ステップ、
を備える、画像処理方法。

【0097】

（付記１９）
付記１８に記載の画像処理方法であって、
前記第２領域を撮像する撮像装置のパラメータを推定する、ステップでは、前記第２座標系の座標と、前記撮像装置の座標系の座標とを変換するパラメータを推定する、
画像処理方法。

【0098】

（付記２０）
付記１９に記載の画像処理方法であって、
前記第２領域を撮像する撮像装置のパラメータを推定する、ステップでは、前記撮像装置の座標系の座標と、前記投影装置の座標系の座標とを変換するパラメータを推定する、
画像処理方法。

【0099】

（付記２１）
コンピュータに、
物体が移動する経路の上流側に設定された第１領域の画像データから、前記第１領域にある前記物体の位置を推定する、ステップと、
前記経路上での前記物体の速度を推定する、ステップと、
前記物体が設定条件を満たす場合に、前記物体について、検出された前記物体の位置と推定された前記物体の速度とに基づいて、所定時刻における、前記経路の下流側に設定された第２領域での位置を推定する、ステップと、
を実行させる、プログラム。

【0100】

（付記２２）
付記２１に記載のプログラムであって、
前記第１領域にある前記物体の位置を推定するステップでは、
前記画像データにおける第１座標系での前記物体の座標を推定し、前記第１座標系での前記物体の座標を、前記経路上に設定された第２座標系での座標に変換し、
前記第２領域での位置を推定するステップでは、
変換された前記第２座標系での座標と、前記物体の速度とに基づいて、前記所定時刻における、前記第２座標系での前記物体の座標を推定する、
プログラム。

【0101】

（付記２３）
付記２２に記載のプログラムであって、
前記物体の速度を推定するステップでは、
前記第１座標系での前記物体の座標を変換した前記第２座標系での座標に基づいて、前記物体の速度を推定する、
プログラム。

【0102】

（付記２４）
付記２２又は付記２３に記載のプログラムであって、
前記コンピュータに
前記第１領域を撮像する撮像装置のパラメータを推定する、ステップ、
を実行させる、プログラム。

【0103】

（付記２５）
付記２２又は付記２３に記載のプログラムであって、
前記第１領域を撮像する撮像装置のパラメータを推定するステップでは、
前記撮像装置の座標系の座標と、前記第２座標系の座標とを変換するパラメータを推定する、
プログラム。

【0104】

（付記２６）
付記２１から付記２５の何れか一つに記載のプログラムであって、
前記コンピュータに、
前記所定時刻において、推定された前記第２領域での位置にある前記物体対して、光学的又は物理的な処理を実行する、ステップ、
を実行させる、プログラム。

【0105】

（付記２７）
付記２６に記載のプログラムであって、
前記処理を実行するステップでは、前記所定時刻において、推定された前記第２領域での位置にある前記物体に対して、投影装置によって光学的なマーキングを実行する、
プログラム。

【0106】

（付記２８）
付記２６又は付記２７に記載のプログラムであって、
前記コンピュータに、
前記第２領域を撮像する撮像装置のパラメータを推定する、ステップ、
を実行させる、プログラム。

【0107】

（付記２９）
付記３８に記載のプログラムであって、
前記第２領域を撮像する撮像装置のパラメータを推定する、ステップでは、前記第２座標系の座標と、前記撮像装置の座標系の座標とを変換するパラメータを推定する、
プログラム。

【0108】

（付記３０）
付記２９に記載のプログラムであって、
前記第２領域を撮像する撮像装置のパラメータを推定する、ステップでは、前記撮像装置の座標系の座標と、前記投影装置の座標系の座標とを変換するパラメータを推定する、
プログラム。

【産業上の利用可能性】

【0109】

本開示の画像処理装置は、搬送される物体の経路上の位置を推定して、その物体に対して、光学的又は物理的な処理を実行するシステムにおいて、用いられることができる。

【符号の説明】

【0110】

１ ：第１位置推定部
２ ：速度推定部
３ ：第２位置推定部
４ ：処理実行部
５ ：キャリブレーション部
１０ ：画像処理装置
２１ ：撮像装置
２２ ：投影装置
２３ ：撮像装置
１００ ：ベルトコンベア
１００Ａ：マーカ
１０１ ：物体
１０２ ：投光マーカ
１０５ ：撮像領域
１０６ ：処理領域
１０７ ：投影領域
１０８ ：撮像領域
１１０ ：コンピュータ
１１１ ：ＣＰＵ
１１２ ：メインメモリ
１１３ ：記憶装置
１１４ ：入力インターフェイス
１１５ ：表示コントローラ
１１６ ：ライタ
１１７ ：通信インターフェイス
１１８ ：入力機器
１１９ ：ディスプレイ装置
１２０ ：記録媒体
１２１ ：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】