特許 6984130 画像処理装置、制御システム、画像処理装置の制御方法、制御プログラム、および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6984130

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月17日

(54)【発明の名称】画像処理装置、制御システム、画像処理装置の制御方法、制御プログラム、および記録媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20211206BHJP

   G06T 7/70 20170101ALI20211206BHJP

   H04N 5/232 20060101ALI20211206BHJP

【ＦＩ】

   G06T1/00 300

   G06T7/70 A

   H04N5/232

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2017-5993(P2017-5993)

(22)【出願日】2017年1月17日

(65)【公開番号】特開2018-116408(P2018-116408A)

(43)【公開日】2018年7月26日

【審査請求日】2019年11月11日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100155712

【弁理士】

【氏名又は名称】村上 尚

(72)【発明者】

【氏名】谷保 勇樹

(72)【発明者】

【氏名】白水 岳

【審査官】 小池 正彦

(56)【参考文献】

【文献】 特開２０１６−１０７３４９（ＪＰ，Ａ）

【文献】 特開２００４−２７９２４４（ＪＰ，Ａ）

【文献】 特開２０１４−２１５８５５（ＪＰ，Ａ）

【文献】 特開２０１２−０６８８８５（ＪＰ，Ａ）

【文献】 特開２０１１−２３３１６８（ＪＰ，Ａ）

【文献】 欧州特許出願公開第０２５４３４８２（ＥＰ，Ａ３）

【文献】 中国特許出願公開第１０５６４５０１０（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

対象物の位置制御で用いられる画像処理装置であって、撮像装置が撮像した撮像画像から前記対象物の位置を検出する画像処理装置において、
前記対象物の現在位置を予測する予測部と、
前記撮像画像の一部の領域であって、前記予測部が予測した位置を含む所定領域から前記対象物の位置を探索する探索部と、
前記探索部が探索した前記対象物の位置を出力する出力部と、
を備え、
さらに、
前記所定領域を前記撮像装置に通知する通知部と、
前記所定領域に対応する前記撮像画像の一部を前記撮像装置から取得する取得部と、を備え、
前記探索部は、前記取得部が取得した前記所定領域に対応する前記撮像画像の一部から前記対象物の位置を探索することを特徴とする画像処理装置。

【請求項2】

前記予測部は、前記対象物の位置を制御する制御装置の指示情報を用いて前記対象物の現在位置を予測することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記予測部は、前記撮像装置が撮像した複数の撮像画像における対象物の位置の変化を用いて前記対象物の現在位置を予測することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記撮像装置は複数存在し、
前記予測部は、前記複数の撮像装置のうちの１つである第１撮像装置が撮像した第１撮像画像から対象物の現在位置を予測し、
前記探索部は、前記複数の撮像装置の他の１つである第２撮像装置が撮像した、前記予測部が予測した位置を含む所定領域を撮像した第２撮像画像から前記対象物の位置を探索することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。

【請求項5】

請求項４に記載の画像処理装置と、
搬送装置と、を含み、
前記対象物は、前記搬送装置によって位置が移動させられるものであり、
前記第１撮像装置は、前記第２撮像装置よりも、前記搬送装置の上流側に設置されていることを特徴とする制御システム。

【請求項6】

請求項１〜４のいずれか１項に記載の画像処理装置と、
前記対象物の位置を制御する制御装置と、
前記対象物を含む領域を撮像する撮像装置と、含むことを特徴とする制御システム。

【請求項7】

対象物の位置制御で用いられる画像処理装置であって、撮像装置が撮像した撮像画像から前記対象物の位置を検出する画像処理装置の制御方法であって、
前記対象物の現在位置を予測する予測ステップと、
前記撮像画像の一部の領域であって、前記予測ステップで予測した位置を含む所定領域から前記対象物の位置を探索する探索ステップと、
前記探索ステップで探索した前記対象物の位置を出力する出力ステップと、
を含み、
さらに、
前記所定領域を前記撮像装置に通知する通知ステップと、
前記所定領域に対応する前記撮像画像の一部を前記撮像装置から取得する取得ステップと、を含み、
前記探索ステップでは、前記取得ステップで取得した前記所定領域に対応する前記撮像画像の一部から前記対象物の位置を探索することを特徴とする画像処理装置の制御方法。

【請求項8】

請求項１に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記予測部、上記探索部、上記出力部、上記通知部、および上記取得部としてコンピュータを機能させるための制御プログラム。

【請求項9】

請求項８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、位置制御のための画像処理装置、画像処理装置の制御方法、位置制御の制御システム、制御プログラム、および記録媒体等に関する。

【背景技術】

【0002】

製造現場における検査装置、計測装置において、画像処理技術を用いたものが知られている。例えば、対象物の加工や検査を行うために、画像処理技術を用いて位置決めを行う装置が知れている。

【0003】

特許文献１には、位置決め用マークの位置に基づいて搬送手段を制御して位置決めを行う製造装置が記載されている。

【0004】

また、特許文献２には、位置決め用の特徴部分が設けられた対象物を撮影して得られる画像データを用いて、対象物を目標位置に位置決めする制御システムが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０００−１８０８１０号公報（２０００年６月３０日公開）

【特許文献2】特開２０１４−２０３３６５号公報（２０１４年１０月２７日公開）

【特許文献3】特開２００４−１９８１２４号公報（２００４年７月１５日公開）

【特許文献4】特開平１１−８５２３５号公報（１９９９年３月３０日公開）

【特許文献5】特開２０１２−２４２３１５号公報（２０１２年１２月１０日公開）

【特許文献6】特開２０１４−１３７８１５号公報（２０１４年７月２８日公開）

【発明の概要】

【発明が解決しようとする課題】

【0006】

位置決めや検査の精度を向上させるためには撮像装置の分解能を向上させる必要、すなわち撮像装置を高解像度化することが必要となる。しかし、撮像装置を高解像度化すれば、画素数が増え、これにしたがって画像転送時間、画像処理時間が増えてしまう。具体的に、図１７を参照して説明する。図１７は、画素数と処理時間との関係を示す図である。図１７に示すように、画素数が３０万から１２００万に増加するにしたがって、処理時間も増加している。

【0007】

よって、高精度化と高速化とは、トレードオフの関係にあり、両立させることが難しい。

【0008】

そして、上述した特許文献１、２に記載された技術でも、精度の向上と処理時間の短縮とを図るための方策は取られていない。

【0009】

本発明の一態様は、位置決めや検査の精度を向上させつつ、処理時間を短縮させる画像処理装置等を実現することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明の一態様に係る画像処理装置は、対象物の位置制御で用いられる画像処理装置であって、撮像装置が撮像した撮像画像から前記対象物の位置を検出する画像処理装置において、前記対象物の現在位置を予測する予測部と、前記撮像画像の一部の領域であって、前記予測部が予測した位置を含む所定領域から前記対象物の位置を探索する探索部と、前記探索部が探索した前記対象物の位置を出力する出力部と、を備えていることを特徴としている。

【0011】

前記の構成によれば、位置制御において対象物の位置を制御する場合に、撮像装置が撮像した撮像画像のうち、予測された対象物の現在位置を含む所定領域のみを探索することにより、対象物の位置を測定することができる。これにより、撮像画像全てを探索する場合と比較して処理量を削減することができる。また、撮像装置が高解像度化しても、撮像画像の一部のみを探索するのみなので、処理量が極端に増加することもない。よって、対象物の位置決めや対象物に対する検査の精度を向上させつつ、処理時間を短縮させることができる。

【0012】

本発明の一態様に係る画像処理装置では、前記予測部は、前記対象物の位置を制御する制御装置の指示情報を用いて前記対象物の現在位置を予測するものであってもよい。

【0013】

制御装置の指示情報は対象物の制御を行うものなので、これを用いれば、対象物がどのように移動するか予測することができる。そして、前記の構成によれば、制御装置の指示情報を用いて対象物の現在位置を予測するので、正確な予測をおこなうことができる。

【0014】

本発明の一態様に係る画像処理装置では、前記予測部は、前記撮像装置が撮像した複数の撮像画像における対象物の位置の変化を用いて前記対象物の現在位置を予測するものであってもよい。

【0015】

対象物が現在位置に至るまでの位置の変化が単調なものであれば、それまでの位置の変化とこれからの位置の変化は同様である可能性が高い。そして、前記の構成によれば、複数の撮像画像における対象物の位置の変化から対象物の現在位置を予測するので、位置の変化が単調なものであれば、適切に現在位置を予測することができる。

【0016】

本発明の一態様に係る画像処理装置では、前記所定領域を前記撮像装置に通知する通知部と、前記所定領域に対応する前記撮像画像の一部を前記撮像装置から取得する取得部と、を備え、前記探索部は、前記取得部が取得した前記所定領域に対応する前記撮像画像の一部から前記対象物の位置を探索するものであってもよい。

【0017】

前記の構成によれば、探索対象となる所定領域の撮像画像のみを撮像装置から取得するので、撮像装置から送信される画像のデータ量を削減することができる。これにより、処理時間を短縮することができる。

【0018】

本発明の一態様に係る画像処理装置では、前記撮像画像を前記撮像装置から取得する取得部と、前記取得部が取得した前記撮像画像から前記所定領域を取り出す領域取出部と、を備え、前記探索部は、前記領域取出部が取り出した前記所定領域から前記対象物の位置を探索するものであってもよい。

【0019】

前記の構成によれば、撮像領域から、探索対象となる所定領域のみを取り出すことができる。これにより、所定領域のみを探索することができる。

【0020】

本発明の一態様に係る画像処理装置では、前記撮像装置は複数存在し、前記予測部は、前記複数の撮像装置のうちの１つである第１撮像装置が撮像した第１撮像画像から対象物の現在位置を予測し、前記探索部は、前記複数の撮像装置の他の１つである第２撮像装置が撮像した、前記予測部が予測した位置を含む所定領域を撮像した第２撮像画像から前記対象物の位置を探索するものであってもよい。

【0021】

前記の構成によれば、第１撮像装置において全体を撮像し、その結果を用いて一部のみを第２撮像装置で撮像することにより対象物の位置を探索することができる。これにより、対象物のより正確な位置を認識することができる。

【0022】

上記課題を解決するために、本発明に係る制御システムは、前記画像処理装置と、搬送装置と、を含み、前記対象物は、前記搬送装置によって位置が移動させられるものであり、前記第１撮像装置は、前記第２に撮像装置よりも、前記搬送装置の上流側に設置されていることを特徴としている。

【0023】

前記の構成によれば、搬送装置の上流側に第１撮像装置、これよりも下流側に第２撮像装置が設置されるので、第１撮像装置による撮像画像を用いた対象物の位置の予測を第２撮像装置による撮像位置に適切に反映させることができる。これにより、第２撮像装置により対象物を正確に撮像することができるので、対象物の位置を正確に認識できる。また、検査の精度も向上させることができる。

【0024】

上記課題を解決するために、本発明に係る制御システムは、前記画像処理装置と、前記対象物の位置を制御する制御装置と、前記対象物を含む領域を撮像する撮像装置と、含むことを特徴としている。

【0025】

前記の構成によれば、上述した効果を同様の効果を奏する。

【0026】

上記課題を解決するために、本発明に係る画像処理装置の制御方法は、対象物の位置制御で用いられる画像処理装置であって、撮像装置が撮像した撮像画像から前記対象物の位置を検出する画像処理装置の制御方法であって、前記対象物の現在位置を予測する予測ステップと、前記撮像画像の一部の領域であって、前記予測ステップで予測した位置を含む所定領域から前記対象物の位置を探索する探索ステップと、前記探索ステップで探索した前記対象物の位置を出力する出力ステップと、を含むことを特徴としている。

【0027】

前記の構成によれば、上述した効果を同様の効果を奏する。

【0028】

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより前記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0029】

本発明の一態様によれば、撮像画像全てを探索する場合と比較して処理量を削減することができるという効果を奏する。また、撮像装置が高解像度化しても、撮像画像の一部のみを探索するのみなので、処理量が極端に増加することもない。よって、対象物の位置決めや対象物に対する検査の精度を向上させつつ、処理時間を短縮させることができるという効果を奏する。

【図面の簡単な説明】

【0030】

【図1】本実施形態に係る画像処理装置の要部構成を示すブロック図である。

【図2】本実施形態に係る制御システムの概略を示す図である。

【図3】前記画像処理装置における処理の流れを示す図であり、（ａ）は処理の流れを示すフローチャートであり、（ｂ）は制御システム１００における処理を簡易的に示した図である。

【図4】探索領域を制限する方法の概要を示す図である。

【図5】（ａ）〜（ｄ）は、取得画像解析部１５により解析される対象である所定領域画像を取得する方法を説明するための図である。

【図6】従来技術における処理時間と本実施形態による処理時間とを比較する図である。

【図7】（ａ）、（ｂ）は、所定領域の例を示す図である。

【図8】本発明の効果を説明するための図である。

【図9】他の実施形態に係る画像処理装置の要部構成を示すブロック図である。

【図10】前記他の実施形態に係る画像処理装置における処理の流れを示す図であり、（ａ）は処理の流れを示すフローチャートであり、（ｂ）は制御システムにおける処理を簡易的に示した図である。

【図11】対象物Ｘの速度ベクトルを算出する方法を説明するための図である。

【図12】他の実施形態に係る画像処理装置の要部構成を示すブロック図である。

【図13】本実施形態に係る制御システムの例を示す図であり、（ａ）は制御システムの概要を示す図であり、（ｂ）は第１撮像部による撮像される画像例を示す図であり、（ｃ）は第２撮像部により撮像される画像例を示す図である。

【図14】他の実施形態に係る画像処理装置における処理の流れを示すフローチャートである。

【図15】本実施形態に係る制御システムの概要を示す図である。

【図16】本実施形態における所定領域を説明するための図である。

【図17】画素数と処理時間との関係を示す図である。

【発明を実施するための形態】

【0031】

〔実施形態１〕
以下、本発明の実施形態について、詳細に説明する。まず、図２を参照して、本実施形態に係る制御システム１００の概要について説明する。図２は、制御システム１００の概略を示す図である。

【0032】

図２に示すように、本実施形態に係る制御システム１００は、概略的には、制御装置１、サーボドライバ３、制御対象５（サーボモータ４）、画像処理装置１０、および撮像部（撮像装置）２０を含み、制御装置１で生成された指令値をサーボドライバ３に入力し、サーボドライバ３は、受け取った指令値に基づくトルクによりサーボモータ４を駆動して制御対象５における対象物Ｘの位置制御を行うものである。本実施形態では、制御対象５としてＸＹθステージを想定しており、ＸＹθステージにおける対象物Ｘの位置を制御する。

【0033】

また、撮像部２０にて制御対象５を撮像し、撮像画像を画像処理装置１０で処理することにより、制御対象５における対象物Ｘの正確な位置を制御装置１に通知し、これにより、より正確な位置制御を実現するものである。正確な位置制御を実現することにより、制御対象５における対象物Ｘを正確に位置決めすることや、制御対象５における検査を正確に行うこと等を実現することができる。

【0034】

そして、本実施形態では、制御対象５における対象物Ｘの位置を予測することにより、撮像部２０によって撮像された撮像画像における探索領域を制限して、処理量を削減している。これにより、高解像度の撮像画像を短時間で処理することができるものである。

【0035】

図４を参照して具体的に説明する。図４は、探索領域を制限する方法の概要を示す図である。図４には、縦Ｃｙ、横Ｃｘの制御対象５を撮像した撮像画像４０１の例が示されており、便宜的に対象物Ｘの位置が時間経過に沿って×印で示されている。図４における“ｔ−２”、“ｔ−１”、“ｔ”は時間経過を示しており、それぞれ、時刻“ｔ−２”における対象物Ｘの位置、時刻“ｔ−１”における対象物Ｘの位置、時刻“ｔ”における対象物Ｘの位置を示す。本実施形態では、時刻“ｔ”における対象物Ｘの正確な位置を認識するときに、時刻“ｔ”における対象物Ｘの位置を、前回時刻“ｔ−１”（場合によっては、前々回時刻“ｔ−２”も）を用いて予測し、撮像画像のうち、予測位置を含む所定領域４０２の部分のみを探索する。これにより、撮像画像４０１全体を探索する必要がなくなり、高解像度の撮像画像であっても短時間で処理することが可能となる。所定領域４０２は、例えば、モデルとして縦Ｍｙ、横Ｍｘの矩形領域がある場合、これらを用いて縦Ｍｙ＋ｄ２、横Ｍｘ＋ｄ１の矩形領域を考えることができる。

【0036】

〔画像処理装置の構成〕
次に、図１を参照して画像処理装置１０の要部構成について説明する。図１は、画像処理装置１０の要部構成を示すブロック図である。

【0037】

図１に示すように、画像処理装置１０は、予測位置算出部（予測部）１１、撮像領域指定部１２、撮像制御部（通知部）１３、撮像画像取得部（取得部）１４、取得画像解析部（探索部、領域取出部）１５、および解析結果出力部（出力部）１６を含む。

【0038】

予測位置算出部１１は、制御対象５における対象物Ｘの現在位置を予測する。そして、予測した位置を撮像領域指定部１２に通知する。より詳細には、予測位置算出部１１は、制御装置１から、制御対象５を駆動させるための駆動情報（領域限定情報、指示情報）を取得し、取得した駆動情報と前回の対象物Ｘの位置とから現在の対象物Ｘの位置を予測する。なお、予測位置算出部１１は、対象物Ｘの位置のみではなく、そのときの姿勢も予測するものであってもよい。これにより、姿勢に対応させて後述する所定領域を設定することができる。

【0039】

撮像領域指定部１２は、予測位置算出部１１から通知された、予測された対象物Ｘの現在位置を含む所定領域を指定し、撮像制御部１３に通知する。

【0040】

撮像制御部１３は、撮像領域指定部１２から通知された所定領域を撮像部２０に通知して、撮像部２０に制御対象５を撮像させる。

【0041】

撮像画像取得部１４は、撮像部２０が撮像した撮像画像のうち、上記所定領域に対応する部分（所定領域画像）を撮像部２０から取得し、取得画像解析部１５に送信する。

【0042】

取得画像解析部１５は、撮像画像取得部１４から送信された所定領域画像を解析し、対象物Ｘを探索し、対象物Ｘの位置を計測（検出）する。そして、計測した結果を解析結果出力部１６に通知する。画像を解析することにより対象物Ｘの位置を計測する方法は、公知の技術で可能であるので、その説明は省略する。

【0043】

解析結果出力部１６は、取得画像解析部１５から通知された計測結果を外部装置等に出力する。なお、画像処理装置１０が表示部等を備え、当該表示部に計測結果を出力させるものであってもよい。

【0044】

撮像部２０は、撮像制御部１３の指示に従い、制御対象５を撮像する。そして、撮像画像のうち、撮像制御部１３から指示された所定領域に対応する所定領域画像のみ画像処理装置１０に送信する。

【0045】

〔画像処理装置における処理の流れ〕
次に、図３を参照して画像処理装置１０における処理の流れを説明する。図３は、画像処理装置１０における処理の流れを示す図であり、（ａ）は処理の流れを示すフローチャートであり、（ｂ）は制御システム１００における処理を簡易的に示した図である。

【0046】

図３の（ａ）に示すように、制御システム１００における制御処理が開始すると、撮像制御部１３は、撮像部２０に制御対象５を撮像させる（Ｓ１０１）。次に、取得画像解析部１５は撮像画像から対象物Ｘの位置を計測する（Ｓ１０２：ワークの探索処理）。次に、予測位置算出部１１は、制御装置１から取得した制御対象５に対する駆動情報（サーボモータ４に対する指令値）、および現在の対象物Ｘの位置から、次回撮像時における対象物Ｘの位置を予測する（Ｓ１０３、予測ステップ）。そして、撮像領域指定部１２は、予測された位置から当該位置を含む領域を所定領域として指定する（Ｓ１０４）。

【0047】

その後、撮像制御部１３は、所定領域を示す情報を撮像部２０に送信するとともに、撮像部２０に制御対象５を撮像させる（Ｓ１０５）。撮像部２０は、撮像画像のうち、所定領域に対応する所定領域画像を画像処理装置１０に送信し、取得画像解析部１５は、所定領域画像を解析して対象物Ｘの位置を計測（探索）する（Ｓ１０６、探索ステップ）。そして、解析結果出力部１６は、計測結果を出力する（Ｓ１０７、出力ステップ）。

【0048】

〔解析対象となる所定領域画像を取得する方法の別の例〕
次に、図５を参照して取得画像解析部１５により解析される対象である所定領域画像を取得する方法の別の例について説明する。図５の（ａ）〜（ｄ）は、取得画像解析部１５により解析される対象である所定領域画像を取得する方法を説明するための図である。

【0049】

上述した構成では、撮像部２０から画像処理装置１０に送信される画像が、所定領域画像となっていた。すなわち、図５の（ａ）、（ｂ）に示すように撮像画像５０１のうち、図５の（ａ）で示す例で言えば所定領域画像５１１のみを、図５の（ｂ）に示す例で言えば、所定領域画像５１１、５１２、５１３、５１４のみを画像処理装置１０に送信していた。なお、図５の（ｂ）は、対象物Ｘが複数存在する場合の例である。

【0050】

このような構成に限られず、例えば、撮像部２０から画像処理装置１０に送信される画像は、撮像画像そのもの、すなわち制御対象５全体を撮像している画像であってもよい。この場合、撮像画像を取得した画像処理装置１０は、撮像画像のうち、撮像領域指定部１２で指定された領域のみを取得画像解析部１５が解析してもよい。すなわち、図５の（ｃ）に示すように、画像処理装置１０は、撮像画像５０１を取得し、取得画像解析部１５は、撮像画像５０１のうち、所定領域に対応する所定領域画像５２１のみを解析する。または、図５の（ｄ）に示すように、画像処理装置１０は、撮像画像５０１を取得し、取得画像解析部１５は、撮像画像５０１のうち、所定領域に対応する所定領域画像５２１、５２２、５２３、５２４のみを解析する。

【0051】

この構成でも、解析対象は撮像画像全体ではなく撮像画像のうちの所定領域のみとなるので、撮像画像全体を解析する場合と比較して処理量を削減することができる。

【0052】

〔処理時間〕
次に、図６を参照して本実施形態によりどの程度処理時間が短縮されるかについて説明する。図６は、従来技術における処理時間と本実施形態による処理時間とを比較する図である。

【0053】

図６に示すように、従来技術では、撮像処理にかかる時間（撮像装置から画像処理装置への画像転送時間を含む）が３３ｍｓ、撮像画像を解析する画像処理時間が３０ｍｓ、解析結果を出力する処理が１ｍｓであった。すなわち、従来技術では、全体の処理時間は、３３＋３０＋１＝６４ｍｓであった。

【0054】

これに対し、本実施形態では、まず、撮像部２０から画像処理装置１０に送信されるものが所定領域画像となるので、送信時間が短縮され、撮像処理にかかる時間は１０ｍｓとなる。また、解析対象も所定領域画像のみとなるので、処理時間が短縮され、画像処理時間は１０ｍｓとなる。出力処理にかかる時間は変わらない。結局、本実施形態における全体の処理時間は、１０＋１０＋１＝２１ｍｓとなり、従来技術と比較しておよそ６６％短縮されている。

【0055】

また、撮像部２０から送信される撮像画像はそのままで、画像処理装置１０により解析対象とする領域を制限する場合でも、画像処理時間は１０ｍｓに短縮される。よって、この場合の全体の処理時間は、３３＋１０＋１＝４４ｍｓとなり、従来技術と比較しておよそ３１％短縮されることになる。

【0056】

〔所定領域の例〕
次に、図７を参照して、撮像領域指定部１２が指定する所定領域の例について説明する。図７の（ａ）、（ｂ）は、所定領域の例を示す図である。上述したように、所定領域は、対象物Ｘを含む矩形領域（図７の（ａ）の領域７２１、７２２、７２３）であってもよいし、図７の（ｂ）に示すように対象物Ｘの形状に合わせた領域であってもよい（図７の（ｂ）の領域７１１、７１２、７１３、７１４）。

【0057】

〔本発明の効果〕
次に、図８を参照して、本発明による効果について説明する。図８は、本発明の効果を説明するための図である。図８に示すように、従来技術では、撮像装置の画素数が大きくなるほど、処理時間が大幅に増えていることがわかる。

【0058】

一方、本実施形態では、画素数が増えても、処理時間はさほど増えていないことが分かる。なお、図８における本実施形態Ａは、標準モードにおける処理を実行した場合であり、本実施形態Ｂは、高速アライメントモードにより処理を実行した場合である。

【0059】

標準モードは、上述した、撮像部２０が撮像した撮像画像全体を画像処理装置１０に送信し、画像処理装置１０において探索領域を限定する構成に対応し、高速アライメントモードは、上述した、撮像部２０から画像処理装置１０に送信される画像が所定領域画像となっている構成に対応する。

【0060】

〔実施形態２〕
本発明の他の実施形態について、図９〜図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

【0061】

本実施形態では、対象物Ｘの現在位置の予測方法が、上述した実施形態１と異なる。まず、図９を参照して、本実施形態における画像処理装置１０ａの要部構成について説明する。図９は、画像処理装置１０ａの要部構成を示すブロック図である。

【0062】

図９に示すように、本実施形態に係る画像処理装置１０ａは、
上述した実施形態１における画像処理装置１０の予測位置算出部１１に代わり、予測位置算出部（予測部）１１ａを備え、撮像画像取得部１４に代わり撮像画像取得部（取得部）１４ａを備える。

【0063】

予測位置算出部１１ａは、撮像画像取得部１４ａが取得した複数の撮像画像における対象物Ｘの位置の変化から対象物Ｘの現在位置を予測する。予測方法の詳細については後述する。

【0064】

撮像画像取得部１４ａは、撮像部２０から取得した撮像画像を取得画像解析部１５に送信するとともに、予測位置算出部１１ａにも送信する。

【0065】

次に、図１０を参照して、画像処理装置１０ａにおける処理の流れを説明する。図１０は、画像処理装置１０ａにおける処理の流れを示す図であり、（ａ）は処理の流れを示すフローチャートであり、（ｂ）は制御システム１００における処理を簡易的に示した図である。

【0066】

図１０の（ａ）に示すように、制御システム１００における制御処理が開始すると、撮像制御部１３は、撮像部２０に制御対象５を撮像させる（Ｓ２０１）。次に、取得画像解析部１５は撮像画像から対象物Ｘの位置を計測する（Ｓ２０２：ワークの探索処理）。その後、同様に、撮像制御部１３は、撮像部２０に制御対象５を撮像させる（Ｓ２０３）。また、取得画像解析部１５は撮像画像から対象物Ｘの位置を計測する（Ｓ２０４：ワークの探索処理）。

【0067】

次に、予測位置算出部１１ａは、撮像画像取得部１４ａから取得した撮像画像を用いて、対象物Ｘの速度ベクトルと算出し、次回撮像時における対象物Ｘの位置を予測する（Ｓ２０５）。そして、撮像領域指定部１２は、予測された位置から当該位置を含む領域を所定領域として指定する（Ｓ１０６）。

【0068】

その後、撮像制御部１３は、所定領域を示す情報を撮像部２０に送信するとともに、撮像部２０に制御対象５を撮像させる（Ｓ２０７）。撮像部２０は、撮像画像のうち、所定領域に対応する所定領域画像を画像処理装置１０に送信し、取得画像解析部１５は、所定領域画像を解析して対象物Ｘの位置を計測する（Ｓ２０８）。そして、解析結果出力部１６は、計測結果を出力する（Ｓ２０９）。

【0069】

次に、図１１を参照して、対象物Ｘの速度ベクトルを算出する方法を説明する。図１１は、対象物Ｘの速度ベクトルを算出する方法を説明するための図である。

【0070】

図１１において、Ｐは対象物Ｘの位置を、Ｖｘはｘ方向の速度ベクトルを、Ｖｙはｙ方向の速度ベクトルを示す。また、Ｐｒａは所定領域の左上位置を示し、Ｐｒｂは所定領域の右下位置を示す。

【0071】

図１１において、Ｐ_ｔ−２＝（ｘ_ｔ−２，ｙ_ｔ−２）は、前々回の撮像時における対象物Ｘの位置を示し、Ｐ_ｔ−１＝（ｘ_ｔ−１，ｙ_ｔ−１）は、前回の撮像時における対象物Ｘの位置を示す。

【0072】

まず、予測位置算出部１１ａは、対象物ＸがＰ_ｔ−２からＰ_ｔ−１に移動したときの速度ベクトルを求める。ここでは、速度ベクトルのｘ方向の成分がＶｘ_ｔ−１、ｙ方向成分がＶｙ_ｔ−１であったとする。

【0073】

そして、予測位置算出部１１ａは、対象物Ｘの現在位置Ｐ_ｔを次式を用いて予測する。
Ｐ_ｔ＝（ｘ_ｔ，ｙ_ｔ）＝（ｘ_ｔ−１＋Ｖｘ_ｔ−１×Δｔ，ｙ_ｔ−１＋Ｖｙ_ｔ−１×Δｔ）
ここで、Δｔは、撮像時間間隔である。

【0074】

また、撮像領域指定部１２は、所定領域の左上位置Ｐｒａ_ｔを、（ｘ_ｔ−Δｄ，ｙ_ｔ−Δｄ）と設定し、所定領域の右下位置Ｐｒｂ_ｔを、（ｘ_ｔ＋Δｄ，ｙ_ｔ＋Δｄ）と設定する。Δｄは、所定領域の大きさを示すものであり任意に設定することができる。なお、ここでは、ｘ方向とｙ方向とが同じ値（すなわち、所定領域が正方形）としているが、これに限られるものではなく、ｘ方向をΔｄ_１、ｙ方向をΔｄ_２として所定領域が矩形となるものであってもよい。

【0075】

〔実施形態３〕
本発明のさらなる他の実施形態について、図１２〜図１６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

【0076】

本実施形態では、制御対象５としてＸＹθステージではなく、搬送装置（例えば、ベルトコンベアー）であり、制御対象５上の対象物Ｘが流れていき、所定位置でピックアップされるような制御システムを想定している。

【0077】

まず、図１２を参照して、本実施形態に係る画像処理装置１０ｂの要部構成について説明する。図１２は、画像処理装置１０ｂの要部構成を示すブロック図である。図１２に示すように、本実施形態に係る画像処理装置１０ｂは、予測位置算出部１１ａ、撮像領域指定部１２、撮像制御部（通知部）１３ａ、撮像制御部１３ｂ、撮像画像取得部（取得部）１４ｂ、撮像画像取得部１４ｃ、取得画像解析部１５、および解析結果出力部１６を含む。

【0078】

また、制御システム１００には、上述した実施形態における撮像部２０に代えて、第１撮像部（撮像装置、第１撮像装置）２０Ａおよび第２撮像部（撮像装置、第２撮像装置）２０Ｂが含まれる。

【0079】

撮像制御部１３ａは、第１撮像部２０Ａに制御対象５を撮像させる。撮像制御部１３ｂは、第２撮像部２０Ｂに制御対象５を撮像させる。撮像画像取得部１４ｂは、第１撮像部２０Ａの撮像画像を取得する。撮像画像取得部１４ｃは、第２撮像部２０Ｂの撮像画像を取得する。

【0080】

第１撮像部２０Ａは、第２撮像部２０Ｂの上流側に配置されている。なお、第２撮像部２０Ｂの方が、第１撮像部２０Ａよりも解像度が高いものであってもよい。

【0081】

より詳細に、図１３を参照して説明する。図１３は、本実施形態に係る制御システムの例を示す図であり、（ａ）は制御システムの概要を示す図であり、（ｂ）は第１撮像部２０Ａによる撮像される画像例を示す図であり、（ｃ）は第２撮像部２０Ｂにより撮像される画像例を示す図である。

【0082】

図１３に示すように、本実施形態では、制御対象５によって対象物Ｘが流れていき、最終的にロボット５０によりピックアップされる。そして、ロボット５０によるピックアップ箇所に対応する制御対象５の位置を撮像できるように第２撮像部２０Ｂが配置されているとともに、これよりも上流側に第１撮像部２０Ａが配置（設置）されている。

【0083】

そして、図１３の（ｂ）に示すように、上流側で第１撮像部２０Ａにより制御対象５が撮像され、撮像画像から対象物Ｘの位置を計測し、下流側の第２撮像部２０Ｂでは、計測された位置から予測される対象物Ｘの位置に対応した箇所の撮像を行う。図１３の（ｃ）に示す例では、撮像領域１３１１、１３１２、１３１３、１３１４が第２撮像部２０Ｂの撮像領域となる。

【0084】

これにより、より正確に対象物Ｘの位置を計測（把握）することができるので、ロボット５０による対象物Ｘのピックアップ処理を正確に行うことができる。

【0085】

次に、図１４および図１５を参照して、画像処理装置１０ｂにおける処理の流れを説明する。図１４は、画像処理装置１０ｂにおける処理の流れを示すフローチャートである。また、図１５は、本実施形態に係る制御システム１００の概要を示す図である。

【0086】

図１４に示すように、制御システム１００における制御処理が開始すると、撮像制御部１３ａは、第１撮像部２０Ａに制御対象５を撮像させる（Ｓ３０１）。次に、予測位置算出部１１ａは第１撮像部２０Ａにより撮像された撮像画像から対象物Ｘの位置を計測する（Ｓ３０２：ワークの探索処理）。次に、予測位置算出部１１ａは、対象物Ｘに対しインデックスを付与する（Ｓ３０３）。具体的には、図１５に示すように、第１撮像部２０Ａにより撮像される撮像領域（第１領域）に存在する対象物Ｘに対し、ｉ＝０〜３のようなインデックスを付与する。その後、同様に、撮像制御部１３ａは、第１撮像部２０Ａに制御対象５を撮像させる（Ｓ３０４）。また、予測位置算出部１１ａは第１撮像部２０Ａにより撮像された撮像画像（第１撮像画像）から対象物Ｘの位置を計測する（Ｓ３０５：ワークの探索処理）。そして、予測位置算出部１１ａは、対象物Ｘに対しインデックスに紐づけを行う（Ｓ３０６）。具体的には、前回インデックスを付与した対象物Ｘと同じ対象物Ｘに対し、同じインデックスを付与する。そして、インデックスが付与されていない対象物Ｘがあれば（Ｓ３０７でＹＥＳ）、当該対象物Ｘに対しインデックスを付与する（Ｓ３０８）。

【0087】

そして、予測位置算出部１１ａは、２つの撮像画像を用いて、対象物Ｘの速度ベクトルを算出し、対象物Ｘの移動位置を予測する（Ｓ３０９）。

【0088】

その後、ステップＳ３０４に戻るとともに、ステップＳ３１０の処理を行う。

【0089】

ステップＳ３１０では、撮像領域指定部１２がステップＳ３０９で予測された位置を含む所定領域を指定する（Ｓ３１０）。

【0090】

その後、撮像制御部１３ｂは、所定領域を示す情報を第２撮像部２０Ｂに送信するとともに、第２撮像部２０Ｂに制御対象５のうち所定領域に対応する領域（例えば、図１５の第２領域）を撮像させる（Ｓ３１１）。そして、第２撮像部２０Ｂは、撮像画像を画像処理装置１０ｂに送信し、取得画像解析部１５は、撮像画像（第２撮像画像）を解析して対象物Ｘの位置を計測する（Ｓ３１２）。そして、解析結果出力部１６は、計測結果を出力する（Ｓ３１３）。

【0091】

次に、図１６を参照して、所定領域について説明する。図１６は、本実施形態における所定領域を説明するための図である。図１６の撮像領域１６０１は、第１撮像部２０Ａの撮像領域に対応する領域である。第１撮像部２０Ａによって撮像された撮像画像における対象物Ｘの位置から予測された位置を含む領域である領域１６１１、１６１２、１６１３を撮像領域指定部１２は所定領域として指定する。

【0092】

〔ソフトウェアによる実現例〕
画像処理装置１０（１０ａ、１０ｂ）の制御ブロック（特に予測位置算出部１１（１１ａ）、撮像領域指定部１２、撮像制御部１３（１３ａ、１３ｂ）、撮像画像取得部１４（１４ａ、１４ｂ、１４ｃ）、取得画像解析部１５、解析結果出力部１６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

【0093】

後者の場合、画像処理装置１０（１０ａ、１０ｂ）は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0094】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0095】

１ 制御装置
３ サーボドライバ
４ サーボモータ
５ 制御対象（搬送装置）
１０、１０ａ、１０ｂ、 画像処理装置
１１、１１ａ 予測位置算出部（予測部）
１２ 撮像領域指定部
１３、１３ａ、１３ｂ 撮像制御部（通知部）
１４、１４ａ、１４ｂ、１４ｃ 撮像画像取得部（取得部）
１５ 取得画像解析部（探索部、領域取出部）
１６ 解析結果出力部（出力部）
２０ 撮像部（撮像装置）
２０Ａ 第１撮像部（撮像装置、第１撮像装置）
２０Ｂ 第２撮像部（撮像装置、第２撮像装置）
５０ ロボット
１００ 制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】