知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】画像処理装置、ロボットシステム、及び画像処理方法
(51)【国際特許分類】
B25J 13/08 20060101AFI20240625BHJP
G06T 7/00 20170101ALI20240625BHJP
G06T 7/593 20170101ALI20240625BHJP
【ＦＩ】
B25J13/08 A
G06T7/00 C
G06T7/593
G06T7/00 610Z
【請求項の数】
10
(21)【出願番号】P 2019234820
(22)【出願日】2019-12-25
(65)【公開番号】P2021102252
(43)【公開日】2021-07-15
【審査請求日】2022-10-21
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100112357
【弁理士】
【氏名又は名称】廣瀬 繁樹
(72)【発明者】
【氏名】和田 潤
【審査官】杉山 悟史
(56)【参考文献】
【文献】米国特許出願公開第２００３／００３８８７５（ＵＳ，Ａ１）
【文献】特開２０１０－２１０５８５（ＪＰ，Ａ）
【文献】特開２０１１－１１２４０１（ＪＰ，Ａ）
【文献】特開２００３－２３２８６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ ～ ２１／０２
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／５９３
(57)【特許請求の範囲】
【請求項1】
予め定めた複数の撮像位置に配置されたカメラが撮像した検出対象部の画像データを取得する画像取得部と、第１の前記撮像位置で撮像された第１の前記画像データに写る前記検出対象部の第１輪郭と、第２の前記撮像位置で撮像された第２の前記画像データに写る前記検出対象部の第２輪郭とを、各々の前記撮像位置に対して既知の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部であって、前記位置が互いに異なる複数の前記投影面の各々で前記投影画像データを生成する、投影画像生成部と、
前記投影画像生成部が生成した前記投影画像データにおいて前記第１輪郭の投影画像データの第１投影位置と前記第２輪郭の投影画像データの第２投影位置とが一致する前記投影面を検索する投影面検索部と、を備える、画像処理装置。
【請求項2】
前記投影面検索部は、前記投影画像生成部が生成した前記投影画像データにおいて前記第１投影位置と前記第２投影位置とが一致するか否かを判定し、
前記第１投影位置と前記第２投影位置とが一致しないと判定した場合に、前記投影面の前記位置を変更して指定し、
変更後の前記位置の前記投影面で前記投影画像生成部が生成した前記投影画像データにおいて前記第１投影位置と前記第２投影位置とが一致するか否かを判定する、
一連の動作を繰り返し実行することによって、前記一致する投影面を検索する、請求項１に記載の画像処理装置。
【請求項3】
前記投影面検索部は、前記投影画像データにおいて、前記第１投影位置及び前記第２投影位置に対応する画素の明るさ又は画素数に基づいて、前記第１投影位置と前記第２投影位置とが一致するか否かを判定する、請求項２に記載の画像処理装置。
【請求項4】
前記検出対象部は、平面であって、前記投影面は、前記平面と平行に設定される、請求項１～３のいずれか１項に記載の画像処理装置。
【請求項5】
前記投影面の前記位置の入力情報を受け付ける入力受付部をさらに備え、前記投影画像生成部は、前記入力受付部が受け付けた前記位置の前記投影面で前記投影画像データを生成する、請求項１～４のいずれか１項に記載の画像処理装置。
【請求項6】
前記入力情報を入力するための入力画像と、入力された前記位置の前記投影面で前記投影画像生成部が生成した前記投影画像データの画像と、が並べて表示される検証画像データを生成する検証画像生成部をさらに備える、請求項５に記載の画像処理装置。
【請求項7】
各々の前記撮像位置は、基準座標系に対して既知の位置関係となるように定められ、前記投影面は、前記基準座標系における既知の位置に設定され、
前記画像処理装置は、前記投影面検索部が検索した前記一致する投影面の、前記基準座標系における位置データを取得する位置データ取得部をさらに備える、請求項１～６のいずれか１項に記載の画像処理装置。
【請求項8】
請求項７に記載の画像処理装置と、前記カメラと、
前記検出対象部を有するワークに対して作業を行うロボットと、
前記位置データ取得部が取得した前記位置データに基づいて、前記作業を実行させるように前記ロボットを制御する制御装置と、を備える、ロボットシステム。
【請求項9】
前記第１の撮像位置で前記第１の画像データを撮像する第１の前記カメラと、前記第２の撮像位置で前記第２の画像データを撮像する第２の前記カメラと、を備える、請求項８に記載のロボットシステム。
【請求項10】
予め定めた複数の撮像位置に配置されたカメラが撮像した検出対象部の画像データを取得し、第１の前記撮像位置で撮像された第１の前記画像データに写る前記検出対象部の第１輪郭と、第２の前記撮像位置で撮像された第２の前記画像データに写る前記検出対象部の第２輪郭とを、各々の前記撮像位置に対して既知の位置に設定された投影面に投影させた投影画像データを、前記位置が互いに異なる複数の前記投影面の各々で生成し、
生成した前記投影画像データにおいて前記第１輪郭の投影画像データの第１投影位置と前記第２輪郭の投影画像データの第２投影位置とが一致する前記投影面を検索する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、ロボットシステム、及び画像処理方法に関する。
【背景技術】
【0002】
複数の撮像位置でカメラが撮像した物体の画像データに基づいて、該物体の位置を検出する装置が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００３－２３２８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、産業機械の分野において、作業対象となる検出対象部の位置を示す情報を、カメラが撮像した画像データから、自動的且つ正確に取得可能とする技術が求められている。
【課題を解決するための手段】
【0005】
本開示の一態様において、画像処理装置は、予め定めた複数の撮像位置に配置されたカメラが撮像した検出対象部の画像データを取得する画像取得部と、第１の撮像位置で撮像された第１の画像データと、第２の撮像位置で撮像された第２の画像データとを、各々の撮像位置に対して既知の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部であって、位置が互いに異なる複数の投影面の各々で投影画像データを生成する、投影画像生成部と、投影画像生成部が生成した投影画像データにおいて第１の画像データの第１投影位置と第２の画像データの第２投影位置とが一致する投影面を検索する投影面検索部とを備える。
【0006】
本開示の他の態様において、画像処理方法は、予め定めた複数の撮像位置に配置されたカメラが撮像した検出対象部の画像データを取得し、第１の撮像位置で撮像された第１の画像データと、第２の撮像位置で撮像された第２の画像データとを、各々の撮像位置に対して既知の位置に設定された投影面に投影させた投影画像データを、位置が互いに異なる複数の投影面の各々で生成し、生成した投影画像データにおいて第１の画像データの第１投影位置と第２の画像データの第２投影位置とが一致する投影面を検索する。
【発明の効果】
【0007】
本開示によれば、複数の撮像位置に配置されたカメラが撮像した画像データから、検出対象部の位置を示す投影面を自動的且つ高精度に検索することができる。
【図面の簡単な説明】
【0008】
【図1】一実施形態に係る画像処理装置及びカメラのブロック図である。
【図2】複数のカメラが撮像位置に配置された状態を示している。
【図3】第１の撮像位置に配置されたカメラが撮像する画像データの画像の一例を示す。
【図4】第２の撮像位置に配置されたカメラが撮像する画像データの画像の一例を示す。
【図6】投影画像データの画像の一例である。
【図7】投影画像データの画像の他の例である。
【図8】投影画像データの画像のさらに他の例である。
【図9】第１の撮像位置に配置されたカメラが撮像する画像データの画像の他の例を示す。
【図10】他の実施形態に係る画像処理装置、カメラ、表示装置、及び入力装置のブロック図である。
【図12】検証画像データの画像の一例を示す。
【図14】一実施形態に係るロボットシステムの図である。
【図16】他の実施形態に係るロボットシステムの図である。
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１を参照して、一実施形態に係る画像処理装置１０について説明する。画像処理装置１０は、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１７を有するコンピュータである。
【0010】
プロセッサ１４は、ＣＰＵ又はＧＰＵ等を有し、メモリ１６及びＩ／Ｏインターフェース１７とバス１９を介して通信可能に接続されている。プロセッサ１４は、メモリ１６及びＩ／Ｏインターフェース１７と通信しつつ、後述する画像処理装置１０の機能を実行するための演算処理を行う。メモリ１６は、ＲＯＭ又はＲＡＭ等を有し、各種データを一時的又は恒久的に記憶する。Ｉ／Ｏインターフェース１７は、イーサネット（登録商標）ポート、ＵＳＢポート、又はＨＤＭＩ（登録商標）端子等を有し、プロセッサ１４の指令の下、外部機器とデータを通信する。
【0011】
本実施形態においては、画像処理装置１０のＩ／Ｏインターフェース１７に、複数のカメラ１８及び２０が、有線又は無線で通信可能に接続されている。図２に示すように、カメラ１８及び２０は、同じ構成を有し、光学レンズ２２（フォーカスレンズ等）と、撮像センサ２４（ＣＣＤ、ＣＭＯＳ等）とを有する。
【0012】
カメラ１８には、カメラ座標系ＣＣ１が設定されている。カメラ座標系ＣＣ１は、カメラ１８が撮像する画像データの各画素の座標を規定する座標系である。カメラ座標系ＣＣ１は、そのｘ－ｙ平面が、カメラ１８の光軸方向と直交するように、該カメラ１８に対して設定されている。カメラ１８は、予め定めた第１の撮像位置Ｐ１に配置されている。カメラ１８は、第１の撮像位置Ｐ１に配置された状態で、ワークＷを撮像する。
【0013】
一方、カメラ２０には、カメラ座標系ＣＣ２が設定されている。カメラ座標系ＣＣ２は、カメラ２０が撮像する画像データの各画素の座標を規定する座標系である。カメラ座標系ＣＣ２は、そのｘ－ｙ平面が、カメラ２０の光軸方向と直交するように、該カメラ２０に対して設定されている。
【0014】
カメラ２０は、予め定めた第２の撮像位置Ｐ２に配置されている。カメラ２０は、第２の撮像位置Ｐ２に配置された状態で、ワークＷを撮像する。なお、本稿において、「撮像位置」とは、カメラ１８、２０の３次元空間内の位置と、該カメラ１８、２０の姿勢（すなわち、光軸方向）とを意味することがある。
【0015】
したがって、第１の撮像位置Ｐ１は、該第１の撮像位置Ｐ１に配置されたカメラ１８のカメラ座標系ＣＣ１の原点位置及び各軸の方向によって、表すことができる。同様に、第２の撮像位置Ｐ２は、該第２の撮像位置Ｐ２に配置されたカメラ２０のカメラ座標系ＣＣ２の原点位置及び各軸の方向によって、表すことができる。
【0016】
以下の説明においては、第１の撮像位置Ｐ１は、該第１の撮像位置Ｐ１に配置されたカメラ１８のカメラ座標系ＣＣ１の原点位置及び各軸の方向を示すことがあり、また、第２の撮像位置Ｐ２は、該第２の撮像位置Ｐ２に配置されたカメラ２０のカメラ座標系ＣＣ２の原点位置及び各軸の方向を示すことがある。
【0017】
ワークＷは、ワークセル内の予め定められた位置に設置されている。本実施形態においては、ワークＷは、円柱状であって、その頂端に表面ＷＳ（検出対象部）を有する。本実施形態においては、表面ＷＳは、円形の輪郭（又はエッジ）Ｅを有する平面である。一方、ワークセルの３次元空間には、基準座標系ＣＲが設定されている。基準座標系ＣＲは、３次元空間内に固定された固定座標系である。
【0018】
基準座標系ＣＲは、例えば、ワークセルの３次元空間を規定するワールド座標系、ワークＷに対して設定されるワーク座標系、又は、後述するロボットに対して設定されるロボット座標系等である。本実施形態においては、ワークＷは、その表面ＷＳが基準座標系ＣＲのｘ－ｙ平面と略平行となるように、固定されている。
【0019】
第１の撮像位置Ｐ１と基準座標系ＣＲとの位置関係は、キャリブレーションによって既知とされている。したがって、第１の撮像位置Ｐ１、すなわち、図２中のカメラ座標系ＣＣ１の原点位置及び各軸の方向は、基準座標系ＣＲの座標及びベクトル（又は関数）として、表される。
【0020】
この既知の位置関係により、カメラ座標系ＣＣ１の座標と、基準座標系ＣＲの座標とは、第１の座標変換データを介して、相互に変換可能となっている。この第１の座標変換データは、例えばヤコビ行列であって、第１の撮像位置Ｐ１と基準座標系ＣＲとのキャリブレーションによって取得できる。
【0021】
同様に、第２の撮像位置Ｐ２と基準座標系ＣＲとの位置関係は、キャリブレーションによって既知とされている。したがって、第２の撮像位置Ｐ２、すなわち、図２中のカメラ座標系ＣＣ２の原点位置及び各軸の方向は、基準座標系ＣＲの座標及びベクトル（又は関数）として表される。
【0022】
この既知の位置関係により、カメラ座標系ＣＣ２の座標と基準座標系ＣＲの座標とは、第２の座標変換データを介して、相互に変換可能となっている。この第２の座標変換データは、例えばヤコビ行列であって、第２の撮像位置Ｐ２と基準座標系ＣＲとのキャリブレーションによって取得できる。
【0023】
第１の撮像位置Ｐ１に配置されたカメラ１８がワークＷを撮像すると、ワークＷからの光（すなわち、被写体像）Ａ１は、カメラ１８の光学レンズ２２によって導光されて、撮像センサ２４に結像される。撮像センサ２４は、受光した被写体像Ａ１を光電変換し、画像データＩＤ１を生成する。
【0024】
こうして、カメラ１８は、ワークＷの画像データＩＤ１を撮像する。画像データＩＤ１の画像の一例を、図３に示す。画像データＩＤ１には、表面ＷＳの輪郭Ｅが見えるように、ワークＷが写っている。画像データＩＤ１の各画素は、カメラ座標系ＣＣ１の座標として表される。
【0025】
同様に、第２の撮像位置Ｐ２に配置されたカメラ２０がワークＷを撮像すると、ワークＷからの光（被写体像）Ａ２は、カメラ２０の光学レンズ２２によって導光されて、撮像センサ２４に結像される。撮像センサ２４は、受光した被写体像Ａ２を光電変換し、画像データＩＤ２を生成する。
【0026】
こうして、カメラ２０は、ワークＷの画像データＩＤ２を撮像する。画像データＩＤ２の画像の一例を、図４に示す。画像データＩＤ２には、表面ＷＳの輪郭Ｅが見えるように、ワークＷが画像データＩＤ１とは異なる位置に写っている。画像データＩＤ２の各画素は、カメラ座標系ＣＣ２の座標として表される。なお、図２中の被写体像Ａ１及びＡ２は、ワークＷの表面ＷＳ（具体的には、輪郭Ｅ）の光路をそれぞれ示している。
【0027】
次に、図５を参照して、画像処理装置１０の動作について説明する。図５に示すフローは、プロセッサ１４が、オペレータ、上位コントローラ、又はコンピュータプログラムから起動指令を受信したときに、開始する。ステップＳ１において、プロセッサ１４は、カメラ１８及び２０が撮像した画像データＩＤ１及びＩＤ２を取得する。
【0028】
具体的には、カメラ１８は、第１の撮像位置Ｐ１に配置された状態で画像データＩＤ１を撮像し、カメラ２０は、第２の撮像位置Ｐ２に配置された状態で画像データＩＤ２を撮像する。カメラ１８及び２０は、撮像した画像データＩＤ１及びＩＤ２を、Ｉ／Ｏインターフェース１７へ送信する。プロセッサ１４は、Ｉ／Ｏインターフェース１７を通して、画像データＩＤ１及びＩＤ２を取得し、メモリ１６に記憶する。このように、本実施形態においては、プロセッサ１４は、画像データＩＤ１及びＩＤ２を取得する画像取得部２６（図１）として機能する。
【0029】
ステップＳ２において、プロセッサ１４は、投影面ＰＰの位置を指定する。具体的には、プロセッサ１４は、後述のステップＳ３で画像データＩＤ１及びＩＤ２を投影させる投影面ＰＰの、基準座標系ＣＲにおける位置を指定する。例えば、プロセッサ１４は、投影面ＰＰの位置を、基準座標系ＣＲのｚ軸の座標ｚとして、指定する。
【0030】
一例として、プロセッサ１４は、投影面ＰＰの座標ｚを、ワークＷの表面ＷＳよりも、基準座標系ＣＲのｚ軸プラス方向へ離隔すると推定される座標ｚαとして、指定する。他の例として、プロセッサ１４は、投影面ＰＰの座標ｚを、ワークＷの表面ＷＳよりも、基準座標系ＣＲのｚ軸マイナス方向へ離隔すると推定される座標ｚβとして、指定する。
【0031】
さらに他の例として、プロセッサ１４は、投影面ＰＰの座標ｚを、ワークＷの表面ＷＳと略同じ位置と推定される座標ｚγとして、指定する。これら座標ｚα、ｚβ又はｚγは、ワークＷの公称寸法又は図面データ（２Ｄ又は３ＤＣＡＤ）等を考慮してオペレータによって予め定められ、メモリ１６に記憶され得る。
【0032】
ステップＳ３において、プロセッサ１４は、投影画像データを生成する。具体的には、プロセッサ１４は、ステップＳ２で指定した位置（すなわち、座標ｚα、ｚβ又はｚγの位置）に、投影面ＰＰを設定する。この投影面ＰＰは、基準座標系ＣＲのｘ－ｙ平面（すなわち、ワークＷの表面ＷＳ）と平行な仮想平面である。
【0033】
次いで、プロセッサ１４は、ステップＳ１で取得した画像データＩＤ１から、検出対象部である表面ＷＳの輪郭Ｅの画像データＩＤ１_Ｅを抽出する。例えば、プロセッサ１４は、ワークＷの図面データを取得し、検出対象部である表面ＷＳの輪郭Ｅのモデル形状に類似する形状を画像データＩＤ１から検索することによって、画像データＩＤ１から輪郭Ｅの画像データＩＤ１_Ｅを抽出してもよい。同様にして、プロセッサ１４は、画像データＩＤ２から輪郭Ｅの画像データＩＤ２_Ｅを抽出する。
【0034】
そして、プロセッサ１４は、画像データＩＤ１_Ｅ及びＩＤ２_Ｅを、設定した投影面ＰＰに投影させる。図６～図８に、画像データＩＤ１_Ｅ及びＩＤ２_Ｅの投影画像データの例を示す。図６は、画像データＩＤ１_Ｅ及びＩＤ２_Ｅを、図２中の投影面ＰＰ１に投影させた投影画像データＰＤ１の例を示す。投影面ＰＰ１は、基準座標系ＣＲのｚ軸座標が、ｚ＝ｚ２の位置に設定されている。
【0035】
図７は、画像データＩＤ１_Ｅ及びＩＤ２_Ｅを、図２中の投影面ＰＰ２に投影させた投影画像データＰＤ２の例を示す。投影面ＰＰ２は、基準座標系ＣＲのｚ軸座標が、ｚ＝ｚ１（＜ｚ２）の位置に設定されている。図８は、画像データＩＤ１_Ｅ及びＩＤ２_Ｅを、図２中の投影面ＰＰ３に投影させた投影画像データＰＤ３の例を示す。投影面ＰＰ３は、基準座標系ＣＲのｚ軸座標が、ｚ＝ｚ０（＜ｚ１）の位置に設定されている。
【0036】
上述したように、第１の撮像位置Ｐ１（カメラ座標系ＣＣ１）と基準座標系ＣＲとの位置関係は、キャリブレーションによって既知とされている。一方、基準座標系ＣＲにおける投影面ＰＰの位置は、該基準座標系ＣＲのｚ軸座標で表される。つまり、第１の撮像位置Ｐ１（カメラ座標系ＣＣ１）と投影面ＰＰの位置とは、基準座標系ＣＲを介して、既知となっている。
【0037】
プロセッサ１４は、第１の撮像位置Ｐ１と基準座標系ＣＲとの位置関係を示す第１の座標変換データを用いて、画像データＩＤ１_Ｅの各画素のカメラ座標系ＣＣ１の座標を、基準座標系ＣＲにおける、投影面ＰＰの位置（例えば、ｚ軸の座標ｚ０、ｚ１又はｚ２の位置）でのｘ－ｙ座標に変換する。
【0038】
該ｘ－ｙ座標に変換された各点は、被写体像Ａ１を受光した撮像センサ２４の各画素から該被写体像Ａ１の光路に沿って延びる線と投影面ＰＰとの交点であって、これら交点の基準座標系ＣＲの座標は、投影面ＰＰの位置（座標ｚ）が既知であれば、第１の座標変換データを用いた座標変換によって求めることができる。こうして、図６～図８に示すように、画像データＩＤ１_Ｅが投影面ＰＰに投影された輪郭投影画像データＰＥ１を生成できる。
【0039】
同様に、プロセッサ１４は、第２の撮像位置Ｐ２と基準座標系ＣＲとの位置関係を示す第２の座標変換データと、投影面ＰＰの位置（座標ｚ）とを用いて、画像データＩＤ２_Ｅを投影面ＰＰに投影させる。その結果、図６～図８に示すように、画像データＩＤ２_Ｅが投影面ＰＰに投影された輪郭投影画像データＰＥ２を生成できる。
【0040】
次いで、プロセッサ１４は、投影面ＰＰにおける投影画像データＰＤの範囲を画定する画像枠Ｆを設定し、図６～図８に示すような投影画像データＰＤ１、ＰＤ２及びＰＤ３を生成する。したがって、プロセッサ１４は、投影画像データＰＤを生成する投影画像生成部２８（図１）として機能する。
【0041】
なお、生成する投影画像データＰＤの画像枠Ｆの、投影面ＰＰ上の位置及びサイズは、オペレータが手動で設定してもよい。この場合において、プロセッサ１４は、オペレータから、画像枠Ｆの縦横サイズを、基準座標系ＣＲのｙ軸の座標範囲とｘ軸の座標範囲の入力として受け付けてもよい。又は、プロセッサ１４は、画像枠Ｆの位置及びサイズを、投影された輪郭投影画像データＰＥ１及びＰＥ２を含むように自動で設定してもよい。
【0042】
図６～図８に示すように、設定する投影面ＰＰ１、ＰＰ２、ＰＰ３の位置が、基準座標系ＣＲにおける実際の表面ＷＳの位置に近づくにつれて、投影画像データＰＤ１、ＰＤ２、ＰＤ３における輪郭投影画像データＰＥ１の位置（第１投影位置）と、輪郭投影画像データＰＥ２の位置（第２投影位置）とが接近することになる。
【0043】
ステップＳ４において、プロセッサ１４は、生成した投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致しているか否かを判定する。上述したように、投影面ＰＰ１、ＰＰ２、ＰＰ３の位置に応じて第１投影位置と第２投影位置とのずれ量が変化する。例えば、投影面ＰＰ１及びＰＰ２で生成された投影画像データＰＤ１及びＰＤ２では、図６及び図７に示すように、輪郭投影画像データＰＥ１の位置と、輪郭投影画像データＰＥ２の位置とは、互いからずれている。
【0044】
その一方で、投影面ＰＰ３で生成された投影画像データＰＤ３では、図８に示すように、輪郭投影画像データＰＥ１の位置と輪郭投影画像データＰＥ２の位置とは、互いに一致している。プロセッサ１４は、このステップＳ４において、直近のステップＳ３で生成した投影画像データＰＤにおいて、輪郭投影画像データＰＥ１の位置（第１投影位置）と、輪郭投影画像データＰＥ２の位置（第２投影位置）とが、図８に示すように、互いに一致しているか否かを判定する。
【0045】
一例として、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、輪郭投影画像データＰＥ１を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥ１を写さない場合は「０」としてカウントする。同様に、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、輪郭投影画像データＰＥ２を写す場合は「１」としてカウントする一方、輪郭投影画像データＰＥ２を写さない場合は「０」としてカウントする。
【0046】
そして、プロセッサ１４は、投影画像データＰＤの各画素において、カウントした明るさを加算する。この場合、輪郭投影画像データＰＥ１及びＰＥ２の双方を写す画素の明るさは「２」となり、輪郭投影画像データＰＥ１及びＰＥ２のいずれか一方を写す画素の明るさは「１」となり、輪郭投影画像データＰＥ１及びＰＥ２のいずれも写していない画素の明るさは「０」となる。
【0047】
プロセッサ１４は、投影画像データＰＤにおいて明るさが「２」となる画素数Ｎ１が、予め定めた閾値Ｎｔｈ１よりも大きい場合に、投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致している（すなわち、ＹＥＳ）と判定する。このように、本例では、プロセッサ１４は、第１投影位置及び第２投影位置に対応する画素（つまり、輪郭投影画像データＰＥ１、ＰＥ２を写す画素）の明るさ及び明るさ毎の画素数に基づいて、第１投影位置と第２投影位置とが一致するか否かを判定する。
【0048】
ここで、図８に示す投影画像データＰＤ３においては、輪郭投影画像データＰＥ１及びＰＥ２の双方を写す画素数が、図６及び図７に示す投影画像データＰＤ１及びＰＤ２よりも増加するので、画素数Ｎ１を閾値Ｎｔｈ１と比較することにより、第１投影位置と第２投影位置とが一致しているか否かを定量的に評価できる。なお、輪郭投影画像データＰＥ１又はＰＥ２を写す又は写さない画素の明るさは、「０」、「１」の２値に限らず、他の如何なる値に設定されてもよい。
【0049】
他の例として、プロセッサ１４は、投影画像データＰＤにおいて、輪郭投影画像データＰＥ１及びＰＥ２の双方を写す画素数Ｎ１と、輪郭投影画像データＰＥ１又はＰＥ２を写す画素数Ｎ２との比Ｒ（＝Ｎ１／Ｎ２）が、予め定めた閾値Ｒｔｈよりも大きい場合に、投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致している（すなわち、ＹＥＳ）と判定する。このように、本例においては、プロセッサ１４は、第１投影位置及び第２投影位置に対応する画素数Ｎ１に基づいて、第１投影位置と前記第２投影位置とが一致するか否かを判定している。
【0050】
さらに他の例として、プロセッサ１４は、投影画像データＰＤにおいて、輪郭投影画像データＰＥ１と輪郭投影画像データＰＥ２とで囲まれる閉領域Ｂ（図７）を画定し、該閉領域Ｂの画素数（又は、面積）Ｎ３が、予め定めた閾値Ｎｔｈ２よりも大きい場合に、投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致している（すなわち、ＹＥＳ）と判定する。
【0051】
さらに他の例として、プロセッサ１４は、投影画像データＰＤを画像処理し、輪郭投影画像データＰＥ１の形状と輪郭投影画像データＰＥ２の形状とを抽出し、互いに対応する、輪郭投影画像データＰＥ１及びＰＥ２の特徴点（中心点、頂点、エッジ等）を特定する。本実施形態においては、プロセッサ１４は、互いに対応する特徴点として、輪郭投影画像データＰＥ１の中心点ＣＰ１と、輪郭投影画像データＰＥ２の中心点ＣＰ２とを特定する。
【0052】
そして、プロセッサ１４は、輪郭投影画像データＰＥ１の特徴点（中心点）ＣＰ１と、輪郭投影画像データＰＥ２の特徴点ＣＰ２との、投影画像データＰＤにおける距離ｄを算出し、該距離ｄが、予め定めた閾値ｄｔｈよりも小さい場合に、投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致している（すなわち、ＹＥＳ）と判定する。
【0053】
以上のような方法により、プロセッサ１４は、投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致しているか否かを判定する。プロセッサ１４は、ＹＥＳと判定した場合は、図５中のステップＳ６へ進む一方、ＮＯと判定した場合は、ステップＳ５へ進む。
【0054】
ステップＳ５において、プロセッサ１４は、投影面ＰＰの位置を変更して指定する。一例として、上述のステップＳ２で投影面ＰＰの座標ｚを座標ｚαとして指定した場合、プロセッサ１４は、このステップＳ５において、投影面ＰＰの座標ｚを、ｚ－δ１（例えば、δ１＝１）へ変更する。他の例として、上述のステップＳ２で投影面ＰＰの座標ｚを座標ｚβとして指定した場合、プロセッサ１４は、このステップＳ５において、投影面ＰＰの座標ｚを、ｚ＋δ１（例えば、δ１＝１）へ変更する。
【0055】
さらに他の例として、上述のステップＳ２で投影面ＰＰの座標ｚを座標ｚγとして指定した場合、プロセッサ１４は、このステップＳ５において、投影面ＰＰの座標ｚを、ｚ＋δ１又はｚ－δ１へ変更する。この例において、直前のステップＳ４で取得した画素数Ｎ１（ｎ）、比Ｒｎ、又は画素数Ｎ３（ｎ）（若しくは、距離ｄｎ）が、２回前のステップＳ４で取得した画素数Ｎ１（ｎ－１）、比Ｒｎ－１、又は画素数Ｎ３（ｎ－１）（若しくは、距離ｄｎ－１）よりも小さく（若しくは大きく）なった場合、プロセッサ１４は、投影面ＰＰの座標ｚを変更する方向を、前回のステップＳ５から反転させてもよい。
【0056】
例えば、第ｎ－１回目のステップＳ５で投影面ＰＰの座標ｚを、ｚ軸プラス方向へ変更してｚ＋δ１とした結果、第ｎ回目のステップＳ４で取得した画素数Ｎ１（ｎ）、比Ｒｎ、又は画素数Ｎ３（ｎ）（若しくは距離ｄｎ）が、第ｎ－１回目のステップＳ４で取得した画素数Ｎ１（ｎ－１）、比Ｒｎ－１、又は画素数Ｎ３（ｎ－１）（若しくは距離ｄｎ－１）よりも小さく（若しくは大きく）なったとする。
【0057】
この場合、第ｎ回目のステップＳ５において、プロセッサ１４は、投影面ＰＰの座標ｚを変更する方向を第ｎ－１回目から反転させ、座標ｚを、ｚ軸マイナス方向へ変更すべく、ｚ－δ１とする。この構成により、ステップＳ４でＹＥＳと判定するまでのサイクルタイムを縮減できる。さらに他の例として、プロセッサ１４は、投影面ＰＰの座標ｚを、このステップＳ５の開始前に指定していない座標値にランダムに設定してもよい。
【0058】
ステップＳ５の後、プロセッサ１４は、ステップＳ３へ戻り、ステップＳ５で変更した座標ｚの位置に投影面ＰＰを設定し、設定した投影面ＰＰで投影画像データＰＤを生成する。そして、ステップＳ４において、直近のステップＳ３で生成した投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致するか否かを判定する。
【0059】
このように、プロセッサ１４は、ステップＳ４でＹＥＳと判定するまで、ステップＳ３～Ｓ５のループを繰り返し実行することによって、第１投影位置と第２投影位置とが一致する投影面ＰＤ３を検索する。したがって、本実施形態においては、プロセッサ１４は、投影面ＰＤ３を検索する投影面検索部３０（図１）として機能する。
【0060】
ステップＳ６において、プロセッサ１４は、ステップＳ４でＹＥＳと判定した投影面ＰＰ３の、基準座標系ＣＲにおける位置データを取得する。本実施形態においては、プロセッサ１４は、投影面ＰＰ３の位置データとして、基準座標系ＣＲのｚ軸座標ｚ０を取得し、メモリ１６に記憶する。したがって、プロセッサ１４は、位置データ（座標ｚ０）を取得する位置データ取得部３２（図１）として機能する。
【0061】
ここで、ステップＳ４でＹＥＳと判定した投影面ＰＰ３の位置は、基準座標系ＣＲにおけるワークＷの表面ＷＳの位置に一致していると見做すことができる。したがって、このステップＳ６で取得した位置データ（座標ｚ０）は、検出対象部である表面ＷＳの、基準座標系ＣＲの位置（具体的には、ｚ軸の位置）を示すデータとなる。
【0062】
以上のように、本実施形態においては、プロセッサ１４は、ステップＳ３で生成した投影画像データＰＤにおいて第１投影位置と第２投影位置とが一致する投影面ＰＰ３を検索している。この構成によれば、基準座標系ＣＲにおいて検出対象部（表面ＷＳ）の位置を示す投影面ＰＰ３を、自動的且つ高精度に検索することができる。
【0063】
また、本実施形態においては、プロセッサ１４は、ステップＳ４でＹＥＳと判定するまでにステップＳ３～Ｓ５の一連の動作を繰り返し実行することによって、投影面ＰＰ３を検索している。この構成によれば、投影面ＰＰ３を、比較的簡単なアルゴリズムで、迅速且つ確実に検索できる。
【0064】
また、本実施形態においては、プロセッサ１４は、検索した投影面ＰＰ３の位置データ（座標ｚ０）を取得している。この構成によれば、ワークＷに対して作業を行うロボットの制御に用いる位置データを、自動で取得することができる。なお、ロボットの制御については、後述する。
【0065】
なお、上述の実施形態においては、プロセッサ１４が、ステップＳ３において、画像データＩＤ１及びＩＤ２から輪郭Ｅの画像データＩＤ１_Ｅ及びＩＤ２_Ｅを抽出し、画像データＩＤ１_Ｅ及びＩＤ２_Ｅを投影面ＰＰに投影させて投影画像データＰＤを生成する場合について述べた。しかしながら、プロセッサ１４は、ステップＳ３において、ワークＷの画像データＩＤ１及びＩＤ２を投影面ＰＰに投影させて投影画像データＰＤを生成してもよい。
【0066】
この場合、投影画像データＰＤには、画像データＩＤ１を投影させたワーク投影画像データＰＷ１と、画像データＩＤ２を投影させたワーク投影画像データＰＷ２とが含まれ、ワーク投影画像データＰＷ１は、輪郭投影画像データＰＥ１を含み、ワーク投影画像データＰＷ２は、輪郭投影画像データＰＥ１を含むことになる。
【0067】
そして、プロセッサ１４は、ステップＳ４において、例えばワークＷの図面データを用いて、ワーク投影画像データＰＷ２から輪郭投影画像データＰＥ１を抽出し、ワーク投影画像データＰＷ２から輪郭投影画像データＰＥ２を抽出し、投影画像データＰＤにおいて輪郭投影画像データＰＥ１の位置と輪郭投影画像データＰＥ２の位置とが一致するか否かを判定してもよい。
【0068】
また、第１の撮像位置Ｐ１に配置されたカメラ１８の視野に、検出対象部である表面ＷＳの全域が入らなかった場合においても、プロセッサ１４は、ステップＳ３及びＳ４のプロセスを実行できる。以下、図９を参照して、この機能について説明する。例えば、ステップＳ１において、カメラ１８が、図９に示す画像データＩＤ１’を撮像したとする。
【0069】
この画像データＩＤ１’においては、表面ＷＳの一部が写っておらず、これにより、輪郭Ｅのうち、部分Ｅ’は画像データＩＤ１’に写っている一方、点線で示す部分Ｅ”は画像データＩＤ１’に写っていない。この場合において、プロセッサ１４は、ステップＳ３において、例えば、ワークＷの図面データから輪郭Ｅのモデル形状を取得し、該モデル形状に基づいて、部分Ｅ”を推定して補完する。
【0070】
そして、プロセッサ１４は、カメラ座標系ＣＣ１において、輪郭Ｅの部分Ｅ’と、推定した部分Ｅ”とを結合し、輪郭Ｅの画像データＩＤ１_Ｅを生成する。このように生成された画像データＩＤ１_Ｅの各画素は、カメラ座標系ＣＣ１の座標として表すことができるので、プロセッサ１４は、該座標を、第１の座標変換データを用いて基準座標系ＣＲへ変換し、該画像データＩＤ１_Ｅの各画素を投影面ＰＰに投影させた投影点の基準座標系ＣＲの座標を演算により求めることができる。
【0071】
こうして、プロセッサ１４は、投影面ＰＰで輪郭投影画像データＰＥ１を生成することができる。同様に、第２の撮像位置Ｐ２に配置されたカメラ２０の視野に表面ＷＳの全域が入らなかった場合においても、プロセッサ１４は、投影面ＰＰで輪郭投影画像データＰＥ２を生成することができる。
【0072】
次に、図１０を参照して、画像処理装置１０の他の機能について説明する。本実施形態においては、画像処理装置１０のＩ／Ｏインターフェース１７に、表示装置４０及び入力装置４２が、有線又は無線で通信可能に接続されている。表示装置４０は、ＬＣＤ又は有機ＥＬディスプレイ等を有し、プロセッサ１４は、Ｉ／Ｏインターフェース１７を介して、表示装置４０に画像データを送信し、該表示装置４０に画像を表示させる。
【0073】
入力装置４２は、キーボード、マウス、又はタッチセンサ等を有し、オペレータが入力した入力情報を、Ｉ／Ｏインターフェース１７を介してプロセッサ１４へ送信する。なお、表示装置４０及び入力装置４２は、画像処理装置１０に一体に設けられてもよいし、画像処理装置１０とは別体として設けられてもよい。
【0074】
次に、図１１を参照して、画像処理装置１０の動作の他の形態について説明する。なお、図１１に示すフローにおいて、図５に示すフローと同様のプロセスには同じステップ番号を付し、重複する説明を省略する。ステップＳ１１において、プロセッサ１４は、検証画像データＶＤを生成する。検証画像データＶＤの画像の一例を、図１２に示す。
【0075】
図１２に示す検証画像データＶＤにおいては、後述のステップＳ２２で生成する投影画像データＰＤの画像を表示する投影画像領域４４と、オペレータが情報を入力するための入力画像領域４６とが、並べて表示されている。入力画像領域４６は、自動検索ボタン画像４８、マニュアルモードボタン画像５０、位置データ取得ボタン画像５２、及び動作終了ボタン画像５４を有する。なお、入力画像領域４６の機能については、後述する。プロセッサ１４は、このステップＳ１１において、検証画像データＶＤを生成し、表示装置４０に表示させる。このように、本実施形態においては、プロセッサ１４は、検証画像データＶＤを生成する検証画像生成部３４（図１０）として機能する。
【0076】
ステップＳ１２において、プロセッサ１４は、自動検索ボタンとマニュアルモードボタンのいずれの入力を受け付けたかを判定する。例えば、オペレータは、表示装置４０に表示される検証画像データＶＤを視認しつつ、入力装置４２を操作して、自動検索ボタン画像４８をクリックする。そうすると、プロセッサ１４は、自動検索ボタンの入力を受け付けてＹＥＳと判定し、画像処理装置１０の動作モードを自動検索モードに移行させ、ステップＳ１３へ進む。
【0077】
一方、オペレータが、入力装置４２を操作してマニュアルモードボタン画像５０をクリックした場合、プロセッサ１４は、マニュアルモードボタンの入力を受け付けてＮＯと判定し、画像処理装置１０の動作モードをマニュアルモードに移行させ、入力画像領域４６に入力画像５６を、例えばプルダウン形式の画像として表示させ、ステップＳ１６へ進む。入力画像５６は、ステップＳ１６のマニュアルモードにおいてオペレータが投影面ＰＰの位置の入力情報を手動で入力するための画像である。なお、入力画像５６の機能については、後述する。
【0078】
ステップ１３において、プロセッサ１４は、後述のステップＳ４でＮＯと判定した回数「ｍ」を「ゼロ」にセットする。その後、プロセッサ１４は、ステップＳ１～Ｓ４を実行する。ステップＳ４でＮＯと判定した場合、ステップＳ１４において、プロセッサ１４は、ステップＳ４でＮＯと判定した回数「ｍ」を、「１」だけインクリメントする（ｍ＝ｍ＋１）。
【0079】
ステップＳ１５において、プロセッサ１４は、回数「ｍ」が、予め定めた回数ｍＭＡＸ（例えば、ｍＭＡＸ＝５０）に達したか否かを判定する。プロセッサ１４は、回数ｍ＝ｍＭＡＸとなった場合にＹＥＳと判定し、検証画像データＶＤにおいて、入力画像領域４６に入力画像５６を表示させて、ステップＳ１６へ進む。
【0080】
このとき、プロセッサ１４は、例えば「投影面を検索できませんでした」という画像又は音声の形式のアラーム信号を生成し、表示装置４０又はスピーカ（図示せず）を通してオペレータに報知してもよい。一方、プロセッサ１４は、回数ｍ＜ｍＭＡＸである場合にＮＯと判定し、ステップＳ５へ進む。このように、本実施形態においては、プロセッサ１４は、回数ｍがｍＭＡＸに達するまで、ステップＳ３、Ｓ４及びＳ５を繰り返し実行し、投影面ＰＰ３を自動で検索する。
【0081】
一方、ステップＳ１２でＮＯと判定した場合、又は、ステップＳ１５でＹＥＳと判定した場合、ステップＳ１６において、プロセッサ１４は、マニュアルモードフローを実行する。このステップＳ１６について、図１３を参照して説明する。マニュアルモードの開始後、ステップＳ２１において、プロセッサ１４は、投影面ＰＰの位置の入力情報を受け付けたか否かを判定する。例えば、オペレータは、表示装置４０に表示される検証画像データＶＤを視認しつつ、入力装置４２を操作して、入力画像５６に投影面ＰＰの位置の入力情報を入力する。
【0082】
本実施形態においては、入力画像５６は、数値入力画像５８、変更入力画像６０及び６２を有する。数値入力画像５８は、後述のステップＳ２２で設定すべき投影面ＰＰの位置として、基準座標系ＣＲのｚ軸の座標ｚの値を任意に入力するための画像である。なお、数値入力画像５８は、現時点で設定されている座標ｚを表示してもよい。
【0083】
変更入力画像６０は、後述のステップＳ２２で設定すべき投影面ＰＰの座標ｚを、ｚ軸プラス方向へ所定の値δ２（例えば、δ２＝１）だけ増加させる（ｚ＝ｚ＋δ２）ための画像である。一方、変更入力画像６２は、投影面ＰＰの座標ｚを、ｚ軸マイナス方向へ所定の値δ２だけ減少させる（ｚ＝ｚ－δ２）ための画像である。
【0084】
例えば、オペレータは、数値入力画像５８に、設定すべき投影面ＰＰの座標ｚを、ｚ＝１００のような座標値の入力情報として、入力する。又は、オペレータは、入力装置４２を操作して、変更入力画像６０又は６２をクリックし、投影面ＰＰの座標ｚを、現時点で設定されている座標ｚから値δ２だけ増加又は減少させる入力情報（ｚ＝ｚ＋δ２、ｚ＝ｚ－δ２）を入力する。
【0085】
オペレータが投影面ＰＰの座標ｚの入力情報（ｚ＝１００、ｚ＝ｚ＋δ２、又は、ｚ＝ｚ－δ２）を入力すると、Ｉ／Ｏインターフェース１７は、入力装置４２から該入力情報を受け付ける。このように、本実施形態においては、Ｉ／Ｏインターフェース１７は、投影面ＰＰの位置（座標ｚ）の入力情報を受け付ける入力受付部３６（図１０）として機能する。
【0086】
プロセッサ１４は、Ｉ／Ｏインターフェース１７を介して入力情報を取得すると、このステップＳ２１でＹＥＳと判定し、取得した入力情報をメモリ１６に記憶して、ステップＳ２２へ進む。一方、プロセッサ１４は、Ｉ／Ｏインターフェース１７が入力情報を受け付けていない場合はＮＯと判定し、ステップＳ２７へ進む。
【0087】
ステップＳ２２において、プロセッサ１４は、直近のステップＳ２１で受け付けた座標ｚの位置に投影面ＰＰを設定し、上述のステップＳ３と同様の方法で、投影画像データＰＤを生成する。そして、プロセッサ１４は、生成した投影画像データＰＤを、検証画像データＶＤの投影画像領域４４に表示する。投影画像領域４４に表示された投影画像データＰＤを視認することで、オペレータは、入力画像５６に入力した位置（ｚ座標）の投影面ＰＰで生成した投影画像データＰＤにおいて、第１投影位置と第２投影位置とが一致しているか否かを判断できる。
【0088】
ステップＳ２３において、プロセッサ１４は、位置データ取得ボタンの入力を受け付けたか否かを判定する。例えば、オペレータは、ステップＳ２２で投影画像領域４４に表示された投影画像データＰＤにおいて、第１投影位置と第２投影位置とが一致していると判断した場合、入力装置４２を操作して、位置データ取得ボタン画像５２をクリックする。そうすると、プロセッサ１４は、位置データ取得ボタンの入力を受け付けてＹＥＳと判定し、ステップＳ２４へ進む。一方、位置データ取得ボタンの入力を受け付けていない場合はＮＯと判定し、ステップＳ２５へ進む。
【0089】
ステップＳ２４において、プロセッサ１４は、位置データ取得部３２として機能し、ステップＳ２３でＹＥＳと判定した投影面ＰＰ３の位置データ（座標ｚ０）を取得し、メモリ１６に記憶する。一方、ステップＳ２３でＮＯと判定した場合、ステップＳ２５において、プロセッサ１４は、動作終了ボタンの入力を受け付けたか否かを判定する。
【0090】
例えば、オペレータは、入力装置４２を操作して、動作終了ボタン画像５４をクリックする。そうすると、プロセッサ１４は、動作終了ボタンの入力を受け付けてＹＥＳと判定し、ステップＳ１６を終了し、以って、図１１に示すフローを終了する。一方、プロセッサ１４は、動作終了ボタンの入力を受け付けていない場合はＮＯと判定し、ステップＳ２６へ進む。
【0091】
ステップＳ２６において、プロセッサ１４は、上述のステップＳ２１と同様に、投影面ＰＰの位置の入力情報を受け付けたか否かを判定する。プロセッサ１４は、ＹＥＳと判定した場合はステップＳ２２へ戻る一方、ＮＯと判定した場合はステップＳ２３へ戻る。一方、ステップＳ２１でＮＯと判定した場合、プロセッサ１４は、上述のステップＳ２５と同様に、動作終了ボタンの入力を受け付けたか否かを判定する。プロセッサ１４は、ＹＥＳと判定した場合は、ステップＳ１６を終了し、以って、図１１に示すフローを終了する。一方、プロセッサ１４は、ＮＯと判定した場合はステップＳ２１へ戻る。
【0092】
以上のように、本実施形態においては、プロセッサ１４は、オペレータからのマニュアルモードボタンの入力に応じて、ステップＳ１６のマニュアルモードへ移行し、オペレータが手動で入力した位置に設定した投影面ＰＰで投影画像データＰＤを生成し、表示装置４０に表示させている。この構成によれば、オペレータは、第１投影位置と第２投影位置とが一致する投影面ＰＰ３を、手動で検索できる。この機能は、例えば、オペレータが自らの経験則により投影面ＰＰ３を検索したい場合等に、有利である。
【0093】
また、本実施形態においては、プロセッサ１４は、ステップＳ４でＮＯと判定した回数ｍがｍＭＡＸに達した場合、ステップＳ１６のマニュアルモードへ移行している。この構成によれば、プロセッサ１４が、何らかの理由（例えば、画像データに検出対象部が鮮明に写っていない等の理由）により、投影面ＰＰ３を検索できなかった場合に、オペレータが投影面ＰＰ３を手動で検索できるようになる。
【0094】
なお、検証画像データＶＤから自動検索ボタン画像４８を省略してもよい。この場合において、プロセッサ１４は、図１１に示すフローにおいて、ステップＳ１１の後に、自動検索モードに移行することなく、ステップＳ１６を実行するように構成されてもよい。また、図１２に示す検証画像データＶＤにおいては、投影画像領域４４及び入力画像領域４６が、紙面左右方向に並んで表示されている場合を例示したが、例えば紙面上下方向に並んで表示されてもよいし、如何なる配置に表示されてもよい。
【0095】
同様に、入力画像領域４６において、自動検索ボタン画像４８、マニュアルモードボタン画像５０、位置データ取得ボタン画像５２、動作終了ボタン画像５４、数値入力画像５８、変更入力画像６０及び６２は、如何なる配置に表示されてもよい。また、自動検索ボタン画像４８、マニュアルモードボタン画像５０、位置データ取得ボタン画像５２、動作終了ボタン画像５４、数値入力画像５８、変更入力画像６０及び６２の少なくとも１つを省略し、省略した画像への入力を、入力装置４２の所定の操作（コマンド入力、割り当てキー操作等）によって実行するように構成されてもよい。
【0096】
次に、図１４及び図１５を参照して、一実施形態に係るロボットシステム７０について説明する。ロボットシステム７０は、制御装置７２、ロボット７４、画像処理装置１０、カメラ１８及び２０、表示装置４０、及び入力装置４２を備える。制御装置７２は、ロボット７４、カメラ１８及び２０の動作を制御する。
【0097】
本実施形態においては、ロボット７４は、垂直多関節ロボットであって、ロボットベース７６、旋回胴７８、ロボットアーム８０、手首部８２、及びエンドエフェクタ８４を有する。ロボットベース７６は、ワークセルの床に固定されている。旋回胴７８は、ロボットベース７６に鉛直軸周りに旋回可能に設けられている。
【0098】
ロボットアーム８０は、旋回胴７８に回動可能に取り付けられた下腕部８６と、該下腕部８６の先端部に回動可能に取り付けられた上腕部８８とを有する。手首部８２は、上腕部８８の先端部に連結され、エンドエフェクタ８４を回動可能に支持する。エンドエフェクタ８４は、ロボットハンド、切削工具、レーザ加工ヘッド、溶接トーチ、又は塗料塗布器等であって、ワークＷに対して所定の作業（ハンドリング、切削加工、レーザ加工、溶接、塗工等）を行う。
【0099】
ロボット７４の各コンポーネント（ロボットベース７６、旋回胴７８、ロボットアーム８０、手首部８２）には、サーボモータが内蔵されている。サーボモータは、プロセッサ１４からの指令に応じて、ロボット７４の各可動コンポーネント（旋回胴７８、ロボットアーム８０、手首部８２）を動作させる。
【0100】
本実施形態においては、画像処理装置１０は、制御装置７２に実装されている。すなわち、制御装置７２は、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１７を有するコンピュータであって、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１７は、画像処理装置１０を構成する。
【0101】
プロセッサ１４は、ロボット７４によってワークＷに作業を行う前に、図５又は図１１に示すフローを実行し、ステップＳ６又はＳ２４で投影面ＰＰ３の位置データ（座標ｚ０）を取得する。また、プロセッサ１４は、ステップＳ１で取得した画像データＩＤ１（又はＩＤ２）に写る表面ＷＳの輪郭Ｅの特徴点（具体的には、中心点）の、該画像データＩＤ１（又はＩＤ２）における位置（すなわち、特徴点に対応する画素の位置）を特定する。そして、プロセッサ１４は、画像データＩＤ１（又はＩＤ２）における該特徴点の位置の情報と、カメラ１８（又は２０）の内部パラメータとを用いて、該特徴点のカメラ座標系ＣＣ１（又はＣＣ２）における座標（ｘＣ，ｙＣ）を取得する。
【0102】
そして、プロセッサ１４は、取得した位置データ（座標ｚ０）と、第１の座標変換データ（又は第２の座標変換データ）とを用いて、カメラ座標系ＣＣ１の座標（ｘＣ，ｙＣ）を、基準座標系ＣＲにおける投影面ＰＰ３の位置（ｚ＝ｚ０の位置）に変換し、基準座標系ＣＲの座標（ｘＲ，ｙＲ，ｚ０）を取得する。この座標（ｘＲ，ｙＲ，ｚ０）は、基準座標系ＣＲにおける表面ＷＳの特徴点（中心点ＣＰ１、ＣＰ２）の位置を示すデータとなる。
【0103】
代替的には、プロセッサ１４は、ステップＳ４でＹＥＳと判定した投影画像データＰＤ３を画像処理し、輪郭投影画像データＰＥ１又はＰＥ２の特徴点ＣＰ１又はＣＰ２を特定し、該特徴点ＣＰ１又はＣＰ２の基準座標系ＣＲのｘ－ｙ平面の座標（ｘＲ，ｙＲ）を取得してもよい。そして、プロセッサ１４は、取得した位置データ（座標ｚ０）と、座標（ｘＲ，ｙＲ）とから、座標（ｘＲ，ｙＲ，ｚ０）を取得してもよい。
【0104】
そして、プロセッサ１４は、基準座標系ＣＲにおける表面ＷＳの位置：座標（ｘＲ，ｙＲ，ｚ０）に基づいてロボット７４を制御し、該ロボット７４のエンドエフェクタ８４よってワークＷ（例えば、表面ＷＳ）に対して所定の作業を行う。本実施形態によれば、撮像位置Ｐ１及びＰ２でカメラ１８及び２０が撮像した画像データＩＤ１及びＩＤ２から、ワークＷの表面ＷＳの位置：座標（ｘＲ，ｙＲ，ｚ０）を取得し、該位置に基づいてロボット７４を制御することによって、ワークＷに対する作業を正確に実行することができる。
【0105】
なお、ロボットシステム７０において、制御装置７２と画像処理装置１０とを別体として構成することもできる。この場合、制御装置７２は、プロセッサ及びメモリを有する１つのコンピュータであって、画像処理装置１０に通信可能に接続される。そして、画像処理装置１０のプロセッサ１４は、ステップＳ６又はＳ２４で投影面ＰＰ３の位置データ（座標ｚ０）を取得したときに、該位置データを制御装置７２に送信してもよい。
【0106】
また、１つのカメラ１８を用いて、図５又は図１１に示すフローを実行することもできる。このような形態を図１６に示す。図１６に示すロボットシステム７０’においては、上述のカメラ２０が設けられておらず、カメラ１８が、ロボット７４のエンドエフェクタ８４に設置されている。
【0107】
本実施形態においては、カメラ１８は、ロボット７４の手先（又は、ＴＣＰ）に対して、キャリブレーションにより既知の位置関係に配置されている。したがって、制御装置７２は、基準座標系ＣＲにおけるカメラ１８の位置及び姿勢（すなわち、カメラ座標系ＣＣ１の原点位置及び各軸の方向）を認識できるようになっている。
【0108】
ロボットシステム７０’において図５又は図１１に示すフローを実行する場合、プロセッサ１４は、ステップＳ１において、ロボット７４を動作させて、カメラ１８を第１の撮像位置Ｐ１に配置し、カメラ１８によって画像データＩＤ１を撮像する。また、プロセッサ１４は、ロボット７４を動作させて、カメラ１８を第２の撮像位置Ｐ２に配置し、カメラ１８によって画像データＩＤ２を撮像する。このように、１つのカメラ１８を複数の撮像位置Ｐ１、Ｐ２に配置して撮像した画像データＩＤ１、ＩＤ２を用いて、図５又は図１１に示すフローを実行し、投影面ＰＰ３を検索することができる。
【0109】
なお、上述の画像処理装置１０から、位置データ取得部３２を省略することもできる。例えば、画像処理装置１０の投影面検索部３０が投影面ＰＰ３を検索したときに、オペレータが手動で投影面ＰＰ３の位置データ（座標ｚ０）を取得してもよい。また、画像処理装置１０から、メモリ１６又はＩ／Ｏインターフェース１７を省略してもよい。
【0110】
また、上述の実施形態においては、プロセッサ１４が、ステップＳ３、Ｓ４及びＳ５を実行することによって投影面ＰＰ３を検索する場合について述べた。しかしながら、投影面ＰＰ３を検索する方法は、ステップＳ３、Ｓ４及びＳ５に限定されない。例えば、プロセッサ１４は、複数の位置（座標ｚ０、ｚ１、ｚ２、・・・ｚｎ）に設定した複数の投影面ＰＰ１、ＰＰ２、ＰＰ３、・・・ＰＰｎの各々で投影画像データＰＤ１、ＰＤ２、ＰＤ３、・・・ＰＤｎを生成し、メモリ１６に記憶する。
【0111】
次いで、プロセッサ１４は、これら複数の投影画像データＰＤ１、ＰＤ２、ＰＤ３、・・・ＰＤｎの各々において、第１投影位置と第２投影位置とが一致しているか否かを順に判定することによって、投影面ＰＰ３を検索してもよい。上述の実施形態においては、検出対象部が表面ＷＳである場合について述べたが、これに限らず、物体（ワークＷ）の側面に形成されるエッジ、凸部、凹部等、如何なる構造のものであってもよい。
【0112】
また、表面ＷＳは、円形に限らず、楕円形、多角形等、如何なる形状であってもよい。また、表面ＷＳは、基準座標系ＣＲのｘ－ｙ平面に対して傾斜してもよい。この場合において、プロセッサ１４は、上述のステップＳ３又はＳ２２において、投影面ＰＰを表面ＷＳと平行に設定してもよい。
【0113】
また、第１の撮像位置Ｐ１及び第２の撮像位置Ｐ１は、図２に示す位置に限定されず、如何なる位置であってもよい。また、計ｎ個（ｎは３以上の正数）のカメラを、それぞれ、第１の撮像位置Ｐ１、第２の撮像位置Ｐ２、・・・第ｎの撮像位置Ｐｎに配置させて、画像データＩＤ１、ＩＤ２、・・・ＩＤｎを撮像させ、これら画像データＩＤ１、ＩＤ２、・・・ＩＤｎを用いて、図５又は図１１に示すフローを実行し、投影面ＰＰ３を検索することもできる。以上、実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。
【符号の説明】
【0114】
１０ 画像処理装置
１４ プロセッサ
１８，２０ カメラ
２６ 画像取得部
２８ 投影画像生成部
３０ 投影面検索部
３２ 位置データ取得部
３４ 検証画像生成部
３６ 入力受付部
７０，７０’ ロボットシステム
７２ 制御装置
７４ ロボット
１４ プロセッサ
１８，２０ カメラ
２６ 画像取得部
２８ 投影画像生成部
３０ 投影面検索部
３２ 位置データ取得部
３４ 検証画像生成部
３６ 入力受付部
７０，７０’ ロボットシステム
７２ 制御装置
７４ ロボット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】