知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】画像処理装置、ロボットシステム、及び画像処理方法
(51)【国際特許分類】
B25J 13/08 20060101AFI20240625BHJP
【ＦＩ】
B25J13/08 A
【請求項の数】
9
(21)【出願番号】P 2019234841
(22)【出願日】2019-12-25
(65)【公開番号】P2021102253
(43)【公開日】2021-07-15
【審査請求日】2022-10-21
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100112357
【弁理士】
【氏名又は名称】廣瀬 繁樹
(72)【発明者】
【氏名】和田 潤
【審査官】杉山 悟史
(56)【参考文献】
【文献】米国特許出願公開第２００３／００３８８７５（ＵＳ，Ａ１）
【文献】特開２０１０－２１０５８５（ＪＰ，Ａ）
【文献】特開２０１１－１１２４０１（ＪＰ，Ａ）
【文献】特開平１１－３３３７７０（ＪＰ，Ａ）
【文献】特開平０８－２１０８４７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ ～ ２１／０２
(57)【特許請求の範囲】
【請求項1】
予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得する画像取得部と、第１の前記撮像位置で撮像された第１の前記画像データに写る前記検出対象部の第１輪郭と、第２の前記撮像位置で撮像された第２の前記画像データに写る前記検出対象部の第２輪郭とを、前記検出対象部の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部と、
前記投影画像生成部が生成した前記投影画像データにおいて、前記第１輪郭の投影画像データと、前記第２輪郭の投影画像データとが重複して投影された重複投影画像データを検出する重複検出部と、を備える、画像処理装置。
【請求項2】
予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得する画像取得部と、
第１の前記撮像位置で撮像された第１の前記画像データと、第２の前記撮像位置で撮像された第２の前記画像データとを、前記検出対象部の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部と、
前記投影画像生成部が生成した前記投影画像データにおいて、前記第１の画像データに写る前記検出対象部と、前記第２の画像データに写る前記検出対象部とが重複して投影された重複投影画像データを検出する重複検出部と、を備え、
前記投影画像生成部は、前記重複検出部が検出した前記重複投影画像データのみが写る第２の投影画像データをさらに生成する、画像処理装置。
【請求項3】
前記検出対象部の前記位置の情報を受け付ける情報受付部をさらに備え、前記投影画像生成部は、前記情報受付部が受け付けた前記位置に前記投影面を設定して前記投影画像データを生成する、請求項１又は２に記載の画像処理装置。
【請求項4】
前記情報受付部は、前記情報を入力可能な入力装置から該情報を受け付けるか、又は、
前記検出対象部の前記位置を測定する位置測定器から前記情報を受け付ける、請求項３に記載の画像処理装置。
【請求項5】
前記検出対象部は、平面であって、前記投影面は、前記平面と平行に設定される、請求項１～４のいずれか１項に記載の画像処理装置。
【請求項6】
各々の前記撮像位置は、基準座標系に対して既知の位置関係となるように定められ、前記画像処理装置は、前記重複検出部が検出した前記重複投影画像データに基づいて、前記基準座標系における前記検出対象部の位置データを取得する位置データ取得部をさらに備える、請求項１～５のいずれか１項に記載の画像処理装置。
【請求項7】
請求項６に記載の画像処理装置と、前記カメラと、
前記検出対象部を有するワークに対して作業を行うロボットと、
前記位置データ取得部が取得した前記位置データに基づいて、前記作業を実行させるように前記ロボットを制御する制御装置と、を備える、ロボットシステム。
【請求項8】
前記第１の撮像位置で前記第１の画像データを撮像する第１の前記カメラと、前記第２の撮像位置で前記第２の画像データを撮像する第２の前記カメラと、を備える、請求項７に記載のロボットシステム。
【請求項9】
予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得し、第１の前記撮像位置で撮像された第１の前記画像データに写る前記検出対象部の第１輪郭と、第２の前記撮像位置で撮像された第２の前記画像データに写る前記検出対象部の第２輪郭とを、前記検出対象部の位置に設定された投影面に投影させた投影画像データを生成し、
生成した前記投影画像データにおいて、前記第１輪郭の投影画像データと、前記第２輪郭の投影画像データとが重複して投影された重複投影画像データを検出する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、ロボットシステム、及び画像処理方法に関する。
【背景技術】
【0002】
複数の撮像位置で撮像した画像データから、所定の位置にある被写体を抽出する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平０８－２１０８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、産業機械の分野において、様々な部材が存在するワークセルをカメラで撮像した画像データにおいて、作業対象となる検出対象部を正確に検出する技術が求められている。
【課題を解決するための手段】
【0005】
本開示の一態様において、画像処理装置は、予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得する画像取得部と、第１の撮像位置で撮像された第１の画像データと、第２の撮像位置で撮像された第２の画像データとを、検出対象部の位置に設定された投影面に投影させた投影画像データを生成する投影画像生成部と、投影画像生成部が生成した投影画像データにおいて、第１の画像データに写る検出対象部と、第２の画像データに写る検出対象部とが重複して投影された重複投影画像データを検出する重複検出部とを備える。
【0006】
本開示の他の態様において、画像処理方法は、予め定めた複数の撮像位置に配置されたカメラによって検出対象部を撮像した画像データを取得し、第１の撮像位置で撮像された第１の画像データと、第２の撮像位置で撮像された第２の画像データとを、検出対象部の位置に設定された投影面に投影させた投影画像データを生成し、生成した投影画像データにおいて、第１の画像データに写る検出対象部と、第２の画像データに写る検出対象部とが重複して投影された重複投影画像データを検出する。
【発明の効果】
【0007】
本開示によれば、仮に、ワークセル内に、検出対象部以外の物体が存在していたとしても、該物体を誤検出してしまうのを防止し、検出対象部を示す重複投影画像データを、確実且つ自動的に検出することができる。
【図面の簡単な説明】
【0008】
【図1】一実施形態に係る画像処理装置、カメラ、及び位置測定器のブロック図である。
【図2】複数のカメラが撮像位置に配置された状態を示している。
【図4】第１の撮像位置に配置されたカメラが撮像した画像データの画像の一例である。
【図5】第２の撮像位置に配置されたカメラが撮像した画像データの画像の一例である。
【図6】投影画像データの画像の一例を示す。
【図7】第２の投影画像データの画像の一例を示す。
【図8】第１の撮像位置に配置されたカメラが撮像した画像データの画像の他の例である。
【図9】第２の撮像位置に配置されたカメラが撮像した画像データの画像の他の例である。
【図10】第１の撮像位置に配置されたカメラが撮像した画像データの画像のさらに他の例である。
【図11】第２の撮像位置に配置されたカメラが撮像した画像データの画像のさらに他の例である。
【図12】投影画像データの画像の一例を示す。
【図14】他の実施形態に係る画像処理装置、カメラ、及び位置測定器のブロック図である。
【図15】一実施形態に係るロボットシステムのブロック図である。
【図17】他の実施形態に係るロボットシステムの図である。
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する種々の実施形態において、同様の要素には同じ符号を付し、重複する説明を省略する。まず、図１を参照して、一実施形態に係る画像処理装置１０について説明する。画像処理装置１０は、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１８を有するコンピュータである。
【0010】
プロセッサ１４は、ＣＰＵ又はＧＰＵ等を有し、メモリ１６及びＩ／Ｏインターフェース１８とバス２０を介して通信可能に接続されている。プロセッサ１４は、メモリ１６及びＩ／Ｏインターフェース１８と通信しつつ、後述する画像処理装置１０の機能を実行するための演算処理を行う。メモリ１６は、ＲＯＭ又はＲＡＭ等を有し、各種データを一時的又は恒久的に記憶する。Ｉ／Ｏインターフェース１８は、イーサネット（登録商標）ポート、ＵＳＢポート、又はＨＤＭＩ（登録商標）端子等を有し、プロセッサ１４の指令の下、外部機器とデータを通信する。
【0011】
本実施形態においては、画像処理装置１０のＩ／Ｏインターフェース１８に、複数のカメラ２２及び２４と、位置測定器２６とが、無線又は有線で通信可能に接続されている。図２に示すように、カメラ２２及び２４は、同じ構成を有し、光学レンズ２８（フォーカスレンズ等）、及び撮像センサ３０（ＣＣＤ、ＣＭＯＳ等）を有する。
【0012】
カメラ２２には、カメラ座標系ＣＣ１が設定されている。カメラ座標系ＣＣ１は、カメラ２２が撮像する画像データの各画素の座標を規定する座標系である。カメラ座標系ＣＣ１は、そのｘ－ｙ平面が、カメラ２２の視線方向と直交するように、該カメラ２２に対して設定されている。カメラ２２は、予め定めた第１の撮像位置Ｐ１に配置されている。カメラ２２は、第１の撮像位置Ｐ１に配置された状態でワークＷを撮像する。
【0013】
一方、カメラ２４には、カメラ座標系ＣＣ２が設定されている。カメラ座標系ＣＣ２は、カメラ２４が撮像する画像データの各画素の座標を規定する座標系である。カメラ座標系ＣＣ２は、そのｘ－ｙ平面が、カメラ２４の視線方向と直交するように、該カメラ２４に対して設定されている。
【0014】
カメラ２４は、予め定めた第２の撮像位置Ｐ２に配置されている。カメラ２４は、第２の撮像位置Ｐ２に配置された状態でワークＷを撮像する。なお、本稿において、「撮像位置」とは、カメラ２２、２４の３次元空間内の位置と、該カメラ２２、２４の姿勢（すなわち、視線方向）とを意味することがある。
【0015】
したがって、第１の撮像位置Ｐ１は、該第１の撮像位置Ｐ１に配置されたカメラ２２のカメラ座標系ＣＣ１の原点位置及び各軸の方向によって、表すことができる。同様に、第２の撮像位置Ｐ２は、該第２の撮像位置Ｐ２に配置されたカメラ２４のカメラ座標系ＣＣ２の原点位置及び各軸の方向によって、表すことができる。
【0016】
以下の説明においては、第１の撮像位置Ｐ１は、該第１の撮像位置Ｐ１に配置されたカメラ２２のカメラ座標系ＣＣ１の原点位置及び各軸の方向を示すことがあり、また、第２の撮像位置Ｐ２は、該第２の撮像位置Ｐ２に配置されたカメラ２４のカメラ座標系ＣＣ２の原点位置及び各軸の方向を示すことがある。
【0017】
ワークＷは、ワークセル内の予め定められた位置に設置されている。本実施形態においては、ワークＷは、円柱状であって、その頂端に表面ＷＳ（検出対象部）を有する。本実施形態においては、表面ＷＳは、円形の輪郭（又はエッジ）Ｅを有する平面である。一方、ワークセルの３次元空間には、基準座標系ＣＲが設定されている。基準座標系ＣＲは、３次元空間内に固定された固定座標系である。
【0018】
基準座標系ＣＲは、例えば、ワークセルの３次元空間を規定するワールド座標系、ワークＷに対して設定されるワーク座標系、又は、後述するロボットに対して設定されるロボット座標系等である。本実施形態においては、ワークＷは、その表面ＷＳが基準座標系ＣＲのｘ－ｙ平面と略平行となるように、固定されている。一方、ワークＷとは別の位置に、表面ＷＳに類似する形状を有する非検出対象部ＮＷが存在している。この非検出対象部ＮＷは、例えば、ワークセル内の物体に形成された模様等である。
【0019】
第１の撮像位置Ｐ１と基準座標系ＣＲとの位置関係は、キャリブレーションによって既知とされている。したがって、第１の撮像位置Ｐ１（すなわち、図２中のカメラ座標系ＣＣ１の原点位置及び各軸の方向）は、基準座標系ＣＲの座標及びベクトル（又は関数）として、表される。カメラ座標系ＣＣ１の座標と基準座標系ＣＲの座標とは、第１の座標変換データを介して、相互に変換可能となっている。この第１の座標変換データは、例えばヤコビ行列であって、第１の撮像位置Ｐ１と基準座標系ＣＲとのキャリブレーションによって取得され得る。
【0020】
同様に、第２の撮像位置Ｐ２と基準座標系ＣＲとの位置関係は、キャリブレーションによって既知とされている。したがって、カメラ座標系ＣＣ２の座標と基準座標系ＣＲの座標とは、第２の座標変換データを介して、相互に変換可能となっている。この第２の座標変換データは、例えばヤコビ行列であって、第２の撮像位置Ｐ２と基準座標系ＣＲとのキャリブレーションによって取得され得る。
【0021】
第１の撮像位置Ｐ１に配置されたカメラ２２がワークＷを撮像すると、ワークＷからの光（すなわち、被写体像）Ａ１は、カメラ２２の光学レンズ２８によって導光されて、撮像センサ３０に結像される。また、非検出対象部ＮＷからの光（被写体像）Ａ２も、カメラ２２の光学レンズ２８によって導光されて、撮像センサ３０に結像される。
【0022】
撮像センサ３０は、受光した被写体像Ａ１及びＡ２を光電変換し、画像データＩＤ１を生成する。こうして、カメラ２２は、ワークＷの画像データＩＤ１を撮像する。画像データＩＤ１の画像の一例を、図４に示す。画像データＩＤ１には、非検出対象部ＮＷとともに、表面ＷＳの輪郭Ｅが見えるようにワークＷが写っている。画像データＩＤ１の各画素は、カメラ座標系ＣＣ１の座標として表される。
【0023】
同様に、第２の撮像位置Ｐ２に配置されたカメラ２４がワークＷを撮像すると、ワークＷからの光（被写体像）Ａ３は、カメラ２４の光学レンズ２８によって導光されて、撮像センサ３０に結像される。また、非検出対象部ＮＷからの光（被写体像）Ａ４も、カメラ２４の光学レンズ２８によって導光されて、撮像センサ３０に結像される。
【0024】
撮像センサ３０は、受光した被写体像Ａ３及びＡ４を光電変換し、画像データＩＤ２を生成する。こうして、カメラ２４は、ワークＷの画像データＩＤ２を撮像する。画像データＩＤ２の画像の一例を、図５に示す。画像データＩＤ２には、非検出対象部ＮＷとともに表面ＷＳの輪郭Ｅが見えるようにワークＷが画像データＩＤ１とは異なる位置に写っている。画像データＩＤ２の各画素は、カメラ座標系ＣＣ２の座標として表される。なお、図２中の被写体像Ａ１及びＡ３は、ワークＷの表面ＷＳ（具体的には、輪郭Ｅ）の光路をそれぞれ示している。
【0025】
位置測定器２６は、表面ＷＳの位置を測定する。例えば、位置測定器２６は、物体へレーザ光を出射するレーザ出射部と、該物体で反射されたレーザ光を受光する受光部（ともに図示せず）とを有し、三角測距方式により、該物体までの距離を測定する。代替的には、位置測定器２６は、２つのカメラを有し、該２つのカメラで撮像した画像から物体までの距離を測定してもよい。
【0026】
本実施形態においては、位置測定器２６は、カメラ２２に一体に設けられている。すなわち、カメラ２２及び位置測定器２６は、物体を撮像するとともに該物体までの距離を測定する３次元視覚センサを構成する。位置測定器２６は、カメラ２２とともに第１の撮像位置Ｐ１に配置された状態で、第１の撮像位置Ｐ１からワークＷの表面ＷＳまでの距離ｄ１を測定する。
【0027】
一方、第１の撮像位置Ｐ１と基準座標系ＣＲの原点との距離ｄ０は、既知となっている。したがって、既知の距離ｄ０と、位置測定器２６が測定した距離ｄ１とから、表面ＷＳの、基準座標系ＣＲのｚ軸方向の位置を求めることができる。図２に示す例では、表面ＷＳは、基準座標系ＣＲのｚ軸座標ｚ＝ｚ０の位置にある。
【0028】
一例として、プロセッサ１４は、位置測定器２６が測定した距離ｄ１を、Ｉ／Ｏインターフェース１８を介して位置測定器２６から取得し、予めメモリに記憶した距離ｄ０と、取得した距離ｄ１とを用いて、表面ＷＳの基準座標系ＣＲのｚ軸座標ｚ０を演算により求める。代替的には、位置測定器２６は、演算用のプロセッサをさらに有し、予め取得した既知の距離ｄ０と、測定した距離ｄ１とを用いて、表面ＷＳの、基準座標系ＣＲのｚ軸座標ｚ０を演算により求めてもよい。
【0029】
次に、図３を参照して、画像処理装置１０の動作について説明する。図３に示すフローは、プロセッサ１４が、オペレータ、上位コントローラ、又はコンピュータプログラムから起動指令を受け付けたときに、開始する。ステップＳ１において、プロセッサ１４は、カメラ２２及び２４が撮像した画像データＩＤ１及びＩＤ２を取得する。
【0030】
具体的には、カメラ２２は、第１の撮像位置Ｐ１に配置された状態で画像データＩＤ１を撮像し、カメラ２４は、第２の撮像位置Ｐ２に配置された状態で画像データＩＤ２を撮像する。カメラ２２及び２４は、撮像した画像データＩＤ１及びＩＤ２を、Ｉ／Ｏインターフェース１８へ送信する。プロセッサ１４は、Ｉ／Ｏインターフェース１８を通して画像データＩＤ１及びＩＤ２を取得し、メモリ１６に記憶する。このように、本実施形態においては、プロセッサ１４は、画像データＩＤ１及びＩＤ２を取得する画像取得部３２（図１）として機能する。
【0031】
ステップＳ２において、プロセッサ１４は、検出対象部としての表面ＷＳの位置の情報を受け付ける。一例として、位置測定器２６は、表面ＷＳの位置の情報として、測定した距離ｄ１をＩ／Ｏインターフェース１８へ送信する。Ｉ／Ｏインターフェース１８は、距離ｄ１を受け付け、プロセッサ１４は、Ｉ／Ｏインターフェース１８を介して距離ｄ１を取得する。そして、プロセッサ１４は、距離ｄ０及びｄ１を用いて、表面ＷＳの基準座標系ＣＲのｚ軸座標ｚ０を求め、メモリ１６に記憶する。
【0032】
他の例として、位置測定器２６は、距離ｄ０及びｄ１を用いて、表面ＷＳの基準座標系ＣＲのｚ軸座標ｚ０を求め、表面ＷＳの位置の情報として、表面ＷＳの座標ｚ０をＩ／Ｏインターフェース１８へ送信する。Ｉ／Ｏインターフェース１８は、座標ｚ０を受け付け、プロセッサ１４は、Ｉ／Ｏインターフェース１８を介して座標ｚ０を取得して、メモリ１６に記憶する。このように本実施形態においては、Ｉ／Ｏインターフェース１８は、表面ＷＳの位置の情報を受け付ける情報受付部３４（図１）として機能する。
【0033】
ステップＳ３において、プロセッサ１４は、投影画像データＰＤ（図６）を生成する。具体的には、プロセッサ１４は、基準座標系ＣＲにおいて、ステップＳ２で取得した表面ＷＳの位置（すなわち、座標ｚ０の位置）に投影面ＰＰを設定する。その結果、図２に示すように、基準座標系ＣＲにおいて投影面ＰＰが設定される。この投影面ＰＰは、基準座標系ＣＲのｘ－ｙ平面（すなわち、ワークＷの表面ＷＳ）と平行な仮想平面である。
【0034】
次いで、プロセッサ１４は、画像データＩＤ１から、表面ＷＳの輪郭Ｅの画像データＩＤ１_Ｅを抽出する。例えば、プロセッサ１４は、ワークＷの図面データ（２Ｄ又は３ＤＣＡＤモデル）を取得し、表面ＷＳの輪郭Ｅのモデル形状に類似する形状を画像データＩＤ１から検索することによって、画像データＩＤ１から輪郭Ｅの画像データＩＤ１_Ｅを抽出してもよい。
【0035】
このとき、輪郭Ｅに類似する形状を有する非検出対象部ＮＷの輪郭の画像データＩＤ１_Ｎも、画像データＩＤ１_Ｅとともに抽出され得る。同様にして、プロセッサ１４は、画像データＩＤ２から輪郭Ｅの画像データＩＤ２_Ｅを抽出する。このとき、非検出対象部ＮＷの輪郭の画像データＩＤ２_Ｎも、画像データＩＤ２_Ｅとともに抽出され得る。
【0036】
次いで、プロセッサ１４は、抽出した画像データＩＤ１_Ｅ及びＩＤ１_Ｎと、画像データＩＤ２_Ｅ及びＩＤ２_Ｎとを、設定した投影面ＰＰに投影させる。具体的には、プロセッサ１４は、第１の撮像位置Ｐ１と基準座標系ＣＲとの位置関係を示す第１の座標変換データを用いて、画像データＩＤ１_Ｅ及びＩＤ１_Ｎの各画素のカメラ座標系ＣＣ１の座標を、基準座標系ＣＲにおけるｚ軸座標ｚ０の位置でのｘ－ｙ座標に変換する。
【0037】
該ｘ－ｙ座標に変換された各点は、被写体像Ａ１及びＡ２を受光した撮像センサ３０の各画素から該被写体像Ａ１及びＡ２の光路に沿って延びる線と投影面ＰＰとの交点であって、これら交点の基準座標系ＣＲの座標は、投影面ＰＰの位置が既知であれば、第１の座標変換データを用いた座標変換によって求めることができる。こうして、画像データＩＤ１_Ｅを投影面ＰＰに投影させた輪郭投影画像データＰＥ１（図６）と、画像データＩＤ１_Ｎを投影面ＰＰに投影させた輪郭投影画像データＰＮ１とを、生成することができる。
【0038】
同様にして、プロセッサ１４は、第２の撮像位置Ｐ２と基準座標系ＣＲとの位置関係を示す第２の座標変換データと、投影面ＰＰの座標ｚ０とを用いて、画像データＩＤ２_Ｅ及びＩＤ２_Ｎを投影面ＰＰに投影させる。その結果、画像データＩＤ２_Ｅを投影面ＰＰに投影させた輪郭投影画像データＰＥ２と、画像データＩＤ２_Ｎを投影面ＰＰに投影させた輪郭投影画像データＰＮ２とを、生成することができる。
【0039】
次いで、プロセッサ１４は、投影面ＰＰにおける投影画像データＰＤの範囲を画定する画像枠Ｆを設定し、図６に示すような投影画像データＰＤを生成する。したがって、本実施形態においては、プロセッサ１４は、投影画像データＰＤを生成する投影画像生成部３６（図１）として機能する。
【0040】
なお、プロセッサ１４は、生成した画像枠Ｆの投影画像データＰＤを、表示装置に表示させてもよい。また、生成する投影画像データＰＤの画像枠Ｆの投影面ＰＰ上の位置及びサイズは、オペレータが手動で設定してもよい。この場合において、プロセッサ１４は、オペレータから、画像枠Ｆの縦横サイズを、基準座標系ＣＲのｙ軸の座標範囲とｘ軸の座標の範囲の入力として受け付けてもよい。又は、プロセッサ１４は、輪郭投影画像データＰＥ１、ＰＥ２、ＰＮ１、ＰＮ２を含むように自動で設定してもよい。
【0041】
投影画像データＰＤの各画素は、投影座標系ＣＰによって座標化される。投影座標系ＣＰは、その原点が基準座標系ＣＲのｚ軸座標ｚ０の位置に配置され、そのｘ軸及びｙ軸が投影面ＰＰと平行となる座標系である。投影座標系ＣＰと基準座標系ＣＲとは、設定される画像枠Ｆに応じた既知の位置関係となる。なお、本実施形態においては、投影座標系ＣＰのｘ軸及びｙ軸が、それぞれ、基準座標系ＣＲのｘ軸及びｙ軸と平行となるように、画像枠Ｆが設定されている。
【0042】
投影座標系ＣＰにおけるｘ軸及びｙ軸方向のサイズと、基準座標系ＣＲにおけるｘ軸及びｙ軸方向のサイズとは、設定された画像枠Ｆのサイズに応じて互いに対応付けられている（例えば、投影座標系ＣＰのｘ軸方向の距離「１」は、基準座標系ＣＲのｘ軸方向の距離「１０」に対応する）。
【0043】
このように、投影座標系ＣＰと基準座標系ＣＲとは、既知の位置関係となっており、投影座標系ＣＰの原点位置及び各軸の方向は、基準座標系ＣＲの座標及びベクトル（又は関数）として、表すことができる。したがって、投影座標系ＣＰの座標と、基準座標系ＣＲの座標とは、第３の座標変換データを介して、相互に変換可能となっている。
【0044】
ステップＳ４において、プロセッサ１４は、投影画像データＰＤにおいて、画像データＩＤ１に写る画像データＩＤ１_Ｅと、画像データＩＤ２に写る画像データＩＤ２_Ｅとが重複して投影された重複投影画像データＯＤを検出する。ここで、カメラ２２に入射する表面ＷＳの被写体像Ａ１と、カメラ２４に入射する表面ＷＳの被写体像Ａ３とは、表面ＷＳの位置で一致する。
【0045】
換言すれば、カメラ２２が撮像した表面ＷＳの輪郭Ｅの画像データＩＤ１_Ｅを、表面ＷＳの位置に設定した投影面ＰＰへ投影した投影位置と、カメラ２４が撮像した表面ＷＳの輪郭Ｅの画像データＩＤ２_Ｅを、表面ＷＳの位置に設定した投影面ＰＰへ投影した投影位置とは、互いに一致する。この一致した投影位置において、画像データＩＤ１_Ｅと画像データＩＤ２_Ｅとが重複して投影されて、投影画像データＰＤにおいて重複投影画像データＯＤを形成する。
【0046】
その一方で、カメラ２２が撮像した非検出対象部ＮＷの輪郭の画像データＩＤ１_Ｎを投影面ＰＰへ投影した投影位置と、カメラ２４が撮像した非検出対象部ＮＷの輪郭の画像データＩＤ２_Ｎを投影面ＰＰへ投影した投影位置とは、互いからずれることになる（輪郭投影画像データＰＮ１、ＰＮ２）。プロセッサ１４は、重複投影画像データＯＤを投影画像データＰＤから検出する。
【0047】
一例として、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、画像データＩＤ１から投影された輪郭投影画像データＰＥ１又はＰＮ１を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥ１及びＰＮ１のいずれも写さない場合は「０」としてカウントする。
【0048】
また、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、画像データＩＤ２から投影された輪郭投影画像データＰＥ２又はＰＮ２を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥ２及びＰＮ２のいずれも写さない場合は「０」としてカウントする。
【0049】
そして、プロセッサ１４は、投影画像データＰＤの各画素において、カウントした明るさを加算する。この場合、画像データＩＤ１から投影された輪郭投影画像データＰＥ１又はＰＮ１と、画像データＩＤ２から投影された輪郭投影画像データＰＥ２又はＰＮ２との双方を写す画素（すなわち、投影画像データＰＥ１又はＰＮ１と、投影画像データＰＥ２又はＰＮ２とが重複して投影された画素）の明るさは、「２」となる。
【0050】
一方、画像データＩＤ１から投影された輪郭投影画像データＰＥ１又はＰＮ１と、画像データＩＤ２から投影された輪郭投影画像データＰＥ２又はＰＮ２とのいずれか一方を写す画素の明るさは「１」となり、輪郭投影画像データＰＥ１、ＰＮ１、ＰＥ２及びＰＮ２のいずれも写していない画素の明るさは「０」となる。
【0051】
プロセッサ１４は、投影画像データＰＤにおいて明るさが「２」となる画素を抽出し、抽出した画素が写す画像データを、重複投影画像データＯＤとして検出する。このように、本例では、プロセッサ１４は、投影画像データＰＤの画素の明るさに基づいて、重複投影画像データＯＤを検出する。なお、輪郭投影画像データＰＥ１、ＰＮ１、ＰＥ２、ＰＮ２を写す又は写さない画素の明るさは、「０」、「１」の２値に限らず、他の如何なる値に設定されてもよい。
【0052】
他の例として、プロセッサ１４は、投影画像データＰＤから、各々の輪郭投影画像データＰＥ１、ＰＮ１、ＰＥ２及びＰＮ２の形状を抽出し、輪郭投影画像データＰＥ１、ＰＮ１、ＰＥ２及びＰＮ２の、互いに対応する特徴点（中心点、頂点、エッジ等）を特定する。本実施形態においては、プロセッサ１４は、該特徴点として、輪郭投影画像データＰＥ１の中心点ＣＥ１、輪郭投影画像データＰＥ２の中心点ＣＥ２、輪郭投影画像データＰＮ１の中心点ＣＮ１、及び輪郭投影画像データＰＮ２の中心点ＣＮ２を特定する。
【0053】
そして、プロセッサ１４は、特定した特徴点（中心点）ＣＥ１、ＣＥ２、ＣＮ１及びＣＮ２の投影座標系ＣＰの座標を取得し、複数の輪郭投影画像データＰＥ１、ＰＮ１、ＰＥ２及びＰＮ２のうち、２つの輪郭投影画像データの特徴点の距離ｄを算出する。プロセッサ１４は、距離ｄが予め定めた閾値ｄｔｈよりも小さい場合に、該２つの輪郭投影画像データのうちの一方を重複投影画像データＯＤとして検出する。
【0054】
ここで、距離ｄは、投影画像データＰＤにおける２つの輪郭投影画像データの位置が一致しているか否かを定量的に示すパラメータであって、図６に示す例では、特徴点ＣＥ１及びＣＥ２の間の距離ｄＥが、例えば特徴点ＣＮ１及びＣＮ２の間の距離ｄＮよりも、小さくなっている（具体的には、ｄＥ≒０）。よって、距離ｄが閾値ｄｔｈよりも小さい場合は、２つの輪郭投影画像データＰＥ１及びＰＥ２の位置が一致し、該位置において画像データＩＤ１_Ｅと画像データＩＤ２_Ｅとが重複して投影されていると見做すことができる。
【0055】
図６に示す例では、プロセッサ１４は、特徴点ＣＥ１及びＣＥ２の距離ｄＥが閾値ｄｔｈよりも小さいと判定し、輪郭投影画像データＰＥ１及びＰＥ２の一方を、重複投影画像データＯＤとして検出する。以上のような方法で、プロセッサ１４は、重複投影画像データＯＤを検出できる。したがって、本実施形態においては、プロセッサ１４は、重複投影画像データＯＤを検出する重複検出部３８（図１）として機能する。
【0056】
ステップＳ５において、プロセッサ１４は、ステップＳ４で検出した重複投影画像データＯＤに基づいて、基準座標系ＣＲにおける表面ＷＳの位置データを取得する。具体的には、プロセッサ１４は、投影画像データＰＤを画像処理し、重複投影画像データＯＤの形状を抽出する。このとき、プロセッサ１４は、重複投影画像データＯＤの画像の輪郭線を滑らかに接続する画像フィルタ処理を実行し、重複投影画像データＯＤを更新してもよい。
【0057】
そして、プロセッサ１４は、重複投影画像データＯＤの投影座標系ＣＰの位置を取得する。例えば、プロセッサ１４は、重複投影画像データＯＤの投影座標系ＣＰの位置として、重複投影画像データＯＤの特徴点（中心点ＣＯ）を画像処理により特定し、該特徴点ＣＯの投影座標系ＣＰにおける座標（ｘＰ，ｙＰ）を取得する。なお、この特徴点ＣＯは、上述の特徴点ＣＥ１又はＣＥ２に略一致する。
【0058】
そして、プロセッサ１４は、投影座標系ＣＰの座標（ｘＰ，ｙＰ）を、投影面ＰＰの座標ｚ０と第３の座標変換データとを用いて、基準座標系ＣＲの座標（ｘＲ，ｙＲ，ｚ０）に変換する。この座標（ｘＲ，ｙＲ，ｚ０）は、基準座標系ＣＲにおける表面ＷＳの特徴点（中心点）の位置を示す位置データとなる。このように本実施形態においては、プロセッサ１４は、重複投影画像データＯＤに基づいて、基準座標系ＣＲにおける表面ＷＳの位置データ：座標（ｘＲ，ｙＲ，ｚ０）を取得する位置データ取得部４０（図１）として機能する。
【0059】
以上のように、本実施形態においては、投影画像データＰＤにおいて重複投影画像データＯＤを自動で検出する。この構成によれば、仮に、ワークセル内に、検出対象部としての表面ＷＳに類似する形状の非検出対象部ＮＷが存在していたとしても、該非検出対象部ＮＷを誤検出してしまうのを防止し、検出対象部としての表面ＷＳを示す重複投影画像データＯＤを、確実且つ自動的に検出することができる。
【0060】
また、本実施形態においては、位置測定器２６が表面ＷＳの位置を測定し、該位置の情報を情報受付部３４が受け付けている。この構成によれば、プロセッサ１４は、表面ＷＳの位置を自動で取得することができる。また、本実施形態においては、プロセッサ１４は、基準座標系ＣＲにおける表面ＷＳの位置データ：座標（ｘＲ，ｙＲ，ｚ０）を取得している。この構成によれば、ワークＷに対して作業を行うロボットの制御に用いる位置データを自動で取得することができる。なお、ロボットの制御については、後述する。
【0061】
なお、上述のステップＳ４において、プロセッサ１４は、重複投影画像データＯＤを検出したときに、投影画像生成部３６として機能して、重複投影画像データＯＤのみが写る第２の投影画像データＰＤ２をさらに生成してもよい。この第２の投影画像データＰＤ２の例を、図７に示す。
【0062】
図７に示すように、第２の投影画像データＰＤ２においては、ステップＳ４で検出した重複投影画像データＯＤが写る一方、図６の投影画像データＰＤに写っていた輪郭投影画像データＰＮ１及びＰＮ２を含む、重複投影画像データＯＤ以外の画像が、視覚的に識別不能となるように単一の明るさで示されている（又は、消去されている）。
【0063】
例えば、プロセッサ１４は、検出した重複投影画像データＯＤを写す画素以外の画素の明るさを、重複投影画像データＯＤを写す画素の明るさ（例えば、「２」）とは異なる単一の明るさ（例えば、「０」）とするように投影画像データＰＤを修正することによって、図７に示す第２の投影画像データＰＤ２を生成する。
【0064】
代替的には、プロセッサ１４は、検出した重複投影画像データＯＤの投影座標系ＣＰの座標を記憶し、該座標を、投影座標系ＣＰが設定された新たな画像データにプロットすることによって、第２の投影画像データＰＤ２を新たな画像データとして生成してもよい。このように生成された第２の投影画像データＰＤ２においては、重複投影画像データＯＤのみが明瞭に写されることになる。
【0065】
そして、プロセッサ１４は、ステップＳ５において、第２の投影画像データＰＤ２を画像処理することにより重複投影画像データＯＤの形状を抽出し、特徴点ＣＯを特定して、投影座標系ＣＰにおける特徴点ＣＯの座標（ｘＰ，ｙＰ）を取得する。この構成によれば、プロセッサ１４は、重複投影画像データＯＤ及び特徴点ＣＯを抽出する画像処理を、より効果的に実行することができる。
【0066】
さらに、第２の投影画像データＰＤ２によれば、仮に、カメラ２２が撮像した画像データＩＤ１、又はカメラ２４が撮像した画像データＩＤ２にノイズ等が写っていたとしても、重複投影画像データＯＤ及びその特徴点ＣＯを正確に抽出できる。この効果について、図８及び図９を参照して説明する。
【0067】
図８及び図９に示す例では、ステップＳ１で撮像された画像データＩＤ１及びＩＤ２に、ノイズＨがそれぞれ写り込んでいる。このようなノイズＨは、例えば、撮像時に被写体へ照射される光の方向及び照度や、撮像センサ３０の光電変換時に発生する電気的ノイズ、又は、切粉等の異物からの反射光等に起因し得る。
【0068】
このような画像データＩＤ１及びＩＤ２を用いて、プロセッサ１４がステップＳ２～Ｓ４を実行し、ステップＳ４において第２の投影画像データＰＤ２を生成した場合、第２の投影画像データＰＤ２においては、重複投影画像データＯＤ以外の画像が視覚的に消去されるので、ノイズＨの画像も視覚的に消去されることになる。したがって、画像データＩＤ１及びＩＤ２にノイズＨが写り込んでいたとしても、第２の投影画像データＰＤ２から重複投影画像データＯＤ及びその特徴点ＣＯを正確に抽出できる。
【0069】
次に、図３、図１０～図１２を参照して、画像処理装置１０の他の機能について説明する。本実施形態においては、ワークＷは、略矩形の表面ＷＳを有しており、該表面ＷＳは、上述の実施形態と同様に、基準座標系ＣＲのｚ軸座標０の位置にある。ここで、図１０に示すように、ステップＳ１でカメラ２２が撮像した画像データＩＤ１において、ワークＷの表面ＷＳの一部が写らない場合がある。このような現象は、カメラ２２とワークＷとの間に障害物がある場合、又は、上述のノイズ等に起因して生じ得る。
【0070】
画像データＩＤ１においては、表面ＷＳのエッジＥのうち、図１０中の実線で示す部分Ｅ１の画像データＩＤ１_Ｅ１が写っている一方、点線で示す部分Ｅ２は写っていない。同様に、図１１に示すように、ステップＳ１でカメラ２４が撮像した画像データＩＤ２においては、表面ＷＳのエッジＥのうち、実線で示す部分Ｅ３の画像データＩＤ１_Ｅ３が写っている一方、点線で示す部分Ｅ４は写っていない。
【0071】
このような画像データＩＤ１及びＩＤ２を用いて、図３のフローを実行した場合、ステップＳ３において、プロセッサ１４は、画像データＩＤ１に写る画像データＩＤ１_Ｅ１と、画像データＩＤ２に写るＩＤ２_Ｅ３とを、投影面ＰＰに投影させ、図１２に示す投影画像データＰＤを生成する。図１２に示す投影画像データＰＤにおいては、画像データＩＤ１_Ｅ１が輪郭投影画像データＰＥＥ１として投影され、画像データＩＤ２_Ｅ３が輪郭投影画像データＰＥＥ２として投影される一方、輪郭Ｅの一部に対応する、点線Ｇで示す画像データが欠落している。
【0072】
ステップＳ４において、プロセッサ１４は、投影画像データＰＤにおいて、画像データＩＤ１に写る画像データＩＤ１_Ｅ１と、画像データＩＤ２に写る画像データＩＤ２_Ｅ３とが重複して投影された重複投影画像データＯＤを検出する。具体的には、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、輪郭投影画像データＰＥＥ１を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥＥ１を写していない場合は「０」としてカウントする。
【0073】
また、プロセッサ１４は、投影画像データＰＤの各画素の明るさを、輪郭投影画像データＰＥＥ３を写している場合は「１」としてカウントする一方、輪郭投影画像データＰＥＥ３を写していない場合は「０」としてカウントする。そして、プロセッサ１４は、投影画像データＰＤの各画素において、カウントした明るさを加算する。
【0074】
この場合、輪郭投影画像データＰＥＥ１及びＰＥＥ３の双方を写す画素（すなわち、画像データＩＤ１_Ｅ１及びＩＤ２_Ｅ３が重複して投影された画素）の明るさは、「２」となる。一方、輪郭投影画像データＰＥＥ１及びＰＥＥ３のいずれか一方を写す画素の明るさは「１」となり、輪郭投影画像データＰＥＥ１及びＰＥＥ３のいずれも写していない画素の明るさは「０」となる。
【0075】
そして、プロセッサ１４は、投影画像データＰＤにおいて明るさが「２」となる画素を抽出し、抽出した画素が写す画像データを、重複投影画像データＯＤとして検出する。その結果、図１３に示す画像データＯＤが検出される。この画像データＯＤにおいては、輪郭Ｅの一部に対応する、点線Ｊで示す画像データが欠落している。
【0076】
ステップＳ５において、プロセッサ１４は、ステップＳ４で検出した図１３に示す重複投影画像データＯＤに基づいて、基準座標系ＣＲにおける表面ＷＳの位置データを取得する。具体的には、プロセッサ１４は、図１３に示す投影画像データＰＤを画像処理し、重複投影画像データＯＤの形状を抽出する。
【0077】
このとき、プロセッサ１４は、ワークＷの図面データから輪郭Ｅのモデル形状を取得し、該モデル形状と重複投影画像データＯＤとを比較して、例えば欠落部分Ｊに相当する画像データを推定して補完することによって、輪郭Ｅの全周に対応する重複投影画像データＯＤの形状を抽出してもよい。
【0078】
そして、プロセッサ１４は、重複投影画像データＯＤの投影座標系ＣＰにおける位置として、重複投影画像データＯＤの特徴点（中心点、頂点等）を画像処理により特定し、該特徴点の投影座標系ＣＰにおける座標を取得する。そして、プロセッサ１４は、投影座標系ＣＰの座標を基準座標系ＣＲの座標に変換し、基準座標系ＣＲにおける表面ＷＳの特徴点の位置を示す位置データとして取得する。
【0079】
このように、画像処理装置１０によれば、ステップＳ１でカメラ２２又は２４が撮像した画像データＩＤ１又はＩＤ２において、ワークＷの表面ＷＳの一部が写らなかったとしても、例えばワークＷの図面データと、画像データの一部が欠落した重複投影画像データＯＤとの比較に基づいて、重複投影画像データＯＤ及びその特徴点を抽出することができる。
【0080】
次に、図１４を参照して、画像処理装置１０のさらに他の機能について説明する。本実施形態においては、画像処理装置１０のＩ／Ｏインターフェース１８に、上述の位置測定器２６が接続されていない一方で、表示装置４１及び入力装置４２が、有線又は無線で通信可能に接続されている。
【0081】
表示装置４１は、ＬＣＤ又は有機ＥＬディスプレイ等を有し、プロセッサ１４は、Ｉ／Ｏインターフェース１８を介して、表示装置４１に画像データを送信し、該表示装置４１に画像を表示させる。入力装置４２は、キーボード、マウス、又はタッチセンサ等を有し、オペレータが入力した情報を、Ｉ／Ｏインターフェース１８を介してプロセッサ１４へ送信する。なお、表示装置４１及び入力装置４２は、画像処理装置１０に一体に設けられてもよいし、画像処理装置１０とは別体として設けられてもよい。
【0082】
次に、図３を参照して、本実施形態に係る画像処理装置１０の動作について説明する。本実施形態の動作は、図１に示す実施形態と、ステップＳ２において相違する。具体的には、ステップＳ２において、プロセッサ１４は、表面ＷＳの位置の情報を受け付ける。例えば、プロセッサ１４は、表面ＷＳの基準座標系ＣＲのｚ軸座標を入力するための入力画像データを生成し、表示装置４１に表示させる。このとき、プロセッサ１４は、入力画像とともに、ワークＷの既知の公称寸法又は図面データを表示装置４１に表示させてもよい。
【0083】
オペレータは、ワークＷの公称寸法又は図面データ考慮して、表示装置４１に表示された入力画像を視認しつつ入力装置４２を操作し、表面ＷＳの位置の情報として、表面ＷＳの基準座標系ＣＲのｚ軸座標ｚ＝ｚ０を入力する。Ｉ／Ｏインターフェース１８は、情報受付部３４として機能し、入力装置４２に入力された表面ＷＳの位置の情報（座標ｚ０）を、該入力装置４２から受け付ける。
【0084】
プロセッサ１４は、Ｉ／Ｏインターフェース１８を通して、表面ＷＳの位置の情報（座標ｚ０）を取得し、メモリ１６に記憶する。このように、本実施形態によれば、オペレータは、入力装置４２に表面ＷＳの位置の情報（座標ｚ０）を任意に入力し、ステップＳ３で設定する投影面ＰＰの位置を、ワークＷの既知の公称寸法又は図面データ等を考慮して、任意に設定できる。
【0085】
次に、図１５及び図１６を参照して、一実施形態に係るロボットシステム５０について説明する。ロボットシステム５０は、制御装置５２、ロボット５４、画像処理装置１０、カメラ２２及び２４、位置測定器２６、表示装置４１、及び入力装置４２を備える。制御装置５２は、ロボット５４、カメラ２２及び２４、並びに位置測定器２６の動作を制御する。
【0086】
本実施形態においては、ロボット５４は、垂直多関節ロボットであって、ロボットベース５６、旋回胴５８、ロボットアーム６０、手首部６２、及びエンドエフェクタ６４を有する。ロボットベース５６は、ワークセルの床に固定されている。旋回胴５８は、ロボットベース５６に鉛直軸周りに旋回可能に設けられている。
【0087】
ロボットアーム６０は、旋回胴５８に回動可能に取り付けられた下腕部６６と、該下腕部６６の先端部に回動可能に取り付けられた上腕部６８とを有する。手首部６２は、上腕部６８の先端部に連結され、エンドエフェクタ６４を回動可能に支持する。エンドエフェクタ６４は、ロボットハンド、切削工具、レーザ加工ヘッド、溶接トーチ、又は塗料塗布器等であって、ワークＷに対して所定の作業（ハンドリング、切削加工、レーザ加工、溶接、塗工等）を行う。
【0088】
ロボット５４の各コンポーネント（ロボットベース５６、旋回胴５８、ロボットアーム６０、手首部６２）には、サーボモータが内蔵されている。サーボモータは、プロセッサ１４からの指令に応じて、ロボット５４の各可動コンポーネント（旋回胴５８、ロボットアーム６０、手首部６２）を動作させ、エンドエフェクタ６４を、３次元空間内の任意の位置及び姿勢に配置する。
【0089】
本実施形態においては、画像処理装置１０は、制御装置５２に実装されている。すなわち、制御装置５２は、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１８を有するコンピュータであって、プロセッサ１４、メモリ１６、及びＩ／Ｏインターフェース１８は、画像処理装置１０を構成する。
【0090】
プロセッサ１４は、ロボット５４によってワークＷに作業を行う前に、図３に示すフローを実行し、ステップＳ５で表面ＷＳの位置データ：座標（ｘＲ，ｙＲ，ｚ０）を取得する。そして、プロセッサ１４は、位置データ：座標（ｘＲ，ｙＲ，ｚ０）に基づいてロボット５４を制御し、該ロボット５４によってワークＷ（例えば、表面ＷＳ）に対して作業を行う。
【0091】
以上のように、本実施形態においては、撮像位置Ｐ１及びＰ２でカメラ２２及び２４が撮像した画像データＩＤ１及びＩＤ２から、ワークＷの表面ＷＳの位置データ：座標（ｘＲ，ｙＲ，ｚ０）を取得し、該位置データ：座標（ｘＲ，ｙＲ，ｚ０）に基づいてロボット５４を制御することによって、ワークＷに対する作業を正確に実行することができる。
【0092】
なお、ロボットシステム５０において、制御装置５２と画像処理装置１０とを別体として構成することもできる。この場合、制御装置５２は、プロセッサ及びメモリを有する１つのコンピュータであって、画像処理装置１０に通信可能に接続される。そして、画像処理装置１０のプロセッサ１４は、ステップＳ５で位置データ：座標（ｘＲ，ｙＲ，ｚ０）を取得したときに、該位置データを制御装置５２に送信してもよい。
【0093】
また、１つのカメラ２２を用いて、図３に示すフローを実行することもできる。このような形態を図１７に示す。図１７に示すロボットシステム５０’においては、上述のカメラ２４が設けられておらず、位置測定器２６が一体に設けられたカメラ２２が、ロボット５４のエンドエフェクタ６４に設置されている。
【0094】
本実施形態においては、カメラ２２は、ロボット５４の手先（又は、ＴＣＰ）に対して、キャリブレーションにより既知の位置関係に配置されている。したがって、制御装置５２は、基準座標系ＣＲにおけるカメラ２２の位置及び姿勢（すなわち、カメラ座標系ＣＣ１の原点位置及び各軸の方向）を認識できるようになっている。
【0095】
ロボットシステム５０’において図３に示すフローを実行する場合、プロセッサ１４は、ステップＳ１において、ロボット５４を動作させて、カメラ２２を第１の撮像位置Ｐ１に配置し、カメラ２２によって画像データＩＤ１を撮像する。また、プロセッサ１４は、ロボット５４を動作させて、カメラ２２を第２の撮像位置Ｐ２に配置し、カメラ２２によって画像データＩＤ２を撮像する。このように、１つのカメラ２２を複数の撮像位置Ｐ１、Ｐ２に配置して撮像した画像データＩＤ１、ＩＤ２を用いて、図３に示すフローを実行することができる。
【0096】
なお、上述の画像処理装置１０から、位置データ取得部４０を省略することもできる。例えば、重複検出部３８が投影画像データＰＤにて重複投影画像データＯＤを検出したときに、重複投影画像データＯＤを基に、オペレータが手動で表面ＷＳの位置データ：座標（ｘＲ，ｙＲ，ｚ０）を求めてもよい。また、画像処理装置１０から、メモリ１６又はＩ／Ｏインターフェース１８を省略してもよい。
【0097】
また、上述の実施形態においては、検出対象部が表面ＷＳである場合について述べたが、これに限らず、検出対象部は、例えば、物体（ワークＷ）の側面に形成されるエッジ、凸部、凹部等、如何なる構造のものであってもよい。また、表面ＷＳは、円形に限らず、楕円形、多角形等、如何なる形状であってもよい。また、表面ＷＳは、基準座標系ＣＲのｘ－ｙ平面に対して傾斜してもよい。この場合において、プロセッサ１４は、上述のステップＳ３において、投影面ＰＰを表面ＷＳと平行に設定してもよい。
【0098】
また、第１の撮像位置Ｐ１及び第２の撮像位置Ｐ１は、図２に示す位置に限定されず、如何なる位置であってもよい。また、計ｎ個（ｎは３以上の正数）のカメラを、それぞれ、第１の撮像位置Ｐ１、第２の撮像位置Ｐ２、・・・第ｎの撮像位置Ｐｎに配置させて、画像データＩＤ１、ＩＤ２、・・・ＩＤｎを撮像させ、これら画像データＩＤ１、ＩＤ２、・・・ＩＤｎを用いて、図３に示すフローを実行することもできる。この場合において、プロセッサ１４は、ステップＳ４において、少なくとも２つの（例えば、全ての）画像データＩＤｎに写る表面ＷＳ（検出対象部）が重複された重複投影画像データＯＤを検出する。
【0099】
また、上述の実施形態においては、ステップＳ３において、プロセッサ１４が画像枠Ｆを設定する場合について述べた。しかしながら、プロセッサ１４は、投影画像データＰＤを、画像枠Ｆで区切ることなく、基準座標系ＣＲにおけるｚ軸座標ｚ０の位置でのｘ－ｙ座標の点の集合体として生成することができる。以上、実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。
【符号の説明】
【0100】
１０ 画像処理装置
１４ プロセッサ
２２，２４ カメラ
２６ 位置測定器
３２ 画像取得部
３４ 情報受付部
３６ 投影画像生成部
３８ 重複検出部
４０ 位置データ取得部
５０，５０’ ロボットシステム
５２ 制御装置
５４ ロボット
１４ プロセッサ
２２，２４ カメラ
２６ 位置測定器
３２ 画像取得部
３４ 情報受付部
３６ 投影画像生成部
３８ 重複検出部
４０ 位置データ取得部
５０，５０’ ロボットシステム
５２ 制御装置
５４ ロボット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】