特許 7614359 シミュレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】シミュレーション装置

(51)【国際特許分類】

   B25J 9/22 20060101AFI20250107BHJP

   B25J 19/04 20060101ALN20250107BHJP

【ＦＩ】

B25J9/22 A

B25J19/04

【請求項の数】 9

(21)【出願番号】P 2023537821

(86)(22)【出願日】2021-07-28

(86)【国際出願番号】 JP2021027920

(87)【国際公開番号】W WO2023007621

(87)【国際公開日】2023-02-02

【審査請求日】2024-02-06

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】米山 寛之

【審査官】杉田 隼一

(56)【参考文献】

【文献】特開２０１５－１３６７８１（ＪＰ，Ａ）

【文献】特開２００５－１３５２７８（ＪＰ，Ａ）

【文献】特開２００８－０２１０９２（ＪＰ，Ａ）

【文献】特開２０１１－０６５３９９（ＪＰ，Ａ）

【文献】特開２００６－０１０３１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／２２

Ｂ２５Ｊ １９／０４

(57)【特許請求の範囲】

【請求項1】

作業空間を三次元的に表現した仮想空間を作成する仮想空間作成部と、
前記仮想空間内に計測対象物を三次元的に表現した計測対象物モデルを配置する計測対象物モデル配置部と、
前記計測対象物モデルにおいて計測箇所を指定する計測箇所指定部と、
前記計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを任意の視覚センサモデル位置に配置する視覚センサモデル配置部と、
前記計測箇所の位置に基づいて、前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定する位置決定部と、
前記視覚センサモデルの画像サイズ内で、前記視覚センサモデルによって前記計測箇所が撮像される撮像領域を指定する撮像領域指定部と、
を備えるシミュレーション装置。

【請求項2】

前記視覚センサモデル位置において、前記計測箇所の三次元位置を、前記視覚センサモデルにより前記計測箇所を撮像した場合の二次元位置に変換する位置変換部を更に備え、
前記位置決定部は、全ての前記二次元位置が前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定する、
請求項１に記載のシミュレーション装置。

【請求項3】

前記仮想空間内にロボットを三次元的に表現したロボットモデルを配置するロボットモデル配置部と、
前記視覚センサモデルが前記ロボットモデルに取り付けられている場合、前記視覚センサモデルの配置位置における前記ロボットモデルの姿勢を算出するロボット姿勢算出部と、
を更に備える請求項１又は２に記載のシミュレーション装置。

【請求項4】

前記視覚センサモデルを前記計測箇所の上方に配置する際の姿勢を指定するセンサ姿勢指定部を更に備える請求項１から３のいずれか一項に記載のシミュレーション装置。

【請求項5】

前記視覚センサモデルと前記計測箇所との距離を指定する距離指定部を更に備える請求項１から４のいずれか一項に記載のシミュレーション装置。

【請求項6】

作業空間を三次元的に表現した仮想空間を作成する仮想空間作成部と、
前記仮想空間内に計測対象物を三次元的に表現した計測対象物モデルを配置する計測対象物モデル配置部と、
前記計測対象物モデルにおいて計測箇所を指定する計測箇所指定部と、
前記計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを任意の視覚センサモデル位置に配置する視覚センサモデル配置部と、
前記計測箇所の位置に基づいて、前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定する位置決定部と、
前記視覚センサモデルを前記計測箇所の上方に配置する際の姿勢を指定するセンサ姿勢指定部と、
を備え、
前記センサ姿勢指定部は、前記仮想空間の基準平面に対して、前記視覚センサモデルの光軸が垂直になる姿勢を基準として前記視覚センサモデルの座標系周りの角度を指定する、シミュレーション装置。

【請求項7】

作業空間を三次元的に表現した仮想空間を作成する仮想空間作成部と、
前記仮想空間内に計測対象物を三次元的に表現した計測対象物モデルを配置する計測対象物モデル配置部と、
前記計測対象物モデルにおいて計測箇所を指定する計測箇所指定部と、
前記計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを任意の視覚センサモデル位置に配置する視覚センサモデル配置部と、
前記計測箇所の位置に基づいて、前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定する位置決定部と、
前記視覚センサモデル位置において、前記計測箇所の三次元位置を、前記視覚センサモデルにより前記計測箇所を撮像した場合の二次元位置に変換する位置変換部と、
を備え、
前記位置決定部は、全ての前記二次元位置が前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定し、
前記位置決定部は、全ての前記二次元位置が前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデルの位置が複数存在する場合、前記計測箇所が前記視覚センサモデルの画像に最も大きく写る位置を、前記視覚センサモデルの配置位置として決定する、シミュレーション装置。

【請求項8】

前記位置変換部は、前記視覚センサモデルの前記視覚センサモデル位置、前記視覚センサモデルのレンズの焦点距離、前記視覚センサモデルの撮像素子の１ピクセルあたりの長さ及び前記視覚センサモデルのレンズの中心位置を含む撮像条件を使用して、前記計測箇所の三次元位置を、前記視覚センサモデルにより前記計測箇所を撮像した場合の前記二次元位置に変換する、請求項２に記載のシミュレーション装置。

【請求項9】

作業空間を三次元的に表現した仮想空間において、計測対象物を三次元的に表現した計測対象物モデルにおいて計測箇所を指定し、
前記計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを任意の視覚センサモデル位置に配置するための入力操作を受け付け、
前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定するための入力操作を受け付け、前記視覚センサモデルの画像サイズ内で、前記視覚センサモデルによって前記計測箇所が撮像される撮像領域を指定するための入力操作を受け付ける機能を実行する制御部を備えるシミュレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シミュレーション装置に関する。

【背景技術】

【0002】

従来、ロボットモデルによって計測対象物モデルに対して作業を行う動作をシミュレーションする技術が提案されている（例えば、特許文献１参照）。特許文献１に記載のシミュレーション装置は、作業空間を三次元的に表現した仮想空間内にロボットのロボットモデル、視覚センサの視覚センサモデル、及び計測対象物の計測対象物モデルを配置し、視覚センサモデルにより計測対象物モデルを計測し、ロボットモデルによって計測対象物モデルに対して作業を行う動作をシミュレーションする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２１０９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、仮想空間内で視覚センサモデルにより計測対象物モデルを計測し、ロボットモデルが計測対象物モデルに対して作業を行うシミュレーションを行うことができる。しかし、作業者は、視覚センサモデルにより計測対象物モデルを撮像した画像を見ながら、適切な視覚センサモデルの位置を決定しなければならない。そのため、視覚センサモデルの位置の調整に手間及び時間が掛かるという課題があった。

【0005】

よって、視覚センサモデルの位置の調整を効率良く行うことができるシミュレーション装置が求められている。

【課題を解決するための手段】

【0006】

本開示の一態様に係るシミュレーション装置は、作業空間を三次元的に表現した仮想空間を作成する仮想空間作成部と、前記仮想空間内に計測対象物を三次元的に表現した計測対象物モデルを配置する計測対象物モデル配置部と、前記計測対象物モデルにおいて計測箇所を指定する計測箇所指定部と、前記計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを任意の視覚センサモデル位置に配置する視覚センサモデル配置部と、前記計測箇所の位置に基づいて、前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定する位置決定部と、を備える。

【0007】

本開示の一態様に係るシミュレーション装置は、作業空間を三次元的に表現した仮想空間において、計測対象物を三次元的に表現した計測対象物モデルにおいて計測箇所を指定し、前記計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを任意の視覚センサモデル位置に配置するための入力操作を受け付け、前記視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、前記視覚センサモデルの配置位置として決定するための入力操作を受け付ける機能を実行する制御部を備える。

【発明の効果】

【0008】

本発明によれば、視覚センサモデルの位置の調整を効率良く行うことができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係るシミュレーション装置の構成を示すブロック図である。

【図2】第１実施形態に係る仮想空間内のロボットモデル、視覚センサモデル及び計測対象物モデルを示す図である。

【図3】計測箇所を指定する処理を示す図である。

【図4】視覚センサモデルを配置する処理を示す図である。

【図5】視覚センサモデルの姿勢を指定する処理を示す図である。

【図6】計測箇所の三次元位置を二次元位置に変換する処理を示す図である。

【図7】計測箇所の三次元位置を二次元位置に変換する処理を示す図である。

【図8】視覚センサモデル位置を視覚センサモデルの配置位置として決定する処理を示す図である。

【図9】視覚センサモデル位置を視覚センサモデルの配置位置として決定する処理を示す図である。

【図10】視覚センサモデルがロボットモデルに取り付けられている例を示す図である。

【図11】第２実施形態に係る仮想空間内のロボットモデル、視覚センサモデル及び計測対象物モデルを示す図である。

【図12】計測箇所を指定する処理を示す図である。

【図13】視覚センサモデルを配置する処理を示す図である。

【図14】視覚センサモデルの姿勢を指定する処理を示す図である。

【図15】計測箇所の三次元位置を二次元位置に変換する処理を示す図である。

【図16】計測箇所の三次元位置を二次元位置に変換する処理を示す図である。

【図17】視覚センサモデル位置を視覚センサモデルの配置位置として決定する処理を示す図である。

【図18】視覚センサモデル位置を視覚センサモデルの配置位置として決定する処理を示す図である。

【図19】視覚センサモデルがロボットモデルに取り付けられている例を示す図である。

【図20】本実施形態に係るシミュレーション装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係るシミュレーション装置１の構成を示すブロック図である。図１に示すように、シミュレーション装置１は、制御部１１と、記憶部１２と、表示部１３と、操作部１４と、を備える。

【0011】

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであり、記憶部１２に記憶されたプログラムを実行することによって各種の機能を実現する。

【0012】

記憶部１２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の各種情報を格納するハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

【0013】

表示部１３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等で構成され、各種の画像を表示する。
操作部１４は、マウス、キーボード等で構成され、各種の入力を受け付ける。

【0014】

制御部１１は、仮想空間作成部１１１と、計測対象物モデル配置部１１２と、ロボットモデル配置部１１３と、計測箇所指定部１１４と、視覚センサモデル配置部１１５と、撮像領域指定部１１６と、センサ姿勢指定部１１７と、距離指定部１１８と、位置変換部１１９と、位置決定部１２０と、ロボット姿勢算出部１２１、シミュレーション実行部１２２と、を備える。

【0015】

仮想空間作成部１１１は、作業空間を三次元的に表現した仮想空間を作成する。
計測対象物モデル配置部１１２は、仮想空間内に計測対象物を三次元的に表現した計測対象物モデルを配置する。

【0016】

ロボットモデル配置部１１３は、仮想空間内にロボットを三次元的に表現したロボットモデルを配置する。
計測箇所指定部１１４は、計測対象物モデルにおいて１以上の計測箇所を指定する。計測箇所指定部１１４は、例えば、操作部１４の操作に従って、計測対象物モデルにおいて１以上の任意の計測箇所を指定する。

【0017】

視覚センサモデル配置部１１５は、計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを、任意の視覚センサモデル位置に配置する。視覚センサモデル配置部１１５は、例えば、操作部１４の操作に従って、視覚センサモデルの視覚センサモデル位置を任意の位置に変更することができる。

【0018】

撮像領域指定部１１６は、例えば、操作部１４の操作に従って、視覚センサモデルの画像サイズ内で、視覚センサモデルによって計測箇所が撮像される領域を指定する。
センサ姿勢指定部１１７は、例えば、操作部１４の操作に従って、視覚センサモデルを計測箇所の上方に配置する際の姿勢を指定する。
距離指定部１１８は、例えば、操作部１４の操作に従って、視覚センサモデルと計測箇所との距離を指定する。

【0019】

位置変換部１１９は、視覚センサモデル位置において、計測箇所の三次元位置を、視覚センサモデルにより計測箇所を撮像した場合の二次元位置に変換する。
位置決定部１２０は、測定箇所の位置に基づいて、視覚センサモデルの画像サイズ内に含まれる視覚センサモデル位置を、視覚センサモデルの配置位置として決定する。

【0020】

ロボット姿勢算出部１２１は、視覚センサモデルがロボットモデルに取り付けられている場合、視覚センサモデル位置におけるロボットモデルの姿勢を算出する。

【0021】

シミュレーション実行部１２２は、ロボットモデル、視覚センサモデル及び計測対象物モデルを用いて、動作プログラムに基づいて、ロボットモデルが計測対象物モデルに対して作業を行うシミュレーションを実行する。

【0022】

［第１実施形態］
図２から図１０は、第１実施形態に係るシミュレーション装置１の処理を示す図である。図２は、第１実施形態に係る仮想空間内のロボットモデルＲ１、視覚センサモデルＶ１及び計測対象物モデルＷ１を示す図である。

【0023】

図２に示すように、仮想空間作成部１１１は、作業空間を三次元的に表現した仮想空間を作成する。そして、計測対象物モデル配置部１１２は、仮想空間内に計測対象物を三次元的に表現した計測対象物モデルＷ１を配置する。計測対象物モデルＷ１は、例えば、箱に収容された複数のワークであってもよい。基準座標系Ｋは、仮想空間内の基準となる座標系を示す。

【0024】

また、ロボットモデル配置部１１３は、仮想空間内にロボットを三次元的に表現したロボットモデルＲ１を配置する。ロボットモデル座標系ＣＲ１は、ロボットモデルＲ１の座標系を示す。ロボットモデルＲ１は、例えば、多関節ロボットであってもよい。

【0025】

図３は、計測箇所Ｍ１を指定する処理を示す図である。図３に示すように、計測箇所指定部１１４は、計測対象物モデルＷ１において計測箇所Ｍ１を指定する。図３に示す例では、計測箇所指定部１１４は、計測対象物モデルＷ１の上面を計測箇所Ｍ１として指定する。

【0026】

計測箇所指定部１１４は、例えば、計測対象物モデルＷ１がワークの場合、ワーク全体又はワークの一部を直方体で囲むことによって計測箇所Ｍ１を指定する。また、計測箇所指定部１１４は、計測対象物モデルＷ１が籠又はコンテナの場合、計測対象物モデルＷ１の上面を選択することによって計測箇所Ｍ１を指定する。

【0027】

図４は、視覚センサモデルＶ１を配置する処理を示す図である。図４に示すように、視覚センサモデル配置部１１５は、視覚センサモデルＶ１を、計測箇所Ｍ１上方の１以上の任意の視覚センサモデル位置に配置する。

【0028】

また、距離指定部１１８は、視覚センサモデルＶ１と計測箇所Ｍ１との距離Ｄ１を指定する。例えば、距離指定部１１８は、操作部１４の操作に従って、固定した距離を指定する又は距離の範囲を指定することによって距離Ｄ１を指定する。

【0029】

図５は、視覚センサモデルＶ１の姿勢を指定する処理を示す図である。図５に示すように、センサ姿勢指定部１１７は、視覚センサモデルＶ１を計測箇所Ｍ１の上方に配置する際の姿勢を指定する。

【0030】

具体的には、センサ姿勢指定部１１７は、仮想空間の基準平面（例えば、仮想空間のＸＹ平面）に対して、視覚センサモデルＶ１の光軸が垂直になる姿勢（すなわち、図４における視覚センサモデルＶ１の姿勢）を基準として視覚センサモデル座標系ＣＶ１周りの角度θ１を指定する。なお、視覚センサモデルＶ１の姿勢を指定する処理は、視覚センサモデルＶ１の姿勢を指定する必要がない場合、省略されてもよい。

【0031】

図６及び図７は、計測箇所Ｍ１の三次元位置Ｐ１を二次元位置Ｐ１１に変換する処理を示す図である。図６及び図７に示すように、計測箇所Ｍ１の三次元位置Ｐ１は、仮想空間内の基準座標系Ｋにおいて、座標（Ｘ１，Ｙ１，Ｚ１）と表される。

【0032】

そして、位置変換部１１９は、視覚センサモデルＶ１の視覚センサモデル位置において、計測箇所Ｍ１の三次元位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を、視覚センサモデルＶ１により計測箇所Ｍ１を撮像した場合の二次元位置Ｐ１１（Ｘ１１，Ｙ１１）に変換する。

【0033】

具体的には、位置変換部１１９は、視覚センサモデルＶ１の視覚センサモデル位置、視覚センサモデルＶ１のレンズの焦点距離、視覚センサモデルＶ１の撮像素子の１ピクセルあたりの長さ、視覚センサモデルＶ１のレンズの中心位置等を含む撮像条件を使用して、計測箇所の三次元位置Ｐ１を、視覚センサモデルＶ１により計測箇所を撮像した場合の二次元位置Ｐ１１に変換する。なお、撮像条件は、視覚センサモデルＶ１に関する他の条件を含んでもよい。

【0034】

また、視覚センサモデル配置部１１５によって視覚センサモデルＶ１の視覚センサモデル位置が、任意の位置に変更されると、位置変換部１１９は、変更された視覚センサモデル位置において、計測箇所の三次元位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を二次元位置Ｐ１１（Ｘ１１，Ｙ１１）に変換する。

【0035】

すなわち、シミュレーション装置１は、ユーザによる操作部１４への入力操作に応じて、視覚センサモデル配置部１１５によって配置される視覚センサモデル位置を変更しながら、位置変換部１１９による三次元位置Ｐ１の二次元位置Ｐ１１への変換を繰り返す。

【0036】

更に、図６及び図７に示すように、位置決定部１２０は、変換された二次元位置Ｐ１１が、視覚センサモデルＶ１の画像サイズＡ１内に含まれるかを判定する。図６に示す例では、位置決定部１２０は、変換された二次元位置Ｐ１１が、視覚センサモデルＶ１の画像サイズＡ１内に含まれないと判定する。一方、図７に示す例では、位置決定部１２０は、変換された二次元位置Ｐ１１が、視覚センサモデルＶ１の画像サイズＡ１内に含まれると判定する。

【0037】

図８及び図９は、視覚センサモデル位置を視覚センサモデルＶ１の配置位置として決定する処理を示す図である。図８及び図９に示すように、位置変換部１１９は、視覚センサモデルＶ１の視覚センサモデル位置において、計測箇所Ｍ１の三次元位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）、Ｐ２（Ｘ２，Ｙ２，Ｚ２）及びＰ３（Ｘ３，Ｙ３，Ｚ３）を、それぞれ二次元位置Ｐ１１（Ｘ１１，Ｙ１１）、Ｐ２１（Ｘ２１，Ｙ２１）及びＰ３１（Ｘ３１，Ｙ３１）に変換する。

【0038】

なお、図８及び図９に示す例では、位置変換部１１９は、３つの三次元位置Ｐ１、Ｐ２及びＰ３をそれぞれ二次元位置Ｐ１１、Ｐ２１及びＰ３１に変換しているが、三次元位置の数は、これに限定されない。

【0039】

位置決定部１２０は、変換された二次元位置Ｐ１１、Ｐ２１及びＰ３１が、視覚センサモデルＶ１の画像サイズＡ１内に含まれるかを判定する。図８に示す例では、位置決定部１２０は、変換された全ての二次元位置Ｐ１１、Ｐ２１及びＰ３１が、視覚センサモデルＶ１の画像サイズＡ１内に含まれると判定する。

【0040】

そして、位置決定部１２０は、全ての二次元位置Ｐ１１、Ｐ２１及びＰ３１が視覚センサモデルＶ１の画像サイズＡ１内に含まれる視覚センサモデル位置を、視覚センサモデルＶ１の配置位置として決定する。

【0041】

ここで、位置決定部１２０は、全ての二次元位置Ｐ１１、Ｐ２１及びＰ３１が視覚センサモデルＶ１の画像サイズＡ１内に含まれる視覚センサモデルの位置が複数存在する場合、計測箇所Ｍ１が視覚センサモデルＶ１の画像に最も大きく写る位置を、視覚センサモデルＶ１の配置位置として決定する。

【0042】

また、図９に示すように、撮像領域指定部１１６は、視覚センサモデルＶ１の画像サイズＡ１内で、視覚センサモデルＶ１によって計測箇所Ｍ１が撮像される撮像領域Ａ２を指定する。そして、計測箇所Ｍ１が、視覚センサモデルＶ１の画像サイズＡ１よりも狭い撮像領域Ａ２に含まれるように撮像される場合、位置決定部１２０は、全ての二次元位置Ｐ１１、Ｐ２１及びＰ３１が視覚センサモデルＶ１の撮像領域Ａ２内に含まれる視覚センサモデル位置を、視覚センサモデルＶ１の配置位置として決定する。

【0043】

図１０は、視覚センサモデルＶ１がロボットモデルＲ１に取り付けられている例を示す図である。図１０に示すように、視覚センサモデルＶ１がロボットモデルＲ１のアームの先端に取り付けられている場合、ロボット姿勢算出部１２１は、視覚センサモデルＶ１の配置位置におけるロボットモデルＲ１の姿勢を算出する。

【0044】

そして、シミュレーション実行部１２２は、上述したロボットモデルＲ１、視覚センサモデルＶ１、計測対象物モデルＷ１を用いて、動作プログラムに基づいて、ロボットモデルＲ１が計測対象物モデルＷ１に対して作業を行うシミュレーションを実行する。

【0045】

［第２実施形態］
図１１から図１９は、第２実施形態に係るシミュレーション装置１の処理を示す図である。第２実施形態は、計測対象物モデルＷ２の計測箇所Ｍ２が立体的な形状を有している点が第１実施形態とは異なる。

【0046】

図１１は、第２実施形態に係る仮想空間内のロボットモデルＲ２、視覚センサモデルＶ２及び計測対象物モデルＷ２を示す図である。図１１に示すように、仮想空間作成部１１１は、作業空間を三次元的に表現した仮想空間を作成する。そして、計測対象物モデル配置部１１２は、仮想空間内に計測対象物を三次元的に表現した計測対象物モデルＷ２を配置する。計測対象物モデルＷ２は、例えば、複数の直方体及び円柱等の立体的な形状を含むワークであってもよい。基準座標系Ｋは、仮想空間内の基準となる座標系を示す。

【0047】

また、ロボットモデル配置部１１３は、仮想空間内にロボットを三次元的に表現したロボットモデルＲ２を配置する。ロボットモデル座標系ＣＲ２は、ロボットモデルＲ２の座標系を示す。ロボットモデルＲ２は、例えば、多関節ロボットであってもよい。

【0048】

図１２は、計測箇所Ｍ２を指定する処理を示す図である。図１２に示すように、計測箇所指定部１１４は、計測対象物モデルＷ２において計測箇所Ｍ２を指定する。図１２に示す例では、計測箇所指定部１１４は、計測対象物モデルＷ２の全部又は一部を計測箇所Ｍ２として指定する。

【0049】

計測箇所指定部１１４は、例えば、計測対象物モデルＷ２の全部又は一部を直方体で囲むことによって計測箇所Ｍ２を指定する。

【0050】

図１３は、視覚センサモデルＶ２を配置する処理を示す図である。図１３に示すように、視覚センサモデル配置部１１５は、視覚センサモデルＶ２を、計測箇所Ｍ２上方の１以上の任意の視覚センサモデル位置に配置する。

【0051】

また、距離指定部１１８は、視覚センサモデルＶ２と計測箇所Ｍ２との距離Ｄ２を指定する。例えば、距離指定部１１８は、操作部１４の操作に従って、固定した距離を指定する又は距離の範囲を指定することによって距離Ｄ２を指定する。

【0052】

図１４は、視覚センサモデルＶ２の姿勢を指定する処理を示す図である。図１４に示すように、センサ姿勢指定部１１７は、視覚センサモデルＶ２を計測箇所Ｍ２の上方に配置する際の姿勢を指定する。

【0053】

具体的には、センサ姿勢指定部１１７は、仮想空間の基準平面（例えば、仮想空間のＸＹ平面）に対して、視覚センサモデルＶ２の光軸が垂直になる姿勢（すなわち、図１３における視覚センサモデルＶ２の姿勢）を基準として視覚センサモデル座標系ＣＶ２周りの角度θ２を指定する。なお、視覚センサモデルＶ２の姿勢を指定する処理は、視覚センサモデルＶ２の姿勢を指定する必要がない場合、省略されてもよい。

【0054】

図１５及び図１６は、計測箇所Ｍ２の三次元位置Ｐ４を二次元位置Ｐ４１に変換する処理を示す図である。図１５及び図１６に示すように、計測箇所Ｍ２の三次元位置Ｐ４は、仮想空間内の基準座標系Ｋにおいて、座標（Ｘ４，Ｙ４，Ｚ４）と表される。

【0055】

そして、位置変換部１１９は、視覚センサモデルＶ２の視覚センサモデル位置において、計測箇所Ｍ２の三次元位置Ｐ４（Ｘ４，Ｙ４，Ｚ４）を、視覚センサモデルＶ１により計測箇所Ｍ１を撮像した場合の二次元位置Ｐ４１（Ｘ４１，Ｙ４１）に変換する。

【0056】

具体的には、位置変換部１１９は、視覚センサモデルＶ２の視覚センサモデル位置、視覚センサモデルＶ２のレンズの焦点距離、視覚センサモデルＶ２の撮像素子の１ピクセルあたりの長さ、視覚センサモデルＶ２のレンズの中心位置等を含む撮像条件を使用して、計測箇所の三次元位置Ｐ４を、視覚センサモデルＶ２により計測箇所を撮像した場合の二次元位置Ｐ４１に変換する。なお、撮像条件は、視覚センサモデルＶ２に関する他の条件を含んでもよい。

【0057】

また、視覚センサモデル配置部１１５によって視覚センサモデルＶ２の視覚センサモデル位置が、任意の位置に変更されると、位置変換部１１９は、変更された視覚センサモデル位置において、計測箇所の三次元位置Ｐ４（Ｘ４，Ｙ４，Ｚ４）を二次元位置Ｐ４１（Ｘ４１，Ｙ４１）に変換する。

【0058】

すなわち、シミュレーション装置１は、ユーザによる操作部１４への入力操作に応じて、視覚センサモデル配置部１１５によって配置される視覚センサモデル位置を変更しながら、位置変換部１１９による三次元位置Ｐ４の二次元位置Ｐ４１への変換を繰り返す。

【0059】

更に、図１５及び図１６に示すように、位置決定部１２０は、変換された二次元位置Ｐ４１が、視覚センサモデルＶ２の画像サイズＡ３内に含まれるかを判定する。図１５に示す例では、位置決定部１２０は、変換された二次元位置Ｐ４１が、視覚センサモデルＶ２の画像サイズＡ３内に含まれないと判定する。一方、図１６に示す例では、位置決定部１２０は、変換された二次元位置Ｐ４１が、視覚センサモデルＶ２の画像サイズＡ３内に含まれると判定する。

【0060】

図１７及び図１８は、視覚センサモデル位置を視覚センサモデルＶ２の配置位置として決定する処理を示す図である。図１７及び図１８に示すように、位置変換部１１９は、視覚センサモデルＶ２の視覚センサモデル位置において、計測箇所Ｍ２の三次元位置Ｐ４（Ｘ４，Ｙ４，Ｚ４）、Ｐ５（Ｘ５，Ｙ５，Ｚ５）及びＰ６（Ｘ６，Ｙ６，Ｚ６）を、それぞれ二次元位置Ｐ４１（Ｘ４１，Ｙ４１）、Ｐ５１（Ｘ５１，Ｙ５１）及びＰ６１（Ｘ６１，Ｙ６１）に変換する。

【0061】

なお、図１７及び図１８に示す例では、位置変換部１１９は、３つの三次元位置Ｐ４、Ｐ５及びＰ６をそれぞれ二次元位置Ｐ４１、Ｐ５１及びＰ６１に変換しているが、三次元位置の数は、これに限定されない。

【0062】

位置決定部１２０は、変換された二次元位置Ｐ４１、Ｐ５１及びＰ６１が、視覚センサモデルＶ２の画像サイズＡ３内に含まれるかを判定する。図１７に示す例では、位置決定部１２０は、変換された全ての二次元位置Ｐ４１、Ｐ５１及びＰ６１が、視覚センサモデルＶ２の画像サイズＡ３内に含まれると判定する。

【0063】

そして、位置決定部１２０は、全ての二次元位置Ｐ４１、Ｐ５１及びＰ６１が視覚センサモデルＶ２の画像サイズＡ３内に含まれる視覚センサモデル位置を、視覚センサモデルＶ２の配置位置として決定する。

【0064】

ここで、位置決定部１２０は、全ての二次元位置Ｐ４１、Ｐ５１及びＰ６１が視覚センサモデルＶ２の画像サイズＡ３内に含まれる視覚センサモデルの位置が複数存在する場合、計測箇所Ｍ２が視覚センサモデルＶ２の画像に最も大きく写る位置を、視覚センサモデルＶ２の配置位置として決定する。

【0065】

また、図１８に示すように、撮像領域指定部１１６は、視覚センサモデルＶ２の画像サイズＡ３内で、視覚センサモデルＶ２によって計測箇所Ｍ２が撮像される撮像領域Ａ４を指定する。

【0066】

そして、計測箇所Ｍ２が、視覚センサモデルＶ２の画像サイズＡ３よりも狭い撮像領域Ａ４に含まれるように撮像される場合、位置決定部１２０は、全ての二次元位置Ｐ４１、Ｐ５１及びＰ６１が視覚センサモデルＶ２の撮像領域Ａ４内に含まれる視覚センサモデル位置を、視覚センサモデルＶ２の配置位置として決定する。

【0067】

図１９は、視覚センサモデルＶ２がロボットモデルＲ２に取り付けられている例を示す図である。図１９に示すように、視覚センサモデルＶ２がロボットモデルＲ２のアームの先端に取り付けられている場合、ロボット姿勢算出部１２１は、視覚センサモデルＶ２の配置位置におけるロボットモデルＲ２の姿勢を算出する。

【0068】

そして、シミュレーション実行部１２２は、上述したロボットモデルＲ２、視覚センサモデルＶ２及び計測対象物モデルＷ２を用いて、動作プログラムに基づいて、ロボットモデルＲ２が計測対象物モデルＷ２に対して作業を行うシミュレーションを実行する。

【0069】

［処理の流れ］
図２０は、第１実施形態及び第２実施形態に共通するシミュレーション装置１の処理の流れを示すフローチャートである。
ステップＳ１において、仮想空間作成部１１１は、作業空間を三次元的に表現した仮想空間を作成する。

【0070】

ステップＳ２において、計測対象物モデル配置部１１２は、仮想空間内に計測対象物を三次元的に表現した計測対象物モデルを配置する。ロボットモデル配置部１１３は、仮想空間内にロボットを三次元的に表現したロボットモデルを配置する。

【0071】

ステップＳ３において、計測箇所指定部１１４は、計測対象物モデルにおいて１以上の計測箇所を指定する。視覚センサモデル配置部１１５は、計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを、計測箇所上方の１以上の任意の視覚センサモデル位置に配置する。

【0072】

ステップＳ４において、位置変換部１１９は、視覚センサモデル位置において、計測箇所の三次元位置を、視覚センサモデルにより計測箇所を撮像した場合の二次元位置に変換する。

【0073】

ステップＳ５において、位置決定部１２０は、全ての二次元位置が視覚センサモデルの画像サイズ内に含まれる視覚センサモデル位置を、視覚センサモデルの配置位置として決定する。

【0074】

［他の実施形態］
また、他の実施形態に係るシミュレーション装置１は、オペレータの操作に従って以下のような機能を実行する制御部１１を備えてもよい。すなわち、制御部１１は、作業空間を三次元的に表現した仮想空間において、計測対象物を三次元的に表現した計測対象物モデルにおいて１以上の計測箇所を指定する。

【0075】

次に、制御部１１は、計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを、計測箇所上方の１以上の任意の視覚センサモデル位置に配置するための入力操作を受け付ける。

【0076】

更に、制御部１１は、視覚センサモデルの画像サイズ内に含まれる視覚センサモデル位置を、視覚センサモデルの配置位置として決定するための入力操作を受け付ける。これにより、他の実施形態に係るシミュレーション装置１は、上述した第１実施形態及び第２実施形態において説明した処理を実行することができる。

【0077】

上述した実施形態によれば、シミュレーション装置１は、作業空間を三次元的に表現した仮想空間を作成する仮想空間作成部１１１と、仮想空間内に計測対象物を三次元的に表現した計測対象物モデルを配置する計測対象物モデル配置部１１２と、計測対象物モデルにおいて計測箇所を指定する計測箇所指定部１１４と、計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを、任意の視覚センサモデル位置に配置する視覚センサモデル配置部１１５と、計測箇所の位置に基づいて、視覚センサモデルの画像サイズ内に含まれる前記視覚センサモデル位置を、視覚センサモデルの配置位置として決定する位置決定部１２０と、を備える。

【0078】

これにより、シミュレーション装置１は、視覚センサモデルの位置を自動的に決定でき、視覚センサモデルの位置の調整の手間及び調整時間を削減し、視覚センサモデルの位置の調整を効率良く行うことができる。

【0079】

また、シミュレーション装置１は、視覚センサモデル位置において、計測箇所の三次元位置を、視覚センサモデルにより計測箇所を撮像した場合の二次元位置に変換する位置変換部１１９を更に備え、位置決定部１２０は、全ての二次元位置が視覚センサモデルの画像サイズ内に含まれる視覚センサモデル位置を、視覚センサモデルの配置位置として決定する。これにより、シミュレーション装置１は、計測箇所を適切に撮像することができる視覚センサモデル位置を、視覚センサモデルの配置位置として自動的に決定することができる。

【0080】

また、シミュレーション装置１は、仮想空間内にロボットを三次元的に表現したロボットモデルを配置するロボットモデル配置部１１３と、視覚センサモデルがロボットモデルに取り付けられている場合、視覚センサモデルの配置位置におけるロボットモデルの姿勢を算出するロボット姿勢算出部１２１と、を更に備える。これにより、シミュレーション装置１は、計測箇所を適切に撮像することができる視覚センサモデル位置を用いて、ロボットモデルの姿勢を算出することができる。

【0081】

また、シミュレーション装置１は、視覚センサモデルの画像サイズ内で、視覚センサモデルによって計測箇所が撮像される撮像領域を指定する撮像領域指定部１１６を更に備える。これにより、シミュレーション装置１は、所望の撮像領域を指定し、計測箇所を適切に撮像することができる。

【0082】

また、シミュレーション装置１は、視覚センサモデルを計測箇所の上方に配置する際の姿勢を指定するセンサ姿勢指定部１１７を更に備える。これにより、シミュレーション装置１は、所望の視覚センサモデルの姿勢を指定し、計測箇所を適切に撮像することができる。

【0083】

また、シミュレーション装置１は、視覚センサモデルと計測箇所との距離を指定する距離指定部１１８を更に備える。これにより、シミュレーション装置１は、所望の視覚センサモデルと計測箇所との距離を指定し、計測箇所を適切に撮像することができる。

【0084】

また、センサ姿勢指定部１１７は、仮想空間の基準平面に対して、視覚センサモデルの光軸が垂直になる姿勢を基準として視覚センサモデルの座標系周りの角度を指定する。これにより、シミュレーション装置１は、所望の視覚センサモデルの角度を指定し、計測箇所を適切に撮像することができる。

【0085】

また、位置決定部１２０は、全ての二次元位置が視覚センサモデルの画像サイズ内に含まれる視覚センサモデルの位置が複数存在する場合、計測箇所が視覚センサモデルの画像に最も大きく写る位置を、視覚センサモデルの配置位置として決定する。これにより、シミュレーション装置１は、最も適切な視覚センサモデル位置を、視覚センサモデルの配置位置として自動的に決定することができる。

【0086】

また、位置変換部１１９は、視覚センサモデルの視覚センサモデル位置、視覚センサモデルのレンズの焦点距離、視覚センサモデルの撮像素子の１ピクセルあたりの長さ及び視覚センサモデルのレンズの中心位置を含む撮像条件を使用して、計測箇所の三次元位置を、視覚センサモデルにより計測箇所を撮像した場合の二次元位置に変換する。これにより、シミュレーション装置１は、計測箇所の三次元位置を二次元位置に変換することができる。

【0087】

また、制御部１１は、作業空間を三次元的に表現した仮想空間において、計測対象物を三次元的に表現した計測対象物モデルにおいて１以上の計測箇所を指定する。次に、制御部１１は、計測対象物を撮像する視覚センサを三次元的に表現した視覚センサモデルを、計測箇所上方の１以上の任意の視覚センサモデル位置に配置するための入力操作を受け付ける。更に、制御部１１は、視覚センサモデルの画像サイズ内に含まれる視覚センサモデル位置を、視覚センサモデルの配置位置として決定するための入力操作を受け付ける。

【0088】

これにより、シミュレーション装置１は、視覚センサモデルの位置を自動的に決定でき、視覚センサモデルの位置の調整の手間及び調整時間を削減し、視覚センサモデルの位置の調整を効率良く行うことができる。

【0089】

以上、本発明の実施形態について説明したが、上記のロボット１は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のロボット１により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

【0090】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。

【0091】

また、上述した各実施形態は、本発明の好適な実施形態ではあるが、上記各実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

【符号の説明】

【0092】

１ シミュレーション装置
１１ 制御部
１２ 記憶部
１３ 表示部
１４ 操作部
１１１ 仮想空間作成部
１１２ 計測対象物モデル配置部
１１３ ロボットモデル配置部
１１４ 計測箇所指定部
１１５ 視覚センサモデル配置部
１１６ 撮像領域指定部
１１７ センサ姿勢指定部
１１８ 距離指定部
１１９ 位置変換部
１２０ 位置決定部
１２１ ロボット姿勢算出部
１２２ シミュレーション実行部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】