特許 7550546 撮像システム構築装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-05

(45)【発行日】2024-09-13

(54)【発明の名称】撮像システム構築装置

(51)【国際特許分類】

   B25J 9/10 20060101AFI20240906BHJP

【ＦＩ】

B25J9/10 A

【請求項の数】 10

(21)【出願番号】P 2020108638

(22)【出願日】2020-06-24

(65)【公開番号】P2022006427

(43)【公開日】2022-01-13

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】北村 毅

(72)【発明者】

【氏名】笹谷 聡

(72)【発明者】

【氏名】伊藤 誠也

(72)【発明者】

【氏名】知原 信博

【審査官】神山 貴行

(56)【参考文献】

【文献】特開２０１６－０７８１９５（ＪＰ，Ａ）

【文献】特開２０２０－０７５３５４（ＪＰ，Ａ）

【文献】特許第６６８８５２３（ＪＰ，Ｂ１）

【文献】特開２０１５－０４２４３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットの姿勢推測用の画像を撮像する撮像システムの構築を補助する撮像システム構築装置であって、
前記撮像システムは、
ロボットと３次元位置を取得するための参照物を撮像する撮像装置と、
前記ロボットの基部座標系と前記撮像装置のカメラ座標系の変換に用いる基部・カメラ変換行列と、を含み、
前記撮像システム構築装置は、
前記撮像システムのシステム要件を満たす前記撮像装置と前記参照物の仕様と配置、および、前記ロボットの姿勢群の指令値である校正用パラメータを計画する撮像システム計画ユニットと、
該撮像システム計画ユニットが計画した、前記撮像装置と前記参照物の仕様と配置、及び、前記ロボットの校正用パラメータにより、前記ロボットに対する前記撮像装置の相対的な配置、または、前記画像から姿勢推定に用いるパラメータに関する校正の精度を評価する撮像システム評価ユニットと、
該撮像システム評価ユニットが評価した、前記校正の精度が前記システム要件を満たさない場合、前記システム要件を満たすために必要な追加要件を、前記撮像システム計画ユニットにフィードバックすることで、前記校正の再実行、もしくは、前記撮像装置と前記参照物の仕様の再計画を可能とする要件フィードバック部と、
を備え、
前記システム要件とは、要件入力装置から入力された、計測精度、校正精度、コスト、前記ロボットの動作範囲、または、前記撮像装置の取り付け可能な空間であり、
前記撮像装置の仕様とは、前記撮像装置の撮影方式、画角、動作距離、精度、解像度、設計情報、または、保護等級であり、
前記参照物の仕様とは、前記参照物の寸法、模様、形状、または、種類であることを特徴とする撮像システム構築装置。

【請求項2】

請求項１に記載の撮像システム構築装置において、
前記撮像システム計画ユニットは、
前記撮像装置の性能情報を保有するデータベースに基づき、前記システム要件を満たす前記撮像装置の仕様や配置を計画する現実装置計画部を備えることを特徴とする撮像システム構築装置。

【請求項3】

請求項２に記載の撮像システム構築装置において、
前記現実装置計画部は、
前記システム要件に基づいて前記撮像装置の仕様を決定する撮像装置選定部と、
前記撮像装置の配置を決定する撮像装置配置決定部と、
前記参照物を選定するマーカ選定部と、
前記参照物の前記ロボットへの取り付け位置を決定するマーカ配置決定部と、
を備えることを特徴とする撮像システム構築装置。

【請求項4】

請求項１に記載の撮像システム構築装置において、
前記撮像システム計画ユニットは、
前記撮像装置と前記参照物の３次元情報を保有するデータベースに基づき、シミュレータ上に仮想装置を生成し、該仮想装置を動作させることで校正用データを生成し、校正を実施することで精度の評価を行う仮想校正評価部を備えることを特徴とする撮像システム構築装置。

【請求項5】

請求項４に記載の撮像システム構築装置において、
前記仮想校正評価部は、
前記ロボットの３次元モデルに基づいてシミュレータ上に仮想装置を生成する仮想装置生成部と、
前記システム要件に基づいて校正方式を決定する校正方式決定部と、
校正に用いるロボットの姿勢の校正用パラメータを生成する校正用パラメータ生成部と、
指令値に基づいて前記仮想装置を動作させ、校正用のデータを仮想的に生成する仮想校正データ生成部と、
仮想的に校正を行う仮想校正実行部と、
校正結果とシミュレータ生成時の真値の差が前記システム要件を満たすか評価する校正精度評価部と、
を備えることを特徴とする撮像システム構築装置。

【請求項6】

請求項５に記載の撮像システム構築装置において、
前記校正用パラメータ生成部は、
前記ロボットの姿勢群の指令値を生成するアルゴリズムを複数有する生成ロジックデータベースを備えることを特徴とする撮像システム構築装置。

【請求項7】

請求項５に記載の撮像システム構築装置において、
前記撮像システム評価ユニットは、
前記校正用パラメータに基づいて前記ロボットを動作させることで校正用データを収集する校正データ取得部と、
収集した校正用データにより校正を実行する校正実行部と、
校正結果を用いて校正の精度を評価する校正評価部と、
を備えることを特徴とする撮像システム構築装置。

【請求項8】

請求項７に記載の撮像システム構築装置において、
前記校正評価部は、
校正結果のログデータに基づいて校正の精度を評価する校正精度推定部と、
校正結果のログデータに基づいて誤差を推定する誤差推定部と、
前記ロボットを用いて評価のための動作を生成し、実行することで精度を評価する評価動作実行部と、
を備えることを特徴とする撮像システム構築装置。

【請求項9】

請求項１に記載の撮像システム構築装置において、
前記要件フィードバック部は、
校正の精度がシステム要件を満たすか判定を行う精度充足判定部と、
精度が不足した場合にその原因を特定する精度不足原因推定部と、
特定された原因により撮像システムがシステム要件を満たすために必要な追加要件を生成する追加要件生成部と、
を備えることを特徴とする撮像システム構築装置。

【請求項10】

請求項１に記載の撮像システム構築装置において、
前記要件フィードバック部は、
顧客要件に基づく作業内容を前記ロボットに実施させるロボット作業実行部と、
作業に失敗したときに再校正を行う必要があるか判定し、必要な場合は前記撮像システム計画ユニットに校正を実施する追加要件を送信する再校正実施評価部と、
を備えることを特徴とする撮像システム構築装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律ロボットの周辺環境の推定に用いる撮像システムの構築を補助する撮像システム構築装置に関する。

【背景技術】

【0002】

近年の労働力不足を解消するため、従来は人が行ってきた、物流分野におけるピッキング作業や、産業分野における組み立て作業など、何らかのワーク（作業対象物）を取り扱う各種作業を自動化する自律ロボットのニーズが高まっている。自律ロボットに適切な自律作業を実行させるには、自律ロボットの姿勢やワーク等の周辺環境を高精度に認識できる撮像システムの構築が必要となる。

【0003】

高精度の撮像システムを構築するには、撮像画像に基づいて推定した自律ロボットの姿勢と、実際の自律ロボットの姿勢が一致するように、撮影装置の種類や仕様を選定したり、自律ロボットに対する撮像装置の相対的な配置（位置、姿勢）を決定したり、撮像画像から実際の姿勢推定に用いるパラメータを最適化したりする、キャリブレーション（以降、「校正」とも称する）の実施が必要である。このキャリブレーションには、例えば、形状が既知のターゲットマーカを自律ロボット上に取り付け、様々な姿勢に変更したロボットを撮像装置により撮影し、撮影画像とロボットの姿勢の複数の組を比較することで、撮像装置と自律ロボット間の相対的な位置と姿勢を推定する方法がある。

【0004】

しかしながら、上記のキャリブレーション方法では、撮像システムを構築するにあたり、工数の肥大化が懸念される。例えば、システム導入先によりロボットの作業内容や周囲環境の条件が異なるため、条件によっては撮像装置の選定・配置の決定といった撮像方法の選定に膨大な工数を要する。また、高精度なキャリブレーションを実現するためのロボットの姿勢群などのパラメータの調整工数が莫大になる恐れがある。そのため、近年では撮像システムの構築工数を削減するための仕組み・試作への注目が高い。

【0005】

例えば、特許文献１の要約書では、「キャリブレーションを実行するための設定を容易化する」ための解決手段として、「ロボット制御システムは、撮像部により撮像された画像に基づいて、当該撮像部の視野内に存在する任意の対象物の三次元座標を計測する計測部と、計測された三次元座標とロボットの作用部の位置および姿勢との間の予め算出された対応関係に従って、ロボットの作用部を位置決めするための指令を生成する指令生成部と、対応関係を算出するためのキャリブレーションを実行するキャリブレーション実行部と、キャリブレーションにおいて、ロボットの作用部に関連付けられた基準物体を配置すべき領域であるキャリブレーション領域の設定を受付ける設定受付部とを含む。」との記載がある。すなわち、特許文献１では、撮像装置が撮影したロボットの情報などからシミュレーション環境を構築し、キャリブレーションに使用するロボットの姿勢群をＧＵＩ上で選択あるいは自動で生成することで、キャリブレーションの工数を削減している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－２１７５７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記の通り、特許文献１によれば、ロボットの姿勢群に関するパラメータ決定の工数を削減しつつキャリブレーションを実行することができる。

【0008】

しかしながら、特許文献１では、キャリブレーション後に作業が成功するか否かの精度については考慮されておらず、また、撮像方法の選定に関連する作業工数を削減することも考慮されていない。

【0009】

そこで、本発明の目的は、ロボット、撮像装置、ターゲットマーカを含む現実装置と、シミュレータ上の仮想装置を活用し、作業の成功が保証できる撮像装置の選定・配置とキャリブレーション時のロボットの姿勢群に関するパラメータを自動で策定し、現実装置によるキャリブレーションの評価から、撮像システムを高度化するための追加要件をシミュレータにフィードバックすることで、仮想装置でキャリブレーションを自動的に再度実行する、もしくは撮像方法を修正する指示を作業者に提示することを可能とし、最適な撮像システムの構築を容易にする撮像システム構築装置を提供することである。

【課題を解決するための手段】

【0010】

上記課題を解決するため、本発明の撮像システム構築装置は、ロボットの周辺環境の推定に用いる撮像システムの構築を補助する撮像システム構築装置であって、前記撮像システムは、ロボットと３次元位置を取得するための参照物を撮像する撮像装置と、前記ロボットの基部座標系と前記撮像装置のカメラ座標系の変換に用いる基部・カメラ変換行列と、を含み、前記撮像システム構築装置は、前記撮像システムのシステム要件を満たす前記撮像装置と前記参照物の仕様と配置、および、前記撮像装置と前記ロボットの校正用パラメータを計画する撮像システム計画ユニットと、該撮像システム計画ユニットが計画した、前記ロボットと前記参照物と前記撮像装置からなる現実装置により、校正の精度を評価する撮像システム評価ユニットと、該撮像システム評価ユニットが評価した、前記校正の精度が前記システム要件を満たさない場合、前記システム要件を満たすために必要な追加要件を、前記撮像システム計画ユニットにフィードバックすることで、前記校正の再実行、もしくは、前記現実装置の再構築を可能とする要件フィードバック部と、を備えるものとした。

【発明の効果】

【0011】

本発明の撮像システム構築装置によれば、現実装置とシミュレータ上の仮想装置を活用し、撮像装置の種類と配置、およびキャリブレーションのパラメータを自動で策定することで、顧客要件を満たす撮像システムの構築に要する工数を低減できる。

【図面の簡単な説明】

【0012】

【図1】一実施例における撮像システム構築装置を示す機能ブロック図

【図2】制御装置のハードウェア構成を示す図

【図3】現実装置の概略図

【図4】現実装置の座標系と座標変換を示す図

【図5A】要件入力装置の入力画面の一例を示す図

【図5B】要件入力装置の入力画面の一例を示す図

【図6】現実装置計画部の構成を示す図

【図7】仮想校正評価部の構成を示す図

【図8】校正データ取得部の処理を示すフローチャート

【図9】校正評価部の構成を示す図

【図10】校正精度推定部の処理を示すフローチャート

【図11】誤差推定部の処理を示すフローチャート

【図12】評価動作実行部の処理を示すフローチャート

【図13】要件フィードバック部の構成を示す図

【図14】精度不足原因推定部の構成を示す図

【図15】追加要件生成部の処理を示すフローチャート

【図16】現実装置の配置を変更した変形例の構成を示す図

【発明を実施するための形態】

【0013】

以下、本発明の撮像システム構築装置の一実施例について、適宜図を参照しながら詳細に説明する。

【0014】

（全体構成）
図１は、本実施例の撮像システム構築装置２の構成と、現実装置３や要件入力装置４との入出力を示す機能ブロック図である。この撮像システム構築装置２は、自律ロボットの一態様であるロボットアーム（以下、「ロボット３１」と称する）によるピッキング作業を自動化するために必要な、ロボット３１の姿勢推測用の画像を撮像するための撮像システムの構築を補助する装置である。なお、本発明における撮像システムとは、後述する撮像装置３３の仕様および配置（ロボット３１に対する相対位置、相対姿勢）と、後述する基部・カメラ変換行列Ｍ_１の組み合わせで定義されるシステムである。

【0015】

（制御装置１）
まず、図２を用いて、撮像システム構築装置２を具現化する制御装置１のハードウェア構成を説明する。図示するように、制御装置１は全体を統括制御するＣＰＵ１１と、ＣＰＵ１１の指令を伝達するバス１２と、ＲＯＭ１３と、ＲＡＭ１４と、記憶装置１５と、ネットワークインターフェース１６と、後述する撮像装置３３を接続するための撮像インターフェース１７と、画面出力を行うための画面表示インターフェース１８と、外部入力を行うための入力インターフェース１９と、を有する一般的なコンピュータである。また、ネットワークインターフェース１６には、ロボット３１を制御し動作させるためのロボット制御装置１６ａが接続されている。

【0016】

また、記憶装置１５内には、シミュレータ上に仮想装置を生成したり、キャリブレーション（校正）を実行したりするためのプログラム１５ａと、オペレーティングシステム１５ｂと、現実装置３をシミュレータ上の仮想装置として生成するための３Ｄモデル１５ｃなどが格納されている。ＲＡＭ１４にロードされたプログラム１５ａを、ＣＰＵ１１が処理することで、撮像システム構築装置２の各機能が実現される。

【0017】

（撮像システム構築装置２）
次に、制御装置１により実現される、撮像システム構築装置２の各機能の概要を説明する。図１に示すように、撮像システム構築装置２の機能は、撮像システム計画ユニット２Ａと、撮像システム評価ユニット２Ｂと、要件フィードバック部２９に大別される。

【0018】

撮像システム計画ユニット２Ａは、要件受付部２０と、現実装置計画部２１と、仮想校正評価部２２と、校正用パラメータ生成部２３と、校正用パラメータ２４から構成される。要件受付部２０は、要件入力装置４から入力されたシステム要件を現実装置計画部２１や仮想校正評価部２２へ出力する。現実装置計画部２１は、システム要件を満たす現実装置３の仕様と配置（位置、姿勢）を、シミュレータを用いて計画する。仮想校正評価部２２は、現実装置計画部２１にて計画した現実装置３の仕様や配置の情報からシミュレータ上に仮想装置を生成し、仮想装置を用いてキャリブレーションの実行に必要な校正データを仮想的に生成し、仮想的にキャリブレーションを実行することで評価を行う。校正用パラメータ生成部２３は、仮想校正評価部２２で生成した校正データに基づきロボット３１の姿勢群である校正用パラメータ２４を生成する。

【0019】

撮像システム評価ユニット２Ｂは、校正データ取得部２５と、校正データ２６と、校正実行部２７と、校正評価部２８から構成される。校正データ取得部２５は、校正用パラメータ２４に基づき現実装置３を制御し、ロボット３１の各関節の角度情報であるエンコーダ値と撮像装置３３による撮像データとを含む校正データ２６を収集する。校正実行部２７は、校正データ２６を使用してキャリブレーションを実行することでロボット３１と撮像装置３３の相対的な位置と姿勢の変換行列を求める。校正評価部２８は、キャリブレーションの精度を求める。

【0020】

要件フィードバック部２９は、構成評価部２８で推定されたキャリブレーション精度がシステム要件を満たしているか判断し、システム要件を満たしていない場合はシステム要件を満たすよう再度撮像システムを構築するために必要な追加要件を要件受付部２０にフィードバックする。

【0021】

以下、現実装置３と要件入力部４を説明した後、撮像システム構築装置２の現実装置計画部２１、仮想校正評価部２２、校正データ取得部２５、校正評価部２８、要件フィードバック部２９について詳細に説明する。

【0022】

（現実装置３）
図３は、現実装置３の概略図である。ここに示すように、現実装置３は、多関節のロボットアームであるロボット３１と、ロボット３１上に設置した参照物であるターゲットマーカ３２と、ロボット３１の一部とその周辺を画角に収める撮像装置３３と、を有する。以降、各々について詳細に説明する。

【0023】

本実施例では、ロボット３１として、６軸ロボットアームを用いる。この６軸ロボットアームは、土台となる基部３１ａ、第一リンク３１ｂ、第一関節３１ｃ、第二リンク３１ｄ、第二関節３１ｅ、第三リンク３１ｆ、第三関節３１ｇを有する。第三関節３１ｇより先には、３自由度を持つアーム３１ｈが取り付けられているため、ロボット３１は、第一関節３１ｃ、第二関節３１ｅ、第三関節３１ｇを合わせて６の自由度を持ち、任意の姿勢を取ることができる。なお、ロボット３１の設置位置について、本実施例では床や土台に固定しているが、短軸スライダーなどを用いることで自由度を増加させ、より広い空間を対象とした作業を実行することもできる。

【0024】

ターゲットマーカ３２は、平面状の治具に寸法が既知の模様を印刷したものであり、撮像装置３３の撮影画像によりターゲットマーカ３２の３次元位置を特定することができる。なお、撮像装置３３の撮影画像により、３次元位置が特定可能であれば、ターゲットマーカ３２は平面状の治具である必要は無く、球状治具や特殊な形状の治具を用いることもできる。なお、ターゲットマーカ３２の取り付け位置について、本実施例ではアーム３１ｈの先端に取り付けているが、ロボット３１上であればこの例に限定されない。ただし、一般的にはロボット３１の自由度が高く、ピッキング作業が行う空間でターゲットマーカ３２を撮影できるアーム先端に取り付けることが望ましい。

【0025】

撮像装置３３の撮影方式は、ピッキング対象物であるワークの形状を測定するため、３次元計測が可能である必要がある。本実施例においてはステレオカメラを用いているが、Time of Flight（ＴｏＦ）方式のカメラや、アクティブステレオ方式のカメラを使用しても良い。なお、撮像装置３３は、天井や壁など任意の場所に設置できるが、３次元計測を精度よく実施できる範囲内にワークが映るように撮像装置３３を設置することが望ましい。

【0026】

（現実装置３の座標系と座標変換の校正）
図４は、現実装置３の座標系と座標変換の関係を示した図である。ここに示すように、現実装置３の座標系には、ロボット３１の基部を原点とする基部座標系Ｃ_１と、ロボット３１のアーム先端を原点とするアーム座標系Ｃ_２と、ターゲットマーカ３２の中心を原点とするマーカ座標系Ｃ_３と、撮像装置３３の光学中心を原点とするカメラ座標系Ｃ_４と、がある。

【0027】

また、現実装置３の座標変換に用いる変換行列には、基部座標系Ｃ_１とカメラ座標系Ｃ_４の変換に用いる基部・カメラ変換行列Ｍ_１と、マーカ座標系Ｃ_３とカメラ座標系Ｃ_４の変換に用いるマーカ・カメラ変換行列Ｍ_２と、アーム座標系Ｃ_２と基部座標系Ｃ_１の変換に用いるアーム・基部変換表列Ｍ_３と、アーム座標系Ｃ_２とマーカ座標系Ｃ_３の変換に用いるアーム・マーカ変換行列Ｍ_４と、がある。

【0028】

例えば、基部・カメラ変換行列Ｍ_１の回転行列をＲ_ｃｒ、並進行列をｔ_ｃｒとしたとき、カメラ座標系Ｃ_４における任意の点Ｃ（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）は、以下の式１により基部座標系Ｃ_１の点Ｒ（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）に変換できる。

【0029】

【数1】

【0030】

現実装置３の座標変換行列は、一般的に、次の方法で取得する。基部・カメラ変換行列Ｍ_１は、キャリブレーションにより取得する。マーカ・カメラ変換行列Ｍ_２は、撮像装置３３によりターゲットマーカ３２を撮影して得た画像を解析することにより取得する。アーム・基部変換行列Ｍ_３は、ロボット３１の３Ｄモデル１５ｃと関節角度情報を用いることで取得する。アーム・マーカ変換行列Ｍ_４は、未知もしくはターゲットマーカ３２をロボット３１に取り付けするための治具の設計値により取得する。

【0031】

なお、本実施例では、各座標系の原点、座標系の向き、座標変換を上述のように設定しているが、この例に限らない。

【0032】

（要件入力装置４）
要件入力装置４では、作業者は、作業内容やワークの種類などの顧客要件を入力する。これにより、撮像システム構築装置２は、撮像システムに必要な計測精度、キャリブレーション精度、コスト、ロボット３１の動作範囲や撮像装置３３の取り付け可能な空間などのシステム要件を取得することができる。

【0033】

図５Ａと図５Ｂは、要件入力装置４の画面表示部の画面例である。ここでは、要件入力装置４として、一般的なノートＰＣを使用している。顧客要件調査を担当する作業者は、顧客先で画面に表示された内容に沿ってヒアリングを行うことで、容易に顧客要件を調査することができる。以降、要件入力装置４の詳細を説明する。

【0034】

要件入力装置４に入力する顧客要件の一例として、図５Ａの入力画面４１のように、使用するロボット３１の種類、デパレタイズやピースピッキングなど作業内容の種類、ダンボールや木箱などワークの種類、ワークの大きさや形状、予算や目標とするピッキングの作業時間等がある。これらの顧客要件を、要件入力装置４を介して、撮像システム構築装置２の要件受付部２０に出力することで、要件受付部２０は撮像システムに必要なシステム要件を現実装置計画部２１や仮想校正評価部２２へと出力することができる。例えば、ワークが荷物台に積まれた複数の大型のダンボールであれば、画角が広い撮像装置３３を選定する必要があるため、必要な画角の情報をシステム要件として現実装置計画部２１へと出力する。加えて、顧客要件として、作業内容がピッキング、エンドエフェクタが吸着ハンドであることを要件受付部２０に出力することで、吸着ハンドの吸着面とダンボールの把持面の面積を比較し、把持に必要な計測精度とキャリブレーション精度のシステム要件を現実装置計画部２１と仮想校正評価部２２へと出力する。

【0035】

また、図５Ａの入力画面４２のように、入力する顧客要件には、ロボット３１を導入する工場内で、撮像装置３３を設置可能な空間等がある。工場の設計情報に基づき３次元空間を生成し、ロボットを一台、もしくは複数設置し、その周辺で撮像装置３３を設置可能な空間を指定することで、撮像装置３３の取り付け範囲のシステム要件を現実装置計画部２１へと出力することができる。取り付け範囲は、単なる直方体のような空間の指定、もしくは複雑な形状でもよい。

【0036】

さらに、図５Ｂの入力画面４３のように、顧客要件として工場内もしくはロボット３１の周辺における設置物や障害物を登録しても良い。また、現状の設備に限らず将来的に設置を見込む設備でもよい。この顧客要件を要件受付部２０に入力することで、設置物や障害物が原因で撮像装置３３により撮影した画像にワークやロボット３１が映らない事態を事前に防止する。また、情報秘匿の観点から撮影不可の領域や物がある場合は、同様に撮影不可の物体として登録することで、撮像範囲に関するシステム要件を現実装置計画部２１へ出力することができる。

【0037】

また、図５Ｂの入力画面４４のように、照明や窓など光源の位置を顧客要件として入力してもよい。３次元計測可能な撮像装置３３の一部は、照明などが発する光によって正確に計測ができないものがある。顧客要件として光源の登録を行うことで、照明が強く当たる空間では、撮像装置３３として照明光に強い種類の機種を選択したり、反射光が入り込まないよう撮像装置３３の位置や取付角度を設定したりするシステム要件を現実装置計画部２１へ出力することができる。

【0038】

（現実装置計画部２１）
現実装置計画部２１では、要件入力装置４から入力されたシステム要件に基づき、現実装置３のうち、撮像装置３３とターゲットマーカ３２の仕様と配置をシミュレータ上で決定する。

【0039】

図６は、現実装置計画部２１のブロック構成図である。ここに示すように、現実装置計画部２１は、要件データベース２１ａと、撮像装置データベース２１ｂと、撮像装置選定部２１ｃと、撮像装置配置決定部２１ｄと、マーカ選定部２１ｆと、マーカ配置決定部２１ｇと、ハードウェア配置情報２１ｈと、を有する。以下、順次説明する。

【0040】

要件データベース２１ａは、要件受付部２０より出力されたシステム要件としてピッキング作業に必要な計測精度やキャリブレーション精度、コスト、ピッキングの作業時間、ロボット３１の動作範囲や撮像装置３３の取り付け可能な空間等を保持する。撮像装置データベース２１ｂは、複数の撮像装置３３の夫々について撮影方式、画角、動作距離、精度、解像度、設計情報、保護等級等の情報を格納する。撮像装置選定部２１ｃは、要件データベース２１ａと撮像装置データベース２１ｂに基づき、価格やピッキングの作業時間の要件を満たし、取り付け可能な空間においてピッキングに必要な計測精度を持つ撮像装置３３を選定する。撮像装置配置決定部２１ｄは、撮像装置３３を取り付け可能な領域のうち、既存の設備を活用して取り付け可能な位置や姿勢、もしくは選定された撮像装置３３が最も精度よく計測できる取り付け位置と姿勢を決定する。

【0041】

マーカ選定部２１ｆは、選定した撮像装置３３の撮影画像を解析したときに精度よく検出可能なターゲットマーカをマーカデータベース２１ｅより選定する。マーカ配置決定部２１ｇは、ロボット３１の形状や作業範囲、周辺環境などからターゲットマーカ３２の取り付け位置を決定する。

【0042】

ハードウェア配置情報２１ｈは、選定した撮像装置３３とターゲットマーカ３２の種類と配置を保持する。

【0043】

また、現実装置計画部２１には、過去の案件における現実装置３の構成を保持する現実装置構成データベースを追加し、上記した撮像装置選定部２１ｃ、撮像装置配置決定部２１ｄ、マーカ選定部２１ｆ、マーカ配置決定部２１ｇと接続することで、現実装置３の構成を決定しても良い。

【0044】

なお、本実施例では自動で撮像装置３３とターゲットマーカ３２の仕様と配置情報を決定したが、撮像装置３３とターゲットマーカ３２の種類と配置についてシステム要件を満たす複数の候補を格納し、ユーザに提示することで比較検討するための現実装置提示部と、決定後にハードウェア配置情報２１ｈに反映する現実装置決定部を設けても良い。

【0045】

（仮想校正評価部２２）
仮想校正評価部２２では、現実装置３を仮想的にシミュレータ上に生成し、アルゴリズムに基づきキャリブレーション用のデータを仮想的に生成し、データを用いてキャリブレーションを実施した結果、精度が十分であるか評価を行う。

【0046】

図７は、仮想校正評価部２２のブロック構成図である。ここに示すように、仮想校正評価部２２は、仮想装置生成部２２ａと、校正方式決定部２２ｂと、生成ロジックデータベース２２ｃと、校正用パラメータ生成部２２ｄと、仮想校正用パラメータ２２ｅと、仮想校正データ生成部２２ｆと、仮想校正データ２２ｇと、仮想校正実行部２２ｈと、校正精度評価部２２ｉと、上記した３Ｄモデル１５ｃと、を有する。以下、順次説明する。

【0047】

仮想装置生成部２２ａは、現実装置計画部２１が出力したハードウェア配置情報２１ｈを、記憶装置１５に記憶した３Ｄモデル１５ｃを用いて、シミュレータ上に仮想的に生成する。校正方式決定部２２ｂは、システム要件にて必要なキャリブレーション精度からキャリブレーションの手法を選択する。校正用パラメータ生成部２２ｄは、キャリブレーションに用いるロボット３１の姿勢群の指令値を生成するアルゴリズムを複数格納する生成ロジックデータベース２２ｃから姿勢群の指令値を生成するアルゴリズムを定め、アルゴリズムに基づきロボット３１の姿勢群の指令値である仮想校正用パラメータ２２ｅを生成する。

【0048】

仮想校正データ生成部２２ｆは、仮想校正用パラメータ２２ｅに基づきシミュレータ上のロボット３１を移動させた時の姿勢値と撮影データを含む仮想校正データ２２ｇを生成する。

【0049】

仮想校正実行部２２ｈは、仮想校正データ２２ｇよりキャリブレーションを実行し、基部・カメラ変換行列Ｍ_１を推定する。校正精度評価部２２ｉは、推定した基部・カメラ変換行列Ｍ_１とシミュレータ設計時の真値を比較し、キャリブレーションの精度がシステム要件を満たすか評価する。

【0050】

なお、複数のキャリブレーション方法を、ユースケース別に保持する校正方式ＤＢを作成し、校正方式決定部２２ｂにてキャリブレーション方式の決定に用いても良い。同様に、校正方式決定部２２ｂでは複数の校正方法を画面上に提示し、ユーザが選択するようにしても良い。

【0051】

また、生成ロジックデータベース２２ｃはキャリブレーションに用いるロボット３１の姿勢群の指令値を生成するロジックを複数格納していたが、これを姿勢群ＤＢとして姿勢群の指令値そのものを校正用パラメータ生成部２２ｄで取得しても良い。

【0052】

また、校正方式決定部２２ｂと校正用パラメータ生成部２２ｄから、複数のキャリブレーション手法とロボット３１の姿勢群の指令値を生成するアルゴリズムの組み合わせについてそれぞれ仮想校正データ生成部２２ｆ、仮想校正実行部２２ｈ、校正精度評価部２２ｉでの処理を実施し、各組合せのキャリブレーションの精度とキャリブレーションに要する時間をユーザに提示することで、システム要件を満たすキャリブレーション方式とロボット３１の姿勢群の指令値の生成アルゴリズムの組を選択するようしても良い。

【0053】

（校正データ取得部２５）
図８は、校正データ取得部２５の処理を示すフローチャートである。この処理は、キャリブレーションに必要なロボット３１の姿勢値と、撮像装置３３により撮影する画像の複数の組を含む校正データ２６を取得する処理であり、本実施例では、ロボット３１と画像の組をＮ組取得するものとする。

【0054】

まず、Ｓ１では、ステップ総数Ｎおよびロボット３１の姿勢群の指令値を校正用パラメータ２４より取得し、Ｓ２では、ステップ数ｉを１に設定する。

【0055】

次に、Ｓ３では、ｉ番目（１番目）の姿勢群の指令値によりロボット３１の姿勢を制御し、Ｓ４では、そのロボット３１を、撮像装置３３で撮影する。

【0056】

Ｓ５では、撮影データを解析することでターゲットマーカ３２の検出が可能か判定する。本来は仮想校正評価部２２によるシミュレータ上で、すべてのステップにおいてターゲットマーカ３２が検出できるロボット姿勢の指令値のみが適用されることが望ましいが、シミュレータと現実の環境の差異によって、検出不可能となる場合がある。

【0057】

Ｓ５で、ターゲットマーカ３２が検出不可（図中Ｎｏ）と判定された場合は、Ｓ６で、現在の姿勢を不適切姿勢データベース２５ａに格納した後、Ｓ７で、ステップ数ｉを１増やしてから、Ｓ３に戻る。

【0058】

一方、Ｓ５で、ターゲットマーカ３２が検出可能（図中Ｙｅｓ）と判定された場合は、Ｓ８では、撮影データを解析することで、マーカ・カメラ変換行列Ｍ_２を推定し、Ｓ９では、画像とマーカ・カメラ変換行列Ｍ_２と基部・アーム変換行列Ｍ_３を校正データ２６に格納する。

【0059】

そして、Ｓ１０では、全ステップが終了したか判定する。全ステップが終了していない場合（図中Ｎｏ）は、Ｓ７で、ステップ数を１増やしてから、Ｓ３に戻る。一方、全ステップ終了した場合（図中Ｙｅｓ）は、校正データ取得部２５の処理を終了する。

【0060】

（校正評価部２８）
校正評価部２８では、校正実行部２７にて現実装置３でキャリブレーションを実施した校正結果のログデータよりキャリブレーションの精度を推定する。

【0061】

図９に、校正評価部２８のブロック構成図を示す。ここに示すように、校正評価部２８は、校正結果２８ａと、校正評価２８ｂと、校正精度推定部２８ｃと、誤差推定部２８ｄと、評価動作実行部２８ｅと、を有する。

【0062】

校正結果２８ａには、校正実行部２７のキャリブレーションの結果として、基部・カメラ変換行列Ｍ_１と、キャリブレーションに使用した画像、ロボット３１の姿勢値であるアーム・基部変換行列Ｍ_３などのログデータを含む。また、校正評価２８ｂは、キャリブレーションの精度を保持する。

【0063】

校正精度推定部２８ｃは、校正結果２８ａを用いてキャリブレーションにより推定した基部・カメラ変換行列Ｍ_１の精度を推定する。誤差推定部２８ｄは、基部・カメラ変換行列Ｍ_１の誤差の大きさを推定する。評価動作実行部２８ｅは、キャリブレーションの精度を評価するための動作を生成し評価する。

【0064】

この校正評価部２８では、撮像システムを新規に構築するキャリブレーションの実施後に、校正精度推定部２８ｃ、誤差推定部２８ｄ、評価動作実行部２８ｅのいずれか、もしくは複数を実施する。以降では、校正精度推定部２８ｃ、誤差推定部２８ｄ、評価動作２８ｅについて詳細に説明する。

【0065】

＜＜校正精度推定部２８ｃ＞＞
図１０は、校正精度推定部２８ｃによる、キャリブレーション精度の推定処理の一例を示すフローチャートである。

【0066】

まず、Ｓ１１では、校正精度推定部２８ｃは、キャリブレーションで推定した基部・カメラ変換行列Ｍ_１とアーム・マーカ変換行列Ｍ_４を、校正結果２８ａから取得する。また、Ｓ１２では、校正データ取得部２５にて収集した各ステップのアーム・基部変換行列Ｍ_３とマーカ・カメラ変換行列Ｍ_２を、校正データ２６から取得する。

【0067】

その後、Ｓ１３では、キャリブレーションにて得た基部・カメラ変換行列Ｍ_１と、各ステップのアーム・基部変換行列Ｍ_３とマーカ・カメラ変換行列Ｍ_２を用いて、各ステップにおけるアーム・マーカ変換行列Ｍ_４を計算する。そして、Ｓ１４では、ｉ＝１～Ｎの全ステップにおけるアーム・マーカ変換行列Ｍ_４の分散を算出し評価値として出力する。

【0068】

上記のＳ１３において、基部・カメラ変換行列Ｍ_１の回転行列をＲ_ｃｒ、並進行列をｔ_ｃｒ、ｉステップ目のマーカ・カメラ変換行列Ｍ_２の回転行列をＲ_ｍｃｉ、並進行列をｔ_ｍｃｉ、ｉステップ目のアーム・基部変換行列Ｍ_３の回転行列をＲ_ａｒｉ、並進行列をｔ_ａｒｉとしたき、ｉステップ目のアーム・マーカ変換行列Ｍ_４の回転行列Ｒ_ａｍｉと並進行列ｔ_ａｍｉは以下のように計算される。

【0069】

【数2】

【0070】

このようにしてＳ１４にて全ステップにおけるアーム・マーカ変換行列Ｍ_４の分散を算出したが、アーム・マーカ変換行列Ｍ_４は本来ステップ毎に値が変動しないため、分散値の大きさにより各パラメータの推定精度の評価が可能である。

【0071】

＜＜誤差推定部２８ｄ＞＞
図１１は、誤差推定部２８ｄによる、誤差推定処理の一例を示すフローチャートである。

【0072】

まず、Ｓ１５では、キャリブレーションで推定した基部・カメラ変換行列Ｍ_１の各軸のパラメータＤ（ｘ，ｙ，ｚ，ｒ_ｘ，ｒ_ｙ，ｒ_ｚ）を、校正結果２８ａから取得する。また、Ｓ１６では、キャリブレーションを実行した際に得られる評価関数ｆを校正結果２８ａから取得する。

【0073】

その後、Ｓ１７では、評価関数ｆの二階微分値を各軸において計算し、Ｓ１８では、二階微分値より各軸方向に対して評価関数ｆの感度を推定する。最後に、Ｓ１９では、評価関数ｆの感度により各軸の精度を評価し出力する。

【0074】

ここで、Ｓ１８において、ｄｘを微小な値としたとき、ｘ軸における評価関数ｆの二階微分値を取得する例を以下に示す。

【0075】

【数3】

【0076】

なお、式３では、位置成分のパラメータＤ（ｘ，ｙ，ｚ）を評価しているが、姿勢成分のパラメータＤ（ｒ_ｘ，ｒ_ｙ，ｒ_ｚ）など別の指標を評価指標としてもよい。

【0077】

＜＜評価動作実行部２８ｅ＞＞
図１２は、評価動作実行部２８ｅが、現実装置３を動作させることで、キャリブレーションの精度を求める処理の一例を示すフローチャートである。

【0078】

まず、Ｓ２０では、校正結果２８ａを用いてロボット３１上のターゲットマーカ３２を撮像装置３３の光軸上など任意の点Ａに移動させる。次に、Ｓ２１では、撮像装置３３にターゲットマーカ３２を撮影させる。その後、Ｓ２２では、撮像データを解析することでマーカ・カメラ変換行列Ｍ_２を推定し、Ｓ２３で、推定結果と点Ａの真値を比較することで精度を算出する。

【0079】

なお、ロボット３１の手先を空間中の物体に接触させることでズレの評価を行う、もしくは撮像装置３３によりターゲットマーカ３２を撮影することで得られた画像と、校正結果２８ａを参照して現在のロボット３１の姿勢における理想の画像を生成し差分の評価を行う、もしくはロボット３１を動作させ任意の位置に移動できるか評価する、など、精度を評価するために現実装置３を動作させるものであれば、評価動作実行部２８ｅでの処理内容は、図１２の例に限らない。

【0080】

（要件フィードバック部２９）
要件フィードバック部２９は、キャリブレーションの精度がシステム要件を満たしていない場合、仮想校正評価部２２で使用されるキャリブレーションの姿勢群の指令値生成のロジックを切り替える機能、もしくは、追加の姿勢の指令値を生成する追加要件を出力する機能、現実装置計画部２１に撮像装置３３の仕様や配置の変更を追加要件として出力する機能、顧客先で構築した撮像システムを使用したピッキング作業の実施中に作業が失敗したとき、キャリブレーションを実施する必要があるか判定し、必要があれば再度実施するよう追加要件を出力する機能、等を有する。

【0081】

図１３は、要件フィードバック部２９の一例を示す機能ブロック図である。ここに示すように、要件フィードバック部２９は、精度充足判定部２９ａと、仮想装置変更要件生成部２９ｂと、精度不足原因推定部２９ｃと、追加要件生成部２９ｄと、ロボット作業実行部２９ｆと、再校正実施評価部２９ｅと、を備える。

【0082】

精度充足判定部２９ａは、校正精度評価部２２ｉにて推定したキャリブレーション精度が、システム要件を満たしているか判定する。

【0083】

仮想装置変更要件生成部２９ｂは、キャリブレーション精度がシステム要件を満たす場合に、シミュレータ上の仮想装置の配置を、実機によりキャリブレーションして求めた校正データ２６の値に基づいて修正し、キャリブレーション用のロボット３１の姿勢群の指令値である校正用パラメータ２４から不適切姿勢データベース２５ａに登録された姿勢を削除するよう指示を生成する。

【0084】

精度不足原因推定部２９ｃは、キャリブレーション精度がシステム要件を満たさない場合に、その原因を推定する。追加要件生成部２９ｄは、精度が不足した原因より、シミュレータに対してシステム要件を満たすために必要な追加要件を生成する。

【0085】

ロボット作業実行部２９ｆは、一度撮像システムの構築を完了した後、現実装置３のロボット３１を用いて顧客要件である作業内容を実施させる。再校正実施評価部２９ｅは、ロボット作業実行部２９ｆにて作業内容が失敗したときに、再度キャリブレーションを実施する必要があるか判定し、必要ある場合は要件受付部２０にキャリブレーションを実施する追加要件を生成し、シミュレータにフィードバックする。

【0086】

以降では、精度不足原因推定部２９ｃ、追加要件生成部２９ｄ、再校正実施評価部２９ｅについて詳細に説明する。

【0087】

＜＜精度不足原因推定部２９ｃ＞＞
図１４に、精度不足原因推定部２９ｃの機能ブロック図を示す。ここに示すように、精度不足原因推定部２９ｃは、現実装置配置検証部２９ｃ１と、校正用パラメータ検証部２９ｃ２と、現実装置仕様検証部２９ｃ３と、を有する。

【0088】

現実装置配置検証部２９ｃ１では、現実装置３の配置が原因で精度の不足が生じたか検証する。具体的には、現実装置計画部２１による現実装置３の配置と、校正データ２６による現実装置３の配置に乖離がある場合に、現実装置３の配置に原因があると推定する。また、撮像装置３３により取得した撮像データと、仮想校正評価部２２で生成した仮想撮像データを比較することで、シミュレータにより生成した現実装置３の配置が、実際の配置と大きくずれているか確認してもよい。

【0089】

校正用パラメータ検証部２９ｃ２では、校正用パラメータ２４が原因で精度の不足が生じたか検証する。具体的には、不適切姿勢データベース２５ａにおいてターゲットマーカ３２を検出できないロボット３１の姿勢がある場合に、不適切データベース２５ａの姿勢を削除した仮想校正データ２２ｇより、仮想的にキャリブレーションを行い、精度の確認を行う。その結果、精度が一定値以上低下した場合は、ロボット３１の姿勢群である校正用パラメータ２４に原因があると推定する。

【0090】

現実装置仕様検証部２９ｃ３では、現実装置３の故障や不具合が原因で精度の不足が生じたか検証する。具体的には、不適切姿勢データベース２５ａの数が大半を占めており、ターゲットマーカ３２を全く検出できない場合は、撮像装置３３が故障している、もしくは撮像装置３３のレンズに汚れが生じている、もしくはターゲットマーカ３２が破損している、もしくは現実装置が全く想定と異なる場所に設置されていると判断する。撮像装置３３の故障もしくは汚れを検証するため、撮像装置３３より３次元計測を行い、視野中心で有効な３次元情報が取得できない場合は、撮像装置３３が原因であると推定する。視野中心で有効な３次元情報が得られた場合は、ターゲットマーカ３２の破損および現実装置３の配置に大きな誤りがあると推定する。

【0091】

＜＜追加要件生成部２９ｄ＞＞
図１５は、追加要件生成部２９ｄの処理を示すフローチャートである。ここに示すように、まず、Ｓ２４では、精度不足原因推定部２９ｃが推定した精度不足原因が現実装置３の配置不良であるか確認する。そして、現実装置３の配置不良が原因である場合は（図中Ｙｅｓ）、Ｓ２５に進み、現実装置３の配置を、現実装置計画部２１にて選定した配置に合わせるようユーザに提示する追加要件を生成する。一方、現実装置３の配置が原因でない場合は（図中Ｎｏ）、Ｓ２６に進み、精度不足原因推定部２９ｃが推定した精度不足原因が、校正用パラメータ２４の不良であるか確認する。

【0092】

そして、校正用パラメータ２４が原因でない場合は、Ｓ２７に進み、撮像装置３３で３次元計測が可能かの判定結果を確認する。計測可能であれば（図中Ｙｅｓ）、Ｓ２８に進み、ターゲットマーカ３２の破損や現実装置３の配置に誤りがないか確認する追加要件を生成する。一方、計測可能でなければ（図中Ｎｏ）、Ｓ２９に進み、撮像装置３３の故障やレンズの汚れを確認する追加要件を生成する。

【0093】

一方、校正用パラメータ２４が原因の場合は、Ｓ３０に進み、不適切姿勢の数が全姿勢の数に対して少ないかを判定する。そして、少なければ（図中Ｙｅｓ）、Ｓ３１に進み、不適切姿勢を削除して、撮像装置３３により障害物などが周辺にあるか確認し、不適切姿勢周辺かつ障害物が存在しない空間でロボット３１の姿勢の指令値を生成するよう追加要件を生成する。一方、不適切姿勢の数が少なくなければ（図中Ｎｏ）、Ｓ３２に進み、姿勢群の指令値を生成するアルゴリズムを変更する追加要件を生成する。

【0094】

そして、Ｓ２５，Ｓ２８，Ｓ２９，Ｓ３１，Ｓ３２の何れかの処理を終えたときに、図１５の処理を終了する。

【0095】

＜＜再校正実施評価部２９ｅ＞＞
続いて、再校正実施評価部２９ｅについて説明する。再校正実施評価部２９ｅは、撮像システム構築後、ロボット作業実行部２９ｆにて、ピッキング作業が失敗した時に呼び出され、キャリブレーションを再度実行する必要があるか判定を行う。本実施例では、評価動作実行部２８ｅのように校正精度を評価する動作を現実装置３に行わせることで、ロボット３１や撮像装置３３の位置関係にずれがあるか判定する、もしくは校正結果に基づきシミュレータ上の仮想装置で撮影した画像と、現実装置で撮影した画像が乖離しているは判定する、もしくは失敗時の撮像データと、過去の撮像データに乖離がある場合は再度キャリブレーションを行う追加要件を生成する。画像が乖離しているか否かは、機械学習などにより判定できる。

【0096】

以上の構成により、現実装置３による撮像システムの評価を、シミュレータにフィードバックすることにより、キャリブレーションの姿勢群の指令値生成のロジックを切り替える、もしくは追加の姿勢の指令値を生成する追加要件を出力することで再度キャリブレーションを実行させる、もしくは撮像方法を修正するようユーザに提示することが可能となる。例として、ロボット３１により顧客要件の作業内容を実施中に、撮像装置３３やワークを意図的にずらし作業を失敗させることで、再度キャリブレーションを実施する、もしくは撮像方法を修正するような画面出力を確認することができる。

【0097】

（撮像システム構築装置２の動作の具体例）
次に、本実施例の撮像システム構築装置２の動作の具体例として、追加要件をシミュレータにフィードバックする動作を示す。まず、作業者により要件入力装置４から顧客要件が入力され、要件受付部２０で顧客要件に基づき推定されたシステム要件から現実装置計画部２１と仮想校正評価部２２を実施する。その後、校正用パラメータ生成部２３にて２０個のロボット３１の姿勢群の指令値を生成し、校正データ取得部２５での処理を実施する。

【0098】

ところが、顧客の環境が動的に変化する案件などで、キャリブレーション作業時にロボット３１周辺に未知の障害物が生じた場合には、ロボット３１が指令値へと移動できないケースが一部発生し、このときの指令値が不適切姿勢データベース２５ａに格納される。本ケースでは４つの姿勢が不適切姿勢データベース２５ａに登録されているとする。続けて、校正データ取得部２５にて正常に取得された校正データ２６を使用して、校正実行部２７にてキャリブレーションが実行される。校正評価部２８によりキャリブレーションの精度を推定し、要件フィードバック部２９では精度充足判定部２９ａにて精度がシステム要件を満たすか判定を行う。

【0099】

このとき、キャリブレーション精度がシステム要件を満たさない場合は、精度不足原因推定部２９ｃが実行される。精度不足原因推定部２９ｃでは、はじめに現実装置配置検証部２９ｃ１が実行される。現実装置配置検証部２９ｃ１では現実装置３による撮影データと仮想装置による仮想撮影データを比較する。この比較により、現実装置３が原因でないと判定された場合は、校正用パラメータ検証部２９ｃ２での検証処理が実行される。校正用パラメータ検証部２９ｃ２では、不適切姿勢データベース２５ａを参照し、不適切姿勢を除いたロボット３１の姿勢群の指令値により、仮想校正評価部２２と同様、仮想的にキャリブレーションを実行する。

【0100】

この結果、４つの不適切姿勢を除いた姿勢群によるキャリブレーションではシステム要件を満たさない場合は、校正用パラメータ２４を変更する必要があるとして、追加要件生成部２９ｄが呼び出される。追加要件生成部２９ｄでは、校正用パラメータ２４が原因であるため、不適切姿勢の数を検証し、この例のように全指令値のうち少数の姿勢のみが不適切姿勢として不適切姿勢データベース２５ａに格納される場合は、不適切姿勢データベース２５ａ中の指令値を校正用パラメータ２４から削除し、撮像装置３３により障害物などが周辺にあるか確認することで障害物がある空間を推定する。そして、不適切姿勢周辺かつ障害物が存在しない空間でロボット３１の姿勢の指令値を再度生成するよう追加要件を生成し、要件受付部２０へとフィードバックすることで、仮想校正評価部２２によりキャリブレーションのパラメータを生成するアルゴリズムを変更させ、再度生成された校正用パラメータ２４によるキャリブレーションが実行される。以上の処理によって、システム要件を満たす撮像装置の構築が完了する。

【0101】

以上の撮像システム構築装置２により、ロボット３１、ターゲットマーカ３２、撮像装置３３を含む現実装置３とシミュレータを活用し、ピッキング作業の成功が保証できる撮像装置３３の選定・配置とキャリブレーション時のロボット３１の姿勢群に関するパラメータを自動で策定し、現実装置によるキャリブレーションの評価から、撮像システムを高度化するための追加要件をシミュレータにフィードバックすることで、キャリブレーションを自動的に再度実行する、もしくは撮像方法を修正する指示を作業者に提示することを可能とし、最適な撮像システムの構築を容易にできる。

【0102】

さらに、要件入力装置４から、作業内容やワークの種類などの顧客要件を入力することで、撮像システムに必要な計測精度、キャリブレーション精度、コスト、ロボット３１の動作範囲や撮像装置３３の取り付け可能な空間を含むシステム要件が推定できる。

【0103】

さらに、現実装置計画部２１では、現実装置の３次元情報や性能の情報を有するシミュレータにより、入力されたシステム要件を満たす現実装置の仕様と配置の決定に要する工数を低減できる。

【0104】

さらに、仮想校正評価部２２により、現実装置計画部２１で決定した現実装置の仕様と配置に基づきシミュレータ上に仮想装置を生成できる。また、キャリブレーション時のロボット３１の姿勢群の指令値を、シミュレータ上の指令値生成アルゴリズムに基づき生成し、仮想装置によるキャリブレーションを実施し、キャリブレーション結果によるロボット・センサ間の相対的な位置と姿勢の推定パラメータを、仮想装置生成時の真値と比較することでキャリブレーションの精度を確認することができる。

【0105】

以上の現実装置計画部２１と仮想校正評価部２２とを含むシミュレータにより、ピッキング作業の成功を保証できる現実装置の仕様と配置、およびキャリブレーション用のロボット３１の姿勢群の指令値の決定とを含む撮像システムの構築に要する工数を削減できる。

【0106】

さらに、校正評価部２８では、現実装置によりキャリブレーションを実施したときの推定精度を評価できる。

【0107】

なお、本来、シミュレータに基づき構築した撮像システムによりシステム要件を満たすことが望ましいが、シミュレータと現実の差異により、キャリブレーション精度が低下する恐れがある。そこで、要件フィードバック部２９では、現実装置３によるキャリブレーション評価がシステム要件を満たすか判定し、システム要件を満たさない場合は、その原因を推定する機能を有する。また、原因がキャリブレーションの姿勢群の指令値である場合、シミュレータに、キャリブレーションの姿勢群の指令値生成のアルゴリズムを切り替える、もしくは追加のロボット３１の姿勢の指令値を生成する追加要件を出力することで、再度キャリブレーションを実行させることを可能とする。また、現実装置が原因である場合、シミュレータに撮像装置３３の仕様や配置の変更を追加要件として出力しシミュレータ上で表示することで、ユーザが現実装置の故障、配置の不備などを点検することを可能とする。また、顧客先にて、構築した撮像システムを使用したピッキング作業の実施中に作業が失敗したとき、キャリブレーションを実施する必要があるか判定し、必要があれば再度実施するよう追加要件を出力することで、再度キャリブレーションを実行する機能を有する。

【0108】

以上で説明したように、本実施例の撮像システム構築装置により、顧客要件を満たす撮像システムの構築に要する工数を低減できる。

【0109】

（変形例１）
図１６のように、ロボット３１のアーム３１ｈに撮像装置３３を取り付けし、周辺に設置したターゲットマーカを現実装置として、撮像システムを構築してもよい。また、現実装置計画部２１に、撮像装置取り付け方式選定部を追加して、撮像装置３３をロボット上に設置するか、周辺に設置するか選択するようにしてもよい。

【符号の説明】

【0110】

１：制御装置
２：撮像システム構築装置
２Ａ：撮像システム計画ユニット
２０：要件受付部
２１：現実装置計画部
２２：仮想校正評価部
２３：校正用パラメータ生成部
２４：校正用パラメータ
２Ｂ：撮像システム評価ユニット
２５：校正データ取得部
２６：校正データ
２７：校正実行部
２８：校正評価部
２９：要件フィードバック部
３：現実装置
３１ ロボットアーム
３２ ターゲットマーカ
３３ 撮像装置
４：要件入力装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】