特開 2024-1399 ロボットに対するカメラの校正方法、システム、及び、コンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001399

(43)【公開日】2024-01-10

(54)【発明の名称】ロボットに対するカメラの校正方法、システム、及び、コンピュータープログラム

(51)【国際特許分類】

   B25J 9/10 20060101AFI20231227BHJP

【ＦＩ】

B25J9/10 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022100007

(22)【出願日】2022-06-22

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】佐藤 彰展

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707KS03

3C707KS04

3C707KS17

3C707KS19

3C707KS21

3C707KT01

3C707KT06

3C707KT09

3C707LT06

3C707LT17

3C707LW12

(57)【要約】

【課題】ロボットアームにマーカーを貼ることなくカメラのキャリブレーションを行うことのできる技術を提供する。
【解決手段】本開示の方法は、（ａ）第１機械学習モデルを用いて、カメラで撮影したロボットアームの画像から、ロボットアームに予め設定された複数の特徴点の画素座標値を推定する工程と、（ｂ）第２機械学習モデルを用いて、複数の特徴点の画素座標値から、３次元カメラ座標系における複数の特徴点の第１座標値を推定する工程と、（ｃ）ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における複数の特徴点の第２座標値を算出する工程と、（ｄ）ロボットアームの複数の姿勢について工程（ａ）～（ｃ）を実行し、複数の姿勢における複数の特徴点の第１座標値と２座標値とを用いて、カメラの外部パラメーターを含む校正パラメーターを推定する工程と、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

ロボットに対するカメラの校正方法であって、
（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影したロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する工程と、
（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する工程と、
（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する工程と、
（ｄ）前記ロボットアームの複数の姿勢について前記工程（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する工程と、
を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記複数の特徴点は、前記ロボットアームの複数の関節それぞれの中心位置に設定されている、方法。

【請求項3】

請求項１に記載の方法であって、
前記工程（ｄ）は、前記ロボットアームの新たな姿勢について前記カメラで前記ロボットアームの画像を撮影する度に、カルマンフィルターを用いた観測更新を行うことによって前記校正パラメーターを推定する工程を含む、方法。

【請求項4】

請求項１に記載の方法であって、
前記工程（ｂ）は、前記第２機械学習モデルで得られた前記第１座標値について、前記ロボットアームに関する機械的な制約条件を含むカルマンフィルターを用いた観測更新を行うことによって、前記複数の特徴点の前記第１座標値の推定値を更新する工程を含む、方法。

【請求項5】

ロボットに対するカメラの校正処理を実行するシステムであって、
前記ロボットのロボットアームを撮影可能なカメラと、
前記カメラで撮影された画像を用いて前記カメラの校正処理を実行する校正処理部と、
を備え、
前記校正処理部は、
（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影した前記ロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する処理と、
（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する処理と、
（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する処理と、
（ｄ）前記ロボットアームの複数の姿勢について前記処理（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する処理と、
を実行する、システム。

【請求項6】

ロボットに対するカメラの校正処理をプロセッサーに実行させるコンピュータープログラムであって、
（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影したロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する処理と、
（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する処理と、
（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する処理と、
（ｄ）前記ロボットアームの複数の姿勢について前記処理（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する処理と、
を前記プロセッサーに実行させる、コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ロボットに対するカメラの校正方法、システム、及び、コンピュータープログラムに関する。

【背景技術】

【0002】

ロボットの作業でカメラを使用する場合には、予め校正（キャリブレーション）を行うことによって、カメラの校正パラメーターが設定される。校正パラメーターは、レンズの性能やレンズと画素の関係を表す内部パラメーターと、カメラと外部装置との相対位置を表す外部パラメーターとを含む。カメラのキャリブレーションは、ドットやチェスボードなどのパターンが印刷または加工された専用のキャリブレーションボードを用いて行われるのが普通である。このような通常のキャリブレーション処理は、専用の機材が必要であり、その調整に非常に多くの時間を要する。また、カメラとロボットの位置関係が変化する度にキャリブレーションを行う必要があり、ロボットの使い勝手を低下させる１つの要因となっている。

【0003】

このような使い勝手の低下を解消するために、特許文献１では、ロボットアームにアームマーカーを貼り付けて、ロボットアーム上の既知の位置とアームマーカーを対応づける方法が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１２４４４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記従来技術では、ロボットアームにマーカーを貼付する必要があり、作業が煩雑であるなどの問題があった。そこで、ロボットアームにマーカーを貼ることなくカメラのキャリブレーションを行うことのできる技術が望まれる。

【課題を解決するための手段】

【0006】

本開示の第１の形態によれば、ロボットに対するカメラの校正方法が提供される。この方法は、（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影したロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する工程と、（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する工程と、（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する工程と、（ｄ）前記ロボットアームの複数の姿勢について前記工程（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する工程と、を含む。

【0007】

本開示の第２の形態によれば、ロボットに対するカメラの校正処理を実行するシステムが提供される。このシステムは、前記ロボットのロボットアームを撮影可能なカメラと、前記カメラで撮影された画像を用いて前記カメラの校正処理を実行する校正処理部と、を備える。前記校正処理部は、（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影した前記ロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する処理と、（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する処理と、（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する処理と、（ｄ）前記ロボットアームの複数の姿勢について前記処理（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する処理と、を実行する。

【0008】

本開示の第３の形態によれば、ロボットに対するカメラの校正処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影したロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する処理と、（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する処理と、（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する処理と、（ｄ）前記ロボットアームの複数の姿勢について前記処理（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する処理と、を前記プロセッサーに実行させる。

【図面の簡単な説明】

【0009】

【図1】ロボットシステムの構成を示す説明図。

【図2】各種の座標系の関係を示す概念図。

【図3】情報処理装置の機能ブロック図。

【図4】第１機械学習モデルと第２機械学習モデルの機能を示す説明図。

【図5】第１実施形態における校正処理の手順を示すフローチャート。

【図6】第２実施形態における校正処理の手順を示すフローチャート。

【図7】ステップＳ１３５で使用される機械的な制約条件の一例を示す説明図。

【発明を実施するための形態】

【0010】

Ａ．第１実施形態：
図１は、一実施形態におけるロボットシステムの一例を示す説明図である。このロボットシステムは、カメラ利用機器としてのロボット１００と、ロボット１００を制御するロボットコントローラー２００と、情報処理装置３００と、カメラ４００とを備える。情報処理装置３００は、例えばパーソナルコンピューターである。情報処理装置３００は、ロボットコントローラー２００に制御指令を送信する。情報処理装置３００を、「上位情報処理装置」と呼ぶことも可能である。

【0011】

ロボット１００は、ロボットアーム１１０とエンドエフェクター１２０とを備えている。ロボットアーム１１０は、第１リンク１１１と第２リンク１１２とを有する。エンドエフェクター１２０は、ワークを把持することが可能なグリッパーや吸着パッドとして実現可能である。

【0012】

ロボットアーム１１０とエンドエフェクター１２０は、関節Ｊ１～Ｊ３で順次接続されている。但し、ロボット１００としては、複数の関節を有する任意のロボットアーム機構を有するロボットを用いることが可能である。

【0013】

カメラ４００は、ロボット１００の作業対象となるワークを撮影して、ワークの位置や姿勢を認識するために使用される。また、カメラ４００は、ロボットアーム１１０を撮影できる十分な大きさの視野を有する。カメラ４００としては、２次元のＲＧＢカメラを用いることが可能であり、また、ＲＧＢＤカメラやモノクロカメラを用いてもよい。ＲＧＢＤカメラは、ＲＧＢカメラとＤカメラ（深度カメラ）とを有するカメラである。

【0014】

図２は、各種の座標系の関係を示す概念図である。図２に描かれている座標系は、以下の通りである。
（１）ロボット座標系Σｒ
ロボット座標系Σｒは、ロボット１００の予め定められた位置を座標原点とする直交３次元座標系である。
（２）カメラ座標系Σｃ
カメラ座標系Σｃは、カメラ４００の予め定められた位置を座標原点とする直交３次元座標系である。
（３）画素座標系Σｐ
画素座標系Σｐは、カメラ４００で撮影された画像の直交二次元座標系である。

【0015】

画素座標系Σｐの画素座標値（ｕ，ｖ）とカメラ座標系Σｃの３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）は、次式に示すように、カメラ４００の内部パラメーターを用いて変換可能である。

【数1】

ここで、Ｋｘ，Ｋｙは歪係数、Ｏｘ，Ｏｙは光学中心、ｆは焦点距離である。

【0016】

カメラ座標系Σｃの３次元座標値（Ｘｃ，Ｙｃ，Ｚｃ）とロボット座標系Σｒの３次元座標値（Ｘｒ，Ｙｒ，Ｚｒ）は、次式に示すように、カメラ４００の外部パラメーターで表される座標変換行列[Ｒ｜t]crを用いて変換可能である。

【数2】

【0017】

図２には、更に、ロボットアーム１１０に設定された複数の特徴点Ｐ１，Ｐ２，Ｐ３が描かれている。本実施形態では、特徴点Ｐ１，Ｐ２，Ｐ３は、ロボットアーム１１０の３つの関節Ｊ１，Ｊ２，Ｊ３の中心位置にそれぞれ設定されている。特徴点Ｐ１，Ｐ２は、長さＬ１を有する第１リンク１１１の両端点の位置を示すものと考えることができる。同様に、特徴点Ｐ２，Ｐ３は、長さＬ２を有する第２リンク１１２の両端点の位置を示すものと考えることができる。なお、ロボットアーム１１０には、２以上の任意の数の特徴点を設定することが可能であり、３以上の特徴点を設定することが好ましい。また、特徴点は、ロボットアーム１１０の関節位置に限らず、ロボットアーム１１０の任意の位置に設定可能である。但し、特徴点をロボットアーム１１０の関節位置に設定すれば、ロボットアーム１１０の複数の関節におけるエンコーダー値から特徴点の位置を容易に算出できる点で好ましい。関節以外の位置に特徴点を設定した場合にも、特徴点の位置と関節位置との相対関係を予め設定しておくことにより、特徴点の位置をロボットアーム１１０のエンコーダー値から算出することが可能である。

【0018】

図３は、情報処理装置３００の機能を示すブロック図である。情報処理装置３００は、プロセッサー３１０と、メモリー３２０と、インターフェイス回路３３０と、インターフェイス回路３３０と、を有している。インターフェイス回路３３０には、入力デバイス３４０と表示デバイス３５０が接続されており、また、ロボットコントローラー２００も接続されている。ロボットコントローラー２００は、カメラ４００に接続されており、また、ロボット１００の各関節のモーター電流を測定する電流センサー１４０と、各関節の変位を測定するエンコーダー１５０に接続されている。

【0019】

プロセッサー３１０は、キャリブレーション実行部６１０及びロボット制御実行部６２０としての機能を有する。キャリブレーション実行部６１０は、ロボット１００に対するカメラ４００のキャリブレーションを実行することによって、カメラ４００の校正パラメーターを決定する処理を実行する。キャリブレーション実行部６１０は、第１機械学習モデル６１１と、第２機械学習モデル６１２と、学習実行部６１４と、校正処理部６１６とを含む。ロボット制御実行部６２０は、カメラ４００で撮影された作業領域の画像からワークを認識し、認識したワークを用いた作業をロボット１００に行わせる処理を実行する。キャリブレーション実行部６１０の機能は、メモリー３２０に格納されたコンピュータープログラムをプロセッサー３１０が実行することによってそれぞれ実現される。但し、キャリブレーション実行部６１０の機能の一部又は全部をハードウェア回路で実現してもよい。

【0020】

メモリー３２０には、２つの機械学習モデル６１１，６１２の学習に用いる学習データＬＤと、ロボット属性データＲＤと、校正パラメーターＣＰと、ロボット制御プログラムＲＰが格納される。ロボット属性データＲＤは、ロボット１００の機械的構造や可動範囲などの属性を示すデータである。校正パラメーターＣＰは、上述した内部パラメーターと外部パラメーターとを含んでいる。ロボット制御プログラムＲＰは、ロボット１００を動作させる複数の命令で構成される。

【0021】

図４は、第１機械学習モデル６１１と第２機械学習モデル６１２の機能を示す説明図である。第１機械学習モデル６１１は、カメラ４００で撮影されたロボットアーム１１０の画像ＩＭ（ｕ，ｖ）を入力とし、複数の特徴点Ｐｊの画素座標値Ｐｊ（ｕ，ｖ）を推定する。ｊは，複数の特徴点Ｐ１～Ｐ３を区別する序数である。図４に示す画像ＩＭｐ（ｕ，ｖ）は、元の画像ＩＭ（ｕ，ｖ）に複数の特徴点Ｐｊを描画した仮想的な画像である。この画像ＩＭｐ（ｕ，ｖ）は、キャリブレーション実行時に校正処理部６１６が作成して表示デバイス３５０に表示しても良いが、画像ＩＭｐ（ｕ，ｖ）を作成しなくても良い。

【0022】

第２機械学習モデル６１２は、複数の特徴点Ｐｊの画素座標値Ｐｊ（ｕ，ｖ）を入力とし、カメラ座標系Σｃにおける特徴点Ｐｊの３次元座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）を推定する。この３次元座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）は、校正処理部６１６がカメラ４００の校正パラメーターを推定する際に使用される。

【0023】

第１機械学習モデル６１１としては、画像内の構造的な特徴点を推論する各種のニューラルネットワークを使用することができ、例えば以下のいずれかを使用できる。
(1a) DeeplabCUT (http://www.mackenziemathislab.org/deeplabcut）
(1b) DeepPose （https://arxiv.org/abs/1312.4659）
第１機械学習モデル６１１の学習データは、カメラ４００で撮影したロボットアーム１１０の画像と、複数の特徴点Ｐｊの画素座標値Ｐｊ（ｕ，ｖ）とを含む教師データとすることが好ましい。

【0024】

第２機械学習モデル６１２としては、SfM（Structure from Motion）やNRSfM（Non-Rigid Structure from Motion）を推論する各種のニューラルネットワークを使用することができ、例えば以下のいずれかを使用できる。
(2a) C3DPO (https://arxiv.org/abs/1909.02533)
(2b) RepNet (https://sites.google.com/view/repnet)
第２機械学習モデル６１２の学習データは、ロボットアーム１１０の画像から得られた複数の特徴点Ｐｊの画素座標値Ｐｊ（ｕ，ｖ）と、複数の特徴点Ｐｊの３次元座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）とを含む教師データとすることが好ましい。

【0025】

図５は、第１実施形態における校正処理の手順を示すフローチャートである。ここでは、２つの機械学習モデル６１１，６１２は学習済みであるものと仮定する。また、校正処理前の時点では、カメラ４００の校正パラメーターのうち、少なくとも外部パラメーターが未知であるものと仮定する。カメラ４００の内部パラメーターは既知でも未知でもよい。即ち、図５の校正処理は、カメラ４００の外部パラメーターを含む校正パラメーターを推定する処理である。

【0026】

ステップＳ１１０では、校正処理部６１６が、カメラ４００を用いてロボットアーム１１０を撮影して、画像ＩＭを生成する。ステップＳ１２０では、校正処理部６１６が、第１機械学習モデル６１１を用いて、ロボットアーム１１０の画像ＩＭから複数の特徴点Ｐｊの画素座標値Ｐｊ（ｕ，ｖ）を推定する。ステップＳ１３０では、校正処理部６１６が、第２機械学習モデル６１２を用いて特徴点Ｐｊの画素座標値Ｐｊ（ｕ，ｖ）から、カメラ座標系Σｃにおける特徴点Ｐｊの第１座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）を推定する。なお、校正処理の前にカメラ４００の内部パラメーターが既知である場合にも、上記（１）式を用いて画素座標値（ｕ，ｖ）からカメラ座標系Σｃの座標値（Ｘｃ，Ｙｃ，Ｚｃ）を計算するためにはＺ座標値Ｚｃが必要なので、Ｚ座標値Ｚｃを求めるために、ステップＳ１３０において第２機械学習モデル６１２が使用される。

【0027】

ステップＳ１４０では、校正処理部６１６が、ロボット１００のエンコーダー値を用いて、ロボット座標系Σｒにおける特徴点Ｐｊの第２座標値Ｐｊ（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。この算出処理は、関節Ｊ１，Ｊ２のエンコーダー値と、リンク１１１，１１２の長さＬ１，Ｌ２とを用いた順運動学による計算である。

【0028】

ステップＳ１５０では、校正処理部６１６が、特徴点Ｐｊの第１座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）と第２座標値Ｐｊ（Ｘｒ，Ｙｒ，Ｚｒ）を用いて、カメラ４００の校正パラメーターを推定する。本実施形態では、この推定処理にカルマンフィルターを利用する。カルマンフィルターを利用すれば、カメラ４００とロボット１００の位置関係が変化した場合にも、逐次的にパラメーター推定を行うことができる。

【0029】

一般に、カルマンフィルターは時間更新と観測更新の２つの工程から構成され、この２つの工程を繰り返すことで、推定誤差を最小化していく処理である。カメラ４００の校正パラメーターを推定する場合には、制御入力が無く、時間変化はないため、時間更新は考慮しなくてもよい。即ち、状態ベクトルと観測行列と観測ベクトルを定義して観測更新を行えば、カメラ４００の校正パラメーターを推定することができる。例えば、外部パラメーターのみを推定する場合には、状態ベクトルｘと、観測行列Ｈと、観測ベクトルＺは、以下の通りである。

【数3】

状態ベクトルｘは外部パラメーターであり、観測行列Ｈはロボット座標系Σｒにおける特徴点Ｐｊの３次元座標値であり、観測ベクトルＺはカメラ座標系Σｃにおける特徴点Ｐｊの３次元座標値である。状態ベクトルｘを構成する外部パラメーターが正しく推定された場合には、観測ベクトルＺは、観測行列Ｈに状態ベクトルｘを乗じたものとなる。

【0030】

ここでは外部パラメーターのみを推定する方法を説明したが、同様に内部パラメーターを含んだ推定を行うことも可能である。外部パラメーターと共に内部パラメーターを推定する場合には、状態ベクトルｘに内部パラメーターを追加し、観測行列もこれに応じて変更する。なお、カルマンフィルターに限らず、逐次最小二乗法やパーティクルフィルター等の他の手法を用いて校正パラメーターを推定してもよい。

【0031】

ステップＳ１６０では、校正処理部６１６が、校正パラメーターの推定処理が終了したか否かを判定する。例えば、ステップＳ１１０～Ｓ１５０の処理を１回のイテレーションとしたとき、予め設定された回数のイテレーションを実行したときに、校正パラメーターの推定処理が終了したものと判定することができる。或いは、前回のイテレーションと今回のイテレーションにおける推定値の差分や誤差共分散の差分が閾値以下になったときに、校正パラメーターの推定処理が終了したものと判定してもよい。

【0032】

校正パラメーターの推定処理が終了していなければ、ステップＳ１１０に戻り、上述したステップＳ１１０～Ｓ１５０の処理が再度実行される。なお、複数のイタレーションにおいて、ステップＳ１１０ではロボットアーム１１０が異なる姿勢を取るようにロボットアーム１１０の姿勢が設定される。即ち、ロボットアーム１１０の新たな姿勢についてカメラ４００でロボットアーム１１０の画像ＩＭを撮影する度に、ステップＳ１２０～Ｓ１５０が実行され、カルマンフィルターを用いた観測更新を行うことによって校正パラメーターが推定される。この結果、ロボットアーム１１０の異なる複数の姿勢について、カメラ座標系Σｃの第１座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）とロボット座標系Σｒの第２座標値Ｐｊ（Ｘｒ，Ｙｒ，Ｚｒ）との対応関係が得られるので、カメラ４００の校正パラメーターを正しく推定することが可能となる。

【0033】

校正パラメーターの推定処理が終了すると、推定された校正パラメーターＣＰがメモリー３２０に保存されて図５の処理が完了する。据え置き型のロボットの場合には、カメラ４００とロボット１００の位置関係が大きく変化することは少ない。従って、推定した校正パラメーターＣＰと共に、カルマンフィルターの誤差共分散などを含む推定情報を保存しておき、次回の校正処理において初期値として再利用することによって、推定値の収束を早めることができる。

【0034】

上述した図５の校正処理は、ロボット１００を用いた実作業と並行して行うようにしてもよい。こうすれば、ロボット１００を用いてワークに対する作業を行いながら、カメラ４００の校正処理を実行できるので、校正処理のための特別な処理時間が不要である。なお、実作業と並行して校正処理を実行する場合にも、ステップＳ１１０では、ロボットアーム１１０が停止している状態でロボットアーム１１０の画像を撮影することが好ましい。

【0035】

以上のように、第１実施形態では、ロボットアーム１１０に予め設定された複数の特徴点Ｐｊについて、カメラ４００で撮影した画像ＩＭからカメラ座標系Σｃの第１座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）を推定し、また、ロボットアーム１１０のエンコーダー値からロボット座標系Σｒの第２座標値Ｐｊ（Ｘｒ，Ｙｒ，Ｚｒ）を算出して、これらの３次元座標値からカメラ４００の校正パラメーターＣＰを推定するので、キャリブレーションボードを使用せずにカメラ４００の校正パラメーターＣＰを推定できる。また、ロボットアーム１１０にマーカーを貼ることなくカメラ４００のキャリブレーションを行うことができる。

【0036】

Ｂ．第２実施形態：
図６は、第２実施形態における校正処理の手順を示すフローチャートである。第１実施形態との違いは、ステップＳ１３０とステップＳ１４０の間にステップＳ１３５が追加されている点だけであり、他のステップは図５に示した第１実施形態の校正処理と同じである。また、装置構成も第１実施形態と同じである。

【0037】

ステップＳ１３５では、校正処理部６１６が、ステップＳ１３０で得られた特徴点Ｐｊの第１座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）の推定値をカルマンフィルターに入力し、観測に対して制約条件を付加することで確率的に特徴点Ｐｊの第１座標値の推定値を更新する。制約条件としては、ロボットアーム１１０に関する機械的又は機構的な制約条件を使用することができる。即ち、ステップＳ１３５では、ロボットアーム１１０に関する機械的な制約条件を含むカルマンフィルターを用いた観測更新を行うことによって、特徴点Ｐｊの第１座標値Ｐｊ（Ｘｃ，Ｙｃ，Ｚｃ）の推定値が更新される。

【0038】

図７は、ステップＳ１３５で使用される制約条件の一例を示す説明図である。この例では、第２リンク１１２の長さＬ２を制約条件として使用する。この場合にステップＳ１３５で使用されるカルマンフィルターにおける状態ベクトルｘと、観測行列Ｈと、観測ベクトルＺは、以下の通りである。

【数4】

ここで、状態ベクトルｘの要素は、カメラ座標系Σｃにおける特徴点Ｐｊの正しい第１座標値の推定値であり、観測行列Ｈの要素は、ステップＳ１３０で得られたカメラ座標系Σｃにおける特徴点Ｐｊの第１座標値の推定値である。

【0039】

このような機械的な制約条件を含むカルマンフィルターを用いた観測更新を行えば、上記（４）式で与えられる制約条件を満たすように、特徴点Ｐｊの第１座標値の推定値を更新することができる。

【0040】

機械的な制約条件の他の例として、複数の特徴点Ｐｊが同一平面上に存在すること、という制約条件を用いることも可能である。例えば、３つの特徴点Ｐ１～Ｐ３が同一平面上に存在する場合に、各特徴点Ｐｊの３次元座標値で表される３次元ベクトルを想定すると、３つの３次元ベクトルで張られる立方体の体積はゼロとなる。これは３つの３次元列ベクトルを並べた行列式がゼロになることと同義である。この場合のカルマンフィルターにおける状態ベクトルｘと、観測行列Ｈと、観測ベクトルＺは、以下の通りである。

【数5】

【0041】

機械的な制約条件としては、上述の例の他に、複数のリンク長さや、複数のリンクが直線的に伸びる状態において３つ以上の特徴点Ｐｊが同一直線状に並ぶこと、などの他の制約条件も適用することが可能である。また、複数の制約条件を同時に適用すれば、複数の特徴点Ｐｊの第１座標値をより正確な値に更新できる。

【0042】

以上のような機械的な制約条件を用いることによって、ロボットアーム１１０の形状に即した特徴点Ｐｊの第１座標値を更新することが可能となり、特徴点Ｐｊの３次元位置のばらつきや飛びを抑制することができるため、安定した校正パラメーター推定を実現できる。

【0043】

第２実施形態も、第１実施形態と同様の効果を有する。また、第２実施形態では、機械的な制約条件を含むカルマンフィルターを用いてカメラ座標系Σｃにおける複数の特徴点Ｐｊの第１座標値の推定値を更新するので、第１座標値の推定精度を高めることができる。

【0044】

・他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0045】

（１）本開示の第１の形態によれば、ロボットに対するカメラの校正方法が提供される。この方法は、（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影したロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する工程と、（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する工程と、（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する工程と、（ｄ）前記ロボットアームの複数の姿勢について前記工程（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する工程と、を含む。
この方法によれば、ロボットアームに予め設定された複数の特徴点について、カメラで撮影した画像から３次元カメラ座標系の第１座標値を推定し、また、ロボットアームのエンコーダー値から３次元ロボット座標系の第２座標値を算出して、これらの３次元座標値からカメラの校正パラメーターを推定するので、キャリブレーションボードを使用せずにカメラの校正パラメーターを推定できる。また、ロボットアームにマーカーを貼ることなくカメラのキャリブレーションを行うことができる。

【0046】

（２）上記方法において、前記複数の特徴点は、前記ロボットアームの複数の関節それぞれの中心位置に設定されているものとしてもよい。
この方法によれば、第１機械学習モデルを用いて複数の特徴点の第１座標値を容易に推定でき、また、ロボット座標系の第２座標値を容易に算出できる。

【0047】

（３）上記方法において、前記工程（ｄ）は、前記ロボットアームの新たな姿勢について前記カメラで前記ロボットアームの画像を撮影する度に、カルマンフィルターを用いた観測更新を行うことによって前記校正パラメーターを推定する工程を含むものとしてもよい。
この方法によれば、カルマンフィルターを用いて校正パラメーターを推定するので、ロボットアームについての新たな姿勢をカメラで撮影して推定を行う度に、校正パラメーターの精度を高めることができる。

【0048】

（４）上記方法において、前記工程（ｂ）は、前記第２機械学習モデルで得られた前記第１座標値について、前記ロボットアームに関する機械的な制約条件を含むカルマンフィルターを用いた観測更新を行うことによって、前記複数の特徴点の前記第１座標値の推定値を更新する工程を含むものとしてもよい。
この方法によれば、機械的な制約条件を含むカルマンフィルターを用いて３次元カメラ座標系における複数の特徴点の第１座標値の推定値を更新するので、第１座標値の推定精度を高めることができる。

【0049】

（５）本開示の第２の形態によれば、ロボットに対するカメラの校正処理を実行するシステムが提供される。このシステムは、前記ロボットのロボットアームを撮影可能なカメラと、前記カメラで撮影された画像を用いて前記カメラの校正処理を実行する校正処理部と、を備える。前記校正処理部は、（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影した前記ロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する処理と、（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する処理と、（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する処理と、（ｄ）前記ロボットアームの複数の姿勢について前記処理（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する処理と、を実行する。

【0050】

（６）本開示の第３の形態によれば、ロボットに対するカメラの校正処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）学習済みの第１機械学習モデルを用いて、前記カメラで撮影したロボットアームの画像から、前記ロボットアームに予め設定された複数の特徴点の画素座標値を推定する処理と、（ｂ）学習済みの第２機械学習モデルを用いて、前記複数の特徴点の前記画素座標値から、３次元カメラ座標系における前記複数の特徴点の第１座標値を推定する処理と、（ｃ）前記ロボットアームのエンコーダー値を用いて、３次元ロボット座標系における前記複数の特徴点の第２座標値を算出する処理と、（ｄ）前記ロボットアームの複数の姿勢について前記処理（ａ）～（ｃ）を実行し、前記複数の姿勢における前記複数の特徴点の前記第１座標値と前記第２座標値とを用いて、前記カメラの外部パラメーターを含む校正パラメーターを推定する処理と、を前記プロセッサーに実行させる。

【0051】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットとロボット情報処理装置とを備えたロボットシステム、ロボット情報処理装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

【符号の説明】

【0052】

１００…ロボット、１１０…ロボットアーム、１１１…第１リンク、１１２…第２リンク、１２０…エンドエフェクター、１４０…電流センサー、１５０…エンコーダー、２００…ロボットコントローラー、３００…情報処理装置、３１０…プロセッサー、３２０…メモリー、３３０…インターフェイス回路、３４０…入力デバイス、３５０…表示デバイス、４００…カメラ、６１０…キャリブレーション実行部、６１１…第１機械学習モデル、６１２…第２機械学習モデル、６１４…学習実行部、６１６…校正処理部、６２０…ロボット制御実行部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】