知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-18
(45)【発行日】2022-11-29
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20221121BHJP
G06T 1/00 20060101ALI20221121BHJP
【ＦＩ】
G01B11/00 H
G06T1/00 315
【請求項の数】
10
(21)【出願番号】P 2016230329
(22)【出願日】2016-11-28
(65)【公開番号】P2018087715
(43)【公開日】2018-06-07
【審査請求日】2019-11-22
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】小林 一彦
(72)【発明者】
【氏名】鈴木 雅博
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特開２０１５－２０２８３５（ＪＰ，Ａ）
【文献】特開２００２－０４６０８７（ＪＰ，Ａ）
【文献】特開２００９－１７４９８１（ＪＰ，Ａ）
【文献】特開２０１６－１７００３１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
対象を三次元計測する計測装置が前記対象の三次元位置を算出する際に用いるカメラまたはレンズの少なくとも何れかのパラメータを、校正が済んだ状態で保持するパラメータ保持手段と、前記パラメータ保持手段に保持された複数のパラメータのそれぞれを微小変化させて対象を撮像した複数の画像毎に、前記パラメータ保持手段に保持されたパラメータで前記対象を撮像した登録画像との差分を示す第１のデータ群を保持する保持手段と、
前記保持手段に前記第１のデータ群を保持した後の所定のタイミングにおいて前記対象を撮像した撮像画像と、前記登録画像と、の差分を示す第２のデータとの相関に基づいて特定した前記第１のデータ群のうちのデータに基づいて、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを特定し出力する提示手段と、
を有する情報処理装置。
【請求項2】
前記第１のデータ群のデータと、前記第２のデータと、の類似度を前記複数のパラメータ毎に取得する取得手段を更に有し、前記提示手段は、前記類似度を出力する請求項１記載の情報処理装置。
【請求項3】
前記提示手段は、前記取得手段によって取得された前記類似度の順に前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを出力する請求項２記載の情報処理装置。
【請求項4】
前記提示手段は、前記第１のデータ群を更に出力する請求項１乃至３何れか１項記載の情報処理装置。
【請求項5】
前記提示手段は、前記複数のパラメータ毎に前記第１のデータ群のデータに基づいて前記パラメータのずれの方向を出力する請求項１乃至４何れか１項記載の情報処理装置。
【請求項6】
前記提示手段は、前記校正が済んだ状態からずれが生じたパラメータについて校正の手続の情報を出力する請求項１乃至５何れか１項記載の情報処理装置。
【請求項7】
前記提示手段は、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを含む画像データを表示し、提示する請求項１乃至６何れか１項記載の情報処理装置。
【請求項8】
前記画像データには、前記計測装置が三次元位置を算出する際に用いる複数のパラメータの校正の開始を指示するオブジェクトが更に含まれ、前記オブジェクトが選択された場合、前記計測装置に対して前記パラメータの校正に係る処理を開始する処理手段を更に有する請求項７記載の情報処理装置。
【請求項9】
情報処理装置が実行する情報処理方法であって、対象を三次元計測する計測装置が前記対象の三次元位置を算出する際に用いるカメラまたはレンズの少なくとも何れかのパラメータを、校正が済んだ状態でパラメータ保持手段に保持するパラメータ保持ステップと、
前記パラメータ保持手段に保持されたパラメータのそれぞれを微小変化させて対象を撮像した複数の画像毎に、前記パラメータ保持手段に保持されたパラメータで前記対象を撮像した登録画像との差分を示す第１のデータ群を保持手段に保持する保持ステップと、
前記保持手段に前記第１のデータ群を保持した後の所定のタイミングにおいて前記対象を撮像した撮像画像と、前記登録画像と、の差分を示す第２のデータとの相関に基づいて特定した前記第１のデータ群のうちのデータに基づいて、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを特定し出力する提示ステップと、
を含む情報処理方法。
【請求項10】
コンピュータを、請求項１乃至８何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
三次元画像計測の基本的な技術として、カメラがプロジェクタから投影されたパターン光が計測対象物体表面に反射した像を撮像する。そして情報処理装置が三角測量の原理でカメラから計測対象物体までの距離を計算する。その際に、カメラの撮像面の主点位置、レンズの焦点面までの距離や歪み係数、カメラ原点の位置姿勢等、距離を計算するときに必要なパラメータが複数存在する。
これらのパラメータは情報処理装置等が校正において推定する。例えば、カメラの内部パラメータである焦点距離、主点位置、レンズの歪み係数は特許文献１に記載の校正の技術で求めることができる。
これらのパラメータは情報処理装置等が校正において推定する。例えば、カメラの内部パラメータである焦点距離、主点位置、レンズの歪み係数は特許文献１に記載の校正の技術で求めることができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０００－３５０２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
パラメータは、装置の振動や経時変化、作業調整中に装置に接触する等して変化する。その際に校正が必要となる。しかし、校正が必要なパラメータを簡便に特定する方法は無かった。
【課題を解決するための手段】
【0005】
本発明の情報処理装置は、対象を三次元計測する計測装置が前記対象の三次元位置を算出する際に用いるカメラまたはレンズの少なくとも何れかのパラメータを、校正が済んだ状態で保持するパラメータ保持手段と、前記パラメータ保持手段に保持されたパラメータのそれぞれを微小変化させて対象を撮像した複数の画像毎に、前記パラメータ保持手段に保持されたパラメータで前記対象を撮像した登録画像との差分を示す第１のデータ群を保持する保持手段と、前記保持手段に前記第１のデータ群を保持した後の所定のタイミングにおいて前記対象を撮像した撮像画像と、前記登録画像と、の差分を示す第２のデータとの相関に基づいて特定した前記第１のデータ群のうちのデータに基づいて、前記複数のパラメータのうち前記校正が済んだ状態からずれが生じたパラメータを特定し出力する提示手段と、を有する。
【発明の効果】
【0006】
本発明によれば、パラメータの校正の手間を減らすことができる。
【図面の簡単な説明】
【0007】
【図1】情報処理装置のハードウェア構成の一例を示す図である。
【図2】情報処理装置の機能構成の一例を示す図である。
【図3】ディスプレイへの提示の一例を示す図である。
【図4】情報処理の一例を示すフローチャートである。
【図5】三次元計測システムのシステム構成の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について図面に基づいて説明する。
【0009】
＜実施形態１＞
図１、情報処理装置１００のハードウェア構成の一例を示す図である。
情報処理装置１００は、ハードウェア構成として、ＣＰＵ１０、メモリ１１、入力装置Ｉ／Ｆ１２、表示装置Ｉ／Ｆ１３、音声出力装置Ｉ／Ｆ１４、撮像装置Ｉ／Ｆ１５を有する。
ＣＰＵ１０は、情報処理装置１００の全体の制御を司る。メモリ１１は、プログラム、画像、パラメータ等、以下に示す実施形態の処理に必要なデータを記憶する。入力装置Ｉ／Ｆ１２は、入力装置と情報処理装置１００とを接続するためのインタフェース（Ｉ／Ｆ）である。入力装置の一例としては、後述するマウス等がある。表示装置Ｉ／Ｆ１３は、表示装置と情報処理装置１００とを接続するためのインタフェースである。表示装置の一例としては、後述するディスプレイ等がある。音声出力装置Ｉ／Ｆ１４は、音声出力装置と情報処理装置１００とを接続するためのインタフェースである。音声出力装置の一例としては、後述するスピーカ等がある。撮像装置Ｉ／Ｆ１５は、撮像装置と情報処理装置１００とを接続するためのインタフェースである。撮像装置の一例としては、後述するカメラ等がある。
ＣＰＵ１０がメモリ１１に記憶されているプログラムに基づき処理を実行することによって、図２に示す情報処理装置１００の機能構成、及び図４に示すフローチャートの処理等が実現される。
図１、情報処理装置１００のハードウェア構成の一例を示す図である。
情報処理装置１００は、ハードウェア構成として、ＣＰＵ１０、メモリ１１、入力装置Ｉ／Ｆ１２、表示装置Ｉ／Ｆ１３、音声出力装置Ｉ／Ｆ１４、撮像装置Ｉ／Ｆ１５を有する。
ＣＰＵ１０は、情報処理装置１００の全体の制御を司る。メモリ１１は、プログラム、画像、パラメータ等、以下に示す実施形態の処理に必要なデータを記憶する。入力装置Ｉ／Ｆ１２は、入力装置と情報処理装置１００とを接続するためのインタフェース（Ｉ／Ｆ）である。入力装置の一例としては、後述するマウス等がある。表示装置Ｉ／Ｆ１３は、表示装置と情報処理装置１００とを接続するためのインタフェースである。表示装置の一例としては、後述するディスプレイ等がある。音声出力装置Ｉ／Ｆ１４は、音声出力装置と情報処理装置１００とを接続するためのインタフェースである。音声出力装置の一例としては、後述するスピーカ等がある。撮像装置Ｉ／Ｆ１５は、撮像装置と情報処理装置１００とを接続するためのインタフェースである。撮像装置の一例としては、後述するカメラ等がある。
ＣＰＵ１０がメモリ１１に記憶されているプログラムに基づき処理を実行することによって、図２に示す情報処理装置１００の機能構成、及び図４に示すフローチャートの処理等が実現される。
【0010】
情報処理装置１００は、対象物体の位置姿勢を画像により計測する三次元計測システムにおける各装置の校正時からのパラメータのズレを提示する。情報処理装置１００は、三次元計測に関連するパラメータを用いて、個々のパラメータに対して線形近似が可能な範囲で僅かな値を加算（又は減算）した値を用いて距離画像を生成する。情報処理装置１００は、加算等していないパラメータの値を用いて距離画像を生成し、生成した距離画像とパラメータを変化させて生成した距離画像とに基づいて変化に伴うパラメータごとの二次元の偏差を偏差マップとして生成し、保持する。計測装置等にズレが発生した状態で計測した画像は、校正が正しい状態の画像（登録画像）から僅かにズレが生じており、その範囲を線形で近似できる。近似できる程度であれば、情報処理装置１００は、パラメータごとに事前に計算している偏差マップと、計測した撮像画像と登録画像とから生成される偏差マップと、の相関を計算し、大きい相関を持つパラメータがズレていると推定することができる。情報処理装置１００がこの様な推定を行い、提示することで、利用者は、三次元計測におけるカメラ、プロジェクタ等の計測装置のうちの、どの装置のどのパラメータがどのようにズレているかを特定する情報を得ることができる。そのため、例えば、再校正や計測装置の障害復旧等の時間を短縮することができる。ここで、偏差マップは、偏差データの一例である。次に、情報処理装置１００の機能構成について図２を用いて詳細を述べる。
【0011】
形状保持部１１０は、計測対象物体の形状をメモリ１１に保持する。ここでは形状とは、三次元計測システムのカメラから観察した対象物体の表面の位置とし、対象物体の形状モデルとしてポリゴンモデルや設計ＣＡＤモデルの表面形状を記述できていればよい。また、計測環境に固定してある物体表面を三次元計測した点群を形状に利用してもよい。
パラメータ保持部１２０は、三次元計測で利用する光学・撮像素子に関するパラメータをメモリ１１に保持する。パラメータとしては、レンズの焦点距離、主点位置、レンズ歪みとして半径方向歪み、周方向歪みの係数がある。また、パラメータとしては、撮像素子の主点位置、計測空間に対するカメラ座標系原点との位置姿勢、カメラとプロジェクタとの相対位置姿勢、ベースライン等の三角測量で必要なパラメータがある。また、パラメータとしては、ロボットを利用する場合には、ロボット座標系原点とカメラ座標系原点との相対的な位置姿勢、作業台における作業原点を示すワークスペース座標系とカメラ座標系原点との相対的な位置姿勢がある。これらのパラメータのうち、実際の計測空間に各装置を設置した状態では計測範囲や周辺の機器との配置関係等から校正が必要となる。情報処理装置１００は、校正として、固定・変動するパラメータのうち、変動する可能性のあるパラメータを対象とすればよい。また、情報処理装置１００は、全てのパラメータを対象とすれば、機器の障害として固定されている部分が外力により変形した場合等を検知することができる。情報処理装置１００は、一度、校正が済んだ状態のパラメータの値を計測装置との対応と共にパラメータ保持部１２０で保持する。
パラメータ保持部１２０は、三次元計測で利用する光学・撮像素子に関するパラメータをメモリ１１に保持する。パラメータとしては、レンズの焦点距離、主点位置、レンズ歪みとして半径方向歪み、周方向歪みの係数がある。また、パラメータとしては、撮像素子の主点位置、計測空間に対するカメラ座標系原点との位置姿勢、カメラとプロジェクタとの相対位置姿勢、ベースライン等の三角測量で必要なパラメータがある。また、パラメータとしては、ロボットを利用する場合には、ロボット座標系原点とカメラ座標系原点との相対的な位置姿勢、作業台における作業原点を示すワークスペース座標系とカメラ座標系原点との相対的な位置姿勢がある。これらのパラメータのうち、実際の計測空間に各装置を設置した状態では計測範囲や周辺の機器との配置関係等から校正が必要となる。情報処理装置１００は、校正として、固定・変動するパラメータのうち、変動する可能性のあるパラメータを対象とすればよい。また、情報処理装置１００は、全てのパラメータを対象とすれば、機器の障害として固定されている部分が外力により変形した場合等を検知することができる。情報処理装置１００は、一度、校正が済んだ状態のパラメータの値を計測装置との対応と共にパラメータ保持部１２０で保持する。
【0012】
偏差マップ保持部１３０は、形状保持部１１０の形状情報とパラメータ保持部１２０の三次元計測に関連するパラメータとを用いて、各パラメータによる偏差マップと校正が正しい状態での距離画像とをメモリ１１に保持する。情報処理装置１００は、注目しているパラメータの一つに対して僅かな値を加えた値を設定し、他のパラメータは変更をしないようにしておく。情報処理装置１００は、そのパラメータのセットで生成された距離画像に対して、どのパラメータも変更が無い状態で算出した距離画像との差を計算する。パラメータの値が異なると、理想的な距離値とは若干異なる距離値が算出される。この距離値の違いは、距離画像の部位によって異なって表出する。例としてＸ方向のズレがある場合には、偏差はＸ方向に出現する。本実施形態の情報処理では、各パラメータのそれぞれ一つのパラメータを僅かに変化した際の偏差マップを用意しておくことで、画像ヤコビアンを画像の状態として事前に計算しておくことを意味する。そのため、計測装置にズレが発生した状態で計測した撮像画像は、校正が正しい状態の画像（登録画像）から僅かにズレが生じている。情報処理装置１００は、その範囲が線形で近似できる程度であれば、偏差マップとの相関を用いて、どのパラメータのズレが大きいかを推定することができる。
【0013】
撮像画像保持部１４０は、三次元計測した距離画像や画像をメモリ１１に保持する。本実施形態では、カメラとプロジェクタとを利用した空間コード化法による距離画像計測を用い、距離画像を得ることとする。プロジェクタは、プロジェクタの投影画像のパターンの位置が特定できるようにグレーコードによる空間コード化法による複数の画像パターンを投影する。情報処理装置１００は、グレーコードを復号化することで投影画像の位置を特定することができる。その際に、情報処理装置１００は、パラメータ保持部１２０に保持されているレンズ・カメラのパラメータを使用する。
算出部１５０は、事前に校正時に登録している距離画像（登録画像）と装置のズレが生じている撮像画像保持部１４０の距離画像との画素ごとの差を偏差マップとして計算する。また、算出部１５０は、計算した偏差マップに対して、偏差マップ保持部１３０で保持している各パラメータの偏差マップとの相関計算を、２つの画素値の内積や値の二乗和の累積を計算することで、行うことができる。算出部１５０は、各パラメータの相関値（偏差マップ類似度算出結果）をメモリ１１にリストとして保持しておく。
算出部１５０は、事前に校正時に登録している距離画像（登録画像）と装置のズレが生じている撮像画像保持部１４０の距離画像との画素ごとの差を偏差マップとして計算する。また、算出部１５０は、計算した偏差マップに対して、偏差マップ保持部１３０で保持している各パラメータの偏差マップとの相関計算を、２つの画素値の内積や値の二乗和の累積を計算することで、行うことができる。算出部１５０は、各パラメータの相関値（偏差マップ類似度算出結果）をメモリ１１にリストとして保持しておく。
【0014】
提示部１６０は、算出部１５０で算出された各パラメータの相関値のリストを用いて、パラメータ保持部１２０で保持されているパラメータを、三次元計測システムの計測装置との関連性と共に提示する。提示部１６０は、例えば、ディスプレイを用いて提示を行う。図３は提示部１６０によるディスプレイへの提示の一例を示す図である。提示部１６０は、文字列やグラフ、色、図形等のＧＵＩ要素を用いて利用者に提示する方法でよい。また、提示部１６０は、スピーカを用いて、音声合成により計算した相関値に関連する情報を読み上げてもよい。また、提示部１６０は、三次元計測システムの各計測装置に付与されたＬＥＤ等の発光素子を用いて、パラメータの偏差が大きい装置のＬＥＤを発光して利用者に提示する方法でもよい。
また、情報処理装置１００は、マウス等の入力装置を介したユーザ操作に基づいて、提示部１６０で提示されている三次元計測システムの計測装置に対して校正指示を送信するようにしてもよい。この様にすることで速やかに校正を開始することができる。図３のディスプレイに表示された画面では、校正が必要な機器を示す部分に、「校正開始」ボタンのＧＵＩが示されおり、利用者がマウスを用いてボタン部分をクリックすることで実際に情報処理装置１００は、該当する装置の校正に係る情報処理を開始する。
図３に提示されている情報は、提示情報の一例である。「校正開始」ボタンは、パラメータの校正の開始を指示するオブジェクトの一例である。
また、情報処理装置１００は、マウス等の入力装置を介したユーザ操作に基づいて、提示部１６０で提示されている三次元計測システムの計測装置に対して校正指示を送信するようにしてもよい。この様にすることで速やかに校正を開始することができる。図３のディスプレイに表示された画面では、校正が必要な機器を示す部分に、「校正開始」ボタンのＧＵＩが示されおり、利用者がマウスを用いてボタン部分をクリックすることで実際に情報処理装置１００は、該当する装置の校正に係る情報処理を開始する。
図３に提示されている情報は、提示情報の一例である。「校正開始」ボタンは、パラメータの校正の開始を指示するオブジェクトの一例である。
【0015】
次に各処理部の流れについて図４を用いて説明する。
図４Ａは、ズレを検出する参照情報として校正が完了した時点での各パラメータの情報を登録する情報処理の一例を示すフローチャートである。
Ｓ１００において、情報処理装置１００は、各パラメータの校正が完了した以降に以下の登録処理を開始する。校正は、各装置構成や方式に依存する特定の方法があり、それを実行することとする。基本的にパラメータの登録が無い場合には、以降の処理ができないため１回以上の登録作業が必要である。
Ｓ１１０において、パラメータ保持部１２０は、三次元計測システムの各計測装置のパラメータをメモリ１１の所定の領域に格納する。パラメータとしては、レンズの焦点距離、歪み係数、主点位置等の校正が必要な項目や、画素数、カラー画素の配列等の装置依存の数値も含まれる。また、パラメータとしては、計測環境の基準座標系に対する相対的な位置姿勢も含む。Ｓ１１０では、パラメータ保持部１２０は、計測する対象の３次元位置を算出する際に必要なパラメータをメモリ１１の所定の領域に格納する。その際、パラメータ保持部１２０は、複数の計測装置に複数のパラメータが存在する場合、計測装置に関連付けを行って複数のパラメータをメモリ１１に記憶して行くとよい。これにより、複数のカメラがある場合に、どのカメラのパラメータかを特定しやすくできる。校正が行われた値がファイルや不揮発性メモリに書き込まれている場合、パラメータ保持部１２０は、それらを読み込み、メモリ１１の所定の領域に格納するようにしてもよい。また、パラメータ保持部１２０は、ディスプレイに表示されたＧＵＩを介した利用者の入力操作に応じて、数値を入力してもよい。ネットワークで管理されている場合、パラメータ保持部１２０は、サーバーよりパラメータを取得し、メモリ１１に格納するようにしてもよい。このような構成とすることにより、パラメータの値の入力作業を省力化できる。
図４Ａは、ズレを検出する参照情報として校正が完了した時点での各パラメータの情報を登録する情報処理の一例を示すフローチャートである。
Ｓ１００において、情報処理装置１００は、各パラメータの校正が完了した以降に以下の登録処理を開始する。校正は、各装置構成や方式に依存する特定の方法があり、それを実行することとする。基本的にパラメータの登録が無い場合には、以降の処理ができないため１回以上の登録作業が必要である。
Ｓ１１０において、パラメータ保持部１２０は、三次元計測システムの各計測装置のパラメータをメモリ１１の所定の領域に格納する。パラメータとしては、レンズの焦点距離、歪み係数、主点位置等の校正が必要な項目や、画素数、カラー画素の配列等の装置依存の数値も含まれる。また、パラメータとしては、計測環境の基準座標系に対する相対的な位置姿勢も含む。Ｓ１１０では、パラメータ保持部１２０は、計測する対象の３次元位置を算出する際に必要なパラメータをメモリ１１の所定の領域に格納する。その際、パラメータ保持部１２０は、複数の計測装置に複数のパラメータが存在する場合、計測装置に関連付けを行って複数のパラメータをメモリ１１に記憶して行くとよい。これにより、複数のカメラがある場合に、どのカメラのパラメータかを特定しやすくできる。校正が行われた値がファイルや不揮発性メモリに書き込まれている場合、パラメータ保持部１２０は、それらを読み込み、メモリ１１の所定の領域に格納するようにしてもよい。また、パラメータ保持部１２０は、ディスプレイに表示されたＧＵＩを介した利用者の入力操作に応じて、数値を入力してもよい。ネットワークで管理されている場合、パラメータ保持部１２０は、サーバーよりパラメータを取得し、メモリ１１に格納するようにしてもよい。このような構成とすることにより、パラメータの値の入力作業を省力化できる。
【0016】
Ｓ１２０において、形状保持部１１０は、計測対象の形状情報をメモリ１１の所定の領域に保持する。形状保持部１１０は、計測対象の形状情報を、二次元画像形式の３次元情報として（Ｘ，Ｙ，Ｚ）の値を持つ形式で保持してもよいし、ランダムに、又は離散的にサンプリングした画面上の点に対応する距離値を持ったデータをリストの形式で保持してもよい。既にＳ１１０では校正が済んでいる状態であるため、形状保持部１１０は、登録する位置に配置された計測対象から、距離画像を取得し、その距離点を形状情報としてメモリ１１に保持するようにしてもよい。更に、カメラを利用しているので計測対象物体の画像も同時に撮像することが可能である場合、形状保持部１１０は、画像を登録して後処理により３次元の位置に変換してもよい。その場合には、形状保持部１１０は、別の校正済みのカメラを用いてステレオ法により距離値を算出することができる。本実施形態の処理では、偏差マップを計測対象の表面の点に限定しているわけでは無いので、形状保持部１１０は、撮像画像の濃度勾配を求めて局所特徴量やエッジとして検出される画素に対して距離を求めて登録してもよい。また、カメラは、対象以外にも作業空間に固定しているジグや台座等のターゲットを撮像してもよいし、計測対象以外の部分も撮像してもよい。そして、形状保持部１１０は、これらを登録してもよい。距離撮像の情報をそのまま利用する方法を用いている場合には、特に対象以外の形状情報を知らなくても、距離画像の情報が利用できるため簡便に設定できる。
距離画像を登録する以外にも、形状情報としてカメラにより観測される計測対象物体表面のカメラ座標系での位置姿勢を用いることができる。対象のＣＡＤモデルやポリゴンモデル等の表面形状のモデルがある場合、形状保持部１１０は、カメラ座標系における対象モデルのモデル座標系を観察位置に合わせるように各頂点の座標変換を行う。このことで、形状保持部１１０は、カメラ座標系での計測対象の表面の座標を得ることができる。
距離画像を登録する以外にも、形状情報としてカメラにより観測される計測対象物体表面のカメラ座標系での位置姿勢を用いることができる。対象のＣＡＤモデルやポリゴンモデル等の表面形状のモデルがある場合、形状保持部１１０は、カメラ座標系における対象モデルのモデル座標系を観察位置に合わせるように各頂点の座標変換を行う。このことで、形状保持部１１０は、カメラ座標系での計測対象の表面の座標を得ることができる。
【0017】
Ｓ１３０において、偏差マップ保持部１３０は、Ｓ１１０で保持した各パラメータの値を僅かに変化させたときの距離画像と各パラメータの値を変化させないときの距離画像とから偏差マップを作成したものをメモリ１１の所定の領域に保持する。
Ｓ１４０では、情報処理装置１００は、一連の登録処理を終了する。
Ｓ１４０では、情報処理装置１００は、一連の登録処理を終了する。
【0018】
登録情報に対して、計測装置の設置位置やレンズのピント位置等のパラメータのどれがズレているかを処理する流れは図４Ｂに示す。
Ｓ２００は、偏差情報提示処理の開始となる。開始のタイミングとしては、システムが立ち上がった時点でＳ２００の処理を開始してもよいし、利用者がチェックを行いときの任意のタイミングでＧＵＩでの指示によりＳ２００の処理を開始してもよい。また、情報処理装置１００は、作業の歩留まり状態を検出しておき、設定された定常状態のばらつきを越える状態が検知された場合に、Ｓ２００の処理を開始してもよい。本実施形態の処理では、三次元計測システムの計測装置に関するパラメータがズレているかどうかを示すものであるため、何もズレていない場合には処理を開始しても結果としては異常なしとして処理を終えることができる。したがって、情報処理装置１００は、定期的にシステムのタイマーを使って以下に示す処理を実行してもよい。
Ｓ２１０において、算出部１５０は、撮像画像保持部１４０を介してメモリ１１から計測対象物体の撮像画像の読み出しを行い、チェックを行う対象画像を準備する。図４Ａで説明したＳ１２０で、形状保持部１１０が距離画像を用いて形状情報を保持している場合、その撮像したときと同じ計測対象を配置しておく必要がある。これは、部品を対象としている場合には、正しく配置することが難しいが、部品を外した状態で部品以外の背景部分にある定盤や治具の情報を利用すればよい。これらが登録時と同じような配置となっていればよい。また、情報処理装置１００は、定期的に撮像した画像をメモリ１１等にファイルとして保存しておき、必要なときに対象の画像のファイルを読み出してもよい。これにより、過去の状態における障害検証を行うことも可能となる。
Ｓ２００は、偏差情報提示処理の開始となる。開始のタイミングとしては、システムが立ち上がった時点でＳ２００の処理を開始してもよいし、利用者がチェックを行いときの任意のタイミングでＧＵＩでの指示によりＳ２００の処理を開始してもよい。また、情報処理装置１００は、作業の歩留まり状態を検出しておき、設定された定常状態のばらつきを越える状態が検知された場合に、Ｓ２００の処理を開始してもよい。本実施形態の処理では、三次元計測システムの計測装置に関するパラメータがズレているかどうかを示すものであるため、何もズレていない場合には処理を開始しても結果としては異常なしとして処理を終えることができる。したがって、情報処理装置１００は、定期的にシステムのタイマーを使って以下に示す処理を実行してもよい。
Ｓ２１０において、算出部１５０は、撮像画像保持部１４０を介してメモリ１１から計測対象物体の撮像画像の読み出しを行い、チェックを行う対象画像を準備する。図４Ａで説明したＳ１２０で、形状保持部１１０が距離画像を用いて形状情報を保持している場合、その撮像したときと同じ計測対象を配置しておく必要がある。これは、部品を対象としている場合には、正しく配置することが難しいが、部品を外した状態で部品以外の背景部分にある定盤や治具の情報を利用すればよい。これらが登録時と同じような配置となっていればよい。また、情報処理装置１００は、定期的に撮像した画像をメモリ１１等にファイルとして保存しておき、必要なときに対象の画像のファイルを読み出してもよい。これにより、過去の状態における障害検証を行うことも可能となる。
【0019】
Ｓ２２０において、算出部１５０は、Ｓ２１０で読み出した撮像画像と校正済みのパラメータからシミュレーション等して、登録した画像（登録画像）との偏差マップを生成し、Ｓ１３０で偏差マップ保持部１３０が保持した偏差マップとの相関計算を行う。相関計算の方法としては、画像の輝度情報を正規化しておき、各画素の輝度比較を行う方法ができればよい。ズレている方向と、事前にパラメータを同じ方向に偏差させた画像とは、高い相関がある。相関の強度は数値として算出することができるので、算出部１５０は、各パラメータの偏差マップとの計算結果を保持しておく。算出部１５０は、各相関値をまとめて平均した値を偏差類似度として算出しておく。この値が高いほど、該当する偏差マップとの関連性が強いことを示す。ここでは、相関を計算する方法を述べたが、基本的には類似しているかどうかを示せる指標を用いれば何を使ってもよい。算出部１５０は、画像統計量や分布の特徴を算出して、その分布のモーメントを用いて類似度を求めることもできる。
Ｓ２３０において、提示部１６０は、Ｓ２２０で計算された結果を基に、パラメータのズレに関する情報を提示する。提示部１６０は、レンズに関するパラメータであれば、レンズのパラメータがズレていることを文字や写真、図、機体番号等の装置を特定できる形で提示すればよい。また、提示部１６０は、相関値の強度に応じてソートして大きい順に提示すれば、利用者がズレの原因の影響度の大きいものから確認することができ、点検・校正の手間を大幅に短縮できる。なお、情報処理装置１００は、入力装置等を介した利用者の設定操作に応じて、事前に装置の振動等のばらつきの範囲の情報をメモリ１１等に記憶しておいてもよい。ばらつきの範囲の情報がメモリ１１等に記憶されている場合、提示部１６０は、ばらつきの範囲内の場合は、機器の測定ノイズとして該当するパラメータの情報は提示しないようにすることができる。このことにより、検査の対象の絞り込みを行うことができる。
Ｓ２３０において、提示部１６０は、Ｓ２２０で計算された結果を基に、パラメータのズレに関する情報を提示する。提示部１６０は、レンズに関するパラメータであれば、レンズのパラメータがズレていることを文字や写真、図、機体番号等の装置を特定できる形で提示すればよい。また、提示部１６０は、相関値の強度に応じてソートして大きい順に提示すれば、利用者がズレの原因の影響度の大きいものから確認することができ、点検・校正の手間を大幅に短縮できる。なお、情報処理装置１００は、入力装置等を介した利用者の設定操作に応じて、事前に装置の振動等のばらつきの範囲の情報をメモリ１１等に記憶しておいてもよい。ばらつきの範囲の情報がメモリ１１等に記憶されている場合、提示部１６０は、ばらつきの範囲内の場合は、機器の測定ノイズとして該当するパラメータの情報は提示しないようにすることができる。このことにより、検査の対象の絞り込みを行うことができる。
【0020】
Ｓ２４０において、情報処理装置１００は、パラメータの偏差情報の提示処理を終了する。処理の結果としてパラメータのズレが無い場合、情報処理装置１００は、異常無しの状態を返信するようにしておくことで、システムのスケジュールでパラメータのズレの検査を繰り返してもよい。それにより、パラメータがズレているかを定常的に検査することができるシステムとなる。情報処理装置１００は、入力装置等を介した利用者のスケジュールの間隔の設定情報をメモリ１１等に保持しておく。そして、情報処理装置１００は、メモリ１１等に保持した設定情報に基づき、設定された間隔で図４（Ｂ）の処理を実行するようにしてもよい。
【0021】
本実施形態の情報処理により、三次元計測システムの各計測装置のどのパラメータにズレが生じているかの障害把握を迅速に行うことができ、障害対象の計測装置を優先的に校正することで障害復帰までの時間を大幅に短縮することができる。
【0022】
＜実施形態２＞
実施形態１での算出部１５０は、各パラメータが独立であり、１つのパラメータがズレている場合について述べた。２つ以上のパラメータがズレている場合にも、それぞれのパラメータによる影響が独立である場合、算出部１５０は、パラメータの影響を線形結合で表すことができる。また、算出部１５０は、各偏差マップへの寄与率を多変量解析の方法を用いて、計算することで複数のパラメータが関与している場合の影響の割合について計算することができる。この場合、提示部１６０は、図３のディスプレイに示す例のように、複数のパラメータの候補を、具体的な寄与率の数値と共に表示すればよい。それにより、校正が必要な影響範囲によっては、複数の装置を同時にまとめて校正することも可能となり、利用者は、更に校正にかかる手間を減らすことができる。
実施形態１での算出部１５０は、各パラメータが独立であり、１つのパラメータがズレている場合について述べた。２つ以上のパラメータがズレている場合にも、それぞれのパラメータによる影響が独立である場合、算出部１５０は、パラメータの影響を線形結合で表すことができる。また、算出部１５０は、各偏差マップへの寄与率を多変量解析の方法を用いて、計算することで複数のパラメータが関与している場合の影響の割合について計算することができる。この場合、提示部１６０は、図３のディスプレイに示す例のように、複数のパラメータの候補を、具体的な寄与率の数値と共に表示すればよい。それにより、校正が必要な影響範囲によっては、複数の装置を同時にまとめて校正することも可能となり、利用者は、更に校正にかかる手間を減らすことができる。
【0023】
＜実施形態３＞
情報処理装置１００は、各パラメータの相関値のリスト等を、ディスプレイ以外にも、ＷＥＢサーバーのように情報をネットワークのクライアントから参照できるようにすることで提示するようにしてもよい。このようにすることで、パラメータの偏差情報を遠隔地からも確認できるようになる。その結果、装置に到達するまでの時間を短縮することができる。
また、修正や校正は作業に慣れていないと、利用者は手順を把握していない場合もある。そこで情報処理装置１００は、入力装置等を介して提示部１６０によって提示された装置のうち、校正を実施したい装置が利用者によって選択されると、具体的な修正と校正の手続きとをマニュアル形式で提示するようにしてもよい。この様にすることで、利用者による校正の手順の間違い等を軽減することができる。例えば、提示部１６０は、ＷＥＢブラウザに図や手順の方法を記載したページを表示するようにしておけばよい。また、提示部１６０は、アニメーション付きで具体的な手順を提示してもよい。利用者が分かるように手順が提示できていればどのような情報提示のフォーマットでもよい。
情報処理装置１００は、各パラメータの相関値のリスト等を、ディスプレイ以外にも、ＷＥＢサーバーのように情報をネットワークのクライアントから参照できるようにすることで提示するようにしてもよい。このようにすることで、パラメータの偏差情報を遠隔地からも確認できるようになる。その結果、装置に到達するまでの時間を短縮することができる。
また、修正や校正は作業に慣れていないと、利用者は手順を把握していない場合もある。そこで情報処理装置１００は、入力装置等を介して提示部１６０によって提示された装置のうち、校正を実施したい装置が利用者によって選択されると、具体的な修正と校正の手続きとをマニュアル形式で提示するようにしてもよい。この様にすることで、利用者による校正の手順の間違い等を軽減することができる。例えば、提示部１６０は、ＷＥＢブラウザに図や手順の方法を記載したページを表示するようにしておけばよい。また、提示部１６０は、アニメーション付きで具体的な手順を提示してもよい。利用者が分かるように手順が提示できていればどのような情報提示のフォーマットでもよい。
【0024】
＜実施形態４＞
三次元計測システムを構成する計測装置がどの方向にズレているかは、相関計算時の正負の値を利用することで方向を算出することができる。ズレの方向は、装置依存の座標系で表現されているため、例えば上下逆さまの方向に設置されているカメラでは直感的にはズレの方向と一致しない場合等、装置の修正方向がわかりにくい。そこで、算出部１５０は、設置されている各装置の座標系を、作業空間座標系に変換する。そして、提示部１６０は、そのズレの方向を利用者に提示する。このことで、装置のズレを修正する際に、どちらの方向に向きを直せばよいかを利用者は直感的に把握することができ、修正の正確さと実行時間を短縮することができる。また、算出部１５０は、ズレの程度も相関値から計算することができるので、修正の度合いも提示することができる。
三次元計測システムを構成する計測装置がどの方向にズレているかは、相関計算時の正負の値を利用することで方向を算出することができる。ズレの方向は、装置依存の座標系で表現されているため、例えば上下逆さまの方向に設置されているカメラでは直感的にはズレの方向と一致しない場合等、装置の修正方向がわかりにくい。そこで、算出部１５０は、設置されている各装置の座標系を、作業空間座標系に変換する。そして、提示部１６０は、そのズレの方向を利用者に提示する。このことで、装置のズレを修正する際に、どちらの方向に向きを直せばよいかを利用者は直感的に把握することができ、修正の正確さと実行時間を短縮することができる。また、算出部１５０は、ズレの程度も相関値から計算することができるので、修正の度合いも提示することができる。
【0025】
＜実施形態５＞
図５に示すように情報処理装置１００とロボットコントローラ２７０とを組み合わせて、部品の組み付け工程を動作させる場合にも上述した実施形態の処理は有効である。図５では、カメラ２００とその配置パラメータ２１０、プロジェクタ２２０とその配置パラメータ２３０、ロボット２６０とその配置パラメータ２８０とを対象としている。情報処理装置１００は、作業空間２４０での基準座標２４５と、その上にある校正のジグ２５０と、の情報を偏差マップとして登録する。情報処理装置１００は、ディスプレイ１７０を使ってパラメータの状態を提示する。また、情報処理装置１００は、ロボットコントローラ２７０を用いて、パラメータ校正のためにロボット２６０を制御することができる。ビンピッキング等で用いられるマシンビジョンの三次元計測の場合、ロボット２６０のハンドで校正ボードを把持することが可能な場合もある。その場合には、作業者が修正と校正の撮像とをしなくても、ロボット２６０にさせることができる。ロボット校正処理として、装置の設置条件はパラメータ保持部１２０で既知なので、情報処理装置１００は、ロボットコントローラ２７０を制御し、所定の場所にロボット２６０を移動させる。そして、情報処理装置１００は、ロボットコントローラ２７０を制御し、前述したズレの方向と大きさの情報を基に、装置のズレを修正することができる。次に、校正のジグ２５０をロボット２６０が把持して、それを所定の撮像方向・枚数で撮像できるように設置して校正を行えばよい。実際には、他の動作との兼ね合いがあるため、利用者がその動作を行う指示を提示部１６０等から行えるようになっていることは作業指示の効率化としても有効である。ロボットコントローラ２７０は、ロボットを制御する制御装置の一例である。
図５に示すように情報処理装置１００とロボットコントローラ２７０とを組み合わせて、部品の組み付け工程を動作させる場合にも上述した実施形態の処理は有効である。図５では、カメラ２００とその配置パラメータ２１０、プロジェクタ２２０とその配置パラメータ２３０、ロボット２６０とその配置パラメータ２８０とを対象としている。情報処理装置１００は、作業空間２４０での基準座標２４５と、その上にある校正のジグ２５０と、の情報を偏差マップとして登録する。情報処理装置１００は、ディスプレイ１７０を使ってパラメータの状態を提示する。また、情報処理装置１００は、ロボットコントローラ２７０を用いて、パラメータ校正のためにロボット２６０を制御することができる。ビンピッキング等で用いられるマシンビジョンの三次元計測の場合、ロボット２６０のハンドで校正ボードを把持することが可能な場合もある。その場合には、作業者が修正と校正の撮像とをしなくても、ロボット２６０にさせることができる。ロボット校正処理として、装置の設置条件はパラメータ保持部１２０で既知なので、情報処理装置１００は、ロボットコントローラ２７０を制御し、所定の場所にロボット２６０を移動させる。そして、情報処理装置１００は、ロボットコントローラ２７０を制御し、前述したズレの方向と大きさの情報を基に、装置のズレを修正することができる。次に、校正のジグ２５０をロボット２６０が把持して、それを所定の撮像方向・枚数で撮像できるように設置して校正を行えばよい。実際には、他の動作との兼ね合いがあるため、利用者がその動作を行う指示を提示部１６０等から行えるようになっていることは作業指示の効率化としても有効である。ロボットコントローラ２７０は、ロボットを制御する制御装置の一例である。
【0026】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0027】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。図２の情報処理装置１００の機能構成の一部又は全てはハードウェア構成として情報処理装置１００に実装してもよい。また、図２に示した保持部の一部又は全ては、データ等を、メモリ１１に記憶せず、情報処理装置１００と通信可能な他の装置の所定のメモリ等に記憶するようにしてもよい。
【0028】
以上、上述した各実施形態の処理によれば、パラメータの校正の手間を減らすことができる。また、誤差要因の特定に係るパラメータ等の情報を利用者に提示することで、再校正する部分を限定し易くすることができる。したがって、システムを正常系に戻すまでの時間を大幅に短縮することができる。
【符号の説明】
【0029】
１０ ＣＰＵ
１００ 情報処理装置
１００ 情報処理装置
【図1】
【図2】
【図3】
【図4】
【図5】