特許 7600859 情報処理システム、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】情報処理システム、情報処理方法、プログラム

(51)【国際特許分類】

   G01B 11/245 20060101AFI20241210BHJP

   G01B 11/00 20060101ALI20241210BHJP

【ＦＩ】

G01B11/245 H

G01B11/00 H

【請求項の数】 15

(21)【出願番号】P 2021084726

(22)【出願日】2021-05-19

(65)【公開番号】P2022178153

(43)【公開日】2022-12-02

【審査請求日】2024-03-19

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】成瀬 洋介

(72)【発明者】

【氏名】大西 康裕

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０１４－１２６４９４（ＪＰ，Ａ）

【文献】特開平１１－１８３１７２（ＪＰ，Ａ）

【文献】国際公開第２０２０／００４１６２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｎ ２１／８４－２１／９５８

(57)【特許請求の範囲】

【請求項1】

三角測量の原理を用いて距離画像を取得する距離画像センサによって異なる撮像位置で取得された複数の距離画像を用いて、物体の３次元的な測定を行う測定装置に関して、
前記物体の測定に用いるべきＭ枚の距離画像それぞれの撮像位置を決定する情報処理システムであって、
Ｎ個の撮像位置（Ｎ＞Ｍ）のそれぞれから前記距離画像センサを用いて、ティーチング用物体を撮像したＮ枚の距離画像を取得する撮像制御手段と、
前記Ｎ枚の距離画像のうち互いに異なる複数の組合せのそれぞれから複数の統合データを構成する構成手段と、
前記複数の統合データそれぞれの、前記ティーチング用物体との一致度を表す精度を算出し、前記複数の統合データそれぞれの精度に基づき、前記Ｎ個の撮像位置の中からＭ個の撮像位置を決定する決定手段と、
を有することを特徴とする情報処理システム。

【請求項2】

前記複数の統合データのそれぞれは、点群によって３次元空間における物体を表現する点群データであり、
前記精度とは、前記ティーチング用物体に対する前記点群のばらつきに応じた値である、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記点群のばらつきは、予め設定された基準面に対する統合データの各点のばらつき、および、前記ティーチング用物体の表面に対する統合データの各点のばらつきに基づく、
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記距離画像センサが最短の時間で前記Ｍ個の撮像位置から前記物体の撮像を完了できるように、前記Ｍ個の撮像位置に前記距離画像センサの位置を変える移動経路を生成する経路生成手段をさらに有する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。

【請求項5】

前記決定手段は、前記精度と、前記距離画像センサが撮像に要する時間とに基づき、前記Ｍ個の撮像位置を決定する、
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理システム。

【請求項6】

それぞれが前記Ｎ個の撮像位置を含み、かつ、それぞれが前記距離画像センサの移動経路である、複数の仮移動経路を取得する取得手段をさらに有し、
前記複数の仮移動経路それぞれについて、
前記撮像制御手段は、前記Ｎ枚の距離画像を取得し、
前記構成手段は、前記複数の統合データを構成し、
前記決定手段は、前記複数の統合データそれぞれの精度に基づき、前記Ｍ個の撮像位置の候補を決定し、
前記決定手段は、前記複数の仮移動経路から１つの仮移動経路を選択し、選択した仮移動経路に対応する前記Ｍ個の撮像位置の候補を前記Ｍ個の撮像位置として決定する、
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理システム。

【請求項7】

前記距離画像センサが撮像に要する時間の上限は、予め設定されており、
前記Ｍは、前記距離画像センサが撮像に要する時間の上限に達するまでに前記距離画像センサが取得できる距離画像の最大の数である、
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理システム。

【請求項8】

前記決定手段が決定した前記撮像位置の数と前記精度との関係を示すグラフを、表示するように表示手段を制御する制御手段をさらに有し、
前記Ｍは、前記グラフが表示された後に入力された、ユーザ入力に応じた数である、
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理システム。

【請求項9】

前記制御手段は、前記距離画像センサが撮像に要する時間と前記決定手段が決定した前記撮像位置の数と前記精度との関係を示すグラフを、表示手段に表示するように制御する、
ことを特徴とする請求項８に記載の情報処理システム。

【請求項10】

前記決定手段は、
前記Ｎ枚の距離画像から最も精度の高い距離画像を選択し、
前記Ｎ枚の距離画像のうち選択していない各距離画像と、前記Ｎ枚の距離画像のうち選択した全ての距離画像とを統合した各統合データの精度に基づき、当該選択していない距離画像から１つの距離画像をさらに選択することを、前記Ｍ枚の距離画像を選択するまで繰り返し、
前記Ｎ個の撮像位置の中から、選択した前記Ｍ枚の距離画像に対応する前記Ｍ個の撮像位置を決定する、
ことを特徴とする請求項１から９のいずれか１項に記載の情報処理システム。

【請求項11】

前記撮像制御手段は、さらに、前記Ｎ個の撮像位置とそれぞれ一定の相対的な位置関係にある周辺位置から前記距離画像センサを用いて前記ティーチング用物体を撮像した距離画像を取得し、
前記構成手段は、前記Ｎ個の撮像位置のうちの１個の撮像位置から撮像した距離画像と当該１個の撮像位置の前記周辺位置から撮像した距離画像とを１個のセットとしたＮ個の画像セットを、互いに異なる複数の組み合わせで統合して前記複数の統合データを構成する、
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理システム。

【請求項12】

前記撮像制御手段は、さらに、前記Ｎ個の撮像位置から前記距離画像センサを用いて、前記ティーチング用物体を含むＷ個のティーチング用物体をそれぞれ個別に撮像した距離画像を取得し、
前記構成手段は、前記Ｎ個の撮像位置のうちの１個の撮像位置から前記Ｗ個のティーチング用物体を個別に撮像したＷ枚の距離画像を１個のセットとしたＮ個の画像セットを、互いに異なる複数の組み合わせで統合して前記複数の統合データを構成する、
ことを特徴とする請求項１から１１のいずれか１項に記載の情報処理システム。

【請求項13】

前記情報処理システムは、前記測定装置を有し、
前記測定装置は、前記Ｍ個の撮像位置から前記距離画像センサが前記物体を撮像した前記Ｍ枚の距離画像を統合した統合データを、前記物体の測定結果として取得する、
ことを特徴とする請求項１から１２のいずれか１項に記載の情報処理システム。

【請求項14】

三角測量の原理を用いて距離画像を取得する距離画像センサによって異なる撮像位置で取得された複数の距離画像を用いて、物体の３次元的な測定を行う測定装置に関して、
前記物体の測定に用いるべきＭ枚の距離画像それぞれの撮像位置を決定する情報処理方法であって、
Ｎ個の撮像位置（Ｎ＞Ｍ）のそれぞれから前記距離画像センサを用いて、ティーチング用物体を撮像したＮ枚の距離画像を取得する撮像制御ステップと、
前記Ｎ枚の距離画像のうち互いに異なる複数の組合せのそれぞれから複数の統合データを構成する構成ステップと、
前記複数の統合データそれぞれの、前記ティーチング用物体との一致度を表す精度を算出し、前記複数の統合データそれぞれの精度に基づき、前記Ｎ個の撮像位置の中からＭ個の撮像位置を決定する決定ステップと、
を有することを特徴とする情報処理方法。

【請求項15】

請求項１４に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、プログラムに関する。

【背景技術】

【0002】

従来から、センサが物体を測定して、当該物体の形状や大きさを検査する検査システムが存在している。

【0003】

特許文献１では、センサと物体との相対的な位置が互いに異なる複数の位置において、センサが物体に照射されたライン光（ライン状の測定光）を検出することによって、測定のばらつき誤差を抑制して、物体を測定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－２２０３３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１では、高精度にライン光の照射および検出をする高額な部材が必要であるため、検査システム全体が高額になってしまう。これに対して、ライン光の検出の代わりに、三角測量の原理を用いた距離画像に基づき、物体を測定するように構成すれば、より安価に、検査システムを構成することができる。検査システムが距離画像に基づき物体を測定する場合には、検査システムは、複数の距離画像を統合して１つの３次元データである統合データを物体の測定結果として生成して、当該統合データに基づき物体の検査をする。

【0006】

一方で、検査システムが距離画像に基づき物体を測定する場合には、１つ１つの距離画像の精度があまり高くないという問題があり、物体の測定結果である統合データにノイズが発生しやすいという問題があった。このため、従来は、このようなノイズを低減するために、非常に多くの撮像位置から物体を撮像しなければならず、物体の測定のための距離画像の撮像（取得）に多くの処理（時間）がかかっていた。

【0007】

そこで、本発明では、三角測量の原理を用いた距離画像に基づき物体を測定する場合に、測定の精度を維持しつつ、当該物体の距離画像の撮像の処理を効率化する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために本発明は、以下の構成を採用する。

【0009】

すなわち、本発明の一側面に係る情報処理システムは、三角測量の原理を用いて距離画像を取得する距離画像センサによって異なる撮像位置で取得された複数の距離画像を用いて、物体の３次元的な測定を行う測定装置に関して、前記物体の測定に用いるべきＭ枚の距離画像それぞれの撮像位置を決定する情報処理システムであって、Ｎ個の撮像位置（Ｎ＞Ｍ）のそれぞれから前記距離画像センサを用いて、ティーチング用物体を撮像したＮ枚の距離画像を取得する撮像制御手段と、前記Ｎ枚の距離画像のうち互いに異なる複数の組合せのそれぞれから複数の統合データを構成する構成手段と、前記複数の統合データそれぞれの、前記ティーチング用物体との一致度を表す精度を算出し、前記複数の統合データそれぞれの精度に基づき、前記Ｎ個の撮像位置の中からＭ個の撮像位置を決定する決定手
段と、を有する（図７ＡのＳｔｅｐ１，Ｓｔｅｐ２）。

【0010】

このような構成によれば、物体を撮像する撮像位置の数が少ない（Ｍの値が小さい）場合であっても、高い精度で物体を測定することができる。つまり、距離画像を用いて物体（ワークピース）を測定する場合に、測定の精度を高く維持しつつ、当該物体の距離画像の撮像枚数を削減することができる。なお、上記において、ティーチング用物体と物体とは、例えば、互いに同じ型番の物体である。

【0011】

上記情報処理システムにおいて、前記複数の統合データのそれぞれは、点群によって３次元空間における物体を表現する点群データであり、前記精度とは、前記ティーチング用物体に対する前記点群のばらつきに応じた値であってもよい。

【0012】

上記情報処理システムにおいて、前記点群のばらつきは、予め設定された基準面に対する統合データの各点のばらつき、および、前記ティーチング用物体の表面に対する統合データの各点のばらつきに基づくものでもよい。本構成によれば、基準面とティーチング用物体の表面とが予め分かればよいため、ユーザがティーチング用物体に関する詳細な情報を入力しなくても、点群のばらつきを決定できる。つまり、Ｍ点の撮像位置を決定するにあたるユーザの負荷を低減できる。

【0013】

上記情報処理システムにおいて、前記距離画像センサが最短の時間で前記Ｍ個の撮像位置から前記物体の撮像を完了できるように、前記Ｍ個の撮像位置に前記距離画像センサの位置を変える移動経路を生成する経路生成手段をさらに有してもよい。本構成によれば、Ｍ点の撮像位置をより効率的に距離画像センサが移動できる経路が生成できるため、物体の測定時において、より効率的に撮像処理を実行することができる（図７ＡのＳｔｅｐ３）。

【0014】

上記情報処理システムにおいて、前記決定手段は、前記精度と、前記距離画像センサが撮像に要する時間とに基づき、前記Ｍ個の撮像位置を決定してもよい。本構成によれば、物体の測定時における測定の精度と、撮像に要する時間とをバランスよく調整することができる。

【0015】

上記情報処理システムにおいて、それぞれが前記Ｎ個の撮像位置を含み、かつ、それぞれが前記距離画像センサの移動経路である、複数の仮移動経路を取得する取得手段をさらに有し、前記複数の仮移動経路それぞれについて、前記撮像制御手段は、前記Ｎ枚の距離画像を取得し、前記構成手段は、複数の前記統合データを構成し、前記決定手段は、前記複数の統合データそれぞれの精度に基づき、前記Ｍ個の撮像位置の候補を決定し、前記決定手段は、前記複数の仮移動経路から１つの仮移動経路を選択し、選択した仮移動経路に対応する前記Ｍ個の撮像位置の候補を前記Ｍ個の撮像位置として決定してもよい。本構成によれば多くの仮移動経路から最適な１つの本移動経路が生成可能（Ｍ点の本撮像位置が決定可能）であるため、より精度の高く測定が可能なＭ点の本撮像位置が決定可能である（図８）。

【0016】

上記情報処理システムにおいて、前記距離画像センサが撮像に要する時間の上限は、予め設定されており、前記Ｍは、前記距離画像センサが撮像に要する時間の上限に達するまでに前記距離画像センサが取得できる距離画像の最大の数であってもよい。本構成によれば、物体の測定時における測定の精度と、撮像に要する時間とをバランスよく調整することができる。

【0017】

上記情報処理システムにおいて、前記決定手段が決定した前記撮像位置の数と前記精度との関係を示すグラフを、表示するように表示手段を制御する制御手段をさらに有し、前
記Ｍは、前記グラフが表示された後に入力された、ユーザ入力に応じた数であってもよい。本構成によれば、表示されるグラフによって、ユーザは撮像位置の数と測定の精度との関係を容易に把握できる。このため、ユーザが撮像位置の数Ｍを決定する場合であっても、容易にＭを決定できる。

【0018】

上記情報処理システムにおいて、前記制御手段は、前記距離画像センサが撮像に要する時間と前記決定手段が決定した前記撮像位置の数と前記精度との関係を示すグラフを、表示手段に表示するように制御してもよい。本構成によれば、表示されるグラフによって、ユーザは撮像位置の数と測定の精度と撮像に要する時間との関係を容易に把握できる。このため、ユーザは、撮像に要する時間をさらに考慮して、適切な撮像位置の数Ｍを決定することができる。

【0019】

上記情報処理システムにおいて、前記決定手段は、前記Ｎ枚の距離画像から最も精度の高い距離画像を選択し、前記Ｎ枚の距離画像のうち選択していない各距離画像と、前記Ｎ枚の距離画像のうち選択した全ての距離画像とを統合した各統合データの精度に基づき、当該選択していない距離画像から１つの距離画像をさらに選択することを、前記Ｍ枚の距離画像を選択するまで繰り返し、前記Ｎ個の撮像位置の中から、選択した前記Ｍ枚の距離画像に対応する前記Ｍ個の撮像位置を決定してもよい。本構成によれば、Ｇｒｅｅｄｙ選択を用いることで、Ｋ個の距離画像を選択していればＫ＋１個目の距離画像を効率的に選択できるため、より効率的にＭ点の撮像位置を決定することができる。これによれば、情報処理システムをより簡易な構成にすることもできる。

【0020】

上記情報処理システムにおいて、前記撮像制御手段は、さらに、前記Ｎ個の撮像位置とそれぞれ一定の相対的な位置関係にある周辺位置から前記距離画像センサを用いて前記ティーチング用物体を撮像した距離画像を取得し、前記構成手段は、前記Ｎ個の撮像位置のうちの１個の撮像位置から撮像した距離画像と当該１個の撮像位置の前記周辺位置から撮像した距離画像とを１個のセットとしたＮ個の画像セットを、互いに異なる複数の組み合わせで統合して前記複数の統合データを構成してもよい。本構成によれば、Ｎ点の撮像位置の周囲の撮像位置から撮像した距離画像にも基づき、Ｍ点の撮像位置を決定することができる。このため、物体の撮像時と、ティーチング用物体の撮像時とで僅かな撮像位置の差が生じてしまった場合においても、安定した精度で物体の測定を行うことができる。

【0021】

上記情報処理システムにおいて、前記撮像制御手段は、さらに、前記Ｎ個の撮像位置から前記距離画像センサを用いて、前記ティーチング用物体を含むＷ個のティーチング用物体をそれぞれ個別に撮像した距離画像を取得し、前記構成手段は、前記Ｎ個の撮像位置のうちの１個の撮像位置から前記Ｗ個のティーチング用物体を個別に撮像したＷ枚の距離画像を１個のセットとしたＮ個の画像セットを、互いに異なる複数の組み合わせで統合して前記複数の統合データを構成してもよい。本構成によれば、Ｎ点の撮像位置から２以上のティーチング用物体を撮像した距離画像に基づき、Ｍ点の撮像位置を決定することができる。このため、ティーチング用物体に個体差が生じている場合においても、安定した精度で物体の測定を行うことができる。

【0022】

上記情報処理システムにおいて、前記情報処理システムは、前記測定装置を有し、前記測定装置は、前記Ｍ個の撮像位置から前記距離画像センサが前記物体を撮像した前記Ｍ枚の距離画像を統合した統合データを、前記物体の測定結果として取得してもよい。

【0023】

本発明は、上記手段の少なくとも一部を有する装置として捉えてもよいし、電子機器や撮像システム、検査システム、測定システム、情報処理装置、検査装置、測定装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む制御方法、情報処理方法、測定方法、検査方法として捉えてもよい。また、本発明は、かかる方法を実現するた
めのプログラムやそのプログラムを非一時的に記録した記録媒体（記憶媒体）として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合せて本発明を構成することができる。

【発明の効果】

【0024】

本発明によれば、三角測量の原理を用いた距離画像に基づき物体を測定する場合に、測定の精度を維持しつつ、当該物体の距離画像の撮像の処理を効率化することができる。

【図面の簡単な説明】

【0025】

【図1】図１は、実施形態１に係る検査システムの構成図である。

【図2】図２は、実施形態１に係る情報処理装置の内部構成図である。

【図3】図３Ａは、実施形態１に係る決定フェーズの処理を示すフローチャートであり、図３Ｂは、実施形態１に係る検査フェーズの処理を示すフローチャートである。

【図4】図４Ａ～図４Ｃは、実施形態１に係るばらつき誤差を説明する図である。

【図5】図５Ａは、実施形態５に係る決定フェーズの処理を示すフローチャートであり、図５Ｂは、実施形態６に係る決定フェーズの処理を示すフローチャートである。

【図6】図６Ａおよび図６Ｂは、実施形態５に係るグラフを表す図である。

【図7】図７Ａおよび図７Ｂは、実施形態１に係る決定フェーズの処理を説明する図である。

【図8】図８は、実施形態３に係る決定フェーズの処理を説明する図である。

【図9】図９は、実施形態１に係る統合データを説明する図である。

【図10】図１０は、実施形態１に係る効果を説明する図である。

【発明を実施するための形態】

【0026】

以下、本発明を実施するための実施形態について図面を用いて記載する。

【0027】

＜適用例＞
以下では、物体の距離画像を取得する距離画像センサ２０から得られた複数の距離画像を用いて、当該物体を検査する検査システム１を説明する。なお、距離画像センサ２０は、三角測量の原理を用いて物体を撮像することにより、距離画像を取得する。検査システム１の処理は、決定フェーズと検査フェーズとの処理を含む。検査フェーズでは、検査システム１は、決定フェーズにおいて決定された複数の撮像位置のそれぞれに距離画像センサ２０の位置を変えて物体を撮像した複数の距離画像を取得することによって物体を測定し、測定結果に応じて物体を検査する。

【0028】

なお、同じ１つの撮像位置から距離画像センサ２０が取得した複数の距離画像には、物体（ワーク）のＢＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）特性に起因したセンサ位置依存の座標ノイズが測定誤差として生じてしまい、各距離画像に同じようなノイズが生じてしまう。このため、複数の距離画像を統合した測定結果である統合データにも、ノイズの影響が出てしまう。一方で、以下の各実施形態に述べるように、異なる複数の撮像位置から距離画像センサ２０が取得した複数の距離画像を統合して統合データを構成する場合に、複数の距離画像が互いに座標ノイズを打ち消す。このため、精度よく物体を検査することができる。

【0029】

決定フェーズでは、検査システム１は、検査フェーズにおいて距離画像センサ２０が物体を撮像する複数の撮像位置を決定（設定）する。ここで、検査システム１は、複数の撮像位置の候補から撮像した複数の距離画像を統合した統合データの精度に基づき、複数の撮像位置を決定（設定）する。

【0030】

これによれば、検査フェーズにおいて、物体を撮像する撮像位置の数が少ない場合であ
っても、高い精度で物体を測定することができる。つまり、距離画像を用いて物体を測定する場合に、測定の精度を高く維持しつつ、当該物体の距離画像の撮像の処理を効率化することができる。具体的には、検査フェーズにおける撮像枚数（検査タクト）の削減と、処理の計算量の削減ができる。

【0031】

＜実施形態１＞
［検査システムの構成］
図１を参照して、実施形態１に係る検査システム１の構成を説明する。検査システム１は、物体を検査する情報処理システムである。検査システム１は、決定フェーズと検査フェーズとを含み、決定フェーズと検査フェーズでは、同種の物体（例えば、同じ品番である物体）を撮像する。そこで、決定フェーズで撮像されるティーチング用の物体（ティーチング用物体）をワーク５０Ａと称し、検査フェーズで撮像（検査）される物体をワーク５０Ｂと称する。そして、ワーク５０Ａとワーク５０Ｂとを総称してワーク５０と称する。なお、ワーク５０Ａとワーク５０Ｂとは、同じ位置姿勢で配置されている。

【0032】

検査システム１は、ロボット１０、距離画像センサ２０、情報処理装置３０、制御サーバ４０を有する。

【0033】

ロボット１０は、自身の姿勢（動き；アームの関節の角度）を制御することによって、距離画像センサ２０の位置姿勢を制御する。ここで、ロボット１０の姿勢は、情報処理装置３０によって制御される。ロボット１０のアームの先端に、距離画像センサ２０が設けられている。このため、ロボット１０が距離画像センサ２０を有しているとみなしてもよい。なお、「位置姿勢」とは、本実施形態では、位置および姿勢であるが、技術的な矛盾が生じなければ、位置または姿勢であってもよい。また、以下では、位置が決まれば、位置に対応する姿勢が一意に決まる場合には、位置についてのみ言及し、姿勢については言及しない。

【0034】

距離画像センサ２０は、ワーク５０を撮像することによって距離画像を取得する。ここで、距離画像とは、画素のそれぞれが被写体までの距離を示す画像である。本実施形態では、より具体的には、距離画像とは、画素のそれぞれが、距離画像センサ２０からの各距離における物体の有無を示す点を表わす点群データ（３次元データ）である。距離画像は、点群（複数の点の集合）によって３次元空間における物体を表現する。本実施形態では、距離画像センサ２０は、いわゆるアクティブステレオ方式によって距離画像を撮像する。アクティブステレオ方式は、例えば、時間的または空間的に符号化したパターンの画像を被写体にプロジェクタにより照射して、カメラで撮像したパターンの画像を解析することでカメラの画像とプロジェクタの画像とを対応付けて、三角測量の原理に基づいて３次元の位置を特定する方式を含む。

【0035】

なお、距離画像センサ２０は、アクティブステレオ方式によって距離画像を撮像することに限らず、三角測量の原理に基づいて３次元の位置を特定する方式であれば、パッシブステレオ方式または位相シフト方式など任意の方式によって距離画像を取得してもよい。

【0036】

情報処理装置３０は、距離画像センサ２０が撮像したワーク５０Ｂの距離画像に基づき、ワーク５０Ｂの３次元データである統合データを生成して、統合データからワーク５０Ｂを検査する。また、情報処理装置３０は、距離画像センサ２０がワーク５０を撮像する位置である撮像位置を決定して、当該撮像位置に位置するように距離画像センサ２０を制御する。なお、本実施形態では、距離画像センサ２０の位置が決定すれば、ワーク５０の中心（または任意の点）に距離画像センサ２０の光軸が通るような、距離画像センサ２０の姿勢が一意に決定されるものとする。そして、情報処理装置３０は、或る撮像位置に距離画像センサ２０を移動させた場合には、当該撮像位置に対応する姿勢に距離画像センサ
２０の姿勢を変更するものとする。

【0037】

制御サーバ４０は、ネットワーク６０を介して、複数の情報処理装置３０を制御する。制御サーバ４０は、情報処理装置３０が有する構成要素の全部または一部を有していてもよい。

【0038】

［情報処理装置の構成］
図２の構成図を参照して、情報処理装置３０の内部構成を説明する。情報処理装置３０は、制御部３０１、記憶部３０２、情報取得部３０３、撮像制御部３０４、構成部３０５、決定部３０６、経路生成部３０７、検査部３０８、出力部３０９を有する。

【0039】

制御部３０１は、記憶部３０２に記憶されたプログラムに従って、情報処理装置３０の各構成要素を制御する。なお、制御部３０１の処理は、制御サーバ４０が実行してもよい。

【0040】

記憶部３０２は、各構成要素が動作するための情報や、制御部３０１が実行するためのプログラムを記憶する。記憶部３０２は、例えば、決定フェーズにおいて距離画像センサ２０が移動する仮の経路である仮移動経路の情報を記憶する。また、記憶部３０２は、仮移動経路において距離画像センサ２０がワーク５０Ａを撮像する撮像位置であるＮ点（Ｎは、２以上の自然数）の撮像位置（以下、仮撮像位置と呼ぶ）の情報を記憶する。また、記憶部３０２は、ワーク５０の形状や大きさ、ワーク５０の表面の滑らかさを表す仕様情報を記憶する。また、仕様情報は、ワーク５０の３次元モデル（ＣＡＤモデル）の情報や、平面の範囲を表す平面モデルの情報であってもよい。

【0041】

情報取得部３０３は、距離画像センサ２０が撮像したワーク５０の距離画像を、距離画像センサ２０から取得する。また、情報取得部３０３は、仮移動経路の情報、仮撮像位置の情報、および仕様情報を、ユーザ入力に従って、または記憶部３０２から取得する。

【0042】

撮像制御部３０４は、ロボット１０および距離画像センサ２０の動作を制御する。具体的には、撮像制御部３０４は、検査フェーズにおいて距離画像センサ２０が移動する移動経路（以下では、本移動経路と呼ぶ）または仮移動経路に従って、距離画像センサ２０を移動させる。なお、撮像制御部３０４は、距離画像センサ２０を移動させるために、ロボット１０の姿勢を制御する。そして、撮像制御部３０４は、仮移動経路または本移動経路のそれぞれに対応した複数の撮像位置から、ワーク５０を撮像するように距離画像センサ２０を制御する。なお、撮像制御部３０４は、ワーク５０の位置および姿勢を変化させることが可能であってもよい。

【0043】

構成部３０５は、距離画像センサ２０が撮像した複数の距離画像を統合することによって、ワーク５０の統合データを構成する。本実施形態では、統合データは、図９に示すような、距離画像と同様に、点群（複数の点の集合）によって３次元空間における物体を表現する点群データであり得る。構成部３０５は、複数の距離画像を統合して統合データを構成する場合には、例えば、図９に示すように、ワーク５０を含む３次元空間を複数の空間に（所定の大きさの立方体単位で）区切り、複数の距離画像において区切った空間ごとに物体の存在を示す点の位置を平均化することによって、統合データにおける点群を取得できる。これによって、点群座標に平均ゼロのノイズが加わっている場合において、複数の距離画像を統合することで、よりノイズの少ない点群を取得できる。

【0044】

決定部３０６は、図７ＡのＳｔｅｐ２のように、Ｎ点の仮撮像位置の中から、検査フェーズにおいて距離画像センサ２０がワーク５０Ｂを撮像する位置であるＭ点（Ｍは、Ｍ＜Ｎを満たす自然数）の撮像位置（以下、本撮像位置と呼ぶ）を決定する。決定部３０６は
、構成部３０５が構成した統合データの精度（測定精度）に基づき、Ｍ点の本撮像位置を決定する。測定精度とは、ワーク５０Ａと統合データとの一致度を表す値である。なお、本撮像位置の決定方法（選択方法）についての詳細は、後述する。

【0045】

経路生成部３０７は、図７ＡのＳｔｅｐ３のように、決定部３０６が決定したＭ点の本撮像位置を接続することによって、本移動経路を決定する。本実施形態では、経路生成部３０７は、最も短い時間（検査タクト）でＭ点の本撮像位置からワーク５０を撮像できる経路を本移動経路として決定する。最も短い時間でＭ点の本撮像位置からワーク５０を撮像できる経路の決定には、既知の任意の最適化アルゴリズムを用いることができる。なお、経路生成部３０７は、最も短い時間でＭ点の本撮像位置からワーク５０を撮像できる経路の代わりに、Ｍ点の本撮像位置を最も短い時間または距離で移動できる経路を本移動経路として決定してもよい。

【0046】

検査部３０８は、Ｍ点の本撮像位置から距離画像センサ２０がワーク５０Ｂを撮像したＭ枚の距離画像を統合した統合データを、構成部３０５から測定結果として取得する。そして、検査部３０８は、測定結果に基づきワーク５０Ｂを検査する。例えば、検査部３０８は、ワーク５０の仕様情報から判定可能なワーク５０の形状と、統合データが表すワーク５０Ｂの形状を比較することによって、ワーク５０Ｂを検査する。

【0047】

出力部３０９は、検査部３０８による検査結果（ワーク５０Ｂの検査の合否）を出力する。また、出力部３０９は、Ｍ点の本撮像位置の情報や、本移動経路の情報を出力してもよい。

【0048】

なお、実施形態では、１つの装置（情報処理装置３０）によって決定フェーズおよび検査フェーズの処理が行われるが、各フェーズの処理を異なる装置が行ってもよい。例えば、決定フェーズの処理を決定装置（設定装置）が行い、検査フェーズの処理を検査装置（測定装置）が行ってもよい。この場合には、例えば、決定装置の出力部が、Ｍ点の本撮像位置の情報または／および本移動経路の情報を検査装置に出力する。

【0049】

また、情報処理装置３０は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

【0050】

［決定フェーズ］
以下では、情報処理装置３０が行う決定フェーズにおける処理を図３Ａのフローチャートを用いて説明する。図３Ａのフローチャートの各処理は、制御部３０１が記憶部３０２に格納されたプログラムを実行することによって実現される。

【0051】

ステップＳ１００１では、制御部３０１は、情報取得部３０３を制御して、仮移動経路の情報、Ｎ点の仮撮像位置の情報、およびワーク５０の仕様情報などの設定情報を記憶部３０２から取得する。なお、情報取得部３０３は、ユーザの入力によって設定情報を取得してもよい。

【0052】

ステップＳ１００２では、制御部３０１は、撮像制御部３０４を介してロボット１０お
よび距離画像センサ２０を制御して、Ｎ点の仮撮像位置からワーク５０Ａを撮像したＮ枚の距離画像を取得する。具体的には、撮像制御部３０４は、距離画像センサ２０が仮移動経路に従って移動するようにロボット１０の姿勢を制御し、距離画像センサ２０がＮ点の仮撮像位置のいずれかに到達するたびに、距離画像センサ２０を制御して距離画像を取得する。

【0053】

ステップＳ１００３では、制御部３０１は、構成部３０５および決定部３０６を制御して、Ｎ点の仮撮像位置から、Ｍ点（Ｍ＜Ｎ）の本撮像位置を決定する。本実施形態では、Ｇｒｅｅｄｙ選択という考え方を用いて、Ｍ点の本撮像位置を決定する例を説明する。Ｇｒｅｅｄｙ選択は、既にＫ枚の画像が選択されている状況において、さらに１枚の画像を追加するとした場合に、残るＮ－Ｋ枚の画像のうちのどの１枚を追加すれば最も評価値がよくなるかを判定し、最良となる１枚を追加したものをＫ＋１枚の選択結果とするものである。本実施形態では、評価値は、構成部３０５が１または複数の距離画像から構成した統合データの測定精度である。統合データの測定精度は、点群情報である統合データの点群のばらつき誤差Ｄ（ばらつき）に応じた値である。例えば、測定精度は、ばらつき誤差Ｄの逆数であり得る。ばらつき誤差Ｄの詳細については、後述する。

【0054】

本実施形態では、まず、決定部３０６は、Ｎ枚の距離画像のうち最も精度のよい距離画像を選ぶ。次に、構成部３０５は、選択された距離画像と、残りのＮ－１枚の距離画像のそれぞれとを統合したＮ－１個の統合データを構成する。そして、決定部３０６は、選択した距離画像と統合すると統合データの測定精度が最も高くなる距離画像を残りのＮ－１枚の距離画像から選択する。これによって、２枚の距離画像が選択される。

【0055】

続いて、構成部３０５は、選択された２枚の距離画像と、残りのＮ－２枚の距離画像のそれぞれとを統合したＮ－２個の統合データを構成する。そして、決定部３０６は、選択した２枚の距離画像と統合すると統合データの測定精度が最も高くなる距離画像を残りのＮ－２枚の距離画像から選択する。決定部３０６および構成部３０５は、これらの処理をＭ枚の距離画像を選択するまで繰り返す。そして、決定部３０６は、選択したＭ枚の距離画像に対応するＭ点の仮撮像位置をＭ点の本撮像位置に決定する。

【0056】

このようにＧｒｅｅｄｙ選択を用いることによれば、Ｋ枚の距離画像が決定すればＫ＋１枚目の距離画像が決定できるため、総当たり方式で最も好適なＭ枚の距離画像を選択する場合よりも高速にＭ点の本撮像位置を決定することができる。

【0057】

以下では、図４Ａ～図４Ｃを参照して、統合データの測定精度と対応する、ばらつき誤差Ｄの算出方法の例を説明する。ここでは、決定部３０６は、測定面および基準面に基づく、点群のばらつきである、ばらつき誤差Ｄを算出する。ここで、「測定面」とは、測定対象であるワーク５０の表面である。「基準面」とは、ワーク５０を測定する際に基準となるような、予め設定された固定面である。「基準面」とは、例えば、ワーク５０を置くための土台などの任意の面であり得る。また、図４Ａ～図４Ｃに示す丸い点は、統合データである点群情報の点を示す。

【0058】

なお、基準面および測定面のそれぞれの形状および位置は、仕様情報から判定可能であってよい。例えば、仕様情報のそれ自体が、基準面および測定面の形状および位置の情報（平面情報）を有していてもよい。この場合には、ユーザが指定する情報が多くなるので、ユーザ負担が大きいが、精度よくばらつき誤差Ｄを算出できる。また、仕様情報は、一方の面の形状および位置と他方の面の滑らかさの情報とを有していてもよいし、両方の面の滑らかさの情報を有していてもよい。仕様情報が面の滑らかさの情報を有していれば、点群情報である統合データの各点を、当該滑らかさを有する曲面で近似すれば、当該面の形状および位置が判定可能である。さらには、仕様情報は、基準面および測定面のそれぞ
れの形状および位置が仕様情報から判定するために、基準面および測定面のエッジの情報を有していてもよい。

【0059】

図４Ａは、測定面が平面である場合のばらつき誤差Ｄの算出方法を説明する図である。ここで測定面が１面である場合、決定部３０６は、基準面の周辺に位置する点と基準面との距離の分散σ_Ａ ^２と、測定面の周辺に位置する点と測定面との距離の分散σ_Ｂ ^２の合計をばらつき誤差Ｄとして算出する。つまり、決定部３０６は、基準面に対する点群のばらつきと、測定面に対する点群のばらつきとに基づき、ばらつき誤差Ｄを算出する。

【0060】

図４Ｂは、測定面が平面でない（例えば、曲面である）場合のばらつき誤差Ｄの算出方法を説明する図である。ここで測定面が２面である場合、決定部３０６は、基準面と基準面の周辺に存在する点との距離の分散σ_Ａ ^２と、第１の測定面と第１の測定面の周辺に位置する点との距離の分散σ_Ｂ ^２と、第２の測定面と第２の測定面の周辺に位置する点との距離の分散σ_Ｃ ^２との合計をばらつき誤差Ｄとして算出する。

【0061】

なお、基準面の形状および位置のみが仕様情報から把握できる場合（例えば、仕様情報が基準面の形状および位置のみを有する場合）であって、測定面の形状および位置が仕様情報から把握できない場合でも、ばらつき誤差Ｄは算出可能である。例えば、決定部３０６は、基準面の周辺に位置する各点と基準面との距離の分散を、ばらつき誤差Ｄとして決定してもよい。

【0062】

図４Ｃは、点群情報から寸法の計測指標を算出するためのアルゴリズムが与えられている場合の、ばらつき誤差Ｄの算出方法を説明する図である。この場合、決定部３０６は、基準面と測定面についてそれぞれ３次元モデルフィッティングを行い、それらの相対位置の関係から定まる寸法ｚを算出する。そして、決定部３０６は、寸法ｚの分散であるｖａｒ［ｚ］をばらつき誤差Ｄとして算出する。

【0063】

なお、以上では、ばらつき誤差Ｄに応じて、統合データの測定精度を算出したが、統合データの測定精度が算出できれば任意の方法を用いてもよい。例えば、決定部３０６は、検査部３０８が行う検査と同様の処理を行い、検査の良否を表す値を測定精度として用いてもよい。例えば、仕様情報がワーク５０の３次元モデルの情報を含んでおり、決定部３０６は、仕様情報が表す３次元モデルと構成部３０５が構成した統合データが表す３次元モデルとの合致度を、統合データの測定精度としてもよい。

【0064】

ステップＳ１００４では、制御部３０１は、経路生成部３０７を制御して、Ｍ点の本撮像位置を接続する本移動経路を生成する。経路生成部３０７は、具体的には、最短時間（検査タクト）でＭ点の本撮像位置での撮像を完了できるような本移動経路を生成する。経路生成部３０７は、例えば、ロボット１０の稼働速度や稼働範囲などの情報に基づき、Ｍ点の本撮像位置間の移動に要する時間を算出できる。また、経路生成部３０７は、例えば、距離画像センサ２０の露光時間などの設定の情報に基づき、各本撮像位置での撮像に要する時間を算出できる。そして、経路生成部３０７は、Ｍ点の本撮像位置それぞれでの撮像に要する時間の合計とＭ点の本撮像位置間の移動に要する時間とを合計することにより、Ｍ点の本撮像位置での撮像の完了に要する時間を算出できる。

【0065】

なお、Ｍ点の本撮像位置は仮移動経路にも含まれる位置なので、経路生成部３０７は、図７Ｂのように、仮移動経路を本移動経路として用いてもよい。仮移動経路を本移動経路として用いれば、決定フェーズにおける処理を簡略化することができる。また、移動経路がロボット１０の組み立て動作の一部を兼ねていたりして、移動経路が予め決まった経路から変更できない場合にも有効である。

【0066】

このように、本移動経路および本撮像位置を決定することによれば、検査システム１は、検査フェーズにおいて少ない撮像位置から撮像した少数の距離画像を用いた場合であっても、測定精度が維持された統合データが生成可能である。このため、処理数が少なく、かつ、精度よくワーク５０Ｂの検査ができる。

【0067】

［検査フェーズ］
以下では、情報処理装置３０が行う検査フェーズにおける処理を図３Ｂのフローチャートを用いて説明する。図３Ｂのフローチャートの各処理は、制御部３０１が記憶部３０２に格納されたプログラムを実行することによって実現される。

【0068】

ステップＳ２００１では、制御部３０１は、撮像制御部３０４を介してロボット１０および距離画像センサ２０を制御して、Ｍ点の本撮像位置からワーク５０Ｂを撮像したＭ枚の距離画像を取得する。具体的には、撮像制御部３０４は、距離画像センサ２０が本移動経路に従って移動するようにロボット１０の姿勢を制御し、距離画像センサ２０がＭ点の本撮像位置のいずれかに到達するたびに、距離画像センサ２０を制御して距離画像を取得する。

【0069】

ステップＳ２００２では、制御部３０１は、構成部３０５を制御して、ステップＳ２００２にて撮像したＭ枚の距離画像を統合して、ワーク５０Ｂの統合データを生成する。これにより、構成部３０５は、ワーク５０Ｂの測定結果として統合データを取得する。

【0070】

ステップＳ２００３では、検査部３０８を制御して、ワーク５０Ｂの統合データに基づき、ワーク５０を検査する。

【0071】

なお、検査フェーズの処理は、ワーク５０Ｂの組立工程を含んでいてもよい。例えば、距離画像センサ２０がロボット１０の把持部と並んで取り付けられており、部品のピッキングや組付けのための動作の位置において、本撮像位置での撮像や検査を行ってもよい。これによれば、検査および組立の総合的な時間を削減できる。

【0072】

このように、本実施形態では、検査システム１は、統合データの測定精度に基づき、検査フェーズにおいて距離画像センサ２０が撮像を行う本撮像位置の数を絞る。これによって、検査フェーズにおいて、少数の撮像位置から距離画像センサ２０が撮像した少数の距離画像を用いた場合でも、高い精度でワーク５０Ｂの検査が可能になる。このため、検査フェーズにおける、検査（測定）の精度を維持しつつ、撮像処理を低減させることができる。

【0073】

また、発明者が行った実験によれば、図１０のグラフのように、同じばらつき誤差Ｄを実現するための距離画像の撮像枚数を大幅に減少することができた。具体的には、２０点の任意の撮像位置から距離画像センサ２０が撮像した距離画像を統合した統合データと同様の測定精度の統合データを、本実施形態で説明したように決定した１２点の本撮像位置から撮像した距離画像から生成することができた。

【0074】

なお、決定フェーズにおいてステップＳ１００４の処理が行われずに、検査フェーズにおいて検査システム１は仮移動経路を本移動経路として、Ｍ点の本撮像位置からワーク５０Ｂを撮像するようにしてもよい。

【0075】

また、本実施形態では、撮像制御部３０４は、ワーク５０Ａおよびワーク５０Ｂを移動させることなく、距離画像センサ２０を移動させることによって撮像位置を変化させた。そして、撮像位置とは、距離画像センサ２０の絶対的な位置である必要はなく、ワーク５０に対する距離画像センサ２０の相対的な位置であってもよい。このため、撮像制御部３
０４は、距離画像センサ２０を移動させることなく、ワーク５０Ａおよびワーク５０Ｂを移動させることにより撮像位置を変化させてもよい。つまり、本移動経路は、ワーク５０Ｂが移動する経路であり、仮移動経路はワーク５０Ｂが移動する経路であってもよい。また、撮像制御部３０４は、距離画像センサ２０を移動させるとともに、ワーク５０Ａおよびワーク５０Ｂを移動させることにより撮像位置を変化させてもよい。このように距離画像センサ２０とワーク５０との両方を移動させることによれば、距離画像センサ２０は複数の撮像位置からの撮像をより早く完了させることが可能になる。

【0076】

［変形例１］
実施形態１では、検査システム１は、Ｇｒｅｅｄｙ選択を用いてＭ点の本撮像位置を決定したが、ステップＳ１００３においてＭ枚の距離画像を統合した複数の統合データを生成し、その中から測定精度の高い統合データに対応するＭ点を本撮像位置として決定してもよい。以下では、本変形例に係るステップＳ１００３の具体的な処理について説明する。

【0077】

ステップＳ１００３では、制御部３０１は、構成部３０５を制御して、Ｎ枚の距離画像のうちのＭ枚の距離画像を選択して、Ｍ枚の距離画像から統合データ（点群データ）を構成する。ここで、構成部３０５は、Ｎ枚の距離画像のうちのＭ枚を選択する全ての組合せについて、Ｍ枚の距離画像から統合データを構成する。つまり、構成部３０５は、_ｎＣ_ｍ＝（ｎ（ｎ－１）・・・（ｎ－ｍ＋１））／（ｍ（ｍ－１）・・・１）の数だけ、統合データを構成する。なお、構成部３０５は、全ての組合せの統合データを構成する必要はなく、任意の数の組合せのみについて統合データを構成してもよい。

【0078】

その後、制御部３０１は、決定部３０６を制御して、Ｎ点の仮撮像位置からＭ点の本撮像位置を決定する。具体的には、まず、決定部３０６は、構成部３０５が構成した複数の統合データの測定精度を算出する。そして、決定部３０６は、複数の統合データのうち測定精度が最も高い統合データに対応するＭ点の仮撮像位置を本撮像位置として決定する。

【0079】

なお、Ｇｒｅｅｄｙ選択や本変形例に係る決定方法（組み合わせ最適化方法）だけでなく、混合整数二次計画問題などを用いた任意の組み合わせ最適化方法を用いてもよい。

【0080】

以下では、図９を参照して、混合整数二次計画問題を用いて、Ｇｒｅｅｄｙ選択よりも好適な組み合わせ解を求めたい場合に、｛０，１｝最適化問題に帰着させる例を示す。評価関数を具体的に表現するために、実現値を複数の空間（ボクセルメッシュ）で区切ってその中で集合平均をとる手法を実施した場合を考える。図９は、Ｎ枚の距離画像の全ての点群を、そのまま３次元空間上に配置した図を示す。そして、ｎ番目の距離画像におけるｋ番目のボクセルメッシュに含まれる点群をｐ∈Ｐ_ｋ，ｎという集合で示す。つまり、ｋはボクセルメッシュのインデックスであり、ｎはＮ枚の距離画像のインデックスである。また、ｋ番目のボクセルメッシュの代表座標をｒ_ｋとする。代表座標ｒ_ｋは、選択された距離画像の点群座標の平均値であり、次の式（１）ように表現する。つまり、代表座標ｒ_ｋは、選択された距離画像を構成部３０５が統合して統合データを構成した場合の、統合データにおけるｋ番目のボクセルメッシュの代表座標であるといえる。このため、本例でも、構成部３０５は、Ｎ枚の距離画像のうち互いに異なる複数の組合せのそれぞれから複数の統合データを構成しているといえる。

【数1】

【0081】

ここで、ｘ＝（ｘ_１，ｘ_２，・・・，ｘ_Ｎ）^Ｔ∈｛０，１｝^ＮはＮ枚の距離画像のうち
、選択されたら１となり、選択されなかったら０となる選択ベクトルである。次に、同じ距離画像に属する点群だけを予め平均化しておくことで、式（１）は次の式（２）のように変形できる。

【数2】

【0082】

そして、上記のように求められた代表座標ｒ_ｋがとるべき目標の座標値（目標座標）をｑ_ｋとする。この目標座標ｑ_ｋの決定方法は任意である。例えば、決定部３０６は、フィッティング推定された図９のｕｖ平面や滑らかな曲面とボクセルメッシュとの交点を目標座標ｑ_ｋとして決定してもよいし、ボクセルメッシュ内でＮ枚全部の座標を平均して目標座標ｑ_ｋを算出してもよい。これら用いて、選択の際に最小化すべき、代表座標ｒ_ｋと目標座標ｑ_ｋとのフィッティング誤差の二乗和Ｊは次の式（３）のように表現できる。このフィッティング誤差の二乗和Ｊは、上記のばらつき誤差Ｄと同様に用いることができる。つまり、ワーク５０との一致度を表す測定精度は、フィッティング誤差の二乗和Ｊの値が小さいほど、大きい。

【数3】

【0083】

上の式（３）において、Ｎ個のうち選択される要素数がＭ（定数）であるとすると、フィッティング誤差の二乗和である評価関数Ｊは、次の式（４）のように２次式として表現できる。

【数4】

【0084】

ここで、式（４）におけるＱおよびｂは、次の式（５）および式（６）のように定義した数である。

【数5】

【0085】

そして、選択される要素数がＭという定数であるという拘束条件を導入すると、最終的に最小化すべき評価関数Ｊは次の式（７）のように表現できる。

【数6】

【0086】

評価関数Ｊをｘ∈｛０，１｝^Ｎの範囲で最小化する問題は、ＱＵＢＯ（Ｑｕａｄｒａｔｉｃ Ｕｎｃｏｎｓｔｒａｉｎｅｄ Ｂｉｎａｒｙ Ｏｐｔｉｍｉｚａｔｉｏｎ：二次制約なし二値最適化）として知られており、イジングマシンやＧＰＵなどの専用ハードウェアや数理計画ソルバーを用いることで、より最適な組み合わせを求めることができる。そして、決定部３０６は、評価関数Ｊが最小化された場合（測定精度が最大化された場合）に、ｘ＝１となる距離画像が、Ｍ枚の距離画像として選択できる。さらに、決定部３０６は、このＭ枚の距離画像に対応するＭ点の仮測定位置を、Ｍ点の本測定位置として決定できる。

【0087】

［変形例２］
なお、実施形態１では、Ｎ点の仮撮像位置は、ユーザ入力に応じた位置であるとしたが、検査システム１がＮ点の仮撮像位置を決定してもよい。例えば、決定部３０６が、ｐ点（ｐ＜Ｎ）の仮撮像位置が決定している状態で、当該ｐ点までのワーク５０Ａの撮像結果に基づき、次のｐ＋１点目の仮撮像位置を決定していくことを繰り返すことによって、Ｎ点の仮撮像位置を決定してもよい。例えば、決定部３０６は、ｐ点目の仮撮像位置から所定の範囲（例えば、半径５ｃｍ以内）の撮像位置であって、ワーク５０Ａが他の物体によって隠れてしまうオクルージョンが発生しない撮像位置、または／および、ｐ点の仮撮像位置から未だ撮像されていないワーク５０Ａの範囲を撮像できる撮像位置を優先的に、ｐ＋１点目の仮撮像位置に決定する。

【0088】

本変形例によれば、オクルージョンなどの実際に撮像してみなければ分からない現象を回避するように、好適なＮ点の仮撮像位置を選ぶことができることができる。

【0089】

＜実施形態２＞
実施形態１では、検査システム１は、ステップＳ１００３において統合データの測定精度（ばらつき誤差Ｄ）のみに基づき、Ｍ点の本撮像位置を決定したが、さらに、距離画像センサ２０が撮像を完了するまでに要する時間に基づきＭ点の本撮像位置を決定してもよい。

【0090】

以下では、ステップＳ１００３において、検査システム１が、Ｋ枚の距離画像が選択されている状態において、Ｋ＋１枚目の距離画像を選択する場合の例を説明する。この場合、まず、構成部３０５は、Ｋ枚の距離画像と、残りのＮ－Ｋ枚の距離画像それぞれ１枚とを統合したＮ－Ｋ個の統合データを構成する。決定部３０６は、Ｋ＋１個の統合データそれぞれについて、測定精度と、当該統合データに対応するＫ＋１点の仮撮像位置で距離画像センサ２０が最短で撮像を完了できる時間（検査タクト）とを算出する。そして、決定部３０６は、複数の統合データのうちの、測定精度を検査タクトで除算した値が最も大きい統合データに対応するＫ＋１枚の距離画像を選択する。なお、決定部３０６は、測定精度を検査タクトで除算した値の代わりに、測定精度が高いほど大きな値をとり、かつ、検査タクトが小さいほど大きな値をとる任意の値を用いてＫ＋１枚の距離画像を選定してもよい。

【0091】

これによれば、撮像処理に要する時間と、検査精度とのバランスがよくなるようなＭ点の本撮像位置を決定することができる。このため、撮像処理に要する時間を低減しつつも、検査精度を高く保つことができる。

【0092】

＜実施形態３＞
実施形態１，２では、決定フェーズにおいて、１つの仮移動経路から１つの本移動経路が生成されたが、複数の仮移動経路（図８の例では、Ｌ＝１～３の３つの仮移動経路）に基づき１つの本移動経路が生成されてもよい。ここでは、複数の仮移動経路のそれぞれに対して、予めＮ点の仮撮像位置が対応するように設定されている。なお、Ｎは、仮移動経路ごとに異なる値であってもよい。

【0093】

ここで、Ｌ個の仮移動経路および、Ｌ個の仮移動経路それぞれに対応する仮撮像位置の情報が記憶部３０２に記憶されているものとする。この場合には、ステップＳ１００１において、制御部３０１は、情報取得部３０３を制御して、Ｌ個の仮移動経路の情報、およびそれらに対応するＬ個×Ｎ点の仮撮像位置の情報を取得する。ステップＳ１００２（図８のＳｔｅｐ１）において、制御部３０１は、撮像制御部３０４を制御して、Ｌ個×Ｎ点の仮撮像位置から、距離画像センサ２０によってワーク５０Ａを撮像する。

【0094】

ステップＳ１００３（図８のＳｔｅｐ２）において、制御部３０１は、構成部３０５および決定部３０６を制御して、Ｌ個の仮移動経路それぞれについて、実施形態１と同様の方法によって、Ｍ点の本撮像位置の候補を決定する。ここで、構成部３０５は、Ｌ個の仮移動経路それぞれについて、対応するＭ点の本撮像位置の候補から撮像された距離画像を統合して統合データを構成する。

【0095】

ステップＳ１００４において、制御部３０１は、経路生成部３０７を制御して、Ｌ個の仮移動経路のそれぞれに対応する統合データのうち、最も測定精度がよい統合データに対応する仮移動経路を選択する。そして、経路生成部３０７は、選択した１つの仮移動経路のＭ点から、本移動経路を生成する。なお、経路生成部３０７は、選択した１つの仮移動経路をそのまま本移動経路としても用いてもよい（図８のＳｔｅｐ３）。また、決定部３０６は、選択した１つの仮移動経路に対応するＭ点の本撮像位置の候補を、Ｍ点の本撮像位置に決定する。

【0096】

実施形態３によれば、多くの仮移動経路から最適な１つの本移動経路が生成可能（Ｍ点の本撮像位置が決定可能）であるため、より精度高く検査が可能なＭ点の本撮像位置が決定可能である。従って、ワーク５０Ｂのさらなる検査精度の向上が望める。

【0097】

＜実施形態４＞
実施形態１では、本撮像位置の数であるＭの値はユーザ入力に従って（予め設定された）値であったが、検査システム１が本撮像位置の数であるＭの値を決定してもよい。実施形態４では、検査フェーズにおける撮像に要する時間の上限（タクト上限値Ｔ；閾値）が予め設定されているものとする。そして、検査システム１は、タクト上限値Ｔに達しない範囲において対応する検査タクトが最大になる距離画像の数を、本撮像位置の数であるＭとして決定する。

【0098】

ここで、ステップＳ１００３の処理のみが実施形態１と異なるため、ステップＳ１００３に代わる処理について説明する。

【0099】

実施形態４では、ステップＳ１００３の代わりの処理において、制御部３０１は、決定部３０６を制御して、Ｇｒｅｅｄｙ選択によって、Ｎ枚の距離画像の中から１枚ずつ距離画像を選択していく。そして、決定部３０６は、１枚を選択するごとに、既に選択された全ての距離画像に対応する仮撮像位置を最短時間で接続した場合の当該最短時間である検査タクトが、タクト上限値Ｔ以下であるか否かを判定する。当該検査タクトがタクト上限値Ｔ以下であれば、決定部３０６は、さらに１枚の距離画像を選択して、検査タクトと上限タクトとを比較することを繰り返す。一方、当該検査タクトがタクト上限値Ｔよりも大きければ、決定部３０６は、最後（ここでは、Ｋ番目とする）に選択した距離画像の選択
を破棄して、１～Ｋ－１番目に選択した距離画像に対応するＫ－１点の仮撮像位置をＫ－１点の本撮像位置として決定する。つまり、決定部３０６は、このＫ－１を、本撮像位置の数であるＭの値として決定している。

【0100】

本実施形態によれば、検査フェーズの撮像処理において時間的な制約がある場合にも、その中で好適な本撮像位置を決定することができる。つまり、検査フェーズの撮像処理において時間的な制約がある場合においても、精度高くワーク５０Ｂの検査を実現することができる。また、ユーザは、本撮像位置の値Ｍを予めどの程度の値にすればよいのかを、悩む必要がなくなる。

【0101】

＜実施形態５＞
実施形態４では、検査システム１が、タクト上限値Ｔに応じて、本撮像位置の数Ｍを決定したが、検査タクトとばらつき誤差Ｄとの関係をユーザに示して、ユーザがその関係に基づき本撮像位置の数Ｍの値を決定してもよい。

【0102】

つまり、図５Ａに示すように、ステップＳ１００２とステップＳ１００３との間に、Ｍの数を決定するためのステップＳ１０１０～Ｓ１０１２の処理が行われてもよい。

【0103】

ステップＳ１０１０では、制御部３０１は、決定部３０６を制御して、本撮像位置の数Ｍの値が任意の範囲のいずれかに対応する場合それぞれのばらつき誤差Ｄ（測定精度）と、当該ばらつき誤差Ｄに対応する検査タクトの値を算出する。これらは、例えば、Ｇｒｅｅｄｙ選択において距離画像を１枚ずつ選択するごとに、選択した全ての距離画像を統合した統合データのばらつき誤差Ｄを算出すること、および当該統合データ（選択した全ての距離画像）に対応する検査タクトを算出することによって実現できる。

【0104】

ステップＳ１０１１では、制御部３０１は、図６Ａに示すような、本撮像位置の数Ｍ（検査時の撮影枚数）の値とばらつき誤差Ｄ（測定精度）との関係を示すグラフを不図示の表示部に表示する。制御部３０１は、図６Ｂに示すような、本撮像位置の数Ｍの値とばらつき誤差Ｄ（測定精度）と検査タクトの関係を示すグラフを表示部に表示してもよい。

【0105】

ステップＳ１０１２では、制御部３０１は、ユーザ入力を受け付け、ユーザ入力に応じた値を本撮像位置の数Ｍとして決定する。

【0106】

本実施形態によれば、本撮像位置の数Ｍの値とばらつき誤差Ｄ（測定精度）との関係を示すグラフが表示されるため、ユーザは、本撮像位置の数Ｍに対応する測定精度を把握でき、本撮像位置の数Ｍの検査への影響を容易に把握できる。また、図６Ｂに示すグラフが表示されれば、ユーザは、どの程度の検査タクトであればどの程度の測定精度となるのかを俯瞰したうえで、納得する検査タクトと測定精度のバランスを決定することができる。このため、ユーザは、本撮像位置の数Ｍを容易かつ適切に決定できる。

【0107】

＜実施形態６＞
実施形態１では、検査システム１は、Ｎ点の仮撮像位置からのＮ点の距離画像に基づき、Ｍ点の本撮像位置を決定したが、実施形態６では、Ｎ点の仮撮像位置およびその周辺の位置からの距離画像に基づきＭ点の本撮像位置を決定する。

【0108】

実施形態６では、実施形態１に係る図３Ａの決定フェーズのステップＳ１００２およびＳ１００３の処理の代わりに、図５Ｂに示すように、ステップＳ１０２２およびＳ１０２３の処理が行われる。それ以外については、実施形態６は、実施形態１と同様であるので詳細な説明を省略する。

【0109】

ステップＳ１０２２では、制御部３０１は、撮像制御部３０４を制御して、Ｎ点の仮撮像位置、およびそれぞれの仮撮像位置の周辺位置から距離画像センサ２０を用いてワーク５０Ａを撮像する。具体的には、撮像制御部３０４は、Ｎ点の仮撮像位置のそれぞれについて、当該仮撮像位置と仮撮像位置の周辺のｑ点の位置（ｑ点の周辺位置）からワーク５０Ａを距離画像センサ２０に撮像させる。この結果、距離画像センサ２０は、Ｎ（ｑ＋１）点の位置からワーク５０Ａを撮像したＮ（ｑ＋１）枚の距離画像を取得する。なお、各仮撮像位置と、その仮撮像位置に対応する周辺位置はそれぞれ、一定（同一）の相対的な位置関係を有する。つまり、第１の仮撮像位置と第１の仮撮像位置に対応するｑ点の周辺位置との相対的な位置関係は、第２の仮撮像位置と第２の仮撮像位置に対応するｑ点の周辺位置との相対的な位置関係と同一である。

【0110】

ステップＳ１０２３では、制御部３０１は、構成部３０５および決定部３０６を制御して、Ｎ点の仮撮像位置からＭ点の本撮像位置を決定する。構成部３０５は、Ｎ枚の距離画像それぞれについて、当該距離画像と、当該距離画像を撮像した仮測定位置のｑ点の周辺位置から撮像した距離画像とを１つのセットとして組み合わせた画像セットを設定する。このとき、構成部３０５は、Ｎ個の画像セット（１つの撮像位置から撮像した距離画像と、当該撮像位置の周辺位置から撮像したｑ個の距離画像とのセット）のうちの互いに異なる複数の組合せのそれぞれから複数の統合データを構成する。そして、決定部３０６は、上述したような任意の組み合わせ最適化方法を用いて、複数の画像セットを統合した複数の統合データの測定精度に基づき、Ｎ個の画像セットからＭ個の画像セットを選択する。この場合、決定部３０６は、選択したＭ個の画像セットに対応するＭ点の仮測定位置を、Ｍ点の本測定位置として決定できる。

【0111】

なお、以下では、具体的な例として、実施形態１と同様に、Ｇｒｅｅｄｙ選択を用いてＭ点を決定する例を説明するが、Ｎ点の仮撮像位置の周辺位置から撮像された距離画像をさらに用いる点が実施形態１と異なる。

【0112】

ここで、Ｋ枚の距離画像が選択されている場合に、Ｋ＋１枚目の距離画像を選択する方法を説明する。なお、Ｋ枚の距離画像は、Ｎ点の仮撮像位置のうちのＫ点から撮像された距離画像である。（１）まず、構成部３０５は、Ｋ枚の距離画像に対応するＫ個の画像セットと、残りのＮ－Ｋ点の仮撮像位置から撮像された距離画像およびその周辺の（Ｎ－Ｋ）ｑ点の位置から撮像された距離画像それぞれとを統合した（Ｎ－Ｋ）（ｑ＋１）個の統合データを構成する。（２）次に、決定部３０６は、（Ｎ－Ｋ）（ｑ＋１）個の統合データそれぞれについて、測定精度を算出する。（３）その後、決定部３０６は、Ｎ－Ｋ点の仮撮像位置それぞれについて、当該仮撮像位置に対応する統合データの測定精度と、当該仮撮像位置の周辺位置に対応するｑ個の統合データの測定精度との平均値を、平均測定精度として算出する。なお、Ｎ－Ｋ点の仮撮像位置についての平均測定精度は、Ｎ－Ｋ点の仮撮像位置に対応するＮ－Ｋ点の画像セットのそれぞれと、Ｋ個の画像セットとを統合したＮ－Ｋ個の統合データの測定精度と捉えることができる。（４）最後に、決定部３０６は、Ｎ－Ｋ点の仮撮像位置についての平均測定精度のうち最も値の大きい平均測定精度に対応する仮撮像位置から撮像した距離画像をＫ＋１枚目の距離画像として選択する。

【0113】

決定部３０６は、このようにＭ枚の距離画像を選択していき、選択したＭ枚の距離画像に対応するＭ点の仮撮像位置をＭ点の本撮像位置として決定する。

【0114】

決定フェーズと検査フェーズとで、同じ撮像位置からワーク５０を撮像しようとしても、２つのフェーズ間でワーク５０の位置が少しずれたりすることにより、測定精度が大きく異なってしまう可能性がある。実施形態６のように、仮撮像位置の周辺位置から撮像した距離画像に基づき、本撮像位置を決定することによれば、決定フェーズと検査フェーズとでのワーク５０の位置ずれに起因する測定精度の誤差を少なくすることができる。この
ため、検査フェーズにおける検査の測定精度を安定的に高く維持することが可能になる。

【0115】

［変形例３］
実施形態６では、検査システム１は、Ｎ点の仮撮像位置およびその周辺の撮像位置から距離画像センサ２０により撮像された距離画像に基づき、Ｍ点の本撮像位置を決定する。本変形例では、検査システム１は、Ｎ点の仮撮像位置およびその周辺位置の撮像位置から撮像された距離画像の代わりに、ワーク５０Ａを含むＷ個のワーク５０（ティーチング用物体）のそれぞれを個別にＮ点の仮撮像位置から撮像した距離画像を用いてもよい。なお、Ｗ個のワーク５０のうちワーク５０Ａ以外のそれぞれは、ワーク５０Ａと同じ位置姿勢で配置される。

【0116】

つまり、変形例３では、構成部３０５は、Ｎ枚の距離画像それぞれについて、Ｗ個のワーク５０を個別に撮像したＷ枚の距離画像を組み合わせた画像セットを設定する。そして、決定部３０６は、任意の組み合わせ最適化方法を用いて、複数の画像セットを互いに異なる複数の組合せで統合した複数の統合データの測定精度に基づき、Ｎ個の画像セットからＭ個の画像セットを選択してもよい。この場合、決定部３０６は、選択したＭ個の画像セットに対応するＭ点の仮測定位置を、Ｍ点の本測定位置として決定できる。

【0117】

互いに異なる物体である複数のワーク５０（ティーチング用物体）を撮像した距離画像を用いることによって、例えばワーク５０Ａに係る特徴的な欠陥が存在したとしても、他のワーク５０を用いることによってそれを打ち消すことができる。つまり、ワーク５０に存在する個体ばらつきを抑制することができる。

【0118】

なお、実施形態に記載された事項のみによって特許請求の範囲の記載の解釈が限定されるものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。

【0119】

（付記１）
三角測量の原理を用いて距離画像を取得する距離画像センサ（２０）によって異なる撮像位置で取得された複数の距離画像を用いて、物体（５０Ｂ）の３次元的な測定を行う測定装置に関して、
前記物体（５０Ｂ）の測定に用いるべきＭ枚の距離画像それぞれの撮像位置を決定する情報処理システム（１）であって、
Ｎ個の撮像位置（Ｎ＞Ｍ）のそれぞれから前記距離画像センサ（２０）を用いて、ティーチング用物体（５０Ａ）を撮像したＮ枚の距離画像を取得する撮像制御手段（３０４）と、
前記Ｎ枚の距離画像のうち互いに異なる複数の組合せのそれぞれから複数の統合データを構成する構成手段（３０５）と、
前記複数の統合データそれぞれの、前記ティーチング用物体（５０Ａ）との一致度を表す精度を算出し、前記複数の統合データそれぞれの精度に基づき、前記Ｎ個の撮像位置の中からＭ個の撮像位置を決定する決定手段（３０６）と、
を有することを特徴とする情報処理システム（１）。

【0120】

（付記２）
三角測量の原理を用いて距離画像を取得する距離画像センサ（２０）によって異なる撮像位置で取得された複数の距離画像を用いて、物体（５０Ｂ）の３次元的な測定を行う測定装置に関して、
前記物体（５０Ｂ）の測定に用いるべきＭ枚の距離画像それぞれの撮像位置を決定する情報処理方法であって、
Ｎ個の撮像位置（Ｎ＞Ｍ）のそれぞれから前記距離画像センサ（２０）を用いて、ティ
ーチング用物体（５０Ａ）を撮像したＮ枚の距離画像を取得する撮像制御ステップ（Ｓ１００２）と、
前記Ｎ枚の距離画像のうち互いに異なる複数の組合せのそれぞれから複数の統合データを構成する構成ステップ（Ｓ１００３）と、
前記複数の統合データそれぞれの、前記ティーチング用物体との一致度を表す精度を算出し、前記複数の統合データそれぞれの精度に基づき、前記Ｎ個の撮像位置の中からＭ個の撮像位置を決定する決定ステップ（Ｓ１００３）と、
を有することを特徴とする情報処理方法。

【符号の説明】

【0121】

１：検査システム、１０：ロボット、２０：距離画像センサ、
３０：情報処理装置、４０：制御サーバ、５０：ワーク、
６０：ネットワーク、３０１：制御部、３０２：記憶部、
３０３：情報取得部、３０４：撮像制御部、３０５：構成部、
３０６：決定部、３０７：経路生成部、３０８：検査部、
３０９：出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】