特許第6357622号(P6357622)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 石川県の特許一覧

特許6357622作業支援装置、作業支援システム、作業支援方法およびプログラム
<>
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000002
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000003
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000004
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000005
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000006
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000007
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000008
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000009
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000010
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000011
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000012
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000013
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000014
  • 特許6357622-作業支援装置、作業支援システム、作業支援方法およびプログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6357622
(24)【登録日】2018年6月29日
(45)【発行日】2018年7月18日
(54)【発明の名称】作業支援装置、作業支援システム、作業支援方法およびプログラム
(51)【国際特許分類】
   G01B 11/24 20060101AFI20180709BHJP
【FI】
   G01B11/24 K
【請求項の数】7
【全頁数】20
(21)【出願番号】特願2014-67385(P2014-67385)
(22)【出願日】2014年3月28日
(65)【公開番号】特開2015-190818(P2015-190818A)
(43)【公開日】2015年11月2日
【審査請求日】2017年3月22日
(73)【特許権者】
【識別番号】591040236
【氏名又は名称】石川県
(74)【代理人】
【識別番号】100137394
【弁理士】
【氏名又は名称】横井 敏弘
(72)【発明者】
【氏名】笠原 竹博
(72)【発明者】
【氏名】上田 芳弘
【審査官】 清水 靖記
(56)【参考文献】
【文献】 特開2007−003285(JP,A)
【文献】 特開平04−196200(JP,A)
【文献】 特開2014−010559(JP,A)
【文献】 米国特許出願公開第2009/0284757(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00 − 11/30
G01B 21/00 − 21/32
B25J 1/00 − 21/02
(57)【特許請求の範囲】
【請求項1】
測定対象物の表面のうち、測定対象範囲として指定された測定対象範囲の全周囲に対して、測定の方向を少なくとも3次元形状データ測定位置の候補として設定する候補位置設定部と、
前記候補位置設定部により設定された測定方向それぞれについて、測定対象物の設計情報に基づいて、3次元形状の測定が可能な測定対象物の表面の数又は面積を算出する可能面算出部と、
前記可能面算出部により算出された表面の数又は面積に基づいて、測定方向の組合せを決定する決定部と、
乱数を用いて、前記決定部により仮決定された測定方向の組合せの一部を、他の測定方向に入れ替える条件変更部と
を有し、
前記決定部は、仮決定された組合せと、前記条件変更部により変更された組合せとを比較して、採用する測定方向の組合せを決定する
作業支援装置。
【請求項2】
前記候補位置設定部は、測定対象物の全周囲に対して、候補となる測定方向のみを設定し、
前記可能面算出部は、設定された測定方向それぞれについて、測定可能な表面の数又は面積を算出し、
それぞれの測定方向について、算出された表面の数又は面積に応じて、測定の優先順位を決定する順位決定部
をさらに有し、
前記決定部は、前記順位決定部により決定された優先順位と、許容されている測定回数又は測定時間とに基づいて、測定方向の組合せを決定する
請求項1に記載の作業支援装置。
【請求項3】
前記候補位置設定部は、測定対象物の全周囲に対して、候補となる測定方向のみを設定し、
前記可能面算出部は、設定された測定方向それぞれについて、測定可能な表面の数又は面積を算出し、
それぞれの測定方向について、算出された表面の数又は面積に応じて、測定の優先順位を決定する順位決定部と、
前記順位決定部により決定された優先順位に従って、それぞれの測定方向で測定するよう指示する測定制御部と
をさらに有する
請求項1に記載の作業支援装置。
【請求項4】
測定対象物の設計情報と、3次元形状測定装置の仕様情報とに基づいて、前記候補位置設定部により設定されたいずれの測定方向からも測定できない不可能表面を特定する不可能面特定部
をさらに有し、
前記可能面算出部は、測定対象物の測定対象範囲における表面から、前記不可能面特定部により特定された不可能表面を除外し、不可能表面が除外された測定対象範囲の表面を対象として、それぞれの測定方向について、測定可能な表面の数又は面積を算出する
請求項2に記載の作業支援装置。
【請求項5】
測定対象物の3次元形状データを測定する測定装置と、
前記測定対象物及び前記測定装置の少なくとも一方を移動させて、前記測定装置による前記測定対象物の測定位置を変化させる移動装置と、
前記移動装置を制御する作業支援装置と
を有し、
前記作業支援装置は、
測定対象物の表面のうち、測定対象範囲として指定された測定対象範囲の全域に対して、候補となる測定位置を設定する候補位置設定部と、
前記候補位置設定部により設定された測定位置それぞれについて、測定可能な測定対象物の表面の数又は面積を算出する可能面算出部と、
前記可能面算出部により算出された表面の数又は面積に基づいて、測定方向の組合せを決定する決定部と、
乱数を用いて、前記決定部により仮決定された測定方向の組合せの一部を、他の測定方向に入れ替える条件変更部と
を有し、
前記決定部は、仮決定された組合せと、前記条件変更部により変更された組合せとを比較して、採用する測定方向の組合せを決定し、
前記決定部により決定された測定方向の組み合わせに従って、それぞれの測定方向で測定するよう前記移動装置に指示する測定制御部
をさらに有する
作業支援システム。
【請求項6】
測定対象物の表面のうち、測定対象範囲として指定された測定対象範囲の全周囲に対して、測定の方向を少なくとも3次元形状データ測定位置の候補として設定する候補位置設定ステップと、
前記候補位置設定ステップにより設定された測定方向それぞれについて、測定対象物の設計情報に基づいて、3次元形状の測定が可能な測定対象物の表面の数又は面積を算出する可能面算出ステップと、
前記可能面算出ステップにより算出された表面の数又は面積に基づいて、測定方向の組合せを決定する決定ステップと、
乱数を用いて、前記決定ステップにより仮決定された測定方向の組合せの一部を、他の測定方向に入れ替える条件変更ステップと
を有し、
前記決定ステップは、仮決定された組合せと、前記条件変更ステップにより変更された組合せとを比較して、採用する測定方向の組合せを決定する
作業支援方法。
【請求項7】
測定対象物の表面のうち、測定対象範囲として指定された測定対象範囲の全周囲に対して、測定の方向を少なくとも3次元形状データ測定位置の候補として設定する候補位置設定ステップと、
前記候補位置設定ステップにより設定された測定方向それぞれについて、測定対象物の設計情報に基づいて、3次元形状の測定が可能な測定対象物の表面の数又は面積を算出する可能面算出ステップと、
前記可能面算出ステップにより算出された表面の数又は面積に基づいて、測定方向の組合せを決定する決定ステップと、
乱数を用いて、前記決定ステップにより仮決定された測定方向の組合せの一部を、他の測定方向に入れ替える条件変更ステップと
をコンピュータに実行させ、
前記決定ステップは、仮決定された組合せと、前記条件変更ステップにより変更された組合せとを比較して、採用する測定方向の組合せを決定する
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援装置、作業支援システム、作業支援方法およびプログラムに関する
【背景技術】
【0002】
測定対象の表面形状を測定するために、非接触3次元測定機が用いられている。非接触3次元測定機は、一般的には三角測量の原理を用いて対象面までの距離を測定するため、1つのカメラで対象物を撮像し、それとは異なる位置からレーザー光を対象物に照射する、あるいは投影光を対象物に照射する手段を用いている(光投影法)。別な方法では、1つのカメラで対象物を撮像し、それとは異なる位置から別のカメラで撮像する手段を用いている(ステレオカメラ法)。光投影法においては、投影する光の進行方向と投影される面が垂直であるほど鮮明に投影される。また、撮像するカメラの視線方向と撮像される面が垂直であるほど鮮明に撮像される。このような手段を用いるため、光投映法においてはある1回の測定で、なんらかの障害物の影(死角)となり照射されない面や撮像できない面(オクルージョン)、あるいは面の角度が垂直から大きく離れているために鮮明に照射されない面、あるいは鮮明に撮像されない面は、測定されない面となる。すなわち、1回の測定作業で測定できる面は、レーザー照射や投影光によって鮮明に照射される面であり、かつその光がカメラで鮮明に撮影できる面のみ、となる。
測定対象の形状が複雑であると、1回の測定作業ではオクルージョンが発生する場合が多く、装置を別の位置へ移動することで、このオクルージョン発生部分を測定可能とする必要がある。このように、複数回の測定作業を行うが、測定位置の選定および測定装置の移動は人による手作業で行われるのが一般的であった。
また、複数回の測定作業で得られる複数の表面形状データをつなぎ合わせて合成することによって、対象全体の測定データを得る。表面形状データを測定した際の対象物と測定装置の位置関係が定量的にわかる場合は、データのつなぎ合わせを自動で行うことが出来るが、人の手作業で行った場合は、つなぎ合わせるための相対位置を、これも人の手によって指定する必要がある。
このように複雑形状対象の測定において、対象物と測定装置の複数の位置関係を自動で算出することができれば、自動ステージや自動ロボットを用いた位置移動による測定が行えるようになり、また移動位置情報を用いることで、データのつなぎ合わせの自動化が行えるようになる。
【0003】
これに対し、例えば、特許文献1には、3次元測定やその他の種々の測定を支援するために、測定対象物の設計情報やCAD情報を参照することが開示されている。
【0004】
また、特許文献2には、被測定物の表面上に設定された複数の計測点に対応した計測経路上の非接触変位計の3次元位置情報を求めることによって表面形状寸法を精度良く測定する装置が開示されている。しかし、この方式は被測定物のある1点と装置との距離を測定する非接触測定装置を対象としているため、今回のように被測定物を高密度で測定するには、大変な時間が掛かるため、実用には向かない。
【0005】
また、特許文献3には、CADデータと、3次元測定器の仕様情報とに基づいて、測定不可能部位であるか否かを判別する3次元測定システムが開示されている。しかしながら、本システムでは、局所的な解を与えるのみであり、全体的作業の効率化は期待できない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2002−328952号公報
【特許文献2】特公平7−18698号公報
【特許文献3】特開2007−3285号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
全体的な作業完了に向けた作業の効率化を支援する作業支援装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の作業支援装置は、作業対象物の表面のうち、作業対象範囲として指定された作業対象範囲の全域に対して、候補となる作業位置を設定する候補位置設定部と、前記候補位置設定部により設定された作業位置それぞれについて、作業可能な作業対象物の表面の数又面積を算出する可能面算出部と、前記可能面算出部により算出された表面の数又は面積に基づいて、作業位置の組合せを決定する決定部とを有する。
【0009】
好適には、作業は、3次元形状データの測定作業であり、前記候補位置設定部は、測定対象物の測定対象範囲の全周囲に対して、測定の方向を少なくとも前記作業位置として設定し、前記可能面算出部は、測定対象物の設計情報に基づいて、設定された測定方向それぞれについて、3次元形状の測定が可能な表面の数又は面積を算出し、前記決定部は、算出された表面の数又は面積に基づいて、測定方向の組合せを決定する。
【0010】
好適には、前記候補位置設定部は、測定対象物の全周囲に対して、候補となる測定方向のみを設定し、前記可能面算出部は、設定された測定方向それぞれについて、測定可能な表面の数又は面積を算出し、それぞれの測定方向について、算出された表面の数又は面積に応じて、測定の優先順位を決定する順位決定部をさらに有し、前記決定部は、前記順位決定部により決定された優先順位と、許容されている測定回数又は測定時間とに基づいて、測定方向の組合せを決定する。
【0011】
好適には、前記候補位置設定部は、測定対象物の全周囲に対して、候補となる測定方向のみを設定し、前記可能面算出部は、設定された測定方向それぞれについて、測定可能な表面の数又は面積を算出し、それぞれの測定方向について、算出された表面の数又は面積に応じて、測定の優先順位を決定する順位決定部と、前記順位決定部により決定された優先順位に従って、それぞれの測定方向で測定するよう指示する測定制御部とをさらに有する。
【0012】
好適には、測定対象物の設計情報と、3次元形状測定装置の仕様情報とに基づいて、前記候補位置設定部により設定されたいずれの測定方向からも測定できない不可能表面を特定する不可能面特定部をさらに有し、前記可能面算出部は、測定対象物の測定対象範囲における表面から、前記不可能面特定部により特定された不可能表面を除外し、不可能表面が除外された測定対象範囲の表面を対象として、それぞれの測定方向について、測定可能な表面の数又は面積を算出する。
【0013】
好適には、乱数を用いて、前記決定部により仮決定された測定方向の組合せの一部を、他の測定方向に入れ替える条件変更部をさらに有し、前記決定部は、仮決定された組合せと、前記条件変更部により変更された組合せとを比較して、採用する測定方向の組合せを決定する。
【0014】
また、本発明に係る作業支援システムは、測定対象物の3次元形状データを測定する測定装置と、前記測定対象物及び前記測定装置の少なくとも一方を移動させて、前記測定装置による前記測定対象物の測定位置を変化させる移動装置と、前記移動装置を制御する作業支援装置とを有し、前記作業支援装置は、測定対象物の表面のうち、測定対象範囲として指定された測定対象範囲の全域に対して、候補となる測定位置を設定する候補位置設定部と、前記候補位置設定部により設定された測定位置それぞれについて、測定可能な測定対象物の表面の数又面積を算出する可能面算出部と、それぞれの測定方向について、前記可能面算出部により算出された表面の数又は面積に応じて、測定の優先順位を決定する順位決定部と、前記順位決定部により決定された優先順位に従って、それぞれの測定方向で測定するよう前記移動装置に指示する測定制御部とを有する。
【0015】
また、本発明に係る作業支援方法は、作業対象物の表面のうち、作業対象範囲として指定された作業対象範囲の全域に対して、候補となる作業位置を設定する候補位置設定ステップと、前記候補位置設定ステップにより設定された作業位置それぞれについて、作業可能な作業対象物の表面の数又面積を算出する可能面算出ステップと、前記可能面算出ステップにより算出された表面の数又は面積に基づいて、作業位置の組合せを決定する決定ステップとを有する。
【0016】
また、本発明に係るプログラムは、作業対象物の表面のうち、作業対象範囲として指定された作業対象範囲の全域に対して、候補となる作業位置を設定する候補位置設定ステップと、前記候補位置設定ステップにより設定された作業位置それぞれについて、作業可能な作業対象物の表面の数又面積を算出する可能面算出ステップと、前記可能面算出ステップにより算出された表面の数又は面積に基づいて、作業位置の組合せを決定する決定ステップとをコンピュータに実行させる。
【発明の効果】
【0017】
本発明によれば、全体的な作業完了に向けた作業の効率化を支援する作業支援装置を提供することができる。
【図面の簡単な説明】
【0018】
図1】実施形態にかかる作業支援システム2の概要を説明するための図である。
図2】作業支援装置10にインストールされる作業支援プログラム11の機能構成を例示する図である。
図3】3次元空間における方向の均等な128個への分割を例示した図である。
図4】作業支援処理(S10)を説明するフローチャートである。
図5】測定装置5のレーザー照射口5aからと照射されるレーザーの照射方向と、測定装置5のカメラ5bの受光方向との関係を説明する図である。
図6】測定装置5のレーザーの照射方向及び受光方向と、測定位置との関係を説明する図である。
図7】局所最適と全体的最適化を例示する図である。
図8】測定対象物バルブボディのSTLデータを例示する図である。
図9】測定装置5の照射条件を例示する図である。
図10】受光照射一致条件テーブルを例示する図である。
図11】表面データ考慮テーブルを例示する図である。
図12】可視面/不可視面テーブルを例示する図である。
図13】共可視面を算出するための可視面/不可視面テーブルを例示する図である。
図14】実証実験の結果を示す図である。
【発明を実施するための形態】
【0019】
(背景)
まず、本発明がなされた背景を説明する。
上に述べたように、非接触3次元測定装置による測定作業では、装置と測定対象との位置の決定は作業者の経験によって行われ、また測定対象の設置・移動は作業者の手によって行われている。そのため、測定対象が複雑な形状になると、熟練した作業者であっても、試行錯誤しながら複数回の測定を行うことがあった。また、経験の浅い作業者にとっては、効率のよい測定位置の決定が難しい作業であった。また、同じ測定対象に対して、例えば3カ月前の測定とまったく同じ位置から測定することは困難である。非接触3次元測定装置では、同じ測定対象であっても測定位置が異なると、測定誤差が違ってくることがあるため、同じような形状の測定対象に対しては、同じような測定位置から測定することが、製造時の形状誤差を評価する上で重要である。
このように試行錯誤のムダや、測定ごとに異なる位置から測定してしまう原因の根本は、測定位置の決定を作業者の経験に依っているためである。
【0020】
本発明の目的は、実用で許容される所要時間の範囲内で、3次元の作業対象物について、作業のシミュレーションを行い、かつ、このシミュレーション結果に基づき全体的な作業を完了させることである。ここで、全体的な作業の完了とは、局所的な完全解決よりも、許容される時間内に作業対象物のできるだけ広い領域で作業を完了させることである。具体的には、3次元測定器を用いた測定対象物の測定において、3次元測定器によって測定可能な部位とそうでない部位との判別をオペレータにではなく自動的かつ全体的に行わせることにより、測定に要する時間および労力を削減することである。
【0021】
なお、上記特許文献3では、3次元測定機を用いた測定対象物の測定において、測定可能な部位とそうでない部位との判別を、オペレータでなく自動的に行わせることにより、測定に要する時間および労力を削減するシステムが提示されている。しかしながら、本システムは、全体的作業の完了に向けたものでも、実用で許容される所要時間を意識したものでもない。例えば、角度の定義に関して、法線ベクトルnに、スカラー量であるαを加えて、測定限界方向LIMITを定義しているように説明されているが、実際の3次元空間内では、これだけでは測定限界方向LIMITを一意に定義することはできない。つまり、3次元の作業対象物全域を意識したものではない。また、測定位置の決定が効率的であるとはいえず、局所最適に陥る可能性が高い手法である。
【0022】
以下に説明する本実施形態の作業支援システムは、実用で許容される時間の範囲で、3次元の測定対象物(作業対象物)のできるだけ広い範囲にわたって、効率的に作業完了できるように支援するものであり、全体的かつ効率的なシミュレーション、及び、局所最適に陥らない最適化アルゴリズムを特徴とする。
なお、以下の実施形態では、3次元形状データの測定作業を作業の具体例として説明するが、例えば、支援対象となる作業は、3次元の対象物に対する塗装作業などであってもよい。
【0023】
(作業支援システム)
図1は、実施形態にかかる作業支援システム2の概要を説明するための図である。
図1に例示するように、作業支援システム2は、測定装置5と、移動装置6と、作業支援装置10とを有する。
測定装置5は、測定対象物9の3次元形状データを測定する3次元測定装置である。測定装置5は、3次元測定に関する仕様(測定可能距離、測定可能角度など)に従い、測定対象物9の3次元形状データを測定する。測定装置5は、測定対象物の形状を非接触で測定するものであり、例えば、図1のように、上部5aからレーザー光を測定対象物にスキャンし、その様子を下部にあるカメラ5bで撮像し、三角測量することで測定対象物のある一部の表面形状を測定し、このような測定を測定対象物に対していろいろな方向から行い、得られた測定結果を合成することで、測定対象物の必要な箇所全体の形状を測定する装置である。なお、測定装置5のレーザー照射とカメラ受光部は、図1のように上下にわかれているものだけでなく、左右に分かれているものであってもよい。
【0024】
移動装置6は、測定対象物9及び測定装置5の少なくとも一方を移動させて、測定装置5による測定対象物9の測定位置を変化させる。本例の移動装置6は、測定装置5を移動させる移動装置6Aと、測定対象物9を移動させる移動装置6Bとからなる。移動装置6Aは、アーム部分及び台車部分を有し、測定装置5を3次元方向に水平移動及び回転移動させ、移動装置6Bは、台車部分を有し、測定対象物9を水平移動させる。
【0025】
作業支援装置10は、測定装置5及び移動装置6を制御して、3次元形状データの測定作業を支援する。具体的には、作業支援装置10は、測定装置5の仕様情報(測定可能距離及び測定可能角度など)と、移動装置6の仕様情報(移動可能範囲など)と、測定対象物9の設計情報(CADデータ)とが登録されており、これらの情報に基づいて、測定作業のシミュレーションを行って、測定位置の組合せを決定し、決定された測定位置で実際の測定を実施するように、測定装置5及び移動装置6を制御する。
【0026】
なお、ある測定対象物の外形形状を測定するため、測定対象物9と測定装置5との位置関係は、例えば測定対象物9を3次元空間内のある位置に固定すると、測定装置5との位置関係は、対象物からの相対位置[X,Y,Z]と回転位置[Yaw,Pitch,Roll]の6変数で決定することができる。以下の説明では、便宜上、主に測定対象物9を固定し、測定装置5を移動させる方法を採用するが、実際の測定では測定装置5を動かしても、測定対象物9を動かしても、どちらでも構わない。
測定対象物9と測定装置5との相対位置関係Pは、P[X,Y,Z,Yaw,Pitch,Roll]の6つの変数で一意に決定することができる。例えば3次元空間内の原点位置に、測定対象物9を任意の姿勢で置く。このとき測定装置5の位置Pの変数であるX,Y,Zの範囲は、測定装置5の測定可能距離や測定対象物9のサイズにもよるが、例えばそれぞれ−1m〜+1mとし、Yawは−180度〜+180度、Pitchは−90度〜+90度、Rollは−180度〜+180度の範囲を持つと仮定する。この範囲内で、数多くの測定装置5の位置Pを仮定し、シミュレーションによりどの面が見えるかを算出することが可能である。測定装置5による測定対象物9の測定回数を例えば20回と仮定すると、1回目の位置をP1、2回目の位置をP2、20回目の位置をP20と表し、[P1,P2,…,P20]の組み合わせを定義することができ、これをPsetとする。作業支援装置10は、最も測定面積が大きくなる組み合わせPsetを、測定回数20回における最適な測定位置セットとする。これを算出するために、作業支援装置10は、6つの位置パラメータを可能範囲内で有限個数に等分割し、それぞれ総当たりで計算することが可能である。しかし、この方法では、ある範囲内を等分割する数が少ない場合は、計算精度が悪くなる。また、計算精度を上げるために分割数を増やすと、計算量が膨大になってしまい、有限時間内で終わらなくなってしまう。
そこで本作業支援システム2では、6つ全ての位置変数の等分割による総当たりは行わずに、計算量を抑えながら計算精度を高くする手法を採用する。本手法の特徴の一つに、正射影法を用いることが挙げられる。通常の3次元空間上では、実際のカメラ視線はある点から放射状に拡がる立体射影方式となるが、この方式では、測定対象物9と測定装置5との距離が変わると、カメラの見え方が異なるため、それぞれの距離で計算する必要があり、計算量が増える。一方で、正射影方式を用いると、カメラの見え方は、測定対象物9との距離に依存せず一定なので、計算量を抑えることができる。この手法についても後述する。
【0027】
図2は、作業支援装置10にインストールされる作業支援プログラム11の機能構成を例示する図である。作業支援装置10は、作業支援プログラム11がインストールされたコンピュータ端末である。
図2に例示するように、作業支援プログラム11は、候補位置設定部100と、可能面算出部102と、不可能面特定部104と、決定部106と、優先順位決定部108と、条件変更部110と、測定制御部112とを有する。
作業支援プログラム11は、CD−ROMなどの記録媒体に記録され、この記録媒体を介して、作業支援装置10にインストールされる。なお、本例の作業支援プログラム11は、コンピュータプログラムであるが、これに限定されるものではなく、その一部又は全部がASICなどのハードウェアによって実現されてもよい。
また、作業支援装置10は、仕様情報データベース120及び設計情報データベース122を有する。仕様情報データベース(仕様情報DB)120には、測定装置5の仕様情報と、移動装置6の仕様情報とが格納されている。設計情報データベース(設計情報DB)122には、測定対象物9の設計情報(例えば、CADデータ)が格納されている。本例の設計情報DB122は、複数のポリゴンで形成されたSTL形式の形状データを格納する。
【0028】
候補位置設定部100は、測定対象物9の測定対象範囲の全周囲に対して、測定の方向を測定位置の候補として設定する。例えば、候補位置設定部100は、測定対象物9に関して、測定対象となる範囲の指定をユーザ入力により受け付け、指定された測定対象範囲の全周囲について、測定方向を候補として設定する。
本例の候補位置設定部100は、3次元空間における方向を、φとθの2つのパラメータで定義し、全ての方向を複数の(φ,θ)に分割したものを測定方向の候補に設定する。このとき、φとθを、例えば+180°〜−180°あるいは+90°〜−90°の範囲で等間隔で分割することもできるが、極地での粗密が発生するので、均等な分割手法を用いることもできる。例えば、候補位置設定部100は、図3のように均等に128個に分割すると、各方向をD1〜D128として定義し、測定方向の候補に設定する。分割数は、518個又は2048個等に増やすことで、角度分解能を上げることができる。
【0029】
可能面算出部102は、測定対象物9の設計情報に基づいて、候補位置設定部100により設定された測定方向それぞれについて、3次元形状の測定が可能な表面の数又は面積を算出する。例えば、可能面算出部102は、設計情報DB122に格納されている測定対象物9の設計情報と、仕様情報DB120に格納されている仕様情報とに基づいて、候補位置設定部100により設定された各測定方向から測定可能な面積を算出する。
本例の可能面算出部102は、測定装置5のカメラの焦点距離と被写界深度、カメラの視野範囲(X方向,Y方向)、照射部とカメラ受光部間の距離、レーザー光の照射範囲(X方向,Y方向)、等のパラメータ(仕様データ)を考慮し、ある点に対してある方向Drからカメラ画像の中心に点が位置するように受光(撮像)したとき、ある方向Diからレーザーが照射できるか否かを判定して、縦に受光方向Dr(Dr1〜Dr128)、横に照射方向Di(Di1〜Di128)を並べたテーブルを作成し、中に判定結果(○/×)を格納し、受光照射一致条件テーブル(図10)とする。さらに、可能面算出部102は、測定対象物の表面状態等も加味して、図11〜13のテーブルを生成し、各測定方向から測定可能な面積を算出する。
【0030】
不可能面特定部104は、測定対象物9の設計情報と、測定装置5の仕様情報とに基づいて、候補位置設定部100により設定されたいずれの測定方向からも測定できない不可能表面を特定する。
本例の不可能面特定部104は、レイトレーシングを用いて、ある面が、ある方向からみて、遮蔽物がないかどうかを判定し、いずれの測定方向からも測定できない不可視面を特定する。
【0031】
決定部106は、可能面算出部102により算出された各測定方向の面積に基づいて、候補となる測定方向の中から、採用する測定方向の組合せを決定する。例えば、優先順位決定部108は、可能面算出部102により算出された各測定方向の面積に基づいて、候補となる測定方向の優先順位を決定し、決定部106は、優先順位決定部108により決定された優先順位と、許容されている測定回数又は測定時間とに基づいて、採用する測定方向の組合せを決定する。
本例の決定部106は、後述する最適化アルゴリズムを用いて、測定可能な面積の合計が最大となる測定方向の組合せを決定する。
【0032】
優先順位決定部108は、例えば、可能面算出部102により算出された各測定方向の面積の広い順に、測定方向の優先順位を決定する。
条件変更部110は、乱数に基づいて、決定部106により決定された測定方向の組合せの一部を、他の候補となる測定方向に入れ替えて、測定可能な面積の合計の増減を評価し、測定可能な面積が最大となる測定方法の組合せを最適化する。図7に例示するように、決定部106が、既定の方法で、測定方向の組合せを決定すると、局所最適(図7の左側)に陥る可能性があるため、決定部106は、一旦、測定可能な面積が最大となる組合せを仮決定し、仮決定された組合せの一部を条件変更部110に変更させて、最適化された組合せ(図7の右側)を探索する。
【0033】
測定制御部112は、決定部106により決定された測定方向の組合せに基づいて、移動装置6を制御する。例えば、測定制御部112は、決定部106により決定された測定方向の組合せのうち、優先順位決定部108により決定された順位に従って、移動装置6に測定装置5を各測定位置(測定方向)に順に移動させる。
【0034】
(作業支援方法)
図4は、作業支援処理(S10)を説明するフローチャートである。
図4に示すように、ステップ12(S12)において、候補位置設定部100は、設計情報DB122から、測定対象物9のCADデータ(STLデータ)を読み出し、測定対象範囲の指定を受け付ける。
候補位置設定部100は、指定された測定対象物の測定対象範囲の全域にわたって、候補となる測定方向を設定する。設定される測定方向は、面積が均等となる分割方法で分割されたものである。
【0035】
ステップ14(S14)において、不可能面特定部104は、レイトレーシングによって、候補位置設定部100により設定された測定方向のいずれからも測定できない不可能表面(不可視面)を特定し、特定された不可能表面(不可視面)を可能面算出部102に通知する。
【0036】
ステップ16(S16)において、可能面算出部102は、測定装置5の仕様情報と、測定対象物の設計情報と、不可能面特定部104により特定された不可能表面とに基づいて、候補位置設定部100により設定された各測定方向で測定可能な面積を算出する。
【0037】
ステップ18(S18)において、優先順位決定部108は、可能面算出部102により算出された各測定方向の測定可能面積に基づいて、各測定方向の優先順位を決定する。優先順位は、測定可能面積が広いほど高くなる。
決定部106は、優先順位決定部108により決定された優先順位と、許容されている測定回数又は測定時間とに基づいて、測定方向の組合せを仮決定する。
【0038】
ステップ20(S20)において、条件変更部110は、乱数を発生させて、乱数に従って、S18において仮決定された組合せの一部を他の測定方向に入れ替える。
ステップ22(S22)において、決定部106は、一部が入れ替えられた測定方向の組合せと、仮決定された測定方向の組合せとで、測定可能な面積に基づいて比較し、より測定可能面積が広い組合せを採用する。
作業支援処理(S10)は、既定回数だけ、S20及びS22の処理を繰り返すと、S26の処理に移行する。
【0039】
ステップ26(S26)において、測定制御部112は、決定部106により決定された測定方向の組合せと、優先順位決定部108により決定された優先順位とに基づいて、移動装置6及び測定装置5を制御し、決定された組合せの測定方向から、決定された優先順位で測定対象物の3次元形状を測定させる。
【0040】
(詳細な処理内容及び結果検証)
・対象とする形状データの準備
効率のよい測定を行うために、測定対象物の形状データ(CADデータ)を準備する。この形状データを作業支援装置10に取り込み、シミュレーション演算を行い、いかに効率のよい測定装置の測定位置を決定するか、が重要である。ここでは、測定対象物の形状データが、複数のポリゴンで形成されるSTL形式である場合を対象とする。このようなSTLデータは、測定対象物を製造するために設計段階で作成されることが一般的である。例えば、図8で示す測定対象物バルブボディのSTLデータは、59,240個の三角形ポリゴン面からなっている。またその表面積は82858mmである。すべての面が測定できれば良いが、チューブの内面等どうやっても測定できない面(不可視面)が発生するため、作業支援装置10は、まず測定可能な面か、不可能な面かを分離し、測定可能な面をどうやって効率よく測定するかを決定する、という手順で行う。
【0041】
・方向の分割
3次元空間における方向を、φとθの2つのパラメータで定義する。また、候補位置設定部100は、全ての方向を複数の(φ,θ)に分割したものを測定方向の候補として設定する。このとき、φとθを、例えば+180°〜−180°あるいは+90°〜−90°の範囲にて等間隔で分割することもできるが、極地での粗密が発生するので、均等な分割手法を用いることもできる。例えば均等に128個に分割すると、各方向はD1〜D128に分割できる。分割数を512個や2048個等に増やす事で、角度分解能を上げることができる。
【0042】
・受光照射一致条件テーブルの作成
測定装置5には、カメラの焦点距離と被写界深度、カメラの視野範囲(X方向、Y方向)、照射部とカメラ受光部間の距離、レーザー光の照射範囲(X方向、Y方向)、等のパラメータ(仕様データ)がある。可能面算出部102は、これら測定装置5のパラメータ(仕様)を考慮し、図5(A)に例示するように、ある点に対してある方向Drからカメラ画像の中心に点が位置するように受光(撮像)したとき、ある方向Diからレーザーが照射できるか、を判定する。可能面算出部102は、図10に例示するように、縦に受光方向Dr(Dr1〜Dr128)、横に照射方向Di(Di1〜Di128)を並べたテーブルを作成し、中に判定結果(○/×)を格納し、受光照射一致条件テーブルを生成する。
受光方向と照射方向のなす角度が小さいと、図6(B)に示すように、測定距離は離れ、角度が大きいと、図6(C)に示すように、測定距離は近づく。例えば、カメラ受光の方向をDr1とした場合、測定装置5のパラメータ条件を考慮すると、レーザーで照射する方向をDi2とするには、Dr1とDi2のなす角度が小さいため、図6(B)に示すように、測定装置5を遠くに配置することになる。Dr1とDi2を満たす測定位置はこのひとつしかないので、決定部106は、この2つの測定方向を決定できれば、ある点に対する測定装置5の相対位置を示す6つのパラメータ[X,Y,Z,Yaw,Pitch,Roll]を一意に決定できる。同様にDr1とDi3では、2方向のなす角度が大きいため、図6(C)に示すように、測定装置5を近くに配置することになる。
また、DrとDiのなす角にも配置可能な範囲がある。その範囲を、仮に5.7°〜22.6°とすると、DrとDiのなす角は、図9のとおりなので、測定装置5がとりうる角度条件(○)は、Di2,Di3,Di4,Di5の4つのみで、他は測定装置5がとれない位置条件(×)となる。
同様に、Dr2,Dr3と同じ評価を行うと、図10のようになり、これを受光照射一致条件テーブルとする。可能面算出部102は、測定装置5のパラメータ(仕様データ)だけで、このテーブルを決定できる。
【0043】
・面ごとの評価
続いて、可能面算出部102は、測定対象物の形状データにおける面ごとの評価を行う。面は、三角形ポリゴンで表されるので、各頂点の3次元座標を持つ。各頂点の中心点を計算することで、面の中心座標を算出できる。また、表裏があり、表側の面法線方向情報を持つ。
【0044】
・表面データの考慮
可能面算出部102は、測定対象物の表面状態を考慮する。測定対象物のある面の状態について、光の入射角が面の垂直方向から何度のとき、反射する光の、ある方向における強度分布を実験等により得ることができる。これを拡散反射特性という。可能面算出部102は、この特性に基づき、1番目のある面F1について、入射方向Diから光が入射した時、反射方向Drに対して、カメラで測定可能な量の光を反射できるかどうかを判定する。また、可能面算出部102は、この判定のまえに、図10による照射受光同時条件を考慮し、図10のテーブルで同時条件を満たさない場合、表面データを考慮せずとも不可視面であると判定できるため、計算時間の短縮につながる。
可能面算出部102は、1番目の面F1について、DrとDiそれぞれD1〜D128までの全ての方向のうち、図10のテーブルで○が付いている条件のみについて判定を行う。可能面算出部102は、結果が可視であれば○を、面F1に関する表に埋め、のこりは×として、図11の表面データ考慮テーブルとする。
【0045】
・レイトレーシングによる、可視面/不可視面テーブルの作成
不可視面特定部104は、レイトレーシングを用いて、ある面が、ある方向からみて、遮蔽物がないかどうかを判定する。不可視面特定部104は、1番目の面F1について、D1〜D128の方向に対してレイトレーシング法を用いて干渉の有無チェックを行うことで、不可視面を判定する。判定の結果、干渉がある方向のDrとDiの要素はすべて不可視(×)となる。
ここで、図11のテーブルのうち、全ての項目が×であるDrで、かつ全ての項目が×であるDiの方向についてはレイトレーシングの結果を考慮せずとも不可視であると判定するため、計算時間の短縮につながる。
不可視面特定部104は、1番目の面F1について、D1〜D128までの全ての方向についてレイトレーシングにて判定することで、受光照射の表に○、×の結果を埋めて、図12の可視/不可視面テーブルとする。
不可視面特定部104は、F1〜F59240までの全ての面を、D1〜D128までの全ての方向について判定する。
【0046】
以上で、どの面が、どの方向から受光するために、どの方向から照射すると、測定できるかの判定結果をまとめたテーブルを面の数だけ作成することができた。○が示すのは、該当する面を測定するための受光方向と照射方向である。面の中心座標は頂点の重心演算によって算出され、2つの方向が決定されると6つの相対位置パラメータ[X,Y,Z,Yaw,Pitch,Roll]が決定することから、1つの○に対して、測定対象物に対する測定装置5の位置パラメータが決定することとなる。
このテーブルにおいて、ひとつも○のついていない面番号の面は、不可視面とする。これにより、測定対象の面に対して、可視面と不可視面の抽出を行うことができた。
続いて、どうにかすれば測定ができる面のうち、どのように効率的に測定するかを指定する方法(測定作業の効率化)について記述する。
【0047】
・可視条件○に対する共可視面の算出
ある面Fについて、DiとDrが1〜128のうち、全てが×となっている面は不可視面である。○が一つでもある場合は、そのときのDi方向から照射し、Dr方向から受光することで、その面の測定が行えることを示す。可能面算出部102は、すべての○の数をカウントし、その数をk個とし、可視条件○をE(Enable)と表し、図13に示すように、その全てについて固有の番号E1〜Ekを振る。
一般的に、可視面である面Fの、DiとDrのテーブルにはEが複数ついているはずである。複数のEがついている条件のうち、ひとつの条件を取り出すと、そのEnにおける照射方向Diと受光方向Drを満たす測定装置5の測定位置P[X,Y,Z,Yaw,Pitch,Roll]が一意に決まる。また、測定装置5の測定位置P[X,Y,Z,Yaw,Pitch,Roll]が一意に決まれば、その測定位置条件ではF1〜F59240のうち、どの面が可視かをシミュレーションによって決定することが可能である。この、Enを測定する際に同時に測定可能となる面を、測定可能条件Enにおける共可視面と呼び、可能面算出部102は、AFn(AccompanyFace)の配列にどの面が共可視かを配列で格納する。また、共可視面の面積の合計をSA(SumArea)とする。1番目の測定可能条件E1で、面番号2,3,4,5の面が共可視であり、その合計面積が100mm2であるなら、可能面算出部102は、AF1={2,3,4,5}という情報を格納し、SA1=100とする。
【0048】
・測定条件Eの削減
上記の手法では、測定可能な○の数だけ、Eが発生する。測定条件の数が多いと、測定順を決定する際の計算量が多くなることから、「可視条件○に対する共可視面の算出」の手順で行った、ある可視面Fにおける全ての○をEに置き換えることはせずに、可能面算出部102は、数あるEのなかでも、可視面Fnを測定する際にもっとも良い条件をEnとし、その際の共可視面をAFnとして配列に格納し、その際の共可視面積合計をSAnとすることができる。ここでいう「もっとも良い条件」とは、受光方向が対象面の法線方向(正確には、法線方向の真逆の向き)にもっとも近い方向の測定位置である。その中でも選択肢が複数ある場合は、測定対象物までの測定距離が最大値と最小値の中間にもっとも近い位置、とする。
これにより、Eの数は、可視面の数を超えることはなくなり、計算量を抑えることができる。
【0049】
・実際の受光方向と照射方向からの装置位置の決定と、共可視面の判定
実際に演算を行ったところ、全部で59240面あるうち、不可視面が2591面あり、可視面が56649面あると算出された。もっとも良い条件での受光方向と照射方向について、共可視面を算出すると、共可視面は全部で9048個の面からなり、その面積は16508mm2であった。
【0050】
・測定順の決定1(方法A 測定可能面積の大きい視点から順に測定)
優先順位決定部108は、共可視面積SAのもっとも大きい測定条件Enを、第一の測定条件P1とする。P1=Enとなる。条件Enで測定される面を共可視面AFnとし、可視面からAFnを除いた残りの可視面を残可視面R1と呼ぶ。優先順位決定部108は、残可視面に対して、再度すべての条件Eに対する共可視面を算出する。優先順位決定部108は、この中でもっともSAの大きい測定条件Eを、第二の測定条件P2とする。全可視面R1のうち、測定条件P1とP2で測定される共可視面を除いた面を新たな残可視面R2とする。このようにして、優先順位決定部108は、許容された測定回数分だけ、Pnを決定していく。
【0051】
具体的には次のように行う。
計算例
(1)全ての面59240から、これまでの計算により可視面が56649面、不可視面が2591面あると算出される。面ごとに最適な撮像条件を1つ決定する場合、測定条件も可視面と同じ数の56649個あり、これをE1〜E56649とする。
(2)全ての測定条件E1〜E56649に測定装置5を配置したときに測定できる面を計算し、それらの面を共可視面とし、AFに格納する。AF1〜AF56649の共可視面グループができる。またそれぞれ共可視面の合計面積を算出し、SA1〜SA56649に代入する。
(3)SA1〜SA56649のうち、最大面積のものを第一の装置位置P1とする。
(4)すべての可視面のうち、P1による測定可能面を除いた面を抽出し、残可視面R1とする。
(5)(2)と同様に、残可視面R1のうち、P1を除いた全ての測定条件E1〜E56649に測定装置5を配置したときに測定できる面を計算し、それらの面をAF1〜AF56649に格納する。またその面積をSA1〜SA56649に代入する。
(6)(3)と同様に、SA1〜SA56649のうち、最大面積のものを第二の装置位置P2とする。
(7)以下、優先順位決定部108は、繰り返し(2)〜(4)を行い、測定位置の優先順位を決定する。
【0052】
・測定順の決定2(方法B 制限された回数にて、最大面積を測定できる装置位置)
上記(測定順の決定1)では、共可視面積SAのもっとも大きい測定条件Enから順に測定条件Pnを決定した。例えば、測定回数が10回と限定されている場合に方法1を用いると、得られた10個の測定位置は局所解に陥っている可能性がある。これを防ぐため、作業支援装置10は、MCMC法(マルコフ連鎖モンテカルロ法)を用いる。MCMC法では、最初のP1からP10までを上記方法Aを用いて決定する。続いて、条件変更部110が、この10個の測定位置を、乱数に従って一つずつランダムに変更し、測定面積が増加したか否かを評価する。
【0053】
具体的には次のように行う。
(1)最初の一巡は、決定部106が方法Aを用いて測定位置の組合せを決定する。これを初期状態とする。この測定位置をP1=a1,P2=b1,…,P10=j1とし、この状態の組合せを
P[a1,b1,c1,d1,e1,f1,g1,h1,i1,j1]
とする。また、この組合せで測定される可視面の面積を
SA[a1,b1,c1,d1,e1,f1,g1,h1,i1,j1]
とする。
(2)条件変更部110は、P1の測定位置a1を(a1,b1,c1,…,j1以外から)ランダムに選択し直し、a2とする。この
P[a2,b1,c1,d1,e1,f1,g1,h1,i1,j1]
を、次の測定位置の組合せと仮定し、この組合せで測定される可視面の面積を
SA[a2,b1,c1,d1,e1,f1,g1,h1,i1,j1]
とする。
(3)決定部106は、最初の組合せの面積と、新たに仮定した組合せの面積の比rを計算する。
r = SA[a2,b1,c1,d1,e1,f1,g1,h1,i1,j1] / SA[a1,b1,c1,d1,e1,f1,g1,h1,i1,j1]
(4)0<=R<1となるような、一様な乱数Rを生成する。
(5)決定部106は、R<rなら、仮定した組合せを、新しい組合せとして採用し、R>=rなら、仮定を棄却し、これまでの組合せをそのまま採用する。
この説明では、R<rとなり、新しい組合せとして採用することとする。
P[a2,b1,c1,d1,e1,f1,g1,h1,i1,j1]
(6)続いて、条件変更部110は、b1を(a2,b1,c1,…,j1以外から)ランダムに選択し直し、b2とする。この
P[a2,b2,c1,d1,e1,f1,g1,h1,i1,j1]
を、次の測定位置の組合せと仮定し、この組合せで測定される可視面の面積を
SA[a2,b2,c1,d1,e1,f1,g1,h1,i1,j1]
とする。
(7)(3)と同様に、決定部106は、新たに仮定した組合せの面積の比rを計算する。
r = SA[a2,b2,c1,d1,e1,f1,g1,h1,i1,j1] / SA[a2,b1,c1,d1,e1,f1,g1,h1,i1,j1]
(8)(4)及び(5)と同様に、条件変更部110は、乱数Rを生成し、rと比較し、R<rなら、仮定した組合せを、新しい組合せとして採用し、R>=rなら、仮定を棄却し、これまでの組合せをそのまま採用する。
(9)(6)〜(8)と同様に、条件変更部110は、ランダムに選択し直す対象をc1,d1,…,j1と変更し、決定部106が評価を行う。
(10)以上で2巡目の評価が完了した。決定部106は、この評価を複数回繰り返して探索を行い、最大面積の撮像が行える測定位置の組合せを最適組合せとする。
【0054】
・結果の検証
方法Aを用いて測定位置を計算した。また、この計算結果に従い実測定を行い、図14の結果が得られた。結果を、人の手で測定した場合と比較したところ、図14に示すように、従来手法(手作業)では、測定希望面積に対して、20回で72.1%、58回で87.6%の面積を測定できた。一方で、本手法では、12回で75.0%、20回で83.4%、28回で86.2%の面積を測定できた。熟練者でなくとも、手作業に比べて測定回数を減らすことができる可能性を示した。
また、測定方向の組合せを決定するために必要な計算量を比較した。本実施形態の方法による場合は、約3時間であり、比較例では、約711.9時間(29.7日)となった。姿勢決定には、回転自由度3つ(Yaw,Pitch,Roll)と平行移動3つ(X,Y,Z)がある。本実施形態では、
方向について、128×128→16,384個(照射・受光方向それぞれ128個)
移動について、59,240個(前例の通りの面の数)
両者を掛けて、970,588,160回の計算となる。
一方、比較例では、
方向について、24×12×24→69,120個(Yaw,Rollは360度、Pitchは180度を15度で分割)
移動について、150×150×150→3,375,000個(XYZそれぞれ150cmを1cmずつ分割)
両者を掛けて、233,280,000,000回の計算となる。
これらを比較すると、計算量で、比較例は、本実施形態の237.3倍の計算量となる。本実施形態の実証実験では、計算に概ね3時間掛かるから、比較例では、約711.9時間(29.7日)が掛かると想定される。測定方向の組合せを決定するためだけに数日以上を要するため、比較例は全く実用に適さない。
【0055】
以上説明したように、本実施形態における作業支援システム2によれば、3次元測定作業において、効率的に作業できる測定位置の組合せを実用可能な時間内に決定することができる。
【0056】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0057】
なお、上記実施形態では、各測定方向から測定可能な面積に基づいて、測定方向の優先順位及び測定方向の組合せを決定したが、各測定方向から測定可能な面の数に基づいて、測定方向の優先順位及び測定方向の組合せを決定してもよい。
【符号の説明】
【0058】
2…作業支援システム
5…測定装置
6…移動装置
10…作業支援装置
11…作業支援プログラム
100…候補位置設定部
102…可能面算出部
104…不可能面特定部
106…決定部
108…優先順位決定部
110…条件変更部
112…測定制御部
120…仕様情報データベース
122…設計情報データベース
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14