特開 2023-103858 ３次元情報計測システム及び３次元情報計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023103858

(43)【公開日】2023-07-27

(54)【発明の名称】３次元情報計測システム及び３次元情報計測方法

(51)【国際特許分類】

   G01B 11/245 20060101AFI20230720BHJP

【ＦＩ】

G01B11/245 H

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022004630

(22)【出願日】2022-01-14

(71)【出願人】

【識別番号】000005197

【氏名又は名称】株式会社不二越

(74)【代理人】

【識別番号】110002321

【氏名又は名称】弁理士法人永井国際特許事務所

(72)【発明者】

【氏名】吉田 健人

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB05

2F065DD06

2F065DD07

2F065FF01

2F065FF04

2F065FF05

2F065FF09

2F065JJ03

2F065JJ05

2F065JJ08

2F065JJ26

2F065PP25

2F065QQ31

2F065RR02

2F065RR09

(57)【要約】

【課題】計測領域の設定がユーザにとって容易となる３次元情報計測システムを提供する。
【解決手段】３次元情報計測システムは、対象物に対し、同一側であって、対象物を挟んだ実質的に線対称の位置に配置されるとともに対象物を撮像する第１カメラ１及び第２カメラ２と、第１カメラ１による対象物を含む範囲の撮像画像内における第１計測領域を、ユーザ入力に基いて設定する第１カメラ計測領域設定部３２と、第１カメラ計測領域設定部３２により設定した前記第１計測領域の中心を算出する第１カメラ計測領域中心算出部３４と、第２カメラ２による対象物を含む範囲の撮像画像内における第２計測領域を、第１カメラ１の撮像中心と第２カメラ２の撮像中心との位置関係に基づき自動設定する第２カメラ計測領域自動生成部と、第１計測領域と第２計測領域との適合を受けて、対象物の３次元計測を行う３次元計測部と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象物を撮像して対象物の３次元計測を行う３次元情報計測システムにおいて、
前記対象物に対し、同一側であって、対象物を挟んだ線対称の位置に配置されるとともに、前記対象物を撮像する第１カメラ及び第２カメラと、
前記第１カメラによる前記対象物を含む範囲の撮像画像内における第１計測領域をユーザ入力に基いて設定する第１カメラ計測領域設定部と、
前記第１カメラ計測領域設定部により設定された前記第１計測領域の中心を算出する第１カメラ計測領域中心算出部と、
前記第２カメラによる前記対象物を含む範囲の撮像画像内における第２計測領域を、前記第１カメラの撮像中心と前記第２カメラの撮像中心との位置関係に基づき自動設定する第２カメラ計測領域設定部と、
前記第１計測領域と前記第２計測領域との適合を受けて、前記対象物の３次元の計測対象基準位置を算出する計測対象基準位置算出部と、
を含むことを特徴とする３次元情報計測システム。

【請求項2】

前記第１カメラ計測領域中心算出部による前記第１計測領域の中心に基づき第１の特徴量を得る第１カメラ特徴量算出部と、
前記第２カメラ計測領域中心算出部による前記第２計測領域の中心に基づき第２の特徴量を得る第２カメラ特徴量算出部と、
をさらに含み、
前記第１の特徴量と、第２の特徴量とを比較して前記第２計測領域の自動設定の適否を判断し、前記第２計測領域の自動設定が不適切な場合には、前記第２計測領域をユーザ入力に基いて修正して設定する第２計測領域修正部を含むことを特徴とする請求項１記載の３次元情報計測システム。

【請求項3】

対象物を撮像して対象物の３次元計測を行う３次元情報計測方法において、
前記対象物に対し、同一側であって、前記対象物を挟んだ実質的に線対称の位置に第１カメラ及び第２カメラを配置し、
前記第１カメラによる前記対象物を含む範囲の撮像画像内における第１計測領域を、ユーザ入力に基いて設定する第１カメラ設定ステップと、
前記第１カメラ計測領域設定部により設定された前記第１計測領域の中心を算出する第１カメラ計測領域中心算出ステップと、
前記第２カメラによる前記対象物を含む範囲の撮像画像内における、第２計測領域を、前記第１カメラの撮像中心と前記第２カメラの撮像中心との位置関係に基づき自動設定する第２カメラ計測領域設定ステップと、
前記第１計測領域と前記第２計測領域との適合を受けて、前記対象物の３次元の計測対象基準位置を算出する計測対象基準位置算出ステップと、
を含むことを特徴とする３次元情報計測方法。

【請求項4】

前記第１カメラ計測領域中心算出部による前記第１計測領域の中心に基づき第１の特徴量を得る第１カメラ特徴量算出ステップと、
前記第２カメラ計測領域中心算出部による前記第２計測領域の中心に基づき第２の特徴量を得る第２カメラ特徴量算出ステップと、
を含み、
前記第１の特徴量と、前記第２の特徴量とを比較して、前記第２計測領域の自動設定の適否を判断し、前記第２計測領域の自動設定が不適切な場合には、前記第２計測領域をユーザ入力に基いて修正して設定する第２計測領域修正ステップを含むことを特徴とする請求項３記載の３次元情報計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元情報計測システム及び３次元情報計測方法に関するものである。

【背景技術】

【0002】

例えば産業用ロボットは、対象物（ワーク）について各種作業（例えばピッキング、加工など）を行うにあたり、対象物を的確に認識することが前提となる。よって、対象物を的確に認識するため、従来、対象物の３次元情報を取得する３次元情報計測システムが使用されている。

【0003】

また、一般的に対象物の３次元情報を取得する際は、ステレオカメラが使用される。また、ステレオカメラにより実際の対象物を認識するに先だって、ステレオカメラを構成する各カメラのキャリブレーションが必要となる。

【0004】

しかしながら、従来の３次元情報計測システムにおいては、対象物を含む広範囲の画像を取り込んで、その全体について３次元計測処理することから、画像処理量が過度に膨大となり、経済的なシステム構成とならない。

【0005】

さらに、各カメラごと、対象物を含む狭い計測対象領域を設定する作業が必要なことから、画像処理量を少なくすることが望まれていた。

【0006】

ところが、実稼働に先立って各カメラごとに狭い計測対象領域を手動で設定するには、ユーザにとって多大な手間と負担を要する。

【0007】

そこで、特許文献１には、基準となる対象物を正面視するカメラと、斜め上方から撮影するカメラとを使用し、正面視するカメラの画像により対象物の特徴点を抽出し、計測対象領域を設定する。他方の斜め上方から撮影するカメラの画像とを比較し、３次元座標の計測を行う技術が開示されている。

【0008】

また、特許文献２には、同様な観点から、基準となる対象物を正面視する１台のカメラと、斜め上方から撮影する２台のカメラとを使用し、正面視するカメラの画像により有効領域を設定し、他方の２台のカメラの画像と比較し、有効領域の適否を容易にする技術が開示されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００９－５３１４７号公報

【特許文献2】特開２０１１－１１２４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、特許文献１に開示された技術においては、斜め上方から撮影するカメラによる画像中に、正面視するカメラで得た画像により抽出した対象物の特徴点が含まれない場合があり、結果として、対象物の３次元座標を得ることができないことがある。例えば、対象物が直方体の場合、正面視するカメラで得た画像は矩形の平面図形であるのに対し、斜め上方から撮影するカメラによる画像は矩形の平面図形ではなく、斜視の立体図形となり、両者のマッチングを取ることができず、もって３次元計測を行うことができない場合があるといった問題があった。

【0011】

また、特許文献２に開示された技術においては、３台のカメラを必要とするためにコスト高となる。また、正面視するカメラの画像により設定した有効領域が正しいものでなかった場合、再度、基準となる対象物を正面視する１台のカメラによる画像に基づき有効領域を設定し、その有効領域の適否を再度行う必要があり、ユーザにとって多大な手間を要するものとなるといった問題があった。

【0012】

したがって、本発明の主たる課題は、計測領域の設定がユーザにとって容易となる３次元情報計測システム及び３次元情報計測方法を提供することにある。

【課題を解決するための手段】

【0013】

上記課題を解決した本発明の態様は以下のとおりである。
＜第１の態様＞
本発明の第１の態様による３次元計測システムは、対象物を撮像して対象物の３次元計測を行う３次元情報計測システムにおいて、前記対象物に対し、同一側であって、対象物を挟んだ線対称の位置に配置されるとともに、前記対象物を撮像する第１カメラ及び第２カメラと、前記第１カメラによる前記対象物を含む範囲の撮像画像内における第１計測領域をユーザ入力に基いて設定する第１カメラ計測領域設定部と、前記第１カメラ計測領域設定部により設定された前記第１計測領域の中心を算出する第１カメラ計測領域中心算出部と、前記第２カメラによる前記対象物を含む範囲の撮像画像内における第２計測領域を、前記第１カメラの撮像中心と前記第２カメラの撮像中心との位置関係に基づき自動設定する第２カメラ計測領域設定部と、前記第１計測領域と前記第２計測領域との適合を受けて、前記対象物の３次元の計測対象基準位置を算出する計測対象基準位置算出部と、を含む。

【0014】

＜第２の態様＞
本発明の第２の態様による３次元計測方法は、対象物を撮像して対象物の３次元計測を行う３次元情報計測方法において、前記対象物に対し、同一側であって、前記対象物を挟んだ実質的に線対称の位置に第１カメラ及び第２カメラを配置し、前記第１カメラによる前記対象物を含む範囲の撮像画像内における第１計測領域を、ユーザ入力に基いて設定する第１カメラ設定ステップと、前記第１カメラ計測領域設定部により設定された前記第１計測領域の中心を算出する第１カメラ計測領域中心算出ステップと、前記第２カメラによる前記対象物を含む範囲の撮像画像内における、第２計測領域を、前記第１カメラの撮像中心と前記第２カメラの撮像中心との位置関係に基づき自動設定する第２カメラ計測領域設定ステップと、前記第１計測領域と前記第２計測領域との適合を受けて、前記対象物の３次元の計測対象基準位置を算出する計測対象基準位置算出ステップと、を含む。

【発明の効果】

【0015】

本発明によれば、計測領域の設定がユーザにとって容易となる３次元情報計測システム及び３次元情報計測方法を提供することができる。

【図面の簡単な説明】

【0016】

【図1】本実施の形態の３次元情報計測システムの構成を概略的に示す図である。

【図2】図１の３次元情報計測システムの構成の概略を示すブロック図である。

【図3】本実施の形態の３次元計測方法の処理を示すフローチャートである。

【図4】図３における計測領域の設定過程例の概要を示す説明図である。

【図5】図３における計測領域の修正を含む設定過程例の概要を示す説明図である。

【発明を実施するための形態】

【0017】

以下本発明の実施の形態を、図面を参照しながら説明する。なお、説明の理解を容易にするため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。

【0018】

まず、図１によって、本実施の形態における３次元情報計測システム１００について簡単に説明すると、３次元情報計測システム１００は、ステレオカメラ３と、画像処理装置３０とにより主要部が構成されている。ステレオカメラ３は、対象物Ｗを、第１カメラ１と第２カメラ２とを含むステレオカメラ３により撮像（撮影）して対象物Ｗの３次元計測情報を得るものである。

【0019】

尚、対象物Ｗとしての限定はないが、例えばロボットが作業対象とする対象物Ｗであり、支持台やコンベア上に載置されるものが挙げられる。

【0020】

第１カメラ１と第２カメラ２とは、対象物Ｗに対し、同一側（例えば図示例においては対象物Ｗを含む平面に対して上側）であって、対象物Ｗを挟んだ実質的に線対称の位置に配置される。
この場合における「実質的に線対称の位置」とは、厳密に位置及び角度（対象物に対する光軸角度）が線対称である必要はなく、後述する処理において、特別な補正処理を必要としない程度の同一性が担保されていればよい。

【0021】

第１カメラ１及び第２カメラ２からの画像は、画像処理装置３０に取り込まれ、３次元計測が行われる。

【0022】

画像処理装置３０は、画像処理部３１、第１カメラ計測領域設定部３２、キャリブレーション実行部３３、第１カメラ計測領域中心算出部３４、第１カメラ特徴量算出部３５、第２カメラ計測領域中心算出部３６、第２カメラ特徴量算出部３７、第２カメラ計測領域自動生成部３８、第２カメラ計測領域修正部３９、及び計測対象基準位置算出部４０を含んで主要部が構成されている。

【0023】

以下、画像処理装置３０の構成について、図３を用いて説明する。なお、図３に示す処理ステップは、図示順で処理を行うことを必須とするものではなく、並行処理や順序を前後させる場合も含むものである。

【0024】

第１カメラ１及び第２カメラ２により撮像した撮像信号は、画像処理装置３０の画像処理部３１に取り込まれ、第１カメラ１及び第２カメラ２のキャリブレーション（Ｓ１０）が、キャリブレーション実行部３３にて行われる。

【0025】

すなわち、対象物Ｗに対して、可能な限り対象物を挟んだ実質的に線対称の位置に（光軸を含めて）配置されるように、キャリブレーションを行う。

【0026】

キャリブレーション実行後に第１カメラ１及び第２カメラ２の中心を求めておく（Ｓ１１）。

【0027】

次に、第１カメラ１で計測対象物Ｗを撮影（Ｓ１２）した、図４の左上部が参照される対象物Ｗを含む範囲の撮像画像内における第１計測領域Ａ１を、ユーザからの入力に基いて第１カメラ計測領域設定部３２により設定する（Ｓ１３）。
この場合、第１計測領域Ａ１としては、特徴を含む領域を選択することができる。尚、特徴としては、対象物Ｗの輪郭のほか、対象物Ｗ中の特徴部分（例えば図柄）などが挙げられる。

【0028】

また、図４に示す例は、対象物Ｗの輪郭を上述した特徴とする例であり、図４において、第１計測領域Ａ１は、対象物Ｗの輪郭を含む領域として設定した状態を解り易く図示してある。

【0029】

次いで、かかる設定した第１カメラ画像の計測領域Ａ１の中心を、第１カメラ計測領域中心算出部３４により算出する（Ｓ１４）。

【0030】

次いで、算出した計測領域Ａ１の中心に基づき、第１カメラ画像の計測領域Ａ１内の特徴（例えば輪郭）を、第１カメラ特徴量算出部３５により、特徴量として算出する（Ｓ１５）。

【0031】

次いで、第２カメラ２で計測対象物Ｗを撮影（Ｓ１６）し、キャリブレーションした第１カメラの中心と第２カメラの中心との位置相関に基づき、第２カメラ計測領域中心算出部３６により、第２カメラ画像の計測領域中心を自動で算出（Ｓ１７）する。

【0032】

次いで、第２カメラ計測領域自動生成部３８により、第２カメラ画像の（第２）計測領域Ａ２を、ユーザの入力に基いて設定した第１計測領域Ａ１を線対称で対照することにより、自動生成（Ｓ１８）する。

【0033】

尚、このＳ１８における自動生成を、図４の「（２）第２カメラ画像の計測領域の自動形成」の欄に示してある。

【0034】

次に、第２カメラ特徴量算出部３７により、第２カメラ画像の（第２）計測領域Ａ２内の特徴量（輪郭の量）を算出（Ｓ１９）する。

【0035】

その後、第２カメラの計測領域設定が正しいか（Ｓ２０）を確認し、正しい限り（ＹＥＳ）、ルートＲ１に従って、第２カメラ画像の計測領域Ａ２の設定を保持（Ｓ２４）し、計測対象の計測基準位置を算出（Ｓ２５）する。
ここで、「計測対象の計測基準位置」としては、例えばロボットが作業対象とする対象物Ｗの場合には、その対象物Ｗの３次元の選択された特定の位置である。
その後は、この「計測対象の計測基準位置」に基づき、例えばロボットが各種の作業を行うものである。

【0036】

以上の一連の処理によれば、第１カメラ１と第２カメラ２とは、対象物Ｗを挟んだ実質的に線対称の位置に配置され、キャリブレーションも実行済みであるから、第２カメラ画像の（第２）計測領域Ａ２を自動生成したとしても、ユーザの入力に基いて設定した第１計測領域Ａ１に対して線対称の対照位置に表れるはずである。
したがって、かかる態様によれば、第２カメラ画像の（第２）計測領域Ａ２をも手動で設定する場合と比較して、ユーザが設定に要する手間を大幅に低減できる。

【0037】

ここで、例えば長期間の使用により、第１カメラ１又は第２カメラ２の位置がずれる、あるいは相対位置が不整となるなどの理由により、自動生成した第２カメラ画像の（第２）計測領域Ａ２が、図５の「（２）第２カメラ画像の計測領域を表示」の欄に示したように、本来あるべき位置からずれてしまう事態が生じる場合がある（図４の中段右図参照）。

【0038】

この場合には、（Ｓ２０）において、第２カメラの計測領域設定が正しくなるため、第２カメラ計測領域修正部３９により、ルートＲ２に従って計測領域の修正を行う。
すなわち、図４の中段（「（２）第２カメラ画像の計測領域を表示」の欄）の右図のように、自動生成した第２カメラ画像の計測領域Ａ２が本来あるべき位置からずれてしまった場合には、（Ｓ２１）において、その第２カメラ画像の計測領域Ａ２が、第２カメラ画像の対象物Ｗを含むように、ユーザの入力に基いて位置の修正を行う。

【0039】

その後、位置修正した第２カメラ画像の計測領域Ａ２の中心を算出（Ｓ２２）し、第２カメラ画像の計測領域Ａ２内の特徴量を算出（Ｓ２３）したうえで、位置修正に基づく第２カメラ画像の計測領域Ａ２の設定を保持（Ｓ２４）し、計測対象の計測基準位置を算出（Ｓ２５）する。
このような修正を行うことにより、短時間にて計測領域Ａ２の設定を行うことができる。

【産業上の利用可能性】

【0040】

本発明は、産業用ロボットに付設して対象物（ワーク）の３次元計測に用いるほか、各種の物品についても適用できる。

【符号の説明】

【0041】

１…第１カメラ、２…第１カメラ、３…ステレオカメラ、３０…画像処理装置、３１…画像処理部、３２…第１カメラ計測領域設定部、３３…キャリブレーション実行部、３４…第１カメラ計測領域中心算出部、３５…第１カメラ特徴量算出部、３６…第２カメラ計測領域中心算出部、３７…第２カメラ特徴量算出部、３８…第２カメラ計測領域自動生成部、３９…第２カメラ計測領域修正部、４０…計測対象基準位置算出部、１００…３次元計測システム。

【図1】

【図2】

【図3】

【図4】

【図5】