特許 7368590 ３次元撮影装置および撮影条件調整方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-16

(45)【発行日】2023-10-24

(54)【発明の名称】３次元撮影装置および撮影条件調整方法

(51)【国際特許分類】

   G06T 7/593 20170101AFI20231017BHJP

   H04N 7/18 20060101ALI20231017BHJP

   H04N 23/56 20230101ALI20231017BHJP

   H04N 23/60 20230101ALI20231017BHJP

   B25J 13/08 20060101ALI20231017BHJP

   G01B 11/00 20060101ALI20231017BHJP

【ＦＩ】

G06T7/593

H04N7/18 U

H04N23/56

H04N23/60

B25J13/08 A

G01B11/00 H

【請求項の数】 14

(21)【出願番号】P 2022503595

(86)(22)【出願日】2021-02-22

(86)【国際出願番号】 JP2021006580

(87)【国際公開番号】W WO2021172256

(87)【国際公開日】2021-09-02

【審査請求日】2022-09-14

(31)【優先権主張番号】P 2020031614

(32)【優先日】2020-02-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】吉田 順一郎

(72)【発明者】

【氏名】滝澤 象太

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２００９－２１０５２０（ＪＰ，Ａ）

【文献】特開２００８－２９８５３３（ＪＰ，Ａ）

【文献】特開２００４－２４５７０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５９３

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／５６

Ｈ０４Ｎ ２３／６０

Ｂ２５Ｊ １３／０８

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

対象物の２次元画像および距離情報を取得する少なくとも１つのカメラと、
該カメラにより取得された前記２次元画像を表示するモニタと、
ハードウェアを含む１つ以上のプロセッサとを備え、
該プロセッサが、
前記モニタに表示された前記２次元画像において前記距離情報が不要な第１領域を取得し、
取得した前記第１領域において前記カメラにより取得される前記距離情報の量が所定の第１閾値以下となり、かつ、前記第１領域以外の少なくとも一部の第２領域において前記カメラにより取得される前記距離情報の量が前記第１閾値よりも大きな所定の第２閾値よりも多くなる撮影条件に設定する３次元撮影装置。

【請求項2】

前記プロセッサが、前記モニタに表示された前記２次元画像において前記距離情報を必要とする前記第２領域を取得する請求項１に記載の３次元撮影装置。

【請求項3】

前記撮影条件が、前記カメラの露光時間を含む請求項１または請求項２に記載の３次元撮影装置。

【請求項4】

前記対象物を照明する照明装置を備え、
前記撮影条件が、前記照明装置による照明光量を含む請求項１から請求項３のいずれかに記載の３次元撮影装置。

【請求項5】

前記カメラが光軸に交差する方向に間隔をあけて２つ備えられ、
前記プロセッサが、２つの前記カメラにより取得された２つの前記２次元画像内の小領域のマッチングにより２つの前記２次元画像の各部における視差を算出して、算出された該視差に基づいて前記距離情報を算出する請求項１から請求項４のいずれかに記載の３次元撮影装置。

【請求項6】

前記撮影条件が、前記マッチングの評価基準を含む請求項５に記載の３次元撮影装置。

【請求項7】

前記撮影条件が、前記小領域の大きさを含む請求項５または請求項６に記載の３次元撮影装置。

【請求項8】

プロセッサが、
対象物の２次元画像および距離情報を取得する少なくとも１つのカメラにより取得された前記２次元画像において、前記距離情報が不要な第１領域を取得し、
取得した前記第１領域において前記カメラにより取得される前記距離情報の量が所定の第１閾値以下となり、かつ、前記第１領域以外の少なくとも一部の第２領域において前記カメラにより取得される前記距離情報の量が前記第１閾値よりも大きな所定の第２閾値よりも多くなる撮影条件に設定する撮影条件調整方法。

【請求項9】

前記プロセッサが、モニタに表示された前記２次元画像において前記距離情報を必要とする前記第２領域を取得する請求項８に記載の撮影条件調整方法。

【請求項10】

前記撮影条件が、前記カメラの露光時間を含む請求項８または請求項９に記載の撮影条件調整方法。

【請求項11】

前記撮影条件が、前記対象物を照明する照明光量を含む請求項８から請求項１０のいずれかに記載の撮影条件調整方法。

【請求項12】

光軸に交差する方向に間隔をあけて備えられた２つの前記カメラにより取得された前記対象物の２つの前記２次元画像において、該２次元画像内の小領域のマッチングにより２つの前記２次元画像の各部における視差を算出し、算出された該視差に基づいて前記距離情報を算出する請求項８から請求項１１のいずれかに記載の撮影条件調整方法。

【請求項13】

前記撮影条件が、前記マッチングの評価基準を含む請求項１２に記載の撮影条件調整方法。

【請求項14】

前記撮影条件が、前記小領域の大きさを含む請求項１２または請求項１３に記載の撮影条件調整方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、３次元撮影装置および撮影条件調整方法に関するものである。

【背景技術】

【0002】

３次元撮影装置を用いて対象物までの距離を計測し、ロボットによって対象物を取り出す対象物取出装置が知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２４６６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

対象物の３次元的な形状を詳細に取得するために、一般には、露光時間あるいは光量等の撮影条件を切り替えて、より多くの距離情報を得ることができる撮影条件に調整することが行われている。この場合には、例えば、密接して配置された同一形状の２以上の段ボール箱のような対象物の場合に、高解像度の３次元カメラを使用しなければ、取得された３次元画像上において対象物の境界を識別することが困難な場合がある。したがって、比較的低解像度のカメラを用いても、簡易な調整によって、対象物の境界などの識別困難な領域をより明確に識別することが望まれている。

【課題を解決するための手段】

【0005】

本開示の一態様は、対象物の２次元画像および距離情報を取得する少なくとも１つのカメラと、該カメラにより取得された前記２次元画像を表示するモニタと、ハードウェアを含む１つ以上のプロセッサとを備え、該プロセッサが、前記モニタに表示された前記２次元画像において前記距離情報が不要な第１領域を取得し、取得した前記第１領域において前記カメラにより取得される前記距離情報の量が所定の第１閾値以下となり、かつ、前記第１領域以外の少なくとも一部の第２領域において前記カメラにより取得される前記距離情報の量が前記第１閾値よりも大きな所定の第２閾値よりも多くなる撮影条件に設定する３次元撮影装置である。

【図面の簡単な説明】

【0006】

【図1】本開示の一実施形態に係る３次元撮影装置を適用したロボットシステムの一例を示す斜視図である。

【図2】図１の３次元撮影装置の３次元カメラを示すブロック図である。

【図3】図１の３次元撮影装置の制御装置を説明するブロック図である。

【図4】図１の３次元撮影装置を用いた撮影条件調整方法を示すフローチャートである。

【図5】図１の３次元撮影装置において、モニタに表示された画像上における第１領域および第２領域の指定の一例を示す図である。

【発明を実施するための形態】

【0007】

本開示の一実施形態に係る３次元撮影装置１および撮影条件調整方法について、図面を参照して以下に説明する。
本実施形態に係る３次元撮影装置１は、図１に示されるように、例えば、ロボット１００により取り出される対象物Ｏの距離情報を取得する装置である。３次元撮影装置１は、対象物Ｏを撮影して２次元画像および距離情報を取得する３次元カメラ（カメラ）２と、取得された２次元画像および距離情報が入力される制御装置３とを備えている。図１において、符号Ｔはロボット１００の手首１１０先端に装着され、対象物Ｏを把持可能なハンドである。

【0008】

３次元カメラ２は、例えば、図２に示されるように、光軸Ａに直交する方向に間隔をあけて配置された２つの２次元カメラ４，５と、対象物Ｏに対して所定のパターンの照明光を照射するプロジェクタ（照明装置）６と、制御部（プロセッサ）７とを備えている。３次元カメラ２は、例えば、図示しない架台によって対象物Ｏの上方に下向きに設置されている。これに代えて、３次元カメラ２をロボット１００の手首１１０に搭載してもよい。

【0009】

３次元カメラ２は、プロジェクタ６により所定のパターンの照明光が照射させた対象物Ｏを、２つの２次元カメラ４，５によって、異なる方向からそれぞれ撮影した２つの２次元画像を取得する。制御部７はプロセッサにより構成され、制御装置３側からの指令を受けて２次元カメラ４，５およびプロジェクタ６を作動させるとともに、２次元カメラ４，５により取得された２枚の２次元画像から対象物Ｏの距離情報を算出する。

【0010】

距離情報の算出方法は、例えば、２つの２次元画像内においてパターンが一致する小領域を探索し、探索された小領域どうしの画像上の位置の差から視差を求めることにより行われる。３次元カメラ２から対象物までの距離が離れるほど視差は小さくなり、近づくほど視差が大きくなる。これを利用して、画像上の各位置における視差を距離に変換することにより、対象物Ｏの距離情報を算出している。

【0011】

２つの２次元画像内においてパターンが一致する小領域の探索は、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法によりマッチングスコアを算出し、マッチングスコアの最も高い（各画素における輝度値の差の絶対値の総和が最も小さい）小領域を探索する。

【0012】

制御装置３は、図３に示されるように、ハードウェアを含む１つ以上のプロセッサ８と、メモリ９と、モニタ１０と、ユーザに入力させるためのキーボードあるいはマウス等の入力装置１１とを備えたコンピュータである。
制御装置３には３次元カメラ２により取得されたいずれか１つの２次元画像および距離情報が入力される。

【0013】

プロセッサ８は、入力されてきた２次元画像をモニタ１０に表示させ、表示された２次元画像において、距離情報を取得する必要がない第１領域Ｘと、距離情報を取得したい第２領域Ｙとを入力装置１１によって指定させる。第１領域Ｘおよび第２領域Ｙの指定は、例えば、マウスによって領域を取り囲んだり、キーボードによって画面上のカーソルを移動させたりして行われる。

【0014】

メモリ９には、距離情報を取得する際の撮影条件として、調整可能な１以上のパラメータおよび閾値が記憶されている。パラメータとしては、２次元カメラ４，５の露光時間、プロジェクタ６の光量、パターンマッチングにおいて算出されるマッチングスコア、パターンマッチングにおいて使用される小領域の大きさ等を挙げることができる。

【0015】

閾値は、第１領域Ｘにおいて取得される距離情報の量Ｌ１の上限を示す第１閾値Ｔｈ１と、第２領域Ｙにおいて取得される距離情報の量Ｌ２の下限を示す第２閾値Ｔｈ２である。第２閾値Ｔｈ２は、第１閾値Ｔｈ１よりも大きい。

【0016】

プロセッサ８は、メモリ９に記憶されている撮影条件のパラメータを切り替えて３次元カメラ２に指令を送り、距離情報を取得させる。そして、プロセッサ８は、第１領域Ｘにおいて取得される距離情報の量Ｌ１が第１閾値Ｔｈ１以下となり、かつ、第２領域Ｙにおいて取得される距離情報の量Ｌ２が第２閾値Ｔｈ２よりも多くなる撮影条件を探索する。

【0017】

このように構成された本実施形態に係る３次元撮影装置１を用いた撮影条件調整方法について以下に説明する。
本実施形態に係る撮影条件調整方法は、撮影条件のパラメータとして、例えば、露光時間のみを調整する場合を例に挙げて説明する。

【0018】

まず、図４に示されるように、２つの２次元画像の視野内に対象物Ｏを配置し（ステップＳ１）、プロジェクタ６を作動させることなく、いずれかの２次元カメラ４，５によって２次元画像を取得する（ステップＳ２）。

【0019】

取得された対象物Ｏの２次元画像は、プロセッサ８によって、モニタ１０に表示され（ステップＳ３）、ユーザが、距離情報を必要としない第１領域Ｘおよび距離情報を取得したい第２領域Ｙを指定可能な状態となる。
この状態で、ユーザが表示された２次元画像上において、第１領域Ｘおよび第２領域Ｙを指定する（ステップＳ４）。

【0020】

図５に示されるように、対象物Ｏが、隣接して配置されている２つの同一形状の段ボール箱である場合には、第１領域Ｘは、対象物Ｏである２つの段ボール箱の境界線を矩形（図中ハッチングによって示す。）によって取り囲むことにより、矩形の内側を指定する。また、第２領域Ｙの指定は、例えば、隣接して配置されている対象物Ｏである２つの段ボール箱の上面の全体領域を矩形によって取り囲むことにより、矩形の内側を指定する。図中、符号Ｐは段ボール箱を梱包するガムテープである。

【0021】

第１領域Ｘおよび第２領域Ｙが指定されると、プロセッサ８はカウンタｎを初期化し（ステップＳ５）、距離情報を取得するための撮影条件のパラメータＰ（ｎ）を設定する（ステップＳ６）。ここで、パラメータＰ（ｎ）は、ｎ＝１から順にｎが１つ増加するに従って所定間隔Δｔずつ増大する露光時間である。
そして、プロセッサ８は、設定された撮影条件に３次元カメラ２を調整した状態で、視差を有する２枚の２次元画像を取得させる（ステップＳ７）。

【0022】

２つの２次元カメラ４，５により取得された２枚の２次元画像は３次元カメラ２の図示しない画像処理部において処理される。設定された大きさの小領域を用いてパターンマッチングが行われ、設定されたマッチングスコアを満たす対応点においてのみ、２枚の２次元画像の視差が算出され、視差に基づいて距離情報が得られる（ステップＳ８）。

【0023】

そして、第１領域Ｘおよび第２領域Ｙ内で得られた距離情報が制御装置３に送られ、第１領域Ｘにおいて得られた距離情報の量Ｌ１が第１閾値Ｔｈ１以下であるか否かが判定される（ステップＳ９）。距離情報の量Ｌ１が第１閾値Ｔｈ１よりも多い場合には、カウンタｎが最大値ｎ_ｍａｘであるか否かが判定される（ステップＳ１０）。

【0024】

カウンタｎが最大値ｎ_ｍａｘではない場合には、カウンタｎがインクリメントされ（ステップＳ１１）、ステップＳ６からの工程が繰り返される。ステップＳ９において、第１領域Ｘ内で得られた距離情報の量Ｌ１が第１閾値Ｔｈ１以下であると判定された場合には、第２領域Ｙ内で得られた距離情報の量Ｌ２が第２閾値Ｔｈ２以下であるか否かが判定される（ステップＳ１２）。距離情報の量Ｌ２が第２閾値Ｔｈ２以下である場合には、ステップＳ１０に進行する。

【0025】

ステップＳ１２において距離情報の量Ｌ２が第２閾値Ｔｈ２よりも多い場合には、距離情報の量Ｌ２が最大値Ｌ２_ｍａｘ以下か否かが判定され（ステップＳ１３）、第２閾値Ｔｈ２以下である場合にはステップＳ１０に進行する。距離情報の量Ｌ２が最大値Ｌ２_ｍａｘよりも大きい場合には、カウンタｎが距離情報の量Ｌ２を最大にするパラメータＰ（ｎ）のカウンタｍａｘとして保存される（ステップＳ１４）。そして、最大値Ｌ２_ｍａｘが距離情報の量Ｌ２の値に更新され（ステップＳ１５）、ステップＳ１０に進行する。

【0026】

ステップＳ１０において、カウンタｎが最大値ｎ_ｍａｘである場合には、Ｐ（ｍａｘ）を撮影条件として設定し（ステップＳ１６）、処理を終了する。

【0027】

このように、本実施形態に係る撮影条件調整方法によれば、第１領域Ｘにおいて取得される距離情報の量Ｌ１が第１閾値Ｔｈ１以下となり、かつ第２領域Ｙにおいて取得される距離情報の量Ｌ２が最大となるパラメータＰ（ｍａｘ）を撮影条件として設定できる。すなわち、本実施形態においては、対象物Ｏである２つの段ボール箱の境界部分を第１領域Ｘとして設定することにより、第１領域Ｘにおいて取得される距離情報の量Ｌ１を第１閾値Ｔｈ１以下に抑える撮影条件を設定することができる。その結果、２つの段ボール箱の境界には対象物Ｏが存在しない領域であると認定することができ、ロボット１００に、各段ボール箱を個別に、分離した対象物Ｏとして認識させることができる。

【0028】

そして、撮影条件が一旦設定された後には、同一種類の段ボール箱を扱う限り、同様の距離情報を取得することができ、密着して配置された２つの段ボール箱を分離した対象物Ｏとして明確に区別することができるという利点がある。

【0029】

なお、本実施形態においては、撮影条件として、露光時間を採用したが、これに限定されるものではなく、他の撮影条件、例えば、プロジェクタの照明光量、パターン認識に使用するスコアの大きさ、小領域のサイズなどの少なくとも１つを採用してもよい。

【0030】

距離情報が不要な第１領域Ｘが他の領域よりも暗い場合に、プロジェクタ６の光量をより小さく設定することにより、第１領域Ｘからの距離情報を得にくくすることができる。第１領域Ｘが他の領域よりも明るい場合には、プロジェクタ６の光量をさらに大きく設定することによりハレーションを起こさせて第１領域Ｘからの距離情報を得にくくすることができる。

【0031】

パターン認識に使用するスコア（評価基準）を厳しく（より小さな値に）設定することにより、２つの２次元画像の第１領域Ｘ間における対応位置の発見を困難にして、第１領域Ｘからの距離情報を得にくくすることができる。
また、小領域のサイズを小さくすると形状変化が大きい箇所や細かな形状でも対応位置の発見を容易にし、小領域のサイズを大きくすると形状変化が大きい箇所や細かな形状では対応位置の発見が困難になる一方で、平面部分での誤対応を少なくすることができる。

【0032】

また、３次元カメラ２が距離情報を算出する制御部（プロセッサ）７を備える場合を例示したが、３次元カメラ２は２つの２次元画像を出力し、制御装置３内のプロセッサ８によって距離情報を算出してもよい。

【0033】

また、モニタ１０に表示された２次元画像において、距離情報が不要な第１領域Ｘと距離情報を必要とする第２領域Ｙとを指定することとしたが、第１領域Ｘのみを指定し、第２領域Ｙについては残りの２次元画像全体に設定してもよい。

【符号の説明】

【0034】

１ ３次元撮影装置
４，５ ２次元カメラ（カメラ）
６ プロジェクタ（照明装置）
７ 制御部（プロセッサ）
８ プロセッサ
１０ モニタ
Ａ 光軸
Ｏ 対象物
Ｘ 第１領域
Ｙ 第２領域
Ｔｈ１ 第１閾値
Ｔｈ２ 第２閾値

【図1】

【図2】

【図3】

【図4】

【図5】