特許 6959277 ３次元撮影装置および３次元撮影条件調整方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6959277

(24)【登録日】2021年10月11日

(45)【発行日】2021年11月2日

(54)【発明の名称】３次元撮影装置および３次元撮影条件調整方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20211021BHJP

   G01B 11/25 20060101ALI20211021BHJP

   G01C 3/06 20060101ALI20211021BHJP

【ＦＩ】

   G01B11/00 H

   G01B11/25 H

   G01C3/06 110B

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2019-33607(P2019-33607)

(22)【出願日】2019年2月27日

(65)【公開番号】特開2020-139767(P2020-139767A)

(43)【公開日】2020年9月3日

【審査請求日】2020年7月10日

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】吉田 順一郎

(72)【発明者】

【氏名】滝澤 象太

【審査官】 信田 昌男

(56)【参考文献】

【文献】 特開２０１９−２７９４７（ＪＰ，Ａ）

【文献】 特開２０１６−１３４７２３（ＪＰ，Ａ）

【文献】 特開２０１２−１３５１４（ＪＰ，Ａ）

【文献】 特開２０１７−１８１４８８（ＪＰ，Ａ）

【文献】 特開２０１２−３２３０５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２５

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

露光条件を切り替えて距離画像を取得可能な距離画像取得部と、
取得された前記距離画像において距離値を有する有効画素の数である有効画素数を算出する有効画素数算出部と、
前記距離画像の前記有効画素以外の無効画素を特定する無効画素特定部と、
計測対象物の前記距離画像の取得に使用される前記露光条件を設定する露光条件調整部とを備え、
該露光条件調整部が、
照明光の光量と露光時間との全ての組み合わせからなる複数の露光条件の中から、基準となる前記露光条件である基準露光条件を設定し、
該基準露光条件において取得された基準距離画像の前記有効画素数である基準有効画素数が第１閾値以下であるか否かを判定し、
前記基準有効画素数が前記第１閾値以下である場合に、前記照明光の光量と前記露光時間との全ての組み合わせからなる前記複数の露光条件の中から選択され、さらに、既に設定された前記露光条件とは異なる追加露光条件であって、該追加露光条件において取得された追加距離画像と前記基準距離画像との論理和である合計距離画像の前記有効画素数である合計有効画素数が最大となる追加露光条件を追加設定し、
前記合計有効画素数が前記第１閾値よりも大きくなるまで、前記合計距離画像を新たな前記基準距離画像として、前記追加露光条件の追加設定を繰り返す３次元撮影装置。

【請求項2】

前記露光条件調整部は、前記露光条件を切り替えて取得された複数の前記距離画像のうち、前記有効画素数が最も大きくなる前記露光条件を前記基準露光条件として設定する請求項１に記載の３次元撮影装置。

【請求項3】

前記露光条件調整部は、前記有効画素数が第２閾値よりも大きくなる前記露光条件を前記基準露光条件として設定する請求項１に記載の３次元撮影装置。

【請求項4】

前記距離画像取得部が、前記露光条件毎に、視差を有する２枚の２次元画像を取得し、該２次元画像間の一致度を画素毎に評価し、該一致度が所定の閾値よりも高い画素に距離値を与えることにより前記距離画像を取得する請求項１から請求項３のいずれかに記載の３次元撮影装置。

【請求項5】

前記基準有効画素数または前記合計有効画素数が前記第１閾値よりも大きくなった場合に、前記露光条件調整部により設定された全ての前記露光条件毎に取得された前記距離画像に基づいて合成距離画像を生成する距離画像合成部を備える請求項４に記載の３次元撮影装置。

【請求項6】

各前記距離画像において、前記有効画素となる画素については前記一致度を対応付けて記憶し、
前記距離画像合成部が、合成しようとする前記距離画像の前記有効画素が重複する場合には、前記一致度が高い方の距離値を前記合成距離画像の画素値として採用する請求項５に記載の３次元撮影装置。

【請求項7】

露光条件を切り替えて距離画像を取得可能であり、照明光の光量と露光時間との全ての組み合わせからなる複数の露光条件の各々において計測対象物の複数の距離画像を取得する距離画像取得部と、
各前記露光条件において取得された前記複数の距離画像の各々における前記計測対象物の位置を認識し、認識された複数の位置から前記複数の距離画像における前記計測対象物の位置のばらつきを前記露光条件毎に算出する位置精度算出部と、
前記計測対象物の前記距離画像の取得に使用される前記露光条件を設定する露光条件調整部とを備え、
該露光条件調整部が、
前記照明光の光量と前記露光時間との全ての組み合わせからなる前記複数の露光条件の中から、基準となる前記露光条件である基準露光条件を設定し、
該基準露光条件において取得された基準距離画像における前記計測対象物の位置のばらつきが閾値よりも大きいか否かを判定し、
前記ばらつきが前記閾値よりも大きい場合に、前記照明光の光量と前記露光時間との全ての組み合わせからなる前記複数の露光条件の中から選択され、さらに、既に設定された前記露光条件とは異なる追加の追加露光条件であって、該追加露光条件において取得された追加距離画像と前記基準距離画像とを合成して得られた複数の合成距離画像における前記計測対象物の位置のばらつきが最小となる追加露光条件を追加設定し、
前記合成距離画像の前記計測対象物の位置のばらつきが前記閾値以下になるまで、前記合成距離画像を新たな前記基準距離画像として、前記追加露光条件の追加設定を繰り返す３次元撮影装置。

【請求項8】

照明光の光量と露光時間との全ての組み合わせからなる複数の露光条件の中から、基準となる露光条件である基準露光条件を設定し、
該基準露光条件において取得された基準距離画像において距離値を有する有効画素の数である基準有効画素数を算出し、
該基準有効画素数が閾値以下であるか否かを判定し、
前記基準有効画素数が前記閾値以下である場合に、前記照明光の光量と前記露光時間との全ての組み合わせからなる前記複数の露光条件の中から選択され、さらに、既に設定された前記露光条件とは異なる追加露光条件であって、該追加露光条件において取得された追加距離画像と前記基準距離画像との論理和である合計距離画像の合計有効画素数が最も大きくなる追加露光条件を追加設定し、
該合計有効画素数が前記閾値よりも大きくなるまで、前記合計距離画像を新たな前記基準距離画像として、前記追加露光条件の追加設定を繰り返す３次元撮影条件調整方法。

【請求項9】

照明光の光量と露光時間との全ての組み合わせからなる複数の露光条件の各々において計測対象物の複数の距離画像を取得し、
各前記露光条件において取得された前記複数の距離画像の各々における前記計測対象物の位置を認識し、認識された複数の位置から前記複数の距離画像における前記計測対象物の位置のばらつきを前記露光条件毎に算出し、
前記照明光の光量と前記露光時間との全ての組み合わせからなる前記複数の露光条件の中から、基準となる露光条件である基準露光条件を設定し、
該基準露光条件において取得された複数の基準距離画像における前記計測対象物の位置のばらつきが閾値よりも大きいか否かを判定し、
前記ばらつきが前記閾値よりも大きい場合に、前記照明光の光量と前記露光時間との全ての組み合わせからなる前記複数の露光条件の中から選択され、さらに、既に設定された前記露光条件とは異なる追加の追加露光条件であって、該追加露光条件において取得された複数の追加距離画像と前記基準距離画像とを合成して得られた複数の合成距離画像における前記計測対象物の位置のばらつきが最小となる追加露光条件を追加設定し、
前記合成距離画像における前記計測対象物の位置のばらつきが前記閾値以下になるまで、前記合成距離画像を新たな前記基準距離画像とし、前記追加露光条件の追加設定を繰り返す３次元撮影条件調整方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元撮影装置および３次元撮影条件調整方法に関するものである。

【背景技術】

【0002】

複数の距離画像間で対応する画素の複数の距離値を合成した距離値を、合成距離画像の画素の距離とする距離画像生成装置が知られている（例えば、特許文献１参照。）。
距離画像生成装置の制御部は、撮像フレーム毎に変化させる撮影条件に合わせて、発光部および受光センサを制御して画像取得処理をする。撮影条件は、発光部の発光量、受光センサの露光時間などで構成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−１８１４８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

計測対象物を３次元カメラで計測する場合に、計測対象物の表面における反射光によるハレーション等により、距離を計算できない無効画素が発生する。このような無効画素の数を極力低減するためには、撮影条件を変化させて複数回撮影し、取得された複数の距離画像を合成することが行われる。

【0005】

しかしながら、無効画素を所望の割合以下に低減した距離画像を取得するための撮影条件の調整には多大な時間を要する。また、より多くの距離画像を合成することにより無効画素を十分に低減し得るが、必要のない距離画像を取得する可能性が高くなる。したがって、計測対象物の撮影にかかる時間を低減しつつ、無効画素を十分に低減した距離画像を取得することが望まれている。

【課題を解決するための手段】

【0006】

本開示の一態様は、露光条件を切り替えて距離画像を取得可能な距離画像取得部と、取得された前記距離画像において距離値を有する有効画素の数である有効画素数を算出する有効画素数算出部と、前記距離画像の前記有効画素以外の無効画素を特定する無効画素特定部と、計測対象物の前記距離画像の取得に使用される前記露光条件を設定する露光条件調整部とを備え、該露光条件調整部が、照明光の光量と露光時間との全ての組み合わせからなる複数の露光条件の中から、基準となる前記露光条件である基準露光条件を設定し、該基準露光条件において取得された基準距離画像の前記有効画素数である基準有効画素数が第１閾値以下であるか否かを判定し、前記基準有効画素数が前記第１閾値以下である場合に、前記照明光の光量と前記露光時間との全ての組み合わせからなる前記複数の露光条件の中から選択され、さらに、既に設定された前記露光条件とは異なる追加露光条件であって、該追加露光条件において取得された追加距離画像と前記基準距離画像との論理和である合計距離画像の前記有効画素数である合計有効画素数が最大となる追加露光条件を追加設定し、前記合計有効画素数が前記第１閾値よりも大きくなるまで、前記合計距離画像を新たな前記基準距離画像として、前記追加露光条件の追加設定を繰り返す３次元撮影装置である。

【図面の簡単な説明】

【0007】

【図1】本開示の第１実施形態に係る３次元撮影装置を示すブロック図である。

【図2】図１の３次元撮影装置における視差を説明する図である。

【図3】図１の３次元撮影装置における距離画像の生成を説明する図である。

【図4】図１の３次元撮影装置による３次元撮影条件調整方法を説明するフローチャートである。

【図5】図１の３次元撮影装置による３次元撮影条件調整方法を説明する図４のフローチャートに続くフローチャートである。

【図6】第２実施形態に係る３次元撮影装置を示すブロック図である。

【図7】図６の３次元撮影装置による３次元撮影条件調整方法を説明するフローチャートである。

【図8】図６の３次元撮影装置による３次元撮影条件調整方法を説明する図７のフローチャートに続くフローチャートである。

【発明を実施するための形態】

【0008】

本開示の第１実施形態に係る３次元撮影装置１および３次元撮影条件調整方法について、図面を参照して以下に説明する。
本実施形態に係る３次元撮影装置１は、図１に示されるように、距離画像を取得する距離画像取得部２と、距離画像取得部２に接続され、取得された距離画像に基づいて撮影条件を調整する撮影条件調整部３と、取得された距離画像を合成する距離画像合成部４とを備えている。

【0009】

距離画像取得部２は、３次元センサ５と画像処理部６とを備えている。
３次元センサ５は、光軸に交差する方向に間隔をあけて配置され、重複する視野範囲を備える２つの２次元カメラ７，８と、両２次元カメラ７，８の視野範囲に照明光を照射するプロジェクタ９とを備えている。
プロジェクタ９は計測対象物Ｏの表面にパターンを投影する。

【0010】

画像処理部６は、プロセッサおよびメモリにより構成され、３次元センサ５から出力された２枚の２次元画像Ｇ１，Ｇ２を処理して、各画素の距離値を算出することにより距離画像を生成する。
３次元センサ５の２つの２次元カメラ７，８は、図２に示されるように、画像Ｇ１，Ｇ２の縦方向をｘ、横方向をｙとして、ｘ位置を完全に一致させた相対位置に配置されている。２つの２次元カメラ７，８によって同一の計測対象物Ｏを撮影すると、画像Ｇ１，Ｇ２上において、計測対象物Ｏは、ｙ位置のみが視差ｄｙだけ異なる位置に配置される。

【0011】

これにより、３次元センサ５から計測対象物Ｏまでの距離が、視差ｄｙを用いて下式の通りに算出することができる。
距離＝２次元カメラ７，８の光軸のｙ方向間隔×焦点距離／視差ｄｙ

【0012】

画像処理部６においては、２つの２次元カメラ７，８によって同一の計測対象物Ｏを撮影することにより取得された２枚の２次元画像Ｇ１，Ｇ２が入力されてくると、これら２枚の２次元画像Ｇ１，Ｇ２間で対応領域の探索が行われる。
対応領域は、一方の２次元画像Ｇ１，Ｇ２内の小領域の画像をテンプレートとして、テンプレートと同じパターンの対応領域を他方の２次元画像Ｇ１，Ｇ２の探索領域から探索するテンプレートマッチングを用いて探索される。

【0013】

上述したように、２つの２次元画像Ｇ１，Ｇ２はｘ位置を完全に一致させた２つの２次元カメラ７，８によって取得されているので、探索領域は、図３に示されるように、テンプレートとなる小領域を含みｙ方向に延びる領域となる。
本実施形態においては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いて一致度の評価を行う。ＳＡＤは小領域と対応領域との誤差の絶対値の和である。したがって、探索領域中においてＳＡＤが最も小さい領域を対応領域として抽出することができる。

【0014】

ここでは、ＳＡＤの閾値を予め設定しておき、探索領域内においてＳＡＤが最小となり、かつ、ＳＡＤが閾値を下回る対応領域のみが距離値を有する対応領域として出力される。一方の２次元画像Ｇ１において設定する小領域を縦横に１画素ずつ移動させながら全画素を網羅することにより、画像全体の距離値が算出され、距離画像が生成される。

【0015】

撮影条件調整部３は、プロセッサおよびメモリにより構成されている。撮影条件調整部３は、画像処理部６において生成された距離画像において距離値を有する有効画素の数である有効画素数を算出する有効画素数算出部１０と、距離値を有しない無効画素を特定する無効画素特定部１１とを備えている。また、撮影条件調整部３は、計測対象物Ｏの撮影に使用される露光条件を設定する露光条件調整部１２と、設定された露光条件を記憶する露光条件記憶部１３とを備えている。

【0016】

露光条件調整部１２は、新規の露光条件を設定する旨の指令を外部から入力されることにより、図４および図５のフローチャートによって示される露光条件調整方法に従って、計測対象物Ｏの距離画像の取得に使用される露光条件を設定する。
最初に、基準となる露光条件である基準露光条件を設定する。

【0017】

基準露光条件の設定は、露光条件を切り替えて、各露光条件のもとで、３次元センサ５により距離画像を取得することにより行われる。露光条件としては、プロジェクタ９からの照明光の光量Ｉを複数段階に切り替えるとともに、２次元カメラ７，８の露光時間Ｅを複数段階に切り替えて、照明光の光量Ｉと露光時間Ｅとの全ての組み合わせからなる複数の露光条件を実現する。

【0018】

具体的には、露光条件調整部１２は、図４に示されるように、３次元センサ５のプロジェクタ９の光量Ｉを最小値Ｉ_０に設定し（ステップＳ１）、２次元カメラ７，８の露光時間Ｅを最小値Ｅ_０に設定する（ステップＳ２）。
設定された露光条件において、距離画像取得部２により距離画像が取得される（ステップＳ３）。

【0019】

距離画像取得部２において取得された距離画像は、露光条件調整部１２に送られる。露光条件調整部１２は、距離画像を有効画素数算出部１０に送る。有効画素数算出部１０においては、送られてきた距離画像が有効な距離値を有するか否かが画素毎に判定され、有効な距離値を有する有効画素の数である有効画素数が算出される（ステップＳ４）。

【0020】

距離画像および算出された有効画素数は露光条件に対応付けられて、露光条件調整部１２内に記憶される（ステップＳ５）。そして、露光条件調整部１２は、２次元カメラ７，８の露光時間Ｅが最大値であるか否かを判定し（ステップＳ６）、最大値ではない場合には、露光時間Ｅを１段階（例えば、ΔＥ＝＋１％）増大させて（ステップＳ７）、露光時間Ｅが最大値となるまで、ステップＳ３からの工程を繰り返す。

【0021】

ステップＳ６において、露光時間Ｅが最大値となった場合には、プロジェクタ９の光量Ｉが最大値であるか否かが判定され（ステップＳ８）、最大値ではない場合には、光量Ｉを１段階（例えば、ΔＩ＝＋１％）増大させて（ステップＳ９）、光量Ｉが最大値となるまで、ステップＳ２からの工程を繰り返す。
これにより、照明光の光量Ｉと露光時間Ｅとの全て組み合わせからなる複数の露光条件についての距離画像と有効画素数とが取得され、それぞれ露光時間Ｅに対応付けられて記憶される。

【0022】

全ての露光条件に対応する距離画像および有効画素数が取得された時点で、露光条件調整部１２は、記憶された露光条件の中で、対応する有効画素数が最も大きな露光条件を抽出し、基準露光条件として露光条件記憶部１３に記憶する（ステップＳ１０）。これにより基準露光条件が設定される。

【0023】

次に、基準露光条件において取得された距離画像である基準距離画像における有効画素数（基準有効画素数）Ｎｓが所定の閾値（第１閾値）Ｔｈ以下であるか否かが判定される（ステップＳ１１）。

【0024】

ステップＳ１１において基準有効画素数Ｎｓが閾値Ｔｈよりも大きい場合には、露光条件の調整処理が終了する。この場合、計測対象物Ｏの距離画像を取得する際に使用される露光条件は基準露光条件のみとなる。
ステップＳ１１において基準有効画素数Ｎｓが閾値Ｔｈ以下である場合には、追加の露光条件の設定が行われる。

【0025】

追加の露光条件の設定は、具体的には、図５に示されるように、合計有効画素数の初期値Ｎ_Ｔ０をゼロに設定し（ステップＳ１２）、既に設定された露光条件とは異なるいずれかの露光条件を選択する（ステップＳ１３）。そして、選択された露光条件において取得された距離画像と基準距離画像との論理和である合計距離画像を生成する（ステップＳ１４）。その後、生成された合計距離画像を有効画素数算出部１０に入力し、合計距離画像の有効画素数（合計有効画素数Ｎ_Ｔ）を算出させる（ステップＳ１５）。

【0026】

合計有効画素数Ｎ_Ｔが初期値Ｎ_Ｔ０よりも大きいか否かが判定され（ステップＳ１６）、合計有効画素数Ｎ_Ｔが初期値Ｎ_Ｔ０より大きい場合には、選択された露光条件が一時的に記憶され（ステップＳ１７）、合計有効画素数Ｎ_Ｔが新たな初期値Ｎ_Ｔ０に置き換えられる（ステップＳ１８）。そして、全ての露光条件が終了したか否かが判定され（ステップＳ１９）、終了していない場合には、ステップＳ１３からの工程が繰り返される。

【0027】

ステップＳ１６において、合計有効画素数Ｎ_Ｔが初期値Ｎ_Ｔ０以下である場合には、ステップＳ１９からの工程が実行される。そして、ステップＳ１９において全ての露光条件が終了したと判定された場合には、最終的に記憶されていた露光条件が追加露光条件として露光条件記憶部１３に記憶（追加設定）される（ステップＳ２０）。
このとき、追加露光条件において取得された追加距離画像と基準距離画像との論理和である合計距離画像の合計有効画素数Ｎ_Ｔが最も大きくなる。

【0028】

さらに、合計有効画素数Ｎ_Ｔが閾値Ｔｈ以下であるか否かが判定され（ステップＳ２１）、合計有効画素数Ｎ_Ｔが閾値Ｔｈ以下である場合には、合計距離画像が新たな基準距離画像に置き換えられて（ステップＳ２２）、ステップＳ１２からの工程が繰り返される。

【0029】

そして、ステップＳ２１において、合計有効画素数Ｎ_Ｔが閾値Ｔｈよりも大きい場合には、露光条件の調整処理が終了し、露光条件記憶部１３に記憶された基準露光条件を含む２以上の露光条件が、計測対象物Ｏの距離画像を取得する際に使用される露光条件となる。

【0030】

露光条件が設定された後には、実際の計測対象物Ｏの距離画像の取得の指令が入力されると、３次元撮影装置１は、設定された１以上の露光条件において距離画像を取得し、取得された距離画像を距離画像合成部４において合成する。これにより、基準露光条件のみでは距離値を取得できなかった画素を含め、より多くの有効画素を有する合成距離画像を出力することができる。

【0031】

このように、本実施形態に係る３次元撮影装置１および撮影条件調整方法によれば、計測対象物Ｏの距離画像を取得する前に、使用する露光条件を設定することができ、その後の計測対象物Ｏの距離画像を短時間で取得することができる。すなわち、従来、計測対象物Ｏの距離画像を、露光時間Ｅを網羅的に切り替えながら計測対象物Ｏの距離画像を取得していたのと比較して、計測に要する時間を大幅に短縮することができるという利点がある。

【0032】

なお、本実施形態においては、基準露光条件として、有効画素数Ｎｓが最も大きくなる露光条件を選択したが、これに限定されるものではない。例えば、露光条件を切り替えながら、有効画素数Ｎｓが第２閾値を超えた任意の露光条件を基準露光条件として設定してもよい。第２閾値を適当に設定しておくことにより、全ての露光条件について有効画素数を検出することなく、短時間で基準露光条件を設定することができる。

【0033】

また、有効画素であるか否かを判定する際に、有効画素である場合には、その画素のＳＡＤ値を対応付けて記憶しておいてもよい。そして、距離画像合成部４における合成距離画像の生成に際して、合成しようとする距離画像の有効画素が重複する場合には、より小さいＳＡＤ値を有する距離値、すなわち、一致度が高い方の距離値を合成距離画像の画素値として採用することにしてもよい。これにより、より信頼性の高い距離値を有する合成距離画像を取得することができる。

【0034】

次に、第２実施形態に係る３次元撮影装置２１について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第１実施形態に係る３次元撮影装置１と構成を共通とする箇所には同一符号を付して説明を省略する。

【0035】

本実施形態に係る３次元撮影装置２１は、図６に示されるように、距離画像取得部２と、撮影条件調整部２２と、距離画像合成部４とを備えている。

【0036】

距離画像取得部２および距離画像合成部４は第１実施形態と同様である。
撮影条件調整部２２は、プロセッサおよびメモリにより構成されている。
撮影条件調整部２２は、露光条件調整部１２と、露光条件記憶部１３と、各露光条件において取得された複数の距離画像における、距離画像から画像処理にて計測対象物Ｏの位置を認識した際の計測対象物Ｏの位置のばらつきを露光条件毎に算出する位置精度算出部２３とを備えている。

【0037】

露光条件調整部１２は、新規の露光条件を設定する旨の指令を外部から入力されることにより、図７および図８のフローチャートによって示される露光条件調整方法に従って、計測対象物Ｏの距離画像の取得に使用される露光条件を設定する。
最初に、基準となる露光条件である基準露光条件を設定する。

【0038】

基準露光条件の設定は、露光条件を切り替えて、各露光条件のもとで、３次元センサ５により距離画像を取得することにより行われる。露光条件としては、プロジェクタ９からの照明光の光量Ｉを複数段階に切り替えるとともに、２次元カメラ７，８の露光時間を複数段階に切り替えて、照明光の光量Ｉと露光時間Ｅとの全ての組み合わせからなる複数の露光条件を実現する。

【0039】

具体的には、露光条件調整部１２は、図７に示されるように、３次元センサ５のプロジェクタ９の光量Ｉを最小値Ｉ_０に設定し（ステップＳＡ１）、２次元カメラ７，８の露光時間Ｅを最小値Ｅ_０に設定する（ステップＳＡ２）。また、撮影回数Ｎが初期化される（ステップＳＡ３）。
設定された露光条件において、距離画像取得部２により距離画像が取得される（ステップＳＡ４）。

【0040】

取得された距離画像は位置精度算出部２３に送られて記憶される（ステップＳＡ５）。
撮影回数Ｎが所定値である所定回数Ｎａに達したか否かが判定され（ステップＳＡ６）、所定回数Ｎａに達していない場合には、撮影回数Ｎが１回インクリメントされ（ステップＳＡ７）、ステップＳＡ４からの工程が繰り返される。

【0041】

位置精度算出部２３は、所定回数Ｎａの撮影によるＮａ個の距離画像が送られてきた場合には、これらの距離画像に基づいて距離のばらつき（繰り返し認識精度）を算出する（ステップＳＡ８）。
距離のばらつきは、例えば、以下の通りに算出する。
例えば、予め計測対象物Ｏの形状をモデルとして登録しておき、距離画像取得部２によって取得した距離画像に対してパターンマッチングを行ってモデルと同じ形状を探索する。探索した結果、認識された計測対象物Ｏの画像上での位置を一時的に記憶する。Ｎａ回の撮像、探索および位置の記憶を繰り返す。そして、記憶したＮａ個の位置からばらつきを算出する。好ましくは、計測対象物Ｏの位置（X，Y，R）のそれぞれの成分ごとに標準偏差を計算し、ばらつきの評価を行う。

【0042】

算出された距離のばらつきは露光条件に対応付けられて、露光条件調整部１２内に記憶される（ステップＳＡ９）。そして、露光条件調整部１２は、２次元カメラ７，８の露光時間Ｅが最大値であるか否かを判定し（ステップＳＡ１０）、最大値ではない場合には、露光時間Ｅを１段階（例えば、ΔＥ＝＋１％）増大させて（ステップＳＡ１１）、露光時間Ｅが最大値となるまで、ステップＳＡ３からの工程を繰り返す。

【0043】

ステップＳＡ７において、露光時間Ｅが最大値となった場合には、プロジェクタ９の光量Ｉが最大値であるか否かが判定され（ステップＳＡ１２）、最大値ではない場合には、光量Ｉを１段階（例えば、ΔＩ＝＋１％）増大させて（ステップＳＡ１３）、光量Ｉが最大値となるまで、ステップＳＡ２からの工程を繰り返す。
これにより、照明光の光量Ｉと露光時間Ｅとの全て組み合わせからなる複数の露光条件についての距離画像の距離のばらつきが算出され、それぞれ露光時間Ｅに対応付けられて記憶される。

【0044】

全ての露光条件に対応する距離画像および距離のばらつきが取得された時点で、露光条件調整部１２は、記憶された露光条件の中で、対応するばらつきが最も小さな露光条件を抽出し、基準露光条件として露光条件記憶部１３に記憶する（ステップＳＡ１４）。これにより基準露光条件が設定される。

【0045】

次に、基準露光条件において取得された距離画像である基準距離画像におけるばらつきである基準ばらつきＢｓが所定の閾値Ｔｈ以下であるか否かが判定される（ステップＳＡ１５）。

【0046】

ステップＳＡ１２において基準ばらつきＢｓが閾値Ｔｈ以下である場合には、露光条件の調整処理が終了する。この場合、計測対象物Ｏの距離画像を取得する際に使用される露光条件は基準露光条件のみとなる。
ステップＳＡ１２において基準ばらつきＢｓが閾値Ｔｈよりも大きい場合には、追加の露光条件の設定が行われる。

【0047】

追加の露光条件の設定は、具体的には、図８に示されるように、ばらつきの初期値Ｂ_Ｔ０を任意の値（例えば、ばらつきの範囲ではありえないような大きな値）Ｍに設定し（ステップＳＡ１６）、既に設定された露光条件とは異なるいずれかの露光条件を選択する（ステップＳＡ１７）。そして、選択された露光条件において取得された距離画像と基準距離画像とを合成して合成距離画像を生成する（ステップＳＡ１８）。その後、生成された合成距離画像を位置精度算出部２３に入力し、合成距離画像のばらつきである合成ばらつきＢ_Ｔを算出させる（ステップＳＡ１９）。

【0048】

合成ばらつきＢ_Ｔが初期値Ｂ_Ｔ０以下であるか否かが判定され（ステップＳＡ２０）、合成ばらつきＢ_Ｔが初期値Ｂ_Ｔ０以下である場合には、選択された露光条件が一時的に記憶され（ステップＳＡ２１）、合成ばらつきＢ_Ｔが新たな初期値Ｂ_Ｔ０として置き換えられる（ステップＳＡ２２）。そして、全ての露光条件が終了したか否かが判定され（ステップＳＡ２３）、終了していない場合には、ステップＳＡ１７からの工程が繰り返される。

【0049】

ステップＳＡ２０において、合成ばらつきＢ_Ｔが初期値Ｂ_Ｔ０よりも大きい場合には、ステップＳＡ２３からの工程が実行される。そして、ステップＳＡ２３において全ての露光条件が終了したと判定された場合には、最終的に記憶されていた露光条件が追加露光条件として露光条件記憶部１３に記憶（追加設定）される（ステップＳＡ２４）。

【0050】

さらに、合成ばらつきＢ_Ｔが閾値Ｔｈ以下であるか否かが判定され（ステップＳＡ２５）、合成ばらつきＢ_Ｔが閾値Ｔｈ以下である場合には、合成距離画像が新たな基準距離画像に置き換えられて（ステップＳＡ２６）、ステップＳＡ１６からの工程が繰り返される。

【0051】

そして、ステップＳＡ２５において、合成ばらつきＢ_Ｔが閾値Ｔｈよりも大きい場合には、露光条件の調整処理が終了し、露光条件記憶部１３に記憶された基準露光条件を含む２以上の露光条件が、計測対象物Ｏの距離画像を取得する際に使用される露光条件となる。

【0052】

本実施形態に係る３次元撮影装置２１および撮影条件調整方法によっても、計測対象物Ｏの距離画像を取得する前に、使用する露光条件を設定することができ、その後の計測対象物Ｏの距離画像を短時間で取得することができる。すなわち、従来、計測対象物Ｏの距離画像を、露光時間Ｅを網羅的に切り替えながら計測対象物Ｏの距離画像を取得していたのと比較して、計測に要する時間を大幅に短縮することができるという利点がある。

【0053】

また、計測対象物Ｏの位置のばらつきの小さい距離画像を取得可能な露光条件を選択しているので、見つけたいもの、すなわち、計測対象物Ｏの距離を精度よく測定した距離画像を得ることができる。

【0054】

なお、本実施形態においては、基準露光条件として、計測対象物Ｏの位置のばらつきが最も小さくなる露光条件を選択したが、これに限定されるものではない。例えば、露光条件を切り替えながら、ばらつきが所定の閾値未満の任意の露光条件を基準露光条件として設定してもよい。閾値を適当に設定しておくことにより、全ての露光条件についてばらつきを検出することなく、短時間で基準露光条件を設定することができる。

【0055】

また、距離画像を生成する際に、各画素のＳＡＤ値を画素毎に記憶しておいてもよい。そして、距離画像合成部４における合成距離画像の生成に際して、合成しようとする距離画像の有効画素が重複する場合には、より小さいＳＡＤ値を有する距離値、すなわち、一致度が高い方の距離値を合成距離画像の画素値として採用することにしてもよい。これにより、より信頼性の高い距離値を有する合成距離画像を取得することができる。

【符号の説明】

【0056】

１，２１ ３次元撮影装置
２ 距離画像取得部
４ 距離画像合成部
１０ 有効画素数算出部
１１ 無効画素特定部
１２ 露光条件調整部
２３ 位置精度算出部
Ｂｓ 基準ばらつき
Ｂ_Ｔ 合成ばらつき
Ｇ１，Ｇ２ ２次元画像
Ｎｓ 有効画素数（基準有効画素数）
Ｎ_Ｔ 合計有効画素数
Ｏ 計測対象物
Ｔｈ 閾値（第１閾値）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】