特許第6881622号(P6881622)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーグループ株式会社の特許一覧
<>
  • 特許6881622-3次元形状の測定方法 図000002
  • 特許6881622-3次元形状の測定方法 図000003
  • 特許6881622-3次元形状の測定方法 図000004
  • 特許6881622-3次元形状の測定方法 図000005
  • 特許6881622-3次元形状の測定方法 図000006
  • 特許6881622-3次元形状の測定方法 図000007
  • 特許6881622-3次元形状の測定方法 図000008
  • 特許6881622-3次元形状の測定方法 図000009
  • 特許6881622-3次元形状の測定方法 図000010
  • 特許6881622-3次元形状の測定方法 図000011
  • 特許6881622-3次元形状の測定方法 図000012
  • 特許6881622-3次元形状の測定方法 図000013
  • 特許6881622-3次元形状の測定方法 図000014
  • 特許6881622-3次元形状の測定方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6881622
(24)【登録日】2021年5月10日
(45)【発行日】2021年6月2日
(54)【発明の名称】3次元形状の測定方法
(51)【国際特許分類】
   G01B 11/25 20060101AFI20210524BHJP
   G01B 11/245 20060101ALI20210524BHJP
【FI】
   G01B11/25 H
   G01B11/245 H
【請求項の数】2
【全頁数】27
(21)【出願番号】特願2020-5815(P2020-5815)
(22)【出願日】2020年1月17日
(62)【分割の表示】特願2016-564703(P2016-564703)の分割
【原出願日】2015年9月4日
(65)【公開番号】特開2020-60599(P2020-60599A)
(43)【公開日】2020年4月16日
【審査請求日】2020年1月28日
(31)【優先権主張番号】特願2014-252603(P2014-252603)
(32)【優先日】2014年12月15日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】特許業務法人つばさ国際特許事務所
(74)【代理人】
【識別番号】100094363
【弁理士】
【氏名又は名称】山本 孝久
(74)【代理人】
【識別番号】100118290
【弁理士】
【氏名又は名称】吉井 正明
(72)【発明者】
【氏名】浜口 雄一
(72)【発明者】
【氏名】大森 士郎
(72)【発明者】
【氏名】沼田 肇
(72)【発明者】
【氏名】平間 正秀
(72)【発明者】
【氏名】小田 康正
【審査官】 九鬼 一慶
(56)【参考文献】
【文献】 特開2002−213931(JP,A)
【文献】 特開2011−085539(JP,A)
【文献】 米国特許出願公開第2003/0112447(US,A1)
【文献】 特開2012−080065(JP,A)
【文献】 特開2008−197048(JP,A)
【文献】 特開平09−042940(JP,A)
【文献】 特開2012−242281(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00−11/30
(57)【特許請求の範囲】
【請求項1】
偏光された参照光パターンを出射する光源、
1台の撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
撮像装置は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第1偏光子、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有し、第1偏光子と交互に配列された第2偏光子を備えた撮像装置組立体を用いた3次元形状の測定方法であって、
参照光パターンを被写体に照射して、第1偏光子を通過した偏光光に基づき得られた第1画像信号を制御装置に出力し、第2偏光子を通過した偏光光に基づき得られた第2画像信号を制御装置に出力し、第1画像信号と第2画像信号との差分を制御装置によって生成する参照光パターン照射処理を行い、
所望の頻度で、参照光パターンを被写体に照射しないで、第1偏光子を通過した偏光光に基づき得られた第1画像信号を制御装置に出力し、第2偏光子を通過した偏光光に基づき得られた第2画像信号を制御装置に出力し、第1画像信号と第2画像信号との差分を制御装置によって生成する参照光パターン非照射処理を行い、
制御装置において、参照光パターン照射処理において得られた第1画像信号と第2画像信号との差分から参照光パターン非照射処理において得られた第1画像信号と第2画像信号との差分を減算して、参照光パターン画像信号を生成する3次元形状の測定方法。
【請求項2】
偏光された参照光パターンを出射する光源、
第1の撮像装置及び第2の撮像装置、並びに、
光源、第1の撮像装置及び第2の撮像装置を制御する制御装置、
を備えており、
各撮像装置は、偏光子を備えており、
偏光子は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第1偏光子、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有し、第1偏光子と交互に配列された第2偏光子を備えた撮像装置組立体を用いた3次元形状の測定方法であって、
参照光パターンを被写体に照射して、第1の撮像装置において、第1偏光子を通過した偏光光に基づき得られた第1画像信号−Aを制御装置に出力し、第2の撮像装置において、第1偏光子を通過した偏光光に基づき得られた第2画像信号−Aを制御装置に出力する参照光パターン照射処理を行い、
所望の頻度で、参照光パターンを被写体に照射しないで、第1の撮像装置において、第1偏光子を通過した偏光光に基づき得られた第1画像信号−Bを制御装置に出力し、第2の撮像装置において、第2偏光子を通過した偏光光に基づき得られた第2画像信号−Bを制御装置に出力する参照光非パターン照射処理を行い、
制御装置において、第1画像信号−Aと第2画像信号−Aとの差分、及び、第1画像信号−Bと第2画像信号−Bとの差分から参照光パターン画像信号を生成する3次元形状の測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置組立体、3次元形状測定装置及び動き検出装置に関する。
【背景技術】
【0002】
被写体までの距離を計測したり、被写体の3次元形状を非接触で計測する方法として、2つの撮像装置を並置して三角測量の原理で計測を行うステレオ法や、1つの光源と1つの撮像装置とを並置して計測を行うアクティブステレオ法が周知である(後者として、例えば、特開2007−183181参照)。アクティブステレオ法においては、具体的には、例えばレーザ装置から成る光源から赤外線に基づく参照光パターンを出射し、参照光パターンを被写体に照射する。参照光パターンとして、例えば、ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを挙げることができる。そして、参照光パターンで照射されている被写体を撮像装置で撮像する。ここで、図14Aに概念図を示すように、光源と撮像装置との間の距離(基線の長さ)をL、被写体を照射する出射光(光ビーム)と基線との成す角度をα、出射光が衝突する被写体の部分と撮像装置を結ぶ直線と基線との成す角度をβとし、光源が座標系の原点(0,0)に配置され、光ビームが衝突する被写体の部分の座標を(x,y)としたとき、(x,y)は以下の式(A)で表される。また、ステレオ法は、2つの撮像装置を使用し、アクティブステレオ法における光源を一方の撮像装置で置き換えた方法であるが、図14Bに概念図を示すように、光源を、別途、配置した構成を有する方法も考えられる。
【0003】
x=L・tan(β)/{tan(α)+tan(β)}
y=L・tan(β)・tan(α)/{tan(α)+tan(β)} (A)
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−183181
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、アクティブステレオ法や参照光パターンを用いたステレオ法においては、被写体に照射されている参照光パターンを撮像装置によって画像データとして得なければならない。然るに、環境光(太陽光や屋内の照明等)の影響によって、被写体に照射されている参照光パターンの画像データを得難いといった問題が屡々発生する。撮像装置の感度を増加させても、環境光に対する撮像装置の感度も増加するため、抜本的な解決にはならない。フィルターを用いて、光源から出射される光の波長と同じ波長を有する光を環境光から除去する方法も考えられるが、フィルターの帯域に限界があり、このような光を環境光からを高効率に除去することは困難である。光源の輝度を増加を増加させる手法では、光源における消費電力の増加や、場合によっては、参照光パターンが視認されてしまうといった問題がある。
【0006】
従って、本開示の目的は、アクティブステレオ法や参照光パターンを用いたステレオ法において環境光に左右されずに、被写体に照射されている参照光パターンを撮像装置によって画像データとして確実に得ることを可能とする撮像装置組立体、並びに、係る撮像装置組立体を用いた3次元形状測定装置及び動き検出装置を提供することにある。
【課題を解決するための手段】
【0007】
上記の目的を達成するための本開示の第1の態様に係る撮像装置組立体は、
参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
制御装置の制御下、光源は、参照光パターンを高輝度及び低輝度のそれぞれで被写体に向けて出射し、
撮像装置は、高輝度照射状態において参照光パターン及び被写体を撮像して第1画像信号を制御装置に出力し、低輝度照射状態において少なくとも被写体を撮像して第2画像信号を制御装置に出力し、
制御装置は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。
【0008】
上記の目的を達成するための本開示の第2の態様に係る撮像装置組立体は、
偏光された参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
撮像装置は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第1偏光子、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有する第2偏光子を備えており、
撮像装置は、第1偏光子を通過した偏光光に基づき得られた第1画像信号を制御装置に出力し、第2偏光子を通過した偏光光に基づき得られた第2画像信号を制御装置に出力し、
制御装置は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。
【0009】
上記の目的を達成するための本開示の3次元形状測定装置は、本開示の第1の態様〜第2の態様に係る撮像装置組立体を備えている。
【0010】
上記の目的を達成するための本開示の動き検出装置は、本開示の第1の態様〜第2の態様に係る撮像装置組立体を備えている。
【発明の効果】
【0011】
本開示の第1の態様〜第2の態様に係る撮像装置組立体、あるいは又、本開示の第1の態様〜第2の態様に係る撮像装置組立体を備えた本開示の3次元形状測定装置、動き検出装置にあっては、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成するので、参照光パターン画像信号から環境光の影響を除去することができる。尚、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また、付加的な効果があってもよい。
【図面の簡単な説明】
【0012】
図1図1Aは、実施例1の撮像装置組立体(本開示の第1の態様に係る撮像装置組立体)の概念図であり、図1Bは、実施例2の撮像装置組立体の概念図である。
図2図2A及び図2Bは、それぞれ、実施例1の撮像装置組立体において、第1画像信号を取得する状態及び第2画像信号を取得する状態を模式的に示す図である。
図3図3A及び図3Bは、それぞれ、実施例2の撮像装置組立体において、第1画像信号を取得する状態及び第2画像信号を取得する状態を模式的に示す図である。
図4図4Aは、実施例4の撮像装置組立体(本開示の第2の態様に係る撮像装置組立体)の概念図であり、図4Bは、実施例5の撮像装置組立体の概念図である。
図5図5A及び図5Bは、それぞれ、実施例4の撮像装置組立体において、第1画像信号を取得する状態及び第2画像信号を取得する状態を模式的に示す図である。
図6図6A及び図6Bは、それぞれ、実施例5の撮像装置組立体において、第1画像信号を取得する状態及び第2画像信号を取得する状態を模式的に示す図である。
図7図7は、実施例6の撮像装置組立体の概念図であり、また、第1画像信号を取得する状態及び第2画像信号を取得する状態を模式的に示す図である。
図8図8A並びに図8Bは、それぞれ、実施例4の撮像装置組立体を構成する撮像装置の概念図、並びに、第1の偏光子及び第2の偏光子による偏光の状態を模式的に示す図である。
図9図9A及び図9Bは、それぞれ、実施例4の撮像装置組立体を構成する撮像装置における撮像素子の模式的な一部断面図、及び、ワイヤグリッド偏光子の配列状態を模式的に示す図である。
図10図10は、実施例4の撮像装置組立体を構成する撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図である。
図11図11A図11B及び図11Cは、1撮像フレーム当たりの撮像時間T1,T2を模式的に示す図である。
図12図12A及び図12Bは、1撮像フレーム当たりの撮像時間T1,T2を模式的に示す図である。
図13図13A及び図13Bは、1撮像フレーム当たりの撮像時間T1,T2を模式的に示す図である。
図14図14A及び図14Bは、それぞれ、アクティブステレオ法及びステレオ法を説明するための撮像装置等の配置を示す概念図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、実施例に基づき本開示を説明するが、本開示は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
1.本開示の第1の態様〜第2の態様に係る撮像装置組立体、本開示の3次元形状測定装置、本開示の動き検出装置全般に関する説明
2.実施例1(本開示の第1の態様に係る撮像装置組立体)
3.実施例2(実施例1の変形)
4.実施例3(実施例1〜実施例2の変形)
5.実施例4(本開示の第2の態様に係る撮像装置組立体)
6.実施例5(実施例4の変形)
7.実施例6(実施例4の別の変形)
8.その他
【0014】
〈本開示の第1の態様〜第2の態様に係る撮像装置組立体、本開示の3次元形状測定装置、本開示の動き検出装置全般に関する説明〉
本開示の第1の態様〜第2の態様に係る撮像装置組立体、あるいは又、本開示の3次元形状測定装置、本開示の動き検出装置に備えられた本開示の第1の態様〜第2の態様に係る撮像装置組立体を、総称して、『本開示の撮像装置組立体等』と呼ぶ場合があるし、本開示の第1の態様に係る撮像装置組立体、あるいは又、本開示の3次元形状測定装置、本開示の動き検出装置に備えられた本開示の第1の態様に係る撮像装置組立体を、総称して、『本開示の第1の態様に係る撮像装置組立体等』と呼ぶ場合があるし、本開示の第2の態様に係る撮像装置組立体、あるいは又、本開示の3次元形状測定装置、本開示の動き検出装置に備えられた本開示の第2の態様に係る撮像装置組立体を、総称して、『本開示の第2の態様に係る撮像装置組立体等』と呼ぶ場合がある。
【0015】
本開示の撮像装置組立体等において、制御装置はフレームメモリを備えており、第1画像信号及び第2画像信号のいずれか一方をフレームメモリに記憶する形態とすることができる。フレームメモリとして、周知の構成、構造のフレームメモリを用いることができる。但し、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成するために、フレームメモリといったハードウエアを用いることは必須ではなく、第1画像信号と第2画像信号との差分をソフトウエアに基づく計算によって算出してもよい。
【0016】
上記の好ましい形態を含む本開示の第1の態様に係る撮像装置組立体等にあっては、高輝度照射状態において参照光パターン及び被写体を撮像するときの撮像時間をT1、低輝度照射状態において少なくとも被写体を撮像するときの撮像時間をT2としたとき、
1>T2
を満足する構成とすることができる。撮像装置組立体の使用者からの指示に基づき、撮像時間T1,T2を可変とすることもできるし、T1/T2の割合を可変とすることもできる。
【0017】
あるいは又、上記の好ましい形態を含む本開示の第1の態様に係る撮像装置組立体等において、
1撮像フレームは複数の期間に分割されており、
その内の1つの期間は低輝度照射状態とされ、
残りの期間は高輝度照射状態とされる構成とすることができる。そして、この場合、限定するものではないが、
撮像フレームレートは30フレーム/秒であり、
1撮像フレームは、2以上の期間(例えば、2乃至4)に分割されている構成とすることができる。
【0018】
尚、本明細書において、『1撮像フレーム』とは、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成するための1つの撮像フレームを意味する。動画像を得るための1秒当たり画像の枚数を意味するものではない。本開示の第2の態様に係る撮像装置組立体等においても同様である。
【0019】
あるいは又、上記の好ましい形態を含む本開示の第1の態様に係る撮像装置組立体等において、高輝度照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い構成とすることができる。
【0020】
更には、以上に説明した各種の好ましい形態、構成を含む本開示の第1の態様に係る撮像装置組立体等において、
撮像装置は、第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子を有し、
撮像装置は、ローリングシャッター機構を有し、
制御装置は、高輝度照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第1画像信号を制御装置に出力し、低輝度照射状態において全ての撮像素子が少なくとも被写体を撮像して第2画像信号を制御装置に出力ように、光源及び撮像装置を制御する形態とすることができる。
【0021】
更には、これらの好ましい形態、構成を含む本開示の第1の態様に係る撮像装置組立体等にあっては、高輝度出射状態において光源は動作状態(即ち、参照光パターンを出射している状態)とされ、低輝度出射状態において光源は不動作状態(即ち、参照光パターンを出射していない状態)とされる形態とすることができる。光源から出射される参照光パターンの輝度(光源の発する光の光量)は、各種の試験を行い、適宜、決定すればよい。あるいは又、使用者が、例えば、屋外モード/屋内モードの切り替えを行うことで、光源から出射される参照光パターンの輝度(光源の発する光の光量)を、切り替え、あるいは、変化させてもよい。尚、低輝度出射状態において、光源を動作状態(即ち、参照光パターンを出射している状態)としても、高輝度出射状態/低輝度出射状態を適切に選択すれば、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。
【0022】
更には、以上に説明した各種の好ましい形態、構成を含む本開示の第1の態様に係る撮像装置組立体等において、撮像装置を1つ備えている形態とすることができるし、あるいは又、撮像装置はステレオ撮像装置から構成されている形態とすることができる。また、以上に説明した各種の好ましい形態、構成を含む本開示の第2の態様に係る撮像装置組立体等において、撮像装置を1つ備えており、撮像装置は第1偏光子及び第2偏光子を備えている形態とすることができるし、あるいは又、撮像装置を2つ備えており、一方の撮像装置は第1偏光子を備えており、他方の撮像装置は第2偏光子を備えている形態、あるいは、偏光子を備えていない形態とすることができる。
【0023】
以上に説明した各種の好ましい形態、構成を含む本開示の3次元形状測定装置は、演算装置を更に備えており、演算装置は、参照光パターン画像信号から被写体の3次元形状を算出する形態とすることができる。
【0024】
また、以上に説明した各種の好ましい形態、構成を含む本開示の動き検出装置は、演算装置を更に備えており、演算装置は、参照光パターン信号から被写体の3次元形状を算出し、算出した3次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する形態とすることができる。
【0025】
以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置組立体等において、光源は、例えば、波長780nm乃至980nmを有する赤外線を出射する光源であることが好ましいが、これに限定するものではない。光源は、例えば、半導体レーザ素子、発光ダイオード(LED)やスーパールミネッセントダイオード(SLD)等の半導体発光素子から構成することができる。光源は、光源を構成する発光素子の形態に依存して、照射中、連続駆動されてもよいし、パルス駆動されてもよい。パルス駆動される場合のデューティー比は、適宜、決定すればよい。
【0026】
参照光パターンとして、ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを例示することができるが、これらに限定するものではなく、本質的に任意のパターンとすることができる。ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを得るためには、例えば、光源の光出射側に回折格子等を配置すればよいし、また、MEMSミラーによってパターンを生成することもできる。あるいは又、濃度傾斜パターン、市松格子パターン、円錐形状パターン等を採用することもできる。偏光された参照光パターンを得るためには、光源の光出射側に偏光子を配置すればよいし、光源から出射される光それ自体が偏光している場合には、光源の光出射側に偏光子を配置しなくともよい。尚、一般に、振動方向が或る特定の向きだけの光は「偏光光」と呼ばれ、この振動している方向は「偏光方向」あるいは「偏光軸」と呼ばれる。
【0027】
本開示の撮像装置組立体等において、撮像装置として、CCD(Charge Coupled Device:電荷結合素子)型の撮像素子やCMOS(Complementary Metal Oxide Semiconductor::相補性金属酸化膜半導体)型の撮像素子、CMD(Charge Modulation Device)型の信号増幅型撮像素子、CIS(Contact Image Sensor)といった撮像素子(イメージセンサー)を備えた周知の撮像装置を例示することができる。撮像装置は、被写体を撮像するために適した撮像素子及び参照光パターンを撮像するために適した撮像素子を備えていればよく、例えば、赤色を検出する撮像素子、緑色を検出する撮像素子、青色を検出する撮像素子、及び、赤外線を検出する撮像素子の組合せから構成することができる。撮像装置それ自体は周知の構成、構造とすることができる。また、撮像装置として、表面照射型の固体撮像装置あるいは裏面照射型の固体撮像装置を挙げることができるし、例えば、デジタルスチルカメラやビデオカメラ、カムコーダから撮像装置を構成することができる。撮像装置は、上記の波長を有する光を信号に換え得る撮像素子(具体的には、例えば、赤外線を受光する撮像素子)を備えていればよい。尚、赤外線を受光する撮像素子以外にも、赤色を受光する撮像素子、緑色受光する撮像素子、青色受光する撮像素子等を更に備えていてもよい。参照光パターンを照射した被写体の3次元形状の測定や動きの検出には、最低限、参照光パターンの波長(例えば、赤外線)で撮像できればよい。但し、赤外線を受光する撮像素子以外に、赤色を受光する撮像素子、緑色受光する撮像素子、青色受光する撮像素子等を更に備えることで、より測定や検出の精度を上げることができるし、3次元形状測定や動き検出と同時に被写体の撮影を行うことが可能となる。
【0028】
本開示の第1の態様に係る撮像装置組立体等において、1つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等を前述したアクティブステレオ法に基づき算出する構成とすることができる。また、2つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をステレオ法に基づき算出する構成とすることができる。本開示の第2の態様に係る撮像装置組立体等において、1つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をアクティブステレオ法に基づき算出する構成とすることができる。また、2つの撮像装置が備えられており、2つの撮像装置のそれぞれが第1偏光子及び第2偏光子を備えている形態にあっては、一方の撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をアクティブステレオ法あるいはステレオ法に基づき算出する構成とすることができるし、2つの撮像装置が備えられており、一方の撮像装置は第1偏光子を備え、他方の撮像装置は第2偏光子を備えている形態にあっては、一方の撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をステレオ法に基づき算出する構成とすることができる。本開示の第1の態様あるいは第2の態様に係る撮像装置組立体にあっては、所謂シャッター機構として、グローバルシャッター機構、ローリングシャッター機構のいずれも用いることができる。
【0029】
本開示の撮像装置組立体等の好ましい形態において、前述したとおり、撮像時間T1,T2は、
1>T2
を満足することが好ましく、これによって、光源から出射される参照光パターンの輝度(光源の発する光の光量)の低減を図ることができる。但し、これに限定するものではなく、例えば、
1/T2=1
とすることもできる。撮像時間T1,T2は、撮像装置の仕様等に基づき決定すればよい。
【0030】
撮像装置は、光源から出射される光の波長と同じ波長を有する光を通過させるフィルターを備えていてもよい。所定の波長(例えば約850nmの波長)の参照光パターンを被写体に照射し、照射された被写体の3次元形状の測定や動きを検出する場合、撮像装置は、最低限、所定の波長成分(参照光パターンの有する波長成分)だけを撮像できれば充分である。従って、撮像装置の光入射側に所望の特性を有する波長選択用のフィルター、例えば、850nm付近の波長の光のみを透過させるバンドパスフィルターを配置してもよい。このようにすることで、環境光の内、850nm以外の波長成分の影響を出来るだけ無くすことができ、環境光に一層影響を受けない3次元形状測定装置や動き検出装置を実現することができる。尚、波長選択用のフィルターの特性は、バンドパスフィルターに限定されるものではなく、環境光の波長プロファイルや撮像装置の周波数特性に合せて、適宜、決定すればよい。
【0031】
被写体は本質的に任意である。本開示の撮像装置組立体等は、屋外あるいは屋内で使用することができる。本開示の撮像装置組立体等は、例えば、モーションセンサー、監視用カメラシステム、ディプスセンサー、3次元形状センサー、2次元形状センサー、3次元位置センサー、2次元位置センサー、距離センサー、測域センサー、車両の衝突防止センサー、品質管理や品質検査システムに適用することができる。
【0032】
撮像方法という観点から説明すると、第1の態様の撮像方法は、実質的に、本開示の第1の態様に係る撮像装置組立体を用いた撮像方法であって、
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第1画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。
【0033】
また、第2の態様の撮像方法は、実質的に、本開示の第2の態様に係る撮像装置組立体を用いた撮像方法であって、
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第1画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。
【0034】
3次元形状測定方法という観点から説明すると、第1の態様の3次元形状測定方法は、実質的に、本開示の第1の態様に係る撮像装置組立体を用いた3次元形状測定方法であって、
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第1画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から3次元形状を算出する。
【0035】
また、第2の態様の3次元形状測定方法は、実質的に、本開示の第2の態様に係る撮像装置組立体を用いた3次元形状測定方法であって、
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第1画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から3次元形状を算出する。
【0036】
更には、動き検出方法という観点から説明すると、第1の態様の動き検出方法は、実質的に、本開示の第1の態様に係る撮像装置組立体を用いた動き検出方法であって、
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を、順次、撮像して第1画像信号を得る一方、低輝度照射状態において少なくとも被写体を、順次、撮像して第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の3次元形状を、順次、算出し、算出した3次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する。
【0037】
また、第2の態様の動き検出方法は、実質的に、本開示の第2の態様に係る撮像装置組立体を用いた動き検出方法であって、
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第1画像信号を、順次、得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第2画像信号を、順次、得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の3次元形状を、順次、算出し、算出した3次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する。
【実施例1】
【0038】
実施例1は、本開示の第1の態様に係る撮像装置組立体、本開示の3次元形状測定装置、及び、本開示の動き検出装置に関する。
【0039】
概念図を図1Aに示す実施例1の撮像装置組立体1001は、参照光パターン(図面においては横方向に延びる複数の点線で示す)を出射する光源110、撮像装置120、並びに、光源110及び撮像装置120を制御する制御装置130を備えている。そして、制御装置130の制御下、光源110は、参照光パターンを高輝度及び低輝度のそれぞれで被写体140に向けて出射する(図2A及び図2B参照)。撮像装置120は、高輝度照射状態において参照光パターン及び被写体140を撮像して第1画像信号を制御装置130に出力し、低輝度照射状態において少なくとも被写体140を撮像して第2画像信号を制御装置130に出力する。制御装置130は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。
【0040】
実施例1の3次元形状測定装置、動き検出装置は、実施例1の撮像装置組立体を備えている。ここで、本開示の3次元形状測定装置は、演算装置を更に備えており、演算装置は、参照光パターン画像信号から被写体の3次元形状を算出する。また、実施例1の動き検出装置は、演算装置を更に備えており、演算装置は、参照光パターン信号から被写体の3次元形状を算出し、算出した3次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する。
【0041】
実施例1あるいは後述する実施例2〜実施例6において、制御装置130,230はフレームメモリ131,231を備えており、第1画像信号及び第2画像信号のいずれか一方をフレームメモリ131,231に記憶する。光源110,210は、例えば、波長850nmを有する赤外線を出射する光源であり、半導体レーザ素子から構成されている。参照光パターンとして、ライン・アンド・スペース状パターンを用いたが、これに限定するものではない。ライン・アンド・スペース状パターンを得るために、必要に応じて、光源110,210の光出射側に回折格子(図示せず)が配置されている。CMOS型の撮像素子(CMOSイメージセンサー)が、第1の方向(行方向)にM個、第2の方向(列方向)にN個、2次元マトリクス状に配列されて成る、周知のビデオカメラあるいはカムコーダから撮像装置120,220は構成されている。また、撮像装置120,220は、赤色を検出する撮像素子、緑色を検出する撮像素子、青色を検出する撮像素子、及び、赤外線を検出する撮像素子の組合せから構成されている。但し、これに限定するものではなく、撮像装置120,220は、赤外線を検出する撮像素子だけから構成されていてもよい。
【0042】
実施例1の撮像装置組立体1001は、撮像装置120を1つ備えている。撮像装置120におけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。
【0043】
以下、実施例1の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をアクティブステレオ法に基づき算出する。また、実施例1の本開示の3次元形状測定装置においては、実施例1の撮像装置組立体を用いた撮像方法によって得られた参照光パターン画像信号に基づく画像データから、周知の処理アルゴリズムに基づき、被写体の3次元形状を測定する。実施例1の動き検出装置においては、実施例1の撮像装置組立体を用いた撮像方法によって得られた参照光パターン画像信号に基づく画像データから、周知の処理アルゴリズムに基づき、被写体の動きを検出する。
【0044】
制御装置130の制御下、光源110は、参照光パターンを高輝度及び低輝度のそれぞれで被写体140に向けて出射する。即ち、参照光パターンを高輝度及び低輝度のそれぞれで被写体140を照射する。実施例1にあっては、高輝度照射状態において参照光パターン及び被写体を撮像するときの撮像時間T1、低輝度照射状態において少なくとも被写体を撮像するときの撮像時間T2を、1撮像フレーム当たりの撮像時間T1,T2を模式的に図11A図11B及び図11Cに示すように、T1=T2とした。これらの図は、シャッター機構としてローリングシャッター機構を採用した場合の図である。尚、図11A図11B図11C、後述する図12A図12B図13A図13Bにおいて、高輝度照射状態及び低輝度照射状態のそれぞれを、実線の矩形で示す。
【0045】
ここで、撮像装置120は、第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子を有し、撮像装置120は、ローリングシャッター機構を有し、制御装置130は、高輝度照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第1画像信号を制御装置130に出力し、低輝度照射状態において全ての撮像素子が少なくとも被写体を撮像して第2画像信号を制御装置130に出力するように、光源110及び撮像装置120を制御する。
【0046】
図11Aに示した例にあっては、1秒当たりの撮像フレーム数を15(撮像フレームレート:15fps)とし、1撮像フレーム期間を2つの期間(期間−1及び期間−2)に分割した。また、図11B及び図11Cに示した例にあっては、1秒当たりの撮像フレーム数を30(撮像フレームレート:30fps)とし、図11Bでは、1撮像フレーム期間を2つの期間(期間−1及び期間−2)に分割し、図11Cでは、1撮像フレーム期間を4つの期間(期間−1、期間−2、期間−3及び期間−4)に分割した。分割した期間の時間長さは同一である。1秒当たりの撮像フレーム数が多くなるほど、また、1撮像フレーム期間の分割期間数が多くなるほど、1撮像フレームを模式的に示す平行四辺形の形状が変化する。具体的には、左上から右下に延びる斜辺の傾斜角が、1秒当たりの撮像フレーム数が多くなるほど、また、1撮像フレーム期間の分割期間数が多くなるほど、大きくなる。即ち、1秒当たりの撮像フレーム数が多くなるほど、また、1撮像フレーム期間の分割期間数が多くなるほど、ローリングシャッター機構を採用した場合の感光時間が増大される。そして、以上の結果として、高輝度照射状態とし得る時間長さを長くすることができる。
【0047】
1撮像フレーム内で全ての撮像素子に同じ光量の参照光パターンを照射できる時間が存在しないと、正確に環境光の影響を除去することが困難となる。図11Aに示す例にあっては、撮像時間T1,T2の時間長さは、期間−1、期間−2の時間長さの10%程度である。従って、1秒当たりの撮像フレーム数は15(撮像フレームレート:15fps)以上、1撮像フレームにおける分割期間数は2以上であることが好ましい。そして、上述したとおり、1秒当たりの撮像フレーム数(撮像フレームレート)が多くなるほど、また、1撮像フレーム期間の分割期間数が多くなるほど、1撮像フレーム内で全ての撮像素子に同じ光量の参照光パターンを照射できる時間を長くすることができるので、1秒当たりの撮像フレーム数は30(撮像フレームレート:30fps以上)以上、1撮像フレームにおける分割期間数は2以上であることが一層好ましく、1秒当たりの撮像フレーム数は30以上(撮像フレームレート:30fps以上)、1撮像フレームにおける分割期間数は3以上であることがより一層好ましい。尚、図11B図11Cに示す例にあっては、撮像時間T1,T2の時間長さは、期間−1、期間−2の時間長さの50%、70%程度である。
【0048】
尚、高輝度出射状態において、光源110は動作状態(即ち、参照光パターンを出射している状態)とされ、低輝度出射状態において、光源110は不動作状態(即ち、参照光パターンを出射していない状態)とされる。図11A図11B図11Cにおいて、時刻t11からt12の撮像時間T1において、全ての撮像素子は高輝度照射状態にあり、時刻t21からt22の撮像時間T1において、全ての撮像素子は低輝度照射状態にある。
【0049】
撮像装置120は、高輝度照射状態において参照光パターン及び被写体140を撮像して第1画像信号を制御装置130に出力し、低輝度照射状態において少なくとも被写体140を撮像して(実施例1にあっては、低輝度照射状態において被写体140を撮像して)第2画像信号を制御装置130に出力する。即ち、高輝度照射状態において参照光パターン及び被写体140を撮像して第1画像信号を得る(図2A参照)。また、低輝度照射状態において少なくとも被写体140を撮像して第2画像信号を得る。具体的には、環境光下、被写体140を撮像して第2画像信号を得る(図2B参照)。撮像装置120の画像信号を得るための動作や各種処理、画像信号の制御装置130への送出に関連する動作や各種処理は、周知の動作、処理とすることができる。以下に説明する各種の実施例においても同様である。第1画像信号及び第2画像信号を得る時間的順序は、本質的に任意であり、例えば、第2画像信号を得た後、第1画像信号を得る形態とすることができる。第2画像信号をフレームメモリ131に記憶する。
【0050】
そして、例えば、1撮像フレームが終了した後、制御装置130は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。即ち、制御装置130は、得られた第1画像信号からフレームメモリ131に記憶された第2画像信号を減算する処理を行う。
【0051】
こうして得られた参照光パターン画像信号から、制御装置130は、図14Aに示した角度α,βを求め、更に、式(A)に基づいて座標(x,y)を求め、また、z座標を求め、以上の結果として、制御装置130は、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をアクティブステレオ法に基づき算出することができる。尚、これらの処理アルゴリズムは、周知の処理アルゴリズムとすることができる。以下に説明する各種の実施例においても同様である。
【0052】
実施例1において、第2画像信号は、参照光パターンが存在しない状態で得られた画像信号であり、第1画像信号は、参照光パターンが存在する状態で得られた画像信号である。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号を得ることができる。即ち、環境光は、第1画像信号及び第2画像信号のいずれにも含まれる。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。即ち、参照光パターンの輝度を増加させること無く、参照光パターンを撮像装置によって捉えることができる。また、光源における消費電力の増加といった問題や、場合によっては参照光パターンが視認されてしまうといった問題を解消することができる。しかも、より自由な環境(屋内や部屋の照度によらない、又は、屋外での使用)において、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等の測定が可能となるし、光源から遠い所に位置する被写体や画角の広い被写体にあっては参照光パターンが暗くなるが、それにも拘わらず、参照光パターンを撮像装置によって確実に捉えることが可能となり、距離制限を緩和することができる。更には、光源の光強度を低減することが可能となるため、例えば、半導体レーザ素子から光源を構成する場合にも高い安全性を確保することができる。以下の実施例においても同様である。
【実施例2】
【0053】
実施例2は、実施例1の変形である。概念図を図1Bに示す実施例2の撮像装置組立体1002において、撮像装置はステレオ撮像装置から構成されている。具体的には、撮像装置は、第1の撮像装置120A及び第2の撮像装置120Bから構成されている。即ち、実施例1の撮像装置組立体における光源110を第1の撮像装置120Aに置き換えて、光源210を、別途、配設する。撮像装置120A,120Bにおけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。
【0054】
以下、実施例2の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をステレオ法に基づき算出する。
【0055】
制御装置130の制御下、光源110は、参照光パターンを高輝度及び低輝度のそれぞれで被写体140に向けて出射する。実施例2にあっても、実施例1と同様に、T1=T2、1秒当たりの撮像フレーム数を30(撮像フレームレート:30fps)とした。また、高輝度出射状態において、光源110は動作状態(即ち、参照光パターンを出射している状態)とされ、低輝度出射状態において、光源110は不動作状態(即ち、参照光パターンを出射していない状態)とされる。
【0056】
撮像装置120A,120Bのそれぞれは、高輝度照射状態において参照光パターン及び被写体140を撮像して第1画像信号を制御装置130に出力し、低輝度照射状態において少なくとも被写体140を撮像して(実施例2にあっては、低輝度照射状態において被写体140を撮像して)第2画像信号を制御装置130に出力する。即ち、高輝度照射状態において参照光パターン及び被写体140を撮像して第1画像信号を得る(図3A参照)。第1の撮像装置120Aから得られた第1画像信号を『第1画像信号−A』と呼び、第2の撮像装置120Bから得られた第1画像信号を『第1画像信号−B』と呼ぶ。また、低輝度照射状態において少なくとも被写体140を撮像して第2画像信号を得る。具体的には、環境光下、被写体140を撮像して第2画像信号を得る(図3B参照)。第1の撮像装置120Aから得られた第2画像信号を『第2画像信号−A』と呼び、第2の撮像装置120Bから得られた第2画像信号を『第2画像信号−B』と呼ぶ。第1画像信号−Aと第1画像信号−B、及び、第2画像信号−Aと第2画像信号−Bを、フレームメモリ131A,131Bに記憶する。
【0057】
そして、例えば、1撮像フレームが終了した後、制御装置130は、第1画像信号−Aと第2画像信号−Aとの差分、及び、第1画像信号−Bと第2画像信号−Bとの差分から参照光パターン画像信号(第1の撮像装置130Aから得られた参照光パターン画像信号−A、及び、第2の撮像装置130Bから得られた参照光パターン画像信号−B)を生成する。即ち、制御装置130は、得られた第1画像信号−A及び第1画像信号−Bと第2画像信号−A及び第2画像信号−Bとの間で減算処理を行う。
【0058】
こうして得られた参照光パターン画像信号−A及び参照光パターン画像信号−Bから、制御装置130は、図14Bに示した角度α,βを求め、更に、式(A)に基づいて座標(x,y)を求め、また、z座標を求め、以上の結果として、制御装置130は、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をステレオ法に基づき算出することができる。尚、これらの処理アルゴリズムは、周知の処理アルゴリズムとすることができる。以下に説明する各種の実施例においても同様である。
【0059】
実施例2において、第2画像信号−A、第2画像信号−Bは、参照光パターンが存在しない状態で得られた画像信号であり、第1画像信号−A、第1画像信号−Bは、参照光パターンが存在する状態で得られた画像信号である。従って、第1画像信号−Aと第2画像信号−Aとの差分、及び、第1画像信号−Bと第2画像信号−Bとの差分を算出することで、参照光パターン画像信号−A及び参照光パターン画像信号−Bを得ることができる。環境光は、第1画像信号−A、第1画像信号−B、第2画像信号−A及び第2画像信号−Bのいずれにも含まれる。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。
【実施例3】
【0060】
実施例3は、実施例1〜実施例2の変形である。実施例1〜実施例2にあっては、T1=T2とした。一方、実施例3にあっては、
1>T2
とした。シャッター機構として、グローバルシャッター機構、ローリングシャッター機構のいずれも用いることができる。図12A図12B図13A図13Bに、シャッター機構としてローリングシャッター機構を用いた場合の、1撮像フレーム当たりの撮像時間T1,T2を模式的に示す。図12A図12B図13A図13Bに示す例にあっては、1秒当たりの撮像フレーム数を30(撮像フレームレート:30fps)とし、1撮像フレームは、2以上の期間、具体的には、4つの期間に均等に分割されている。各図において、時刻t11からt12にあっては高輝度照射状態にある。また、時刻t21からt22にあっては低輝度照射状態にある。
【0061】
図12Aに示す例では、T1/T2=Qの値は3を超えており、期間−1の一部分が低輝度照射状態にあり、期間−2の一部分、期間−3の全部、期間−4の一部分が高輝度照射状態にある。図12Bに示す例では、T1/T2=Qの値は3であり、期間−1の一部分が低輝度照射状態にあり、期間−2の一部分、期間−3の一部分、期間−4の一部分が高輝度照射状態にある。図13Aに示す例では、T1/T2=Qの値は1であり、期間−2の全部が高輝度照射状態にあり、期間−4の全部が低輝度照射状態にある。図13Bに示す例では、T1/T2=Qの値は1を超えており、期間−1の一部分、期間−2の全部、期間−3の一部分、期間−4の全部が高輝度照射状態にあり、期間−1の残りの部分、期間−3の残りの部分が低輝度照射状態にある。尚、撮像装置組立体の使用者からの指示に基づき、撮像時間T1,T2を可変とすることもできるし、T1/T2の割合を可変とすることもできる。
【0062】
図12A図12B図13Aに示す例にあっては、1撮像フレームは複数の期間に分割されており、その内の1つの期間は低輝度照射状態とされ、残りの期間は高輝度照射状態とされる。あるいは又、図12A図12B図13A図13B、特に図13Bに示す例にあっては、高輝度照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い。
【0063】
例えば、図12Aに示す例にあっては、時刻t11から時刻t12において得られた第1画像信号と、時刻t21から時刻t22において得られ、フレームメモリ131に記憶された第2画像信号との差分から、参照光パターン画像信号を得ることができる。但し、参照光パターン画像信号を得るために、以下の補正を施す必要がある。
(第1画像信号)−{2+(期間−3の時間長さ)/(T2の時間長さ)}×(第2画像信号)
【0064】
図12Bに示す例では、例えば、期間−1において得られた第2画像信号をフレームメモリ131に記憶しておき、期間−2において得られた画像信号と期間−1において得られた画像信号との差分、期間−3において得られた画像信号と期間−1において得られた画像信号との差分、期間−4において得られた画像信号と期間−1において得られた画像信号との差分に基づき、参照光パターン画像信号から環境光の影響を除去すればよい。
【0065】
図13Aに示す例では、期間−1において得られた第2画像信号をフレームメモリ131に記憶しておき、期間−3において得られた画像信号と期間−1において得られた画像信号との差分に基づき、参照光パターン画像信号から環境光の影響を除去すればよい。
【0066】
図13Bに示す例では、期間−1において得られた第2画像信号をフレームメモリ131に記憶しておき、期間−1の一部分、期間−2の全部、期間3の一部分において得られた第1画像信号と、第2画像信号との差分に基づき、参照光パターン画像信号から環境光の影響を除去すればよい。
【0067】
尚、参照光パターン画像信号が得難い場合には、Qの値を大きくすることが好ましい。また、環境光が乏しい場合、Qの値を変更して最適化を図ることが望ましい。例えば、環境光が殆ど存在しない場合、Qの値を非常に大きな値、あるいは、Q=∞としてもよい。
【0068】
また、実施例3において、場合によっては、第1画像信号の信号量は、第2画像信号の信号量のQ倍となる。従って、第1画像信号と第2画像信号との差分を算出するとき、第2画像信号の信号量をQ倍にするか、第1画像信号の信号量を(1/Q)とすればよい。
【0069】
以上の点を除き、実施例3の撮像装置組立体あるいは撮像方法は、実施例1〜実施例2の撮像装置組立体あるいは撮像方法と同様とすることができるので、詳細な説明は省略する。
【実施例4】
【0070】
実施例4は、本開示の第2の態様に係る撮像装置組立体に関する。
【0071】
概念図を図4Aに示す実施例4の撮像装置組立体2001は、偏光された参照光パターンを出射する光源210、撮像装置220、並びに、光源210及び撮像装置220を制御する制御装置230を備えている。そして、撮像装置220は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第1偏光子221、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有する第2偏光子222を備えており、撮像装置220は、第1偏光子221を通過した偏光光に基づき得られた第1画像信号を制御装置230に出力し、第2偏光子222を通過した偏光光に基づき得られた第2画像信号を制御装置230に出力する。制御装置230は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。図面においては、偏光子221,222を、複数の細線を矩形で囲んだ図形で示す。複数の細線の延びる方向が偏光軸を示している。
【0072】
実施例4の撮像装置組立体2001を構成する撮像装置220の概念図を図8Aに示し、第1の偏光子221及び第2の偏光子222による偏光の状態を模式的に図8Bに示す。また、撮像装置220における撮像素子の模式的な一部断面図を図9Aに示し、ワイヤグリッド偏光子の配列状態を模式的に図9Bに示す。更には、撮像装置220におけるベイヤ配列を有する撮像素子アレイの概念図を図10に示す。尚、以下の説明において、光の進行方向をZ軸方向、参照光パターンの偏光方向と平行な方向をX軸方向、参照光パターンの偏光方向と直交する方向をY軸方向とする。
【0073】
実施例4あるいは後述する実施例5〜実施例6の撮像装置は、
被写体からの光を集光するレンズ系20、並びに、
X軸方向及びY軸方向の2次元マトリクス状に撮像素子41が配列されて成り、光入射側に第1偏光子221、第2偏光子222を有し、レンズ系20によって集光された光を電気信号に変換する撮像素子アレイ40、
を具備している。各偏光子221,222の消光比は、例えば、3以上、より具体的には10以上である。
【0074】
ここで、レンズ系20は、例えば、撮像レンズ21、絞り部22及び結像レンズ23を備えており、ズームレンズとして機能する。撮像レンズ21は、被写体からの入射光を集光するためのレンズである。撮像レンズ21は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含み、一般に、色収差等を補正するために複数枚のレンズの組合せによって実現されている。絞り部22は、集光された光の量を調整するために絞り込む機能を有するものであり、一般に、複数枚の板状の羽根を組み合わせて構成されている。少なくとも絞り部22の位置において、被写体の1点からの光は平行光となる。結像レンズ23は、光を撮像素子アレイ40上に結像する。撮像素子アレイ40は、カメラ本体部11の内部に配置されている。以上の構成において、入射瞳は、結像レンズ23よりもカメラ本体部側に位置する。撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダが構成される。
【0075】
カメラ本体部11は、撮像素子アレイ40の他に、例えば、画像処理手段12及び画像記憶部13を備えている。撮像素子アレイ40は、例えば、CMOSイメージセンサー等によって実現される。画像処理手段12は、撮像素子アレイ40から出力された電気信号を画像データに変換して、画像記憶部13に記録する。
【0076】
模式的な一部断面図を図9Aに示し、第1偏光子221及び第2偏光子222を構成するワイヤグリッド偏光子67の配列状態を模式的に図9Bに示すように、撮像素子41は、例えば、シリコン半導体基板60に設けられた光電変換素子61、並びに、その上に、第1平坦化膜62、カラーフィルタ63、オンチップレンズ64、第2平坦化膜65、無機絶縁下地層66、及び、ワイヤグリッド偏光子67が積層されて成る。尚、参照番号69A,69Bは、遮光層及び配線層を示す。そして、ワイヤグリッド偏光子67が、第1領域51及び第2領域52のそれぞれを構成する。尚、図9Bにおいては、画素の境界領域を実線で示した。ワイヤグリッド偏光子67を構成する複数のワイヤ68の延びる方向は、X軸方向あるいはY軸方向と平行である。具体的には、第1偏光子221を構成し、且つ、第1領域51を構成するワイヤグリッド偏光子67Aにあっては、ワイヤ68Aの延びる方向はY軸方向と平行であり、第2偏光子222を構成し、且つ、第2領域52を構成するワイヤグリッド偏光子67Bにあっては、ワイヤ68Bの延びる方向はX軸方向と平行である。ワイヤ68の延びる方向がワイヤグリッド偏光子67における光吸収軸となり、ワイヤ68の延びる方向と直交する方向がワイヤグリッド偏光子67における光透過軸(偏光軸)となる。第1領域51を通過した第1領域通過光の偏光状態と、第2領域52を通過した第2領域通過光の偏光状態とは異なる。
【0077】
そして、第1領域51を通過して撮像素子41に到達した第1領域通過光によって、第1画像信号を得ることができるし、第2領域52を通過して撮像素子41に到達した第2領域通過光によって、第2画像信号を得ることができる。
【0078】
図10に概念図を示すように、撮像素子アレイ40はベイヤ配列を有し、1画素は4つの撮像素子(赤色を受光する1つの赤色撮像素子「R」、青色を受光する1つの青色撮像素子「B」、緑色を受光する1つの緑色撮像素子「G」、及び、赤外線を受光する1つの赤外線撮像素子「I」)から構成されている。そして、X軸方向に沿って配列された1行の画素群に対して第1領域51が配置されており、同様に、この画素群にY軸方向に隣接し、X軸方向に沿って配列された1行の画素群に対して第2領域52が配置されている。第1領域51と第2領域52とは、Y軸方向に沿って交互に配置されている。尚、第1領域51及び第2領域52は全体としてX軸方向に延びているが、第1領域51及び第2領域52のX軸方向及びY軸方向に沿った単位長さは、撮像素子41のX軸方向及びY軸方向に沿った長さと等しい。そして、このような構成とすることで、第1画像信号及び第2画像信号が、Y軸方向に沿って交互に生成される。尚、図10において、第1領域51の内部に縦線を付し、第2領域52の内部に横線を付しているが、これらは、ワイヤグリッド偏光子67A,67Bのワイヤを模式的に表している。
【0079】
第1画像信号及び第2画像信号は、上述したとおり、Y軸方向に沿って、一種、歯抜け状態となって生成される。そこで、画像処理手段12は、画像データ作成のために、電気信号に対してデモザイク処理を施すと共に、例えば、超解像処理に基づく補間処理を行うことにより、最終的な画像データを生成、作成する。また、デモザイク処理により各撮像素子位置における画像データを得ることができるが、この段階では、上述したとおり、一種、歯抜け状態となっている。そのため、画像データが存在しない領域に対して、画像データを補間により生成する必要がある。補間の手法としては、近傍の値の加算平均値を利用する方法等、周知の方法を挙げることができる。この補間処理は、デモザイク処理と並行して行ってもよい。X軸方向においては画質は完全に保持されているので、画像全体の解像度低下等の画質劣化は比較的少ない。
【0080】
以上に説明した撮像装置の構成、構造は、偏光子221,222を設けない点を除き、実施例1〜実施例3における撮像装置120に適用することができる。また、後述する実施例6における撮像装置にあっては、例えば、フィルム状あるいはシート状の第1偏光子223を第1の撮像装置220Cを構成するレンズ系20の光入射側に配置し、フィルム状あるいはシート状の第2偏光子224を第2の撮像装置220Dを構成するレンズ系20の光入射側に配置してもよい。
【0081】
実施例4の撮像装置組立体2002は、撮像装置220を1つ備えている。撮像装置220におけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。偏光された参照光パターンを得るために、光源210の光出射側に偏光子211が配置されている。尚、光源から出射される光それ自体が偏光している場合には、光源210の光出射側に偏光子を配置しなくともよい。
【0082】
以下、実施例4の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をアクティブステレオ法に基づき算出する。尚、実施例4〜実施例6にあっては、1秒当たりの撮像フレーム数を30(30fps)とした。
【0083】
制御装置230の制御下、光源210は、偏光された参照光パターンを所定の輝度において被写体240に向けて出射する。即ち、偏光された参照光パターンを被写体240に照射する。
【0084】
撮像装置220は、光源210が動作状態(即ち、参照光パターンを出射している状態)にあるとき、参照光パターン及び被写体240を撮像して第1画像信号を制御装置230に出力し(図5A参照)、同時に、被写体240を撮像して第2画像信号を制御装置230に出力する(図5B参照)。即ち、参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第1画像信号を得る。また、参照光パターンの偏光方向と直交する方向に偏光した偏光光(場合によっては、偏光方向に依らない光)に基づき第2画像信号を得る。第2画像信号には、参照光パターンに基づく画像信号は含まれない。第1画像信号及び第2画像信号をフレームメモリ231に記憶する。
【0085】
そして、例えば、1撮像フレームが終了した後、制御装置230は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。即ち、制御装置230は、得られた第1画像信号から第2画像信号を減算する処理を行う。ところで、偏光状態が異なるため、たとえ、参照光パターンが照射されていない状態にあっても、環境光の影響を含む被写体から得られる第1画像信号と第2画像信号とは、同じ値とはならない。従って、単純に、第1画像信号と第2画像信号との差分を求めたのでは、偏光状態に起因した異なる画像信号が含まれた第1画像信号と第2画像信号との差分となる。従って、第1画像信号と第2画像信号との差分から、偏光状態に起因した画像信号を取り除く必要がある。
【0086】
具体的には、第1画像信号と第2画像信号との差分を得るために、参照光パターンを被写体240に照射して第1偏光子221及び第2偏光子222を通過した偏光光に基づき第1画像信号及び第2画像信号を得るといった処理(『参照光パターン照射処理』と呼ぶ)を行う。その一方で、或る頻度で、参照光パターンを被写体240に照射しないで、第1偏光子221及び第2偏光子222を通過した偏光光に基づき第1画像信号及び第2画像信号を得るといった処理(『参照光パターン非照射処理』と呼ぶ)を行う。そして、参照光パターン非照射処理において得られた第1画像信号と第2画像信号との差分を基準差分として、参照光パターン照射処理において得られた第1画像信号と第2画像信号との差分から、更に、基準差分を減算することで、偏光状態に起因した信号を取り除くことができる。但し、偏光状態に起因した信号を取り除く処理は、以上に説明した処理に限定されるものではない。
【0087】
こうして得られた参照光パターン画像信号から、制御装置230は、実施例1において説明したと同様に座標(x,y)を求め、また、z座標を求め、以上の結果として、制御装置230は、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をアクティブステレオ法に基づき算出することができる。
【0088】
実施例4において、第2画像信号は、第2偏光子を通過した偏光光に基づき得られた画像信号(参照光パターンに基づく画像信号を含まない画像信号)であり、第1画像信号は、第1偏光子を通過した偏光光に基づき得られた画像信号(参照光パターンに基づく画像信号を含む画像信号)である。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号を得ることができる。環境光は、第1画像信号及び第2画像信号のいずれにも含まれる。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。しかも、偏光状態を応用することは、参照光パターンを高輝度照射パターンと低輝度照射パターンに変化させる機構を設けることが困難な場合や、例えば、変化させることによって生じる電磁波ノイズ等が不都合を生じさせる場合、あるいは又、光源に対してこのような変調を加えることが困難な場合に有効である。
【実施例5】
【0089】
実施例5は、実施例4の変形である。概念図を図4Bに示す実施例5の撮像装置組立体2002において、撮像装置はステレオ撮像装置から構成されている。具体的には、撮像装置は、第1の撮像装置220A及び第2の撮像装置220Bから構成されている。撮像装置220A,220Bにおけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。第1の撮像装置220A及び第2の撮像装置220Bは、実施例4において説明した撮像装置220と同様の構成、構造を有する。
【0090】
以下、実施例5の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をステレオ法に基づき算出する。
【0091】
制御装置230の制御下、光源210は、偏光された参照光パターンを被写体240に向けて出射する。即ち、偏光された参照光パターンを被写体240に照射する。
【0092】
第1の撮像装置220Aは第1画像信号及び第2画像信号を制御装置230に出力し、第2の撮像装置220Bも第1画像信号及び第2画像信号を制御装置230に出力する(図6A及び図6B参照)。第1の撮像装置220Aから得られた第1画像信号を『第1画像信号−A』と呼び、第2の撮像装置220Bから得られた第1画像信号を『第1画像信号−B』と呼ぶ。また、第1の撮像装置220Aから得られた第2画像信号を『第2画像信号−A』と呼び、第2の撮像装置220Bから得られた第2画像信号を『第2画像信号−B』と呼ぶ。第1画像信号−Aと第1画像信号−B、及び、第2画像信号−Aと第2画像信号−Bをフレームメモリ231A,231Bに記憶する。
【0093】
そして、例えば、1撮像フレームが終了した後、制御装置230は、第1画像信号−Aと第2画像信号−Aとの差分、及び、第1画像信号−Bと第2画像信号−Bとの差分から参照光パターン画像信号(第1の撮像装置230Aから得られた参照光パターン画像信号−A、及び、第2の撮像装置230Bから得られた参照光パターン画像信号−B)を生成する。即ち、制御装置230は、得られた第1画像信号−A及び第1画像信号−Bと第2画像信号−A及び第2画像信号−Bとの間で減算処理を行う。この処理は、実施例4において説明した処理と同様とすることができる。
【0094】
こうして得られた参照光パターン画像信号−A及び参照光パターン画像信号−Bから、制御装置230は、図14Bに示した角度α,βを求め、更に、式(A)に基づいて座標(x,y)を求め、また、z座標を求め、以上の結果として、制御装置230は、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をステレオ法に基づき算出することができる。
【0095】
実施例5において、第2画像信号−A、第2画像信号−Bは、参照光パターンが存在しない状態で(あるいは又、偏光に起因して参照光パターンの存在が無視された状態で)得られた画像信号であり、第1画像信号−A、第1画像信号−Bは、参照光パターンが存在する状態で得られた画像信号である。従って、第1画像信号−Aと第2画像信号−Aとの差分、及び、第1画像信号−Bと第2画像信号−Bとの差分を算出することで、参照光パターン画像信号−A及び参照光パターン画像信号−Bを得ることができる。環境光は、第1画像信号−A、第1画像信号−B、第2画像信号−A及び第2画像信号−Bのいずれにも含まれる。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。
【0096】
尚、例えば、第1の撮像装置220Aと光源210とを用いることで、アクティブステレオ法に基づき算出することもできる。
【実施例6】
【0097】
実施例6も、実施例4の変形である。概念図を図7に示す実施例6の撮像装置組立体2003において、撮像装置は2つの撮像装置220C,220Dから構成されている。但し、実施例5と異なり、2つの撮像装置220C,220Dによって、ステレオ撮像装置を構成することは必須ではない。また、実施例5と異なり、第1の撮像装置220Cには、参照光パターンの偏光方向と平行な方向に偏光軸を有する第1偏光子223が取り付けられており、第2の撮像装置220Dには、参照光パターンの偏光方向と直交する方向に偏光軸を有する第2偏光子224が取り付けられている。第1の撮像装置220Cによって第1画像信号が得られ、第2の撮像装置220Dによって第2画像信号が得られる。撮像装置220C,220Dにおけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。
【0098】
以下、実施例6の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をアクティブステレオ法に基づき算出する。
【0099】
制御装置230の制御下、光源210は、偏光された参照光パターンを被写体240に向けて出射する。即ち、偏光された参照光パターンを被写体240に照射する。実施例6にあっては、実施例4〜実施例5と異なり、第1偏光子223を通過した偏光光に基づき第1の撮像装置220Cによって第1画像信号を得ると同時に、第2偏光子224を通過した偏光光に基づき第2の撮像装置220Dによって第2画像信号を得ることができる。
【0100】
撮像装置220C,220Dのそれぞれは、第1画像信号及び第2画像信号を制御装置230に出力する。制御装置230は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する。即ち、制御装置230は、得られた第1画像信号から第2画像信号を減算する処理を行う。この処理は、実施例4において説明した処理と同様とすることができる。
【0101】
こうして得られた参照光パターン画像信号から、制御装置230は、図14Aに示した角度α,βを求め、更に、式(A)に基づいて座標(x,y)を求め、また、z座標を求め、以上の結果として、制御装置230は、例えば、撮像装置から被写体までの距離や被写体の2次元・3次元形状、被写体の動き等をステレオ法に基づき算出することができる。
【0102】
実施例6において、第2画像信号は、参照光パターンが存在しない状態で(あるいは又、偏光に起因して参照光パターンの存在が無視された状態で)得られた画像信号であり、第1画像信号は、参照光パターンが存在する状態で得られた画像信号である。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号を得ることができる。環境光は、第1画像信号及び第2画像信号のいずれにも含まれる。従って、第1画像信号と第2画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。
【0103】
以上、本開示を好ましい実施例に基づき説明したが、本開示はこれらの実施例に限定するものではない。実施例において説明した撮像装置組立体や撮像装置、光源、制御装置の構成、構造の構成は例示であり、適宜、変更することができる。また、実施例においては、種々の値を示したが、これらも例示であり、例えば、使用する光源、撮像装置、制御装置の仕様が変われば、変わることは当然である。実施例2〜実施例6において説明した撮像装置組立体を3次元形状測定装置や動き検出装置に適用することができることは云うまでもない。
【0104】
尚、本開示は、以下のような構成を取ることもできる。
[A01]《撮像装置組立体:第1の態様》
参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
制御装置の制御下、光源は、参照光パターンを高輝度及び低輝度のそれぞれで被写体に向けて出射し、
撮像装置は、高輝度照射状態において参照光パターン及び被写体を撮像して第1画像信号を制御装置に出力し、低輝度照射状態において少なくとも被写体を撮像して第2画像信号を制御装置に出力し、
制御装置は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する撮像装置組立体。
[A02]制御装置はフレームメモリを備えており、
第1画像信号及び第2画像信号のいずれか一方をフレームメモリに記憶する[A01]に記載に撮像装置組立体。
[A03]高輝度照射状態において参照光パターン及び被写体を撮像するときの撮像時間をT1、低輝度照射状態において少なくとも被写体を撮像するときの撮像時間をT2としたとき、
1>T2
を満足する[A01]又は[A02]に記載に撮像装置組立体。
[A04]撮像装置組立体の使用者からの指示に基づき、撮像時間T1,T2は可変とされ、又は、T1/T2の割合は可変とされる[A03]に記載の撮像装置組立体。
[A05]1撮像フレームは複数の期間に分割されており、
その内の1つの期間は低輝度照射状態とされ、
残りの期間は高輝度照射状態とされる[A01]又は[A02]に記載に撮像装置組立体。
[A06]撮像フレームレートは30フレーム/秒であり、
1撮像フレームは、2以上の期間に分割されている[A05]に記載の撮像装置組立体。
[A07]高輝度照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い[A01]又は[A02]に記載に撮像装置組立体。
[A08]撮像装置は、第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子を有し、
撮像装置は、ローリングシャッター機構を有し、
制御装置は、高輝度照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第1画像信号を制御装置に出力し、低輝度照射状態において全ての撮像素子が少なくとも被写体を撮像して第2画像信号を制御装置に出力ように、光源及び撮像装置を制御する[A01]乃至[A07]のいずれか1項に記載の撮像装置組立体。
[A09]高輝度出射状態において光源は動作状態とされ、低輝度出射状態において光源は不動作状態とされる[A01]乃至[A08]のいずれか1項に記載に撮像装置組立体。
[A10]撮像装置を1つ備えている[A01]乃至[A09]のいずれか1項に記載の撮像装置組立体。
[A11]制御装置は、得られた参照光パターン画像信号から、アクティブステレオ法に基づき、撮像装置から被写体までの距離を求める[A10]に記載の撮像装置組立体。
[A12]撮像装置はステレオ撮像装置から構成されている[A01]乃至[A09]のいずれか1項に記載の撮像装置組立体。
[A13]制御装置は、得られた参照光パターン画像信号から、ステレオ法に基づき、撮像装置から被写体までの距離を求める[A12]に記載の撮像装置組立体。
[A14]光源は赤外線を出射する[A01]乃至[A13]のいずれか1項に記載の撮像装置組立体。
[A15]光源は半導体発光素子から成る[A01]乃至[A14]のいずれか1項に記載の撮像装置組立体。
[B01]《撮像装置組立体:第2の態様》
偏光された参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
撮像装置は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第1偏光子、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有する第2偏光子を備えており、
撮像装置は、第1偏光子を通過した偏光光に基づき得られた第1画像信号を制御装置に出力し、第2偏光子を通過した偏光光に基づき得られた第2画像信号を制御装置に出力し、
制御装置は、第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する撮像装置組立体。
[B02]制御装置はフレームメモリを備えており、
第1画像信号及び第2画像信号のいずれか一方をフレームメモリに記憶する[B01]に記載に撮像装置組立体。
[B03]撮像装置を1つ備えており、
撮像装置は、第1偏光子及び第2偏光子を備えている[B01]又は[B02]に記載の撮像装置組立体。
[B04]制御装置は、得られた参照光パターン画像信号から、アクティブステレオ法に基づき、撮像装置から被写体までの距離を求める[B03]に記載の撮像装置組立体。
[B05]撮像装置を2つ備えており、
一方の撮像装置は第1偏光子を備えており、他方の撮像装置は第2偏光子を備えている[B01]又は[B02]に記載の撮像装置組立体。
[B06]制御装置は、得られた参照光パターン画像信号から、アクティブステレオ法に基づき、撮像装置から被写体までの距離を求める[B05]に記載の撮像装置組立体。
[B07]撮像装置を2つ備えており、
各撮像装置は、第1偏光子及び第2偏光子を備えている[B01]又は[B02]に記載の撮像装置組立体。
[B08]制御装置は、得られた参照光パターン画像信号から、ステレオ法に基づき、撮像装置から被写体までの距離を求める[B07]に記載の撮像装置組立体。
[B09]光源は赤外線を出射する[B01]乃至[B08]のいずれか1項に記載の撮像装置組立体。
[B10]光源は半導体発光素子から成る[B01]乃至[B09]のいずれか1項に記載の撮像装置組立体。
[C01]《3次元形状測定装置》
[A01]乃至[B10]のいずれか1項に記載の撮像装置組立体を備えた3次元形状測定装置。
[C02]演算装置を更に備えており、
演算装置は、参照光パターン画像信号から被写体の3次元形状を算出する[C01]に記載の3次元形状測定装置。
[D01]《動き検出装置》
[A01]乃至[B10]のいずれか1項に記載の撮像装置組立体を備えた動き検出装置。
[D02]演算装置を更に備えており、
演算装置は、参照光パターン信号から被写体の3次元形状を算出し、算出した3次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する[D01]に記載の動き検出装置。
[E01]《撮像方法:第1の態様》
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第1画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する撮像方法。
[E02]《撮像方法:第2の態様》
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第1画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成する撮像方法。
[E03]《3次元形状測定方法:第1の態様》
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第1画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から3次元形状を算出する3次元形状測定方法。
[E04]《3次元形状測定方法:第2の態様》
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第1画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第2画像信号を得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から3次元形状を算出する3次元形状測定方法。
[E05]《動き検出方法:第1の態様》
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を、順次、撮像して第1画像信号を、順次、得る一方、低輝度照射状態において少なくとも被写体を、順次、撮像して第2画像信号を、順次、得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の3次元形状を、順次、算出し、算出した3次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する動き検出方法。
[E06]《動き検出方法:第2の態様》
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第1画像信号を、順次、得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第2画像信号を、順次、得た後、
第1画像信号と第2画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の3次元形状を、順次、算出し、算出した3次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する動き検出方法。
【符号の説明】
【0105】
1001,1002,2001,2002,2003・・・撮像装置組立体、110,210・・・光源、120,120A,120B,220,,220A,220B,,220C,220D・・・撮像装置、130,230・・・制御装置、131,131A,131B,231A,231B,231・・・フレームメモリ、140,240・・・被写体、221,223・・・第1偏光子、222,224・・・第2偏光子、11・・・カメラ本体部、12・・・画像処理手段、13・・・画像記憶部、20・・・レンズ系、21・・・撮像レンズ、22・・・絞り部、23・・・結像レンズ、40・・・撮像素子アレイ、41・・・撮像素子、51・・・第1領域、52・・・第2領域、60・・・シリコン半導体基板、61・・・光電変換素子、62・・・第1平坦化膜、63・・・カラーフィルタ、64・・・オンチップレンズ、65・・・第2平坦化膜、66・・・無機絶縁下地層、67・・・ワイヤグリッド偏光子、67A・・・第1領域を構成するワイヤグリッド偏光子、67B・・・第2領域を構成するワイヤグリッド偏光子、68,68A,68B・・・ワイヤ、69A・・・遮光層、69B・・・配線層
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14