特許 7702666 撮像装置及びそれを備えた三次元計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-26

(45)【発行日】2025-07-04

(54)【発明の名称】撮像装置及びそれを備えた三次元計測装置

(51)【国際特許分類】

   H04N 23/45 20230101AFI20250627BHJP

   H04N 23/55 20230101ALI20250627BHJP

   H04N 23/60 20230101ALI20250627BHJP

   G03B 35/10 20210101ALI20250627BHJP

   G03B 15/00 20210101ALI20250627BHJP

   G01C 3/06 20060101ALI20250627BHJP

【ＦＩ】

H04N23/45

H04N23/55

H04N23/60 500

G03B35/10

G03B15/00 T

G01C3/06 110V

【請求項の数】 6

(21)【出願番号】P 2024512374

(86)(22)【出願日】2023-03-24

(86)【国際出願番号】 JP2023011883

(87)【国際公開番号】W WO2023190188

(87)【国際公開日】2023-10-05

【審査請求日】2024-03-28

(31)【優先権主張番号】P 2022057129

(32)【優先日】2022-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】沖野 徹

(72)【発明者】

【氏名】齋藤 繁

(72)【発明者】

【氏名】湯浅 佑亮

(72)【発明者】

【氏名】香山 信三

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０３０９１３４（ＵＳ，Ａ１）

【文献】特表２００９－５２７００７（ＪＰ，Ａ）

【文献】特開２０１８－１８９６６１（ＪＰ，Ａ）

【文献】特開２００３－３４６１３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７、

２３／００、２３／４０－２３／７６、

２３／９０－２３／９５９

Ｇ０３Ｂ ３５／００－３７／０６

Ｇ０１Ｃ ３／００－３／３２

(57)【特許請求の範囲】

【請求項1】

被写体からの光を通過させる第１撮影レンズと、
前記第１撮影レンズを通過した光を受光する第１固体撮像素子と、
前記第１撮影レンズから第１方向に間隔を空けて設けられ、前記被写体からの光を通過させる第２撮影レンズと、
前記第１方向に対して垂直な第２方向に異なる位置に第１及び第２の第２レンズ側透光部が形成され、前記被写体から前記第２撮影レンズに向かう光の一部を前記第１及び第２の第２レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第２レンズ側遮蔽部と、
前記第２撮影レンズを通過した前記被写体からの光を受光する第２固体撮像素子とを備え、
前記第１及び第２の第２レンズ側透光部を通過したそれぞれの光の情報が、共通の１つの前記第２固体撮像素子により取得される撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記第２レンズ側遮蔽部の第１及び第２の第２レンズ側透光部のうちの少なくとも一方の大きさを調整する第２レンズ側サイズ調整部をさらに備えていることを特徴とする撮像装置。

【請求項3】

請求項１に記載の撮像装置において、
第１レンズ側透光部が形成され、前記被写体から前記第１撮影レンズに向かう光の一部を前記第１レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第１レンズ側遮蔽部と、
前記第１レンズ側遮蔽部の第１レンズ側透光部の大きさを調整する第１レンズ側サイズ調整部とをさらに備えていることを特徴とする撮像装置。

【請求項4】

請求項１に記載の撮像装置において、
前記第２撮影レンズと前記第２固体撮像素子との間に介設され、かつ前記第２撮影レンズの焦点に位置するサブレンズをさらに備えていることを特徴とする撮像装置。

【請求項5】

請求項１に記載の撮像装置において、
第１レンズ側透光部が形成され、前記被写体から前記第１撮影レンズに向かう光の一部を前記第１レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第１レンズ側遮蔽部と、
前記第１レンズ側遮蔽部の第１レンズ側透光部を前記第２方向に移動させる位置調整部とをさらに備えていることを特徴とする撮像装置。

【請求項6】

請求項１～５のいずれか１項に記載の撮像装置と、
前記第１固体撮像素子によって出力された複数の画素の輝度値に基づいて、第１画像を取得する第１画像取得部と、
前記第２固体撮像素子によって出力された複数の画素の輝度値に基づいて、前記第１の第２レンズ側透光部を通過した光に基づく第２画像と、前記第２の第２レンズ側透光部を通過した光に基づく第３画像とを取得する第２画像取得部と、
前記第１画像を構成する少なくとも１つの構成部分について、それぞれ、当該構成部分に対応する対応部分を、前記第２画像のエピポーラ線上で探索し、前記第１画像における前記少なくとも１つの構成部分の位置と、前記第２画像におけるそれぞれの対応部分の位置との距離を示す第１視差情報を取得する第１視差情報取得部と、
前記第１画像を構成する少なくとも１つの構成部分について、それぞれ、当該構成部分に対応する対応部分を、前記第３画像のエピポーラ線上で探索し、当該第１画像における前記少なくとも１つの構成部分の位置と、前記第３画像におけるそれぞれの対応部分の位置との距離を示す第２視差情報を取得する第２視差情報取得部と、
前記第１視差情報及び前記第２視差情報に基づいて、前記第１画像を構成する前記少なくとも１つの構成部分に写った被写体と前記撮像装置との距離を示す距離情報を取得する距離情報取得部とを備えた三次元計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置及びそれを備えた三次元計測装置に関する。

【背景技術】

【0002】

特許文献１には、第１画像を取得する第１のイメージングユニットと、第２画像を取得する第２のイメージングユニットと、第３画像を取得する第３のイメージングユニットとが三角形状に互いに間隔を空けて配置された三次元計測装置が開示されている。この三次元計測装置は、第１画像の少なくとも１つの画素について、第１のエピポーラ線に沿って第２画像の画素に関連する第１の類似値を特定し、第１画像の前記少なくとも１つの画素について、第２のエピポーラ線に沿って第３画像の画素に関連する第２の類似値を特定し、第１及び第２の類似値を結合し、前記少なくとも１つの画素について、第１画像、第２画像、及び第３画像間で共通の視差を決定し、当該共通の視差から距離を決定する。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第１１０３９１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１では、第１～第３のイメージングユニットのそれぞれに固体撮像素子を設ける必要があるので、三次元計測装置の大型化及びコストの増大を招く。

【0005】

本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、三次元計測装置を小型化するとともに、コストを削減することにある。

【課題を解決するための手段】

【0006】

上記の目的を達成するため、本開示は、被写体からの光を通過させる第１撮影レンズと、前記第１撮影レンズを通過した光を受光する第１固体撮像素子と、前記第１撮影レンズから第１方向に間隔を空けて設けられ、前記被写体からの光を通過させる第２撮影レンズと、前記第１方向に対して垂直な第２方向に異なる位置に第１及び第２の第２レンズ側透光部が形成され、前記被写体から前記第２撮影レンズに向かう光の一部を前記第１及び第２の第２レンズ側透光部によって通過させるとともに、当該光の残りを遮断するように配置される第２レンズ側遮蔽部と、前記第２撮影レンズを通過した前記被写体からの光を受光する第２固体撮像素子とを備えた撮像装置であることを特徴とする。

【0007】

これにより、第１固体撮像素子の出力に基づいて、第１撮影レンズを通過した前記被写体からの光に基づく第１画像を取得するとともに、第２固体撮像素子の出力に基づいて、前記第１の第２レンズ側透光部を通過した前記被写体からの光に基づく第２画像と、前記第２の第２レンズ側透光部を通過した前記被写体からの光に基づく第３画像とを取得できる。したがって、三角形状をなす３つの地点から撮影された第１画像、第２画像、及び第３画像を取得するために固体撮像素子を３つ設けなくてもよいので、三次元計測装置を小型化するとともに、コストを削減できる。

【発明の効果】

【0008】

本開示によれば、三次元計測装置を小型化するとともに、コストを削減できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態１に係る三次元計測装置の構成を示すブロック図である。

【図2】図２は、撮像装置の正面図である。

【図3】図３は、図２のIII－III線に対応する断面図である。

【図4】図４は、図２のIV－IV線に対応する断面図である。

【図5】図５は、サブレンズアレイの一部を示す平面図である。

【図6】図６は、第１エピポーラ線が、ｙ＝ｘの直線となる場合の、第２画像における対応ブロックの探索方法を説明する説明図である。

【図7】図７は、第１エピポーラ線が、ｙ＝ｘ／２の直線となる場合の、第２画像における対応ブロックの探索方法を説明する説明図である。

【図8】図８は、均一光照射状態において固体撮像素子によって出力される輝度値と、固体撮像素子における上下方向の位置との関係を例示するグラフである。

【図9】図９は、実施形態１に係る三次元計測装置による距離情報の生成処理を説明するフローチャートである。

【図10】図１０は、視差情報の取得処理を説明するフローチャートである。

【図11】図１１は、視差の算出処理を説明するフローチャートである。

【図12】図１２は、実施形態２の図１相当図である。

【図13】図１３は、実施形態３の図１相当図である。

【図14】図１４は、第１レンズ側透光部を上方に移動させた状態における図２相当図である。

【図15】図１５は、第１レンズ側遮蔽部の回転動作を説明する説明図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態について図面に基づいて説明する。

【0011】

（実施形態１）
図１は、本開示の実施形態１に係る三次元計測装置１を示す。この三次元計測装置１は、撮像装置１０と、信号処理部２０と、メモリ４０とを備えている。

【0012】

撮像装置１０は、図２～４に示すように、筐体１１と、第１撮影レンズ１２と、第１レンズ側遮蔽部１３と、第１固体撮像素子１４と、第２撮影レンズ１５と、第２レンズ側遮蔽部１６と、第２固体撮像素子１７複数のサブレンズ１８を備えたサブレンズアレイ１９（図５参照）とを備えている。図３及び図４中、点ＯＰは、被写体Ｏに含まれる点を示す。

【0013】

筐体１１には、共通の方向に開口する真円形の第１及び第２の開口部１１ａ，１１ｂが、水平な第１方向に互いに間隔を空けて当該第１方向に対して垂直な水平方向に貫通するように形成されている。筐体１１の形状は、図２に示す形状に限定されない。筐体１１は、第１撮影レンズ１２と、第１レンズ側遮蔽部１３と、第１固体撮像素子１４と、第２撮影レンズ１５と、第２レンズ側遮蔽部１６と、第２固体撮像素子１７と、サブレンズアレイ１９とを収容している。

【0014】

第１撮影レンズ１２は、筐体１１の第１の開口部１１ａに対向するように配設されている。第１撮影レンズ１２は、被写体Ｏからの光を通過させる。

【0015】

第１レンズ側遮蔽部１３は、板状に形成され、筐体１１の第１の開口部１１ａ形成面と、第１撮影レンズ１２との間に、筐体１１の第１の開口部１１ａに対向するように配設されている。第１レンズ側遮蔽部１３は、筐体１１の第１の開口部１１ａに対向するように配設されたガラス板１３ａを有している。このガラス板１３ａの第１の開口部１１ａ側の面における下半部の真円形の領域を除く領域には、全体に亘って塗膜１３ｂが塗装により形成されている。ガラス板１３ａの塗膜１３ｂ非形成領域は、光を通過させる真円形の第１レンズ側透光部１３ｃを構成している。第１レンズ側遮蔽部１３は、被写体Ｏから前記第１撮影レンズ１２に向かう光の一部を前記第１レンズ側透光部１３ｃによって通過させるとともに、当該光の残りを遮断するように配置されている。なお、ガラス板１３ａに代えて、樹脂等のガラス以外の材料からなる透光性の板材を用いてもよい。また、塗膜１３ｂに代えて、塗料以外の材料からなる遮光層を設けてもよい。

【0016】

第１固体撮像素子１４は、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃ、及び第１撮影レンズ１２を通過した被写体Ｏからの光Ｌ１を受光し、複数の画素の輝度値を出力する。

【0017】

第２撮影レンズ１５は、第１撮影レンズ１２から第１方向に間隔を空けて、筐体１１の第２の開口部１１ｂに対向するように配設されている。つまり、第２撮影レンズ１５は、その厚さ方向を第１撮影レンズ１２と同じ向きに向けている。第２撮影レンズ１５も、被写体Ｏからの光を通過させる。

【0018】

第２レンズ側遮蔽部１６は、板状に形成され、筐体１１の第２の開口部１１ｂ形成面と、第２撮影レンズ１５との間に、筐体１１の第２の開口部１１ｂに対向するように配設されている。第２レンズ側遮蔽部１６は、筐体１１の第２の開口部１１ｂに対向するように配設されたガラス板１６ａを有している。このガラス板１６ａの第２の開口部１１ｂ側の面における上半部の真円形の領域と下半部の真円形の領域とを除く領域には、全体に亘って塗膜１６ｂが塗装により形成されている。ガラス板１６ａの上側の塗膜１６ｂ非形成領域は、光を通過させる真円形の第１の第２レンズ側透光部１６ｃを構成している。ガラス板１６ａの下側の塗膜１６ｂ非形成領域は、光を通過させる真円形の第２の第２レンズ側透光部１６ｄを構成している。第２レンズ側遮蔽部１６は、被写体Ｏから第２撮影レンズ１５に向かう光の一部を第１及び第２の第２レンズ側透光部１６ｃ，１６ｄによって通過させるとともに、当該光の残りを遮断するように配置されている。第２の第２レンズ側透光部１６ｄは、第１レンズ側透光部１３ｃと上下方向に同じ位置に位置している。第１及び第２の第２レンズ側透光部１６ｃ，１６ｄの上下方向の間隔は、０よりも長く、第２撮影レンズ１５の直径よりも短く設定される。第１及び第２の第２レンズ側透光部１６ｃ，１６ｄが上下方向（第１方向に対して垂直な第２方向）に異なる位置に形成されているので、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとで、異なる傾きの２本のエピポーラ線ＥＰ１，ＥＰ２を形成できる。第１レンズ側透光部１３ｃと、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの位置関係は、それぞれの重心が水平方向に一直線とならず、異なる傾きの２本のエピポーラ線ＥＰ１，ＥＰ２を形成できれば、他の位置関係であってもよい。エピポーラ線ＥＰ１，ＥＰ２の詳細な説明については後述する。

【0019】

第２固体撮像素子１７は、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄと、第２撮影レンズ１５を通過した前記被写体Ｏからの光Ｌ２，Ｌ３を受光する。

【0020】

サブレンズアレイ１９を構成するサブレンズ１８は、第２撮影レンズ１５と、第２固体撮像素子１７との間に、第２撮影レンズ１５と平行に介設されている。サブレンズ１８は、第２撮影レンズ１５の反第２レンズ側遮蔽部１６側の焦点に位置している。図５に示すように、サブレンズ１８は、上下方向（以下、「第２方向」と呼ぶ）の長さが第１方向の長さの約２倍である楕円形をなしている。サブレンズ１８の第１方向の長さ及び位置は、サブレンズ１８を通過した光Ｌ２の第２固体撮像素子１７における照射領域が、第１方向において、第２固体撮像素子１７の１画素に収まるように設定されている。サブレンズ１８の下半分（第２方向一方の半分）には、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２が通過し、サブレンズ１８の上半分（第２方向他方の半分）には、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３が通過する。サブレンズ１８を通過した光Ｌ２，Ｌ３は、第２固体撮像素子１７における互いに異なる画素に対応する領域に入射する。サブレンズ１８の第２方向の長さ及び位置は、サブレンズ１８を通過した光Ｌ２，Ｌ３の第２固体撮像素子１７における照射領域が、第２方向において、第２固体撮像素子１７の２画素に収まるように設定されている。サブレンズ１８は、第１方向に互いに隣り合うように、複数設けられている。サブレンズ１８の第１方向の個数は、第２固体撮像素子１７において第１方向に並ぶ画素の数に相当する。

【0021】

信号処理部２０は、第１画像取得部２１と、第２画像取得部２２と、第１視差情報取得部２３と、第２視差情報取得部２４と、距離情報取得部２５と、フィルタ情報生成部２６とを備えている。

【0022】

第１画像取得部２１は、第１固体撮像素子１４によって出力された複数の画素の輝度値に基づいて、第１画像を取得する。第１画像取得部２１は、第１シェーディング補正部２１ａを有している。この第１シェーディング補正部２１ａは、第１固体撮像素子１４によって出力された複数の画素の輝度値に、第２方向の位置に応じた補正を行うことにより、第１画像を取得する。具体的には、後述するキャリブレーション処理により第２方向の位置毎に取得されてメモリ４０に保存された第１補正値を、第１固体撮像素子１４によって出力された全画素の輝度値に乗算する補正を行う。そして、第１画像取得部２１は、第１固体撮像素子１４によって出力された全画素の補正後の輝度値を、第１画像の全画素の輝度値として出力する。

【0023】

第２画像取得部２２は、第２固体撮像素子１７によって出力された複数の画素の輝度値に基づいて、前記第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく第２画像と、前記第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく第３画像とを取得する。具体的には、第２画像取得部２２は、情報抽出部２２ａと、第２シェーディング補正部２２ｂと、第３シェーディング補正部２２ｃと、第２画像サイズ補正部２２ｄと、第３画像サイズ補正部２２ｅとを有している。

【0024】

情報抽出部２２ａは、第２固体撮像素子１７によって出力された全画素の輝度値から、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく画素の輝度値と、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値とを抽出する。

【0025】

第２シェーディング補正部２２ｂは、情報抽出部２２ａによって抽出された第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく画素の輝度値に、第２方向の位置に応じた補正を行うことにより、第１サイズ補正前画像を取得する。具体的には、第２シェーディング補正部２２ｂは、後述するキャリブレーション処理により第２方向の位置毎に取得されてメモリ４０に保存された第２補正値を、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく全画素の輝度値に乗算する補正を行う。

【0026】

第３シェーディング補正部２２ｃは、情報抽出部２２ａによって抽出された第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値に、第２方向の位置に応じた補正を行うことにより、第２サイズ補正前画像を取得する。具体的には、第３シェーディング補正部２２ｃは、後述するキャリブレーション処理により第２方向の位置毎に取得されてメモリ４０に保存された第３補正値を、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく全画素の輝度値に乗算する補正を行う。

【0027】

第２画像サイズ補正部２２ｄは、第２シェーディング補正部２２ｂによって取得された第１サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第２画像として出力する。第２画像サイズ補正部２２ｄは、第１シェーディング補正部２１ａから出力される第１画像の情報に基づいて、第２画像が第１画像と同じサイズ（画素数）になるように画像サイズの補正を行う。このとき、第２画像を上下方向に引き伸ばすが、左右方向には引き伸ばさないので、後述する第１エピポーラ線ＥＰ１上での探索における精度の悪化を招かない。

【0028】

第３画像サイズ補正部２２ｅは、第３シェーディング補正部２２ｃによって取得された第２サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第３画像として出力する。第３画像サイズ補正部２２ｅは、第１シェーディング補正部２１ａから出力される第１画像の情報に基づいて、第３画像が第１画像と同じサイズ（画素数）になるように画像サイズの補正を行う。このとき、第３画像を上下方向に引き伸ばすが、左右方向には引き伸ばさないので、後述する第２エピポーラ線ＥＰ２上での探索における精度の悪化を招かない。

【0029】

第１視差情報取得部２３は、第１画像を構成する複数の構成ブロック（構成部分）について、それぞれ、当該構成ブロックに対応する対応ブロック（対応部分）を、前記第２画像の第１エピポーラ線ＥＰ１上で探索する。そして、第１画像における前記複数の構成ブロックの位置と、前記第２画像におけるそれぞれの対応ブロックの位置との距離（第１エピポーラ線ＥＰ１に沿う方向の距離）を示す第１視差情報を取得する。ここで探索に用いる第１エピポーラ線ＥＰ１は、被写体Ｏの点ＯＰと、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃと、第２レンズ側遮蔽部１６の第１の第２レンズ側透光部１６ｃとを結ぶエピポーラ平面と、第２画像との交差する線である。第１視差情報は、第１画像の各構成ブロックの画素値を、第１画像におけるその構成ブロックの位置と、第２画像における対応ブロックの位置との距離に応じた画素値とした視差画像を示す画像情報である。この画像情報において、対応ブロック（対応部分）を、前記第２画像の第１エピポーラ線ＥＰ１上で検出できなかった構成ブロックの画素値は、空白を示す所定の空白値とされる。

【0030】

なお、第１エピポーラ線ＥＰ１は、第２画像における横方向に対して上下方向に傾斜する。

【0031】

図６に示すように、例えば、第２画像における横方向をｘ軸、縦方向をｙ軸とし、第１エピポーラ線ＥＰ１が、ｙ＝ｘの直線となるとき、第１画像を構成する横３画素、縦３画素の正方形の構成ブロックについて、それぞれ、当該構成ブロックに対応する対応ブロックを、前記第２画像の第１エピポーラ線ＥＰ１上で探索する。

【0032】

図７に示すように、例えば、第２画像における横方向をｘ軸、縦方向をｙ軸とし、第１エピポーラ線ＥＰ１が、ｙ＝ｘ／２の直線となるとき、第１画像を構成する横３画素、縦６画素の長方形の構成ブロックについて、それぞれ、当該構成ブロックに対応する対応ブロックを、前記第２画像の第１エピポーラ線ＥＰ１上で探索する。

【0033】

つまり、第２画像における横方向をｘ軸、縦方向をｙ軸とし、第１エピポーラ線ＥＰ１が、ｙ＝ａｘ＋ｂの直線となるとき、構成ブロック及び対応ブロックの縦方向の画素数を、横方向の画素数の１／ａ倍とする。

【0034】

第２視差情報取得部２４は、第１画像を構成する複数の構成ブロックについて、それぞれ、当該構成ブロックに対応する対応ブロックを、前記第３画像の第２エピポーラ線ＥＰ２上で探索する。そして、第１画像における前記複数の構成ブロックの位置と、前記第３画像におけるそれぞれの対応ブロックの位置との距離を示す第２視差情報を取得する。ここで探索に用いる第２エピポーラ線ＥＰ２は、被写体Ｏの点と、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃと、第２レンズ側遮蔽部１６の第２の第２レンズ側透光部１６ｄとを結ぶエピポーラ平面と、第３画像との交差する線である。第２エピポーラ線ＥＰ２は、第３画像における横方向に延び、第３画像における横方向に対して上下方向に傾斜しない。第２視差情報は、第１画像の各構成ブロックの画素値を、第１画像における当該構成ブロックの位置と、第３画像における対応ブロックの位置との距離に応じた画素値とした視差画像を示す画像情報である。この画像情報においても、対応ブロック（対応部分）を、前記第３画像の第２エピポーラ線ＥＰ２上で検出できなかった構成ブロックの画素値は、空白を示す所定の空白値とされる。

【0035】

距離情報取得部２５は、第１視差情報取得部２３によって取得された第１視差情報と、第２視差情報取得部２４によって取得された第２視差情報とに基づいて、距離情報を取得する。距離情報は、第１画像を構成する各構成ブロックに写った被写体Ｏと、撮像装置１０との距離を示す情報である。詳しくは、距離情報は、第１画像の各構成ブロックの画素値を、当該構成ブロックに写った被写体Ｏと、撮像装置１０との距離に応じた画素値とした画像を示す画像情報である。

【0036】

距離情報取得部２５は、視差情報合成部２５ａと、距離画像生成部２５ｂとを有している。

【0037】

視差情報合成部２５ａは、第１視差情報によって示される画像における空白値の各画素の画素値を、第２視差情報によって示される画像における当該画素の画素値に置換することにより、合成視差情報を取得する。つまり、合成視差情報は、第１視差情報を第２視差情報によって補完することによって得られる画像情報である。

【0038】

距離画像生成部２５ｂは、視差情報合成部２５ａによって取得された合成視差情報に基づいて、前記距離情報を生成する。

【0039】

構成ブロックに写った被写体Ｏと撮像装置１０との距離（距離情報における各画素の画素値によって示される距離）をｚとし、合成視差情報によって示される視差をｄ、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔をｂ、焦点距離をｆとすると、ｚは、以下のような一般的な式１によって算出できる。

【0040】

ｚ ＝ ｂ・ｆ／ｄ ・・・（式１）
フィルタ情報生成部２６は、出荷時に、第１固体撮像素子１４及び第２固体撮像素子１７によって出力される輝度値を取得し、当該輝度値に基づいて、前記第１補正値、前記第２補正値、及び前記第３補正値を算出し、メモリ４０に保存するキャリブレーション処理を行う。フィルタ情報生成部２６による輝度値の取得は、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃと、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとに、第１又は第２の開口部１１ａ，１１ｂ側から均一光を照射した均一光照射状態で行われる。つまり、均一光照射状態では、第１レンズ側透光部１３ｃ、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄの表面上のすべての位置において、入射光の強度が等しくなるように光が照射される。

【0041】

図８は、第１レンズ側透光部１３ｃを第１撮影レンズ１２の中央に対向するように配置した場合に、均一光照射状態において第１固体撮像素子１４及び第２固体撮像素子１７によって出力される輝度値と、固体撮像素子１４，１７における上下方向の位置との関係を例示する。図８中、ｘ軸方向右側が上側を示す。

【0042】

第１レンズ側透光部１３ｃを第１撮影レンズ１２の中央に対向するように配置した場合、第１固体撮像素子１４における第１レンズ側透光部１３ｃを通過した光Ｌ１の照射領域の輝度値は、図８の曲線Ｃ１に示すように、当該照射領域における第２方向（上下方向）中央で大きくなる。第２固体撮像素子１７における第１の第２レンズ側透光部１６ｃを通過した光Ｌ２の照射領域の輝度値は、図８の曲線Ｃ２に示すように、当該照射領域における上側で大きくなる。第２固体撮像素子１７における第２の第２レンズ側透光部１６ｄを通過した光Ｌ３の照射領域の輝度値は、図８の曲線Ｃ３に示すように、当該照射領域における下側で大きくなる。

【0043】

フィルタ情報生成部２６は、均一光照射状態で第１レンズ側透光部１３ｃを通過した光Ｌ１の照射領域の輝度値の逆数を、各画素における第１補正値として算出する。このとき、第２方向の位置が等しい画素の第１補正値は共通となる。

【0044】

また、フィルタ情報生成部２６は、均一光照射状態で第１の第２レンズ側透光部１６ｃを通過した光Ｌ２の照射領域の輝度値の逆数を、各画素における第２補正値として算出する。したがって、各画素における第２補正値は、図８の曲線Ｃ２で示される値の逆数となる。また、第２方向の位置が等しい画素の第２補正値は共通となる。

【0045】

また、フィルタ情報生成部２６は、均一光照射状態で第２の第２レンズ側透光部１６ｄを通過した光Ｌ３の照射領域の輝度値の逆数を、各画素における第３補正値として算出する。したがって、各画素における第３補正値は、図８の曲線Ｃ３で示される値の逆数となる。また、第２方向の位置が等しい画素の第３補正値は共通となる。

【0046】

次に、上述のように構成された三次元計測装置１による距離情報の生成処理について、図９のフローチャートを参照して説明する。

【0047】

まず、（Ｓ１０１）において、被写体Ｏからの光Ｌ１，Ｌ２，Ｌ３を、第１固体撮像素子１４及び第２固体撮像素子１７が共通のタイミングで受光する。第１固体撮像素子１４には、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃ、及び第１撮影レンズ１２を通過した被写体Ｏからの光Ｌ１が入射する。第２固体撮像素子１７には、第２レンズ側遮蔽部１６の第１の第２レンズ側透光部１６ｃ、第２撮影レンズ１５、及びサブレンズ１８を通過した被写体Ｏからの光Ｌ２と、第２レンズ側遮蔽部１６の第２の第２レンズ側透光部１６ｄ、第２撮影レンズ１５、及びサブレンズ１８を通過した被写体Ｏからの光Ｌ３が入射する。

【0048】

次いで、（Ｓ１０２）において、第１シェーディング補正部２１ａが、（Ｓ１０１）において第１固体撮像素子１４によって出力された全画素の輝度値に、メモリ４０に保存された第１補正値に基づく補正を行うことにより、第１画像を取得する。また、情報抽出部２２ａが、（Ｓ１０１）において第２固体撮像素子１７によって出力された全画素の輝度値から、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく画素の輝度値と、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値とを抽出する。そして、第２シェーディング補正部２２ｂは、第１の第２レンズ側透光部１６ｃを通過した光Ｌ２に基づく全画素の輝度値に、メモリ４０に保存された第２補正値に基づく補正を行うことにより、第１サイズ補正前画像を取得する。さらに、第３シェーディング補正部２２ｃは、第２の第２レンズ側透光部１６ｄを通過した光Ｌ３に基づく画素の輝度値に、メモリ４０に保存された第３補正値に基づく補正を行うことにより、第２サイズ補正前画像を取得する。

【0049】

次いで、（Ｓ１０３）において、第２画像サイズ補正部２２ｄは、（Ｓ１０２）で取得された第１サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第２画像として出力する。また、第３画像サイズ補正部２２ｅは、（Ｓ１０２）で取得された第２サイズ補正前画像に対し、画像サイズの補正を行い、補正後の画像を第３画像として出力する。

【0050】

次いで、（Ｓ１０４）において、第１視差情報取得部２３が、（Ｓ１０２）で取得された第１画像と、（Ｓ１０３）で取得された第２画像とに基づいて、第１視差情報を取得する。また、第２視差情報取得部２４が、（Ｓ１０２）で取得された第１画像と、（Ｓ１０３）で取得された第３画像とに基づいて、第２視差情報を取得する。第１視差情報、及び第２視差情報の詳細な取得方法については、後述する。

【0051】

次いで、（Ｓ１０５）において、距離情報取得部２５の視差情報合成部２５ａが、（Ｓ１０４）で取得された第１視差情報及び第２視差情報に基づいて、合成視差情報を取得する。

【0052】

最後に、（Ｓ１０６）において、距離情報取得部２５の距離画像生成部２５ｂが、（Ｓ１０５）で取得された合成視差情報に基づいて、距離情報を生成する。これにより、信号処理部２０による距離情報の生成処理が完了する。

【0053】

次に、（Ｓ１０４）における第１視差情報の取得処理について、図１０のフローチャートを参照して詳細に説明する。ここで、（Ｓ１０２）で取得された第１画像を基準画像、（Ｓ１０３）で取得された第２画像を入力画像とする。

【0054】

まず、（Ｓ２０１）において、第１視差情報取得部２３が、基準画像と入力画像を取得する。

【0055】

次いで、（Ｓ２０２）において、第１視差情報取得部２３が、基準画像を複数の構成ブロックに分割する。このとき、第１エピポーラ線ＥＰ１の傾きがａであるとき、例えば、構成ブロックの横方向の画素数は、３画素に設定され、構成ブロックの縦方向の画素数は、３画素の１／ａ倍に設定される。

【0056】

次いで、（Ｓ２０３）において、第１視差情報取得部２３が、（Ｓ２０２）の分割により特定された複数の構成ブロックから、未選択の構成ブロックを選択する。

【0057】

次いで、（Ｓ２０４）において、第１視差情報取得部２３が、（Ｓ２０３）で選択された構成ブロックに対応する対応ブロックを、入力画像の第１エピポーラ線ＥＰ１上で探索することにより、基準画像における当該構成ブロックの位置と、入力画像における対応ブロックの位置との距離である視差を算出する。（Ｓ２０４）における詳細な処理については、後述する。

【0058】

次いで、（Ｓ２０５）において、第１視差情報取得部２３が、（Ｓ２０４）で算出した視差に応じた画素値を、図示しない視差画像用メモリに格納する。視差画像用メモリにおける当該画素値の格納領域は、（Ｓ２０３）で選択された構成ブロックに割り当てられた領域である。

【0059】

次いで、（Ｓ２０６）において、第１視差情報取得部２３が、（Ｓ２０２）の分割により特定された複数の構成ブロックの全てを（Ｓ２０３）で選択したか否かを判定する。つまり、未選択の構成ブロックが残っているか否かを判定する。（Ｓ２０２）の分割により特定された複数の構成ブロックの全てを（Ｓ２０３）で選択し終えており、未選択の構成ブロックが残っていない場合には、第１視差情報の取得処理を終了する。一方、（Ｓ２０２）の分割により特定された複数の構成ブロックの一部を（Ｓ２０３）で選択しておらず、未選択の構成ブロックが残っている場合には、（Ｓ２０３）に戻る。

【0060】

次に、（Ｓ２０４）における視差の算出処理について、図１１のフローチャートを参照して詳細に説明する。

【0061】

まず、（Ｓ３０１）において、第１視差情報取得部２３が、ｉを初期値に設定する。初期値としては、例えば１が設定される。

【0062】

次いで、（Ｓ３０２）において、第１視差情報取得部２３が、（Ｓ２０３）で選択された構成ブロックと共通のサイズの抽出領域ＡＲ（図６、図７参照）を抽出する。ここでは、まず抽出領域ＡＲを、縦方向の中心が、（Ｓ２０３）で選択された構成ブロックの中心から延びる第１エピポーラ線ＥＰ１上に位置し、横方向の中心がｉ列目となるように移動させる。そしてこの状態で、抽出領域ＡＲの端縁が、図７中、仮想線で示すように、画素の途中に位置するときは、第１視差情報取得部２３は、画素の端縁と一致するように上下方向に抽出領域ＡＲを最低限の長さだけ移動させる。

【0063】

次いで、（Ｓ３０３）において、第１視差情報取得部２３は、（Ｓ２０３）で選択された構成ブロックと（Ｓ３０２）で抽出した抽出領域ＡＲとの類似度を算出する。ここでは、類似度として例えば、ＮＣＣ（Normalized Cross Correlation）が算出される。また、第１視差情報取得部２３は、ｉに１を加算する。

【0064】

次いで、（Ｓ３０４）において、第１視差情報取得部２３は、ｉが所定値であるか否かを判定する。所定値は、例えば入力画像の横方向の全画素数よりも１大きい値に設定される。第１視差情報取得部２３は、ｉが所定値である場合には、（Ｓ３０５）の処理に進む一方、ｉが所定値でない場合には、（Ｓ３０２）の処理に戻る。

【0065】

（Ｓ３０５）では、ｉが初期値から所定値に至るまでに（Ｓ３０３）で類似度が算出された抽出領域ＡＲのうち、最も類似度が大きい抽出領域ＡＲを対応ブロックとして特定する。そして、入力画像における対応ブロックの位置と、基準画像における構成ブロックの位置との距離である視差を算出し、視差の算出処理が終了する。

【0066】

なお、第２視差情報取得部２４は、（Ｓ１０２）で取得された第１画像を基準画像、（Ｓ１０３）で取得された第３画像を入力画像として、図１０のフローチャートの処理を同様に実行することにより、第２視差情報を取得する。かかる場合、第２エピポーラ線ＥＰ２は水平方向に延びるので、（Ｓ２０２）において、構成ブロックのサイズは常に一定に設定される。構成ブロックの横方向及び縦方向の画素数は、例えば３画素に設定される。また、（Ｓ３０２）で第２視差情報取得部２４が抽出する抽出領域ＡＲは、構成ブロックと同じ行に位置し、横方向の中心がｉ列目となる領域である。

【0067】

したがって、本実施形態１によれば、第１固体撮像素子１４の出力に基づいて、第１撮影レンズ１２を通過した被写体Ｏからの光Ｌ１に基づく第１画像を取得するとともに、第２固体撮像素子１７の出力に基づいて、第１の第２レンズ側透光部１６ｃを通過した被写体Ｏからの光Ｌ２に基づく第２画像と、第２の第２レンズ側透光部１６ｄを通過した被写体Ｏからの光Ｌ３に基づく第３画像とを取得できる。したがって、三角形状をなす３つの地点から撮影された第１画像、第２画像、及び第３画像を取得するために、固体撮像素子を３つ設けなくてもよいので、三次元計測装置１を小型化するとともに、コストを削減できる。

【0068】

また、本実施形態１によれば、第１レンズ側透光部１３ｃと、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとを真円形としたので、楕円形とした場合に比べ、被写界深度を深くし、画像のボケを抑制することにより、得られる距離情報の精度を高められる。

【0069】

また、サブレンズ１８を、第１方向において、第２固体撮像素子１７の画素毎に設けたので、より少なく設けた場合よりも、第２画像及び第３画像の第１方向の解像度を高められる。

【0070】

（実施形態２）
図１２は、本開示の実施形態２に係る三次元計測装置１を示す。本実施形態２では、第１レンズ側遮蔽部１３が、液晶シャッターで構成されている。また、信号処理部２０が、第１レンズ側サイズ調整部としての液晶シャッター制御部５１をさらに備えている。また、フィルタ情報生成部２６が、前記均一光照射状態で第１固体撮像素子１４及び第２固体撮像素子１７によって出力される輝度値をメモリ４０に記憶させる。液晶シャッター制御部５２は、第１固体撮像素子１４及び第２固体撮像素子１７によって出力されてメモリ４０に記憶された輝度値に基づいて、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃの大きさを調整する。例えば、液晶シャッター制御部５１は、均一光照射状態で第１レンズ側透光部１３ｃを通過した光Ｌ１に基づく画素の輝度値の平均と、均一光照射状態で第１又は第２の第２レンズ側透光部１６ｃ，１６ｄを通過した光Ｌ２，Ｌ３に基づく画素の輝度値の平均とが等しくなるように、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃの大きさを調整する。第１レンズ側透光部１３ｃの大きさを大きくすることにより、第１固体撮像素子１４によって出力される全画素の輝度値の平均を大きくできる。本実施形態２では、信号処理部２０が、第１シェーディング補正部２１ａ、第２シェーディング補正部２２ｂ、及び第３シェーディング補正部２２ｃを備えていない。第１画像取得部２１は、第１固体撮像素子１４によって出力された複数の画素の輝度値を、第１画像として取得する。

【0071】

その他の構成及び動作は、実施形態１と同じであるので、同一の構成には同じ符号を付して、その詳細な説明を省略する。

【0072】

（実施形態２の変形例）
上記実施形態２では、第１レンズ側遮蔽部１３だけを液晶シャッターで構成したが、第２レンズ側遮蔽部１６だけを液晶シャッターで構成してもよい。そして、液晶シャッター制御部５１が、第１固体撮像素子１４及び第２固体撮像素子１７によって出力されてメモリ４０に記憶された輝度値に基づいて、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのうちの少なくとも一方の大きさを調整するようにしてもよい。つまり、液晶シャッター制御部５１が、第２レンズ側サイズ調整部を構成してもよい。また、第１レンズ側遮蔽部１３及び第２レンズ側遮蔽部１６の両方を液晶シャッターで構成し、液晶シャッター制御部５１が、メモリ４０に記憶された輝度値に基づいて、第１レンズ側遮蔽部１３の第１レンズ側透光部１３ｃの大きさと、第２レンズ側遮蔽部１６の第１及び第２の第２レンズ側透光部１６ｃ，１６ｄの大きさとを調整するようにしてもよい。

【0073】

また、実施形態１では、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄを通過した光を第２固体撮像素子１７に共通のタイミングで受光させた。しかし、第２レンズ側遮蔽部１６を液晶シャッターで構成した場合には、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのうちの一方だけを第２レンズ側遮蔽部１６に形成した状態で、第２固体撮像素子１７に撮像をさせ、その後、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのうちの他方だけを第２レンズ側遮蔽部１６に形成した状態で、第２固体撮像素子１７に撮像をさせることにより、第２画像及び第３画像を取得してもよい。

【0074】

（実施形態３）
図１３は、実施形態３に係る三次元計測装置１を示す。本実施形態３では、第１レンズ側遮蔽部１３が、液晶シャッターで構成されている。また、信号処理部２０が、第１レンズ側透光部１３ｃを前記第２方向に移動させる位置調整部としての液晶シャッター制御部５２をさらに備えている。液晶シャッター制御部５２は、第１レンズ側透光部１３ｃを、第２の第２レンズ側透光部１６ｄと第２方向（上下方向）に同じ図２に示す第１位置と、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄのいずれとも第２方向（上下方向）に異なる図１４に示す第２位置とに移動させることができる。

【0075】

また、距離情報取得部２５の視差情報合成部２５ａが、第１レンズ側透光部１３ｃを第２方向に異なる複数種類の位置に配置した状態での撮影により取得した複数の合成視差情報をさらに合成できる。例えば、視差情報合成部２５ａは、第１レンズ側透光部１３ｃを前記第１位置に配置した状態での撮影により取得した合成視差情報を、第１レンズ側透光部１３ｃを前記第２位置に配置した状態での撮影により取得した合成視差情報で補完できる。

【0076】

その他の構成及び動作は、実施形態１と同じであるので、同一の構成には同じ符号を付して、その詳細な説明を省略する。

【0077】

したがって、本実施形態３によれば、被写体Ｏと撮像装置１０との距離に応じた情報を、第１画像の全ての画素について、より確実に取得できる。

【0078】

（実施形態３の変形例）
上記実施形態３において、液晶シャッター制御部５２が、第１レンズ側透光部１３ｃを第１方向に移動させるようにしてもよい。また、第１レンズ側遮蔽部１３を実施形態１のようにガラス板１３ａ及び塗膜１３ｂで構成し、図１５に示すように、第１レンズ側遮蔽部１３を自動又は手動でｘ方向に回転させることにより、第１レンズ側透光部１３ｃを第１方向及び第２方向に移動させる回転機構を設けてもよい。

【0079】

これらの変形例によれば、第１レンズ側透光部１３ｃを第１方向に移動させることにより、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔を変更し、距離分解能を調整することができる。以下の式２において、構成ブロックに写った被写体Ｏと撮像装置１０との距離をｚ、視差をｄ、第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔をｂ、焦点距離をｆとする。

【0080】

Δｚ＝ｚ^２Δｄ／（ｆｂ＋ｚΔｄ）≒ｚ^２Δｄ／ｆｂ ・・・（式２）
式２より、ｂ、すなわち第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔を長くすることにより、距離分解能を向上できることがわかる。ｂ、すなわち第１レンズ側透光部１３ｃと第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとの第１方向の間隔は、例えば、１０～３０ｃｍに設定される。

【0081】

（その他の実施形態）
上記実施形態１～３及びそれらの変形例では、第１レンズ側透光部１３ｃと、第１及び第２の第２レンズ側透光部１６ｃ，１６ｄとを真円形としたが、楕円形としてもよい。

【0082】

上記実施形態１～３及びそれらの変形例では、サブレンズ１８を、サブレンズ１８を通過した光Ｌ２，Ｌ３の第２固体撮像素子１７における照射領域が、第１方向において１画素分、第２方向において２画素分に相当するように配設した。しかし、サブレンズ１８のレイアウトパターンは、これに限られない。例えば、サブレンズ１８を、サブレンズ１８を通過した光Ｌ２，Ｌ３の第２固体撮像素子１７における照射領域が、第１方向において２画素分、第２方向において２画素分に相当するように配設してもよい。

【0083】

また、上記実施形態１～３及びそれらの変形例では、（Ｓ３０３）において、類似度を算出したが、ＳＡＤ（sum of absolute differences）、ＳＳＤ（sum of square differences）等の相違度や、他の評価値を算出してもよい。（Ｓ３０３）において相違度を算出した場合には、（Ｓ３０５）において、最も相違度が小さい抽出領域ＡＲを対応ブロックとして特定すればよい。

【0084】

また、上記実施形態１～３及びそれらの変形例では、第１視差情報、第２視差情報、及び距離情報を画像情報としたが、画像情報でなくてもよい。また、第１視差情報及び第２視差情報は、第１画像を構成する１つの構成部分の位置と、第２画像又は第３画像におけるその対応ブロックの位置との距離を示す情報であってもよい。距離情報も、第１画像を構成する１つの構成部分に映った被写体Ｏと撮像装置１０との距離を示すものであってもよい。

【産業上の利用可能性】

【0085】

本開示は、三次元計測装置を小型化するとともに、コストを削減できる撮像装置及びそれを備えた三次元計測装置として有用である。

【符号の説明】

【0086】

１ 三次元計測装置
１０ 撮像装置
１２ 第１撮影レンズ
１３ 第１レンズ側遮蔽部
１３ｃ 第１レンズ側透光部
１４ 第１固体撮像素子
１５ 第２撮影レンズ
１６ 第２レンズ側遮蔽部
１６ｃ 第１の第２レンズ側透光部
１６ｄ 第２の第２レンズ側透光部
１７ 第２固体撮像素子
１８ サブレンズ
２１ 第１画像取得部
２２ 第２画像取得部
２３ 第１視差情報取得部
２４ 第２視差情報取得部
２５ 距離情報取得部
ＥＰ１ 第１エピポーラ線
ＥＰ２ 第２エピポーラ線
Ｏ 被写体
Ｌ１、Ｌ２、Ｌ３ 光

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】