特許 6831792 撮像装置、および、撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6831792

(24)【登録日】2021年2月2日

(45)【発行日】2021年2月17日

(54)【発明の名称】撮像装置、および、撮像システム

(51)【国際特許分類】

   G01C 3/06 20060101AFI20210208BHJP

   H04N 5/225 20060101ALI20210208BHJP

   H04N 5/232 20060101ALI20210208BHJP

【ＦＩ】

   G01C3/06 110V

   G01C3/06 140

   H04N5/225 100

   H04N5/232 290

【請求項の数】4

【全頁数】20

(21)【出願番号】特願2017-551755(P2017-551755)

(86)(22)【出願日】2016年9月28日

(86)【国際出願番号】JP2016078555

(87)【国際公開番号】WO2017086027

(87)【国際公開日】20170526

【審査請求日】2019年9月17日

(31)【優先権主張番号】特願2015-224023(P2015-224023)

(32)【優先日】2015年11月16日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】田中 幸也

【審査官】 九鬼 一慶

(56)【参考文献】

【文献】 国際公開第２０１３／１４６２６９（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１６５００６（ＷＯ，Ａ１）

【文献】 中国特許出願公開第１０３７８０８９５（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／０６

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と、
一対の撮像レンズと
を具備し、
前記一対の撮像レンズの一方は、光を集光して前記一対の撮像素子の一方に導き、
前記一対の撮像レンズの他方は、光を集光して前記一対の撮像素子の他方に導き、
前記測距部は、前記一対の画像の一方の他方に対する歪み量から前記距離を測定し、
前記歪み量は、前記一対の撮像レンズのそれぞれの歪曲収差による歪み量である
撮像装置。

【請求項2】

前記測距部は、前記一対の画像の一方における第１の特徴点と前記一対の画像の他方における前記第１の特徴点に対応する第２の特徴点とを求め、前記第１および第２の特徴点の一方を中心とする一定形状の領域と前記第１および第２の特徴点の他方を中心とする一定形状の領域との差を前記歪み量として測定する
請求項１記載の撮像装置。

【請求項3】

鏡筒をさらに具備し、
前記一対の撮像素子の一方の前記受光面は、前記鏡筒の底面に平行である
請求項１または２記載の撮像装置。

【請求項4】

それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と、
前記測定された距離と前記一対の画像とに基づいて前記対象物の形状を認識する処理を行う処理部と、
一対の撮像レンズと
を具備し、
前記一対の撮像レンズの一方は、光を集光して前記一対の撮像素子の一方に導き、
前記一対の撮像レンズの他方は、光を集光して前記一対の撮像素子の他方に導き、
前記測距部は、前記一対の画像の一方の他方に対する歪み量から前記距離を測定し、
前記歪み量は、前記一対の撮像レンズのそれぞれの歪曲収差による歪み量である
撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮像装置、および、撮像システムに関する。詳しくは、対象物までの距離を測定する撮像装置、および、撮像システムに関する。

【背景技術】

【0002】

従来より、ステレオ画像の撮像などの目的で、一対の撮像素子を設けた２眼の撮像装置が用いられている。この２眼の撮像装置では、一対の撮像素子の一方で得られた像と他方で得られた像との間に視差により像ずれ量が生じる。この像ずれ量は、対象物までの距離に応じて変化することが知られているため、この像ずれ量から距離を算出することができる。例えば、それぞれの受光面に垂直な光軸が平行になるように一対の撮像素子を配置し、所定の関係式を使用して像ずれ量Ｚから対象物までの距離Ｄを測定する撮像装置が提案されている（例えば、特許文献１参照。）。この関係式において、像ずれ量Ｚは、一対の撮像素子の間の間隔（以下、「基線長」と称する。）Ｂが大きいほど大きくなり、また、距離Ｄが遠いほど小さくなる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４６９１５０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の従来技術では、距離Ｄが遠くなるほど像ずれ量Ｚが小さくなり、測距精度が低下するおそれがある。前述したように基線長Ｂを大きくすれば、像ずれ量Ｚを相対的に大きくして測距精度を向上させることができるが、基線長Ｂを大きくすると装置が大型化するおそれがある。このように、装置の小型化と測距精度の向上とを両立することが困難である。

【0005】

本技術はこのような状況に鑑みて生み出されたものであり、対象物までの距離を測定する装置において装置の小型化と測距精度の向上とを両立することを目的とする。

【課題を解決するための手段】

【0006】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、上記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部とを具備する撮像装置である。これにより、一対の画像から得られた視差に基づいて距離が測定されるという作用をもたらす。

【0007】

また、この第１の側面において、光を集光して上記一対の撮像素子に導く撮像レンズをさらに具備してもよい。これにより、１枚の撮像レンズにより集光された光を受光する一対の撮像レンズにより、一対の画像が撮像されるという作用をもたらす。

【0008】

また、この第１の側面において、一対の撮像レンズをさらに具備し、上記一対の撮像レンズの一方は、光を集光して上記一対の撮像素子の一方に導き、上記一対の撮像レンズの他方は、光を集光して上記一対の撮像素子の他方に導いてもよい。これにより、一対の撮像レンズにより集光された光を受光する一対の撮像レンズにより、一対の画像が撮像されるという作用をもたらす。

【0009】

また、この第１の側面において、鏡筒をさらに具備し、上記一対の撮像素子の一方の上記受光面は、上記鏡筒の底面に平行であってもよい。これにより、一方の受光面が、鏡筒の底面に平行な一対の撮像素子により画像が撮像されるという作用をもたらす。

【0010】

また、この第１の側面において、上記測距部は、上記一対の画像の一方と他方との間の像ずれ量から上記距離を測定してもよい。これにより、像ずれ量から距離が測定されるという作用をもたらす。

【0011】

また、この第１の側面において、上記測距部は、上記一対の画像の一方の他方に対する歪み量から上記距離を測定してもよい。これにより、一対の画像の一方の他方に対する歪み量から距離が測定されるという作用をもたらす。

【0012】

また、本技術の第２の側面は、それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、上記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と、上記測定された距離と上記一対の画像とに基づいて上記対象物の形状を認識する処理を行う処理部とを具備する撮像システムである。これにより、一対の画像から得られた視差に基づいて距離が測定されるという作用をもたらす。

【発明の効果】

【0013】

本技術によれば、対象物までの距離を測定する装置において装置の小型化と測距精度の向上とを両立することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0014】

【図1】本技術の第１の実施の形態における電子装置の外観図の一例である。

【図2】本技術の第１の実施の形態における電子装置の一構成例を示すブロック図である。

【図3】本技術の第１の実施の形態における演算処理部の一構成例を示すブロック図である。

【図4】本技術の第１の実施の形態における光学系の一構成例を示す上面図である。

【図5】本技術の第１の実施の形態におけるレンズの傾きと視差との間の関係について説明するための図である。

【図6】本技術の第１の実施の形態における視差から距離を算出する方法について説明するための図である。

【図7】本技術の第１の実施の形態における左側画像データおよび右側画像データの一例を示す図である。

【図8】本技術の第１の実施の形態における距離誤差について説明するための図である。

【図9】本技術の第１の実施の形態における電子装置の動作の一例を示すフローチャートである。

【図10】本技術の第１の実施の形態の第１の変形例における光学系の一構成例を示す上面図である。

【図11】本技術の第１の実施の形態の第２の変形例における電子装置の一構成例を示すブロック図である。

【図12】本技術の第１の実施の形態の第２の変形例における演算処理部の一構成例を示すブロック図である。

【図13】本技術の第１の実施の形態の第２の変形例における左側画像データおよび右側画像データの一例を示す図である。

【図14】本技術の第２の実施の形態における光学系の一構成例を示す上面図である。

【図15】本技術の第２の実施の形態の変形例における光学系の一構成例を示す上面図である。

【図16】本技術の第３の実施の形態における情報処理システムの外観図の一例である。

【図17】本技術の第３の実施の形態における情報処理システムの一構成例を示すブロック図である。

【図18】本技術の第３の実施の形態におけるカメラモジュールの一構成例を示すブロック図である。

【図19】本技術の第３の実施の形態における演算処理部の一構成例を示すブロック図である。

【図20】本技術の第３の実施の形態の変形例における情報処理システムの一構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（光軸が互いに交差する一対の撮像素子を設ける例）
２．第２の実施の形態（レンズが１つの光学系に光軸が互いに交差する一対の撮像素子を設ける例）
３．第３の実施の形態（光軸が互いに交差する一対の撮像素子を設けたカメラモジュールを装置の外部に配置する例）

【0016】

＜１．第１の実施の形態＞
［電子装置の構成例］
図１は、第１の実施の形態における電子装置１００の外観図の一例である。この電子装置１００としては、例えば、スマートフォンやタブレット端末などの、撮像機能を持つモバイル機器が想定される。電子装置１００のディスプレイが設けられた正面には、一定の間隔を空けて標準レンズ１２１および１２２が配置される。なお、電子装置１００の正面でなく、ディスプレイの設けられていない背面に標準レンズ１２１および１２２を配置してもよい。

【0017】

標準レンズ１２１および１２２は、光を集光して撮像素子に導くレンズである。これらのレンズの画角は、一定値（例えば、６０度）以下である。

【0018】

なお、標準レンズ１２１および１２２は、特許請求の範囲に記載の撮像レンズの一例である。また、電子装置１００は、特許請求の範囲に記載の撮像装置の一例である。

【0019】

図２は、第１の実施の形態における電子装置１００の一構成例を示すブロック図である。この電子装置１００は、カメラモジュール１１０および演算処理部１５０を備える。このカメラモジュール１１０は、標準レンズ１２１および１２２と、撮像素子１３１および１３２と、同期制御部１４０とを備える。

【0020】

撮像素子１３１は、標準レンズ１２１からの光を光電変換して画像データを撮像するものである。撮像素子１３２は、標準レンズ１２２からの光を光電変換して画像データを撮像するものである。これらの撮像素子は、受光面に二次元格子状に配列された複数の光電変換素子を含む。また、これらの撮像素子１３１および１３２は、それぞれの受光面に垂直な光軸が互いに交差するように配置される。ただし、図２においては、記載の便宜上、実装と異なり、それぞれの光軸を平行としている。

【0021】

ここで、標準レンズ１２１および撮像素子１３１は、電子装置１００の背面から見て、右側に配置され、標準レンズ１２２および撮像素子１３２は左側に配置される。撮像素子１３１は、撮像した画像データを右側画像データとして演算処理部１５０に信号線１１８を介して供給する。一方、撮像素子１３２は、撮像した画像データを左側画像データとして演算処理部１５０に信号線１１９を介して供給する。これらの右側画像データおよび左側画像データのそれぞれは、二次元格子状に配列された複数の画素を含む。

【0022】

同期制御部１４０は、撮像素子１３１および１３２の撮像動作を同期させるものである。例えば、ジェスチャ認識を行うためのアプリケーションが実行されると、同期制御部１４０は、一定の周波数の垂直同期信号の生成を開始する。同期制御部１４０は、その垂直同期信号を撮像素子１３１および１３２に信号線１４８および１４９を介して送信する。そして、撮像素子１３１および１３２は、その共通の垂直同期信号に同期して撮像を行う。

【0023】

なお、同期制御部１４０をカメラモジュール１１０の内部に配置しているが、その外部に配置してもよい。また、静止した物体の撮像しか想定されない場合には、同期制御部１４０を設けない構成とすることもできる。なお、標準レンズ１２１および１２２と、撮像素子１３１および１３２とを同一のカメラモジュールに配置しているが、これらを複数のモジュールに分散して配置してもよい。例えば、標準レンズ１２１および撮像素子１３１を右側カメラモジュールに配置し、標準レンズ１２２および撮像素子１３２を左側カメラモジュールに配置してもよい。

【0024】

演算処理部１５０は、左側画像データおよび右側画像データに基づいて所定の演算処理を行うものである。この演算処理は、左側画像データと右側画像データとの像ずれ量から距離を測定する処理を含む。

【0025】

なお、電子装置１００は、二次元格子状に光電変換素子が配列された撮像素子１３１および１３２で得られたデータに基づいて測距しているが、直線状に光電変換素子が配置された一対の撮像素子で得られたデータに基づいて測距してもよい。このように光電変換素子が直線状に配置された撮像素子は、リニアイメージセンサとも呼ばれる。一対のリニアイメージセンサを設ける場合には、撮像素子１３１および１３２を設けなくてもよいし、それらをリニアイメージセンサと別途に設けてもよい。

【0026】

［演算処理部の構成例］
図３は、第１の実施の形態における演算処理部１５０の一構成例を示すブロック図である。この演算処理部１５０は、特徴点抽出部１５１、像ずれ量取得部１５２、測距部１５３およびＵＩ（User Interface）処理部１５４を備える。

【0027】

特徴点抽出部１５１は、左側画像データおよび右側画像データのそれぞれにおいて、特徴点を抽出するものである。ここで、特徴点は、エッジの交点（コーナー）など、色彩や輝度が大きく変化する部分を意味する。

【0028】

特徴点を抽出するアルゴリズムとして、例えば、「金澤 靖、他１名、"解説 コンピュータビジョンのための画像の特徴点の抽出"、電子情報通信学会誌Ｖｏｌ．８７，Ｎｏ．１２，２００４」に記載のものが用いられる。このアルゴリズムでは、一階微分とガウス平滑化の組合せによりＨａｒｒｉｓ作用素が特徴点として抽出される。または、輝度値の各方向の分散を直接に評価するＭｏｒａｖｅｃ作用素が特徴点として抽出される。あるいは、円形マスクを用いてマスク中の任意の閾値以上の画素数をカウントするＳＵＳＡＮ（Smallest Univalue Segment Assimilating Nucleus）オペレータにより特徴点が抽出される。なお、特徴点を抽出することができるものであれば、上述とは異なるアルゴリズムを用いてもよい。

【0029】

特徴点抽出部１５１は、左側画像データおよび右側画像データのそれぞれについて、画像内の特徴点の座標と特徴点を識別する識別情報とを特徴点ごとに含む特徴点情報を生成し、像ずれ量取得部１５２およびＵＩ処理部１５４に供給する。

【0030】

像ずれ量取得部１５２は、特徴点情報に基づいて、左側画像データと右側画像データとの像ずれ量を取得するものである。この像ずれ量取得部１５２は、例えば、左側画像データにおける特徴点の少なくとも１つについて、その特徴点に対応する右側画像データ内の特徴点を求める。

【0031】

対応する特徴点を求める（言い換えれば、マッチングをする）際に、像ずれ量取得部１５２は、例えば、特徴点を中心とする一定形状（円など）の領域の特徴量を特徴点ごとに求め、それらの特徴量の類似度が一定値より高い特徴点同士を対応付ける。特徴量として、例えば、輝度勾配の方向を示すベクトルが求められる。なお、像ずれ量取得部１５２は、この方式以外のアルゴリズムにより、マッチングを行ってもよい。

【0032】

そして、像ずれ量取得部１５２は、対応する特徴点のペアごとに、対応する特徴点の間の距離（ユークリッド距離など）を像ずれ量Ｚとして算出し、測距部１５３に供給する。

【0033】

測距部１５３は、特徴点ごとに、像ずれ量Ｚから距離Ｄを測定するものである。測距部１５３は、測定した距離ＤをＵＩ処理部１５４に供給する。なお、像ずれ量取得部１５２は、特徴点についてのみ距離Ｄを算出しているが、画素の全てについて距離Ｄを算出してもよい。

【0034】

ＵＩ処理部１５４は、特徴点毎の座標と距離Ｄとに基づいてユーザインターフェースに関する入力処理を行うものである。例えば、ＵＩ処理部１５４は、特徴点毎の座標と距離Ｄとから人体の形状を認識し、その形状、または、その形状の時間的変化をジェスチャとして検知する。ＵＩ処理部１５４は、検知したジェスチャに対応する入力処理を実行する。例えば、「右手を左右に振る」というジェスチャについて、画面を移動（スワイプ）させるというスワイプ処理を予め対応付けておき、ＵＩ処理部１５４は、そのジェスチャの認識時にスワイプ処理を行う。なお、ＵＩ処理部１５４は、特許請求の範囲に記載の処理部の一例である。

【0035】

なお、演算処理部１５０は、マッチングした特徴点から像ずれ量Ｚを求めているが、別の手法により像ずれ量Ｚを求めてもよい。像ずれ量取得部１５２は、例えば、フーリエ変換を用いる位相限定相関(ＰＯＣ: Phase Only Correlation)法を用いて、像ずれ量Ｚを求めてもよい。このＰＯＣ法を用いる場合には、測距において特徴点の抽出が不要となる。

【0036】

また、演算処理部１５０は、距離ＤをＵＩ処理に用いているが、他の処理に用いてもよい。例えば、ＡＦ（Auto Focus）処理や、デプスマップの生成処理に用いてもよい。

【0037】

［光学系の構成例］
図４は、第１の実施の形態における光学系の一構成例を示す上面図である。この光学系は、標準レンズ１２１および１２２と、撮像素子１３１および１３２と、鏡筒１０１および１０２を備える。鏡筒１０１の中に、標準レンズ１２１および撮像素子１３１が配置され、鏡筒１０２の中に、標準レンズ１２２および撮像素子１３２が配置される。同図は、この光学系を、電子装置１００のディスプレイの面に平行な所定の方向から見た上面図である。

【0038】

標準レンズ１２１は、そのレンズ面が撮像素子１３１の受光面と略平行になるように配置される。また、標準レンズ１２２は、そのレンズ面が撮像素子１３２の受光面と略平行になるように配置される。

【0039】

また、撮像素子１３１および１３２は、それぞれの受光面に垂直な光軸が互いに交差するように配置される。例えば、鏡筒１０１の底面と撮像素子１３１の受光面とが所定の角度をなすように撮像素子１３１が配置され、鏡筒１０２の底面と撮像素子１３２の受光面とが所定の角度をなすように撮像素子１３２が配置される。

【0040】

また、撮像素子１３１および１３２のそれぞれの代表点（例えば、受光面の中心）の位置は、ディスプレイの表面に垂直な方向（以下、「奥行き方向」と称する。）において等位であることが望ましい。

【0041】

また、奥行き方向に垂直な方向における、撮像素子１３１および１３２のそれぞれの代表点の距離を基線長Ｂ_ｃｒｏｓｓとする。この基線長Ｂ_ｃｒｏｓｓの間隔で配置された撮像素子１３１および１３２のそれぞれから、ある対象物５００を見たときの角度は、左側の撮像素子１３２と右側の撮像素子１３１との間で異なり、この角度の差は視差と呼ばれる。この視差により像ずれ量Ｚが生じる。この像ずれ量Ｚ（視差）は、標準レンズ１２１および１２２から奥行き方向における所定の対象物５００までの距離Ｄに応じて変化する。このため、像ずれ量Ｚから距離Ｄを求めることができる。一般に、基線長Ｂの一対の撮像素子から得られた像ずれ量Ｚと距離Ｄとの間には、次の式に示す関係式が成立する。
Ｄ＝ｆ×Ｂ／Ｚ ・・・式１
上式において、ｆは、標準レンズ１２１および１２２の焦点距離を示す。また、距離Ｄ、焦点距離ｆおよび基線長Ｂの単位は、例えば、メートル（ｍ）である。

【0042】

図５は、第１の実施の形態におけるレンズの傾きと視差との間の関係について説明するための図である。同図におけるａは、それぞれの光軸が平行になるように撮像素子１３１および１３２を配置した比較例の光学系の上面図である。この構成で、奥行き方向に垂直な方向における、撮像素子１３１の中心座標Ｘ１と撮像素子１３２の中心座標Ｘ２との間の距離を基線長Ｂ_ｐａｒａとする。この基線長Ｂ_ｐａｒａは、基線長Ｂ_ｃｒｏｓｓより長いものとする。また、ある対象物５００と撮像素子１３１の中心とを結ぶ直線に対して受光面のなす角度（言い換えれば、撮像素子１３１から対象物を見た際の角度）をＲ_ｐａｒａとする。

【0043】

図５におけるｂは、撮像素子１３１を傾斜させた場合の光学系の上面図である。奥行き方向に垂直な方向に対して、撮像素子１３１の受光面を傾斜角Ｒ_ｔｉｌｔだけ傾斜させた構成を想定する。そして、傾斜させた撮像素子１３１を撮像素子１３２の方へ平行移動し、ある位置Ｘ３で撮像素子１３１から対象物５００を見た角度がＲ_ｐａｒａになったものとする。この位置Ｘ３では、撮像素子１３１から対象物５００を見た角度が傾斜前と同じであるため、撮像素子１３１には、同図におけるａと同じ像が結像される。

【0044】

図６は、第１の実施の形態における視差から距離を算出する方法について説明するための図である。図５におけるｂの状態で撮像素子１３２をさらに撮像素子１３１と逆方向に傾斜角Ｒ_ｔｉｌｔだけ傾斜させ、撮像素子１３１と同じ距離だけ逆方向に平行移動させた構成を想定する。この位置Ｘ４では、撮像素子１３２から対象物５００を見た角度が傾斜前と同じになるため、撮像素子１３２には、図５の傾斜前と同じ像が結像される。この傾斜後のＸ３とＸ４との間の距離を基線長Ｂ_ｃｒｏｓｓとする。この基線長Ｂ_ｃｒｏｓｓが基線長Ｂ_ｐａｒａよりも短くなるにも関わらず、撮像素子１３１および１３２には傾斜前と同じ像が結像されるため、像ずれ量Ｚは傾斜前と同じである。像ずれ量Ｚが同一であるため、撮像素子１３１および１３２を傾斜させない場合と、それらを傾斜させた場合とで測距精度は同等である。

【0045】

このように、撮像素子１３１および１３２を傾斜させて光軸を交差させると、測距精度を低下させずに、基線長を短くすることができる。これにより、電子装置１００を小型化することができる。また、仮に、基線長Ｂ_ｃｒｏｓｓのままで光軸が平行になるように撮像素子１３１および１３２を配置すると、像ずれ量Ｚが小さくなり測距精度が低下する。すなわち、撮像素子１３１および１３２の光軸を交差させると、光軸が平行な場合と比較して、基線長を変えずに像ずれ量ＺをＢ_ｐａｒａ／Ｂ_ｃｒｏｓｓ倍にすることができる。これにより、測距精度を向上させることができる。このように、電子装置１００の小型化と、測距精度の向上とを両立することができる。

【0046】

基線長Ｂ_ｐａｒａは、傾斜角Ｒ_ｔｉｌｔおよび基線長Ｂ_ｃｒｏｓｓから三角関数を用いて算出することができる。測距部１５３は、予め算出しておいた基線長Ｂ_ｐａｒａを式１に適用した次の式を用いて距離Ｄを算出する。
Ｄ＝ｆ×Ｂ_ｐａｒａ／Ｚ ・・・式２

【0047】

図７は、第１の実施の形態における左側画像データおよび右側画像データの一例を示す図である。同図におけるａは、左側画像データ５１０の一例であり、同図におけるｂは右側画像データ５２０の一例である。これらの画像データにおける黒丸は、特徴点を示す。

【0048】

特徴点抽出部１５１は、左側画像データ５１０において、特徴点５１１などを抽出し、右側画像データ５２０において特徴点５２１などを抽出する。そして、像ずれ量取得部１５２は、特徴点のマッチングを行う。例えば、左側画像データの特徴点５１１について、右側画像データの特徴点５２１が対応付けられたものとする。像ずれ量取得部１５２は、これらの対応する一対の特徴点の間の距離を像ずれ量Ｚとして取得する。

【0049】

図８は、第１の実施の形態における距離誤差について説明するための図である。同図におけるａは、光軸を平行にして一対の撮像素子を配置した比較例における距離誤差の一例を示す図である。同図において、放射線状の実線は、撮像素子に入射される光の光路を示す。それぞれの光路と、受光面とのなす角度は、互いにｄＲずつ異なるものとする。また、白丸５０１および５０２は、測距対象の物体を示す。白丸５０１を測距する際に、撮像素子の一方から見た際の角度±ｄＲ程度の視差の変化では、像ずれ量Ｚに変化がほとんど生じないとすると、この±ｄＲに対応する距離誤差が生じる。例えば、角度＋ｄＲに対応する黒丸５０３から角度−ｄＲに対応する黒丸５０４までの距離誤差ｄＤ_ｐａｒａ１が生じる。また、白丸５０２についても、距離誤差ｄＤ_ｐａｒａ２が生じる。

【0050】

図８におけるｂは、光軸が交差する撮像素子１３１および１３２を配置した光学系における距離誤差の一例を示す図である。白丸５０１および５０２の位置は、同図におけるａと同じであるものとする。光軸を交差させると、同図におけるｂに例示するように、角度＋ｄＲに対応する黒丸５０３と角度−ｄＲに対応する黒丸５０４との距離が近くなるため、白丸５０１を測距時の距離誤差はｄＤ_ｐａｒａ１からｄＤ_ｃｒｏｓｓ１に低下する。また、白丸５０２を測距時の距離誤差もｄＤ_ｐａｒａ２からｄＤ_ｃｒｏｓｓ２に低下する。このように、光軸を交差させることで、交差させない構成と比較して測距精度が向上する。

【0051】

［電子装置の動作例］
図９は、第１の実施の形態における電子装置１００の動作の一例を示すフローチャートである。この動作は、例えば、ユーザインターフェース処理を行うための所定のアプリケーションが実行されたときに開始する。

【0052】

電子装置１００は、左側画像データおよび右側画像データを撮像し（ステップＳ９０１）、それらの画像データにおいて特徴点の抽出を行う（ステップＳ９０２）。電子装置１００は、特徴点のマッチングを行い、対応する一対の特徴点の間の距離を像ずれ量Ｚとして取得する（ステップＳ９０３）。そして、電子装置１００は、像ずれ量Ｚから式２を用いて距離Ｄを測定する（ステップＳ９０４）。電子装置１００は、求めた距離Ｄと、特徴点の座標とに基づいてユーザインターフェース処理を行う（ステップＳ９０５）。ステップＳ９０５の後に、電子装置１００は、ステップＳ９０１以降を繰り返し実行する。

【0053】

このように、本技術の第１の実施の形態によれば、光軸が互いに交差するように撮像素子１３１および１３２を配置したため、光軸が平行になるように配置した構成と比較して像ずれ量を大きくすることができる。これにより、測距精度を向上させることができる。また、測距精度を低下させずに、基線長を小さくすることができるため、装置を小型化することができる。

【0054】

［第１の変形例］
上述の第１の実施の形態では、鏡筒１０１および１０２の底面に対して、撮像素子１３１および１３２の両方を傾斜させていた。しかし、傾斜させて配置するには、鏡筒と撮像素子との間に、傾斜した撮像素子を支持する支持部材などを設ける必要があり、部品点数が増大するおそれがある。また、傾斜させて配置する際に、位置ずれが生じるおそれがある。この第１の実施の形態の第１の変形例の電子装置１００は、光学系の部品点数の増大や位置ずれを抑制する点において第１の実施の形態と異なる。

【0055】

図１０は、第１の実施の形態の第１の変形例における光学系の一構成例を示す上面図である。この第１の変形例の光学系は、標準レンズ１２２のレンズ面と撮像素子１３２の受光面とが、鏡筒１０２の底面に平行になるように、標準レンズ１２２および撮像素子１３２が配置される点において第１の実施の形態と異なる。これにより、撮像素子１３２については支持部材が不要となるため、光学系の部品点数の増大を抑制することができる。また、撮像素子１３２の位置ずれの発生を抑制することができる。さらに、鏡筒１０２の底面に平行に配置した撮像素子１３２を、動画や静止画を撮像する際のメインカメラに兼用することができる。例えば、測距せずに動画や静止画を撮像する際には、撮像素子１３２のみを用いればよい。

【0056】

このように、本技術の第１の実施の形態の第１の変形例によれば、一対の撮像素子の一方の受光面を鏡筒１０２の底面に平行になるように配置したため、光学系の部品点数の増大や位置ずれを抑制することができる。

【0057】

［第２の変形例］
上述の第１の実施の形態では、撮像素子１３１および１３２を傾斜させて、像ずれ量Ｚを相対的に大きくしていたが、距離Ｄが遠いと、像ずれ量Ｚを増大させても測距精度が不十分になるおそれがある。ここで、画角が比較的大きな広角レンズでは、画像データの周辺部分などで、実際の形状と比較して像が歪む現象（歪曲収差）が生じることが知られている。この歪曲収差による同一物体についての歪み量は、左側画像データと右側画像データとで異なることがある。これは、立体的な物体を異なる角度から見ると、その形状が変化するためである。この歪み量は、物体までの距離が近いほど大きくなるため、歪み量から距離を測定することができる。像ずれ量Ｚがほとんどなくとも、物体が立体的であれば、視差により左側画像データと右側画像データとで歪み量に差が生じることがあるため、この歪み量（視差）を考慮することにより、測距精度を向上させることができる。この第１の実施の形態の第２の変形例の電子装置１００は、歪み量を用いて測距精度を向上させた点において第１の実施の形態と異なる。

【0058】

図１１は、第１の実施の形態の第２の変形例における電子装置１００の一構成例を示すブロック図である。この第２の変形例の電子装置１００は、標準レンズ１２１および１２２の代わりに広角レンズ１２３および１２４を備える点において第１の実施の形態と異なる。

【0059】

広角レンズ１２３および１２４は、画角が一定値（例えば、６０度）より大きなレンズである。

【0060】

図１２は、第１の実施の形態の第２の変形例における演算処理部１５０の一構成例を示すブロック図である。この第２の変形例の演算処理部１５０は、歪み量取得部１５５をさらに備える点において第１の実施の形態と異なる。

【0061】

歪み量取得部１５５は、左側画像データおよび右側画像データの一方に対する他方の歪み量を取得するものである。この歪み量取得部１５５は、像ずれ量取得部１５２から、特徴点の対応関係を含む特徴点情報を受け取り、撮像素子１３１および１３２から左側画像データおよび右側画像データを受け取る。そして、歪み量取得部１５５は、対応する一対の特徴点の一方を中心とする一定形状（円など）の領域と、他方を中心とする一定形状の領域との差を歪み量Ｓとして求める。領域同士の差は、例えば、対応する画素値の差分の絶対値の総和（ＳＡＤ：Sum of Absolute Difference）や、画素値の差分の二乗和（ＳＳＤ：um of Squared Difference）により表される。歪み量取得部１５５は、特徴点ごとに歪み量Ｓを求め、測距部１５３に供給する。

【0062】

なお、特徴点のマッチングは、歪み量取得部１５５で行い、像ずれ量取得部１５２に特徴点の対応関係を通知してもよい。または、マッチングを行う回路やプログラムを歪み量取得部１５５または像ずれ量取得部１５２から分離し、その回路等を歪み量取得部１５５および像ずれ量取得部１５２で共有してもよい。

【0063】

また、第２の変形例の測距部１５３は、像ずれ量Ｚと歪み量Ｓとから距離Ｄを測定する。測距部１５３は、例えば、歪み量Ｓが大きいほど近い距離Ｄｓを出力する所定の関数により距離Ｄｓを求め、像ずれ量Ｚから式２により距離をＤｚとして求める。そして、距離Ｄｓと距離Ｄｚとの差異が一定の許容値を超える場合には、距離Ｄｓを選択して距離ＤとしてＵＩ処理部１５４に供給する。一方、距離Ｄｓと距離Ｄｚとの差異が許容値以内である場合には、測距部１５３は、それらの平均や重み付け加算値などを距離ＤとしてＵＩ処理部１５４に供給する。

【0064】

なお、測距部１５３は、像ずれ量Ｚと歪み量Ｓとから距離Ｄを測定しているが、歪み量Ｓのみから距離Ｄを測定することもできる。

【0065】

図１３は、第１の実施の形態の第２の変形例における左側画像データおよび右側画像データの一例を示す図である。同図におけるａは、第２の変形例における左側画像データ５３０の一例であり、同図におけるｂは、第２の変形例における右側画像データ５４０の一例である。これらの画像データにおける黒丸は、特徴点を示す。同図におけるａおよびｂに例示するように、一対の画像データのそれぞれについて歪みが生じており、その歪み量は、それぞれの画像データにおいて異なる。

【0066】

特徴点抽出部１５１は、左側画像データ５３０において、特徴点５３１などを抽出し、右側画像データ５４０において特徴点５４１などを抽出する。そして、像ずれ量取得部１５２は、特徴点のマッチングを行う。例えば、左側画像データの特徴点５３１について、右側画像データの特徴点５４１が対応付けられたものとする。

【0067】

また、歪み量取得部１５５は、特徴点５３１の周囲の領域５３２と、対応する特徴点５４１の周囲の領域５４２との間の差を歪み量Ｓとして取得する。この歪み量Ｓから距離が求められる。

【0068】

このように、本技術の第１の実施の形態の第２の変形例によれば、電子装置１００は、一対の画像の一方に対する他方の歪み量から距離を測定するため、測距精度を向上させることができる。

【0069】

＜２．第２の実施の形態＞
上述の第１の実施の形態では、撮像素子１３１および１３２のそれぞれに、標準レンズを設ける必要があったため、一眼の構成と比較して光学系の部品点数が増大してしまう。この第２の実施の形態の電子装置１００は、光学系の部品点数の増大を抑制する点において第１の実施の形態と異なる。

【0070】

図１４は、第２の実施の形態における光学系の一構成例を示す上面図である。この第２の実施の形態の光学系は、鏡筒１０２および標準レンズ１２２を設けない点において第１の実施の形態と異なる。

【0071】

また、第２の実施の形態では、鏡筒１０１内に標準レンズ１２１と撮像素子１３１および１３２とが設けられる。そして、標準レンズ１２１は、撮像素子１３１および１３２に共有され、それらの撮像素子は、いずれも標準レンズ１２１からの光を受光する。標準レンズ１２１は、そのレンズ面が鏡筒１０１の底面と平行になるように配置され、撮像素子１３１および１３２は、その受光面が鏡筒１０１の底面に対して傾斜するように配置される。

【0072】

なお、標準レンズ１２１と撮像素子１３１および１３２とを同一のカメラモジュール１１０に配置しているが、別々のモジュールやユニットに配置してもよい。例えば、標準レンズ１２１をレンズユニットに配置し、撮像素子１３１および１３２をカメラモジュールやカメラユニットに配置してもよい。

【0073】

このように、本技術の第２の実施の形態によれば、標準レンズを１枚のみとしたため、標準レンズを２枚設ける構成と比較して光学系の部品点数を削減することができる。

【0074】

［変形例］
上述の第２の実施の形態では、鏡筒１０１の底面に対して、撮像素子１３１および１３２の両方を傾斜させていた。しかし、傾斜させて配置するには、鏡筒１０１と撮像素子１３１等との間に支持部材などを設ける必要があり、部品点数が増大するおそれがある。また、傾斜させて配置する際に、位置ずれが生じるおそれがある。この第１の実施の形態の第１の変形例の電子装置１００は、光学系の部品点数の増大や位置ずれを抑制する点において第１の実施の形態と異なる。

【0075】

図１５は、第２の実施の形態の変形例における光学系の一構成例を示す上面図である。この変形例の光学系は、撮像素子１３２の受光面が、鏡筒１０１の底面に平行になるように、撮像素子１３２が配置される点において第２の実施の形態と異なる。これにより、撮像素子１３２については支持部材が不要となるため、光学系の部品点数の増大を抑制することができる。また、撮像素子１３２の位置ずれの発生を抑制することができる。さらに、鏡筒１０１の底面に平行に配置した撮像素子１３２を、動画や静止画を撮像する際のメインカメラに兼用することができる。例えば、測距せずに動画や静止画を撮像する際には、撮像素子１３２のみを用いればよい。

【0076】

このように、本技術の第２の実施の形態の変形例によれば、一対の撮像素子の一方の受光面を鏡筒１０１の底面に平行になるように配置したため、光学系の部品点数の増大や位置ずれを抑制することができる。

【0077】

＜３．第３の実施の形態＞
上述の第１の実施の形態では、カメラモジュール１１０および演算処理部１５０を、同一の装置（電子装置１００）に配置していたが、これらを別々の装置に分散して配置することもできる。この第３の実施の形態のシステムは、カメラモジュールを演算処理部とは別の装置に配置した点において第１の実施の形態と異なる。なお、情報処理システムは、特許請求の範囲に記載の撮像システムの一例である。

【0078】

図１６は、第３の実施の形態における情報処理システムの外観図の一例である。この情報処理システムは、カメラユニット２００と情報処理装置３００とを含む。情報処理装置３００としては、例えば、ノート型やデスクトップ型のパーソナルコンピュータが想定される。

【0079】

図１７は、第３の実施の形態における情報処理システムの一構成例を示すブロック図である。カメラユニット２００にはカメラモジュール２１０が配置され、情報処理装置３００には演算処理部３１０が配置される。

【0080】

図１８は、第３の実施の形態におけるカメラモジュール２１０の一構成例を示すブロック図である。このカメラモジュール２１０は、標準レンズ２２１および２２２と、撮像素子２３１および２３２と、同期制御部２４０とを含む。標準レンズ２２１および２２２と、撮像素子２３１および２３２と、同期制御部２４０との構成は、第１の実施の形態における標準レンズ１２１および１２２と、撮像素子１３１および１３２と、同期制御部１４０と同様である。

【0081】

図１９は、第３の実施の形態における演算処理部３１０の一構成例を示すブロック図である。この演算処理部３１０は、特徴点抽出部３１１、像ずれ量取得部３１２、測距部３１３およびＵＩ処理部３１４を備える。これらの特徴点抽出部３１１、像ずれ量取得部３１２、測距部３１３およびＵＩ処理部３１４の構成は、第１の実施の形態における特徴点抽出部１５１、像ずれ量取得部１５２、測距部１５３およびＵＩ処理部１５４と同様である。特徴点抽出部３１１、像ずれ量取得部３１２、測距部３１３およびＵＩ処理部３１４のそれぞれの機能は、例えば、プログラムにより実現される。これにより、光軸が交差する一対の撮像素子１３１および１３２を備えない情報処理装置３００であっても、カメラユニット２００を取り付け、プログラムを実装すれば、高精度で測距することができるようになる。なお、特徴点抽出部３１１、像ずれ量取得部３１２、測距部３１３およびＵＩ処理部３１４の少なくとも一部をプログラムで無く、回路により実現してもよい。

【0082】

このように、本技術の第３の実施の形態によれば、カメラモジュール２１０を情報処理装置３００の外部のカメラユニット２００に配置したため、光軸が交差する一対の撮像素子を内蔵していない情報処理装置３００において測距精度を向上させることができる。また、測距精度を低下させずに基線長を短くすることができるため、カメラユニット２００のサイズを小型にすることができる。

【0083】

［変形例］
上述の第３の実施の形態では、情報処理装置３００が距離を測定する処理を行っていたが、その処理の分、情報処理装置３００の処理負荷が増大してしまう。この第３の実施の形態の変形例の情報処理システムは、情報処理装置３００の処理負荷を軽減した点において第３の実施の形態と異なる。

【0084】

図２０は、第３の実施の形態の変形例における情報処理システムの一構成例を示すブロック図である。この変形例のカメラユニット２００は、特徴点抽出部２５１、像ずれ量取得部２５２および測距部２５３をさらに備える点において第３の実施の形態と異なる。これらの特徴点抽出部２５１、像ずれ量取得部２５２および測距部２５３の構成は、第１の実施の形態における特徴点抽出部１５１、像ずれ量取得部１５２および測距部１５３と同様である。

【0085】

また、変形例の情報処理装置３００は、特徴点抽出部３１１、像ずれ量取得部３１２および測距部３１３を備えない点において第３の実施の形態と異なる。

【0086】

上述のように、カメラユニット２００側に、特徴点抽出部２５１、像ずれ量取得部２５２および測距部２５３を配置したため、情報処理装置３００は、距離を測定する処理を行う必要がなくなる。これにより、情報処理装置３００の処理負荷を軽減することができる。

【0087】

なお、カメラユニット２００側に、特徴点抽出部２５１、像ずれ量取得部２５２および測距部２５３を配置する構成としているが、これらの一部のみをカメラユニット２００に配置し、残りを情報処理装置３００に配置する構成であってもよい。

【0088】

このように、本技術の第３の実施の形態によれば、カメラユニット２００に特徴点抽出部２５１、像ずれ量取得部２５２および測距部２５３を配置したため、情報処理装置３００が距離を測定する必要がなくなり、その処理負荷を軽減することができる。

【0089】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0090】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

【0091】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【0092】

なお、本技術は以下のような構成もとることができる。
（１）それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と
を具備する撮像装置。
（２）光を集光して前記一対の撮像素子に導く撮像レンズをさらに具備する
前記（１）記載の撮像装置。
（３）一対の撮像レンズをさらに具備し、
前記一対の撮像レンズの一方は、光を集光して前記一対の撮像素子の一方に導き、
前記一対の撮像レンズの他方は、光を集光して前記一対の撮像素子の他方に導く
前記（１）記載の撮像装置。
（４）鏡筒をさらに具備し、
前記一対の撮像素子の一方の前記受光面は、前記鏡筒の底面に平行である
前記（１）から（３）のいずれかに記載の撮像装置。
（５）前記測距部は、前記一対の画像の一方と他方との間の像ずれ量から前記距離を測定する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記測距部は、前記一対の画像の一方の他方に対する歪み量から前記距離を測定する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）それぞれの受光面に垂直な軸が互いに交差する一対の撮像素子と、
前記一対の撮像素子により撮像された一対の画像から得られた視差に基づいて対象物までの距離を測定する測距部と、
前記測定された距離と前記一対の画像とに基づいて前記対象物の形状を認識する処理を行う処理部と
を具備する撮像システム。

【符号の説明】

【0093】

１００ 電子装置
１０１、１０２ 鏡筒
１１０、２１０ カメラモジュール
１２１、１２２、２２１、２２２ 標準レンズ
１２３、１２４ 広角レンズ
１３１、１３２、２３１、２３２ 撮像素子
１４０、２４０ 同期制御部
１５０、３１０ 演算処理部
１５１、２５１、３１１ 特徴点抽出部
１５２、２５２、３１２ 像ずれ量取得部
１５３、２５３、３１３ 測距部
１５４、３１４ ＵＩ処理部
１５５ 歪み量取得部
２００ カメラユニット
３００ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】