特表-17141746IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2017-141746撮像装置、撮像制御方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年8月24日
【発行日】2018年12月13日
(54)【発明の名称】撮像装置、撮像制御方法、およびプログラム
(51)【国際特許分類】
   G02B 7/40 20060101AFI20181116BHJP
   G03B 17/14 20060101ALI20181116BHJP
   G03B 13/36 20060101ALI20181116BHJP
   H04N 5/225 20060101ALI20181116BHJP
   H04N 5/232 20060101ALI20181116BHJP
【FI】
   G02B7/40
   G03B17/14
   G03B13/36
   H04N5/225 800
   H04N5/232 120
【審査請求】未請求
【予備審査請求】未請求
【全頁数】43
【出願番号】特願2018-500044(P2018-500044)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年2月6日
(31)【優先権主張番号】特願2016-29924(P2016-29924)
(32)【優先日】2016年2月19日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】岡田 元成
【テーマコード(参考)】
2H011
2H101
2H151
5C122
【Fターム(参考)】
2H011BA41
2H101EE08
2H151BB27
2H151CC03
5C122EA68
5C122FC05
5C122FC06
5C122FD04
5C122FD07
5C122FD13
5C122FK28
5C122FK37
5C122FL03
5C122HB01
5C122HB05
5C122HB06
(57)【要約】
本技術は、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができるようにする撮像装置、撮像制御方法、およびプログラムに関する。
撮像装置は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、距離情報取得部で取得された距離情報とルックアップテーブルとに基づいて、レンズ駆動部を制御する制御部とを備える。本技術は、例えば、フォーカス制御を行う撮像装置等に適用できる。
【特許請求の範囲】
【請求項1】
所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する制御部と
を備える撮像装置。
【請求項2】
前記制御部は、さらに、前記距離情報取得部で取得された距離情報に基づいて、シャッタ動作を制御する
請求項1に記載の撮像装置。
【請求項3】
前記制御部は、前記物体までの距離が所定距離範囲内になった場合に、前記シャッタ動作を行わせる
請求項2に記載の撮像装置。
【請求項4】
前記フォーカスレンズのレンズ位置情報は、前記レンズ駆動部に供給されるレンズ制御値である
請求項1に記載の撮像装置。
【請求項5】
前記距離情報取得部は、前記撮像素子とは異なる位置に配置されている
請求項1に記載の撮像装置。
【請求項6】
前記距離情報取得部は、光を発する発光部と、前記光を受光する受光部とを有し、
前記発光部が発した前記光が前記物体に反射して返ってくるまでの経過時間に基づいて、前記物体までの距離情報を取得する
請求項1に記載の撮像装置。
【請求項7】
前記受光部が受光するフレームレートは、前記撮像素子のフレームレート以上である
請求項6に記載の撮像装置。
【請求項8】
前記受光部は、前記撮像素子と積層されて配置されている
請求項6に記載の撮像装置。
【請求項9】
前記発光部は、赤外光を発光する
請求項6に記載の撮像装置。
【請求項10】
前記距離情報取得部は、所定の間隔離れて配置された2個の撮像素子で構成される
請求項1に記載の撮像装置。
【請求項11】
前記制御部は、前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づく前記レンズ駆動部の制御を、所定の時間間隔で繰り返し実行する
請求項1に記載の撮像装置。
【請求項12】
ユーザの操作を受け付ける操作部をさらに備え、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、前記ユーザの操作に基づいて、前記記憶部に記憶されている複数の前記ルックアップテーブルのなかから選択された前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
請求項1に記載の撮像装置。
【請求項13】
前記撮像装置は、レンズ交換式の撮像装置であり、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、複数の前記ルックアップテーブルのなかから、装着された前記フォーカスレンズに対応する前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
請求項1に記載の撮像装置。
【請求項14】
ユーザによる前記距離情報の入力を受け付ける操作部をさらに備え、
前記制御部は、前記ユーザが入力した前記距離情報に基づいて前記ルックアップテーブルを作成し、前記記憶部に記憶させる
請求項1に記載の撮像装置。
【請求項15】
外部装置と所定のデータを通信する通信部をさらに備え、
前記制御部は、前記通信部を介して取得した前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
請求項1に記載の撮像装置。
【請求項16】
前記制御部は、さらに、前記距離情報取得部によって得られた前記距離情報に基づいて、デプスマップを表示部に表示させる制御を行う
請求項1に記載の撮像装置。
【請求項17】
所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置が、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する
撮像制御方法。
【請求項18】
所定の撮像領域を有する撮像素子と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置のコンピュータに、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置を制御する
処理を実行させるためのプログラム。
【請求項19】
所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記ルックアップテーブルに基づいて、前記レンズ駆動部を制御するレンズ位置制御部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報に基づいて、撮像に関する制御を実行する撮像制御部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、撮像装置、撮像制御方法、およびプログラムに関し、特に、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができるようにした撮像装置、撮像制御方法、およびプログラムに関する。
【背景技術】
【0002】
撮像装置のオートフォーカスの方式として、コントラスト方式や位相差方式がある。コントラスト方式は、フォーカスレンズのレンズ位置をずらしながらコントラストの変化を検出し、コントラストが最大となる位置を合焦位置とする方法である。位相差方式は、画像センサとは別の位相差センサを用いて、三角測量法に基づいた測距結果から合焦位置を決定する方法である。
【0003】
コントラスト方式や位相差方式では、暗所や被写界深度の浅いレンズでのオートフォーカスが難しい。そこで、例えば、画像情報のぼけを除去するぼけ除去処理を行うことにより、被写界深度の大きい画像を取得できるようにした撮像装置が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014−138290号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
以上のように、暗所などの環境条件や被写界深度の浅いレンズなどの光学条件に依存しないフォーカス制御が望まれているが、そのような要望に十分にこたえられていない状況である。
【0006】
本技術は、このような状況に鑑みてなされたものであり、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができるようにするものである。
【課題を解決するための手段】
【0007】
本技術の第1の側面の撮像装置は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する制御部とを備える。
【0008】
本技術の第1の側面の撮像制御方法は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置が、前記撮像領域に存在する物体までの距離情報を取得し、取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する。
【0009】
本技術の第1の側面のプログラムは、所定の撮像領域を有する撮像素子と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置のコンピュータに、前記撮像領域に存在する物体までの距離情報を取得し、取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置を制御する処理を実行させるためのものである。
【0010】
本技術の第1の側面においては、所定の撮像領域を有する撮像素子と、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置において、前記撮像領域に存在する物体までの距離情報が取得され、取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置が制御される。
【0011】
本技術の第2の側面の撮像装置は、所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、前記ルックアップテーブルに基づいて、前記レンズ駆動部を制御するレンズ位置制御部と、前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、前記距離情報取得部で取得された距離情報に基づいて、撮像に関する制御を実行する撮像制御部とを備える。
【0012】
本技術の第2の側面においては、被写体までの距離情報とフォーカスレンズのレンズ位置情報との対応関係を記憶するルックアップテーブルに基づいて、レンズ駆動部が制御され、撮像領域に存在する物体までの距離情報が取得され、取得された距離情報に基づいて、撮像に関する制御が実行される。
【0013】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【0014】
撮像装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【0015】
本技術の第1及び第2の側面によれば、例えば環境条件や光学条件に依存することなく、フォーカス制御を行うことができる。
【0016】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0017】
図1】本技術を適用した撮像装置の第1の実施形態の構成例を示すブロック図である。
図2】測距センサと撮像センサの配置を示す外観図である。
図3図1の撮像装置の詳細ブロック図である。
図4】撮像画像とデプスマップの例を示す図である。
図5】第1の撮影モードを説明する図である。
図6】第1の撮影処理を説明するフローチャートである。
図7】第2の撮影処理を説明するフローチャートである。
図8】第3の撮影モードを説明する図である。
図9】第3の撮影処理を説明するフローチャートである。
図10】第3の撮影モードにおける距離情報の入力方法を説明する図である。
図11】第4の撮影処理を説明するフローチャートである。
図12】LUT生成処理を説明するフローチャートである。
図13】本技術を適用した撮像装置の第2の実施形態の詳細構成例を示すブロック図である。
図14】本技術を適用した撮像装置の第3の実施形態の構成例を示すブロック図である。
図15】測距センサと撮像センサの配置を示す外観図である。
図16図14の撮像装置の詳細ブロック図である。
図17】撮像装置がミラーレスのデジタルカメラである場合の第1の構成例を示す断面図である。
図18】撮像装置がミラーレスのデジタルカメラである場合の第2の構成例を示す断面図である。
図19】撮像装置が1眼レフのデジタルカメラである場合の構成例を示す断面図である。
図20】測距センサと撮像センサの配置例を示す断面図である。
図21】本技術を適用したコンピュータの一実施形態の構成例を示すブロック図である。
図22】車両制御システムの概略的な構成の一例を示すブロック図である。
図23】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0018】
以下、本技術を実施するための形態(以下、実施形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施形態(アクティブタイプの測距方式の構成例)
2.第2の実施形態(複数のLUTを有する構成例)
3.第3の実施形態(パッシブタイプの測距方式の構成例)
4.デジタルカメラの構成例
5.本技術を適用したコンピュータの説明
6.応用例
【0019】
<1.第1の実施形態>
<撮像装置の構成例>
図1は、本技術を適用した撮像装置の第1の実施形態の構成例を示すブロック図である。
【0020】
図1に示される撮像装置1は、例えば、1眼レフのデジタルカメラ、ミラーレスのデジタルカメラ、レンズ交換式のデジタルカメラ、コンパクトデジタルカメラ、デジタルビデオカメラなどで構成される。また、撮像装置1は、機能の一部として撮像機能を有する、スマートフォンなどの電子機器であってもよい。
【0021】
撮像装置1は、制御部11、光学系12、発光部13、測距センサ14、撮像センサ15、演算処理部16、記憶部17、表示部18、及び、操作部19を有する。
【0022】
制御部11は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの演算処理装置と周辺回路などで構成され、記憶部17に記録されている所定の制御プログラムを読み出して実行することにより、撮像装置1の全体の動作を制御する。
【0023】
例えば、制御部11は、光学系12を構成するフォーカスレンズ、ズームレンズ、手振れ補正レンズなどの各種のレンズのレンズ位置を制御したり、発光部13による発光のオンオフを制御する。あるいはまた、制御部11は、撮像センサ15や測距センサ14の撮像動作を制御したり、演算処理部16に所定の演算処理を実行させる。
【0024】
光学系12は、例えば、フォーカスレンズ、ズームレンズ、手振れ補正レンズなどの各種のレンズで構成され、制御部11の制御に従って、所定の位置に移動される。
【0025】
発光部13は、例えば、IR光(赤外光)を発光するLED(Light Emitting Diode)光源を含んで構成され、制御部11の制御に従って、IR光の発光をオンオフする。発光部13は、所定の発光パターン(オンオフの繰り返しパターン)でIR光を発光させることができる。
【0026】
測距センサ14は、発光部13が発したIR光を受光する受光部として機能し、例えば、ToF(Time of Flight)方式を用いて被写体までの距離を計測する。ToF方式では、発光部13が発したIR光が被写体の表面で反射して返ってくるまでの経過時間が計測され、経過時間に基づいて被写体までの距離が測定される。ToF方式の測距センサ14は、高速に(短い周期で)距離情報を生成することができ、また、IR光を用いていることから、周囲の明るさに関係なく、暗所でも距離情報を生成することができる。
【0027】
測距センサ14は、例えば、フォトダイオードを形成した各画素が2次元配置された撮像素子(イメージセンサ)で構成され、IR光を受光するまでの経過時間を画素ごとに計測することで、一点だけでなく被写体の様々な部分の測距が可能である。上記の経過時間を計測する方法として、IR光をパルス照射し、被写体の表面で反射して返ってくるまでの時間を直接計測する方法や、IR光を変調し、照射時の光の位相と、反射して返って来た光の位相との位相差に基づいて算出する方法などがある。
【0028】
測距センサ14によって計測された距離情報は、演算処理部16に供給される。
【0029】
発光部13と測距センサ14は、撮像センサ15が撮像した画像に含まれる被写体までの距離情報を取得する距離情報取得部20を構成する。なお、距離情報取得部20が行う被写体までの距離情報の取得方法は、ToF方式に限定されない。例えば、ストラクチャライト法などを用いて、被写体までの距離情報を取得してもよい。ストラクチャライト法とは、物体の表面に特殊な設計の光パターンを投射し、その被投射パターンの変形を分析することによって物体までの距離を推定する方法である。
【0030】
また、測距センサ14が受光したIR光の光量に基づいてIR画像を生成し、所定周期で更新されるIR画像どうしのずれ量を、手振れ補正の補正量として用いることも可能である。
【0031】
撮像センサ15は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Mental Oxide Semiconductor)センサなどの、2次元の撮像領域を有する撮像素子で構成される。撮像センサ15は、制御部11の制御に従い、被写体を撮像し、画像データを生成して、演算処理部16に供給する。
【0032】
演算処理部16は、撮像センサ15から供給される画像のうち、所定のフォーカス対象エリア内の被写体までの距離を、測距センサ14から供給される距離情報を用いて算出する。撮像センサ15の各画素の画素位置と、測距センサ14の各画素の画素位置との対応関係、換言すれば、撮像センサ15と測距センサ14の位置関係は、予め校正されて、記憶部17に記憶されている。
【0033】
また、演算処理部16は、記憶部17に記憶されている、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUT(ルックアップテーブル)を参照して、フォーカス対象エリア内の被写体までの距離に対応するレンズ制御値を取得し、制御部11へ供給する。制御部11は、演算処理部16から供給されたレンズ制御値を用いて、光学系12のフォーカスレンズを駆動する。
【0034】
さらに、演算処理部16は、撮像センサ15から供給されるRAW画像に対してデモザイク処理を実行し、さらに、所定のファイル形式の画像データに変換して記憶部17に記録させる処理なども行う。
【0035】
記憶部17は、例えば半導体メモリ等の記憶媒体で構成され、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTを記憶する。また、記憶部17は、シャッタ操作を行ったタイミングで撮像センサ15で撮像された撮像画像(以下、記録用画像という。)を記憶する。さらに、記憶部17は、制御部11で実行されるプログラムや、撮像センサ15と測距センサ14の位置関係を示すキャリブレーション情報なども記憶する。
【0036】
表示部18は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、撮像センサ15で撮像された画像(動画または静止画)を表示する。また、表示部18は、フォーカス対象エリアを表すAFウインドウなども表示する。表示部18は、撮像センサ15で撮像された画像をリアルタイムに表示するライブビュー画像の表示や、記録用画像の表示などを行うことができる。
【0037】
操作部19は、例えば、シャッタボタン等のハードウエアキー、表示部18に積層されたタッチパネルによるソフトウェアキーを含み、ユーザが行う所定の操作を受け付けて、その操作信号を制御部11に供給する。ユーザは、例えば、表示部18に表示された撮像画像の所定の位置をタッチし、操作部19としてのタッチパネルが、ユーザのタッチ位置を検出することにより、撮像画像内のフォーカス対象エリアを特定し、制御部11に供給する。
【0038】
図2は、撮像装置1がスマートフォンで構成される場合の測距センサ14と撮像センサ15の配置を示す外観図である。
【0039】
図2では、撮像装置1としてのスマートフォンにおいて、表示部18(図2では不図示)が配置された面と反対側となる面に、発光部13、測距センサ14、及び撮像センサ15が配置されている。測距センサ14の上面はカバーガラス51で覆われており、撮像センサ15の上面も、カバーガラス52で覆われている。
【0040】
測距センサ14と撮像センサ15は、図2に示されるように、同一の光軸を有する必要がなく、異なる光学系を有していて構わない。また、図2の例では、測距センサ14と撮像センサ15が同一平面上に配置されているが、測距センサ14と撮像センサ15は同一平面に配置されなくてもよい。換言すれば、測距センサ14と撮像センサ15は、平面方向及び光軸方向のいずれにおいても異なる位置に配置させることができ、相互の位置関係は、キャリブレーション情報として、予め記憶部17に記憶されている。
【0041】
以上のように構成される撮像装置1は、コントラスト方式によるフォーカス制御の他、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTを用いて、測距センサ14で取得された距離情報に対応するレンズ位置にフォーカスレンズを移動させるフォーカス制御(以下、LUTフォーカス制御という。)を行うことができる。
【0042】
そこで、次に、図3を参照して、LUTフォーカス制御について詳しく説明する。
【0043】
<詳細ブロック図>
図3は、LUTフォーカス制御に関する撮像装置1の詳細ブロック図である。
【0044】
なお、図3において、図1と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
【0045】
図3では、図1の制御部11が、センサ制御部41、レンズ制御部42、及び、レンズ駆動部43に分かれて構成されており、光学系12の一部であるフォーカスレンズ44が示されている。センサ制御部41とレンズ制御部42は、それぞれが保有する情報を共有する。
【0046】
センサ制御部41は、発光部13による発光のオンオフを制御するとともに、測距センサ14によるIR光の受光を制御する。また、センサ制御部41は、所定のフレームレートで撮像するように撮像センサ15を制御し、撮像センサ15が撮像した画像を、プレビュー画像として表示部18に表示させるとともに、シャッタ操作が行われたタイミングで生成された記録用画像を記憶部17に記憶させる。
【0047】
センサ制御部41は、測距センサ14がIR光を受光して距離情報を生成するフレームレートが、撮像センサ15が撮像を行うフレームレート以上となるように、発光部13、測距センサ14、及び撮像センサ15を制御する。これにより、距離情報に基づくフォーカス動作(レンズ移動動作)と撮像タイミングとの時間差を少なくすることができる。撮像センサ15が撮像を行うフレームレートと、測距センサ14が距離情報を生成するフレームレートが、同一のフレームレートである場合には、センサ制御部41は、距離情報生成タイミングの所定時間後が撮像タイミングとなるように動作させ、距離情報生成タイミングと撮像タイミングとの時間差ができるだけ短い時間となるように制御する。
【0048】
演算処理部16は、表示部18に表示されたプレビュー画像に対してユーザが設定したフォーカス対象エリア内の被写体までの距離を、測距センサ14から供給される距離情報から取得する。そして、演算処理部16は、記憶部17に記憶されているLUTを参照して、被写体までの距離に対応するレンズ制御値を決定し、レンズ制御部42へ供給する。
【0049】
記憶部17には、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTが記憶されている。ここで、レンズ制御値は、フォーカスレンズ44を光軸方向の所定の位置に移動させる制御値であり、フォーカスレンズ44のレンズ位置に対応する情報(レンズ位置情報)である。また、レンズ制御値と対応付けて記憶する距離情報は、距離そのもののほか、距離に相当するビット値(例えばデプスマップの値)などでもよく、距離を表す情報であればよい。
【0050】
レンズ制御部42は、コントラスト方式によるフォーカス制御や、LUTフォーカス制御のため、レンズ駆動部43を制御する。具体的には、レンズ制御部42は、フォーカスレンズ44の現在のレンズ位置(に対応するレンズ制御値)をレンズ駆動部43から取得したり、フォーカスレンズ44を所定の位置に移動させる命令をレンズ駆動部43に供給する。LUTフォーカス制御では、レンズ制御部42は、LUTに基づいて決定されたレンズ制御値を演算処理部16から取得し、それをレンズ駆動部43に供給してレンズ駆動部43を駆動させる。
【0051】
レンズ駆動部43は、レンズ制御部42から供給されたレンズ制御値となるようにフォーカスレンズ44を駆動する。フォーカスレンズ44は、1枚以上のレンズで構成される。
【0052】
図4のAは、撮像センサ15で得られた撮像画像の例を示している。
【0053】
図4のBは、図4のAに示した撮像画像の被写体に対して、測距センサ14が計測した距離情報を、距離が遠いほど暗い値となるようにグレイスケールで表したデプスマップの例を示している。
【0054】
制御部11は、図4のAに示すような撮像センサ15で得られた撮像画像を、例えば、プレビュー画像や記録用画像として表示部18に表示させることができ、また、図4のBに示すような測距センサ14が計測した距離情報に基づくデプスマップも、表示部18に表示させることができる。
【0055】
<第1の撮影モード>
次に、図5を参照して、撮像装置1が備える第1の撮影モードについて説明する。
【0056】
撮像装置1の表示部18には、撮像センサ15で撮像された画像が、プレビュー画像として表示される。例えば、図4のAに示した電車の画像が撮像されて、表示部18に表示されているものとする。
【0057】
ユーザは、表示部18に表示されたプレビュー画像の所定の位置をタッチし、フォーカス対象エリアとして指定する。例えば、ユーザが電車の正面部分をタッチすると、図5に示されるように、ユーザがタッチした電車の正面部分がフォーカス対象エリアに設定され、AFウインドウ61が表示される。そして、フォーカス対象エリアにフォーカスが合うように、フォーカスレンズ44のレンズ位置が駆動される。
【0058】
このように、第1の撮影モードは、ユーザが指定した撮像画像の所定の位置にフォーカス位置(合焦位置)を合わせて撮影を行う撮影モードである。
【0059】
図6のフローチャートを参照して、第1の撮影モードにおける撮影処理(第1の撮影処理)について説明する。
【0060】
この第1の撮影処理は、例えば、撮像装置1の動作モードが第1の撮影モードに設定されたときに開始される。また例えば、撮像装置1の動作モードが第1の撮影モードに設定されている状態で、ユーザがシャッタボタンを半押し状態(半分だけ押下された状態)にするシャッタ操作を行ったとき、第1の撮影処理を開始してもよい。
【0061】
図6の処理が開始される状態では、撮像センサ15が所定のフレームレートで撮像し、表示部18にプレビュー画像を表示している状態であるとする。
【0062】
初めに、ステップS1において、センサ制御部41は、発光部13の発光を開始させる。発光部13は、センサ制御部41により発光動作の開始が指示された後、第1の撮影処理が終了するまで、所定の発光パターンによる発光動作を継続する。
【0063】
ステップS2において、センサ制御部41は、測距センサ14に距離の計測を開始させる。測距センサ14は、発光部13が発したIR光を受光し、被写体までの距離を画素単位で計測し、距離情報として演算処理部16に供給する動作を、第1の撮影処理が終了するまで繰り返す。ここで、測距センサ14が2次元領域の画素単位で距離情報を計測して演算処理部16に供給するフレームレートは、撮像センサ15が撮像画像を撮像するフレームレートよりも短い周期となる。
【0064】
ユーザが、例えば、表示部18に表示されたプレビュー画像の所定の位置をタッチすることで、フォーカス対象エリアを指定すると、ステップS3において、センサ制御部41は、表示部18で指定されたフォーカス対象エリアを取得する。具体的には、表示部18に積層されたタッチパネルが、ユーザのタッチ位置を検出してセンサ制御部41に供給し、センサ制御部41が、ユーザのタッチ位置をフォーカス対象エリアとして取得する。
【0065】
ステップS4において、センサ制御部41は、取得したフォーカス対象エリアを示す情報を演算処理部16に供給し、演算処理部16は、供給された表示部18のフォーカス対象エリアを、測距センサ14上のエリアに変換する。即ち、ユーザは表示部18に表示されたプレビュー画像の所定の位置をフォーカス対象エリアとして指定しており、測距センサ14と撮像センサ15は、装置内における取り付け位置が異なるので、キャリブレーション情報として記憶部17に記憶されている撮像センサ15と測距センサ14の位置関係に基づいて、表示部18上のフォーカス対象エリアの位置が、測距センサ14上のフォーカス対象エリアの位置に変換される。
【0066】
ステップS5において、演算処理部16は、測距センサ14から供給された距離情報のなかから、ユーザによって指定されたフォーカス対象エリアの距離情報を取得する。
【0067】
ステップS6において、演算処理部16は、記憶部17に記憶されているLUTを参照して、フォーカス対象エリアの距離情報に対応するレンズ制御値を決定し、レンズ制御部42に供給する。
【0068】
ステップS7において、レンズ制御部42は、演算処理部16から供給されたレンズ制御値をレンズ駆動部43に供給する。
【0069】
ステップS8において、レンズ駆動部43は、レンズ制御部42から供給されたレンズ制御値に基づいてフォーカスレンズ44を駆動する。これにより、レンズ制御部42から供給されたレンズ制御値(の位置)となるようにフォーカスレンズ44が移動される。
【0070】
ステップS9において、センサ制御部41は、シャッタ操作が行われたかを判定する。例えば、撮像装置1がデジタルカメラである場合には、シャッタ操作として、シャッタボタンが半押し状態から全押し状態となったかが判定される。例えば、撮像装置1がスマートフォンなどである場合には、ライブビュー画像を表示している表示部18をタップする操作が行われたかが判定される。
【0071】
ステップS9で、シャッタ操作が行われていないと判定された場合、処理はステップS3に戻り、上述したステップS3乃至S9の処理、即ち、フォーカス対象エリアの距離情報とLUTとに基づいて、フォーカス対象エリアの被写体にフォーカスが合焦するようにフォーカスレンズ44を駆動する制御が繰り返される。
【0072】
そして、ステップS9で、シャッタ操作が行われたと判定された場合、処理はステップS10に進み、センサ制御部41は、シャッタ動作を行わせる。即ち、センサ制御部41は、シャッタ操作が行われたタイミングにおいて撮像センサ15が撮像した画像を、記録用画像として、記憶部17に記憶させ、処理を終了する。
【0073】
以上のように、第1の撮影処理によれば、ユーザが指定したフォーカス対象エリアの距離情報に対応するレンズ制御値が、記憶部17に記憶されているLUTから取得され、取得されたレンズ制御値に基づいて、フォーカス対象エリアの被写体にフォーカスが合焦するようにフォーカスレンズ44が制御される。
【0074】
発光部13の光源としてIR光を採用し、測距センサ14が、ToF方式を用いて被写体までの距離を計測することで、周囲の明るさに関係なく、例えば暗所でも距離情報を高速に取得することができる。
【0075】
LUTフォーカス制御は、位相差やコントラストを用いないため、撮像センサ15が撮像した画像に像が無くても合焦させることが可能である。また、被写界深度の極めて浅いフォーカスレンズや暗所でも合焦させることが可能である。従って、本技術のLUTフォーカス制御によれば、環境条件や光学条件に依存することなく、フォーカス制御を行うことができる。
【0076】
<第2の撮影モード>
次に、撮像装置1が備える第2の撮影モードについて説明する。
【0077】
第2の撮影モードでは、撮像装置1は、距離情報取得部20の測距機能を使用して、撮像画像内のオブジェクトを識別し、識別されたオブジェクトにフォーカスを追従させる処理を行う。
【0078】
図7のフローチャートを参照して、第2の撮影モードにおける撮影処理(第2の撮影処理)について説明する。この第2の撮影処理は、例えば、動作モードが第2の撮影モードに設定されたときに開始される。
【0079】
図7のステップS21乃至S23の処理は、図6のステップS1乃至S3の処理と同じであるので、その説明は省略する。
【0080】
ステップS24において、センサ制御部41は、取得したフォーカス対象エリアを示す情報を演算処理部16に供給し、演算処理部16は、撮像画像のフォーカス対象エリアに存在するオブジェクトを認識する。オブジェクトの認識技術は、公知の物体検出技術を用いることができる。オブジェクトの認識には、測距センサ14が出力する距離情報を用いることができる。
【0081】
ステップS25において、演算処理部16は、記憶部17に記憶されている撮像センサ15と測距センサ14の位置関係に基づいて、認識されたオブジェクトの領域情報を、測距センサ14上の領域情報に変換する。
【0082】
ステップS26において、演算処理部16は、測距センサ14から供給された距離情報のなかから、オブジェクトの領域に対応する距離情報を取得することにより、オブジェクトの距離情報を取得する。
【0083】
ステップS27において、演算処理部16は、記憶部17に記憶されているLUTを参照して、オブジェクトの距離情報に対応するレンズ制御値を決定し、レンズ制御部42に供給する。
【0084】
図7のステップS28乃至S31の処理は、図6のステップS7乃至S10の処理と同じである。
【0085】
即ち、ステップS28において、レンズ制御部42は、レンズ制御部42から供給されたレンズ制御値をレンズ駆動部43に供給する。
【0086】
ステップS29において、レンズ駆動部43は、レンズ制御部42から供給されたレンズ制御値に基づいてフォーカスレンズ44を駆動する。
【0087】
ステップS30において、センサ制御部41は、シャッタ操作が行われたかを判定する。
【0088】
ステップS30で、シャッタ操作が行われていないと判定された場合、処理はステップ24に戻り、上述したステップS24乃至S30の処理、即ち、認識したオブジェクトの距離情報とLUTとに基づいて、認識したオブジェクトにフォーカスが合焦するようにフォーカスレンズ44を駆動する制御が繰り返される。
【0089】
そして、ステップS30で、シャッタ操作が行われたと判定された場合、処理はステップS31に進み、センサ制御部41は、シャッタ動作を行わせ、処理を終了する。
【0090】
以上のように、第2の撮影処理では、表示部18に表示されたプレビュー画像のなかから、フォーカスを合わせるオブジェクト(被写体)がユーザによって指定され、指定されたオブジェクトにフォーカス位置を追従させるフォーカス制御が行われる。
【0091】
上述した第1の撮影モードでは、表示部18に表示されたプレビュー画像で被写体が移動してもフォーカス対象エリアは移動しないが、第2の撮影モードでは、オブジェクトに指定された被写体が移動するとフォーカス対象エリアも移動する。例えば、被写体として多数の人物が存在するような場面において特定の人物にフォーカスを合わせるような場合であっても、ToF方式の測距センサ14による距離情報出力の高速性と、距離情報の連続性を用いて、予測無しでオブジェクトのフォーカストラッキングが可能となる。
【0092】
なお、上述した第2の撮影処理は、撮像センサ15の撮像範囲内でフォーカストラッキングを行う例であるが、例えば、撮像装置1がパン(左右方向の回転移動)・チルト(上下方向の回転移動)する回転機構を備えるか、または、パン・チルトの回転機構を備える雲台と連動する機能を備える場合には、フレームアウトしないようにフォーカストラッキングすることも可能である。
【0093】
<第3の撮影モード>
次に、撮像装置1が備える第3の撮影モードについて説明する。
【0094】
図8を参照して、第3の撮影モードについて説明する。
【0095】
図8の上段に示されるように、撮像装置1の前方A1[m]の距離に被写体71がある。
【0096】
ユーザは、撮像装置1の操作部19を操作して、合焦位置として距離情報A2[m]を入力する。撮像装置1のセンサ制御部41は、ユーザによって入力された距離情報A2[m]を取得し、レンズ制御部42は、撮像装置1の前方A2[m]の距離でフォーカスが合うように、レンズ駆動部43を駆動する。
【0097】
そして、図8の下段に示されるように、被写体71が、撮像装置1の前方A2[m]の距離に移動してきたとき、撮像装置1は、シャッタ動作を行い、記録用画像を生成する。これにより、前方A2[m]の距離に移動した瞬間の被写体71を撮像センサ15が撮像した画像が、記録用画像として記憶部17に記憶される。
【0098】
LUTフォーカス制御では、フォーカス制御にLUT化された情報を利用するので、対象物が何もない空間に対しても数値入力で合焦させることができる。また、数値入力によって既に合焦されているので、合焦させる時間が不要であり、高速に横切るような被写体に合焦させる撮影も容易に可能である。
【0099】
図9のフローチャートを参照して、第3の撮影モードにおける撮影処理(第3の撮影処理)についてさらに説明する。第3の撮影処理は、例えば、動作モードが第3の撮影モードに設定されたときに開始される。
【0100】
図9のステップS41乃至S43の処理は、図6のステップS1乃至S3の処理と同じであるので、その説明は省略する。
【0101】
ステップS44において、センサ制御部41は、ユーザが入力した距離情報を取得する。例えば、センサ制御部41は、表示部18にフォーカス位置とする距離を入力させる入力画面(入力ダイアログ)を表示させ、そこにユーザが入力した数値を距離情報として取得する。取得された距離情報は、センサ制御部41から演算処理部16に供給される。
【0102】
ステップS45において、演算処理部16は、記憶部17に記憶されているLUTを参照して、ユーザによって入力された距離情報に対応するレンズ制御値を決定し、レンズ制御部42に供給する。
【0103】
ステップS46において、レンズ制御部42は、演算処理部16から供給されたレンズ制御値をレンズ駆動部43に供給する。
【0104】
ステップS47において、レンズ駆動部43は、レンズ制御部42から供給されたレンズ制御値に基づいてフォーカスレンズ44を駆動する。換言すれば、フォーカスレンズ44のレンズ位置がユーザによって入力された距離となるように、フォーカスレンズ44が駆動される。
【0105】
ステップS48において、演算処理部16は、測距センサ14から供給される距離情報に基づいて、フォーカス対象エリアの距離が、ユーザによって入力された距離と等しいかを判定する。ここで、演算処理部16は、フォーカス対象エリアの距離が、ユーザによって入力された距離を中心値として所定の範囲内となったとき、フォーカス対象エリアの距離が、ユーザによって入力された距離と等しいと判定する。
【0106】
ステップS48で、フォーカス対象エリアの距離が、ユーザによって入力された距離と等しいと判定されるまで、ステップS48の処理が繰り返される。
【0107】
そして、ステップS48で、フォーカス対象エリアの距離が入力された距離と等しいと判定された場合、処理はステップS49に進み、演算処理部16は、その旨をセンサ制御部41に通知し、センサ制御部41は、シャッタ動作を行わせて、処理を終了する。
【0108】
以上のように、第3の撮影処理によれば、測距センサ14から供給されるフォーカス対象エリアの距離情報が、ユーザが指定した距離に対応する距離情報となった場合に、シャッタ動作が実行され、記録用画像が生成される。
【0109】
なお、第3の撮影モードにおいて、フォーカス位置となる距離情報の入力方法は、上述したように、入力画面で数値を直接入力させる方法以外の方法とすることができる。
【0110】
例えば、図10に示されるように、表示部18に表示されたプレビュー画像の第1の位置62を、ユーザがタッチし、第2の位置63までドラッグ(表示部18の表面から指を離さずに移動)した後、タッチした指を表示部18の表面から離す操作によって、フォーカス位置となる距離情報を入力してもよい。この場合、ユーザが指を離した第2の位置63がフォーカス対象エリアに設定されてAFウインドウ61が表示されるとともに、第1の位置62の距離情報となるようにフォーカスレンズ44が駆動されて、待機される。そして、測距センサ14から供給される距離情報に基づいて、AFウインドウ61がある第2の位置63の距離情報が、指定した第1の位置62の距離情報と等しくなった場合、シャッタ動作が行われ、記録用画像が生成される。
【0111】
このように、数値入力ではなく、プレビュー画像の所定の位置を指定することで距離情報を入力する入力方法とすることで、ユーザがフォーカス位置を合わせたい場所の距離が数値として具体的に分からない場合でも指定することができる。
【0112】
<第4の撮影モード>
次に、撮像装置1が備える第4の撮影モードについて説明する。
【0113】
第4の撮影モードは、複数枚の記録用画像を生成する連写モードである。第4の撮影モードでは、連写撮影する枚数(例えば、N枚とする。)、1枚目の撮影を行う被写体までの距離(連写開始位置)、及び、N枚目の撮影を行う被写体までの距離(連写終了位置)が設定される。
【0114】
図11のフローチャートを参照して、第4の撮影モードにおける撮影処理(第4の撮影処理)についてさらに説明する。第4の撮影処理は、例えば、動作モードが第4の撮影モードに設定されたときに開始される。
【0115】
図11のステップS61とS62の処理は、図6のステップS1とS2の処理と同じである。
【0116】
すなわち、ステップS61において、センサ制御部41は、発光部13の発光を開始させ、ステップS62において、センサ制御部41は、測距センサ14に距離の計測を開始させる。
【0117】
ステップS63において、センサ制御部41は、表示部18に、連写撮影枚数、連写開始位置、及び、連写終了位置を指定させる指定画面を表示させ、ユーザが指定した連写撮影枚数、連写開始位置、及び、連写終了位置を示す数値を取得する。取得された連写撮影枚数、連写開始位置、及び、連写終了位置は、センサ制御部41から演算処理部16に供給される。ここで、連写開始位置及び連写終了位置は、ユーザがマニュアルフォーカス操作を行い、そのレンズ位置をレンズ制御部42等が読み取ることで指定されてもよい。
【0118】
ステップS64において、演算処理部16は、記憶部17に記憶されているLUTを参照して、ユーザが指定した連写開始位置と連写終了位置に対応するレンズ制御値を取得する。
【0119】
次に、ステップS65において、演算処理部16は、ユーザが指定した連写撮影枚数に応じたレンズ移動量を演算し、その演算結果を、連写開始位置と連写終了位置に対応するレンズ制御値とともにレンズ制御部42に供給する。
【0120】
ステップS66において、レンズ制御部42は、演算処理部16から供給された連写開始位置に対応するレンズ制御値をレンズ駆動部43に供給し、レンズ駆動部43は、供給されたレンズ制御値に基づいて、フォーカスレンズ44を連写開始位置に移動させる。
【0121】
ステップS67において、センサ制御部41は、シャッタ動作を行わせ、1枚の記録用画像を作成して、記録部17に記録させる。
【0122】
ステップS68において、センサ制御部41は、ユーザによって指定された撮影枚数の撮影を行ったかを判定する。
【0123】
ステップS68で、指定された撮影枚数の撮影を行っていないと判定された場合、処理はステップS69に進み、レンズ制御部42は、レンズ駆動部43を介して、ステップS65で得られたレンズ移動量だけフォーカスレンズ44を駆動させる。
【0124】
ステップS69の後、処理はステップS67に戻り、指定された撮影枚数の撮影を行ったと判定されるまで、ステップS67乃至S69の処理が繰り返される。
【0125】
そして、ステップS68で、指定された撮影枚数の撮影を行ったと判定された場合、第4の撮影処理が終了する。
【0126】
以上の第4の撮影処理によれば、被写体までの距離を変えて、複数枚の記録用画像を高速に生成することができる。このとき、レンズ制御値に基づいてフォーカス位置が設定されるので、撮像画像に像があるか否かや、テクスチャに関係なく撮影することができる。
【0127】
<LUT生成処理>
記憶部17に記憶されているLUTは、例えば、撮像装置1の製造時に予め記憶されたものとすることができるが、ユーザ自身でLUTを生成することも可能である。
【0128】
図12のフローチャートを参照して、ユーザ自身でLUTを生成するLUT生成処理について説明する。この処理は、例えば、設定画面のLUT生成モードの開始が指示されたとき、実行される。
【0129】
初めに、ステップS81において、センサ制御部41は、発光部13の発光を開始させ、ステップS82において、センサ制御部41は、測距センサ14に距離の計測を開始させる。
【0130】
ステップS83において、センサ制御部41は、撮像センサ15に撮像させ、その結果得られた撮像画像を、ライブビュー画像として表示部18に表示させる。
【0131】
ユーザは、例えば、表示部18に表示されたプレビュー画像の所定の位置をタッチすることでフォーカス対象エリアを指定した後、コントラストオートフォーカスを実行させる。
【0132】
ユーザの操作に対応して、センサ制御部41は、ステップS84において、ユーザによって指定されたフォーカス対象エリアを取得するとともに、コントラストフォーカス制御を行い、フォーカス対象エリアの被写体にフォーカスを合わせる。なお、ユーザは、コントラストオートフォーカスではなく、マニュアル操作によって、フォーカス対象エリアでフォーカスが合うようにフォーカスレンズ44を移動させてもよい。
【0133】
ステップS85において、演算処理部16は、測距センサ14から供給された距離情報のなかから、ユーザによって指定されたフォーカス対象エリアの距離情報を取得する。
【0134】
ステップS86において、レンズ制御部42は、レンズ駆動部43を介してフォーカスレンズ44のレンズ制御値を取得し、演算処理部16に供給する。
【0135】
ステップS87において、演算処理部16は、取得したフォーカス対象エリアの距離情報とレンズ制御値とを対応付けて記憶部17に一時記憶する。
【0136】
ステップS88において、演算処理部16は、ステップS83乃至S87の処理を、予め決定された所定回数繰り返し実行したかを判定する。換言すれば、ステップS88では、距離情報とレンズ制御値との対応関係を、予め決定された個数だけ記憶部17に一時記憶したかを判定する。
【0137】
ステップS88で、まだ所定回数繰り返し実行していないと判定された場合、処理はステップS83に戻り、上述したステップS83乃至S87の処理が再度実行される。
【0138】
一方、ステップS88で、テップS83乃至S87の処理が予め決定された所定回数繰り返し実行されたと判定された場合、処理はステップS89に進み、演算処理部16は、繰り返し実行したステップS87の処理で記憶部17に一時記憶した、距離情報とレンズ制御値の複数個の対応関係を1つのLUTとして記憶部17に記憶させて、処理を終了する。
【0139】
以上のように、撮像装置1は、LUT生成処理を実行することで、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTを、ユーザ自身で作成することができる。
【0140】
また、記憶部17に記憶されているLUTを読み出して、距離情報またはレンズ制御値のいずれか一方を数値入力等によって上書き修正したり、LUT生成処理で取得した距離情報またはレンズ制御値に置き換えることで、記憶部17に記憶されているLUTを、ユーザ自身が自由に変更することも可能である。
【0141】
例えば、LUTフォーカス制御のオートフォーカスにおいて、レンズ個体差や撮像装置1の個体差によるフォーカスずれが発生している場合であっても、LUT生成処理を実行してLUTを修正することで、フォーカスずれの微調整を行うことができる。レンズの前ピン、後ピンといったレンズ個体によって生じるフォーカスずれの修正や、経時変化等によるフォーカスずれの修正も、特別な機材を用意することなく、可能である。
【0142】
<2.第2の実施形態>
<詳細ブロック図>
図13は、本技術を適用した撮像装置の第2の実施形態の構成例を示すブロック図である。図13のブロック図は、第1の実施形態において図3に示した詳細ブロック図に対応する。
【0143】
第2の実施形態では、上述した第1の実施形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【0144】
第2の実施形態を図3に示した第1の実施形態と比較すると、第2の実施形態では、通信部21が新たに追加されている。
【0145】
通信部21は、例えば、USB(Universal Serial Bus)インタフェースや無線LAN(ローカルエリアネットワーク)などの通信インタフェースで構成され、LUTなどのデータを外部装置から取得(受信)したり、撮像装置1で撮影して生成した記録用画像などを外部装置に送信する。
【0146】
また、第2の実施形態において、記憶部17には、複数のLUTが記憶されている点が、1個のLUTが記憶されている第1の実施形態と異なる。
【0147】
記憶部17に記憶されている複数のLUTの1つは、例えば、撮像装置1に予め用意された(プリインストールされた)LUTであり、他の1つは、上述したLUT生成処理でユーザ自身が作成したLUTである。
【0148】
また例えば、他のユーザが作成したLUTや、ダウンロードサービスで提供されているLUTなどを、通信部21を介して取得し、記憶部17に記憶させることもできる。
【0149】
複数のLUTが記憶部17に記憶されている場合、ユーザが操作部19を操作することにより、使用するLUTを選択し、演算処理部16は、ユーザが選択したLUTを参照して、被写体までの距離に対応するレンズ制御値を決定し、レンズ制御部42へ供給する。
【0150】
あるいはまた、撮像装置1がレンズ交換式のデジタルカメラである場合、装着される交換レンズ(フォーカスレンズ44を含む)ごとにLUTが記憶部17に記憶されている。
【0151】
撮像装置1がレンズ交換式のデジタルカメラである場合、交換レンズがボディ側装置に装着されたとき、ボディ側装置の制御部は、交換レンズとの通信によって、装着された交換レンズを認識することができる。記憶部17の各LUTには、交換レンズのレンズ識別情報が紐付けられており、演算処理部16は、装着された交換レンズに対応するLUTを自動で(ユーザの指示なしで)記憶部17から取得し、LUTフォーカス制御に使用することができる。
【0152】
<3.第3の実施形態>
<撮像装置の構成例>
図14は、本技術を適用した撮像装置の第3の実施形態の構成例を示すブロック図である。図14のブロック図は、第1の実施形態において図1に示したブロック図に対応する。
【0153】
第3の実施形態では、上述した第1の実施形態と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【0154】
図14に示される第3の実施形態を第1の実施形態と比較すると、第3の実施形態では、距離情報取得部20において、発光部13が省略されており、また、測距センサ14に代えて、測距センサ81が設けられている。
【0155】
上述した第1の実施形態の距離情報取得部20は、発光部13が発した光を測距センサ14が受光することで被写体までの距離を計測する、いわゆるアクティブタイプの測距方式である。
【0156】
一方、第3の実施形態の距離情報取得部20は、発光部13を必要とせずに被写体までの距離を計測する、いわゆるパッシブタイプの測距方式である。
【0157】
測距センサ81は、可視光を受光する第1の撮像素子82Aと第2の撮像素子82Bを有し、第1の撮像素子82Aと第2の撮像素子82Bは、水平方向(横方向)に所定間隔離れて配置されている。測距センサ81は、第1の撮像素子82Aと第2の撮像素子82Bで撮像された2つの画像から、いわゆるステレオカメラ方式により、被写体までの距離を計測する。
【0158】
なお、測距センサ81の第1の撮像素子82Aと第2の撮像素子82Bは、IR光を受光する撮像素子としてもよい。この場合、周囲の明るさに関係なく、被写体までの距離を計測することができる。
【0159】
あるいはまた、測距センサ81は、1つの撮像素子(第1の撮像素子82Aと第2の撮像素子82Bのいずれか一方)のみを有し、図15に示されるように、測距センサ81を、撮像センサ15に対して、水平方向(横方向)に所定間隔離れるように配置して、測距センサ81が、測距センサ81が捉えた画像と、撮像センサ15が捉えた画像を用いて、被写体までの距離を計測する構成とすることもできる。
【0160】
<詳細ブロック図>
図16は、第3の実施形態の詳細ブロック図である。図16のブロック図は、第1の実施形態において図3に示した詳細ブロック図に対応する。
【0161】
図16に示される第3の実施形態の詳細ブロック図を、図3に示した第1の実施形態の詳細ブロック図と比較すると、発光部13が省略されており、また、測距センサ14に代えて、測距センサ81が設けられている。
【0162】
第3の実施形態においては、発光部13が省略されているため、センサ制御部41は、発光部13の制御が不要である。また、測距センサ81は、ステレオカメラ方式により被写体までの距離を計測し、その結果を演算処理部16に供給する。その他は、上述した第1の実施形態と同様である。
【0163】
以上のように、撮像装置1の距離情報取得部20は、アクティブタイプの測距方式の他、パッシブタイプの測距方式を用いて、被写体までの距離を計測するものでもよい。
【0164】
さらに、距離情報取得部20は、アクティブタイプとパッシブタイプの両方を備えたハイブリットタイプであってもよい。
【0165】
アクティブタイプは、例えば白い壁など、パッシブタイプでは合焦できないものに対しても、テクスチャに依存せずに合焦させることができる。したがって、距離情報取得部20の測距方式としては、アクティブタイプか、または、ハイブリッドタイプが好ましい。
【0166】
また、測距センサ81と測距センサ14は、上述した例に限られず、2点以上を同時に測距できるものであればよい。
【0167】
<4.デジタルカメラの構成例>
図2図15では、撮像装置1がスマートフォンで構成される場合を例として、測距センサ14と撮像センサ15の配置について説明した。
【0168】
以下では、撮像装置1が、1眼レフのデジタルカメラやミラーレスのデジタルカメラである場合の測距センサ14と撮像センサ15の配置について説明する。
【0169】
図17は、撮像装置1がミラーレスのデジタルカメラである場合の第1の構成例の概略を示す断面図である。
【0170】
図17において、撮像装置1は、着脱可能な交換レンズ111と、交換レンズ111が装着されるボディ側装置112とで構成され、ボディ側装置112に、測距センサ14、撮像センサ15、及び、可動ミラー113を有する。
【0171】
交換レンズ111は、図示せぬフォーカスレンズ44や絞り等を内蔵して構成され、被写体からの光Lを集光する。
【0172】
可動ミラー113は、平板形状のミラーであり、撮像センサ15での撮像を行っていないときには、図17のAに示されるように、右上がりの姿勢になって、交換レンズ111を通過した光を、ボディ側装置112の上部に反射する。
【0173】
また、可動ミラー113は、撮像センサ15での撮像を行うときには、図17のBに示されるように、水平の姿勢になって、交換レンズ111を通過した光を、撮像センサ15に入射させる。
【0174】
可動ミラー113は、図示せぬシャッタボタンが全押し操作されたときに、図17のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図17のAに示されるように、右上がりの姿勢になる。
【0175】
測距センサ14は、IR光と可視光の両方を受光可能なイメージセンサで構成され、受光したIR光に基づいて距離情報を生成し、出力する。
【0176】
また、測距センサ14は、EVF(Electric View Finder)用センサも兼用し、可動ミラー113で反射された可視光を受光することにより、図示せぬEVFで表示するEVF用画像を撮像する。
【0177】
図17において、撮像センサ15は、シャッタボタンが全押し操作された場合に、図17のBに示されるように、交換レンズ111からの光を受光して記録用の撮像を行う。
【0178】
一方、シャッタボタンが全押し操作されていないときには、図17のAに示されるように、可動ミラー113が右上がりの姿勢になり、交換レンズ111を通過した光が、可動ミラー113で反射され、EVF用センサを兼ねる測距センサ14に入射する。測距センサ14は、可動ミラー113で反射されたIR光と可視光を受光することにより、IR光に基づいて距離情報を生成し、出力するとともに、EVF用画像を撮像する。
【0179】
図18は、撮像装置1がミラーレスのデジタルカメラである場合の第2の構成例の概略を示す断面図である。
【0180】
なお、図中、図17の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0181】
図18において、撮像装置1は、着脱可能な交換レンズ111と、交換レンズ111が装着されるボディ側装置112とで構成され、ボディ側装置112に、測距センサ14、撮像センサ15、可動ミラー113、及び、EVF用光学系121を有する。
【0182】
したがって、図18の撮像装置1は、測距センサ14、撮像センサ15、可動ミラー113を有する点で、図17の場合と共通し、EVF用光学系121が新たに設けられている点で、図17の場合と相違する。
【0183】
EVF用光学系121は、例えば、光学フィルタやレンズ等の、EVF用センサに固有の光学部品であり、EVF用センサを兼用する測距センサ14の、光が入射する側に設けられている。したがって、測距センサ14では、EVF用光学系121を通過(経由)した光が受光される。
【0184】
可動ミラー113は、図示せぬシャッタボタンが全押し操作されたときに、図18のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図18のAに示されるように、右上がりの姿勢になる。
【0185】
撮像センサ15は、シャッタボタンが全押し操作された場合に、図18のBに示されるように、交換レンズ111からの光を受光して記録用の撮像を行う。
【0186】
一方、シャッタボタンが全押し操作されていないときには、図18のAに示されるように、可動ミラー113が右上がりの姿勢になり、測距センサ14は、可動ミラー113で反射されたIR光と可視光を受光することにより、IR光に基づいて距離情報を生成し、出力するとともに、EVF用画像を撮像する。
【0187】
図19は、撮像装置1が1眼レフのデジタルカメラである場合の構成例の概略を示す断面図である。
【0188】
なお、図中、図17の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0189】
図19において、撮像装置1は、着脱可能な交換レンズ111と、交換レンズ111が装着されるボディ側装置112とで構成され、ボディ側装置112に、測距センサ14、撮像センサ15、可動ハーフミラー131、可動ミラー132、及び、ペンタプリズム133を有する。
【0190】
したがって、図19の撮像装置1は、測距センサ14、撮像センサ15、及び交換レンズ111を有する点で、図17の場合と共通する。
【0191】
但し、図19の撮像装置1は、可動ミラー113を有しない点、並びに、可動ハーフミラー131、可動ミラー132、及び、ペンタプリズム133を有する点で、図17の場合と相違する。
【0192】
可動ハーフミラー131は、光の一部を反射させ、残りの光を通過させる平板形状のミラーであり、例えば、コールドミラーのような、IR光を透過し可視光を反射する光学薄膜をつけた鏡で構成することができる。あるいはまた、可動ハーフミラー131は、あたかもバンドパスフィルターのように、波長帯域を選択して反射または透過させることができる光学薄膜をつけた鏡で構成することができる。
【0193】
可動ハーフミラー131は、撮像センサ15での撮像を行っていないときには、図19のAに示されるように、右上がりの姿勢になって、交換レンズ111を通過した光の一部(可視光)を、ボディ側装置112の上部に反射するとともに、残りの光(IR光)を通過させる。
【0194】
また、可動ハーフミラー131は、撮像センサ15での撮像を行うときには、図19のBに示されるように、可動ミラー132とともに水平の姿勢になって、交換レンズ111を通過した光を、撮像センサ15に入射させる。
【0195】
可動ハーフミラー131は、図示せぬシャッタボタンが全押し操作されたときに、図19のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図19のAに示されるように、右上がりの姿勢になる。
【0196】
可動ミラー132は、平板形状のミラーであり、撮像センサ15での撮像を行っていないときには、図19のAに示されるように、左上がりの姿勢になって、可動ハーフミラー131を通過した光を、ボディ側装置112の下部に反射し、測距センサ14に入射させる。可動ミラー132には、バンドパスフィルターのように波長帯域を選択して反射させることができる光学薄膜をつけても構わない。
【0197】
また、可動ミラー132は、撮像センサ15での撮像を行うときには、図19のBに示されるように、可動ハーフミラー131とともに水平の姿勢になって、交換レンズ111を通過した光を、撮像センサ15に入射させる。
【0198】
可動ミラー132は、図示せぬシャッタボタンが全押し操作されたときに、図19のBに示されるように、水平の姿勢になり、シャッタボタンが全押し操作されていないときに、図19のAに示されるように、左上がりの姿勢になる。
【0199】
ペンタプリズム133は、可動ハーフミラー131で反射された光を適切に反射して、ユーザの眼に導く。ユーザは、撮像センサ15で撮像される像(画像)を確認することができる。
【0200】
図19の撮像装置1では、シャッタボタンが全押し操作されていないときには、図19のAに示されるように、可動ハーフミラー131は、右上がりの姿勢になり、可動ミラー132は、左上がりの姿勢になる。その結果、交換レンズ111を通過したIR光は、可動ハーフミラー131を通過し、可視光は、可動ハーフミラー131で反射される。可動ハーフミラー131で反射された可視光は、さらに、ペンタプリズム133で反射され、ユーザの眼に入射される。
【0201】
一方、可動ハーフミラー131を通過したIR光は、可動ミラー132で反射され、測距センサ14に入射される。測距センサ14は、可動ミラー132で反射されたIR光を受光することにより、IR光に基づいて距離情報を生成し、出力する。
【0202】
撮像センサ15は、シャッタボタンが全押し操作された場合に、図19のBに示されるように、交換レンズ111からの光を受光して記録用の撮像を行う。
【0203】
図17乃至図19で示した、撮像装置1が1眼レフのデジタルカメラやミラーレスのデジタルカメラである場合の構成例では、測距センサ14と撮像センサ15が同一の光軸を有する場合の配置例であったが、1眼レフのデジタルカメラやミラーレスのデジタルカメラの場合であっても、測距センサ14と撮像センサ15は、同一の光軸を有する必要はなく、3次元的に配置させることが可能である(平面方向及び光軸方向のいずれにおいても異なる位置に配置させることができる)。例えば、測距センサ14を、レンズ鏡筒内やレンズ鏡筒外周、カメラ筐体外部等に配置してもよく、測距センサ14が生成する距離情報や、測距センサ14に供給される制御情報などの各種の情報の送受信が可能であれば、別筐体であっても構わない。
【0204】
あるいはまた、測距センサ14と撮像センサ15は、いずれも撮像素子で構成することができるので、図20に示されるように、測距センサ14を第1の基板151に形成し、撮像センサ15を第2の基板152に形成して、第1の基板151と第2の基板152を積層した構成とすることもできる。また、積層する場合の第1の基板151と第2の基板152の上下関係は、図20の逆でもよい。
【0205】
さらには、1枚の基板内に撮像センサ15としての光電変換部を形成し、同じ基板の上側に、IR光を受光する光電変換部を形成することで、1枚の基板に測距センサ14と撮像センサ15を形成することも可能である。EVF用センサを兼用する測距センサ14も、同様に、1枚の基板内にEVF用センサとしての光電変換部を形成し、同じ基板の上側に、IR光を受光する光電変換部を形成することで実現できる。
【0206】
<5.本技術を適用したコンピュータの説明>
上述した制御部11や演算処理部16等が行う一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等のコンピュータにインストールされる。
【0207】
図21は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施形態の構成例を示すブロック図である。
【0208】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。
【0209】
あるいはまた、プログラムは、リムーバブル記録媒体211に格納(記録)しておくことができる。このようなリムーバブル記録媒体211は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体211としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【0210】
なお、プログラムは、上述したようなリムーバブル記録媒体211からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク205にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【0211】
コンピュータは、CPU(Central Processing Unit)202を内蔵しており、CPU202には、バス201を介して、入出力インタフェース210が接続されている。
【0212】
CPU202は、入出力インタフェース210を介して、ユーザによって、入力部207が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)203に格納されているプログラムを実行する。あるいは、CPU202は、ハードディスク205に格納されたプログラムを、RAM(Random Access Memory)204にロードして実行する。
【0213】
これにより、CPU202は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース210を介して、出力部206から出力、あるいは、通信部208から送信、さらには、ハードディスク205に記録等させる。
【0214】
なお、入力部207は、キーボードや、マウス、マイク等で構成される。また、出力部206は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【0215】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
【0216】
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0217】
本技術は、フォーカスレンズ44を、モータを使って所定のレンズ位置に駆動する制御を行う撮像装置全般に適用することができる。
【0218】
<6.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0219】
図22は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図22に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
【0220】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図22では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
【0221】
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
【0222】
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【0223】
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0224】
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【0225】
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【0226】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【0227】
ここで、図23は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0228】
なお、図23には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
【0229】
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【0230】
図22に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【0231】
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
【0232】
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【0233】
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
【0234】
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【0235】
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
【0236】
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
【0237】
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
【0238】
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
【0239】
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
【0240】
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【0241】
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【0242】
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【0243】
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図22の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0244】
なお、図22に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
【0245】
なお、図1等を用いて説明した各実施形態に係る撮像装置1の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0246】
以上説明した図22の車両制御システム7000において、図1等を用いて説明した各実施形態に係る撮像装置1の撮像センサ15および距離情報取得部20は、撮像部7410および車外情報検出部7420に相当する。また、撮像装置1の制御部11および演算処理部16は、統合制御ユニット7600のマイクロコンピュータ7610に相当し、撮像装置1の記憶部17、表示部18は、それぞれ、統合制御ユニット7600の記憶部7690、表示部7720に相当する。例えば、記憶部7690には、被写体までの距離情報とレンズ制御値との対応関係を記憶したLUTが記憶されており、マイクロコンピュータ7610が、撮像部7410によって撮像された画像から算出された距離情報に基づいて、撮像部7410の光学系を制御するLUTフォーカス制御を行うことができる。本開示の技術を車両制御システム7000に適用することにより、例えば環境条件や光学条件に依存することなく、撮像部7410のフォーカス制御を行うことができる。
【0247】
また、図1等を用いて説明した撮像装置1の少なくとも一部の構成要素は、図22に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1等を用いて説明した撮像装置1は、図22に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
【0248】
本技術の実施形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0249】
上述した各実施形態において、センサ制御部41が行った制御の一部は、レンズ制御部42が行ってもよいし、反対に、レンズ制御部42が行った制御の一部を、センサ制御部41が行ってもよい。
【0250】
上述した複数の実施形態の全てまたは一部を組み合わせた形態を採用することができる。
【0251】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0252】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0253】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0254】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【0255】
なお、本技術は以下のような構成も取ることができる。
(1)
所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する制御部と
を備える撮像装置。
(2)
前記制御部は、さらに、前記距離情報取得部で取得された距離情報に基づいて、シャッタ動作を制御する
前記(1)に記載の撮像装置。
(3)
前記制御部は、前記物体までの距離が所定距離範囲内になった場合に、前記シャッタ動作を行わせる
前記(2)に記載の撮像装置。
(4)
前記フォーカスレンズのレンズ位置情報は、前記レンズ駆動部に供給されるレンズ制御値である
前記(1)乃至(3)のいずれかに記載の撮像装置。
(5)
前記距離情報取得部は、前記撮像素子とは異なる位置に配置されている
前記(1)乃至(4)のいずれかに記載の撮像装置。
(6)
前記距離情報取得部は、光を発する発光部と、前記光を受光する受光部とを有し、
前記発光部が発した前記光が前記物体に反射して返ってくるまでの経過時間に基づいて、前記物体までの距離情報を取得する
前記(1)乃至(5)のいずれかに記載の撮像装置。
(7)
前記受光部が受光するフレームレートは、前記撮像素子のフレームレート以上である
前記(6)に記載の撮像装置。
(8)
前記受光部は、前記撮像素子と積層されて配置されている
前記(6)または(7)に記載の撮像装置。
(9)
前記発光部は、赤外光を発光する
前記(6)乃至(8)のいずれかに記載の撮像装置。
(10)
前記距離情報取得部は、所定の間隔離れて配置された2個の撮像素子で構成される
前記(1)乃至(4)のいずれかに記載の撮像装置。
(11)
前記制御部は、前記距離情報取得部で取得された距離情報と前記ルックアップテーブルとに基づく前記レンズ駆動部の制御を、所定の時間間隔で繰り返し実行する
前記(1)乃至(10)のいずれかに記載の撮像装置。
(12)
ユーザの操作を受け付ける操作部をさらに備え、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、前記ユーザの操作に基づいて、前記記憶部に記憶されている複数の前記ルックアップテーブルのなかから選択された前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
前記(1)乃至(11)のいずれかに記載の撮像装置。
(13)
前記撮像装置は、レンズ交換式の撮像装置であり、
前記記憶部は、複数の前記ルックアップテーブルを記憶し、
前記制御部は、複数の前記ルックアップテーブルのなかから、装着された前記フォーカスレンズに対応する前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
前記(1)乃至(12)のいずれかに記載の撮像装置。
(14)
ユーザによる前記距離情報の入力を受け付ける操作部をさらに備え、
前記制御部は、前記ユーザが入力した前記距離情報に基づいて前記ルックアップテーブルを作成し、前記記憶部に記憶させる
前記(1)乃至(13)のいずれかに記載の撮像装置。
(15)
外部装置と所定のデータを通信する通信部をさらに備え、
前記制御部は、前記通信部を介して取得した前記ルックアップテーブルを用いて、前記レンズ駆動部を制御する
前記(1)乃至(14)のいずれかに記載の撮像装置。
(16)
前記制御部は、さらに、前記距離情報取得部によって得られた前記距離情報に基づいて、デプスマップを表示部に表示させる制御を行う
前記(1)乃至(15)のいずれかに記載の撮像装置。
(17)
所定の撮像領域を有する撮像素子と、フォーカスレンズを駆動するレンズ駆動部と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置が、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記レンズ駆動部を制御する
撮像制御方法。
(18)
所定の撮像領域を有する撮像素子と、被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部とを備える撮像装置のコンピュータに、
前記撮像領域に存在する物体までの距離情報を取得し、
取得された距離情報と前記ルックアップテーブルとに基づいて、前記フォーカスレンズのレンズ位置を制御する
処理を実行させるためのプログラム。
(19)
所定の撮像領域を有する撮像素子と、
フォーカスレンズを駆動するレンズ駆動部と、
被写体までの距離情報と前記フォーカスレンズのレンズ位置情報との対応関係をルックアップテーブルにより記憶する記憶部と、
前記ルックアップテーブルに基づいて、前記レンズ駆動部を制御するレンズ位置制御部と、
前記撮像領域に存在する物体までの距離情報を取得する距離情報取得部と、
前記距離情報取得部で取得された距離情報に基づいて、撮像に関する制御を実行する撮像制御部と
を備える撮像装置。
【符号の説明】
【0256】
1 撮像装置, 11 制御部, 12 光学系, 13 発光部, 14 測距センサ, 15 撮像センサ, 16 演算処理部, 17 記憶部, 18 表示部, 19 操作部, 20 距離情報取得部, 21 通信部, 41 センサ制御部, 42 レンズ制御部, 43 レンズ駆動部, 44 フォーカスレンズ, 81 測距センサ, 82A 第1の撮像素子, 82B 第2の撮像素子, 202 CPU, 203 ROM, 204 RAM, 205 ハードディスク, 206 出力部, 207 入力部, 208 通信部, 209 ドライブ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
【国際調査報告】