ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063018
(43)【公開日】2024-05-10
(54)【発明の名称】情報処理装置、撮像装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G01S 7/487 20060101AFI20240501BHJP
G01S 17/89 20200101ALI20240501BHJP
G01C 3/06 20060101ALI20240501BHJP
G02B 7/28 20210101ALI20240501BHJP
G02B 7/34 20210101ALI20240501BHJP
G02B 7/36 20210101ALI20240501BHJP
G02B 7/40 20210101ALI20240501BHJP
G03B 13/36 20210101ALI20240501BHJP
H04N 23/67 20230101ALI20240501BHJP
【ＦＩ】
G01S7/487
G01S17/89
G01C3/06 120Q
G01C3/06 110V
G01C3/06 120S
G01C3/06 130
G01C3/06 140
G01C3/06 120P
G02B7/28 N
G02B7/34
G02B7/36
G02B7/40
G03B13/36
H04N23/67
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2024017961
(22)【出願日】2024-02-08
(62)【分割の表示】P 2021565366の分割
【原出願日】2020-11-10
(31)【優先権主張番号】P 2019227582
(32)【優先日】2019-12-17
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】増田 智紀
(72)【発明者】
【氏名】林 健吉
(57)【要約】 （修正有）
【課題】測距対象として意図しない光沢性物体からの反射光に起因する誤測距を回避することができる情報処理装置、撮像装置、情報処理方法、及びプログラムを提供する。
【解決手段】情報処理装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を含み、プロセッサは、光照射器が光を測距対象領域に向けて面照射した照射タイミングと、光の測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定し、光照射器による面照射に対応する受光期間に、受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、プロセッサは、複数の信号の関係に基づいて第１距離を測定する。
【選択図】図１４
【解決手段】情報処理装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を含み、プロセッサは、光照射器が光を測距対象領域に向けて面照射した照射タイミングと、光の測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定し、光照射器による面照射に対応する受光期間に、受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、プロセッサは、複数の信号の関係に基づいて第１距離を測定する。
【選択図】図１４
【特許請求の範囲】
【請求項1】
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、光照射器が光を測距対象領域に向けて面照射した照射タイミングと、前記光の前記測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて前記測距対象領域内の物体までの第１距離を測定し、
前記面照射に対応する受光期間に、前記受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、前記プロセッサは、前記特定画素によって生成された複数の信号であって、基準閾値を上回る複数の信号の関係に基づいて前記第１距離を測定する
情報処理装置。
前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、光照射器が光を測距対象領域に向けて面照射した照射タイミングと、前記光の前記測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて前記測距対象領域内の物体までの第１距離を測定し、
前記面照射に対応する受光期間に、前記受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、前記プロセッサは、前記特定画素によって生成された複数の信号であって、基準閾値を上回る複数の信号の関係に基づいて前記第１距離を測定する
情報処理装置。
【請求項2】
前記複数の信号の関係とは、前記複数の信号の強度の時系列分布である
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記複数の信号に、基準閾値を上回る強度を有する信号が複数含まれている場合、前記プロセッサは、前記複数の信号のうちの前記強度が２番目に大きな信号に対応する前記反射光を前記受光器が受光した前記受光タイミングに基づき前記第１距離を測定する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記プロセッサは、前記複数の信号に、第１閾値以上の第１強度を有する第１信号と、前記第１閾値未満であり、かつ、前記第１閾値よりも小さな第２閾値以上の第２強度を有する第２信号とが含まれている場合、特定の処理を実行する
請求項１から請求項３のいずれか一項に記載の情報処理装置。
請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項5】
前記第１閾値及び前記第２閾値は、環境光によるノイズ成分に基づいて定められている
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記第１閾値は、前記受光タイミングが遅くなるほど減少する値である
請求項４又は請求項５に記載の情報処理装置。
請求項４又は請求項５に記載の情報処理装置。
【請求項7】
前記特定の処理は、前記第２信号に対応する前記反射光を前記特定画素が受光した前記受光タイミングに基づき前記第１距離を測定する処理である
請求項４から請求項６の何れか一項に記載の情報処理装置。
請求項４から請求項６の何れか一項に記載の情報処理装置。
【請求項8】
前記特定の処理は、前記複数の信号の強度に前記第１強度が含まれていることを通知する処理を含む
請求項４から請求項７の何れか一項に記載の情報処理装置。
請求項４から請求項７の何れか一項に記載の情報処理装置。
【請求項9】
前記特定の処理は、前記測距対象領域が第１撮像器によって撮像されることで得られた画像に基づいて前記物体までの第２距離を測定する画像使用型測距を含む
請求項４から請求項８の何れか一項に記載の情報処理装置。
請求項４から請求項８の何れか一項に記載の情報処理装置。
【請求項10】
前記プロセッサは、前記照射タイミングと前記受光タイミングとに基づいて前記第１距離を測定する動作に並行して、前記測距対象領域が第２撮像器によって撮像されることで得られた画像に基づいて前記物体までの第２距離を測定する画像使用型測距を行い、
前記特定の処理は、前記画像使用型測距の測距結果に基づく処理を含む
請求項４から請求項８の何れか一項に記載の情報処理装置。
前記特定の処理は、前記画像使用型測距の測距結果に基づく処理を含む
請求項４から請求項８の何れか一項に記載の情報処理装置。
【請求項11】
前記画像使用型測距は、位相差画素から前記画像として得られた位相差画像に従って前記第２距離を測定する位相差画像使用測距、ステレオ撮像方式で前記画像として得られたステレオ画像に従って前記第２距離を測定するステレオ画像使用測距、及び前記画像から検出された物画像であって、大きさが既知の物を示す物画像に従って前記第２距離を測定する物画像使用測距のうちの少なくとも１つである
請求項９又は請求項１０に記載の情報処理装置。
請求項９又は請求項１０に記載の情報処理装置。
【請求項12】
前記特定の処理は、前記測距対象領域に含まれる被写体が第３撮像器によって撮像されることで得られた被写体画像のコントラストに基づく前記第３撮像器に対するフォーカス制御を含む
請求項４から請求項１１の何れか一項に記載の情報処理装置。
請求項４から請求項１１の何れか一項に記載の情報処理装置。
【請求項13】
前記測距対象領域は、与えられた指示に従って限定された特定の実空間領域である
請求項１から請求項１２の何れか一項に記載の情報処理装置。
請求項１から請求項１２の何れか一項に記載の情報処理装置。
【請求項14】
前記測距対象領域は、第４撮像器によって撮像されることで得られた撮像画像から前記プロセッサによって検出された対象被写体画像に対応する特定の実空間領域である
請求項１から請求項１３の何れか一項に記載の情報処理装置。
請求項１から請求項１３の何れか一項に記載の情報処理装置。
【請求項15】
前記プロセッサは、前記照射タイミングと前記受光タイミングとに基づいて測定した前記第１距離を用いることで第５撮像器に対してフォーカス制御を行う
請求項１から請求項１４の何れか一項に記載の情報処理装置。
請求項１から請求項１４の何れか一項に記載の情報処理装置。
【請求項16】
前記複数の信号の強度は、前記受光タイミングに応じて調整されている
請求項１から請求項１５の何れか一項に記載の情報処理装置。
請求項１から請求項１５の何れか一項に記載の情報処理装置。
【請求項17】
前記受光器は、二次元状に配置された複数の前記特定画素を有し、
前記プロセッサは、前記複数の特定画素について、前記照射タイミングと前記受光タイミングとに基づいて前記第１距離を測定する
請求項１から請求項１６の何れか一項に記載の情報処理装置。
前記プロセッサは、前記複数の特定画素について、前記照射タイミングと前記受光タイミングとに基づいて前記第１距離を測定する
請求項１から請求項１６の何れか一項に記載の情報処理装置。
【請求項18】
請求項１から請求項１７の何れか一項に記載の情報処理装置と、
フォーカスレンズと、を含み、
前記プロセッサは、前記第１距離に従って定められた合焦位置に前記フォーカスレンズを移動させるフォーカス制御を行う
撮像装置。
フォーカスレンズと、を含み、
前記プロセッサは、前記第１距離に従って定められた合焦位置に前記フォーカスレンズを移動させるフォーカス制御を行う
撮像装置。
【請求項19】
光照射器が光を測距対象領域に向けて面照射すること、
前記光の前記測距対象領域からの反射光を受光器が受光すること、
前記光照射器が前記光を前記測距対象領域に向けて面照射した照射タイミングと、前記反射光を前記受光器が受光した受光タイミングとに基づいて前記測距対象領域内の物体までの第１距離を測定すること、及び
前記面照射に対応する受光期間に、前記受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、基準閾値を上回る前記複数の信号の関係に基づいて前記第１距離を測定すること、を含む
情報処理方法。
前記光の前記測距対象領域からの反射光を受光器が受光すること、
前記光照射器が前記光を前記測距対象領域に向けて面照射した照射タイミングと、前記反射光を前記受光器が受光した受光タイミングとに基づいて前記測距対象領域内の物体までの第１距離を測定すること、及び
前記面照射に対応する受光期間に、前記受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、基準閾値を上回る前記複数の信号の関係に基づいて前記第１距離を測定すること、を含む
情報処理方法。
【請求項20】
コンピュータに処理を実行させるためのプログラムであって、
前記処理は、
光照射器が光を測距対象領域に向けて面照射すること、
前記光の前記測距対象領域からの反射光を受光器が受光すること、
前記光照射器が前記光を前記測距対象領域に向けて面照射した照射タイミングと、前記反射光を前記受光器が受光した受光タイミングとに基づいて前記測距対象領域内の物体までの第１距離を測定すること、及び
前記面照射に対応する受光期間に前記受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、基準閾値を上回る前記複数の信号の関係に基づいて前記第１距離を測定すること、を含む
プログラム。
前記処理は、
光照射器が光を測距対象領域に向けて面照射すること、
前記光の前記測距対象領域からの反射光を受光器が受光すること、
前記光照射器が前記光を前記測距対象領域に向けて面照射した照射タイミングと、前記反射光を前記受光器が受光した受光タイミングとに基づいて前記測距対象領域内の物体までの第１距離を測定すること、及び
前記面照射に対応する受光期間に前記受光器に含まれる特定画素が異なるタイミングで複数の信号を生成する場合、基準閾値を上回る前記複数の信号の関係に基づいて前記第１距離を測定すること、を含む
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、情報処理装置、撮像装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、レーザ光発信装置と、レーザ光発信装置から発射されたレーザ光を計測対象に対して送信し、計測対象からの反射光を集光する光学系を備えたレーザ測距装置が開示されている。特許文献１に記載にレーザ測距装置は、光学系受信視野の透過位置と大きさとを視野内で任意に変更可能な視野制限機構を備え、受信視野内の視野制限機構を経た位置の計測対象内の計測目標までの距離を計測する。
【0003】
特許文献２には、車両の進行方向に向けて電磁波を出射し、電磁波の反射波に基づいて物体を検知する物体検知装置が開示されている。特許文献２に記載の物体検知装置は、電磁波を、水平方向と垂直方向に、スキャン範囲においてスキャンしつつ出射する出射手段と、電磁波の反射波を受信する受信手段と、受信手段により受信された反射波のレベルを取得する取得手段と、反射波のレベルが最大となる領域の垂直方向の位置と、スキャン範囲の垂直方向の中心の位置に基づいて第１のズレ補正量を演算する演算手段と、演算手段により演算された第１のズレ補正量に基づいて、スキャン範囲の垂直方向の中心の位置を補正するとともに、反射波により物体からの距離を計測する補正手段と、を備えている。また、特許文献２に記載の物体検知装置の出射手段は、スキャン範囲の垂直方向の中心の位置を中心とする中心領域において、水平方向のうちの所定の方向である第１の方向にスキャンし、中心領域の上の領域において、第１の方向と逆方向である第２の方向にスキャンしつつ出射する第１のスキャン処理と、中心領域において第１の方向にスキャンし、中心領域の下の領域において第２の方向にスキャンしつつ出射する第２のスキャン処理とを行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００３－０５７３４３号公報
【特許文献2】特開２００６－３４９６９４号公報
【発明の概要】
【0005】
本開示の技術に係る一つの実施形態は、測距対象として意図しない光沢性物体からの反射光に起因する誤測距を回避することができる情報処理装置、撮像装置、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を含み、プロセッサが、光照射器が光を測距対象領域に向けて面照射した照射タイミングと、光の測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定し、第１距離が、光照射器による面照射に対応する受光期間内の複数の受光タイミングに受光器によって生成された複数の信号のうち、複数の信号の関係と複数の信号の強度とに基づいて選択された信号に対応する受光タイミングと照射タイミングとに基づいてプロセッサによって測定される情報処理装置である。
【0007】
本開示の技術に係る第２の態様は、第１距離の測定に用いられる受光タイミングが、複数の信号のうちの強度が２番目に大きな信号に関する反射光を受光器が受光したタイミングである第１の態様に係る情報処理装置である。
【0008】
本開示の技術に係る第３の態様は、プロセッサが、複数の信号の強度に、第１閾値以上の第１強度と、第１閾値未満であり、かつ、第１閾値よりも小さな第２閾値以上の第２強度とが含まれている場合に、特定の処理を実行する第１の態様又は第２の態様に係る情報処理装置である。
【0009】
本開示の技術に係る第４の態様は、第１閾値及び第２閾値が、環境光によるノイズ成分に基づいて定められている第３の態様に係る情報処理装置である。
【0010】
本開示の技術に係る第５の態様は、第１閾値が、受光タイミングが遅くなるほど減少する値である第３の態様又は第４の態様に係る情報処理装置である。
【0011】
本開示の技術に係る第６の態様は、特定の処理が、複数の信号の強度に第１強度が含まれていることを通知する処理を含む第３の態様から第５の態様の何れか１つの態様に係る情報処理装置である。
【0012】
本開示の技術に係る第７の態様は、特定の処理が、測距対象領域が撮像されることで得られた画像に基づいて物体までの第２距離を測定する画像使用型測距を含む第３の態様から第６の態様の何れか１つの態様に係る情報処理装置である。
【0013】
本開示の技術に係る第８の態様は、プロセッサが、照射タイミングと受光タイミングとに基づいて第１距離を測定する動作に並行して、測距対象領域が撮像されることで得られた画像に基づいて物体までの第２距離を測定する画像使用型測距を行い、特定の処理が、画像使用型測距の測距結果に基づく処理を含む第３の態様から第６の態様の何れか１つの態様に係る情報処理装置である。
【0014】
本開示の技術に係る第９の態様は、画像使用型測距が、位相差画素から画像として得られた位相差画像に従って第２距離を測定する位相差画像使用測距、ステレオ撮像方式で画像として得られたステレオ画像に従って第２距離を測定するステレオ画像使用測距、及び画像から検出された物画像であって、大きさが既知の物を示す物画像に従って第２距離を測定する物画像使用測距のうちの少なくとも１つである第７の態様又は第８の態様に係る情報処理装置である。
【0015】
本開示の技術に係る第１０の態様は、特定の処理が、測距対象領域に含まれる被写体が撮像器によって撮像されることで得られた被写体画像のコントラストに基づく撮像器に対するフォーカス制御を含む第３の態様から第９の態様の何れか１つの態様に係る情報処理装置である。
【0016】
本開示の技術に係る第１１の態様は、測距対象領域が、与えられた指示に従って限定された特定の実空間領域である第１の態様から第１０の態様の何れか１つの態様に係る情報処理装置である。
【0017】
本開示の技術に係る第１２の態様は、測距対象領域が、撮像されることで得られた撮像画像からプロセッサによって検出された対象被写体画像に対応する特定の実空間領域である第１の態様から第１１の態様の何れか１つの態様に係る情報処理装置である。
【0018】
本開示の技術に係る第１３の態様は、プロセッサが、照射タイミングと受光タイミングとに基づいて測定した第１距離を用いることで撮像器に対してフォーカス制御を行う第１の態様から第１２の態様の何れか１つの態様に係る情報処理装置である。
【0019】
本開示の技術に係る第１４の態様は、複数の信号の強度が、受光タイミングに応じて調整されている第１の態様から第１３の態様の何れか１つの態様に係る情報処理装置である。
【0020】
本開示の技術に係る第１５の態様は、受光器は、二次元状に配置された複数の光電変換素子を有し、プロセッサは、複数の光電変換素子について、照射タイミングと受光タイミングとに基づいて第１距離を測定する第１の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。
【0021】
本開示の技術に係る第１６の態様は、第１の態様から第１５の態様の何れか１つの態様に係る情報処理装置と、フォーカスレンズと、を含み、プロセッサが、第１距離に従って定められた合焦位置にフォーカスレンズを移動させるフォーカス制御を行う撮像装置である。
【0022】
本開示の技術に係る第１７の態様は、光照射器が光を測距対象領域に向けて面照射すること、光の測距対象領域からの反射光を受光器が受光すること、及び光照射器が光を測距対象領域に向けて面照射した照射タイミングと、反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定することを含み、第１距離が、光照射器による面照射に対応する受光期間内の複数の受光タイミングに受光器によって生成された複数の信号のうち、複数の信号の関係と複数の信号の強度とに基づいて選択された信号に対応する受光タイミングと照射タイミングとに基づいて測定される情報処理方法である。
【0023】
本開示の技術に係る第１８の態様は、コンピュータに処理を実行させるためのプログラムであって、処理が、光照射器が光を測距対象領域に向けて面照射すること、光の測距対象領域からの反射光を受光器が受光すること、及び光照射器が光を測距対象領域に向けて面照射した照射タイミングと、反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定することを含み、第１距離が、光照射器による面照射に対応する受光期間内の複数の受光タイミングに受光器によって生成された複数の信号のうち、複数の信号の関係と複数の信号の強度とに基づいて選択された信号に対応する受光タイミングと照射タイミングとに基づいて測定されるプログラム。
【図面の簡単な説明】
【0024】
【図1】第１実施形態に係るスマートデバイスの使用態様の一例を示す概略斜視図である。
【図2】第１実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。
【図3】第１実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域が撮像され、ディスプレイに可視光画像が表示されている態様の一例を示す概念図である。
【図4】第１実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域に対してレーザ光を照射している態様の一例を示す概念図である。
【図5】第１実施形態に係るスマートデバイスの光電変換素子に含まれる各画素の配置の一例を示す概略斜視図である。
【図8】第１実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域に対する第１測距が行われることで得られた測距結果に基づく距離画像がディスプレイに表示されている態様の一例を示す概念図である。
【図9】第１実施形態に係るスマートデバイスの電気系ハードウェアの構成の一例を示すブロック図である。
【図10】第１実施形態に係るスマートデバイスに含まれるＣＰＵの機能の一例を示すブロック図である。
【図12】第１実施形態に係るスマートデバイスによって第１測距が行われる場面の一例を示す概念図である。
【図13】第１実施形態に係るスマートデバイスに含まれる第１測距系処理回路の処理内容の一例を示す概念図である。
【図14】第１実施形態に係るスマートデバイスに含まれる第１測距系処理回路の時系列分布生成部によって生成された時系列分布の一例を示す概念図である。
【図21】第１実施形態に係るスマートデバイスによってディスプレイに表示されている画像選択画面内の第１可視光画像がユーザによってタッチパネルを介して選択された場合の処理内容の一例を示す概念図である。
【図22】第１実施形態に係るスマートデバイスによってディスプレイに表示されている画像選択画面内の第２可視光画像がユーザによってタッチパネルを介して選択された場合の処理内容の一例を示す概念図である。
【図23】第１実施形態に係る第１測距系処理の流れの一例を示すフローチャートである。
【図24A】第１実施形態に係る測距撮像処理の流れの一例を示すフローチャートである。
【図25】第２実施形態に係るスマートデバイスに含まれるＣＰＵの機能の一例を示すブロック図である。
【図26】第２実施形態に係るスマートデバイスによって行われるコントラストＡＦ方式の撮像に関する処理内容の一例を示す概念図である。
【図27】第２実施形態に係る実行部によって実行される特定の処理の詳細の一例を示す概念図である。
【図29】時系列分布に対してフィルタが適用される態様の一例を示す概念図である。
【図30】フィルタが適用されることで調整された時系列分布の一例を示す概念図である。
【図31】第１又は第２実施形態に係る測距撮像処理プログラムがスマートデバイスにインストールされる態様の一例を示す概念図である。
【発明を実施するための形態】
【0025】
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
【0026】
先ず、以下の説明で使用される文言について説明する。
【0027】
ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＴＥとは、“Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ”の略称を指す。５Ｇとは、“５ｔｈ Ｇｅｎｅｒａｔｉｏｎ”の略称を指す。ＬＤとは、“Ｌａｓｅｒ Ｄｉｏｄｅ”の略称を指す。ＩＲとは、“Ｉｎｆｒａｒｅｄ”の略称を指す。ＡＰＤとは、“Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ”の略称を指す。ＴＯＦとは、
“Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＬＥＤとは、“Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ”の略称を指す。ＲＯＩとは、“Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。ＡＦとは、“Ａｕｔｏ Ｆｏｃｕｓ”の略称を指す。ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。
“Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＬＥＤとは、“Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ”の略称を指す。ＲＯＩとは、“Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。ＡＦとは、“Ａｕｔｏ Ｆｏｃｕｓ”の略称を指す。ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。
【0028】
本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの一致を指す。
【0029】
［第１実施形態］
一例として図１に示すように、スマートデバイス１０は、画角θ１で規定された撮像領域を撮像する撮像動作（以下、単に「撮像動作」とも称する）と、測距動作とを行う。本第１実施形態において、「測距」とは、スマートデバイス１０から撮像領域までの距離を測定する処理を指す。ここで、撮像領域は、本開示の技術に係る「測距対象領域」の一例である。また、スマートデバイス１０は、本開示の技術に係る「情報処理装置」及び「撮像装置」の一例である。スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。
一例として図１に示すように、スマートデバイス１０は、画角θ１で規定された撮像領域を撮像する撮像動作（以下、単に「撮像動作」とも称する）と、測距動作とを行う。本第１実施形態において、「測距」とは、スマートデバイス１０から撮像領域までの距離を測定する処理を指す。ここで、撮像領域は、本開示の技術に係る「測距対象領域」の一例である。また、スマートデバイス１０は、本開示の技術に係る「情報処理装置」及び「撮像装置」の一例である。スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。
【0030】
スマートデバイス１０では、測距方式が互いに異なる第１測距及び第２測距が行われる。第１測距は、スマートデバイス１０がレーザ光を撮像領域に向けて照射したタイミングと、レーザ光の撮像領域からの反射光をスマートデバイス１０が受光したタイミングとに基づいて撮像領域内の物体までの距離を測定する方式（以下、「アクティブ方式」とも称する）の測距である。ここで、レーザ光は、本開示の技術に係る「光」の一例である。また、ここでは、レーザ光が撮像領域に向けて面照射される。なお、面照射とは、レーザ光が撮像領域に向けてビーム径がスポット照射よりも拡がる照射を指す。面照射では、レーザ光のビーム径が、レーザ光の照射方向に沿って徐々に拡がり、ビーム径が単位時間あたりに拡がる度合いは、スポット照射よりも面照射の方が大きい。つまり、スポット照射では、撮像領域のある面に対して点状にレーザ光が照射されるのに対し、面照射では、撮像領域のある面に対して面状にレーザ光が照射される。また、レーザ光の照射は単発でもよいが、定期的に（例えば、０．１秒毎）に間欠的に行われるようにしてもよく、この場合、レーザ光の照射毎に第１測距が行われ、測距結果に基づく処理が行われるようにしてもよい。
【0031】
第２測距は、スマートデバイス１０によって撮像領域が撮像されることで得られた画像に基づいて、撮像領域内の物体までの距離を測定する方式（以下、「パッシブ方式」とも称する）の測距である。なお、第２測距は、本開示の技術に係る「画像使用型測距」の一例である。
【0032】
スマートデバイス１０では、アクティブ方式の測距とパッシブ方式の測距とを併用したハイブリッド方式の測距が行われる。そして、スマートデバイス１０では、アクティブ方式フォーカス制御を伴う撮像と、パッシブ方式フォーカス制御を伴う撮像とが行われる。アクティブ方式フォーカス制御とは、アクティブ方式の測距が行われることによって得られた測距結果に基づくフォーカス制御を指す。パッシブ方式フォーカス制御とは、パッシブ方式の測距が行われることによって得られる測距結果に基づくフォーカス制御を指す。
【0033】
一例として図２に示すように、スマートデバイス１０は、筐体１２を備えている。筐体１２には、測距撮像装置１４が収容されている。測距撮像装置１４は、光照射器１６及び受光器１８を備えている。光照射器１６は、ＬＤ２４を備えており、スマートデバイス１０において、撮像動作及び測距動作は、測距撮像装置１４によって行われる。
【0034】
スマートデバイス１０の側面には、指示キー１３が配置されている。指示キー１３は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。
【0035】
スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部（縦置きの状態のスマートデバイス１０の背面視左上部）には、透光窓２０及び２２が設けられている。透光窓２０及び２２は、透光性を有する光学素子（例えば、レンズ）であり、水平方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。光照射器１６は、ＬＤ２４から出射されたレーザ光を、透光窓２０を介して撮像領域に向けて照射する。本第１実施形態では、赤外波長域のレーザ光が光照射器１６によって撮像領域に向けて照射されている。なお、レーザ光の波長域は、これに限らず、他の波長域のレーザ光であってもよい。
【0036】
受光器１８は、透光窓２２を介してＩＲ反射光を取り込む。ＩＲ反射光とは、光照射器１６によって測距対象に照射されたレーザ光の測距対象からの反射光を指す。また、受光器１８は、透光窓２２を介して可視光反射光を取り込む。可視光反射光とは、撮像領域に対して照射された可視光（例えば、太陽光に含まれる可視光）の撮像領域からの反射光を指す。なお、以下では、説明の便宜上、ＩＲ反射光と可視光反射光とを区別して説明する必要がない場合、単に「反射光」と称する。
【0037】
受光器１８は、本開示の技術に係る「撮像器」の一例であり、光電変換素子２６を備えている。光電変換素子２６は、透光窓２２を介して受光器１８に取り込まれた反射光を受光し、受光した反射光の光量に応じた電気信号を出力する。
【0038】
一例として図３に示すように、筐体１２の前面１２Ｂには、タッチパネル・ディスプレイ５９が設けられている。タッチパネル・ディスプレイ５９は、ディスプレイ４６及びタッチパネル４８を備えている。ディスプレイ４６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ４６は、有機ＥＬディスプレイではなく、液晶ディスプレイなどの他種類のディスプレイであってもよい。
【0039】
ディスプレイ４６は、画像（例えば、ライブビュー画像及び再生画像）及び文字情報等を表示する。タッチパネル４８は、透過型のタッチパネルであり、ディスプレイ４６の表示領域の表面に重ねられている。タッチパネル４８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、ここでは、タッチパネル・ディスプレイ５９の一例として、タッチパネル４８がディスプレイ４６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ５９として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
【0040】
スマートデバイス１０では、撮像を開始する指示がタッチパネル４８によって受け付けられると、受光器１８によって撮像領域が撮像される。すなわち、受光器１８は、可視光反射光を受光し、受光した可視光反射光に応じた画像として、撮像領域を示す可視光画像を生成する。可視光画像は、本開示の技術に係る「画像」、「被写体画像」及び「撮像画像の一例である。
【0041】
可視光画像は、タッチパネル４８によって受け付けられた指示に応じて、ライブビュー画像又は静止画像として、ディスプレイ４６に表示される。図３に示す例では、撮像領域が画角θ１によって規定されている。画角θ１は、タッチパネル４８によって受け付けられた指示に従って変更される。
【0042】
一例として図４に示すように、スマートデバイス１０では、測距及び撮像を開始する指示（以下、「測距撮像開始指示」とも称する）がタッチパネル４８によって受け付けられると、光照射器１６によってレーザ光が照射される。レーザ光が照射される角度（以下、「照射角度」とも称する）は、θ２であり、照射角度θ２は、タッチパネル４８によって受け付けられた指示に従って変更される。なお、図４に示す例では、可視光画像がライブビュー画像としてディスプレイ４６に表示されている状態でタッチパネル４８によって受け付けられた測距撮像開始指示に応じて測距が開始される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、可視光画像がディスプレイ４６に表示されていない状態でタッチパネル４８によって測距撮像開始指示が受け付けられた場合に測距が開始されるようにしてもよい。
【0043】
スマートデバイス１０では、光照射器１６によってレーザ光が照射されてから、受光器１８によってＩＲ反射光が受光されるまでに要する時間と、光速とに基づいて、スマートデバイス１０から測距対象までの距離が測定される。例えば、測距対象までの距離を“Ｌ０”とし、光速を“ｃ”とし、レーザ光の飛行時間、すなわち、光照射器１６によってレーザ光が照射されてから受光器１８よってＩＲ反射光が受光されるまでに要する時間（以下、単に「飛行時間」とも称する）を“ｔ”とすると、距離Ｌ０は、“Ｌ０＝ｃ×ｔ×０．５”の式に従って算出される。
【0044】
一例として図５に示すように、光電変換素子２６は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
【0045】
光電変換素子２６に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑色）波長域に対応するＧフィルタ、Ｒ（赤色）波長域に対応するＲフィルタ、Ｂ（青色）波長域に対応するＢフィルタ、及びＩＲ（赤外）波長域に対応するＩＲフィルタを含む。なお、本第１実施形態において、Ｇフィルタ、Ｒフィルタ、及びＢフィルタは、赤外光をカットする赤外光カットフィルタとしての機能も有する。
【0046】
光電変換素子２６は、位相差画素と、位相差画素とは異なる画素である非位相差画素Ｎとの２種類の感光画素によって形成されている。一般的に、非位相差画素Ｎは、通常画素とも称される。光電変換素子２６は、非位相差画素として、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の４種類の感光画素を有する。Ｒ画素、Ｇ画素、Ｂ画素、ＩＲ画素、及び位相差画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で規則的に配置されている。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素及び位相差画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素であり、ＩＲ画素は、ＩＲフィルタが配置されたフォトダイオードに対応する画素である。ＩＲ画素の一例としては、ＩｎＧａＡｓ ＡＰＤが挙げられる。
【0047】
なお、以下では、説明の便宜上、Ｇフィルタ、Ｒフィルタ、及びＢフィルタを区別して説明する必要がない場合、「可視光フィルタ」とも称する。また、以下では、説明の便宜上、Ｒ画素、Ｇ画素、及びＢ画素を区別して説明する必要がない場合、これらを「可視光画素」と称する。
【0048】
光電変換素子２６の受光面には、複数の位相差画素ライン２６Ａと複数の非位相差画素ライン２６Ｂとが配列されている。位相差画素ライン２６Ａは、位相差画素を含む水平ラインである。具体的には、位相差画素ライン２６Ａは、位相差画素と非位相差画素Ｎとが混在している水平ラインである。非位相差画素ライン２６Ｂは、複数の非位相差画素Ｎのみを含む水平ラインである。
【0049】
光電変換素子２６の受光面には、位相差画素ライン２６Ａと、既定ライン数分の非位相差画素ライン２６Ｂとが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、２ラインを指す。なお、ここでは、既定ライン数として、２ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、３ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。
【0050】
位相差画素ライン２６Ａは、１行目から最終行にかけて列方向に２行飛ばしで配列されている。位相差画素ライン２６Ａの一部の画素が位相差画素である。具体的には、位相差画素ライン２６Ａは、位相差画素と非位相差画素Ｎとが周期的に配列された水平ラインである。位相差画素は、第１位相差画素Ｌと第２位相差画素Ｒとに大別される。位相差画素ライン２６Ａには、Ｇ画素として第１位相差画素Ｌと第２位相差画素Ｒとがライン方向に数画素間隔で交互に配置されている。
【0051】
第１位相差画素Ｌ及び第２位相差画素Ｒは、列方向で交互に現れるように配置されている。図５に示す例では、４列目において、１行目から列方向に沿って第１位相差画素Ｌ、第２位相差画素Ｒ、第１位相差画素Ｌ、及び第２位相差画素Ｒの順に配置されている。すなわち、第１位相差画素Ｌと第２位相差画素Ｒとが１行目から列方向に沿って交互に配置されている。また、図５に示す例では、１０列目において、１行目から列方向に沿って第２位相差画素Ｒ、第１位相差画素Ｌ、第２位相差画素Ｒ、及び第１位相差画素Ｌの順に配置されている。すなわち、第２位相差画素Ｒと第１位相差画素Ｌとが１行目から列方向に沿って交互に配置されている。
【0052】
光電変換素子２６は、３つの領域に区分される。すなわち、光電変換素子２６は、可視光画像用区分領域２６Ｎ１、第１測距系区分領域２６Ｎ２、及び第２測距系区分領域２６Ｎ３を有する。可視光画像用区分領域２６Ｎ１は、複数の可視光画素による可視光画素群であり、可視光画像の生成に用いられる。第１測距系区分領域２６Ｎ２は、二次元状に配置された複数のＩＲ画素によるＩＲ画素群であり、第１測距に用いられる。ここで、ＩＲ画素は、本開示の技術に係る「特定画素」の一例である。第２測距系区分領域２６Ｎ３は、複数の位相差画素による位相差画素群であり、第２測距に用いられる。可視光画像用区分領域２６Ｎ１及び第２測距系区分領域２６Ｎ３は、可視反射光を受光し、受光量に応じた電気信号を出力する。第１測距系区分領域２６Ｎ２は、ＩＲ反射光を受光し、受光量に応じた電気信号を出力する。
【0053】
一例として図６に示すように、第１位相差画素Ｌは、マイクロレンズ１９、遮光部材１７Ａ、及びフォトダイオードＰＤを備えている。第１位相差画素Ｌでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間に遮光部材１７Ａが配置されている。フォトダイオードＰＤの受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））は、遮光部材１７Ａによって遮光されている。
【0054】
第２位相差画素Ｒは、マイクロレンズ１９、遮光部材１７Ｂ、及びフォトダイオードＰＤを備えている。第２位相差画素Ｒでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間に遮光部材１７Ｂが配置されている。フォトダイオードＰＤの受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））は、遮光部材１７Ｂによって遮光されている。なお、以下では、説明の便宜上、遮光部材１７Ａ及び１７Ｂを区別して説明する必要がない場合、符号を付さずに「遮光部材」と称する。
【0055】
撮像レンズ４１の射出瞳を通過する光束は、左領域通過光３００Ｌ及び右領域通過光３００Ｒに大別される。左領域通過光３００Ｌとは、撮像レンズ４１の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の左半分の光束を指し、右領域通過光３００Ｒとは、撮像レンズ４１の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の右半分の光束を指す。撮像レンズ４１の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９、遮光部材１７Ａ、及び遮光部材１７Ｂにより左右に分割され、第１位相差画素Ｌが被写体光として左領域通過光３００Ｌを受光し、第２位相差画素Ｒが被写体光として右領域通過光３００Ｒを受光する。この結果、左領域通過光３００Ｌに対応する被写体像に相当する第１位相差画像と、右領域通過光３００Ｒに対応する被写体像に相当する第２位相差画像とが光電変換素子２６によって生成される。
【0056】
スマートデバイス１０では、例えば、同一の位相差画素ライン２６Ａにおいて、１ライン分の第１位相差画像と１ライン分の第２位相差画像とのずれ量αに基づいて撮像領域までの距離が測定される。
【0057】
一例として図７に示すように、非位相差画素Ｎは、位相差画素に比べ、遮光部材を有しない点が異なる。非位相差画素ＮのフォトダイオードＰＤは、被写体光として左領域通過光３００Ｌ及び右領域通過光３００Ｒを受光する。
【0058】
なお、スマートデバイス１０では、第２測距系区分領域２６Ｎ３（図５参照）に含まれる複数のＩＲ画素の各々によってＩＲ反射光が受光されることで、ＩＲ画素毎に測距が行われる。そして、スマートデバイス１０では、タッチパネル４８によって受け付けられた指示に従って、一例として図８に示すように、ＩＲ画素毎の測距結果が距離画像としてディスプレイ４６に表示される。ここで、距離画像とは、ＩＲ画素毎に測定された測距対象までの距離を色別及び／又は濃淡で表現した画像を指す。
【0059】
また、スマートデバイス１０では、タッチパネル４８によって受け付けられた指示に従って、測距結果が距離画像又は距離重畳画像（図示省略）でディスプレイ４６に表示される。ディスプレイ４６に表示される距離重畳画像は、例えば、可視光画像（例えば、ライブビュー画像）に対して、測距結果を示す数値を重畳させた画像である。例えば、スマートデバイス１０から撮像領域内のうちの代表的な複数の箇所（例えば、３箇所）の各々までの距離が可視光画像に表示された状態でディスプレイ４６に表示される。代表的な複数の箇所の一例としては、撮像領域内の特定の被写体（例えば、画面中央領域に含まれる被写体、及び／又は、人間等）のうち、互いのコントラストの差が既定値以上の複数の箇所が挙げられる。
【0060】
一例として図９に示すように、スマートデバイス１０は、光照射器１６及び受光器１８の他に、コントローラ１５、入出力インタフェース４０、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４を備えている。
【0061】
コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃを備えている。ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃは、バス５０を介して接続されており、バス５０は、入出力インタフェース４０に接続されている。なお、図９に示す例では、図示の都合上、バス５０として１本のバスが図示されているが、複数本のバスであってもよい。バス５０は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
【0062】
ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ１５Ｂとしては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリ１５Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ１５Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。
【0063】
ストレージ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ１５Ｃ上で実行する。ＣＰＵ１５Ａは、メモリ１５Ｃ上で実行するプログラムに従ってスマートデバイス１０の全体を制御する。なお、ストレージ１５Ｂ及びメモリ１５Ｃは、本開示の技術に係る「メモリ」の一例である。
【0064】
入出力インタフェース４０には、複数のデバイスが接続されており、入出力インタフェース４０は、複数のデバイス間での各種情報の授受を司る。図９に示す例では、入出力インタフェース４０に接続されている複数のデバイスとして、コントローラ１５、光照射器１６、受光器１８、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４が示されている。
【0065】
外部Ｉ／Ｆ５２は、スマートデバイス１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５２の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接または間接的に接続可能である。
【0066】
通信Ｉ／Ｆ５４は、ＬＴＥ、５Ｇ、無線ＬＡＮ、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を有しており、外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。例えば、通信Ｉ／Ｆ５４は、基地局（図示省略）を介してネットワーク５６（例えば、インターネット）に通信可能に接続されており、ネットワーク５６上の外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。
【0067】
ＵＩ系デバイス４４は、ディスプレイ４６を備えており、ＣＰＵ１５Ａは、ディスプレイ４６に対して各種情報を表示させる。また、ＵＩ系デバイス４４は、受付デバイス４７を備えている。受付デバイス４７は、タッチパネル４８及びハードキー部５３を備えている。ハードキー部５３は、指示キー１３（図２参照）を含む少なくとも１つのハードキーである。ＣＰＵ１５Ａは、タッチパネル４８によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部５３がＵＩ系デバイス４４に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部５３は、外部Ｉ／Ｆ５２に接続されていてもよい。
【0068】
光照射器１６は、透光窓２０、ビームエクスパンダ２１、コリメートレンズ２３、ＬＤ２４、及びＬＤドライバ２５を備えており、光軸Ｌ１に沿って、撮像領域側（物体側）からＬＤ２４にかけて、透光窓２０、ビームエクスパンダ２１、及びコリメートレンズ２３が順に配置されている。ＬＤドライバ２５は、ＬＤ２４及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従ってＬＤ２４を駆動させてＬＤ２４からレーザ光を出射させる。
【0069】
ＬＤ２４から出射されたレーザ光は、コリメートレンズ２３によって平行光に変換されてからビームエクスパンダ２１によってビーム径が拡げられ、透光窓２０から測距対象に向けて照射される。
【0070】
受光器１８は、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、絞り３０Ｃ、光電変換素子２６、光電変換素子ドライバ３２、及び信号処理回路３４を備えている。
なお、ＣＰＵ１５Ａ及び信号処理回路３４は、本開示の技術に係る「プロセッサ」の一例である。
なお、ＣＰＵ１５Ａ及び信号処理回路３４は、本開示の技術に係る「プロセッサ」の一例である。
【0071】
受光器１８では、光軸Ｌ２に沿って、撮像領域側（物体側）から光電変換素子２６にかけて、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃが順に配置されている。光電変換素子ドライバ３２は、光電変換素子２６及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従って光電変換素子２６を駆動させる。例えば、光電変換素子ドライバ３２は、ＣＰＵ１５Ａの制御下で、光電変換素子２６によって行われる撮像のタイミングを規定する撮像タイミング信号を光電変換素子２６に供給する。光電変換素子２６は、光電変換素子ドライバ３２から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
【0072】
受光器１８は、合焦制御機構３１を備えている。合焦制御機構３１は、フォーカスレンズ３０Ｂ、移動機構６０、モータ６２、及びモータドライバ６４を備えている。フォーカスレンズ３０Ｂは、移動機構６０によって光軸Ｌ２に沿ってスライド可能に支持されている。モータ６２は、移動機構６０及びモータドライバ６４に接続されている。モータドライバ６４は、入出力インタフェース４０に接続されており、ＣＰＵ１５Ａからの指示に従ってモータ６２を駆動させる。移動機構６０は、モータ６２の駆動軸（図示省略）に接続されており、モータ６２から動力を受けることで、フォーカスレンズ３０Ｂを光軸Ｌ２に沿って物体側と像側とに選択的に移動させる。すなわち、ＣＰＵ１５Ａは、モータドライバ６４を介してモータ６２の駆動を制御することで合焦位置を調整する。ここで、「合焦位置」とは、ピントが合っている状態（例えば、可視光画像のコントラストを最大値にした状態、又は、既定の被写体深度を実現した状態）でのフォーカスレンズ３０Ｂの光軸Ｌ２上での位置を指す。なお、本第１実施形態では、フォーカスレンズ３０Ｂを合焦位置に合わせる制御を「フォーカス制御」と称している。
【0073】
絞り３０Ｃは、開口が変化しない固定絞りである。固定絞りの場合、露出調節は光電変換素子２６の電子シャッタで行われる。絞り３０Ｃは、固定絞りでなく、可変絞りであってもよい。なお、受光器１８に含まれる対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃはあくまでも一例であり、レンズの構成及び／又は絞り３０Ｃの位置が変わっても本開示の技術は成立する。
【0074】
受光器１８には、透光窓２２から反射光が入射される。透光窓２２に入射された反射光は、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃを介して光電変換素子２６に結像される。
【0075】
光電変換素子２６は、信号処理回路３４に接続されており、可視光画素及びＩＲ画素の各画素について、画素値を示す画素データを信号処理回路３４に出力する。信号処理回路３４は、光電変換素子２６から入力された画素データに対してＡ／Ｄ変換を行うことで画素データをデジタル化し、デジタル化した画素データに対して各種の信号処理を施す。
【0076】
信号処理回路３４は、可視光画素データ処理回路３４Ａ、第１測距系処理回路３４Ｂ、及び第２測距系処理回路３４Ｃを備えている。可視光画素データ処理回路３４Ａは、可視光画素についての画素データである可視光画素データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理を施すことで可視光画像を生成する。そして、可視光画素データ処理回路３４Ａは、可視光画像を画像メモリ４２に格納する。なお、画像メモリ４２には、１フレーム分の可視光画像が上書き保存されることで、画像メモリ４２内の可視光画像が更新される。
【0077】
測距撮像装置１４は、ＴＯＦカメラ２７を備えている。ＴＯＦカメラ２７は、光照射器１６、光電変換素子２６の第１測距系区分領域２６Ｎ２（図５参照）、及び第１測距系処理回路３４Ｂを備えている。第１測距系処理回路３４Ｂは、光照射器１６がレーザ光を撮像領域に向けて照射した照射タイミング（以下、単に「照射タイミング」とも称する）を示す照射タイミング信号をＣＰＵ１５Ａから取得する。
【0078】
第１測距系処理回路３４Ｂは、照射タイミング信号により示される照射タイミングと、各ＩＲ画素によってＩＲ反射光が受光されたタイミング（以下、「受光タイミング」とも称する）とに基づいて、各ＩＲ画素について、スマートデバイス１０から撮像領域内の物体までの距離を測定する。ここでは、受光タイミングとして、後述の基準閾値（図１４参照）を上回る出力値を有するＩＲ画素データが第１測距系処理回路３４Ｂによって受信されたタイミングが採用されている。なお、ノイズ成分の一例としては、ＩＲ反射光とは無関係に生じるノイズ成分（例えば、環境光に含まれるＩＲ光）が挙げられる。
【0079】
第１測距系処理回路３４Ｂは、ＩＲ画素毎に、照射タイミングと受光タイミングとに基づいてスマートデバイス１０から撮像領域内の物体までの距離を測定する。また、第１測距系処理回路３４Ｂは、ＩＲ画素毎の測定結果に基づいて距離画像を生成し、生成した距離画像を画像メモリ４２に格納する。なお、画像メモリ４２には、１フレーム分の距離画像が上書き保存されることで、画像メモリ４２内の距離画像が更新される。
【0080】
第２測距系処理回路３４Ｃは、光電変換素子２６ののうちのユーザ等が指定した領域（いわゆるＲＯＩ）に含まれる第２測距系区分領域２６Ｎ３（図５参照）の複数の位相差画素の各々から、位相差画素の画素値を示す位相差画素データを取得する。第２測距系処理回路３４Ｃは、位相差画素データから第１位相差画像及び第２位相差画像（図５参照）を生成し、生成した第１位相差画像と第２位相差画像とのずれ量α（図５参照）を算出する。そして、第２測距系処理回路３４Ｃは、算出したずれ量αに基づいて、スマートデバイス１０から撮像領域までの距離を算出する。具体的に説明すると、第２測距系処理回路３４Ｃは、ずれ量αを独立変数とし、距離を従属変数とした演算式を用いることで、スマートデバイス１０から撮像領域内の物体までの距離を算出する。
【0081】
なお、ここでは、演算式を例示したが、本開示の技術はこれに限らず、第２測距系処理回路３４Ｃは、ずれ量αと距離とが対応付けられたテーブルを用いることで、スマートデバイス１０から撮像領域までの距離を導出するようにしてもよい。
【0082】
ＣＰＵ１５Ａは、第１測距系処理回路３４Ｂによって測定された距離（以下、「第１距離」と称する）を第１測距系処理回路３４Ｂから取得し、第２測距系処理回路３４Ｃによって測定された距離（以下、「第２距離」と称する）を第２測距系処理回路３４Ｃから取得する。
【0083】
一例として図１０に示すように、ストレージ１５Ｂには、測距撮像処理プログラム７０が記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから測距撮像処理プログラム７０を読み出し、読み出した測距撮像処理プログラム７０を実行することで第１測距制御部１５Ａ１、第１距離取得部１５Ａ２、時系列分布取得部１５Ａ３、判定部１５Ａ４、及び実行部１５Ａ５として動作する。
【0084】
ここで、図１１を参照して、対象被写体（図１１に示す例では、人物）９８と、姿見鏡１００の全体を含む撮像領域（以下、「鏡包含撮像領域」とも称する）に対してスマートデバイス１０によって第１測距が行われる場合について説明する。鏡包含撮像領域を照射角度θ２に収めた状態でタッチパネル４８によって測距撮像開始指示が受け付けられると、第１測距制御部１５Ａ１は、第１測距開始信号を光照射器３８Ｂ及び受光器１８に出力する。光照射器３８Ｂは、第１測距制御部１５Ａ１から第１測距開始信号が入力されると、レーザ光を照射する。受光器１８では、第１測距制御部１５Ａ１から第１測距開始信号が入力されると、第１測距系処理回路３４Ｂが、ＣＰＵ１５Ａから取得した照射タイミング信号により示される照射タイミングと受光タイミングとに基づいて第１距離を算出する。
【0085】
なお、ここでは、照射タイミングとして、第１測距制御部１５Ａ１から受光器１８に第１測距開始信号が入力されたタイミングから既定時間経過した時点でのタイミングを採用している。ここで、既定時間とは、例えば、第１測距開始信号を出力した時点から光照射器３８Ｂからレーザ光が照射されるまでに要する時間として実機による試験及び／又はコンピュータ・シミュレーション等によって予め導き出された時間が採用されている。
【0086】
ところで、鏡包含撮像領域に対して光照射器３８Ｂからレーザ光が照射されると、一例として図１２に示すように、対象被写体９８からのＩＲ反射光（以下、「対象被写体ＩＲ反射光」とも称する）と、姿見鏡１００からのＩＲ反射光（以下、「鏡面ＩＲ反射光」とも称する）とが受光器１８の第１測距系区分領域２６Ｎ２によって受光される。対象被写体ＩＲ反射光は、第１測距系区分領域２６Ｎ２内の一部のＩＲ画素（以下、「特定ＩＲ画素」とも称する）によって受光される。対象被写体ＩＲ反射光のみが特定ＩＲ画素によって受光されるのであれば、第１測距系処理回路３４Ｂは、特定ＩＲ画素によって対象被写体ＩＲ反射光が受光されたタイミングを上述した受光タイミングとして用いることで、スマートデバイス１０から対象被写体９８までの距離を第１距離として算出することができる。
【0087】
しかし、姿見鏡１００の設置条件、すなわち、姿見鏡１００が設置されている位置及、姿見鏡１００の鏡面１００Ａの形状、及び鏡面１００Ａの角度等によっては、鏡面１００Ａに対するレーザ光の全反射光も鏡面ＩＲ反射光として特定ＩＲ画素によって受光される。光照射器１６から照射されるレーザ光の強度を“１００”とした場合、対象被写体ＩＲ反射光の強度は１０～２０程度であるのに対し、鏡面１００Ａに対するレーザ光の全反射光の強度は４０～５０程度である。
【0088】
ここで、仮に、光照射器１６によるレーザ光の照射に対応してＩＲ反射光を受光する期間として予め定められた受光期間（以下、単に「受光期間」とも称する）内に特定ＩＲ画素によって異なるタイミングで受光された複数のＩＲ反射光のうち、最大の強度のＩＲ反射光が特定ＩＲ画素によって受光されたタイミングに基づいて測距が行われる場合、鏡面ＩＲ反射光が特定ＩＲ画素によって受光されたタイミングに基づいて測距が行われてしまうことが考えられる。これは、ユーザが測距対象として意図している物体が対象被写体である場合、ユーザが意図していない測距、すなわち、誤測距が行われることを意味する。つまり、スマートデバイス１０から対象被写体９８までの距離ではなく、スマートデバイス１０から測距対象の物体としてユーザが意図していない物体（図１２に示す例では、鏡面１００Ａ）までの距離が測定されてしまう、ということである。
【0089】
そこで、このような誤測距を回避するために、一例として図１３に示すように、第１測距系処理回路３４Ｂは、ＩＲ画素データ取得部３４Ｂ１、時系列分布生成部３４Ｂ２、受光タイミング決定部３４Ｂ３、及び第１距離測定部３４Ｂ４を備えている。なお、ＩＲ画素データ取得部３４Ｂ１、時系列分布生成部３４Ｂ２、受光タイミング決定部３４Ｂ３、及び第１距離測定部３４Ｂ４は、ＩＲ画素毎に設けられている。以下では、説明の便宜上、第１測距について、特定ＩＲ画素（図１２～図１４参照）に着目して説明する。
【0090】
第１測距制御部１５Ａ１は、ＩＲ画素データ取得部３４Ｂ１、時系列分布生成部３４Ｂ２、及び第１距離測定部３４Ｂ４に照射タイミング信号を出力する。また、第１測距制御部１５Ａ１は、ＩＲ画素データ取得部３４Ｂ１に対して光電変換素子２６からＩＲ画素データを取得させるタイミングを規定する取得タイミング信号をＩＲ画素データ取得部３４Ｂ１に出力する。取得タイミング信号は、例えば、一定の時間間隔（例えば、受光期間の数十分の１又は数百分の１程度の時間間隔）でＩＲ画素データ取得部３４Ｂ１に出力される。
【0091】
ＩＲ画素データ取得部３４Ｂ１は、第１測距制御部１５Ａ１から照射タイミング信号が入力され、かつ、取得タイミング信号が入力されると、光電変換素子２６からＩＲ画素データを取得する。時系列分布生成部３４Ｂ２は、第１測距制御部１５Ａ１から照射タイミングが入力されると、第１測距制御部１５Ａ１から照射タイミングが入力された時点からの受光期間内にＩＲ画素データ取得部３４Ｂ１によって取得された複数のＩＲ画素データにより示されるＩＲ反射光の強度が時系列で規定された時系列分布を生成する。時系列分布において、横軸は時間を示しており、縦軸は強度を示している。なお、ここで、複数のＩＲ画素データは、本開示の技術に係る「複数の信号」の一例である。時系列分布の詳細については後述する。
【0092】
ＩＲ反射光の強度とＩＲ画素データの信号レベル（強度）とは１対１の関係にあり、ＩＲ反射光の強度は、ＩＲ画素データの信号レベルから特定される。従って、ＩＲ反射光の強度が時系列で規定された時系列分布は、ＩＲ画素データの信号レベルの時系列分布と同等である。また、本第１実施形態では、ＩＲ反射光の強度は、ＩＲ反射光の絶対値量で特定されるが、本開示の技術はこれに限らず、ＩＲ反射光の強度は、環境光によるノイズ成分（例えば、環境光に含まれるＩＲ光）の強度の分だけオフセットされるようにしてもよい。この場合、例えば、時系列分布の全体が、環境光によるノイズ成分の強度の分だけオフセットされるようにすればよい。
【0093】
時系列分布生成部３４Ｂ２によって生成された時系列分布では、特定ＩＲ画素から得られたＩＲ画素データにより示されるＩＲ反射光の強度が時系列で表現されている。受光タイミング決定部３４Ｂ３は、時系列分布生成部３４Ｂ２によって生成された時系列分布に基づいて、第１測距に用いる受光タイミング（以下、「第１測距用受光タイミング」とも称する）を決定する。受光タイミング決定部３４Ｂ３では、時系列分布に対して基準閾値が適用されている。基準閾値は、標準的な被写体（例えば、鏡面及び光沢面以外の特定の被写体）からのＩＲ反射光の強度の下限値として、実機及び／又はコンピュータ・シミュ―レーション等によって予め導き出された値である。基準閾値は、受光タイミングが遅くなるほど減少する値である。図１３に示す例では、基準閾値は、時間の経過に伴って漸次的（例えば、指数関数的）に減少している。受光タイミング決定部３４Ｂ３は、時系列分布において基準閾値を上回る強度のＩＲ反射光が１つのみ存在していれば、基準閾値を上回る強度のＩＲ反射光の受光タイミングを第１測距用受光タイミングとして決定する。
【0094】
また、受光タイミング決定部３４Ｂ３は、時系列分布において基準閾値を上回る強度のＩＲ反射光が複数存在している場合、受光期間内にＩＲ画素データ取得部３４Ｂ１によって取得された複数のＩＲ画素データのうち、複数のＩＲ画素データの関係と複数のＩＲ画素データにより示される複数のＩＲ反射光の強度とに基づいて選択されたＩＲ画素データに対応する受光タイミングを第１測距用受光タイミングとして決定する。複数のＩＲ画素データの関係及び複数のＩＲ反射光の強度は、時系列分布生成部３４Ｂ２によって生成された時系列分布から受光タイミング決定部３４Ｂ３によって特定される。なお、時系列分布において基準閾値を上回る強度のＩＲ反射光が複数存在している場合の第１測距用受光タイミングの決定方法の詳細については後述する。
【0095】
第１距離測定部３４Ｂ４は、第１測距制御部１５Ａ１から入力された照射タイミング信号により示される照射タイミングと、受光タイミング決定部３４Ｂ３によって決定された第１測距用受光タイミングとに基づいて第１距離を測定する。第１距離は、光速とレーザ光の飛行時間との積の２分の１である。レーザ光の飛行時間は、照射タイミングから第１測距用受光タイミングまでの時間である。
【0096】
図１４に示す例では、時系列分布に、鏡面ＩＲ反射光、対象被写体ＩＲ反射光、及びノイズ光（例えば、環境光に含まれるＩＲ光等のノイズ成分）の各強度が含まれており、受光期間の時間軸上において、特定ＩＲ画素によって、１番目に鏡面ＩＲ反射光が受光され、２番目にノイズ光が受光され、３番目に対象被写体ＩＲ反射光が受光されている。そして、鏡面ＩＲ反射光の強度及び対象被写体ＩＲ反射光が基準閾値を上回っている。
【0097】
この場合、受光タイミング決定部３４Ｂ３は、時系列分布において強度が２番目に大きなＩＲ反射光が特定ＩＲ画素によって受光されたタイミングを第１測距用受光タイミングとして決定する。すなわち、図１４に示す例では、時系列分布において強度が２番目に大きなＩＲ反射光は対象被写体ＩＲ反射光であるので、対象被写体ＩＲ反射光の受光タイミングが第１測距用受光タイミングとして決定される。これにより、鏡面ＩＲ反射光の受光タイミングに基づいて第１測距が行われること、及びノイズ光に基づいて第１測距が行われることが回避される。
【0098】
一例として図１５に示すように、第１距離取得部１５Ａ２は、第１距離測定部３４Ｂ４によって測定された第１距離を取得する。また、時系列分布取得部１５Ａ３は、時系列分布生成部３４Ｂ２から時系列分布を取得する。時系列分布取得部１５Ａ３によって取得される時系列分布は、第１距離取得部１５Ａ２によって取得された第１距離の測定に用いられた第１測距用受光タイミングの決定で使用された時系列分布である。
【0099】
判定部１５Ａ４は、時系列分布取得部１５Ａ３によって取得された時系列分布が特定の時系列分布か否かを判定する。この判定方法の詳細については後述する。
【0100】
実行部１５Ａ５は、時系列分布取得部１５Ａ３によって取得された時系列分布が特定の時系列分布でないと判定部１５Ａ４によって判定された場合、第１距離取得部１５Ａ２によって取得された第１距離に基づくフォーカス制御を伴う撮像（以下、「第１撮像処理」とも称する）を実行する。また、実行部１５Ａ５は、時系列分布取得部１５Ａ３によって取得された時系列分布が特定の時系列分布であると判定された場合、特定の処理を実行する。なお、第１撮像処理及び特定の処理の詳細については後述する。
【0101】
ここで、判定部１５Ａ４による判定方法について説明する。一例として図１６に示すように、判定部１５Ａ４は、時系列分布取得部１５Ａ３によって取得された時系列分布に対して、第１閾値及び第２閾値を適用する。第１閾値は、光沢面（例えば、平均的な鏡面として予め定められた鏡面）に対して照射されたレーザ光が光沢面で全反射された場合のＩＲ反射光の強度の下限値として、実機及び／又はコンピュータ・シミュ―レーション等によって予め導き出された値である。第１閾値は、上述した基準閾値と同様に、時間の経過に伴って漸次的（例えば、指数関数的）に減少している。また、第１閾値は、上述した基準閾値と同様に、受光タイミングが遅くなるほど減少する値である。第２閾値は、上述した基準閾値（図１３及び図１４参照）と同一の値である。また、受光期間の時間軸上の同一時刻において、第２閾値は、第１閾値よりも小さな値である。
【0102】
判定部１５Ａ４は、時系列分布取得部１５Ａ３によって取得された時系列分布に、第１閾値以上の強度と、第１閾値未満であり、かつ、第２閾値以上の強度とが含まれているか否かを判定することで、時系列分布取得部１５Ａ３によって取得された時系列分布が特定の時系列分布か否かを判定する。図１６に示す例では、鏡面ＩＲ反射光の強度が第１閾値以上であり、対象被写体ＩＲ反射光の強度が第１閾値未満かつ第２閾値以上であるため、時系列分布取得部１５Ａ３によって取得された時系列分布が特定の時系列分布であると判定部１５Ａ４によって判定される。なお、図１６に示す例において、鏡面ＩＲ反射光の強度は、鏡面ＩＲ反射光の受光によって生成されるＩＲ画素データ（信号）の強度と対応する。鏡面ＩＲ反射光の受光によって生成されるＩＲ画素データ（信号）の強度は、本開示の技術に係る「第１強度」の一例である。同様に、対象被写体ＩＲ反射光の強度は、対象被写体ＩＲ反射光の受光によって生成されるＩＲ画素データ（信号）の強度と対応する。象被写体ＩＲ反射光の受光によって生成されるＩＲ画素データ（信号）の強度は、本開示の技術に係る「第２強度」の一例である。
【0103】
一例として図１７に示すように、ストレージ１５Ｂには、合焦位置導出テーブル７２が記憶されている。合焦位置導出テーブル７２は、スマートデバイス１０から撮像領域までの距離と合焦位置とが対応付けられている。第１撮像処理では、先ず、実行部１５Ａ５が、第１距離を用いることで受光器１８に対してフォーカス制御（アクティブ方式フォーカス制御）を行う。すなわち、実行部１５Ａ５によって、第１距離に対応する合焦位置が合焦位置導出テーブル７２から導出され、導出された合焦位置にフォーカスレンズ３０Ｂを移動させるように受光器１８のモータ６２が制御される。そして、実行部１５Ａ５によって受光器１８の可視光画像用区分領域２６Ｎ１が制御されることで、可視光画像用区分領域２６Ｎ１によって撮像領域が撮像され、撮像されることで得られた可視光画像データが可視光画像用区分領域２６Ｎ１から可視光画素データ処理回路３４Ａに出力される。可視光画素データ処理回路３４Ａは、可視光画像用区分領域２６Ｎ１から入力された可視光画像データに基づいて、撮像領域を示す第１可視光画像を生成し、生成した第１可視光画像を画像メモリ４２に出力する。画像メモリ４２には、第１可視光画像が記憶される。
【0104】
ここで、実行部１５Ａ５によって実行される特定の処理について、図１８を参照しながら説明する。一例として図１８に示すように、特定の処理は、例えば、第２測距開始処理、第２距離取得処理、第２撮像処理、及び画像選択画面表示処理を含む処理である。なお、特定の処理は、これらに限らず、第１閾値未満であり、かつ、第２閾値以上の強度の反射光（対象被写体ＩＲ反射光）をＩＲ画素が受光した受光タイミングに基づき第1距離を測定する処理であってもよい。
【0105】
一例として図１９に示すように、第２測距開始処理では、タッチパネル４８によって測距撮像開始指示が受け付けられると、実行部１５Ａ５は、第２測距開始信号を受光器１８に出力する。なお、図１９に示す例では、鏡包含撮像領域が画角θ１に収められた状態が示されているが、本開示の技術はこれに限定されず、鏡包含撮像領域以外の撮像領域であってもよい。
【0106】
第２測距系区分領域２６Ｎ３は、実行部１５Ａ５から受光器１８に第２測距開始信号が入力されると、鏡包含撮像領域を撮像し、鏡包含撮像領域に応じた位相差画素データを第２測距系処理回路３４Ｃに出力する。第２測距系処理回路３４Ｃは、第２測距系区分領域２６Ｎ３から入力された位相差画素データに基づいて第１位相差画像及び第２位相差画像（図６参照）を生成し、生成した第１位相差画像及び第２位相差画像に基づいてずれ量α（図６参照）を算出する。第２測距系処理回路３４Ｃは、算出したずれ量αから第２距離を算出する。第２距離取得処理では、実行部１５Ａ５は、第２測距系処理回路３４Ｃから第２距離を取得する。
【0107】
一例として図２０に示すように、第２撮像処理とは、第２距離に基づくフォーカス制御を伴う撮像を指す。第２撮像処理でも、第１撮像処理と同様に、実行部１５Ａ５によって合焦位置導出テーブル７２から第２距離に対応する合焦位置が導出され、導出された合焦位置にフォーカスレンズ３０Ｂを移動させるように受光器１８のモータ６２が制御される。そして、第１撮像処理と同様に、可視光画像用区分領域２６Ｎ１によって撮像領域が撮像され、撮像されることで得られた可視光画素データが可視光画像用区分領域２６Ｎ１から可視光画素データ処理回路３４Ａに出力される。可視光画素データ処理回路３４Ａは、可視光画像用区分領域２６Ｎ１から入力された可視光画素データに基づいて、撮像領域を示す第２可視光画像を生成し、生成した第２可視光画像を画像メモリ４２に出力する。画像メモリ４２には、第２可視光画像が記憶される。
【0108】
画像選択画面表示処理では、実行部１５Ａ５が画像メモリ４２から第１可視光画像及び第２可視光画像が取得する。そして、実行部１５Ａ５は、第１可視光画像と、第２可視光画像と、第１距離取得部１５Ａ２によって取得された第１距離（図１５参照）と、第２距離取得処理において実行部１５Ａ５によって取得された第２距離（図１９参照）と、各種メッセージとに基づいて画像選択画面を生成し、生成した画像選択画面をディスプレイ４６に対して表示させる。画像選択画面には、第１可視光画像と第２可視光画像とが並べて表示されている。また、第１可視光画像の下には「アクティブ方式」というメッセージが表示されている。「アクティブ方式」というメッセージは、第１可視光画像がアクティブ方式の測距（第１測距）による測距結果に基づくフォーカス制御を伴う撮像によって得られた画像であることを示すメッセージである。また、第２可視光画像の下には「パッシブ方式」というメッセージが表示されている。「パッシブ方式」というメッセージは、第２可視光画像がパッシブ方式の測距（第２測距）による測距結果に基づくフォーカス制御を伴う撮像によって得られた画像であることを示すメッセージである。
【0109】
なお、本第１実施形態では、特定の処理に含まれる処理として、第１撮像処理、第２撮像処理、及び画像選択画面表示処理を例示しているが、本開示の技術はこれに限定されず、第１撮像処理、第２撮像処理、及び画像選択画面表示処理のうちの１つの処理又は２つの処理であってもよい。また、本第１実施形態では、「アクティブ方式」と「パッシブ方式」という表示例を示しているが、必ずしも「アクティブ方式」と「パッシブ方式」という表示でなくてもよく、ユーザが測距方式の違いを理解できればどのような表示であっても良い。例えば、レーザ測距と位相差測距を行う場合、「レーザ」という表示と「位相差」という表示でもよいし、測距方式を表すアイコン等を表示してもよい。また、測距方式の表示に代えて、ピント位置を表示してもよい。例えば、「ピント位置：手前」と「ピント位置：奥」でもよいし、「ピント位置：物体」と「ピント位置：物体に映った像」等と表示してもよい。あるいは、測距方式を示す文字及びアイコン並びにピント位置の２つ以上を組み合わせて表示してもよい。
【0110】
また、第１可視光画像には、第１測距による測距結果である「１．８ｍ」という数値が対応付けられて表示されており、第２可視光画像には、第２測距による測距結果である「１．９ｍ」という数値が対応付けられて表示されている。また、画像選択画面には、ユーザに対して、第１可視光画像及び第２可視光画像の何れか１つの選択をユーザに促すメッセージとして、「何れか１つの画像を選択して下さい」というメッセージが表示されている。
【0111】
更に、画像選択画面には、強反射光通知メッセージが表示されている。強反射光通知メッセージとは、時系列分布取得部１５Ａ３（図１５参照）によって取得された時系列分布が特定の時系列分布であると判定部１５Ａ４（図１５参照）によって判定された場合（例えば、図１６に示すように、時系列分布に第１閾値以上の強度が含まれている場合）に、時系列分布取得部１５Ａ３によって取得された時系列分布に第１閾値以上の強度が含まれていることをユーザに対して通知するメッセージを指す。図２０に示す例では、強反射光通知メッセージとして、「強反射光を検出しましたが、強反射光以外の反射光を用いて測距を行いました。」というメッセージが示されている。ここで、強反射光とは、第１閾値以上の強度のＩＲ反射光を意味する。強反射光の一例としては、鏡面ＩＲ反射光（図１２、図１４及び図１６参照）が挙げられる。この他にも、鏡面１００Ａ以外の光沢面からのＩＲ反射光であっても、第１閾値以上の強度のＩＲ反射光であれば、画像選択画面に強反射光通知メッセージが表示される。なお、画像選択画面表示処理は、本開示の技術に係る「複数の信号の強度に第１強度が含まれていることを通知する処理」の一例である。
【0112】
画像選択画面に表示される各種メッセージは上述したメッセージに限定されず、例えば、第１測距による測距結果（第１距離）と第２測距による測距結果（第２距離）とが異なっている場合に、その旨をユーザに通知するメッセージ（例えば、「測距結果が異なっています」）というメッセージも表示されるようにしてもよい。
【0113】
また、ここでは、各種メッセージが可視表示される形態例を挙げて説明しているが、これに限らず、可視表示と並行して各種メッセージが音声で出力されるようにしてもよい。画像選択画面がディスプレイ４６に表示されると、ユーザは、タッチパネル４８を介して第１可視光画像又は第２可視光画像を選択する。図２０に示す例では、ユーザの指によってタッチパネル４８を介して第１可視光画像が選択されている態様が示されている。
【0114】
一例として図２１に示すように、ディスプレイ４６に画像選択画面が表示されている状態でユーザの指によってタッチパネル４８を介して第１可視光画像が選択された場合、第１測距制御部１５Ａ１は、測距撮像装置１４を制御することで、第１測距系処理回路３４Ｂに対して第１測距を行わせる。また、実行部１５Ａ５は、第１撮像処理及び第１可視光画像表示処理を実行する。ここで、実行部１５Ａ５は、第１測距が行われることによって得られた新たな第１距離を用いて第１撮像処理を実行する。第１可視光画像表示処理は、第１撮像処理が実行されることで得られた最新の第１可視光画像をディスプレイ４６に対して表示させる処理である。
【0115】
なお、ここでは、第１可視光画像が選択されたことを条件に、改めて第１測距及び第１撮像処理が行われ、第１撮像処理が行われることによって得られた最新の第１可視光画像がディスプレイ４６に表示される形態例を挙げているが、これはあくまでも一例に過ぎない。例えば、第１可視光画像が選択されたことを条件に、選択された第１可視光画像をストレージ１５Ｂ及び／又はメモリカード等の記憶媒体に記憶させてもよい。また、選択された測距方式で測定された距離に基づくフォーカス制御を伴う撮像と、選択された画像（例えば、第１可視光画像又は第２可視光画像）の保存とが、受付デバイス４７によって受け付けられた指示（ユーザから与えられた指示）に従って選択されるようにしてもよい。
【0116】
第１可視光画像表示処理が実行部１５Ａ５によって実行されると、画像選択画面内のうち、第２可視光画像、「１．９ｍ」という数値、「パッシブ方式」というメッセージ、「何れか１つの画像を選択して下さい」というメッセージ、及び強反射光通知メッセージは画面内から非表示される。そして、最新の第１測距が行われることによって得られた最新の測距結果である第１距離（図２１に示す例では、「１．８ｍ」という数値）がディスプレイ４６に表示され、第１撮像処理が実行されることで得られた第１可視光画像がディスプレイ４６に表示され、かつ、「アクティブ方式」というメッセージも第１可視光画像の下に表示される。また、第１距離、第１可視光画像、及び「アクティブ方式」というメッセージの表示領域は、画像選択画面内の第１距離、第１可視光画像、及び「アクティブ方式」というメッセージの表示領域よりも拡大されている。なお、この場合も、第１測距が行われることで、時系列分布取得部１５Ａ３（図１５参照）によって取得された時系列分布が特定の時系列分布であると判定部１５Ａ４（図１５参照）によって判定された場合に、強反射光通知メッセージがディスプレイ４６に表示されるようにしてもよい。
【0117】
一例として図２２に示すように、ディスプレイ４６に画像選択画面が表示されている状態でユーザの指によってタッチパネル４８を介して第２可視光画像が選択された場合、実行部１５Ａ５は、第２測距開始処理、第２距離取得処理、及び第２撮像処理を実行することで、第２測距系処理回路３４Ｃに対して第２測距を行わせる。また、実行部１５Ａ５は、第２撮像処理及び第２可視光画像表示処理を実行する。ここで、実行部１５Ａ５は、第２測距が行われることによって得られた新たな第２距離を用いて第２撮像処理を実行する。第２可視光画像表示処理は、第２撮像処理が実行されることで得られた最新の第２可視光画像をディスプレイ４６に対して表示させる処理である。
【0118】
第２可視光画像表示処理が実行部１５Ａ５によって実行されると、画像選択画面内のうち、第１可視光画像、「１．８ｍ」という数値、「アクティブ方式」というメッセージ、「測距結果が異なっています」というメッセージ、及び「何れか１つの画像を選択して下さい」というメッセージは画面内から非表示される。そして、最新の第２測距が行われることによって得られた最新の測距結果である第２距離（図２２に示す例では、「１．９ｍ」という数値）がディスプレイ４６に表示され、第２撮像処理が実行されることで得られた第２可視光画像がディスプレイ４６に表示され、かつ、「パッシブ方式」というメッセージも第２可視光画像の下に表示される。また、第２距離、第２可視光画像、及び「パッシブ方式」というメッセージの表示領域は、画像選択画面内の第２距離、第２可視光画像、及び「パッシブ方式」というメッセージの表示領域よりも拡大されている。
【0119】
次に、スマートデバイス１０の本開示の技術に係る部分の作用について説明する。
【0120】
先ず、第１測距系処理回路３４Ｂによって実行される第１測距系処理について図２３を参照しながら説明する。なお、図２３は、第１測距制御部１５Ａ１から第１測距系処理回路３４Ｂに照射タイミング信号が入力された場合に第１測距系処理回路３４Ｂによって実行される第１測距系処理の流れの一例を示すフローチャートである。
【0121】
図２３に示す第１測距系処理では、先ず、ステップＳＴ１００で、ＩＲ画素データ取得部３４Ｂ１は、第１測距制御部１５Ａ１から取得タイミング信号が入力されたか否かを判定する。ステップＳＴ１００において、第１測距制御部１５Ａ１から取得タイミング信号が入力されていない場合は、判定が否定されて、ステップＳＴ１００の判定が再び行われる。ステップＳＴ１００において、第１測距制御部１５Ａ１から取得タイミング信号が入力された場合は、判定が肯定されて、第１測距系処理はステップＳＴ１０２へ移行する。
【0122】
ステップＳＴ１０２で、ＩＲ画素データ取得部３４Ｂ１は、光電変換素子２６からＩＲ画素データを取得し、その後、第１測距系処理はステップＳＴ１０４へ移行する。
【0123】
ところで、仮に、光照射器１６によるレーザ光の照射に対応する受光期間内の複数の受光タイミング（例えば、図１４に示す「時間間隔」）に第１測距系区分領域２６Ｎ２によって生成された複数のＩＲ画素データのうち、最も信号レベルの高いＩＲ画素データにより示されるＩＲ反射光をＩＲ画素が受光した受光タイミングと照射タイミングとに基づいて距離が測定される場合、測距対象として意図しない光沢性物体（図１２に示す例では、鏡面１００Ａ）からのＩＲ反射光をＩＲ画素が受光したタイミングと照射タイミングとに基づく距離が測定されてしまう虞がある。
【0124】
そこで、第１測距系処理では、ステップＳＴ１０４～ステップＳＴ１１０の処理が実行される。先ず、ステップＳＴ１０４で、時系列分布生成部３４Ｂ２は、第１測距系処理が開始されてから受光期間が経過したか否かを判定する。ステップＳＴ１０４において、第１測距系処理が開始されてから受光期間が経過していない場合、判定が否定されて、第１測距系処理はステップＳＴ１００へ移行する。ステップＳＴ１０４において、第１測距系処理が開始されてから受光期間が経過した場合、判定が肯定されて、第１測距系処理はステップＳＴ１０６へ移行する。
【0125】
ステップＳＴ１０６で、時系列分布生成部３４Ｂ２は、ステップＳＴ１００～ステップＳＴ１０４の処理が実行されることでＩＲ画素データ取得部によって取得されたＩＲ画素データに基づいて時系列分布（図１４参照）を生成する。ステップＳＴ１０６が実行された後、第１測距系処理はステップＳＴ１０８へ移行する。
【0126】
ステップＳＴ１０８で、受光タイミング決定部３４Ｂ３は、ステップＳＴ１０６で生成された時系列分布に基づいて第１測距用受光タイミングを決定する。本ステップＳＴ１０８において、受光タイミング決定部３４Ｂ３は、時系列分布において基準閾値を上回る強度のＩＲ反射光が１つのみ存在していれば、基準閾値を上回る強度のＩＲ反射光の受光タイミングを第１測距用受光タイミングとして決定する。また、受光タイミング決定部３４Ｂ３は、時系列分布において基準閾値を上回る強度のＩＲ反射光が複数存在している場合、時系列分布において強度が２番目に大きなＩＲ反射光が特定ＩＲ画素によって受光されたタイミングを第１測距用受光タイミングとして決定する。ステップＳＴ１０８の処理が実行された後、第１測距系処理はステップＳＴ１１０へ移行する。
【0127】
ステップＳＴ１１０で、第１距離測定部３４Ｂ４は、第１測距制御部１５Ａ１から入力された照射タイミング信号により示される照射タイミングと、ステップＳＴ１０８で決定された第１測距用受光タイミングとに基づいて第１距離を測定する。ステップＳＴ１１０の処理が実行された後、第１測距系処理が終了する。
【0128】
次に、ＣＰＵ１５Ａによって実行される測距撮像処理について図２４Ａ～図２４Ｃを参照しながら説明する。なお、図２４Ａ～図２４Ｃは、ＣＰＵ１５Ａによって測距撮像処理プログラム７０に従って実行される測距撮像処理の流れの一例を示すフローチャートである。
【0129】
図２４Ａに示す測距撮像処理では、先ず、ステップＳＴ２００で、時系列分布取得部１５Ａ３は、時系列分布生成部３４Ｂ２によって時系列分布が生成されたか否かを判定する。ステップＳＴ２００において、時系列分布生成部３４Ｂ２によって時系列分布が生成されていない場合は、判定が否定されて、ステップＳＴ２００の判定が再び行われる。ステップＳＴ２００において、時系列分布生成部３４Ｂ２によって時系列分布が生成された場合は、判定が肯定されて、測距撮像処理はステップＳＴ２０２へ移行する。
【0130】
ステップＳＴ２０２で、時系列分布取得部１５Ａ３は、時系列分布生成部３４Ｂ２から時系列分布を取得し、その後、測距撮像処理はステップＳＴ２０４へ移行する。
【0131】
ステップＳＴ２０４で、判定部１５Ａ４は、ステップＳＴ２０２で取得された時系列分布が特定の時系列分布であるか否かを判定する。ステップＳＴ２０４において、ステップＳＴ２０２で取得された時系列分布が特定の時系列分布でない場合は、判定が否定されて、測距撮像処理は、図２４Ｂに示すステップＳＴ２１８へ移行する。ステップＳＴ２０４において、ステップＳＴ２０２で取得された時系列分布が特定の時系列分布である場合は、判定が肯定されて、測距撮像処理はステップＳＴ２０５へ移行する。
【0132】
ステップＳＴ２０５で、第１距離取得部１５Ａ２は、図２３に示すステップＳＴ１１０によって測定された第１距離を取得する。ステップＳＴ２０５の処理が実行された後、測距撮像処理はステップＳＴ２０６へ移行する。
【0133】
ステップＳＴ２０６で、実行部１５Ａ５は、ステップＳＴ２０５で取得された第１距離に基づくフォーカス制御（アクティブ方式フォーカス制御）を伴う撮像、すなわち、第１撮像処理を実行し、その後、測距撮像処理はステップＳＴ２０８へ移行する。
【0134】
ステップＳＴ２０８～ステップＳＴ２１２の処理は、上述した特定の処理である。ステップＳＴ２０８で、実行部１５Ａ５は、第２測距開始処理及び第２距離取得処理を実行することで、第２測距系処理回路３４Ｃに対して第２測距を行わせ、第２測距による測距結果である第２距離を取得する。ステップＳＴ２０８の処理が実行された後、測距撮像処理はステップＳＴ２１０へ移行する。
【0135】
ステップＳＴ２１０で、実行部１５Ａ５は、ステップＳＴ２０８で取得した第２距離に基づくフォーカス制御（パッシブ方式フォーカス制御）を伴う撮像、すなわち、第２撮像処理を実行する。ステップＳＴ２１０の処理が実行された後、測距撮像処理はステップＳＴ２１２へ移行する。
【0136】
ステップＳＴ２１２で、実行部１５Ａ５は、画像選択画面表示処理を実行する。これにより、ステップＳＴ２０５で取得された第１距離、ステップＳＴ２０６の第１撮像処理が実行されることで得られた第１可視光画像、ステップＳＴ２０８で取得した第２距離、ステップＳＴ２１０の第２撮像処理が実行されることで得られた第２可視光画像、及び上述した各種メッセージに基づいて画像選択画面（図２０参照）が生成され、ディスプレイ４６に画像選択画面が表示される。ステップＳＴ２１２の処理が実行された後、測距撮像処理はステップＴ２１４へ移行する。
【0137】
画像選択画面には、ステップＳＴ２０６の第１撮像処理が実行されることで得られた第１可視光画像とステップＳＴ２１０の第２撮像処理が実行されることで得られた第２可視光画像とが表示されている。そこで、ステップＳＴ２１４で、実行部１５Ａ５は、画像選択画面内に表示されている第１可視光画像及び第２可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択された否かを判定する。ステップＳＴ２１４において、画像選択画面内に表示されている第１可視光画像及び第２可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択されていない場合は、判定が否定されて、ステップＳＴ２１４の判定が再び行われる。ステップＳＴ２１４において、画像選択画面内に表示されている第１可視光画像及び第２可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択された場合は、判定が肯定されて、測距撮像処理はステップＳＴ２１６へ移行する。
【0138】
ステップＳＴ２１６で、実行部１５Ａ５は、画像選択画面内から選択された画像が第１可視光画像か否かを判定する。ステップＳＴ２１６において、画像選択画面内から選択された画像が第２可視光画像の場合は、判定が否定されて、測距撮像処理は図２４Ｃに示すステップ２２６へ移行する。ステップＳＴ２１６において、画像選択画面内から選択された画像が第１可視光画像の場合は、判定が肯定されて、測距撮像処理は、図２４Ｂに示すステップＳＴ２１６へ移行する。
【0139】
図２４Ｂに示すステップＳＴ２１８で、実行部１５Ａ５は、撮像開始タイミングが到来したか否かを判定する。撮像開始タイミングとは、例えば、ライブビュー画像用のフレームレートによって規定される１フレーム分の撮像を開始するタイミングを指す。例えば、ライブビュー画像用のフレームレートが６０ｆｐｓであれば、撮像開始タイミングは、６０分の１秒毎のタイミングである。なお、ここでは、ライブビュー画像用のフレームレートによって規定される１フレーム分の撮像を開始するタイミングを撮像開始タイミングとして例示しているが、本開示の技術はこれに限定されない。例えば、撮像開始タイミングは、記録動画像用のフレームレートによって規定される１フレーム分の撮像を開始するタイミングであってもよいし、静止画像用の撮像を開始する指示が受付デバイス４７によって受け付けられたタイミングであってもよい。
【0140】
ステップＳＴ２１８において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ２２２へ移行する。ステップＳＴ２１８において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ２２０へ移行する。
【0141】
ステップＳＴ２２０で、実行部１５Ａ５は、最新の第１距離を用いて第１撮像処理を実行する。また、実行部１５Ａ５は、第１撮像処理を実行することで得た最新の第１可視光画像を用いて第１可視光画像表示処理を実行する。なお、ここで、最新の第１距離とは、ステップＳＴ１１０の処理が実行されることで測定された第１距離、及び後述のステップＳＴ２２４の処理が実行されることで測定された第１距離のうちの最新の第１距離を指す。
【0142】
ステップＳＴ２２２で、実行部１５Ａ５は、測距撮像処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件の一例としては、測距撮像処理を終了する指示が受付デバイス４７によって受け付けられた、との条件が挙げられる。ステップＳＴ２２２において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理はステップＳＴ２２４へ移行する。ステップＳＴ２２２において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0143】
ステップＳＴ２２４で、実行部１５Ａ５は、第１測距系処理回路３４Ｂに対して第１測距を行わせる。ここで、第１測距とは、例えば、ステップＳＴ１００～ステップＳＴ１１０の処理と同一の処理を指す。ステップＳＴ２２４の処理が実行された後、測距撮像処理はステップＳＴ２１８へ移行する。
【0144】
図２４Ｃに示すステップＳＴ２２６で、実行部１５Ａ５は、撮像開始タイミングが到来したか否かを判定する。ステップＳＴ２２６において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ２３２へ移行する。ステップＳＴ２２６において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ２２８へ移行する。
【0145】
ステップＳＴ２２８で、実行部１５Ａ５は、第２測距開始処理及び第２距離取得処理を実行することで、第２測距系処理回路３４Ｃに対して第２測距を行わせ、第２測距による測距結果である第２距離を取得する。ステップＳＴ２２８の処理が実行された後、測距撮像処理はステップＳＴ２３０へ移行する。
【0146】
ステップＳＴ２３０で、実行部１５Ａ５は、ステップＳＴ２２８の第２測距が行われることによって得られた第２距離を用いて第２撮像処理を実行する。また、実行部１５Ａ５は、第２撮像処理を実行することで得た最新の第２可視光画像を用いて第２可視光画像表示処理を実行する。ステップＳＴ２３０の処理が実行された後、測距撮像処理はステップＳＴ２３２へ移行する。
【0147】
ステップＳＴ２３２で、実行部１５Ａ５は、終了条件を満足したか否かを判定する。ステップＳＴ２３２において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理はステップＳＴ２２６へ移行する。ステップＳＴ２３２において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0148】
以上説明したように、スマートデバイス１０では、第１測距系処理（図２３参照）及び測距撮像処理（図２４Ａ～図２４Ｃ参照）が実行される。すなわち、光照射器１６によるレーザ光の照射に対応する受光期間内の複数の受光タイミング（例えば、図１４に示す「時間間隔」）に第１測距系区分領域２６Ｎ２によって生成された複数のＩＲ画素データのうち、複数のＩＲ画素データの関係と複数のＩＲ画素データにより示される複数のＩＲ反射光の強度とに基づいて選択されたＩＲ画素データにより示されるＩＲ反射光をＩＲ画素が受光したタイミング（第１測距用受光タイミング）と照射タイミングとに基づいて第１距離が測定される。従って、本構成によれば、測距対象として意図しない光沢性物体（図１２に示す例では、鏡面１００Ａ）からの反射光に起因する誤測距を回避することができる。
【0149】
また、スマートデバイス１０では、第１測距用受光タイミングとして、複数のＩＲ画素データのうちの信号レベルが２番目に大きなＩＲ画素データに関するＩＲ反射光の受光タイミングが採用されている。従って、本構成によれば、複数のＩＲ画素データのうちの信号レベルが２番目に大きなＩＲ画素データに関するＩＲ反射光の受光タイミングが第１測距用受光タイミングとして採用される場合に比べ、測距対象として意図しない光沢性物体からの反射光に起因する誤測距を精度良く回避することができる。
【0150】
また、スマートデバイス１０では、時系列分布に、第１閾値以上の強度と、第１閾値未満であり、かつ、第２閾値以上の強度とが含まれている場合に、実行部１５Ａ５によって特定の処理が実行される。従って、本構成によれば、ユーザが測距対象として意図しない光沢性物体からのＩＲ反射光に基づく測距結果とユーザが測距対象として意図する物体（図１２に示す例では、対象被写体９８）からのＩＲ反射光に基づく測距結果とが得られた場合の諸問題（例えば、ユーザが測距対象として意図しない光沢性物体からのＩＲ反射光に基づく測距結果が優先的に採用されてしまうという問題）の解決に寄与することができる。
【0151】
また、スマートデバイス１０では、第１閾値として、受光タイミングが遅くなるほど減少する値が採用されている。従って、本構成によれば、第１閾値が受光タイミングに関わらず固定されている場合に比べ、光沢性物体からの反射光に基づく測距結果を精度良く特定することができる。
【0152】
また、スマートデバイス１０では、ユーザに対して提示される画像選択画面に強反射光通知メッセージが表示されている。従って、本構成によれば、ユーザが測距対象として意図しない光沢性物体からのＩＲ反射光を受光したことをユーザに知覚させることができる。
【0153】
また、スマートデバイス１０では、特定の処理として第２測距が行われる（図２４ＡのステップＳＴ２０８参照）。従って、本構成によれば、時系列分布生成部３４Ｂ２によって生成された時系列分布が特定の時系列分布であるにも関わらず第１測距が行われる場合に比べ、ユーザが意図する測距対象（図１２に示す例では、対象被写体９８）までの距離を精度良く測定することができる。
【0154】
また、スマートデバイス１０では、第１測距によって得られた第１距離に基づくアクティブ方式フォーカス制御が行われる。従って、本構成によれば、パッシブ方式フォーカス制御よりもアクティブ方式フォーカス制御を好むユーザの要求に応えることができる。
【0155】
また、スマートデバイス１０では、第１測距系区分領域２６Ｎ２に含まれる複数のＩＲ画素の各々について、照射タイミングと第１測距用受光タイミングとに基づいて第１距離の測定が行われる。従って、本構成によれば、単一のＩＲ画素のみについて照射タイミングと第１測距用受光タイミングとに基づいて第１距離の測定が行われる場合に比べ、広範囲に対して第１距離の測定を行うことができる。また、距離画像も生成することができる。
【0156】
また、スマートデバイス１０では、第１距離に基づくフォーカス制御下で撮像が行われることによって得られた第１可視光画像と、第２距離に基づくフォーカス制御下で撮像が行われることによって得られた第２可視光画像とを含む画像選択画面がディスプレイ４６に表示される。そして、画像選択画面には、第１可視光画像又は第２可視光画像の選択をユーザに促すメッセージが表示されている。従って、本構成によれば、第１可視光画像及び第２可視光画像を選択する余地がない場合に比べ、ユーザビリティの向上に寄与することができる。
【0157】
なお、上記第１実施形態では、実行部１５Ａ５が画像選択画面を通して第１可視光画像又は第２可視光画像の選択をユーザに促すようにしているが、本開示の技術はこれに限定されず、第１可視光画像及び第２可視光画像の双方が選択されるようにしてもよい。この場合、例えば、第１撮像処理と第２撮像処理とが交互に行われ、各撮像処理が行われることによって得られた第１可視光画像及び第２可視光画像の各々がライブビュー画像又は静止画像等としてディスプレイ４６に表示されるようにしてもよい。
【0158】
また、上記第１実施形態では、画像選択画面から第１可視光画像又は第２可視光画像がユーザによってタッチパネル４８を介して選択される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１距離と第２距離とが異なる場合に、アクティブ方式の測距、すなわち、第１測距による測距結果に基づくフォーカス制御を伴う撮像、及びパッシブ方式の測距、すなわち、第２測距による測距結果に基づくフォーカス制御を伴う撮像のうちの何れかを優先するかをユーザによって事前に選択させておくようにしてもよい。
【0159】
また、上記第１実施形態では、光照射器１６が測距用の光としてレーザ光を例示したが、本開示の技術はこれに限定されない。例えば、測距用の光は、スーパールミネッセント光等の指向性を有する光であってもよいし、キセノンフラッシュ光源から発せられる光であってもよいし、ＬＥＤから発せられる光であってもよい。
【0160】
また、上記第１実施形態では、可視光画像用区分領域２６Ｎ１、第１測距系区分領域２６Ｎ２、及び第２測距系区分領域２６Ｎ３が光電変換素子２６によって１チップ化されているが、本開示の技術はこれに限定されず、複数の可視光画素が１チップ化され、複数の位相差画素が１チップ化され、複数のＩＲ画素が１チップ化されていてもよい。また、複数の可視光画素と複数の位相差画素とが１チップ化され、複数のＩＲ画素が１チップ化されていてもよい。このように、異なる種類の感光画素が種類毎にチップ化されてスマートデバイス１０に搭載される場合、各チップについて被写体側（物体側）に対物レンズ、フォーカスレンズ、及び絞り等の光学系が設けられるようにすればよい。
【0161】
また、上記第１実施形態では、測距撮像装置１４がスマートデバイス１０に内蔵されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、一般的なスマートデバイス、すなわち、測距撮像装置１４が内蔵されていないスマートデバイスに対して測距撮像装置１４が外付けされていてもよい。
【0162】
また、上記第１実施形態では、ＵＩ系デバイス４４がスマートデバイス１０に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部がスマートデバイス１０に対して外付けされていてもよい。また、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ５２に接続されることによって使用されるようにしてもよい。
【0163】
また、図１に示す例では、スマートデバイス１０を例示したが、本開示の技術はこれに限定されない。すなわち、測距撮像装置１４が内蔵された各種の電子機器（例えば、レンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、及び／又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、スマートデバイス１０と同様の作用及び効果が得られる。
【0164】
また、上記第１実施形態では、ディスプレイ４６を例示したが、本開示の技術はこれに限定されない。例えば、スマートデバイス１０に対して外付けされたディスプレイをディスプレイ４６と併用してもよい。
【0165】
また、上記第１実施形態では、光電変換素子２６と信号処理回路３４とが別体とされているが、光電変換素子２６と信号処理回路３４とが１チップ化された積層型撮像素子を用いても良い。また、信号処理回路３４の少なくとも一部を無くし、信号処理回路３４の機能をＣＰＵ１５Ａに担わせるようにしてもよい。
【0166】
また、上記第１実施形態では、光電変換素子ドライバ３２から光電変換素子２６に撮像タイミング信号が供給される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、光電変換素子ドライバ３２は無くてもよく、この場合、光電変換素子ドライバ３２の機能をＣＰＵ１５Ａに担わせるようにすればよい。
【0167】
また、上記第１実施形態では、本開示の技術に係る「画像使用型測距」の一例として第２測距、すなわち、位相差画素から得られた位相差画像に従って距離を測定する位相差画像使用測距を例示したが、本開示の技術はこれに限定されない。例えば、位相差画素を用いた測距に代えて、ステレオカメラを用いた測距、すなわち、ステレオ画像に従って距離を測定するステレオ画像使用測距が行われるようにしてもよいし、顔検出を用いた測距、すなわち、大きさが既知の物を示す物画像に従って距離を測定する物画像使用測距が行われるようにしてもよい。ステレオカメラを用いた測距では、ステレオカメラから得られた一対の画像（ステレオ撮像方式で撮像されることで得られたステレオ画像）の視差を用いることで被写体までの距離が測定される。また、顔検出を用いた測距では、１フレーム分の画像の大きさに対する、検出された顔画像の大きさの割合等を用いることで被写体までの距離が測定される。ここでは、顔画像の大きさを例示しているが、本開示の技術はこれに限らず、大きさが既知の物（例えば、特定の自動車）を示す物画像であればよい。このようにステレオ画像使用測距及び／又は物画像使用測距を用いた場合であっても、位相差画像使用測距を用いた場合と同様の効果を得ることができる。
【0168】
また、上記第１実施形態では、Ｇフィルタ、Ｒフィルタ、及びＢフィルタが、赤外光をカットする赤外光カットフィルタとしての機能も有する形態例を挙げて説明したが、本開示の技術はこれに限らず、Ｒ画素、Ｇ画素、及びＢ画素の各々に対応する各カラーフィルタを、赤外光も透過させるカラーフィルタとし、１つのカラーフィルタにつき、可視光画素用のフォトダイオードとＩＲ画素用のフォトダイオート（例えば、ＩｎＧａＡｓ ＡＰＤ）による一対のフォトダイオードが配置されるようにしてもよい。
【0169】
また、上記第１実施形態では、可視光画像用区分領域２６Ｎ１と第２測距系区分領域２６Ｎ３とを併用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、可視光画像用区分領域２６Ｎ１及び第２測距系区分領域２６Ｎ３に代えて、可視光画素データと位相差画素データとが選択的に生成されて読み出されるエリアセンサとしてもよい。この場合、エリアセンサには、複数の感光画素が２次元状に配列されている。エリアセンサに含まれる感光画素には、例えば、遮光部材を有しない独立した一対のフォトダイオードが用いられる。可視光画素データが生成されて読み出される場合、感光画素の全領域（一対のフォトダイオード）によって光電変換が行われ、位相差画素データが生成されて読み出される場合（例えば、パッシブ方式の測距を行う場合）、一対のフォトダイオードのうちの一方のフォトダイオードによって光電変換が行われる。ここで、一対のフォトダイオードのうちの一方のフォトダイオードは、上記第１実施形態で説明した第１位相差画素Ｌに対応するフォトダイオードであり、一対のフォトダイオードのうちの一方のフォトダイオードは、上記第１実施形態で説明した第２位相差画素Ｒに対応するフォトダイオードである。なお、エリアセンサに含まれる全ての感光画素によって可視光画素データと位相差画素データとが選択的に生成されて読み出されるようにしてもよいが、これに限らず、エリアセンサに含まれる一部の感光画素によって可視光画素データと位相差画素データとが選択的に生成されて読み出されるようにしてもよい。
【0170】
また、上記第１実施形態では、時系列分布において強度が２番目に大きなＩＲ反射光が特定ＩＲ画素によって受光されたタイミングが第１測距用受光タイミングとして採用される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、強度が第１閾値を超えたＩＲ反射光（図１６に示す例では、鏡面ＩＲ反射光）、及び第２閾値未満のノイズ光の受光タイミングは、第１測距用受光タイミングとして採用されず、第１閾値未満であり、かつ、第２閾値以上の強度のＩＲ反射光（図１６に示す例では、対象被写体ＩＲ反射光）が第１測距用受光タイミングとして採用されるようにしてもよい。この場合、上記第１実施形態と同様に、鏡面ＩＲ反射光の受光タイミングに基づいて第１測距が行われること、及び、ノイズ光に基づいて第１測距が行われることが回避される。
【0171】
また、上記第１実施形態では、図２３に示すように第１測距が行われてから、図２４ＡのステップＳＴ２０８の第２測距が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ＣＰＵ１５Ａが、第１測距と第２測距とを並行して行い、特定の処理として、第２測距の測距結果に基づく処理を含む処理が行われるようにしてもよい。ここで、第２測距の測距結果に基づく処理としては、例えば、第２測距が行われることによって得られた第２距離に基づくフォーカス制御を伴う撮像、及び／又は第２距離をディスプレイ４６に対して表示させる処理等が挙げられる。このように、第１測距と第２測距とを並行して行い、特定の処理として、第２測距の測距結果に基づく処理を含む処理が行われることで、第１測距が行われた後に第２測距が行われる場合に比べ、第２測距の測距結果、すなわち、第２距離に基づく処理を早く行うことができる。
【0172】
また、上記第１実施形態では、第１閾値及び第２閾値は環境光によるノイズ成分を考慮して定められていないが、本開示の技術はこれに限らず、第１閾値及び第２閾値は環境光によるノイズ成分に基づいて定められていてもよい。この場合、例えば、環境光に含まれるＩＲ光の強度の上限値として実機による試験及び／又はコンピュータ・シミュレーション等によって予め導き出された値よりも高い値になるように第１閾値及び第２閾値が定められるようにすればよい。従って、本構成によれば、第１閾値及び第２閾値が環境光によるノイズ成分が考慮されることなく定められている場合に比べ、環境光によるノイズ成分が対象被写体ＩＲ反射光として誤検出されることを回避することができる。
【0173】
［第２実施形態］
上記第１実施形態では、第２測距、すなわち、画像使用型測距の測距結果に基づく第２撮像処理が実行される形態例を挙げて説明したが、本第２実施形態では、第２撮像処理に代えて、コントラストＡＦを伴う撮像が行われる場合について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付して説明を省略し、上記第１実施形態と異なる部分について説明する。
上記第１実施形態では、第２測距、すなわち、画像使用型測距の測距結果に基づく第２撮像処理が実行される形態例を挙げて説明したが、本第２実施形態では、第２撮像処理に代えて、コントラストＡＦを伴う撮像が行われる場合について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付して説明を省略し、上記第１実施形態と異なる部分について説明する。
【0174】
一例として図２５に示すように、本第２実施形態に係るスマートデバイス５００では、ストレージ１５Ｂに、測距撮像処理プログラム５７０が記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから測距撮像処理プログラム５７０を読み出す。そして、ＣＰＵ１５Ａは、ストレージ１５Ｂから読み出した測距撮像処理プログラム５７０を実行することで、第１測距制御部１５Ａ１、第１距離取得部１５Ａ２、時系列分布取得部１５Ａ３、判定部１５Ａ４、実行部１５Ａ５、合焦位置算出部１５Ａ６、及びコントラストＡＦ方式撮像制御部１５Ａ７として動作する。
【0175】
一例として図２６に示すように、コントラストＡＦ方式撮像制御部１５Ａ７は、受光器１８に対してコントラストＡＦ方式での撮像を行わせる場合、受光器１８及び合焦位置算出部１５Ａ６に対して撮像開始信号を出力する。コントラストＡＦ方式撮像制御部１５Ａ７は、受光器１８に対して撮像開始信号を出力することで、可視光画像用区分領域２６Ｎ１（図５参照）に対して既定のフレームレート（例えば、６０ｆｐｓ）で撮像を行わせ、可視光画素データ処理回路３４Ａに対して、撮像領域を示す第３可視光画像を生成させる。可視光画素データ処理回路３４Ａは、第３可視光画像を画像メモリ４２に出力する。画像メモリ４２には、第３可視光画像が記憶され、可視光画素データ処理回路３４Ａから第３可視光画像が入力される毎に画像メモリ４２内の第３可視光画像が更新される。なお、第３可視光画像は、本開示の技術に係る「被写体画像」の一例である。
【0176】
また、コントラストＡＦ方式撮像制御部１５Ａ７は、撮像開始信号の出力と並行して、受光器１８及び合焦位置算出部１５Ａ６に対してモータ制御信号を出力する。モータ制御信号は、フォーカスレンズ３０Ｂを光軸Ｌ２に沿って往復動作（ウォブリング）させるための信号であり、受光器１８のモータドライバ６４に入力される。モータドライバ６４は、入力されたモータ制御信号に従ってモータ６２を駆動させることでフォーカスレンズ３０Ｂをウォブリングさせる（図８参照）。一方、合焦位置算出部１５Ａ６は、コントラストＡＦ方式撮像制御部１５Ａ７から撮像開始信号が入力されてから現時点までに入力されたモータ制御信号を用いてフォーカスレンズ３０Ｂの光軸Ｌ２上での現在位置を算出する。
【0177】
コントラストＡＦ方式撮像制御部１５Ａ７は、画像メモリ４２内の第３可視光画像が更新される毎に、画像メモリ４２から第３可視光画像を取得し、取得した第３可視光画像のコントラスト値を算出する。そして、コントラストＡＦ方式撮像制御部１５Ａ７は、第３可視光画像のコントラストの最大値を探索し、最大値が探察された時点で、合焦位置算出部１５Ａ６に対して最大値到達信号を出力する。最大値到達信号は、第３可視光画像のコントラストが最大値に到達したことを示す信号である。
【0178】
合焦位置算出部１５Ａ６は、最大値到達信号が入力されると、撮像開始信号が入力されてから現時点までに入力されたモータ制御信号を用いて、フォーカスレンズ３０Ｂの光軸Ｌ２上での現在位置を合焦位置として算出する。合焦位置とは、撮像領域に含まれる被写体（図２６に示す例では、対象被写体９８）に合焦する合焦位置を指す。ここでは、合焦位置算出部１５Ａ６は、モータ制御信号を独立変数とし、合焦位置を従属変数とした演算式を用いて合焦位置を算出している。なお、本開示の技術はこれに限定されず、合焦位置算出部１５Ａ６は、モータ制御信号の時系列データと光軸Ｌ２上でのフォーカスレンズ３０Ｂの位置とが対応付けられたテーブルを用いて合焦位置を導出するようにしてもよい。
【0179】
一例として図２７に示すように、特定の処理は、上記第１実施形態に比べ、第２撮像処理に代えて第３撮像処理を含む点が異なる。第３撮像処理とは、合焦位置に対するフォーカス制御を伴う撮像（コントラストＡＦを伴う撮像）を行う処理を指す。具体的には、第３撮像処理において、実行部１５Ａ５は、コントラストＡＦ方式撮像制御部１５Ａ７に対してコントラストＡＦを伴う撮像を指示し、コントラストＡＦ方式撮像制御部１５Ａ７が、実行部１５Ａ５からの指示に従って受光器１８に対してコントラストＡＦを伴う撮像を行わせる。
【0180】
また、特定の処理に含まれる画像選択画面表示処理が実行部１５Ａ５によって実行されることで生成されてディスプレイ４６に表示される画像選択画面は、上記第１実施形態に比べ、一部の表示内容が異なる。すなわち、画像選択画面には、第２距離に代えて、合焦位置算出部１５Ａ６によって算出された合焦位置（図２７に示す例では、基準位置からフォーカスレンズ３０Ｂまでの距離を示す「Ｘｍｍ」という数値）が表示されている。基準位置とは、例えば、光電変換素子２６の撮像面の位置、又は、無限遠にピントを合わせた状態でのフォーカスレンズ３０Ｂの位置を指す。
【0181】
また、図２７に示す例において、画像選択画面には、第２可視光画像に代えて第３可視光画像が表示されている。また、画像選択画面には、「アクティブ方式」というメッセージに代えて、「アクティブＡＦ方式」というメッセージが表示されている。更に、画像選択画面には、「パッシブ方式」というメッセージ代えて、「コントラストＡＦ方式」というメッセージが表示されている。なお、図２７に示す例では、第１可視光画像に対して「１．８ｍ」という第１距離が対応付けられて表示されているが、本開示の技術はこれに限定されず、第１距離に代えて又は第１距離と共に、第１距離に基づいて導出された合焦位置、すなわち、基準位置からフォーカスレンズ３０Ｂまでの距離が表示されるようにしてもよい。
【0182】
なお、本第２実施形態では、「アクティブＡＦ方式」と「コントラストＡＦ方式」という表示例を示しているが、必ずしも「アクティブＡＦ方式」と「パッシブＡＦ方式」という表示でなくてもよく、ユーザがＡＦ方式の違いを理解できればどのような表示であっても良い。例えば、レーザ測距を用いたＡＦとコントラストＡＦを行う場合、「レーザ測距を用いたＡＦ」という表示と「コントラストを用いたＡＦ」という表示でもよいし、ＡＦ方式を表すアイコン等を表示してもよい。また、ＡＦ方式の表示に代えて、ピント位置を表示してもよい。例えば、「ピント位置：手前」と「ピント位置：奥」でもよいし、「ピント位置：物体」と「ピント位置：物体に映った像」等と表示してもよい。あるいは、ＡＦ方式を示す文字及びアイコン並びにピント位置の２つ以上を組み合わせて表示してもよい。
【0183】
以上説明したように、スマートデバイス５００では、特定の処理として、コントラストＡＦを伴う撮像（第３撮像処理）が実行部１５Ａ５によって実行される。従って、本構成によれば、時系列分布生成部３４Ｂ２によって生成された時系列分布が特定の時系列分布の場合にコントラストＡＦを伴う撮像が行われるので、アクティブＡＦ方式よりもコントラストＡＦ方式を好むユーザの要求に応えることができる。
【0184】
なお、上記各実施形態では、画角θ１に収まる撮像領域が測距対象とされているが、本開示の技術はこれに限定されない。例えば、測距対象とされる撮像領域は、ユーザによって受付デバイス４７を介して与えられた指示に従って限定された特定の実空間領域であってもよい。これにより、ユーザが意図する実空間領域に対して測距を行うことができる。なお、ここでは、ユーザによって受付デバイス４７を介して与えられた指示に従って撮像領域が限定される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、スマートデバイス１０と通信可能な外部装置（図示省略）から与えられた指示に従って撮像領域が限定されるようにしてもよい。
【0185】
また、ユーザ又は外部装置から与えられた指示に従って、第１測距が行われる測距対象領域と、第２測距が行われる測距対象領域とがＣＰＵ１５Ａによって選択的に限定されるようにしてもよい。第１測距が行われる測距対象領域を限定する方法としては、照射角度θ２を調節する方法、及び／又は、第１測距系区分領域２６Ｎ２内で使用するＩＲ画素の範囲を限定する方法が挙げられる。また、第２測距が行われる測距対象領域を限定する方法としては、画角θ１を調節する方法、及び／又は、第２測距系区分領域２６Ｎ３内で使用する位相差画素の範囲を限定する方法が挙げられる。
【0186】
また、測距対象とされる撮像領域は、可視光画像からＣＰＵ１５Ａによって検出された対象被写体画像（例えば、対象被写体９８を示す画像）に対応する特定の実空間領域であってもよい。この場合、例えば、機械学習（例えば、ディープラーニング）を用いた画像認識処理が行われることによって検出された対象被写体画像に対応する実空間領域に対して第１測距及び／又は第２測距が行われるようにしてもよい。また、対象被写体画像は、特定の人物の顔を示す画像であってもよいし、自動車又は航空機等の乗り物を示す画像であってもよく、物体を示す画像であればよい。
【0187】
このように、可視光画像からＣＰＵ１５Ａによって検出された対象被写体画像に対応する特定の実空間領域に対して測距が行われるようにすることで、ユーザが肉眼で対象被写体を探して対象被写体に対する測距を行う場合に比べ、対象被写体に対する測距を容易に行うことができる。
【0188】
また、上記各実施形態では、一例として図１４に示す時系列分布では、鏡面ＩＲ反射光の受光タイミングが対象被写体ＩＲ反射光の受光タイミングよりも早いが、これに限らず、例えば、図２８に示すように、対象被写体ＩＲ反射光の受光タイミングが鏡面ＩＲ反射光の受光タイミングよりも早い場合であっても本開示の技術は成立する。この場合であっても、時系列分布において強度が２番目に大きなＩＲ反射光の受光タイミングが第１測距用受光タイミングとして採用される。
【0189】
また、上記各実施形態では、第１閾値及び第２閾値（図１６参照）を用いることによって時系列分布が特定の時系列分布であるか否かの判定が行われるようにしたが、本開示の技術はこれに限定されない。例えば、時系列分布の強度は、受光タイミングに応じて調整されていてもよい。この場合、一例として図２９に示すように、時系列分布に対してフィルタ（図２９に示す例では、受光タイミングが遅くなるほど強度を漸次的に高めるように構成されたフィルタ）が適用されることによって、一例として図３０に示すように、時系列分布が調整される。これにより、時系列分布が受光タイミングの影響を受けている場合に比べ、時系列分布から、測距対象とされた物体の材質に起因する測距結果を精度良く特定することができる。
【0190】
なお、このように時系列分布がフィルタリングされる場合、フィルタリング後の時系列分布に対して適用される第１閾値及び第２閾値は、フィルタに応じて変更される。そして、これに伴って、時系列分布が上述した特定の時系列分布に該当するか否かの判定方法も変更される。例えば、上記第１実施形態で説明した第１閾値と第２閾値との大小関係は、“第１閾値＜第２閾値”となり、これらの第１閾値及び第２閾値を図３０に示す時系列分布に適用すると、時系列分布に、第２閾値よりも大きな強度（図３０に示す例では、対象被写体ＩＲ反射光）が含まれ、第２閾値未満であり、かつ、第１閾値以上の強度（図３０に示す例では、鏡面ＩＲ反射光）が含まれている場合に、判定部１５Ａ４によって、フィルタリング後の時系列分布が特定の時系列分布であると判定される。
【0191】
また、受光タイミングの影響を除去する度合いがフィルタ（図２９参照）及び第１閾値とで分散されるようにしてもよい。例えば、フィルタによって、受光タイミングの影響が半分除去され、第１閾値によって、受光タイミングの影響が半分除去されるようにしてもよい。
【0192】
また、上記第１実施形態では、ストレージ１５Ｂに測距撮像処理プログラム７０が記憶されており、上記第２実施形態では、ストレージ１５Ｂに測距撮像処理プログラム５７０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３１に示すように、測距撮像処理プログラム７０又は５７０（以下、測距撮像処理プログラム７０及び５７０を区別して説明する必要がない場合、符号を付さずに「測距撮像処理プログラム」と称する）が記憶媒体９００に記憶されていてもよい。記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
【0193】
記憶媒体９００に記憶されている測距撮像処理プログラムは、コントローラ１５にインストールされる。ＣＰＵ１５Ａは、測距撮像処理プログラムに従って測距撮像処理を実行する。
【0194】
また、通信網（図示省略）を介してコントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部に測距撮像処理プログラムを記憶させておき、上述のスマートデバイス１０の要求に応じて測距撮像処理プログラムがダウンロードされ、コントローラ１５にインストールされるようにしてもよい。
【0195】
なお、コントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ１５Ｂに測距撮像処理プログラムの全てを記憶させておく必要はなく、測距撮像処理プログラムの一部を記憶させておいてもよい。
【0196】
図３１に示す例では、スマートデバイス１０にコントローラ１５が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コントローラ１５がスマートデバイス１０の外部に設けられるようにしてもよい。
【0197】
図３１に示す例では、ＣＰＵ１５Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ１５Ａに代えてＧＰＵを適用してもよい。
【0198】
図３１に示す例では、コントローラ１５が例示されているが、本開示の技術はこれに限定されず、コントローラ１５に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１５に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0199】
上記各実施形態で説明した測距撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、測距撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで測距撮像処理を実行する。
【0200】
測距撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、測距撮像処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0201】
１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、測距撮像処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、測距撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、測距撮像処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0202】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の測距撮像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0203】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0204】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0205】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【0206】
以上の実施形態に関し、更に以下の付記を開示する。
【0207】
（付記１）
プロセッサと、
プロセッサに接続又は内蔵されたメモリと、を含み、
プロセッサは、
光照射器による光の面照射に対応する受光期間内において既定の時間間隔毎に受光器によって受光された反射光の強度が時系列で規定された時系列分布において反射光が受光器によって受光された回数が１回の場合に、照射タイミングと受光タイミングとに基づいて測定した第１距離を用いることで撮像装置に対してフォーカス制御を行い、時系列分布において反射光が受光器によって受光された回数が複数の場合に、測距対象領域が撮像されることで得られた画像に基づいて測定した第２距離を用いることで撮像装置に対してフォーカス制御を行う
情報処理装置。
プロセッサと、
プロセッサに接続又は内蔵されたメモリと、を含み、
プロセッサは、
光照射器による光の面照射に対応する受光期間内において既定の時間間隔毎に受光器によって受光された反射光の強度が時系列で規定された時系列分布において反射光が受光器によって受光された回数が１回の場合に、照射タイミングと受光タイミングとに基づいて測定した第１距離を用いることで撮像装置に対してフォーカス制御を行い、時系列分布において反射光が受光器によって受光された回数が複数の場合に、測距対象領域が撮像されることで得られた画像に基づいて測定した第２距離を用いることで撮像装置に対してフォーカス制御を行う
情報処理装置。
【0208】
（付記２）
プロセッサと、
光を測距対象領域に向けて面照射する光照射器と、
光の測距対象領域からの反射光を受光する受光器と、を含み、
プロセッサは、
光照射器が光を測距対象領域に向けて面照射した照射タイミングと、光の測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定し、
第１距離は、光照射器による面照射に対応する受光期間内の複数の受光タイミングに受光器によって生成された複数の信号のうち、複数の信号の関係と複数の信号の強度とに基づいて選択された信号に対応する受光タイミングと照射タイミングとに基づいてプロセッサによって測定される
測距装置。
プロセッサと、
光を測距対象領域に向けて面照射する光照射器と、
光の測距対象領域からの反射光を受光する受光器と、を含み、
プロセッサは、
光照射器が光を測距対象領域に向けて面照射した照射タイミングと、光の測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定し、
第１距離は、光照射器による面照射に対応する受光期間内の複数の受光タイミングに受光器によって生成された複数の信号のうち、複数の信号の関係と複数の信号の強度とに基づいて選択された信号に対応する受光タイミングと照射タイミングとに基づいてプロセッサによって測定される
測距装置。
【0209】
（付記３）
プロセッサと、
プロセッサに接続又は内蔵されたメモリと、を含み、
プロセッサは、
光照射器が光を測距対象領域に向けて面照射した照射タイミングと、光の測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定し、
第１距離は、光照射器による面照射に対応する受光期間内の複数の受光タイミングに受光器によって生成された複数の信号のうち、複数の信号の関係と複数の信号の強度とに基づいて選択された信号に対応する受光タイミングと照射タイミングとに基づいてプロセッサによって測定される
情報処理装置。
プロセッサと、
プロセッサに接続又は内蔵されたメモリと、を含み、
プロセッサは、
光照射器が光を測距対象領域に向けて面照射した照射タイミングと、光の測距対象領域からの反射光を受光器が受光した受光タイミングとに基づいて測距対象領域内の物体までの第１距離を測定し、
第１距離は、光照射器による面照射に対応する受光期間内の複数の受光タイミングに受光器によって生成された複数の信号のうち、複数の信号の関係と複数の信号の強度とに基づいて選択された信号に対応する受光タイミングと照射タイミングとに基づいてプロセッサによって測定される
情報処理装置。
【符号の説明】
【0210】
１０，５００ スマートデバイス
１２ 筐体
１２Ａ 背面
１２Ｂ 前面
１３ 指示キー
１４ 測距撮像装置
１５ コントローラ
１５Ａ ＣＰＵ
１５Ａ１ 第１測距制御部
１５Ａ２ 第１距離取得部
１５Ａ３ 時系列分布生成部
１５Ａ４ 判定部
１５Ａ５ 実行部
１５Ａ６ 第１合焦位置算出部
１５Ａ７ コントラストＡＦ方式撮像制御部
１５Ａ８ 合焦位置算出部
１５Ｂ ストレージ
１５Ｃ メモリ
１６ 光照射器
１７Ａ，１７Ｂ 遮光部材
１８ 受光器
１９ マイクロレンズ
２０，２２，３５２ 透光窓
２１ ビームエクスパンダ
２３ コリメートレンズ
２４ ＬＤ
２５ ＬＤドライバ
２６，３５４ 光電変換素子
２６Ｎ１ 可視光画像用区分領域
２６Ｎ２ 第１測距系区分領域
２６Ｎ３ 第２測距系区分領域
２７ ＴＯＦカメラ
３０Ａ 対物レンズ
３０Ｂ フォーカスレンズ
３０Ｃ 絞り
３１ 合焦制御機構
３２ 光電変換素子ドライバ
３４ 信号処理回路
３４Ａ 可視光画素データ処理回路
３４Ｂ 第１測距系処理回路
３４Ｂ１ ＩＲ画素データ取得部
３４Ｂ２ 時系列分布生成部
３４Ｂ３ 受光タイミング決定部
３４Ｂ４ 第１距離測定部
３４Ｃ 第２測距系処理回路
４０ 入出力インタフェース
４１ 撮像レンズ
４２ 画像メモリ
４４ ＵＩ系デバイス
４６ ディスプレイ
４７ 受付デバイス
４８ タッチパネル
５０ バス
５２ 外部Ｉ／Ｆ
５３ ハードキー部
５４ 通信Ｉ／Ｆ
５６ ネットワーク
５９ タッチパネル・ディスプレイ
６０ 移動機構
６２ モータ
６４ モータドライバ
７０，５７０ 測距撮像処理プログラム
７２ 合焦位置導出テーブル
１００ 鏡
１００Ａ 鏡面
３００Ｌ 左領域通過光
３００Ｒ 右領域通過光
３５０ 広角用受光器
９００ 記憶媒体
Ｌ 第１位相差画素
Ｌ１，Ｌ２ 光軸
Ｎ 非位相差画素
ＰＤ フォトダイオード
Ｒ 第２位相差画素
α ずれ量
θ１ 画角
θ２ 照射角度
１２ 筐体
１２Ａ 背面
１２Ｂ 前面
１３ 指示キー
１４ 測距撮像装置
１５ コントローラ
１５Ａ ＣＰＵ
１５Ａ１ 第１測距制御部
１５Ａ２ 第１距離取得部
１５Ａ３ 時系列分布生成部
１５Ａ４ 判定部
１５Ａ５ 実行部
１５Ａ６ 第１合焦位置算出部
１５Ａ７ コントラストＡＦ方式撮像制御部
１５Ａ８ 合焦位置算出部
１５Ｂ ストレージ
１５Ｃ メモリ
１６ 光照射器
１７Ａ，１７Ｂ 遮光部材
１８ 受光器
１９ マイクロレンズ
２０，２２，３５２ 透光窓
２１ ビームエクスパンダ
２３ コリメートレンズ
２４ ＬＤ
２５ ＬＤドライバ
２６，３５４ 光電変換素子
２６Ｎ１ 可視光画像用区分領域
２６Ｎ２ 第１測距系区分領域
２６Ｎ３ 第２測距系区分領域
２７ ＴＯＦカメラ
３０Ａ 対物レンズ
３０Ｂ フォーカスレンズ
３０Ｃ 絞り
３１ 合焦制御機構
３２ 光電変換素子ドライバ
３４ 信号処理回路
３４Ａ 可視光画素データ処理回路
３４Ｂ 第１測距系処理回路
３４Ｂ１ ＩＲ画素データ取得部
３４Ｂ２ 時系列分布生成部
３４Ｂ３ 受光タイミング決定部
３４Ｂ４ 第１距離測定部
３４Ｃ 第２測距系処理回路
４０ 入出力インタフェース
４１ 撮像レンズ
４２ 画像メモリ
４４ ＵＩ系デバイス
４６ ディスプレイ
４７ 受付デバイス
４８ タッチパネル
５０ バス
５２ 外部Ｉ／Ｆ
５３ ハードキー部
５４ 通信Ｉ／Ｆ
５６ ネットワーク
５９ タッチパネル・ディスプレイ
６０ 移動機構
６２ モータ
６４ モータドライバ
７０，５７０ 測距撮像処理プログラム
７２ 合焦位置導出テーブル
１００ 鏡
１００Ａ 鏡面
３００Ｌ 左領域通過光
３００Ｒ 右領域通過光
３５０ 広角用受光器
９００ 記憶媒体
Ｌ 第１位相差画素
Ｌ１，Ｌ２ 光軸
Ｎ 非位相差画素
ＰＤ フォトダイオード
Ｒ 第２位相差画素
α ずれ量
θ１ 画角
θ２ 照射角度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図24C】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
