ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-06
(45)【発行日】2025-01-15
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G02B 7/28 20210101AFI20250107BHJP
G03B 13/36 20210101ALI20250107BHJP
G02B 7/32 20210101ALI20250107BHJP
G02B 7/34 20210101ALI20250107BHJP
H04N 23/67 20230101ALI20250107BHJP
【ＦＩ】
G02B7/28 N
G03B13/36
G02B7/32
G02B7/34
H04N23/67
【請求項の数】
4
(21)【出願番号】P 2023120091
(22)【出願日】2023-07-24
(62)【分割の表示】P 2021561262の分割
【原出願日】2020-11-09
(65)【公開番号】P2023145588
(43)【公開日】2023-10-11
【審査請求日】2023-07-24
(31)【優先権主張番号】P 2019217520
(32)【優先日】2019-11-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】増田 智紀
(72)【発明者】
【氏名】林 健吉
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特開２０１７－１０７１３２（ＪＰ，Ａ）
【文献】特開平０７－１６７６４６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ７／２８ － ７／４０
Ｇ０３Ｂ ３／００ － ３／１２
Ｇ０３Ｂ １３／３０ －１３／３６
Ｇ０３Ｂ ２１／５３
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｈ０４Ｎ ２３／９０ －２３／９５９
(57)【特許請求の範囲】
【請求項1】
プロセッサと、前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、
光照射器が光を撮像領域に向けて照射した照射タイミングと、前記光の前記撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて前記撮像領域までの距離を測定する第１測距を行い、
撮像装置によって前記撮像領域が撮像されることで得られた第１画像に基づいて、前記撮像領域までの距離を測定する第２測距を行い、
前記第１測距を行うことで得られた第１測距結果と、前記第２測距を行うことで得られた第２測距結果とが異なる場合に特定の処理を実行し、
前記特定の処理は、前記第１測距結果と前記第２測距結果とが異なる旨を通知する処理、及び前記第１測距結果又は前記第２測距結果に基づいて前記撮像装置に対して、フォーカス制御を行い、かつ、前記撮像領域を撮像させる処理を含み、
前記受光器によって受光された前記反射光の受光量が閾値以上である場合、前記フォーカス制御は、前記第２測距結果に基づいて行われる
情報処理装置。
【請求項2】
前記特定の処理は、焦点調節をする前に前記第１測距結果と前記第２測距結果とが異なる旨を通知する処理を含む請求項１に記載の情報処理装置。
【請求項3】
光照射器が光を撮像領域に向けて照射した照射タイミングと、前記光の前記撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて前記撮像領域までの距離を測定する第１測距を行うこと、撮像装置によって前記撮像領域が撮像されることで得られた第１画像に基づいて、前記撮像領域までの距離を測定する第２測距を行うこと、及び、
前記第１測距を行うことで得られた第１測距結果と、前記第２測距を行うことで得られた第２測距結果とが異なる場合に特定の処理を実行することを含み、
前記特定の処理は、前記第１測距結果と前記第２測距結果とが異なる旨を通知する処理、及び前記第１測距結果又は前記第２測距結果に基づいて前記撮像装置に対して、フォーカス制御を行い、かつ、前記撮像領域を撮像させる処理を含み、
前記受光器によって受光された前記反射光の受光量が閾値以上である場合、前記フォーカス制御は、前記第２測距結果に基づいて行われる
情報処理方法。
【請求項4】
コンピュータに情報処理を実行させるためのプログラムであって、前記情報処理は、
光照射器が光を撮像領域に向けて照射した照射タイミングと、前記光の前記撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて前記撮像領域までの距離を測定する第１測距を行うこと、
撮像装置によって前記撮像領域が撮像されることで得られた第１画像に基づいて、前記撮像領域までの距離を測定する第２測距を行うこと、及び、
前記第１測距を行うことで得られた第１測距結果と、前記第２測距を行うことで得られた第２測距結果とが異なる場合に、前記第１測距結果と前記第２測距結果とが異なる旨を通知する処理、及び前記第１測距結果又は前記第２測距結果に基づいて前記撮像装置に対して、フォーカス制御を行い、かつ、前記撮像領域を撮像させる処理を含む特定の処理を実行することを含み、
前記受光器によって受光された前記反射光の受光量が閾値以上である場合、前記フォーカス制御は、前記第２測距結果に基づいて行われる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、光軸にそって一方向へ光を出射する発光素子と、光軸に垂直な方向へ配されたアバランシェフォトダイオードである複数の受光素子と、検知物体と発光素子とを隔てる筐体と、ＴＯＦ方式および三角測量方式で距離を特定する制御部と、を備える光センサが開示されている。
【0003】
特許文献２には、車両の近くに人間がいるときに、人間に危害を与えないように小さい送光パワーでスキャン測距を行って人間が存在する方向を記憶しておき、次に送光パワーを大きくしてスキャン測距を行う際には、予め記憶してある人間が存在している方向に対しては光の送出を停止し、それ以外の方向だけに対して、大きな送光パワーでスキャン測距を行い、近くに存在する人間に危害を与えることなく、遠方に存在する車両の存在を確実に検出できるようにした車両用レーダ装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－２２３９０２号公報
【文献】特開平０９－１９７０４５号公報
【発明の概要】
【0005】
本開示の技術に係る一つの実施形態は、異なる測距方式によって得られた第１測距結果と第２測距結果とが異なる場合に生じる諸問題の解決に寄与することができる情報処理装置、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を含み、プロセッサが、光照射器が光を撮像領域に向けて照射した照射タイミングと、光の撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて撮像領域までの距離を測定する第１測距を行い、撮像装置によって撮像領域が撮像されることで得られた第１画像に基づいて、撮像領域までの距離を測定する第２測距を行い、第１測距を行うことで得られた第１測距結果と、第２測距を行うことで得られた第２測距結果とが異なる場合に特定の処理を実行する情報処理装置である。
【0007】
本開示の技術に係る第２の態様は、特定の処理が、第１測距結果と第２測距結果とが異なる旨を通知する処理を含む第１の態様に係る情報処理装置である。
【0008】
本開示の技術に係る第３の態様は、特定の処理が、第１測距結果と第２測距結果のそれぞれに基づいて撮像装置に対して、フォーカス制御を行い、かつ、撮像領域を撮像させる処理を含む第１の態様又は第２の態様に係る情報処理装置である。
【0009】
本開示の技術に係る第４の態様は、特定の処理が、第１測距結果に基づくフォーカス制御下で撮像領域が撮像されることで得られた第１合焦画像と、第２測距結果に基づくフォーカス制御下で撮像領域が撮像されることで得られた第２合焦画像とをディスプレイに対して表示させ、かつ、第１合焦画像及び第２合焦画像がディスプレイに表示されている状態で第１合焦画像及び第２合焦画像のうちの少なくとも１つの選択をユーザに促す処理を含む第３の態様に係る情報処理装置である。
【0010】
本開示の技術に係る第５の態様は、特定の処理が、第１測距結果又は第２測距結果に基づいて撮像装置に対して、フォーカス制御を行い、かつ、撮像領域を撮像させる処理を含む第１の態様又は第２の態様に係る情報処理装置である。
【0011】
本開示の技術に係る第６の態様は、フォーカス制御が、第１測距結果及び第２測距結果のうち、与えられた指示に従って定められた何れかの測距結果に基づいて撮像装置に対して行われる第５の態様に係る情報処理装置である。
【0012】
本開示の技術に係る第７の態様は、撮像装置が、広角側と望遠側とで撮像可能であり、撮像装置が広角側で撮像する場合、フォーカス制御が、第１測距結果に基づいて撮像装置に対して行われる第５の態様に係る情報処理装置である。
【0013】
本開示の技術に係る第８の態様は、受光器によって受光された反射光の受光量が閾値以上である場合、フォーカス制御が、第２測距結果に基づいて行われる第５の態様に係る情報処理装置である。
【0014】
本開示の技術に係る第９の態様は、フォーカス制御が、第１測距結果及び第２測距結果のうち、撮像装置によって撮像領域が撮像されることで得られた第２画像に対する、既定反射率以上の反射率を有する領域を示す高反射率領域の割合、又は、第２画像内の高反射率領域の面積と第２画像内の高反射率領域と異なる領域の面積との差分に従って定められた何れかの測距結果に基づいて撮像装置に対して行われる第５の態様に係る情報処理装置である。
【0015】
本開示の技術に係る第１０の態様は、プロセッサが、撮像装置によって撮像領域が撮像されることで得られた第２画像に対して、特定被写体を示す特定被写体画像の検出を行い、特定被写体画像がプロセッサによって検出された場合、フォーカス制御が、第２測距結果に基づいて行われる第５の態様に係る情報処理装置である。
【0016】
本開示の技術に係る第１１の態様は、特定被写体が、既定反射率以上の反射率を有する高反射率領域を含み、高反射率領域が、人物及び撮像装置のうちの少なくとも一方の像が映り込んだ領域である第１０の態様に係る情報処理装置である。
【0017】
本開示の技術に係る第１２の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を含み、プロセッサが、光照射器が光を撮像領域に向けて照射した照射タイミングと、光の撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて撮像領域までの距離を測定し、撮像領域に含まれる被写体に合焦する第１合焦位置を距離に基づいて導出し、被写体に合焦する第２合焦位置を、撮像装置によって撮像領域が撮像されることで得られた画像に基づいて導出し、第１合焦位置と第２合焦位置とが異なる場合に特定の処理を実行する情報処理装置である。
【0018】
本開示の技術に係る第１３の態様は、光照射器が光を撮像領域に向けて照射した照射タイミングと、光の撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて撮像領域までの距離を測定する第１測距を行うこと、撮像装置によって撮像領域が撮像されることで得られた第１画像に基づいて、撮像領域までの距離を測定する第２測距を行うこと、及び、第１測距を行うことで得られた第１測距結果と、第２測距を行うことで得られた第２測距結果とが異なる場合に特定の処理を実行することを含む情報処理方法である。
【0019】
本開示の技術に係る第１４の態様は、光照射器が光を撮像領域に向けて照射した照射タイミングと、光の撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて撮像領域までの距離を測定すること、撮像領域に含まれる被写体に合焦する第１合焦位置を距離に基づいて導出すること、被写体に合焦する第２合焦位置を、撮像装置によって撮像領域が撮像されることで得られた画像に基づいて導出すること、及び、第１合焦位置と第２合焦位置とが異なる場合に特定の処理を実行することを含む情報処理方法である。
【0020】
本開示の技術に係る第１５の態様は、コンピュータに、光照射器が光を撮像領域に向けて照射した照射タイミングと、光の撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて撮像領域までの距離を測定する第１測距を行うこと、撮像装置によって撮像領域が撮像されることで得られた第１画像に基づいて、撮像領域までの距離を測定する第２測距を行うこと、及び、第１測距を行うことで得られた第１測距結果と、第２測距を行うことで得られた第２測距結果とが異なる場合に特定の処理を実行することを含む処理を実行させるためのプログラムである。
【0021】
本開示の技術に係る第１６の態様は、コンピュータに、光照射器が光を撮像領域に向けて照射した照射タイミングと、光の撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて撮像領域までの距離を測定すること、撮像領域に含まれる被写体に合焦する第１合焦位置を距離に基づいて導出すること、被写体に合焦する第２合焦位置を、撮像装置によって撮像領域が撮像されることで得られた画像に基づいて導出すること、及び、第１合焦位置と第２合焦位置とが異なる場合に特定の処理を実行することを含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0022】
【図1】第１実施形態に係るスマートデバイスの使用態様の一例を示す概略斜視図である。
【図2】第１実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。
【図3】第１実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域が撮像され、ディスプレイに可視光画像が表示されている態様の一例を示す概念図である。
【図4】第１実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域に対してレーザ光を照射している態様の一例を示す概念図である。
【図5】第１実施形態に係るスマートデバイスの光電変換素子に含まれる各画素の配置の一例を示す概略斜視図である。
【図8】第１実施形態に係るスマートデバイスの電気系ハードウェアの構成の一例を示すブロック図である。
【図9】第１実施形態に係るスマートデバイスに含まれるＣＰＵの機能の一例を示すブロック図である。
【図12】鏡面と鏡に映った像との各々が測距対象とされた場合の第１測距による測距結果（第１距離）と第２測距による測距結果（第２距離）との関係性の一例を示す概念図である。
【図15】第１実施形態に係るスマートデバイスによってディスプレイに表示されている画像選択画面内の第１可視光画像がユーザによってタッチパネルを介して選択された場合の処理内容の一例を示す概念図である。
【図16】第１実施形態に係るスマートデバイスによってディスプレイに表示されている画像選択画面内の第２可視光画像がユーザによってタッチパネルを介して選択された場合の処理内容の一例を示す概念図である。
【図17A】第１実施形態に係る測距撮像処理の流れの一例を示すフローチャートである。
【図18A】第１実施形態に係る測距撮像処理の流れの第１変形例を示すフローチャートである。
【図19】第１実施形態に係る測距撮像処理の流れの第２変形例を示すフローチャートである。
【図20】第１実施形態に係る測距撮像処理の流れの第３変形例を示すフローチャートである。
【図21】第１実施形態に係る測距撮像処理の流れの第４変形例を示すフローチャートである。
【図22】第１実施形態に係るスマートデバイスが広角用受光器を更に備えた態様の一例を示す背面視斜視図である。
【図23】第１実施形態に係る測距撮像処理の流れの第５変形例を示すフローチャートである。
【図24】第２実施形態に係るスマートデバイスに含まれるＣＰＵの機能の一例を示すブロック図である。
【図25】第２実施形態に係るスマートデバイスによって行われるフォーカス制御で用いられる第１合焦位置を算出するための処理内容の一例を示す概念図である。
【図26】第２実施形態に係るスマートデバイスによって行われるフォーカス制御で用いられる第２合焦位置を算出するための処理内容の一例を示す概念図である。
【図29A】第２実施形態に係る測距撮像処理の流れの一例を示すフローチャートである。
【図30】実施形態に係る測距撮像処理プログラムがスマートデバイスにインストールされる態様の一例を示す概念図である。
【発明を実施するための形態】
【0023】
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
【0024】
先ず、以下の説明で使用される文言について説明する。
【0025】
ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ
Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＴＥとは、“Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ”の略称を指す。５Ｇとは、“５ｔｈ Ｇｅｎｅｒａｔｉｏｎ”の略称を指す。ＬＤとは、“Ｌａｓｅｒ Ｄｉｏｄｅ”の略称を指す。ＩＲとは、“Ｉｎｆｒａｒｅｄ”の略称を指す。ＡＰＤとは、“Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ”の略称を指す。ＴＯＦとは、
“Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＬＥＤとは、“Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ”の略称を指す。ＲＯＩとは、“Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。ＡＦとは、“Ａｕｔｏ Ｆｏｃｕｓ”の略称を指す。ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。
Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＴＥとは、“Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ”の略称を指す。５Ｇとは、“５ｔｈ Ｇｅｎｅｒａｔｉｏｎ”の略称を指す。ＬＤとは、“Ｌａｓｅｒ Ｄｉｏｄｅ”の略称を指す。ＩＲとは、“Ｉｎｆｒａｒｅｄ”の略称を指す。ＡＰＤとは、“Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ”の略称を指す。ＴＯＦとは、
“Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＬＥＤとは、“Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ”の略称を指す。ＲＯＩとは、“Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。ＡＦとは、“Ａｕｔｏ Ｆｏｃｕｓ”の略称を指す。ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。
【0026】
本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの一致を指す。
【0027】
［第１実施形態］
一例として図１に示すように、スマートデバイス１０は、画角θ１で規定された撮像領域を撮像する撮像動作（以下、単に「撮像動作」とも称する）と、測距動作とを行う。本第１実施形態において、「測距」とは、スマートデバイス１０から撮像領域までの距離を測定する処理を指す。なお、スマートデバイス１０は、本開示の技術に係る「情報処理装置」の一例であり、スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。
一例として図１に示すように、スマートデバイス１０は、画角θ１で規定された撮像領域を撮像する撮像動作（以下、単に「撮像動作」とも称する）と、測距動作とを行う。本第１実施形態において、「測距」とは、スマートデバイス１０から撮像領域までの距離を測定する処理を指す。なお、スマートデバイス１０は、本開示の技術に係る「情報処理装置」の一例であり、スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。
【0028】
スマートデバイス１０では、測距方式が互いに異なる第１測距及び第２測距が行われる。第１測距は、スマートデバイス１０がレーザ光を撮像領域に向けて照射したタイミングと、レーザ光の撮像領域からの反射光をスマートデバイス１０が受光したタイミングとに基づいて撮像領域までの距離を測定する方式（以下、「アクティブ方式」とも称する）の測距である。第２測距は、スマートデバイス１０によって撮像領域が撮像されることで得られた画像に基づいて、撮像領域までの距離を測定する方式（以下、「パッシブ方式」とも称する）の測距である。ここで、スマートデバイス１０によって撮像領域が撮像されることで得られた画像は、本開示の技術に係る「第１画像」の一例である。また、レーザ光は、本開示の技術に係る「光」の一例である。また、ここでは、レーザ光が撮像領域に向けて面照射される。なお、面照射とは、レーザ光が撮像領域に向けてビーム径がスポット照射よりも拡がる照射を指す。面照射では、レーザ光のビーム径が、レーザ光の照射方向に沿って徐々に拡がり、ビーム径が単位時間あたりに拡がる度合いは、スポット照射よりも面照射の方が大きい。つまり、スポット照射では、撮像領域のある面に対して点状にレーザ光が照射されるのに対し、面照射では、撮像領域のある面に対して面状にレーザ光が照射される。また、レーザ光の照射は単発でもよいが、定期的に（例えば、０．１秒毎）に間欠的に行われるようにしてもよく、この場合、レーザ光の照射毎に第１測距が行われ、測距結果に基づく処理が行われるようにしてもよい。
【0029】
スマートデバイス１０では、アクティブ方式の測距とパッシブ方式の測距とを併用したハイブリッド方式の測距が行われる。そして、スマートデバイス１０では、アクティブ方式フォーカス制御を伴う撮像と、パッシブ方式フォーカス制御を伴う撮像とが行われる。アクティブ方式フォーカス制御とは、アクティブ方式の測距が行われることによって得られた測距結果に基づくフォーカス制御を指す。パッシブ方式フォーカス制御とは、パッシブ方式の測距が行われることによって得られる測距結果に基づくフォーカス制御を指す。
【0030】
一例として図２に示すように、スマートデバイス１０は、筐体１２を備えている。筐体１２には、測距撮像装置１４が収容されている。測距撮像装置１４は、光照射器１６及び受光器１８を備えている。光照射器１６は、ＬＤ２４を備えており、スマートデバイス１０において、撮像動作及び測距動作は、測距撮像装置１４によって行われる。
【0031】
スマートデバイス１０の側面には、指示キー１３が配置されている。指示キー１３は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。
【0032】
スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部（縦置きの状態のスマートデバイス１０の背面視左上部）には、透光窓２０及び２２が設けられている。透光窓２０及び２２は、透光性を有する光学素子（例えば、レンズ）であり、水平方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。光照射器１６は、ＬＤ２４から出射されたレーザ光を、透光窓２０を介して撮像領域に向けて照射する。本第１実施形態では、赤外波長域のレーザ光が光照射器１６によって撮像領域に向けて照射されている。なお、レーザ光の波長域は、これに限らず、他の波長域のレーザ光であってもよい。
【0033】
受光器１８は、透光窓２２を介してＩＲ反射光を取り込む。ＩＲ反射光とは、光照射器１６によって測距対象に照射されたレーザ光の測距対象からの反射光を指す。また、受光器１８は、透光窓２２を介して可視反射光を取り込む。可視反射光とは、撮像領域に対して照射された可視光（例えば、太陽光に含まれる可視光）の撮像領域からの反射光を指す。なお、以下では、説明の便宜上、ＩＲ反射光と可視反射光とを区別して説明する必要がない場合、単に「反射光」と称する。
【0034】
受光器１８は、本開示の技術に係る「撮像装置」の一例であり、光電変換素子２６を備えている。光電変換素子２６は、透光窓２２を介して受光器１８に取り込まれた反射光を受光し、受光した反射光の光量に応じた電気信号を出力する。
【0035】
一例として図３に示すように、筐体１２の前面１２Ｂには、タッチパネル・ディスプレイ５９が設けられている。タッチパネル・ディスプレイ５９は、ディスプレイ４６及びタッチパネル４８を備えている。ディスプレイ４６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ４６は、有機ＥＬディスプレイではなく、液晶ディスプレイなどの他種類のディスプレイであってもよい。
【0036】
ディスプレイ４６は、画像（例えば、ライブビュー画像及び再生画像）及び文字情報等を表示する。タッチパネル４８は、透過型のタッチパネルであり、ディスプレイ４６の表示領域の表面に重ねられている。タッチパネル４８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、ここでは、タッチパネル・ディスプレイ５９の一例として、タッチパネル４８がディスプレイ４６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ５９として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
【0037】
スマートデバイス１０では、撮像を開始する指示がタッチパネル４８によって受け付けられると、受光器１８によって撮像領域が撮像される。すなわち、受光器１８は、可視光反射光を受光し、受光した可視光反射光に応じた画像として、撮像領域を示す可視光画像を生成する。可視光画像は、本開示の技術に係る「第１画像」及び「第２画像」の一例である。
【0038】
可視光画像は、タッチパネル４８によって受け付けられた指示に応じて、ライブビュー画像又は静止画像として、ディスプレイ４６に表示される。図３に示す例では、撮像領域が画角θ１によって規定されている。画角θ１は、タッチパネル４８によって受け付けられた指示に従って変更される。
【0039】
一例として図４に示すように、スマートデバイス１０では、測距及び撮像を開始する指示（以下、「測距撮像開始指示」とも称する）がタッチパネル４８によって受け付けられると、光照射器１６によってレーザ光が照射される。レーザ光が照射される角度（以下、「照射角度」とも称する）は、θ２であり、照射角度θ２は、タッチパネル４８によって受け付けられた指示に従って変更される。なお、図４に示す例では、可視光画像がライブビュー画像としてディスプレイ４６に表示されている状態でタッチパネル４８によって受け付けられた測距撮像開始指示に応じて測距が開始される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、可視光画像がディスプレイ４６に表示されていない状態でタッチパネル４８によって測距撮像開始指示が受け付けられた場合に測距が開始されるようにしてもよい。
【0040】
スマートデバイス１０では、光照射器１６によってレーザ光が照射されてから、受光器１８によってＩＲ反射光が受光されるまでに要する時間と、光速とに基づいて、スマートデバイス１０から測距対象までの距離が測定される。例えば、測距対象までの距離を“Ｌ０”とし、光速を“ｃ”とし、光照射器１６によってレーザ光が照射されてから受光器１８よってＩＲ反射光が受光されるまでに要する時間を“ｔ”とすると、距離Ｌ０は、“Ｌ０＝ｃ×ｔ×０．５”の式に従って算出される。
【0041】
一例として図５に示すように、光電変換素子２６は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
【0042】
光電変換素子２６に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑色）波長域に対応するＧフィルタ、Ｒ（赤色）波長域に対応するＲフィルタ、Ｂ（青色）波長域に対応するＢフィルタ、及びＩＲ（赤外）波長域に対応するＩＲフィルタを含む。なお、本第１実施形態において、Ｇフィルタ、Ｒフィルタ、及びＢフィルタは、赤外光をカットする赤外光カットフィルタとしての機能も有する。
【0043】
光電変換素子２６は、位相差画素と、位相差画素とは異なる画素である非位相差画素Ｎとの２種類の感光画素によって形成されている。一般的に、非位相差画素Ｎは、通常画素とも称される。光電変換素子２６は、非位相差画素として、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の４種類の感光画素を有する。Ｒ画素、Ｇ画素、Ｂ画素、ＩＲ画素、及び位相差画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で規則的に配置されている。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素及び位相差画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素であり、ＩＲ画素は、ＩＲフィルタが配置されたフォトダイオードに対応する画素である。ＩＲ画素の一例としては、ＩｎＧａＡｓ ＡＰＤが挙げられる。
【0044】
なお、以下では、説明の便宜上、Ｇフィルタ、Ｒフィルタ、及びＢフィルタを区別して説明する必要がない場合、「可視光フィルタ」とも称する。また、以下では、説明の便宜上、Ｒ画素、Ｇ画素、及びＢ画素を区別して説明する必要がない場合、これらを「可視光画素」と称する。
【0045】
光電変換素子２６の受光面には、複数の位相差画素ライン２６Ａと複数の非位相差画素ライン２６Ｂとが配列されている。位相差画素ライン２６Ａは、位相差画素を含む水平ラインである。具体的には、位相差画素ライン２６Ａは、位相差画素と非位相差画素Ｎとが混在している水平ラインである。非位相差画素ライン２６Ｂは、複数の非位相差画素Ｎのみを含む水平ラインである。
【0046】
光電変換素子２６の受光面には、位相差画素ライン２６Ａと、既定ライン数分の非位相差画素ライン２６Ｂとが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、２ラインを指す。なお、ここでは、既定ライン数として、２ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、３ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。
【0047】
位相差画素ライン２６Ａは、１行目から最終行にかけて列方向に２行飛ばしで配列されている。位相差画素ライン２６Ａの一部の画素が位相差画素である。具体的には、位相差画素ライン２６Ａは、位相差画素と非位相差画素Ｎとが周期的に配列された水平ラインである。位相差画素は、第１位相差画素Ｌと第２位相差画素Ｒとに大別される。位相差画素ライン２６Ａには、Ｇ画素として第１位相差画素Ｌと第２位相差画素Ｒとがライン方向に数画素間隔で交互に配置されている。
【0048】
第１位相差画素Ｌ及び第２位相差画素Ｒは、列方向で交互に現れるように配置されている。図５に示す例では、４列目において、１行目から列方向に沿って第１位相差画素Ｌ、第２位相差画素Ｒ、第１位相差画素Ｌ、及び第２位相差画素Ｒの順に配置されている。すなわち、第１位相差画素Ｌと第２位相差画素Ｒとが１行目から列方向に沿って交互に配置されている。また、図５に示す例では、１０列目において、１行目から列方向に沿って第２位相差画素Ｒ、第１位相差画素Ｌ、第２位相差画素Ｒ、及び第１位相差画素Ｌの順に配置されている。すなわち、第２位相差画素Ｒと第１位相差画素Ｌとが１行目から列方向に沿って交互に配置されている。
【0049】
光電変換素子２６は、３つの領域に区分される。すなわち、光電変換素子２６は、可視光画像用区分領域２６Ｎ１、第１測距系区分領域２６Ｎ２、及び第２測距系区分領域２６Ｎ３を有する。可視光画像用区分領域２６Ｎ１は、複数の可視光画素による可視光画素群であり、可視光画像の生成に用いられる。第１測距系区分領域２６Ｎ２は、複数のＩＲ画素によるＩＲ画素群であり、第１測距に用いられる。第２測距系区分領域２６Ｎ３は、複数の位相差画素による位相差画素群であり、第２測距に用いられる。可視光画像用区分領域２６Ｎ１及び第２測距系区分領域２６Ｎ３は、可視反射光を受光し、受光量に応じた電気信号を出力する。第１測距系区分領域２６Ｎ２は、ＩＲ反射光を受光し、受光量に応じた電気信号を出力する。
【0050】
一例として図６に示すように、第１位相差画素Ｌは、マイクロレンズ１９、遮光部材１７Ａ、及びフォトダイオードＰＤを備えている。第１位相差画素Ｌでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間に遮光部材１７Ａが配置されている。フォトダイオードＰＤの受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））は、遮光部材１７Ａによって遮光されている。
【0051】
第２位相差画素Ｒは、マイクロレンズ１９、遮光部材１７Ｂ、及びフォトダイオードＰＤを備えている。第２位相差画素Ｒでは、マイクロレンズ１９とフォトダイオードＰＤの受光面との間に遮光部材１７Ｂが配置されている。フォトダイオードＰＤの受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））は、遮光部材１７Ｂによって遮光されている。なお、以下では、説明の便宜上、遮光部材１７Ａ及び１７Ｂを区別して説明する必要がない場合、符号を付さずに「遮光部材」と称する。
【0052】
撮像レンズ４１の射出瞳を通過する光束は、左領域通過光３００Ｌ及び右領域通過光３００Ｒに大別される。左領域通過光３００Ｌとは、撮像レンズ４１の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の左半分の光束を指し、右領域通過光３００Ｒとは、撮像レンズ４１の射出瞳を通過する光束のうち、位相差画素側から被写体側を臨む場合の右半分の光束を指す。撮像レンズ４１の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９、遮光部材１７Ａ、及び遮光部材１７Ｂにより左右に分割され、第１位相差画素Ｌが被写体光として左領域通過光３００Ｌを受光し、第２位相差画素Ｒが被写体光として右領域通過光３００Ｒを受光する。この結果、左領域通過光３００Ｌに対応する被写体像に相当する第１位相差画像と、右領域通過光３００Ｒに対応する被写体像に相当する第２位相差画像とが光電変換素子２６によって生成される。
【0053】
スマートデバイス１０では、例えば、同一の位相差画素ライン２６Ａにおいて、１ライン分の第１位相差画像と１ライン分の第２位相差画像とのずれ量αに基づいて撮像領域までの距離が測定される。
【0054】
一例として図７に示すように、非位相差画素Ｎは、位相差画素に比べ、遮光部材を有しない点が異なる。非位相差画素ＮのフォトダイオードＰＤは、被写体光として左領域通過光３００Ｌ及び右領域通過光３００Ｒを受光する。
【0055】
なお、スマートデバイス１０では、第２測距系区分領域２６Ｎ３（図５参照）に含まれる複数のＩＲ画素の各々によってＩＲ反射光が受光されることで、ＩＲ画素毎に測距が行われる。そして、スマートデバイス１０では、タッチパネル４８によって受け付けられた指示に従って、ＩＲ画素毎の測距結果が距離画像としてディスプレイ４６に表示される。ここで、距離画像とは、ＩＲ画素毎に測定された測距対象までの距離を色別及び／又は濃淡で表現した画像を指す。
【0056】
また、スマートデバイス１０では、タッチパネル４８によって受け付けられた指示に従って、測距結果が距離画像又は距離重畳画像でディスプレイ４６に表示される。ディスプレイ４６に表示される距離重畳画像は、例えば、可視光画像（例えば、ライブビュー画像）に対して、測距結果を示す数値を重畳させた画像である。例えば、スマートデバイス１０から撮像領域内のうちの代表的な複数の箇所（例えば、３箇所）の各々までの距離が可視光画像に表示された状態でディスプレイ４６に表示される。代表的な複数の箇所の一例としては、撮像領域内の特定の被写体（例えば、画面中央領域に含まれる被写体、及び／又は、人間等）のうち、互いのコントラストの差が既定値以上の複数の箇所が挙げられる。
【0057】
一例として図８に示すように、スマートデバイス１０は、光照射器１６及び受光器１８の他に、コントローラ１５、入出力インタフェース４０、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４を備えている。
【0058】
コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃを備えている。ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃは、バス５０を介して接続されており、バス５０は、入出力インタフェース４０に接続されている。なお、図８に示す例では、図示の都合上、バス５０として１本のバスが図示されているが、複数本のバスであってもよい。バス５０は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
【0059】
ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ１５Ｂとしては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリ１５Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ１５Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。
【0060】
ストレージ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ１５Ｃ上で実行する。ＣＰＵ１５Ａは、メモリ１５Ｃ上で実行するプログラムに従ってスマートデバイス１０の全体を制御する。なお、ストレージ１５Ｂ及びメモリ１５Ｃは、本開示の技術に係る「メモリ」の一例である。
【0061】
入出力インタフェース４０には、複数のデバイスが接続されており、入出力インタフェース４０は、複数のデバイス間での各種情報の授受を司る。図８に示す例では、入出力インタフェース４０に接続されている複数のデバイスとして、コントローラ１５、光照射器１６、受光器１８、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４が示されている。
【0062】
外部Ｉ／Ｆ５２は、スマートデバイス１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５２の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接または間接的に接続可能である。
【0063】
通信Ｉ／Ｆ５４は、ＬＴＥ、５Ｇ、無線ＬＡＮ、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を有しており、外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。例えば、通信Ｉ／Ｆ５４は、基地局（図示省略）を介してネットワーク５６（例えば、インターネット）に通信可能に接続されており、ネットワーク５６上の外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。
【0064】
ＵＩ系デバイス４４は、ディスプレイ４６を備えており、ＣＰＵ１５Ａは、ディスプレイ４６に対して各種情報を表示させる。また、ＵＩ系デバイス４４は、受付デバイス４７を備えている。受付デバイス４７は、タッチパネル４８及びハードキー部５３を備えている。ハードキー部５３は、指示キー１３（図２参照）を含む少なくとも１つのハードキーである。ＣＰＵ１５Ａは、タッチパネル４８によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部５３がＵＩ系デバイス４４に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部５３は、外部Ｉ／Ｆ５２に接続されていてもよい。
【0065】
光照射器１６は、透光窓２０、ビームエクスパンダ２１、コリメートレンズ２３、ＬＤ２４、及びＬＤドライバ２５を備えており、光軸Ｌ１に沿って、撮像領域側（物体側）からＬＤ２４にかけて、透光窓２０、ビームエクスパンダ２１、及びコリメートレンズ２３が順に配置されている。ＬＤドライバ２５は、ＬＤ２４及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従ってＬＤ２４を駆動させてＬＤ２４からレーザ光を出射させる。
【0066】
ＬＤ２４から出射されたレーザ光は、コリメートレンズ２３によって平行光に変換されてからビームエクスパンダ２１によってビーム径が拡げられ、透光窓２０から測距対象に向けて照射される。
【0067】
受光器１８は、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、絞り３０Ｃ、光電変換素子２６、光電変換素子ドライバ３２、及び信号処理回路３４を備えている。
なお、ＣＰＵ１５Ａ及び信号処理回路３４は、本開示の技術に係る「プロセッサ」の一例である。
なお、ＣＰＵ１５Ａ及び信号処理回路３４は、本開示の技術に係る「プロセッサ」の一例である。
【0068】
受光器１８では、光軸Ｌ２に沿って、撮像領域側（物体側）から光電変換素子２６にかけて、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃが順に配置されている。光電変換素子ドライバ３２は、光電変換素子２６及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従って光電変換素子２６を駆動させる。例えば、光電変換素子ドライバ３２は、ＣＰＵ１５Ａの制御下で、光電変換素子２６によって行われる撮像のタイミングを規定する撮像タイミング信号を光電変換素子２６に供給する。光電変換素子２６は、光電変換素子ドライバ３２から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
【0069】
受光器１８は、合焦制御機構３１を備えている。合焦制御機構３１は、フォーカスレンズ３０Ｂ、移動機構６０、モータ６２、及びモータドライバ６４を備えている。フォーカスレンズ３０Ｂは、移動機構６０によって光軸Ｌ２に沿ってスライド可能に支持されている。モータ６２は、移動機構６０及びモータドライバ６４に接続されている。モータドライバ６４は、入出力インタフェース４０に接続されており、ＣＰＵ１５Ａからの指示に従ってモータ６２を駆動させる。移動機構６０は、モータ６２の駆動軸（図示省略）に接続されており、モータ６２から動力を受けることで、フォーカスレンズ３０Ｂを光軸Ｌ２に沿って物体側と像側とに選択的に移動させる。すなわち、ＣＰＵ１５Ａは、モータドライバ６４を介してモータ６２の駆動を制御することで合焦位置を調整する。ここで、「合焦位置」とは、ピントが合っている状態（例えば、可視光画像のコントラストを最大値にした状態、又は、既定の被写体深度を実現した状態）でのフォーカスレンズ３０Ｂの光軸Ｌ２上での位置を指す。なお、本第１実施形態では、フォーカスレンズ３０Ｂを合焦位置に合わせる制御を「フォーカス制御」と称している。
【0070】
絞り３０Ｃは、開口が変化しない固定絞りである。固定絞りの場合、露出調節は光電変換素子２６の電子シャッタで行われる。絞り３０Ｃは、固定絞りでなく、可変絞りであってもよい。なお、受光器１８に含まれる対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃはあくまでも一例であり、レンズの構成及び／又は絞り３０Ｃの位置が変わっても本開示の技術は成立する。
【0071】
受光器１８には、透光窓２２から反射光が入射される。透光窓２２に入射された反射光は、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃを介して光電変換素子２６に結像される。
【0072】
光電変換素子２６は、信号処理回路３４に接続されており、可視光画素及びＩＲ画素の各画素について、画素値を示す画素データを信号処理回路３４に出力する。信号処理回路３４は、光電変換素子２６から入力された画素データに対してＡ／Ｄ変換を行うことで画素データをデジタル化し、デジタル化した画素データに対して各種の信号処理を施す。
【0073】
信号処理回路３４は、可視光画素データ処理回路３４Ａ、第１測距系処理回路３４Ｂ、及び第２測距系処理回路３４Ｃを備えている。可視光画素データ処理回路３４Ａは、可視光画素についての画素データである可視光画素データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理を施すことで可視光画像を生成する。そして、可視光画素データ処理回路３４Ａは、可視光画像を画像メモリ４２に格納する。なお、画像メモリ４２には、１フレーム分の可視光画像が上書き保存されることで、画像メモリ４２内の可視光画像が更新される。
【0074】
測距撮像装置１４は、ＴＯＦカメラ２７を備えている。ＴＯＦカメラ２７は、光照射器１６、光電変換素子２６の第１測距系区分領域２６Ｎ２（図５参照）、及び第１測距系処理回路３４Ｂを備えている。第１測距系処理回路３４Ｂは、光照射器１６がレーザ光を撮像領域に向けて照射した照射タイミング（以下、単に「照射タイミング」とも称する）を示す照射タイミング信号をＣＰＵ１５Ａから取得する。
【0075】
第１測距系処理回路３４Ｂは、照射タイミング信号により示される照射タイミングと、各ＩＲ画素によってＩＲ反射光が受光されたタイミング（以下、「受光タイミング」とも称する）とに基づいて、各ＩＲ画素について、スマートデバイス１０から撮像領域までの距離を測定する。ここでは、受光タイミングとして、閾値を上回る出力値を有するＩＲ画素データが第１測距系処理回路３４Ｂによって受信されたタイミングが採用されている。なお、ここで用いられる閾値は、例えば、実機による試験及び／又はコンピュータ・シミュレーション等によって、ＩＲ画素から出力されるノイズ成分（例えば、ＩＲ反射光とは無関係に生じるノイズ成分）の出力値として事前に導き出された値である。
【0076】
第１測距系処理回路３４Ｂは、ＩＲ画素毎に、照射タイミングと受光タイミングとに基づいてスマートデバイス１０から撮像領域までの距離を測定し、ＩＲ画素毎の測定結果に基づいて距離画像を生成し、生成した距離画像を画像メモリ４２に格納する。なお、画像メモリ４２には、１フレーム分の距離画像が上書き保存されることで、画像メモリ４２内の距離画像が更新される。
【0077】
第２測距系処理回路３４Ｃは、光電変換素子２６のうちのユーザ等が指定した領域（いわゆるＲＯＩ）に含まれる第２測距系区分領域２６Ｎ３（図５参照）の複数の位相差画素の各々から、位相差画素の画素値を示す位相差画素データを取得する。第２測距系処理回路３４Ｃは、位相差画素データから第１位相差画像及び第２位相差画像（図５参照）を生成し、生成した第１位相差画像と第２位相差画像とのずれ量α（図５参照）を算出する。そして、第２測距系処理回路３４Ｃは、算出したずれ量αに基づいて、スマートデバイス１０から撮像領域までの距離を算出する。具体的に説明すると、第２測距系処理回路３４Ｃは、ずれ量αを独立変数とし、距離を従属変数とした演算式を用いることで、スマートデバイス１０から撮像領域までの距離を算出する。
【0078】
なお、ここでは、演算式を例示したが、本開示の技術はこれに限らず、第２測距系処理回路３４Ｃは、ずれ量αと距離とが対応付けられたテーブルを用いることで、スマートデバイス１０から撮像領域までの距離を導出するようにしてもよい。
【0079】
ＣＰＵ１５Ａは、第１測距系処理回路３４Ｂによって測定された距離（以下、「第１距離」と称する）を第１測距系処理回路３４Ｂから取得し、第２測距系処理回路３４Ｃによって測定された距離（以下、「第２距離」と称する）を第２測距系処理回路３４Ｃから取得する。
【0080】
一例として図９に示すように、ストレージ１５Ｂには、測距撮像処理プログラム７０が記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから測距撮像処理プログラム７０を読み出し、読み出した測距撮像処理プログラム７０を実行することで第１測距制御部１５Ａ１、第２測距制御部１５Ａ２、取得部１５Ａ３、判定部１５Ａ４、及び実行部１５Ａ５として動作する。
【0081】
ここで、図１０を参照して、ユーザが映っている鏡１００の全体を含む撮像領域（以下、「鏡包含撮像領域」とも称する）に対してスマートデバイス１０によって第１測距が行われる場合について説明する。鏡包含撮像領域を照射角度θ２に収めた状態でタッチパネル４８によって測距撮像開始指示が受け付けられると、第１測距制御部１５Ａ１は、第１測距開始信号を光照射器３８Ｂ及び受光器１８に出力する。光照射器３８Ｂは、第１測距制御部１５Ａ１から第１測距開始信号が入力されると、レーザ光を照射する。受光器１８では、第１測距制御部１５Ａ１から第１測距開始信号が入力されると、第１測距系処理回路３４Ｂが、ＣＰＵ１５Ａから取得した照射タイミング信号により示される照射タイミングと受光タイミングとに基づいて第１距離を算出する。取得部１５Ａ３は、第１測距系処理回路３４Ｂから第１距離を取得する。第１距離は、本開示の技術に係る「第１測距結果」の一例である。なお、ここでは、照射タイミングとして、第１測距制御部１５Ａ１から受光器１８に第１測距開始信号が入力されたタイミングから既定時間経過した時点でのタイミングを採用している。ここで、既定時間としては、例えば、第１測距開始信号を出力した時点から光照射器３８Ｂからレーザ光が照射されるまでに要する時間として実機による試験及び／又はコンピュータ・シミュレーション等によって予め導き出された時間が挙げられる。
【0082】
次に、図１１を参照して、鏡包含撮像領域に対してスマートデバイス１０によって第２測距が行われる場合について説明する。鏡包含撮像領域を画角θ１に収めた状態でタッチパネル４８によって測距撮像開始指示が受け付けられると、第２測距制御部１５Ａ２は、第２測距開始信号を受光器１８に出力する。第２測距系区分領域２６Ｎ３は、第２測距制御部１５Ａ２から受光器１８に第２測距開始信号が入力されると、鏡包含撮像領域を撮像し、鏡包含撮像領域に応じた位相差画素データを第２測距系処理回路３４Ｃに出力する。第２測距系処理回路３４Ｃは、第２測距系区分領域２６Ｎ３から入力された位相差画素データに基づいて第１位相差画像及び第２位相差画像（図６参照）を生成し、生成した第１位相差画像及び第２位相差画像に基づいてずれ量α（図６参照）を算出する。第２測距系処理回路３４Ｃは、算出したずれ量αから第２距離を算出する。取得部１５Ａ３は、第２測距系処理回路３４Ｃから第２距離を取得する。なお、第２距離は、本開示の技術に係る「第２測距結果」の一例である。
【0083】
一例として図１２に示すように、鏡包含撮像領域に対してスマートデバイス１０によって第１測距が行われることで得られた測距結果、すなわち、第１距離は、スマートデバイス１０から鏡１００の鏡面１００Ａまでの距離である。また、鏡包含撮像領域に対してスマートデバイス１０によって第２測距が行われることで得られた測距結果、すなわち、第２距離は、スマートデバイス１０から、鏡１００に映った被写体像までの距離である。図１２に示す例では、鏡１００に映った被写体像として、スマートデバイス１０の像（図１２に示す例では、「スマートデバイス像」）と、ユーザの像（図１２に示す例では、「ユーザ像」）とが示されており、第２距離は、スマートデバイス１０からユーザ像までの距離である。
【0084】
このように、第１距離と第２距離とが異なる場合、様々な問題が生じる。例えば、ユーザが、鏡１００の全体を被写体としてスマートデバイス１０を用いて撮像することを望んでいる場合に、スマートデバイス１０が第２距離に基づくフォーカス制御を行って鏡１００の全体を撮像すると、鏡１００にピントが合っていない状態での画像が得られてしまう。一方、ユーザが、鏡１００に映ったユーザ像を被写体としてスマートデバイス１０を用いて撮像することを望んでいる場合に、スマートデバイス１０が第１距離に基づくフォーカス制御を行ってユーザ像を撮像すると、ユーザ像にピントが合っていない状態での画像が得られてしまう。
【0085】
このような問題を解決するために、判定部１５Ａ４及び実行部１５Ａ５は、一例として図１３に示すように動作する。判定部１５Ａ４は、取得部１５Ａ３によって取得された第１距離（図１０参照）と第２距離（図１１参照）とが異なっているか否かを判定する。第１距離と第２距離とが一致している場合、すなわち、判定部１５Ａ４によって第１距離と第２距離とが異なっていないと判定された場合、実行部１５Ａ５によって第１撮像処理が行われる。第１撮像処理とは、第１距離に基づくフォーカス制御を伴う撮像を指す。
【0086】
ストレージ１５Ｂには、合焦位置導出テーブル７２が記憶されている。合焦位置導出テーブル７２は、スマートデバイス１０から撮像領域までの距離と合焦位置とが対応付けられている。第１撮像処理では、実行部１５Ａ５によって、第１距離に対応する合焦位置が合焦位置導出テーブル７２から導出され、導出された合焦位置にフォーカスレンズ３０Ｂを移動させるように受光器１８のモータ６２が制御される。そして、実行部１５Ａ５によって受光器１８の可視光画像用区分領域２６Ｎ１が制御されることで、可視光画像用区分領域２６Ｎ１によって撮像領域が撮像され、撮像されることで得られた可視光画素データが可視光画像用区分領域２６Ｎ１から可視光画素データ処理回路３４Ａに出力される。可視光画素データ処理回路３４Ａは、可視光画像用区分領域２６Ｎ１から入力された可視光画素データに基づいて、撮像領域を示す第１可視光画像を生成し、生成した第１可視光画像を画像メモリ４２に出力する。画像メモリ４２には、第１可視光画像が記憶される。
【0087】
一方、判定部１５Ａ４によって第１距離と第２距離とが異なっていると判定された場合、実行部１５Ａ５によって特定の処理が行われる。ここで、特定の処理について、図１４を参照しながら説明する。一例として図１４に示すように、特定の処理は、例えば、第１撮像処理、第２撮像処理、及び画像選択画面表示処理を含む処理である。第２撮像処理とは、第２距離に基づくフォーカス制御を伴う撮像を指す。第２撮像処理も、第１撮像処理と同様に、実行部１５Ａ５によって合焦位置導出テーブル７２から第２距離に対応する合焦位置が導出され、導出された合焦位置にフォーカスレンズ３０Ｂを移動させるように受光器１８のモータ６２が制御される。そして、第１撮像処理と同様に、可視光画像用区分領域２６Ｎ１によって撮像領域が撮像され、撮像されることで得られた可視光画素データが可視光画像用区分領域２６Ｎ１から可視光画素データ処理回路３４Ａに出力される。可視光画素データ処理回路３４Ａは、可視光画像用区分領域２６Ｎ１から入力された可視光画素データに基づいて、撮像領域を示す第２可視光画像を生成し、生成した第２可視光画像を画像メモリ４２に出力する。画像メモリ４２には、第２可視光画像が記憶される。
【0088】
画像選択画面表示処理では、実行部１５Ａ５が画像メモリ４２から第１可視光画像及び第２可視光画像を取得する。そして、実行部１５Ａ５は、第１可視光画像と、第２可視光画像と、取得部１５Ａ３によって取得された第１距離（図１０参照）と、取得部１５Ａ３によって取得された第２距離（図１１参照）と、各種メッセージとに基づいて画像選択画面を生成し、生成した画像選択画面をディスプレイ４６に対して表示させる。画像選択画面には、第１可視光画像と第２可視光画像とが並べて表示されている。また、第１可視光画像の下には「アクティブ方式」というメッセージが表示されている。「アクティブ方式」というメッセージは、第１可視光画像がアクティブ方式の測距（第１測距）による測距結果に基づくフォーカス制御を伴う撮像によって得られた画像であることを示すメッセージである。また、第２可視光画像の下には「パッシブ方式」というメッセージが表示されている。「パッシブ方式」というメッセージは、第２可視光画像がパッシブ方式の測距（第２測距）による測距結果に基づくフォーカス制御を伴う撮像によって得られた画像であることを示すメッセージである。
【0089】
なお、本第１実施形態では、特定の処理に含まれる処理として、第１撮像処理、第２撮像処理、及び画像選択画面表示処理を例示しているが、本開示の技術はこれに限定されず、第１撮像処理、第２撮像処理、及び画像選択画面表示処理のうちの１つの処理又は２つの処理であってもよい。また、本第１実施形態では、「アクティブ方式」と「パッシブ方式」という表示例を示しているが、必ずしも「アクティブ方式」と「パッシブ方式」という表示でなくてもよく、ユーザが測距方式の違いを理解できればどのような表示であっても良い。例えば、レーザ測距と位相差測距を行う場合、「レーザ」という表示と「位相差」という表示でもよいし、測距方式を表すアイコン等を表示してもよい。また、測距方式の表示に代えて、ピント位置を表示してもよい。例えば、「ピント位置：手前」と「ピント位置：奥」でもよいし、「ピント位置：物体」と「ピント位置：物体に映った像」等と表示してもよい。あるいは、測距方式を示す文字及びアイコン並びにピント位置の２つ以上を組み合わせて表示してもよい。
【0090】
また、第１可視光画像には、第１測距による測距結果である「１．８ｍ」という数値が対応付けられて表示されており、第２可視光画像には、第２測距による測距結果である「２．５ｍ」という数値が対応付けられて表示されている。更に、第１測距による測距結果と第２測距による測距結果とが異なっていることを示す「測距結果が異なっています」というメッセージも表示されている。そして、ユーザに対して、第１可視光画像及び第２可視光画像の何れか１つの選択をユーザに促すメッセージとして、「何れか１つの画像を選択して下さい」というメッセージが表示されている。ここでは、各種メッセージが可視表示される形態例を挙げて説明しているが、これに限らず、可視表示と並行して各種メッセージが音声で出力されるようにしてもよい。画像選択画面がディスプレイ４６に表示されると、ユーザは、タッチパネル４８を介して第１可視光画像又は第２可視光画像を選択する。図１４に示す例では、ユーザの指によってタッチパネル４８を介して第１可視光画像が選択されている態様が示されている。なお、第１可視光画像は、本開示の技術に係る「第１合焦画像」の一例であり、第２可視光画像は、本開示の技術に係る「第２合焦画像」の一例である。
【0091】
一例として図１５に示すように、ディスプレイ４６に画像選択画面が表示されている状態でユーザの指によってタッチパネル４８を介して第１可視光画像が選択された場合、第１測距制御部１５Ａ１は、測距撮像装置１４を制御することで、第１測距系処理回路３４Ｂに対して第１測距を行わせる。また、実行部１５Ａ５は、第１撮像処理及び第１可視光画像表示処理を実行する。ここで、実行部１５Ａ５は、第１測距が行われることによって得られた新たな第１距離を用いて第１撮像処理を実行する。第１可視光画像表示処理は、第１撮像処理が実行されることで得られた最新の第１可視光画像をディスプレイ４８に対して表示させる処理である。なお、ここでは、第１可視光画像が選択されたことを条件に、改めて第１測距及び第１撮像処理が行われ、第１撮像処理が行われることによって得られた最新の第１可視光画像がディスプレイ４８に表示される形態例を挙げているが、これはあくまでも一例に過ぎない。例えば、第１可視光画像が選択されたことを条件に、選択された第１可視光画像をストレージ１５Ｂ及び／又はメモリカード等の記憶媒体に記憶させてもよい。また、選択された測距方式で測定された距離に基づくフォーカス制御を伴う撮像と、選択された画像（例えば、第１可視光画像又は第２可視光画像）の保存とが、受付デバイス４７によって受け付けられた指示（ユーザから与えられた指示）に従って選択されるようにしてもよい。
【0092】
第１可視光画像表示処理が実行部１５Ａ５によって実行されると、画像選択画面内のうち、第２可視光画像、「２．５ｍ」という数値、「パッシブ方式」というメッセージ、「測距結果が異なっています」というメッセージ、及び「何れか１つの画像を選択して下さい」というメッセージは画面内から非表示される。そして、最新の第１測距が行われることによって得られた最新の測距結果である第１距離（図１５に示す例では、「１．８ｍ」という数値）がディスプレイ４６に表示され、第１撮像処理が実行されることで得られた第１可視光画像がディスプレイ４６に表示され、かつ、「アクティブ方式」というメッセージも第１可視光画像の下に表示される。また、第１距離、第１可視光画像、及び「アクティブ方式」というメッセージの表示領域は、画像選択画面内の第１距離、第１可視光画像、及び「アクティブ方式」というメッセージの表示領域よりも拡大されている。
【0093】
一例として図１６に示すように、ディスプレイ４６に画像選択画面が表示されている状態でユーザの指によってタッチパネル４８を介して第２可視光画像が選択された場合、第２測距制御部１５Ａ２は、測距撮像装置１４を制御することで、第２測距系処理回路３４Ｃに対して第２測距を行わせる。また、実行部１５Ａ５は、第２撮像処理及び第２可視光画像表示処理を実行する。ここで、実行部１５Ａ５は、第２測距が行われることによって得られた新たな第２距離を用いて第２撮像処理を実行する。第２可視光画像表示処理は、第２撮像処理が実行されることで得られた最新の第２可視光画像をディスプレイ４８に対して表示させる処理である。
【0094】
第２可視光画像表示処理が実行部１５Ａ５によって実行されると、画像選択画面内のうち、第１可視光画像、「１．８ｍ」という数値、「アクティブ方式」というメッセージ、「測距結果が異なっています」というメッセージ、及び「何れか１つの画像を選択して下さい」というメッセージは画面内から非表示される。そして、最新の第２測距が行われることによって得られた最新の測距結果である第２距離（図１６に示す例では、「２．５ｍ」という数値）がディスプレイ４６に表示され、第２撮像処理が実行されることで得られた第２可視光画像がディスプレイ４６に表示され、かつ、「パッシブ方式」というメッセージも第２可視光画像の下に表示される。また、第２距離、第２可視光画像、及び「パッシブ方式」というメッセージの表示領域は、画像選択画面内の第２距離、第２可視光画像、及び「パッシブ方式」というメッセージの表示領域よりも拡大されている。
【0095】
次に、スマートデバイス１０の本開示の技術に係る部分の作用について図１７Ａ及び図１７Ｂを参照しながら説明する。なお、図１７Ａ及び図１７Ｂは、ＣＰＵ１５Ａによって測距撮像処理プログラム７０に従って実行される測距撮像処理の流れの一例を示すフローチャートである。
【0096】
図１７Ａに示す測距撮像処理では、先ず、ステップＳＴ１００で、第１測距制御部１５Ａ１は、測距撮像装置１４を制御することで、第１測距系処理回路３４Ｂに対して第１測距を行わせる。第１測距は、第１測距制御部１５Ａ１が第１測距系処理回路３４Ｂに対して第１距離を算出させることによって実現される。
【0097】
次のステップＳＴ１０２で、取得部１５Ａ３は、ステップＳＴ１００の第１測距が行われることによって得られた第１距離を取得する。
【0098】
次のステップＳＴ１０４で、第２測距制御部１５Ａ２は、測距撮像装置１４を制御することで、第２測距系処理回路３４Ｃに対して第２測距を行わせる。第２測距は、第２測距制御部１５Ａ２が第２測距系処理回路３４Ｃに対して第２距離を算出させることによって実現される。
【0099】
次のステップＳＴ１０６で、取得部１５Ａ３は、ステップＳＴ１０４の第２測距が行われることによって得られた第２距離を取得する。
【0100】
次のステップＳＴ１０８で、判定部１５Ａ４は、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが異なっているか否かを判定する。ステップＳＴ１０８において、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが一致している場合は、判定が否定されて、測距撮像処理はステップ１２０へ移行する。ステップＳＴ１０８において、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが異なっている場合は、判定が肯定されて、測距撮像処理はステップＳＴ１１０へ移行する。
【0101】
ステップＳＴ１１０で、実行部１５Ａ５は、ステップＳＴ１０２で取得された第１距離を用いた第１撮像処理を実行する。
【0102】
次のステップＳＴ１１２で、実行部１５Ａ５は、ステップＳＴ１０６で取得された第２距離を用いた第２撮像処理を実行する。
【0103】
次のステップＳＴ１１４で、実行部１５Ａ５は、画像選択画面表示処理を実行する。これにより、一例として図１４に示すように、ディスプレイ４６には、画像選択画面が表示される。
【0104】
次のステップＳＴ１１６で、実行部１５Ａ５は、画像選択画面内に表示されている第１可視光画像及び第２可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択された否かを判定する。ステップＳＴ１１６において、画像選択画面内に表示されている第１可視光画像及び第２可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択されていない場合は、判定が否定されて、ステップＳＴ１１６の判定が再び行われる。ステップＳＴ１１６において、画像選択画面内に表示されている第１可視光画像及び第２可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択された場合は、判定が肯定されて、測距撮像処理はステップＳＴ１１８へ移行する。
【0105】
ステップＳＴ１１８で、実行部１５Ａ５は、画像選択画面内から選択された画像が第１可視光画像か否かを判定する。ステップＳＴ１１８において、画像選択画面内から選択された画像が第２可視光画像の場合は、判定が否定されて、測距撮像処理は図１７Ｂに示すステップ１３０へ移行する。ステップＳＴ１１８において、画像選択画面内から選択された画像が第１可視光画像の場合は、判定が肯定されて、測距撮像処理はステップＳＴ１２０へ移行する。
【0106】
ステップＳＴ１２０で、実行部１５Ａ５は、撮像開始タイミングが到来したか否かを判定する。撮像開始タイミングとは、例えば、ライブビュー画像用のフレームレートによって規定される１フレーム分の撮像を開始するタイミングを指す。例えば、ライブビュー画像用のフレームレートが６０ｆｐｓであれば、撮像開始タイミングは、６０分の１秒毎のタイミングである。なお、ここでは、ライブビュー画像用のフレームレートによって規定される１フレーム分の撮像を開始するタイミングを撮像開始タイミングとして例示しているが、本開示の技術はこれに限定されない。例えば、撮像開始タイミングは、記録動画像用のフレームレートによって規定される１フレーム分の撮像を開始するタイミングであってもよいし、静止画像用の撮像を開始する指示が受付デバイス４７によって受け付けられたタイミングであってもよい。
【0107】
ステップＳＴ１２０において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ１２６へ移行する。ステップＳＴ１２０において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ１２２へ移行する。
【0108】
ステップＳＴ１２２で、第１測距制御部１５Ａ１は、測距撮像装置１４を制御することで、第１測距系処理回路３４Ｂに対して第１測距を行わせる。
【0109】
次のステップＳＴ１２４で、実行部１５Ａ５は、ステップＳＴ１２２の第１測距が行われることによって得られた第１距離を用いて第１撮像処理を実行する。また、実行部１５Ａ５は、第１撮像処理を実行することで得た最新の第１可視光画像を用いて第１可視光画像表示処理を実行する。
【0110】
次のステップＳＴ１２６で、実行部１５Ａ５は、測距撮像処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件の一例としては、測距撮像処理を終了する指示が受付デバイス４７によって受け付けられた、との条件が挙げられる。ステップＳＴ１２６において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理はステップＳＴ１２０へ移行する。ステップＳＴ１２６において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0111】
一方、図１７Ｂに示すステップＳＴ１３０で、実行部１５Ａ５は、撮像開始タイミングが到来したか否かを判定する。ステップＳＴ１３０において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ１３６へ移行する。ステップＳＴ１３０において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ１３２へ移行する。
【0112】
ステップＳＴ１３２で、第２測距制御部１５Ａ２は、測距撮像装置１４を制御することで、第２測距系処理回路３４Ｃに対して第２測距を行わせる。
【0113】
次のステップＳＴ１３４で、実行部１５Ａ５は、ステップＳＴ１３２の第２測距が行われることによって得られた第２距離を用いて第２撮像処理を実行する。また、実行部１５Ａ５は、第２撮像処理を実行することで得た最新の第２可視光画像を用いて第２可視光画像表示処理を実行する。
【0114】
次のステップＳＴ１３６で、実行部１５Ａ５は、終了条件を満足したか否かを判定する。ステップＳＴ１３６において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理はステップＳＴ１３０へ移行する。ステップＳＴ１３６において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0115】
以上説明したように、スマートデバイス１０では、第１測距が行われることで得られた第１距離と第２測距が行われることで得られた第２距離とが異なる場合に、実行部１５Ａ５によって特定の処理が実行される。従って、本構成によれば、第１距離と第２距離とが異なる場合に生じる諸問題の解決に寄与することができる。
【0116】
また、スマートデバイス１０では、指向性を有する光である指向性光としてレーザ光を用いて測距が行われる。従って、本構成によれば、指向性光を用いないで測距が行われる場合に比べ、遠距離に存在する測距対象までの距離を高精度に測定することができる。
【0117】
また、スマートデバイス１０では、特定の処理として画像選択画面表示処理が実行部１５Ａ５によって実行される。画像選択画面表示処理が実行部１５Ａ５によって実行されることでディスプレイ４６に表示される画像選択画面には、第１距離と第２距離とが異なる旨をユーザに通知する情報（例えば、第１距離を示す数値、第２距離を示す数値、及びメッセージ）が含まれている。従って、本構成によれば、第１距離と第２距離とが異なっていることをユーザに認識させることができる。
【0118】
また、スマートデバイス１０では、第１撮像処理と第２撮像処理とが実行部１５Ａ５によって実行される。すなわち、実行部１５Ａ５が、第１距離に基づくフォーカス制御を伴う撮像を測距撮像装置１４の受光器１８に対して行わせ、かつ、第２距離に基づくフォーカス制御を伴う撮像を測距撮像装置１４の受光器１８に対して行わせている。従って、本構成によれば、第１距離又は第２距離に基づくフォーカス制御下で撮像が行われる場合に比べ、ユーザが意図する合焦状態の画像を得やすくすることができる。
【0119】
また、スマートデバイス１０では、第１距離に基づくフォーカス制御下で撮像が行われることによって得られた第１可視光画像と、第２距離に基づくフォーカス制御下で撮像が行われることによって得られた第２可視光画像とを含む画像選択画面がディスプレイ４６に表示される。そして、画像選択画面には、第１可視光画像又は第２可視光画像の選択をユーザに促すメッセージが表示されている。従って、本構成によれば、第１可視光画像及び第２可視光画像を選択する余地がない場合に比べ、ユーザビリティの向上に寄与することができる。
【0120】
なお、上記第１実施形態では、実行部１５Ａ５が画像選択画面を通して第１可視光画像又は第２可視光画像の選択をユーザに促すようにしているが、本開示の技術はこれに限定されず、第１可視光画像及び第２可視光画像の双方が選択されるようにしてもよい。この場合、例えば、第１撮像処理と第２撮像処理とが交互に行われ、各撮像処理が行われることによって得られた第１可視光画像及び第２可視光画像の各々がライブビュー画像又は静止画像等としてディスプレイ４６に表示されるようにしてもよい。
【0121】
また、画像選択画面には、第１可視光画像と第２可視光画像とを含む複数の画像が選択可能に表示されるようにしてもよい。また、第１測距によって複数の第１距離が得られた場合に複数の第１距離の各々に基づくフォーカス制御下で撮像が行われることによって得られた複数の第１可視光画像が画像選択画面に選択可能な状態でディスプレイ４６に表示されるようにしてもよいし、複数の第１可視光画像と第２可視光画像とが選択可能な状態で表示されるようにしてもよい。例えば、撮像領域に第１鏡面及び第２鏡面（２枚の鏡面）が含まれている場合（第１測距結果と第２測距結果とが異なる領域が２つ存在する場合）、第１鏡面にピントが合った状態で第１鏡面が撮像されることによって得られた画像、第１鏡面に映った像（第１像）にピントが合った状態で第１像が撮像されることによって得られた画像、第２鏡面にピントが合った状態で第２鏡面が撮像されることによって得られた画像、及び第２鏡面に映った像（第２像）にピントが合った状態で第２像が撮像されることによって得られた画像のうちの少なくとも２つが選択可能な状態でディスプレイ４６に表示されるようにしてもよい。なお、撮像領域に含まれる鏡面の枚数は２枚に限らず、３枚以上の場合も考えられるが、この場合も、同様に処理すればよい。また、ここでは、鏡面を例示しているが、光沢面（例えば、銀メッキ塗装が施された面、又は、研磨された金属面等）に像が映り込む場合も考えられる。この場合も、光沢面にピントが合った状態で撮像されることによって得られた画像と、光沢面に映った像にピントが合った状態で光沢面内の像が撮像されることによって得られた画像とが選択的にディスプレイ４６に表示されるようにしてもよい。撮像領域に含まれる光沢面の個数は複数の場合も考えられるが、この場合も、同様に処理すればよい。
【0122】
また、上記第１実施形態では、第１距離と第２距離とが異なる場合に画像選択画面から第１可視光画像又は第２可視光画像がユーザによってタッチパネル４８を介して選択される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１距離と第２距離とが異なる場合に、アクティブ方式の測距、すなわち、第１測距による測距結果に基づくフォーカス制御を伴う撮像、及びパッシブ方式の測距、すなわち、第２測距による測距結果に基づくフォーカス制御を伴う撮像のうちの何れかを優先するかをユーザによって事前に選択させておくようにしてもよい。
【0123】
この場合、上記第１実施形態で説明した測距撮像処理（図１７Ａ及び図１７Ｂ参照）に代えて、図１８Ａ～図１８Ｃに示す測距撮像処理がＣＰＵ１５Ａによって実行される。図１８Ａ～図１８Ｃに示す測距撮像処理は、上記第１実施形態で説明した測距撮像処理に比べ、ステップＳＴ２００～ＳＴ２２２の処理を新たに追加した点が異なる。また、図１８Ａ～図１８Ｃに示す測距撮像処理は、上記第１実施形態で説明した測距撮像処理に比べ、ステップＳＴ１１０～ステップＳＴ１１８の処理を有しない点が異なる。また、図１８Ａ～図１８Ｃに示す測距撮像処理は、上記第１実施形態で説明した測距撮像処理に比べ、ステップＳＴ１３２及びステップＳＴ１３４の処理に代えて、ステップＳＴ２２４及びステップＳＴ２２６の処理を有する点が異なる。以下、図１８Ａ～図１８Ｃに示す測距撮像処理について、上記第１実施形態で説明した測距撮像処理と異なる部分を説明する。
【0124】
図１８Ａに示す測距撮像処理では、先ず、ステップＳＴ２００で、実行部１５Ａ５は、ディスプレイ４６に対して測距方式受付画面を表示させる。測距方式受付画面には、アクティブ方式の測距、すなわち、第１測距と、パッシブ方式の測距、すなわち、第２測距との何れかを優先して使用するかをユーザに選択させるメッセージが表示されている。図１８Ａに示す例では、測距方式受付画面に「どちらの測距方式を優先して使用するか選んで下さい。」というメッセージが表示されている。
【0125】
また、測距方式受付画面には、２つのソフトキーが表示されている。一方のソフトキーは、ユーザがアクティブ方式の測距を優先して使用する選択を行う場合にタッチパネル４８を介してユーザによって押されるソフトキーであり、図１８Ａに示す例では「アクティブ方式」と表記されている。他方のソフトキーは、ユーザがパッシブ方式の測距を優先して使用する選択を行う場合にタッチパネル４８を介してユーザによって押されるソフトキーであり、図１８Ａに示す例では「パッシブ方式」と表記されている。
【0126】
次のステップＳＴ２０２で、実行部１５Ａ５は、測距方式受付画面に対するユーザからの指示が受け付けられたか否かを判定する。ここで、「測距方式受付画面に対するユーザからの指示」とは、「アクティブ方式」と表記されているソフトキー又は「パッシブ方式」と表記されているソフトキーがタッチパネル４８を介してユーザによって押されたことを意味する。ステップＳＴ２０２において、測距方式受付画面に対するユーザからの指示が受け付けられていない場合は、判定が否定されて、ステップＳＴ２０２の判定が再び行われる。ステップＳＴ２０２において、測距方式受付画面に対するユーザからの指示が受け付けられた場合は、判定が肯定されて、測距撮像処理はステップＳＴ２０４へ移行する。
【0127】
ステップＳＴ２０４で、実行部１５Ａ５は、ユーザによってタッチパネル４８を介して押されたソフトキーが「アクティブ方式」と表記されているソフトキーであるか否かを判定する。ステップＳＴ２０４において、ユーザによってタッチパネル４８を介して押されたソフトキーが「アクティブ方式」と表記されているソフトキーである場合は、判定が肯定されて、測距撮像処理はステップＳＴ１００へ移行する。ステップＳＴ２０４において、ユーザによってタッチパネル４８を介して押されたソフトキーが「パッシブ方式」と表記されているソフトキーである場合は、判定が否定されて、測距撮像処理は図１８Ｂに示すステップＳＴ２０６へ移行する。
【0128】
図１８Ｂに示すステップＳＴ２０６～ステップＳＴ２１２の処理は、図１８Ａに示すステップＳＴ１００～ステップＳＴ１０６の処理と同一である。図１８Ｂに示すステップＳＴ２１４で、判定部１５Ａ４は、ステップＳＴ２０８で取得された第１距離とステップＳＴ２１２で取得された第２距離とが異なっているか否かを判定する。ステップＳＴ２１４において、ステップＳＴ２０８で取得された第１距離とステップＳＴ２１２で取得された第２距離とが一致している場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。ステップＳＴ２１４において、ステップＳＴ２０８で取得された第１距離とステップＳＴ２１２で取得された第２距離とが異なっている場合は、判定が肯定されて、測距撮像処理はステップＳＴ２１６へ移行する。
【0129】
ステップＳＴ２１６で、実行部１５Ａ５は、撮像開始タイミングが到来したか否かを判定する。ステップＳＴ２１６において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ２２２へ移行する。ステップＳＴ２１６において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ２１８へ移行する。
【0130】
ステップＳＴ２１８で、実行部１５Ａ５は、図１７Ｂに示すステップＳＴ１３２の処理と同一の処理を実行し、次のステップＳＴ２２０で、実行部１５Ａ５は、図１７Ｂに示すステップＳＴ１３４の処理と同一の処理を実行する。次のステップＳＴ２２２で、実行部１５Ａ５は、終了条件を満足したか否かを判定する。ステップＳＴ２２２において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理はステップＳＴ２１６へ移行する。ステップＳＴ２２２において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0131】
図１８Ｃに示すステップＳＴ１３０において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ１３６へ移行する。図１８Ｃに示すステップＳＴ１３０において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ２２４へ移行する。
【0132】
ステップＳＴ２２４で、第１測距制御部１５Ａ１は、測距撮像装置１４を制御することで、第１測距系処理回路３４Ｂに対して第１測距を行わせる。
【0133】
次のステップＳＴ２２６で、実行部１５Ａ５は、ステップＳＴ２２４の第１測距が行われることによって得られた第１距離を用いて第１撮像処理を実行する。また、実行部１５Ａ５は、第１撮像処理を実行することで得た最新の第１可視光画像を用いて第１可視光画像表示処理を実行する。
【0134】
図１８Ｃに示すステップＳＴ１３６において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。図１８Ｃに示すステップＳＴ１３６において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0135】
このように、実行部１５Ａ５は、図１８Ａに示すステップＳＴ２０４において判定が肯定され、かつ、図１８Ａに示すステップＳＴ１０８において判定が肯定された場合に、図１８Ａに示すステップＳＴ１２２で第１測距が行われる。そして、図１８Ａに示すステップＳＴ１２４では、ステップＳＴ１２２の第１測距が行われることによって得られた第１距離に用いて第１撮像処理が行われる。すなわち、図１８Ａに示すステップＳＴ１２４では、ステップＳＴ１２２の第１測距が行われることによって得られた第１距離に基づくフォーカス制御を伴う撮像が行われる。
【0136】
一方、実行部１５Ａ５は、図１８Ａに示すステップＳＴ２０４において判定が否定され、かつ、図１８Ｂに示すステップＳＴ２１４において判定が肯定された場合に、図１８Ｂに示すステップＳＴ２１８で第２測距が行われる。そして、図１８Ｂに示すステップＳＴ２２０では、ステップＳＴ２１８の第２測距が行われることによって得られた第２距離に用いて第２撮像処理が行われる。すなわち、図１８Ｂに示すステップＳＴ２２０では、ステップＳＴ２１８の第２測距が行われることによって得られた第２距離に基づくフォーカス制御を伴う撮像が行われる。
【0137】
従って、図１８Ａ～図１８Ｃに示す測距撮像処理によれば、第１測距が行われることで得られた第１距離と２測距が行われることで得られた第２距離とが異なる場合に、常に、第１距離に基づくフォーカス制御下で撮像が行われ、かつ、第２距離に基づくフォーカス制御下で撮像が行われる場合に比べ、フォーカス制御及び撮像に要する消費電力を低減することができる。
【0138】
また、図１８Ａ～図１８Ｃに示す測距撮像処理では、測距方式受付画面の「アクティブ方式」と表記されたソフトキーがユーザによってタッチパネル４８を介して押された場合、図１８Ａに示すステップＳＴ１２４の第１撮像処理では第１距離に基づいてフォーカス制御が行われる。また、測距方式受付画面の「パッシブ方式」と表記されたソフトキーがユーザによってタッチパネル４８を介して押された場合、図１８Ｂに示すステップＳＴ２２０の第２撮像処理では第２距離に基づいてフォーカス制御が行われる。つまり、フォーカス制御は、第１距離及び第２距離のうち、ユーザから与えられた指示に従って定められた何れかの距離に基づいて行われる。
【0139】
【0140】
なお、ここでは、ユーザから与えられた指示に従って定められた距離に基づくフォーカス制御を例示したが、本開示の技術はこれに限定されない。例えば、ユーザから与えられる指示に代えて、スマートデバイス１０と通信可能な外部装置（例えば、パーソナル・コンピュータ及び／又はサーバ等）から与えられる指示を適用してもよい。この場合、例えば、外部装置が、時間帯及び／又は天候等に応じて、アクティブ方式の測距の指示とパッシブ方式の測距の指示とを選択的にスマートデバイス１０に与えるようにしてもよい。
【0141】
夜間及び／又は曇り等の比較的暗い環境下では、概して、パッシブ方式の測距に比べ、アクティブ方式の測距の精度が高くなることが考えられる。そこで、外部装置が、時間帯に応じてアクティブ方式の測距の指示とパッシブ方式の測距の指示とを選択的にスマートデバイス１０に与える場合、例えば、夜間は、アクティブ方式の測距の指示をスマートデバイス１０に与え、昼間は、パッシブ方式の測距の指示をスマートデバイス１０に与えるようにすればよい。また、外部装置が、天候に応じてアクティブ方式の測距の指示とパッシブ方式の測距の指示とを選択的にスマートデバイス１０に与える場合、例えば、天候が晴れのときにパッシブ方式の測距の指示をスマートデバイス１０に与え、天候が晴れ以外のときにアクティブ方式の測距の指示をスマートデバイス１０に与えるようにすればよい。また、外部装置は、夜間であり、かつ、天候が晴れ以外のときにアクティブ方式の測距の指示をスマートデバイス１０に与えるようにしたり、昼間であり、かつ、天候が晴れのときにパッシブ方式の測距の指示をスマートデバイス１０に与えるようにしたりしてもよい。
【0142】
このように、スマートデバイス１０に対してユーザが指示を与えずに外部装置が指示を与えるケースでは、例えば、図１８Ａに示す測距撮像処理において、ステップＳＴ２００の処理は不要となり、ステップＳＴ２０２において、外部装置から指示が与えられたか否かが実行部１５Ａ５によって判定されるようにすればよい。
【0143】
また、上記第１実施形態では、鏡１００の全体が被写体としてスマートデバイス１０によって撮像される状況を想定した例を挙げているが、撮像領域に鏡１００が含まれている場合に鏡１００のＩＲ反射光に基づいて第１測距が行われることで得られた測距結果をフォーカス制御に用いることがユーザの意図に沿わないことも考えられる。この場合、図１９に示す測距撮像処理がＣＰＵ１５Ａによって実行されるようにすればよい。
【0144】
図１９に示す測距撮像処理は、図１７Ａ及び図１７Ｂに示す測距撮像処理に比べ、ステップＳＴ１００とステップＳＴ１０２との間にステップＳＴ３００及びＳＴ３０２を有する点が異なる。また、図１９に示す測距撮像処理は、図１７Ａ及び図１７Ｂに示す測距撮像処理に比べ、ステップＳＴ１１０～ステップＳＴ１１８を有しない点が異なる。また、図１９に示す測距撮像処理は、図１７Ａ及び図１７Ｂに示す測距撮像処理に比べ、ステップＳＴ１０８に代えてステップＳＴ１０８Ａを有する点が異なる。更に、図１９に示す測距撮像処理は、図１７Ａ及び図１７Ｂに示す測距撮像処理に比べ、ステップＳＴ１２２及びステップＳＴ１２４に代えて、ステップＳＴ３０４及びステップＳＴ３０６を有する点が異なる。以下、図１９に示す測距撮像処理について、上記第１実施形態で説明した測距撮像処理と異なる部分を説明する。
【0145】
図１９に示すステップＳＴ３００で、取得部１５Ａ３は、第１測距系区分領域２６Ｎ２（図５参照）によって受光されたＩＲ反射光の受光量を示すデータとしてＩＲ画素データを第１測距系処理回路３４Ｂから取得する。ここでは、例えば、第１測距系区分領域２６Ｎ２のうちのＲＯＩに含まれる各ＩＲ画素についてのＩＲ画素データが取得部１５Ａ３によって取得される。
【0146】
次のステップＳＴ３０２で、判定部１５Ａ４は、ステップＳＴ３００で取得されたＩＲ画素データを参照して、第１測距系区分領域２６Ｎ２のうちのＲＯＩに含まれる各ＩＲ画素のうち、ＩＲ画素データが最大の受光量を示すＩＲ画素の受光量が閾値以上か否かを判定する。
【0147】
ＩＲ画素の受光量と比較される閾値としては、スマートデバイス１０が既定距離（例えば、数十メートル）離れたところに配置された鏡面に対してレーザ光を照射して、レーザ光が鏡面で反射して得られたＩＲ反射光をＩＲ画素で受光した場合の受光量として、実機による試験及び／又はコンピュータ・シミュレーション等によって予め導き出された値が採用されている。なお、ここでは、レーザ光の照射先として鏡面を例示しているが、これに限らず、鏡面よりも低反射率の面であってもよい。鏡面よりも低反射率の面としては、例えば、ガラス面、半透明なプラスチック製の板状部材の面、及び光沢性を有する面等が挙げられる。
【0148】
ステップＳＴ３０２において、受光量が閾値未満の場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。ステップＳＴ３０２において、受光量が閾値以上の場合は、判定が肯定されて、測距撮像処理はステップＳＴ１０２へ移行する。
【0149】
ステップＳＴ１０８Ａで、判定部１５Ａ４は、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが異なっているか否かを判定する。ステップＳＴ１０８Ａにおいて、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが一致している場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。ステップＳＴ１０８Ａにおいて、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが異なっている場合は、判定が肯定されて、測距撮像処理はステップＳＴ１２０へ移行する。
【0150】
ステップＳＴ３０４で、第２測距制御部１５Ａ２は、測距撮像装置１４を制御することで、第２測距系処理回路３４Ｃに対して第２測距を行わせる。
【0151】
次のステップＳＴ３０６で、実行部１５Ａ５は、ステップＳＴ３０４の第２測距が行われることによって得られた第２距離を用いて第２撮像処理を実行する。すなわち、実行部１５Ａ５は、ステップＳＴ３０４の第２測距が行われることによって得られた第２距離に基づいてフォーカス制御を行い、かつ、光電変換素子２６に対して撮像を行わせる。また、実行部１５Ａ５は、第２撮像処理を実行することで得た最新の第２可視光画像を用いて第２可視光画像表示処理を実行する。
【0152】
このように、図１９に示す測距撮像処理が実行されることによって、ＩＲ画素でのＩＲ反射光の受光量が閾値以上である場合にフォーカス制御は第２距離に基づいて行われるので、ＩＲ画素でのＩＲ反射光の受光量が閾値以上であるにも関わらず第１距離に基づくフォーカス制御が行われる場合（例えば、鏡１００に対してピントが合ってしまった場合）に比べ、ユーザが意図する合焦状態での撮像（例えば、鏡１００とは異なる箇所にピントが合った状態での撮像）を実現し易くすることができる。
【0153】
また、上記第１実施形態では、撮像領域に特定被写体が含まれているか否かに関わらず判定部１５Ａ４によって第１距離と第２距離とが異なっているか否かが判定されるようにしたが、本開示の技術はこれに限定されない。例えば、撮像領域に特定被写体が含まれていることを条件に判定部１５Ａ４によって第１距離と第２距離とが異なっているか否かが判定されるようにしてもよい。
【0154】
この場合、図２０に示す測距撮像処理がＣＰＵ１５Ａによって実行される。図２０に示す測距撮像処理は、上記第１実施形態で説明した測距撮像処理に比べ、ステップＳＴ１０６とステップＳＴ１０８との間にステップＳＴ３５０及びステップＳＴ３５２を有する点が異なる。また、図２０に示す測距撮像処理は、上記第１実施形態で説明した測距撮像処理に比べ、ステップＳＴ１０８に代えてステップＳＴ１０８Ｂを有する点が異なる。更に、図２０に示す測距撮像処理は、上記第１実施形態で説明した測距撮像処理に比べ、ステップＳＴ１２２及びステップＳＴ１２４に代えて、ステップＳＴ３５４及びステップＳＴ３５６を有する点が異なる。以下、図２０に示す測距撮像処理について、上記第１実施形態で説明した測距撮像処理と異なる部分を説明する。
【0155】
図２０に示すステップＳＴ３５０で、実行部１５Ａ５は、特定被写体検出処理を実行する。特定被写体検出処理は、受光器１８に対して、ステップＳＴ１０２で取得された第１距離に基づいてフォーカス制御を行って撮像領域を撮像させ、撮像領域が撮像されることで得られた撮像領域画像に対して、特定被写体を示す特定被写体画像の検出を行う処理である。なお、ここで、撮像領域画像は、本開示の技術に係る「第２画像」の一例である。また、ここで、特定被写体は、既定反射率以上の高反射率領域を含む。既定反射率としては、例えば、光沢性を有する面の平均的な反射率として予め定められた反射率が挙げられる。また、ここでは、高反射率領域として、鏡面１００Ａが採用されている。また、鏡面１００Ａには、ユーザ像及びスマートデバイス像が映り込んでいる。
【0156】
本ステップＳＴ３５０では、ステップＳＴ１０２で取得された第１距離に基づいてフォーカス制御を行って撮像領域を撮像させることで得られた撮像領域画像に対して特定被写体画像の検出を行っているが、本開示の技術はこれに限らない。例えば、ステップＳＴ１０６で取得された第２距離に基づいてフォーカス制御を行って撮像領域を撮像させることで得られた画像に対して特定被写体画像の検出を行ってもよい。
【0157】
本ステップＳＴ３５０において、実行部１５Ａ５は、機械学習アルゴリズム（例えば、ニューラルネットワーク）を用いて、撮像領域画像に対する特定被写体画像の検出を行う。また、実行部１５Ａ５は、パターンマッチング用の辞書を用いて、撮像領域画像に対する特定被写体画像の検出を行ってもよい。
【0158】
次のステップＳＴ３５２で、実行部１５Ａ５は、撮像領域画像から特定被写体画像が検出されたか否かを判定する。ステップＳＴ３５２において、撮像領域画像から特定被写体画像が検出されていない場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。ステップＳＴ３５２において、撮像領域画像から特定被写体画像が検出された場合は、判定が肯定されて、測距撮像処理はステップＳＴ１０８Ｂへ移行する。
【0159】
ステップＳＴ１０８Ｂで、判定部１５Ａ４は、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが異なっているか否かを判定する。ステップＳＴ１０８Ｂにおいて、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが一致している場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。ステップＳＴ１０８Ｂにおいて、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが異なっている場合は、判定が肯定されて、測距撮像処理はステップＳＴ１２０へ移行する。
【0160】
ステップＳＴ３５４で、第２測距制御部１５Ａ２は、測距撮像装置１４を制御することで、第２測距系処理回路３４Ｃに対して第２測距を行わせる。
【0161】
次のステップＳＴ３５６で、実行部１５Ａ５は、ステップＳＴ３５４の第２測距が行われることによって得られた第２距離を用いて第２撮像処理を実行する。すなわち、実行部１５Ａ５は、ステップＳＴ３５４の第２測距が行われることによって得られた第２距離に基づいてフォーカス制御を行い、かつ、光電変換素子２６に対して撮像を行わせる。また、実行部１５Ａ５は、第２撮像処理を実行することで得た最新の第２可視光画像を用いて第２可視光画像表示処理を実行する。
【0162】
このように、図２０に示す測距撮像処理が実行されることで、特定被写体画像が実行部１５Ａ５によって検出された場合にフォーカス制御が第２距離に基づいて行われるので、特定被写体画像が検出されたにも関わらず第１距離に基づいてフォーカス制御が行われる場合（例えば、鏡１００に対してピントが合ってしまった場合）に比べ、ユーザが意図する合焦状態での撮像（例えば、鏡１００に映ったユーザ像にピントが合った状態での撮像）を実現し易くすることができる。
【0163】
また、特定被写体には、既定反射率以上の高反射率領域が含まれており、高反射率領域として、鏡面１００Ａが採用されている。また、鏡面１００Ａには、ユーザ像及びスマートデバイス像が映り込んでいる。従って、本構成によれば、ユーザ像及びスマートデバイス像が映り込んでいる鏡面１００Ａが検出されたにも関わらず第１距離に基づいてフォーカス制御が行われる場合（例えば、鏡面１００Ａに対してピントが合ってしまった場合）に比べ、ユーザが意図する合焦状態での撮像（例えば、鏡１００に映ったユーザ像にピントが合った状態での撮像）を実現し易くすることができる。
【0164】
図２１に示す測距撮像処理は、図２０に示す測距撮像処理に比べ、ステップＳＴ３５０及びステップＳＴ３５２に代えて、ステップＳＴ４００～ステップＳＴ４０６を有する点が異なる。以下、図２１に示す測距撮像処理について、図２０で説明した測距撮像処理と異なる部分を説明する。
【0165】
図２１に示すステップＳＴ４００で、実行部１５Ａ５は、高反射率領域検出処理を実行する。高反射率領域検出処理は、受光器１８に対して、ステップＳＴ１０２で取得された第１距離に基づいてフォーカス制御を行って撮像領域を撮像させ、撮像領域が撮像されることで得られた撮像領域画像に対して、上述した高反射率領域を示す高反射率領域の検出を行う処理である。
【0166】
本ステップＳＴ４００では、ステップＳＴ１０２で取得された第１距離に基づいてフォーカス制御を行って撮像領域を撮像させることで得られた撮像領域画像に対して高反射率領域の検出を行っているが、本開示の技術はこれに限らない。例えば、ステップＳＴ１０６で取得された第２距離に基づいてフォーカス制御を行って撮像領域を撮像させることで得られた画像に対して高反射率領域の検出を行ってもよい。
【0167】
次のステップＳＴ４０２で、実行部１５Ａ５は、撮像領域画像から高反射率領域が検出されたか否かを判定する。ステップＳＴ４０２において、撮像領域画像から高反射率領域が検出されていない場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。ステップＳＴ４０２において、撮像領域画像から高反射率領域が検出された場合は、判定が肯定されて、測距撮像処理はステップＳＴ４０４へ移行する。
【0168】
ステップＳＴ４０４で、実行部１５Ａ５は、高反射率領域占有率を算出する。高反射率領域占有率とは、撮像領域画像に対する、高反射率領域検出処理によって検出された高反射率領域の割合を指す。
【0169】
次のステップＳＴ４０６で、判定部１５Ａ４は、ステップＳＴ４０４で算出された高反射率領域占有率が既定占有率（例えば、８０％）を超えているか否かを判定する。ステップＳＴ４０６において、ステップＳＴ４０４で算出された高反射率領域占有率が既定占有率以下の場合は、判定が否定されて、測距撮像処理は図１８Ｃに示すステップＳＴ１３０へ移行する。これにより、ステップＳＴ１３０～ステップＳＴ１３６の処理が実行される。すなわち、ステップＳＴ２２４の第１測距が行われることによって得られた第１距離に基づくフォーカス制御下で撮像領域に対する撮像が受光器１８によって行われる。
【0170】
また、ステップＳＴ４０６において、ステップＳＴ４０４で算出された高反射率領域占有率が既定占有率を超えている場合は、判定が肯定されて、測距撮像処理はステップＳＴ１０８Ｂへ移行する。そして、ステップＳＴ１０２で取得された第１距離とステップＳＴ１０６で取得された第２距離とが異なっている場合（ステップＳＴ１０８Ｂにおいて判定が肯定された場合）にステップＳＴ１２０～ステップＳＴ１２６の処理が実行される。すなわち、ステップＳＴ３５４の第２測距が行われることによって得られた第２距離に基づくフォーカス制御下で撮像領域に対する撮像が受光器１８によって行われる（ステップＳＴ３５６）。
【0171】
このように、図２１に示す測距撮像処理が実行されることによって、高反射率領域占有率に従って定められた第１距離又は第２距離に基づくフォーカス制御下で撮像が行われるので、常に第１距離及び第２距離のうちの何れかのみに基づいて受光器１８に対してフォーカス制御が行われる場合に比べ、ユーザが意図する合焦状態での撮像を実現し易くすることができる。つまり、例えば、鏡１００の全体にピントを合わせて撮像したいユーザの要求と、鏡１００に映ったユーザ像にピントを合わせて撮像したいユーザの要求とに精度良く応えることが可能となる。
【0172】
なお、ここでは、高反射率領域占有率として、撮像領域画像に対する、高反射率領域検出処理によって検出された高反射率領域の割合を例示したが、本開示の技術はこれに限定されない。例えば、高反射率領域占有率として、撮像領域画像内の高反射率領域の面積と撮像画像内の高反射率領域と異なる領域の面積との差分を用いてもよい。
【0173】
また、上記第１実施形態では、受光器１８のみによって撮像領域が撮像される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２２に示すように、スマートデバイス３００に、上述した測距撮像装置１４の他に、広角用受光器３５０が搭載されていてもよい。スマートデバイス３００は、スマートデバイス１０に比べ、広角用受光器３５０を更に有する点が異なる。
【0174】
広角用受光器３５０は、受光器１８に比べ、広角側で撮像可能とされている。換言すると、受光器１８は、広角用受光器３５０に比べ、望遠側で撮像可能とされている。つまり、広角用受光器３５０は、受光器１８よりも焦点距離が長い。更に、広角用受光器３５０は、透光窓３５２及び光電変換素子３５４を備えている。透光窓３５２は、透光窓２０及び２０と同一の構造であり、光電変換素子３５４は、光電変換素子２６の可視光画像用区分領域２６Ｎ１と同様の領域を有する。
【0175】
このように構成されたスマートデバイス３００では、ＣＰＵ１５Ａによって図２３に示す測距撮像処理が実行される。図２３に示す測距撮像処理は、上記第１実施形態で説明した測距撮像処理に比べ、ステップＳＴ４５０を有する点、及びステップＳＴ１１０～ステップＳＴ１１８を有しない点が異なる。以下、図２３に示す測距撮像処理について、上記第１実施形態で説明した測距撮像処理と異なる部分を説明する。また、以下では、図２３に示す測距撮像処理について、受光器１８又は広角用受光器３５０によって撮像が行われていることを前提として説明する。
【0176】
図２３に示す測距撮像処理では、先ず、ステップＳＴ４５０で、判定部１５Ａ４は、広角用受光器３５０が使用中であるか否かを判定する。すなわち、本ステップＳＴ４５０では、広角用受光器３５０によって撮像が行われているか否かが判定部１５Ａ４によって判定される。ステップＳＴ４５０において、受光器１８が使用中の場合は、判定が否定されて、測距撮像処理は図１８Ｂに示すステップＳＴ２０６へ移行する。ステップＳＴ４５０において、広角用受光器３５０が使用中の場合は、判定が肯定されて、測距撮像処理はステップＳＴ１００へ移行する。この場合、ステップＳＴ１０８において判定が肯定されたことを条件に、ステップＳＴ１２０～ステップＳＴ１２６の処理が実行される。これにより、ステップＳＴ１２４では、ステップＳＴ１２２で第１測距が行われることによって得られた第１距離に基づくフォーカス制御下で撮像が行われる。
【0177】
ここで、例えば、鏡１００の全体が被写体として撮像される場合、鏡１００の全体が撮像領域に含まれるように望遠側よりも広角側で撮像されることが想定されるので、鏡面１００Ａまでの距離を精度良く測定するためには、鏡１００に映り込んでいるユーザ像にピントを合わせるために有利な第２測距よりも鏡面１００Ａにピントを合わせるために有利な第１測距が行われることが望ましい。
【0178】
従って、図２３に示す測距撮像処理が実行されることで、広角用受光器３５０の使用中は、第１距離に基づくフォーカス制御下で撮像が行われるので、受光器１８よりも広角側で撮像が行われるにも関わらず第２距離に基づくフォーカス制御下で撮像が行われる場合に比べ、ユーザが意図する合焦状態の撮像を実現し易くすることができる。
【0179】
また、上記第１実施形態では、光照射器１６が測距用の光としてレーザ光を例示したが、本開示の技術はこれに限定されない。例えば、測距用の光は、スーパールミネッセント光等の指向性を有する光であってもよいし、キセノンフラッシュ光源から発せられる光であってもよいし、ＬＥＤから発せられる光であってもよい。
【0180】
また、上記第１実施形態では、可視光画像用区分領域２６Ｎ１、第１測距系区分領域２６Ｎ２、及び第２測距系区分領域２６Ｎ３が光電変換素子２６によって１チップ化されているが、本開示の技術はこれに限定されず、複数の可視光画素が１チップ化され、複数の位相差画素が１チップ化され、複数のＩＲ画素が１チップ化されていてもよい。また、複数の可視光画素と複数の位相差画素とが１チップ化され、複数のＩＲ画素が１チップ化されていてもよい。このように、異なる種類の感光画素が種類毎にチップ化されてスマートデバイス１０に搭載される場合、各チップについて被写体側（物体側）に対物レンズ、フォーカスレンズ、及び絞り等の光学系が設けられるようにすればよい。
【0181】
また、上記第１実施形態では、測距撮像装置１４がスマートデバイス１０に内蔵されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、一般的なスマートデバイス、すなわち、測距撮像装置１４が内蔵されていないスマートデバイスに対して測距撮像装置１４が外付けされていてもよい。
【0182】
また、上記第１実施形態では、ＵＩ系デバイス４４がスマートデバイス１０に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部がスマートデバイス１０に対して外付けされていてもよい。また、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ５２に接続されることによって使用されるようにしてもよい。
【0183】
また、図１に示す例では、スマートデバイス１０を例示したが、本開示の技術はこれに限定されない。すなわち、測距撮像装置１４が内蔵された各種の電子機器（例えば、レンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、及び／又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、スマートデバイス１０と同様の作用及び効果が得られる。
【0184】
また、上記第１実施形態では、ディスプレイ４６を例示したが、本開示の技術はこれに限定されない。例えば、スマートデバイス１０に対して外付けされたディスプレイをディスプレイ４６と併用してもよい。
【0185】
また、上記第１実施形態では、光電変換素子２６と信号処理回路３４とが別体とされているが、光電変換素子２６と信号処理回路３４とが１チップ化された積層型撮像素子を用いても良い。また、信号処理回路３４の少なくとも一部を無くし、信号処理回路３４の機能をＣＰＵ１５Ａに担わせるようにしてもよい。
【0186】
また、上記第１実施形態では、光電変換素子ドライバ３２から光電変換素子２６に撮像タイミング信号が供給される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、光電変換素子ドライバ３２は無くてもよく、この場合、光電変換素子ドライバ３２の機能をＣＰＵ１５Ａに担わせるようにすればよい。
【0187】
また、上記第１実施形態では、位相差画素を用いて第２測距が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、位相差画素を用いた測距に代えて、ステレオカメラを用いた測距が行われるようにしてもよいし、顔検出を用いた測距が行われるようにしてもよい。ステレオカメラを用いた測距では、ステレオカメラから得られた一対の画像の視差を用いることで被写体までの距離が測定される。また、顔検出を用いた測距では、１フレーム分の画像の大きさに対する、検出された顔画像の大きさの割合等を用いることで被写体までの距離が測定される。
【0188】
また、上記第１実施形態では、Ｇフィルタ、Ｒフィルタ、及びＢフィルタが、赤外光をカットする赤外光カットフィルタとしての機能も有する形態例を挙げて説明したが、本開示の技術はこれに限らず、Ｒ画素、Ｇ画素、及びＢ画素の各々に対応する各カラーフィルタを、赤外光も透過させるカラーフィルタとし、１つのカラーフィルタにつき、可視光画素用のフォトダイオードとＩＲ画素用のフォトダイオート（例えば、ＩｎＧａＡｓ ＡＰＤ）による一対のフォトダイオードが配置されるようにしてもよい。
【0189】
また、上記第１実施形態では、可視光画像用区分領域２６Ｎ１と第２測距系区分領域２６Ｎ３とを併用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、可視光画像用区分領域２６Ｎ１及び第２測距系区分領域２６Ｎ３に代えて、可視光画素データと位相差画素データとが選択的に生成されて読み出されるエリアセンサとしてもよい。この場合、エリアセンサには、複数の感光画素が２次元状に配列されている。エリアセンサに含まれる感光画素には、例えば、遮光部材を有しない独立した一対のフォトダイオードが用いられる。可視光画素データが生成されて読み出される場合、感光画素の全領域（一対のフォトダイオード）によって光電変換が行われ、位相差画素データが生成されて読み出される場合（例えば、パッシブ方式の測距を行う場合）、一対のフォトダイオードのうちの一方のフォトダイオードによって光電変換が行われる。ここで、一対のフォトダイオードのうちの一方のフォトダイオードは、上記第１実施形態で説明した第１位相差画素Ｌに対応するフォトダイオードであり、一対のフォトダイオードのうちの一方のフォトダイオードは、上記第１実施形態で説明した第２位相差画素Ｒに対応するフォトダイオードである。なお、エリアセンサに含まれる全ての感光画素によって可視光画素データと位相差画素データとが選択的に生成されて読み出されるようにしてもよいが、これに限らず、エリアセンサに含まれる一部の感光画素によって可視光画素データと位相差画素データとが選択的に生成されて読み出されるようにしてもよい。
【0190】
［第２実施形態］
上記第１実施形態では、第１測距が行われることによって得られた第１距離と第２測距が行われることによって得られた第２距離とが異なる場合に特定の処理が実行部１５Ａ５によって行われる形態例を挙げて説明したが、本第２実施形態では、異なる合焦方式によって得られた第１合焦位置と第２合焦位置とが異なる場合に特定の処理が実行部１５Ａ５によって行われる形態例について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付して説明を省略し、上記第１実施形態と異なる部分について説明する。
上記第１実施形態では、第１測距が行われることによって得られた第１距離と第２測距が行われることによって得られた第２距離とが異なる場合に特定の処理が実行部１５Ａ５によって行われる形態例を挙げて説明したが、本第２実施形態では、異なる合焦方式によって得られた第１合焦位置と第２合焦位置とが異なる場合に特定の処理が実行部１５Ａ５によって行われる形態例について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付して説明を省略し、上記第１実施形態と異なる部分について説明する。
【0191】
一例として図２４に示すように、ストレージ１５Ｂには、測距撮像処理プログラム５７０が記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから測距撮像処理プログラム５７０を読み出す。そして、ＣＰＵ１５Ａは、ストレージ１５Ｂから読み出した測距撮像処理プログラム５７０を実行することで、第１測距制御部１５Ａ１、取得部１５Ａ３、判定部１５Ａ４、実行部１５Ａ５、第１合焦位置算出部１５Ａ６、コントラストＡＦ方式撮像制御部１５Ａ７、及び第２合焦位置算出部１５Ａ８として動作する。
【0192】
一例として図２５に示すように、第１測距制御部１５Ａ１は、上記第１実施形態と同様に、第１測距系処理回路３４Ｂに対して第１測距を行わせ、取得部１５Ａ３は、第１測距系処理回路３４Ｂから第１距離を取得する。第１合焦位置算出部１５Ａ６は、取得部１５Ａ３によって取得された第１距離に基づいて、撮像領域に含まれる被写体に合焦する第１合焦位置を算出する。具体的には、第１合焦位置算出部１５Ａ６は、スマートデバイス１０から被写体までの距離を独立変数とし、合焦位置を従属変数とした既定の演算式を用いて第１合焦位置を算出する。なお、本開示の技術はこれに限らず、第１合焦位置算出部１５Ａ６は、図１３に示す合焦位置導出テーブル７２を用いて第１合焦位置を導出するようにしてもよい。
【0193】
一例として図２６に示すように、コントラストＡＦ方式撮像制御部１５Ａ７は、受光器１８に対してコントラストＡＦ方式での撮像を行わせる場合、受光器１８及び第２合焦位置算出部１５Ａ８に対して撮像開始信号を出力する。コントラストＡＦ方式撮像制御部１５Ａ７は、受光器１８に対して撮像開始信号を出力することで、可視光画像用区分領域２６Ｎ１（図５参照）に対して既定のフレームレート（例えば、６０ｆｐｓ）で撮像を行わせ、可視光画素データ処理回路３４Ａに対して、撮像領域を示す第３可視光画像を生成させる。可視光画素データ処理回路３４Ａは、第３可視光画像を画像メモリ４２に出力する。画像メモリ４２には、第３可視光画像が記憶され、可視光画素データ処理回路３４Ａから第３可視光画像が入力される毎に画像メモリ４２内の第３可視光画像が更新される。
【0194】
また、コントラストＡＦ方式撮像制御部１５Ａ７は、撮像開始信号の出力と並行して、受光器１８及び第２合焦位置算出部１５Ａ８に対してモータ制御信号を出力する。モータ制御信号は、フォーカスレンズ３０Ｂを光軸Ｌ２に沿って往復動作（ウォブリング）させるための信号であり、受光器１８のモータドライバ６４に入力される。モータドライバ６４は、入力されたモータ制御信号に従ってモータ６２を駆動させることでフォーカスレンズ３０Ｂをウォブリングさせる（図８参照）。一方、第２合焦位置算出部１５Ａ８は、コントラストＡＦ方式撮像制御部１５Ａ７から撮像開始信号が入力されてから現時点までに入力されたモータ制御信号を用いてフォーカスレンズ３０Ｂの光軸Ｌ２上での現在位置を算出する。
【0195】
コントラストＡＦ方式撮像制御部１５Ａ７は、画像メモリ４２内の第３可視光画像が更新される毎に、画像メモリ４２から第３可視光画像を取得し、取得した第３可視光画像のコントラスト値を算出する。そして、コントラストＡＦ方式撮像制御部１５Ａ７は、第３可視光画像のコントラストの最大値を探索し、最大値が探察された時点で、第２合焦位置算出部１５Ａ８に対して最大値到達信号を出力する。最大値到達信号は、第３可視光画像のコントラストが最大値に到達したことを示す信号である。
【0196】
第２合焦位置算出部１５Ａ８は、最大値到達信号が入力されると、撮像開始信号が入力されてから現時点までに入力されたモータ制御信号を用いて、フォーカスレンズ３０Ｂの光軸Ｌ２上での現在位置を第２合焦位置として算出する。第２合焦位置とは、撮像領域に含まれる被写体に合焦する合焦位置を指す。ここでは、第２合焦位置算出部１５Ａ８は、モータ制御信号を独立変数とし、合焦位置を従属変数とした演算式を用いて第２合焦位置を算出している。なお、本開示の技術はこれに限定されず、第２合焦位置算出部１５Ａ８は、モータ制御信号の時系列データと光軸Ｌ２上でのフォーカスレンズ３０Ｂの位置とが対応付けられたテーブルを用いて第２合焦位置を導出するようにしてもよい。
【0197】
一例として図２７に示すように、判定部１５Ａ４は、第１合焦位置算出部１５Ａ６によって算出された第１合焦位置と第２合焦位置算出部１５Ａ８によって算出された第２合焦位置とが異なっているか否かを判定する。判定部１５Ａ４によって第１合焦位置と第２合焦位置とが一致していると判定された場合、実行部１５Ａ５は、上記第１実施形態で説明した第１撮像処理を実行する。また、判定部１５Ａ４によって第１合焦位置と第２合焦位置とが異なっていると判定された場合、実行部１５Ａ５は、特定の処理（図２８参照）を実行する。
【0198】
一例として図２８に示すように、特定の処理は、上記第１実施形態に比べ、第２撮像処理に代えて第３撮像処理を含む点が異なる。第３撮像処理とは、第２合焦位置に対するフォーカス制御を伴う撮像（コントラストＡＦを伴う撮像）を行う処理を指す。また、特定の処理に含まれる画像選択画面表示処理によって生成されてディスプレイ４６に表示される画像選択画面は、上記第１実施形態に比べ、一部の表示内容が異なる。すなわち、画像選択画面には、第１距離に代えて、第１合焦位置（図２８に示す例では、基準位置からフォーカスレンズ３０Ｂまでの距離を示す「Ｘ１ｍｍ」という数値）が表示されており、第２距離に代えて、第２合焦位置（図２８に示す例では、基準位置からフォーカスレンズ３０Ｂまでの距離を示す「Ｘ２ｍｍ」という数値）が表示されている。基準位置とは、例えば、光電変換素子２６の撮像面の位置、又は、無限遠にピントを合わせた状態でのフォーカスレンズ３０Ｂの位置を指す。また、画像選択画面には、第２可視光画像に代えて第３可視光画像が表示されている。また、画像選択画面には、「測距結果が異なっています」というメッセージに代えて「合焦位置が異なっています」というメッセージが表示されている。また、画像選択画面には、「アクティブ方式」というメッセージ代えて、「アクティブＡＦ方式」というメッセージが表示されている。更に、画像選択画面には、「パッシブ方式」というメッセージ代えて、「コントラストＡＦ方式」というメッセージが表示されている。
【0199】
なお、本第２実施形態では、「アクティブＡＦ方式」と「コントラストＡＦ方式」という表示例を示しているが、必ずしも「アクティブＡＦ方式」と「パッシブＡＦ方式」という表示でなくてもよく、ユーザがＡＦ方式の違いを理解できればどのような表示であっても良い。例えば、レーザ測距を用いたＡＦとコントラストＡＦを行う場合、「レーザ測距を用いたＡＦ」という表示と「コントラストを用いたＡＦ」という表示でもよいし、ＡＦ方式を表すアイコン等を表示してもよい。また、ＡＦ方式の表示に代えて、ピント位置を表示してもよい。例えば、「ピント位置：手前」と「ピント位置：奥」でもよいし、「ピント位置：物体」と「ピント位置：物体に映った像」等と表示してもよい。あるいは、ＡＦ方式を示す文字及びアイコン並びにピント位置の２つ以上を組み合わせて表示してもよい。
【0200】
次に、スマートデバイス５００の本開示の技術に係る部分の作用について図２９Ａ～図２９Ｃを参照しながら説明する。なお、図２９Ａ～図２９Ｃは、ＣＰＵ１５Ａによって測距撮像処理プログラム５７０に従って実行される測距撮像処理の流れの一例を示すフローチャートである。
【0201】
図２９Ａに示す測距撮像処理では、先ず、ステップＳＴ５００で、第１測距制御部１５Ａ１は、測距撮像装置１４を制御することで、第１測距系処理回路３４Ｂに対して第１測距を行わせる。第１測距は、第１測距制御部１５Ａ１が第１測距系処理回路３４Ｂに対して第１距離を算出させることによって実現される。
【0202】
次のステップＳＴ５０２で、取得部１５Ａ３は、ステップＳＴ５００の第１測距が行われることによって得られた第１距離を取得する。
【0203】
次のステップＳＴ５０４で、第１合焦位置算出部１５Ａ６は、ステップＳＴ５０２で取得された第１距離に基づいて第１合焦位置を算出する。
【0204】
次のステップＳＴ５０６で、コントラストＡＦ方式撮像制御部１５Ａ７は、受光器１８に対してコントラストＡＦ方式の撮像を開始させる。
【0205】
次のステップＳＴ５０８で、コントラストＡＦ方式撮像制御部１５Ａ７は、コントラストＡＦ方式の撮像が行われることで可視光画素データ処理回路３４Ａによって生成された第３可視光画像を取得する。
【0206】
次のステップＳＴ５１０で、第２合焦位置算出部１５Ａ８は、コントラストＡＦ方式撮像制御部１５Ａ７から最大値到達信号が入力されたか否かを判定する。ステップＳＴ５１０において、コントラストＡＦ方式撮像制御部１５Ａ７から最大値到達信号が入力されていない場合は、判定が否定されて、測距撮像処理はステップＳＴ５０８へ移行する。ステップＳＴ５１０において、コントラストＡＦ方式撮像制御部１５Ａ７から最大値到達信号が入力された場合は、判定が肯定されて、測距撮像処理はステップＳＴ５１２へ移行する。
【0207】
ステップＳＴ５１２で、第２合焦位置算出部１５Ａ８は、ステップＳＴ５０６の処理が実行されてから現時点までに入力されたモータ制御信号を用いて、フォーカスレンズ３０Ｂの光軸Ｌ２上での現在位置を第２合焦位置として算出する。
【0208】
図２９Ｂに示すステップＳＴ５１４で、判定部１５Ａ４は、ステップＳＴ５０４で算出された第１合焦位置とステップＳＴ５１２で算出された第２合焦位置とが異なっているか否かを判定する。ステップＳＴ５１４において、ステップＳＴ５０４で算出された第１合焦位置とステップＳＴ５１２で算出された第２合焦位置とが一致している場合は、判定が否定されて、測距撮像処理はステップＳＴ５１４からステップＳＴ５１６へ移行する。
【0209】
ステップＳＴ５１６で、実行部１５Ａ５は、ステップＳＴ５０２で取得された第１距離を用いた第１撮像処理を実行する。なお、ここで、第１距離を用いた第１撮像処理とは、例えば、ステップＳＴ５０４で第１距離に基づいて算出された第１合焦位置に対するフォーカス制御を伴う撮像を行う処理を指す。
【0210】
次のステップＳＴ５１８で、実行部１５Ａ５は、ステップＳＴ５１２で算出された第２合焦位置を用いた第３撮像処理を実行する。なお、ここで、第２合焦位置を用いた第１撮像処理とは、第２合焦位置に対するフォーカス制御を伴う撮像を行う処理を指す。
【0211】
次のステップＳＴ５２０で、実行部１５Ａ５は、画像選択画面表示処理を実行する。これにより、一例として図２８に示すように、ディスプレイ４６には、画像選択画面が表示される。
【0212】
次のステップＳＴ５２２で、実行部１５Ａ５は、画像選択画面内に表示されている第１可視光画像及び第３可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択された否かを判定する。ステップＳＴ５２２において、画像選択画面内に表示されている第１可視光画像及び第３可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択されていない場合は、判定が否定されて、ステップＳＴ５２２の判定が再び行われる。ステップＳＴ５２２において、画像選択画面内に表示されている第１可視光画像及び第３可視光画像のうちの何れかがユーザによってタッチパネル４８を介して選択された場合は、判定が肯定されて、測距撮像処理はステップＳＴ５２４へ移行する。
【0213】
ステップＳＴ５２４で、実行部１５Ａ５は、画像選択画面内から選択された画像が第３可視光画像か否かを判定する。ステップＳＴ５２４において、画像選択画面内から選択された画像が第１可視光画像の場合は、判定が否定されて、測距撮像処理は図２９Ｃに示すステップＳＴ５３２へ移行する。ステップＳＴ５２４において、画像選択画面内から選択された画像が第３可視光画像の場合は、判定が肯定されて、測距撮像処理はステップＳＴ５２６へ移行する。
【0214】
ステップＳＴ５２６で、実行部１５Ａ５は、撮像開始タイミングが到来したか否かを判定する。ステップＳＴ５２６において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ５３０へ移行する。ステップＳＴ５２６において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ５２８へ移行する。
【0215】
ステップＳＴ５２８で、実行部１５Ａ５は、第３撮像処理を実行する。また、実行部１５Ａ５は、第３撮像処理を実行することで得た最新の第３可視光画像を用いて第３可視光画像表示処理を実行する。ここで、第３可視光画像表示処理は、図１６に示す第２可視光画像表示処理に比べ、第２可視光画像に代えて第３可視光画像をディスプレイ４６に対して表示させる点、及び「パッシブ方式」というメッセージに代えて「コントラストＡＦ方式」というメッセージをディスプレイ４６に対して表示させる点が異なる。
【0216】
なお、本ステップＳＴ５２８では、ステップＳＴ５２２及びステップＳＴ５２４で第３可視光画像が選択されたことを条件に、第３撮像処理が行われ、第３撮像処理が行われることによって得られた最新の第３可視光画像がディスプレイ４８に表示される形態例を挙げているが、これはあくまでも一例に過ぎない。例えば、第３可視光画像が選択されたことを条件に、選択された第３可視光画像をストレージ１５Ｂ及び／又はメモリカード等の記憶媒体に記憶させてもよい。また、選択されたＡＦ方式を伴う撮像と、選択された画像（例えば、第１可視光画像又は第３可視光画像）の保存とが、受付デバイス４７によって受け付けられた指示（ユーザから与えられた指示）に従って選択されるようにしてもよい。
【0217】
次のステップＳＴ５３０で、実行部１５Ａ５は、終了条件を満足したか否かを判定する。ステップＳＴ５３０において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理はステップＳＴ５２６へ移行する。ステップＳＴ５３０において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0218】
一方、図２９Ｃに示すステップＳＴ５３２で、実行部１５Ａ５は、撮像開始タイミングが到来したか否かを判定する。ステップＳＴ５３２において、撮像開始タイミングが到来していない場合は、判定が否定されて、測距撮像処理はステップＳＴ５３６へ移行する。ステップＳＴ５３２において、撮像開始タイミングが到来した場合は、判定が肯定されて、測距撮像処理はステップＳＴ５３４へ移行する。
【0219】
ステップＳＴ５３４で、第１測距制御部１５Ａ１は、測距撮像装置１４を制御することで、第１測距系処理回路３４Ｂに対して第１測距を行わせる。
【0220】
次のステップＳＴ５３６で、実行部１５Ａ５は、ステップＳＴ５３４の第１測距が行われることによって得られた第１距離を用いて第１撮像処理を実行する。また、実行部１５Ａ５は、第１撮像処理を実行することで得た最新の第１可視光画像を用いて第１可視光画像表示処理を実行する。
【0221】
次のステップＳＴ５３８で、実行部１５Ａ５は、終了条件を満足したか否かを判定する。ステップＳＴ５３８において、終了条件を満足していない場合は、判定が否定されて、測距撮像処理はステップＳＴ５３２へ移行する。ステップＳＴ５３８において、終了条件を満足した場合は、判定が肯定されて、測距撮像処理が終了する。
【0222】
以上説明したように、スマートデバイス５００では、第１測距が行われることで得られた第１距離に基づいて算出された第１合焦位置とコントラストＡＦ方式の撮像が行われることで得られた第２合焦位置とが異なる場合に、実行部１５Ａ５によって特定の処理が実行される。従って、本構成によれば、第１距離と第２距離とが異なる場合に生じる諸問題の解決に寄与することができる。
【0223】
なお、上記第２実施形態で説明した測距撮像処理はあくまでも一例であり、例えば、図１８Ａ～図１８Ｃに示す測距撮像処理、図１９に示す測距撮像処理、図２０に示す測距撮像処理、図２１に示す測距撮像処理、又は図２３に示す測距撮像処理に対して、上記第２実施形態で説明した測距撮像処理に含まれる技術的思想を援用してもよい。この場合、主旨を逸脱しない範囲内で、第１距離を第１合焦位置と読み替えたり、第２距離を第２合焦位置と読み替えたり、不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすればよい。
【0224】
また、上記第１実施形態では、ストレージ１５Ｂに測距撮像処理プログラム７０が記憶されており、上記第２実施形態では、ストレージ１５Ｂに測距撮像処理プログラム５７０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３０に示すように、測距撮像処理プログラム７０又は５７０（以下、測距撮像処理プログラム７０及び５７０を区別して説明する必要がない場合、符号を付さずに「測距撮像処理プログラム」と称する）が記憶媒体９００に記憶されていてもよい。記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
【0225】
記憶媒体９００に記憶されている測距撮像処理プログラムは、コントローラ１５にインストールされる。ＣＰＵ１５Ａは、測距撮像処理プログラムに従って測距撮像処理を実行する。
【0226】
また、通信網（図示省略）を介してコントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部に測距撮像処理プログラムを記憶させておき、上述のスマートデバイス１０の要求に応じて測距撮像処理プログラムがダウンロードされ、コントローラ１５にインストールされるようにしてもよい。
【0227】
なお、コントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ１５Ｂに測距撮像処理プログラムの全てを記憶させておく必要はなく、測距撮像処理プログラムの一部を記憶させておいてもよい。
【0228】
図３０に示す例では、スマートデバイス１０にコントローラ１５が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コントローラ１５がスマートデバイス１０の外部に設けられるようにしてもよい。
【0229】
図３０に示す例では、ＣＰＵ１５Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ１５Ａに代えてＧＰＵを適用してもよい。
【0230】
図３０に示す例では、コントローラ１５が例示されているが、本開示の技術はこれに限定されず、コントローラ１５に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１５に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0231】
上記各実施形態で説明した測距撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、測距撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで測距撮像処理を実行する。
【0232】
測距撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、測距撮像処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0233】
１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、測距撮像処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、測距撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、測距撮像処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0234】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の測距撮像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0235】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0236】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0237】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【0238】
以上の実施形態に関し、更に以下の付記を開示する。
【0239】
（付記１）
プロセッサと、
上記プロセッサに接続又は内蔵されたメモリと、を含み、
上記プロセッサは、
光照射器が光を撮像領域に向けて照射した照射タイミングと、上記光の上記撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて上記撮像領域までの距離を測定し、
上記撮像領域に含まれる被写体に合焦する第１合焦位置を上記距離に基づいて導出し、
上記被写体に合焦する第２合焦位置を、撮像装置によって上記撮像領域が撮像されることで得られた画像に基づいて導出し、
上記第１合焦位置と上記第２合焦位置とが異なる場合に特定の処理を実行する
情報処理装置。
プロセッサと、
上記プロセッサに接続又は内蔵されたメモリと、を含み、
上記プロセッサは、
光照射器が光を撮像領域に向けて照射した照射タイミングと、上記光の上記撮像領域からの反射光を受光器が受光した受光タイミングとに基づいて上記撮像領域までの距離を測定し、
上記撮像領域に含まれる被写体に合焦する第１合焦位置を上記距離に基づいて導出し、
上記被写体に合焦する第２合焦位置を、撮像装置によって上記撮像領域が撮像されることで得られた画像に基づいて導出し、
上記第１合焦位置と上記第２合焦位置とが異なる場合に特定の処理を実行する
情報処理装置。
【0240】
（付記２）
上記特定の処理は、上記第１合焦位置と上記第２合焦位置とが異なる旨を通知する処理を含む付記１に記載の情報処理装置。
上記特定の処理は、上記第１合焦位置と上記第２合焦位置とが異なる旨を通知する処理を含む付記１に記載の情報処理装置。
【0241】
（付記３）
上記特定の処理は、上記第１合焦位置と上記合焦位置のそれぞれで、上記撮像装置に対して、上記撮像領域を撮像させる処理を含む付記１又は付記２に記載の情報処理装置。
上記特定の処理は、上記第１合焦位置と上記合焦位置のそれぞれで、上記撮像装置に対して、上記撮像領域を撮像させる処理を含む付記１又は付記２に記載の情報処理装置。
【0242】
（付記４）
上記特定の処理は、上記第１合焦位置で上記撮像領域が撮像されることで得られた第１合焦画像と、上記第２合焦位置で上記撮像領域が撮像されることで得られた第２合焦画像とをディスプレイに対して表示させ、かつ、上記第１合焦画像及び上記第２合成画像が上記ディスプレイに表示されている状態で上記第１合焦画像及び上記第２合成画像のうちの少なくとも１つの選択をユーザに促す処理を含む付記３に記載の情報処理装置。
上記特定の処理は、上記第１合焦位置で上記撮像領域が撮像されることで得られた第１合焦画像と、上記第２合焦位置で上記撮像領域が撮像されることで得られた第２合焦画像とをディスプレイに対して表示させ、かつ、上記第１合焦画像及び上記第２合成画像が上記ディスプレイに表示されている状態で上記第１合焦画像及び上記第２合成画像のうちの少なくとも１つの選択をユーザに促す処理を含む付記３に記載の情報処理装置。
【0243】
（付記５）
上記特定の処理は、上記第１合焦位置で上記撮像装置に対して上記撮像領域を撮像させる処理か、又は、上記第２合焦位置で上記撮像装置に対して上記撮像領域を撮像させる処理を含む付記２又は付記３に記載の情報処理装置。
上記特定の処理は、上記第１合焦位置で上記撮像装置に対して上記撮像領域を撮像させる処理か、又は、上記第２合焦位置で上記撮像装置に対して上記撮像領域を撮像させる処理を含む付記２又は付記３に記載の情報処理装置。
【0244】
（付記６）
上記撮像装置は、広角側と望遠側とで撮像可能であり、
上記撮像装置が上記広角側で撮像する場合、上記特定の処理は、上記第１合焦位置で上記撮像装置に対して撮像させる処理である付記５に記載の情報処理装置。
上記撮像装置は、広角側と望遠側とで撮像可能であり、
上記撮像装置が上記広角側で撮像する場合、上記特定の処理は、上記第１合焦位置で上記撮像装置に対して撮像させる処理である付記５に記載の情報処理装置。
【0245】
（付記７）
上記受光器によって受光された上記反射光の受光量が閾値以上である場合、上記特定の処理は、上記第２合焦位置で上記撮像装置に対して撮像させる処理である付記５に記載の情報処理装置。
上記受光器によって受光された上記反射光の受光量が閾値以上である場合、上記特定の処理は、上記第２合焦位置で上記撮像装置に対して撮像させる処理である付記５に記載の情報処理装置。
【符号の説明】
【0246】
１０，３００，５００ スマートデバイス
１２ 筐体
１２Ａ 背面
１２Ｂ 前面
１３ 指示キー
１４ 測距撮像装置
１５ コントローラ
１５Ａ ＣＰＵ
１５Ａ１ 第１測距制御部
１５Ａ２ 第２測距制御部
１５Ａ３ 取得部
１５Ａ４ 判定部
１５Ａ５ 実行部
１５Ａ６ 第１合焦位置算出部
１５Ａ７ コントラストＡＦ方式撮像制御部
１５Ａ８ 第２合焦位置算出部
１５Ｂ ストレージ
１５Ｃ メモリ
１６ 光照射器
１７Ａ，１７Ｂ 遮光部材
１８ 受光器
１９ マイクロレンズ
２０，２２，３５２ 透光窓
２１ ビームエクスパンダ
２３ コリメートレンズ
２４ ＬＤ
２５ ＬＤドライバ
２６，３５４ 光電変換素子
２６Ｎ１ 可視光画像用区分領域
２６Ｎ２ 第１測距系区分領域
２６Ｎ３ 第２測距系区分領域
２７ ＴＯＦカメラ
３０Ａ 対物レンズ
３０Ｂ フォーカスレンズ
３０Ｃ 絞り
３１ 合焦制御機構
３２ 光電変換素子ドライバ
３４ 信号処理回路
３４Ａ 可視光画素データ処理回路
３４Ｂ 第１測距系処理回路
３４Ｃ 第２測距系処理回路
４０ 入出力インタフェース
４１ 撮像レンズ
４２ 画像メモリ
４４ ＵＩ系デバイス
４６ ディスプレイ
４７ 受付デバイス
４８ タッチパネル
５０ バス
５２ 外部Ｉ／Ｆ
５３ ハードキー部
５４ 通信Ｉ／Ｆ
５６ ネットワーク
５９ タッチパネル・ディスプレイ
６０ 移動機構
６２ モータ
６４ モータドライバ
７０，５７０ 測距撮像処理プログラム
７２ 合焦位置導出テーブル
１００ 鏡
１００Ａ 鏡面
３００Ｌ 左領域通過光
３００Ｒ 右領域通過光
３５０ 広角用受光器
９００ 記憶媒体
Ｌ 第１位相差画素
Ｌ１，Ｌ２ 光軸
Ｎ 非位相差画素
ＰＤ フォトダイオード
Ｒ 第２位相差画素
α ずれ量
θ１ 画角
θ２ 照射画角
１２ 筐体
１２Ａ 背面
１２Ｂ 前面
１３ 指示キー
１４ 測距撮像装置
１５ コントローラ
１５Ａ ＣＰＵ
１５Ａ１ 第１測距制御部
１５Ａ２ 第２測距制御部
１５Ａ３ 取得部
１５Ａ４ 判定部
１５Ａ５ 実行部
１５Ａ６ 第１合焦位置算出部
１５Ａ７ コントラストＡＦ方式撮像制御部
１５Ａ８ 第２合焦位置算出部
１５Ｂ ストレージ
１５Ｃ メモリ
１６ 光照射器
１７Ａ，１７Ｂ 遮光部材
１８ 受光器
１９ マイクロレンズ
２０，２２，３５２ 透光窓
２１ ビームエクスパンダ
２３ コリメートレンズ
２４ ＬＤ
２５ ＬＤドライバ
２６，３５４ 光電変換素子
２６Ｎ１ 可視光画像用区分領域
２６Ｎ２ 第１測距系区分領域
２６Ｎ３ 第２測距系区分領域
２７ ＴＯＦカメラ
３０Ａ 対物レンズ
３０Ｂ フォーカスレンズ
３０Ｃ 絞り
３１ 合焦制御機構
３２ 光電変換素子ドライバ
３４ 信号処理回路
３４Ａ 可視光画素データ処理回路
３４Ｂ 第１測距系処理回路
３４Ｃ 第２測距系処理回路
４０ 入出力インタフェース
４１ 撮像レンズ
４２ 画像メモリ
４４ ＵＩ系デバイス
４６ ディスプレイ
４７ 受付デバイス
４８ タッチパネル
５０ バス
５２ 外部Ｉ／Ｆ
５３ ハードキー部
５４ 通信Ｉ／Ｆ
５６ ネットワーク
５９ タッチパネル・ディスプレイ
６０ 移動機構
６２ モータ
６４ モータドライバ
７０，５７０ 測距撮像処理プログラム
７２ 合焦位置導出テーブル
１００ 鏡
１００Ａ 鏡面
３００Ｌ 左領域通過光
３００Ｒ 右領域通過光
３５０ 広角用受光器
９００ 記憶媒体
Ｌ 第１位相差画素
Ｌ１，Ｌ２ 光軸
Ｎ 非位相差画素
ＰＤ フォトダイオード
Ｒ 第２位相差画素
α ずれ量
θ１ 画角
θ２ 照射画角
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図18C】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29A】
【図29B】
【図29C】
【図30】
