(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023036437
(43)【公開日】2023-03-14
(54)【発明の名称】撮像装置およびプログラム
(51)【国際特許分類】
G02B 7/28 20210101AFI20230307BHJP
G02B 7/36 20210101ALI20230307BHJP
G02B 7/34 20210101ALI20230307BHJP
G03B 13/36 20210101ALI20230307BHJP
H04N 23/60 20230101ALI20230307BHJP
G01C 3/06 20060101ALI20230307BHJP
G03B 15/00 20210101ALN20230307BHJP
【ＦＩ】
G02B7/28 N
G02B7/36
G02B7/34
G03B13/36
H04N5/232
G01C3/06 120S
G03B15/00 Q
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021143494
(22)【出願日】2021-09-02
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100147692
【弁理士】
【氏名又は名称】下地 健一
(72)【発明者】
【氏名】近藤 正義
(72)【発明者】
【氏名】濱口 朋浩
(72)【発明者】
【氏名】大川 敬祐
(72)【発明者】
【氏名】阿部 誠也
【テーマコード（参考）】
2F112
2H011
2H151
5C122
【Ｆターム（参考）】
2F112AD05
2F112CA12
2F112FA03
2F112FA21
2F112FA35
2F112FA45
2H011BA33
2H011BB03
2H151BA02
2H151BA45
2H151BA47
2H151CE30
2H151DA16
5C122EA01
5C122FD01
5C122FD06
5C122FD07
5C122FH11
5C122FH14
5C122HA13
5C122HA35
5C122HA75
5C122HA82
5C122HB01
5C122HB05
5C122HB06
(57)【要約】
【課題】撮像装置のオートフォーカス機構を用いた被写体までの距離測定の信頼性を向上させる。
【解決手段】撮像装置は、レンズと、オートフォーカス機構と、撮像部と、制御部とを備える。オートフォーカス機構は、前記レンズを駆動して被写体の像を合焦させる。撮像部は、オートフォーカス機構により合焦された被写体の像を取得する。制御部は、オートフォーカス機構から得られるレンズの推定位置を用いて被写体までの距離である第１の距離を推定し、撮像された前記被写体の前記像の大きさに基づいて、推定した第１の距離の妥当性を判断する
【選択図】図１
【解決手段】撮像装置は、レンズと、オートフォーカス機構と、撮像部と、制御部とを備える。オートフォーカス機構は、前記レンズを駆動して被写体の像を合焦させる。撮像部は、オートフォーカス機構により合焦された被写体の像を取得する。制御部は、オートフォーカス機構から得られるレンズの推定位置を用いて被写体までの距離である第１の距離を推定し、撮像された前記被写体の前記像の大きさに基づいて、推定した第１の距離の妥当性を判断する
【選択図】図１
【特許請求の範囲】
【請求項1】
レンズと、
前記レンズを駆動して被写体の像を合焦させるオートフォーカス機構と、
前記オートフォーカス機構により合焦された前記被写体の前記像を取得する撮像部と、
前記オートフォーカス機構により得られる前記レンズの推定位置を用いて前記被写体までの距離である第１の距離を推定し、撮像された前記被写体の前記像の大きさに基づいて、前記第１の距離の妥当性を判断する制御部と
を備える撮像装置。
前記レンズを駆動して被写体の像を合焦させるオートフォーカス機構と、
前記オートフォーカス機構により合焦された前記被写体の前記像を取得する撮像部と、
前記オートフォーカス機構により得られる前記レンズの推定位置を用いて前記被写体までの距離である第１の距離を推定し、撮像された前記被写体の前記像の大きさに基づいて、前記第１の距離の妥当性を判断する制御部と
を備える撮像装置。
【請求項2】
前記制御部は、前記被写体の前記像に基づいて、前記撮像された前記被写体の種類を判定し、前記被写体の前記大きさに加え、前記被写体の前記種類に基づいて前記距離の前記妥当性を判断する、請求項１に記載の撮像装置。
【請求項3】
前記被写体の前記像の大きさは、前記撮像部が撮像した画像中に占める前記被写体の前記像の面積、または、前記画像中の前記被写体の前記像の所定の方向の長さにより表される、請求項１または２に記載の撮像装置。
【請求項4】
前記制御部は、前記第１の距離が妥当ではないと判断した場合、前記オートフォーカス機構に複数回前記被写体の像を合焦させ、それぞれの前記被写体の合焦により前記オートフォーカス機構から得られる複数の前記レンズの推定位置に基づいて、前記第１の距離を推定する、請求項１から３の何れか一項に記載の撮像装置。
【請求項5】
前記制御部は、複数の前記レンズの推定位置を統計処理することにより、前記第１の距離を推定する、請求項４に記載の撮像装置。
【請求項6】
第１の機械学習モデルを記憶する記憶部をさらに備え、
前記第１の機械学習モデルは、前記レンズの前記推定位置を含む複数のパラメータを入力とし、前記第１の距離を出力とする学習用データを用いて機械学習をさせて生成されたものであり、
前記制御部は、前記第１の機械学習モデルに、前記複数のパラメータを入力して、前記第１の距離を推定する、請求項１から５の何れか一項に記載の撮像装置。
前記第１の機械学習モデルは、前記レンズの前記推定位置を含む複数のパラメータを入力とし、前記第１の距離を出力とする学習用データを用いて機械学習をさせて生成されたものであり、
前記制御部は、前記第１の機械学習モデルに、前記複数のパラメータを入力して、前記第１の距離を推定する、請求項１から５の何れか一項に記載の撮像装置。
【請求項7】
加速度を計測可能な加速度センサを備え、前記複数のパラメータは前記加速度センサから取得される加速度を含む、請求項６に記載の撮像装置。
【請求項8】
前記オートフォーカス機構の周辺の温度を測定可能に構成された温度センサを備え、前記複数のパラメータは前記温度センサから取得される温度を含む、請求項６または７に記載の撮像装置。
【請求項9】
前記記憶部は、前記撮像装置の固有の特性を数値化した個体調整値を記憶し、前記複数のパラメータは前記個体調整値を含む、請求項６から８の何れか一項に記載の撮像装置。
【請求項10】
前記第１の機械学習モデルは、Ｘｇｂｏｏｓｔにより生成される、請求項６から９の何れか一項に記載の撮像装置。
【請求項11】
前記制御部は、前記撮像部で撮像された前記被写体の前記像に基づいて、前記被写体までの距離を第２の距離として推定し、前記第１の距離と前記第２の距離との比較に基づいて、前記第１の距離の前記妥当性を判断する、請求項１から１０の何れか一項に記載の撮像装置。
【請求項12】
前記制御部は、前記第１の距離および前記第２の距離を入力とし、それぞれ妥当性有りおよび妥当性無しに対応する２値で表される前記第１の距離の前記妥当性を出力とする学習用データを用いて機械学習をさせて生成された第２の機械学習モデルに、推定した前記第１の距離と前記第２の距離とを入力して得られる出力に基づいて、前記第１の距離の前記妥当性を判断する、請求項１１に記載の撮像装置。
【請求項13】
撮像装置のオートフォーカス機構により得られるレンズの推定位置を用いて被写体までの距離である第１の距離を推定することと、撮像された前記被写体の像の大きさに基づいて、前記第１の距離の妥当性を判断することとを含む処理を、前記撮像装置が有するプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置およびプログラムに関する。
【背景技術】
【0002】
単眼の撮像装置のオートフォーカス機能を利用し、被写体までの距離を測定する方法が提案されている（例えば、特許文献１および特許文献２参照）。それらの方法によれば、被写体に焦点が合うように調整された撮像装置のレンズの位置に基づいて、被写体までの距離を算出している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－７９０５０号公報
【特許文献2】特開２００７－１７２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮像装置のオートフォーカス機構から得られるレンズ位置は、撮像装置から被写体までの距離に精度よく対応しない場合がある。例えば、レンズを駆動するためにボイスコイルモーター（ＶＣＭ：Voice Coil Motor）を使用する場合、被写体に焦点が合っているときのＶＣＭに印加される電流値から、レンズの位置が推定される。しかし、実際のレンズの位置は、様々な要因により、電流値から推定されるレンズの位置からずれることがある。また、撮像装置の合焦機能の精度が低いため、レンズの位置から推定される被写体までの距離が、実際の被写体までの距離からずれてしまう場合がある。とくに、スマートフォン等に搭載される撮像装置では、被写界深度が深いため、レンズ位置がずれても合焦していると判定されることがある。
【0005】
したがって、これらの点に着目してなされた本開示の目的は、撮像装置のオートフォーカス機構を用いた被写体までの距離の測定の信頼性を向上させることができる、撮像装置およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成する撮像装置は、レンズと、オートフォーカス機構と、撮像部と、制御部とを備える。前記オートフォーカス機構は、前記レンズを駆動して被写体の像を合焦させる。前記撮像部は、前記オートフォーカス機構により合焦された前記被写体の前記像を取得する。前記制御部は、前記オートフォーカス機構により得られる前記レンズの推定位置を用いて前記被写体までの距離である第１の距離を推定し、撮像された前記被写体の前記像の大きさに基づいて、前記第１の距離の妥当性を判断する。
【0007】
上記目的を達成するプログラムは、撮像装置のオートフォーカス機構により得られるレンズの推定位置を用いて被写体までの距離である第１の距離を推定することと、撮像された前記被写体の像の大きさに基づいて、前記第１の距離の妥当性を判断することとを含む処理を、前記撮像装置が有するプロセッサに実行させる。
【発明の効果】
【0008】
本開示の実施形態によれば、撮像装置のオートフォーカス機構を用いた被写体までの距離測定の信頼性を向上させることができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る撮像装置の概略構成を示すブロック図である。
【図3】被写体の像の大きさに基づく被写体までの距離の推定方法を説明する図である。
【図4】被写体までの距離（第１の距離）の推定に機械学習を利用する場合の学習済みモデルを生成する際のデータの流れの一例を示す図である。
【図7】妥当性の評価を行わない場合の、実際の距離に対する推定距離のばらつきの一例を示す図である。
【図8】妥当性の評価を行った場合の、実際の距離に対する推定距離のばらつきの一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
【0011】
（撮像装置の構成）
一実施形態に係る撮像装置１０は、例えば、スマートフォンまたは携帯型の情報処理装置等にカメラモジュールとして搭載される。スマートフォンに搭載されるカメラモジュールは、オートフォーカス機構を有しており、当該オートフォーカス機構にはＶＣＭ（Voice Coil Motor）方式が多く採用されている。図１に示すように、撮像装置１０は、レンズユニット１１と、撮像素子１２と、アクチュエータ１３と、信号処理部１４と、制御部１５と、記憶部１７とを含む。撮像装置１０は、さらに、加速度センサ１８と、温度センサ１９とを含んでよい。
一実施形態に係る撮像装置１０は、例えば、スマートフォンまたは携帯型の情報処理装置等にカメラモジュールとして搭載される。スマートフォンに搭載されるカメラモジュールは、オートフォーカス機構を有しており、当該オートフォーカス機構にはＶＣＭ（Voice Coil Motor）方式が多く採用されている。図１に示すように、撮像装置１０は、レンズユニット１１と、撮像素子１２と、アクチュエータ１３と、信号処理部１４と、制御部１５と、記憶部１７とを含む。撮像装置１０は、さらに、加速度センサ１８と、温度センサ１９とを含んでよい。
【0012】
レンズユニット１１は、撮像装置１０の撮像の対象である被写体２０を含む物体の像を、撮像素子１２の受光面１２ａ上に結像させる。レンズユニット１１は、一つ以上のレンズ１１ａおよびレンズ１１ａを保持するホルダ１１ｂを含む。レンズ１１ａは、撮像装置１０の筐体１０ａの窓部１０ｂまたは開口部を通る光軸Ｏを有する。
【0013】
撮像素子１２は、レンズユニット１１により受光面１２ａ上に結像された像を電気信号に変換する素子である。撮像素子１２は、撮像部に含まれる。撮像素子１２は、複数の光電変換素子を含む。光電変換素子は、撮像素子１２の出力する画像の各画素に対応する。複数の光電変換素子は、例えば格子状に配列される。光電変換素子は、受光した光の強度に対応するアナログの電気信号を出力する。各光電変換素子の前には、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の何れか１色のカラーフィルタが配置されてよい。カラーフィルタは、例えば、ベイヤ―配列により配置されてよい。撮像素子１２は、電気信号をＡＤ変換回路によりデジタルの画像信号に変換する。撮像素子１２は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、またはＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）の何れかであってよい。
【0014】
アクチュエータ１３は、制御部１５からの信号に基づいて、光軸Ｏに沿う方向にレンズユニット１１を変位させる。アクチュエータ１３は、オートフォーカス機構に含まれる。アクチュエータ１３は、ＶＣＭを含んで構成されてよい。ＶＣＭ方式のアクチュエータ１３は、例えば、コイルと、磁石と、支持部材とを含む。コイルは、例えば、レンズユニット１１のホルダ１１ｂの外周部に設けられる。磁石は、例えば、撮像装置１０の筐体１０ａに固定されコイルに対して所定の方向（例えばコイルの外側から内側に向かう方向）の磁界をかけるように配置される。指示部材は、例えば、レンズユニット１１を光軸方向に移動可能に支持する板バネ等を含む。コイルを流れる電流値に応じて、レンズユニット１１はコイルとともに光軸Ｏに沿って移動する。また、ＶＣＭは、上述のような磁石が作る磁場中をコイルが移動する構成の他、コイルがつくる磁場中を磁石が移動するように構成することもできる。アクチュエータ１３は、ＶＣＭを用いたものに限られない。アクチュエータ１３は、ＤＣ（direct current）モーター、ステッピングモーター、圧電モーター、および、超音波モーター等を含む種々の駆動方式を採用することができる。
【0015】
信号処理部１４は、撮像素子１２から入力された画像信号に対して、明るさ調整、ホワイトバランス調整、ガンマ補正、デモザイク処理、ノイズ低減、および、コントラスト調整等の種々の処理を行う。信号処理部１４としては、ＩＳＰ（Image Signal Processor）等の画像処理専用のプロセッサを用いることができる。
【0016】
制御部１５は、撮像装置１０が行う種々の処理を実行する。制御部１５は、信号処理部１４から入力された画像信号に対する処理を実行すること、および、画像信号を記憶部１７に記憶させることができる。制御部１５は、さらに、画像信号をディスプレイ等の他の装置に送信してよい。制御部１５は、撮像装置１０が実行する処理の全体を制御する。撮像装置１０が他の装置の一部に組み込まれている場合、制御部１５は他の装置全体を制御する制御装置と共用されてよい。
【0017】
制御部１５は、１以上のプロセッサ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、デジタル信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field-Programmable Gate Array）、または、これらのデバイスもしくは構成の任意の組み合わせ、または他の既知のデバイス若しくは構成の組み合わせを含んでよい。制御部１５は、プロセッサに内蔵されるメモリまたはプロセッサとは独立したメモリを含んでよい。制御部１５は、制御手順を規定したプログラムを実行することができる。制御部１５は、非一時的なコンピュータ可読媒体に記録されたプログラムをメモリに読み込んで実装するように構成されてよい。
【0018】
制御部１５は、撮像装置１０のオートフォーカス機能の少なくとも一部を実行してよい。例えば、撮像装置１０がコントラスト検出方式のオートフォーカスを行う場合、制御部１５は、信号処理部１４から撮像した画像に含まれる測距対象の被写体のコントラスト値を取得することができる。制御部１５は、アクチュエータ１３を制御してレンズ１１ａの位置を光軸Ｏ方向に調整し、コントラスト値が最大になるようにすることができる。本願においてレンズ１１ａの位置とは、撮像装置１０内におけるレンズ１１ａの位置を意味する。レンズ１１ａの位置は、例えば、撮像素子１２に対するレンズ１１ａの距離により表すことができる。一実施形態において、オートフォーカス機能は、レンズユニット１１、撮像素子１２、アクチュエータ１３、信号処理部１４および制御部１５が共同して実現される。撮像装置１０が採用するオートフォーカスの方式は、コントラスト検出方式に限られない。オートフォーカスの方式としては、位相差検出方式を採用することもできる。
【0019】
制御部１５は、被写体２０に焦点が合っている状態でアクチュエータ１３に対して送信している制御信号に基づいて、レンズ１１ａの位置を推定することができる。例えば、アクチュエータ１３がＶＣＭを含む場合、制御部１５は、ＶＣＭに印加される電流値を把握することができる。理想的な場合、ＶＣＭに印加される電流値と、レンズ１１ａの位置とは１対１に対応する。制御部１５は、ＶＣＭに印加される電流値に基づいてレンズ１１ａの位置を推定することができる。制御部１５は、推定したレンズ１１ａの位置に基づいて、被写体２０までの距離（第１の距離）を推定することができる。
【0020】
レンズ１１ａの位置は、制御部１５がアクチュエータ１３に印加する制御信号が同じであっても、撮像装置１０の姿勢、撮像装置１０のレンズ１１ａ周辺の温度、および、撮像装置１０の個体ばらつきの少なくとも何れかにより異なる場合がある。制御部１５は、オートフォーカス動作時のアクチュエータ１３の制御信号から推定されるレンズ１１ａの推定位置に、撮像装置１０の加速度、周辺の温度、および、個体ばらつきの少なくとも何れかを考慮して、被写体２０までの距離（第１の距離）を推定してよい。
【0021】
制御部１５は、レンズ１１ａの推定位置、撮像装置１０の加速度、周辺の温度、および、個体ばらつき等を入力データとして、記憶部１７に記憶された学習済モデルを用いて、機械学習により被写体２０までの距離（第１の距離）を推定してよい。第１の距離の推定に機械学習を使用することは必須ではない。
【0022】
なお、本開示において、「被写体までの距離」は、撮像装置１０から被写体２０までの距離を意味する。より詳しくは、「被写体までの距離」は、撮像装置１０の撮像素子１２のレンズ１１ａまたは撮像素子１２から被写体２０までの距離を意味する。
【0023】
制御部１５は、画像認識技術により撮像した画像に含まれる被写体２０を認識することができる。被写体２０の認識には、画像から被写体２０を検出すること、および、被写体２０の種別を認識することを含む。被写体２０の認識方法は、物体の形状認識による方法、テンプレートマッチングによる方法、画像から特徴量を算出しマッチングに利用する方法等の種々の公知の方法が含まれる。被写体２０の種別には、人、特定の動物、自転車、および、自動車等が含まれる。特定の動物には、犬、猫および魚等が含まれる。
【0024】
制御部１５は、さらに、撮像した画像における被写体２０の像（以下、「被写体像」と表記することがある）の大きさに基づいて、被写体２０までの距離（第２の距離）を推定することができる。制御部１５は、第２の距離に基づいて、レンズ１１ａの推定位置により推定した第１の距離の妥当性を判断することができる。制御部１５は、第１の距離が妥当ではないと判断した場合、さらに他の方法で被写体２０までの距離を推定してよい。
【0025】
制御部１５が実行する処理については、以下において図２のフローチャートを用いて、さらに説明される。
【0026】
記憶部１７は、制御部１５が実行するプログラム、制御部１５が実行する処理に必要な情報、および、制御部１５が実行した結果得られた情報を記憶するように構成される。記憶部１７は、半導体記憶装置、磁気記憶装置、光記憶装置の少なくとも何れかを含んでよい。半導体記憶装置は、ＤＲＡＭ（Dynamic Random Access Memory）およびＳＲＡＭ（Static Random Access Memory）等の揮発性メモリ、ならびに、ＲＯＭ（Read Only Memory）およびフラシュメモリ等の不揮発性メモリを含む。磁気記憶装置は、磁気テープ、フロッピー（登録商標）ディスク、ハードディスク等およびこれらの駆動装置を含む。光記憶装置は、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイ（Blu-ray（登録商標））等およびこれらの駆動装置を含む。
【0027】
記憶部１７は、制御部１５の制御により、撮像装置１０により撮像される画像を記憶する。記憶部１７は、制御部１５が第１の距離を推定するために用いるデータを記憶してよい。例えば、アクチュエータ１３がＶＣＭを使用する場合、記憶部１７は、アクチュエータ１３に印加される電流とレンズ１１ａの推定位置との変換テーブル、または、アクチュエータ１３に印加される電流からレンズ１１ａの推定位置を算出する計算式を記憶してよい。記憶部１７は、さらに、レンズ１１ａの推定位置および他の入力データと、被写体２０までの距離との変換テーブル、または、レンズ１１ａの推定位置および他の入力データから被写体２０までの距離を算出する計算式を記憶してよい。記憶部１７は、撮像装置１０の固有の特性を数値化した個体調整値を記憶してよい。個体調整値には、各撮像装置１０の特性のばらつきが反映される。例えば、記憶部１７は、記憶部１７が搭載された撮像装置１０の近距離側の所定の距離、および、遠距離側の所定の距離または無限遠に位置する被写体に合焦するときのアクチュエータ１３に印加される電流の電流値を、それぞれ個体調整値として記憶してよい。
【0028】
記憶部１７は、制御部１５が画像認識により被写体２０を認識するために用いるテンプレートまたは特徴量等の情報を記憶してよい。記憶部１７は、さらに、被写体２０の種別ごとの標準的な大きさを記憶してよい。標準的な大きさは、長手方向の長さ、鉛直及び水平方向の長さ、および、特定の方向に投影したときの面積等の標準的大きさを含んでよい。標準的な大きさは、被写体２０の全体の大きさに限られず、特徴的な部分についての標準的な大きさを含んでよい。例えば、標準的な大きさには、人体の頭部の上下及び左右方向の大きさ、および、人体の肩幅の大きさ等を含んでよい。
【0029】
制御部１５が機械学習を用いて被写体２０までの距離（第１の距離）を推定する場合、記憶部１７は、少なくともレンズ１１ａの推定位置を入力データに含み、被写体２０までの距離を出力データに含む機械学習の学習済みモデルを記憶してよい。機械学習の入力データには、さらに、撮像装置１０の加速度、温度および個体調整値のデータが含まれてよい。
【0030】
加速度センサ１８は、撮像装置１０に加わる加速度の大きさおよび向きを検出する。加速度センサ１８の検出する加速度は、大きさ及び方向を有する。加速度センサ１８の検出する加速度には、重力加速度が含まれる。重力加速度の方向は、撮像装置１０の向きに対応する。レンズユニット１１の重量により、撮像装置１０の向きは、レンズ１１ａの位置に影響を与えることがある。したがって、加速度センサ１８から取得される加速度の情報は、被写体２０までの距離を推定する際の入力データに含まれることが好ましい場合がある。
【0031】
温度センサ１９は、撮像装置１０内の温度を検出する。温度が上昇すると、アクチュエータ１３の駆動力が変化することがある。例えば、ＶＣＭを使用する場合、コイルが熱を発生して膨張するとレンズ１１ａの位置がずれてしまうことがある。また、温度が上昇するとＶＣＭ内の磁束密度が低下するので、ＶＣＭによるレンズユニット１１の駆動力が低下することがある。したがって、温度センサ１９から取得される温度の情報は、被写体２０までの距離を推定する際の入力データに含まれることが好ましい場合がある。
【0032】
（制御部の実行する処理）
以下に、撮像装置１０の制御部１５が実行する処理の一例を、図２を参照して説明する。本明細書で開示される方法は、撮像装置１０に含まれるプロセッサがプログラムに従って実行することができる。そのようなプログラムは、非一時的なコンピュータ可読媒体に記憶されることが可能である。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。
以下に、撮像装置１０の制御部１５が実行する処理の一例を、図２を参照して説明する。本明細書で開示される方法は、撮像装置１０に含まれるプロセッサがプログラムに従って実行することができる。そのようなプログラムは、非一時的なコンピュータ可読媒体に記憶されることが可能である。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。
【0033】
まず、制御部１５は、被写体２０の撮像を行うとき、アクチュエータ１３（オートフォーカス機構）を動作させ、被写体像を取得する（ステップＳ１０１）。このとき、アクチュエータ１３は、レンズ１１ａを撮像装置１０のピントが被写体２０に合うように変位させる。
【0034】
制御部１５は、レンズ１１ａの推定位置を含む入力データを取得する（ステップＳ１０２）。入力データは、レンズ１１ａの推定位置以外に、撮像装置１０の加速度、レンズ１１ａ周辺の温度および撮像装置１０の個体調整値等を含んでよい。レンズ１１ａの推定位置は、加速度、温度および個体調整値等の影響を考慮しないレンズ１１ａの推定位置とすることができる。制御部１５は、アクチュエータ１３にオートフォーカスの動作をさせるとき、アクチュエータ１３を駆動させる信号に基づいて、レンズ１１ａの位置を推定することができる。したがって、レンズ１１ａの推定位置を取得することは、アクチュエータ１３の駆動信号を取得することと言い換えることができる。例えば、アクチュエータ１３がＶＣＭを含む場合、制御部１５は、ＶＣＭのコイルに印加される電流値からレンズ１１ａの推定位置を決定することができる。
【0035】
制御部１５は、取得した入力データを用いて被写体２０までの距離（第１の距離）を推定する（ステップＳ１０３）。一実施形態において、制御部１５は、記憶部１７に記憶された変換テーブルまたは計算式を用いて、被写体２０までの距離を算出することができる。また、他の実施形態において、制御部１５は、記憶部１７に記憶された学習済みモデルを用いて、機械学習により、入力データから被写体２０までの距離を推定するように構成されてよい。
【0036】
制御部１５は、上記ステップＳ１０１からステップＳ１０３の後に、または、ステップＳ１０１からステップＳ１０３に並行して、以下のステップＳ１０４からＳ１０６を実行する。制御部１５は、撮像素子１２から取得した画像に対して物体認識を行って、被写体２０を認識し、被写体像の大きさを検出する（ステップＳ１０４）。被写体像の大きさは、撮像素子１２が撮像した画像中に占める被写体像の面積、または、画像中の被写体像の所定の方向の長さ等により表される。所定の方向は、例えば、被写体像の長手方向とすることができる。
【0037】
制御部１５は、ステップＳ１０４で認識した被写体２０の種類を判別する（ステップＳ１０５）。制御部１５は、被写体２０の種類を判別するのにテンプレートマッチングまたは機械学習を用いてよい。制御部１５は、人、動物または物の一部を被写体２０として認識してよい。例えば、制御部１５は、人体の上半身または頭部を被写体２０として認識してよい。ステップＳ１０４とステップＳ１０５は、同時に並行して実行されてよい。すなわち、被写体像の大きさ及び被写体２０の種類は、同時に判別されてよい。
【0038】
制御部１５は、ステップＳ１０４で検出した被写体像の大きさに基づいて、被写体２０までの距離（第２の距離）を推定する（ステップＳ１０６）。制御部１５は、被写体２０までの距離を推定するとき、ステップＳ１０５で判別した被写体２０の種類を考慮することができる。
【0039】
例えば、図３に示すように、魚である被写体２０を撮像した場合を想定する。図３において、下側部分は、被写体２０を撮像装置１０で撮像した場合の被写体２０と撮像装置１０との配置を示す上面図である。図３の上側部分は、撮像された画像３０を示す図である。距離を推定しようとする被写体２０のおよその大きさがわかっている場合、画像３０における被写体像３１の大きさから被写体２０までの距離を推定することができる。
【0040】
例えば、撮像装置１０の水平画角φと、画像３０の横幅ａに占める被写体像３１の横幅ｂの比率とから、撮像装置１０からみた被写体２０の水平方向の視野角θを算出することができる。図３の場合、撮像装置１０から被写体２０までの距離ｙは、
ｙ＝ｘ／２ｔａｎ（θ／２）
により算出することができる。ここで、ｘは被写体２０の水平方向（長手方向）の長さである。ｘの値は、被写体２０である特定の種類の魚の標準的な長手方向の長さを使用することができる。
ｙ＝ｘ／２ｔａｎ（θ／２）
により算出することができる。ここで、ｘは被写体２０の水平方向（長手方向）の長さである。ｘの値は、被写体２０である特定の種類の魚の標準的な長手方向の長さを使用することができる。
【0041】
上記例では、制御部１５は、被写体像３１の横幅ｂを用いて、被写体２０までの距離を推定するものとした。制御部１５は、被写体２０の大きさとして、画像３０中の被写体像３１の縦方向の長さ、または、最も長い方向の長さである長手方向の長さを用いてよい。制御部１５は、画像３０に占める被写体像３１の特定の方向の長さに代えて、画像３０に占める被写体像３１の面積を用いて被写体２０までの距離を推定してよい。被写体像３１の面積は、被写体像３１を含む仮想的な長方形の枠３２の面積としてよい。また、制御部１５は、画像３０に含まれる、被写体２０である人または物の一部の画像を用いて、被写体２０までの距離を推定してよい。例えば、制御部１５は、画像３０に含まれる人の頭部の大きさと記憶部１７に記憶された人の頭部の標準的な大きさとから、被写体２０までの距離を推定してよい。
【0042】
制御部１５は、ステップＳ１０６で推定した被写体２０までの距離（第２の距離）を用いて、ステップＳ１０３で推定した被写体２０までの距離（第１の距離）の妥当性を評価する（ステップＳ１０７）。
【0043】
一実施形態において、制御部１５は、第１の距離と前記第２の距離との比較に基づいて、第１の距離の妥当性を判断する。制御部１５は、第１の距離が第２の距離に対して所定の範囲内にある場合に、第１の距離を妥当であると判断してよい。制御部１５は、第１の距離が第２の距離に対して所定の範囲内にない場合に、第１の距離を妥当でないと判断してよい。所定の範囲は、第２の距離からの差、または、第２の距離に対する割合により定義されてよい。
【0044】
他の実施形態において、制御部１５は、後述するように、第１の距離、第２の距離、および、他の関連するパラメータを入力データとする機械学習により、第１の距離の妥当性を判定してよい。制御部１５は、第１の距離が妥当ではないと判断した場合（ステップＳ１０７：Ｎｏ）、後述するステップＳ１０８～Ｓ１１０を実行して、さらに被写体２０までの距離を推定する。制御部１５は、第１の距離が妥当であると判断した場合（ステップＳ１０７：Ｙｅｓ）、被写体２０までの距離として第１の距離を決定する（ステップＳ１１１）。
【0045】
（機械学習による推定：学習フェーズ）
制御部１５は、ステップＳ１０３において機械学習を用いて被写体２０までの距離（第１の距離）を推定することができる。図４は、機械学習の学習フェーズにおいて第１の機械学習モデルである学習済みモデルを生成するフローを説明する図である。以下の図４－６において、角のない枠は処理を示す。四角い枠は各処理の間で受け渡されるデータまたはプログラムを示す。図４のフローは、予め図１に示す撮像装置１０とは別のコンピュータによって実行される。
制御部１５は、ステップＳ１０３において機械学習を用いて被写体２０までの距離（第１の距離）を推定することができる。図４は、機械学習の学習フェーズにおいて第１の機械学習モデルである学習済みモデルを生成するフローを説明する図である。以下の図４－６において、角のない枠は処理を示す。四角い枠は各処理の間で受け渡されるデータまたはプログラムを示す。図４のフローは、予め図１に示す撮像装置１０とは別のコンピュータによって実行される。
【0046】
まず、多数の撮像装置１０について種々の条件で撮像を行い、撮像時のレンズ１１ａの推定位置、撮像時の温度、撮像時の加速度、撮像装置１０に固有な個体調整値、および、撮像時の被写体２０までの距離の情報が収集される。レンズ１１ａの推定位置は、温度、加速度および撮像装置１０の個体差等を考慮しない、アクチュエータ１３の駆動信号のみから推定されるレンズ１１ａの推定位置である。撮像装置１０がＶＣＭを用いてレンズ１１ａの位置の調整を行う場合、撮像時のレンズ１１ａの推定位置はＶＣＭに印加される電流値に置き換えてよい。
【0047】
次に、収集された学習用データにより、レンズ推定位置、温度、加速度および個体調整値を入力（説明変数）とし、被写体２０までの距離を出力（目的変数）とする機械学習を実行して、学習済みモデルが生成される。機械学習の手法としては、回帰分析、決定木、ニューラルネットワークおよびディープラーニング等の種々の公知の手法を用いてよい。一実施形態において、回帰分析手法、特に、Ｘｇｂｏｏｓｔが用いられる。Ｘｇｂｏｏｓｔを用いることにより推論の精度を高めることができる。生成された学習済みモデルは、各撮像装置１０の記憶部１７に記憶されてよい。
【0048】
（機械学習による推定：推論フェーズ）
次に、図５を用いて、撮像装置１０の被写体２０までの距離を推定する際のデータの流れについて説明する。図５の上段のフローに示されるように、一実施形態において、制御部１５は、被写体２０を撮像するとき、入力データとしてレンズ推定位置、温度、加速度および個体調整値を取得する。この処理は、図２のステップＳ１０２に対応する。
次に、図５を用いて、撮像装置１０の被写体２０までの距離を推定する際のデータの流れについて説明する。図５の上段のフローに示されるように、一実施形態において、制御部１５は、被写体２０を撮像するとき、入力データとしてレンズ推定位置、温度、加速度および個体調整値を取得する。この処理は、図２のステップＳ１０２に対応する。
【0049】
制御部１５は、予め記憶部１７に記憶された学習済みモデルに対して、レンズ推定値、温度、加速度および個体調整値を入力して、被写体２０までの距離（第１の距離）の推論を行う。この処理は、図２のステップＳ１０３に対応する。
【0050】
一方、制御部１５は、図５の下段のフローに示されるように、撮像素子１２から画像３０を取得し、画像３０に含まれる被写体像３１に対する物体認識を行って、被写体２０の大きさおよび被写体２０の種別を認識する。この処理は、図２のステップＳ１０４およびＳ１０５に対応する。制御部１５は、認識した被写体２０の大きさに基づいて、被写体２０までの距離（第２の距離）を推定する。被写体２０までの距離の推定には、被写体２０の種別が考慮されてよい。この処理は、図２のステップＳ１０６に対応する。
【0051】
制御部１５は、画像３０から推定した被写体２０までの距離（第２の距離）を用いて、機械学習により推定した被写体２０までの距離（第１の距離）の妥当性を判定する。この処理は、図２のステップＳ１０７に対応する。一実施形態において、妥当性の判定には、図５の上段のフローで入力データとして取得したレンズ推定位置、温度、加速度および個体調整値の少なくとも一つ以上が考慮されてよい。
【0052】
一実施形態において、妥当性の判定においても、機械学習が用いられてよい。機械学習は、第１の距離および第２の距離を含むデータを入力とし、判定結果の妥当性有りおよび妥当性無しに対応する２値を出力とする学習用データを用いて行うことができる。入力データは、さらに、レンズ推定位置、温度、加速度および個体調整値の少なくとも一つ以上を含んでよい。妥当性の判定の学習には、ロジスティック回帰モデルを用いることができる。この場合、記憶部１７は、予め他のコンピュータ等で生成された妥当性の判定のための第２の機械学習モデルを記憶してよい。制御部１５は、第２の機械学習モデルを用いて、妥当性判定の結果を確率として出力してよい。制御部１５は、妥当性が所定の確率以上のとき、第１の距離を妥当であると判定してよい。
【0053】
（第１の距離が妥当でない場合の処理）
図２のステップＳ１０８に戻り、ステップＳ１０７で第１の距離が妥当ではないと判定された場合の処理について説明する。ステップＳ１０８～Ｓ１１０の処理におけるデータのフローが図６に示される。
図２のステップＳ１０８に戻り、ステップＳ１０７で第１の距離が妥当ではないと判定された場合の処理について説明する。ステップＳ１０８～Ｓ１１０の処理におけるデータのフローが図６に示される。
【0054】
まず、制御部１５は、複数回オートフォーカス動作をさせる（ステップＳ１０８）。すなわち、制御部１５は、アクチュエータ１３を駆動して複数回被写体２０の像を合焦させ、それぞれの被写体２０の合焦により複数のレンズ１１ａの推定位置の情報を含む入力データを取得する。複数回は、例えば３回とすることができるが、これに限られない。入力データは、さらに、温度、加速度、および、個体調整値の情報を含んでよい。
【0055】
次に、制御部１５は、取得した複数の入力データのそれぞれに対して統計処理を行う（ステップＳ１０９）。例えば、制御部１５は、入力データに含まれる各データの平均値を算出する。統計処理は、平均値を算出する処理に限られない。制御部１５は、入力データに含まれる各データの中央値を算出してもよい。あるいは、制御部１５は、入力データに含まれる各データの最大値と最小値を削除して、残りのデータの平均値を算出してよい。
【0056】
制御部１５は、複数の入力データから統計処理された入力データを、図４に示した予め生成された学習済みモデルに対する入力データとして用いて、被写体２０までの距離を推定する（ステップＳ１１０）。したがって、ステップＳ１１０で推定された被写体２０までの距離は、複数回のオートフォーカスの動作の結果得られたデータを反映したものである。ステップＳ１１１において、ステップＳ１１０で推定された距離が、被写体２０までの距離として決定される。
【0057】
（測定例）
図７は、Ｘｇｂｏｏｓｔにより生成した学習済みモデルに対して撮像装置１０から取得した入力データを入力して、被写体２０までの距離の推定を行った結果であって、妥当性の評価を行う前の被写体２０までの距離の推定値を示す図である。すなわち、図７の推定距離は、ステップＳ１０６において推定された被写体２０までの距離（第１の距離）である。実際の距離が長くなるほど、推論の結果取得される推定距離のばらつきが大きくなる。例えば、実際の距離が８０ｃｍの場合、推定距離は約６５ｃｍから約９５ｃｍの間にばらついている。また、この図によれば、第１の距離が８０ｃｍと推定された場合でも、実際の距離は６０ｃｍから１００ｃｍまでの可能性があることを示す。
図７は、Ｘｇｂｏｏｓｔにより生成した学習済みモデルに対して撮像装置１０から取得した入力データを入力して、被写体２０までの距離の推定を行った結果であって、妥当性の評価を行う前の被写体２０までの距離の推定値を示す図である。すなわち、図７の推定距離は、ステップＳ１０６において推定された被写体２０までの距離（第１の距離）である。実際の距離が長くなるほど、推論の結果取得される推定距離のばらつきが大きくなる。例えば、実際の距離が８０ｃｍの場合、推定距離は約６５ｃｍから約９５ｃｍの間にばらついている。また、この図によれば、第１の距離が８０ｃｍと推定された場合でも、実際の距離は６０ｃｍから１００ｃｍまでの可能性があることを示す。
【0058】
図８は、第１の距離が妥当でないと判断されたときに、精度を向上させるためのステッップＳ１０８からＳ１１０の処理を実行した場合に得られる被写体２０までの距離の分布を示す図である。図８の横軸は、実際の距離である。縦軸は、被写体２０までの推定距離である。図８の推定距離は、ステップＳ１１１において決定された被写体２０までの距離である。この図によれば、図７の場合と比べ、実際の距離に対する推定距離のばらつきが顕著に小さくなる。図８からわかるように、決定された推定距離は実際の距離に精度よく対応している。
【0059】
以上説明したように、本開示の撮像装置１０は、被写体像３１の大きさに基づいて推定した被写体２０までの距離（第１の距離）の妥当性を判定することができる。これによって、オートフォーカス機構を用いた被写体２０までの距離測定の信頼性を向上させることができる。また、被写体２０までの推定距離が妥当でないと判断した場合、制御部１５がオートフォーカス機構に複数回被写体２０の像を合焦させ、それぞれの合焦により得られるレンズ１１ａの推定位置を統計処理して、被写体２０までの距離を推定するようにした。これによって、さらに被写体２０までの距離の推定精度を向上させることができる。
【0060】
さらに、本開示の撮像装置１０によれば、温度、加速度および個体調整値などのパラメータを入力データとする機械学習により被写体２０までの距離を推定するようにしたので、これらのパラメータの変化が距離推定に与える影響を反映することができる。なお、レンズ１１ａの推定位置以外の入力データは、温度、加速度および個体調整値に限られない。入力データとしては、被写体２０までの距離の推定に影響を与えると推定される任意のパラメータが使用されうる。
【0061】
また、本開示の実施形態では、学習用データに対してＡＩによる回帰分析手法であるＸｇｂｏｏｓｔを使用して学習済みモデルを生成するようにした。Ｘｇｂｏｏｓｔは、データを細分化し傾向を分析するため高い推論の精度を得ることができる。したがって、被写体２０までの距離の推定精度をさらに向上させることができる。
【0062】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部またはステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。本開示に係る実施形態は、装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
【符号の説明】
【0063】
１０ 撮像装置
１１ レンズユニット
１２ 撮像素子（撮像部）
１３ アクチュエータ（オートフォーカス機構）
１４ 信号処理部
１５ 制御部
１７ 記憶部
１８ 加速度センサ
１９ 温度センサ
２０ 被写体
３０ 画像
３１ 被写体像
３２ 枠
１１ レンズユニット
１２ 撮像素子（撮像部）
１３ アクチュエータ（オートフォーカス機構）
１４ 信号処理部
１５ 制御部
１７ 記憶部
１８ 加速度センサ
１９ 温度センサ
２０ 被写体
３０ 画像
３１ 被写体像
３２ 枠
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】