ホーム > 特許ランキング > 浜松ホトニクス株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-104391焦点位置推定方法、焦点位置推定プログラム、焦点位置推定システム、モデル生成方法、モデル生成プログラム、モデル生成システム及び焦点位置推定モデル
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024104391
(43)【公開日】2024-08-05
(54)【発明の名称】焦点位置推定方法、焦点位置推定プログラム、焦点位置推定システム、モデル生成方法、モデル生成プログラム、モデル生成システム及び焦点位置推定モデル
(51)【国際特許分類】
G06T 7/00 20170101AFI20240729BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2023008567
(22)【出願日】2023-01-24
(71)【出願人】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(72)【発明者】
【氏名】竹嶋 智親
(72)【発明者】
【氏名】伊藤 朱里
(72)【発明者】
【氏名】樋口 貴文
(72)【発明者】
【氏名】橋本 容範
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA18
5L096CA04
5L096CA06
5L096DA01
5L096FA32
5L096FA66
5L096FA69
5L096HA11
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
【課題】 画像に基づく焦点位置の推定を、画像の位置に応じて行う。
【解決手段】 焦点位置推定方法は、推定対象画像に対応する合焦時の焦点位置を推定する方法であって、推定対象画像を取得する推定対象画像取得ステップ（Ｓ０１）と、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定ステップ（Ｓ０２）とを含む。
【選択図】 図２１
【解決手段】 焦点位置推定方法は、推定対象画像に対応する合焦時の焦点位置を推定する方法であって、推定対象画像を取得する推定対象画像取得ステップ（Ｓ０１）と、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定ステップ（Ｓ０２）とを含む。
【選択図】 図２１
【特許請求の範囲】
【請求項1】
推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定方法であって、
推定対象画像を取得する推定対象画像取得ステップと、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定ステップと、
を含む焦点位置推定方法。
推定対象画像を取得する推定対象画像取得ステップと、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定ステップと、
を含む焦点位置推定方法。
【請求項2】
前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項１に記載の焦点位置推定方法。
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項１に記載の焦点位置推定方法。
【請求項3】
前記焦点位置推定モデルは、
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである請求項２に記載の焦点位置推定方法。
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである請求項２に記載の焦点位置推定方法。
【請求項4】
前記焦点位置推定ステップにおいて、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像の特徴量を取得して、前記焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである請求項２又は３に記載の焦点位置推定方法。
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである請求項２又は３に記載の焦点位置推定方法。
【請求項5】
前記特徴量出力モデルは、
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである請求項４に記載の焦点位置推定方法。
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである請求項４に記載の焦点位置推定方法。
【請求項6】
前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定する請求項１又は２に記載の焦点位置推定方法。
【請求項7】
前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御する請求項１又は２に記載の焦点位置推定方法。
【請求項8】
前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力する請求項１又は２に記載の焦点位置推定方法。
【請求項9】
前記推定対象画像取得ステップにおいて、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、
前記焦点位置推定ステップにおいて、前記推定対象画像取得ステップにおいて取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する請求項１又は２に記載の焦点位置推定方法。
前記焦点位置推定ステップにおいて、前記推定対象画像取得ステップにおいて取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する請求項１又は２に記載の焦点位置推定方法。
【請求項10】
コンピュータを、推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムとして機能させる焦点位置推定プログラムであって、
当該コンピュータを、
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
として機能させる焦点位置推定プログラム。
当該コンピュータを、
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
として機能させる焦点位置推定プログラム。
【請求項11】
前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項１０に記載の焦点位置推定プログラム。
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項１０に記載の焦点位置推定プログラム。
【請求項12】
推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムであって、
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
を備える焦点位置推定システム。
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
を備える焦点位置推定システム。
【請求項13】
前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項１２に記載の焦点位置推定システム。
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項１２に記載の焦点位置推定システム。
【請求項14】
画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成方法であって、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
を含むモデル生成方法。
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
を含むモデル生成方法。
【請求項15】
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する請求項１４に記載のモデル生成方法。
【請求項16】
前記学習ステップにおいて、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する請求項１４又は１５に記載のモデル生成方法。
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する請求項１４又は１５に記載のモデル生成方法。
【請求項17】
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行う請求項１６に記載のモデル生成方法。
【請求項18】
コンピュータを、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムとして機能させるモデル生成プログラムであって、
当該コンピュータを、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
として機能させるモデル生成プログラム。
当該コンピュータを、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
として機能させるモデル生成プログラム。
【請求項19】
画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムであって、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
を含むモデル生成システム。
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
を含むモデル生成システム。
【請求項20】
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力するようコンピュータを機能されるための焦点位置推定モデル。
【請求項21】
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項２０に記載の焦点位置推定モデル。
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである請求項２０に記載の焦点位置推定モデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定方法、焦点位置推定プログラム及び焦点位置システム、合焦時の焦点位置の推定に用いられる焦点位置推定モデルを生成するモデル生成方法、モデル生成プログラム及びモデル生成システム、並びに焦点位置推定モデルに関する。
【背景技術】
【0002】
従来、スライドガラスを撮像（スキャン）して得られた画像を、仮想的な顕微鏡画像として用いるバーチャルスライドスキャナが用いられている。このような装置では、焦点位置がサンプルにあった状態で撮像が行われる必要がある。これに対して、サンプルを撮像した画像に基づいて適切な焦点位置を推定することが提案されている。例えば、特許文献１には、機械学習アルゴリズムを用いた推定が示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－５０７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に示される従来の方法では、１つの画像全体に対して１つの焦点位置が推定される。しかしながら、画像に写ったサンプル等の対象物に凹凸又は傾きがある場合、焦点が合う焦点位置（Ｚ位置）は、画像における位置（ＸＹ位置）によって異なる。そのような場合、上記の従来の方法で推定される画像全体の１つの焦点位置は、必ずしも適切なものではない。
【0005】
本発明は、上記に鑑みてなされたものであり、画像に基づく焦点位置の推定を、画像の位置に応じて行うことができる焦点位置推定方法、焦点位置推定プログラム、焦点位置推定システム、モデル生成方法、モデル生成プログラム、モデル生成システム及び焦点位置推定モデルを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明に係る焦点位置推定方法は、推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定方法であって、推定対象画像を取得する推定対象画像取得ステップと、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定ステップと、を含む。
【0007】
本発明に係る焦点位置推定方法では、焦点位置推定モデルが用いられて、推定対象画像における位置に応じた合焦時の焦点位置が推定される。このように本発明に係る焦点位置推定方法によれば、画像に基づく焦点位置の推定を、画像の位置に応じて行うことができる。
【0008】
焦点位置推定方法において、焦点位置推定モデルは、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、によって生成されたものであることとしてもよい。この構成によれば、学習用焦点情報が生成されて機械学習の訓練が行われて生成された焦点位置推定モデルが用いられて、推定対象画像における位置に応じた合焦時の焦点位置が推定される。これによって、画像に基づく焦点位置の推定を適切かつ確実に行うことができる。
【0009】
焦点位置推定モデルは、学習用焦点情報生成ステップにおいて、訓練途中の焦点位置推定モデルを用いて取得した情報によって示される複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて学習用焦点情報を生成して生成されたものであることとしてもよい。この構成によれば、画像に基づく焦点位置の推定をより適切かつ確実に行うことができる。
【0010】
位置推定ステップにおいて、画像に基づく情報を入力して、焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像の特徴量を取得して、焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、特徴量出力モデルは、学習ステップにおいて、訓練途中の焦点位置推定モデルを用いて取得した、複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものであることとしてもよい。この構成によれば、特徴量出力モデルが用いられて推定対象画像の特徴量が取得されて、特徴量から推定対象画像における位置に応じた合焦時の焦点位置が推定される。特徴量が用いられる推定が行われることで、画像に基づく焦点位置の推定を更に適切かつ確実に行うことができる。
【0011】
特徴量出力モデルは、学習ステップにおいて、２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものであることとしてもよい。この構成によれば、画像に基づく焦点位置の推定をより適切かつ確実に行うことができる。
【0012】
焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定することとしてもよい。この構成によれば、推定対象画像に写った撮像対象物の傾斜を適切に推定することができる。
【0013】
焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御することとしてもよい。この構成によれば、撮像対象物を適切に撮像することができる。例えば、全ての位置で焦点があった画像を取得することができる。
【0014】
焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力することとしてもよい。この構成によれば、推定対象画像における位置に応じた合焦状態を把握することができる。例えば、推定対象画像における焦点があった位置、及び焦点があっていない位置を把握することができる。
【0015】
推定対象画像取得ステップにおいて、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、焦点位置推定ステップにおいて、推定対象画像取得ステップにおいて取得された複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成することとしてもよい、この構成によれば、適切な画像を取得することができる。例えば、全ての位置で焦点があった画像を取得することができる。
【0016】
ところで、本発明は、上記のように焦点位置推定方法の発明として記述できる他に、以下のように焦点位置推定プログラム及び焦点位置推定システムの発明としても記述することができる。これらはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【0017】
本発明に係る焦点位置推定プログラムは、コンピュータを、推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムとして機能させる焦点位置推定プログラムであって、当該コンピュータを、推定対象画像を取得する推定対象画像取得手段と、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、として機能させる。
【0018】
焦点位置推定プログラムにおいて、焦点位置推定モデルは、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、によって生成されたものであることとしてもよい。
【0019】
本発明に係る焦点位置推定システムは、推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムであって、推定対象画像を取得する推定対象画像取得手段と、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、を備える。
【0020】
焦点位置推定システムにおいて、焦点位置推定モデルは、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、によって生成されたものであることとしてもよい。
【0021】
上記の目的を達成するために、本発明に係るモデル生成方法は、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成方法であって、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、を含む。
【0022】
本発明に係るモデル生成方法によれば、学習用焦点情報が生成されて機械学習の訓練が行われて焦点位置推定モデルが生成される。生成された焦点位置推定モデルが用いられて、推定対象画像における位置に応じた合焦時の焦点位置が推定される。このように本発明に係るモデル生成方法によれば、画像に基づく焦点位置の推定を、画像の位置に応じて行うことができる。
【0023】
学習用焦点情報生成ステップにおいて、訓練途中の焦点位置推定モデルを用いて取得した情報によって示される複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて学習用焦点情報を生成することとしてもよい。この構成によれば、画像に基づく焦点位置の推定をより適切かつ確実に行うことができる焦点位置推定モデルが生成される。
【0024】
学習ステップにおいて、画像に基づく情報を入力して、焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、学習ステップにおいて、訓練途中の焦点位置推定モデルを用いて取得した、複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習を行って特徴量出力モデルを生成することとしてもよい。この構成よれば、推定対象画像における位置に応じた合焦時の焦点位置の推定に用いられる特徴量を出力する特徴量出力モデルが生成される。特徴量が用いられる推定が行われることで、画像に基づく焦点位置の推定を更に適切かつ確実に行うことができる。
【0025】
学習ステップにおいて、２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うこととしてもよい。この構成によれば、画像に基づく焦点位置の推定をより適切かつ確実に行うことができる。
【0026】
ところで、本発明は、上記のようにモデル生成方法の発明として記述できる他に、以下のようにモデル生成プログラム及びモデル生成システムの発明としても記述することができる。これらはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【0027】
本発明に係るモデル生成プログラムは、コンピュータを、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムとして機能させるモデル生成プログラムであって、当該コンピュータを、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、として機能させる。
【0028】
本発明に係るモデル生成システムは、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムであって、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、を含む。
【0029】
また、本発明に係る焦点位置推定モデル自体も、新規な構成を有する発明である。即ち、本発明に係る焦点位置推定モデルは、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力するようコンピュータを機能されるための焦点位置推定モデルである。
【0030】
焦点位置推定モデルは、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、によって生成されたものであることとしてもよい。
【発明の効果】
【0031】
本発明によれば、画像に基づく焦点位置の推定を、画像の位置に応じて行うことができる。
【図面の簡単な説明】
【0032】
【図1】本発明の実施形態に係る焦点位置推定システム及びモデル生成システムの構成を示す図である。
【図2】焦点位置推定システムにおける推定の例を示す図である。
【図3】焦点位置推定システムにおける推定の具体的態様の例を示す図である。
【図4】画像に対するフォーカルポジションマップを模式的に示す図である。
【図5】撮像対象物の傾斜の推定を説明するためのフォーカルポジションマップである。
【図6】撮像対象物の傾斜の推定を説明するための図である。
【図7】撮像対象物の傾斜の推定を説明するための図である。
【図8】撮像対象物の傾斜の推定を説明するための図である。
【図9】推定結果を用いた撮像を説明するための図である。
【図10】推定結果を用いた撮像を説明するための図である。
【図11】合焦状態を示す画像の例である。
【図12】複数の推定対象画像から１つの画像を生成する例を示す図である。
【図13】学習用画像及び推定結果のフォーカルポジションマップを示す図である。
【図14】学習用画像の切り出しを示す図である。
【図15】推定結果のフォーカルポジションマップからコレクションマップの生成を示す図である。
【図16】コレクションマップから学習用のフォーカルポジションマップの生成を示す図である。
【図17】エンコード及びデコードの訓練の繰り返しを示す図である。
【図18】機械学習の訓練によるエンコーダの生成を説明するための図である。
【図19】機械学習の訓練によるエンコーダの生成を説明するための図である。
【図20】機械学習の訓練によるデコーダの生成を説明するための図である。
【図21】本発明の実施形態に係る焦点位置推定システムで実行される処理である焦点位置推定方法を示すフローチャートである。
【図22】本発明の実施形態に係るモデル生成システムで実行される処理であるモデル生成方法を示すフローチャートである。
【図23】画素位置毎に推定される合焦時の焦点位置の例を示す図である。
【図24】推定対象画像の焦点位置と、当該推定対象画像から推定される合焦時の焦点位置とのグラフである。
【図25】エンコーダの各ブロックでの出力時の特徴量を２次元表示した例を示す図である。
【図26】本実施形態に係る推定を行った具体例を示す図である。
【図27】本実施形態に係る推定を行った具体例を示す図である。
【図28】本実施形態に係る推定を行った具体例を示す図である。
【図29】本実施形態に係る推定を行った具体例を示す図である。
【図30】本発明の実施形態に係る焦点位置推定プログラム及びモデル生成プログラムの構成を、記録媒体と共に示す図である。
【発明を実施するための形態】
【0033】
以下、図面と共に本発明に係る焦点位置推定方法、焦点位置推定プログラム、焦点位置推定システム、モデル生成方法、モデル生成プログラム、モデル生成システム及び焦点位置推定モデルの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0034】
図１に本実施形態に係る焦点位置推定システム及びモデル生成プログラムであるコンピュータ１０を示す。コンピュータ１０は、機能的な構成として、焦点位置推定システム２０と、モデル生成システム３０とを含む。焦点位置推定システム２０は、推定対象画像に対応する合焦時の焦点位置を推定するシステム（装置）である。モデル生成システム３０は、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するシステム（装置）である。焦点位置推定モデルは、焦点位置推定システム２０による推定に用いられる。
【0035】
図１に示すように、コンピュータ１０には、撮像装置４０が接続されている。撮像装置４０は、撮像等を行って画像を得る装置である。コンピュータ１０は、撮像装置４０が撮像等によって得た画像を取得する。焦点位置推定システム２０及びモデル生成システム３０は、撮像装置４０から取得した画像を用いた処理を行う。
【0036】
撮像装置４０は、例えば、半導体デバイス等のデバイスを検査する検査装置に含まれるものであってもよい。また、撮像装置４０は、スライドガラスに載せられた生体サンプルを撮像して、撮像した生体サンプルの画像を観察する観察装置であってもよい。この場合、撮像装置４０の撮像によって得られた画像は、例えば、仮想的な顕微鏡を実現するための画像となる。更に、サンプルは、半導体デバイス等のデバイスやスライドガラスに載せられた生体サンプルに限らず、撮像装置４０は、その他の用途で用いられる顕微鏡装置であってもよい。撮像装置４０自体としては、従来のものを用いることができる。また、撮像装置４０は、後述するように焦点位置推定システム２０からの制御が可能な機能を有してもよい。
【0037】
コンピュータ１０の機能によれば、撮像装置４０の撮像等によって得られた画像に対応する合焦時の焦点位置が推定される。例えば、この推定によって、撮像対象物に焦点があった状態で改めて撮像装置４０による撮像を行うことができる。あるいは、画像が、撮像対象物に焦点があった状態で撮像されたものかを把握することができる。
【0038】
なお、コンピュータ１０は、焦点位置推定システム２０及びモデル生成システム３０の処理対象となる画像を取得できればよく、撮像装置４０から直接画像を取得しなくてもよい。
【0039】
コンピュータ１０は、ＣＰＵ（Central Processing Unit）等のプロセッサ、メモリ、通信モジュール等のハードウェアを含む従来のコンピュータである。また、コンピュータ１０は、複数のコンピュータを含むコンピュータシステムであってもよい。また、コンピュータ１０は、クラウドコンピューティングで構成されていてもよい。コンピュータ１０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。コンピュータ１０と撮像装置４０とは、情報の送受信が可能なように互いに接続されている。図１では、焦点位置推定システム２０及びモデル生成システム３０は、同じコンピュータ１０によって実現されているが、別々のコンピュータ１０によって実現されてもよい。
【0040】
引き続いて、本実施形態に係るコンピュータ１０に含まれる焦点位置推定システム２０とモデル生成システム３０との機能を説明する。図１に示すように焦点位置推定システム２０は、推定対象画像取得部２１と、焦点位置推定部２２とを備えて構成される。
【0041】
推定対象画像取得部２１は、推定対象画像を取得する推定対象画像取得手段である。例えば、推定対象画像取得部２１は、撮像装置４０が撮像して得た画像を撮像装置４０から受信して取得する。推定対象画像取得部２１は、撮像装置４０から取得した画像を、焦点位置推定部２２における推定可能なサイズに分割して、分割したそれぞれの画像を推定対象画像とする。焦点位置推定部２２における推定可能なサイズについては後述する。なお、推定対象画像の取得は上記の方法で行われる必要はなく、上記以外の任意の方法で行われてもよい。推定対象画像取得部２１は、取得した推定対象画像を焦点位置推定部２２に出力する。
【0042】
焦点位置推定部２２は、焦点位置推定モデルを用いて、推定対象画像取得部２１によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段である。焦点位置推定モデルは、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力するモデルである。焦点位置推定部２２は、特徴量出力モデルを用いて、推定対象画像取得部２１によって取得された推定対象画像から、当該推定対象画像の特徴量を取得して、焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定してもよい。特徴量出力モデルは、画像に基づく情報を入力して、焦点位置推定モデルに入力される当該画像の特徴量を出力するモデルである。
【0043】
例えば、焦点位置推定部２２は、以下のように推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する。本実施形態では、焦点位置推定部２２は、推定対象画像における位置に応じた合焦時の焦点位置として、推定対象画像の画素毎の合焦時の焦点位置を推定する。図２に推定対象画像５０、及び推定対象画像５０から推定される合焦時の焦点位置を示すフォーカルポジションマップ（Focal Position Map）６０の例を示す。フォーカルポジションマップ６０は、推定対象画像５０の各画素に対応する位置の合焦時の焦点位置を有するデータである。フォーカルポジションマップ６０は、推定対象画像５０の各画素に対応する情報を有しているので、推定対象画像５０と同様のサイズの画像とすることができる。
【0044】
フォーカルポジションマップ６０は、各画素に当該画素の位置（例えば、当該画素のＸＹ位置）における合焦時の焦点位置を示す値（情報）を有している。例えば、フォーカルポジションマップ６０の各画素の値は、推定対象画像５０が撮像された際の焦点位置から、合焦時の焦点位置までの方向（画像に対して奥行方向か手前方向かの方向）及び距離を示している。当該値は、例えば、合焦時の撮像対象物の位置（焦点位置）に対応する距離（例えば、合焦時における対物レンズ等のレンズの位置から撮像対象物の位置までの距離であり、レンズの焦点距離に相当する）から、推定対象画像５０が撮像された際の撮像対象物の位置に対応する距離（推定対象画像５０の撮像時における対物レンズ等のレンズの位置から撮像対象物の位置までの距離）を引いた値である。
【0045】
即ち、この場合、当該値は、推定対象画像５０が撮像された際の焦点位置を０とした座標系における、合焦時の焦点位置を示す値となる。推定対象画像５０が撮像された際の撮像対象物の位置までの距離が、合焦時の撮像対象物の位置までの距離よりも長い場合、当該値は、マイナスとなる。推定対象画像５０が撮像された際の撮像対象物の位置までの距離が、合焦時の撮像対象物の位置までの距離よりも短い場合、当該値は、プラスとなる。合焦時の焦点位置とは、推定対象画像５０に写った撮像対象物に焦点が合う位置である。また、合焦時の撮像対象物までの距離とは、推定対象画像５０に写った撮像対象物に焦点が合った状態における、対物レンズ等のレンズの位置から撮像対象物の位置までの距離をいい、一般的に、当該レンズの焦点距離に相当する。推定対象画像５０を撮像した際のレンズ等の位置から、上記の差分だけレンズ等の位置を変更して撮像することで撮像対象物に焦点が合った画像を撮像することができる。図２に示すフォーカルポジションマップ６０は、各画素の数値を色の濃度で示している。
【0046】
フォーカルポジションマップ６０の値、即ち、撮像方向の値は、予め設定した単位の値としてもよい。例えば、予め単位長さを設定しておき（例えば、５０μｍ）、単位長さを１とした値としてもよい。以下の例についても、焦点位置を示す値等の撮像方向の値は、この数値で示す。
【0047】
従来の方法では、上述したように１つの画像全体に対して１つの焦点位置に関する情報が推定される。これに対して本実施形態では、上記のように１つの推定対象画像５０から、推定対象画像５０における位置（例えば、ＸＹ位置）に応じた合焦時の焦点位置（例えば、Ｚ位置）が推定される。これによって、１つの推定対象画像５０に写ったサンプル等の撮像対象物に凹凸又は傾きがある場合等であっても、推定対象画像５０における位置に応じた適切な合焦時の焦点位置が推定される。なお、推定される合焦時の焦点位置を示す情報は、上記のフォーカルポジションマップ６０である必要はない。
【0048】
焦点位置推定部２２は、上記の推定を特徴量出力モデルであるエンコーダ（特徴抽出層）７０、及び焦点位置推定モデルであるデコーダ（識別層）７１を用いて行う。エンコーダ７０及びデコーダ７１は、モデル生成システム３０によって生成される学習済モデルである。焦点位置推定部２２は、モデル生成システム３０によって生成されたエンコーダ７０及びデコーダ７１を予め入力して記憶しておき、推定に利用する。
【0049】
エンコーダ７０は、画像に基づく情報を入力して、デコーダ７１に入力される当該画像の特徴量を出力するモデルである。デコーダ７１からの出力である特徴量は、入力に係る画像の特徴を示す情報である。本実施形態では、当該特徴は、画像が撮像された際の焦点位置を反映したものである。即ち、エンコーダ７０は、光学的な特徴に係る光学モデルである。当該特徴量は、例えば、予め設定された次元数（例えば、１０２４次元）のベクトルである。
【0050】
エンコーダ７０は、例えば、ニューラルネットワークを含んで構成される。ニューラルネットワークは、多層のものであってもよい。即ち、エンコーダ７０及びデコーダ７１は、深層学習（ディープラーニング）によって生成されてもよい。また、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であってもよい。
【0051】
エンコーダ７０の入力層には、画像に基づく情報を入力するためのニューロンが設けられる。例えば、エンコーダ７０に入力される情報は、画像の各画素の画素値である。この場合、入力層には、画像の画素の数のニューロンが設けられ、それぞれのニューロンには対応する画素の画素値が入力される。エンコーダ７０に入力される情報に係る画像は、予め設定されたサイズの画像とされる。この画像のサイズが、焦点位置推定部２２における１度に推定可能な画像のサイズである。
【0052】
なお、エンコーダ７０に入力される情報は、画像に基づくものであれば各画素の画素値以外であってもよい。例えば、当該情報は、撮像環境による影響を軽減するために画像に対して従来の画像処理等の前処理を行って得られる、エンコーダ７０への入力用の特徴量としてもよい。このような前処理を行うことで、機械学習の効率及び生成されるエンコーダ７０の精度の向上等を図ることができる。
【0053】
エンコーダ７０の出力層には、特徴量を出力するためのニューロンが設けられる。例えば、特徴量のベクトルの次元数のニューロンが設けられる。
【0054】
デコーダ７１は、エンコーダ７０から出力される画像の特徴量を入力して、当該画像における位置に応じた合焦時の焦点位置を示す情報を出力するモデルである。デコーダ７１は、例えば、フォーカルポジションマップ６０を、合焦時の焦点位置の推定結果として出力する。あるいは、デコーダ７１は、推定対象画像５０の各画素に対応する位置の合焦時の焦点位置自体を示す情報（例えば、合焦時の焦点位置に対応する距離）を出力してもよい。また、推定対象画像５０の各画素に対応する位置について、上記の値の候補を予め設定しておき、デコーダ７１は、それらの候補について候補が妥当である度合いを示す値を出力してもよい。例えば、上記の値の候補を＋１、０、－１、－２、…として、デコーダ７１は、それぞれの候補に対して妥当である度合いを示す値を出力する。例えば、当該値が最も高い候補を上記の値とする。
【0055】
デコーダ７１は、例えば、ニューラルネットワークを含んで構成される。ニューラルネットワークは、多層のものであってもよい。即ち、デコーダ７１は、深層学習（ディープラーニング）によって生成されてもよい。また、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。
【0056】
デコーダ７１の入力層には、特徴量を入力するためのニューロンが設けられる。例えば、入力層には、エンコーダ７０の出力層に設けられたニューロンに対応するニューロンが設けられる。即ち、入力層には、エンコーダ７０の出力層に設けられた数のニューロンが設けられる。デコーダ７１の出力層には、上述した合焦時の焦点位置の推定結果を出力するためのニューロンが設けられる。例えば、出力層には、フォーカルポジションマップ６０を出力するための、推定対象画像５０の画素の数のニューロンが設けられる。
【0057】
エンコーダ７０及びデコーダ７１のより詳細な具体例を説明する。エンコーダ７０は、１５層のニューロンを有している。エンコーダ７０は、これらの層では、３ブロック毎にマックスプーリングによって解像度を１／２にし、チャンネル数を２倍にする。１ブロックは、Ｃｏｎｖ２ｄ、バッチノーマライゼーション、ＲｅＬＵで構成される。各層のチャンネル数は、入力側から順に３、６４、１２８、２５６、５１２、１０２４である。
【0058】
デコーダ７１は、全結合層の３層のニューロンを有している。デコーダ７１は、エンコーダ７０から出力される特徴量を１０２４チャンネルのブロック（最終層）出力を接続し入力する。
【0059】
又は、デコーダ７１は、１２層＋１層のニューロンを有している。デコーダ７１は、これらの層では、３ブロック毎にアップサンプリングによって解像度を２倍にし、チャンネル数を１／２にする。１ブロックは、Ｃｏｎｖ２ｄ、バッチノーマライゼーション、ＲｅＬＵで構成される。最後の１層は、６４から１への畳み込み層である。デコーダ７１は、エンコーダ７０から出力される特徴量を１０２４、５１２、２５６チャンネルのブロック出力を接続し入力する。
【0060】
なお、本実施形態とは異なり、画像における位置毎、例えば、画素毎ではなく、画像から１つの合焦時の焦点位置を推定する場合、エンコーダは畳み込み層で構成され、デコーダは全結合層で構成されることが考えられる。その場合、エンコードされた特徴量は、画像の領域の平均値（グローバル平均プーリング層によりチャンネル毎の平均空間となる）とする。そのため、画像に写った撮像対象物の凹凸又は傾斜等があると、特徴量は、撮像方向（Ｚ位置）の異なる特徴が混合し、正しい特徴を示さない。
【0061】
本実施形態では、エンコーダ７０は、グローバル平均プーリング層を有さず、空間平均せずに特徴量を出力するようにしてもよい。これによって特徴量の混合が少ない。例えば、畳み込みの局所領域レベルでの混合に留まる。
【0062】
なお、エンコーダ７０及びデコーダ７１は、ニューラルネットワーク以外によって構成されていてもよい。
【0063】
エンコーダ７０及びデコーダ７１は、特定の画像の種別用のものとしてもよい。例えば、特定の画像の種別は、撮像対象物からの放射を検出した画像（発光・発熱解析に用いられる画像）、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像（パターン解析に用いられる画像）、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像（レーザ解析に用いられる画像）であってもよい。また、画像の種別は、画像に写った撮像対象物の種別であってもよい。
【0064】
この場合、エンコーダ７０及びデコーダ７１の機械学習の訓練による生成、及びエンコーダ７０及びデコーダ７１を用いた合焦時の焦点位置の推定を行う際には、当該特定の種別の画像が用いられる。同様に、エンコーダ７０及びデコーダ７１は、特定の撮像装置４０の種別用のものとしてもよい。このように、エンコーダ７０及びデコーダ７１を、特定の画像の種別用、又は特定の撮像装置４０の種別用のものとすることで、画像の種別又は撮像装置４０の種別に応じたより適切な推定を行うことができる。但し、エンコーダ７０及びデコーダ７１は、複数の画像の種別又は撮像装置４０の種別で共通したものとしてもよい。
【0065】
エンコーダ７０及びデコーダ７１は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。エンコーダ７０及びデコーダ７１は、例えば、プロセッサ及びメモリを備えるコンピュータにて用いられ、コンピュータのプロセッサが、メモリに記憶されたモデルからの指令に従って動作する。例えば、コンピュータのプロセッサが、当該指令に従って、モデルに対して情報を入力して、モデルに応じた演算を行って、モデルから結果を出力するように動作する。具体的には、コンピュータのプロセッサが、当該指令に従って、ニューラルネットワークの入力層に情報を入力して、ニューラルネットワークにおける学習の重み付け係数等のパラメータに基づく演算を行って、ニューラルネットワークの出力層から結果を出力するように動作する。
【0066】
焦点位置推定部２２は、推定対象画像取得部２１から推定対象画像５０を入力する。焦点位置推定部２２は、推定対象画像５０に基づく情報をエンコーダ７０へ入力し、エンコーダ７０に従った演算を行って、エンコーダ７０からの出力である推定対象画像５０の特徴量を取得する。焦点位置推定部２２は、取得した特徴量をデコーダ７１へ入力し、デコーダ７１に従った演算を行って、デコーダ７１からの出力である、フォーカルポジションマップ６０を、推定対象画像５０における位置に応じた合焦時の焦点位置の推定結果として取得する。
【0067】
図３に示すように、推定対象画像５０は、撮像装置４０から取得した画像５１を分割した複数の画像（画像パッチ）であってもよい。焦点位置推定部２２は、複数の推定対象画像５０から、エンコーダ７０及びデコーダ７１を用いてフォーカルポジションマップ６０を取得する。焦点位置推定部２２は、各推定対象画像５０から取得されたフォーカルポジションマップ６０を繋ぎ合わせて（タイリングして）、撮像装置４０から取得した画像５１に対するフォーカルポジションマップ６１を生成してもよい。
【0068】
図４（ａ）に、本実施形態において取得される撮像装置４０から取得した画像５１に対するフォーカルポジションマップ６１を模式的に示す。図４（ｂ）に、本実施形態の比較例である、例えば、撮像装置４０から取得した画像５１の分割した推定対象画像５０毎に１つの合焦時の焦点位置が推定された場合のフォーカルポジションマップを模式的に示す。図４は、撮像方向（Ｚ軸方向）を側面（Ｙ軸）から見た面（ＸＺ平面）での、撮像対象物５２の位置毎の合焦時の焦点位置を示す。
【0069】
本実施形態では、画像５１の画素毎に合焦時の焦点位置が推定されるため、撮像対象物５２（サンプル）の傾き又は歪みを正しく把握（測定）することができる。本実施形態では、フォーカルポジションマップ６０によって示される撮像方向における合焦時の焦点位置が、撮像対象物の位置であるものとされる。例えば、図４（ａ）に示す例では、撮像対象物５２が中心から離れるほど反りが大きくなっているが、それを正しく把握することができる。一方で、図４（ｂ）に示す例では、合焦時の焦点位置が推定されているＸ方向の位置の間隔が大きくなっているため、撮像対象物５２の傾き又は歪みを正しく把握（測定）することができない。例えば、図４（ｂ）に示す例において、推定された合焦時の焦点位置から線形補間を行った場合、その線は撮像対象物５２からずれてしまう。
【0070】
焦点位置推定部２２は、取得したフォーカルポジションマップ６０、又は撮像装置４０から取得した画像５１に対するフォーカルポジションマップ６１を出力してもよい。例えば、焦点位置推定部２２は、これらをコンピュータ１０のユーザが認識可能な形式（例えば、表示）で出力してもよい。あるいは、焦点位置推定部２２は、これらを別の装置又はモジュールに送信してもよい。
【0071】
また、焦点位置推定部２２は、取得したフォーカルポジションマップ６０、又は撮像装置４０から取得した画像５１に対するフォーカルポジションマップ６１を、例えば、以下のように利用してもよい。
【0072】
焦点位置推定部２２は、推定した推定対象画像５０における位置に応じた合焦時の焦点位置から、当該推定対象画像５０に写った撮像対象物の傾斜を推定してもよい。例えば、焦点位置推定部２２は、以下のように推定対象画像５０に写った撮像対象物の傾斜を推定する。焦点位置推定部２２は、図５に示すようなフォーカルポジションマップ６０の各辺と平行な２つの座標軸であるＸ軸及びＹ軸毎に撮像対象物の傾きを推定する。例えば、焦点位置推定部２２は、図６に示すような、撮像方向（Ｚ軸方向）と垂直な面６２に対するＸ軸における撮像対象物の傾斜の角度θ１、及び図７に示すような、撮像方向（Ｚ軸方向）と垂直な面６２に対するＹ軸における撮像対象物の傾斜の角度θ２を推定する。
【0073】
図６には、フォーカルポジションマップ６０によって示される各画素の位置の合焦時の焦点位置を示す情報（具体的には、画像が撮像された際の焦点位置に対する合焦時の焦点位置に関する情報）を示す（行列の－２，０及び１等の値である）。図６は、撮像対象物が、Ｘ軸方向に傾斜している場合、具体的には、右側が下がっている場合の例を示している。図７は、撮像対象物が、Ｙ軸方向に傾斜している場合、具体的には、手前側が下がっている場合の例を示している。
【0074】
焦点位置推定部２２は、角度θ１及び角度θ２を以下の式によって算出する。
ここで、ｘは、フォーカルポジションマップ６０の画素の位置に応じた角度θ１の算出に用いるＸ軸方向の長さである。ｚ１は、ｘに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。ｙは、フォーカルポジションマップ６０の画素の位置に応じた角度θ２の算出に用いるＹ軸方向の長さである。ｚ２は、ｙに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。
【数1】
ここで、ｘは、フォーカルポジションマップ６０の画素の位置に応じた角度θ１の算出に用いるＸ軸方向の長さである。ｚ１は、ｘに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。ｙは、フォーカルポジションマップ６０の画素の位置に応じた角度θ２の算出に用いるＹ軸方向の長さである。ｚ２は、ｙに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。
【0075】
ｘ及びｙは、図５に示すようにフォーカルポジションマップ６０の画素の位置に基づいて定まる。例えば、ｘは、傾斜の推定に用いられるＸ軸方向に互いに離れた、予め設定された２つのフォーカルポジションマップ６０の画素Ｐａ，Ｐｂの位置のＸ軸方向の差である。即ち、ｘ＝｜Ｐｂ－Ｐａ｜（Ｘ軸成分のみ）である。ｙは、傾斜の推定に用いられるＹ軸方向に互いに離れた、予め設定された２つのフォーカルポジションマップ６０の画素Ｐａ，Ｐｃの位置のＹ軸方向の差である。即ち、ｙ＝｜Ｐｃ－Ｐａ｜（Ｘ軸成分のみ）である。傾斜の推定対象となるフォーカルポジションマップ６０の画素Ｐａ，Ｐｂ，Ｐｃは、任意に設定されればよい。
【0076】
ｚ１及びｚ２は、図６に示すようにフォーカルポジションマップ６０によって示される各画素に対応する合焦時の焦点位置から算出される。例えば、ｚ１は、上記の２つの画素Ｐａ，Ｐｂに対応する合焦時の焦点位置Ｚａ，Ｚｂの差である。即ち、ｚ１＝｜Ｚｂ－Ｚａ｜である。ｚ１は、上記の２つの画素Ｐａ，Ｐｃに対応する合焦時の焦点位置Ｚａ，Ｚｃの差である。即ち、ｚ２＝｜Ｚｃ－Ｚａ｜である。
【0077】
焦点位置推定部２２は、撮像対象物（即ち、フォーカルポジションマップ６０）の複数の位置について、傾斜を推定し、平均値又は中央値等の統計値を算出してもよい。これによって、推定する撮像対象物の傾斜の精度を向上させることができる。
【0078】
あるいは、焦点位置推定部２２は、以下のように撮像対象物の傾斜を推定してもよい。焦点位置推定部２２は、フォーカルポジションマップ６０によって示される各画素の位置の合焦時の焦点位置と各画素の位置とから、合焦時の焦点位置の最小二乗平面を算出する。この際の座標系は、例えば、フォーカルポジションマップ６０の画像の平面をＸＹ平面とし、当該平面に対する垂直の方向をＺ軸とした座標系である。焦点位置推定部２２は、図８に示す算出した最小二乗平面の法線ベクトルｎ１＝（ａ，ｂ，ｃ）を算出する。焦点位置推定部２２は、予め記憶した以下の式によって、最小二乗平面の法線ベクトルｎ１のＸＹ平面の法線ベクトルｎ２＝（０，０，１）に対する角度θを撮像対象物の傾斜として算出する。
【数2】
【0079】
焦点位置推定部２２は、フォーカルポジションマップ６０から、推定対象画像５０に写った撮像対象物の傾斜を推定するのであれば、上記以外の方法で傾斜を推定してもよい。また、焦点位置推定部２２は、上述した角度以外を撮像対象物の傾斜として推定してもよい。
【0080】
焦点位置推定部２２は、推定した撮像対象物の傾斜を示す情報を出力してもよい。例えば、焦点位置推定部２２は、これらをコンピュータ１０のユーザが認識可能な形式（例えば、表示）で出力してもよい。あるいは、焦点位置推定部２２は、これらを別の装置又はモジュールに送信してもよい。
【0081】
また、焦点位置推定部２２は、推定した撮像対象物の傾斜を撮像装置４０の制御に用いてもよい。この場合、撮像装置４０は、例えば、以下のように撮像対象物の傾斜（姿勢）を制御できるように構成されている。撮像装置４０は、撮像する際に撮像対象物を載置する部材である載置部を有している。載置部は、撮像対象物を載置する載置面の撮像方向に対する傾斜が可変であるように構成されている。即ち、撮像装置４０は、撮像対象物のチルト補正を行うことができる。撮像装置４０は、撮像対象物の傾斜を制御可能な従来のものを用いることができる。
【0082】
焦点位置推定部２２は、撮像装置４０に対して、推定した撮像対象物の傾斜が撮像の際に解消されるように制御する。具体的には、焦点位置推定部２２は、推定した撮像対象物の傾斜と逆に撮像対象物を傾斜させるように撮像装置４０を制御する。制御を受けた撮像装置４０は、例えば、載置部を動作させて撮像の際の撮像対象物の傾斜を調整する。このように焦点位置推定部２２は、撮像装置４０におけるチルト補正の制御を行う。チルト補正が行われた後に撮像装置４０が撮像対象物の撮像を行うことで、撮像対象物の傾斜が適切な状態での画像を取得することができる。また、チルト補正の制御については、コンピュータ１０のユーザが焦点位置推定部２２から出力された撮像対象物の傾斜を示す情報を確認して手動で行ってもよい。
【0083】
焦点位置推定部２２は、推定した推定対象画像５０における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像５０に写った撮像対象物の撮像時の焦点位置を制御してもよい。当該制御は、推定対象画像５０が得られた後に再度、撮像対象物を撮像する際の制御である。例えば、焦点位置推定部２２は、以下のように推定対象画像５０に写った撮像対象物の撮像時の焦点位置を制御する。
【0084】
図９に示すように、撮像装置４０は、例えば、対物レンズ４１によってスライドガラス４２上の撮像対象物５２を撮像する。図９のＺ軸及びＹ軸で示す部分は、撮像方向（Ｚ軸方向）を側面（Ｘ軸）から見た対物レンズ４１、スライドガラス４２及び撮像対象物５２であり、Ｘ軸及びＹ軸で示す部分は、撮像方向（Ｚ軸方向）上方から見たスライドガラス４２及び撮像対象物５２である。
【0085】
撮像装置４０は、例えば、以下のように撮像対象物５２に対して焦点位置を制御できるように構成されている。撮像装置４０は、対物レンズ４１の撮像方向の位置、即ち、対物レンズ４１の高さが可変であるように構成されている。また、撮像装置４０は、撮像方向（Ｚ軸方向）の垂直な面（ＸＹ平面）の位置が可変であるように構成されている。具体的には、対物レンズ４１が移動できるようになっていてもよいし、スライドガラス４２を載置する載置部が移動できるようになっていてもよいし、それらの両方でもよい。
【0086】
焦点位置推定部２２は、推定されたフォーカルポジションマップ６０（推定対象画像５０）の各画素の位置に対応する撮像対象物５２の位置５２ａの合焦時の焦点位置（例えば、図９に示す、推定対象画像５０が撮像された際の焦点位置０に対する、合焦時の焦点位置との差分である＋２）から、上述したように撮像対象物５２の傾斜を算出する。焦点位置推定部２２は、算出した撮像対象物５２の傾斜と、撮像対象物５２の各位置５２ａの合焦時の焦点位置とから、撮像対象物５２のフォーカス平面５２ｂを算出する。なお、フォーカス平面５２ｂは、傾斜を考慮しないものであってもよい。例えば、撮像対象物５２の各位置５２ａの合焦時の焦点位置の平均をフォーカス平面５２ｂとしてもよい。
【0087】
焦点位置推定部２２は、フォーカス平面５２ｂに沿って撮像対象物５２の撮像が行われるように、撮像装置４０の撮像位置（撮像方向及びＸＹ平面の位置）を制御する。制御を受けた撮像装置４０は、撮像対象物５２をスキャンして撮像を行って高倍率の画像を取得する。
【0088】
また、上記のように撮像対象物５２全体のフォーカス平面５２ｂを算出せずに、撮像対象物５２の領域を区切った部分領域５２ｃ（例えば、図１０に示す矩形の領域）を設定して、焦点位置を制御してもよい。この場合、焦点位置推定部２２は、各部分領域５２ｃについてフォーカス平面５２ｄを算出する。各部分領域５２ｃについてのフォーカス平面５２ｄの算出は、上記と同様に行われてもよいし、それ以外の方法で行われてもよい。例えば、部分領域５２ｃの中心の位置の合焦時の焦点位置を通る撮像方向（Ｚ軸方向）と垂直な面（ＸＹ平面）を当該部分領域５２ｃについてのフォーカス平面５２ｄとしてもよい。
【0089】
焦点位置推定部２２は、各部分領域５２ｃ毎のフォーカス平面５２ｄに沿って撮像対象物５２の撮像が行われるように、撮像装置４０の撮像位置（撮像方向及びＸＹ平面の位置）を制御する。制御を受けた撮像装置４０は、撮像対象物５２をスキャンして撮像を行って高倍率の画像を取得する。
【0090】
取得された画像は、従来と同様に利用されればよい。このように改めての撮像対象物５２の撮像時に推定されたフォーカルポジションマップ６０が利用されることで、容易かつ短時間で撮像対象物５２に焦点が合った画像を取得することができる。
【0091】
焦点位置推定部２２は、推定した推定対象画像５０における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像５０における位置に応じた合焦状態を示す情報を出力してもよい。例えば、焦点位置推定部２２は、以下のような情報を出力する。
【0092】
図１１に示すように、推定対象画像５０に予め合焦状態を示す複数の位置５０ａを設定しておく。設定される位置５０ａは、例えば、図１０に示す格子状の位置である。但し、設定される位置５０ａは、任意の位置でよい。また、当該位置５０ａは、一定の範囲を有する領域（フォーカス判定領域）であってもよい。焦点位置推定部２２は、フォーカルポジションマップ６０によって示される当該位置５０ａの合焦時の焦点位置を参照し、設定される位置５０ａ毎に合焦状態を判断する。判断される合焦状態は、例えば、推定対象画像５０が撮像された際の焦点位置と推定される合焦時の焦点位置とが一致している度合い、即ち、推定対象画像５０の設定される位置５０ａにおいて焦点が合っているか度合いである。
【0093】
例えば、焦点位置推定部２２は、推定対象画像５０の位置５０ａ毎に上記の度合いを示すフォーカススコア（例えば、フォーカススコアが高いほど、上記の度合いが高い）を算出する。合焦状態のフォーカススコアは、当該位置５０ａにおいて、合焦時の焦点位置が、推定対象画像５０が撮像された際の焦点位置と一致している数（例えば、フォーカルポジションマップ６０における画素の値が０となる数）の割合に応じて決定されてもよい。例えば、その割合が高いほどフォーカススコアが高くされる。あるいは、フォーカルポジションマップ６０における画素の値に重み付けして加算した値に応じて決定されてもよい。
【0094】
焦点位置推定部２２は、推定対象画像５０の位置５０ａ毎に、算出したフォーカススコアから当該位置５０ａにおいて焦点が合っているか否かを判断する。焦点位置推定部２２は、フォーカススコアが予め設定した閾値以上であった場合、当該位置５０ａにおいて焦点が合っていると判断する。焦点位置推定部２２は、フォーカススコアが予め設定した閾値未満であった場合、当該位置５０ａにおいて焦点が合っていないと判断する。
【0095】
焦点位置推定部２２は、推定対象画像５０の設定される各位置５０ａに、上記の判断結果を示す情報を重畳した画像を生成する。例えば、図１１に示すように、焦点が合っている位置５０ｂには緑色の矩形を重畳し、焦点が合っていない位置５０ｃには赤色の矩形を重畳した推定対象画像５０を生成する。焦点位置推定部２２は、生成した推定対象画像５０を合焦状態を示す情報として出力する。出力は、上述したフォーカルポジションマップ６０の出力と同様に行われればよい。
【0096】
このように示される推定対象画像５０における位置に応じた合焦状態を参照することで、適切に画像が取得されているか否かを容易に判断することができる。また、焦点が合っていない位置５０ｃについては、再度、撮像が行われてもよい。なお、推定対象画像５０における位置に応じた合焦状態を示す情報は、上記以外であってもよい。また、当該情報は、上記のように推定対象画像５０に重畳されていなくてもよく、任意の形式でよい。
【0097】
図１２に示すように、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像５０から、１つの画像５３が生成されてもよい。生成される画像５３は、画像５３中の各位置において焦点が合った（又はそれに近い）画像である。
【0098】
この場合、推定対象画像取得部２１は、図１２に示すような、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像５０を取得する。例えば、複数の推定対象画像５０は、撮像装置４０が、同一の撮像対象物に対して撮像方向（Ｚ軸方向）以外の撮像時の位置（ＸＹ）を固定して、焦点位置が異なる複数回の連続した撮像を行うことで得られる。その際、図１２に示すように、一定の間隔（ステップ）で焦点位置が異なるようにされる。焦点位置の間隔は、例えば、上述した予め設定した単位での１単位の間隔としてもよい（図１２に示す例もその間隔である）。なお、複数の推定対象画像５０に係る焦点位置の間隔は、必ずしも一定の間隔（ステップ）でなくてもよい。
【0099】
例えば、図１２に示すように、焦点位置が、＋２、＋１、０、－１及び－２とされた複数の推定対象画像５０が取得される。上記の０の焦点位置は、予め設定された基準となる焦点位置であり、それ以外の焦点位置は、上述した予め設定した単位での、０の焦点位置からのずれを示している。推定対象画像取得部２１は、複数の推定対象画像５０とあわせてそれぞれの推定対象画像５０が撮像された際の焦点位置を示す情報（例えば、上記の＋２、＋１、０、－１及び－２との情報）取得して、焦点位置推定部２２に出力する。
【0100】
焦点位置推定部２２は、推定対象画像取得部２１によって取得された複数の推定対象画像５０のうち少なくとも１つの推定対象画像５０から、当該推定対象画像５０における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像５０から１つの画像５３を生成する。
【0101】
例えば、焦点位置推定部２２は、以下のように複数の推定対象画像５０から１つの画像５３を生成する。焦点位置推定部２２は、推定対象画像取得部２１から、複数の推定対象画像５０とそれぞれの推定対象画像５０が撮像された際の焦点位置を示す情報とを入力する。焦点位置推定部２２は、入力した複数の推定対象画像５０からフォーカルポジションマップ６０を生成する。例えば、焦点位置推定部２２は、１つの推定対象画像５０、例えば、焦点位置が０の推定対象画像５０からフォーカルポジションマップ６０を生成する。
【0102】
焦点位置が異なるだけの複数の推定対象画像５０では、理論上は、どの推定対象画像５０を用いても同一のフォーカルポジションマップ６０が生成される。但し、実際の算出では、複数の推定対象画像５０毎にフォーカルポジションマップ６０がわずかに異なることが考えられるので、複数の推定対象画像５０からそれぞれフォーカルポジションマップ６０を生成して、それらの画素毎の平均を取って以降の処理に用いるフォーカルポジションマップ６０を生成してもよい。
【0103】
続いて、焦点位置推定部２２は、フォーカルポジションマップ６０の画素毎に、フォーカルポジションマップ６０によって示される合焦時の焦点位置に最も近い焦点位置に対応する推定対象画像５０から当該画素を抽出する。焦点位置推定部２２は、全ての画素に対して、上記のように複数の推定対象画像５０の何れかから画素を抽出する。焦点位置推定部２２は、複数の推定対象画像５０の何れかから抽出した画素を、画素の位置を維持したまま組み合わせて１つの画像５３を生成する。
【0104】
このように生成される各位置において焦点が合った（又はそれに近い）画像５３は、従来と同様に利用される。例えば、画像５３を仮想的な顕微鏡画像として用いる場合には、画像５３は全範囲で鮮明であるので、従来行われていた画像の位置毎に焦点が合った画像への切り替えが不要となる。これによって、仮想的な顕微鏡の実現において、データ量を低減することができる。以上が、焦点位置推定システム２０の機能である。
【0105】
図１に示すようにモデル生成システム３０は、学習用画像取得部３１と、学習用焦点情報生成部３２と、学習部３３とを備えて構成される。
【0106】
学習用画像取得部３１は、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段である。学習用画像及び合焦位置情報は、エンコーダ７０及びデコーダ７１の生成に用いられる情報である。例えば、学習用画像取得部３１は、以下のように複数の学習用画像及び合焦位置情報を取得する。
【0107】
学習用画像取得部３１は、図１３に示すような同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像８０を取得する。例えば、学習用画像取得部３１は、撮像装置４０によって撮像された画像を取得する。取得される画像は、学習用画像８０用の撮像対象物が写っているものである。学習用画像８０用の撮像対象物は、通常、撮像装置４０によって撮像されるものでもよいし、その他のものでもよい。学習用画像８０は、撮像装置４０によって撮像された画像から生成される。
【0108】
複数の学習用画像８０の元となる画像は、撮像装置４０が、同一の撮像対象物に対して撮像方向（Ｚ軸方向）以外の撮像時の位置（ＸＹ）を固定して、焦点位置が異なる複数回の連続した撮像を行うことで得られる。その際、図１３に示す複数の学習用画像８０のように、一定の間隔（ステップ）で焦点位置が異なるようにされる。焦点位置の間隔は、例えば、上述した予め設定した単位での１単位の間隔としてもよい（図１３に示す例もその間隔である）。なお、複数の学習用画像８０の元となる画像に係る焦点位置の間隔は、必ずしも一定の間隔（ステップ）でなくてもよい。
【0109】
個々の学習用画像８０は、エンコーダ７０への入力に用いられる推定対象画像５０に対応する。上述したように、エンコーダ７０へ入力される推定対象画像５０は、撮像装置４０によって撮像された画像全体ではなく、当該画像の一部である。従って、図１４に示すように、学習用画像取得部３１は、エンコーダ７０の入力に用いられる、予め設定されたサイズの部分画像（画像パッチ）である学習用画像８０を、撮像装置４０によって撮像された画像８１から切り出す。撮像装置４０によって撮像された画像８１からの切り出しは、焦点位置が異なるそれぞれの画像８１の同一の位置（ＸＹ）の領域に対して行われる。図１３に示す、同一の位置（ＸＹ）から切り出された複数の学習用画像８０は、以下に示すように機械学習の訓練の際の１つの組とされる。本実施形態では、互いに焦点位置が異なる同一の位置（ＸＹ）を撮像した複数の画像をＺスタック（Z-Stack）と呼ぶ。学習用画像取得部３１は、適切にエンコーダ７０及びデコーダ７１を生成できる程度の数の複数のＺスタックである学習用画像８０を取得する。
【0110】
撮像装置４０によって撮像された画像８１における、学習用画像８０が切り出される位置は、撮像対象物が写っている部分である。但し、学習用画像８０には、撮像対象物が写っていない学習用画像８０が含まれていてもよい。撮像装置４０によって撮像された画像８１における学習用画像８０が切り出される位置は、予め設定されていてもよい。また、撮像装置４０によって撮像された画像８１に対して画像認識を行って撮像対象物が写っていると推定される位置を学習用画像８０が切り出される位置としてもよい。なお、上述した複数の推定対象画像５０から、１つの画像５３を生成する際も、複数の推定対象画像５０を複数の学習用画像８０と同様に画像からの切り出しを行うことで生成してもよい。
【0111】
学習用画像取得部３１は、Ｚスタックの各学習用画像８０について、焦点位置を示す情報及び合焦位置情報を取得する。焦点位置を示す情報及び合焦位置情報は、図１３に示す、上述した予め設定した単位での焦点位置を示す値（＋５～－５の値）である。これらの値は、Ｚスタックの各学習用画像８０に対応付けられる。これらの値のうち±０は、合焦時の焦点位置を示すものであり、Ｚスタックのうちの焦点が合っている学習用画像８０に対応付けられる。それ以外の値は、撮像時の焦点位置に対する焦点が合っている学習用画像８０における焦点位置の方向及び距離に関する情報を示すものであり、当該情報に応じた学習用画像８０に対応付けられる。当該値は、例えば、合焦時の撮像対象物の位置に対応する距離から、推定対象画像５０が撮像された際の撮像対象物の位置に対応する距離を引いた値である。
【0112】
即ち、この場合、当該値は、焦点が合っている学習用画像８０が撮像された際の焦点位置を０とした座標系における、焦点位置を示す値となる。当該値に係る撮像対象物までの距離が、焦点が合っている学習用画像８０が撮像された際の撮像対象物までの距離よりも長い場合、当該値は、マイナスとなる。当該値に係る撮像対象物までの距離が、焦点が合っている学習用画像８０が撮像された際の撮像対象物までの距離よりも短い場合、当該値は、プラスとなる。焦点が合っている学習用画像８０が撮像された際の撮像対象物までの距離とは、学習用画像８０に写った撮像対象物に焦点が合った状態における、対物レンズ等のレンズの位置から撮像対象物の位置までの距離をいい、一般的に、当該レンズの焦点距離に相当する。合焦時の焦点位置とは、学習用画像８０に写った撮像対象物に焦点が合う位置である。
【0113】
適切な機械学習の訓練を行うため、Ｚスタックの各学習用画像８０は、焦点が合っている学習用画像８０（焦点位置が±０となる学習用画像８０）をできるだけ中央に含むものとする。即ち、Ｚスタックの各学習用画像８０に含まれる、プラスの焦点位置に対応する学習用画像８０の数と、マイナスの焦点位置に対応する学習用画像８０の数とが同程度となるようにする。なお、Ｚスタックの各学習用画像８０には、必ずしも焦点位置が±０の学習用画像８０が含まれていなくてよい。
【0114】
上述したように本実施形態では、画像における位置毎に合焦時の焦点位置が異なり得ることを考慮するものである。しかしながら、Ｚスタックに対応付けられる合焦位置情報は、学習用画像８０単位であり、学習用画像８０の位置（画素）単位ではない。予め、学習用画像８０の位置（画素）単位で適切な合焦時の焦点位置を特定することは困難である。後述するように本実施形態では、学習用画像８０単位の合焦位置情報から、画像における位置毎に合焦時の焦点位置を推定できるエンコーダ７０及びデコーダ７１を生成する。
【0115】
Ｚスタックのうち±０が対応付けられる学習用画像８０は、焦点が合った画像を特定する従来の方法、又は合焦時の焦点位置を測定する従来の方法等で予め特定されればよい。例えば、Ｚスタックの各学習用画像８０についてコントラストの評価値（例えば、周辺の画素値の差の絶対値の合計）を算出し、評価値が最も高い学習用画像８０を±０が対応付けられる学習用画像８０としてもよい。
【0116】
学習用画像取得部３１は、焦点位置を示す情報及び合焦位置情報としての予め設定した単位での焦点位置を示す値を、ユーザからの入力又は別の装置からの入力を受け付けて取得してもよい。あるいは、学習用画像取得部３１は、予めＺスタックの学習用画像８０間の焦点位置の間隔を記憶しておき、記憶した間隔と学習用画像８０自体とから自身で当該値を算出して取得してもよい。学習用画像取得部３１は、取得したＺスタック及びＺスタックに対応する焦点位置を示す情報を学習用焦点情報生成部３２及び学習部３３に出力する。
【0117】
学習用画像取得部３１は、上記の方法以外でＺスタック及びＺスタックに対応する複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得してもよい。また、取得される複数の学習用画像及び合焦位置情報は、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報であれば、上記以外の情報であってもよい。また、情報の取得方法も上記に限られない。
【0118】
学習用焦点情報生成部３２は、学習用画像取得部３１によって取得された複数の学習用画像８０それぞれに基づく情報を、訓練途中の焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像８０それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段である。学習用焦点情報生成部３２は、訓練途中の焦点位置推定モデルを用いて取得した情報によって示される複数の学習用画像８０それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像８０それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて学習用焦点情報を生成してもよい。
【0119】
例えば、学習用焦点情報生成部３２は、以下のように学習用焦点情報を生成する。学習用焦点情報は、各学習用画像８０に対応する学習用のフォーカルポジションマップ（教師画像データ）である。学習用のフォーカルポジションマップは、学習用画像８０の各画素に対応する位置の合焦時の焦点位置を有するデータである。学習用のフォーカルポジションマップは、推定対象画像５０から生成されるフォーカルポジションマップ６０と同様の形式のデータである。但し、機械学習の訓練途中においては、学習用のフォーカルポジションマップに係る合焦時の焦点位置は、必ずしも精度が高いものである必要はない。以下に示すように、学習用のフォーカルポジションマップは、エンコーダ７０及びデコーダ７１の生成の際に繰り返し生成されるが、機械学習の訓練が進むにつれて精度が高いものになっていく。
【0120】
学習用焦点情報生成部３２は、学習用画像取得部３１から、Ｚスタック及びＺスタックに対応する焦点位置を示す情報を入力する。また、学習用焦点情報生成部３２は、学習部３３から、訓練途中のエンコーダ７０及びデコーダ７１を入力する。学習用焦点情報生成部３２は、Ｚスタックの各学習用画像８０に基づく情報を訓練途中のエンコーダ７０へ入力し、訓練途中のエンコーダ７０に従った演算を行って、訓練途中のエンコーダ７０からの出力である学習用画像８０の特徴量を取得する。学習用焦点情報生成部３２は、取得した特徴量を訓練途中のデコーダ７１へ入力し、訓練途中のデコーダ７１に従った演算を行って、訓練途中のデコーダ７１からの出力である、推定結果のフォーカルポジションマップ９０を、学習用画像８０における位置に応じた合焦時の焦点位置の推定結果として取得する。図１３にＺスタックの各学習用画像８０から取得される推定結果の各フォーカルポジションマップ９０の例を示す。
【0121】
Ｚスタックの各学習用画像８０は、上述したように焦点位置が異なるだけの画像であるので、エンコーダ７０及びデコーダ７１の精度が十分であれば、取得される各フォーカルポジションマップ９０に示される合焦時の焦点位置は、同一の位置となるはずである。しかしながら、訓練途中のエンコーダ７０及びデコーダ７１の精度が十分ではないため、取得される各フォーカルポジションマップ９０に示される合焦時の焦点位置は、通常、同一の位置とはならない。学習用焦点情報生成部３２は、取得される各フォーカルポジションマップ９０から、合焦時の焦点位置が同一の位置となる学習用のフォーカルポジションマップを生成する。
【0122】
学習用焦点情報生成部３２は、Ｚスタックの各学習用画像８０について、同一のサイズの画像で全ての画素値を学習用画像８０に対応付けられた焦点位置を示す値（＋５～－５の値）とした、図１５に示すラベルマップ（論理座標マップ）８２を生成する。学習用焦点情報生成部３２は、学習用画像８０毎に、ラベルマップ８２と推定結果のフォーカルポジションマップ９０との画素値を画素毎に足し合わせてラベルコレクションマップ９１を生成する。推定結果のフォーカルポジションマップ９０は、学習用画像８０毎の座標系（学習用画像８０が撮像された際の焦点位置を基準とする座標系）のデータであるが、ラベルマップ８２と合成したラベルコレクションマップ９１は、それらの間で同一の座標系（±０の学習用画像８０の焦点位置を基準とする座標系）とすることができる。
【0123】
学習用焦点情報生成部３２は、ラベルコレクションマップ９１の画素毎に画素値の平均を算出して、各画素の画素値をその平均とするコレクションマップ９２を生成する。なお、コレクションマップ９２を生成する際には、ラベルコレクションマップ９１の画素毎の画素値の外れ値を除いてもよい。また、コレクションマップ９２を生成する際には、単なる平均ではなく、加重平均としてもよい。加重平均の重みは、予め設定されている。例えば、複数の学習用画像８０のうち、対応する焦点位置が合焦時の焦点位置とされたもの（焦点位置が±０とされたもの）と近いものに対応するラベルコレクションマップ９１の重みを強くし、離れたものに対応するラベルコレクションマップ９１の重みを弱くする。コレクションマップ９２は、訓練途中のエンコーダ７０及びデコーダ７１から推定される上記の同一の座標系での合焦時の焦点位置を示すデータ、即ち、Ｚスタックの複数の学習用画像８０に共通の１つの合焦時の焦点位置を示すデータである。
【0124】
図１６に示すように、学習用焦点情報生成部３２は、生成したコレクションマップ９２と、各ラベルマップ８２とから、ラベルマップ８２毎、即ち、学習用画像８０毎の学習用のフォーカルポジションマップ９３を生成する。学習用のフォーカルポジションマップ９３の生成は、画素毎にコレクションマップ９２の画素値からラベルマップ８２の画素値を引くことで行われる。
【0125】
学習用のフォーカルポジションマップ９３の生成は、コレクションマップ９２の生成の逆を辿る。コレクションマップ９２は、各学習用画像８０から推定したラベルコレクションマップ９１からアンサンブルで計算しているため、アンサンブル効果によって精度が高い。このコレクションマップ９２を上記のように各ラベルマップ８２に適用することで、精度の高い、即ち、より適切なエンコーダ７０及びデコーダ７１の生成に用いることができる学習用のフォーカルポジションマップ９３を生成することができる。また、上記のようにコレクションマップ９２の生成の際の外れ値の除去及び加重平均を行うことで、精度の高い学習用のフォーカルポジションマップ９３を生成することができる。
【0126】
学習用焦点情報生成部３２は、生成したコレクションマップ９２及び学習用のフォーカルポジションマップ９３を学習部３３に出力する。なお、学習用焦点情報生成部３２によって生成される学習用焦点情報は、訓練途中の学習モデルに応じた演算結果及び合焦位置情報から生成される、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示すものであれば、上記の学習用のフォーカルポジションマップ９３以外であってもよい。また、学習用焦点情報の生成は、上記以外の方法によって行われてもよい。
【0127】
学習部３３は、学習用画像取得部３１によって取得された複数の学習用画像８０それぞれに基づく情報、及び学習用焦点情報生成部３２によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段である。また、学習部３３は、画像に基づく情報を入力して、焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成してもよい。学習部３３は、訓練途中の焦点位置推定モデルを用いて取得した、複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って特徴量出力モデルを生成する。学習部３３は、２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行ってもよい。
【0128】
学習部３３は、例えば、以下のように焦点位置推定モデルであるデコーダ７１と、特徴量出力モデルであるエンコーダ７０を生成する。学習部３３によるエンコーダ７０の訓練及びデコーダ７１の訓練、並びに学習部３３によるコレクションマップ９２の更新（生成）及び学習用のフォーカルポジションマップ９３の更新（生成）は、図１７に示すように順番に繰り返し行われる。図１７に示すように、学習部３３によるエンコーダ７０及びデコーダ７１の訓練が行われる前に、学習部３３によるコレクションマップ９２の更新及び学習用のフォーカルポジションマップ９３の更新が行われる。
【0129】
学習部３３は、学習用画像取得部３１から、Ｚスタック及びＺスタックに対応する焦点位置を示す情報を入力する。学習部３３は、学習用焦点情報生成部３２から、コレクションマップ９２及び学習用のフォーカルポジションマップ９３を入力する。
【0130】
図１８に示すように、学習部３３は、入力した各情報を用いてエンコーダ７０の訓練を行う。エンコーダ７０の訓練のため、学習部３３は、Ｚスタックの各学習用画像８０から、特徴量学習用画像８３を生成する。上記のように学習用画像８０では、画像中の位置、即ち、画素毎に学習用画像８０が撮像された際の焦点位置と合焦時の焦点位置とのずれが異なっている可能性がある。特徴量学習用画像８３は、画素毎にこれらのずれが異なっていない（と推定される）画像である。即ち、特徴量学習用画像８３は、学習用画像８０の凹凸及び傾きを補正した（と考えられる）画像である。
【0131】
学習部３３は、コレクションマップ９２を参照して特徴量学習用画像８３を生成する。例えば、学習部３３は、コレクションマップ９２を参照して、画素の位置間で、学習用画像８０が撮像された際の焦点位置と合焦時の焦点位置とのずれが同一となる画素を、Ｚスタックの複数の学習用画像８０の何れかから取得して、それらを組み合わせて（再合成して）特徴量学習用画像８３を生成する。エンコーダ７０の訓練では、上記のずれを特徴量学習用画像８３に対する撮像時の１つの焦点位置とする。図１８に示すように、学習部３３は、１つのＺスタックから、撮像時の焦点位置が異なる複数の特徴量学習用画像８３を生成する。なお、特徴量学習用画像８３は、上記以外の方法で生成されてもよい。
【0132】
また、学習部３３は、複数のＺスタックから特徴量学習用画像８３を生成する。生成する特徴量学習用画像８３には、焦点位置（上記のずれ）が同一となる複数の特徴量学習用画像８３と、焦点位置（上記のずれ）が互いに異なる複数の特徴量学習用画像８３とが含まれるようにする。図１９に、生成される特徴量学習用画像８３のイメージを示す。図１９の特徴量学習用画像８３を示した部分の縦方向は、撮像方向である。特徴量学習用画像８３は、画像中の全ての位置において当該画像が撮像された際の焦点位置と合焦時の焦点位置とのずれが同一である平面８４から切り出された部分画像（画像パッチ）と考えられる。平面８４は複数あり、一定の間隔（ステップ）（ΔＺ）で撮像時の焦点位置が異なっている。
【0133】
同一の平面８４から切り出された（と考えらえる）特徴量学習用画像８３の撮像時の焦点位置は、同一であり、異なる平面８４から切り出された（と考えらえる）特徴量学習用画像８３の撮像時の焦点位置は、互いに異なっている。
【0134】
学習部３３は、生成した複数の特徴量学習用画像８３から選択した２つの特徴量学習用画像８３を１つのセットとして用いて、エンコーダ７０の機械学習の訓練を行う。機械学習の訓練に用いられるセットには、互いに同一の焦点位置に係る特徴量学習用画像８３のセットと、互いに異なる焦点位置に係る特徴量学習用画像８３のセットとの両方が含まれるようにする。特徴量学習用画像８３のセットの選択は、上記の条件を満たすように予め設定された方法で行われればよい。
【0135】
学習部３３は、選択したセットの特徴量学習用画像８３に基づく情報を、エンコーダ７０への入力として機械学習の訓練を行う。図１９に示すように１つのセットの特徴量学習用画像８３それぞれをエンコーダ７０に入力すると、特徴量学習用画像８３それぞれについて特徴量が出力として得られる。図１９では、特徴量であるベクトルの各要素の値を棒グラフで示している。この際、一方の特徴量学習用画像８３を入力するエンコーダ７０を学習対象として、もう一方の特徴量学習用画像８３を入力するエンコーダ７０を比較対象とする。但し、これらのエンコーダ７０は、訓練途中の同一のものである。
【0136】
学習部３３は、特徴量学習用画像８３の焦点位置に応じて、出力される２つの特徴量を比較して比較結果に基づいて機械学習の訓練を行う。学習部３３は、２つの特徴量学習用画像８３の焦点位置が互いに同一の焦点位置である（即ち、同一平面である）場合、当該２つの特徴量学習用画像８３の特徴量の差分が小さくなるように機械学習を行う。学習部３３は、２つの特徴量学習用画像８３の焦点位置が互いに異なる焦点位置である（即ち、Ｚ位置が異なる）場合、当該２つの特徴量学習用画像８３の特徴量の差分が大きくなるように機械学習を行う。なお、同一の平面８４から切り出された（と考えられる）２つの特徴量学習用画像８３である場合、２つの特徴量学習用画像８３の焦点位置は互いに同一の焦点位置となる。また、２つの特徴量学習用画像８３の焦点位置が互いに同一であるとみなせる程近接している場合も、２つの特徴量学習用画像８３の焦点位置は互いに同一の焦点位置であるとみなしてもよい。
【0137】
即ち、同一の焦点面にある画像から切り出された部分画像同士の特徴量は、切り出し位置によらず相関が大きくなるようにされる。一方で、異なる焦点面にある画像から切り出された部分画像同士の特徴量は、相関が小さくなるようにされる。このように機械学習の訓練が行われることで、エンコーダ７０から出力される特徴量は、焦点位置に応じた特徴を反映したものとなる。
【0138】
具体的には、２つの特徴量学習用画像８３の焦点位置が互いに同一の焦点位置である場合、学習部３３は、以下のｌｏｓｓ＿ｘｙを損失関数として機械学習を行う。
ここで、ｉ（０～ｎ）は、特徴量のベクトルの要素を示すサフィックス（添え字）である。特徴量のベクトルのチャンネル数（次元数）は、ｎ＋１である。Ｆｔ０～Ｆｔｎは、学習対象のエンコーダ７０から出力される特徴量のベクトルの各要素の値である。Ｆｃ０～Ｆｃｎは、比較対象のエンコーダ７０から出力される特徴量のベクトルの各要素の値である。ＳＤｉは、各特徴量の要素ｉについての標準偏差である。上記のように差分を標準偏差で割ってｅｒｒｏｒｉを算出することで、チャンネル毎の差分のばらつきを揃えている。損出は、各チャンネルの誤差の平均（の正の平方根）である。
【数3】
ここで、ｉ（０～ｎ）は、特徴量のベクトルの要素を示すサフィックス（添え字）である。特徴量のベクトルのチャンネル数（次元数）は、ｎ＋１である。Ｆｔ０～Ｆｔｎは、学習対象のエンコーダ７０から出力される特徴量のベクトルの各要素の値である。Ｆｃ０～Ｆｃｎは、比較対象のエンコーダ７０から出力される特徴量のベクトルの各要素の値である。ＳＤｉは、各特徴量の要素ｉについての標準偏差である。上記のように差分を標準偏差で割ってｅｒｒｏｒｉを算出することで、チャンネル毎の差分のばらつきを揃えている。損出は、各チャンネルの誤差の平均（の正の平方根）である。
【0139】
２つの特徴量学習用画像８３の焦点位置が互いに異なる焦点位置である場合、学習部３３は、以下のｌｏｓｓ＿ｚを損失関数として機械学習を行う。
即ち、この場合の損出関数は、２つの特徴量学習用画像８３の焦点位置が互いに同一の焦点位置である場合の損失関数の逆数である。損失関数に基づく機械学習自体、即ち、エンコーダ７０のパラメータの更新は、従来と同様に行われればよい。なお、損出関数は、必ずしも上記である必要はなく、上述した基準に沿ったものであればよい。
【数4】
即ち、この場合の損出関数は、２つの特徴量学習用画像８３の焦点位置が互いに同一の焦点位置である場合の損失関数の逆数である。損失関数に基づく機械学習自体、即ち、エンコーダ７０のパラメータの更新は、従来と同様に行われればよい。なお、損出関数は、必ずしも上記である必要はなく、上述した基準に沿ったものであればよい。
【0140】
学習部３３は、特徴量学習用画像８３のセットの選択と機械学習の訓練とを繰り返し行ってエンコーダ７０を生成する。例えば、学習部３３は、従来の機械学習の訓練と同様にエンコーダ７０の生成が予め設定した条件に基づいて収束するまで、あるいは予め設定された規定回数、上記の繰り返しを行ってエンコーダ７０を生成する。
【0141】
学習部３３は、機械学習で生成された既存の学習済モデルを利用してエンコーダ７０を生成してもよい。既存の学習済モデルとしては、本実施形態に係るエンコーダ７０と同様に、画像に基づく情報を入力するモデルが用いられる。即ち、本実施形態に係るエンコーダ７０と入力が共通である既存の学習済モデルを利用してもよい。既存の学習済モデルは、例えば、画像認識を行うためのモデルであり、具体的には、ＲｅｓＮｅｔ、ＶＧＧ、Ｍｏｂｉｌｅ Ｎｅｔ等である。エンコーダ７０の生成には、既存の学習済モデルの一部が用いられる。既存の学習済モデルの出力側の層を削除して、既存の学習済モデルの中間層までの部分をエンコーダ７０の生成に用いる。エンコーダ７０の生成に用いられる既存の学習済モデルには、中間層の全てが含まれていてもよいし、中間層の一部のみが含まれていてもよい。
【0142】
学習部３３は、既存の学習済モデルの上記の一部を入力して、機械学習の開始時点でのエンコーダ７０とする。即ち、学習部３３は、既存の学習済モデルの上記の一部を、エンコーダ７０の初期パラメータとして用いてファインチューニングを行う。また、学習済モデルの上記の一部の出力側に、新たな出力層を加えたものを機械学習の開始時点でのエンコーダ７０としてもよい。また、新たな出力層を加える場合、学習済モデルの上記の一部の出力側と新たな出力層との間に、新たな中間層を加えたものを機械学習の開始時点でのエンコーダ７０としてもよい。
【0143】
なお、学習部３３は、既存の学習済モデルを利用せずにエンコーダ７０を生成してもよい。例えば、従来の機械学習と同様にランダムの値を初期パラメータとしたモデルを機械学習の訓練の開始時点でのエンコーダ７０としてもよい。
【0144】
既存の学習済モデルをエンコーダ７０の生成に用いることで、以下の利点がある。学習時間を大幅に短縮することができる。少ない特徴量学習用画像８３でも精度の高いエンコーダ７０、即ち、より適切な特徴量を出力することができるエンコーダ７０を生成することができる。上述した既存の学習済モデルは、既に抽象度の低い特徴を分離する能力を獲得している。従って、新たな特徴量学習用画像８３を用いた抽象度の高い特徴を中心とした学習するだけよいためである。
【0145】
図２０に示すように、学習部３３は、入力した各情報を用いてデコーダ７１の訓練を行う。学習部３３は、学習用画像８０に基づく情報を、上記の機械学習の訓練後のエンコーダ７０に入力してエンコーダ７０に応じた演算を行って、エンコーダ７０からの出力である当該学習用画像８０の特徴量を取得する。学習部３３は、取得した特徴量をデコーダ７１への入力として、エンコーダ７０への入力に係る学習用画像８０に対応する学習用のフォーカルポジションマップ９３に基づく情報を焦点位置推定モデルの出力として機械学習の訓練を行う。学習用のフォーカルポジションマップ９３に基づく情報は、デコーダ７１からの出力に対応する情報とされる。また、上述したように学習用のフォーカルポジションマップ９３は、コレクションマップ９２からラベルマップ８２（画像パッチのＺ論理座標）を引くことで生成されたものである。
【0146】
例えば、機械学習の訓練の際のエンコーダ７０への入力は、学習用画像８０の各画素の画素値とされる。デコーダ７１がフォーカルポジションマップ６０を出力する場合には、機械学習の訓練の際のデコーダ７１からの出力は、学習用のフォーカルポジションマップ９３の各画素の画素値とされる。デコーダ７１が上述した候補毎の値を出力するものであった場合、学習用のフォーカルポジションマップ９３に基づく情報は、例えば、画素毎に学習用のフォーカルポジションマップ９３の画素値に該当する候補の値を１として、該当しない候補の値を０とした候補毎の値（画素毎のワンホットベクトル）である。学習部３３は、必要に応じて、機械学習の訓練を行う前にデコーダ７１からの出力に相当する学習用のフォーカルポジションマップ９３に基づく情報を生成する。
【0147】
機械学習の訓練自体、即ち、デコーダ７１のパラメータの更新は、従来と同様に行われればよい。例えば、図２０に示すように、学習部３３は、特徴量のデコーダ７１に入力してデコーダ７１に応じた演算を行って、デコーダ７１からの出力８５を取得する。学習部３３は、取得した出力８５と、学習用のフォーカルポジションマップ９３に基づく情報とを比較して、誤差逆伝搬によってデコーダ７１のパラメータを更新する。なお、この機械学習の訓練はデコーダ７１のみの訓練であるため、この機械学習の訓練ではエンコーダ７０のパラメータの更新は行わない。
【0148】
学習部３３は、従来の機械学習の訓練と同様にデコーダ７１の生成が予め設定した条件に基づいて収束するまで、あるいは予め設定された規定回数、機械学習の訓練の処理の繰り返しを行ってデコーダ７１を生成する。
【0149】
学習部３３は、エンコーダ７０及びデコーダ７１の訓練後、エンコーダ７０及びデコーダ７１の訓練を終了するか判断する。例えば、図１７に示す学習部３３によるエンコーダ７０の訓練及びデコーダ７１の訓練、並びに学習部３３によるコレクションマップ９２の更新（生成）及び学習用のフォーカルポジションマップ９３の更新（生成）を、は予め設定された規定回数行った場合、エンコーダ７０及びデコーダ７１の訓練を終了すると判断する。又は、上記以外の判断基準によって、エンコーダ７０及びデコーダ７１の訓練を終了すると判断してもよい。
【0150】
学習部３３は、エンコーダ７０及びデコーダ７１の訓練を終了すると判断したら、その時点でのエンコーダ７０及びデコーダ７１をモデル生成システム３０が生成する最終的なエンコーダ７０及びデコーダ７１とする。学習部３３は、訓練によって生成したエンコーダ７０及びデコーダ７１を焦点位置推定システム２０に出力する。なお、生成されたエンコーダ７０及びデコーダ７１は、本実施形態での用途以外に用いられてもよい。その場合、例えば、学習部３３は、エンコーダ７０及びデコーダ７１を用いる他の装置又はモジュールにエンコーダ７０及びデコーダ７１を送信又は出力する。あるいは、学習部３３は、コンピュータ１０又はその他の装置に生成したエンコーダ７０及びデコーダ７１を記憶させて、エンコーダ７０及びデコーダ７１を用いる他の装置又はモジュールに利用できるようにしてもよい。
【0151】
学習部３３は、エンコーダ７０及びデコーダ７１の訓練を終了しないと判断したら、訓練途中のエンコーダ７０及びデコーダ７１を学習用焦点情報生成部３２に出力する。学習用焦点情報生成部３２は、訓練途中のエンコーダ７０及びデコーダ７１を入力する。学習用焦点情報生成部３２は、入力した訓練途中のエンコーダ７０及びデコーダ７１を用いて、再度、コレクションマップ９２及び学習用のフォーカルポジションマップ９３を生成し、学習部３３に出力する。
【0152】
学習部３３は、再度、学習用焦点情報生成部３２からコレクションマップ９２及び学習用のフォーカルポジションマップ９３を入力する。学習部３３は、これらを用いて上記と同様に再度、エンコーダ７０及びデコーダ７１の訓練を行い、エンコーダ７０及びデコーダ７１の訓練を終了するか判断する。当該判断後の処理も上記と同様である。以上が、モデル生成システム３０の機能である。
【0153】
引き続いて、図２１及び図２２のフローチャートを用いて、本実施形態に係るコンピュータ１０で実行される処理（コンピュータ１０が行う動作方法）を説明する。まず、図２１のフローチャートを用いて、推定対象画像５０に対応する合焦時の焦点位置を推定する際に実行される処理、即ち、本実施形態に係る焦点位置推定システム２０で実行される処理である焦点位置推定方法を説明する。
【0154】
本処理では、まず、推定対象画像取得部２１によって、推定対象画像５０が取得される（Ｓ０１、推定対象画像取得ステップ）。推定対象画像５０は、例えば、撮像装置４０の撮像によって得られた画像から基づくものである。続いて、焦点位置推定部２２によって、エンコーダ７０及びデコーダ７１が用いられて、推定対象画像５０から、当該推定対象画像５０に対応すると共に当該推定対象画像５０における位置に応じた合焦時の焦点位置が推定される（Ｓ０２、焦点位置推定ステップ）。例えば、推定対象画像５０の画素毎に合焦時の焦点位置が推定される。
【0155】
推定された合焦時の焦点位置は、焦点位置推定部２２によって利用される（Ｓ０３、焦点位置推定ステップ）。例えば、上述したように推定対象画像５０に写った撮像対象物の傾斜の推定、推定対象画像５０に写った撮像対象物の撮像時の焦点位置の制御、推定対象画像５０における位置に応じた合焦状態を示す情報の出力、又は複数の推定対象画像５０からの１つの画像の生成に利用される。また、推定された合焦時の焦点位置を示す情報が、焦点位置推定部２２から出力されてもよい。以上が、本実施形態に係る焦点位置推定システム２０で実行される処理である焦点位置推定方法である。
【0156】
続いて、図２２のフローチャートを用いて、エンコーダ７０及びデコーダ７１を生成する際に実行される処理、即ち、本実施形態に係るモデル生成システム３０で実行される処理であるモデル生成方法を説明する。
【0157】
本処理では、まず、学習用画像取得部３１によって、それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像８０、及び当該複数の学習用画像８０に対する合焦時の焦点位置を示す合焦位置情報が取得される（Ｓ１１、学習用画像取得ステップ）。続いて、学習用焦点情報生成部３２によって、訓練途中のエンコーダ７０及びデコーダ７１が用いられて、コレクションマップ９２及び学習用のフォーカルポジションマップ９３が生成される（Ｓ１２、学習用焦点情報生成ステップ）。
【0158】
続いて、学習部３３によって、学習用画像８０及びコレクションマップ９２に基づいて、エンコーダ７０の訓練が行われる（Ｓ１３、学習ステップ）。続いて、学習部３３によって、学習用画像８０及び学習用のフォーカルポジションマップ９３に基づいて、デコーダ７１の訓練が行われる（Ｓ１４、学習ステップ）。続いて、学習部３３によって、エンコーダ７０及びデコーダ７１の訓練の終了が判断される（Ｓ１５、学習ステップ）。
【0159】
エンコーダ７０及びデコーダ７１の訓練を終了すると判断されたら（Ｓ１５のＹＥＳ）、生成されたエンコーダ７０及びデコーダ７１が、学習部３３から出力される（Ｓ１６）。生成されたエンコーダ７０及びデコーダ７１は、例えば、焦点位置推定システム２０で用いられる。
【0160】
エンコーダ７０及びデコーダ７１の訓練を終了しない判断されたら（Ｓ１５のＮＯ）、その時点の訓練途中のエンコーダ７０及びデコーダ７１が用いられて、学習用焦点情報生成部３２及び学習部３３による上記の処理（Ｓ１２～Ｓ１５）が、再度行われる。以上が、本実施形態に係るモデル生成システム３０で実行される処理であるモデル生成方法である。
【0161】
本実施形態では、画像における位置に応じた合焦時の焦点位置を示す情報を出力するデコーダ７１が用いられて、推定対象画像５０における位置に応じた合焦時の焦点位置が推定される。従って、本実施形態によれば、画像に基づく焦点位置の推定を、画像の位置に応じて行うことができる。
【0162】
また、本実施形態のように、合焦時の焦点位置の推定には、モデル生成システム３０によって生成されたデコーダ７１が用いられてもよい。これによって、画像に基づく焦点位置の推定を適切かつ確実に行うことができる。但し、推定に用いられる焦点位置推定モデルは、機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力するものであればよく、必ずしもモデル生成システム３０によって生成されたデコーダ７１でなくてもよい。
【0163】
また、本実施形態のように、本実施形態のように、合焦時の焦点位置の推定には、デコーダ７１に加えて、モデル生成システム３０によって生成されたエンコーダ７０が用いられてもよい。この構成によれば、エンコーダ７０が用いられて推定対象画像５０の特徴量が取得されて、特徴量から推定対象画像５０における位置に応じた合焦時の焦点位置が推定される。特徴量が用いられる推定が行われることで、画像に基づく焦点位置の推定を更に適切かつ確実に行うことができる。但し、合焦時の焦点位置の推定にエンコーダ７０が用いられなくてもよい。その場合、デコーダ７１は、エンコーダ７０から出力される特徴量ではない、推定対象画像５０に基づく情報を入力するものとする。
【0164】
また、本実施形態のように、推定された合焦時の焦点位置を示す情報は、推定対象画像５０に写った撮像対象物の傾斜の推定に用いられてもよい。この構成によれば、推定対象画像５０に写った撮像対象物の傾斜を適切に推定することができる。
【0165】
また、本実施形態のように、推定された合焦時の焦点位置を示す情報は、推定対象画像５０に写った撮像対象物の撮像時の焦点位置の制御に用いられてもよい。この構成によれば、撮像対象物を適切に撮像することができる。例えば、全ての位置で焦点があった画像を取得することができる。
【0166】
また、本実施形態のように、推定された合焦時の焦点位置を示す情報は、推定対象画像５０における位置に応じた合焦状態を示す情報の出力に用いられてもよい。この構成によれば、推定対象画像５０における位置に応じた合焦状態を把握することができる。例えば、推定対象画像５０における焦点があった位置、及び焦点があっていない位置を把握することができる。
【0167】
また、本実施形態のように、推定された合焦時の焦点位置を示す情報は、複数の推定対象画像５０からの１つの画像の生成に用いられてもよい。この構成によれば、適切な画像を取得することができる。例えば、全ての位置で焦点があった画像を取得することができる。但し、推定された合焦時の焦点位置を示す情報は、上述した何れかのように利用される必要はなく、任意に目的に利用されてもよい。また、推定された合焦時の焦点位置を示す情報は、焦点位置推定システム２０で利用される必要はなく、他の装置又はモジュールで利用されてもよい。
【0168】
また、本実施形態では、学習用焦点情報である学習用のフォーカルポジションマップ９３が生成されて機械学習の訓練が行われてデコーダ７１が生成される。このように生成されたデコーダ７１によって、画像に基づく焦点位置の推定を、画像の位置に応じて行うことができる。また、本実施形態に係るデコーダ７１の生成では、学習用画像８０における位置毎、例えば、学習用画像８０の画素毎の合焦時の焦点位置を予め必要とせずに、デコーダ７１を生成することができる。従って、容易にデコーダ７１を生成することができる。
【0169】
また、本実施形態のように、訓練途中のデコーダ７１を用いて得られる複数の学習用画像８０それぞれの推定結果のフォーカルポジションマップ９０から、複数の学習用画像８０に共通の１つのコレクションマップ９２を算出して、コレクションマップ９２から、複数の学習用画像８０それぞれについて学習用のフォーカルポジションマップ９３を生成してもよい。この構成によれば、訓練に用いる学習用のフォーカルポジションマップ９３をより適切なものにすることができ、焦点位置の推定をより適切かつ確実に行うことができるデコーダ７１が生成される。但し、学習用のフォーカルポジションマップ９３の生成は、学習用画像取得部３１によって取得された情報に基づいて行われればよく、上記以外の方法で行われてもよい。
【0170】
また、本実施形態のように、デコーダ７１に加えて、エンコーダ７０も生成してもよい。この構成よれば、エンコーダ７０から出力される特徴量が用いられる推定が行われることで、画像に基づく焦点位置の推定を更に適切かつ確実に行うことができる。また、本実施形態のように、学習用画像８０及びコレクションマップ９２に基づいて生成される特徴量学習用画像８３を用いた訓練が行われることで、より適切な特徴量を出力するエンコーダ７０とすることができる。
【0171】
また、特徴量学習用画像８３を生成して訓練に用いることで、上述した特徴量の混合を最小限にすることが可能である。特徴量の混合を少なくすることで高精度な機械学習の訓練が可能になる。
【0172】
また、本実施形態のように、２つの特徴量学習用画像８３が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像８３の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像８３が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像８３の特徴量の差分が大きくなるように機械学習の訓練を行うこととしてもよい。この構成によれば、エンコーダ７０から出力される特徴量をより適切なものとすることができ、その結果、画像に基づく焦点位置の推定をより適切かつ確実に行うことができる。但し、機械学習の訓練は、必ずしも上記のように行われる必要はなく、２つの特徴量学習用画像８３の特徴量の比較結果に基づいて行われればよい。また、エンコーダ７０の生成自体、必ずしも行われる必要はない。その場合、生成するデコーダ７１を、エンコーダ７０から出力される特徴量ではない、推定対象画像５０に基づく情報を入力するものとして生成すればよい。
【0173】
なお、本実施形態では、コンピュータ１０は、焦点位置推定システム２０と、モデル生成システム３０とを含むこととしたが、焦点位置推定システム２０と、モデル生成システム３０とが独立してそれぞれ実施されてもよい。
【0174】
引き続いて、本実施形態による合焦時の焦点位置の推定の具体例を説明する。図２３に、Ｚスタックの推定対象画像５０に対して、合焦時の焦点位置の推定を行った場合の画素位置毎の合焦時の焦点位置を示す。図２３において、横軸が推定対象画像５０の画素の位置を示しており、縦軸がＺスタックの焦点位置を示す。図中の太い破線が、推定される合焦時の焦点位置を示している。
【0175】
図２３に示す例では、Ｚスタックは９枚で、Ｚスタック番号４を合焦時の焦点位置とした場合、それを基準としたＺスタックのＺ位置の範囲は－３～＋５である（画素位置２，３，５，６，７も同様）。しかし、画素１の合焦時の焦点位置は、Ｚスタック番号８の位置であり、それを基準としたＺスタックのＺ位置の範囲は－７～＋１となる。同様に、画素４の合焦時の焦点位置は、Ｚスタック番号３の位置であり、それを基準としたＺスタックのＺ位置の範囲は－２～＋６となる。合焦時の焦点位置から最も離れた距離の範囲を見るとＺ位置の範囲は－７～＋６と拡張され、元々のＺスタックのＺ位置の範囲－３～＋５よりも広い情報を扱えることが分かる。
【0176】
図２４に、推定対象画像５０の焦点位置（Ｚスタック位置）と、当該推定対象画像５０から推定される合焦時の焦点位置とのグラフを示す。横軸が、推定対象画像５０の焦点位置であり、縦軸は推定対象画像５０から推定される合焦時の焦点位置である。グラフ中の１つの点は、推定対象画像５０の１つの画素に対応する。また、１つのグラフにおける点は全て、同一の推定対象画像５０の画素に対応する。グラフにおける点は、各推定対象画像５０における１０×１０の方眼状の位置から抽出した１２８×１２８の位置（画素）に対応する。
【0177】
図２４（ａ）のグラフは、本実施形態とは異なり、コレクションマップ９２を用いずに学習用のフォーカルポジションマップを全ての画素で一律の値として訓練したデコーダを用いて推定を行った場合のグラフである。図２４（ｂ）のグラフは、本実施形態の推定を行った場合のグラフである。
【0178】
理想的なグラフは、グラフ上の点が一定の幅の帯状となるものである。本実施形態に係る図２４（ｂ）のグラフの方が、図２４（ａ）のグラフに比べて理想的なものに近い。特に、Ｚスタックの端の位置での違いが大きくなっている。
【0179】
本実施形態において、一般的なＳｅｇＮｅｔ及びＵ－Ｎｅｔのように高解像度用のショートカットパスを一部使用しない理由を示す。図２５に、エンコーダ７０の各ブロックでの出力時の特徴量を次元削減表示手法ＵＭＡＰ（Uniform Manifold Approximation and Projection）で２次元表示した例を示す。なお、図のＸＹは、ＵＭＡＰの２次元であり、データ依存で比較不可である。図２５（ａ）は、エンコーダ７０の６層目１２８チャンネルの表示である。図２５（ｂ）は、エンコーダ７０の９層目２５６チャンネルの表示である。図２５（ｃ）は、エンコーダ７０の１２層目５１２チャンネルの表示である。図２５（ｄ）は、エンコーダ７０の１５層目１０２４チャンネルの表示である。
【0180】
Ｚスタックの枚数は５１枚である。表示中の濃度は、Ｚスタック番号１～５１に対応している。各画像に対して、５×５の方眼状の位置から抽出した１２８×１２８の特徴量を推測する。即ち、同一の濃度の点は２５点あり、５１階調のグラデーションとなる。
【0181】
６層目の特徴量では、画像に写った撮像対象物の構造を示す構造情報が残っているため、同一の濃さで表される特徴量が離れている箇所が多い。９，１２，１５層目では、構造情報が減り、Ｚ軸方向（撮像方向）の情報となることで、同一の濃さで表される同一画像内の別位置の特徴は近く、Ｚ軸方向に並んだ関係になっている。
【0182】
つまり、９層目以降の特徴量をショートカットパス接続することで２次元のデコードによるＺ位置情報がより空間方向にも高精度にすることが可能となる。なお、対象とする光学系の倍率及び画像の解像度等の関係で構造情報が消える層数は変動する。
【0183】
図２６に、学習用画像８０を切り出した画像の別の位置から切り出しを行って推定対象画像５０として推定を行った場合の例を示す。図２６（ａ）は、この例における推定対象画像５０である。図２６（ｂ）は、推定対象画像５０から推定されたフォーカルポジションマップ６０である。
【0184】
図２６（ｃ）及び（ｅ）のグラフは、本実施形態とは異なり、画像における位置毎、例えば、画素毎ではなく、１つの画像から１つの合焦時の焦点位置を推定した場合のグラフである。図２６（ｄ）及び（ｆ）のグラフは、本実施形態の推定を行った場合のグラフである。図２６（ｃ）及び（ｄ）のグラフにおける点は、推定対象画像５０における１０×１０の方眼状の位置から抽出した画像に対応する。図２６（ｅ）及び（ｆ）のグラフにおける点は、推定対象画像５０における画像中心付近の３か所（それぞれ同一位置）に対応する。図２６（ｃ）～（ｆ）のグラフは、図２４のグラフと同様のグラフである。
【0185】
図２７に、学習用画像８０を切り出した画像の別の位置から切り出しを行って推定対象画像５０として推定を行った場合の例を示す。図２７（ａ）は、この例における推定対象画像５０である。図２７（ｂ）は、推定対象画像５０から推定されたフォーカルポジションマップ６０である。
【0186】
図２７（ｃ）及び（ｅ）のグラフは、本実施形態とは異なり、画像における位置毎、例えば、画素毎ではなく、１つの画像から１つの合焦時の焦点位置を推定した場合のグラフである。図２７（ｄ）及び（ｆ）のグラフは、本実施形態の推定を行った場合のグラフである。図２７（ｃ）及び（ｄ）のグラフにおける点は、推定対象画像５０における１０×１０の方眼状の位置から抽出した画像に対応する。図２７（ｅ）及び（ｆ）のグラフにおける点は、推定対象画像５０における画像中心付近の３か所（それぞれ同一位置）に対応する。図２７（ｃ）～（ｆ）のグラフは、図２４のグラフと同様のグラフである。
【0187】
図２８に、学習用画像８０を切り出した画像の別の位置から切り出しを行って推定対象画像５０として推定を行った場合の例を示す。図２８（ａ）は、この例における推定対象画像５０である。図２８（ｂ）は、推定対象画像５０から推定されたフォーカルポジションマップ６０である。
【0188】
図２８（ｃ）及び（ｅ）のグラフは、本実施形態とは異なり、画像における位置毎、例えば、画素毎ではなく、１つの画像から１つの合焦時の焦点位置を推定した場合のグラフである。図２８（ｄ）及び（ｆ）のグラフは、本実施形態の推定を行った場合のグラフである。図２８（ｃ）及び（ｄ）のグラフにおける点は、推定対象画像５０における１０×１０の方眼状の位置から抽出した画像に対応する。図２８（ｅ）及び（ｆ）のグラフにおける点は、推定対象画像５０における画像中心付近の３か所（それぞれ同一位置）に対応する。図２８（ｃ）～（ｆ）のグラフは、図２４のグラフと同様のグラフである。
【0189】
図２９に、学習用画像８０とは別に撮像された推定対象画像５０を用いて推定を行った場合の例を示す。図２９（ａ）は、この例における推定対象画像５０である。図２９（ｂ）は、推定対象画像５０から推定されたフォーカルポジションマップ６０である。
【0190】
図２９（ｃ）及び（ｅ）のグラフは、本実施形態とは異なり、画像における位置毎、例えば、画素毎ではなく、１つの画像から１つの合焦時の焦点位置を推定した場合のグラフである。図２９（ｄ）及び（ｆ）のグラフは、本実施形態の推定を行った場合のグラフである。図２９（ｃ）及び（ｄ）のグラフにおける点は、推定対象画像５０における１０×１０の方眼状の位置から抽出した画像に対応する。図２９（ｅ）及び（ｆ）のグラフにおける点は、推定対象画像５０における画像中心付近の３か所（それぞれ同一位置）に対応する。図２９（ｃ）～（ｆ）のグラフは、図２４のグラフと同様のグラフである。
【0191】
【0192】
引き続いて、上述した一連の焦点位置推定システム２０及びモデル生成システム３０による処理を実行させるための焦点位置推定プログラム及びモデル生成プログラムを説明する。図３０（ａ）に示すように、焦点位置推定プログラム２００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体２１０に形成されたプログラム格納領域２１１内に格納される。記録媒体２１０は、非一時的な記録媒体であってもよい。
【0193】
焦点位置推定プログラム２００は、推定対象画像取得モジュール２０１と、焦点位置推定モジュール２０２とを備えて構成される。推定対象画像取得モジュール２０１と、焦点位置推定モジュール２０２とを実行させることにより実現される機能は、上述した焦点位置推定システム２０の推定対象画像取得部２１と、焦点位置推定部２２との機能とそれぞれ同様である。
【0194】
図３０（ｂ）に示すように、モデル生成プログラム３００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体３１０に形成されたプログラム格納領域３１１内に格納される。記録媒体３１０は、非一時的な記録媒体であってもよい。なお、焦点位置推定プログラム２００及びモデル生成プログラム３００が同一のコンピュータで実行される場合には、記録媒体３１０は、記録媒体２１０と同一であってもよい。
【0195】
モデル生成プログラム３００は、学習用画像取得モジュール３０１と、学習用焦点情報生成モジュール３０２と、学習モジュール３０３とを備えて構成される。学習用画像取得モジュール３０１と、学習用焦点情報生成モジュール３０２と、学習モジュール３０３とを実行させることにより実現される機能は、上述したモデル生成システム３０の学習用画像取得部３１と、学習用焦点情報生成部３２と、学習部３３との機能とそれぞれ同様である。
【0196】
なお、焦点位置推定プログラム２００及びモデル生成プログラム３００は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、焦点位置推定プログラム２００及びモデル生成プログラム３００の各モジュールは、１つのコンピュータでなく、複数のコンピュータの何れかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の処理が行われる。
【0197】
本開示の焦点位置推定方法、焦点位置推定プログラム、焦点位置推定システム、モデル生成方法、モデル生成プログラム、モデル生成システム及び焦点位置推定モデルは、以下の構成を有する。
［１］ 推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定方法であって、
推定対象画像を取得する推定対象画像取得ステップと、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定ステップと、
を含む焦点位置推定方法。
［２］ 前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［１］に記載の焦点位置推定方法。
［３］ 前記焦点位置推定モデルは、
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである［２］に記載の焦点位置推定方法。
［４］ 前記焦点位置推定ステップにおいて、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像の特徴量を取得して、前記焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである［２］又は［３］に記載の焦点位置推定方法。
［５］ 前記特徴量出力モデルは、
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである［４］に記載の焦点位置推定方法。
［６］ 前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定する［１］～［５］の何れかに記載の焦点位置推定方法。
［７］ 前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御する［１］～［６］の何れかに記載の焦点位置推定方法。
［８］ 前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力する［１］～［７］の何れかに記載の焦点位置推定方法。
［９］ 前記推定対象画像取得ステップにおいて、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、
前記焦点位置推定ステップにおいて、前記推定対象画像取得ステップにおいて取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する［１］～［８］の何れかに記載の焦点位置推定方法。
［１０］ コンピュータを、推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムとして機能させる焦点位置推定プログラムであって、
当該コンピュータを、
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
として機能させる焦点位置推定プログラム。
［１１］ 前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［１０］に記載の焦点位置推定プログラム。
［１１－２］ 前記焦点位置推定モデルは、
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである［１１］に記載の焦点位置推定プログラム。
［１１－３］ 前記焦点位置推定手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像の特徴量を取得して、前記焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである［１１］又は［１１－２］に記載の焦点位置推定プログラム。
［１１－４］ 前記特徴量出力モデルは、
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである［１１－３］に記載の焦点位置推定プログラム。
［１１－５］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定する［１０］～［１１－４］の何れかに記載の焦点位置推定プログラム。
［１１－６］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御する［１０］～［１１－５］の何れかに記載の焦点位置推定プログラム。
［１１－７］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力する［１０］～［１１－６］の何れかに記載の焦点位置推定プログラム。
［１１－８］ 前記焦点位置推定手段は、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、
前記焦点位置推定手段は、前記推定対象画像取得手段によって取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する［１０］～［１１－７］の何れかに記載の焦点位置推定プログラム。
［１２］ 推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムであって、
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
を備える焦点位置推定システム。
［１３］ 前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［１２］に記載の焦点位置推定システム。
［１３－２］ 前記焦点位置推定モデルは、
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである［１３］に記載の焦点位置推定システム。
［１３－３］ 前記焦点位置推定手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像の特徴量を取得して、前記焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである［１３］又は［１３－２］に記載の焦点位置推定システム。
［１３－４］ 前記特徴量出力モデルは、
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである［１３－３］に記載の焦点位置推定システム。
［１３－５］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定する［１２］～［１３－４］の何れかに記載の焦点位置推定システム。
［１３－６］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御する［１２］～［１３－５］の何れかに記載の焦点位置推定システム。
［１３－７］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力する［１２］～［１３－６］の何れかに記載の焦点位置推定システム。
［１３－８］ 前記焦点位置推定手段は、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、
前記焦点位置推定手段は、前記推定対象画像取得手段によって取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する［１２］～［１３－７］の何れかに記載の焦点位置推定システム。
［１４］ 画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成方法であって、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
を含むモデル生成方法。
［１５］ 前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［１４］に記載のモデル生成方法。
［１６］ 前記学習ステップにおいて、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する［１４］又は［１５］に記載のモデル生成方法。
［１７］ 前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行う［１６］に記載のモデル生成方法。
［１８］ コンピュータを、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムとして機能させるモデル生成プログラムであって、
当該コンピュータを、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
として機能させるモデル生成プログラム。
［１８－２］ 前記学習用焦点情報生成手段は、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［１８］に記載のモデル生成プログラム。
［１８－３］ 前記学習手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、
前記学習手段は、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する［１８］又は［１８－２］に記載のモデル生成プログラム。
［１８－４］ 前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行う［１８－３］に記載のモデル生成プログラム。
［１９］ 画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムであって、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
を含むモデル生成システム。
［１９－２］ 前記学習用焦点情報生成手段は、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［１９］に記載のモデル生成システム。
［１９－３］ 前記学習手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、
前記学習手段は、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する［１９］又は［１９－２］に記載のモデル生成システム。
［１９－４］ 前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行う［１９－３］に記載のモデル生成システム。
［２０］ 機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力するようコンピュータを機能されるための焦点位置推定モデル。
［２１］ それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［２０］に記載の焦点位置推定モデル。
［２１－２］ 前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［２１］に記載の焦点位置推定モデル。
［１］ 推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定方法であって、
推定対象画像を取得する推定対象画像取得ステップと、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定ステップと、
を含む焦点位置推定方法。
［２］ 前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［１］に記載の焦点位置推定方法。
［３］ 前記焦点位置推定モデルは、
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである［２］に記載の焦点位置推定方法。
［４］ 前記焦点位置推定ステップにおいて、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得ステップにおいて取得された推定対象画像から、当該推定対象画像の特徴量を取得して、前記焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである［２］又は［３］に記載の焦点位置推定方法。
［５］ 前記特徴量出力モデルは、
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである［４］に記載の焦点位置推定方法。
［６］ 前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定する［１］～［５］の何れかに記載の焦点位置推定方法。
［７］ 前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御する［１］～［６］の何れかに記載の焦点位置推定方法。
［８］ 前記焦点位置推定ステップにおいて、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力する［１］～［７］の何れかに記載の焦点位置推定方法。
［９］ 前記推定対象画像取得ステップにおいて、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、
前記焦点位置推定ステップにおいて、前記推定対象画像取得ステップにおいて取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する［１］～［８］の何れかに記載の焦点位置推定方法。
［１０］ コンピュータを、推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムとして機能させる焦点位置推定プログラムであって、
当該コンピュータを、
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
として機能させる焦点位置推定プログラム。
［１１］ 前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［１０］に記載の焦点位置推定プログラム。
［１１－２］ 前記焦点位置推定モデルは、
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである［１１］に記載の焦点位置推定プログラム。
［１１－３］ 前記焦点位置推定手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像の特徴量を取得して、前記焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである［１１］又は［１１－２］に記載の焦点位置推定プログラム。
［１１－４］ 前記特徴量出力モデルは、
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである［１１－３］に記載の焦点位置推定プログラム。
［１１－５］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定する［１０］～［１１－４］の何れかに記載の焦点位置推定プログラム。
［１１－６］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御する［１０］～［１１－５］の何れかに記載の焦点位置推定プログラム。
［１１－７］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力する［１０］～［１１－６］の何れかに記載の焦点位置推定プログラム。
［１１－８］ 前記焦点位置推定手段は、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、
前記焦点位置推定手段は、前記推定対象画像取得手段によって取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する［１０］～［１１－７］の何れかに記載の焦点位置推定プログラム。
［１２］ 推定対象画像に対応する合焦時の焦点位置を推定する焦点位置推定システムであって、
推定対象画像を取得する推定対象画像取得手段と、
機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定する焦点位置推定手段と、
を備える焦点位置推定システム。
［１３］ 前記焦点位置推定モデルは、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［１２］に記載の焦点位置推定システム。
［１３－２］ 前記焦点位置推定モデルは、
前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成して生成されたものである［１３］に記載の焦点位置推定システム。
［１３－３］ 前記焦点位置推定手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された推定対象画像から、当該推定対象画像の特徴量を取得して、前記焦点位置推定モデルを用いて、当該特徴量から、当該推定対象画像に対応すると共に当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、
前記特徴量出力モデルは、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行うことによって生成されたものである［１３］又は［１３－２］に記載の焦点位置推定システム。
［１３－４］ 前記特徴量出力モデルは、
前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行うことによって生成されたものである［１３－３］に記載の焦点位置推定システム。
［１３－５］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置から、当該推定対象画像に写った撮像対象物の傾斜を推定する［１２］～［１３－４］の何れかに記載の焦点位置推定システム。
［１３－６］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像に写った撮像対象物の撮像時の焦点位置を制御する［１２］～［１３－５］の何れかに記載の焦点位置推定システム。
［１３－７］ 前記焦点位置推定手段は、推定した推定対象画像における位置に応じた合焦時の焦点位置に基づいて、当該推定対象画像における位置に応じた合焦状態を示す情報を出力する［１２］～［１３－６］の何れかに記載の焦点位置推定システム。
［１３－８］ 前記焦点位置推定手段は、同一の撮像対象物に係る互いに異なる焦点位置の複数の推定対象画像を取得し、
前記焦点位置推定手段は、前記推定対象画像取得手段によって取得された前記複数の推定対象画像のうち少なくとも１つの推定対象画像から、当該推定対象画像における位置に応じた合焦時の焦点位置を推定し、推定した焦点位置に基づいて、当該複数の推定対象画像から１つの画像を生成する［１２］～［１３－７］の何れかに記載の焦点位置推定システム。
［１４］ 画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成方法であって、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
を含むモデル生成方法。
［１５］ 前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［１４］に記載のモデル生成方法。
［１６］ 前記学習ステップにおいて、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、
前記学習ステップにおいて、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する［１４］又は［１５］に記載のモデル生成方法。
［１７］ 前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行う［１６］に記載のモデル生成方法。
［１８］ コンピュータを、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムとして機能させるモデル生成プログラムであって、
当該コンピュータを、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
として機能させるモデル生成プログラム。
［１８－２］ 前記学習用焦点情報生成手段は、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［１８］に記載のモデル生成プログラム。
［１８－３］ 前記学習手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、
前記学習手段は、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する［１８］又は［１８－２］に記載のモデル生成プログラム。
［１８－４］ 前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行う［１８－３］に記載のモデル生成プログラム。
［１９］ 画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力する焦点位置推定モデルを生成するモデル生成システムであって、
それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成手段と、
前記学習用画像取得手段によって取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成手段によって生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習手段と、
を含むモデル生成システム。
［１９－２］ 前記学習用焦点情報生成手段は、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［１９］に記載のモデル生成システム。
［１９－３］ 前記学習手段は、画像に基づく情報を入力して、前記焦点位置推定モデルに入力される当該画像の特徴量を出力する特徴量出力モデルを生成し、
前記学習手段は、前記訓練途中の前記焦点位置推定モデルを用いて取得した、前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報に基づいて、それぞれ焦点位置が対応付けられたと共に、前記複数の学習用画像に応じた互いに異なる２つの特徴量学習用画像を生成して、当該２つの特徴量学習用画像の組み合わせを１つの単位として、当該２つの特徴量学習用画像に対応付けられた焦点位置に応じて、当該２つの特徴量学習用画像の特徴量を比較して、比較結果に基づいて機械学習の訓練を行って前記特徴量出力モデルを生成する［１９］又は［１９－２］に記載のモデル生成システム。
［１９－４］ 前記学習ステップにおいて、前記２つの特徴量学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が小さくなるように、かつ、当該２つの特徴量学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの特徴量学習用画像の特徴量の差分が大きくなるように機械学習の訓練を行う［１９－３］に記載のモデル生成システム。
［２０］ 機械学習の訓練によって生成されていると共に、画像に基づく情報を入力して当該画像における位置に応じた合焦時の焦点位置を示す情報を出力するようコンピュータを機能されるための焦点位置推定モデル。
［２１］ それぞれ焦点位置が対応付けられた同一の撮像対象物に係る互いに異なる焦点位置の複数の学習用画像、及び当該複数の学習用画像に対する合焦時の焦点位置を示す合焦位置情報を取得する学習用画像取得ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報を、訓練途中の前記焦点位置推定モデルに入力して当該焦点位置推定モデルに応じた演算を行って、当該複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置を示す情報を取得して、取得した情報及び前記合焦位置情報から、当該複数の学習用画像それぞれについて、機械学習の訓練に用いる画像における位置に応じた合焦時の焦点位置を示す学習用焦点情報を生成する学習用焦点情報生成ステップと、
前記学習用画像取得ステップにおいて取得された複数の学習用画像それぞれに基づく情報、及び前記学習用焦点情報生成ステップにおいて生成された当該複数の学習用画像それぞれに対応する学習用焦点情報を用いて前記焦点位置推定モデルを生成するための機械学習の訓練を行う学習ステップと、
によって生成されたものである［２０］に記載の焦点位置推定モデル。
［２１－２］ 前記学習用焦点情報生成ステップにおいて、訓練途中の前記焦点位置推定モデルを用いて取得した情報によって示される前記複数の学習用画像それぞれにおける位置に応じた合焦時の焦点位置から、学習用画像それぞれにおける位置に応じた、複数の学習用画像に共通の１つの合焦時の焦点位置を算出して、１つの合焦時の焦点位置から、当該複数の学習用画像それぞれについて前記学習用焦点情報を生成する［２１］に記載の焦点位置推定モデル。
【符号の説明】
【0198】
１０…コンピュータ、２０…焦点位置推定システム、２１…推定対象画像取得部、２２…焦点位置推定部、３０…モデル生成システム、３１…学習用画像取得部、３２…学習用焦点情報生成部、３３…学習部、４０…撮像装置、２００…焦点位置推定プログラム、２０１…推定対象画像取得モジュール、２０２…焦点位置推定モジュール、２１０…記録媒体、２１１…プログラム格納領域、３００…モデル生成プログラム、３０１…学習用画像取得モジュール、３０２…学習用焦点情報生成モジュール、３０３…学習モジュール、３１０…記録媒体、３１１…プログラム格納領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】