ホーム > 特許ランキング > 富士フイルム株式会社
特開2023-175858撮像支援装置、撮像装置、撮像支援方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175858
(43)【公開日】2023-12-12
(54)【発明の名称】撮像支援装置、撮像装置、撮像支援方法、及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231205BHJP
H04N 5/77 20060101ALI20231205BHJP
H04N 5/93 20060101ALI20231205BHJP
H04N 5/91 20060101ALI20231205BHJP
G03B 17/14 20210101ALI20231205BHJP
G03B 17/18 20210101ALI20231205BHJP
【ＦＩ】
H04N23/60
H04N5/77
H04N5/93
H04N5/91
G03B17/14
G03B17/18
【審査請求】未請求
【請求項の数】37
【出願形態】ＯＬ
(21)【出願番号】P 2023161663
(22)【出願日】2023-09-25
(62)【分割の表示】P 2022573015の分割
【原出願日】2021-12-21
(31)【優先権主張番号】P 2020219153
(32)【優先日】2020-12-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】西尾 祐也
(72)【発明者】
【氏名】入江 公祐
(57)【要約】 （修正有）
【課題】負荷の軽減に寄与することができる撮像支援装置、撮像装置、撮像支援方法及びプログラムを提供する。
【解決手段】撮像支援装置は、実行部（ＣＰＵ）と、ストレージと、を含み、ストレージは、撮像装置によって行われる撮像に関連する制御に用いられる第１学習済みモデル１０６を記憶している。実行部は、撮像装置によって撮像されることで取得された第１画像と、第１画像が取得された際の撮像装置に適用された設定値とを教師データとした学習処理を行うことで、制御に用いられる第２学習済みモデル１１８を生成し、第２画像が第１学習済みモデルに入力された場合に第１学習済みモデルから出力される第１設定値１０６Ａと第２画像が第２学習済みモデルに入力された場合に第２学習済みモデルから出力される第２設定値１１８Ａとに基づいて特定処理を行う。
【選択図】図９
【解決手段】撮像支援装置は、実行部（ＣＰＵ）と、ストレージと、を含み、ストレージは、撮像装置によって行われる撮像に関連する制御に用いられる第１学習済みモデル１０６を記憶している。実行部は、撮像装置によって撮像されることで取得された第１画像と、第１画像が取得された際の撮像装置に適用された設定値とを教師データとした学習処理を行うことで、制御に用いられる第２学習済みモデル１１８を生成し、第２画像が第１学習済みモデルに入力された場合に第１学習済みモデルから出力される第１設定値１０６Ａと第２画像が第２学習済みモデルに入力された場合に第２学習済みモデルから出力される第２設定値１１８Ａとに基づいて特定処理を行う。
【選択図】図９
【特許請求の範囲】
【請求項1】
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記メモリは、第１学習済みモデルを記憶しており、
前記第１学習済みモデルは、撮像装置によって行われる撮像に関連する制御に用いられる学習済みモデルであり、
前記プロセッサは、
前記撮像装置によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置に適用された設定値とを教師データとした学習処理を行うことで、前記制御に用いられる第２学習済みモデルを生成し、
第２画像が前記第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行う
撮像支援装置。
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記メモリは、第１学習済みモデルを記憶しており、
前記第１学習済みモデルは、撮像装置によって行われる撮像に関連する制御に用いられる学習済みモデルであり、
前記プロセッサは、
前記撮像装置によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置に適用された設定値とを教師データとした学習処理を行うことで、前記制御に用いられる第２学習済みモデルを生成し、
第２画像が前記第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行う
撮像支援装置。
【請求項2】
前記メモリに前記第２画像が記憶される
請求項１に記載の撮像支援装置。
請求項１に記載の撮像支援装置。
【請求項3】
前記プロセッサは、前記第１画像の数が第１閾値に到達したという条件を満足した場合に前記学習処理を行うことで前記第２学習済みモデルを生成する
請求項１又は請求項２に記載の撮像支援装置。
請求項１又は請求項２に記載の撮像支援装置。
【請求項4】
前記教師データは、特定時期から前記条件を満足するまでの期間に前記撮像装置によって撮像されることで取得された複数の画像と、前記複数の画像に関連しており、前記撮像装置に適用された複数の設定値とを含むデータである
請求項３に記載の撮像支援装置。
請求項３に記載の撮像支援装置。
【請求項5】
前記プロセッサは、前記条件を満足した場合に前記第１設定値と前記第２設定値とに基づいて前記特定処理を行う
請求項３又は請求項４に記載の撮像支援装置。
請求項３又は請求項４に記載の撮像支援装置。
【請求項6】
前記プロセッサは、前記第１設定値と前記第２設定値との相違度が第２閾値以上の場合に前記特定処理を行う
請求項１から請求項５の何れか一項に記載の撮像支援装置。
請求項１から請求項５の何れか一項に記載の撮像支援装置。
【請求項7】
前記プロセッサは、前記第１画像の数が第３閾値に到達したことを条件に予め定められた処理を行う
請求項１から請求項６の何れか一項に記載の撮像支援装置。
請求項１から請求項６の何れか一項に記載の撮像支援装置。
【請求項8】
前記プロセッサは、第１環境下で前記撮像が行われることで取得され、前記教師データとして用いられた前記第１画像の数が第４閾値以上であり、かつ、前記第１環境とは異なる第２環境下で前記撮像が行われることで得られ、前記教師データとして用いられた前記第１画像の数が第５閾値以下の場合に、予め定められた処理を行う
請求項１から請求項６の何れか一項に記載の撮像支援装置。
請求項１から請求項６の何れか一項に記載の撮像支援装置。
【請求項9】
前記撮像装置は、レンズ交換式撮像装置であり、
前記プロセッサは、前記第１画像に関する前記撮像に用いられた交換レンズの種類毎に前記学習処理を行うことで複数の前記第２学習済みモデルを生成する
請求項１から請求項８の何れか一項に記載の撮像支援装置。
前記プロセッサは、前記第１画像に関する前記撮像に用いられた交換レンズの種類毎に前記学習処理を行うことで複数の前記第２学習済みモデルを生成する
請求項１から請求項８の何れか一項に記載の撮像支援装置。
【請求項10】
前記撮像装置に前記交換レンズが装着された場合、
前記プロセッサは、複数の前記第２学習済みモデルのうち、前記交換レンズが装着された前記撮像装置によって撮像されることで取得された画像を前記第１画像として前記学習処理に用いることで生成した第２学習済みモデルを用いた処理を行う
請求項９に記載の撮像支援装置。
前記プロセッサは、複数の前記第２学習済みモデルのうち、前記交換レンズが装着された前記撮像装置によって撮像されることで取得された画像を前記第１画像として前記学習処理に用いることで生成した第２学習済みモデルを用いた処理を行う
請求項９に記載の撮像支援装置。
【請求項11】
前記撮像装置は、複数の撮像系を含み、
前記プロセッサは、前記第１画像に関する前記撮像に用いられた前記撮像系毎に前記学習処理を行うことで複数の前記第２学習済みモデルを生成する
請求項１から請求項１０の何れか一項に記載の撮像支援装置。
前記プロセッサは、前記第１画像に関する前記撮像に用いられた前記撮像系毎に前記学習処理を行うことで複数の前記第２学習済みモデルを生成する
請求項１から請求項１０の何れか一項に記載の撮像支援装置。
【請求項12】
複数の前記撮像系から前記撮像で使用する撮像系が選択された場合、
前記プロセッサは、複数の前記第２学習済みモデルのうち、選択された前記撮像系を使用して前記撮像装置によって撮像されることで取得された画像を前記第１画像として前記学習処理に用いることで生成した第２学習済みモデルを用いた処理を行う
請求項１１に記載の撮像支援装置。
前記プロセッサは、複数の前記第２学習済みモデルのうち、選択された前記撮像系を使用して前記撮像装置によって撮像されることで取得された画像を前記第１画像として前記学習処理に用いることで生成した第２学習済みモデルを用いた処理を行う
請求項１１に記載の撮像支援装置。
【請求項13】
前記プロセッサは、
前記複数の撮像系を無段階式に切り替える指示を受け付け、
前記指示を受け付けた場合に、切り替え前の前記撮像系に対して割り当てられている前記第２学習済みモデルの使用を切り替え後の前記撮像系においても継続する
請求項１２に記載の撮像支援装置。
前記複数の撮像系を無段階式に切り替える指示を受け付け、
前記指示を受け付けた場合に、切り替え前の前記撮像系に対して割り当てられている前記第２学習済みモデルの使用を切り替え後の前記撮像系においても継続する
請求項１２に記載の撮像支援装置。
【請求項14】
前記プロセッサは、
前記撮像装置によって前記第１画像が取得された際のシーンと選択された前記撮像系に関連する情報とを前記設定値として前記学習処理に用い、
前記第２設定値に基づいて、前記撮像装置の起動タイミングで、前記撮像装置に対して前記複数の撮像系を選択的に使用させる
請求項１２又は請求項１３に記載の撮像支援装置。
前記撮像装置によって前記第１画像が取得された際のシーンと選択された前記撮像系に関連する情報とを前記設定値として前記学習処理に用い、
前記第２設定値に基づいて、前記撮像装置の起動タイミングで、前記撮像装置に対して前記複数の撮像系を選択的に使用させる
請求項１２又は請求項１３に記載の撮像支援装置。
【請求項15】
前記特定処理は、前記制御に対して前記第２設定値を反映させる第１処理を含む処理である
請求項１から請求項１４の何れか一項に記載の撮像支援装置。
請求項１から請求項１４の何れか一項に記載の撮像支援装置。
【請求項16】
前記特定処理は、前記第２学習済みモデルを既定の記憶装置に記憶させる第２処理を含む処理である
請求項１から請求項１５の何れか一項に記載の撮像支援装置。
請求項１から請求項１５の何れか一項に記載の撮像支援装置。
【請求項17】
前記特定処理は、前記第１学習済みモデル及び前記第２学習済みモデルのうちの前記プロセッサによって受け付けられた指示に従って選択された方の出力を前記制御に対して反映させる第３処理を含む処理である
請求項１から請求項１６の何れか一項に記載の撮像支援装置。
請求項１から請求項１６の何れか一項に記載の撮像支援装置。
【請求項18】
前記特定処理は、前記第１学習済みモデルに対して第３画像を入力することで前記第１学習済みモデルから出力された第１出力結果が前記第３画像に適用されることで得られる画像に相当する第４画像、及び前記第２学習済みモデルに対して第５画像を入力することで前記第２学習済みモデルから出力された第２出力結果が前記第５画像に適用されることで得られる画像に相当する第６画像を第１ディスプレイに対して表示させるための第１データを出力する第４処理を含む処理である
請求項１から請求項１７の何れか一項に記載の撮像支援装置。
請求項１から請求項１７の何れか一項に記載の撮像支援装置。
【請求項19】
前記第１データは、前記第４画像と前記第６画像とを区別可能な態様で前記第１ディスプレイに対して表示させるためのデータを含む
請求項１８に記載の撮像支援装置。
請求項１８に記載の撮像支援装置。
【請求項20】
前記第１データは、前記第４画像と前記第１学習済みモデルを特定可能な第１学習済みモデル特定情報とを対応させた状態で前記第１ディスプレイに対して表示させ、かつ、前記第６画像と前記第２学習済みモデルを特定可能な第２学習済みモデル特定情報とを対応させた状態で前記第１ディスプレイに対して表示させるためのデータを含む
請求項１８又は請求項１９に記載の撮像支援装置。
請求項１８又は請求項１９に記載の撮像支援装置。
【請求項21】
前記第４処理は、前記第１ディスプレイに表示された前記第４画像及び前記第６画像のうち、前記プロセッサによって受け付けられた指示に従って、前記第４画像が選択された場合に前記第１学習済みモデルの出力を前記制御に対して反映させ、前記第６画像が選択された場合に前記第２学習済みモデルの出力を前記制御に対して反映させる処理を含む処理である
請求項１８から請求項２０の何れか一項に記載の撮像支援装置。
請求項１８から請求項２０の何れか一項に記載の撮像支援装置。
【請求項22】
前記特定処理は、前記第２学習済みモデルを生成した時期を特定可能な時期特定情報を第２ディスプレイに対して表示させるための第２データを出力する第５処理を含む処理である
請求項１から請求項２１の何れか一項に記載の撮像支援装置。
請求項１から請求項２１の何れか一項に記載の撮像支援装置。
【請求項23】
前記第２データは、前記時期特定情報を、前記第２学習済みモデルの出力が反映された第７画像と対応させた状態で前記第２ディスプレイに対して表示させるためのデータを含む
請求項２２に記載の撮像支援装置。
請求項２２に記載の撮像支援装置。
【請求項24】
前記特定処理は、前記第２学習済みモデルを生成した時期を特定可能な時期特定情報と前記第２学習済みモデルとを対応付ける第６処理を含む処理である
請求項１から請求項２３の何れか一項に記載の撮像支援装置。
請求項１から請求項２３の何れか一項に記載の撮像支援装置。
【請求項25】
前記特定処理は、予め定められたタイミングで前記第２学習済みモデルの出力を前記制御に対して反映させる第７処理を含む処理である
請求項１から請求項２４の何れか一項に記載の撮像支援装置。
請求項１から請求項２４の何れか一項に記載の撮像支援装置。
【請求項26】
前記予め定められたタイミングは、前記撮像装置が起動したタイミング、前記撮像装置によって撮像されることで取得された撮像画像の数が第６閾値以上になったタイミング、前記撮像装置の充電を開始したタイミング、前記撮像装置の動作モードが再生モードから設定モードに遷移したタイミング、又は前記再生モードにて前記撮像画像に対してレーティングが行われたタイミングである
請求項２５に記載の撮像支援装置。
請求項２５に記載の撮像支援装置。
【請求項27】
前記特定処理は、前記撮像装置とは異なる撮像装置である別機に対して前記第２学習済みモデルを適用する場合に、前記撮像装置の特性と前記別機の特性とに基づいて、前記第２学習済みモデルに入力されるデータ及び前記第２学習済みモデルからの出力のうちの少なくとも一方を補正する第８処理を含む処理である
請求項１から請求項２６の何れか一項に記載の撮像支援装置。
請求項１から請求項２６の何れか一項に記載の撮像支援装置。
【請求項28】
前記第２学習済みモデルには、前記第２学習済みモデルに関与する異なるイメージセンサの各々の特性を示す特性情報、及び前記異なるイメージセンサ間の個体差を示す個体差情報のうちの少なくとも１つを含むイメージセンサ情報が付随しており、
前記プロセッサは、前記撮像装置の特性及び前記別機の特性を、前記イメージセンサ情報を用いて特定する
請求項２７に記載の撮像支援装置。
前記プロセッサは、前記撮像装置の特性及び前記別機の特性を、前記イメージセンサ情報を用いて特定する
請求項２７に記載の撮像支援装置。
【請求項29】
前記特定処理は、前記第２学習済みモデルに対して第８画像を入力することで前記第２学習済みモデルから出力された第３出力結果が前記第８画像に適用されることで得られる画像に相当する第１処理済み画像と、前記第３出力結果が前記第８画像に適用されずに得られた未処理画像とを第３ディスプレイに対して表示させるための第３データを出力する第９処理を含む処理である
請求項１から請求項２８の何れか一項に記載の撮像支援装置。
請求項１から請求項２８の何れか一項に記載の撮像支援装置。
【請求項30】
前記特定処理は、前記第２学習済みモデルに対して第９画像を入力することで前記第２学習済みモデルから出力された第４出力結果が前記第９画像に適用され輝度が調整された輝度調整画像と、前記第４出力結果が前記第９画像に適用されずに得られた未処理画像とを第４ディスプレイに対して表示させるための第４データを出力する第１０処理を含む処理である
請求項１から請求項２９の何れか一項に記載の撮像支援装置。
請求項１から請求項２９の何れか一項に記載の撮像支援装置。
【請求項31】
前記第２学習済みモデルの出力を前記制御に対して反映させて撮像されることによって得られた第３処理済み画像には、前記第３処理済み画像に付随する第１付随情報が付加されており、
前記特定処理は、前記第２学習済みモデルを特定可能な情報を前記第１付随情報に含める第１１処理を含む処理である
請求項１から請求項３０の何れか一項に記載の撮像支援装置。
前記特定処理は、前記第２学習済みモデルを特定可能な情報を前記第１付随情報に含める第１１処理を含む処理である
請求項１から請求項３０の何れか一項に記載の撮像支援装置。
【請求項32】
前記第１学習済みモデルの出力を前記制御に対して反映させて撮像されることによって得られた第４処理済み画像には、前記第４処理済み画像に付随する第２付随情報が付加されており、
前記特定処理は、前記第１学習済みモデルを特定可能な情報を前記第２付随情報に含める第１２処理を含む処理である
請求項１から請求項３１の何れか一項に記載の撮像支援装置。
前記特定処理は、前記第１学習済みモデルを特定可能な情報を前記第２付随情報に含める第１２処理を含む処理である
請求項１から請求項３１の何れか一項に記載の撮像支援装置。
【請求項33】
前記設定値は、前記撮像で用いるホワイトバランスに関する設定値、前記撮像で用いる露出に関する設定値、前記撮像で用いるフォーカスに関する設定値、前記撮像で用いる彩度に関する設定値、及び前記撮像で用いる階調に関する設定値のうちの少なくとも１つである
請求項１から請求項３２の何れか一項に記載の撮像支援装置。
請求項１から請求項３２の何れか一項に記載の撮像支援装置。
【請求項34】
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記メモリは、第１学習済みモデルを記憶しており、
前記第１学習済みモデルは、撮像装置によって行われる撮像に関連する制御に用いられる学習済みモデルであり、
前記プロセッサは、
前記撮像装置によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置に適用された設定値とを教師データとした学習処理を行うことで、前記制御に用いられる第２学習済みモデルを生成し、
前記第１学習済みモデルと前記第２学習済みモデルとの相違度に基づいて特定処理を行う
撮像支援装置。
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記メモリは、第１学習済みモデルを記憶しており、
前記第１学習済みモデルは、撮像装置によって行われる撮像に関連する制御に用いられる学習済みモデルであり、
前記プロセッサは、
前記撮像装置によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置に適用された設定値とを教師データとした学習処理を行うことで、前記制御に用いられる第２学習済みモデルを生成し、
前記第１学習済みモデルと前記第２学習済みモデルとの相違度に基づいて特定処理を行う
撮像支援装置。
【請求項35】
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、
撮像装置本体と、を備え、
前記メモリは、第１学習済みモデルを記憶しており、
前記第１学習済みモデルは、前記撮像装置本体によって行われる撮像に関連する制御に用いられる学習済みモデルであり、
前記プロセッサは、
前記撮像装置本体によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置本体に適用された設定値とを教師データとした学習処理を行うことで、前記制御に用いられる第２学習済みモデルを生成し、
第２画像が前記第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行う
撮像装置。
前記プロセッサに接続又は内蔵されたメモリと、
撮像装置本体と、を備え、
前記メモリは、第１学習済みモデルを記憶しており、
前記第１学習済みモデルは、前記撮像装置本体によって行われる撮像に関連する制御に用いられる学習済みモデルであり、
前記プロセッサは、
前記撮像装置本体によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置本体に適用された設定値とを教師データとした学習処理を行うことで、前記制御に用いられる第２学習済みモデルを生成し、
第２画像が前記第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行う
撮像装置。
【請求項36】
撮像装置によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置に適用された設定値とを教師データとした学習処理を行うことで、前記撮像装置によって行われる撮像に関連する制御に用いられる第２学習済みモデルを生成すること、及び、
第２画像が第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行うこと、を含む
撮像支援方法。
第２画像が第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行うこと、を含む
撮像支援方法。
【請求項37】
コンピュータに、
撮像装置によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置に適用された設定値とを教師データとした学習処理を行うことで、前記撮像装置によって行われる撮像に関連する制御に用いられる第２学習済みモデルを生成すること、及び、
第２画像が第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行うこと、を含む処理を実行させるためのプログラム。
撮像装置によって撮像されることで取得された第１画像と、前記第１画像が取得された際の前記撮像装置に適用された設定値とを教師データとした学習処理を行うことで、前記撮像装置によって行われる撮像に関連する制御に用いられる第２学習済みモデルを生成すること、及び、
第２画像が第１学習済みモデルに入力された場合に前記第１学習済みモデルから出力される第１設定値と前記第２画像が前記第２学習済みモデルに入力された場合に前記第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行うこと、を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、撮像支援装置、撮像装置、撮像支援方法、及びプログラムに関する。
【背景技術】
【0002】
特開２０１３－２０７４７１号公報には、被写体像を撮像する撮像手段と、撮像処理設定値を用いて撮像手段による撮像処理を制御する撮像制御手段と、撮像手段により撮像された画像データに対し、画像処理設定値を用いて画像処理を行う画像処理手段と、過去の撮像処理および／または画像処理における、撮影シーンの特徴量と、撮像処理設定値および／または画像処理設定値とが関連付けられたテーブルを記憶する記憶手段と、現在の撮影における撮影シーンの特徴量を算出する特徴量算出手段と、特徴量算出手段により算出された撮影シーンの特徴量と、記憶手段に記憶されたテーブルとに基づいて、撮像処理設定値および／または画像処理設定値を取得する設定値取得手段と、を備えることを特徴するデジタルカメラが開示されている。また、特開２０１３－２０７４７１号公報に記載のデジタルカメラは、テーブルに登録された撮影シーンの特徴量と撮像処理設定値および／または画像処理設定値とをニューラルネットワークを用いて学習する学習手段をさらに備え、設定値取得手段は、学習手段による学習結果に基づいて、撮像処理設定値および／または画像処理設定値を取得する。
【0003】
特開２００５－３４７９８５号公報には、撮像処理を実行することによって画像データを生成する撮像処理実行部と、１つ以上の設定項目のそれぞれの制御用設定値に従って撮像処理を制御する実行制御部と、を備え、実行制御部は、設定項目の中の少なくとも１つの設定項目を含む設定項目セットに関して、利用可能な複数の設定値セットの中の少なくとも一部の複数の候補設定値セットに対する優先順位を、複数回の撮像処理で用いられた設定値セットに関連する履歴情報に基づいて決定する優先順位決定部と、設定項目セットの制御用設定値セットを、優先順位を利用して決定する設定条件決定部と、を備えるデジタルカメラが開示されている。また、特開２００５－３４７９８５号公報に記載のデジタルカメラは、さらに、メモリを着脱可能に保持するメモリスロットを備え、優先順位決定部は、メモリスロットを介してメモリから履歴情報を取得するとともに、取得した履歴情報を用いて優先順位を決定する着脱メモリ履歴モードを有する。
【0004】
特開２００３－２５５４２８号公報には、予め定めた複数の少なくとも明るさに関する撮影条件で撮影可能なカメラにおいて、複数の撮影条件のうち何れかの撮影条件で撮影した時の撮影回数を撮影条件毎に各々カウントするカウント手段と、カウント値に基づいてカウント値の分布を求め、求めた分布から撮影条件の傾向として主要な撮影条件範囲を求める演算手段と、主要な撮影条件範囲内で且つ予め定めた複数の撮影条件以外の特定撮影条件を定め、定めた特定撮影条件を撮影条件として撮影可能に制御する制御手段と、を備えたことを特徴とするカメラが開示されている。
【発明の概要】
【0005】
本開示の技術に係る一つの実施形態は、負荷の軽減に寄与することができる撮像支援装置、撮像装置、撮像支援方法、及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、メモリが、第１学習済みモデルを記憶しており、第１学習済みモデルが、撮像装置によって行われる撮像に関連する制御に用いられる学習済みモデルであり、プロセッサが、撮像装置によって撮像されることで取得された第１画像と、第１画像が取得された際の撮像装置に適用された設定値とを教師データとした学習処理を行うことで、制御に用いられる第２学習済みモデルを生成し、第２画像が第１学習済みモデルに入力された場合に第１学習済みモデルから出力される第１設定値と第２画像が第２学習済みモデルに入力された場合に第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行う撮像支援装置である。
【0007】
本開示の技術に係る第２の態様は、メモリに第２画像が記憶される、第１の態様に係る撮像支援装置である。
【0008】
本開示の技術に係る第３の態様は、プロセッサが、第１画像の数が第１閾値に到達したという条件を満足した場合に学習処理を行うことで第２学習済みモデルを生成する、第１の態様又は第２の態様に係る撮像支援装置である。
【0009】
本開示の技術に係る第４の態様は、教師データが、特定時期から条件を満足するまでの期間に撮像装置によって撮像されることで取得された複数の画像と、複数の画像に関連しており、撮像装置に適用された複数の設定値とを含むデータである、第３の態様に係る撮像支援装置である。
【0010】
本開示の技術に係る第５の態様は、プロセッサが、条件を満足した場合に第１設定値と第２設定値とに基づいて特定処理を行う、第３の態様又は第４の態様に係る撮像支援装置である。
【0011】
本開示の技術に係る第６の態様は、プロセッサが、第１設定値と第２設定値との相違度が第２閾値以上の場合に特定処理を行う、第１の態様から第５の態様の何れか１つの態様に係る撮像支援装置である。
【0012】
本開示の技術に係る第７の態様は、プロセッサが、第１画像の数が第３閾値に到達したことを条件に予め定められた処理を行う、第１の態様から第６の態様の何れか１つの態様に係る撮像支援装置である。
【0013】
本開示の技術に係る第８の態様は、プロセッサが、第１環境下で撮像が行われることで取得され、教師データとして用いられた第１画像の数が第４閾値以上であり、かつ、第１環境とは異なる第２環境下で撮像が行われることで得られ、教師データとして用いられた第１画像の数が第５閾値以下の場合に、予め定められた処理を行う、第１の態様から第６の態様の何れか１つの態様に係る撮像支援装置である。
【0014】
本開示の技術に係る第９の態様は、撮像装置が、レンズ交換式撮像装置であり、プロセッサが、第１画像に関する撮像に用いられた交換レンズの種類毎に学習処理を行うことで複数の第２学習済みモデルを生成する、第１の態様から第８の態様の何れか１つの態様に係る撮像支援装置である。
【0015】
本開示の技術に係る第１０の態様は、撮像装置に交換レンズが装着された場合、プロセッサが、複数の第２学習済みモデルのうち、交換レンズが装着された撮像装置によって撮像されることで取得された画像を第１画像として学習処理に用いることで生成した第２学習済みモデルを用いた処理を行う、第９の態様に係る撮像支援装置である。
【0016】
本開示の技術に係る第１１の態様は、撮像装置が、複数の撮像系を含み、プロセッサが、第１画像に関する撮像に用いられた撮像系毎に学習処理を行うことで複数の第２学習済みモデルを生成する、第１の態様から第１０の態様の何れか１つの態様に係る撮像支援装置である。
【0017】
本開示の技術に係る第１２の態様は、複数の撮像系から撮像で使用する撮像系が選択された場合、プロセッサが、複数の第２学習済みモデルのうち、選択された撮像系を使用して撮像装置によって撮像されることで取得された画像を第１画像として学習処理に用いることで生成した第２学習済みモデルを用いた処理を行う、第１１の態様に係る撮像支援装置である。
【0018】
本開示の技術に係る第１３の態様は、プロセッサが、複数の撮像系を無段階式に切り替える指示を受け付け、指示を受け付けた場合に、切り替え前の撮像系に対して割り当てられている第２学習済みモデルの使用を切り替え後の撮像系においても継続する、第１２の態様に係る撮像支援装置である。
【0019】
本開示の技術に係る第１４の態様は、プロセッサが、撮像装置によって第１画像が取得された際のシーンと選択された撮像系に関連する情報とを設定値として学習処理に用い、第２設定値に基づいて、撮像装置の起動タイミングで、撮像装置に対して複数の撮像系を選択的に使用させる、第１２の態様又は第１３の態様に係る撮像支援装置である。
【0020】
本開示の技術に係る第１５の態様は、特定処理が、制御に対して第２設定値を反映させる第１処理を含む処理である、第１の態様から第１４の態様の何れか１つの態様に係る撮像支援装置である。
【0021】
本開示の技術に係る第１６の態様は、特定処理が、第２学習済みモデルを既定の記憶装置に記憶させる第２処理を含む処理である、第１の態様から第１５の態様の何れか１つの態様に係る撮像支援装置である。
【0022】
本開示の技術に係る第１７の態様は、特定処理が、第１学習済みモデル及び第２学習済みモデルのうちのプロセッサによって受け付けられた指示に従って選択された方の出力を制御に対して反映させる第３処理を含む処理である、第１の態様から第１６の態様の何れか１つの態様に係る撮像支援装置である。
【0023】
本開示の技術に係る第１８の態様は、特定処理が、第１学習済みモデルに対して第３画像を入力することで第１学習済みモデルから出力された第１出力結果が第３画像に適用されることで得られる画像に相当する第４画像、及び第２学習済みモデルに対して第５画像を入力することで第２学習済みモデルから出力された第２出力結果が第５画像に適用されることで得られる画像に相当する第６画像を第１ディスプレイに対して表示させるための第１データを出力する第４処理を含む処理である、第１の態様から第１７の態様の何れか１つの態様に係る撮像支援装置である。
【0024】
本開示の技術に係る第１９の態様は、第１データが、第４画像と第６画像とを区別可能な態様で第１ディスプレイに対して表示させるためのデータを含む、第１８の態様に係る撮像支援装置である。
【0025】
本開示の技術に係る第２０の態様は、第１データが、第４画像と第１学習済みモデルを特定可能な第１学習済みモデル特定情報とを対応させた状態で第１ディスプレイに対して表示させ、かつ、第６画像と第２学習済みモデルを特定可能な第２学習済みモデル特定情報とを対応させた状態で第１ディスプレイに対して表示させるためのデータを含む、第１８の態様又は第１９の態様に係る撮像支援装置である。
【0026】
本開示の技術に係る第２１の態様は、第４処理が、第１ディスプレイに表示された第４画像及び第６画像のうち、プロセッサによって受け付けられた指示に従って、第４画像が選択された場合に第１学習済みモデルの出力を制御に対して反映させ、第６画像が選択された場合に第２学習済みモデルの出力を制御に対して反映させる処理を含む処理である、第１８の態様から第２０の態様の何れか１つの態様に係る撮像支援装置である。
【0027】
本開示の技術に係る第２２の態様は、特定処理が、第２学習済みモデルを生成した時期を特定可能な時期特定情報を第２ディスプレイに対して表示させるための第２データを出力する第５処理を含む処理である、第１の態様から第２１の態様の何れか１つの態様に係る撮像支援装置である。
【0028】
本開示の技術に係る第２３の態様は、第２データが、時期特定情報を、第２学習済みモデルの出力が反映された第７画像と対応させた状態で第２ディスプレイに対して表示させるためのデータを含む、第２２の態様に係る撮像支援装置である。
【0029】
本開示の技術に係る第２４の態様は、特定処理が、第２学習済みモデルを生成した時期を特定可能な時期特定情報と第２学習済みモデルとを対応付ける第６処理を含む処理である、第１の態様から第２３の態様の何れか１つの態様に係る撮像支援装置である。
【0030】
本開示の技術に係る第２５の態様は、特定処理が、予め定められたタイミングで第２学習済みモデルの出力を制御に対して反映させる第７処理を含む処理である、第１の態様から第２４の態様の何れか１つの態様に係る撮像支援装置である。
【0031】
本開示の技術に係る第２６の態様は、予め定められたタイミングが、撮像装置が起動したタイミング、撮像装置によって撮像されることで取得された撮像画像の数が第６閾値以上になったタイミング、撮像装置の充電を開始したタイミング、撮像装置の動作モードが再生モードから設定モードに遷移したタイミング、又は再生モードにて撮像画像に対してレーティングが行われたタイミングである、第２５の態様に係る撮像支援装置である。
【0032】
本開示の技術に係る第２７の態様は、特定処理が、撮像装置とは異なる撮像装置である別機に対して第２学習済みモデルを適用する場合に、撮像装置の特性と別機の特性とに基づいて、第２学習済みモデルに入力されるデータ及び第２学習済みモデルからの出力のうちの少なくとも一方を補正する第８処理を含む処理である、第１の態様から第２６の態様の何れか１つの態様に係る撮像支援装置である。
【0033】
本開示の技術に係る第２８の態様は、第２学習済みモデルには、第２学習済みモデルに関与する異なるイメージセンサの各々の特性を示す特性情報、及び異なるイメージセンサ間の個体差を示す個体差情報のうちの少なくとも１つを含むイメージセンサ情報が付随しており、プロセッサが、撮像装置の特性及び別機の特性を、イメージセンサ情報を用いて特定する、第２７の態様に係る撮像支援装置である。
【0034】
本開示の技術に係る第２９の態様は、特定処理が、第２学習済みモデルに対して第８画像を入力することで第２学習済みモデルから出力された第３出力結果が第８画像に適用されることで得られる画像に相当する第１処理済み画像と、第３出力結果が第８画像に適用されずに得られた未処理画像とを第３ディスプレイに対して表示させるための第３データを出力する第９処理を含む処理である、第１の態様から第２８の態様の何れか１つの態様に係る撮像支援装置である。
【0035】
本開示の技術に係る第３０の態様は、特定処理が、第２学習済みモデルに対して第９画像を入力することで第２学習済みモデルから出力された第４出力結果が第９画像に適用され輝度が調整された輝度調整画像と、第４出力結果が第９画像に適用されずに得られた未処理画像とを第４ディスプレイに対して表示させるための第４データを出力する第１０処理を含む処理である、第１の態様から第２９の態様の何れか１つの態様に係る撮像支援装置である。
【0036】
本開示の技術に係る第３１の態様は、第２学習済みモデルの出力を制御に対して反映させて撮像されることによって得られた第３処理済み画像には、第３処理済み画像に付随する第１付随情報が付加されており、特定処理が、第２学習済みモデルを特定可能な情報を第１付随情報に含める第１１処理を含む処理である、第１の態様から第３０の態様の何れか１つの態様に係る撮像支援装置である。
【0037】
本開示の技術に係る第３２の態様は、第１学習済みモデルの出力を制御に対して反映させて撮像されることによって得られた第４処理済み画像には、第４処理済み画像に付随する第２付随情報が付加されており、特定処理が、第１学習済みモデルを特定可能な情報を第２付随情報に含める第１２処理を含む処理である、第１の態様から第３１の態様の何れか１つの態様に係る撮像支援装置である。
【0038】
本開示の技術に係る第３３の態様は、設定値が、撮像で用いるホワイトバランスに関する設定値、撮像で用いる露出に関する設定値、撮像で用いるフォーカスに関する設定値、撮像で用いる彩度に関する設定値、及び撮像で用いる階調に関する設定値のうちの少なくとも１つである、第１の態様から第３２の態様の何れか１つの態様に係る撮像支援装置である。
【0039】
本開示の技術に係る第３４の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、メモリが、第１学習済みモデルを記憶しており、第１学習済みモデルが、撮像装置によって行われる撮像に関連する制御に用いられる学習済みモデルであり、プロセッサが、撮像装置によって撮像されることで取得された第１画像と、第１画像が取得された際の撮像装置に適用された設定値とを教師データとした学習処理を行うことで、制御に用いられる第２学習済みモデルを生成し、第１学習済みモデルと第２学習済みモデルとの相違度に基づいて特定処理を行う撮像支援装置である。
【0040】
本開示の技術に係る第３５の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、撮像装置本体と、を備え、メモリが、第１学習済みモデルを記憶しており、第１学習済みモデルは、撮像装置本体によって行われる撮像に関連する制御に用いられる学習済みモデルであり、プロセッサが、撮像装置本体によって撮像されることで取得された第１画像と、第１画像が取得された際の撮像装置本体に適用された設定値とを教師データとした学習処理を行うことで、制御に用いられる第２学習済みモデルを生成し、第２画像が第１学習済みモデルに入力された場合に第１学習済みモデルから出力される第１設定値と第２画像が第２学習済みモデルに入力された場合に第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行う撮像装置である。
【0041】
本開示の技術に係る第３６の態様は、撮像装置によって撮像されることで取得された第１画像と、第１画像が取得された際の撮像装置に適用された設定値とを教師データとした学習処理を行うことで、撮像装置によって行われる撮像に関連する制御に用いられる第２学習済みモデルを生成すること、及び、第２画像が第１学習済みモデルに入力された場合に第１学習済みモデルから出力される第１設定値と第２画像が第２学習済みモデルに入力された場合に第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行うこと、を含む撮像支援方法である。
【0042】
本開示の技術に係る第３７の態様は、コンピュータに、撮像装置によって撮像されることで取得された第１画像と、第１画像が取得された際の撮像装置に適用された設定値とを教師データとした学習処理を行うことで、撮像装置によって行われる撮像に関連する制御に用いられる第２学習済みモデルを生成すること、及び、第２画像が第１学習済みモデルに入力された場合に第１学習済みモデルから出力される第１設定値と第２画像が第２学習済みモデルに入力された場合に第２学習済みモデルから出力される第２設定値とに基づいて特定処理を行うこと、を含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0043】
【図1】撮像システムの全体の構成の一例を示す概略構成図である。
【図2】撮像システムに含まれる撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。
【図3】撮像システムに含まれる撮像支援装置の電気系のハードウェア構成の一例を示す概略構成図である。
【図4】撮像支援装置に含まれるＣＰＵの要部機能の一例を示すブロック図である。
【図5】教師データ生成部の処理内容の一例を示す概念図である。
【図6】第１学習済みモデルが生成される場合のモデル生成部の処理内容の一例を示す概念図である。
【図7】判定部及びモデル生成部の処理内容の一例を示す概念図である。
【図8】第２学習済みモデルが生成される場合のモデル生成部の処理内容の一例を示す概念図である。
【図9】実行部の処理内容の一例を示す概念図である。
【図10】検証が行われるタイミングと検証の内容の一例を示す概念図である。
【図11】実行部が有する機能の一例を示すブロック図である。
【図12】第１処理実行部の処理内容の一例を示す概念図である。
【図13】第２処理実行部の処理内容の一例を示す概念図である。
【図14】第３処理実行部の処理内容の一例を示す概念図である。
【図15】第４処理実行部の処理内容の一例を示す概念図である。
【図16】ＣＰＵの制御下でディスプレイに表示されたシミュレーション画像表示画面の態様の一例を示す画面図である。
【図17】シミュレーション画像表示画面からシミュレーション画像が選択される態様の一例を示す概念図である。
【図18】選択されたシミュレーション画像に対応する学習済みモデルから出力された設定値を撮像に関連する制御に反映させる場合の処理内容の一例を示す概念図である。
【図19】第５処理実行部の処理内容の一例を示す概念図である。
【図20】第６処理実行部の処理内容の一例を示す概念図である。
【図21】第７処理実行部の処理内容の一例を示す概念図である。
【図22】第８処理実行部の処理内容の一例を示す概念図である。
【図23】第９処理実行部の処理内容の一例を示す概念図である。
【図24】ＣＰＵの制御下でディスプレイに表示されたシミュレーション画像表示画面の態様の一例を示す画面図である。
【図25】第１０処理実行部の処理内容の一例を示す概念図である。
【図26】ＣＰＵの制御下でディスプレイに表示されたシミュレーション画像表示画面の態様の一例を示す画面図である。
【図27】第１１処理実行部の処理内容の一例を示す概念図である。
【図28】第１２処理実行部の処理内容の一例を示す概念図である。
【図29A】撮像支援処理の流れの一例を示すフローチャートである。
【図30】検証が行われるタイミングと検証の内容の一例を示す概念図である。
【図31】実行部の処理内容の一例を示すブロック図である。
【図32】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図33】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図34】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図35】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図36】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図37】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図38】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図39】スマートデバイスの外観構成の一例を示す概略斜視図である。
【図40A】スマートデバイスに対して画角変更指示が行われている態様の一例を示す概念図である。
【図40B】表示倍率を変更する場合に用いる画面の一部の一例を示す概略画面図である。
【図41】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図42】途中で撮像系の切り替えが伴う画角変更の態様の一例を示す概念図である。
【図43】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図44】モデル生成部の処理内容の一例を示す概念図である。
【図45】撮像支援装置のＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図46】スマートデバイスのＣＰＵによって行われる処理内容の一例を示すブロック図である。
【図47】撮像支援装置の機能を撮像装置に担わせる場合の撮像装置本体の構成例を示すブロック図である。
【発明を実施するための形態】
【0044】
以下、添付図面に従って本開示の技術に係る撮像支援装置、撮像装置、撮像支援方法、及びプログラムの実施形態の一例について説明する。
【0045】
先ず、以下の説明で使用される文言について説明する。
【0046】
ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＣＮＮとは、“Convolutional Neural Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。Ｅｘｉｆとは、“exchange image file format”の略称を指す。
【0047】
一例として図１に示すように、撮像システム１０は、撮像装置１２及び撮像支援装置１４を備えている。撮像装置１２は、被写体を撮像する装置である。図１に示す例では、撮像装置１２の一例として、レンズ交換式のデジタルカメラが示されている。撮像装置１２は、撮像装置本体１６及び交換レンズ１８を備えている。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１２のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１２による被写体に対するピントの調整を手動で行う場合にユーザ等によって操作される。
【0048】
本実施形態では、撮像装置１２として、レンズ交換式のデジタルカメラを例示しているが、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。
【0049】
撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像範囲を撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。
【0050】
本実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
【0051】
撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１２では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１２に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、後述する各種の設定値１０２（図５参照）等を撮像装置１２に対して設定する動作モードである。
【0052】
レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１２の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。
【0053】
撮像装置本体１６の背面には、タッチパネル・ディスプレイ３２及び指示キー２６が設けられている。
【0054】
タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。
【0055】
ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１２が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。
【0056】
ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。
【0057】
ディスプレイ２８は、撮像装置１２に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１２が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１２が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値１０２（図５参照）等を設定するための設定画面の表示にも用いられる。
【0058】
タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。
【0059】
本実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
【0060】
指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。
【0061】
詳しくは後述するが、撮像装置本体１６は、ネットワーク３４を介して撮像支援装置１４に接続されている。ネットワーク３４は、例えば、インターネットである。ネットワーク３４は、インターネットに限らず、ＷＡＮ、及び／又は、イントラネット等のＬＡＮ等であってもよい。また、本実施形態において、撮像支援装置１４は、撮像装置１２からの要求に応じたサービスを撮像装置１２に対して提供するサーバである。なお、サーバは、オンプレミスで撮像装置１２と共に用いられるメインフレームであってもよいし、クラウドコンピューティングによって実現される外部サーバであってもよい。また、サーバは、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現される外部サーバであってもよい。ここでは、撮像支援装置１４の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を撮像支援装置１４として用いてもよい。
【0062】
一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素を有しており、受光面７２Ａは、複数の感光画素によって形成されている。感光画素は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。
【0063】
交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。
【0064】
また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。なお、ここでは、コンピュータを例示しているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。
【0065】
第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。
【0066】
第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。
【0067】
第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。絞り４０Ｄは、開口４０Ｄ１の大きさを変化させることで露出を調節する。
【0068】
フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。
【0069】
撮像装置１２では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点が調節される。
【0070】
ＡＦモードでは、撮像装置本体１６が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。なお、以下では、説明の便宜上、フォーカスレンズ４０Ｂを合焦位置に合わせる制御を「ＡＦ制御」とも称する。
【0071】
撮像装置本体１６は、イメージセンサ２０、コントローラ４４、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、メカニカルシャッタアクチュエータ５８、メカニカルシャッタ６０、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及び信号処理回路７４を備えている。
【0072】
入出力インタフェース７０には、コントローラ４４、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、及び信号処理回路７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。
【0073】
コントローラ４４は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。
【0074】
なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
【0075】
ＮＶＭ６４は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えば、ＮＶＭ６４は、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
【0076】
ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って撮像装置１２の全体を制御する。図２に示す例では、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、及び制御装置３６がＣＰＵ６２によって制御される。
【0077】
光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
【0078】
交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとして信号処理回路７４に出力する。具体的には、信号処理回路７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。
【0079】
信号処理回路７４は、アナログ画像データをデジタル化することでデジタル画像データを生成する。なお、以下では、説明の便宜上、撮像装置本体１６での内部処理の対象とされるデジタル画像データと、デジタル画像データにより示される画像（すなわち、デジタル画像データに基づいて可視化されてディスプレイ２８等に表示される画像）とを区別して説明する必要がない場合、「撮像画像７５」と称する。
【0080】
メカニカルシャッタ６０は、フォーカルプレーンシャッタであり、絞り４０Ｄと受光面７２Ａとの間に配置されている。メカニカルシャッタ６０は、先幕（図示省略）及び後幕（図示省略）を備えている。先幕及び後幕の各々は、複数枚の羽根を備えている。先幕は、後幕よりも被写体側に配置されている。
【0081】
メカニカルシャッタアクチュエータ５８は、リンク機構（図示省略）、先幕用ソレノイド（図示省略）、及び後幕用ソレノイド（図示省略）を有するアクチュエータである。先幕用ソレノイドは、先幕の駆動源であり、リンク機構を介して先幕に機械的に連結されている。後幕用ソレノイドは、後幕の駆動源であり、リンク機構を介して後幕に機械的に連結されている。メカニカルシャッタドライバ５６は、ＣＰＵ６２からの指示に従って、メカニカルシャッタアクチュエータ５８を制御する。
【0082】
先幕用ソレノイドは、メカニカルシャッタドライバ５６の制御下で動力を生成し、生成した動力を先幕に付与することで先幕の巻き上げ及び引き下ろしを選択的に行う。後幕用ソレノイドは、メカニカルシャッタドライバ５６の制御下で動力を生成し、生成した動力を後幕に付与することで後幕の巻き上げ及び引き下ろしを選択的に行う。撮像装置１２では、先幕の開閉と後幕の開閉とがＣＰＵ６２によって制御されることで、光電変換素子７２に対する露光量が制御される。
【0083】
撮像装置１２では、ライブビュー画像用撮像と、静止画像及び／又は動画像を記録するための記録画像用の撮像とが露光順次読み出し方式（ローリングシャッタ方式）で行われる。イメージセンサ２０は、電子シャッタ機能を有しており、ライブビュー画像用撮像は、メカニカルシャッタ６０を全開状態にしたまま作動させずに、電子シャッタ機能を働かせることで実現される。
【0084】
これに対し、本露光を伴う撮像、すなわち、静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ６０を先幕閉状態から後幕閉状態に遷移させるようにメカニカルシャッタ６０を作動させることで実現される。
【0085】
画像メモリ４６には、信号処理回路７４によって生成された撮像画像７５が記憶される。すなわち、信号処理回路７４が画像メモリ４６に対して撮像画像７５を記憶させる。ＣＰＵ６２は、画像メモリ４６から撮像画像７５を取得し、取得した撮像画像７５を用いて各種処理を実行する。
【0086】
ＵＩ系デバイス４８は、ディスプレイ２８を備えており、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。また、ＵＩ系デバイス４８は、受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。
【0087】
外部Ｉ／Ｆ５０は、撮像装置１２の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。
【0088】
通信Ｉ／Ｆ５２は、ネットワーク３４（図１参照）を介してＣＰＵ６２と撮像支援装置１４（図１参照）との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、ＣＰＵ６２からの要求に応じた情報を、ネットワーク３４を介して撮像支援装置１４に送信する。また、通信Ｉ／Ｆ５２は、撮像支援装置１４から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してＣＰＵ６２に出力する。
【0089】
一例として図３に示すように、撮像支援装置１４は、コンピュータ８２及び通信Ｉ／Ｆ８４を備えている。コンピュータ８２は、ＣＰＵ８６、ストレージ８８、及びメモリ９０を備えている。ここで、コンピュータ８２は、本開示の技術に係る「コンピュータ」の一例であり、ＣＰＵ８６は、本開示の技術に係る「プロセッサ」の一例であり、ストレージ８８は、本開示の技術に係る「メモリ」の一例である。
【0090】
ＣＰＵ８６、ストレージ８８、メモリ９０、及び通信Ｉ／Ｆ８４は、バス９２に接続されている。なお、図３に示す例では、図示の都合上、バス９２として１本のバスが図示されているが、複数本のバスであってもよい。バス９２は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
【0091】
ＣＰＵ８６は、撮像支援装置１４の全体を制御する。ストレージ８８は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ８８としては、例えば、ＥＥＰＲＯＭ、ＳＳＤ、及び／又はＨＤＤ等の非一時的記憶媒体が挙げられる。メモリ９０は、一時的に情報が記憶されるメモリであり、ＣＰＵ８６によってワークメモリとして用いられる。メモリ９０としては、例えば、ＲＡＭが挙げられる。
【0092】
通信Ｉ／Ｆ８４は、ネットワーク３４を介して撮像装置１２の通信Ｉ／Ｆ５２と接続されている。通信Ｉ／Ｆ８４は、ＣＰＵ８６と撮像装置１２との間の情報の授受を司る。例えば、通信Ｉ／Ｆ８４は、撮像装置１２から送信された情報を受信し、受信した情報をＣＰＵ８６に出力する。また、ＣＰＵ８６からの要求に応じた情報を、ネットワーク３４を介して撮像装置１２に送信する。
【0093】
撮像支援装置１４は、バックアップ用記憶装置９４を備えている。バックアップ用記憶装置９４は、本開示の技術に係る「既定の記憶装置」の一例である。バックアップ用記憶装置９４は、後述の第２学習済みモデル１１８（図８参照）等を記憶する不揮発性の記憶装置である。バックアップ用記憶装置９４としては、例えば、ＥＥＰＲＯＭ、ＳＳＤ、及び／又はＨＤＤ等の非一時的記憶媒体が挙げられる。バックアップ用記憶装置９４は、バス９２に接続されており、ＣＰＵ８６が、後述の第２学習済みモデル１１８等をバックアップ用記憶装置９４に記憶させたり、後述の第２学習済みモデル１１８等をバックアップ用記憶装置９４から読み出したりする。
【0094】
ところで、従来既知の撮像装置の１つとして、撮像に関連する制御で用いられる各種パラメータ（例えば、露出の補正に用いられるパラメータ、ＡＦ制御に用いられるパラメータ、及び階調の補正に用いられるパラメータ等）が各種条件に応じて設定される自動設定機能が搭載された撮像装置が知られている。しかし、この種の撮像装置で用いられる各種パラメータは、メーカが独自の基準で決めたパラメータに過ぎず、ユーザ毎の好みが反映されたパラメータになっているとは言い難い。
【0095】
そこで、本実施形態では、撮像支援装置１４が、撮像装置１２を用いた撮像で実際に用いられた設定値と、撮像装置１２によって撮像されることで取得された撮像画像７５との関係性を学習用のモデルに対して機械学習させ、学習済みモデルを用いることで、できる限りユーザの好みに近いパラメータを撮像装置１２に設定するための支援を行っている。また、撮像支援装置１４では、学習結果を用いた処理を行うタイミングも考慮された処理が行われる。以下、具体的な一例について説明する。
【0096】
一例として図４に示すように、撮像支援装置１４のストレージ８８は、撮像支援処理プログラム９６を記憶している。撮像支援処理プログラム９６は、本開示の技術に係る「プログラム」の一例である。
【0097】
ＣＰＵ８６は、ストレージ８８から撮像支援処理プログラム９６を読み出し、読み出した撮像支援処理プログラム９６をメモリ９０上で実行する。ＣＰＵ８６は、メモリ９０上で実行する撮像支援処理プログラム９６に従って撮像支援処理を行う（図２９Ａ及び図２９Ｂも参照）。撮像支援処理は、ＣＰＵ８６が教師データ生成部８６Ａ、モデル生成部８６Ｂ、判定部８６Ｃ、及び実行部８６Ｄとして動作することで実現される。
【0098】
【0099】
一例として図５に示すように、教師データ生成部８６Ａは、教師データ９８を生成する。教師データ９８は、機械学習で用いられるラベル付きデータである。本実施形態において、教師データ９８は、ＣＮＮ１０４（図６参照）、複製モデル１１６（図８参照）、及び第２学習済みモデル１１８（図８参照）等に対する学習処理で用いられる。教師データ９８は、撮像画像７５及び正解データ１００を有する。なお、本開示の技術に係る「学習済みモデル」には、追加学習が可能なモデルも含まれる。
【0100】
撮像装置１２（図２参照）のＮＶＭ６４には、撮像装置１２に対して適用されたパラメータ、すなわち、撮像装置によって行われる撮像に関連する制御に対して適用された各種の設定値１０２が記憶されている。なお、以下では、説明の便宜上、撮像装置によって行われる撮像に関連する制御を、単に「撮像に関連する制御」とも称する。
【0101】
各種の設定値１０２としては、例えば、ホワイトバランスＲの設定値（例えば、赤（Ｒ）に対して適用されるホワイトバランスゲイン）、ホワイトバランスＢの設定値（例えば、青（Ｂ）に対して適用されるホワイトバランスのゲイン）、露出の補正に用いられる設定値、撮像シーンに応じたハイカラートーンの調整に用いられる設定値、撮像シーンに応じたシャドウトーンの調整に用いられる設定値、及び撮像シーンに応じたカラーの調整に用いられる設定値等が挙げられる。
【0102】
なお、ここで、ホワイトバランスＲの設定値及びホワイトバランスＢの設定値は、本開示の技術に係る「撮像で用いるホワイトバランスに関する設定値」の一例である。また、露出の補正に用いられる設定値は、本開示の技術に係る「撮像で用いる露出に関する設定値」の一例である。また、撮像シーンに応じたハイカラートーン（又は「ハイライトトーン」ともいう）の調整に用いられる設定値、及び撮像シーンに応じたシャドウトーンの調整に用いられる設定値は、本開示の技術に係る「撮像で用いる階調に関する設定値」の一例である。また、撮像シーンに応じたカラーの調整に用いられる設定値は、本開示の技術に係る「撮像で用いる彩度に関する設定値」の一例である。
【0103】
教師データ生成部８６Ａは、撮像装置１２（図２参照）の画像メモリ４６から撮像画像７５を取得する。また、教師データ生成部８６Ａは、取得した撮像画像７５に対応する各種の設定値１０２、すなわち、撮像画像７５を得るために行われた撮像に関連する制御に対して適用された各種の設定値１０２をＮＶＭ６４から取得する。なお、撮像装置１２に対して適用された設定値１０２とは、ユーザによって設定された値である。
【0104】
教師データ生成部８６Ａは、ＮＶＭ６４から取得した各種の設定値１０２、すなわち、撮像装置１２によって撮像画像７５が取得された際の撮像装置１２に適用された各種の設定値１０２を正解データ１００として用いる。教師データ生成部８６Ａは、画像メモリ４６から取得した撮像画像７５と正解データ１００とを対応付けることで教師データ９８を生成する。
【0105】
教師データ生成部８６Ａによる教師データ９８の生成は、ユーザによって１回の撮像が行われる毎、すなわち、画像メモリ４６に撮像画像７５が記憶される毎に行われる。なお、以下では、画像の数を「フレーム数」、又は、「枚数」と表す場合もある。
【0106】
教師データ生成部８６Ａは、生成した教師データ９８を１画像単位でストレージ８８に記憶させる。ストレージ８８には、複数の教師データ９８が記憶されている。すなわち、ストレージ８８には、複数の撮像画像７５と、複数の撮像画像７５に関連している複数の正解データ１００とが複数の教師データ９８として記憶されている。
【0107】
一例として図６に示すように、モデル生成部８６Ｂは、ＣＮＮ１０４を有する。モデル生成部８６Ｂは、ストレージ８８から教師データ９８を取得し、取得した教師データ９８に含まれる撮像画像７５をＣＮＮ１０４に入力する。ＣＮＮ１０４は、撮像画像７５が入力されると、各種の設定値１０２に対応するＣＮＮ信号１０４Ａを出力する。ＣＮＮ信号１０４Ａは、各種の設定値１０２と同様の項目の設定値を示す信号である。各種の設定値１０２と同様の項目の設定値とは、例えば、ホワイトバランスＲの設定値、ホワイトバランスＢの設定値、露出の補正に用いられる設定値、撮像シーンに応じたハイカラートーンの調整に用いられる設定値、撮像シーンに応じたシャドウトーンの調整に用いられる設定値、及び撮像シーンに応じたカラーの調整に用いられる設定値等を指す。
【0108】
モデル生成部８６Ｂは、ＣＮＮ１０４に入力した撮像画像７５に対応付けられている正解データ１００とＣＮＮ信号１０４Ａとの誤差１０８を算出する。誤差１０８とは、例えば、ホワイトバランスＲの設定値の誤差、ホワイトバランスＢの設定値の誤差、露出の補正に用いられる設定値の誤差、撮像シーンに応じたハイカラートーンの調整に用いられる設定値の誤差、撮像シーンに応じたシャドウトーンの調整に用いられる設定値の誤差、及び撮像シーンに応じたカラーの調整に用いられる設定値の誤差等を指す。
【0109】
モデル生成部８６Ｂは、誤差１０８を最小にする複数の調整値１１０を算出する。そして、モデル生成部８６Ｂは、算出した複数の調整値１１０を用いてＣＮＮ１０４内の複数の最適化変数を調整する。ここで、ＣＮＮ１０４内の複数の最適化変数とは、例えば、ＣＮＮ１０４に含まれる複数の結合荷重及び複数のオフセット値等を指す。
【0110】
モデル生成部８６Ｂは、撮像画像７５のＣＮＮ１０４への入力、誤差１０８の算出、複数の調整値１１０の算出、及びＣＮＮ１０４内の複数の最適化変数の調整、という学習処理を、ストレージ８８に記憶されている撮像画像７５の数だけ繰り返し行う。すなわち、モデル生成部８６Ｂは、ストレージ８８内の複数の撮像画像７５の各々について、誤差１０８が最小になるように算出した複数の調整値１１０を用いてＣＮＮ１０４内の複数の最適化変数を調整することで、ＣＮＮ１０４を最適化する。なお、モデル生成部８６Ｂは、必ずしもＣＰＵ８６の内部に設ける必要はなく、ＣＰＵ８６の外部に設けてもよい。すなわち、学習処理とは、ＣＰＵ８６自身が行うものに限られず、学習処理は、ＣＰＵ８６の制御下でＣＰＵ８６の外に設けられたモデル生成部８６Ｂに学習処理を行わせて学習済みモデルを生成する処理を含む。
【0111】
モデル生成部８６Ｂは、ＣＮＮ１０４を最適化することで第１学習済みモデル１０６を生成する。すなわち、ＣＮＮ１０４に含まれる複数の最適化変数が調整されることによってＣＮＮ１０４が最適化され、これによって第１学習済みモデル１０６が生成される。モデル生成部８６Ｂは、生成した第１学習済みモデル１０６をストレージ８８に記憶させる。詳しく後述するが、第１学習済みモデル１０６は、撮像に関連する制御に用いられる学習済みモデルである。なお、この撮像に関連する制御には、イメージセンサ２０（図１及び図２参照）による画像の取り込みに関連する制御のみではなく、撮像されることで得られたデータに対するオートホワイトバランス、トーン、及び／又はカラー等の画像処理も含まれる。
【0112】
一例として図７に示すように、ストレージ８８には、第１学習済みモデル１０６が記憶されている。また、上述したように、画像メモリ４６に撮像画像７５が記憶される毎に、教師データ生成部８６Ａによって教師データ９８が生成され、生成された教師データ９８がストレージ８８に記憶される。判定部８６Ｃは、ストレージ８８に第１学習済みモデル１０６が記憶されてから、ストレージ８８に記憶された教師データ９８の撮像画像７５の数が第１閾値（例えば、“１００００”）に到達したか否かを判定する。
【0113】
なお、第１閾値は、固定値ではなく、撮像画像７５の数に応じて変更される可変値である。例えば、ＣＮＮ１０４に対する学習処理が行われていない段階では、第１閾値は、“１００００”であり、撮像画像７５の数が“１００００”に達すると、撮像画像７５の数としてカウントされた値が“０”にリセットされ、第１閾値が“１０００”に設定される。そして、これ以降、撮像画像７５の数が“１０００”に達する毎に、撮像画像７５の数としてカウントされた値が“０”にリセットされ、第１閾値が“１０００”に設定される。ここで、第１閾値として示されている“１００００”及び“１０００”という値は、あくまでも一例に過ぎず、他の値であってもよい。
【0114】
ストレージ８８に記憶された教師データ９８の撮像画像７５の数が第１閾値に到達したと判定部８６Ｃによって判定された場合、モデル生成部８６Ｂは、複製モデル１１６を生成する。複製モデル１１６は、ストレージ８８内の第１学習済みモデル１０６を複製した学習モデルである。モデル生成部８６Ｂは、複製モデル１１６に対して、ストレージ８８内の教師データ９８を用いて学習処理を行うことで、撮像に関する制御に用いられる学習済みモデルである第２学習済みモデル１１８を生成する。すなわち、モデル生成部８６Ｂは、ストレージ８８に記憶された教師データ９８の撮像画像７５の数が第１閾値に到達したことを条件に複製モデル１１６に対して、ストレージ８８内の教師データ９８を用いて学習処理を行うことで第２学習済みモデル１１８を生成する。
【0115】
一例として図８に示すように、モデル生成部８６Ｂは、ストレージ８８から教師データ９８を取得し、取得した教師データ９８に含まれる撮像画像７５を複製モデル１１６に入力する。複製モデル１１６は、撮像画像７５が入力されると、各種の設定値１０２に対応するＣＮＮ信号１１６Ａを出力する。ＣＮＮ信号１１６Ａは、ＣＮＮ信号１０４Ａと同様に、各種の設定値１０２と同様の項目の設定値を示す信号である。
【0116】
モデル生成部８６Ｂは、複製モデル１１６に入力した撮像画像７５に対応付けられている正解データ１００とＣＮＮ信号１１６Ａとの誤差１２０を算出する。誤差１２０とは、例えば、ホワイトバランスＲの設定値の誤差、ホワイトバランスＢの設定値の誤差、露出の補正に用いられる設定値の誤差、撮像シーンに応じたハイカラートーンの調整に用いられる設定値の誤差、撮像シーンに応じたシャドウトーンの調整に用いられる設定値の誤差、及び撮像シーンに応じたカラーの調整に用いられる設定値の誤差等を指す。
【0117】
モデル生成部８６Ｂは、誤差１２０を最小にする複数の調整値１２２を算出する。そして、モデル生成部８６Ｂは、算出した複数の調整値１２２を用いて複製モデル１１６内の複数の最適化変数を調整する。ここで、複製モデル１１６内の複数の最適化変数とは、例えば、複製モデル１１６に含まれる複数の結合荷重及び複数のオフセット値等を指す。
【0118】
モデル生成部８６Ｂは、撮像画像７５の複製モデル１１６への入力、誤差１２０の算出、複数の調整値１２２の算出、及び複製モデル１１６内の複数の最適化変数の調整、という学習処理を、ストレージ８８に記憶されている撮像画像７５の数分だけ繰り返し行う。すなわち、モデル生成部８６Ｂは、ストレージ８８内の複数分の撮像画像７５の各々について、誤差１２０が最小になるように算出した複数の調整値１２２を用いて複製モデル１１６内の複数の最適化変数を調整することで、複製モデル１１６を最適化する。
【0119】
モデル生成部８６Ｂは、複製モデル１１６を最適化することで第２学習済みモデル１１
８を生成する。すなわち、複製モデル１１６に含まれる複数の最適化変数が調整されることによって複製モデル１１６が最適化され、これによって第２学習済みモデル１１８が生成される。モデル生成部８６Ｂは、生成した第２学習済みモデル１１８をストレージ８８に記憶させる。
８を生成する。すなわち、複製モデル１１６に含まれる複数の最適化変数が調整されることによって複製モデル１１６が最適化され、これによって第２学習済みモデル１１８が生成される。モデル生成部８６Ｂは、生成した第２学習済みモデル１１８をストレージ８８に記憶させる。
【0120】
なお、図８に示す例において、ストレージ８８内の教師データ９８は、本開示の技術に係る「教師データ」の一例であり、ストレージ８８内の撮像画像７５は、本開示の技術に係る「第１画像」の一例であり、ストレージ８８内の正解データ１００は、本開示の技術に係る「設定値」の一例である。
【0121】
一例として図９に示すように、ストレージ８８には、基準画像セット１２４が記憶されている。基準画像セット１２４は、複数の基準画像１２４Ａを有する。基準画像１２４Ａは、本開示の技術に係る「第２画像」の一例である。
【0122】
複数の基準画像１２４Ａは、互いに異なるシーンで撮像装置１２によって撮像が行われることで取得された画像である。図９に示す例では、複数の基準画像１２４Ａの一例として、第１シーンで撮像装置１２によって撮像が行われることで取得された画像、第２シーンで撮像装置１２によって撮像が行われることで取得された画像、第３シーンで撮像装置１２によって撮像が行われることで取得された画像、第４シーンで撮像装置１２によって撮像が行われることで取得された画像、及び第５シーンで撮像装置１２によって撮像が行われることで取得された画像が示されている。
【0123】
実行部８６Ｄは、ストレージ８８に記憶された教師データ９８の撮像画像７５の数が第１閾値に到達したことを条件に特定処理を行う。本実施形態では、一例として、ストレージ８８に記憶された教師データ９８の撮像画像７５の数が第１閾値に到達したことを条件に生成された第２学習済みモデル１１８の出力結果次第で、特定処理が行われる。これについて、以下、より詳しく説明する。
【0124】
実行部８６Ｄは、基準画像１２４Ａが第１学習済みモデル１０６に入力された場合に第１学習済みモデル１０６から出力される第１設定値１０６Ａと、基準画像１２４Ａが第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される第２設定値１１８Ａとに基づいて特定処理を行う。具体的には、先ず、実行部８６Ｄは、複数の基準画像１２４Ａのうちの１つの基準画像１２４Ａを第１学習済みモデル１０６及び第２学習済みモデル１１８に入力する。第１学習済みモデル１０６は、基準画像１２４Ａが入力されると、第１設定値１０６Ａを出力する。第１設定値１０６Ａは、各種の設定値１０２と同様の項目（以下、「各種設定項目」とも称する）の設定値である。第２学習済みモデル１１８は、基準画像１２４Ａが入力されると、第２設定値１１８Ａを出力する。第２設定値１１８Ａも、各種設定項目の設定値である。
【0125】
実行部８６Ｄは、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５を算出する。相違度１２５とは、例えば、第１設定値１０６Ａと第２設定値１１８Ａとの差分の絶対値を指す。なお、差分の絶対値は、あくまでも一例に過ぎず、第１設定値１０６Ａに対する第２設定値１１８Ａの割合、又は、第２設定値１１８Ａに対する第１設定値１０６Ａの割合等であってもよく、第１設定値１０６Ａと第２設定値１１８Ａとの違いの度合いを示す値であればよい。
【0126】
また、ここでは、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５として、例えば、各種設定項目の各々の相違度の平均値が用いられる。例えば、第１設定値１０６Ａと第２設定値１１８Ａとの相違度は、ホワイトバランスＲについての第１設定値１０６Ａと第２設定値１１８Ａとの相違度、ホワイトバランスＢについての第１設定値１０６Ａと第２設定値１１８Ａとの相違度、露出の補正に用いられる第１設定値１０６Ａと第２設定値１１８Ａとの相違度、撮像シーンに応じたハイカラートーンの調整に用いられる第１設定値１０６Ａと第２設定値１１８Ａとの相違度、撮像シーンに応じたシャドウトーンの調整に用いられる第１設定値１０６Ａと第２設定値１１８Ａとの相違度、及び撮像シーンに応じたカラーの調整に用いられる第１設定値１０６Ａと第２設定値１１８Ａとの相違度等の平均値である。なお、本実施形態では、それぞれの設定値を同等に扱うことができるように、例えば点数化を行っている。
【0127】
実行部８６Ｄは、複数の基準画像１２４Ａのうちの残りの基準画像１２４Ａについても、同様に、相違度１２５を算出する。そして、実行部８６Ｄは、複数の基準画像１２４Ａの全てについての相違度１２５が第２閾値以上であるか否かを判定する。実行部８６Ｄは、複数の基準画像１２４Ａの全てについての相違度１２５が第２閾値以上の場合に、特定処理を行う。
【0128】
ここでは、全ての相違度の平均を算出しているが、これはあくまで一例にすぎない。上記の設定値の各項目全てにおいて差が出ている必要はなく、例えば、ある１つの設定値で第２閾値以上の差が出た場合に特定処理を行うようにしてもよい。なお、平均値に対しての第２閾値と、いずれか１つの設定値に対しての第２閾値は異なる場合もある。また、ここでは、複数の基準画像１２４Ａの全てについての相違度１２５が第２閾値以上であることを条件に特定処理が実行される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の基準画像１２４Ａの各々について算出された相違度１２５が第２閾値以上と判定された回数が、複数の基準画像１２４Ａの数（本例では、第１～第５シーンの基準画像１２４Ａの５枚（フレーム））のうちの既定数（例えば、過半数、又は、何れか１フレーム等）以上であることを条件に特定処理が行われるようにしてもよい。また、例えば、複数の基準画像１２４Ａの全てについての相違度１２５の平均値が第２閾値以上であることを条件に特定処理が行われるようにしてもよい。また、例えば、複数の基準画像１２４Ａの全てについての相違度１２５の最大値が第２閾値以上であることを条件に特定処理が行われるようにしてもよい。また、例えば、複数の基準画像１２４Ａの全てについての相違度１２５の最小値が第２閾値以上であることを条件に特定処理が行われるようにしてもよい。また、例えば、複数の基準画像１２４Ａの全てについての相違度１２５の中央値が第２閾値以上であることを条件に特定処理が行われるようにしてもよい。
【0129】
実行部８６Ｄによって実行される特定処理とは、後述する第１～第１２処理の何れかの処理を含む処理を指す。但し、これは、あくまでも一例に過ぎず、第１～第１２処理のうちの複数の処理を含む処理が特定処理として実行部８６Ｄによって行われてもよい。
【0130】
図１０には、相違度１２５を算出する処理及び相違度１２５が第２閾値以上であるか否かを判定する処理という一連の処理（以下、「検証」とも称する）が実行部８６Ｄによって行われるタイミングの一例が示されている。
【0131】
図１０に示す例では、撮像装置１２によって撮像されることで取得された撮像画像７５の数（以下、「撮像フレーム数」とも称する）が“１００００”に達するまでは、ＣＮＮ１０４に対しては「学習待機」とされ、ＣＮＮ１０４に対する学習処理が行われない。撮像フレーム数が“１００００”に達すると、ＣＮＮ１０４に対する学習処理が行われ、これによって第１学習済みモデル１０６が生成される。第１学習済みモデル１０６が生成されると、第１学習済みモデル１０６の運用が開始される。すなわち、第１学習済みモデル１０６に対して推論（例えば、第１学習済みモデル１０６に対して撮像画像７５等を入力することで、第１学習済みモデル１０６から第１設定値１０６Ａを出力させる処理）を行わせ、第１学習済みモデル１０６による推論結果を用いた処理が撮像支援装置１４によって行われる。第１学習済みモデル１０６による推論結果を用いた処理としては、例えば、撮像画像７５が第１学習済みモデル１０６に入力された場合に第１学習済みモデル１０６から出力される第１設定値１０６Ａを、撮像に関連する制御に反映させる処理（例えば、第１設定値１０６Ａを撮像装置１２に対して設定する処理）が挙げられる。なお、第１学習済みモデル１０６は、撮像装置１２を作るメーカが予め生成してカメラ（例えば、撮像装置１２）内のメモリ（例えば、ＮＶＭ６４）に記憶させてもよい。
【0132】
また、撮像フレーム数が“１００００”に達すると、複製モデル１１６が生成される。複製モデル１１６が生成されると、撮像フレーム数が“１１０００”に達するまでは、複製モデル１１６に対しては「学習待機」とされ、複製モデル１１６に対する学習処理が行われない。
【0133】
撮像フレーム数が“１１０００”に達すると、複製モデル１１６に対する学習処理が行われ、これによって第２学習済みモデル１１８が生成される。第２学習済みモデル１１８が生成されると、検証が行われる。検証では、第１学習済みモデル１０６及び第２学習済みモデル１１８に対して、基準画像セット１２４に含まれる全ての基準画像１２４Ａの各々が順次に入力される。これにより、第１学習済みモデル１０６から第１設定値１０６Ａが出力され、第２学習済みモデル１１８から第２設定値１１８Ａが出力される。そして、第１学習済みモデル１０６から出力された第１設定値１０６Ａと第２学習済みモデル１１８から出力された第２設定値１１８Ａとの相違度１２５が算出され、算出された相違度１２５が第２閾値以上であるか否かが判定される。ここで、相違度１２５が第２閾値以上の場合に、特定処理を含む処理が実行される。
【0134】
特定処理を含む処理には、第１学習済みモデル１０６の運用から既存の第２学習済みモデル１１８の運用（例えば、最新の第２学習済みモデル１１８の運用）に切り替える処理が含まれる。すなわち、既存の第２学習済みモデル１１８に対して推論（例えば、既存の第２学習済みモデル１１８に対して撮像画像７５等を入力することで、既存の第２学習済みモデル１１８から第２設定値１１８Ａを出力させる処理）を行わせ、既存の第２学習済みモデル１１８による推論結果を用いた処理が撮像支援装置１４によって行われる。第２学習済みモデル１１８による推論結果を用いた処理としては、例えば、撮像画像７５が第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される第２設定値１１８Ａを、撮像に関連する制御に反映させる処理（例えば、第２設定値１１８Ａを撮像装置１２に対して設定する処理）が挙げられる。
【0135】
一方、第１学習済みモデル１０６と既存の第２学習済みモデル１１８とを用いた検証において、相違度１２５が第２閾値未満の場合、特定処理が実行されず、撮像フレーム数が“１２０００”に達するまでは、第２学習済みモデル１１８に対しては「学習待機」とされ、第２学習済みモデル１１８に対する学習処理が行われない。ここで、相違度１２５が第２閾値未満の場合の既存の第２学習済みモデル１１８、すなわち、相違度１２５が第２閾値未満と判定された時点での最新の第２学習済みモデル１１８は、本開示の技術に係る「学習モデル」の一例である。
【0136】
撮像フレーム数が“１２０００”に達すると、既存の第２学習済みモデル１１８に対する学習処理が行われ、これによって新たな第２学習済みモデル１１８が生成される。新たな第２学習済みモデル１１８が生成されると、検証が行われる。検証では、第１学習済みモデル１０６及び新たな第２学習済みモデル１１８に対して、基準画像セット１２４に含まれる全ての基準画像１２４Ａの各々が順次に入力される。これにより、第１学習済みモデル１０６から第１設定値１０６Ａが出力され、新たな第２学習済みモデル１１８から第２設定値１１８Ａが出力される。そして、第１学習済みモデル１０６から出力された第１設定値１０６Ａと新たな第２学習済みモデル１１８から出力された第２設定値１１８Ａとの相違度１２５が算出され、算出された相違度１２５が第２閾値以上であるか否かが判定される。ここで、相違度１２５が第２閾値以上の場合に、特定処理が実行される。相違度１２５が第２閾値未満の場合、特定処理が実行されず、撮像フレーム数が“１３０００”に達するまでは、既存の第２学習済みモデル１１８に対しては「学習待機」とされ、既存の第２学習済みモデル１１８に対する学習処理が行われない。以降、撮像フレーム数が“１０００”に達する毎に、「相違度１２５≧第２閾値」の条件を満足するまで、同様の処理が行われる。
【0137】
なお、図１０に示す例において、複製モデル１１６が複製された時期、すなわち、撮像フレーム数が“１００００”に達した時期は、本開示の技術に係る「特定時期」の一例である。また、図１０に示す例において、撮像フレーム数が“１００００”を超える期間において、検証に用いられる第２学習済みモデル１１８が生成された時期は、本開示の技術に係る「特定時期」の一例である。また、撮像フレーム数が“１００００”を超える期間において、検証に用いられる第２学習済みモデル１１８が生成された時期から撮像フレーム数が“１０００”に達するまでの期間（すなわち、次の検証が行われるまでの期間）は、本開示の技術に係る「特定時期から条件を満足するまでの期間」の一例である。
【0138】
図１０に示す例では、撮像フレーム数が“１００００”に達するまでＣＮＮ１０４に対して学習処理が行われない形態例が示されているが、これは、あくまでも一例に過ぎず、学習待機が解除される条件となる撮像フレーム数は、“１００００”未満の値（例えば、“１０００”）であってもよいし、“１００００”を超える値（例えば、“１０００００”）であってもよい。また、図１０に示す例では、撮像フレーム数が“１００００”を超える場合において、撮像フレーム数が“１０００”単位で検証が行われる形態例が示されているが、これは、あくまでも一例に過ぎず、検証が行われる条件となる撮像フレーム数は、“１０００”未満の値（例えば、“１００”）であってもよいし、“１０００”を超える値（例えば、“１００００”）であってもよい。
【0139】
一例として図１１に示すように、実行部８６Ｄは、第１処理実行部８６Ｄ１、第２処理実行部８６Ｄ２、第３処理実行部８６Ｄ３、第４処理実行部８６Ｄ４、第５処理実行部８６Ｄ５、第６処理実行部８６Ｄ６、第７処理実行部８６Ｄ７、第８処理実行部８６Ｄ８、第９処理実行部８６Ｄ９、第１０処理実行部８６Ｄ１０、第１１処理実行部８６Ｄ１１、及び第１２処理実行部８６Ｄ１２を有する。
【0140】
第１処理実行部８６Ｄ１は、第１処理を実行する（図１２参照）。第２処理実行部８６Ｄ２は、第２処理を実行する（図１３参照）。第３処理実行部８６Ｄ３は、第３処理を実行する（図１４参照）。第４処理実行部８６Ｄ４は、第４処理を実行する（図１５～図１８参照）。第５処理実行部８６Ｄ５は、第５処理を実行する（図１９参照）。第６処理実行部８６Ｄ６は、第６処理を実行する（図２０参照）。第７処理実行部８６Ｄ７は、第７処理を実行する（図２１参照）。第８処理実行部８６Ｄ８は、第８処理を実行する（図２２参照）。第９処理実行部８６Ｄ９は、第９処理を実行する（図２３及び図２４参照）。第１０処理実行部８６Ｄ１０は、第１０処理を実行する（図２５及び図２６参照）。第１１処理実行部８６Ｄ１１は、第１１処理を実行する（図２７参照）。第１２処理実行部８６Ｄ１２は、第１２処理を実行する（図２８参照）。
【0141】
一例として図１２に示すように、第１処理実行部８６Ｄ１は、第１処理として、撮像に関連する制御に対して第２設定値１１８Ａを反映させる処理を実行する。例えば、先ず、第１処理実行部８６Ｄ１は、撮像装置１２から撮像画像７５を取得し、取得した撮像画像７５を第２学習済みモデル１１８に入力する。第２学習済みモデル１１８は、撮像画像７５が入力されると、第２設定値１１８Ａを出力する。第１処理実行部８６Ｄ１は、第２学習済みモデル１１８から出力された第２設定値１１８Ａを含む第１処理信号を撮像装置１２に送信する。撮像装置１２は、第１処理実行部８６Ｄ１から送信された第１処理信号を受信し、受信した第１処理信号に含まれる第２設定値１１８Ａを用いて撮像を行う。
【0142】
なお、図１２に示す例では、第２学習済みモデル１１８に対して撮像画像７５が入力される形態例が示されているが、これは、あくまでも一例に過ぎず、撮像画像７５以外の画像が第２学習済みモデル１１８に入力されてもよい。撮像画像７５以外の画像としては、例えば、複数の基準画像１２４Ａのうち、ユーザ等によって選択された少なくとも１つが挙げられる。
【0143】
一例として図１３に示すように、第２処理実行部８６Ｄ２は、第２処理として、第２学習済みモデル１１８をバックアップ用記憶装置９４に対して記憶させる処理を実行する。例えば、第２処理実行部８６Ｄ２は、検証で用いられた最新の第２学習済みモデル１１８をバックアップ用記憶装置９４に対して記憶させる。なお、ここでは、第２学習済みモデル１１８の記憶先としてバックアップ用記憶装置９４を例示しているが、本開示の技術はこれに限定されず、バックアップ用記憶装置９４に代えて、ネットワーク３４上に存在している他の装置（例えば、撮像装置１２、サーバ、又はパーソナル・コンピュータ等）の記憶装置を用いてもよい。
【0144】
一例として図１４に示すように、第３処理実行部８６Ｄ３は、第３処理として、第１学習済みモデル１０６及び第２学習済みモデル１１８のうち、受け付けた指示に従って選択された方の出力を、撮像に関連する制御に対して反映させる処理を実行する。
【0145】
この場合、例えば、撮像装置１２に対してユーザ等から与えられた指示に従って第１学習済みモデル１０６及び第２学習済みモデル１１８のうちの何れかが選択される。図１４に示す例では、撮像装置１２のディスプレイ２８にモデル指示画面１２７が表示されており、ユーザ等からの指示がタッチパネル３０によって受け付けられる。
【0146】
モデル指示画面１２７には、メッセージ１２７Ａ、ソフトキー１２７Ｂ、及びソフトキー１２７Ｃが表示されている。メッセージ１２７Ａは、学習済みモデルの選択をユーザに促すメッセージである。図１４に示す例では、メッセージ１２７Ａの一例として、「学習済みモデルを選択して下さい。」というメッセージが示されている。ソフトキー１２７Ｂは、ユーザ等によって第１学習済みモデル１０６が選択される場合にタッチパネル３０を介してオンされる。ソフトキー１２７Ｃは、ユーザ等によって第２学習済みモデル１１８が選択される場合にタッチパネル３０を介してオンされる。図１４に示す例では、ソフトキー１２７Ｃがユーザ等によってオンされている態様例が示されている。ソフトキー１２７Ｂ又はソフトキー１２７Ｃがタッチパネル３０を介してオンされると、撮像装置１２は、モデル選択情報１２９を第３処理実行部８６Ｄ３に送信する。モデル選択情報１２９は、第１学習済みモデル１０６及び第２学習済みモデル１１８の何れかがユーザ等によって選択されたかを示す情報（例えば、ソフトキー１２７Ｂ及び１２７Ｃの何れかがオンされたかを示す情報）である。
【0147】
第３処理実行部８６Ｄ３は、撮像装置１２から送信されたモデル選択情報１２９を受信し、受信したモデル選択情報１２９を参照して、第１学習済みモデル１０６及び第２学習済みモデル１１８の何れが選択されたかを特定する。第３処理実行部８６Ｄ３は、第１学習済みモデル１０６及び第２学習済みモデル１１８のうち、特定した方（以下、「選択学習済みモデル」とも称する）に撮像画像７５を入力する。選択学習済みモデルが第１学習済みモデル１０６であれば、第１学習済みモデル１０６は、第１設定値１０６Ａを出力する。選択学習済みモデルが第２学習済みモデル１１８であれば、第２学習済みモデル１１８は、第２設定値１１８Ａを出力する。
【0148】
第３処理実行部８６Ｄ３は、第１学習済みモデル１０６から出力された第１設定値１０６Ａ又は第２学習済みモデル１１８から出力された第２設定値１１８Ａを含む信号を第３処理信号として撮像装置１２に送信する。以下、説明の便宜上、第１学習済みモデル１０６から出力された第１設定値１０６Ａと、第２学習済みモデル１１８から出力された第２設定値１１８Ａとを区別して説明する必要がない場合、「出力設定値」と称する。
【0149】
撮像装置１２は、第３処理実行部８６Ｄ３から送信された第３処理信号を受信し、受信した第３処理信号に含まれる出力設定値を用いて撮像を行う。
【0150】
なお、図１４に示す例では、第１学習済みモデル１０６及び第２学習済みモデル１１８の各々に対して撮像画像７５が入力される形態例が示されているが、これは、あくまでも一例に過ぎず、撮像画像７５以外の画像が第１学習済みモデル１０６及び第２学習済みモデル１１８のうちの少なくとも一方に入力されてもよい。
【0151】
一例として図１５に示すように、第４処理実行部８６Ｄ４は、第４処理として、第１学習済みモデル１０６に対して基準画像セット１２４を入力することで第１学習済みモデル１０６から出力された第１設定値１０６Ａが基準画像セット１２４に適用されることで得られる画像に相当するシミュレーション画像１２８Ａ、及び第２学習済みモデル１１８に対して基準画像セット１２４を入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像セット１２４に適用されることで得られるシミュレーション画像１２８Ｂをディスプレイ２８（図１６参照）に対して表示させるためのデータを出力する。
【0152】
ここで、基準画像セット１２４は、本開示の技術に係る「第３画像」及び「第５画像」の一例である。すなわち、「第３画像」及び「第５画像」は同じ画像であってもよい。また、第１設定値１０６Ａは、本開示の技術に係る「第１出力結果」の一例である。また、第２設定値１１８Ａは、本開示の技術に係る「第２出力結果」の一例である。また、シミュレーション画像セット１２６Ｂは、本開示の技術に係る「第４画像」の一例である。また、シミュレーション画像１２８Ｂは、本開示の技術に係る「第６画像」の一例である。また、ディスプレイ２８は、本開示の技術に係る「第１ディスプレイ」の一例である。
【0153】
図１５に示す例において、第４処理実行部８６Ｄ４は、基準画像セット１２４に含まれる全ての基準画像１２４Ａの各々を第１学習済みモデル１０６に順次に入力する。第１学習済みモデル１０６は、基準画像１２４Ａが入力される毎に、第１設定値１０６Ａを出力する。第４処理実行部８６Ｄ４は、第１学習済みモデル１０６から第１設定値１０６Ａが出力される毎に、出力された第１設定値１０６Ａと、対応する基準画像１２４Ａとに基づいて、シミュレーション画像１２８Ａ及び使用モデル識別子１３０Ａを含むシミュレーション画像セット１２６Ａを生成する。シミュレーション画像セット１２６Ａは、基準画像セット１２４に含まれる全ての基準画像１２４Ａの各々について生成される。なお、ここでは、全ての基準画像１２４Ａの各々を第１学習済みモデル１０６に順次に入力したが、何れか１つ又は複数であってもよい。
【0154】
シミュレーション画像１２８Ａは、第１設定値１０６Ａを用いた撮像が行われた場合に撮像装置１２によって取得される撮像画像７５として予想される画像である。シミュレーション画像１２８Ａの一例としては、撮像装置１２によって撮像が行われることで基準画像１２４Ａが取得されることを前提として、第１設定値１０６Ａを用いた撮像が行われた場合に第１設定値１０６Ａの影響を受けた基準画像１２４Ａに相当する画像が挙げられる。
【0155】
シミュレーション画像セット１２６Ａに含まれる使用モデル識別子１３０Ａは、第１学習済みモデル１０６を特定可能な識別子である。使用モデル識別子１３０Ａは、シミュレーション画像１２８Ａに対応付けられる。
【0156】
図１５に示す例において、第４処理実行部８６Ｄ４は、基準画像セット１２４に含まれる全ての基準画像１２４Ａの各々を第２学習済みモデル１１８に順次に入力する。第２学習済みモデル１１８は、基準画像１２４Ａが入力される毎に、第２設定値１１８Ａを出力する。第４処理実行部８６Ｄ４は、第２学習済みモデル１１８から第２設定値１１８Ａが出力される毎に、出力された第２設定値１１８Ａと、対応する基準画像１２４Ａとに基づいて、シミュレーション画像１２８Ｂ及び使用モデル識別子１３０Ｂを含むシミュレーション画像セット１２６Ｂを生成する。シミュレーション画像セット１２６Ｂは、基準画像セット１２４に含まれる全ての基準画像１２４Ａの各々について生成される。
【0157】
シミュレーション画像１２８Ｂは、第２設定値１１８Ａを用いた撮像が行われた場合に撮像装置１２によって取得される撮像画像７５として予想される画像である。シミュレーション画像１２８Ｂの一例としては、撮像装置１２によって撮像が行われることで基準画像１２４Ａが取得されることを前提として、第２設定値１１８Ａを用いた撮像が行われた場合に第２設定値１１８Ａの影響を受けた基準画像１２４Ａに相当する画像が挙げられる。
【0158】
シミュレーション画像セット１２６Ｂに含まれる使用モデル識別子１３０Ｂは、第２学習済みモデル１１８を特定可能な識別子である。使用モデル識別子１３０Ｂは、シミュレーション画像セット１２６Ｂに対応付けられる。
【0159】
なお、以下では、説明の便宜上、シミュレーション画像セット１２６Ａ及び１２６Ｂを含むデータをシミュレーション画像セット１２６と称する。また、シミュレーション画像１２８Ａ及び１２８Ｂを区別して説明する必要がない場合、シミュレーション画像１２８と称する。また、使用モデル識別子１３０Ａ及び１３０Ｂを区別して説明する必要がない場合、使用モデル識別子１３０と称する。
【0160】
第４処理実行部８６Ｄ４は、シミュレーション画像セット１２６を撮像装置１２に送信する。撮像装置１２は、第４処理実行部８６Ｄ４から送信されたシミュレーション画像セット１２６を受信する。ここで、シミュレーション画像セット１２６は、本開示の技術に係る「第１データ」の一例である。
【0161】
一例として図１６に示すように、撮像装置１２のＣＰＵ６２は、シミュレーション画像セット１２６に基づいてシミュレーション画像表示画面１３２を生成し、ディスプレイ２８に対してシミュレーション画像表示画面１３２を表示させる。シミュレーション画像表示画面１３２には、シミュレーション画像１２８等が表示される。
【0162】
シミュレーション画像表示画面１３２は、第１画面１３２Ａと第２画面１３２Ｂとを含んでいる。ＣＰＵ６２は、シミュレーション画像セット１２６Ａに基づいて第１画面１３２Ａを生成し、シミュレーション画像セット１２６Ｂに基づいて第２画面１３２Ｂを生成する。図１６に示す例では、シミュレーション画像表示画面１３２内の上半分の領域が第１画面１３２Ａであり、下半分の領域が第２画面１３２Ｂである。
【0163】
ＣＰＵ６２は、使用モデル識別子１３０を参照して、第１画面１３２Ａにシミュレーション画像１２８Ａが表示され、かつ、第２画面１３２Ｂにシミュレーション画像１２８Ｂが表示されるようにディスプレイ２８を制御する。なお、表示されるシミュレーション画像１２８Ａ及び１２８Ｂは１つであっても複数であってもよい。これにより、ディスプレイ２８には、シミュレーション画像１２８Ａとシミュレーション画像１２８Ｂとが区別可能な態様で表示される。なお、使用モデル識別子１３０は、本開示の技術に係る「第４画像と第６画像とを区別可能な態様で第１ディスプレイに対して表示させるためのデータ」の一例である。
【0164】
ＣＰＵ６２は、シミュレーション画像セット１２６Ａに含まれている使用モデル識別子１３０Ａに基づいて、シミュレーション画像１２８Ａに対応させた状態でメッセージ１３２Ａ１をディスプレイ２８に表示させる。また、ＣＰＵ６２は、シミュレーション画像セット１２６Ｂに含まれている使用モデル識別子１３０Ｂに基づいて、シミュレーション画像１２８Ｂに対応させた状態でメッセージ１３２Ｂ１をディスプレイ２８に対して表示させる。図１６に示す例では、第１画面１３２Ａにメッセージ１３２Ａ１が表示されることで、メッセージ１３２Ａ１がシミュレーション画像１２８Ａに対応付けられており、第２画面１３２Ｂにメッセージ１３２Ｂ１が表示されることで、メッセージ１３２Ｂ１がシミュレーション画像１２８Ｂに対応付けられている。
【0165】
メッセージ１３２Ａ１は、第１学習済みモデル１０６を特定可能なメッセージであり、メッセージ１３２Ｂ１は、第２学習済みモデル１１８を特定可能なメッセージである。図１６に示す例では、メッセージ１３２Ａ１の一例として、「第１学習済みモデルによるシミュレーション画像」というメッセージが示されており、メッセージ１３２Ｂ１の一例として、「第２学習済みモデルによるシミュレーション画像」というメッセージが示されている。
【0166】
図１６で例示されているメッセージ１３２Ａ１の内容は、あくまでも一例に過ぎず、メッセージ１３２Ａ１は、第１画面１３２Ａに表示されているシミュレーション画像１２８Ａが第１学習済みモデル１０６に依拠して生成されたシミュレーション画像であることを示すメッセージであればよい。また、図１６で例示されているメッセージ１３２Ｂ１の内容は、あくまでも一例に過ぎず、メッセージ１３２Ｂ１は、第２画面１３２Ｂに表示されているシミュレーション画像１２８Ｂが第２学習済みモデル１１８に依拠して生成されたシミュレーション画像であることを示すメッセージであればよい。
【0167】
なお、メッセージ１３２Ａ１は、本開示の技術に係る「第１学習済みモデル特定情報」の一例であり、メッセージ１３２Ｂ１は、本開示の技術に係る「第２学習済みモデル特定情報」の一例である。また、使用モデル識別子１３０は、本開示の技術に係る「第４画像と第１学習済みモデルを特定可能な第１学習済みモデル特定情報とを対応させた状態で第１ディスプレイに対して表示させ、かつ、第６画像と第２学習済みモデルを特定可能な第２学習済みモデル特定情報とを対応させた状態で第１ディスプレイに対して表示させるためのデータ」の一例である。
【0168】
ここでは、シミュレーション画像１２８Ａが第１学習済みモデル１０６に依拠した画像であることがメッセージ１３２Ａ１によって特定され、シミュレーション画像１２８Ｂが第２学習済みモデル１１８に依拠した画像であることがメッセージ１３２Ｂ１によって特定されるようにしているが、本開示の技術はこれに限定されない。例えば、シミュレーション画像１２８Ａの外枠に対して、第１学習済みモデル１０６によるシミュレーション画像であることを特定可能な色を付し、シミュレーション画像１２８Ｂの外枠に対して、第２学習済みモデル１１８によるシミュレーション画像であることを特定可能な色を付してもよい。また、第１学習済みモデル１０６によるシミュレーション画像であることを特定可能なマーク等がシミュレーション画像１２８Ａに関連付けられた状態で表示され、第２学習済みモデル１１８によるシミュレーション画像であることを特定可能なマーク等がシミュレーション画像１２８Ｂに関連付けられた状態で表示されるようにしてもよい。
【0169】
一例として図１７に示すように、シミュレーション画像表示画面１３２がディスプレイ２８に表示されている状態で、シミュレーション画像表示画面１３２内の何れかのシミュレーション画像１２８がユーザ等によってタッチパネル３０を介して選択された場合に、ＣＰＵ６２は、何れのシミュレーション画像１２８が選択されたかを特定可能な選択画像特定情報１３４を撮像支援装置１４に送信する。撮像支援装置１４の第４処理実行部８６Ｄ４は、撮像装置１２から送信された選択画像特定情報１３４を受信する。
【0170】
一例として図１８に示すように、第４処理実行部８６Ｄ４は、第４処理に含まれる処理の１つとして、ディスプレイ２８に表示された複数のシミュレーション画像１２８のうち、シミュレーション画像１２８Ａが選択された場合に第１学習済みモデル１０６の出力を、撮像に関連する制御に対して反映させ、シミュレーション画像１２８Ｂが選択された場合に第２学習済みモデル１１８の出力を、撮像に関連する制御に対して反映させる処理を実行する。
【0171】
この場合、例えば、第４処理実行部８６Ｄ４は、選択画像特定情報１３４を参照して、複数のシミュレーション画像１２８のうちの何れのシミュレーション画像１２８がユーザ等によって選択されたかを特定する。第４処理実行部８６Ｄ４は、特定したシミュレーション画像１２８の生成に用いられた基準画像１２４Ａを、特定したシミュレーション画像１２８の生成に用いられた学習済みモデルに入力する。シミュレーション画像１２８の生成に用いられた学習済みモデルは、第１学習済みモデル１０６又は第２学習済みモデル１１８である。基準画像１２４Ａが第１学習済みモデル１０６に入力された場合、第１学習済みモデル１０６は第１設定値１０６Ａを出力し、基準画像１２４Ａが第２学習済みモデル１１８に入力された場合、第２学習済みモデル１１８は第２設定値１１８Ａを出力する。
【0172】
第４処理実行部８６Ｄ４は、出力設定値を含む信号を第４処理信号として撮像装置１２に送信する。撮像装置１２は、第４処理実行部８６Ｄ４から送信された第４処理信号を受信し、受信した第４処理信号に含まれる出力設定値を用いて撮像を行う。
【0173】
一例として図１９に示すように、第５処理実行部８６Ｄ５は、第５処理として、第２学習済みモデル１１８を生成した時期を特定可能な時期特定情報１３６をディスプレイ２８に対して表示させるためのデータを出力する処理を実行する。なお、画像を表示せずに複数の時期特定情報１３６がディスプレイ２８に表示されるようにしてもよい。例えば、複数の時期特定情報１３６により特定される複数の年月日の情報が列挙されてディスプレイ２８に表示される。また、ユーザがそれらの日付を選択することにより、使用する学習済みモデルを選択できるようにしてもよい。
【0174】
この場合、例えば、第５処理実行部８６Ｄ５は、第２学習済みモデル１１８がモデル生成部８６Ｂ（図８参照）によって生成されたか否かを判定する。第５処理実行部８６Ｄ５は、第２学習済みモデル１１８がモデル生成部８６Ｂによって生成された場合に、時期特定情報１３６を取得する。例えば、時期特定情報１３６は、クロック（一例として、リアルタイムクロック）から取得される。第５処理実行部８６Ｄ５は、最新の第２設定値１１８Ａを取得する。最新の第２設定値１１８Ａとしては、例えば、「相違度１２５≧第２閾値」の条件を満足した場合の相違度１２５の算出に用いられた第２設定値１１８Ａが挙げられる。
【0175】
第５処理実行部８６Ｄ５は、第２設定値反映画像１３８を生成する。第２設定値反映画像１３８は、第２学習済みモデル１１８の出力、すなわち、最新の第２設定値１１８Ａを基準画像１２４Ａに反映させることで得られた画像である。つまり、第２設定値反映画像１３８は、第４処理実行部８６Ｄ４によってシミュレーション画像１２８（図１５）が生成された要領と同様の要領で、最新の第２設定値１１８Ａ及び基準画像１２４Ａに基づいて生成される。
【0176】
第５処理実行部８６Ｄ５は、第２設定値反映画像１３８に対して時期特定情報１３６を対応付ける。そして、第５処理実行部８６Ｄ５は、時期特定情報１３６が対応付けられた第２設定値反映画像１３８を撮像装置１２に送信する。撮像装置１２は、時期特定情報１３６が対応付けられた第２設定値反映画像１３８を受信する。撮像装置１２では、ＣＰＵ６２の制御下で、ディスプレイ２８に、第２設定値反映画像１３８と、時期特定情報１３６から特定される時期（例えば、第２学習済みモデル１１８が生成された時刻）とが並べられた状態で表示される。
【0177】
なお、時期特定情報１３６及び第２設定値反映画像１３８は、本開示の技術に係る「第２データ」である。また、時期特定情報１３６及び第２設定値反映画像１３８は、本開示の技術に係る「時期特定情報を、第２学習済みモデルの出力が反映された第７画像と対応させた状態で第２ディスプレイに対して表示させるためのデータ」の一例である。また、第２設定値反映画像１３８は、本開示の技術に係る「第７画像」の一例である。
【0178】
一例として図２０に示すように、第６処理実行部８６Ｄ６は、第６処理として、時期特定情報１３６と第２学習済みモデル１１８とを対応付ける処理を実行する。この場合、例えば、第６処理実行部８６Ｄ６は、第２学習済みモデル１１８がモデル生成部８６Ｂによって生成された場合に、時期特定情報１３６を取得する。第６処理実行部８６Ｄ６は、取得した時期特定情報１３６を、ストレージ８８内の第２学習済みモデル１１８と対応付けてストレージ８８に記憶させる。なお、図２０に示す例では、第２学習済みモデル１１８と時期特定情報１３６とが対応付けられた状態でストレージ８８に記憶されているが、本開示の技術はこれに限定されず、バックアップ用記憶装置９４に、第２学習済みモデル１１８と時期特定情報１３６とが対応付けられた状態で記憶されるようにしてもよい。
【0179】
また、撮像支援装置１４のＣＰＵ８６は、既存の第２学習済みモデル１１８（図２０に示す例では、ストレージ８８に記憶されている第２学習済みモデル１１８）を第１学習済みモデル１０６と同様に扱い、既存の第２学習済みモデル１１８を複製した学習済みモデルである複製学習済みモデルを複製モデル１１６と同様に扱うことで、複製学習済みモデルに対して学習処理を行うようにしてもよい。
【0180】
この場合、ＣＰＵ８６は、複製学習済みモデルに対して学習処理を行うことで第３学習済みモデルを生成し、生成した第３学習済みモデルに対して、第２学習済みモデル１１８と同様に、時期特定情報１３６を対応付ける。そして、ＣＰＵ８６は、第３学習済みモデルと時期特定情報１３６を対応付けた状態でストレージ８８に記憶させる。第２学習済みモデル１１８に対して学習処理が行われることで第３学習済みモデルが生成されるのと同様の処理が繰り返し行われることで、ストレージ８８には、運用可能な複数の学習済みモデルが時期特定情報１３６と対応付けられた状態で蓄積される。すなわち、Ｎを３以上の自然数とした場合、Ｎ個以上の学習済みモデルが時期特定情報１３６と対応付けられた状態でストレージ８８に蓄積される。なお、Ｎ個以上の学習済みモデルは、時期特定情報１３６と対応付けられた状態でバックアップ用記憶装置９４に蓄積されるようにしてもよい。
【0181】
一例として図２１に示すように、第７処理実行部８６Ｄ７は、第７処理として、予め定められたタイミングで第２学習済みモデル１１８の出力を、撮像に関連する制御に対して反映させる処理を実行する。
【0182】
この場合、例えば、第７処理実行部８６Ｄ７は、第２学習済みモデル１１８から出力された最新の第２設定値１１８Ａをストレージ８８に記憶させる。最新の第２設定値１１８Ａとしては、例えば、最新の検証で用いられた第２設定値１１８Ａが挙げられる。第７処理実行部８６Ｄ７は、ストレージ８８に最新の第２設定値１１８Ａが記憶されてから、予め定められたタイミングが到来したか否かを判定する。予め定められたタイミングとしては、例えば、撮像装置１２が起動したタイミング、撮像装置１２によって撮像されることで取得された撮像画像７５の数（一例として、最新の第２設定値１１８Ａがストレージ８８に記憶されてから、撮像装置１２によって撮像されることで取得された撮像画像７５の数）が第６閾値（例えば、“１００００”）以上になったタイミング、撮像装置１２の動作モードが再生モードから設定モードに遷移したタイミング、又は再生モードにて撮像画像７５に対してレーティング（例えば、撮像画像７５の画質に対するユーザ等による評価）が行われたタイミングが挙げられる。
【0183】
第７処理実行部８６Ｄ７は、予め定められたタイミングが到来した場合に、ストレージ８８から第２設定値１１８Ａを取得し、取得した第２設定値１１８Ａを撮像に関連する制御に反映させる。この場合、例えば、第７処理実行部８６Ｄ７は、ストレージ８８から取得した第２設定値１１８Ａを含む信号を第７処理信号として撮像装置１２に送信する。撮像装置１２は、第７処理実行部８６Ｄ７から送信された第７処理信号を受信し、受信した第７処理信号に含まれる第２設定値１１８Ａを用いて撮像を行う。
【0184】
一例として図２２に示すように、第８処理実行部８６Ｄ８は、第８処理として、撮像装置１２とは異なる撮像装置である別機１４０に対して第２学習済みモデル１１８を適用する場合に、撮像装置１２の特性と別機１４０の特性とに基づいて、第２学習済みモデル１１８に入力されるデータ及び第２学習済みモデル１１８からの出力のうちの少なくとも一方を補正する処理を実行する。
【0185】
図２２に示す例において、ストレージ８８には、第２学習済みモデル１１８及びイメージセンサ情報１４２が記憶されている。イメージセンサ情報１４２は、複数のイメージセンサに関する情報である。イメージセンサ情報１４２は、第２学習済みモデル１１８に付随しており、特性情報１４２Ａ及び個体差情報１４２Ｂを有する。
【0186】
特性情報１４２Ａは、第２学習済みモデル１１８に関与する異なるイメージセンサの各々の特性を示す情報である。第２学習済みモデル１１８に関与する異なるイメージセンサとしては、例えば、現時点で第２学習済みモデル１１８が適用されている撮像装置１２（すなわち、現時点で第２学習済みモデル１１８の出力が反映される撮像装置１２）のイメージセンサ２０、及び第２学習済みモデル１１８が適用される新たな対象に搭載されているイメージセンサが挙げられる。図２２に示す例において、第２学習済みモデル１１８が適用される新たな対象に搭載されているイメージセンサは、別機１４０に搭載されているイメージセンサ１４０Ａである。
【0187】
個体差情報１４２Ｂは、第２学習済みモデル１１８に関与する異なるイメージセンサ間の個体差を示す情報である。個体差の一例としては、一方のイメージセンサ（例えば、イメージセンサ２０）のＲＧＢ各画素の感度と他方のイメージセンサ（例えば、別機１４０に搭載されているイメージセンサ）のＲＧＢ各画素の感度との差、一方のイメージセンサのＩＳＯ感度と他方のイメージセンサのＩＳＯ感度との差、及び／又は、一方のイメージセンサの電子シャッタの速度と他方の第２イメージセンサの電子シャッタの速度との差等が挙げられる。
【0188】
第８処理実行部８６Ｄ８は、別機１４０から、別機１４０の特性を示す情報として、イメージセンサ１４０Ａを特定可能な情報を含む別機情報１４４を取得する。第８処理実行部８６Ｄ８は、別機情報１４４及びイメージセンサ情報１４２を用いて、撮像装置１２の特性（例えば、イメージセンサ情報１４２から特定可能な特性）と別機１４０の特性（例えば、イメージセンサ情報１４２から特定可能な特性）とを特定する。例えば、第８処理実行部８６Ｄ８は、別機情報１４４から特定されるイメージセンサ１４０Ａに関連する特性情報１４２Ａ、及び別機情報１４４から特定されるイメージセンサ１４０Ａに関連する個体差情報１４２Ｂのうちの少なくとも１つを取得し、特性情報１４２Ａ及び個体差情報１４２Ｂのうちの少なくとも１つを用いて撮像装置１２の特性と別機１４０の特性とを特定する。
【0189】
第２学習済みモデル１１８は、撮像装置１２によって撮像されることで取得された複数の撮像画像７５と正解データ１００とを用いた学習処理が行われることで得られたモデルであるので、これをそのまま別機１４０に対して適用すると、撮像装置１２の特性が第２設定値１１８Ａに反映されてしまう。そこで、第８処理実行部８６Ｄ８は、撮像装置１２の特性及び別機１４０の特性に基づいて、第２学習済みモデル１１８の入力に用いる基準画像セット１２４と、第２学習済みモデル１１８から出力された第２設定値１１８Ａとを補正する。
【0190】
この場合、例えば、第８処理実行部８６Ｄ８は、撮像装置１２の特性と別機１４０の特性との差分と基準画像セット１２４に対して行う補正の内容とが対応付けられた第１テーブル（図示省略）又は第１演算式（図示省略）を用いて、基準画像セット１２４に対して行う補正の内容を導出し、導出した補正の内容に従って基準画像セット１２４を補正する。
【0191】
第８処理実行部８６Ｄ８は、補正済みの基準画像セット１２４を第２学習済みモデル１１８に入力する。第２学習済みモデル１１８は、補正済みの基準画像セット１２４が入力されると、第２設定値１１８Ａを出力する。第８処理実行部８６Ｄ８は、撮像装置１２の特性と別機１４０の特性との差分と第２設定値１１８Ａに対して行う補正の内容とが対応付けられた第２テーブル（図示省略）又は第２演算式（図示省略）を用いて、第２学習済みモデル１１８から出力された第２設定値１１８Ａに対して行う補正の内容を導出し、導出した補正の内容に従って第２設定値１１８Ａを補正する。
【0192】
第８処理実行部８６Ｄ８は、補正済みの第２設定値１１８Ａを撮像に関連する制御に反映させる。この場合、例えば、第８処理実行部８６Ｄ８は、補正済みの第２設定値１１８Ａを含む信号を第８処理信号として撮像装置１２に送信する。撮像装置１２は、第８処理実行部８６Ｄ８から送信された第８処理信号を受信し、受信した第８処理信号に含まれる補正済みの第２設定値１１８Ａを用いて撮像を行う。
【0193】
なお、ここでは、基準画像セット１２４及び第２設定値１１８Ａの両方に対して補正が行われているが、本開示の技術はこれに限定されず、基準画像セット１２４及び第２設定値１１８Ａの一方のみに補正が行われるようにしてもよい。また、ここでは、基準画像セット１２４が第２学習済みモデル１１８に入力される形態例を挙げているが、本開示の技術はこれに限定されず、少なくとも１つの基準画像１２４Ａ又は少なくとも１つの撮像画像７５が第２学習済みモデル１１８に入力されるようにしてもよい。また、基準画像セット１２４に対する補正の要領と同様の要領で、第８処理実行部８６Ｄ８は、撮像装置１２によって撮像されることで得られる撮像画像７５を、撮像装置１２の特性及び別機１４０の特性に基づいて補正してもよい。また、ここでは、イメージセンサ情報１４２として、特性情報１４２Ａ及び個体差情報１４２Ｂの両方を含む情報を例示したが、本開示の技術はこれに限定されず、イメージセンサ情報１４２は、特性情報１４２Ａ及び個体差情報１４２Ｂの一方のみを含む情報であってもよい。
【0194】
一例として図２３に示すように、第９処理実行部８６Ｄ９は、第９処理として、上述したシミュレーション画像１２８Ｂと、未処理画像１４６Ａとをディスプレイ２８（図２４参照）に対して表示させるためのデータとしてシミュレーション画像セット１２６Ｂを出力する処理を実行する。未処理画像１４６Ａは、基準画像セット１２４に含まれる基準画像１２４Ａを第２学習済みモデル１１８に入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像１２４Ａに適用されずに得られた画像（例えば、基準画像セット１２４に含まれる基準画像１２４Ａそのものに相当する画像）である。換言すれば、未処理画像１４６Ａは、学習済みモデルの出力結果を使用しない画像処理のみが反映された画像である。
【0195】
なお、図２３に示す例において、基準画像１２４Ａは、本開示の技術に係る「第８画像」の一例である。また、第２設定値１１８Ａは、本開示の技術に係る「第３出力結果」の一例である。また、シミュレーション画像１２８Ｂは、本開示の技術に係る「第１処理済み画像」の一例である。また、未処理画像１４６Ａは、本開示の技術に係る「未処理画像」の一例である。また、シミュレーション画像セット１２６及び未処理画像セット１４６は、本開示の技術に係る「第３データ」の一例である。
【0196】
第９処理実行部８６Ｄ９は、図１５に示す第４処理実行部８６Ｄ４によって行われる処理と同様の要領で、シミュレーション画像セット１２６Ｂを生成し、生成したシミュレーション画像セット１２６Ｂを撮像装置１２に送信する。また、第９処理実行部８６Ｄ９は、第２学習済みモデル１１８に対する入力で用いた基準画像セット１２４を未処理画像セット１４６として撮像装置１２に送信する。撮像装置１２は、第９処理実行部８６Ｄ９から送信されたシミュレーション画像セット１２６Ｂ及び未処理画像セット１４６を受信する。
【0197】
一例として図２４に示すように、撮像装置１２のＣＰＵ６２は、シミュレーション画像セット１２６Ｂ及び未処理画像セット１４６に基づいてシミュレーション画像表示画面１４８を生成し、ディスプレイ２８に対してシミュレーション画像表示画面１４８を表示させる。シミュレーション画像表示画面１４８には、シミュレーション画像１２８Ｂ及び未処理画像１４６Ａ等が表示される。
【0198】
シミュレーション画像表示画面１４８は、第１画面１４８Ａと第２画面１４８Ｂとを含んでいる。ＣＰＵ６２は、未処理画像セット１４６に基づいて第１画面１４８Ａを生成し、シミュレーション画像セット１２６Ｂに基づいて第２画面１４８Ｂを生成する。図２４に示す例では、シミュレーション画像表示画面１４８内の上半分の領域が第１画面１４８Ａであり、下半分の領域が第２画面１４８Ｂである。
【0199】
ＣＰＵ６２は、第１画面１４８Ａに未処理画像１４６Ａが表示され、かつ、第２画面１４８Ｂにシミュレーション画像１２８Ｂが表示されるようにディスプレイ２８を制御する。これにより、ディスプレイ２８には、未処理画像１４６Ａとシミュレーション画像１２８Ｂとが区別可能な態様で表示される。
【0200】
ＣＰＵ６２は、未処理画像１４６Ａに対応させた状態でメッセージ１４８Ａ１をディスプレイ２８に表示させる。また、ＣＰＵ６２は、シミュレーション画像１２８Ｂに対応させた状態でメッセージ１４８Ｂ１をディスプレイ２８に対して表示させる。図２４に示す例では、第１画面１４８Ａにメッセージ１４８Ａ１が表示されることで、メッセージ１４８Ａ１が未処理画像１４６Ａに対応付けられており、第２画面１４８Ｂにメッセージ１４８Ｂ１が表示されることで、メッセージ１４８Ｂ１がシミュレーション画像１２８Ｂに対応付けられている。
【0201】
メッセージ１４８Ａ１は、未処理画像１４６Ａを特定可能なメッセージであり、メッセージ１４８Ｂ１は、第２学習済みモデル１１８を特定可能なメッセージである。図２４に示す例では、メッセージ１４８Ａ１の一例として、「未処理画像」というメッセージが示されており、メッセージ１４８Ｂ１の一例として、「第２学習済みモデルによるシミュレーション画像」というメッセージが示されている。
【0202】
図２４で例示されているメッセージ１４８Ａ１の内容は、あくまでも一例に過ぎず、メッセージ１４８Ａ１は、第１画面１４８Ａに表示されている未処理画像１４６Ａが学習済みモデルに依拠して生成された画像ではないことを示すメッセージであればよい。また、図２４で例示されているメッセージ１４８Ｂ１の内容は、あくまでも一例に過ぎず、メッセージ１４８Ｂ１は、第２画面１４８Ｂに表示されているシミュレーション画像１２８Ｂが第２学習済みモデル１１８に依拠して生成されたシミュレーション画像であることを示すメッセージであればよい。
【0203】
ここでは、未処理画像１４６Ａが学習済みモデルに依拠して生成された画像ではないことがメッセージ１４８Ａ１によって特定され、シミュレーション画像１２８Ｂが第２学習済みモデル１１８に依拠した画像であることがメッセージ１４８Ｂ１によって特定されるようにしているが、本開示の技術はこれに限定されない。例えば、未処理画像１４６Ａの外枠に対して、未処理画像１４６Ａが学習済みモデルに依拠して生成された画像ではないことを特定可能な色を付し、シミュレーション画像１２８Ｂの外枠に対して、第２学習済みモデル１１８によるシミュレーション画像であることを特定可能な色を付してもよい。また、未処理画像１４６Ａが学習済みモデルに依拠して生成された画像ではないことを特定可能なマーク等が未処理画像１４６Ａに関連付けられた状態で表示され、第２学習済みモデル１１８によるシミュレーション画像であることを特定可能なマーク等がシミュレーション画像１２８Ｂに関連付けられた状態で表示されるようにしてもよい。
【0204】
なお、図２３及び図２４に示す例では、未処理画像１４６Ａが基準画像１２４Ａであり、シミュレーション画像１２８Ｂが、基準画像１２４Ａが第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される第２設定値１１８Ａに基づいて生成される画像である形態例が示されているが、本開示の技術はこれに限定されない。例えば、未処理画像１４６Ａに代えて撮像画像７５を用い、シミュレーション画像１２８Ｂに代えて、撮像画像７５が第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される第２設定値１１８Ａに基づいて生成される画像を用いてもよい。
【0205】
一例として図２５に示すように、第１０処理実行部８６Ｄ１０は、第１０処理として、上述した未処理画像１４６Ａと、第２学習済みモデル１１８から出力される第２設定値１１８Ａに基づいてシミュレーション画像１２８Ｂの輝度が調整された輝度調整画像１５０Ａとをディスプレイ２８（図２６参照）に対して表示させるためのデータを出力する処理を実行する。
【0206】
なお、図２５に示す例において、未処理画像１４６Ａは、本開示の技術に係る「第９画像」の一例である。また、第２設定値１１８Ａは、本開示の技術に係る「第４出力結果」の一例である。また、輝度調整画像１５０Ａは、本開示の技術に係る「第２処理済み画像」の一例である。また、未処理画像１４６Ａ及び輝度調整画像セット１５０は、本開示の技術に係る「第４データ」の一例である。
【0207】
第１０処理実行部８６Ｄ１０は、図１５に示す第４処理実行部８６Ｄ４によって行われる処理と同様の要領で、第２設定値１１８Ａに基づいてシミュレーション画像セット１２６Ｂを生成し、更に、第２設定値１１８Ａに基づいてシミュレーション画像１２８Ｂの輝度を調整した輝度調整画像セット１５０を生成する。輝度調整画像セット１５０は、輝度調整画像１５０Ａ及び使用モデル識別子１５０Ｂを含む。第１０処理実行部８６Ｄ１０は、シミュレーション画像セット１２６Ｂに含まれるシミュレーション画像１２８Ｂの輝度を調整することで輝度調整画像１５０Ａを生成する。第１０処理実行部８６Ｄ１０は、輝度調整画像１５０Ａに対して使用モデル識別子１５０Ｂを対応付ける。使用モデル識別子１５０Ｂは、輝度が調整される前のシミュレーション画像１２８Ｂに対応付けられている使用モデル識別子１３０Ｂに相当する識別子（例えば、使用モデル識別子１３０Ｂを複製して得た識別子）である。
【0208】
第１０処理実行部８６Ｄ１０は、未処理画像１４６Ａ及び輝度調整画像セット１５０を撮像装置１２に送信する。撮像装置１２は、第１０処理実行部８６Ｄ１０から送信された未処理画像１４６Ａ及び輝度調整画像セット１５０を受信する。
【0209】
一例として図２６に示すように、撮像装置１２のＣＰＵ６２は、未処理画像１４６Ａ及び輝度調整画像セット１５０に基づいてシミュレーション画像表示画面１５２を生成し、ディスプレイ２８に対してシミュレーション画像表示画面１５２を表示させる。シミュレーション画像表示画面１５２には、未処理画像１４６Ａ及び輝度調整画像１５０Ａ等が表示される。
【0210】
シミュレーション画像表示画面１５２は、第１画面１５２Ａと第２画面１５２Ｂとを含んでいる。ＣＰＵ６２は、未処理画像１４６Ａに基づいて第１画面１５２Ａを生成し、輝度調整画像セット１５０に基づいて第２画面１５２Ｂを生成する。図２６に示す例では、シミュレーション画像表示画面１５２内の上半分の領域が第１画面１５２Ａであり、下半分の領域が第２画面１５２Ｂである。
【0211】
ＣＰＵ６２は、第１画面１５２Ａに未処理画像１４６Ａが表示され、かつ、第２画面１５２Ｂに輝度調整画像１５０Ａが表示されるようにディスプレイ２８を制御する。これにより、ディスプレイ２８には、未処理画像１４６Ａと輝度調整画像１５０Ａとが区別可能な態様で表示される。
【0212】
ＣＰＵ６２は、未処理画像１４６Ａに対応させた状態でメッセージ１５２Ａ１をディスプレイ２８に表示させる。また、ＣＰＵ６２は、輝度調整画像１５０Ａに対応させた状態でメッセージ１５２Ｂ１をディスプレイ２８に対して表示させる。図２６に示す例では、第１画面１５２Ａにメッセージ１５２Ａ１が表示されることで、メッセージ１５２Ａ１が未処理画像１４６Ａに対応付けられており、第２画面１５２Ｂにメッセージ１５２Ｂ１が表示されることで、メッセージ１５２Ｂ１が輝度調整画像１５０Ａに対応付けられている。
【0213】
メッセージ１５２Ａ１は、未処理画像１４６Ａを特定可能なメッセージであり、メッセージ１５２Ｂ１は、シミュレーション画像１２８Ｂに対して輝度の調整が行われたことを特定可能なメッセージである。図２６に示す例では、メッセージ１５２Ａ１の一例として、「未処理画像」というメッセージが示されており、メッセージ１５２Ｂ１の一例として、「第２学習済みモデルによるシミュレーション画像に対して輝度の調整を行って得た画像」というメッセージが示されている。
【0214】
図２６で例示されているメッセージ１５２Ａ１の内容は、あくまでも一例に過ぎず、メッセージ１５２Ａ１は、第１画面１５２Ａに表示されている未処理画像１４６Ａが学習済みモデルに依拠した処理を行っていない画像であることを示すメッセージであればよい。また、図２６で例示されているメッセージ１５２Ｂ１の内容は、あくまでも一例に過ぎず、メッセージ１５２Ｂ１は、第２画面１５２Ｂに表示されている輝度調整画像１５０Ａが、第２学習済みモデル１１８の出力に基づいて輝度の調整が行われた画像であることを特定可能なメッセージであればよい。
【0215】
ここでは、未処理画像１４６Ａが第２学習済みモデル１１８に依拠しない画像であることがメッセージ１５２Ａ１によって特定され、輝度調整画像１５０Ａがシミュレーション画像１２８Ｂに対して第２学習済みモデル１１８の出力に基づいて輝度の調整が行われた画像であることがメッセージ１５２Ｂ１によって特定されるようにしているが、本開示の技術はこれに限定されない。例えば、未処理画像１４６Ａの外枠に対して、未処理画像１４６Ａが第２学習済みモデル１１８に依拠しない画像であることを特定可能な色を付し、輝度調整画像１５０Ａの外枠に対して、輝度調整画像１５０Ａが第２学習済みモデル１１８の出力に基づいて輝度の調整が行われた画像であることを特定可能な色を付してもよい。
【0216】
また、未処理画像１４６Ａが第２学習済みモデル１１８に依拠しない画像であることが特定可能なマーク等が未処理画像１４６Ａに関連付けられた状態で表示され、輝度調整画像１５０Ａが第２学習済みモデル１１８の出力に基づいて輝度の調整が行われた画像であることを特定可能なマーク等が輝度調整画像１５０Ａに関連付けられた状態で表示されるようにしてもよい。
【0217】
なお、図２５及び図２６に示す例では、輝度調整画像１５０Ａが、基準画像１２４Ａが第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される
第２設定値１１８Ａに基づいて生成される画像である形態例が示されているが、本開示の技術はこれに限定されない。例えば、基準画像１２４Ａに代えて、撮像画像７５が第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される第２設定値１１８Ａに基づいて生成される画像を用いてもよい。
第２設定値１１８Ａに基づいて生成される画像である形態例が示されているが、本開示の技術はこれに限定されない。例えば、基準画像１２４Ａに代えて、撮像画像７５が第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される第２設定値１１８Ａに基づいて生成される画像を用いてもよい。
【0218】
一例として図２７に示すように、第１１処理実行部８６Ｄ１１は、基準画像セット１２４に含まれる基準画像１２４Ａを第２学習済みモデル１１８に入力する。第２学習済みモデル１１８は、基準画像１２４Ａが入力されると、第２設定値１１８Ａを出力する。
【0219】
第１１処理実行部８６Ｄ１１は、図１２に示す第１処理実行部８６Ｄ１によって行われる処理、図１４に示す第３処理実行部８６Ｄ３によって行われる処理、図２１に示す第７処理実行部８６Ｄ７によって行われる処理、及び図２２に示す第８処理実行部８６Ｄ８によって行われる処理と同様の要領で、第２設定値１１８Ａを撮像に関連する制御に反映させる。このように、撮像に関連する制御に第２設定値１１８Ａが反映された状態で撮像装置１２によって撮像が行われることで取得された撮像画像７５は、画像メモリ４６に記憶される。なお、図２７に示す例において、画像メモリ４６に記憶される撮像画像７５は、本開示の技術に係る「第３処理済み画像」の一例である。
【0220】
撮像装置１２のＣＰＵ６２は、画像メモリ４６から撮像画像７５を取得し、取得した撮像画像７５に対して、撮像画像７５に付随する付随情報１５４を付加する。付随情報１５４は、例えば、撮像画像７５を得るための撮像に用いられた第２設定値１１８Ａ、撮像装置１２の特性を示す情報、撮像条件、及び撮像日時等を含んでいる。付随情報１５４としては、例えば、Ｅｘｉｆ情報が挙げられる。なお、図２７に示す例において、付随情報１５４は、本開示の技術に係る「第１付随情報」の一例である。
【0221】
撮像装置１２のＣＰＵ６２は、付随情報１５４が付加された撮像画像７５を第１１処理実行部８６Ｄ１１に送信する。第１１処理実行部８６Ｄ１１は、撮像装置１２のＣＰＵ６２から送信された撮像画像７５を受信する。第１１処理実行部８６Ｄ１１は、第１１処理として、受信した撮像画像７５に付加されている付随情報１５４に、上述した使用モデル識別子１３０Ｂを含める処理を実行する。
【0222】
なお、図２７に示す例では、基準画像１２４Ａが第２学習済みモデル１１８に入力される形態例が示されているが、これは、あくまでも一例に過ぎず、撮像画像７５が第２学習済みモデル１１８に入力されるようにしてもよい。
【0223】
一例として図２８に示すように、第１２処理実行部８６Ｄ１２は、基準画像セット１２４に含まれる基準画像１２４Ａを第１学習済みモデル１０６に入力する。第１学習済みモデル１０６は、基準画像１２４Ａが入力されると、第１設定値１０６Ａを出力する。
【0224】
第１２処理実行部８６Ｄ１２は、図１２に示す第１処理実行部８６Ｄ１によって行われる処理、図１４に示す第３処理実行部８６Ｄ３によって行われる処理、図２１に示す第７処理実行部８６Ｄ７によって行われる処理、図２２に示す第８処理実行部８６Ｄ８によって行われる処理、及び図２７に示す第１１処理実行部８６Ｄ１１によって行われる処理と同様の要領で、第１設定値１０６Ａを撮像に関連する制御に反映させる。このように、撮像に関連する制御に第１設定値１０６Ａが反映された状態で撮像装置１２によって撮像が行われることで取得された撮像画像７５は、画像メモリ４６に記憶される。なお、図２８に示す例において、画像メモリ４６に記憶される撮像画像７５は、本開示の技術に係る「第４処理済み画像」の一例である。
【0225】
撮像装置１２のＣＰＵ６２は、画像メモリ４６から撮像画像７５を取得し、取得した撮像画像７５に対して、撮像画像７５に付随する付随情報１５４を付加する。付随情報１５４は、例えば、撮像画像７５を得るための撮像に用いられた第１設定値１０６Ａ、撮像装置１２の特性を示す情報、撮像条件、及び撮像日時等を含んでいる。付随情報１５４としては、例えば、Ｅｘｉｆ情報が挙げられる。なお、図２８に示す例において、付随情報１５４は、本開示の技術に係る「第２付随情報」の一例である。
【0226】
撮像装置１２のＣＰＵ６２は、付随情報１５４が付加された撮像画像７５を第１２処理実行部８６Ｄ１２に送信する。第１２処理実行部８６Ｄ１２は、撮像装置１２のＣＰＵ６２から送信された撮像画像７５を受信する。第１２処理実行部８６Ｄ１２は、第１２処理として、受信した撮像画像７５に付加されている付随情報１５４に、上述した使用モデル識別子１３０Ａを含める処理を実行する。
【0227】
【0228】
図２９Ａ及び図２９Ｂには、撮像支援装置１４のＣＰＵ８６によって行われる撮像支援処理の流れの一例が示されている。なお、図２９Ａ及び図２９Ｂに示す撮像支援処理の流れは、本開示の技術に係る「撮像支援方法」の一例である。
【0229】
図２９Ａに示す撮像支援処理では、先ず、ステップＳＴ１００で、教師データ生成部８６Ａは、撮像装置１２の画像メモリ４６に撮像画像７５が記憶されたか否かを判定する。ステップＳＴ１００において、撮像装置１２の画像メモリ４６に撮像画像７５が記憶されていない場合は、判定が否定されて、ステップＳＴ１００の判定が再び行われる。ステップＳＴ１００において、撮像装置１２の画像メモリ４６に撮像画像７５が記憶された場合は、判定が肯定されて、撮像支援処理はステップＳＴ１０２へ移行する。
【0230】
ステップＳＴ１０２で、教師データ生成部８６Ａは、画像メモリ４６から撮像画像７５を取得する。ステップＳＴ１０２の処理が実行された後、撮像支援処理はステップＳＴ１０４へ移行する。
【0231】
ステップＳＴ１０４で、教師データ生成部８６Ａは、撮像装置１２のＮＶＭ６４から各種の設定値１０２を取得する。ステップＳＴ１０４の処理が実行された後、撮像支援処理はステップＳＴ１０６へ移行する。
【0232】
ステップＳＴ１０６で、教師データ生成部８６Ａは、ステップＳＴ１０２で取得した撮像画像７５、及びステップＳＴ１０４で取得した各種の設定値１０２に基づいて教師データ９８を生成し、生成した教師データ９８をストレージ８８に記憶させる。ステップＳＴ１０６の処理が実行された後、撮像支援処理はステップＳＴ１０８へ移行する。
【0233】
ステップＳＴ１０８で、判定部８６Ｃは、ＣＮＮ１０４に対する学習処理を実行するタイミングである第１学習処理実行タイミングが到来したか否かを判定する。第１学習処理実行タイミングの一例としては、撮像フレーム数が第１閾値（例えば、“１００００”）に達したタイミングが挙げられる。
【0234】
ステップＳＴ１０８において、第１学習処理実行タイミングが到来していない場合は、判定が否定されて、撮像支援処理はステップＳＴ１００へ移行する。ステップＳＴ１０８において、第１学習処理実行タイミングが到来した場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１０へ移行する。
【0235】
ステップＳＴ１１０で、モデル生成部８６Ｂは、ストレージ８８に記憶されている教師データ９８を用いてＣＮＮ１０４に対して学習処理を行うことで第１学習済みモデル１０６を生成する。ステップＳＴ１１０の処理が実行された後、撮像支援処理はステップＳＴ１１２へ移行する。
【0236】
ステップＳＴ１１２で、判定部８６Ｃは、撮像フレーム数が第１閾値に到達したか否かを判定する。ステップＳＴ１１２において、撮像フレーム数が第１閾値に到達していない場合は、判定が否定されて、ステップＳＴ１１２の判定が再び行われる。ステップＳＴ１１２において、撮像フレーム数が第１閾値に到達した場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１４へ移行する。
【0237】
ステップＳＴ１１４で、モデル生成部８６Ｂは、ステップＳＴ１１０で生成した第１学習済みモデル１０６から複製モデル１１６を生成する。ステップＳＴ１１４の処理が実行された後、撮像支援処理はステップＳＴ１１６へ移行する。
【0238】
ステップＳＴ１１６で、教師データ生成部８６Ａは、撮像装置１２の画像メモリ４６に撮像画像７５が記憶されたか否かを判定する。ステップＳＴ１１６において、撮像装置１２の画像メモリ４６に撮像画像７５が記憶されていない場合は、判定が否定されて、ステップＳＴ１１６の判定が再び行われる。ステップＳＴ１１６において、撮像装置１２の画像メモリ４６に撮像画像７５が記憶された場合は、判定が肯定されて、撮像支援処理はステップＳＴ１１８へ移行する。
【0239】
ステップＳＴ１１８で、教師データ生成部８６Ａは、画像メモリ４６から撮像画像７５を取得する。ステップＳＴ１１８の処理が実行された後、撮像支援処理はステップＳＴ１２０へ移行する。
【0240】
ステップＳＴ１２０で、教師データ生成部８６Ａは、撮像装置１２のＮＶＭ６４から各種の設定値１０２を取得する。ステップＳＴ１２０の処理が実行された後、撮像支援処理はステップＳＴ１２２へ移行する。
【0241】
ステップＳＴ１２２で、教師データ生成部８６Ａは、ステップＳＴ１１８で取得した撮像画像７５、及びステップＳＴ１２０で取得した各種の設定値１０２に基づいて教師データ９８を生成し、生成した教師データ９８をストレージ８８に記憶させる。ステップＳＴ１２２の処理が実行された後、撮像支援処理はステップＳＴ１２４へ移行する。
【0242】
ステップＳＴ１２４で、判定部８６Ｃは、ステップＳＴ１１４で生成した複製モデル１１６に対する学習処理を実行するタイミングである第２学習処理実行タイミングが到来したか否かを判定する。第２学習処理実行タイミングの一例としては、撮像フレーム数が第１閾値（例えば、“１０００”）に達したタイミングが挙げられる。
【0243】
ステップＳＴ１２４において、第２学習処理実行タイミングが到来していない場合は、判定が否定されて、撮像支援処理はステップＳＴ１１６へ移行する。ステップＳＴ１２４において、第２学習処理実行タイミングが到来した場合は、判定が肯定されて、撮像支援処理は、図２９Ｂに示すステップＳＴ１２６へ移行する。
【0244】
図２９Ｂに示すステップＳＴ１２６で、モデル生成部８６Ｂは、ストレージ８８に記憶されている教師データ９８（一例として、ステップＳＴ１１６～ステップＳＴ１２４の処理が繰り返し行われることで得られた教師データ９８）を用いて、最新モデル（例えば、ステップＳＴ１２４において１回目の肯定判定が行われた場合の複製モデル１１６、及び、ステップＳＴ１２４において２回目以降の肯定判定が行われた場合の既存の第２学習済みモデル１１８（すなわち、最新の学習済みモデル１１８））に対して学習処理を行うことで第２学習済みモデル１１８を生成する。ステップＳＴ１２６の処理が実行された後、撮像支援処理はステップＳＴ１２８へ移行する。
【0245】
ステップＳＴ１２８で、実行部８６Ｄは、ストレージ８８から基準画像セット１２４を取得する。ステップＳＴ１２８の処理が実行された後、撮像支援処理はステップＳＴ１３０へ移行する。
【0246】
ステップＳＴ１３０で、実行部８６Ｄは、ステップＳＴ１２８で取得した基準画像セット１２４を第１学習済みモデル１０６及び第２学習済みモデル１１８に入力する。ステップＳＴ１３０の処理が実行された後、撮像支援処理はステップＳＴ１３２へ移行する。
【0247】
ステップＳＴ１３２で、実行部８６Ｄは、第１学習済みモデル１０６から出力された第１設定値１０６Ａ、及び第２学習済みモデル１１８から出力された第２設定値１１８Ａを取得する。ステップＳＴ１３２の処理が実行された後、撮像支援処理はステップＳＴ１３４へ移行する。
【0248】
ステップＳＴ１３４で、実行部８６Ｄは、ステップＳＴ１３２で取得した第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５を算出する。ステップＳＴ１３４の処理が実行された後、撮像支援処理はステップＳＴ１３６へ移行する。
【0249】
ステップＳＴ１３６で、実行部８６Ｄは、ステップＳＴ１３４で算出した相違度１２５が第２閾値以上であるか否かを判定する。ステップＳＴ１３６において、ステップＳＴ１３４で算出した相違度１２５が第２閾値未満の場合は、判定が否定されて、撮像支援処理は、図２９Ａに示すステップＳＴ１１６へ移行する。ステップＳＴ１３６において、ステップＳＴ１３４で算出した相違度１２５が第２閾値以上の場合は、判定が肯定されて、撮像支援処理はステップＳＴ１３８へ移行する。
【0250】
ステップＳＴ１３８で、実行部８６Ｄは、特定処理を実行する。ステップＳＴ１３８の処理が実行された後、撮像支援処理が終了する。
【0251】
以上説明したように、撮像支援装置１４では、ストレージ８８に第１学習済みモデル１０６が記憶されており、第１学習済みモデル１０６は、撮像に関連する制御に用いられる。また、撮像支援装置１４では、撮像画像７５が取得された際の撮像装置１２に適用された各種の設定値１０２を正解データ１００とし、撮像画像７５と正解データ１００とを教師データ９８とした学習処理が学習モデルに対して行われることで、撮像に関連する制御に用いられる第２学習済みモデル１１８が生成される。そして、基準画像セット１２４が第１学習済みモデル１０６に入力された場合に第１学習済みモデル１０６から出力される第１設定値１０６Ａと、基準画像セット１２４が第２学習済みモデル１１８に入力された場合に第２学習済みモデル１１８から出力される第２設定値１１８Ａとに基づいて特定処理が行われる。従って、本構成によれば、第１学習済みモデル１０６と第２学習済みモデル１１８との相違度とは無関係な処理のみが行われる場合に比べ、ＣＰＵ８６及び／又はユーザの負荷の軽減に寄与することができる。
【0252】
撮像支援装置１４では、ストレージ８８に基準画像セット１２４が記憶されている。従って、本構成によれば、第１学習済みモデル１０６及び第２学習済みモデル１１８に入力する画像がストレージ８８等のメモリに何ら記憶されていない場合に比べ、第１学習済みモデル１０６及び第２学習済みモデル１１８に基準画像セット１２４を入力する処理を容易に実現することができる。
【0253】
撮像支援装置１４では、撮像フレーム数が第１閾値に到達したという条件を満足した場合に学習処理が行われることで第２学習済みモデル１１８が生成される。従って、本構成によれば、常に学習処理を行い続ける場合に比べ、学習処理にかかる負荷を軽減することができる。
【0254】
撮像支援装置１４では、学習処理が行われる対象とされる最新の学習モデルが得られた時期（例えば、複製モデル１１６が生成された時期）から、撮像フレーム数が第１閾値に到達したという条件を満足するまでの期間に撮像装置１２によって撮像されることで取得された複数の撮像画像７５と、複数の撮像画像７５に関連しており、撮像装置１２に適用された各種の設定値とが教師データ９８として用いられる。従って、本構成によれば、撮像が行われる毎に単一の撮像画像７５及び単一の設定値を教師データとした学習処理を行う場合に比べ、学習処理にかかるＣＰＵ８６の負荷を軽減することができる。
【0255】
撮像支援装置１４では、撮像フレーム数が第１閾値に到達したという条件を満足した場合に特定処理が行われる。従って、本構成によれば、常に特定処理が行われる場合に比べ、ＣＰＵ８６にかかる負荷を軽減することができる。
【0256】
撮像支援装置１４では、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５が第２閾値以上の場合に特定処理が行われる。従って、本構成によれば、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５とは無関係に常に特定処理が行われる場合に比べ、ＣＰＵ８６にかかる負荷を軽減することができる。
【0257】
撮像支援装置１４では、特定処理に含まれる第１処理として、撮像に関連する制御に対して第２設定値１１８Ａを反映させる処理が行われる。従って、本構成によれば、撮像に関連する制御に常に第１学習済みモデル１０６のみが用いられる場合に比べ、撮像に関する制御をユーザ等が意図する制御に近付けることができる。
【0258】
撮像支援装置１４では、特定処理に含まれる第２処理として、第２学習済みモデル１１８がバックアップ用記憶装置９４に記憶させる処理が行われる。従って、本構成によれば、同じ第２学習済みモデル１１８を繰り返し使用することができる。
【0259】
撮像支援装置１４では、特定処理に含まれる第３処理として、第１学習済みモデル１０６及び第２学習済みモデル１１８のうち、第３処理実行部８６Ｄ３によって受け付けられた指示に従って選択された方の出力を、撮像に関連する制御に対して反映させる処理が行われる。従って、本構成によれば、第１学習済みモデル１０６及び第２学習済みモデル１１８のうち、ユーザ等の好みに対応する方からの出力を撮像に関連する制御に反映させることができる。
【0260】
撮像支援装置１４では、特定処理に含まれる第４処理として、第１学習済みモデル１０６に対して基準画像セット１２４を入力することで第１学習済みモデル１０６から出力された第１設定値１０６Ａが基準画像セット１２４に適用されることで得られる画像に相当するシミュレーション画像１２８Ａ、及び第２学習済みモデル１１８に対して基準画像セット１２４を入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像セット１２４に適用されることで得られるシミュレーション画像１２８Ｂをディスプレイ２８に対して表示させるためのデータが撮像装置１２に送信される。従って、本構成によれば、第１学習済みモデル１０６の出力と第２学習済みモデル１１８の出力との違いをユーザ等に対して視覚的に認識させることができる。
【0261】
撮像支援装置１４では、第１学習済みモデル１０６に対して基準画像セット１２４を入力することで第１学習済みモデル１０６から出力された第１設定値１０６Ａが基準画像セット１２４に適用されることで得られる画像に相当するシミュレーション画像１２８Ａと、第２学習済みモデル１１８に対して基準画像セット１２４を入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像セット１２４に適用されることで得られるシミュレーション画像１２８Ｂとが区別可能な態様でディスプレイ２８に表示される。従って、本構成によれば、シミュレーション画像１２８Ａとシミュレーション画像１２８Ｂとが区別できない状態でディスプレイ２８に表示される場合に比べ、シミュレーション画像１２８Ａとシミュレーション画像１２８Ｂとの違いをユーザ等に容易に知覚させることができる。
【0262】
撮像支援装置１４では、シミュレーション画像１２８Ａとメッセージ１３２Ａ１とが対応付けられた状態で第１画面１３２Ａに表示され、シミュレーション画像１２８Ｂとメッセージ１３２Ｂ１とが対応付けられた状態で第２画面１３２Ｂに表示される。従って、本構成によれば、シミュレーション画像１２８Ａが第１学習済みモデル１０６を用いることで得られた画像であること、及びシミュレーション画像１２８Ｂが第２学習済みモデル１１８を用いることで得られた画像であることをユーザ等に容易に知覚させることができる。
【0263】
撮像支援装置１４では、特定処理に含まれる第４処理として、第１学習済みモデル１０６に対して基準画像セット１２４を入力することで第１学習済みモデル１０６から出力された第１設定値１０６Ａが基準画像セット１２４に適用されることで得られる画像に相当するシミュレーション画像１２８Ａ、及び第２学習済みモデル１１８に対して基準画像セット１２４を入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像セット１２４に適用されることで得られるシミュレーション画像１２８Ｂをディスプレイ２８に対して表示させるためのデータが撮像装置１２に送信される。従って、本構成によれば、第１学習済みモデル１０６及び第２学習済みモデル１１８からランダムに選ばれた学習済みモデルの出力を撮像に関連する制御に反映させる場合に比べ、第１学習済みモデル１０６及び第２学習済みモデル１１８のうちのユーザ等が意図する学習済みモデルの出力を撮像に関連する制御に反映させ易くすることができる。
【0264】
撮像支援装置１４では、特定処理に含まれる第５処理として、第２学習済みモデル１１８を生成した時期を特定可能な時期特定情報１３６をディスプレイ２８に対して表示させるためのデータが撮像装置１２に送信される。従って、本構成によれば、第２学習済みモデル１１８を生成した時期をユーザ等に知覚させることができる。
【0265】
撮像支援装置１４では、第２学習済みモデル１１８の出力が反映された第２設定値反映画像１３８と時期特定情報１３６とが対応付けられた状態でディスプレイ２８に表示される。従って、本構成によれば、第２学習済みモデル１１８を生成した時期と第２学習済みモデル１１８の出力が反映された画像との対応関係をユーザ等に知覚させることができる。
【0266】
撮像支援装置１４では、特定処理に含まれる第６処理として、時期特定情報１３６と第２学習済みモデル１１８とを対応付ける処理が行われる。従って、本構成によれば、第２学習済みモデル１１８を生成した時期と第２学習済みモデル１１８との対応関係をユーザ等に知覚させることができる。
【0267】
撮像支援装置１４では、特定処理に含まれる第７処理として、予め定められたタイミングで第２学習済みモデル１１８の出力を撮像に関連する制御に対して反映させる処理が行われる。従って、本構成によれば、例えば、有意差を判定したタイミングで学習済みモデルを更新する場合に比べ、ユーザにとって都合の良いタイミングで学習済みモデルを更新することができる。
【0268】
撮像支援装置１４では、特定処理に含まれる第７処理として、撮像装置１２が起動したタイミング、撮像装置１２によって撮像されることで取得された撮像画像７５の数（一例として、最新の第２設定値１１８Ａがストレージ８８に記憶されてから、撮像装置１２によって撮像されることで取得された撮像画像７５の数）が第６閾値（例えば、“１００００”）以上になったタイミング、撮像装置１２の動作モードが再生モードから設定モードに遷移したタイミング、又は再生モードにて撮像画像７５に対してレーティング（例えば、撮像画像７５の画質に対するユーザ等による評価）が行われたタイミングで第２学習済みモデル１１８の出力を撮像に関連する制御に対して反映させる処理が行われる。従って、本構成によれば、例えば、有意差を判定したタイミングで学習済みモデルを更新する場合に比べ、ユーザにとって都合の良いタイミングで学習済みモデルを更新することができる。
【0269】
撮像支援装置１４では、特定処理に含まれる第８処理として、撮像装置１２とは異なる撮像装置である別機１４０に対して第２学習済みモデル１１８を適用する場合に、撮像装置１２の特性と別機１４０の特性とに基づいて、第２学習済みモデル１１８に入力されるデータ及び第２学習済みモデル１１８からの出力のうちの少なくとも一方を補正する処理が行われる。従って、本構成によれば、撮像装置１２の特性と別機１４０の特性とが全く考慮されずに別機に対して第２学習済みモデル１１８が適用される場合に比べ、別機１４０によって撮像されることで得られた画像の画質を、ユーザ等が意図する画質に容易に近付けることができる。
【0270】
撮像支援装置１４では、第２学習済みモデル１１８にイメージセンサ情報１４２が付随しており、イメージセンサ情報１４２に特性情報１４２Ａ及び個体差情報１４２Ｂが含まれている。そして、撮像装置１２の特性及び別機１４０の特性がイメージセンサ情報１４２に基づいて特定される。従って、本構成によれば、撮像装置１２で用いられるイメージセンサ２０と別機１４０で用いられるイメージセンサ１４０Ａとの違いが全く考慮されずに別機１４０に対して第２学習済みモデル１１８が適用される場合に比べ、別機１４０によって撮像されることで得られた画像について、ユーザ等が意図する画質をより正しく再現することができる。
【0271】
撮像支援装置１４では、特定処理に含まれる第９処理として、第２学習済みモデル１１８に対して基準画像セット１２４を入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像セット１２４に適用されることで得られるシミュレーション画像１２８Ｂと、未処理画像１４６Ａとがディスプレイ２８に表示される。未処理画像１４６Ａは、基準画像セット１２４に含まれる基準画像１２４Ａを第２学習済みモデル１１８に入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像１２４Ａに適用されずに得られた画像（例えば、基準画像セット１２４に含まれる基準画像１２４Ａそのものに相当する画像）である。従って、本構成によれば、第２学習済みモデル１１８の出力の影響を受けた画像とそうでない画像との差をユーザ等に知覚させることができる。
【0272】
撮像支援装置１４では、特定処理に含まれる第１０処理として、第２学習済みモデル１１８に対して基準画像セット１２４を入力することで第２学習済みモデル１１８から出力された第２設定値１１８Ａが基準画像セット１２４に適用され輝度が調整された輝度調整画像１５０Ａと、未処理画像１４６Ａをディスプレイ２８に対して表示させるためのデータが撮像装置１２に送信される。従って、本構成によれば、未処理画像と、第２学習済みモデル１１８の出力の影響を受けた画像の輝度が調整された画像との差をユーザ等に知覚させることができる。
【0273】
撮像支援装置１４では、特定処理に含まれる第１１処理として、撮像画像７５に付加されている付随情報１５４に、使用モデル識別子１３０Ｂを含める処理が行われる。従って、本構成によれば、第２学習済みモデル１１８の出力を撮像に関連する制御に対して反映させて撮像されることで得られた画像に対して、第２学習済みモデル１１８を特定可能な情報が関連付けられていない場合に比べ、第２学習済みモデル１１８の出力を撮像に関連する制御に対して反映させて撮像されることで得られた画像が第２学習済みモデル１１８を用いて得られた画像であることを容易に特定することができる。
【0274】
撮像支援装置１４では、特定処理に含まれる第１２処理として、撮像画像７５に付加されている付随情報１５４に使用モデル識別子１３０Ａを含める処理が実行される。従って、本構成によれば、第１学習済みモデル１０６の出力を撮像に関連する制御に対して反映させて撮像されることで得られた画像に対して、第１学習済みモデル１０６を特定可能な情報が関連付けられていない場合に比べ、第１学習済みモデル１０６の出力を撮像に関連する制御に対して反映させて撮像されることで得られた画像が第１学習済みモデル１０６を用いて得られた画像であることを容易に特定することができる。
【0275】
撮像支援装置１４では、教師データ９８として各種の設定値１０２が用いられる。そして、各種の設定値１０２として、撮像に用いるホワイトバランスに関する設定値、撮像で用いる露出に関する設定値、撮像で用いる彩度に関する設定値、及び撮像で用いる階調に関する設定値が採用されている。従って、本構成によれば、教師データ９８として、撮像で用いるホワイトバランスに関する設定値、撮像で用いる露出に関する設定値、撮像で用いる彩度に関する設定値、及び撮像で用いる階調に関する設定値とは全く無関係な設定値を用いる場合に比べ、撮像で用いるホワイトバランスに関する設定値、撮像で用いる露出に関する設定値、撮像で用いる彩度に関する設定値、及び撮像で用いる階調に関する設定値のうちの少なくとも１つをユーザ等が意図する設定値に近付け易くすることができる。
【0276】
また、教師データ９８として、撮像で用いるフォーカスに関する設定値を用いてもよい。撮像で用いるフォーカスに関する設定値としては、例えば、ＡＦ制御に用いられるフォーカス枠に関する設定値、及び／又は、使用するＡＦ方式（例えば、位相差ＡＦ方式及びコントラストＡＦ方式等）に関する設定値等が挙げられる。この場合、教師データ９８として、撮像で用いるフォーカスに関する設定値とは全く無関係な設定値を用いる場合に比べ、撮像で用いるフォーカスに関する設定値をユーザ等が意図する設定値に近付け易くすることができる。
【0277】
教師データ９８として用いられる設定値１０２は、撮像に用いるホワイトバランスに関する設定値、撮像で用いる露出に関する設定値、撮像で用いる彩度に関する設定値、撮像で用いる階調に関する設定値、及び撮像で用いるフォーカスに関する設定値のうちの少なくとも１つであればよい。
【0278】
なお、上記実施形態では、基準画像セット１２４が第１学習済みモデル１０６及び第２学習済みモデル１１８に入力されることによって検証が行われる形態例（図１０参照）を挙げたが、本開示の技術はこれに限定されない。例えば、図３０に示すように、１０００枚の撮像画像７５が第１学習済みモデル１０６及び第２学習済みモデル１１８に入力されることによって検証が行われるようにしてもよい。この場合、一例として図３１に示すように、撮像装置１２の画像メモリ４６に撮像画像７５が記憶される毎に、ストレージ８８にも撮像画像７５が記憶される。そして、ストレージ８８に記憶された撮像画像７５の数が１０００に達すると、実行部８６Ｄは、ストレージ８８内の１０００の撮像画像７５を第１学習済みモデル１０６及び第２学習済みモデル１１８に入力する。これにより、第１学習済みモデル１０６は、入力された撮像画像７５に応じた第１設定値１０６Ａを出力し、第２学習済みモデル１１８は、入力された撮像画像７５に応じた第２設定値１１８Ａを出力する。実行部８６Ｄは、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５を算出し、相違度１２５が第２閾値以上であるか否かを判定する。
【0279】
この場合、例えば、１０００枚分の撮像画像７５を用いて学習処理が行われることによって第２学習済みモデル１１８が生成され、生成された第２学習済みモデル１１８及び第１学習済みモデル１０６に対して、検証用の入力として、第２学習済みモデル１１８を生成するための学習処理に用いられた１０００枚分の撮像画像７５が１枚ずつ与えられた場合、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５が第２閾値に達する枚数が、指定された枚数（例えば、８００）に達したことを条件に、運用に用いられる学習済みモデルが最新の学習済みモデルに切り替えられるようにしてもよいし、特定処理が行われるようにしてもよい。
【0280】
また、１０００枚分の撮像画像７５が蓄積されるまで検証が行われないという形態例は、あくまでも一例に過ぎず、１回分（１枚）の撮像が行われる毎に検証が行われ、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５が第２閾値に達する枚数が、指定された枚数に達した段階で、運用に用いられる学習済みモデルが最新の学習済みモデルに切り替えられるようにしてもよいし、特定処理が行われるようにしてもよい。
【0281】
なお、ここでは、１０００枚の撮像画像７５が第１学習済みモデル１０６及び第２学習済みモデル１１８に入力される形態例を挙げているが、これは、あくまでも一例に過ぎず、１０００枚未満の数（例えば、１００）の撮像画像７５、又は、１０００を超える数（例えば、１００００）の撮像画像７５が第１学習済みモデル１０６及び第２学習済みモデル１１８に入力されるようにしてよい。
【0282】
上記実施形態では、相違度１２５が第２閾値以上の場合に特定処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３２に示すように、ＣＰＵ８６は、既定の期間内に撮像されることで得られた画像の数が第３閾値に到達したことを条件に予め定められた処理を行うようにしてもよい。第３閾値としては、例えば、複製モデル１１６が生成されてから５０００枚、及び、検証が行われてから５０００枚が挙げられるが、これに限らず、５０００枚未満の数に相当する値であってもよいし、５０００を超える数に相当する値であってもよい。また、既定の期間とは、例えば１日である。すなわち、例えば、１日５０００枚以上の画像に関する撮像が行われたか否かを判定するようにしてもよい。１日５０００枚に関する撮像が行われれば、第２学習済みモデル１１８は第１学習済みモデル１０６よりも有意な差が大きいと考えられる。
【0283】
予め定められた処理としては、第１学習済みモデル１０６の出力と第２学習済みモデル１１８の出力との間に有意な差が生じたと判断された第２学習済みモデル１１８をバックアップ用記憶装置９４に記憶させる処理、及び／又は、第１学習済みモデル１０６の出力と第２学習済みモデル１１８の出力との間に有意な差が生じたと判断する処理等が挙げられる。ここで、有意な差とは、例えば、第１学習済みモデル１０６の学習処理に用いられた撮像画像７５の内容（例えば、撮像シーン）傾向から、第２学習済みモデル１１８の学習処理に用いられた撮像画像７５の内容の傾向が既定度合い以上で乖離している度合いを指す。また、有意な差とは、例えば、第１学習済みモデル１０６の学習処理に用いられた正解データ１００の内容の傾向から、第２学習済みモデル１１８の学習処理に用いられた正解データ１００の内容の傾向が既定度合い以上で乖離している度合いを指す。既定度合いは、固定値であってもよいし、ユーザ等から撮像支援装置１４に対して与えられた指示、及び／又は、各種条件に応じて変更される可変値であってもよい。なお、ここでは予め定められた処理としているが、予め定められる必要はなく、例えば、既定の期間内に撮像された画像の数が第３閾値に到達したことを条件に、これらの処理をユーザに選択させるようにしてもよい。
【0284】
撮像されることで得られた画像の数が第３閾値に到達したことを条件に予め定められた処理が行われる、という構成によれば、撮像されることで得られた画像の数とは無関係に予め定められた処理が行われる場合に比べ、ＣＰＵ８６にかかる負荷を軽減することができる。また、例えば、撮像されることで得られた画像の数が第３閾値に到達したことを条件に、有意な差が生じたと判断された第２学習済みモデル１１８をバックアップ用記憶装置９４に記憶させる処理を行えば、有意な差が出たと判断された第２学習済みモデル１１８を全てバックアップ用記憶装置９４に記憶させる場合と比べ、特に差が大きいと考えられる第２学習済みモデル１１８のみをバックアップ用記憶装置９４に記憶させることができる。
【0285】
また、ＣＰＵ８６は、既定の期間に第１環境下で撮像が行われることで取得され、教師データ９８として用いられた撮像画像７５の数が第４閾値以上であり、かつ、第１環境とは異なる第２環境下で撮像が行われることで得られ、教師データ９８として用いられた撮像画像７５の数が第５閾値以下の場合に、予め定められた処理を行うようにしてもよい。既定の期間とは、例えば、１日を指す。例えば、第４閾値が第５閾値よりも大幅に大きい場合（例えば、第４閾値が１０００、第５閾値が１０）、かつ、撮像画像７５の数が上記条件を満たす場合、撮像画像７５には第１環境下で撮像されることで得られた画像が多く含まれると考えられる。すなわち、教師データ９８の基となる撮像画像７５は、第１環境
下に偏って撮像されることで得られたと考えられる。第１環境下に偏って撮像された教師データ９８を用いて学習すれば、第２学習済みモデル１１８は第１学習済みモデル１０６よりも有意な差が大きいと考えられる。この特定処理も、第２学習済みモデル１１８をバックアップ用記憶装置９４に記憶させる処理、及び／又は、第１学習済みモデル１０６の出力と第２学習済みモデル１１８の出力との間に有意な差が生じたと判断する処理等が挙げられる。これらの処理も、予め定められる必要はなく、例えば、第１環境下で撮像が行われることで取得され、教師データ９８として用いられた撮像画像７５の数が第４閾値以上であり、かつ、第１環境とは異なる第２環境下で撮像が行われることで得られ、教師データ９８として用いられた撮像画像７５の数が第５閾値以下の場合に、これらの処理をユーザに選択させてもよい。また、必ずしも第２環境下で得られた撮像画像７５の数を用いる必要はなく、例えば、１日で得られた撮像画像７５の総数に対して第１環境下で撮像が行われることで取得された撮像画像７５の数の割合が既定の閾値以上であるかを判定して上記の予め定められた処理を行うようにしてもよい。
下に偏って撮像されることで得られたと考えられる。第１環境下に偏って撮像された教師データ９８を用いて学習すれば、第２学習済みモデル１１８は第１学習済みモデル１０６よりも有意な差が大きいと考えられる。この特定処理も、第２学習済みモデル１１８をバックアップ用記憶装置９４に記憶させる処理、及び／又は、第１学習済みモデル１０６の出力と第２学習済みモデル１１８の出力との間に有意な差が生じたと判断する処理等が挙げられる。これらの処理も、予め定められる必要はなく、例えば、第１環境下で撮像が行われることで取得され、教師データ９８として用いられた撮像画像７５の数が第４閾値以上であり、かつ、第１環境とは異なる第２環境下で撮像が行われることで得られ、教師データ９８として用いられた撮像画像７５の数が第５閾値以下の場合に、これらの処理をユーザに選択させてもよい。また、必ずしも第２環境下で得られた撮像画像７５の数を用いる必要はなく、例えば、１日で得られた撮像画像７５の総数に対して第１環境下で撮像が行われることで取得された撮像画像７５の数の割合が既定の閾値以上であるかを判定して上記の予め定められた処理を行うようにしてもよい。
【0286】
この場合、例えば、図３３に示すように、ＣＰＵ８６は、撮像画像７５に付加されている付随情報１５４に第１環境及び第２環境を特定可能な情報が含まれていることを前提として、１００００枚目から１１０００枚目までの撮像画像７５の各々の付随情報１５４を参照して、第１環境下で撮像が行われることで取得された撮像画像７５の数（以下、「第１環境下フレーム数」と称する）、及び第２環境下で撮像が行われることで取得された撮像画像７５の数（以下、「第２環境下フレーム数」と称する）を特定する。ここで、第１環境及び第２環境とは、例えば、撮像シーン及び光源から特定される環境を指す。撮像シーンとは、例えば、人物又は風景等を指し、光源とは、例えば、太陽又は室内光源等を指す。
【0287】
ＣＰＵ８６は、第１環境下フレーム数が第４閾値以上であり、かつ、第２環境下フレーム数が第５閾値以下である、という条件（以下、「判定条件」とも称する）を満足したか否かを判定する。判定条件を満足したということは、第１学習済みモデル１０６の出力と第２学習済みモデル１１８の出力との間に有意な差が生じたことを意味する。そこで、ＣＰＵ８６は、判定条件を満足した場合、予め定められた処理を実行する。なお、第４閾値及び第５閾値は、固定値であってもよいし、ユーザ等から撮像支援装置１４に対して与えられた指示、及び／又は、各種条件に応じて変更される可変値であってもよい。
【0288】
このように、ＣＰＵ８６は、付随情報１５４を参照して第１環境下フレーム数及び第２環境下フレーム数を特定し、特定結果に基づいて判定条件を満足したか否かを判定する。従って、本構成によれば、撮像画像７５を第１学習済みモデル１０６及び第２学習済みモデル１１８に入力し、第１学習済みモデル１０６から第１設定値１０６Ａを出力させ、第２学習済みモデル１１８から第２設定値１１８Ａを出力させ、第１設定値１０６Ａと第２設定値１１８Ａとの相違度１２５を算出する場合に比べ、ＣＰＵ８６によって撮像画像７５が取得されてから予め定められた処理が行われるまでにＣＰＵ８６にかかる負荷を軽減することができる。また、第１環境下に偏って教師データ９８として用いられる撮像画像７５に関する撮像が行われたか否かを判断し、第１環境下に偏って教師データ９８として用いられる撮像画像７５に関する撮像が行われた場合に、有意な差が生じたと判断された第２学習済みモデル１１８をバックアップ用記憶装置９４に記憶させる処理を行えば、有意な差が出たと判断された第２学習済みモデル１１８を全てバックアップ用記憶装置９４に記憶させる場合と比べ、特に差が大きいと考えられる第２学習済みモデル１１８のみをバックアップ用記憶装置９４に記憶させることができる。
【0289】
図３３に示す例では、ＣＰＵ８６が、撮像画像７５の付随情報１５４を参照して第１環境下フレーム数及び第２環境下フレーム数を特定する形態例を挙げたが、これは、あくまでも一例に過ぎず、例えば、図３４に示すように、ＣＰＵ８６は、各撮像画像７５に対して被写体認識処理を行うことで、第１環境下フレーム数及び第２環境下フレーム数を特定するようにしてもよい。被写体認識処理は、ＡＩ方式の被写体認識処理であってもよいし、テンプレートマッチング方式の被写体認識処理であってもよい。
【0290】
上記実施形態では、撮像装置本体１６に対して１種類の交換レンズ１８が装着されていることを前提として説明したが、本開示の技術はこれに限定されない。例えば、図３５に示すように、撮像装置１２は、レンズ交換式撮像装置であるため、撮像装置本体１６には、種類が異なる交換レンズ１８が選択的に装着される。そこで、撮像支援装置１４のＣＰＵ８６は、教師データ９８に含まれる撮像画像７５に関する撮像に用いられた交換レンズ１８の種類毎に、学習モデル（例えば、複製モデル１１６等）に対して学習処理を行うことで複数の第２学習済みモデル１１８を生成する。ＣＰＵ８６は、生成した複数の第２学習済みモデル１１８をストレージ８８に記憶させる。従って、本構成によれば、交換レンズ１８の種類に関わらず、常に１つの第２学習済みモデル１１８のみからの出力を撮像に関連する制御に反映させる場合に比べ、撮像装置本体１６に装着された交換レンズ１８に適した第２学習済みモデル１１８の出力を撮像に関連する制御に反映させることができる。
【0291】
また、一例として図３６に示すように、撮像装置本体１６に交換レンズ１８が装着された場合、ＣＰＵ８６は、ストレージ８８内の複数の第２学習済みモデル１１８のうち、撮像装置本体１６に装着された交換レンズ１８に対応した第２学習済みモデル１１８を取得する。撮像装置本体１６に装着された交換レンズ１８に対応した第２学習済みモデル１１８とは、交換レンズ１８が装着された撮像装置１２によって撮像されることで取得された撮像画像７５を教師データ９８として学習処理に用いることで生成した第２学習済みモデル１１８を指す。ＣＰＵ８６は、ストレージ８８内から取得した第２学習済みモデル１１８を用いて各種処理（例えば、第２学習済みモデル１１８の出力を撮像に関する制御に反映させる処理、及び／又は、第２学習済みモデル１１８に対する学習処理等）を行う。従って、本構成によれば、複数の第２学習済みモデル１１８のうち、無作為に選ばれた１つを用いた処理を行う場合に比べ、複数の第２学習済みモデル１１８のうち、交換レンズ１８に適した第２学習済みモデル１１８を用いた処理を行うことができる。
【0292】
図３５及び図３６に示す例では、撮像装置本体１６に対して、種類が異なる交換レンズ１８が選択的に装着される場合に、撮像装置本体１６に装着された交換レンズ１８に対応する第２学習済みモデル１１８が用いられるようにする形態例を挙げて説明したが、これと同様の要領で、被写体を撮像する機能を各々有する複数の撮像系が選択的に用いられる場合に、選択された撮像系に対応する第２学習済みモデル１１８が用いられるようにしてもよい。
【0293】
例えば、図３７に示すように、スマートデバイス１５５が、複数の撮像系として、撮像系１５５Ａ及び１５５Ｂを有しており、第１撮像系１５５Ａ及び第２撮像系１５５Ｂの各々が、教師データ９８に含まれる撮像画像７５に関する撮像に用いられた場合、第１撮像系１５５Ａ及び第２撮像系１５５Ｂの各々について、撮像支援装置１４のＣＰＵ８６は、学習モデル（例えば、複製モデル１１６等）に対して学習処理を行うことで複数の第２学習済みモデル１１８を生成する。ＣＰＵ８６は、生成した複数の第２学習済みモデル１１８をストレージ８８に記憶させる。従って、本構成によればスマートデバイス１５５の第１撮像系１５５Ａ及び第２撮像系１５５Ｂによる撮像に関連する制御に対して、常に１つの第２学習済みモデル１１８のみからの出力を反映させる場合に比べ、第１撮像系１５５Ａ及び第２撮像系１５５Ｂのうちの使用される方に適した第２学習済みモデル１１８の出力を、第１撮像系１５５Ａ及び第２撮像系１５５Ｂのうちの使用される方による撮像に関連する制御に対して反映させることができる。なお、スマートデバイス１５５は、本開示の技術に係る「撮像装置」の一例であり、第１撮像系１５５Ａ及び第２撮像系１５５Ｂは、本開示の技術に係る「複数の撮像系」の一例である。
【0294】
また、一例として図３８に示すように、第１撮像系１５５Ａ及び第２撮像系１５５Ｂから撮像で使用する撮像系が選択された場合、ＣＰＵ８６は、ストレージ８８内の複数の第２学習済みモデル１１８のうち、第１撮像系１５５Ａ及び第２撮像系１５５Ｂから選択された方に対応した第２学習済みモデル１１８を取得する。第１撮像系１５５Ａ及び第２撮像系１５５Ｂから選択された方に対応した第２学習済みモデル１１８とは、第１撮像系１５５Ａ及び第２撮像系１５５Ｂのうち、選択された方によって撮像されることで取得された撮像画像７５を教師データ９８として学習処理に用いることで生成した第２学習済みモデル１１８を指す。ＣＰＵ８６は、ストレージ８８内から取得した第２学習済みモデル１１８を用いて各種処理（例えば、第２学習済みモデル１１８の出力を、第１撮像系１５５Ａ及び第２撮像系１５５Ｂのうちの選択された方による撮像に関する制御に反映させる処理、及び／又は、第２学習済みモデル１１８に対する学習処理等）を行う。従って、本構成によれば、複数の第２学習済みモデル１１８のうち、無作為に選ばれた１つを用いた処理を行う場合に比べ、複数の第２学習済みモデル１１８のうち、第１撮像系１５５Ａ及び第２撮像系１５５Ｂのうちの選択された方に適した第２学習済みモデル１１８を用いた処理を行うことができる。
【0295】
図３９には、変倍機能を有する複数の撮像系が搭載されたスマートデバイス１５６の構成例が示されている。一例として図３９に示すように、スマートデバイス１５６は、第１撮像系１５６Ａ及び第２撮像系１５６Ｂを備えている。第１撮像系１５６Ａ及び第２撮像系１５６Ｂの各々は、一般的にアウトカメラとも呼ばれている。第１撮像系１５６Ａ及び１５８Ｂの各々は、変倍範囲が互いに異なる変倍機能を有している。また、図３７及び図３８に示す例と同様に、第１撮像系１５６Ａ及び第２撮像系１５６Ｂの各々には、第２学習済みモデル１１８が割り当てられている。
【0296】
一例として図４０Ａに示すように、スマートデバイス１５６は、タッチパネル・ディスプレイ１５８を備えている。タッチパネル・ディスプレイ１５８は、ディスプレイ１６０及びタッチパネル１６２を有しており、撮像画像１６４がライブビュー画像としてディスプレイ１６０に表示されている状態で、タッチパネル１６２に対して画角変更指示が与えられると、変倍機能が働いて、画角が変更される。図４０Ａに示す例では、画角変更指示として、ピンチアウト操作が示されている。撮像画像１６４がディスプレイ１６０に表示されている状態で、タッチパネル１６２に対してピンチアウト操作が行われると、変倍機能が働いて、ディスプレイ１６０内において撮像画像１６４が拡大される。なお、変倍の方法は、これに限らず、一例として図４０Ｂに示すように、ソフトキー１６０Ａ、１６０Ｂ及び１６０Ｃを使って倍率を直接選択する形態であってもよい。図４０Ｂに示す例では、ソフトキー１６０Ａは、倍率として１倍を選択する場合にオンされるソフトキーであり、ソフトキー１６０Ｂは、倍率として０．５倍を選択する場合にオンされるソフトキーであり、ソフトキー１６０Ｃは、倍率として２．５倍を選択する場合にオンされるソフトキーである。なお、ここで例示している倍率は、あくまでも一例であり、他の倍率であってもよい。また、ソフトキーの個数は、ソフトキー１６０Ａ、１６０Ｂ及び１６０Ｃの３つに限らず、２つであってもよいし、４つ以上であってもよい。
【0297】
一例として図４１に示すように、スマートデバイス１５６は、第１撮像系１５６Ａ及び第２撮像系１５６Ｂのうち、現時点で使用されている撮像系を特定可能な使用撮像系情報１６６と、現時点で使用されている撮像系によって撮像されることで取得された撮像画像１６４とが撮像支援装置１４に送信される。撮像画像１６４は、第１撮像系１５６Ａによって撮像されることで取得された撮像画像１６４Ａと、第２撮像系１５６Ｂによって撮像されることで取得された撮像画像１６４Ｂとに分類される。
【0298】
撮像支援装置１４は、第１撮像系１５６Ａ用の第２学習済みモデル１１８及び第２撮像系１５６Ｂ用の第２学習済みモデル１１８を有しており、第１撮像系１５６Ａ用の第２学習済みモデル１１８は、複数の撮像画像１６４Ａ及び複数の撮像画像１６４Ａを得るための撮像で第１撮像系１５６Ａに対して適用された設定値を教師データとした学習処理が行われることで得られたモデルである。第２撮像系１５６Ｂ用の第２学習済みモデル１１８は、複数の撮像画像１６４Ｂ及び複数の撮像画像１６４Ｂを得るための撮像で第２撮像系１５６Ｂに対して適用された設定値を教師データとした学習処理が行われることで得られたモデルである。
【0299】
撮像支援装置１４のＣＰＵ８６は、スマートデバイス１５６から送信された使用撮像系情報１６６及び撮像画像１６４を受信する。ＣＰＵ８６は、受信した使用撮像系情報１６６から特定される撮像系に対応する第２学習済みモデル１１８に対して、受信した撮像画像１６４を入力する。例えば、ＣＰＵ８６は、受信した使用撮像系情報１６６から特定される撮像系が第１撮像系１５６Ａの場合、第１撮像系１５６Ａ用の第２学習済みモデル１１８に対して撮像画像１６４Ａを入力する。また、ＣＰＵ８６は、受信した使用撮像系情報１６６から特定される撮像系が第２撮像系１５６Ｂの場合、第２撮像系１５６Ｂ用の第２学習済みモデル１１８に対して撮像画像１６４Ｂを入力する。
【0300】
第１撮像系１５６Ａ用の第２学習済みモデル１１８は、撮像画像１６４Ａが入力されると、第２設定値１１８Ａを出力する。ＣＰＵ８６は、第１撮像系１５６Ａ用の第２学習済みモデル１１８から出力された第２設定値１１８Ａを第１撮像系１５６Ａによる撮像に関連する制御に反映させる。また、第２撮像系１５６Ｂ用の第２学習済みモデル１１８は、撮像画像１６４Ｂが入力されると、第２設定値１１８Ａを出力する。ＣＰＵ８６は、第２撮像系１５６Ｂ用の第２学習済みモデル１１８から出力された第２設定値１１８Ａを第２撮像系１５６Ｂによる撮像に関連する制御に反映させる。
【0301】
ところで、撮像に用いる撮像系を、第１撮像系１５６Ａ及び第２撮像系１５６Ｂの一方から他方へ切り替える方法としては、ディスプレイ１６０に表示される少なくとも１つのソフトキー（図示省略）がオンされる毎に切り替える方法、及びタッチパネル１６２に対してピンチイン操作及びピンチアウト操作等の無段階式の指示が与えられることによって無段階式に切り替える方法がある。無段階式に切り替える方法では、ＣＰＵ８６が、ピンチイン操作及びピンチアウト操作等の無段階式の指示に応じて無段階式に画角が変更され、画角が変更されている途中で、第１撮像系１５６Ａ及び第２撮像系１５６Ｂの一方から他方へ切り替えられることがある。つまり、第１撮像系１５６Ａの変倍範囲と第２撮像系１５６Ｂの変倍範囲とが重複している範囲（以下、「重複変倍範囲」とも称する）内、又は、第１撮像系１５６Ａの変倍範囲と第２撮像系１５６Ｂの変倍範囲とが重複していない範囲（以下、「非重複変倍範囲」とも称する）内で画角が変更される場合は、第１撮像系１５６Ａ及び第２撮像系１５６Ｂの一方から他方へ切り替えられることはないが、画角が重複変倍範囲及び非重複変倍範囲の一方から他方へ跨いで変更される場合に、第１撮像系１５６Ａ及び第２撮像系１５６Ｂの一方から他方への切り替えが伴う。
【0302】
第１撮像系１５６Ａによる撮像に関連する制御に対しては、第１撮像系１５６Ａ用の第２学習済みモデル１１８の出力が反映されており、第２撮像系１５６Ｂによる撮像に関連する制御に対しては、第２撮像系１５６Ｂ用の第２学習済みモデル１１８の出力が反映されている。そのため、一例として図４２に示すように、画角が変更されている途中で、第１撮像系１５６Ａ及び第２撮像系１５６Ｂの一方から他方へ切り替えられると、第１撮像系１５６Ａ用の第２学習済みモデル１１８と第２撮像系１５６Ｂ用の第２学習済みモデル１１８との差異に起因して、撮像画像１６４に対してハンチングが発生する虞がある。
【0303】
そこで、一例として図４３に示すように、撮像支援装置１４のＣＰＵ８６は、画角を変更する指示としてスマートデバイス１５６のタッチパネル１６２によって受け付けられた無段階式の指示（以下、「画角変更指示」と称する）を受け付ける。そして、ＣＰＵ８６は、受け付けた画角変更指示が、途中で撮像系の切り替えを伴う指示の場合、切り替え前の撮像系に対して割り当てられている第２学習済みモデル１１８の使用を切り替え後の撮像系においても継続する。これにより、第１撮像系１５６Ａ及び第２撮像系１５６Ｂの一方から他方へ切り替えられた場合であっても、ユーザ等が意図しないタイミングで、第２学習済みモデル１１８間の差異に起因するハンチングが生じないようにすることができる。
【0304】
なお、スマートデバイス１５６は、本開示の技術に係る「撮像装置」の一例であり、第１撮像系１５６Ａ及び第２撮像系１５６Ｂは、本開示の技術に係る「複数の撮像系」の一例である。
【0305】
ところで、スマートデバイス１５６が起動するタイミング（以下、「起動タイミング」とも称する）において、第１撮像系１５６Ａ及び第２撮像系１５６Ｂのうち、ユーザ等が頻繁に使用する撮像系を起動させると、撮像系の切り替え操作を行わずに素早く撮像を開始することが可能となる。
【0306】
そこで、一例として図４４に示すように、正解データ１００として用いられる各種の設定値１０２に、撮像系に関連する情報が設定値として含まれるようにする。撮像系に関連する情報とは、例えば、スマートデバイス１５６によって撮像画像７５が取得された際に選択された撮像系に関連する情報（例えば、撮像系を特定可能な情報）を指す。このように、正解データ１００に撮像系に関連する情報を含めることで、モデル生成部８６Ｂは、複製モデル１１６に対して、スマートデバイス１５６で頻繁に使用される撮像系の傾向を学習させることが可能となる。スマートデバイス１５６で頻繁に使用される撮像系の傾向を学習させることで複製モデル１１６が最適化され、第２学習済みモデル１１８が生成される。
【0307】
一例として図４５に示すように、ある撮像シーンに対してスマートデバイス１５６で頻繁に使用される撮像系の傾向を学習させることで複製モデル１１６が最適化されて得られた第２学習済みモデル１１８に対して、ＣＰＵ８６は、スマートデバイス１５６の第１撮像系１５６Ａ及び第２撮像系１５６Ｂによって選択的に撮像されることで得られた撮像画像１６４を入力する。第２学習済みモデル１１８は、撮像画像１６４が入力されると、第２設定値１１８Ａを出力する。ＣＰＵ８６は、第２学習済みモデル１１８から出力された第２設定値１１８Ａを、スマートデバイス１５６による撮像に関連する制御に反映させることで、スマートデバイス１５６の起動タイミングで使用する撮像系を設定し、スマートデバイス１５６の起動タイミングで、スマートデバイス１５６に対して第１撮像系１５６Ａ及び第２撮像系１５６Ｂを選択的に使用させる。これにより、スマートデバイス１５６の起動タイミングで、第１撮像系１５６Ａ及び第２撮像系１５６Ｂから無作為に選択された撮像系を用いる場合に比べ、スマートデバイス１５６の起動タイミングで、ユーザ等が意図する撮像系を迅速に用いることができる。
【0308】
このように撮像系に関連する情報を含む情報を正解データ１００として学習処理が行われることによって得られた第２学習済みモデル１１８の出力を、スマートデバイス１５６による撮像に関連する制御に反映させる場合、一例として図４６に示すように、スマートデバイス１５６のＣＰＵ１６８は、スマートデバイス１５６の起動タイミングで使用する撮像系に対して、重複変倍範囲内の画角で撮像を開始させるように、スマートデバイス１５６の起動タイミングで使用する画角の位置を、重複変倍範囲内（例えば、重複変倍範囲の中心）に設定する。
【0309】
なお、正解データ１００に含まれる撮像系に関連する情報は、画角変更指示の履歴情報を含む情報であってもよい。このように構成された正解データ１００を含む教師データ９８を用いて学習処理が行われることによって第２学習済みモデル１１８が生成されるようにすれば、第２学習済みモデル１１８の出力を、スマートデバイス１５６による撮像に関連する制御に反映させることで、スマートデバイス１５６のＣＰＵ１６８は、画角の位置を、変倍範囲内で頻繁に使用される位置に設定することが可能となる。
【0310】
図３７及び図３８に示す例では、第１撮像系１５５Ａ及び第２撮像系１５５Ｂという２つの撮像系を例示し、図３９に示す例でも、第１撮像系１５６Ａ及び第２撮像系１５６Ｂという２つの撮像系を例示したが、本開示の技術はこれに限定されず、３つ以上の撮像系であってもよい。また、複数の撮像系が搭載される装置は、スマートデバイス１５５及び１５６に限定される必要はなく、例えば、複数の波長帯域光の各々を異なる撮像系で撮像する撮像装置（例えば、監視カメラ）であってもよい。
【0311】
上記実施形態では、ＣＰＵ８６が、第１設定値１０６Ａ及び第２設定値１１８Ａに基づいて特定処理を行う形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ＣＰＵ８６は、第１学習済みモデル１０６と第２学習済みモデル１１８との相違度に基づいて特定処理を行うようにしてもよい。例えば、ＣＰＵ８６は、第１学習済みモデル１０６と第２学習済みモデル１１８との相違度が既定相違度以上の場合に、特定処理を行う。既定相違度は、固定値であってもよいし、ユーザ等から撮像支援装置１４に対して与えられた指示、及び／又は、各種条件に応じて変更される可変値であってもよい。
【0312】
また、第１学習済みモデル１０６及び第２学習済みモデル１１８の各々が入力層、複数の中間層、及び出力層を有するモデルであり、ＣＰＵ８６は、第１学習済みモデル１０６と第２学習済みモデル１１８との間での少なくとも１つの層（例えば、指定された少なくとも１つの層）の相違度に基づいて特定処理を行うようにしてもよい。この場合、少なくとも１つの層は、例えば、複数の中間層及び出力層であってもよいし、複数の中間層の全てであってもよいし、複数の中間層のうちの一部の層（例えば、指定された少なくとも１つの層）であってもよいし、出力層であってもよい。
【0313】
上記実施形態では、撮像装置１２と撮像支援装置１４とが別体とされている形態例を挙げて説明したが、本開示の技術はこれに限定されず、撮像装置１２と撮像支援装置１４とが一体化されていてもよい。この場合、例えば、図４７に示すように、撮像装置本体１６のＮＶＭ６４には、撮像支援処理プログラム９６が記憶されており、ＣＰＵ６２が、撮像支援処理プログラム９６を実行するようにすればよい。
【0314】
また、このように、撮像装置１２に対して撮像支援装置１４の機能を担わせる場合、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。
【0315】
上記実施形態では、ストレージ８８に撮像支援処理プログラム９６が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像支援処理プログラム９６がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている撮像支援処理プログラム９６は、撮像支援装置１４のコンピュータ８２にインストールされる。ＣＰＵ８６は、撮像支援処理プログラム９６に従って撮像支援処理を実行する。
【0316】
また、ネットワーク３４を介して撮像支援装置１４に接続される他のコンピュータ又はサーバ装置等の記憶装置に撮像支援処理プログラム９６を記憶させておき、撮像支援装置１４の要求に応じて撮像支援処理プログラム９６がダウンロードされ、コンピュータ８２にインストールされるようにしてもよい。
【0317】
なお、撮像支援装置１４に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ８８に撮像支援処理プログラム９６の全てを記憶させておく必要はなく、撮像支援処理プログラム９６の一部を記憶させておいてもよい。
【0318】
また、図２に示す撮像装置１２にはコントローラ４４が内蔵されているが、本開示の技術はこれに限定されず、例えば、コントローラ４４が撮像装置１２の外部に設けられるようにしてもよい。
【0319】
上記実施形態では、コンピュータ８２が例示されているが、本開示の技術はこれに限定されず、コンピュータ８２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ８２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0320】
上記実施形態で説明した撮像支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、撮像支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像支援処理を実行する。
【0321】
撮像支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、撮像支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0322】
１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、撮像支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0323】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の撮像支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0324】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0325】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0326】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29A】
【図29B】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40A】
【図40B】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
