(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-25
(45)【発行日】2024-01-09
(54)【発明の名称】学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231226BHJP
【FI】
G06T7/00 350B
(21)【出願番号】P 2019169913
(22)【出願日】2019-09-18
【審査請求日】2022-08-31
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】酒井 典子
【審査官】片岡 利延
(56)【参考文献】
【文献】特開2018-084861(JP,A)
【文献】特開2015-109024(JP,A)
【文献】特開2014-228995(JP,A)
【文献】米国特許出願公開第2019/0130216(US,A1)
【文献】米国特許出願公開第2019/0287154(US,A1)
【文献】米国特許出願公開第2020/0012899(US,A1)
【文献】米国特許出願公開第2020/0250578(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
プロセッサを備え、前記プロセッサは、
撮影された画像データ、及び前記画像データを撮影した際の撮影条件毎に設定され、互いに依存関係を有する複数の設定値を取得し、
前記複数の設定値を用いて、前記画像データから得られる情報である画像情報を分類するための評価値を算出し、
前記評価値に基づいて前記画像情報を分類し、
前記複数の設定値のうち1つの設定値に基づき、さらに前記画像情報を分類し、
前記画像情報を用いて、分類毎に学習モデルを生成する、
学習モデル生成装置。
【請求項2】
前記プロセッサは、予め定められた前記評価値の範囲、及び予め定められた設定値の範囲の少なくとも一方の範囲毎に前記画像情報を分類する請求項
1に記載の学習モデル生成装置。
【請求項3】
前記プロセッサは、分類された前記画像情報の数が予め定められた閾値より多くなった場合、前記学習モデルを生成する請求項1から請求項
2の何れか1項に記載の学習モデル生成装置。
【請求項4】
前記プロセッサは、分類された前記画像情報が新たに追加された場合、前記学習モデルを再度生成する請求項1から請求項
3の何れか1項に記載の学習モデル生成装置。
【請求項5】
前記評価値は、前記複数の設定値のうち少なくとも2つをそれぞれ正規化して得られる値であるスケール値の総和である請求項1から請求項
4の何れか1項に記載の学習モデル生成装置。
【請求項6】
プロセッサを備え、前記プロセッサは、
入力された画像データから得られる前記複数の設定値を用いて、前記評価値を算出し、
前記評価値を用いて、請求項1から請求項
5の何れか1項に記載の学習モデル生成装置によって生成された前記学習モデルを選択して、前記画像データの補正を行う、
画像補正装置。
【請求項7】
前記設定値は、絞り、シャッタースピード、及びISO感度の少なくとも2つである請求項
6に記載の画像補正装置。
【請求項8】
前記プロセッサは、前記複数の設定値を用いて、前記設定値の優先順位を算出し、前記評価値及び前記優先順位が最優先に設定されている前記設定値を用いて、学習モデルの選択を行う請求項
7に記載の画像補正装置。
【請求項9】
前記プロセッサは、前記絞りの設定値が閾値より小さい場合、前記絞りの優先順位を最優先に設定する請求項
8に記載の画像補正装置。
【請求項10】
前記プロセッサは、前記絞りの設定値が閾値以上、かつ前記シャッタースピードの設定値が閾値より大きい場合、シャッタースピードの前記優先順位を最優先に設定する請求項
8又は請求項
9に記載の画像補正装置。
【請求項11】
前記プロセッサは、前記絞りの設定値が閾値以上、かつ前記シャッタースピードの設定値が閾値以下の場合、ISO感度の前記優先順位を最優先に設定する請求項
8から請求項1
0の何れか1項に記載の画像補正装置。
【請求項12】
前記プロセッサは、予め定められた前記評価値の範囲毎に分類された画像情報を用いて学習モデルが生成されている場合、
前記評価値に対応した範囲に分類された画像情報を用いて生成された学習モデルを選択する請求項
6から請求項1
1の何れか1項に記載の画像補正装置。
【請求項13】
前記プロセッサは、予め定められた前記評価値の範囲毎に画像情報が分類され、かつ前記評価値の範囲毎に分類された前記画像情報を予め定められた各々の前記撮影条件の前記設定値の範囲毎に分類されている画像情報を用いて学習モデルが生成されている場合、
前記評価値及び前記設定値に対応した範囲に分類された画像情報を用いて生成された学習モデルを選択する請求項1
2に記載の画像補正装置。
【請求項14】
前記プロセッサは、予め定められた前記評価値の範囲、又は予め定められた前記設定値の範囲に分類された前記画像情報を用いて生成された学習モデルが存在しない場合、
予め定められた前記評価値の範囲又は予め定められた前記設定値の範囲を拡大して、前記学習モデルを選択する請求項1
3に記載の画像補正装置。
【請求項15】
コンピュータに
撮影された画像データ、及び前記画像データを撮影した際に設定され、互いに依存関係を有する複数の設定値を取得し、
前記複数の設定値を用いて、前記画像データから得られる情報である画像情報を分類するための評価値を算出し、
前記評価値に基づいて前記画像情報を分類し、
前記複数の設定値のうち1つの設定値に基づき、さらに前記画像情報を分類し、
前記画像情報を用いて、分類毎に学習モデルを生成する、
ことを実行させるための学習モデル生成プログラム。
【請求項16】
コンピュータに
入力された画像データから得られる前記複数の設定値を用いて、前記評価値を算出し、
前記評価値を用いて、請求項1から請求項
5の何れか1項に記載の学習モデル生成装置によって生成された前記学習モデルを選択して前記画像データの補正を行う、
ことを実行させるための画像補正プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラムに関する。
【背景技術】
【0002】
特許文献1には、撮像装置から入力された画像を学習して画像中に存在する対象を判別する画像学習装置において、前記対象をあらかじめ設定した撮影条件にて撮影し、その撮影された画像及び該画像の撮影条件を示す撮影プロファイルを初期登録する初期登録手段と、前記初期登録手段により登録された前記画像又は前記撮影プロファイルの少なくとも1つを元にして前記学習に必要とされる不足画像を判断し、該不足画像を前記撮像装置に取得させる不足画像取得手段と、前記不足画像取得手段により取得された不足画像及び該不足画像に付随される撮影プロファイルを前記初期登録手段に追加登録する不足画像追加登録手段と、前記不足画像追加登録手段に登録されている画像又は撮影プロファイルの少なくとも1つから前記学習に用いる学習サンプルを抽出する学習サンプル抽出手段と、前記抽出された学習サンプルを用いて前記学習を行なう学習手段と、を備えることを特徴とする画像学習装置が開示されている。
【0003】
特許文献2には、色変換前の画像情報、および色変換後の画像情報からなる画像情報の組を受け付ける受付手段と、前記色変換前の画像を撮影したときの撮影条件の中から設定された撮影設定情報に基づいて、画像を色変換する色変換特性を作成する色変換特性作成手段と、を備える画像処理装置が開示されている。
【0004】
特許文献3には、デジタルカメラにより取得された画像データに対して画像処理を施す画像処理装置であって、前記画像データに付随されているタグ情報を取得するタグ情報入力手段と、前記タグ情報に基づいて前記画像データの撮影シーンを判断するシーン判断手段と、前記撮影シーンに応じた画像処理条件を設定する画像処理条件設定手段と、設定された前記画像処理条件に従って前記画像データに対して画像処理を行う画像処理手段と、前記画像処理が施された画像データに対して画像の種別に応じた後処理を施す後処理手段とを備え、該後処理手段が、撮影者情報に基づいて前記画像の種別を決定し、決定した画像の種別に応じた出力プロファイルを選択し、選択された前記出力プロファイルを用いて前記後処理を施すものであることを特徴とする画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2004-213567号公報
【文献】特開2019-83445号公報
【文献】特開2003-111005号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
機械学習を用いて、入力された画像データの補正を行うと、多くの画像データ及び学習回数が必要となり、学習作業が煩雑であった。ところで、撮影条件を考慮して、使用頻度の高い画像データ群又はタグによって分類された画像データを用いて学習を行い、入力データに対して、学習した画像データの関係性に応じた出力データを出力する学習モデルを生成する技術がある。
【0007】
しかしながら、各撮影条件に応じた画像データ及び学習作業が必要となり、必ずしも学習モデルの数を低減できるとは限らなかった。
【0008】
本発明は、複数ある撮影条件毎に学習モデルを作成する場合と比較して、撮影条件が多岐にわたる場合であっても、学習モデルの数を低減することができる学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
第1の態様の学習モデル生成装置は、プロセッサを備え、プロセッサは、撮影された画像データ、及び画像データを撮影した際の撮影条件毎に設定され、互いに依存関係を有する複数の設定値を取得し、複数の設定値を用いて、画像データから得られる情報である画像情報を分類するための評価値を算出し、評価値に基づいて画像情報を分類し、画像情報を用いて、分類毎に学習モデルを生成する。
【0010】
第2の態様の学習モデル生成装置は、第1の態様に係る学習モデル生成装置において、評価値に基づき画像情報を分類したのち、複数の設定値のうち1つの設定値に基づき、さらに画像情報を分類する。
【0011】
第3の態様の学習モデル生成装置は、第2の態様に係る学習モデル生成装置において、定められた評価値の範囲、及び予め定められた設定値の範囲の少なくとも一方の範囲毎に画像情報を分類する。
【0012】
第4の態様の学習モデル生成装置は、第1の態様から第3の態様までの何れか1つの態様に係る学習モデル生成装置において、分類された画像情報の数が予め定められた閾値より多くなった場合、学習モデルを生成する。
【0013】
第5の態様の学習モデル生成装置は、第1の態様から第4の態様までの何れか1つの態様に係る学習モデル生成装置において、分類された画像情報が新たに追加された場合、学習モデルを再度生成する。
【0014】
第6の態様の学習モデル生成装置は、第1の態様から第5の態様までの何れか1つの態様に係る学習モデル生成装置において、評価値が複数の設定値のうち少なくとも2つをそれぞれ正規化して得られる値であるスケール値の総和である。
【0015】
第7の態様の画像補正装置は、プロセッサを備え、プロセッサは、入力された画像データから得られる複数の設定値を用いて、評価値を算出し、評価値を用いて、第1の態様から第6の態様までの何れか1つの態様に係る学習モデル生成装置によって生成された学習モデルを選択して、画像データの補正を行う。
【0016】
第8の態様の画像補正装置は、第7の態様に係る画像補正装置において、設定値は、絞り、シャッタースピード、及びISO感度の少なくとも2つである。
【0017】
第9の態様の画像補正装置は、第8の態様に係る画像補正装置において、複数の設定値を用いて、設定値の優先順位を算出し、評価値及び優先順位が最優先に設定されている設定値を用いて、学習モデルの選択を行う。
【0018】
第10の態様の画像補正装置は、第9の態様に係る画像補正装置において、絞りの設定値が閾値より小さい場合、絞りの優先順位を最優先に設定する。
【0019】
第11の態様の画像補正装置は、第9の態様又は第10の態様に係る画像補正装置において、絞りの設定値が閾値以上、かつシャッタースピードの設定値が閾値より大きい場合、シャッタースピードの優先順位を最優先に設定する。
【0020】
第12の態様の画像補正装置は、第9の態様から第11の態様の何れか1つの態様に係る画像補正装置において、絞りの設定値が閾値以上、かつシャッタースピードの設定値が閾値以下の場合、ISO感度の優先順位を最優先に設定する。
【0021】
第13の態様の画像補正装置は、第7の態様から第12の態様の何れか1つの態様に係る画像補正装置において、予め定められた評価値の範囲毎に分類された画像情報を用いて学習モデルが生成されている場合、評価値に対応した範囲に分類された画像情報を用いて生成された学習モデルを選択する。
【0022】
第14の態様の画像補正装置は、第13の態様に係る画像補正装置において、予め定められた評価値の範囲毎に画像情報が分類され、かつ評価値の範囲毎に分類された画像情報を予め定められた各々の撮影条件の設定値の範囲毎に分類されている画像情報を用いて学習モデルが生成されている場合、評価値及び設定値に対応した範囲に分類された画像情報を用いて生成された学習モデルを選択する。
【0023】
第15の態様の画像補正装置は、第14の態様に係る画像補正装置において、予め定められた評価値の範囲、又は予め定められた設定値の範囲に分類された画像情報を用いて生成された学習モデルが存在しない場合、予め定められた評価値の範囲又は予め定められた設定値の範囲を拡大して、学習モデルを選択する。
【0024】
第16の態様の学習モデル生成プログラムは、コンピュータに撮影された画像データ、及び画像データを撮影した際に設定され、互いに依存関係を有する複数の設定値を取得し、複数の設定値を用いて、画像情報を分類するための評価値を算出し、評価値に基づいて画像情報を分類し、画像情報を用いて、分類毎に学習モデルを生成する、ことを実行させる。
【0025】
第17の態様の画像補正プログラムは、コンピュータに入力された画像データから得られる複数の設定値を用いて、評価値を算出し、評価値を用いて、第1の態様から第6の態様までの何れか1つの態様に係る学習モデル生成装置によって生成された学習モデルを選択して画像データの補正を行う、ことを実行させる。
【発明の効果】
【0026】
第1の態様の学習モデル生成装置及び第16の態様の学習モデル生成プログラムによれば、複数ある撮影条件毎に学習モデルを作成する場合と比較して、撮影条件が多岐にわたる場合であっても、学習モデルの数を低減することができる。
【0027】
第2の態様の学習モデル生成装置によれば、学習モデルを生成する際のデータの数を減少させることができる。
【0028】
第3の態様の学習モデル生成装置によれば、予め定められた評価値の範囲及び予め定められた設定値の範囲を用いらずに学習モデルを生成する場合と比較して、学習モデルの精度を向上させることができる。
【0029】
第4の態様の学習モデル生成装置によれば、予め定められた閾値を設けずに学習モデルを生成する場合と比較して、学習モデルの品質を安定させることができる。
【0030】
第5の態様の学習モデル生成装置によれば、即時に画像情報を学習モデルに反映することができる。
【0031】
第6の態様の学習モデル生成装置によれば、分類する画像情報の品質を安定させることができる。
【0032】
第7の態様の画像補正装置及び第17の態様の画像補正プログラムによれば、高い精度で画像データの補正を行うことができる。
【0033】
第8の態様の画像補正装置によれば、画像データの明るさにおける補正の精度を安定させることができる。
【0034】
第9の態様の画像補正装置によれば、優先順位を設けない場合と比較して、より精度の高い学習モデルを選択することができる。
【0035】
第10の態様の画像補正装置によれば、絞りにおける品質の高い画像データを用いた学習モデルを選択することができる。
【0036】
第11の態様の画像補正装置によれば、シャッタースピードにおける品質の高い画像データを用いた学習モデルを選択することができる。
【0037】
第12の態様の画像補正装置によれば、ISO感度における品質の高い画像データを用いた学習モデルを選択することができる。
【0038】
第13の態様の画像補正装置によれば、安定した品質の学習モデルを選択することができる。
【0039】
第14の態様の画像補正装置によれば、補正を行う画像データに類似する撮影条件の学習モデルを選択することができる。
【0040】
第15の態様の画像補正装置によれば、予め定められた評価値の範囲又は予め定められた設定値の範囲を拡大しない場合と比較して、精度を保った補正を行うことができる。
【図面の簡単な説明】
【0041】
【
図1】各実施形態に係る画像補正装置のハードウェア構成の一例を示すブロック図である。
【
図2】各実施形態に係る画像補正装置の機能的な構成の一例を示すブロック図である。
【
図3】各実施形態に係るISO感度、シャッタースピード、及び絞りの各設定値とスケール値との関係の一例を示す模式図である。
【
図4】各実施形態に係る画像情報の分類の説明に供する評価値と分類との関係の一例を示す模式図である。
【
図5】第1実施形態に係る学習モデル生成処理の一例を示すフローチャートである。
【
図6】第1実施形態に係る画像補正処理の一例を示すフローチャートである。
【
図7】第2実施形態に係る画像情報の分類の説明に供する設定値と分類との関係の一例を示す模式図である。
【
図8】第2実施形態に係る学習モデル生成処理の一例を示すフローチャートである。
【
図9】第2実施形態に係る画像補正処理の一例を示すフローチャートである。
【
図10】第2実施形態に係る優先順位算出処理の一例を示すフローチャートである。
【
図11】第3実施形態に係る画像補正処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0042】
[第1実施形態]
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態に係る画像補正装置10は、一例として、修正前の画像データ及び修正後の画像データを用いて修正内容を学習した学習モデルを生成し、生成された学習モデルを用いて、画像データを補正するサーバである形態について説明する。しかし、これに限定されない。画像補正装置10は、例えば、パーソナルコンピュータ及びタブレット等の端末であってもよいし、スキャン機能を搭載した複合機等であってもよい。また、本実施形態に係る学習モデル生成装置は、画像補正装置10と一体である形態について説明する。しかし、これに限定されない。学習モデル生成装置は、例えば、画像補正装置10とは別の端末及びサーバであり、ネットワークを介して、入力された画像データに応じた学習モデルを画像補正装置10に送信してもよい。
【0043】
また、本実施形態に係る修正内容は、修正前の画像データ及び修正後の画像データにおける各々のRGB色空間の画素値の組み合わせである形態について説明する。しかし、これに限定されない。修正内容は、修正前の画像データ及び修正後の画像データにおける画素値の変化量であってもよいし、各々の明度及び彩度等の値であってもよいし、如何なる修正内容であってもよい。また、本実施形態に係る表色系は、RGBである形態について説明する。しかし、これに限定されない。表色系は、CMYKであってもよいし、Lab表色系であってもよい。
【0044】
図1を参照して、画像補正装置10のハードウェア構成について説明する。
図1は、本実施形態に係る画像補正装置10のハードウェア構成の一例を示すブロック図である。
図1に示すように、本実施形態に係る画像補正装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、モニタ16、及び通信インターフェース(通信I/F)17を含んで構成されている。CPU11、ROM12、RAM13、ストレージ14、入力部15、モニタ16、及び通信I/F17の各々はバス18により相互に接続されている。ここで、CPU11は、プロセッサの一例である。
【0045】
CPU11は、画像補正装置10の全体を統括し、制御する。ROM12は、本実施形態で用いる学習モデル生成プログラムと、画像補正プログラムとを含む各種プログラム及びデータ等を記憶している。RAM13は、各種プログラムの実行時のワークエリアとして用いられるメモリである。CPU11は、ROM12に記憶されたプログラムをRAM13に展開して実行することにより、学習モデルを生成、及び画像データを補正する処理を行う。ストレージ14は、一例としてHDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等である。なお、ストレージ14には、学習モデル生成プログラム及び画像補正プログラム等を記憶してもよい。入力部15は、文字等の入力を行うマウス及びキーボードである。モニタ16は、画像データ及び文字等を表示する。通信I/F17は、データの送受信を行う。
【0046】
次に、
図2を参照して、画像補正装置10の機能構成について説明する。
図2は、本実施形態に係る画像補正装置10の機能的な構成の一例を示すブロック図である。
【0047】
図2に示すように、画像補正装置10は、取得部21、処理部22、生成部23、記憶部24、及び補正部25を有する。CPU11が学習モデル生成プログラム及び画像補正プログラムを実行することで、取得部21、処理部22、生成部23、記憶部24、及び補正部25として機能する。
【0048】
取得部21は、撮影された画像データ、及び画像データを撮影した際の撮影条件毎に設定され、互いに依存関係を有する複数の設定値を取得する。なお、本実施形態に係る設定値は、画像データの露出に関わる条件の値であり、絞り、シャッタースピード、及びISO感度の少なくとも2つである形態について説明する。しかし、これに限定されない。設定値は、その他の画像データの露出に関わる条件の値であってもよいし、光源及びフラッシュの有無、スペクトル感度、光電変換関数、輝度、レンズの最小F値、被写体距離、測光方式、及びレンズの焦点距離等であってもよい。
【0049】
処理部22は、複数の設定値を用いて、画像データから得られる情報(以下、「画像情報」という。)を分類するための評価値を算出し、評価値に基づいて画像情報を分類する。処理部22は、評価値に基づき画像情報を分類したのち、複数の設定値のうち1つの設定値に基づき、さらに画像情報を分類する。処理部22は、予め定められた評価値の範囲、及び予め定められた設定値の範囲の少なくとも一方の範囲毎に画像情報を分類する。なお、本実施形態に係る評価値は、複数の設定値のうち少なくとも2つをそれぞれ正規化して得られる値(以下、「スケール値」という。)の総和である。また、本実施形態に係る画像情報は、一例として、修正前の画像データ及び修正後の画像データのRGBの画素値である。
【0050】
具体的には、処理部22は、画像データに設定された撮影条件毎の設定値を用いてスケール値を取得し、撮影条件毎のスケール値を足し合わせることで評価値を算出して、画像データから得られる画像情報を評価値毎に分類する。処理部22は、評価値毎に分類された画像情報を、絞り値、シャッタースピード、及びISO感度の少なくとも1つの設定値を用いて、さらに分類する。例えば、複数の画像情報を評価値毎に分類した後、分類された複数の画像情報をISO感度の撮影条件毎の設定値に基づいて分類する。
【0051】
処理部22は、画像データの補正処理を行う際に、入力された画像データから得られる複数の設定値を用いて、評価値を算出し、評価値を用いて生成された学習モデルを選択する。また、処理部22は、設定値毎に分類された画像情報における撮影条件の優先順位を算出し、評価値及び優先順位が最優先に設定されている撮影条件を用いて、学習モデルを選択する。なお、本実施形態に係る優先順位は、撮影条件の設定値によって、算出される。例えば、処理部22は、絞りの設定値が閾値より小さい場合、前記絞りの優先順位を最優先に設定し、絞りの設定値が閾値以上、かつシャッタースピードの設定値が閾値より大きい場合、シャッタースピードの優先順位を最優先に設定する。また、処理部22は、絞りの設定値が閾値以上、かつシャッタースピードの設定値が閾値以下の場合、ISO感度の優先順位を最優先に設定する。
【0052】
具体的には、処理部22は、評価値、又は評価値及び設定値を用いて、学習モデルを選択する。処理部22は、評価値及び設定値を用いて分類された画像情報における学習モデルを選択する場合、設定値から優先順位を算出し、最優先となった撮影条件における学習モデルを選択する。例えば、ISO感度が最優先となった場合、処理部22は、画像データの撮影条件毎の設定値から評価値を算出し、算出された評価値及びISO感度の設定値に適合する学習モデルを選択する。
【0053】
生成部23は、画像情報を用いて、分類毎に学習モデルを生成する。生成部23は、分類された画像情報の数が予め定められた閾値より多くなった場合、学習モデルを生成し、分類された画像情報が新たに追加された場合、学習モデルを再度生成する。つまり、生成部23は、分類された画像情報が予め定められた数を超えた場合、評価値、又は評価値及び設定値に基づいて分類された画像情報を用いて、学習モデルを生成する。また、生成部23は、学習モデルを生成した後に、新たな画像情報が分類された場合、新たな画像情報を含めて、再度学習モデルを生成する。
【0054】
記憶部24は、評価値毎、又は評価値及び設定値毎に分類された画像情報における学習モデルを記憶する。
【0055】
補正部25は、学習モデルを用いて、画像データの補正を行う。
【0056】
次に、画像補正装置10の作用について説明する前に、
図3から
図4を参照して、本実施形態に係る画像補正装置10が行う画像情報の分類、及び学習モデルを選択するための手法について説明する。
【0057】
図3を参照して、撮影条件毎の設定値におけるスケール値について説明する。
図3は、本実施形態に係るISO感度、シャッタースピード、及び絞りの各設定値とスケール値との関係の一例を示す模式図である。
【0058】
一例として、
図3に示すように、スケール値は、各々の撮影条件の設定値に対応した値が設定されている。上図は、ISO感度の設定値とスケール値との関係を示す模式図であり、中央図は、シャッタースピードの設定値とスケール値との関係を示す模式図であり、下図は、絞り値の設定値とスケール値との関係を示す模式図である。
【0059】
本実施形態に係るスケール値は、画像データの露出を決定する撮影条件の設定値を正規化して設定された値である。各々の撮影条件は、互いに依存関係を有し、撮影条件の設定値を変更することで、同程度の露出における撮影を行うことができる。
【0060】
例えば、絞りの設定値を小さくした(絞りを開いた)場合、シャッタースピードを小さく(速く)することで、光量を調節して、設定値を変更する前の露出と同程度の露出に調整することができる。この場合、スケール値は、絞りにおけるスケール値は小さくなるが、シャッタースピードにおけるスケール値は、大きくなる。つまり、撮影条件が異なっていても、同程度の露出における撮影を行う場合、評価値が同程度となるように、設定値を正規化したスケール値が設定されている。
【0061】
なお、本実施形態に係るスケール値は、互いに依存している形態について説明した。しかし、これに限定されない。撮影条件の設定毎に独立したスケール値を設定してもよい。また、本実施形態に係るスケール値は、設定値の範囲毎にスケール値を設定する形態について説明した。しかし、これに限定されない。設定値毎にスケール値を設定してもよい。
【0062】
次に、本実施形態に係る画像情報の分類について説明する。
図4は、本実施形態に係る画像情報の分類の説明に供する評価値と分類との関係の一例を示す模式図である。
【0063】
一例として、
図4に示すように、画像情報の分類は、予め定められた評価値の範囲毎に行われ、評価値の範囲毎に分類された画像情報を用いて、学習モデルが生成される。具体的に、評価値の範囲毎は、評価値毎に分類された画像情報の数に応じて、設定される。画像補正装置10は、分類された画像情報の数が予め定められた数(例えば、300)を超えた場合、分類された画像情報を用いて、学習モデルを作成する。画像補正装置10は、分類された画像データの数が予め定められた数を超えなかった場合、隣接する評価値に分類された画像情報を含めて、分類された画像情報の数が予め定められた数を超えたか否かを判定する。画像補正装置10は、隣接する評価値に分類された画像情報を含めた数が予め定められた数を超えた場合、隣接する評価値に分類された画像情報を含め、分類された画像情報を用いて、学習モデルを作成する。
【0064】
例えば、
図4に示すように、画像補正装置10は、画像データ毎に評価値を算出し、各々の評価値毎に画像情報を分類し、分類した画像情報を用いて、学習モデルを生成する。
図4に示すように、評価値が「4」に分類された画像情報の数が「0」であった場合、画像補正装置10は、学習モデルは生成しない。また、評価値が「5」に分類された画像情報の数が「50」であった場合、予め定められた数(例えば、300)を超えていないため、画像補正装置10は、隣接する評価値が「6」の画像データの数と、評価値が「5」の画像データの数とを合計した数が、予め定められた数を超えたか判定する。画像情報の数が予め定められた数を超えた場合、画像補正装置10は、評価値が「5」及び「6」に分類された画像情報を用いて、学習モデルを生成し、分類を「A」に設定する。さらに、画像補正装置10は、画像情報の数を合計した数が予め定められた数を超えた、評価値が「7」から「10」の範囲に分類された画像情報を用いて、学習モデルを生成し、分類を「B」に設定する。
【0065】
このように、画像補正装置10は、評価値毎に分類された画像情報の数から学習モデルを生成する範囲を設定し、学習モデルの分類を行う。
【0066】
また、画像補正装置10は、画像の補正をするために、学習モデルを選択する場合、入力された画像データの評価値を算出し、評価値における学習モデルを選択する。
【0067】
例えば、
図4に示す評価値と、分類との関係において、画像補正装置10は、入力された画像データの評価値が「8」である場合、分類「B」に分類された画像情報を用いて生成された学習モデルを選択し、画像データの補正を行う。なお、本実施形態に係る画像の分類は、評価値の範囲毎に分類される形態について説明した。しかし、これに限定されない。画像情報を評価値毎に分類し、評価値毎にそれぞれ学習モデルを生成してもよい。
【0068】
次に、
図5から
図6を参照して、本実施形態に係る学習モデル生成プログラム及び画像補正プログラムの作用について説明する。まず、
図5は、本実施形態に係る学習モデル生成処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から学習モデル生成プログラムを読み出し、実行することによって、
図5に示す学習モデル生成処理が実行される。
図5に示す情報処理は、例えば、ユーザによって学習モデル生成プログラムの実行指示が入力された場合、学習モデル生成処理が実行される。
【0069】
ステップS101において、CPU11は、画像データが入力されたか否かの判定を行う。画像データが入力された場合(ステップS101:YES)、CPU11は、ステップS102に移行する。一方、画像データが入力されていない場合(ステップS101:NO)、CPU11は、画像データが入力されるまで待機する。
【0070】
ステップS102において、CPU11は、入力された画像データ取得する。ここで、画像データと共に、画像データから得られる画像情報、及び画像データに設定されている撮影条件の設定値を取得する。なお、入力された画像データが追加分の画像データであった場合、入力された画像データと共に、過去に入力された画像データを記憶部から取得する。
【0071】
ステップS103において、CPU11は、撮影条件の設定値からスケール値を取得し、評価値を算出する。
【0072】
ステップS104において、CPU11は、評価値を用いて、画像情報の分類を行う。
【0073】
ステップS105において、CPU11は、評価値毎に分類された画像情報が予め定められた数より多いか否かの判定を行う。評価値毎に分類された画像情報が予め定められた数より多い場合(ステップS105:YES)、CPU11は、ステップS108に移行する。一方、評価値毎に分類された画像情報が予め定められた数以下の場合(ステップS105:NO)、CPU11は、ステップS106に移行する。
【0074】
ステップS106において、CPU11は、各々の評価値毎に分類された画像情報の数が0枚か否かの判定を行う。分類された画像情報の数が0枚である場合(ステップS106:YES)、CPU11は、ステップS112に移行する。一方、分類された画像情報の数が0枚でない場合(ステップS106:NO)、CPU11は、ステップS107に移行する。
【0075】
ステップS107において、CPU11は、隣接する評価値に分類された画像情報を取得する。
【0076】
ステップS108において、CPU11は、評価値毎に分類された画像情報を抽出する。
【0077】
ステップS109において、CPU11は、抽出した画像情報を学習する。
【0078】
ステップS110において、CPU11は、画像情報を学習した学習モデルを生成する。
【0079】
ステップS111において、CPU11は、生成した学習モデルを記憶する。
【0080】
ステップS112において、CPU11は、すべての画像データの分類処理が終了したか否かの判定を行う。すべての画像データの分類処理が終了した場合(ステップS112:YES)、CPU11は、処理を終了する。一方、すべての画像データの分類処理が終了していない場合(ステップS112:NO)、CPU11は、ステップS105に移行する。
【0081】
次に、
図6を参照して、本実施形態に係る画像補正処理について説明する。
図6は、本実施形態に係る画像補正処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から画像補正プログラムを読み出し、実行することによって、
図6に示す画像補正処理が実行される。
【0082】
ステップS201において、CPU11は、画像データが入力されたか否かの判定を行う。画像データが入力された場合(ステップS201:YES)、CPU11は、ステップS202に移行する。一方、画像データが入力されていない場合(ステップS201:NO)、CPU11は、画像データが入力されるまで待機する。
【0083】
ステップS202において、CPU11は、入力された画像データ取得する。ここで、画像データと共に、画像データに設定されている撮影条件の設定値を取得する。
【0084】
ステップS203において、CPU11は、撮影条件の設定値からスケール値を取得し、評価値を算出する。
【0085】
ステップS204において、CPU11は、算出した評価値を用いて、学習モデルを選択して取得する。
【0086】
ステップS205において、CPU11は、取得した学習モデルを用いて、入力された画像データの補正を行う。
【0087】
以上説明したように、本実施形態によれば、撮影条件から算出された評価値によって画像情報が分類され、学習モデルが生成される。したがって、複数ある撮影条件毎に学習モデルを作成する場合と比較して、撮影条件が多岐にわたる場合であっても、学習モデルの数が低減される。
【0088】
[第2実施形態]
第1実施形態では、撮影条件から算出された評価値によって、画像情報が分類され、学習モデルが生成される形態について説明した。本実施形態では、評価値及び設定値によって、画像情報が分類され、学習モデルが生成される形態について説明する。なお、本実施形態に係る画像補正装置10のハードウェア構成(
図1参照)、画像補正装置10の機能的な構成(
図2参照)、及び各設定値とスケール値との関係を示す模式図(
図3参照)は、第1実施形態と同様であるため、説明を省略する。また、本実施形態に係る評価値と分類との関係を示す模式図(
図4参照)は、第1実施形態と同様であるため、説明を省略する。
【0089】
図7を参照して、画像情報の分類、及び学習モデルの選択について説明する。
図7は、本実施形態に係る画像情報の分類の説明に供する設定値と分類との関係の一例を示す模式図である。本実施形態に係る画像情報の分類、及び学習モデルの選択は、評価値及び設定値を用いて行われる形態について説明する。
【0090】
画像補正装置10は、画像情報の分類を行う場合、評価値及び設定値を用いて行う。一例として、
図7に示すように、画像補正装置10は、
図4で説明した評価値毎に画像情報を分類した後、設定値を用いて画像情報をさらに分類する。
【0091】
一例として、画像データの設定値から算出された評価値が「11」である画像情報を分類する場合について説明する。評価値が「11」である場合、
図4における分類では、画像情報は分類「C」に分類される。画像補正装置10は、ISO感度を用いて、
図4における分類「C」に分類された800の画像情報をさらに分類する。例えば、画像データのISO感度の設定値が「125」である場合、画像情報は、
図7における分類「C12」に分類される。画像補正装置10は、
図7における分類「C11」から「C15」に分類された画像情報の数が予め定められた数(例えば、100)を超えた場合、分類された画像情報を用いて学習モデルを作成し、記憶部24に記憶する。分類された画像情報の数が予め定められた枚数を超えなかった場合、画像補正装置10は、
図7に示すように、学習モデルは生成しない。
【0092】
なお、一例として、本実施形態に係る設定値による分類は、ISO感度の設定値を用いて、画像情報の分類を行う形態について説明した。しかし、これに限定されない。シャッタースピード、又は絞りの設定値を用いて、画像情報の分類を行ってもよいし、撮影条件の設定値を組み合わせて分類を行ってもよい。また、行う分類は1つに限定されない。例えば、絞りの設定値を用いた場合の分類、又はISO感度の設定値を用いた場合の分類等、1つの画像データに対して、画像情報を各々の撮影条件でそれぞれ分類し、撮影条件毎に各々の学習モデルを生成してもよい。また、本実施形態に係る分類は、定められた評価値の範囲、及び定められた設定値の範囲毎に画像情報を分類する形態について説明した。しかし、これに限定されない。範囲を定めずに、評価値又は設定値毎に分類してもよいし、評価値及び設定値の少なくとも一方を定められた範囲毎に分類してもよい。
【0093】
また、画像補正装置10は、画像データの補正を行う場合、入力された画像データの設定値から評価値を算出し、評価値及び設定値を用いて、学習モデルを選択して画像データの補正を行う。
【0094】
一例として、評価値が「11」である画像データを補正する場合について説明する。画像データの設定値から算出された評価値が「11」である場合、
図4における分類では、画像データは「C」に分類される。さらに画像データのISO感度の設定値が「125」である場合、画像補正装置10は、
図7における分類「C12」に分類される画像データから生成された学習モデルを選択し、画像データの補正を行う。つまり、画像補正装置10は、評価値の分類を特定した後、設定値を用いて、学習モデルを選択する。
【0095】
なお、補正に用いる学習モデルであるため、どの撮影条件の設定値を用いるかを決定し、学習モデルを選択する必要がある。本実施形態では、各々の撮影条件に優先順位を付し、優先順位が最も高い撮影条件の設定値を用いて、学習モデルを選択する形態について説明する。しかし、これに限定されない。予め定められた撮影条件の設定値を用いて、学習モデルを選択してもよい。
【0096】
次に、本実施形態に係る撮影条件の優先順位について説明する。本実施形態に係る撮影条件の優先順位は、撮影条件の設定値を用いて設定される。
【0097】
一例として、画像補正装置10は、絞りの設定値が、予め定められた閾値より小さい場合、絞りの有順位を最優先に設定する。また、絞りの設定値が、予め定められた閾値以上、かつシャッタースピードが予め定められた閾値より大きい場合、シャッタースピードの優先順位を最優先に設定する。また、画像補正装置10は、絞りの設定値が、予め定められた閾値以上、かつシャッタースピードが予め定められた閾値以下の場合、ISO感度の優先順位を最優先に設定する。また、画像補正装置10は、優先順位が設定されていない2つの撮影条件の設定値から取得したスケール値を比較し、スケール値が小さい撮影条件を優先順位2位に設定する。
【0098】
なお、本実施形態に係る優先順位を設定するための条件は、画像がぶれやすい、又はぼけやすい等、画像データの画質が低下しやすい条件の場合に最優先になるように設定される。しかし、これに限定されない。高画質の画像データを用いて作成された学習モデルを選択できるように、優先順位を設定するための条件を設定してもよい。
【0099】
画像補正装置10は、評価値及び優先順位が最優先となった撮影条件の設定値を用いて、学習モデルを選択する。また、最優先となった撮影条件の設定値に適合する学習モデルが生成されていなかった場合、評価値及び優先順位2位の撮影条件の設定値を用いて、学習モデルの選択を行う。このように、適合する学習モデルが生成されていなかった場合、画像補正装置10は、学習モデルを選択する際に用いる撮影条件を変更して、学習モデルの選択を行う。
【0100】
次に、
図8から
図10を参照して、本実施形態に係る学習モデル生成プログラム及び画像補正プログラムの作用について説明する。まず、
図8は、第2実施形態に係る学習モデル生成処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から学習モデル生成プログラムを読み出し、実行することによって、
図8に示す学習モデル生成処理が実行される。
図8に示す情報処理は、例えば、ユーザによって学習モデル生成プログラムの実行指示が入力された場合、学習モデル生成処理が実行される。なお、
図8における
図5に示す学習モデル生成処理と同一のステップについては、
図5と同一の符号を付して、その説明を省略する。
【0101】
ステップS104において、CPU11は、評価値及び設定値を用いて、画像情報の分類を行う。
【0102】
ステップS113において、CPU11は、評価値及び設定値毎に分類された画像情報が予め定められた数より多いか否かの判定を行う。評価値及び設定値毎に分類された画像情報が予め定められた数より多い場合(ステップS113:YES)、CPU11は、ステップS108に移行する。一方、評価値及び設定値毎に分類された画像情報が予め定められた数以下の場合(ステップS113:NO)、CPU11は、ステップS112に移行する。
【0103】
次に、
図9を参照して、本実施形態に係る画像補正処理プログラムの作用について説明する。
図9は、第2実施形態に係る画像補正処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から画像補正処理プログラムを読み出し、実行することによって、
図9に示す情報処理が実行される。
図9に示す画像補正処理は、例えば、ユーザによって画像補正処理プログラムの実行指示が入力された場合、画像補正処理が実行される。なお、
図9における
図6に示す画像補正処理と同一のステップについては、
図6と同一の符号を付して、その説明を省略する。
【0104】
ステップS206において、CPU11は、優先順位を算出する。なお、優先順位算出処理の詳細については、後述する
図9にて説明する。
【0105】
ステップS207において、CPU11は、最優先に設定された撮影条件を設定する。
【0106】
ステップS208において、CPU11は、評価値及び設定値に適合する学習モデルがあるか否かの判定を行う。評価値及び設定値に適合する学習モデルがある場合(ステップS208:YES)、CPU11は、ステップS204に移行する。一方、評価値及び設定値に適合する学習モデルがない場合(ステップS208:NO)、CPU11は、ステップS209に移行する。
【0107】
ステップS209において、CPU11は、次に高い優先順位が設定された撮影条件を設定する。
【0108】
次に、
図10を参照して、本実施形態に係る優先順位算出処理プログラムの作用について説明する。
図10は、第2実施形態に係る優先順位算出処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から優先順位算出処理プログラムを読み出し、実行することによって、
図10に示す優先順位算出処理が実行される。
図10に示す優先順位算出処理は、例えば、画像補正処理によって優先順位算出処理プログラムの実行指示が入力された場合、優先順位算出処理が実行される。
【0109】
ステップS301において、CPU11は、画像データに設定されている撮影条件を取得する。ここで、撮影条件の設定値を取得し、設定値からスケール値を取得する。
【0110】
ステップS302において、CPU11は、絞りの設定値が予め定められた閾値より小さいか否かの判定を行う。絞りの設定値が予め定められた閾値より小さい場合(ステップS302:YES)、CPU11は、ステップS303に移行する。一方、絞りの設定値が予め定められた閾値以上の場合(ステップS302:NO)、CPU11は、ステップS304に移行する。
【0111】
ステップS303において、CPU11は、絞りの優先順位を1位に設定する。
【0112】
ステップS304において、CPU11は、シャッタースピードの設定値が予め定められた閾値より大きいか否かの判定を行う。シャッタースピードの設定値が予め定められた閾値より大きい場合(ステップS304:YES)、CPU11は、ステップS305に移行する。一方、シャッタースピードの設定値が予め定められた閾値以下の場合(ステップS304:NO)、CPU11は、ステップS306に移行する。
【0113】
ステップS305において、CPU11は、シャッタースピードの優先順位を1位に設定する。
【0114】
ステップS306において、CPU11は、ISO感度の優先順位を1位に設定する。
【0115】
ステップS307において、CPU11は、優先順位が設定されていない撮影条件のスケール値を比較する。
【0116】
ステップS308において、CPU11は、優先順位が設定されていない撮影条件のスケール値が小さい順に優先順位を高く設定する。
【0117】
以上説明したように、本実施形態によれば、評価値及び撮影条件の設定値を用いて画像情報を分類し、評価値及び撮影条件の設定値を用いて学習モデルが選択される。
【0118】
なお、本実施形態に係る優先順位は、学習モデルを選択する際に設定する形態について説明した。しかし、これに限定されない。画像情報を分類する際に優先順位を設定してもよい。
【0119】
[第3実施形態]
第2実施形態では、撮影条件の設定値から優先順位を算出し、学習モデルを選択する形態について説明した。本実施形態では、学習モデルを選択する際に選択する範囲を拡大する形態について説明する。なお、本実施形態に係る画像補正装置10のハードウェア構成(
図1参照)、画像補正装置10の機能的な構成(
図2参照)、及び各設定値とスケール値との関係を示す模式図(
図3参照)は、第1実施形態と同様であるため、説明を省略する。また、本実施形態に係る評価値と分類との関係を示す模式図(
図4参照)、及び学習モデル生成処理のフロー図(
図5参照)、及び設定値と分類との関係を示す模式図(
図7参照)は、第1実施形態と同様であるため、説明を省略する。
【0120】
図4及び
図7を参照して、学習モデルを選択する際に選択する範囲を拡大する手法について説明する。
【0121】
一例として、評価値が「11」であり、ISO感度の設定値が「250」の画像データが入力された場合について説明する。画像補正処理を行う場合、まず、
図4における分類では、評価値「11」は分類「C」に分類され、さらに
図7における分類では、ISO感度の設定値「250」は分類「C13」分類される学習モデルが選択される。しかし、
図7に示すように、「C13」に分類される学習モデルが生成されていない場合、画像補正装置10は、隣接する分類の学習モデルを選択し、画像データの補正を行う。具体的には、画像補正装置10は、
図7に示されるように、分類「C13」に隣接する分類「C12」の学習モデルを選択する。
【0122】
次に、
図11を参照して、本実施形態に係る画像補正処理プログラムの作用について説明する。
図11は、第3実施形態に係る画像補正処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から画像補正処理プログラムを読み出し、実行することによって、
図11に示す情報処理が実行される。
図11に示す画像補正処理は、例えば、ユーザによって画像補正処理プログラムの実行指示が入力された場合、画像補正処理が実行される。なお、
図11における
図9に示す画像補正処理と同一のステップについては、
図9と同一の符号を付して、その説明を省略する。
【0123】
ステップS208において、CPU11は、評価値及び設定値に適合する学習モデルがあるか否かの判定を行う。評価値及び設定値に適合する学習モデルがある場合(ステップS208:YES)、CPU11は、ステップS204に移行する。一方、評価値及び設定値に適合する学習モデルがない場合(ステップS208:NO)、CPU11は、ステップS210に移行する。
【0124】
ステップS210において、CPU11は、評価値及び設定値によって特定した分類に、隣接する分類に学習モデルがあるか否かの判定を行う。評価値及び設定値によって特定した分類に、隣接する分類に学習モデルがある場合(ステップS210:YES)、CPU11は、ステップS211に移行する。一方、評価値及び設定値によって特定した分類に、隣接する分類に学習モデルがない場合(ステップS210:NO)、CPU11は、ステップS209に移行する。
【0125】
ステップS211において、CPU11は、隣接する分類の学習モデルを取得する。
【0126】
なお、本実施形態では、隣接する分類の学習モデルを選択する形態について説明した。しかし、これに限定されない。学習モデルを選択する範囲は、特に限定しない。例えば、評価値及び設定値から特定した分類から2つ隣に分類される学習モデルを選択してもよいし、予め定められた範囲に分類された学習モデルを選択してもよい。
【0127】
また、本実施形態に係る学習モデル生成装置及び画像補正装置は、入力データとして、撮影された画像データを用いる形態について説明した。しかし、これに限定されない。例えば、入力データは、Photoshop(登録商標)等で編集された画像、及びCG(Computer Graphics)のように作成された画像等に任意の撮影条件の設定値を付与した画像データであってもよい。
【0128】
以上説明したように、本実施形態によれば、評価値及び撮影条件の設定値に適合する学習モデルが生成されていない場合であっても、隣接する分類の学習モデルを用いて、画像データの補正処理が行われる。
【0129】
その他、上記実施形態で説明した画像補正装置10の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【0130】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【0131】
なお、上記各実施形態において、プロセッサとは、広義的なプロセッサを指し、例えばCPU等の汎用的なプロセッサや、例えば GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、及びプログラマブル論理デバイス等の専用のプロセッサを含むものである。
【0132】
また、上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0133】
また、上記各実施形態では、情報処理のプログラムがストレージ14に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【符号の説明】
【0134】
10 画像補正装置
11 CPU
12 ROM
13 RAM
14 ストレージ
15 入力部
16 モニタ
17 通信I/F
18 バス
21 取得部
22 処理部
23 生成部
24 記憶部
25 補正部