ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-136671画像処理システム、超解像データの生産方法、画像処理プログラム、及び学習モデルの生産方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024136671
(43)【公開日】2024-10-04
(54)【発明の名称】画像処理システム、超解像データの生産方法、画像処理プログラム、及び学習モデルの生産方法
(51)【国際特許分類】
G06T 3/4053 20240101AFI20240927BHJP
H04N 1/387 20060101ALI20240927BHJP
H04N 1/40 20060101ALI20240927BHJP
【ＦＩ】
G06T3/40 730
H04N1/387 101
H04N1/40
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023047857
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】村山 拓人
(72)【発明者】
【氏名】篠原 慎平
【テーマコード（参考）】
5B057
5C077
【Ｆターム（参考）】
5B057BA26
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE03
5B057CE04
5B057CE06
5B057DA17
5B057DB02
5B057DB06
5B057DB09
5B057DC40
5C077LL19
5C077NN19
5C077PP20
5C077PP21
5C077PP23
5C077PQ15
(57)【要約】
【課題】高解像度な画像品質に優れた画像を取得できる画像処理システムを提供すること。
【解決手段】写真フィルムに撮影された画像に対応する写真データを生産するスキャンユニットと、写真データの解像度を増加した超解像データを生産する超解像データ生産部と、を備え、スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った写真データを生産し、超解像データ生産部は、第１モードに応じて、第１モードに対応した第１学習モデルを用いて、写真データの主走査方向の解像度を第２解像度に増加させた超解像データを生産する、画像処理システム。
【選択図】図４
【解決手段】写真フィルムに撮影された画像に対応する写真データを生産するスキャンユニットと、写真データの解像度を増加した超解像データを生産する超解像データ生産部と、を備え、スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った写真データを生産し、超解像データ生産部は、第１モードに応じて、第１モードに対応した第１学習モデルを用いて、写真データの主走査方向の解像度を第２解像度に増加させた超解像データを生産する、画像処理システム。
【選択図】図４
【特許請求の範囲】
【請求項1】
写真フィルムに撮影された画像に対応する写真データを生産するスキャンユニットと、
前記写真データの解像度を増加した超解像データを生産する超解像データ生産部と、
を備え、
前記スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った前記写真データを生産し、
前記超解像データ生産部は、前記第１モードに応じて、前記第１モードに対応した第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させた前記超解像データを生産する、
ことを特徴とする画像処理システム。
前記写真データの解像度を増加した超解像データを生産する超解像データ生産部と、
を備え、
前記スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った前記写真データを生産し、
前記超解像データ生産部は、前記第１モードに応じて、前記第１モードに対応した第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させた前記超解像データを生産する、
ことを特徴とする画像処理システム。
【請求項2】
前記超解像データ生産部は、主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率である第１画像データと、主走査方向の解像度、及び副走査方向の解像度が、前記第１画像データの副走査方向の解像度と同じである第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用いる、
ことを特徴とする請求項１に記載の画像処理システム。
ことを特徴とする請求項１に記載の画像処理システム。
【請求項3】
前記スキャンユニットは、前記第１モードと異なる第２モードにおいて、主走査方向に前記第１解像度、副走査方向に第３解像度で前記写真データを生産し、
前記超解像データ生産部は、前記第２モードに応じて、前記第２モードに対応した第２学習モデルを用いて、前記写真データの主走査方向の解像度、及び副走査方向の解像度を、前記第１解像度、及び前記第３解像度と異なる第４解像度に増加させた前記超解像データを生産する、
ことを特徴とする請求項１に記載の画像処理システム。
前記超解像データ生産部は、前記第２モードに応じて、前記第２モードに対応した第２学習モデルを用いて、前記写真データの主走査方向の解像度、及び副走査方向の解像度を、前記第１解像度、及び前記第３解像度と異なる第４解像度に増加させた前記超解像データを生産する、
ことを特徴とする請求項１に記載の画像処理システム。
【請求項4】
前記スキャンユニットは、前記写真フィルムに撮影された画像の一部に対応する第１写真データを生産し、前記写真フィルムに撮影された画像の異なる一部に対応する第２写真データを生産し、
前記超解像データ生産部は、前記第１写真データの解像度を増加させた第１分割超解像データと、前記第２写真データの解像度を増加させた第２分割超解像データと、を生産し、前記第１分割超解像データと前記第２分割超解像データとを結合することで前記超解像データを生産する、
ことを特徴とする請求項１に記載の画像処理システム。
前記超解像データ生産部は、前記第１写真データの解像度を増加させた第１分割超解像データと、前記第２写真データの解像度を増加させた第２分割超解像データと、を生産し、前記第１分割超解像データと前記第２分割超解像データとを結合することで前記超解像データを生産する、
ことを特徴とする請求項１に記載の画像処理システム。
【請求項5】
前記超解像データ生産部は、前記写真データと異なる基準画像データに基づく第１パラメーターを用いて、前記第１分割超解像データ及び前記第２分割超解像データを生産する、
ことを特徴とする請求項４に記載の画像処理システム。
ことを特徴とする請求項４に記載の画像処理システム。
【請求項6】
前記基準画像データは、使用者により選択された前記写真データの種類に応じて選択される、
ことを特徴とする請求項５に記載の画像処理システム。
ことを特徴とする請求項５に記載の画像処理システム。
【請求項7】
使用者が、第２パラメーターとして第１情報を入力した場合、
前記超解像データ生産部は、主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率である第１画像データに前記第１情報に応じた画像処理を実行した第１処理画像データと、主走査方向の解像度、及び副走査方向の解像度が、前記第１画像データの副走査方向の解像度と同じである第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用い、
使用者が、前記第２パラメーターとして第２情報を入力した場合、
前記第１画像データに前記第２情報に応じた画像処理を実行した第２処理画像データと、前記第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用いる、
ことを特徴とする請求項６に記載の画像処理システム。
前記超解像データ生産部は、主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率である第１画像データに前記第１情報に応じた画像処理を実行した第１処理画像データと、主走査方向の解像度、及び副走査方向の解像度が、前記第１画像データの副走査方向の解像度と同じである第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用い、
使用者が、前記第２パラメーターとして第２情報を入力した場合、
前記第１画像データに前記第２情報に応じた画像処理を実行した第２処理画像データと、前記第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用いる、
ことを特徴とする請求項６に記載の画像処理システム。
【請求項8】
前記第１モードと前記第２モードとは、使用者の選択により切り替えられる、
ことを特徴とする請求項３に記載の画像処理システム。
ことを特徴とする請求項３に記載の画像処理システム。
【請求項9】
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得工程と、
第1学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産工程と、
を有することを特徴とする超解像データの生産方法。
第1学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産工程と、
を有することを特徴とする超解像データの生産方法。
【請求項10】
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得ステップと、
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産ステップと、
をコンピューターに実行させることを特徴とする画像処理プログラム。
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産ステップと、
をコンピューターに実行させることを特徴とする画像処理プログラム。
【請求項11】
主走査方向に第１解像度で取得され、副走査方向に第２解像度で取得された画像情報に対応する写真データから、主走査方向の解像度を前記第２解像度に増加させた超解像データを生産する際に用いられる学習モデルの生産方法であって、
主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率となる第１画像データと、主走査方向の解像度と副走査方向の解像度とが、前記第１画像データの副走査方向の解像度と同じ解像度である第２画像データと、を教師データとして機械学習を行うことで前記学習モデルを生産する、
ことを特徴とする学習モデルの生産方法。
主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率となる第１画像データと、主走査方向の解像度と副走査方向の解像度とが、前記第１画像データの副走査方向の解像度と同じ解像度である第２画像データと、を教師データとして機械学習を行うことで前記学習モデルを生産する、
ことを特徴とする学習モデルの生産方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、超解像データの生産方法、画像処理プログラム、及び学習モデルの生産方法に関する。
【背景技術】
【0002】
特許文献１には、フィルムに記録された画像からデジタル画像データを取得し、様々な加工を行う画像処理システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００５－２８６３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、高解像度な画像品質に優れた画像を取得したいとの観点において、特許文献１に記載の技術では十分でなかった。
【課題を解決するための手段】
【0005】
本発明に係る画像処理システムの一態様は、
写真フィルムに撮影された画像に対応する写真データを生産するスキャンユニットと、
前記写真データの解像度を増加した超解像データを生産する超解像データ生産部と、
を備え、
前記スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った前記写真データを生産し、
前記超解像データ生産部は、前記第１モードに応じて、前記第１モードに対応した第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させた前記超解像データを生産する。
写真フィルムに撮影された画像に対応する写真データを生産するスキャンユニットと、
前記写真データの解像度を増加した超解像データを生産する超解像データ生産部と、
を備え、
前記スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った前記写真データを生産し、
前記超解像データ生産部は、前記第１モードに応じて、前記第１モードに対応した第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させた前記超解像データを生産する。
【0006】
本発明に係る超解像データの生産方法の一態様は、
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得工程と、
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産工程と、
を有する。
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得工程と、
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産工程と、
を有する。
【0007】
本発明に係る画像処理プログラムの一態様は、
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得ステップと、
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産ステップと、
をコンピューターに実行させる。
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得ステップと、
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産ステップと、
をコンピューターに実行させる。
【0008】
本発明に係る学習モデルの生産方法の一態様は、
主走査方向に第１解像度で取得され、副走査方向に第２解像度で取得された画像情報に対応する写真データから、主走査方向の解像度を前記第２解像度に増加させた超解像データを生産する際に用いられる学習モデルの生産方法であって、
主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率となる第１画像データと、主走査方向の解像度と副走査方向の解像度とが、前記第１画像データの副走査方向の解像度と同じ解像度である第２画像データと、を教師データとして機械学習を行うことで前記学習モデルを生産する。
主走査方向に第１解像度で取得され、副走査方向に第２解像度で取得された画像情報に対応する写真データから、主走査方向の解像度を前記第２解像度に増加させた超解像データを生産する際に用いられる学習モデルの生産方法であって、
主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率となる第１画像データと、主走査方向の解像度と副走査方向の解像度とが、前記第１画像データの副走査方向の解像度と同じ解像度である第２画像データと、を教師データとして機械学習を行うことで前記学習モデルを生産する。
【図面の簡単な説明】
【0009】
【図1】画像処理システムの機能構成の一例を示す図である。
【図2】ユーザーインターフェースを介して選択される画像取得条件の一例を示す図である。
【図3】画像処理システムの動作の一例を説明するための図である。
【図4】画像データの主走査方向の解像度を増加させ、画像データの副走査方向の解像度は増加させない場合に用いられる超解像学習モデルを生産するための学習データセットの一例を示す図である。
【図5】画像データの主走査方向の解像度、及び副走査方向の解像度の双方を増加させる場合に用いられる超解像学習モデルを生産するための学習データセットの一例を示す図である。
【図6】ポジフィルムに撮影された画像に対応する画像情報を含む画像データと、超解像処理との関係を模式的に示す図である。
【図7】ネガフィルムに撮影された画像に対応する画像情報を含む画像データと、超解像処理との関係を模式的に示す図である。
【図8】ポジフィルムに撮影された画像に対応する超解像データの輪郭強調の程度と、超解像処理との関係を模式的に示す図である。
【図9】ネガフィルムに撮影された画像に対応する超解像データの輪郭強調の程度と、超解像処理との関係を模式的に示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の好適な実施形態について図面を用いて説明する。用いる図面は説明の便宜上のものである。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【0011】
１．画像処理システムの構成
本実施形態の画像処理システムＳＣは、写真フィルムを透過した透過光を検出することで、当該写真フィルムに撮影された画像に対応する画像データを取得する所謂透過型のフィルムスキャナーであって、取得した画像データの解像度を増加させることで、出力する画像の品質を向上させる所謂超解像処理の機能を有する。
本実施形態の画像処理システムＳＣは、写真フィルムを透過した透過光を検出することで、当該写真フィルムに撮影された画像に対応する画像データを取得する所謂透過型のフィルムスキャナーであって、取得した画像データの解像度を増加させることで、出力する画像の品質を向上させる所謂超解像処理の機能を有する。
【0012】
図１は、画像処理システムＳＣの機能構成の一例を示す図である。図１に示すように、画像処理システムＳＣは、画像処理部１、ユーザーインターフェース３、及び画像取得部５を備える。そして、画像処理システムＳＣは、ユーザーインターフェース３が、使用者による操作情報を受け付け、画像取得部５が、ユーザーインターフェース３が受け付けた操作情報に応じてスキャン動作することで、写真フィルムに撮影された画像に対応する画像情報を取得する。そして、画像処理部１は、画像取得部５が取得した画像情報に応じた画像データを取得し、取得した画像データに対して、ユーザーインターフェース３が受け付けた操作情報に応じた画像処理を施す。これにより、画像処理部１は、写真フィルムに撮影された画像に対応する画像データの解像度を増加させた超解像データを生産する。
【0013】
画像処理部１が生産した超解像データは、ユーザーインターフェース３に出力される。ユーザーインターフェース３は、入力される超解像データ、若しくは、当該超解像データに対応する超解像画像を出力する。これにより、画像処理システムＳＣは、写真フィルムに撮影された画像に対応する超解像データ、若しくは、当該超解像データに対応する超解像画像を、使用者に提供する。
【0014】
ユーザーインターフェース３は、画像取得条件設定部３１、画像出力部３２、及びメモリー３３を有する。
【0015】
画像取得条件設定部３１には、使用者の操作による操作情報として、写真フィルムからの画像の取得条件を規定する画像取得条件が入力される。このような画像取得条件設定部３１に入力される画像取得条件としては、例えば、画像を取得する写真フィルムの種類や、当該写真フィルムを読み取って取得する写真データの解像度である取得解像度、取得した写真データの解像度を増加した超解像データの解像度である出力解像度等が含まれる。画像出力部３２は、画像処理部１によって生産された超解像データ、又は、画像処理部１によって生産された超解像データに対応する超解像画像を使用者に出力する。このような画像出力部３２は、例えば、超解像データ、及び超解像画像の表示が可能なディスプレイであってもよく、超解像データに対応する超解像画像を印刷する印刷装置であってもよく、外部装置に超解像画像を画像ファイルとして出力するコネクタであってもよい。メモリー３３には、使用者によって選択される画像取得条件の選択肢として、例えば、画像を取得する写真フィルムの種類の選択肢や、当該写真フィルムから取得する画像情報の解像度の選択肢、取得した画像情報に対応する超解像データの解像度の選択肢等が保持されている。なお、画像取得条件設定部３１における選択項目、及び選択肢の具体例については後述する。
【0016】
画像取得部５は、センサー制御部５１、光源制御部５２、データバッファー５３、センサーユニット５４、及び光源５５を有する。
【0017】
センサー制御部５１は、ユーザーインターフェース３が受け付けた画像取得条件に応じて、センサーユニット５４の動作を制御する。具体的には、センサーユニット５４は、主走査方向に沿って並設された複数のセンサー素子を有し、センサー制御部５１の制御の基で、主走査方向と交差する副走査方向に沿って移動する。また、光源制御部５２は、センサーユニット５４の移動に同期して、光源５５の動作を制御し、光源５５は、光源制御部５２に基づいて、発光、又は消灯する。
【0018】
以上のように構成された画像取得部５は、センサー制御部５１の制御の基でセンサーユニット５４が副走査方向に沿って移動し、センサーユニット５４が所定の走査位置に到達することで光源５５が発光する。そして、センサーユニット５４が有する複数のセンサー素子のそれぞれが、光源５５の発光により生じた光の内、写真フィルムを透過した透過光に含まれる光成分であって、例えば、当該透過光に含まれる赤色波長成分の光強度、緑色波長成分の光強度、及び青色波長成分の光強度を検出する。センサー制御部５１は、センサーユニット５４が有する複数のセンサー素子のそれぞれが検出した光成分、又は当該光成分に応じた情報を、写真フィルムに撮影された画像に対応する画像情報としてデータバッファー５３に保持させる。すなわち、センサーユニット５４は、写真フィルムに撮影された画像に対応する画像情報を取得する。この場合において、写真フィルムがネガフィルムの場合、当該ネガフィルムに撮影された画像情報は、ネガフィルムを透過スキャンすることで生成され、写真フィルムがポジフィルムの場合、当該ポジフィルムに撮影された画像データは、ポジフィルムを透過スキャンすることで生成される。すなわち、センサーユニット５４は、写真フィルムを透過する透過光を検出する。その後、データバッファー５３に保持された画像情報は、要求により、又は所定のタイミングで、画像データとして画像処理部１に出力される。
【0019】
画像処理部１は、ＣＰＵ１０、及びメモリー２０を有する。また、メモリー２０は、入力画像保持部２１、露出補正係数保持部２２、色補正係数保持部２３、超解像学習モデル保持部２４、超解像パラメーター保持部２５、超解像結果保持部２６、及び画像処理プログラム保持部２７を含む。
【0020】
入力画像保持部２１には、画像取得部５から入力される画像データが保持される。露出補正係数保持部２２には、光源５５、及びセンサーユニット５４の特性のばらつき等に起因して生じる画像データの明るさばらつきを補正する露出補正係数が保持されている。色補正係数保持部２３には、光源５５、及びセンサーユニット５４の特性のばらつきに起因して生じる画像データの色彩のばらつきを補正する色補正係数が保持されている。超解像学習モデル保持部２４には、画像データの解像度を増加させた超解像データを生成するための学習モデルとして、複数の超解像学習モデルが保持されている。超解像パラメーター保持部２５には、画像データの解像度を増加させた超解像データを生成するための複数の超解像パラメーターが保持されている。超解像結果保持部２６には、ＣＰＵ１０の超解像処理部１５で生成された超解像データが保持される。そして、画像処理プログラム保持部２７には、後述するＣＰＵ１０が、画像データの解像度を増加させる超解像処理を実行するための画像処理プログラムが保持されている。なお、入力画像保持部２１、露出補正係数保持部２２、色補正係数保持部２３、超解像学習モデル保持部２４、超解像パラメーター保持部２５、超解像結果保持部２６、及び画像処理プログラム保持部２７は、１つの集積回路に含まれる異なる記憶領域であってもよく、異なる集積回路の異なる記憶領域であってもよい。
【0021】
ＣＰＵ１０は、入出力管理部１１、露出補正部１２、色補正部１３、超解像学習モデル管理部１４、及び超解像処理部１５を含む。そして、ＣＰＵ１０は、メモリー２０の画像処理プログラムを取得し、実行する。これにより、画像処理部１は、画像データの解像度を増加した超解像データを出力する。
【0022】
入出力管理部１１は、入力画像保持部２１に保持される画像データと、ユーザーインターフェース３が受け付けた画像取得条件と、を取得する。露出補正部１２は、入出力管理部１１が取得した画像データのヒストグラムに応じて、露出補正係数保持部２２に保持される露出補正係数を取得し、取得した露出補正係数を用いて、入出力管理部１１が取得した画像データの明るさを補正する。色補正部１３は、色補正係数保持部２３に保持される色補正係数を用いて、入出力管理部１１が取得した画像データの色彩を補正する。
【0023】
超解像学習モデル管理部１４は、超解像学習モデル保持部２４に保持される複数の超解像学習モデルの内、ユーザーインターフェース３が受け付けた画像取得条件に応じた超解像学習モデルを取得し、保持、管理する。超解像処理部１５は、超解像パラメーター保持部２５に保持される複数の超解像パラメーターの内、ユーザーインターフェース３が受け付けた画像取得条件に応じた超解像パラメーターを取得する。そして、超解像処理部１５は、取得した超解像パラメーターと、超解像学習モデル管理部１４が保持、管理する超解像学習モデルと、を用いて、入出力管理部１１が取得した画像データの解像度を増加させる超解像処理を実行する。これにより、超解像処理部１５は、画像データの解像度を増加させた超解像データを生産する。すなわち、超解像処理部１５は、画像データに超解像処理を実行することで、画像データの解像度を増加した超解像データを生産する。そして、超解像処理部１５が生産した超解像データは、メモリー２０の超解像結果保持部２６に保持される。
【0024】
その後、超解像結果保持部２６に保持される超解像データは、使用者の要求により、若しくは所定のタイミングで、ユーザーインターフェース３の画像出力部３２に入力される。画像出力部３２は、入力される超解像データ、若しくは、入力される超解像データに応じた超解像画像を出力する。これにより、写真フィルムに撮影された画像の解像度を増加させた超解像データ、若しくは、当該超解像データに応じた超解像画像が使用者に提供される。
【0025】
以上のように、本実施形態の画像処理システムＳＣにおいて、画像取得部５は、写真フィルムに撮影された画像に対応する画像情報を取得するセンサーユニット５４と、センサーユニット５４を制御するセンサー制御部５１と、を備え、画像処理部１は、センサーユニット５４が取得した画像情報に対応する画像データと、画像取得条件と、を取得する入出力管理部１１と、画像データの解像度を増加した超解像データを生産する超解像処理部１５と、を備える。そして、超解像処理部１５を含む画像処理部１は、画像取得部５が取得した画像データの解像度を増加させた超解像データを生産し、出力する。
【0026】
２．画像処理システムの動作
２．１ 操作情報としての画像取得条件の一例
次に画像処理システムＳＣの動作の具体例について説明する。画像処理システムＳＣの動作の具体例を説明するにあたり、まず、ユーザーインターフェース３を介して入力される画像取得条件の一例について説明する。図２は、ユーザーインターフェース３を介して選択される画像取得条件の一例を示す図である。図２に示すように、本実施形態の画像処理システムＳＣにおいて使用者は、画像取得条件として「フィルム種別」、「取得解像度」、「出力解像度」、「輪郭強調」、及び「取得画像の種類」のそれぞれを選択する。
２．１ 操作情報としての画像取得条件の一例
次に画像処理システムＳＣの動作の具体例について説明する。画像処理システムＳＣの動作の具体例を説明するにあたり、まず、ユーザーインターフェース３を介して入力される画像取得条件の一例について説明する。図２は、ユーザーインターフェース３を介して選択される画像取得条件の一例を示す図である。図２に示すように、本実施形態の画像処理システムＳＣにおいて使用者は、画像取得条件として「フィルム種別」、「取得解像度」、「出力解像度」、「輪郭強調」、及び「取得画像の種類」のそれぞれを選択する。
【0027】
「フィルム種別」とは、画像が撮影された写真フィルムの種類を選択するための項目であって、本実施形態の画像処理システムＳＣでは、画像が撮影された写真フィルムの種類が、ネガフィルムであるのかポジフィルムであるのかを選択する。ここで、ネガフィルムとは、被写体の濃淡が逆転した状態で撮影されるフィルムであり、ポジフィルムとは、被写体の濃淡がそのままの状態で撮影されるフィルムである。
【0028】
「取得解像度」とは、画像取得部５が写真フィルムに撮影された画像の画像情報を取得する主走査方向の解像度と、副走査方向の解像度との組み合わせを選択するための項目であって、本実施形態の画像処理システムＳＣでは、主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉとなる解像度の組み合わせと、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせと、から選択できる。なお、「取得解像度」として選択できる解像度の組み合わせは、上述した組み合わせに限られるものではなく、例えば、主走査方向に６００ｄｐｉ、副走査方向に２４００ｄｐｉ等の解像度の組み合わせであってもよい。また、画像取得条件として選択できる解像度の組み合わせの選択肢は、２組に限るものではなく、３組以上であってもよい。
【0029】
「出力解像度」とは、画像処理部１が出力する超解像データの主走査方向の解像度と、副走査方向の解像度との組み合わせを選択するための項目であって、本実施形態の画像処理システムＳＣでは、主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせを選択できる。なお、「出力解像度」として選択できる解像度の組み合わせは、上述した組み合わせに限るものではなく、例えば、主走査方向に４８００ｄｐｉ、副走査方向に４８００ｄｐｉ等の解像度の組み合わせであってもよい。また、画像取得条件として選択できる解像度の組み合わせの選択肢は、１組に限るものではなく、複数から選択可能であってもよい。
【0030】
「輪郭強調」とは、画像処理部１が出力する超解像データに基づく超解像画像の輪郭強調の程度を選択するための項目であって、本実施形態の画像処理システムＳＣでは、「輪郭強調」の程度を「＋２」、「＋１」、「０」、「－１」、「－２」の5段階から選択することができる。ここで、本実施形態の画像処理システムＳＣでは、「輪郭強調」として「０」が選択された場合、超解像処理部１５は、超解像データに基づく超解像画像に対して標準の輪郭強調を実行する。また、「輪郭強調」として「＋１」が選択された場合、超解像処理部１５は、超解像データに基づく超解像画像に対して「０」が選択された場合よりも輪郭を強調するための画像処理を実行し、「輪郭強調」として「＋２」が選択された場合、超解像処理部１５は、超解像データに基づく超解像画像に対して「輪郭強調」として「＋１」が選択された場合よりも、輪郭を強調するための画像処理を実行する。また、「輪郭強調」として「－１」が選択された場合、超解像処理部１５は、超解像データに基づく超解像画像に対して「０」が選択された場合よりも輪郭を曖昧にするための画像処理を実行し、「輪郭強調」として「－２」が選択された場合、超解像処理部１５は、超解像データに基づく超解像画像に対して「輪郭強調」として「－１」が選択された場合よりも、輪郭を曖昧にするための画像処理を実行する。なお、「輪郭強調」として設定できる輪郭強調の程度は、５段階に限られるものではない。
【0031】
「取得画像の種類」とは、写真フィルムに撮影された画像の種類を選択するための項目であって、本実施形態の画像処理システムＳＣでは「風景（空、海）」、「風景（森、ビル）」、「文字」から最も近い画像の種類を選択する。
【0032】
本実施形態の画像処理システムＳＣでは、選択された「取得画像の種類」に応じて、超解像パラメーターの値であって、例えば、超解像処理を実行する際のフィルターの重みづけ係数が決定される。具体的には、写真フィルムに撮影された画像の種類として「風景（空、海）」が選択された場合、写真フィルムに撮影された画像の空間周波数は低いことが想定される。そのため、画像処理部１は、あらかじめ用意された空間周波数の低い基準画像に基づいて算出された超解像パラメーターを選択する。また、写真フィルムに撮影された画像の種類として「風景（森、ビル）」が選択された場合、写真フィルムに撮影された画像の空間周波数は高いことが想定される。そのため、画像処理部１は、あらかじめ用意された空間周波数の高い基準画像に基づいて算出された超解像パラメーターを選択する。また、写真フィルムに撮影された画像の種類として「文字」が選択された場合、画像処理部１は、あらかじめ用意された文字が記載された基準画像に基づいて算出された超解像パラメーターを選択する。
【0033】
すなわち、画像取得条件に含まれる「取得画像の種類」とは、写真フィルムに撮影された画像の空間周波数を推定するための項目に相当し、本実施形態の画像処理システムＳＣでは、写真フィルムに撮影された画像の種類を「取得画像の種類」から選択することで、写真フィルムに撮影された画像の空間周波数を推定している。そのため、画像処理システムＳＣでは、画像取得条件としての「取得画像の種類」に替えて、写真フィルムに撮影された画像の空間周波数を推定できる選択肢を用意してもよく、また、写真フィルムに撮影された画像の空間周波数に相当する値を直接入力する構成であってもよい。
【0034】
２．２ 画像処理システムＳＣの動作
次に、画像処理システムＳＣの動作の一例について説明する。図３は、画像処理システムＳＣの動作の一例を説明するための図である。図３に示すように、画像処理システムＳＣは、使用者の操作によって、ユーザーインターフェース３に画像取得条件が入力されることで動作を開始する（ステップＳ１０）。また、ユーザーインターフェース３は、入力される画像取得条件を画像取得部５、及び画像処理部１に出力する。
次に、画像処理システムＳＣの動作の一例について説明する。図３は、画像処理システムＳＣの動作の一例を説明するための図である。図３に示すように、画像処理システムＳＣは、使用者の操作によって、ユーザーインターフェース３に画像取得条件が入力されることで動作を開始する（ステップＳ１０）。また、ユーザーインターフェース３は、入力される画像取得条件を画像取得部５、及び画像処理部１に出力する。
【0035】
画像処理部１は、ユーザーインターフェース３から画像取得条件が入力されることで起動する（ステップＳ３０）。そして、画像処理部１が起動することで、ＣＰＵ１０は、メモリー２０の画像処理プログラム保持部２７に保持される画像処理プログラムを実行する。換言すれば、画像処理プログラム保持部２７に保持される画像処理プログラムは、図３に示す画像処理部１の処理をＣＰＵ１０に実行させるプログラムである。
【0036】
具体的には、ユーザーインターフェース３が出力する画像取得条件は、画像処理部１の入出力管理部１１に入力される。すなわち、入出力管理部１１は、ユーザーインターフェース３が出力する画像取得条件を取得する。そして、入出力管理部１１は、取得した画像取得条件に含まれるフィルム種別、取得解像度、出力解像度、及び輪郭強調のそれぞれの設定値に応じた超解像学習モデルを選択し（ステップＳ３１）、選択した超解像学習モデルをメモリー２０の超解像学習モデル保持部２４から取得する。
【0037】
すなわち、入出力管理部１１は、写真フィルムがネガフィルムであるかポジフィルムであるかの情報であって、写真フィルムに撮影された画像が、ネガフィルムで撮影された画像であるのか、ポジフィルムで撮影された画像であるのかの情報や、画像取得部５が、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉの解像度で、写真フィルムに撮影された画像から稼働情報を取得しているのか、主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉの解像度で、写真フィルムに撮影された画像から稼働情報を取得しているのかの情報等を取得する。
【0038】
そして、入出力管理部１１は、例えば、取得した画像取得条件に含まれるフィルム種別がネガフィルムであって、取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉ、出力解像度が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉの場合、当該条件に合致する超解像学習モデルを超解像学習モデル保持部２４から取得し、また、取得した画像取得条件に含まれるフィルム種別がポジフィルムであって、取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉ、出力解像度が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉの場合、当該条件に合致する超解像学習モデルを超解像学習モデル保持部２４から取得する。すなわち、超解像学習モデル保持部２４には、フィルム種別、取得解像度、出力解像度、及び輪郭強調のそれぞれの選択肢の組み合わせに対応する複数の超解像学習モデルが保持されている。
【0039】
また、入出力管理部１１は、取得した画像取得条件に含まれる取得画像の種類に応じて、写真フィルムに撮影された画像の空間周波数を推測する。そして、入出力管理部１１は、推測される空間周波数に応じた基準画像に基づいて算出された超解像パラメーターを選択し（ステップＳ３２）、メモリー２０の超解像パラメーター保持部２５から取得する。その後、入出力管理部１１が取得した超解像学習モデル、及び超解像パラメーターは、超解像学習モデル管理部１４において保持され、画像処理部１は、待機する。
【0040】
すなわち、入出力管理部１１は、ステップＳ３１，Ｓ３２において、画像取得条件に含まれるフィルム種別、取得解像度、出力解像度、輪郭強調、及び取得画像の種類を取得するとともに、フィルム種別、取得解像度、出力解像度、輪郭強調、及び取得画像の種類に応じた超解像学習モデル、及び超解像パラメーターを取得する。なお、ステップＳ３１とステップＳ３２との順序はこれに限るものではない。
【0041】
画像取得部５は、画像取得条件が入力されることで起動する（ステップＳ２０）。また、ユーザーインターフェース３が出力する画像取得条件は、画像取得部５のセンサー制御部５１に入力される。センサー制御部５１は、入力される画像取得条件に含まれる取得解像度の選択値に応じて、主走査方向においてセンサーユニット５４が取得する画像情報の解像度、及び副走査方向においてセンサーユニット５４が取得する画像情報の解像度を設定する。
【0042】
具体的には、センサー制御部５１は、画像取得条件に含まれる取得解像度の選択に応じて、主走査方向に並設された複数のセンサー素子の有効／無効を切り替える。これにより、センサーユニット５４が主走査方向において取得する画像情報の解像度が制御される。
【0043】
また、センサー制御部５１は、画像取得条件に含まれる取得解像度の選択に応じて、副走査方向におけるセンサーユニット５４の走査速度を設定する（ステップＳ２１）。センサーユニット５４が、写真フィルムに撮影された画像に対応する画像情報を一定周期で取得する場合に、センサーユニット５４の副走査方向における走査速度が遅いと、センサーユニット５４は、副走査方向において、高密度に画像情報を取得する。一方で、センサーユニット５４が、写真フィルムに撮影された画像に対応する画像情報を一定周期で取得する場合に、センサーユニット５４の副走査方向における走査速度が速いと、センサーユニット５４は、副走査方向において、低密度に画像情報を取得する。したがって、センサーユニット５４の走査速度が速い場合、センサーユニット５４は、写真フィルムに撮影された画像に対応する画像情報を高解像度で取得し、センサーユニット５４の走査速度が遅い場合、センサーユニット５４は、写真フィルムに撮影された画像に対応する画像情報を低解像度で取得する。すなわち、センサー制御部５１は、センサーユニット５４の副走査方向における走査速度を制御することで、センサーユニット５４が副走査方向において取得する画像情報の解像度を制御する。
【0044】
以上のように、本実施形態の画像処理システムＳＣでは、使用者の操作によって、画像取得条件の内の取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉに設定された場合、センサー制御部５１は、センサーユニット５４が副走査方向に沿って２４００ｄｐｉの解像度で取得するように、センサーユニット５４の走査速度を制御し、また、使用者の操作によって、画像取得条件の内の取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉに設定された場合、センサー制御部５１は、センサーユニット５４が副走査方向に沿って１２００ｄｐｉの解像度で取得するように、センサーユニット５４の走査速度を制御する。すなわち、センサー制御部５１は、センサーユニット５４が主走査方向に沿って１２００ｄｐｉの解像度で取得し、副走査方向に沿って２４００ｄｐｉの解像度で取得するように、センサーユニット５４を制御する高解像度取得モードと、センサーユニット５４が主走査方向に沿って１２００ｄｐｉの解像度で取得し、副走査方向に沿って１２００ｄｐｉの解像度で取得するように、センサーユニット５４の走査速度を制御する低解像度取得モードと、に制御する(9661_CL1,CL2)。
【0045】
換言すれば、センサーユニット５４は、高解像度取得モードに制御されることで、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉで写真フィルムに撮影された画像に対応する画像情報を取得し、低解像度取得モードに制御されることで、主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉで写真フィルムに撮影された画像に対応する画像情報を取得する。すなわち、画像情報は、高解像度取得モードに制御されるセンサーユニット５４が、写真フィルムに撮影された画像を、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉで取得し、低解像度取得モードに制御されるセンサーユニット５４が、写真フィルムに撮影された画像を、主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉで取得する。
【0046】
このとき、センサー制御部５１が、センサーユニット５４を高解像度取得モードで制御するのか、低解像度取得モードで制御するのかは、使用者による操作であって、具体的には、取得解像度の選択によって切り替えられる。換言すれば、ユーザーインターフェース３が出力する画像取得条件に含まれる取得解像度には、写真フィルムに撮影された画像に対応する画像情報を取得するセンサーユニット５４が、高解像度取得モードで制御されているか否かの情報、及び低解像度取得モードで制御されているか否かの情報が含まれている。
【0047】
その後、画像取得部５は、取得解像度の選択値に基づいて設定された主走査方向における解像度と、取得解像度の選択値に基づいて設定された副走査方向における走査速度とで、写真フィルムに撮影された画像に対応する画像情報の取得を開始する（ステップＳ２２）。
【0048】
画像取得部５による写真フィルムに撮影された画像に対応する画像情報の取得が開始されると、センサーユニット５４は、副走査方向に沿って所定の走査速度で移動しながら、一定周期で、写真フィルムに撮影された画像に対応する画像情報を取得する。そして、センサーユニット５４が取得した画像情報は、データバッファー５３に逐次保持される。すなわち、画像取得部５は、写真フィルムに撮影された画像に対応する画像情報を取得し保持する（ステップＳ２３）。その後、センサー制御部５１は、センサーユニット５４の走査位置に基づいて、センサーユニット５４が、写真フィルムの副走査方向における所定幅の画像情報を取得したか否かを判定する（ステップＳ２４）。
【0049】
センサー制御部５１が、センサーユニット５４は、写真フィルムの副走査方向における所定幅の画像情報を取得していないと判定した場合（ステップＳ２４のＮ）、画像取得部５は、写真フィルムに撮影された画像に対応する画像情報を再度取得するとともに保持する（ステップＳ２３）。すなわち、画像取得部５は、写真フィルムの副走査方向における所定幅の画像情報を逐次取得し、取得した画像情報を、データバッファー５３に保持する。一方で、センサー制御部５１が、センサーユニット５４は、写真フィルムの副走査方向における所定幅の画像情報を取得したと判定した場合（ステップＳ２４のＹ）、センサー制御部５１は、データバッファー５３に保持される、写真フィルムの副走査方向における所定幅の画像情報を読み出し、画像データとして画像処理部１に出力する。すなわち、画像取得部５は、保持する画像情報であって、写真フィルムの副走査方向における所定幅の画像情報を含む画像データを出力する（ステップＳ２５）。
【0050】
その後、センサー制御部５１は、写真フィルムの全領域の画像情報の取得が完了したか否かを判定する（ステップＳ２６）。センサー制御部５１が、写真フィルムの全領域の画像情報の取得が完了していないと判定した場合（ステップＳ２６のＮ）、画像取得部５は、写真フィルムに撮影された画像に対応する画像情報を再度取得するとともに保持する（ステップＳ２３）。すなわち、画像取得部５は、写真フィルムを所定幅の複数の領域に分割し、分割した領域毎に写真フィルムに撮影された画像に対応する画像情報を取得する。そして、画像取得部５は、分割した領域毎に取得した画像情報を含む画像データを生成し、生成した画像データを画像処理部１に出力する。
【0051】
一方で、センサー制御部５１が、写真フィルムの全領域の画像情報の取得が完了したと判定した場合（ステップＳ２６のＹ）、センサー制御部５１は、写真フィルムの全領域の画像情報の取得が完了したことを示す取得完了通知を生成し、画像処理部１に出力する（ステップＳ２７）。そして、画像取得部５は、取得完了通知を画像処理部１に出力した後、画像情報の取得を終了（ステップＳ２９）し、動作を停止する（ステップＳ２９）。
【0052】
画像処理部１は、入出力管理部１１が、超解像学習モデル保持部２４から画像取得条件に応じた超解像学習モデルを取得し、超解像パラメーター保持部２５から画像取得条件に応じた超解像パラメーターを取得した後の待機期間中において、画像取得部５から、写真フィルムの副走査方向における所定幅の画像に対応する画像情報を含む画像データが入力されると、動作を開始する。そして、入出力管理部１１は、画像取得部５から入力される写真フィルムの副走査方向における所定幅の画像に対応する画像データを、分割画像データとして取得する（ステップＳ３３）。
【0053】
超解像処理部１５は、超解像学習モデル管理部１４が保持する超解像学習モデルと、超解像処理部１５が取得した超解像パラメーターと、を用いて、入出力管理部１１が取得した分割画像データの解像度を増加させる超解像処理を実行する。すなわち、超解像処理部１５は、画像取得条件に基づいて選択した超解像学習モデル、及び超解像パラメーターを用いて、取得した分割画像データに超解像処理を実行する（ステップＳ３４）。これにより、超解像処理部１５は、取得した分割画像データの解像度を増加させた分割超解像データを生産する。すなわち、超解像処理部１５は、写真フィルムの副走査方向における所定幅の画像データの解像度であって、取得した分割画像データの解像度を増幅させた分割超解像データを生産する。そして、超解像処理部１５が生産した分割超解像データは、超解像結果保持部２６に保持される。換言すれば、超解像結果保持部２６は、超解像処理部１５が生産した分割超解像データを保持する（ステップＳ３５）。
【0054】
その後、入出力管理部１１は、画像取得部５から取得完了通知が入力されたか否かを判定する（ステップＳ３６）。そして、入出力管理部１１が取得完了通知は入力されていないと判定した場合（ステップＳ３６のＮ）、画像処理部１は、写真フィルムの副走査方向における異なる所定幅の画像情報を含む画像データが入力されるまで待機し、その後、画像取得部５から写真フィルムの副走査方向における異なる所定幅の画像情報を含む画像データが入力されることで、画像処理部１は、動作を開始する。
【0055】
そして、入出力管理部１１は、画像取得部５から入力される写真フィルムの副走査方向における異なる位置から所定幅の画像に対応する画像データを、分割画像データとして取得し（ステップＳ３３）、超解像処理部１５は、画像取得条件に基づいて選択した超解像学習モデル、及び超解像パラメーターを用いて、取得した分割画像データに超解像処理を実行する（ステップＳ３４）。これにより、画像処理部１は、写真フィルムの副走査方向における異なる所定幅の画像に対応する画像情報を含む画像データの解像度を増加した分割超解像データを生産する。そして、超解像結果保持部２６は、写真フィルムの副走査方向における異なる所定幅の画像に対応する画像情報を含む画像データに基づいて、超解像処理部１５が生産した分割超解像データを保持する（ステップＳ３５）。すなわち、超解像処理部１５は、副走査方向における所定幅毎に画像取得部５から入力される画像データに対して、逐次超解像処理を実行し、超解像結果保持部２６には、超解像処理部１５が生産した所定幅毎の画像データのそれぞれに対応する分割超解像データを逐次保持される。
【0056】
一方で、画像処理部１に画像取得部５から取得完了通知が入力された場合（ステップＳ３６のＮ）、画像処理部１は、写真フィルムに撮影された画像に対応する全ての画像情報の取得が完了したと判断する。このとき、超解像結果保持部２６には、写真フィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加したデータとして、写真フィルムに撮影された画像を所定幅毎に分割し、分割された画像のそれぞれに対応する分割超解像データが保持されている。超解像処理部１５は、超解像結果保持部２６に保持される分割された画像のそれぞれに対応する分割超解像データを読み出すとともに、結合し、結合したデータを、写真フィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加した超解像データとして、ユーザーインターフェース３に出力する。すなわち、超解像処理部１５は、分割超解像データを結合し、超解像データとして出力する（ステップＳ３７）。その後、画像処理部１は、動作を停止する（ステップＳ３８）。
【0057】
すなわち、本実施形態の画像処理システムＳＣにおいて、超解像処理部１５は、画像取得部５から入力される写真フィルムに撮影された画像の一部の画像情報を含む画像データを分割画像データとして取得し、取得した分割画像データの解像度を増加させた分割超解像データを生産し、画像取得部５から入力される写真フィルムに撮影された画像の異なる一部の画像情報を含む画像データを分割画像データとして取得し、取得した分割画像データの解像度を増加させた分割超解像データを生産する。すなわち、画像取得部５は、入力される写真フィルムに撮影された画像の領域を複数の領域に分割し、分割した複数の領域のそれぞれから画像データを取得する。そして、画像取得部５は、複数の領域のそれぞれから取得した複数の画像データを画像処理部１に出力する。
【0058】
そして、画像処理部１の超解像処理部１５は、画像取得部５が出力する複数の画像データのそれぞれに対して、超解像処理を実行することで、複数の分割超解像データを生産する。そして、超解像処理部１５は、生産した複数の分割超解像データを結合することで、写真フィルムに撮影された画像に対応する超解像データを生産する。
【0059】
換言すれば、画像取得部５は、写真フィルムに撮影された画像を分割し、分割した領域のそれぞれの画像に対応する複数の画像データを出力し、画像処理部１は、画像取得部５が出力する複数の画像データのそれぞれに対して、超解像処理を実行することで、複数の分割超解像データを生産する。そして、画像処理部１は、生産した複数の分割超解像データを結合することで、写真フィルムに撮影された画像に対応する超解像データを生産する。
【0060】
本実施形態の画像処理システムＳＣでは、係る構成を適用することで、画像取得部５における写真フィルムに撮影された画像に対応する画像情報の取得と、画像処理部１における超解像処理と、を並行して実行することができる。これにより、画像処理システムＳＣが、写真フィルムに撮影された画像に対応する超解像データを生産するのに要する時間を短縮することができる。
【0061】
また、この際、画像処理部１は、取得した写真フィルムに撮影された画像とは異なる基準画像であって、使用者が選択する「取得画像の種類」により選択された基準画像に基づく超解像パラメーターを用いて、複数の分割画像データのそれぞれに対して、超解像処理を実行し、複数の分割超解像データを生産する。すなわち、画像処理部１は、共通の超解像パラメーターを用いて、複数の分割画像データに対して超解像処理を実行する。これにより、画像処理部１が生産する複数の分割超解像データを結合した際に、結合部分の画像に歪が生じるおそれが低減し、出力する超解像データ、及び超解像データに応じた超解像画像の画像品質が向上する。
【0062】
そして、画像処理部１が出力する超解像データは、ユーザーインターフェース３の画像出力部３２に入力される。画像出力部３２は、入力される超解像データ、又は、当該超解像データに基づいて生産された超解像画像を、画像処理システムＳＣから出力する（ステップＳ１１）。これにより、画像処理システムＳＣは、写真フィルムに撮影された画像の解像度を増加させた超解像データ、及び超解像画像の少なくとも一方を出力する。
【0063】
以上のように、本実施形態の画像処理システムＳＣは、画像処理部１、ユーザーインターフェース３、及び画像取得部５を備える。そして、画像取得部５が有するセンサーユニット５４は、写真フィルムに撮影された画像に対応する画像情報を取得し、画像取得部５が有するセンサー制御部５１は、センサーユニット５４における副走査方向における解像度を制御する。
【0064】
また、画像処理部１が有する入出力管理部１１は、写真フィルムに撮影された画像に対応する画像データと、写真フィルムからの画像の取得条件を規定する画像取得条件と、を取得する。このとき、入出力管理部１１が取得する画像取得条件には、写真フィルムがネガフィルであるのかポジフィルムであるのかを示すフィルム種別、写真フィルムに撮影された画像を取得する解像度を示す取得解像度、出力する超解像データの解像度を示す出力解像度、及び、出力する超解像データの輪郭の強調の程度を示す輪郭強調が含まれている。すなわち、入出力管理部１１は、写真フィルムに撮影された画像に対応する画像情報を含む画像データと、写真フィルムに撮影された画像に対応する画像情報を含む画像データが、ネガフィルムに撮影された画像に応じたデータであるのか、ポジフィルムに撮影された画像に応じたデータであるのかを示す情報と、写真フィルムに撮影された画像に対応する画像情報を取得する解像度であって、画像取得部５から画像処理部１に入力される画像データの解像度と、画像処理部１が出力する超解像データの解像度と、を取得する。
【0065】
そして、超解像処理部１５は、写真フィルムに撮影された画像に対応する画像情報を含む画像データに、超解像学習モデルを用いることで、写真フィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加した超解像データを生産する。
【0066】
具体的には、超解像学習モデル保持部２４には、超解像処理部１５が画像データの解像度を増加させた超解像データを生産するために用いる超解像学習モデルであって、画像取得条件に含まれるフィルム種別、取得解像度、出力解像度、及び輪郭強調のそれぞれの設定値に応じた複数の超解像学習モデルが保持されている。入出力管理部１１は、取得した画像取得条件に含まれるフィルム種別、取得解像度、出力解像度、及び輪郭強調のそれぞれの設定値に応じて、超解像処理部１５が超解像データを生産するために用いる超解像学習モデルを選択する。超解像学習モデル管理部１４は、入出力管理部１１が選択した超解像学習モデルを、超解像学習モデル保持部２４から取得する。そして、超解像処理部１５は、超解像学習モデル管理部１４が取得した超解像学習モデルを用いて、画像データの解像度を増加させた超解像データを生産する。
【0067】
具体的には、入出力管理部１１が、取得した画像取得条件に含まれるフィルム種別に応じて、写真フィルムに撮影された画像に対応する画像データが、ネガフィルムに撮影された画像に応じたデータであると判断した場合、超解像学習モデル管理部１４は、超解像学習モデル保持部２４からネガフィルムに対応する超解像学習モデルを取得する。そして、超解像処理部１５は、超解像学習モデル管理部１４が取得したネガフィルムに対応する超解像学習モデルを用いて、ネガフィルムに撮影された画像に対応する画像データの解像度を増加させた超解像データを生産する。
【0068】
また、入出力管理部１１が、取得した画像取得条件に含まれるフィルム種別に応じて、写真フィルムに撮影された画像に対応する画像データが、ポジフィルムに撮影された画像に応じたデータであると判断した場合、超解像学習モデル管理部１４は、超解像学習モデル保持部２４からポジフィルムに対応する超解像学習モデルを取得する。そして、超解像処理部１５は、超解像学習モデル管理部１４が取得したポジフィルムに対応する超解像学習モデルを用いて、ポジフィルムに撮影された画像に対応する画像データの解像度を増加させた超解像データを生産する。
【0069】
すなわち、超解像処理部１５が超解像データを生産するステップＳ３４であって、画像処理プログラムがＣＰＵ１０に超解像データを生産させるステップＳ３４において、超解像処理部１５は、ネガフィルムに撮影された画像に応じた画像情報を含む画像データに対応する超解像学習モデルを用いて、ネガフィルムに撮影された画像に応じた画像情報を含む画像データの解像度を増加させた超解像データを生産し、ポジフィルムに撮影された画像に応じた画像情報を含む画像データに対応する超解像学習モデルを用いて、ポジフィルムに撮影された画像に応じた画像情報を含む画像データの解像度を増加させた超解像データを生産する。
【0070】
また、入出力管理部１１が、取得した画像取得条件に含まれる取得解像度、及び出力解像度に応じて、取得解像度の選択値が主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉであって、出力解像度の選択値が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉであると判断した場合、超解像学習モデル管理部１４は、超解像学習モデル保持部２４から主走査方向の解像度を２倍に増加させ、副走査方向の解像度は増加させない超解像学習モデルを取得する。そして、超解像処理部１５は、超解像学習モデル管理部１４が取得した主走査方向の解像度を２倍に増加させ、副走査方向の解像度は増加させない超解像学習モデルを用いて、写真フィルムに撮影された画像に対応する画像データの解像度を増加させた超解像データを生産する。
【0071】
換言すれば、センサーユニット５４が、写真フィルムに撮影された画像に対応する画像データを、主走査方向に１２００ｄｐｉで取得し、副走査方向に２４００ｄｐｉで取得するように制御される動作モードにおいて、超解像処理部１５は、主走査方向の解像度を２倍に増加させ、副走査方向の解像度は増加させない超解像学習モデルを用いて、センサーユニット５４が取得した画像データの主走査方向の解像度を２４００ｄｐｉに増加させた超解像データを生産する。
【0072】
また、入出力管理部１１が、取得した画像取得条件に含まれる取得解像度、及び出力解像度に応じて、取得解像度の選択値が主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉであって、出力解像度の選択値が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉであると判断した場合、超解像学習モデル管理部１４は、超解像学習モデル保持部２４から主走査方向の解像度を２倍に増加させ、副走査方向の解像度を２倍に増加させるための超解像学習モデルを取得する。そして、超解像処理部１５は、超解像学習モデル管理部１４が取得した主走査方向の解像度を２倍に増加させ、副走査方向の解像度を２倍に増加させる超解像学習モデルを用いて、写真フィルムに撮影された画像に対応する画像データの解像度を増加させた超解像データを生産する。
【0073】
換言すれば、センサーユニット５４が、写真フィルムに撮影された画像に対応する画像データを、主走査方向に１２００ｄｐｉで取得し、副走査方向に１２００ｄｐｉで取得するように制御される動作モードにおいて、超解像処理部１５は、主走査方向の解像度を２倍に増加させ、副走査方向の解像度を２倍には増加さる超解像学習モデルを用いて、センサーユニット５４が取得した写真フィルムに撮影された画像に対応する画像データの主走査方向に解像度を２４００ｄｐｉに増加させ、副走査方向に解像度を２４００ｄｐｉに増加させた超解像データを生産する。
【0074】
すなわち、超解像処理部１５が超解像データを生産するステップＳ３４であって、画像処理プログラムがＣＰＵ１０に超解像データを生産させるステップＳ３４において、超解像処理部１５は、センサーユニット５４が高解像度取得モードに制御されていることに応じて、高解像度取得モードに対応した超解像学習モデルであって、主走査方向の解像度を副走査方向の解像度に増加させる超解像学習モデルを用いて、画像データの主走査方向の解像度を２４００ｄｐｉに増加させた超解像データを生産する。
【0075】
３．学習データの生産
以上のように、本実施形態の画像処理システムＳＣは、画像を取得する写真フィルムの種類や、当該写真フィルムに撮影された画像に応じた画像情報の取得解像度、画像情報を含む画像データに応じた超解像データの出力解像度等、使用者が入力する画像取得条件に応じて、複数の超解像学習モデルから超解像処理に使用する超解像学習モデルを選択する。そのため、画像処理システムＳＣの超解像学習モデル保持部２４には、画像を取得する写真フィルムの種類や、当該写真フィルムに撮影された画像に応じた画像情報の取得解像度、画像情報を含む画像データに応じた超解像データの出力解像度等、使用者が入力する画像取得条件に応じた複数の超解像学習モデルが保持されている。以下では、本実施形態の画像処理システムＳＣで保持される超解像学習モデルの詳細、及び超解像学習モデルの生産方法の一例について説明する。
以上のように、本実施形態の画像処理システムＳＣは、画像を取得する写真フィルムの種類や、当該写真フィルムに撮影された画像に応じた画像情報の取得解像度、画像情報を含む画像データに応じた超解像データの出力解像度等、使用者が入力する画像取得条件に応じて、複数の超解像学習モデルから超解像処理に使用する超解像学習モデルを選択する。そのため、画像処理システムＳＣの超解像学習モデル保持部２４には、画像を取得する写真フィルムの種類や、当該写真フィルムに撮影された画像に応じた画像情報の取得解像度、画像情報を含む画像データに応じた超解像データの出力解像度等、使用者が入力する画像取得条件に応じた複数の超解像学習モデルが保持されている。以下では、本実施形態の画像処理システムＳＣで保持される超解像学習モデルの詳細、及び超解像学習モデルの生産方法の一例について説明する。
【0076】
本実施形態で用いられる超解像学習モデルは、１つの基画像に基づいて取得された高解像画像データＨＲと低解像画像データＬＲとの画像ペアが複数組記憶された学習データセットを教師データとして、機械学習を実行することで生産される。このとき、学習データセットに記憶されている１つの基画像に対応する高解像画像データＨＲと低解像画像データＬＲとの解像度の比率が、当該学習データセットを用いて生産された超解像学習モデルを用いて超解像処理が実行された際の解像度の増加率に相当する。
【0077】
図４は、画像データの主走査方向の解像度を増加させ、画像データの副走査方向の解像度は増加させない場合に用いられる超解像学習モデルを生産するための学習データセットの一例を示す図である。ここで、図４では、図示する横方向が主走査方向に相当し、図示する縦方向が副走査方向に相当するとして説明を行う。また、図４に例示する学習データセットは、主走査方向の解像度を２倍に増加し、副走査方向の解像度は増加させない超解像処理に用いられる超解像学習モデルの生産に用いられる学習データセットであって、例えば、使用者が、取得解像度として主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉの解像度を選択し、出力解像度として主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉの解像度を選択した場合に、入出力管理部１１が超解像学習モデル保持部２４から取得する超解像学習モデルの生産に用いられる学習データセットである。
【0078】
図４に示すように、画像データの主走査方向の解像度を増加させ、画像データの副走査方向の解像度は増加させない場合に用いられる超解像学習モデルを生産するための学習データセットには、高解像画像データＨＲと、主走査方向の解像度が高解像画像データＨＲの主走査方向の解像度と同じで、副走査方向の解像度が高解像画像データＨＲの副走査方向の解像度の半分となる低解像画像データＬＲとの組が複数含まれている。
【0079】
具体的には、低解像画像データＬＲは、主走査方向の解像度と副走査方向の解像との比率が、画像取得条件で設定される主走査方向の解像と副走査方向の解像と比率と同じになるように、基画像を取得することで生成される。また、高解像画像データＨＲは、主走査方向の解像度、及び副走査方向の解像度の双方が、低解像画像データＬＲの副走査方向の解像度となるように、基画像を取得すること生成される。ここで、低解像画像データＬＲ、及び高解像画像データＨＲは、基画像を上述した低解像画像データＬＲの解像度、及び高解像画像データＨＲの解像度で取得することで生成されてもよく、また、基画像を任意の解像度の基画像データとして取得した後、所定の画像処理を施すことで生成されてもよい。
【0080】
学習データセットには、複数の基画像に対応して生成された高解像画像データＨＲと低解像画像データＬＲとの画像ペアが複数組記憶されている。そして、係る学習データセットを教師データとして機械学習を行うことで、主走査方向の解像度を２倍に増加し、副走査方向の解像度は増加させない超解像処理に用いられる超解像学習モデルが生産される。
【0081】
すなわち、使用者による取得解像度の設定に基づいて、写真フィルムに撮影された画像から、主走査方向に１２００ｄｐｉの解像度で取得し、副走査方向に２４００ｄｐｉの解像度で取得された画像情報に対応する画像データから、使用者による取得解像度の設定に基づいて、主走査方向の解像度を２４００ｄｐｉに増加させた超解像データを生産する際に用いられる超解像学習モデルであって、写真フィルムに撮影された画像に対応する画像情報を含む画像データの主走査方向の解像度を２倍に増加し、副走査方向の解像度は増加させない超解像処理に用いられる超解像学習モデルは、主走査方向の解像度と副走査方向の解像度との比率が、取得解像度によって選択された主走査方向の解像度である１２００ｄｐｉと、取得解像度によって選択された副走査方向の解像度である２４００ｄｐｉと、の比率であって、副走査方向の解像度が主走査方向の解像度の２倍となる低解像画像データＬＲと、主走査方向の解像度と副走査方向の解像度とが低解像画像データＬＲの副走査方向の解像度と同じである高解像画像データＨＲと、を教師データとして機械学習を行うことで生産される。
【0082】
したがって、画像取得条件に含まれる取得解像度、及び出力解像度の設定に基づいて、主走査方向に１２００ｄｐｉの解像度、副走査方向に２４００ｄｐｉの解像度で取得された写真フィルムに撮影された画像に対応する画像情報を含む画像データから、主走査方向の解像度を２４００ｄｐｉに増加させた超解像データを生産する場合、超解像処理部１５は、主走査方向の解像度と副走査方向の解像度との比率が、取得解像度によって設定された主走査方向の解像度である１２００ｄｐｉと副走査方向の解像度である２４００ｄｐｉとの比率となる低解像画像データＬＲと、主走査方向の解像度、及び副走査方向の解像度が、低解像画像データＬＲの副走査方向の解像度と同じである高解像画像データＨＲと、を教師データとして機械学習が行われた学習モデルを超解像学習モデルとして用いることで、超解像データを生産する。
【0083】
すなわち、写真フィルムに撮影された画像に対応する画像情報を含む画像データの主走査方向の解像度をｎ倍に増加し、副走査方向の解像度は増加させない超解像データを生産する超解像処理に用いられる超解像学習モデルは、副走査方向の解像度が主走査方向の解像度のｎ倍となる低解像画像データＬＲと、主走査方向の解像度と副走査方向の解像度とが低解像画像データＬＲの副走査方向の解像度と同じである高解像画像データＨＲと、を教師データとして機械学習を行うことで生産される。
【0084】
図５は、画像データの主走査方向の解像度、及び副走査方向の解像度の双方を増加させる場合に用いられる超解像学習モデルを生産するための学習データセットの一例を示す図である。ここで、図５では、図示する横方向が主走査方向に相当し、図示する縦方向が副走査方向に相当するとして説明を行う。また、図５に例示する学習データセットは、主走査方向の解像度を２倍に増加し、副走査方向の解像度を２倍に増加させる超解像処理に用いられる超解像学習モデルの生産に用いられる学習データセットであって、例えば、使用者が、取得解像度として主走査方向に１２００ｄｐｉ、副走査方向に１２００ｄｐｉの解像度を選択し、出力解像度として主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉの解像度を選択した場合に、入出力管理部１１が超解像学習モデル保持部２４から取得する超解像学習モデルの生産に用いられる学習データセットである。
【0085】
図５に示すように、画像データの主走査方向の解像度を増加させ、画像データの副走査方向の解像度も増加させる場合に用いられる超解像学習モデルを生産するための学習データセットには、高解像画像データＨＲと、主走査方向の解像度が高解像画像データＨＲの主走査方向の解像度の半分となり、副走査方向の解像度が高解像画像データＨＲの副走査方向の解像度の半分となる低解像画像データＬＲとの組が複数含まれている。
【0086】
具体的には、低解像画像データＬＲは、主走査方向の解像度と副走査方向の解像との比率が、画像取得条件で設定される主走査方向の解像と副走査方向の解像と比率と同じになるように、基画像を取得することで生成される。また、高解像画像データＨＲは、取得解像度として主走査方向に設定された解像度と、出力解像度として主走査方向に設定された解像度との比率に応じて、低解像画像データＬＲの主走査方向の解像度を増加させた解像度を主走査方向の解像度とし、取得解像度として副走査方向に設定された解像度と、出力解像度として副走査方向に設定された解像度との比率に応じて、低解像画像データＬＲの副走査方向の解像度を増加させた解像度を副走査方向の解像度となるように、基画像を取得すること生成される。ここで、低解像画像データＬＲ、及び高解像画像データＨＲは、基画像を上述した低解像画像データＬＲの解像度、及び高解像画像データＨＲの解像度で取得することで生成されてもよく、また、基画像を任意の解像度の基画像データとして取得した後、所定の画像処理を施すことで生成されてもよい。
【0087】
学習データセットには、複数の基画像に対応して生成された高解像画像データＨＲと低解像画像データＬＲとの画像ペアが複数組記憶されている。そして、係る学習データセットを教師データとして機械学習を行うことで、主走査方向の解像度を２倍に増加し、副走査方向の解像度を２倍に増加する超解像処理に用いられる超解像学習モデルが生産される。
【0088】
すなわち、使用者による取得解像度の設定に基づいて、写真フィルムに撮影された画像から、主走査方向に１２００ｄｐｉの解像度で取得し、副走査方向に１２００ｄｐｉの解像度で取得された画像情報に対応する画像データから、使用者による取得解像度の設定に基づいて、主走査方向の解像度を２４００ｄｐｉに増加させ、副走査方向の解像度を２４００ｄｐｉに増加させた超解像データを生産する際に用いられる超解像学習モデルであって、写真フィルムに撮影された画像に対応する画像情報を含む画像データの主走査方向の解像度を２倍に増加し、副走査方向の解像度を２倍に増加させる超解像処理に用いられる超解像学習モデルは、主走査方向の解像度と副走査方向の解像度との比率が、取得解像度によって選択された主走査方向の解像度である１２００ｄｐｉと、取得解像度によって選択された副走査方向の解像度である１２００ｄｐｉと、の比率であって、副走査方向の解像度と主走査方向の解像度とが同じ低解像画像データＬＲと、取得解像度として主走査方向に設定された解像度と、出力解像度として主走査方向に設定された解像度との比率に応じて、低解像画像データＬＲの主走査方向の解像度を増加させた解像度を主走査方向の解像度であって、取得解像度として副走査方向に設定された解像度と、出力解像度として副走査方向に設定された解像度との比率に応じて、低解像画像データＬＲの主走査方向の解像度を増加させた解像度を主走査方向の解像度である高解像画像データＨＲを教師データとして機械学習を行うことで生産される。
【0089】
したがって、画像取得条件に含まれる取得解像度、及び出力解像度の設定に基づいて、主走査方向に１２００ｄｐｉの解像度、副走査方向に１２００ｄｐｉの解像度で取得された写真フィルムに撮影された画像に対応する画像情報を含む画像データから、主走査方向の解像度を２４００ｄｐｉに増加させ、副走査方向の解像度を２４００ｄｐｉに増加させた超解像データを生産する場合、超解像処理部１５は、主走査方向の解像度と副走査方向の解像度との比率が、取得解像度によって設定された主走査方向の解像度である１２００ｄｐｉと副走査方向の解像度である１２００ｄｐｉとの比率となる低解像画像データＬＲと、取得解像度として主走査方向に設定された解像度と、出力解像度として主走査方向に設定された解像度との比率に応じて、低解像画像データＬＲの主走査方向の解像度を増加させた解像度を主走査方向の解像度であって、取得解像度として副走査方向に設定された解像度と、出力解像度として副走査方向に設定された解像度との比率に応じて、低解像画像データＬＲの主走査方向の解像度を増加させた解像度を主走査方向の解像度である高解像画像データＨＲと、を教師データとして機械学習が行われた学習モデルを超解像学習モデルとして用いることで、超解像データを生産する。
【0090】
すなわち、写真フィルムに撮影された画像に対応する画像情報を含む画像データの主走査方向の解像度をｎ倍に増加し、副走査方向の解像度をｍ倍に増加させる超解像データを生産する超解像処理に用いられる超解像学習モデルは、主走査方向の解像度と副走査方向の解像度との比率が、取得解像度によって設定された主走査方向の解像度と副走査方向の解像度との比率となる低解像画像データＬＲと、低解像画像データＬＲの主走査方向の解像度をｎ倍に増加させた解像度が主走査方向の解像度であって、低解像画像データＬＲの主走査方向の解像度をｍ倍に増加させた解像度が主走査方向の解像度である高解像画像データＨＲと、を教師データとして機械学習を行うことで生産される。
【0091】
さらに、本実施形態の画像処理システムＳＣにおいて、使用者は、画像取得条件として、画像情報を取得する画像が撮影された写真フィルムがネガフィルムであるのか、ポジフィルムであるのかを選択し、超解像処理部１５は、使用者によって選択された写真フィルムの種類に応じた超解像学習モデルを用いて超解像処理を実行する。そのため、超解像学習モデル保持部２４には、画像を取得する写真フィルムの種類であって、当該写真フィルムがポジフィルムである場合の超解像学習モデルと、当該写真フィルムがネガフィルムである場合の超解像学習モデルと、が保持されている。
【0092】
ここで、写真フィルムに撮影された画像がポジフィルムに撮影された画像であるのか、又は、ネガフィルムに撮影された画像であるのかによって、画像に重畳するノイズの特性が異なることを発明者は見出した。具体的には、ポジフィルムに撮影された画像には、当該画像の暗部に多くのノイズが重畳しているのに対して、ネガフィルムに撮影された画像には、当該画像の明部であって、特に青色成分の領域に多くのノイズが重畳していることを、発明者は見出した。
【0093】
そこで、本実施形態の画像処理システムＳＣでは、超解像学習モデル保持部２４が、上述した特徴の違いを加味して生産された、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに使用される超解像学習モデルと、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに使用される超解像学習モデルと、を保持し、超解像処理部１５は、使用者が画像取得条件として選択したフィルム種別に応じた超解像学習モデルを用いて、写真フィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行し、超解像データを生産する。これにより、生産される超解像データ、及び当該超解像データに基づいて生成された超解像画像の品質を向上させる。以下では、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルと、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルと、の生産方法について説明する。
【0094】
まず、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルの生産方法について説明する。図６は、ポジフィルムに撮影された画像に対応する画像情報を含む画像データと、超解像処理との関係を模式的に示す図である。図６では、横軸が画像の輪郭が明確であるか否かの程度を示し、縦軸が画像に重畳するノイズの程度を示している。そして、図６では、右側に位置するほど画像の輪郭が明確であることを意味し、上側に位置するほど画像に重畳するノイズが少ないことを意味する。すなわち、図６では、右上に位置するほど画像品質が高く、左下に位置するほど画像品質が低いことを意味する。
【0095】
ここで、以下の説明において、画像データ、及び超解像データに対して、輪郭が明確であるか否かの程度をシャープ感と称し、画像データ、及び超解像データに対して、重畳するノイズの程度をノイズ感と称する。そして、図６に示すような横軸にシャープ感、縦軸にノイズ感がプロットされる平面を、ｓ－ｎ平面と称する場合がある。また、以下の説明では、輪郭が明確である場合をシャープ感が優れ、輪郭が曖昧である場合をシャープ感が劣ると称し、重畳するノイズが少ない場合をノイズ感に優れ、重畳するノイズが多い場合をノイズ感に劣ると称する場合がある。
【0096】
図６に示すように、ポジフィルムに撮影された画像に対応する画像情報を含む画像データＩｐは、ｓ－ｎ平面において、領域Ｆｉｌｍ－ｐに多く分布する。超解像処理部１５は、この画像データＩｐに超解像学習モデルを適用することで、ポジフィルムに撮影された画像に対応する超解像データＳｐを生産する。このとき、画像データＩｐに基づいて生産される超解像データＳｐは、画像品質向上の観点から、ｓ－ｎ平面において、画像データＩｐよりも右上に位置することが好ましい。そのため、超解像学習モデルには、超解像データＳｐが画像データＩｐよりも、ｓ－ｎ平面において右上に位置するように、超解像処理を実行する学習モデルであること求められる。すなわち、超解像学習モデルは、画像データＩｐのシャープ感、及びノイズ感を、矢印Ａｐに沿って向上させる学習モデルである。
【0097】
このような画像データＩｐのシャープ感、及びノイズ感を矢印Ａｐに沿って向上させる超解像学習モデルは、１つの基画像から高解像画像データＨＲｐと低解像画像データＬＲｐとの画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、生産される。
【0098】
具体的には、高解像画像データＨＲｐは、上述した図４、及び図５に示す高解像画像データＨＲを用いることができる。また、低解像画像データＬＲｐは、上述した図４、及び図５に示す低解像画像データＬＲに対して、所定のノイズを付与し、ガウスぼかしを適用することで得られる。このとき、低解像画像データＬＲには、図６に示す平面上において、高解像画像データＨＲｐと低解像画像データＬＲｐとを結ぶ直線Ｒｐの傾きが、上述した矢印Ａｐの傾きと同程度となるようにノイズが付与され、ガウスぼかしが適用される。
【0099】
以上のような低解像画像データＬＲに対する所定のノイズの付与とガウスぼかしの適用は、上述した図４、及び図５に示す複数の基画像に対応する複数の低解像画像データＬＲのそれぞれに対して行われる。これにより、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルの生産に用いられる学習データセットが生成される。そして、高解像画像データＨＲｐと低解像画像データＬＲｐとの画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルが生産される。
【0100】
すなわち、ポジフィルムに対応する超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｐと、低解像画像データＬＲにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐと、を教師データとして機械学習が行われた学習モデルである。そして、超解像処理部１５は、写真フィルムがポジフィルムの場合、高解像画像データＨＲに相当する高解像画像データＨＲｐと、低解像画像データＬＲにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐと、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。これにより、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの超解像処理が実行された超解像データ、及び当該超解像データに基づく超解像画像の画像品質が向上する。
【0101】
さらに、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルの生産に用いられる学習データセットに含まれる低解像画像データＬＲに付与されるノイズは、画像データＩｐの暗部に重畳するノイズと同様の成分とすることが好ましい。これにより、ポジフィルムに撮影された画像に多く重畳する暗部のノイズの影響を低減することができる。
【0102】
すなわち、ポジフィルムに対応する超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｐと、低解像画像データＬＲに画像データＩｐの暗部に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐと、を教師データとして機械学習が行われた学習モデルを用いることができる。これにより、超解像処理部１５は、写真フィルムがポジフィルムの場合、高解像画像データＨＲに相当する高解像画像データＨＲｐと、低解像画像データＬＲに画像データＩｐの暗部に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐと、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。これにより、ポジフィルムに撮影された画像に多く重畳する暗部のノイズの影響を低減することができ、その結果、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの超解像処理が実行された超解像データ、及び当該超解像データに基づく超解像画像の画像品質がさらに向上する。
【0103】
また、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルの生産に用いられる学習データセットに含まれる高解像画像データＨＲｐは、上述した図４、及び図５に示す高解像画像データＨＲにバイラテラルフィルターを適用することで生成されてもよい。ここで、バイラテラルフィルターとは、ノイズを除去しながら画像の輪郭部分やエッジなどの保存を同時に行える非線形のフィルターである。高解像画像データＨＲにこのようなバイラテラルフィルターを適用することで、高解像画像データＨＲの画像に重畳するノイズの影響が低減され、高解像画像データＨＲの画像の輪郭が明確となった高解像画像データＨＲｐが生成される。
【0104】
すなわち、ポジフィルムに対応する超解像学習モデルは、高解像画像データＨＲにバイラテラルフィルターが適用された高解像画像データＨＲｐと、低解像画像データＬＲに画像データＩｐの暗部に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐと、を教師データとして機械学習が行われた学習モデルを用いることができる。これにより、超解像処理部１５は、写真フィルムがポジフィルムの場合、高解像画像データＨＲにバイラテラルフィルターが適用された高解像画像データＨＲｐと、低解像画像データＬＲに画像データＩｐの暗部に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐと、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。これにより、ポジフィルムに撮影された画像に重畳するノイズの影響をさらに低減することができ、その結果、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの超解像処理が実行された超解像データ、及び当該超解像データに基づく超解像画像の画像品質がさらに向上する。
【0105】
次に、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルの生産方法について説明する。図７は、ネガフィルムに撮影された画像に対応する画像情報を含む画像データと、超解像処理との関係を模式的に示す図である。図７では、横軸が画像の輪郭が明確であるか否かの程度を示し、縦軸が画像に重畳するノイズの程度を示している。そして、図７では、右側に位置するほど画像の輪郭が明確であることを意味し、上側に位置するほど画像に重畳するノイズが少ないことを意味する。すなわち、図７では、図６と同様に右上に位置するほど画像品質が高く、左下に位置するほど画像品質が低いことを意味する。
【0106】
図７に示すように、ネガフィルムに撮影された画像に対応する画像情報を含む画像データＩｎは、ｓ－ｎ平面において、領域Ｆｉｌｍ－ｐよりもノイズ感が劣る領域Ｆｉｌｍ－ｎに多く分布する。超解像処理部１５は、この画像データＩｎに超解像学習モデルを適用することで、ネガフィルムに撮影された画像に対応する超解像データＳｎを生産する。このとき、画像データＩｎに基づいて生産される超解像データＳｎは、画像品質向上の観点から、ｓ－ｎ平面において、画像データＩｎよりも左上に位置することが好ましい。そのため、超解像学習モデルには、超解像データＳｎが画像データＩｎよりも、ｓ－ｎ平面において左上に位置するように、超解像処理を実行する学習モデルであること求められる。すなわち、超解像学習モデルは、画像データＩｎのシャープ感、及びノイズ感を、矢印Ａｎに沿って向上させる学習モデルである。このとき、ネガフィルムに撮影された画像に対応する画像情報を含む画像データＩｎが多く分布する領域Ｆｉｌｍ－ｎが、ポジフィルムに撮影された画像に対応する画像情報を含む画像データＩｐが多く分布する領域Ｆｉｌｍ－ｐよりもノイズ感が劣る領域であるが故に、画像データＩｎのシャープ感、及びノイズ感を向上させる方向を示す矢印Ａｎの傾きは、画像データＩｐのシャープ感、及びノイズ感を向上させる方向を示す矢印Ａｐの傾きよりも急峻となる。
【0107】
このような画像データＩｎのシャープ感、及びノイズ感を矢印Ａｎに沿って向上させる超解像学習モデルは、１つの基画像から高解像画像データＨＲｎと低解像画像データＬＲｎとの画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、生産される。
【0108】
具体的には、高解像画像データＨＲｎは、上述した図４、及び図５に示す高解像画像データＨＲを用いることができる。また、低解像画像データＬＲｎは、上述した図４、及び図５に示す低解像画像データＬＲに対して、所定のノイズを付与し、ガウスぼかしを適用することで得られる。このとき、低解像画像データＬＲには、図７に示す平面上において、高解像画像データＨＲｎと低解像画像データＬＲｎとを結ぶ直線Ｒｎの傾きが、上述した矢印Ａｎの傾きと同程度となるようにノイズが付与され、ガウスぼかしが適用される。
【0109】
また、上述のとおり、画像データＩｎのシャープ感、及びノイズ感を向上させる方向を示す矢印Ａｎの傾きは、画像データＩｐのシャープ感、及びノイズ感を向上させる方向を示す矢印Ａｐの傾きよりも急峻となる。それ故に、低解像画像データＬＲｎを生成するために、上述した図４、及び図５に示す低解像画像データＬＲに対して付与されるノイズ、及びガウスぼかしの程度は、低解像画像データＬＲｐを生成するために、上述した図４、及び図５に示す低解像画像データＬＲに対して付与されるノイズ、及びガウスぼかしの程度よりも小さくなる。
【0110】
以上のような低解像画像データＬＲに対する所定のノイズの付与とガウスぼかしの適用は、上述した図４、及び図５に示す複数の基画像に対応する複数の低解像画像データＬＲのそれぞれに対して行われる。これにより、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルの生産に用いられる学習データセットが生成される。そして、高解像画像データＨＲｎと低解像画像データＬＲｎとの画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルが生産される。
【0111】
すなわち、ネガフィルムに対応する超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｎと、低解像画像データＬＲにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎと、を教師データとして機械学習が行われた学習モデルである。そして、超解像処理部１５は、写真フィルムがネガフィルムの場合、高解像画像データＨＲに相当する高解像画像データＨＲｎと、低解像画像データＬＲにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。これにより、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの超解像処理が実行された超解像データ、及び当該超解像データに基づく超解像画像の画像品質が向上する。
【0112】
さらに、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルの生産に用いられる学習データセットに含まれる低解像画像データＬＲに付与されるノイズは、画像データＩｎの明部であって、特に画像の色成分のうちの青色成分に重畳するノイズと同様の成分とすることが好ましい。これにより、ネガフィルムに撮影された画像に多く重畳する暗部のノイズの影響を低減することができる。
【0113】
すなわち、ネガフィルムに対応する超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｎと、低解像画像データＬＲに画像データＩｎの明部であって、特に青色成分の領域に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎと、を教師データとして機械学習が行われた学習モデルを用いることができる。これにより、超解像処理部１５は、写真フィルムがネガフィルムの場合、高解像画像データＨＲに相当する高解像画像データＨＲｎと、低解像画像データＬＲに画像データＩｎの暗部に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。これにより、ネガフィルムに撮影された画像に多く重畳する明部であって、特に青色成分の領域に重畳するノイズの影響を低減することができ、その結果、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの超解像処理が実行された超解像データ、及び当該超解像データに基づく超解像画像の画像品質がさらに向上する。
【0114】
また、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに適用される超解像学習モデルの生産に用いられる学習データセットに含まれる高解像画像データＨＲｎは、上述した図４、及び図５に示す高解像画像データＨＲにバイラテラルフィルターを適用することで生成されてもよい。高解像画像データＨＲにこのようなバイラテラルフィルターを適用することで、高解像画像データＨＲの画像に重畳するノイズの影響が低減され、高解像画像データＨＲの画像の輪郭が明確となった高解像画像データＨＲｎが生成される。
【0115】
すなわち、ネガフィルムに対応する超解像学習モデルは、高解像画像データＨＲにバイラテラルフィルターが適用された高解像画像データＨＲｎと、低解像画像データＬＲに画像データＩｎの明部であって、特に青色成分の領域に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎと、を教師データとして機械学習が行われた学習モデルを用いることができる。これにより、超解像処理部１５は、写真フィルムがネガフィルムの場合、高解像画像データＨＲにバイラテラルフィルターが適用された高解像画像データＨＲｎと、低解像画像データＬＲに画像データＩｎの明部であって、特に青色成分の領域に重畳するノイズと同様の成分のノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。これにより、ネガフィルムに撮影された画像に重畳するノイズの影響をさらに低減することができ、その結果、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの超解像処理が実行された超解像データ、及び当該超解像データに基づく超解像画像の画像品質がさらに向上する。
【0116】
以上のように、本実施形態の画像処理システムＳＣに用いられる超解像学習モデルの内、画像が撮影された写真フィルムがポジフィルムの場合に用いられる超解像学習モデルは、図４、及び図５に示す学習データセットに対してポジフィルムの特性に応じたノイズを重畳させた学習データセットを教師データとして機械学習を行うことで、生産され、本実施形態の画像処理システムＳＣに用いられる超解像学習モデルの内、画像が撮影された写真フィルムがネガフィルムの場合に用いられる超解像学習モデルは、図４、及び図５に示す学習データセットに対してネガフィルムの特性に応じたノイズを重畳させた学習データセットを教師データとして機械学習を行うことで、生産される。
【0117】
これにより、本実施形態の画像処理システムＳＣが有する超解像処理部１５は、超解像処理を実行する画像データが取得された写真フィルムの種類に応じた超解像学習モデルを用いて、超解像処理を実行することができる。その結果、超解像処理部１５が生産する超解像データ、及び当該超解像データに応じた超解像画像の画像品質が向上する。
【0118】
ここで、上述に説明では、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルは、図４、及び図５に示す学習データセットに含まれる複数の高解像画像データＨＲ、及び複数の低解像画像データＬＲのそれぞれに対して、ポジフィルムの特性に応じたノイズの付加、及びガウスぼかしを適用することで、複数の高解像画像データＨＲｐ、及び複数の低解像画像データＬＲｐを生成し、生成した複数の高解像画像データＨＲｐ、及び複数の低解像画像データＬＲｐを含む学習データセットを教師データとして機械学習を行うことで生産されるとして説明を行ったが、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットは、これに限るものではなく、ポジフィルムの特性に応じた複数の高解像画像データＨＲｐ、及び複数の低解像画像データＬＲｐを含んでいればよい。
【0119】
そのため、例えば、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットは、ポジフィルムに撮影された１つ基画像を、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った画像データを低解像画像データＬＲｐとして含み、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った画像データを高解像画像データＨＲｐとして含んでもよい。すなわち、ポジフィルムで撮影された画像を図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｐと、ポジフィルムで撮影された画像を図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｐと、を含む学習データセットを教師データとして機械学習を行うことで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルは生産されてもよい。
【0120】
すなわち、超解像処理部１５は、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｐと、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｐと、を教師データとして機械学習が行われた超解像学習モデルを用いて、ポジフィルムで撮影された画像に対応する画像情報を含む画像データに対して、超解像処理を実行してもよい。
【0121】
同様に、上述に説明では、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルは、図４、及び図５に示す学習データセットに含まれる複数の高解像画像データＨＲ、及び複数の低解像画像データＬＲのそれぞれに対して、ネガフィルムの特性に応じたノイズの付加、及びガウスぼかしを適用することで、複数の高解像画像データＨＲｎ、及び複数の低解像画像データＬＲｎを生成し、生成した複数の高解像画像データＨＲｎ、及び複数の低解像画像データＬＲｎを含む学習データセットを教師データとして機械学習を行うことで生産されるとして説明を行ったが、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットは、これに限るものではなく、ネガフィルムの特性に応じた複数の高解像画像データＨＲｎ、及び複数の低解像画像データＬＲｎを含んでいればよい。
【0122】
そのため、例えば、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットは、ネガフィルムに撮影された１つ基画像を、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った画像データを低解像画像データＬＲｎとして含み、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った画像データを高解像画像データＨＲｎとして含んでもよい。すなわち、ネガフィルムで撮影された画像を図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｎと、ネガフィルムで撮影された画像を図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｎと、を含む学習データセットを教師データとして機械学習を行うことで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行する超解像学習モデルは生産されてもよい。
【0123】
すなわち、超解像処理部１５は、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｎと、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて、ネガフィルムで撮影された画像に対応する画像情報を含む画像データに対して、超解像処理を実行してもよい。
【0124】
さらに、本実施形態の画像処理システムＳＣにおいて、使用者は、画像取得条件として、超解像データ、及び超解像データに応じた超解像画像の輪郭強調の程度を設定する。これにより、超解像処理部１５は、使用者によって選択された輪郭強調の程度に応じた超解像学習モデルを用いて超解像処理を実行する。そのため、超解像学習モデル保持部２４には、超解像データ、及び超解像データに応じた超解像画像の輪郭強調の程度に応じた複数の超解像学習モデルが保持されている。
【0125】
そこで、超解像データの輪郭強調の程度に対応する超解像学習モデルの生産方法について説明する。図８は、ポジフィルムに撮影された画像に対応する超解像データの輪郭強調の程度と、超解像処理との関係を模式的に示す図である。図８では、横軸が画像の輪郭が明確であるか否かの程度を示し、縦軸が画像に重畳するノイズの程度を示している。そして、図８では、右側に位置するほど画像の輪郭が明確であることを意味し、上側に位置するほど画像に重畳するノイズが少ないことを意味する。
【0126】
使用者による画像取得条件の設定により、「輪郭強調」として「０」が選択されている場合、超解像処理部１５は、超解像データに基づく超解像画像に対して輪郭を強調するための画像処理を実行しない。このとき、ポジフィルムに撮影された画像に対応する画像情報を含む画像データＩｐに対して、高解像画像データＨＲｐと低解像画像データＬＲｐとを含む学習データセットを教師データとして機械学習が行われた超解像学習モデルを用いて超解像処理が実行されることで、超解像処理部１５は、画像データＩｐの解像度を増加させた超解像データＳｐを生産する。すなわち、「輪郭強調」として「０」が選択された場合の超解像学習モデルであって、高解像画像データＨＲｐと低解像画像データＬＲｐとを含む学習データセットを教師データとして機械学習が行われた超解像学習モデルは、画像データＩｐのシャープ感、及びノイズ感を、図８に示す矢印Ａｐに沿って向上させる。
【0127】
これに対して、使用者による画像取得条件の設定により、「輪郭強調」として「＋１」又は「＋２」が選択された場合、超解像データＳｐの輪郭をより明確にすることが求められる。すなわち、使用者による画像取得条件の設定により、「輪郭強調」として「＋１」又は「＋２」が選択された場合、ポジフィルムに撮影された画像に対応する画像情報を含む画像データＩｐに対して、超解像処理が実行されることで、超解像処理部１５は、画像データＩｐの解像度を増加させた超解像データＳｐ＋を生産することが求められる。したがって、使用者による画像取得条件の設定により、「輪郭強調」として「＋１」又は「＋２」が選択された場合の超解像学習モデルは、画像データＩｐのシャープ感、及びノイズ感を、矢印Ａｐ＋に沿って向上させる学習モデルでとなる。
【0128】
このような画像データＩｐのシャープ感、及びノイズ感を矢印Ａｐ＋に沿って向上させる超解像学習モデルは、１つの基画像から高解像画像データＨＲｐと低解像画像データＬＲｐ＋との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、生産される。
【0129】
具体的には、高解像画像データＨＲｐは、上述したポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる高解像画像データＨＲｐを用いることができる。一方で、低解像画像データＬＲｐ＋は、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる低解像画像データＬＲｐに対して、図８に示す平面上において、高解像画像データＨＲｐと低解像画像データＬＲｐ＋とを結ぶ直線Ｒｐ＋の傾きが、上述した矢印Ａｐ＋の傾きと同程度となるようにノイズが付与され、ガウスぼかしが適用されることで生成される。
【0130】
以上のような低解像画像データＬＲｐに対するさらに所定のノイズの付与、及びガウスぼかし適用は、上述したポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる複数の低解像画像データＬＲｐのそれぞれに対して行われる。これにより、ポジフィルムに撮影された画像に対応する画像情報を含む画像データから輪郭を強調した超解像データを生産する際に適用される超解像学習モデルの生産に用いられる学習データセットが生成される。そして、高解像画像データＨＲｐと低解像画像データＬＲｐ＋との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させるとともに、輪郭を強調する際に適用される超解像学習モデルが生産される。
【0131】
すなわち、ポジフィルムに対応する画像データの解像度を増加するとともに、輪郭を強調する際に適用される超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｐと、低解像画像データＬＲｐにさらにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐ＋と、を教師データとして機械学習が行われた学習モデルである。そして、超解像処理部１５は、写真フィルムがポジフィルムの場合に、ポジフィルムに対応する画像データの解像度を増加するとともに、輪郭を強調する場合、高解像画像データＨＲｐと、低解像画像データＬＲｐにさらにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｐ＋と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。
【0132】
また、使用者による画像取得条件の設定により、「輪郭強調」として「－１」又は「－２」が選択された場合、超解像データＳｐの輪郭をより曖昧にすることが求められる。すなわち、使用者による画像取得条件の設定により、「輪郭強調」として「－１」又は「－２」が選択された場合、ポジフィルムに撮影された画像に対応する画像情報を含む画像データＩｐに対して、超解像処理が実行されることで、超解像処理部１５は、画像データＩｐの解像度を増加させた超解像データＳｐ－を生産することが求められる。したがって、使用者による画像取得条件の設定により、「輪郭強調」として「－１」又は「－２」が選択された場合の超解像学習モデルは、画像データＩｐのシャープ感、及びノイズ感を、矢印Ａｐ－に沿って向上させる学習モデルでとなる。
【0133】
このような画像データＩｐのシャープ感、及びノイズ感を矢印Ａｐ－に沿って向上させる超解像学習モデルは、１つの基画像から高解像画像データＨＲｐと低解像画像データＬＲｐ－との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、生産される。
【0134】
具体的には、高解像画像データＨＲｐは、上述したポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる高解像画像データＨＲｐを用いることができる。一方で、低解像画像データＬＲｐ－は、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる低解像画像データＬＲｐに対して、図８に示す平面上において、高解像画像データＨＲｐと低解像画像データＬＲｐ－とを結ぶ直線Ｒｐ－の傾きが、上述した矢印Ａｐ－の傾きと同程度となるように付与されるノイズが低減され、適用されるガウスぼかしの程度が低減されることで生成される。
【0135】
以上のような低解像画像データＬＲｐに対して、付与されるノイズを低減し、適用されるガウスぼかしの程度の低減は、上述したポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる複数の低解像画像データＬＲｐのそれぞれに対して行われる。これにより、ポジフィルムに撮影された画像に対応する画像情報を含む画像データから輪郭を強調した超解像データを生産する際に適用される超解像学習モデルの生産に用いられる学習データセットが生成される。そして、高解像画像データＨＲｐと低解像画像データＬＲｐ－との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させるとともに、輪郭を曖昧する際に適用される超解像学習モデルが生産される。
【0136】
すなわち、ポジフィルムに対応する画像データの解像度を増加するとともに、輪郭を曖昧にする際に適用される超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｐと、低解像画像データＬＲｐに付与されるノイズを低減し、適用されるガウスぼかし程度を低減した低解像画像データＬＲｐ－と、を教師データとして機械学習が行われた学習モデルである。そして、超解像処理部１５は、写真フィルムがポジフィルムの場合に、ポジフィルムに対応する画像データの解像度を増加するとともに、輪郭を曖昧する場合、高解像画像データＨＲｐと、低解像画像データＬＲｐに付与されるノイズを低減し、適用されるガウスぼかし程度を低減した低解像画像データＬＲｐ－と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。
【0137】
以上のように、超解像処理部１５は、使用者が画像取得条件として設定する輪郭強調として、「＋１」又は「＋２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「＋１」又は「＋２」を取得した場合、超解像処理部１５は、高解像画像データＨＲｐと、低解像画像データＬＲｐに、輪郭強調としての「＋１」又は「＋２」に応じた画像処理を実行した低解像画像データＬＲｐ＋と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成し、使用者が画像取得条件として設定する輪郭強調として、「－１」又は「－２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「－１」又は「－２」を取得した場合、超解像処理部１５は、高解像画像データＨＲｐと、低解像画像データＬＲｐに、輪郭強調としての「－１」又は「－２」に応じた画像処理を実行した低解像画像データＬＲｐ－と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。
【0138】
したがって、超解像処理部１５が、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｐと、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて、ポジフィルムで撮影された画像に対応する画像情報を含む画像データに対して、超解像処理を実行する場合において、使用者が画像取得条件として設定する輪郭強調として、「＋１」又は「＋２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「＋１」又は「＋２」を取得した場合、超解像処理部１５は、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｐに、輪郭強調としての「＋１」又は「＋２」に応じた画像処理を実行した低解像画像データＬＲｐ＋と、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｐと、を教師データとして機械学習が行われた超解像学習モデルを用いて輪郭が強調された超解像データを生産し、使用者が画像取得条件として設定する輪郭強調として、「－１」又は「－２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「－１」又は「－２」を取得した場合、超解像処理部１５は、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｐに、輪郭強調としての「－１」又は「－２」に応じた画像処理を実行した低解像画像データＬＲｐ＋と、ポジフィルムで撮影された画像を読み取った画像データ、又は、ポジフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｐと、を教師データとして機械学習が行われた超解像学習モデルを用いて輪郭が強調された超解像データを生産する。
【0139】
図９は、ネガフィルムに撮影された画像に対応する超解像データの輪郭強調の程度と、超解像処理との関係を模式的に示す図である。図９では、横軸が画像の輪郭が明確であるか否かの程度を示し、縦軸が画像に重畳するノイズの程度を示している。そして、図９では、右側に位置するほど画像の輪郭が明確であることを意味し、上側に位置するほど画像に重畳するノイズが少ないことを意味する。
【0140】
使用者による画像取得条件の設定により、「輪郭強調」として「０」が選択されている場合、超解像処理部１５は、超解像データに基づく超解像画像に対して輪郭を強調するための画像処理を実行しない。このとき、ネガフィルムに撮影された画像に対応する画像情報を含む画像データＩｎに対して、高解像画像データＨＲｎと低解像画像データＬＲｎとを含む学習データセットを教師データとして機械学習が行われた超解像学習モデルを用いて超解像処理が実行されることで、超解像処理部１５は、画像データＩｎの解像度を増加させた超解像データＳｎを生産する。すなわち、「輪郭強調」として「０」が選択された場合の超解像学習モデルであって、高解像画像データＨＲｎと低解像画像データＬＲｎとを含む学習データセットを教師データとして機械学習が行われた超解像学習モデルは、画像データＩｎのシャープ感、及びノイズ感を、図９に示す矢印Ａｎに沿って向上させる。
【0141】
これに対して、使用者による画像取得条件の設定により、「輪郭強調」として「＋１」又は「＋２」が選択された場合、超解像データＳｎの輪郭をより明確にすることが求められる。すなわち、使用者による画像取得条件の設定により、「輪郭強調」として「＋１」又は「＋２」が選択された場合、ネガフィルムに撮影された画像に対応する画像情報を含む画像データＩｎに対して、超解像処理が実行されることで、超解像処理部１５は、画像データＩｎの解像度を増加させた超解像データＳｎ＋を生産することが求められる。したがって、使用者による画像取得条件の設定により、「輪郭強調」として「＋１」又は「＋２」が選択された場合の超解像学習モデルは、画像データＩｎのシャープ感、及びノイズ感を、矢印Ａｎ＋に沿って向上させる学習モデルでとなる。
【0142】
このような画像データＩｎのシャープ感、及びノイズ感を矢印Ａｎ＋に沿って向上させる超解像学習モデルは、１つの基画像から高解像画像データＨＲｎと低解像画像データＬＲｎ＋との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、生産される。
【0143】
具体的には、高解像画像データＨＲｎは、上述したネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる高解像画像データＨＲｎを用いることができる。一方で、低解像画像データＬＲｎ＋は、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる低解像画像データＬＲｎに対して、図９に示す平面上において、高解像画像データＨＲｎと低解像画像データＬＲｎ＋とを結ぶ直線Ｒｎ＋の傾きが、上述した矢印Ａｎ＋の傾きと同程度となるようにノイズが付与され、ガウスぼかしが適用されることで生成される。
【0144】
以上のような低解像画像データＬＲｎに対するさらに所定のノイズの付与、及びガウスぼかし適用は、上述したネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる複数の低解像画像データＬＲｎのそれぞれに対して行われる。これにより、ネガフィルムに撮影された画像に対応する画像情報を含む画像データから輪郭を強調した超解像データを生産する際に適用される超解像学習モデルの生産に用いられる学習データセットが生成される。そして、高解像画像データＨＲｎと低解像画像データＬＲｎ＋との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させるとともに、輪郭を強調する際に適用される超解像学習モデルが生産される。
【0145】
すなわち、ネガフィルムに対応する画像データの解像度を増加するとともに、輪郭を強調する際に適用される超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｎと、低解像画像データＬＲｎにさらにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎ＋と、を教師データとして機械学習が行われた学習モデルである。そして、超解像処理部１５は、写真フィルムがネガフィルムの場合に、ネガフィルムに対応する画像データの解像度を増加するとともに、輪郭を強調する場合、高解像画像データＨＲｎと、低解像画像データＬＲｎにさらにノイズ、及びガウスぼかしを付与した低解像画像データＬＲｎ＋と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。
【0146】
また、使用者による画像取得条件の設定により、「輪郭強調」として「－１」又は「－２」が選択された場合、超解像データＳｎの輪郭をより曖昧にすることが求められる。すなわち、使用者による画像取得条件の設定により、「輪郭強調」として「－１」又は「－２」が選択された場合、ネガフィルムに撮影された画像に対応する画像情報を含む画像データＩｎに対して、超解像処理が実行されることで、超解像処理部１５は、画像データＩｎの解像度を増加させた超解像データＳｎ－を生産することが求められる。したがって、使用者による画像取得条件の設定により、「輪郭強調」として「－１」又は「－２」が選択された場合の超解像学習モデルは、画像データＩｎのシャープ感、及びノイズ感を、矢印Ａｎ－に沿って向上させる学習モデルでとなる。
【0147】
このような画像データＩｎのシャープ感、及びノイズ感を矢印Ａｎ－に沿って向上させる超解像学習モデルは、１つの基画像から高解像画像データＨＲｎと低解像画像データＬＲｎ－との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、生産される。
【0148】
具体的には、高解像画像データＨＲｎは、上述したネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる高解像画像データＨＲｎを用いることができる。一方で、低解像画像データＬＲｎ－は、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる低解像画像データＬＲｎに対して、図９に示す平面上において、高解像画像データＨＲｎと低解像画像データＬＲｎ－とを結ぶ直線Ｒｎ－の傾きが、上述した矢印Ａｎ－の傾きと同程度となるように付与されるノイズが低減され、適用されるガウスぼかしの程度が低減されることで生成される。
【0149】
以上のような低解像画像データＬＲｎに対して、付与されるノイズを低減し、適用されるガウスぼかしの程度の低減は、上述したネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して超解像処理を実行する超解像学習モデルの生産に用いられる学習データセットに含まれる複数の低解像画像データＬＲｎのそれぞれに対して行われる。これにより、ネガフィルムに撮影された画像に対応する画像情報を含む画像データから輪郭を強調した超解像データを生産する際に適用される超解像学習モデルの生産に用いられる学習データセットが生成される。そして、高解像画像データＨＲｎと低解像画像データＬＲｎ－との画像ペアが複数含まれた学習データセットを教師データとして機械学習を行うことで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させるとともに、輪郭を曖昧する際に適用される超解像学習モデルが生産される。
【0150】
すなわち、ネガフィルムに対応する画像データの解像度を増加するとともに、輪郭を曖昧にする際に適用される超解像学習モデルは、高解像画像データＨＲに相当する高解像画像データＨＲｎと、低解像画像データＬＲｎに付与されるノイズを低減し、適用されるガウスぼかし程度を低減した低解像画像データＬＲｎ－と、を教師データとして機械学習が行われた学習モデルである。そして、超解像処理部１５は、写真フィルムがネガフィルムの場合に、ネガフィルムに対応する画像データの解像度を増加するとともに、輪郭を曖昧する場合、高解像画像データＨＲｎと、低解像画像データＬＲｎに付与されるノイズを低減し、適用されるガウスぼかし程度を低減した低解像画像データＬＲｎ－と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。
【0151】
以上のように、超解像処理部１５は、使用者が画像取得条件として設定する輪郭強調として、「＋１」又は「＋２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「＋１」又は「＋２」を取得した場合、超解像処理部１５は、高解像画像データＨＲｎと、低解像画像データＬＲｎに、輪郭強調としての「＋１」又は「＋２」に応じた画像処理を実行した低解像画像データＬＲｎ＋と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成し、使用者が画像取得条件として設定する輪郭強調として、「－１」又は「－２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「－１」又は「－２」を取得した場合、超解像処理部１５は、高解像画像データＨＲｎと、低解像画像データＬＲｎに、輪郭強調としての「－１」又は「－２」に応じた画像処理を実行した低解像画像データＬＲｎ－と、を教師データとして機械学習が行われた超解像学習モデルを用いて、超解像データを生成する。
【0152】
したがって、超解像処理部１５が、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｎと、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて、ネガフィルムで撮影された画像に対応する画像情報を含む画像データに対して、超解像処理を実行する場合において、使用者が画像取得条件として設定する輪郭強調として、「＋１」又は「＋２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「＋１」又は「＋２」を取得した場合、超解像処理部１５は、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｎに、輪郭強調としての「＋１」又は「＋２」に応じた画像処理を実行した低解像画像データＬＲｎ＋と、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて輪郭が強調された超解像データを生産し、使用者が画像取得条件として設定する輪郭強調として、「－１」又は「－２」を入力し、入出力管理部１１が、画像取得条件として輪郭強調として、「－１」又は「－２」を取得した場合、超解像処理部１５は、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す低解像画像データＬＲの解像度で読み取った低解像画像データＬＲｎに、輪郭強調としての「－１」又は「－２」に応じた画像処理を実行した低解像画像データＬＲｎ＋と、ネガフィルムで撮影された画像を読み取った画像データ、又は、ネガフィルムで撮影された画像を現像した現像画像データを、図４、又は図５に示す高解像画像データＨＲの解像度で読み取った高解像画像データＨＲｎと、を教師データとして機械学習が行われた超解像学習モデルを用いて輪郭が強調された超解像データを生産する。
【0153】
すなわち、超解像処理部１５は、使用者が画像取得条件として設定する輪郭強調であって、入出力管理部１１が取得する輪郭強調い応じた超解像学習モデルを用いて、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産し、使用者が画像取得条件として設定する輪郭強調であって、入出力管理部１１が取得する輪郭強調い応じた超解像学習モデルを用いて、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産する。
【0154】
ここで、センサーユニット５４とセンサー制御部５１とを含む画像取得部がスキャンユニットの一例であり、超解像処理部１５が超解像データ生産部の一例であり、高解像度取得モードが第１モードの一例であり、低解像度取得モードが第２モードの一例である。
【0155】
また、センサーユニット５４が画像情報を取得する主走査方向の解像度が第１解像度の一例であり、センサーユニット５４が高解像度取得モードにおいて、画像情報を取得する副走査方向の解像度が第２解像度の一例であり、センサーユニット５４が低解像度取得モードにおいて、画像情報を取得する副走査方向の解像度が第３解像度の一例であり、低解像度取得モードにおいて取得された画像情報を含む画像データの超解像データの主走査方向、及び副走査方向の解像度が第４解像度の一例である。
【0156】
また、高解像度取得モードで取得した画像情報を含む画像データに対する超解像処理に用いられる超解像学習モデルが第１学習モデルの一例であり、低解像度取得モードで取得した画像情報を含む画像データに対する超解像処理に用いられる超解像学習モデルが第２学習モデルの一例であり、超解像学習モデルの生産に用いられる学習データセットに含まれる低解像画像データＬＲが第１画像データの一例であり、超解像学習モデルの生産に用いられる学習データセットに含まれる高解像画像データＨＲが第２画像データの一例である。
【0157】
また、写真フィルムに撮影された画像に対応する画像情報を含む画像データが写真データの一例であり、画像取得部５が取得する写真フィルムに撮影された画像に対応する画像情報の内、写真フィルムに撮影された画像の一部に対応する画像情報に対応する画像情報を含む分割画像データが第１写真データの一例であり、画像取得部５が取得する写真フィルムに撮影された画像に対応する画像情報の内、写真フィルムに撮影された画像の異なる一部に対応する画像情報に対応する画像情報を含む分割画像データが第２写真データの一例であり、第１写真データに対応する分割画像データに対して超解像処理を実行した分割超解像データが第１分割超解像データの一例であり、第２分割写真データに対応する分割画像データに対して超解像処理を実行した分割超解像データが第２分割超解像データの一例である。
【0158】
また、使用者が選択する画像取得条件に含まれる「取得画像の種類」による選択であって、基準とする空間周波数の選択が第１パラメーターの一例であり、「取得画像の種類」に基づいて選択される基準画像、及び当該基準画像に基づいて算出される超解像パラメーターが基準画像データの一例である。また、超解像データ、及び超解像データに応じた超解像画像の輪郭強調の程度を選択される画像取得条件に含まれる「輪郭強調」が第２パラメーターの一例であり、第２パラメーターである「輪郭強調」の選択値であって、「＋１」「＋２」のいずれかが第１情報の一例であり、第２パラメーターである「輪郭強調」の選択値であって、「－１」「－２」のいずれかが第２情報の一例である。
【0159】
そして、低解像画像データＬＲに「輪郭強調」の選択値であって、「＋１」「＋２」に基づく画像処理を施した低解像画像データＬＲｎ＋，ＬＲｐ＋のいずれかが第１処理画像データの一例であり、低解像画像データＬＲに「輪郭強調」の選択値であって、「－１」「－２」に基づく画像処理を施した低解像画像データＬＲｎ－，ＬＲｐ－のいずれかが第２処理画像データの一例である。
【0160】
４．作用効果
以上のように本実施形態の画像処理システムＳＣにおいて、超解像処理部１５は、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ネガフィルムに対応する超解像学習モデルを用いて超解像処理を実行することで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産し、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ポジフィルムに対応する超解像学習モデルを用いて超解像処理を実行することで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産する。
以上のように本実施形態の画像処理システムＳＣにおいて、超解像処理部１５は、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ネガフィルムに対応する超解像学習モデルを用いて超解像処理を実行することで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産し、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ポジフィルムに対応する超解像学習モデルを用いて超解像処理を実行することで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産する。
【0161】
すなわち、本実施形態の画像処理システムＳＣでは、ステップＳ３１，Ｓ３２，Ｓ３３において、写真フィルムに撮影された画像に対応する画像情報を含む画像データと、当該画像データが、ネガフィルムで撮影された画像データであるのか、ポジフィルムで撮影された画像データであるのかを示すフィルム種別と、を取得し、その後のステップＳ３４において、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ネガフィルムに対応する超解像学習モデルを用いて超解像処理を実行することで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産し、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ポジフィルムに対応する超解像学習モデルを用いて超解像処理を実行することで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させた超解像データを生産する。
【0162】
また、画像処理プログラム保持部２７に保持される画像処理プログラムは、ステップＳ３１，Ｓ３２，Ｓ３３において、ＣＰＵ１０に、写真フィルムに撮影された画像に対応する画像情報を含む画像データと、当該画像データが、ネガフィルムで撮影された画像データであるのか、ポジフィルムで撮影された画像データであるのかを示すフィルム種別と、を取得させ、その後のステップＳ３４において、ネガフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ネガフィルムに対応する超解像学習モデルを用いて超解像処理を実行させることで、ネガフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させて超解像データを生産させ、ポジフィルムに撮影された画像に対応する画像情報を含む画像データに対して、ポジフィルムに対応する超解像学習モデルを用いて超解像処理を実行させることで、ポジフィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させて超解像データを生産させる。
【0163】
ポジフィルムに撮影された画像と、ネガフィルムに撮影された画像とでは、例えば、重畳するノイズの特性などが異なる。これに対して、本実施形態の画像処理システムＳＣ、及び画像処理プログラムは、画像が形成された写真フィルムがポジフィルムであるのか、ネガフィルムであるのかに応じて、異なる超解像学習モデルを選択し、超解像処理を実行することで、ポジフィルムに撮影された画像に対しては、ポジフィルムに撮影された画像に重畳するノイズ特性を加味した超解像処理を実行することができ、ネガフィルムに撮影された画像に対しては、ネガフィルムに撮影された画像に重畳するノイズ特性を加味した超解像処理を実行することができる。これにより、画像処理システムＳＣで生産される超解像データ、及び当該超解像データに応じた超解像画像の画像品質が向上する。
【0164】
また、本実施形態の画像処理システムＳＣでは、センサーユニット５４が主走査方向に沿って１２００ｄｐｉの解像度で取得し、副走査方向に沿って２４００ｄｐｉの解像度で取得するように制御される高解像度取得モードであることに応じて、超解像処理部１５は、高解像度取得モードに応じた超解像学習モデルであって、取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択され、出力解像度が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択された場合に選択される超解像学習モデルを用いて、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度で取得された写真フィルムに撮影された画像に対応する画像情報を含む画像データの解像度を、主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度に増加させた超解像データを生産する。
【0165】
すなわち、本実施形態の画像処理システムＳＣでは、ステップＳ３１，Ｓ３２，Ｓ３３において、写真フィルムに撮影された画像に対応する画像情報を含む画像データと、取得解像度が、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択され、出力解像度が、主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択されている画像取得条件と、を取得し、その後のステップＳ３４において、写真フィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させて超解像データを生産する。このような超解像データの生産するステップＳ３４において、超解像処理部１５は、高解像度取得モードに応じた超解像学習モデルであって、取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択され、出力解像度が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択された場合に、選択される超解像学習モデルを用いて、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度で取得された画像データの解像度を、主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度に増加させた超解像データを生産する。
【0166】
また、画像処理プログラム保持部２７に保持される画像処理プログラムは、ステップＳ３１，Ｓ３２，Ｓ３３において、ＣＰＵ１０に、写真フィルムに撮影された画像に対応する画像情報を含む画像データと、取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択され、出力解像度が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択されている画像取得条件と、を取得させ、その後のステップＳ３４において、写真フィルムに撮影された画像に対応する画像情報を含む画像データの解像度を増加させて超解像データを生産させる。このような超解像データを生産するステップＳ３４において、超解像処理部１５は、高解像度取得モードに応じた超解像学習モデルであって、取得解像度が主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択され、出力解像度が主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度の組み合わせが選択された場合に、選択される超解像学習モデルを用いて、主走査方向に１２００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度で取得された画像データの解像度を、主走査方向に２４００ｄｐｉ、副走査方向に２４００ｄｐｉとなる解像度に増加させた超解像データを生産させる。
【0167】
すなわち、本実施形態の画像処理システムＳＣ、及び画像処理プログラムでは、超解像処理部１５が、画像情報を取得する主走査方向の解像度、及び副走査方向の解像度に基づいて選択された超解像学習モデルを用いて、写真フィルムに撮影された画像に対応する画像情報を含む画像データに超解像処理を実行することで、超解像処理における主走査方向の解像度の倍率と、副走査方向の解像度の倍率とが異なる場合であっても、画像データに応じた超解像データを生産することができる。このとき、画像処理システムＳＣにおいて、センサーユニット５４の複数のセンサー素子が並設された画像情報を取得する主走査方向の解像度は、センサーユニット５４が有る複数のセンサー素子の数や、当該センサー素子の密度によって制限される。一方で、主走査方向と交差する副走査方向において、画像情報を取得する解像度は、センサーユニット５４の副走査方向への走査速度に応じて、任意に設定することができる。
【0168】
本実施形態の画像処理システムＳＣでは、超解像処理における主走査方向の解像度の倍率と、副走査方向の解像度の倍率とが異なる場合であっても、画像データに応じた超解像データを生産できるとともに、副走査方向において画像情報を取得する解像度を、超解像データの副走査方向の解像度と同じになるように制御することで、超解像データの副走査方向として、センサーユニット５４が実際に取得した画像情報を用いることができる。その結果、超解像データの画像品質を高めることができる。
【0169】
以上、実施形態及び変形例について説明したが、本発明はこれらの実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。例えば、上記の実施形態を適宜組み合わせることも可能である。
【0170】
上述した解像度は例に過ぎず、取得時の解像度も出力時の解像度も倍率も上述したものに限られない。取得時の解像度と出力時の解像度とが同じであれば、解像度を増加させずに出力すればよく、取得時の解像度よりも出力時の解像度が大きい場合に解像度を増加させて出力させるようにする。
【0171】
また、解像度を増加させることのほかにどのような処理を行うかも上述したものに限られない。例えば、ネガデータであるかポジデータであるかを、ユーザーの入力によって判断する処理を行ってもよいし、ユーザーに指定させずに画像を解析して自動で判断する処理を行ってもよい。輪郭強調や取得画像の種類もユーザーに指定させず、画像を解析して自動で判断する処理を行ってもよい。
【0172】
本発明は、実施形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。
【0173】
上述した実施形態から以下の内容が導き出される。
【0174】
画像処理システムの一態様は、
写真フィルムに撮影された画像に対応する写真データを生産するスキャンユニットと、
前記写真データの解像度を増加した超解像データを生産する超解像データ生産部と、
を備え、
前記スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った前記写真データを生産し、
前記超解像データ生産部は、前記第１モードに応じて、前記第１モードに対応した第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させた前記超解像データを生産する。
写真フィルムに撮影された画像に対応する写真データを生産するスキャンユニットと、
前記写真データの解像度を増加した超解像データを生産する超解像データ生産部と、
を備え、
前記スキャンユニットは、第１モードにおいて、主走査方向に第１解像度、副走査方向に第２解像度で前記写真フィルムを読み取った前記写真データを生産し、
前記超解像データ生産部は、前記第１モードに応じて、前記第１モードに対応した第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させた前記超解像データを生産する。
【0175】
この画像処理システムによれば、超解像データ生産部は、画像センサーが第１モードで制御されることに応じた選択された第１学習モデルを用いて、写真フィルムに撮影された画像に対応する画像情報に対応する写真データの解像度を増加させることで、主走査方向に解像度を増加させる倍率と、副走査方向に解像度を増加させる倍率とが異なる場合であっても、写真データに応じた超解像データを生産することができる。このとき、画像処理システムにおいて、主走査方向の解像度は、画像センサーが有る複数のセンサー素子の数や、当該センサー素子の密度によって制限される。一方で、主走査方向と交差する副走査方向の解像度は、画像センサーの副走査方向への走査速度に応じて、任意に設定することができる。これにより、副走査方向におけるいて画像情報を取得する解像度を、超解像データの副走査方向の解像度と同じになるように制御することで、超解像データの副走査方向として、画像センサーが実際に取得した画像情報を用いることができる。その結果、超解像データの画像品質を高めることができる。
【0176】
上記画像処理システムの一態様において、
前記超解像データ生産部は、主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率である第１画像データと、主走査方向の解像度、及び副走査方向の解像度が、前記第１画像データの副走査方向の解像度と同じである第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用いてもよい。
前記超解像データ生産部は、主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率である第１画像データと、主走査方向の解像度、及び副走査方向の解像度が、前記第１画像データの副走査方向の解像度と同じである第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用いてもよい。
【0177】
上記画像処理システムの一態様において、
前記スキャンユニットは、前記第１モードと異なる第２モードにおいて、主走査方向に前記第１解像度、副走査方向に第３解像度で前記写真データを生産し、
前記超解像データ生産部は、前記第２モードに応じて、前記第２モードに対応した第２学習モデルを用いて、前記写真データの主走査方向の解像度、及び副走査方向の解像度を、前記第１解像度、及び前記第３解像度と異なる第４解像度に増加させた前記超解像データを生産してもよい。
前記スキャンユニットは、前記第１モードと異なる第２モードにおいて、主走査方向に前記第１解像度、副走査方向に第３解像度で前記写真データを生産し、
前記超解像データ生産部は、前記第２モードに応じて、前記第２モードに対応した第２学習モデルを用いて、前記写真データの主走査方向の解像度、及び副走査方向の解像度を、前記第１解像度、及び前記第３解像度と異なる第４解像度に増加させた前記超解像データを生産してもよい。
【0178】
この画像処理システムによれば、主走査方向に解像度を増加させる倍率と、副走査方向に解像度を増加させる倍率とが異なる場合であって、主走査方向の解像度と、副走査方向の解像度との双方を個別に増加させることができ、画像処理システムの汎用性を高めることができる。
【0179】
上記画像処理システムの一態様において、
前記スキャンユニットは、前記写真フィルムに撮影された画像の一部に対応する第１写真データを生産し、前記写真フィルムに撮影された画像の異なる一部に対応する第２写真データを生産し、
前記超解像データ生産部は、前記第１写真データの解像度を増加させた第１分割超解像データと、前記第２写真データの解像度を増加させた第２分割超解像データと、を生産し、前記第１分割超解像データと前記第２分割超解像データとを結合することで前記超解像データを生産してもよい。
前記スキャンユニットは、前記写真フィルムに撮影された画像の一部に対応する第１写真データを生産し、前記写真フィルムに撮影された画像の異なる一部に対応する第２写真データを生産し、
前記超解像データ生産部は、前記第１写真データの解像度を増加させた第１分割超解像データと、前記第２写真データの解像度を増加させた第２分割超解像データと、を生産し、前記第１分割超解像データと前記第２分割超解像データとを結合することで前記超解像データを生産してもよい。
【0180】
この画像処理システムによれば、画像センサーによる画像情報の取得と、超解像データ生産部による超解像データの生産とを並行して実行することができる。これにより、画像処理システムにおける超解像データの生産性が向上する。
【0181】
上記画像処理システムの一態様において、
前記超解像データ生産部は、前記写真データと異なる基準画像データに基づく第１パラメーターを用いて、前記第１分割超解像データ及び前記第２分割超解像データを生産してもよい。
前記超解像データ生産部は、前記写真データと異なる基準画像データに基づく第１パラメーターを用いて、前記第１分割超解像データ及び前記第２分割超解像データを生産してもよい。
【0182】
この画像処理システムによれば、画像センサーが検出した画像情報を分割して取得し、超解像データを生産する場合であっても、共通の基準データに基づく第１パラメーターを用いて、超解像画像を生産できるが故に、分割された画像情報の接続部分に対応する超解像データに歪が生じるおそれが低減し、超解像データの画像品質を高めることができる。
【0183】
上記画像処理システムの一態様において、
前記基準画像データは、使用者により選択された前記写真データの種類に応じて選択されてもよい。
前記基準画像データは、使用者により選択された前記写真データの種類に応じて選択されてもよい。
【0184】
この画像処理システムによれば、画像を取得する写真データに応じた基準画像データに基づく第１パラメーターを用いて第１分割超解像データ及び第２分割超解像データを生産できるが故に、第１分割超解像データと第２分割超解像データとを結合した超解像データの品質が向上する。
【0185】
上記分散制御システムの一態様において、
使用者が、第２パラメーターとして第１情報を入力した場合、
前記超解像データ生産部は、主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率である第１画像データに前記第１情報に応じた画像処理を実行した第１処理画像データと、主走査方向の解像度、及び副走査方向の解像度が、前記第１画像データの副走査方向の解像度と同じである第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用い、
使用者が、前記第２パラメーターとして第２情報を入力した場合、
前記第１画像データに前記第２情報に応じた画像処理を実行した第２処理画像データと、前記第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用いてもよい。
使用者が、第２パラメーターとして第１情報を入力した場合、
前記超解像データ生産部は、主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率である第１画像データに前記第１情報に応じた画像処理を実行した第１処理画像データと、主走査方向の解像度、及び副走査方向の解像度が、前記第１画像データの副走査方向の解像度と同じである第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用い、
使用者が、前記第２パラメーターとして第２情報を入力した場合、
前記第１画像データに前記第２情報に応じた画像処理を実行した第２処理画像データと、前記第２画像データと、を教師データとして機械学習が行われた学習モデルを前記第１学習モデルとして用いてもよい。
【0186】
この画像処理システムによれば、使用者によって、第２パラメーターとしての第１情報が入力された場合、超解像データ生産部は、第１情報を加味した学習モデルを用いて超解像データを生産し、使用者によって、第２パラメーターとしての第２情報が入力された場合、超解像データ生産部は、第２情報を加味した学習モデルを用いて超解像データを生産する。これにより、超解像データ生産部は、使用者の要求する画像調整パラメーターに応じて調整された超解像データを生産することができ、その結果、出力する超解像データの品質が向上し、超解像データに応じて生成された超解像画像の品質が向上する。
【0187】
上記画像処理システムの一態様において、
前記第１モードと前記第２モードとは、使用者の選択により切り替えられてもよい。
前記第１モードと前記第２モードとは、使用者の選択により切り替えられてもよい。
【0188】
この分散制御システムによれば、使用者による利便性を高めることができる。
【0189】
超解像データの生産方法の一態様は、
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得工程と、
第1学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産工程と、
を有する。
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得工程と、
第1学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産工程と、
を有する。
【0190】
この超解像データの生産方法によれば、画像センサーが第１モードで制御されることに応じた選択された第１学習モデルを用いて、写真フィルムに撮影された画像に対応する画像情報に対応する写真データの解像度を増加させることで、主走査方向に解像度を増加させる倍率と、副走査方向に解像度を増加させる倍率とが異なる場合であっても、写真データに応じた超解像データを生産することができる。このとき、画像処理システムにおいて、主走査方向の解像度は、画像センサーが有る複数のセンサー素子の数や、当該センサー素子の密度によって制限される。一方で、主走査方向と交差する副走査方向の解像度は、画像センサーの副走査方向への走査速度に応じて、任意に設定することができる。これにより、副走査方向におけるいて画像情報を取得する解像度を、超解像データの副走査方向の解像度と同じになるように制御することで、超解像データの副走査方向として、画像センサーが実際に取得した画像情報を用いることができる。その結果、超解像データの画像品質を高めることができる。
【0191】
画像処理プログラムの一態様は、
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得ステップと、
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産ステップと、
をコンピューターに実行させる。
主走査方向が第１解像度、副走査方向が第２解像度である写真データを取得する取得ステップと、
第１学習モデルを用いて、前記写真データの主走査方向の解像度を前記第２解像度に増加させることで超解像データを生産する超解像データ生産ステップと、
をコンピューターに実行させる。
【0192】
この画像処理プログラムによれば、ＣＰＵ１０は、画像センサーが第１モードで制御されることに応じた選択された第１学習モデルを用いて、写真フィルムに撮影された画像に対応する画像情報に対応する写真データの解像度を増加させることで、主走査方向に解像度を増加させる倍率と、副走査方向に解像度を増加させる倍率とが異なる場合であっても、写真データに応じた超解像データを生産することができる。このとき、画像処理システムにおいて、主走査方向の解像度は、画像センサーが有る複数のセンサー素子の数や、当該センサー素子の密度によって制限される。一方で、主走査方向と交差する副走査方向の解像度は、画像センサーの副走査方向への走査速度に応じて、任意に設定することができる。これにより、副走査方向におけるいて画像情報を取得する解像度を、超解像データの副走査方向の解像度と同じになるように制御することで、超解像データの副走査方向として、画像センサーが実際に取得した画像情報を用いることができる。その結果、超解像データの画像品質を高めることができる。
【0193】
学習モデルの生産方法の一態様は、
主走査方向に第１解像度で取得され、副走査方向に第２解像度で取得された画像情報に対応する写真データから、主走査方向の解像度を前記第２解像度に増加させた超解像データを生産する際に用いられる学習モデルの生産方法であって、
主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率となる第１画像データと、主走査方向の解像度と副走査方向の解像度とが、前記第１画像データの副走査方向の解像度と同じ解像度である第２画像データと、を教師データとして機械学習を行うことで前記学習モデルを生産する。
主走査方向に第１解像度で取得され、副走査方向に第２解像度で取得された画像情報に対応する写真データから、主走査方向の解像度を前記第２解像度に増加させた超解像データを生産する際に用いられる学習モデルの生産方法であって、
主走査方向の解像度と副走査方向の解像度との比率が、前記第１解像度と前記第２解像度との比率となる第１画像データと、主走査方向の解像度と副走査方向の解像度とが、前記第１画像データの副走査方向の解像度と同じ解像度である第２画像データと、を教師データとして機械学習を行うことで前記学習モデルを生産する。
【0194】
この学習モデルの生産方法によれば、主走査方向の解像度と副走査方向の解像度との比率が、第１解像度と第２解像度との比率となる第１画像データと、主走査方向の解像度と副走査方向の解像度とが、第１画像データの副走査方向の解像度と同じ解像度である第２画像データと、を教師データとして機械学習を行うことで学習モデルが生成され、係る生産方法によって生産された学習モデルを用いて画像センサーが第１モードで制御されることに応じて、写真フィルムに撮影された画像に対応する画像情報に対応する写真データの解像度を増加させることで、主走査方向に解像度を増加させる倍率と、副走査方向に解像度を増加させる倍率とが異なる場合であっても、写真データに応じた超解像データを生産することができる。このとき、画像処理システムにおいて、主走査方向の解像度は、画像センサーが有る複数のセンサー素子の数や、当該センサー素子の密度によって制限される。一方で、主走査方向と交差する副走査方向の解像度は、画像センサーの副走査方向への走査速度に応じて、任意に設定することができる。これにより、副走査方向におけるいて画像情報を取得する解像度を、超解像データの副走査方向の解像度と同じになるように制御することで、超解像データの副走査方向として、画像センサーが実際に取得した画像情報を用いることができる。その結果、超解像データの画像品質を高めることができる。
【符号の説明】
【0195】
１…画像処理部、３…ユーザーインターフェース、５…画像取得部、１０…ＣＰＵ、１１…入出力管理部、１２…露出補正部、１３…色補正部、１４…超解像学習モデル管理部、１５…超解像処理部、２０…メモリー、２１…入力画像保持部、２２…露出補正係数保持部、２３…色補正係数保持部、２４…超解像学習モデル保持部、２５…超解像パラメーター保持部、２６…超解像結果保持部、２７…画像処理プログラム保持部、３１…画像取得条件設定部、３２…画像出力部、３３…メモリー、５１…センサー制御部、５２…光源制御部、５３…データバッファー、５４…センサーユニット、５５…光源、Ｆｉｌｍ－ｎ，Ｆｉｌｍ－ｐ…領域、ＳＣ…画像処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】