知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025143757
(43)【公開日】2025-10-02
(54)【発明の名称】画像処理装置、及び画像処理システム
(51)【国際特許分類】
G06T 1/00 20060101AFI20250925BHJP
G06T 5/60 20240101ALI20250925BHJP
G06T 3/4015 20240101ALI20250925BHJP
【ＦＩ】
G06T1/00 510
G06T5/60
G06T3/4015
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2024043173
(22)【出願日】2024-03-19
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】新家 健太
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD07
5B057CE02
5B057CE16
5B057DB02
5B057DB06
5B057DB09
5B057DC40
(57)【要約】
【課題】学習用画像がデモザイク後のものであっても、デモザイクに起因する画質劣化が抑制された教師データを得る。
【解決手段】画像処理装置１００は、カラー画像に対し、モザイク処理を施す第１の処理部１１と、前記第１の処理部１１で処理された画像に対し、第１のデモザイク処理を施す第２の処理部１２と、を有し、前記第２の処理部１２で処理された画像に基づいて、モデルの学習に用いる教師データを生成する。
【選択図】図３
【解決手段】画像処理装置１００は、カラー画像に対し、モザイク処理を施す第１の処理部１１と、前記第１の処理部１１で処理された画像に対し、第１のデモザイク処理を施す第２の処理部１２と、を有し、前記第２の処理部１２で処理された画像に基づいて、モデルの学習に用いる教師データを生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
カラー画像に対し、モザイク処理を施す第１の処理手段と、
前記第１の処理手段で処理された画像に対し、第１のデモザイク処理を施す第２の処理手段と、
前記第２の処理手段で処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成手段と、
を有することを特徴とする画像処理装置。
前記第１の処理手段で処理された画像に対し、第１のデモザイク処理を施す第２の処理手段と、
前記第２の処理手段で処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記モザイク処理は、所定の画素を間引くことで、所定のカラー配列からなる１チャネルの画像を生成する処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする請求項１に記載の画像処理装置。
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記カラー画像は、デモザイク処理された画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記第１のデモザイク処理は、デモザイク処理に起因する画像劣化を抑制する処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記画像劣化は、偽色、モアレ、及びジッパーノイズのうちの少なくとも何れか１つを含むことを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記教師データを用いて前記モデルの学習を行う学習手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記第１の処理手段で処理された画像に対し、前記第１のデモザイク処理とは異なる第２のデモザイク処理を施す第３の処理手段と、
前記第３の処理手段で処理された画像に基づいて、前記モデルの学習に用いる入力画像を生成する第２の生成手段と、
を更に有し、
前記学習手段は、前記入力画像と前記教師データを用いて前記モデルの学習を行うことを特徴とする請求項７に記載の画像処理装置。
前記第３の処理手段で処理された画像に基づいて、前記モデルの学習に用いる入力画像を生成する第２の生成手段と、
を更に有し、
前記学習手段は、前記入力画像と前記教師データを用いて前記モデルの学習を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項9】
前記第１のデモザイク処理は、深層学習モデルを利用した処理であり、
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする請求項８に記載の画像処理装置。
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする請求項８に記載の画像処理装置。
【請求項10】
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする請求項８に記載の画像処理装置。
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする請求項８に記載の画像処理装置。
【請求項11】
前記第３の処理手段は、前記第２のデモザイク処理を施す前に、前記第１の処理手段で処理された画像に対し、ノイズを付加することを特徴とする請求項８に記載の画像処理装置。
【請求項12】
請求項８に記載の画像処理装置を含む画像処理システムであって、
撮像素子により撮像を行ってモザイク画像を生成する撮像手段と、
前記モザイク画像に対し、前記第２のデモザイク処理と同一の処理を施す第４の処理手段と、
前記第４の処理手段で処理された画像と前記学習手段で学習済みの前記モデルを用いて推論を行う推論手段と、
を有することを特徴とする画像処理システム。
撮像素子により撮像を行ってモザイク画像を生成する撮像手段と、
前記モザイク画像に対し、前記第２のデモザイク処理と同一の処理を施す第４の処理手段と、
前記第４の処理手段で処理された画像と前記学習手段で学習済みの前記モデルを用いて推論を行う推論手段と、
を有することを特徴とする画像処理システム。
【請求項13】
前記第１のデモザイク処理は、深層学習モデルを利用した処理であり、
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする請求項１２に記載の画像処理システム。
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする請求項１２に記載の画像処理システム。
【請求項14】
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第４の処理手段は、前記第２のデモザイク処理と同一の処理を施した画像に対し、前記第１の画像処理と同一の処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする請求項１２に記載の画像処理システム。
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第４の処理手段は、前記第２のデモザイク処理と同一の処理を施した画像に対し、前記第１の画像処理と同一の処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする請求項１２に記載の画像処理システム。
【請求項15】
カラー画像に対し、モザイク処理を施す第１の処理ステップと、
前記第１の処理ステップで処理された画像に対し、第１のデモザイク処理を施す第２の処理ステップと、
前記第２の処理ステップで処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成ステップと、
を含むことを特徴とする画像処理方法。
前記第１の処理ステップで処理された画像に対し、第１のデモザイク処理を施す第２の処理ステップと、
前記第２の処理ステップで処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項16】
コンピュータを、請求項１に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理に関する。
【背景技術】
【0002】
デジタルカメラ等の撮像装置が被写体から色情報を取得する方法として、撮像素子にカラーフィルタをかけ、画素位置によって取得する色を異ならせる単板式が用いられる。単板式では、撮像素子からのＲＡＷ画像をＲＧＢの３チャンネルからなるカラー画像へ変換する処理をデモザイクと呼ぶ。デモザイクの課題として、偽色やモアレ、ジッパーノイズといった画質劣化の発生が挙げられる。非特許文献１には、深層学習を利用してデモザイク時の画像劣化を抑制する技術が記載されている。また、近年では深層学習を利用した高性能な画像処理技術が多く提案されている。特許文献１には、教師データ用の画像と、それに人工的にノイズを付与してからデジタルゲインをかけた画像をセットにした学習データを用いて、ノイズ低減を学習する技術が記載されている。このような深層学習を利用した技術では、一般に大量の学習用画像が必要とされる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２３－４１３７５号公報
【非特許文献】
【0004】
【非特許文献1】Ｍ． Ｇｈａｒｂｉ ｅｔ ａｌ，“Ｄｅｅｐ ｊｏｉｎｔ ｄｅｍｏｓａｉｃｋｉｎｇ ａｎｄ ｄｅｎｏｉｓｉｎｇ”，［ｏｎｌｉｎｅ］，［令和６年３月６日検索］，＜ｈｔｔｐｓ：／／ｇｒｏｕｐｓ．ｃｓａｉｌ．ｍｉｔ．ｅｄｕ／ｇｒａｐｈｉｃｓ／ｄｅｍｏｓａｉｃｎｅｔ／ｄａｔａ／ｄｅｍｏｓａｉｃ．ｐｄｆ＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
学習用画像として撮像装置やインターネットを通じて収集された画像には、デモザイクに起因する画質劣化が含まれる。これを教師データとしてモデルの学習に用いると、当該モデルからの出力画像にはデモザイクに起因する画質劣化が含まれてしまう。しかしながら、非特許文献１を含めデモザイク時の画質劣化を抑制する技術では、デモザイク前の画像（ＲＡＷ画像）を対象としている。一方で学習用画像として収集された画像は通常デモザイク後の画像であるため、非特許文献１を含めデモザイク時の画質劣化を抑制する技術を学習用画像に適用しても、デモザイクに起因する画質劣化が抑制された教師データを得ることはできない。
【0006】
そこで本発明は、学習用画像がデモザイク後のものであっても、デモザイクに起因する画質劣化が抑制された教師データを得ることを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像処理装置は、カラー画像に対し、モザイク処理を施す第１の処理手段と、前記第１の処理手段で処理された画像に対し、第１のデモザイク処理を施す第２の処理手段と、前記第２の処理手段で処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成手段と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、学習用画像がデモザイク後のものであっても、デモザイクに起因する画質劣化が抑制された教師データを得ることができる。
【図面の簡単な説明】
【0009】
【図1】画像処理装置の内部構成例を示す図である。
【図2】カラー配列の例を示す図である。
【図3】画像処理装置の実行する処理を示すフローチャートである。
【図4】画像処理システムの装置構成例を示す図である。
【図5】システム内の各装置の機能構成例を示す図である。
【図6A】画像処理システムの実行する処理を示すフローチャートである。
【図6B】画像処理システムの実行する処理を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明に係る各実施形態を、図面を参照しながら説明する。
【0011】
［実施形態１］
本実施形態では、収集された学習用画像から教師データを生成する方法について説明する。学習用画像は、デモザイク後の画像である。学習用画像には、デモザイクに起因する画質劣化が含まれている。以下、学習用画像を、カラー画像という。本実施形態では、カラー画像に対してモザイク処理を施して生成されたモザイク画像に対し、高品質なデモザイク処理を施すことで、教師データを生成する。
本実施形態では、収集された学習用画像から教師データを生成する方法について説明する。学習用画像は、デモザイク後の画像である。学習用画像には、デモザイクに起因する画質劣化が含まれている。以下、学習用画像を、カラー画像という。本実施形態では、カラー画像に対してモザイク処理を施して生成されたモザイク画像に対し、高品質なデモザイク処理を施すことで、教師データを生成する。
【0012】
図１を用いて、本実施形態に係る画像処理装置の構成について説明する。
図１（ａ）は、画像処理装置１００のハードウェア構成例を示す。画像処理装置１００は、ＣＰＵ１０１、ＧＰＵ１０２、ＲＡＭ１０３、ＲＯＭ１０４、及びＨＤＤ１０５を有する。これら各部は、バス１０６を介して相互に接続されている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、画像処理装置１００の全体を制御する。ＣＰＵ１０１は、ＣＰＵ１０１と共にＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２を用いて各種の処理を実行してもよい。ＣＰＵ１０１がＲＯＭ１０４等に記憶されたプログラムを読み出してＲＡＭ１０３に展開した上で実行することにより、後述するフローチャートの処理が実現する。ＲＡＭ１０３は、揮発性メモリであり、画像や各種の処理の実行結果を一時的に記憶する。ＲＯＭ１０４は、不揮発性メモリであり、プログラムや各種のデータを記憶する。ＨＤＤ（ハードディスクドライブ）１０５は、書き換え可能な二次記憶装置であり、プログラム、モデルパラメータ、収集された学習用画像、生成された教師データなどを記憶する。
図１（ａ）は、画像処理装置１００のハードウェア構成例を示す。画像処理装置１００は、ＣＰＵ１０１、ＧＰＵ１０２、ＲＡＭ１０３、ＲＯＭ１０４、及びＨＤＤ１０５を有する。これら各部は、バス１０６を介して相互に接続されている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、画像処理装置１００の全体を制御する。ＣＰＵ１０１は、ＣＰＵ１０１と共にＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２を用いて各種の処理を実行してもよい。ＣＰＵ１０１がＲＯＭ１０４等に記憶されたプログラムを読み出してＲＡＭ１０３に展開した上で実行することにより、後述するフローチャートの処理が実現する。ＲＡＭ１０３は、揮発性メモリであり、画像や各種の処理の実行結果を一時的に記憶する。ＲＯＭ１０４は、不揮発性メモリであり、プログラムや各種のデータを記憶する。ＨＤＤ（ハードディスクドライブ）１０５は、書き換え可能な二次記憶装置であり、プログラム、モデルパラメータ、収集された学習用画像、生成された教師データなどを記憶する。
【0013】
図１（ｂ）は、画像処理装置１００の機能構成例を示す。画像処理装置１００は、ＣＰＵ１０１がＲＯＭ１０４等に記憶されたプログラムを実行することにより、第１の処理部１１、第２の処理部１２、及び学習部１３として機能する。
記憶部１０は、収集された大量の学習用画像を記憶する。学習用画像は、ＲＧＢの３チャネルからなるカラー画像である。カラー画像の収集方法は、どのような方法でもよく、一般的なＣＭＯＳセンサを搭載した撮像装置を用いて収集してもよく、インターネットなどを通じて収集してもよい。なお、記憶部１０としては、ＨＤＤ１０５を用いてもよく、外部の記憶装置を用いても構わない。
記憶部１０は、収集された大量の学習用画像を記憶する。学習用画像は、ＲＧＢの３チャネルからなるカラー画像である。カラー画像の収集方法は、どのような方法でもよく、一般的なＣＭＯＳセンサを搭載した撮像装置を用いて収集してもよく、インターネットなどを通じて収集してもよい。なお、記憶部１０としては、ＨＤＤ１０５を用いてもよく、外部の記憶装置を用いても構わない。
【0014】
第１の処理部１１は、記憶部１０からカラー画像を取得し、取得したカラー画像にモザイク処理を施すことで、モザイク画像を生成する。本実施形態において、モザイク処理は、間引き処理である。具体的には、第１の処理部１１は、カラー画像から所定の画素を間引くことで、ＲＡＷ画像を模した所定のカラー配列からなる１チャネルの画像を生成する。図２は、間引き処理に用いるカラー配列の例を示す。図２に示すように、カラー配列としては、左上から右下にかけてＲ、Ｇ、Ｇ、Ｂが並んだ２×２のパターンを基本単位とするベイヤー配列が挙げられる。第１の処理部１１は、モザイク画像を第２の処理部１２に出力する。
【0015】
第２の処理部１２は、第１の処理部１１から出力されたモザイク画像に、高品質なデモザイク処理を施す。具体的には、第２の処理部１２は、モザイク画像に対し、偽色やモアレ、ジッパーノイズといったデモザイクに起因する画質劣化の発生を抑制するための、高品質なデモザイク処理を施す。高品質なデモザイク処理には、深層学習モデルを利用する。例えば、非特許文献１に記載の技術を用いる。また、第２の処理部１２は、高品質なデモザイク処理後の画像（以下、デモザイク画像という）に対し、所定の画像処理を施す。第２の処理部１２は、デモザイク画像に所定の画像処理を施した画像を教師データとして、学習部１３に出力する。
学習部１３は、第２の処理部１２から出力された教師データを用いて画像を出力するモデルの学習を行う。
学習部１３は、第２の処理部１２から出力された教師データを用いて画像を出力するモデルの学習を行う。
【0016】
なお、第１の処理部１１は、モザイク処理の前に、カラー画像に対して画像処理を施す。この画像処理は、第２の処理部１２でデモザイク画像に対して所定の画像処理が施された画像を、当該所定の画像処理前の状態に変換する処理（以下、逆画像処理という）である。ここで、第２の処理部１２でデモザイク画像に対して施される所定の画像処理は、第１の画像処理の例である。第１の処理部１１でモザイク画像に対し施される逆画像処理は、第２の画像処理の例である。
【0017】
図３は、本実施形態に係る画像処理装置１００の実行する処理を示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。
Ｓ３０１において、ＣＰＵ１０１は、記憶部１０からカラー画像を取得し、取得したカラー画像に対し逆画像処理を施す。
Ｓ３０２において、ＣＰＵ１０１は、Ｓ３０１で逆画像処理が施されたカラー画像に対し、間引き処理を施して、モザイク画像を生成する。
Ｓ３０３において、ＣＰＵ１０１は、Ｓ３０２で生成したモザイク画像に対し、前述の高品質なデモザイク処理を施して、デモザイク画像を生成する。
Ｓ３０１において、ＣＰＵ１０１は、記憶部１０からカラー画像を取得し、取得したカラー画像に対し逆画像処理を施す。
Ｓ３０２において、ＣＰＵ１０１は、Ｓ３０１で逆画像処理が施されたカラー画像に対し、間引き処理を施して、モザイク画像を生成する。
Ｓ３０３において、ＣＰＵ１０１は、Ｓ３０２で生成したモザイク画像に対し、前述の高品質なデモザイク処理を施して、デモザイク画像を生成する。
【0018】
Ｓ３０４において、ＣＰＵ１０１は、Ｓ３０３で生成したデモザイク画像に対し、ガンマ補正、色変換、明るさ補正、コントラスト補正などの画像処理を施す。ここで、Ｓ３０１において施された逆画像処理は、本ステップで適用する画像処理に対して、厳密にもしくは近似的に逆写像の関係となるようにする。本ステップにおいて、ＣＰＵ１０１が、例えば、画素値を２倍にする明るさ補正を実行し、続けて画素値を１／２．２乗するガンマ補正を実行するとする。この場合、Ｓ３０１では、ＣＰＵ１０１は、まず画素値を２．２乗するデガンマ補正を実行し、続けて画素値を０．５倍にする明るさ補正を実行する。
以上のようにして、ＣＰＵ１０１は、記憶部１０に記憶されるカラー画像から、教師データを生成する。
ＣＰＵ１０１は、記憶部１０に記憶される大量のカラー画像に対し、Ｓ３０１～Ｓ３０４の処理を実行することで、大量の教師データを生成する。
以上のようにして、ＣＰＵ１０１は、記憶部１０に記憶されるカラー画像から、教師データを生成する。
ＣＰＵ１０１は、記憶部１０に記憶される大量のカラー画像に対し、Ｓ３０１～Ｓ３０４の処理を実行することで、大量の教師データを生成する。
【0019】
Ｓ３０５において、ＣＰＵ１０１は、生成された大量の教師データを用いて、画像を出力するモデルの学習を実行する。学習は、デモザイクに起因する画質劣化の低減を目的としてもよく、他の主目的に付随してデモザイクに起因する画質劣化を抑制するものであってもよい。つまり、教師データを正解画像としてそのペアとされる入力画像は、教師データの元になったカラー画像そのものでもよく、当該カラー画像を加工した画像であってもよい。例えば、学習は入力画像のノイズ低減を主目的とする画像変換学習であってもよく、写実的な画像の生成を主目的とする画像生成学習であってもよい。その後本フローチャートの処理が終了する。
【0020】
以上のような本実施形態によれば、収集された学習用画像がデモザイク後のものであっても、学習用画像に対しモザイク処理と、高品質なデモザイク処理を施すことで、デモザイクに起因する画質劣化が抑制された教師データを生成することができる。このようにして生成された教師データを用いて、モデルの学習を実行することで、出力画像におけるデモザイクに起因する画像劣化の発生を抑制できる。
【0021】
［実施形態２］
本実施形態では、学習用画像を用いて、デモザイクに起因する画質劣化と、入力画像のノイズとを共に低減した画像を出力するモデルの学習を行い、その学習済みモデルで撮像画像の推論を行う方法について説明する。なお、実施形態１と重複する説明は省略する。
本実施形態では、学習用画像を用いて、デモザイクに起因する画質劣化と、入力画像のノイズとを共に低減した画像を出力するモデルの学習を行い、その学習済みモデルで撮像画像の推論を行う方法について説明する。なお、実施形態１と重複する説明は省略する。
【0022】
図４は、本実施形態に係る画像処理システムの装置構成例を示す。
本実施形態に係る画像処理システムは、画像処理装置１００と、撮像装置２００と、推論装置３００を含む。実施形態２の画像処理装置１００のハードウェア構成は、実施形態１の画像処理装置１００と同様であるため、説明を省略する。なお、本実施形態では、画像処理装置１００と、撮像装置２００と、推論装置３００が、別々の装置として構成されているが、一部の装置又は全部の装置が、一体的に構成されていてもよい。
本実施形態に係る画像処理システムは、画像処理装置１００と、撮像装置２００と、推論装置３００を含む。実施形態２の画像処理装置１００のハードウェア構成は、実施形態１の画像処理装置１００と同様であるため、説明を省略する。なお、本実施形態では、画像処理装置１００と、撮像装置２００と、推論装置３００が、別々の装置として構成されているが、一部の装置又は全部の装置が、一体的に構成されていてもよい。
【0023】
撮像装置２００は、ＣＰＵ２０１、通信Ｉ／Ｆ部２０２、ＲＡＭ２０３、ＲＯＭ２０４、撮像素子２０６、及び光学系２０７を備える。これら各部は、バス２０５を介して相互に接続されている。ＣＰＵ２０１は、撮像装置２００の全体を制御する。ＣＰＵ２０１がＲＯＭ２０４等に記憶されたプログラムを読み出してＲＡＭ２０３に展開した上で実行することにより、後述する撮像装置２００によるフローチャートの処理が実現する。ＲＡＭ２０３は、画像や各種の処理の実行結果を一時的に記憶する。ＲＯＭ２０４は、プログラムや各種のデータを記憶する。通信Ｉ／Ｆ部２０２は、外部装置との間で通信を行うためのインターフェースである。撮像装置２００は、通信Ｉ／Ｆ部２０２を介して、推論装置３００に対し撮像画像を送信する。撮像素子２０６は、光学系２０７を通過してきた光を画像信号に変換する。ＣＰＵ２０１は、撮像素子２０６により変換された画像信号から、撮像画像を生成する。
【0024】
推論装置３００は、ＣＰＵ３０１、ＧＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５、及び通信Ｉ／Ｆ部３０６を有する。これら各部は、バス３０７を介して相互に接続されている。ＣＰＵ３０１は、推論装置３００の全体を制御する。ＣＰＵ３０１は、ＣＰＵ３０１と共にＧＰＵ３０２を用いて各種の処理を実行してもよい。ＣＰＵ３０１がＲＯＭ３０４等に記憶されたプログラムを読み出してＲＡＭ３０３に展開した上で実行することにより、後述する推論装置３００によるフローチャートの処理が実現する。ＲＡＭ３０３は、画像や各種の処理の実行結果を一時的に記憶する。ＲＯＭ３０４は、プログラムや各種のデータを記憶する。ＨＤＤ３０５は、プログラム、画像処理装置１００で学習済みのモデルのモデルパラメータ、撮像装置２００から受信した撮像画像などを記憶する。通信Ｉ／Ｆ部３０６は、外部装置との間で通信を行うためのインターフェースである。ＣＰＵ３０１は、通信Ｉ／Ｆ部３０６を介して、撮像装置２００から撮像画像を受信する。
【0025】
図５は、画像処理システムの各装置の機能構成例を示す。画像処理装置１００は、ＣＰＵ１０１がＲＯＭ１０４等に記憶されたプログラムを実行することにより、図５に示す各機能部として機能する。撮像装置２００は、ＣＰＵ２０１がＲＯＭ２０４等に記憶されたプログラムを実行することにより、図５に示す各機能部として機能する。推論装置３００は、ＣＰＵ３０１がＲＯＭ３０４等に記憶されたプログラムを実行することにより、図５に示す各機能部として機能する。なお、図５に示す画像処理装置１００の各機能部のうち、実施形態１で説明したのと同様のものについては、同一の符号を付して説明を省略する。
【0026】
画像処理装置１００は、記憶部１０、第１の処理部１１、第２の処理部１２、学習部１３、第３の処理部１５、及び第１のモデル記憶部１６を有する。記憶部１０と第１のモデル記憶部１６としては、ＨＤＤ１０５を用いる。
第３の処理部１５は、第１の処理部１１で生成されたモザイク画像に対し、撮像装置２００で発生するノイズを模した人工ノイズを付加する。人工ノイズの生成方法は、例えば特許文献１に記載の方法に則ればよい。
第３の処理部１５は、第１の処理部１１で生成されたモザイク画像に対し、撮像装置２００で発生するノイズを模した人工ノイズを付加する。人工ノイズの生成方法は、例えば特許文献１に記載の方法に則ればよい。
【0027】
また、第３の処理部１５は、人工ノイズが付加されたモザイク画像に、軽量なデモザイク処理を施す。軽量なデモザイク処理は、第２の処理部１２で実行される高品質なデモザイク処理に比べ、偽色やモアレ、ジッパーノイズといったデモザイクに起因する画質劣化が生じやすいという特徴を持つ。軽量なデモザイク処理は、例えばルールベースの処理としてもよい。ルールベースの処理としては、ルックアップテーブル（ＬＵＴ）などを用いる。この場合、例えば、入力データと出力データとの関係を予めＬＵＴとして作成し、装置のメモリに格納しておけばよい。第３の処理部１５は、人工ノイズが付加されたモザイク画像に対し、ＬＵＴを参照して処理を行い、軽量なデモザイク処理後の画像として出力する。高品質なデモザイク処理は、第１のデモザイク処理の例である。軽量なデモザイク処理は、第２のデモザイク処理の例である。
また、第３の処理部１５は、軽量なデモザイク処理後の画像に対し、ガンマ補正、色変換、明るさ補正、コントラスト補正などの所定の画像処理を施す。ここでの所定の画像処理は、第２の処理部１２でデモザイク画像に対して施される所定の画像処理（第１の画像処理）と同じである。
第１のモデル記憶部１６は、学習部１３で学習された学習済みモデルのモデルパラメータを記憶する。
また、第３の処理部１５は、軽量なデモザイク処理後の画像に対し、ガンマ補正、色変換、明るさ補正、コントラスト補正などの所定の画像処理を施す。ここでの所定の画像処理は、第２の処理部１２でデモザイク画像に対して施される所定の画像処理（第１の画像処理）と同じである。
第１のモデル記憶部１６は、学習部１３で学習された学習済みモデルのモデルパラメータを記憶する。
【0028】
撮像装置２００は、撮像部２０、第４の処理部２１、及び送信部２２を有する。
撮像部２０は、光学系２０７を通過してきた光をＣＭＯＳ等の撮像素子２０６で信号へ変換して画像として出力する。撮像部２０から出力された画像は、ＲＡＷ画像であり、モザイク画像である。
第４の処理部２１は、撮像部２０から出力された画像に、軽量なデモザイク処理を施す。第４の処理部２１で実行される軽量なデモザイク処理は、第３の処理部１５で実行される軽量なデモザイク処理と同一である。なお、ここでの同一は略同一を含む。また、第４の処理部２１は、軽量なデモザイク処理後の画像に対し、ガンマ補正、色変換、明るさ補正、コントラスト補正などの所定の画像処理を施す。ここでの所定の画像処理は、第２の処理部１２でデモザイク画像に対して施される所定の画像処理（第１の画像処理）と同一である。なお、ここでの同一は略同一を含む。第４の処理部２１は、軽量なデモザイク処理後の画像に所定の画像処理を施した画像を、撮像画像として送信部２２に出力する。
送信部２２は、通信Ｉ／Ｆ部２０２を用いて、第４の処理部２１から出力された撮像画像を推論装置３００へ送信する。なお、送信部２２は、ＳＤＩケーブル等を経由して送信してもよく、無線通信やインターネット通信を介して送信してもよい。
撮像部２０は、光学系２０７を通過してきた光をＣＭＯＳ等の撮像素子２０６で信号へ変換して画像として出力する。撮像部２０から出力された画像は、ＲＡＷ画像であり、モザイク画像である。
第４の処理部２１は、撮像部２０から出力された画像に、軽量なデモザイク処理を施す。第４の処理部２１で実行される軽量なデモザイク処理は、第３の処理部１５で実行される軽量なデモザイク処理と同一である。なお、ここでの同一は略同一を含む。また、第４の処理部２１は、軽量なデモザイク処理後の画像に対し、ガンマ補正、色変換、明るさ補正、コントラスト補正などの所定の画像処理を施す。ここでの所定の画像処理は、第２の処理部１２でデモザイク画像に対して施される所定の画像処理（第１の画像処理）と同一である。なお、ここでの同一は略同一を含む。第４の処理部２１は、軽量なデモザイク処理後の画像に所定の画像処理を施した画像を、撮像画像として送信部２２に出力する。
送信部２２は、通信Ｉ／Ｆ部２０２を用いて、第４の処理部２１から出力された撮像画像を推論装置３００へ送信する。なお、送信部２２は、ＳＤＩケーブル等を経由して送信してもよく、無線通信やインターネット通信を介して送信してもよい。
【0029】
推論装置３００は、受信部３１、推論部３２、及び第２のモデル記憶部３３を有する。
受信部３１は、通信Ｉ／Ｆ部３０６を用いて、撮像装置２００から送信された撮像画像を受信する。なお、受信部３１は、ＳＤＩケーブル等を経由して受信してもよく、無線通信やインターネット通信を介して受信してもよい。
推論部３２は、受信部３１で受信した撮像画像を、第２のモデル記憶部３３に記憶されるモデルパラメータによる学習済みモデルに入力することで、推論処理を実行する。
第２のモデル記憶部３３は、画像処理装置１００の学習部１３で学習された学習済みモデルのモデルパラメータを記憶する。
受信部３１は、通信Ｉ／Ｆ部３０６を用いて、撮像装置２００から送信された撮像画像を受信する。なお、受信部３１は、ＳＤＩケーブル等を経由して受信してもよく、無線通信やインターネット通信を介して受信してもよい。
推論部３２は、受信部３１で受信した撮像画像を、第２のモデル記憶部３３に記憶されるモデルパラメータによる学習済みモデルに入力することで、推論処理を実行する。
第２のモデル記憶部３３は、画像処理装置１００の学習部１３で学習された学習済みモデルのモデルパラメータを記憶する。
【0030】
図６Ａ及び図６Ｂは、本実施形態に係る画像処理システムの実行する処理を示すフローチャートである。まず、図６Ａのフローチャートを用いて、画像処理装置１００の実行する処理について説明する。
Ｓ６０１～Ｓ６０３の処理は、図３のＳ３０１～Ｓ３０３と同様である。
Ｓ６０４において、ＣＰＵ１０１は、Ｓ６０２で生成したモザイク画像に対し、人工ノイズを付加する。
Ｓ６０５において、ＣＰＵ１０１は、Ｓ６０３で人工ノイズが付加された画像に対し、前述の軽量なデモザイク処理を施す。
Ｓ６０４～Ｓ６０５の処理は、Ｓ６０３と並行して実行される。
Ｓ６０１～Ｓ６０３の処理は、図３のＳ３０１～Ｓ３０３と同様である。
Ｓ６０４において、ＣＰＵ１０１は、Ｓ６０２で生成したモザイク画像に対し、人工ノイズを付加する。
Ｓ６０５において、ＣＰＵ１０１は、Ｓ６０３で人工ノイズが付加された画像に対し、前述の軽量なデモザイク処理を施す。
Ｓ６０４～Ｓ６０５の処理は、Ｓ６０３と並行して実行される。
【0031】
Ｓ６０６の処理は、Ｓ３０４の処理と同様であるが、処理対象にＳ６０３の処理を適用した画像と、Ｓ６０４～Ｓ６０５の処理を適用した画像の両方が含まれる点が異なる。
Ｓ６０７の処理は、Ｓ３０５の処理とは、Ｓ６０３の処理を経由した画像を教師データとして学習する点は同様であるが、Ｓ６０４～Ｓ６０５の処理を経由した画像を入力画像とし、当該入力画像から教師データへの変換を学習する。Ｓ６０７の処理により、ＨＤＤ１０５には、Ｓ６０７で学習された学習済みのモデルが記憶される。
Ｓ６０８において、ＨＤＤ１０５に記憶された学習済みモデルが、推論装置３００のＨＤＤ３０５へとコピーされる。コピーは、例えば外部の記憶装置を介して実行されてもよく、ネットワークを介して実行されてもよい。
以上で図６Ａのフローチャートの処理が終了する。
Ｓ６０７の処理は、Ｓ３０５の処理とは、Ｓ６０３の処理を経由した画像を教師データとして学習する点は同様であるが、Ｓ６０４～Ｓ６０５の処理を経由した画像を入力画像とし、当該入力画像から教師データへの変換を学習する。Ｓ６０７の処理により、ＨＤＤ１０５には、Ｓ６０７で学習された学習済みのモデルが記憶される。
Ｓ６０８において、ＨＤＤ１０５に記憶された学習済みモデルが、推論装置３００のＨＤＤ３０５へとコピーされる。コピーは、例えば外部の記憶装置を介して実行されてもよく、ネットワークを介して実行されてもよい。
以上で図６Ａのフローチャートの処理が終了する。
【0032】
次に、図６Ｂのフローチャートを用いて、撮像装置２００と推論装置３００の実行する処理について説明する。Ｓ６１１～Ｓ６１４は、撮像装置２００による処理である。
Ｓ６１１において、ＣＰＵ２０１は、撮像素子２０６及び光学系２０７を用いて、撮像を行う。本ステップでは、モザイク画像が出力される。
Ｓ６１２において、ＣＰＵ２０１は、Ｓ６１１で出力されたモザイク画像に対し、軽量なデモザイク処理を施す。ここで軽量なデモザイク処理は、Ｓ６０５の処理と同一である。
Ｓ６１３において、ＣＰＵ２０１は、Ｓ６１２で軽量なモザイク処理が施された画像に対し、ガンマ補正、色変換、明るさ補正、コントラスト補正などの画像処理を施す。ここでの画像処理は、Ｓ６０６の処理と同一である。
Ｓ６１４において、ＣＰＵ２０１は、Ｓ６１３で画像処理が施された画像を、撮像画像として推論装置３００に送信する。
以上で図６Ｂのフローチャートにおける、撮像装置２００の処理が終了する。
Ｓ６１１において、ＣＰＵ２０１は、撮像素子２０６及び光学系２０７を用いて、撮像を行う。本ステップでは、モザイク画像が出力される。
Ｓ６１２において、ＣＰＵ２０１は、Ｓ６１１で出力されたモザイク画像に対し、軽量なデモザイク処理を施す。ここで軽量なデモザイク処理は、Ｓ６０５の処理と同一である。
Ｓ６１３において、ＣＰＵ２０１は、Ｓ６１２で軽量なモザイク処理が施された画像に対し、ガンマ補正、色変換、明るさ補正、コントラスト補正などの画像処理を施す。ここでの画像処理は、Ｓ６０６の処理と同一である。
Ｓ６１４において、ＣＰＵ２０１は、Ｓ６１３で画像処理が施された画像を、撮像画像として推論装置３００に送信する。
以上で図６Ｂのフローチャートにおける、撮像装置２００の処理が終了する。
【0033】
Ｓ６１５～Ｓ６１６は、推論装置３００による処理である。
Ｓ６１５において、ＣＰＵ３０１は、撮像装置２００から撮像画像を受信する。
Ｓ６１６において、ＣＰＵ３０１は、Ｓ６０８でコピーされた学習済みモデルをＨＤＤ３０５から読み出して、Ｓ６１５で受信した撮像画像を、読み出した学習済みモデルに入力することで推論処理を実行する。
以上で図６Ｂのフローチャートにおける、推論装置３００の処理が終了する。
Ｓ６１５において、ＣＰＵ３０１は、撮像装置２００から撮像画像を受信する。
Ｓ６１６において、ＣＰＵ３０１は、Ｓ６０８でコピーされた学習済みモデルをＨＤＤ３０５から読み出して、Ｓ６１５で受信した撮像画像を、読み出した学習済みモデルに入力することで推論処理を実行する。
以上で図６Ｂのフローチャートにおける、推論装置３００の処理が終了する。
【0034】
以上のような本実施形態によれば、デモザイクに起因する画質劣化を含むデモザイク後の学習用画像を用いて、該画質劣化と入力画像のノイズが共に低減された画像を生成する学習を行い、その学習済みモデルを用いて撮像画像を推論できる。
【0035】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0036】
上述の各実施形態の開示は、以下の構成、方法及びプログラムを含む。
（構成１）
カラー画像に対し、モザイク処理を施す第１の処理手段と、
前記第１の処理手段で処理された画像に対し、第１のデモザイク処理を施す第２の処理手段と、
前記第２の処理手段で処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成手段と、
を有することを特徴とする画像処理装置。
（構成２）
前記モザイク処理は、所定の画素を間引くことで、所定のカラー配列からなる１チャネルの画像を生成する処理であることを特徴とする構成１に記載の画像処理装置。
（構成３）
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記カラー画像は、デモザイク処理された画像であることを特徴とする構成１～３の何れか１つに記載の画像処理装置。
（構成５）
前記第１のデモザイク処理は、デモザイク処理に起因する画像劣化を抑制する処理であることを特徴とする構成１～４の何れか１つに記載の画像処理装置。
（構成６）
前記画像劣化は、偽色、モアレ、及びジッパーノイズのうちの少なくとも何れか１つを含むことを特徴とする構成５に記載の画像処理装置。
（構成７）
前記教師データを用いて前記モデルの学習を行う学習手段を更に有することを特徴とする構成１～６の何れか１つに記載の画像処理装置。
（構成８）
前記第１の処理手段で処理された画像に対し、前記第１のデモザイク処理とは異なる第２のデモザイク処理を施す第３の処理手段と、
前記第３の処理手段で処理された画像に基づいて、前記モデルの学習に用いる入力画像を生成する第２の生成手段と、
を更に有し、
前記学習手段は、前記入力画像と前記教師データを用いて前記モデルの学習を行うことを特徴とする構成７に記載の画像処理装置。
（構成９）
前記第１のデモザイク処理は、深層学習モデルを利用した処理であり、
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする構成８に記載の画像処理装置。
（構成１０）
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする構成８または９に記載の画像処理装置。
（構成１１）
前記第３の処理手段は、前記第２のデモザイク処理を施す前に、前記第１の処理手段で処理された画像に対し、ノイズを付加することを特徴とする構成８～１０の何れか１つに記載の画像処理装置。
（構成１２）
構成８～１１の何れか１つに記載の画像処理装置を含む画像処理システムであって、
撮像素子により撮像を行ってモザイク画像を生成する撮像手段と、
前記モザイク画像に対し、前記第２のデモザイク処理と同一の処理を施す第４の処理手段と、
前記第４の処理手段で処理された画像と前記学習手段で学習済みの前記モデルを用いて推論を行う推論手段と、
を有することを特徴とする画像処理システム。
（構成１３）
前記第１のデモザイク処理は、深層学習モデルを利用した処理であり、
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする構成１２に記載の画像処理システム。
（構成１４）
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第４の処理手段は、前記第２のデモザイク処理と同一の処理を施した画像に対し、前記第１の画像処理と同一の処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする構成１２または１３に記載の画像処理システム。
（方法）
カラー画像に対し、モザイク処理を施す第１の処理ステップと、
前記第１の処理ステップで処理された画像に対し、第１のデモザイク処理を施す第２の処理ステップと、
前記第２の処理ステップで処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成ステップと、
を含むことを特徴とする画像処理方法。
（プログラム）
コンピュータを、構成１～１１の何れか１つに記載の画像処理装置として機能させるためのプログラム。
（構成１）
カラー画像に対し、モザイク処理を施す第１の処理手段と、
前記第１の処理手段で処理された画像に対し、第１のデモザイク処理を施す第２の処理手段と、
前記第２の処理手段で処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成手段と、
を有することを特徴とする画像処理装置。
（構成２）
前記モザイク処理は、所定の画素を間引くことで、所定のカラー配列からなる１チャネルの画像を生成する処理であることを特徴とする構成１に記載の画像処理装置。
（構成３）
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記カラー画像は、デモザイク処理された画像であることを特徴とする構成１～３の何れか１つに記載の画像処理装置。
（構成５）
前記第１のデモザイク処理は、デモザイク処理に起因する画像劣化を抑制する処理であることを特徴とする構成１～４の何れか１つに記載の画像処理装置。
（構成６）
前記画像劣化は、偽色、モアレ、及びジッパーノイズのうちの少なくとも何れか１つを含むことを特徴とする構成５に記載の画像処理装置。
（構成７）
前記教師データを用いて前記モデルの学習を行う学習手段を更に有することを特徴とする構成１～６の何れか１つに記載の画像処理装置。
（構成８）
前記第１の処理手段で処理された画像に対し、前記第１のデモザイク処理とは異なる第２のデモザイク処理を施す第３の処理手段と、
前記第３の処理手段で処理された画像に基づいて、前記モデルの学習に用いる入力画像を生成する第２の生成手段と、
を更に有し、
前記学習手段は、前記入力画像と前記教師データを用いて前記モデルの学習を行うことを特徴とする構成７に記載の画像処理装置。
（構成９）
前記第１のデモザイク処理は、深層学習モデルを利用した処理であり、
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする構成８に記載の画像処理装置。
（構成１０）
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする構成８または９に記載の画像処理装置。
（構成１１）
前記第３の処理手段は、前記第２のデモザイク処理を施す前に、前記第１の処理手段で処理された画像に対し、ノイズを付加することを特徴とする構成８～１０の何れか１つに記載の画像処理装置。
（構成１２）
構成８～１１の何れか１つに記載の画像処理装置を含む画像処理システムであって、
撮像素子により撮像を行ってモザイク画像を生成する撮像手段と、
前記モザイク画像に対し、前記第２のデモザイク処理と同一の処理を施す第４の処理手段と、
前記第４の処理手段で処理された画像と前記学習手段で学習済みの前記モデルを用いて推論を行う推論手段と、
を有することを特徴とする画像処理システム。
（構成１３）
前記第１のデモザイク処理は、深層学習モデルを利用した処理であり、
前記第２のデモザイク処理は、ルールベースの処理であることを特徴とする構成１２に記載の画像処理システム。
（構成１４）
前記第１の生成手段は、前記第２の処理手段で処理された画像に対し、第１の画像処理を施し、
前記第２の生成手段は、前記第３の処理手段で処理された画像に対し、前記第１の画像処理を施し、
前記第４の処理手段は、前記第２のデモザイク処理と同一の処理を施した画像に対し、前記第１の画像処理と同一の処理を施し、
前記第１の処理手段は、前記カラー画像に対し、モザイク処理を施す前に、前記第１の画像処理を施した画像を前記第１の画像処理前の状態に変換する第２の画像処理を施すことを特徴とする構成１２または１３に記載の画像処理システム。
（方法）
カラー画像に対し、モザイク処理を施す第１の処理ステップと、
前記第１の処理ステップで処理された画像に対し、第１のデモザイク処理を施す第２の処理ステップと、
前記第２の処理ステップで処理された画像に基づいて、モデルの学習に用いる教師データを生成する第１の生成ステップと、
を含むことを特徴とする画像処理方法。
（プログラム）
コンピュータを、構成１～１１の何れか１つに記載の画像処理装置として機能させるためのプログラム。
【符号の説明】
【0037】
１００：画像処理装置、２００：撮像装置、３００：推論装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】