特開 2024-31119 画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031119

(43)【公開日】2024-03-07

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20240229BHJP

   A61B 1/045 20060101ALI20240229BHJP

   G06T 1/40 20060101ALI20240229BHJP

【ＦＩ】

G06T3/40 730

A61B1/045 614

G06T1/40

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022134467

(22)【出願日】2022-08-25

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】大酒 正明

【テーマコード（参考）】

4C161

5B057

【Ｆターム（参考）】

4C161AA00

4C161BB01

4C161CC06

4C161NN05

4C161SS21

4C161TT20

4C161WW20

5B057AA07

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD05

5B057CE06

5B057CE18

5B057DA17

5B057DC40

(57)【要約】

【課題】解像度及び解像感等の画質が向上した超解像画像を生成する画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システムを提供する。
【解決手段】画像処理装置は、複数の原色信号を含むカラー画像を取得し、カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成し、輝度信号画像及び色差信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成し、予測輝度信号画像を用いてカラー画像の解像度を高めた超解像カラー画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
複数の原色信号を含むカラー画像を取得し、
前記カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成し、
前記輝度信号画像及び前記色差信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成し、
前記予測輝度信号画像を用いて前記カラー画像の解像度を高めた超解像カラー画像を生成する画像処理装置。

【請求項2】

前記プロセッサは、
前記色差信号画像に対して前記超解像処理と異なる拡大処理を行うことにより拡大色差信号画像を生成し、
前記予測輝度信号画像と前記拡大色差信号画像とに対して逆変換処理を行うことにより、前記超解像カラー画像を生成する請求項１に記載の画像処理装置。

【請求項3】

前記拡大処理は、単純拡大処理又はアップサンプリング処理である請求項２に記載の画像処理装置。

【請求項4】

前記超解像処理は、畳み込みニューラルネットワークを用いた処理である請求項１又は２に記載の画像処理装置。

【請求項5】

前記超解像処理は、アップサンプリング処理又は逆畳み込み処理を含む請求項１又は２に記載の画像処理装置。

【請求項6】

前記超解像処理は、Ｕ－Ｎｅｔを用いた処理である請求項５に記載の画像処理装置。

【請求項7】

前記プロセッサは、学習済みモデルを備え、
前記学習済みモデルにより前記超解像処理を行う請求項１に記載の画像処理装置。

【請求項8】

前記プロセッサは、学習用モデルを備え、
前記学習用モデルは、予め設定した複数のパラメータを含み、
複数の前記パラメータを更新することにより前記学習済みモデルを生成し、
前記複数のパラメータは、損失値を用いて更新され、
前記損失値は、複数の前記原色信号を含む学習用画像に対して色空間変換処理を行うことにより色変換画像を生成し、前記色変換画像に対して劣化処理を行うことにより学習用輝度信号画像を生成し、引き続き、前記学習用輝度信号画像に基いて前記超解像処理を行うことにより生成した学習用予測輝度信号画像と、前記学習用画像とを比較して得られる請求項７に記載の画像処理装置。

【請求項9】

前記学習済みモデルは、複数のパラメータを含み、
前記複数のパラメータは、損失値を用いて更新され、
前記損失値は、複数の前記原色信号を含む学習用画像に対して色空間変換処理を行うことにより色変換画像を生成し、前記色変換画像に対して劣化処理を行うことにより学習用輝度信号画像を生成し、引き続き、前記学習用輝度信号画像に基いて前記超解像処理を行うことにより生成した学習用予測輝度信号画像と、前記学習用画像とを比較して得られる請求項７に記載の画像処理装置。

【請求項10】

前記超解像処理を行うことによりそれぞれ２つの互いに異なる前記学習用予測輝度信号画像を生成する互いに異なる２つのネットワークを備え、
前記プロセッサは、
２つの前記ネットワークのそれぞれにより得られる前記学習用予測輝度信号画像を用いることにより２つの前記損失値を得て、
２つの前記損失値を用いて複数の前記パラメータを更新する請求項８または９に記載の画像処理装置。

【請求項11】

前記プロセッサは、
前記輝度信号画像と前記色差信号画像とを含む被処理画像に対して一回の前記超解像処理を行う請求項１又は２に記載の画像処理装置。

【請求項12】

内視鏡を用いて撮影された内視鏡画像を前記カラー画像として取得する請求項１又は２に記載の画像処理装置。

【請求項13】

複数の原色信号を含むカラー画像を取得するステップと、
前記カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成するステップと、
前記輝度信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成するステップと、
前記予測輝度信号画像を用いて前記カラー画像の解像度を高めた超解像カラー画像を生成するステップとを含む画像処理方法。

【請求項14】

コンピュータに、
複数の原色信号を含むカラー画像を取得する機能と、
前記カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成する機能と、
前記輝度信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成する機能と、
前記予測輝度信号画像を用いて前記カラー画像の解像度を高めた超解像カラー画像を生成する機能とを実行させる画像処理プログラム。

【請求項15】

被写体を撮影して内視鏡画像を生成する内視鏡と、
前記内視鏡画像を表示するディスプレイと、
プロセッサを有し、前記内視鏡画像の解像度を高めた超解像内視鏡画像を生成する画像処理装置とを備え、
前記プロセッサは、
前記内視鏡画像をカラー画像として取得し、
前記内視鏡画像の解像度を高めた前記超解像内視鏡画像を生成し、
前記ディスプレイに、前記超解像内視鏡画像を表示する制御を行う内視鏡システム。

【請求項16】

前記プロセッサは、前記ディスプレイに前記超解像内視鏡画像を表示し、かつ、表示しているのが前記超解像内視鏡画像であることを示すインジケータとを表示する請求項１５に記載の内視鏡システム。

【請求項17】

前記画像処理装置は、請求項１に記載の画像処理装置である請求項１５又は１６に記載の内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システムに関する。

【背景技術】

【0002】

深層学習を用いた超解像の技術により、解像度が低い画像から推定して、より解像度が高い画像である超解像画像を生成することが可能となっている。超解像画像を生成する深層学習のネットワークとして、敵対的生成ネットワーク（ＧＡＮ、ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ）、Ｕ－Ｎｅｔ等が用いられている。

【0003】

また、医療分野における医療画像に対して超解像を行うことも検討されている。医療画像の超解像画像により、ＣＴ画像を鮮明化して医師の診断を支援する情報を提供すること、病変、細胞等を分類して検査結果の解釈を支援する情報を提供すること等が開発されてきている。

【0004】

例えば、ジェネレータとディスクリミネータとを含む敵対的生成ネットワークを用い、ディスクリミネータのネットワークに限定してセルフアテンション機構を実装して学習した学習済みモデルによる超解像画像生成手法が知られている（特許文献１）。また、Ｕ－Ｎｅｔを用い、学習用画像データと学習用画像データの分類を識別する識別子とを含む学習用データにより学習させた学習済みモデルを生成し、第一の画像データと識別子の確率である分類スコアとに基づいて超解像画像を生成する方法が知られている（特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０２０／１７５４４６号

【特許文献2】特開２０２０－０２４６１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

超解像の技術により生成した超解像画像においては、色の変化、色のずれ、エッジのずれ等が生じることがあった。これらにより、生成した超解像画像において解像感が低下する場合があった。

【0007】

本発明は、解像度及び解像感等の画質が向上した超解像画像を生成する画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の画像処理装置は、プロセッサを備え、プロセッサは、複数の原色信号を含むカラー画像を取得し、カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成し、輝度信号画像及び色差信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成し、予測輝度信号画像を用いてカラー画像の解像度を高めた超解像カラー画像を生成する。

【0009】

プロセッサは、色差信号画像に対して超解像処理と異なる拡大処理を行うことにより拡大色差信号画像を生成し、予測輝度信号画像と拡大色差信号画像とに対して逆変換処理を行うことにより、超解像カラー画像を生成することが好ましい。

【0010】

拡大処理は、単純拡大処理又はアップサンプリング処理であることが好ましい。

【0011】

超解像処理は、畳み込みニューラルネットワークを用いた処理であることが好ましい。

【0012】

超解像処理は、アップサンプリング処理又は逆畳み込み処理を含むことが好ましい。

【0013】

超解像処理は、Ｕ－Ｎｅｔを用いた処理であることが好ましい。

【0014】

プロセッサは、学習済みモデルを備え、学習済みモデルにより超解像処理を行うことが好ましい。

【0015】

プロセッサは、学習用モデルを備え、学習用モデルは、予め設定した複数のパラメータを含み、複数のパラメータを更新することにより学習済みモデルを生成し、複数のパラメータは、損失値を用いて更新され、損失値は、複数の原色信号を含む学習用画像に対して色空間変換処理を行うことにより色変換画像を生成し、色変換画像に対して劣化処理を行うことにより学習用輝度信号画像を生成し、引き続き、学習用輝度信号画像に基いて超解像処理を行うことにより生成した学習用予測輝度信号画像と、学習用画像とを比較して得られることが好ましい。

【0016】

学習済みモデルは、複数のパラメータを含み、複数のパラメータは、損失値を用いて更新され、損失値は、複数の原色信号を含む学習用画像に対して色空間変換処理を行うことにより色変換画像を生成し、色変換画像に対して劣化処理を行うことにより学習用輝度信号画像を生成し、引き続き、学習用輝度信号画像に基いて超解像処理を行うことにより生成した学習用予測輝度信号画像と、学習用画像とを比較して得られることが好ましい。

【0017】

超解像処理を行うことによりそれぞれ２つの互いに異なる学習用予測輝度信号画像を生成する互いに異なる２つのネットワークを備え、プロセッサは、２つのネットワークのそれぞれにより得られる学習用予測輝度信号画像を用いることにより２つの損失値を得て、２つの損失値を用いて複数のパラメータを更新することが好ましい。

【0018】

プロセッサは、輝度信号画像と色差信号画像とを含む被処理画像に対して一回の超解像処理を行うことが好ましい。

【0019】

内視鏡を用いて撮影された内視鏡画像をカラー画像として取得することが好ましい。

【0020】

本発明の画像処理方法は、複数の原色信号を含むカラー画像を取得するステップと、カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成するステップと、輝度信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成するステップと、予測輝度信号画像を用いてカラー画像の解像度を高めた超解像カラー画像を生成するステップと含む。

【0021】

本発明の画像処理プログラムは、コンピュータに、複数の原色信号を含むカラー画像を取得する機能と、カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成する機能と、輝度信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成する機能と、予測輝度信号画像を用いてカラー画像の解像度を高めた超解像カラー画像を生成する機能とを実行させる。

【0022】

本発明の内視鏡システムは、被写体を撮影して内視鏡画像を生成する内視鏡と、内視鏡画像を表示するディスプレイと、プロセッサを有し、内視鏡画像の解像度を高めた超解像内視鏡画像を生成する画像処理装置とを備え、プロセッサは、内視鏡画像をカラー画像として取得し、内視鏡画像の解像度を高めた超解像内視鏡画像を生成し、ディスプレイに、超解像内視鏡画像を表示する制御を行う。

【0023】

プロセッサは、ディスプレイに超解像内視鏡画像を表示し、かつ、表示しているのが超解像内視鏡画像であることを示すインジケータとを表示することが好ましい。

【0024】

画像処理装置は、上記に記載の画像処理装置であることが好ましい。

【発明の効果】

【0025】

本発明によれば、解像度が向上した超解像画像を生成することができる。

【図面の簡単な説明】

【0026】

【図1】画像処理装置の機能を示すブロック図である。

【図2】画像処理部の機能を示すブロック図である。

【図3】画像処理部の処理の流れを説明する説明図である。

【図4】予測輝度信号生成モデルの処理の流れを説明する説明図である。

【図5】学習部を有する画像処理装置の機能を示すブロック図である。

【図6】学習部の機能を示すブロック図である。

【図7】学習モデルに対する学習を説明する説明図である。

【図8】ビット数を示した予測輝度信号生成モデルの処理の流れを説明する説明図である。

【図9】画像処理部の処理の流れを説明するフローチャートである。

【図10】内視鏡システムの概略図である。

【図11】超解像内視鏡画像の生成について説明する説明図である。

【図12】ディスプレイに表示する超解像内視鏡画像及びインジケータを説明する画像図である。

【発明を実施するための形態】

【0027】

以下、適宜図面を参照しながら実施形態を説明する。まず、以下の実施形態を得るに至った経緯を説明する。近年、多層構造を有するニューラルネットワークを用いる深層学習により、画像とその答えに関するデータがあれば高精度な自動画像認識が可能となった。セグメンテーション分野ではＵ－Ｎｅｔと呼ばれるダウンサンプル処理とアップサンプル処理、スキップコネクションを利用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等により高精度なセグメンテーションが可能となった。また、ＧＡＮと呼ばれる手法によって画像を生成することも可能となった。

【0028】

これらの方法を用いて解像度が低下すること等により劣化した劣化画像をもとに戻す超解像の手法も研究されている。もとに戻すとは、劣化画像において、解像度が低下する以前の解像度が高い状態の画像にすることを意味する。なお、本明細書では、解像度が高いとは、画像における画素数のみならず高周波成分の情報をも含むようにすることを意味する。したがって、解像度が向上するとは、画素数を増加させることのみならず、高周波成分の付与、色ズレ、ノイズの低減等により解像感が増すことを意味する。一方、解像度が低下するとは、画像における画素数が減少すること及び／又は高周波成分の情報が減少すること等により解像感が減少することを意味する。超解像とは、解像度を向上させることをいい、超解像を行う処理を超解像処理といい、超解像処理を行うことにより生成した画像を超解像画像という。また、画質とは解像度を含む画像の質であるとする。

【0029】

例えば、劣化画像をＣＮＮに入力し、劣化前の画像とＣＮＮの出力と比較することで、解像度が向上する高画質化を学習する。しかし、色情報を含んだ画像を用いることで情報量を多くすることはできるが、高解像度化において色ずれ等の問題が生じる場合があった。色ずれ等の問題は、生成した超解像画像において解像度又は解像感を低下させる原因となる場合があった。

【0030】

以下の実施形態では、解像度が向上した超解像画像を生成する画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システムについて説明する。

【0031】

本発明の画像処理装置の基本的な構成の一例について説明する。本発明の画像処理装置は、所定の機能を実現するためのアプリケーションプログラムがインストールされたパーソナルコンピュータ、又はワークステーション等のコンピュータである。コンピュータには、プロセッサであるＣＰＵ（Central Processing Unit）、メモリ、及びストレージ等が備えられ、ストレージ等に記憶されたプログラムにより、各種機能を実現する。また、コンピュータ等には、ネットワーク等により他のコンピュータ等と通信可能とする通信部、ディスプレイ等の表示部、タッチパネル、キーボード等の入力部等が含まれていても良い。

【0032】

図１に示すように、画像処理装置１０は、機能構成部として、画像取得部１１と画像処理部１２と出力部１３とを備える。画像取得部１１は、複数の原色信号を含むカラー画像を取得する機能を有する。画像処理部１２は、画像取得部１１が取得したカラー画像に対して処理を行い、超解像カラー画像を生成する機能を有する。出力部１３は、画像処理部１２が生成した超解像カラー画像を、図示しない記憶部又はディスプレイ等に出力する機能を有する。画像処理装置１０におけるこれらの各機能構成部は、コンピュータを機能させるプログラムとして実現される。

【0033】

画像取得部１１が取得する複数の原色信号を含むカラー画像は、複数の原色信号を含むカラー画像であればいずれであってもよいが、主には赤色信号値ＲからなるＲ画像と緑色信号値ＧからなるＧ画像と青色信号値ＢからなるＢ画像との三色の原色信号を含むＲＧＢ画像である。なお、原色信号はこれらの三色に限らず、別の三色であったり、二色、四色等であってもよい。画像取得部１１には、解像度を向上させたいＲＧＢ画像を取得させる。

【0034】

画像処理部１２は、画像取得部１１が取得したＲＧＢ画像を、解像度を高めた超解像カラー画像とする処理を行う。超解像カラー画像は、Ｒ画像、Ｂ画像、及びＧ画像からなるＲＧＢ画像である。

【0035】

図２に示すように、画像処理部１２は、機能構成部として、色空間変換部２１、予測輝度信号生成部２２、拡大画像生成部２３、及び色空間逆変換部２４を備える。色空間変換部２１は、画像取得部１１が取得したＲＧＢ画像に対し色空間変換処理を行い、ＹＵＶ画像に変換する機能を有する。ＹＵＶ画像は、輝度信号値Ｙによる画像であるＹ画像、並びに色差信号値Ｕ又はＶによる画像であるＵ画像及びＶ画像を含む。予測輝度信号生成部２２は、ＹＵＶ画像を用いて輝度信号画像の超解像画像である予測輝度信号画像を生成する機能を有する。拡大画像生成部２３は、色差信号画像に対し拡大処理を行って、拡大した色差信号画像を生成する機能を有する。色空間逆変換部２４は、予測輝度信号画像と拡大した色差信号画像とをＲＧＢ画像に変換する機能を有する。

【0036】

図３に示すように、画像処理部１２の各機能構成部によるワークフローでは、画像取得部１１が取得した入力ｒｇｂ画像３１は、超解像の処理が行われて超解像ＲＧＢ画像３５となって出力される。超解像ＲＧＢ画像３５は、超解像Ｒ画像３５ａ、超解像Ｇ画像３５ｂ、及び超解像Ｂ画像３５ｃからなる。画像処理部１２は、画像取得部１１が取得した入力ｒｇｂ画像３１を取得する。本実施形態では、入力ｒｇｂ画像３１は、ｒ画像３１ａ、ｇ画像３１ｂ、及びｂ画像３１ｃを含み、それぞれ画素数は５１２×５１２ピクセルである。

【0037】

なお、本明細書において、画像の画素数を示す数値は、単位をピクセルとする。また、Ｒ画像及びｒ画像はそれぞれ赤色信号値Ｒ及びｒによる画像を、Ｇ画像及びｇ画像はそれぞれ緑色信号値Ｇ及びｇによる画像を、Ｂ画像及びｂ画像はそれぞれ青色信号値Ｂ及びｂによる画像を示す。また、Ｒ画像、Ｇ画像、Ｂ画像等の大文字で示す画像は、ｒ画像、ｇ画像、ｂ画像等の小文字で示す画像よりも画素数が大きいものとする。

【0038】

色空間変換部２１は、入力ｒｇｂ画像３１に対し色空間変換処理を行う。色空間変換処理は、ＲＧＢ画像を輝度信号画像と色差信号画像とに変換する処理である。ＲＧＢ画像は、輝度信号画像と色差信号画像とに変換できることが知られている。ＲＧＢ画像は画像の構造を冗長に保存しているため、画像圧縮の分野では、色空間を輝度信号と色差信号とに変換する場合があり、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がその代表である。ＪＰＥＧでは符号化の過程で、ＲＧＢ画像を輝度信号Ｙと色差信号Ｃｂ及びＣｒに変換し、あまり画質に影響しないとされる色差信号Ｃｂ及びＣｒのダウンサンプリングを（Ｙ：Ｃｂ：Ｃｒ）として（４：２：２）等で行い、復号でアップサンプリングを行う。

【0039】

色空間変換部２１は、色空間変換処理の方式として、ＪＰＥＧに用いられている形式の他、各種を用いることができる。本実施形態では、カラーコンポジット映像信号において用いられる方式によりＲＧＢ画像からＹＵＶ画像へ変換する。この方式では、ＲＧＢ画像からＹＵＶ画像への変換は、以下の式（１）から（３）により行うことができる。式（１）から（３）において、ＲはＲＧＢ画像における赤色信号値、ＧはＲＧＢ画像における緑色信号値、ＢはＲＧＢ画像における青色信号値、ＹはＹＵＶ画像における輝度信号値、ＵはＹＵＶ画像におけるＵの色差信号値、ＶはＹＵＶ画像におけるＶの色差信号値でを示す。また、輝度信号値Ｙ、色差信号値Ｕ及びＶは、入力ｒｇｂ画像３１の画素ごとに算出される。なお、ＲＧＢ画像の場合と同様に、Ｙ画像及びｙ画像はそれぞれ輝度信号値Ｙ及びｙによる画像を、Ｕ画像及びｕ画像はそれぞれ色差信号値Ｕ及びｕによる画像を、画Ｖ像及びｖ画像はそれぞれ色差信号値Ｖ及びｖによる画像を示し、Ｙ画像、Ｕ画像、Ｖ画像等の大文字で示す画像は、ｙ画像、ｕ画像、ｖ画像等の小文字で示す画像よりも画素数が大きいものとする。

【0040】

Ｙ＝（0.29900＊Ｒ）＋（0.58700＊Ｇ）＋（0.11400＊Ｂ） （１）
Ｕ＝（-0.14713＊Ｒ）＋（-0.28886＊Ｇ）＋（0.43600＊Ｂ） （２）
Ｖ＝（0.61500＊Ｒ）＋（-0.51499＊Ｇ）＋（-0.10001＊Ｂ） （３）

【0041】

本実施形態では、入力ｒｇｂ画像３１はｒ画像３１ａ、ｇ画像３１ｂ、及びｂ画像３１ｃを含むｒｇｂ画像であるから、入力ｒｇｂ画像３１に対して色空間変換処理を行うことにより得られる輝度信号画像と色差信号画像とは、ｙ画像３２ａとｕ画像３２ｂとｖ画像３２ｃとを含む入力ｙｕｖ画像３２であり、それぞれ５１２×５１２ピクセルである。予測輝度信号生成部２２は、入力ｙｕｖ画像３２を受け取り、これに対して処理を行う。

【0042】

予測輝度信号生成部２２は、輝度信号画像及び色差信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成する。予測輝度信号画像は、輝度信号画像等に対して超解像処理を行うことにより得られる画像であるため、輝度信号画像よりも解像度が高い。本実施形態では、輝度信号画像及び色差信号画像は輝度信号画像であるｙ画像３２ａと色差信号画像であるｕ画像３２ｂとｖ画像３２ｃとを含む入力ｙｕｖ画像３２であり、予測輝度信号画像３３は、ｙ画像３２ａよりも解像度が高いＹ画像３３ａである。ｙ画像３２ａとＹ画像３３ａとは、どちらも輝度信号の画像である。

【0043】

予測輝度信号生成部２２は、予測輝度信号生成モデル４１（図４参照）により予測輝度信号画像３３を生成する。予測輝度信号生成モデル４１は、超解像を行うモデルであればいずれのモデルによるものであっても用いることができるが、生成する予測輝度信号画像３３が良好であることから、ＣＮＮを利用して超解像を行うモデルであることが好ましく、より好ましくは、生成する予測輝度信号画像３３が良好であることから、Ｕ－Ｎｅｔを利用して超解像を行うモデルであることが好ましい。

【0044】

なお、本明細書において、「モデル」とは入力を処理する一連のアルゴリズムをいい、モデルにおいてパラメータ等の調整等のための学習を行っていないもの、モデルの少なくとも一部において学習を行ったもの、モデルにおいて学習を行うことにより一旦学習済みモデルとした後に再度学習済みモデルに対して学習を行うことによりパラメータ等を更新したもの等を含む。「モデル」のうち、「学習済みモデル」とは学習用データ等によりモデルの少なくとも一部において学習を行ったものを特に示す。したがって、「学習済みモデル」には、学習済みモデルに対し再度学習を行うことにより生成したモデルも含む。予測輝度信号生成モデル４１は、学習済みモデルである。予測輝度信号生成モデル４１を学習により生成することについては、後述する。

【0045】

Ｕ－Ｎｅｔは、ＣＮＮを用いたＦＣＮ（fully convolution network）からなるモデルであり、セマンティックセグメンテーションに用いられるが、超解像の実現においても、Ｕ－Ｎｅｔのアーキテクチャーを利用することが知られている（”Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections”CVPR2016,(米)，4/2016，p.210参照）。

【0046】

予測輝度信号生成モデル４１（図４参照）では、エンコーダと折返し層とデコーダとを備えるＵ－Ｎｅｔのアーキテクチャを採用する。エンコーダ及びデコーダは、それぞれ、１つの又は２つ以上の階層からなる中間層を備える。折返し層は、エンコーダにおける最下流の中間層と、デコーダにおける最上流の中間層と接続する。

【0047】

エンコーダの中間層では、入力した画像に対し、複数のカーネルを用いた畳込み処理を行うことにより特徴マップを生成するか、又は、プーリング処理により中間層に入力された特徴マップよりも画素数を削減するダウンサンプリングを行った上で、複数のカーネルを用いた畳込み処理を行うことにより特徴マップを生成する、との処理を行う。したがって、エンコーダにおける処理は、ＣＮＮを用いた処理であると言える。また、プーリング処理は、ダウンサンプリングの一種である。特徴マップは、畳み込み処理において各カーネルにより抽出された、入力した画像の特徴を示す特徴量であり、畳み込み結果の縦横のサイズ、チャンネル数等からなるテンソルである。特徴マップにおいて、縦のサイズ、横のサイズ、チャンネル数をまとめて要素数とする。チャンネルは画像又は畳み込み結果の各画素における色等の構成要素のデータを意味し、チャンネル数は画像又は畳み込み結果の各画素におけるデータの数を示す。なお、畳み込み結果においてサイズは画素数と同じである。畳み込み結果又はテンソルは画像データの一種である。

【0048】

折返し層は、エンコーダとデコーダとの機能を有し、折返し層に入力された特徴マップに含まれる畳み込み結果の縦横のサイズを削減するプーリング処理によるダウンサンプリングを行った上で、複数のカーネルを用いた畳込み処理を行い、その後、逆畳み込み処理により特徴マップに含まれる畳み込み結果の縦横のサイズを増大させるアップサンプリングを行う。なお、折返し層において、特徴量マップに対する情報量削減処理を行ってもよい。情報量削減処理では、情報量を削減するための処理であり、データ型の変換、特徴マップの要素数を削減する等を採用することができる。したがって、情報量は、特徴マップの要素数、ビット数等で表すことができる。特徴マップの要素数は、以下に説明するように、画像、畳み込み結果等の縦のサイズ、横のサイズ、チャンネル数をまとめたものとして表すことができる。ビット数は、要素数とデータ型から求めることができる。

【0049】

デコーダの中間層では、特徴マップに対し、アップサンプリングにより特徴マップに含まれる畳み込み結果の縦横のサイズを増大させる。アップサンプリングの手法としては、画像におけるアップサンプリング処理として用いられる方法を採用することができ、例えば、バイリニア法、バイキュービック法、平均画素法等、及び、逆畳込み処理が挙げられる。アップサンプリングの手法としては、良好な結果が得られることから、逆畳み込み処理を採用することが好ましい。なお、逆畳み込み処理は、処理する特徴マップに含まれる畳み込み結果に対する拡大処理と畳み込み処理とを組み合わせた処理とすることができる。デコーダにおける処理は、畳み込み処理及びプーリング処理の逆の処理を行うことからＣＮＮを用いた処理であると言える。また、デコーダの中間層において特徴マップに対し行われるアップサンプリングは、後に説明する色差信号画像に対して行われる拡大処理において行われるアップサンプリングと、異なる内容の処理であることが好ましい。

【0050】

エンコーダの各中間層では、畳み込み処理等を行う他に、エンコーダの各中間層に対応する階層のデコーダの中間層に、エンコーダの各中間層において生成した特徴マップを渡す。Ｕ－Ｎｅｔでは、エンコーダの中間層から出力される特徴マップをデコーダが利用できるため、非常に精度が高い超解像を実現することができる。したがって、デコーダにおける各階層の中間層の数は、エンコーダの各階層の中間層から特徴マップを受け取ることができるように設定することが好ましく、エンコーダ及びデコーダにおいて、それぞれの中間層の数は同じ数にすることがより好ましい。また、デコーダの中間層がエンコーダの中間層から受け取る特徴マップと、デコーダの中間層が上流の階層の中間層から受けとる特徴マップにおいて、互いに画素数が大きく異ならないようにするために、エンコーダ及びデコーダにおいて対応する階層の各中間層においてダウンサンプリング又はアップサンプリングにより増大又は削減する画素数は、パディング等の有無にもよるが、ほぼ同じ程度とすることが好ましい。また、エンコーダの中間層から渡される特徴マップにおいて、エンコーダからの特徴マップの中央部分等の一部を選択した特徴マップとした上で、デコーダの中間層が受け取るようにしても良い。なお、エンコーダ及びデコーダにおける中間層の階層の数をいくつにするかは場合によって適宜決定する。

【0051】

エンコーダ、デコーダ、及び折返し層において行われる処理において調整可能な項目については、適宜設定することができる。調整可能な項目としては、例えば、畳込み処理の回数、カーネルのサイズ、チャンネル数、ダウンサンプリング又はアップサンプリングの方法、プーリング処理により削減するサイズ又は逆畳み込み処理により増大させるサイズ等が挙げられる。なお、学習には、モデルのパラメータを更新することに加え、これらの調整可能な項目の調整を行うことを含めても良い。

【0052】

本実施形態において、予測輝度信号生成モデル４１は、Ｕ－Ｎｅｔを用いて学習された学習済みモデルであって、入力ｙｕｖ画像３２の入力により、ｙ画像３２ａの超解像画像であるＹ画像３３ａを好ましく出力するよう学習され、パラメータ等の項目の各種調整がなされている。予測輝度信号生成モデル４１（図４参照）では、エンコーダ及びデコーダにより、入力ｙｕｖ画像３２よりも画素数を増大させた超解像画像を生成して出力する。

【0053】

図４に示すように、本実施形態の予測輝度信号生成モデル４１は、エンコーダ４２とデコーダ４３とを備えるＵ－Ｎｅｔのアーキテクチャーからなるネットワークである。本実施形態では、エンコーダ４２は、中間層４５ａ、中間層４５ｂ、中間層４５ｃ、及び中間層４５ｄからなる中間層４５と折返し層４４とを備える。デコーダ４３は、中間層４６ａ、中間層４６ｂ、中間層４６ｃ、及び中間層４６ｄからなる中間層４６とを備える。図４において、中間層には斜線を付している。また、各層を示す図形に添えて下方又は上方に記載した数字は、各層が出力する畳み込み結果からなる特徴マップ又は画像の要素数を示したものであり、画像等の縦のサイズ、横のサイズ、チャンネル数をこの順で数字で示したものである。エンコーダ４２又はデコーダ４３の各中間層を区別しない場合、中間層４５又は中間層４６という。

【0054】

予測輝度信号生成モデル４１は、その後の処理のための処理等を行う入力層４８及び出力層４９を有しても良い。入力層４８及び出力層４９ではデータ型の変換等を行う。入力ｙｕｖ画像３２は、最初に入力層４８に入力され、その後エンコーダ４２の最初の中間層４５ａに入力される。また、デコーダ４３の最後の中間層４６ａから出力された特徴マップは、出力層４９に入力され、出力層４９においてＹ画像３３ａ、Ｕ画像３３ｂ、及びＶ画像３３ｃからなる超解像ＹＵＶ画像４７とするための処理を行う。

【0055】

入力層４８に入力された入力ｙｕｖ画像３２は、データ型の変更が行われ、中間層４６ａに渡される。入力ｙｕｖ画像３２及び入力層４８が出力するｙｕｖ画像は、画像の縦のサイズ、横のサイズ、チャンネル数が、それぞれ５１２、５１２、３である。

【0056】

エンコーダ４２の最初の中間層４５ａでは、入力ｙｕｖ画像３２に対して複数のカーネルを用いた畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層４５aが出力する特徴マップは、畳み込み結果の要素数が、それぞれ５１２、５１２、６４である。中間層４５ａは、エンコーダ４２の下流の階層の中間層４５ｂと、対応するデコーダ４３の中間層４６ａとに、生成した特徴マップを渡す。

【0057】

エンコーダ４２の下流の階層の中間層４５ｂでは、上流の階層の中間層４５ａから渡された特徴マップに対して、プーリング処理を行うことにより特徴マップの画素数を削減する。その後、複数のカーネルを用いた畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層４５ｂが出力する特徴マップは、畳み込み結果の要素数が、それぞれ２５６、２５６、１２８である。中間層４５ｂは、エンコーダ４２の下流の階層の中間層４５ｃと、対応するデコーダ４３の中間層４６ｂとに、生成した特徴マップを渡す。

【0058】

以下、エンコーダ４２における各中間層４５において、同様の処理を繰り返す。すなわち、中間層４５ｂのすぐ下流の中間層４５ｃでは、上流の階層の中間層４５ｂから渡された特徴マップに対して、プーリング処理を行うことにより特徴マップの画素数を削減する。その後、複数のカーネルを用いた畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層４５ｃは、エンコーダ４２の下流の階層の中間層４５ｄと、対応するデコーダ４３の中間層４６ｃとに、生成した特徴マップを渡す。

【0059】

エンコーダ４２の中間層４５におけるプーリング処理では、画素数を半減する処理を行っている。また、最初の中間層４５ａにおける畳み込み処理において６４チャンネルの特徴マップを生成し、中間層４５ａ以外の各中間層４５における畳み込み処理においてチャンネル数をそれぞれ直前の中間層４５におけるチャンネル数の２倍の特徴マップを生成する。このようにして、エンコーダ４２の最下流の中間層４５ｄでは、入力ｙｕｖ画像３２に基づき、畳み込み結果の要素数が６４、６４、５１２であり、画素数又は情報量が削減された特徴マップが生成される。エンコーダ４２の最下流の中間層４５ｄが生成した特徴マップは折返し層４４に渡される。

【0060】

折返し層４４では、ダウンサンプリング処理とアップサンプリング処理との両者をこの順で行う。したがって、図４では、折返し層４４は、ダウンサンプリング処理を行うエンコーダ４２とアップサンプリング処理を行うデコーダ４３との両者を含むものとして示している。

【0061】

折返し層４４では、中間層４５ｄから受け取った特徴マップに対して、プーリング処理を行うことにより特徴マップの画素数を削減する。その後、複数のカーネルを用いた畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。この際の特徴マップは、畳み込み結果の要素数が３２、３２、１０２４である。

【0062】

ここで、折返し層４４では、特徴マップのチャンネル数を減少させる情報量削減処理を行ってもよい。本実施形態では、情報量削減処理により、畳み込み結果の要素数が３２、３２、１０２４であった特徴マップを、３２、３２、１２８の特徴マップとする。

【0063】

折返し層４４において、次に、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。この結果、折返し層４４が出力する特徴マップは、畳み込み結果の要素数が６４、６４、５１２である。折返し層４４が生成した特徴マップは、デコーダ４３の最上流の中間層４６ｄに出力する。

【0064】

デコーダ４３の最上流の中間層４６ｄでは、折返し層４４から渡された特徴マップと、エンコーダ４２の対応する中間層４５ｄから渡された特徴マップとを結合したものに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層４６ｄが出力する特徴マップは、畳み込み結果の要素数が１２８、１２８、２５６である。中間層４６ｄは、生成した特徴マップを、デコーダ４３の次の下流の階層の中間層４６ｃに渡す。

【0065】

次に、下流の中間層４６ｃでは、受け取った特徴マップに対して、上流の中間層４６ｄで行ったのと同様の処理を行う。すなわち、デコーダ４３の中間層４６ｃでは、上流の階層の中間層４６ｄから渡された特徴マップと、エンコーダ４２の対応する中間層４５ｃから渡された特徴マップとを結合したものに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層４６ｃが出力する特徴マップは、畳み込み結果の要素数が２５６、２５６、１２８である。中間層４６ｃは、生成した特徴マップを、デコーダ４３の次の下流の階層の中間層４６ｂに渡す。中間層４６が複数の階層からなる場合は、各階層の中間層４６においてこれらの処理を繰り返して行う。

【0066】

以下、デコーダ４３における各中間層４６において、同様の処理を繰り返す。すなわち、中間層４６ｃの次の下流の中間層４６ｂでは、上流の階層の中間層４６ｃから渡された特徴マップと、エンコーダ４２の対応する中間層４５ｂから渡された特徴マップとを結合したものに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層４６ｂは、生成した特徴マップを、デコーダ４３の次の下流の階層の中間層４６ａに渡す。

【0067】

なお、デコーダ４３の最下流の中間層４６ａは、上流の階層の中間層４６ｂから渡された特徴マップと、エンコーダ４２の対応する中間層４５ａから渡された特徴マップと、さらに、入力ｙｕｖ画像３２とを結合したものに対して処理を行っても良い。中間層４６ａは、これら３つを結合したものに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層４６ａが出力する特徴マップは、畳み込み結果の要素数が１０２４、１０２４、３２である。中間層４６ａが出力する特徴マップは、出力層４９に入力される。

【0068】

出力層４９は、デコーダ４３の最下流の中間層４６ａが出力した特徴マップを受け取る。出力層４９は、チャンネル数の調整、データ型の変換等を行い、画像の要素数が１０２４、１０２４、３である超解像ＹＵＶ画像４７を出力する。超解像ＹＵＶ画像４７は、Ｙ画像３３ａ、Ｕ画像３３ｂ、及びＶ画像３３ｃを含み、３つのチャンネルは輝度信号画像及び２つの色差信号画像の３つに対応する。

【0069】

以上のように、予測輝度信号生成モデル４１は、ｙ画像３２ａの超解像画像であるＹ画像３３ａを好ましく出力するよう設計及び学習されたモデルであるため、入力ｙｕｖ画像３２の入力により、ｙ画像３２ａの超解像画像であるＹ画像３３ａを好ましく出力することができる。Ｙ画像３３ａは、予測輝度信号画像３３である。

【0070】

拡大画像生成部２３は、色差信号画像に対して拡大処理を行うことにより、拡大色差信号画像を生成する。拡大画像生成部２３が行う拡大処理は、超解像処理とは異なる処理である。図３に示すように、本実施形態では、拡大画像生成部２３は、入力ｙｕｖ画像３２が含む画像ｕ及び画像ｖに対し拡大処理を行い、入力ｙｕｖ画像３２が含む画像ｕ及び画像ｖに比べて画素数が増大した画像Ｕ及び画像Ｖからなる拡大色差信号画像３４を生成する。

【0071】

拡大画像生成部２３が行う拡大処理は、予測輝度信号画像３３を生成するために行う超解像処理とは異なる処理であればよく、単純拡大処理、アップサンプリング処理等を含む。単純拡大処理は、単に各画素の縦及び横のサイズを引き伸ばし、画素数を増大させる処理である。アップサンプリング処理は、増加する画素の画素値を計算により補完しながら画素数を増大させる処理である。アップサンプリング処理では、各種の手法を採用することができる。画像におけるアップサンプリング処理としては、例えば、バイリニア法、バイキュービック法、平均画素法等が挙げられる。

【0072】

拡大画像生成部２３が行う拡大処理により生成する拡大色差信号画像３４の画素数は、予測輝度信号画像３３の画素数と同じものとする。したがって、本実施形態では、ｕ画像３２ｂ及びｖ画像３２ｃがそれぞれ５１２×５１２ピクセルであったため、これらの画像のそれぞれに対し縦及び横のサイズを２倍に拡大し、Ｕ画像３４ａ及びＶ画像３４ｂを予測輝度信号画像３３であるｙ画像３２ａと同じ１０２４×１０２４ピクセルとする。

【0073】

色空間逆変換部２４では、予測輝度信号画像３３及び拡大色差信号画像３４とに対し、色空間逆変換を行い、超解像ＲＧＢ画像３５を生成する。本実施形態では、ＲＧＢ画像からＹＵＶ画像へ変換した際と同様、カラーコンポジット映像信号において用いられる方式による以下の式（４）から（６）による変換式を用いる。式（４）から（６）において、ＲはＲＧＢ画像における赤色信号値、ＧはＲＧＢ画像における緑色信号値、ＢはＲＧＢ画像における青色信号値、ＹはＹＵＶ画像における輝度信号値、ＵはＹＵＶ画像におけるＵの色差信号値、ＶはＹＵＶ画像におけるＶの色差信号値を示す。これらの式によれば、赤色信号値Ｒ、緑色信号値Ｇ、及び青色信号値Ｂと、輝度信号値Ｙ、色差信号値Ｕ、及び色差信号値Ｖとが、相互に変換可能である。

【0074】

Ｒ＝（1.00000＊Ｙ）＋（0.00000＊Ｕ）＋（0.13983＊Ｖ） （４）
Ｇ＝（1.00000＊Ｙ）＋（-0.39465＊Ｕ）＋（-0.58060＊Ｖ） （５）
Ｂ＝（1.00000＊Ｙ）＋（2.03211＊Ｕ）＋（0.00000＊Ｖ） （６）

【0075】

出力部１３は、画像処理装置１０が生成した超解像画像である超解像ＲＧＢ画像３５を、ディスプレイ等の表示部又はストレージ等に出力する。画像処理装置１０は、この場合、ディスプレイ又はストレージ等と接続する。なお、超解像ＲＧＢ画像３５をディスプレイに表示するために出力する場合は、ディスプレイに、表示している画像が被写体を撮影して直接得られた画像ではなく、超解像処理により予測した画像データを含むものであることを示すインジケータ等をディスプレイに示した上で、超解像ＲＧＢ画像３５を表示することが好ましい。超解像ＲＧＢ画像３５は、被写体を撮影して得られた画像ではなく、予測輝度信号画像３３等により予測した画像データを含むため、診断等の際に医師等に誤解を与えることを防ぐためである。

【0076】

以上のように、画像処理部１２により、入力した画像に比べて解像度が向上した超解像画像を生成することができる。この超解像画像は、色ずれ、ノイズ等が抑えられた解像度に優れた超解像画像とすることができる。通常、ＣＮＮで超解像を行う場合はＲＧＢ画像を入力し、ＲＧＢ画像を出力することになる。このとき、推論ではＲ画像、Ｇ画像及びＢ画像をそれぞれで推論しなければならず、色ずれの原因となってしまう場合があった。画像処理部１２においては、ＲＧＢ画像を輝度信号画像と色差信号画像とに変換し、輝度信号画像と色差信号画像とをＣＮＮに入力し、Ｙ画像３３aである予測輝度信号画像３３のみを出力することで超解像画像を生成し、色差信号画像は例えば単純な拡大処理で、超解像ＲＧＢ画像３５を生成する。上記のような構成により、超解像ＲＧＢ画像３５は、色ずれ、ノイズ等が抑えられた解像度に優れた超解像画像となる。

【0077】

また、画像処理部１２において、予測輝度信号生成モデル４１の折返し層４４が情報削減処理を行ったモデルに基づき学習したモデルであることから、生成した予測輝度信号画像３３は、学習に使用した入力ｒｇｂ画像３１が劣化する前の元の高解像度画像の輝度信号画像に比較して、高周波成分を多く付与された解像度が高い画像とすることができる。したがって、上記のような構成により、画像処理部１２を有する画像処理装置１０により、生成された超解像ＲＧＢ画像３５は、色ずれ、ノイズ等が抑えられた上に、高周波成分を多く付与されることにより、画素数は同じ場合であっても、劣化前の元の高解像度画像よりも高画質な画像とすることができる。

【0078】

次に、予測輝度信号生成モデル４１（図４参照）の生成について説明する。予測輝度信号生成モデル４１は、予測輝度信号生成学習用モデル（以下、学習用モデルという）を学習することにより生成する学習済みモデルである。図５に示すように、画像処理装置１０は、予測輝度信号生成モデル４１を生成するための学習を行う場合、機能構成部として学習部１４を備える。画像処理部１２は、学習部１４が生成した予測輝度信号生成モデル４１を用いる。

【0079】

学習前の学習用モデルは、予め設定した複数のパラメータを含む一連のアルゴリズムからなるネットワークを含む。これらのパラメータ等を調整する学習を行うことにより、学習済みモデルを生成する。なお、学習用モデルの学習には、学習用モデルが含むパラメータ等を調整することに加え、学習用モデルにおける他の調整可能な項目の調整を行うことを含めても良い。

【0080】

図６に示すように、学習部１４は、機能構成部として、複数の原色信号を含む学習用画像であるソースイメージに対して劣化処理を行う機能を有する劣化処理部５１と、学習用モデルにより処理された画像と学習用画像であるソースイメージとを比較することにより損失を計算する機能を有する比較部５２と、比較部５２により計算された損失を学習用モデルにフィードバックすることにより学習用モデルにおけるパラメータを更新する制御を行う機能を有するフィードバック制御部５３とを備える。ソースイメージは通常ＲＧＢ画像であるため、劣化処理部５１が劣化処理を行う対象は、ＲＧＢ画像に対して色空間変換処理を行うことにより色変換画像であるＹＵＶ画像に変換されたソースイメージである。劣化処理部５１aは、ＹＵＶ画像であるソースイメージに対して画素数を削減する等の劣化処理を行い、解像度が低下したｙｕｖ画像を生成する。

【0081】

学習用モデルは、学習によって生成した予測輝度信号生成モデル４１に画像を入力した場合に、入力した画像の超解像画像を出力する処理を行うことができるものであればよい。超解像画像を生成する学習用モデルとしては、ＧＡＮ、Ｕ－Ｎｅｔ等が挙げられる。本実施形態では、基本的なＵ－Ｎｅｔを一部変更した学習モデルを用いる。基本的なＵ－Ｎｅｔとは、それぞれ１つのネットワークからなるエンコーダ及びデコーダを有し、エンコーダ及びデコーダの中間層が連結するネットワークである。

【0082】

図７に示すように、本実施形態にける学習用モデル６１は、予測輝度信号生成モデル４１と同じアーキテクチャであるエンコーダ４２及びデコーダ４３を含むＵ－Ｎｅｔにおいて、主に２点の構成を追加することにより一部変形したものである。

【0083】

１点目は、折返し層４４に分岐して独立した分岐ネットワーク６２を接続する点である。分岐ネットワーク６２は、デコーダ４３とは別にアップサンプリングを行い、副予測輝度信号６４を生成する。なお、分岐ネットワーク６２は、エンコーダ４２等の他のネットワーク等と接続せず、独立している。したがって、デコーダ４３での処理とは異なる処理となるため、分岐ネットワーク６２独自の特徴マップを生成することができる。

【0084】

２点目は、教師データであるＹＵＶ画像のソースイメージ６３ｂと、学習用モデルが生成した予測輝度信号画像３３及び副予測輝度信号６４とをそれぞれ比較することにより、２種類の損失を算出する機能を実行する比較部５２ａ及び比較部５２ｂと、損失を最小にするように学習用モデルのパラメータを変更する機能を実行するフィードバック制御部５３とを備える点である。学習用モデル６１が含む予測輝度信号生成モデル４１と分岐ネットワーク６２とがそれぞれ生成する予測輝度信号画像３３及び副予測輝度信号６４は、学習用輝度信号画像である。なお、比較部５２ａと比較部５２ｂを区別しない場合に、比較部５２という。

【0085】

学習用モデル６１に対する学習には、教師データである高解像度のＲＧＢ画像のソースイメージ６３ａを用いる。予測輝度信号生成モデル４１が生成する超解像画像である予測輝度信号画像３３、又は、分岐ネットワーク６２が生成する超解像画像である副予測輝度信号６４と比較するために、ソースイメージ６３ａまたはソースイメージ６３ｂには高解像度の画像の一部分を切り取ったイメージを用いることが好ましい。ソースイメージ６３ａは、複数の原色信号を含むカラー画像であり、本実施形態では、Ｒ画像、Ｇ画像、及びＢ画像を含むＲＧＢ画像である。なお、ソースイメージにおいてＲＧＢ画像であるソースイメージ６３ａとＹＵＶ画像であるソースイメージ６３ｂとを区別しない場合、ソースイメージ６３という。

【0086】

なお、図７において、ソースイメージ６３ａはＲ画像、Ｇ画像、及びＢ画像を含むＲＧＢ画像である。また、ソースイメージ６３ｂはＹ画像、Ｕ画像、及びＶ画像を含むＹＵＶ画像であり、入力ｙｕｖ画像３２は１つの輝度信号及び２つの色差信号を含む画像である。ソースイメージ６３及び入力ｙｕｖ画像はそれぞれ３つの長方形の図形により示す。１つの長方形は１つの画像信号からなる画像を示し、斜線を付した長方形は輝度信号からなる画像を示す。円形の図形は処理部を示し、角丸長方形の図形は学習用モデルの処理部である各層を示す。なお、図において、同じ符号は同じものを示す。

【0087】

ＲＧＢ画像であるソースイメージ６３ａは、まず、色空間変換部２１に入力され、色空間変換処理が行われることにより、ＹＵＶ画像であるソースイメージ６３ｂとなる。その後、劣化処理部５１ａによる劣化処理が行われる。劣化処理と色空間変換処理とでは、色空間変換処理を先に行い、その後、劣化処理を行う。これにより、ソースイメージ６３ｂが含む解像度が高い輝度信号を学習用画像であるソースイメージとして使用することができる。本実施形態では、ソースイメージ６３は、１０２４×１０２４ピクセルの画素数を有する。

【0088】

色空間変換部２１により行われる色空間変換処理については、上記の予測輝度信号生成モデル４１において説明したのと同様である。色空間変換処理により生成されたＹＵＶ画像ソースイメージ６３ｂは、劣化処理部５１に進められる。劣化処理部５１は、ＹＵＶ画像であるソースイメージ６３ｂに対し劣化処理を行うことにより、劣化画像である入力ｙｕｖ画像３２を生成する。

【0089】

劣化処理とは、画像における画素数を減少させること及び／又は高周波成分の情報を減少させること等により解像感を減少させる等の処理を意味する。本実施形態においては、ＹＵＶ画像であるソースイメージ６３ｂは、画素数が減少した劣化画像である入力ｙｕｖ画像３２に変換される。ｙｕｖ画像のうちのy画像３２ａ（図４参照）は、学習用輝度信号画像である。本実施形態においては、入力ｙｕｖ画像３２は、５１２×５１２ピクセルの画素数を有する。

【0090】

劣化処理としては、フィルターを適用するフィルター処理、ノイズを付与するノイズ付加処理等が行われても良い。劣化処理は、これらの処理の１種類または２種類以上を組み合わせて行っても良い。劣化処理により学習済みのモデルである予測輝度信号生成モデル４１における超解像処理の性能が左右されることがあるため、目的とする超解像処理に応じて、劣化処理の内容を決定することが好ましい。

【0091】

入力ｙｕｖ画像３２は、デコーダ４３の入力層４８に入力され、その後、デコーダ４３の中間層４５ａ、４５ｂ、４５ｃ、及び４５ｄによる処理を経て、折返し層４４に入力されることは、上記の予測輝度信号生成モデル４１において説明したのと同様である。

【0092】

学習用モデル６１における折返し層４４は、上記したように、分岐して独立した分岐ネットワーク６２を接続する。折返し層４４は、受け取った特徴マップに対する処理を行った後、デコーダ４３の最上流の中間層４６ｄに出力し、かつ、分岐ネットワーク６２の入力層６６に出力する。

【0093】

折返し層４４の処理は、予測輝度信号生成モデル４１（図４参照）と同様であり、ダウンサンプリング処理とアップサンプリング処理との両者をこの順で行う。折返し層４４では、中間層４５ｄから受け取った特徴マップに対して、プーリング処理を行うことにより特徴マップの画素数を削減する。その後、複数のカーネルを用いた畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。この際の特徴マップは、要素数が３２、３２、１０２４である。

【0094】

ここで、折返し層４４では、特徴マップのチャンネル数を減少させる情報量削減処理を行う。本実施形態では、情報量削減処理により、畳み込み結果の要素数が３２、３２、１０２４であった特徴マップを、３２、３２、１２８の特徴マップとする。

【0095】

その後、要素数が３２、３２、１２８の特徴マップは、分岐ネットワークの入力層６６と、折返し層４４における次の処理とに送られる。折返し層４４における次の処理では、複数のカーネルを用いた逆畳み込み処理を行うことにより、複数のチャンネルの特徴マップが生成される。この結果、折返し層４４が出力する特徴マップは、畳み込み結果の要素数が６４、６４、５１２となる。折返し層４４が生成した特徴マップは、デコーダ４３の最上流の中間層４６ｄに出力する。デコーダ４３の最上流の中間層４６ｄに出力された特徴マップに対しては、予測輝度信号生成モデル４１（図４参照）におけるデコーダ４３の各中間層を経る同様の処理が行われ、Ｙ画像である予測輝度信号画像３３が生成される。

【0096】

分岐ネットワーク６２において、入力層６６が折返し層４４から受け取った要素数が、３２、３２、１２８の特徴マップは、入力層６６から分岐ネットワーク６２の中間層６５に渡される。中間層６５における処理では、デコーダ４３（図４参照）の中間層４６における処理と同様、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。ただし、中間層４６と異なり、分岐ネットワーク６２の中間層６５における処理では、エンコーダ４２の中間層４５を含め、その他からの情報の入力を行わず、分岐ネットワーク６２単独での処理を行う。

【0097】

本実施形態では、中間層６５は、中間層６５a、中間層６５ｂ、中間層６５ｃ、及び中間層６５ｄの、４段階を有する。分岐ネットワーク６２の最上流の中間層６５ａでは、折返し層４４から渡された特徴マップに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層６５ａが出力する特徴マップは、畳み込み結果の要素数が１２８、１２８、２５６である。中間層６５ａは、生成した特徴マップを、分岐ネットワーク６２の次の下流の階層の中間層６５ｂに渡す。

【0098】

次に、下流の中間層６５ｂでは、受け取った特徴マップに対して、上流の中間層６５ａで行ったのと同様の処理を行う。すなわち、分岐ネットワーク６２の中間層６５ｂでは、上流の階層の中間層６５ａから渡された特徴マップに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層６５ｂが出力する特徴マップは、畳み込み結果の要素数が２５６、２５６、１２８である。中間層６５ｂは、生成した特徴マップを、分岐ネットワーク６２の次の下流の階層の中間層６５ｃに渡す。中間層６５が複数の階層からなる場合は、各階層の中間層６５においてこれらの処理を繰り返して行う。

【0099】

以下、分岐ネットワーク６２における各中間層６５において、同様の処理を繰り返す。すなわち、中間層６５ｂの次の下流の中間層６５ｃでは、上流の階層の中間層６５ｂから渡された特徴マップに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。中間層６５ｃは、生成した特徴マップを、分岐ネットワーク６２の次の下流の階層の中間層６５ｄに渡す。中間層６５ｄでは、上流の階層の中間層６５ｃから渡された特徴マップに対し、複数のカーネルを用いた逆畳み込み処理を行うことにより複数のチャンネルの特徴マップを生成する。

【0100】

分岐ネットワーク６２の最下流の中間層である中間層６５ｄが出力する特徴マップは、畳み込み結果の要素数が１０２４、１０２４、３である。これは、Ｙ画像、Ｕ画像、及びＶ画像の３チャンネルからなる縦横１０２４×１０２４ピクセルのＹＵＶ画像とすることができる。このようにして、分岐ネットワーク６２は、縦横１０２４×１０２４ピクセルのＹ画像である副予測輝度信号画像６４を生成する。

【0101】

予測輝度信号画像３３及び副予測輝度信号画像６４は、それぞれ比較部５２ａ及び比較部５２ｂにおいて、教師データであるソースイメージ６３ｂのＹ画像と比較することにより、損失値を算出する。損失値とは、損失関数により算出される値であり、予測輝度信号画像３３及び副予測輝度信号画像６４とソースイメージ６３とを比較した場合に、予測輝度信号画像３３及び副予測輝度信号画像６４がどの程度ソースイメージ６３を正しく復元できているかを評価した値である。

【0102】

損失関数としては、超解像、ＣＮＮ等に用いられる損失関数を採用することができ、適合率、再現率、Ｆ値（Ｄｉｃｅ係数）、ＩｏＵ（Ｊａｃｃａｒｄ係数）、２乗和誤差、交差エントロピー誤差等が挙げられる。いずれの損失関数を用いるかは、互いに異なる損失関数を用いて互いに異なる２つ以上の損失値を算出した上でそれぞれで学習した場合に、これらの２つ以上の損失値に関する評価指標を用いて評価することにより決定しても良い。

【0103】

なお、超解像画像である予測輝度信号画像３３及び副予測輝度信号画像６４は、劣化処理前のソースイメージ６３ｂのＹ画像よりも解像度が高い場合があるため、予測輝度信号画像３３及び副予測輝度信号画像６４が、劣化処理前のソースイメージ６３ｂのＹ画像と、画素毎に同一である場合に最も値が小さくなる損失値を用いる以外に、予測輝度信号画像３３及び副予測輝度信号画像６４が、劣化処理前のソースイメージ６３ｂのＹ画像よりも解像度が高い場合に損失値が最小となるような損失値を算出してもよい。具体的には、ＧＡＮ等の教師なし学習の技術を採用すること等により、予測輝度信号画像３３及び副予測輝度信号画像６４が、劣化処理前のソースイメージ６３ｂのＹ画像よりも解像度が高い場合に損失値が最小となるような損失値が算出できるようにしてもよい。

【0104】

フィードバック制御部５３は、比較部５２ａ及び比較部５２ｂにより算出された２つの損失値を用いて、予測輝信号画像３３及び副予測輝度信号画像６４が、劣化処理前のソースイメージ６３ｂのＹ画像よりも解像度が高くなるよう、学習用モデル６１におけるパラメータ等を更新し、調整項目を調整する。フィードバック制御部５３は、２つの損失値が最小となるようにパラメータ等を調整することができる。

【0105】

また、予測輝度信号生成モデル４１では、予測輝度信号画像３３及び副予測輝度信号画像６４が、劣化処理前のソースイメージ６３ｂのＹ画像よりも解像度が高い場合が好ましいことから、フィードバック制御部５３における制御により、損失値が最小とならないことを目標として、すなわち、超解像画像である予測輝度信号画像３３及び副予測輝度信号画像６４と、劣化処理前のソースイメージ６３ｂのＹ画像とにおいて、超解像画像である予測輝度信号画像３３及び副予測輝度信号画像６４が、劣化処理前のソースイメージ６３ｂのＹ画像よりも解像度が高くなる場合の特定の損失値を設定し、これを目標としてパラメータ等を調整するようにしてもよい。

【0106】

学習においては、ソースイメージ６３を用いたこれらの一連の流れを、複数のソースイメージ６３を用いて繰り返し行う。出力される予測輝度信号画像３３及び副予測輝度信号画像６４が、劣化処理前のソースイメージ６３ｂのＹ画像と解像度が同等か又は高くなるよう、パラメータ等が調整され、それ以上学習を行っても出力される予測輝度信号画像３３及び副予測輝度信号画像６４の結果が向上しないと評価された場合に学習を完了させる。評価には、上記した損失関数等を用いることができる。画像処理部１２は、パラメータ等が調整されたこの時点の予測輝度信号生成モデル４１を、学習済みモデルとして用いる。

【0107】

なお、予測輝度信号生成モデル４１（図４参照）では、入力では、ｙ画像３２ａ、ｕ画像３２ｂ、及びｖ画像３２ｃを含む入力ｙｕｖ画像３２を用い、超解像処理の結果、Ｙ画像３３ａ、Ｕ画像３３ｂ、及びＶ画像３３ｃを含む超解像ＹＵＶ画像３３を得るが、損失を算出し、フィードバックを行うのに用いるのは輝度信号画像であるＹ画像３３ａのみとする。このように、予測輝度信号生成モデル４１では、輝度信号画像と色差信号画像とを含む入力ｙｕｂ画像３２に対して、一回の超解像処理を行うことが好ましい。すなわち、損失値の算出及びパラメータの更新に用いるのはＹ画像３３ａ等の輝度信号画像のみであるのに、予測輝度信号生成モデル４１には、ｙ画像３２ａ以外の色差信号画像をも入力し、これらの超解像画像を出力する処理を行う。これにより、より情報量が多い状態で輝度信号画像の超解像画像を生成することができるためである。

【0108】

また、上記にて説明したように、本実施形態では、超解像処理を行うことにより、それぞれ２つの互いに異なる学習用予測輝度信号画像を生成する互いに異なる２つのネットワークである予測輝度信号生成モデル４１と分岐ネットワーク６２とのネットワークとを備える。そして、これらの２つのネットワークのそれぞれにより得られる学習用予測輝度信号画像である予測輝度信号画像３３及び副予測輝度信号画像６４を用いることにより、比較部５２が、２つの損失値を得る。そして、これらの２つの損失値を用いて、予測輝度信号生成モデル４１のパラメータを更新する。

【0109】

また、上記では、予め設定した複数のパラメータ等を有する学習用モデル６１に対し学習を行う場合について説明したが、学習が完了し、複数のパラメータを含む学習済みモデルに対し再度学習を行っても良い。この場合の学習は、上記にて説明した、学習用モデル６１に学習を行う場合と同様である。

【0110】

また、上記では、折返し層４４での情報削減処理において、要素数により情報削減を評価したが、画像又は特徴マップ全体のビット数により情報量の削減を評価してもよい。すなわち、情報量削減処理は、ビット数が削減される処理であればよい。そして、予測輝度信号生成モデル４１（図４参照）におけるビット数については、折返し層４４での情報量は、予測輝度信号生成モデル４１に入力する入力ｙｕｖ画像３２の情報量より、少なくなるように削減することが好ましい。

【0111】

図８では図４における要素数に代えて、ビット数の数字を示している。本実施形態では、入力ｙｕｖ画像３２の情報量は、要素数が５１２５１２３であり、データ型が整数型８ビットであるため、６２９１４５６ビットであるのに対し、入力層４８でデータ型を浮動小数点定数型に変換されており、折返し層４４の前半での要素数は３２、３２、１２８であるため、４１９４３０４ビットとなる。折返し層４４での情報削減処理では、要素数の削減以外にも、ビット数で表される情報量を削減することができる手段であれば、適宜用いることができる。

【0112】

画像処理装置１０により超解像処理を行い、超解像画像を生成する処理の流れを説明する。図９に示すように、画像処理部１２において、学習用モデル６１に対し超解像処理が好適に行えるように学習をすることにより生成した学習済みモデルである予測輝度信号生成モデル４１を準備する（ステップＳＴ１１０）。予測輝度信号生成モデル４１を用いて超解像処理の対象である入力ｒｇｂ画像３１を準備し、色空間変換部２１により色変換処理を行う（ステップＳＴ１２０）。

【0113】

色変換処理により生成した入力ｙｕｖ画像３２は画像処理部１２により処理される。予測輝度信号生成モデル４１のエンコーダ４２の入力層４８に入力ｙｕｖ画像３２が入力されることにより、予測輝度信号生成モデル４１が入力ｙｕｖ画像３２に対して処理を行い、入力ｙｕｖ画像３２に基づく予測輝度信号画像３３を出力する（ステップＳＴ１３０）。

【0114】

また、拡大画像生成部２３が、入力ｙｕｖ画像３２に基づき拡大色差信号画像３４を出力する（ステップＳＴ１４０）。色空間逆変換部２４は、予測輝度信号画像３３と拡大色差信号画像３４とを取得し、これらに対し逆変換処理を行う（ステップＳＴ１５０）。逆変換処理により、超解像ＲＧＢ画像３５が生成される（ステップＳＴ１６０）。

【0115】

ＣＮＮではしばしば、マックスプーリングや畳み込み処理を用いてダウンサンプリングし、解像度を落としながら特徴量の抽出を行う。このとき情報量が維持できるようにチャンネル数を増やすことが一般的であり、中間層から出力される特徴量は冗長的に情報を保持していることが多い。ＣＮＮを利用した超解像でも、エンコーダーでは解像度を落とす代わりにチャンネルを増やすことで情報量を維持している。ソースイメージである元画像に最も近く、正確に情報を保持している入力画像の情報量を維持することが、超解像の画像を生成するための近道である。しかし、その結果、エンコーダーでの特徴抽出は入力画像を元画像に修正するための特徴を抽出するにとどまり、元画像の画質を越えることは困難である。

【0116】

そこで学習用モデル６１では、より画像の特徴をエンコーダ４２で抽出できるように、エンコーダ４２の最終層の折り返し層４４で情報量の削減を行う。さらに、折返し層４４から分岐する超解像を生成する独立した分岐ネットワーク６２を接続する。分岐ネットワーク６２は学習時のみに使用される。折返し層４４での情報量の削減は、例えばチャンネル数を調整することで実現する。チャンネル数を調整することは、上記したように、要素数を調整することである。また、上記したように、入力画像である入力ｙｕｖ画像３２の解像度が５１２×５１２でｙｕｖの３チャンネル、整数型８ビット画像で情報量は６２９１４５６ビットである。折返し層４４では解像度が縦×横で３２×３２にダウンサンプリングされているので、チャンネル数を１２８にすることで情報量は４１９４３９４ビットになり２０９７０６２ビットが削減される。

【0117】

独立した分岐ネットワーク６２は、削減された情報量をもとに元画像を生成する必要がある。そのため学習では、この独立した分岐ネットワーク６２がより強調して重要な画像の特徴を抽出できるように働きかけることができる。また、削減された情報においては、Ｕ－Ｎｅｔのエンコーダ４２から出力された特徴量である特徴マップがデコーダ４３で共有されるため、情報量は保たれる。

【0118】

したがって、学習用モデル６１及びこれを学習させて得られる予測輝度信号生成モデル４１では、解像度及び解像感等の画質が向上した超解像画像を生成することができる。上記の構成により、この超解像画像は、劣化処理前のソースイメージ６３よりも高画質な画像とすることが可能である。

【0119】

画像処理装置１０は、内視鏡を用いて撮影された内視鏡画像を、カラー画像として取得してもよい。図１０に示すように、内視鏡システム７０は、被写体を撮影して内視鏡画像を生成する内視鏡７１と、内視鏡７１及び光源装置７３等の制御を行うプロセッサ装置７２と、内視鏡７１の先端部から被写体に照射するための照明光を発する光源装置７３と、内視鏡画像等を表示するディスプレイ７４と、プロセッサ装置７２への情報等の入力に用いる、タッチパネル、キーボード、マウス等の入力デバイス７５とを備える。また、プロセッサ装置７２は、内視鏡により取得した内視鏡画像等の医療画像を保存して管理するＰＡＣＳ（医療画像管理システム、Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）７６と、ネットワーク７７を介して接続する。

【0120】

図１１に示すように、内視鏡システム７０において、画像処理装置１０は、内視鏡７１が取得した内視鏡画像８１をプロセッサ装置７２またはＰＡＣＳ７６から受け取り、受け取った内視鏡画像８１の解像度を高めた超解像内視鏡画像８２を生成する装置である。超解像内視鏡画像８２は、内視鏡画像８１に対し、画像処理装置１０により超解像処理を行った画像である。本実施形態では、内視鏡画像８１の一部を切り取った部分内視鏡画像８３に対し、超解像処理を行う。部分内視鏡画像８３の設定は、内視鏡システム７０の使用者が行っても良いし、画像処理装置１０等が行ってもよい。生成した部分内視鏡画像８３の超解像内視鏡画像８２は、プロセッサ装置７２を介して、ディスプレイ７４に表示する、または、ネットワーク７７を介してＰＡＣＳ７６に保存してもよい。

【0121】

内視鏡システム７０は、上記のように構成したことから、内視鏡画像８１の超解像内視鏡画像８２を生成し、ディスプレイ７４に表示する、または、ネットワーク７７を介してＰＡＣＳ７６に保存することができる。

【0122】

なお、図１２に示すように、ディスプレイ７４に超解像内視鏡画像８２を表示する際は、ディスプレイ７４に、超解像内視鏡画像８２と、表示しているのが超解像内視鏡画像８２であることを示すインジケータ８４とを表示することが好ましい。インジケータ８４は、使用者が、ディスプレイ７４に表示しているのが超解像内視鏡画像８２であることが理解できる態様により表示すればよく、図１１に示すように、超解像内視鏡画像８２が、入力した内視鏡画像８１と比較して何倍の倍率で拡大されたかを倍率の数値で示す「×４」と、超解像画像であることを示す「ＳＲ」との文字を表示するものであってもよい。

【0123】

内視鏡システム７０において、上記した画像処理装置１０を組み込んで、内視鏡画像の超拡大画像を生成し、ディスプレイ７４に表示することにより、解像度が高い状態の超解像内視鏡画像８２を、医師等による診断の参考等に用いることができる。内視鏡画像は、色として赤が多く含まれ、他の色はそれほど多くないという特徴を有する。この場合、画像処理装置１０により、輝度信号画像と色差信号画像とに色変換を行い、輝度信号画像のみに、超解像処理を行った画像を用いて超解像内視鏡画像８２を生成することにより、生成した超解像内視鏡画像８２において、解像度が優れ、ノイズが低減された、好ましい超解像画像を生成することができる。したがって、画像処理装置１０は、内視鏡画像の超解像処理に好適に使用することができる。

【0124】

なお、上記した各機能構成部は、コンピュータを機能させるプログラムとして実現される。したがって、本発明の画像処理プログラムは、コンピュータに、複数の原色信号を含むカラー画像を取得する機能と、カラー画像に対して色空間変換処理を行うことにより、輝度信号画像と色差信号画像とを生成する機能と、輝度信号画像に対して超解像処理を行うことにより予測輝度信号画像を生成する機能と、予測輝度信号画像を用いてカラー画像の解像度を高めた超解像カラー画像を生成する機能とを実行させる画像処理プログラムである。

【0125】

上記実施形態において、画像処理装置１０又はプロセッサ装置７２に含まれる画像取得部１１、画像処理部１２、出力部１３、学習部１４等といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0126】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0127】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

【符号の説明】

【0128】

１０ 画像処理装置
１１ 画像取得部
１２ 画像処理部
１３ 出力部
１４ 学習部
２１ 色空間変換部
２２ 予測輝度信号生成部
２３ 拡大画像生成部
２４ 色空間逆変換部
３１ 入力ｒｇｂ画像
３１ａ ｒ画像
３１ｂ ｇ画像
３１ｃ ｂ画像
３２ 入力ｙｕｖ画像
３２ａ ｙ画像
３２ｂ ｕ画像
３２ｃ ｖ画像
３３ 予測輝度信号画像
３３ａ Ｙ画像
３３ｂ Ｕ画像
３３ｃ Ｖ画像
３４ 拡大色差信号画像
３４ａ Ｕ画像
３４ｂ Ｖ画像
３５ 超解像ＲＧＢ画像
３５ａ 超解像Ｒ画像
３５ｂ 超解像Ｇ画像
３５ｃ 超解像Ｂ画像
４１ 予測輝度信号生成モデル
４２ エンコーダ
４３ デコーダ
４４ 折返し層
４５、４５ａ、４５ｂ、４５ｃ、４５ｄ 中間層
４６、４６ａ、４６ｂ、４６ｃ、４６ｄ 中間層
４７ 超解像ＹＵＶ画像
４８ 入力層
４９ 出力層
５１ 劣化処理部
５２、５２ａ、５２ｂ 比較部
５３ フィードバック制御部
６１ 学習用モデル
６２ 分岐ネットワーク
６３、６３ａ、６３ｂ ソースイメージ
６４ 副予測輝度信号画像
７０ 内視鏡システム
７１ 内視鏡
７２ プロセッサ装置
７３ 光源装置
７４ ディスプレイ
７５ 入力デバイス
７６ ＰＡＣＳ
７７ ネットワーク
８１ 内視鏡画像
８２ 超解像内視鏡画像
８３ 部分内視鏡画像
８４ インジケータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】