知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】画像処理システム、画像処理方法および画像処理プログラム
(51)【国際特許分類】
H04N 1/46 20060101AFI20240228BHJP
H04N 1/62 20060101ALI20240228BHJP
H04N 1/60 20060101ALI20240228BHJP
G06T 1/00 20060101ALI20240228BHJP
G06T 1/40 20060101ALI20240228BHJP
【ＦＩ】
H04N1/46
H04N1/62
H04N1/60
G06T1/00 510
G06T1/40
【請求項の数】
9
(21)【出願番号】P 2021577793
(86)(22)【出願日】2020-02-13
(86)【国際出願番号】 JP2020005565
(87)【国際公開番号】W WO2021161454
(87)【国際公開日】2021-08-19
【審査請求日】2022-07-04
【前置審査】
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】戸泉 貴裕
【審査官】豊田 好一
(56)【参考文献】
【文献】特開２０１９－１５３９１７（ＪＰ，Ａ）
【文献】特開２０１９－１４０５３８（ＪＰ，Ａ）
【文献】特開２０１９－１２８８８９（ＪＰ，Ａ）
【文献】特開２０１９－１１７５５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １／４６－６２
Ｇ０６Ｔ １／００
Ｇ０６Ｔ １／４０
(57)【特許請求の範囲】
【請求項1】
写真画像であるモノクロ画像を取得する画像取得部と、画素値に関連する情報に基づいて、前記モノクロ画像の画素値を補正する画素値補正部と、
機械学習により学習したカラー化予測モデルを用いて、補正された前記モノクロ画像から、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部と
を備える画像処理システム。
【請求項2】
前記画素値に関連する情報は、前記モノクロ画像に含まれる対象部分の色を示唆する色ヒントを含み、前記画素値補正部は、さらに、前記色ヒントに基づいて、前記モノクロ画像の画素値を補正する、
請求項１に記載の画像処理システム。
【請求項3】
前記色ヒントは、前記モノクロ画像に含まれる前記対象部分の１または複数の画素に関連付けられ、前記画素値補正部は、前記色ヒントが関連付けられた前記モノクロ画像の前記１または複数の画素の画素値と、前記色ヒントに対応する画素値とに基づいて、前記モノクロ画像に含まれる画素の画素値の補正量を決定する、
請求項２に記載の画像処理システム。
【請求項4】
前記カラー化生成部は、前記カラー化予測モデルを用いて、補正された前記モノクロ画像および前記色ヒントから、前記モノクロ画像に対応するカラー化画像を生成する、請求項２または３に記載の画像処理システム。
【請求項5】
前記色ヒントは、第１の色ヒントと、第２の色ヒントとを含み、前記画像処理システムは、
前記対象部分の分類項目と前記第１の色ヒントとを取得するヒント取得部と、
取得した前記分類項目に基づいて、前記第１の色ヒントを、前記第２の色ヒントに変換するヒント変換部と
をさらに備え、
前記画素値補正部は、前記第２の色ヒントに基づいて、前記モノクロ画像の画素値を補正する、
請求項２から４のいずれか一項に記載の画像処理システム。
【請求項6】
前記画素値に関連する情報は、前記モノクロ画像の画素値分布が基準画像の画素値の基準分布に近づくように前記モノクロ画像の画素値を補正する補正モデルのパラメータを含み、前記画素値補正部は、前記補正モデルを用いて、前記モノクロ画像の画素値を補正する
請求項１に記載の画像処理システム。
【請求項7】
前記画素値に関連する情報は、前記モノクロ画像の輝度値を補正する補正モデルのパラメータを含み、前記画像処理システムは、学習用のカラー画像の輝度と、前記学習用のカラー画像に対応するモノクロ画像の輝度とを学習データとして学習した輝度予測モデルを用いて、前記補正モデルのパラメータを最適化する補正パラメータ最適化部を備え、
前記画素値補正部は、前記補正モデルを用いて、前記モノクロ画像の輝度値を補正する、
請求項１に記載の画像処理システム。
【請求項8】
写真画像であるモノクロ画像を取得する段階と、画素値に関連する情報に基づいて、前記モノクロ画像の画素値を補正する段階と、
機械学習により学習したカラー化予測モデルを用いて、補正された前記モノクロ画像から、前記モノクロ画像に対応するカラー化画像を生成する段階と
を備える画像処理方法。
【請求項9】
写真画像であるモノクロ画像を取得する画像取得機能と、画素値に関連する情報に基づいて、前記モノクロ画像の画素値を補正する画素値補正機能と、
機械学習により学習したカラー化予測モデルを用いて、補正された前記モノクロ画像から、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能と
をコンピュータに実現させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、モノクロ画像をカラー化する画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
モノクロ画像をカラー化する画像処理システムが知られている。たとえば非特許文献１には、ユーザが汎用のカラーパレットを用いて指定した色（色ヒント）に基づいて、学習済の予測モデルによりモノクロ画像からカラー化画像に変換する画像処理システムが開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Richard Zhang, Jun-Yan Zhu, "Real-Time User-Guided Image Colorization with Learned Deep Priors.", ACM Transactions on Graphics, ２０１７年５月８日提出
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしカラー化の対象となるモノクロ画像は、階調つぶれまたは撮影時の照明等に起因して実際とは異なる画素値を有する場合がある。上述した画像処理システムにおいては、予測モデルに入力するモノクロ写真の画素値に基づいてカラー化画像を生成するため、このようなモノクロ写真をカラー化する場合に、色を正しく再現することが難しいという問題がある。
【課題を解決するための手段】
【0005】
この開示の目的は、上述した課題を鑑みてなされたものである。
【0006】
この開示の一態様における画像処理システムは、モノクロ画像を取得する画像取得部と、画素値に関連する情報に基づいて、前記モノクロ画像の画素値を補正する画素値補正部と、機械学習により学習したカラー化予測モデルを用いて、補正された前記モノクロ画像から、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部とを備える。
【0007】
この開示の一態様における画像処理方法は、モノクロ画像を取得する段階と、画素値に関連する情報に基づいて、前記モノクロ画像の画素値を補正する段階と、機械学習により学習したカラー化予測モデルを用いて、補正された前記モノクロ画像から、前記モノクロ画像に対応するカラー化画像を生成する段階とを備える。
【0008】
この開示の一態様における非一時的なコンピュータ可読媒体は、モノクロ画像を取得する画像取得機能と、画素値に関連する情報に基づいて、前記モノクロ画像の画素値を補正する画素値補正機能と、機械学習により学習したカラー化予測モデルを用いて、補正された前記モノクロ画像から、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能とをコンピュータに実現させるための画像処理プログラムが格納される。
【図面の簡単な説明】
【0009】
【図1】実施形態の概要にかかる装置の構成を示すブロック図である。
【図2】実施形態１にかかる装置の処理の概要を説明するための図である。
【図3】実施形態１にかかる装置の概略構成図である。
【図4】実施形態１にかかる装置の画像処理を示すフローチャートである。
【図5】実施形態１にかかる画素値補正部の第１画素値補正処理を示すフローチャートである。
【図6】実施形態２にかかる装置の概略構成図である。
【図7】実施形態２にかかる画素値補正部の第２画素値補正処理を示すフローチャートである。
【図8】実施形態２にかかる補正パラメータ最適化部の補正パラメータ最適化処理を示すフローチャートである。
【図9】実施形態３にかかる装置の処理の概要を説明するための図である。
【図10】実施形態３にかかる装置の概略構成図である。
【図11】実施形態３にかかる装置の画像処理を示すフローチャートである。
【図12】実施形態３にかかる画素値補正部の第３画素値補正処理を示すフローチャートである。
【図13】実施形態４にかかる装置の概略構成図である。
【図14】実施形態４にかかる装置のユーザインターフェイスの一例を示す図である。
【図15】実施形態４にかかる装置の画像処理を示すフローチャートである。
【図16A】実施形態４にかかる第１の変換テーブルのデータ構造の一例を示す図である。
【図16B】実施形態４にかかる第１の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
【図17A】実施形態４にかかる第２の変換テーブルのデータ構造の一例を示す図である。
【図17B】実施形態４にかかる第２の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
【図18A】実施形態４にかかる第３の変換テーブルのデータ構造の一例を示す図である。
【図18B】実施形態４にかかる第３の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
【図19】実施形態５にかかる装置の概略構成図である。
【図20】実施形態５にかかる装置の画像処理を示すフローチャートである。
【図21】実施形態５にかかる色ヒント調整処理を説明するための概念図である。
【図22】実施形態６にかかる装置の概略構成図である。
【図23】実施形態６にかかる装置の画像処理を示すフローチャートである。
【図24】実施形態６にかかる装置のユーザインターフェイスの一例を示す図である。
【発明を実施するための形態】
【0010】
以下では、具体的な実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。なお、本明細書で色は、具体的には１９７６年に国際照明委員会（ＣＩＥ）によって規格化されたＣＩＥ Ｌ＊ａ＊ｂ＊色空間を用いて定義される。しかしこれに限らず、ＲＧＢ、ＨＳＶおよびＹＣｒＣｂ等の他の任意の色空間を用いて定義されてもよい。以下Ｌ＊、ａ＊、およびｂ＊を、単にＬ、ａおよびｂと表記する。
【0011】
まず実施形態を詳細に説明する前に、その概要について簡単に説明する。図１は、実施形態の概要にかかる画像処理システム（ここでは、単に装置１０と呼ぶ）の構成を示すブロック図である。装置１０は、画像取得部１０２と、画素値補正部１２０と、カラー化生成部１３０とを備える。
画像取得部１０２は、モノクロ画像を取得する。
画素値補正部１２０は、画素値に関連する情報に基づいて、モノクロ画像の画素値を補正する。
カラー化生成部１３０は、機械学習により学習したカラー化予測モデルを用いて、補正されたモノクロ画像から、モノクロ画像に対応するカラー化画像を生成する。
画像取得部１０２は、モノクロ画像を取得する。
画素値補正部１２０は、画素値に関連する情報に基づいて、モノクロ画像の画素値を補正する。
カラー化生成部１３０は、機械学習により学習したカラー化予測モデルを用いて、補正されたモノクロ画像から、モノクロ画像に対応するカラー化画像を生成する。
【0012】
このような構成により、画素値が補正されたモノクロ画像をカラー化することができるため、モノクロ画像のカラー化における色の再現精度を向上させることができる。
【0013】
（実施形態１）
次に図２～５を用いて、この開示の実施形態１について説明する。図２は、実施形態１にかかる装置２０の処理の概要を説明するためのである。装置２０は、モノクロ画像Ｍから、カラー化予測モデルを用いてモノクロ画像Ｍを着色し、カラー化画像Ｃを生成するコンピュータ等である。
次に図２～５を用いて、この開示の実施形態１について説明する。図２は、実施形態１にかかる装置２０の処理の概要を説明するためのである。装置２０は、モノクロ画像Ｍから、カラー化予測モデルを用いてモノクロ画像Ｍを着色し、カラー化画像Ｃを生成するコンピュータ等である。
【0014】
モノクロ画像Ｍは、背景色および背景色以外の単一色を用いて描画される画像である。モノクロ画像Ｍは、画素数に応じた数の画素を有する。モノクロ画像Ｍの各画素は、背景色と単一色との間の濃淡の段階を示す画素値を有する。モノクロ画像Ｍの画素値は、色空間の任意の次元の値を含む。本実施形態１でモノクロ画像Ｍの画素値は、モノクロ画像Ｍの輝度値、たとえばＬ値を含む。
モノクロ画像Ｍは、１または複数の被写体を含む写真画像である。被写体は、一例として人物、空、夕日、木および草等である。本実施形態１でモノクロ画像Ｍは、背景色として白色と、単一色として黒色とを用いたグレースケール画像であってよい。しかしこれに限らず、モノクロ画像Ｍは、単一色として黒以外の色を用いた画像であってもよい。また、モノクロ画像Ｍは、単一色の網点画像に、ガウシアンフィルタおよびメディアンフィルタ等を用いたぼかし処理が施されたものであってもよい。
モノクロ画像Ｍは、１または複数の被写体を含む写真画像である。被写体は、一例として人物、空、夕日、木および草等である。本実施形態１でモノクロ画像Ｍは、背景色として白色と、単一色として黒色とを用いたグレースケール画像であってよい。しかしこれに限らず、モノクロ画像Ｍは、単一色として黒以外の色を用いた画像であってもよい。また、モノクロ画像Ｍは、単一色の網点画像に、ガウシアンフィルタおよびメディアンフィルタ等を用いたぼかし処理が施されたものであってもよい。
【0015】
カラー化画像Ｃは、モノクロ画像Ｍに対応する、画素数に応じた数の画素を有する。カラー化画像Ｃの各画素は、色空間の全ての次元の値を含んでよい。本実施形態１ではカラー化画像Ｃの各画素は、輝度値に加えて補色次元の値を含む。補色次元の値は、たとえばａ値およびｂ値であってよい。
【0016】
カラー化予測モデルは、機械学習により学習した、モノクロ画像Ｍの画素の色を予測する予測モデルである。カラー化予測モデルは、たとえば入力層、中間層および出力層を含むニューラルネットワークを有する。一例としてニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional neural network,CNN）を含む。なおニューラルネットワークは、オートエンコーダ、特に条件付きオートエンコーダを含んでよい。本実施形態１ではカラー化予測モデルはエンドツーエンドの深層学習により学習したモデルであるが、これに限らない。
【0017】
本実施形態１でカラー化予測モデルは、モノクロ画像Ｍの画素値に含まれる輝度値（Ｌ値）から、モノクロ画像Ｍの補色次元の値（ａ，ｂ値）を予測する。
本図に示すように、本実施形態１で装置２０は、カラー化の対象となるモノクロ画像Ｍ０の画素値（ここでは、輝度値）を補正し、モノクロ画像Ｍ１を生成する。そして装置２０は、モノクロ画像Ｍ１、すなわちモノクロ画像Ｍ１の輝度次元のマトリクス図Ｍ１（Ｌ）からカラー化画像Ｃの補色次元の予測マトリクス図Ｃ（ａ），Ｃ（ｂ）を取得する。そして装置２０は、取得したＣ（ａ），Ｃ（ｂ）と、Ｍ（Ｌ）とを合成し、カラー化画像Ｃを生成する。
本図に示すように、本実施形態１で装置２０は、カラー化の対象となるモノクロ画像Ｍ０の画素値（ここでは、輝度値）を補正し、モノクロ画像Ｍ１を生成する。そして装置２０は、モノクロ画像Ｍ１、すなわちモノクロ画像Ｍ１の輝度次元のマトリクス図Ｍ１（Ｌ）からカラー化画像Ｃの補色次元の予測マトリクス図Ｃ（ａ），Ｃ（ｂ）を取得する。そして装置２０は、取得したＣ（ａ），Ｃ（ｂ）と、Ｍ（Ｌ）とを合成し、カラー化画像Ｃを生成する。
【0018】
このように、装置２０は、モノクロ画像Ｍからカラー化画像Ｃを生成することができる。
【0019】
図３は、実施形態１にかかる装置２０の概略構成図である。装置２０は、取得部２００と、記憶部２１０と、画素値補正部２２０と、カラー化生成部２３０と、出力部２４０と、カラー化モデル生成部２６０とを備える。
【0020】
取得部２００は、カラー化予測モデルの入力データに関連する各種データを取得する。取得部２００は、取得したデータを画素値補正部２２０に出力する。これに加えて取得部２００は、取得したデータを記憶部２１０に格納してもよい。ここで取得部２００は、画像取得部２０２を有する。
【0021】
画像取得部２０２は、カラー化の対象となるモノクロ画像Ｍ（すなわち、Ｍ０）を取得する。画像取得部２０２は、学習データとしてモノクロ画像Ｍおよびこれに対応するカラー化画像Ｃを取得してもよい。
【0022】
記憶部２１０は、画素値補正処理およびカラー化予測モデルの学習処理に関連する各種データ等を記憶する記憶媒体である。記憶部２１０は、学習データベース２１６を有する。
学習データベース２１６は、カラー化予測モデルの学習データ等を記憶する。
学習データベース２１６は、カラー化予測モデルの学習データ等を記憶する。
【0023】
画素値補正部２２０は、画素値に関連する情報に基づいて、モノクロ画像Ｍ０の画素値を補正する。本実施形態１で画素値補正部２２０は、画素値に関連する情報に基づく補正モデルを用いてモノクロ画像Ｍ０の画素値を補正する。
ここで補正モデルは、モノクロ画像Ｍ０の画素値分布が基準画像の画素値の基準分布に近づくようにモノクロ画像Ｍ０の画素値を補正するアルゴリズムを有するモデルであってよい。本実施形態１で画素値に関連する情報は、１または複数の補正モデルのパラメータ（補正パラメータ）を含む。
たとえば補正パラメータは、基準画像の画素値の基準分布に関連するパラメータであってよい。本実施形態１で補正パラメータは、基準画像の画素値の基準分布の平均および標準偏差を含むが、これに限らず基準分布の最小画素値および最大画素値等を含んでもよい。
ここで補正モデルは、モノクロ画像Ｍ０の画素値分布が基準画像の画素値の基準分布に近づくようにモノクロ画像Ｍ０の画素値を補正するアルゴリズムを有するモデルであってよい。本実施形態１で画素値に関連する情報は、１または複数の補正モデルのパラメータ（補正パラメータ）を含む。
たとえば補正パラメータは、基準画像の画素値の基準分布に関連するパラメータであってよい。本実施形態１で補正パラメータは、基準画像の画素値の基準分布の平均および標準偏差を含むが、これに限らず基準分布の最小画素値および最大画素値等を含んでもよい。
【0024】
カラー化生成部２３０は、カラー化予測モデルを用いて、画素値が補正されたモノクロ画像Ｍ（すなわち、Ｍ１）から、モノクロ画像Ｍに対応するカラー化画像Ｃを生成する。なおカラー化生成部２３０は、後述するカラー化モデル生成部２６０のモデル最適化部２６４から出力されるカラー化予測モデルを用いる。そしてカラー化生成部２３０は、カラー化画像Ｃを出力部２４０に出力する。
【0025】
出力部２４０は、カラー化生成部２３０によって生成されたカラー化画像Ｃを所定の出力形式により出力する。
【0026】
カラー化モデル生成部２６０は、学習データを用いた機械学習によって、カラー化予測モデルを生成する。カラー化モデル生成部２６０は、学習処理部２６２と、モデル最適化部２６４とを有する。
学習処理部２６２は、カラー化予測モデルの学習データを管理する。学習処理部２６２は、学習用のモノクロ画像Ｍおよびカラー化画像Ｃを含むデータセット、すなわち学習データを取得し、学習データベース２１６に格納する。なお学習データベース２１６に格納される学習データは、学習処理部２６２が取得部２００から取得したデータであってもよく、学習処理部２６２が任意の通信手段（不図示）を介して他の装置から受信したデータであってもよい。そして学習処理部２６２は、学習データベース２１６に格納された学習データをモデル最適化部２６４に出力する。
モデル最適化部２６４は、学習データを用いて機械学習によりカラー化予測モデルを最適化する。モデル最適化部２６４は、最適化したカラー化予測モデルをカラー化生成部２３０に出力する。
学習処理部２６２は、カラー化予測モデルの学習データを管理する。学習処理部２６２は、学習用のモノクロ画像Ｍおよびカラー化画像Ｃを含むデータセット、すなわち学習データを取得し、学習データベース２１６に格納する。なお学習データベース２１６に格納される学習データは、学習処理部２６２が取得部２００から取得したデータであってもよく、学習処理部２６２が任意の通信手段（不図示）を介して他の装置から受信したデータであってもよい。そして学習処理部２６２は、学習データベース２１６に格納された学習データをモデル最適化部２６４に出力する。
モデル最適化部２６４は、学習データを用いて機械学習によりカラー化予測モデルを最適化する。モデル最適化部２６４は、最適化したカラー化予測モデルをカラー化生成部２３０に出力する。
【0027】
次に、実施形態１に係る装置２０の画像処理の詳細について説明する。図４は、実施形態１にかかる装置２０の画像処理を示すフローチャートである。
まずＳ１００において、取得部２００の画像取得部２０２は、カラー化の対象となるモノクロ画像Ｍ０を取得する。たとえば画像取得部２０２は、後述するユーザが装置２０が備えるユーザインターフェイス（不図示）上で画像入力を選択し、所定のモノクロ画像Ｍ０を転送することに応じて、上記処理を行う。そして画像取得部２０２は、取得したモノクロ画像Ｍ０を画素値補正部２２０に出力する。
まずＳ１００において、取得部２００の画像取得部２０２は、カラー化の対象となるモノクロ画像Ｍ０を取得する。たとえば画像取得部２０２は、後述するユーザが装置２０が備えるユーザインターフェイス（不図示）上で画像入力を選択し、所定のモノクロ画像Ｍ０を転送することに応じて、上記処理を行う。そして画像取得部２０２は、取得したモノクロ画像Ｍ０を画素値補正部２２０に出力する。
【0028】
次にＳ１０２において、画素値補正部２２０は、出力されたモノクロ画像Ｍ０に対して第１画素値補正処理を行い、モノクロ画像Ｍ１を生成する。本実施形態１では画素値補正部２２０は、モノクロ画像Ｍ０の輝度値（Ｌ値）の補正を行い、モノクロ画像Ｍ１を生成する。なお第１画素値補正処理の詳細については、後述する。画素値補正部２２０は、モノクロ画像Ｍ１をカラー化生成部２３０に出力する。
【0029】
次にＳ１０４において、カラー化生成部２３０は、モデル最適化部２６４からカラー化予測モデルを取得する。
次にＳ１０６において、カラー化生成部２３０は、取得したモノクロ画像Ｍ１を入力データとし、カラー化予測モデルを用いてモノクロ画像Ｍ１に対応したカラー化画像Ｃを生成する。本実施形態１では、カラー化生成部２３０は、モノクロ画像Ｍ１の輝度次元のマトリクス図Ｍ１（Ｌ）をカラー化予測モデルに入力し、カラー化画像Ｃの補色次元の予測マトリクス図Ｃ（ａ），Ｃ（ｂ）を取得する。そしてカラー化生成部２３０は、取得したＣ（ａ），Ｃ（ｂ）と、Ｍ（Ｌ）とを合成し、Ｌａｂ色空間のカラー化画像を生成する。カラー化生成部２３０は、カラー化画像をＬａｂ色空間からＲＧＢ色空間に変換し、ＲＧＢ色空間のカラー化画像Ｃを生成する。そして、カラー化生成部２３０は、出力部２４０にカラー化画像Ｃを出力する。
次にＳ１０６において、カラー化生成部２３０は、取得したモノクロ画像Ｍ１を入力データとし、カラー化予測モデルを用いてモノクロ画像Ｍ１に対応したカラー化画像Ｃを生成する。本実施形態１では、カラー化生成部２３０は、モノクロ画像Ｍ１の輝度次元のマトリクス図Ｍ１（Ｌ）をカラー化予測モデルに入力し、カラー化画像Ｃの補色次元の予測マトリクス図Ｃ（ａ），Ｃ（ｂ）を取得する。そしてカラー化生成部２３０は、取得したＣ（ａ），Ｃ（ｂ）と、Ｍ（Ｌ）とを合成し、Ｌａｂ色空間のカラー化画像を生成する。カラー化生成部２３０は、カラー化画像をＬａｂ色空間からＲＧＢ色空間に変換し、ＲＧＢ色空間のカラー化画像Ｃを生成する。そして、カラー化生成部２３０は、出力部２４０にカラー化画像Ｃを出力する。
【0030】
Ｓ１０８において、出力部２４０はカラー化画像Ｃを出力する。たとえば出力部２４０は、ユーザインターフェイス上にカラー化画像Ｃを表示させる。また出力部２４０は、ユーザがユーザインターフェイス上で画像出力を選択したことに応じてカラー化画像Ｃを所定のデータ形式で出力する。そして出力部２４０は、処理を終了する。
【0031】
このように本実施形態１によれば、画素値補正部２２０が補正パラメータに基づいて、モノクロ画像の画素値を補正し、カラー化生成部２３０が補正されたモノクロ画像Ｍ１からカラー化画像Ｃを生成する。したがって、カラー化における色の再現精度を向上させることができる。
【0032】
なおＲＧＢ色空間のモノクロ画像Ｍ０，Ｍ１を用いる場合は、図４に示すＳ１０２に代えて、画素値補正部２２０は、モノクロ画像Ｍ０のＲ，Ｇ，Ｂ次元の画素値を補正し、モノクロ画像Ｍ１を生成してよい。そしてＳ１０６に代えて、カラー化生成部２３０は、画素値が補正されたモノクロ画像Ｍ１の画素値についての３つの次元のマトリクス図をカラー化予測モデルに入力し、３つの次元に対応する予測マトリクス図を取得してよい。そして装置２０は、取得した３つの次元のマトリクス図を合成し、ＲＧＢ色空間のカラー化画像Ｃを生成してよい。
【0033】
図５は、実施形態１にかかる画素値補正部２２０の第１画素値補正処理を示すフローチャートである。
まずＳ１２０において、画素値補正部２２０は、画素値の基準分布を示す基準ヒストグラムを取得する。本実施形態１で基準ヒストグラムは、複数の基準となる画像の各々について画素値に対する画素数を示すヒストグラムを求め、当該複数のヒストグラムを平均化したヒストグラムであってよい。ここで基準となる画像は、任意のカラー画像であってもよく、任意のカラー画像をモノクロ化した画像であってもよい。
まずＳ１２０において、画素値補正部２２０は、画素値の基準分布を示す基準ヒストグラムを取得する。本実施形態１で基準ヒストグラムは、複数の基準となる画像の各々について画素値に対する画素数を示すヒストグラムを求め、当該複数のヒストグラムを平均化したヒストグラムであってよい。ここで基準となる画像は、任意のカラー画像であってもよく、任意のカラー画像をモノクロ化した画像であってもよい。
【0034】
次にＳ１２２において、画素値補正部２２０は、モノクロ画像Ｍ０の画素値を補正する補正モデルの補正パラメータを基準ヒストグラムに基づいて決定する。本実施形態１で画素値補正部２２０は、基準ヒストグラムの平均および標準偏差を補正パラメータとして決定する。
【0035】
次にＳ１２４において、画素値補正部２２０は、決定した補正パラメータを含む補正モデルに基づいてモノクロ画像Ｍ０の画素の画素値補正を実行する。たとえば画素値補正部２２０は、モノクロ画像Ｍ０の画素値ヒストグラムの平均および標準偏差と補正パラメータとの間の誤差が最小になるように、モノクロ画像Ｍ０の画素値を補正する。なお誤差は、平均二乗誤差であってよい。このように画素値補正部２２０は、画素値ヒストグラムが基準ヒストグラムに近づくように画素値が補正されたモノクロ画像Ｍ１を生成することができる。
なお、本実施形態１では学習データベース２１６は、装置２０の記憶部２１０に含まれるが、これに代えて、通信可能に接続された他の装置（不図示）等に含まれていてもよい。このとき学習処理部２６２は、任意の通信手段（不図示）を介して当該他の装置から学習データを取得し、モデル最適化部２６４に出力してよい。
なお、本実施形態１では学習データベース２１６は、装置２０の記憶部２１０に含まれるが、これに代えて、通信可能に接続された他の装置（不図示）等に含まれていてもよい。このとき学習処理部２６２は、任意の通信手段（不図示）を介して当該他の装置から学習データを取得し、モデル最適化部２６４に出力してよい。
【0036】
（実施形態２）
次に図６～８を用いて、この開示の実施形態２について説明する。実施形態２は、画素値補正に用いる補正モデルのパラメータ（補正パラメータ）を、学習済の輝度予測モデルを用いて最適化することに特徴を有する。なお本実施形態２でモノクロ画像Ｍの画素値は、モノクロ画像Ｍの輝度値であり、たとえばＬ値である。
図６は、実施形態２にかかる装置３０の概略構成図である。装置３０は、実施形態１の装置２０とほぼ同様の構成および機能を有する。ただし装置３０は、記憶部２１０および画素値補正部２２０に代えて、記憶部３１０、画素値補正部３２０および補正パラメータ最適化部３５０を備える点で装置２０と相違する。
次に図６～８を用いて、この開示の実施形態２について説明する。実施形態２は、画素値補正に用いる補正モデルのパラメータ（補正パラメータ）を、学習済の輝度予測モデルを用いて最適化することに特徴を有する。なお本実施形態２でモノクロ画像Ｍの画素値は、モノクロ画像Ｍの輝度値であり、たとえばＬ値である。
図６は、実施形態２にかかる装置３０の概略構成図である。装置３０は、実施形態１の装置２０とほぼ同様の構成および機能を有する。ただし装置３０は、記憶部２１０および画素値補正部２２０に代えて、記憶部３１０、画素値補正部３２０および補正パラメータ最適化部３５０を備える点で装置２０と相違する。
【0037】
記憶部３１０は、記憶部２１０とほぼ同様の構成および機能を有するが、学習データベース２１６に代えて学習データベース３１６を有する。
学習データベース３１６は、カラー化生成部２３０が用いるカラー化予測モデルの学習データに加え、画素値補正に係る輝度予測モデルの学習データ（輝度学習データ）を記憶する。
学習データベース３１６は、カラー化生成部２３０が用いるカラー化予測モデルの学習データに加え、画素値補正に係る輝度予測モデルの学習データ（輝度学習データ）を記憶する。
【0038】
補正パラメータ最適化部３５０は、輝度予測モデルを用いて補正パラメータを予測し、最適化する。ここで補正パラメータは、輝度予測モデルによって予測された輝度分布に関連するパラメータであり、本実施形態２では予測された輝度分布の平均および標準偏差である。しかしこれに限らず、補正パラメータは、予測された輝度分布の最小画素値および最大画素値等であってもよい。
輝度予測モデルは、後述のカラー化処理の色の再現精度を担保するために必要なモノクロ画像Ｍの輝度分布に関連する補正パラメータを予測する。輝度予測モデルは、ニューラルネットワーク、特にＣＮＮを有してよい。本実施形態２で補正パラメータ最適化部３５０は、所定の輝度加工処理がなされた加工モノクロ画像ＭＬＮを入力とし、このモノクロ画像ＭＬＮに対応するカラー画像ＣＬを出力とする学習データによって、カラー化予測モデルの前段の輝度予測モデルを機械学習により学習させる。ここで加工モノクロ画像ＭＬＮは、輝度学習用のカラー画像ＣＬに対応する画像である。本実施形態２で加工モノクロ画像ＭＬＮは、輝度学習用のカラー画像ＣＬをモノクロ化したモノクロ画像ＭＬ０に対して、輝度分布をランダムに変化させた画像である。輝度分布をランダムに変化させる処理は学習中にデータ拡張として行ってもよい。
ここで補正パラメータ最適化部３５０は、学習処理部３５２と、モデル最適化部３５４とを有する。
輝度予測モデルは、後述のカラー化処理の色の再現精度を担保するために必要なモノクロ画像Ｍの輝度分布に関連する補正パラメータを予測する。輝度予測モデルは、ニューラルネットワーク、特にＣＮＮを有してよい。本実施形態２で補正パラメータ最適化部３５０は、所定の輝度加工処理がなされた加工モノクロ画像ＭＬＮを入力とし、このモノクロ画像ＭＬＮに対応するカラー画像ＣＬを出力とする学習データによって、カラー化予測モデルの前段の輝度予測モデルを機械学習により学習させる。ここで加工モノクロ画像ＭＬＮは、輝度学習用のカラー画像ＣＬに対応する画像である。本実施形態２で加工モノクロ画像ＭＬＮは、輝度学習用のカラー画像ＣＬをモノクロ化したモノクロ画像ＭＬ０に対して、輝度分布をランダムに変化させた画像である。輝度分布をランダムに変化させる処理は学習中にデータ拡張として行ってもよい。
ここで補正パラメータ最適化部３５０は、学習処理部３５２と、モデル最適化部３５４とを有する。
【0039】
学習処理部３５２は、輝度学習データを管理する。学習処理部３５２は、輝度学習用のカラー画像ＣＬおよび加工モノクロ画像ＭＬＮを含むデータセット、すなわち輝度学習データを取得し、学習データベース３１６に格納する。なお学習データベース３１６に格納される輝度学習データは、学習処理部３５２が取得部２００から取得したデータであってもよく、学習処理部３５２が任意の通信手段（不図示）を介して他の装置から受信したデータであってもよい。そして学習処理部３５２は、学習データベース３１６に格納された輝度学習データをモデル最適化部３５４に出力する。
【0040】
モデル最適化部３５４は、輝度学習データを用いて機械学習により輝度予測モデルを最適化し、輝度予測モデルに基づき補正パラメータを最適化する。本実施形態２でモデル最適化部３５４は、画素値補正部３２０およびカラー化生成部２３０に接続される。モデル最適化部３５４はカラー化生成部２３０によって出力される情報と学習データに含まれる情報とに基づいて輝度予測モデルを更新し、補正パラメータを学習する。モデル最適化部３５４は、最適化した補正パラメータを画素値補正部３２０に出力する。
【0041】
画素値補正部３２０は、画素値に関連する情報に基づいて、モノクロ画像Ｍ０の輝度値を補正する。本実施形態２では画素値に関連する情報は、補正パラメータ最適化部３５０のモデル最適化部３５４から出力される、補正モデルの補正パラメータを含む。本実施形態２で画素値補正部３２０は、補正パラメータを含む補正モデルを有し、補正モデルを用いてモノクロ画像Ｍ０の輝度値を補正する。
【0042】
なお、実施形態２の装置３０の画像処理は、実施形態１の図４に示すステップと同様のステップを有するが、Ｓ１０２に示す第１画素値補正処理に代えて、第２画素値補正処理を有する点で実施形態１と相違する。ここで第２画素値補正処理について図７を用いて説明する。
【0043】
図７は、実施形態２にかかる画素値補正部３２０の第２画素値補正処理を示すフローチャートである。
Ｓ２００において、装置３０の画素値補正部３２０は、補正パラメータ最適化部３５０のモデル最適化部３５４から補正パラメータを取得する。
そしてＳ２０２において、画素値補正部３２０は、取得した補正パラメータを含む補正モデルを用いて、モノクロ画像Ｍ０の輝度値を補正し、モノクロ画像Ｍ１を生成する。たとえば画素値補正部３２０は、モノクロ画像Ｍ０の輝度値ヒストグラムを生成し、当該輝度値ヒストグラムから補正パラメータに対応するパラメータ（ここでは、輝度値ヒストグラムの平均および標準偏差）を算出する。そして算出したパラメータの値が、取得した補正パラメータに近づくようにモノクロ画像Ｍ０の輝度値を補正し、モノクロ画像Ｍ１を生成する。そして画素値補正部３２０は、モノクロ画像Ｍ１をカラー化生成部２３０に出力する。
Ｓ２００において、装置３０の画素値補正部３２０は、補正パラメータ最適化部３５０のモデル最適化部３５４から補正パラメータを取得する。
そしてＳ２０２において、画素値補正部３２０は、取得した補正パラメータを含む補正モデルを用いて、モノクロ画像Ｍ０の輝度値を補正し、モノクロ画像Ｍ１を生成する。たとえば画素値補正部３２０は、モノクロ画像Ｍ０の輝度値ヒストグラムを生成し、当該輝度値ヒストグラムから補正パラメータに対応するパラメータ（ここでは、輝度値ヒストグラムの平均および標準偏差）を算出する。そして算出したパラメータの値が、取得した補正パラメータに近づくようにモノクロ画像Ｍ０の輝度値を補正し、モノクロ画像Ｍ１を生成する。そして画素値補正部３２０は、モノクロ画像Ｍ１をカラー化生成部２３０に出力する。
【0044】
次に補正パラメータ最適化処理について図８を用いて説明する。図８は、実施形態２にかかる補正パラメータ最適化部３５０の補正パラメータ最適化処理を示すフローチャートである。
まずＳ２１０において、補正パラメータ最適化部３５０のモデル最適化部３５４は、学習処理部３５２を介して学習データベース３１６から輝度学習データを取得する。ここで輝度学習データは、輝度学習用のカラー画像ＣＬと、学習処理部３５２による事前処理により生成された加工モノクロ画像ＭＬＮとを含む。
まずＳ２１０において、補正パラメータ最適化部３５０のモデル最適化部３５４は、学習処理部３５２を介して学習データベース３１６から輝度学習データを取得する。ここで輝度学習データは、輝度学習用のカラー画像ＣＬと、学習処理部３５２による事前処理により生成された加工モノクロ画像ＭＬＮとを含む。
【0045】
ここで、本事前処理の詳細について説明する。事前処理においては、学習処理部３５２は、輝度学習用のカラー画像ＣＬを、輝度を残してモノクロ化することによりモノクロ画像ＭＬ０を生成する。そして学習処理部３５２は、モノクロ画像ＭＬ０の輝度値ヒストグラムを生成し、当該輝度値ヒストグラムの形状をランダムに変形させることで加工モノクロ画像ＭＬＮを生成する。例えば学習処理部３５２は、画素が有し得る輝度値の最小値および最大値の間で２つの乱数を発生させ、輝度値ヒストグラムの輝度値が２つの乱数の間に含まれるようにモノクロ画像ＭＬ０の輝度値ヒストグラムを変換し、加工モノクロ画像ＭＬＮを生成してよい。これにより、輝度学習用のカラー画像ＣＬおよびモノクロ画像ＭＬ０に対して、輝度において画像を劣化させた加工モノクロ画像ＭＬＮを生成することができる。
【0046】
次にＳ２１１において、モデル最適化部３５４は輝度予測モデルの各種パラメータを取得する。
次にＳ２１２において、モデル最適化部３５４は、輝度予測モデルの入力層に加工モノクロ画像ＭＬＮを入力し、輝度分布の平均および標準偏差の予測値（補正パラメータ）を取得する。そしてモデル最適化部３５４は、取得した補正パラメータを画素値補正部３２０に出力する。
次にＳ２１２において、モデル最適化部３５４は、輝度予測モデルの入力層に加工モノクロ画像ＭＬＮを入力し、輝度分布の平均および標準偏差の予測値（補正パラメータ）を取得する。そしてモデル最適化部３５４は、取得した補正パラメータを画素値補正部３２０に出力する。
【0047】
そしてＳ２１３において、画素値補正部３２０は、第２画素値補正処理を行い、加工モノクロ画像ＭＬＮに対応する補正後のモノクロ画像Ｍ１を取得する。そして画素値補正部３２０は、当該モノクロ画像Ｍ１をカラー化生成部２３０に出力する。
【0048】
Ｓ２１４において、カラー化生成部２３０は、図４に示すＳ１０４に示す処理と同様の処理を実行し、カラー化予測モデルを取得する。
そしてＳ２１５において、カラー化生成部２３０は、図４に示すＳ１０６に示す処理と同様の処理を実行し、カラー化画像Ｃを生成する。カラー化生成部２３０は、出力したカラー化画像Ｃを補正パラメータ最適化部３５０のモデル最適化部３５４に出力する。
そしてＳ２１５において、カラー化生成部２３０は、図４に示すＳ１０６に示す処理と同様の処理を実行し、カラー化画像Ｃを生成する。カラー化生成部２３０は、出力したカラー化画像Ｃを補正パラメータ最適化部３５０のモデル最適化部３５４に出力する。
【0049】
次にＳ２１６において、モデル最適化部３５４は、損失関数に基づいてカラー化画像Ｃと輝度学習用のカラー画像ＣＬとの間の誤差を算出し、誤差が閾値未満であるか否かを判定する。本実施形態２では損失関数は、Ｌ２ノルムであるが、これに限らずＬ１ノルムまたは他の任意の距離関数であってよい。モデル最適化部３５４は、誤差が閾値未満である場合（Ｓ２１６でＹ）処理をＳ２１８に進め、そうでない場合（Ｓ２１６でＮ）処理をＳ２１７に進める。
【0050】
Ｓ２１７において、モデル最適化部３５４は誤差に基づいて補正パラメータの勾配を算出し、勾配に基づいて輝度予測モデルの各種パラメータを更新する。ここでモデル最適化部３５４は、誤差逆伝搬法を用いて勾配を算出してよい。しかしこれに代えて、モデル最適化部３５４は任意の数値計算により直接勾配を算出してもよい。またモデル最適化部３５４は、確率的勾配降下法（ＳＧＤ）、Ａｄａｍまたは任意の最適化手法を用いて、各種パラメータを更新してよい。
なお、このときモデル最適化部３５４は、カラー化予測モデルのパラメータを更新しない。
なお、このときモデル最適化部３５４は、カラー化予測モデルのパラメータを更新しない。
【0051】
そしてＳ２１８において、モデル最適化部３５４は、輝度予測モデルを最適化し、輝度予測モデルに基づいて補正パラメータを最適化する。
なお輝度学習データは、訓練データと、テストデータとに分類されてよく、モデル最適化部３５４は輝度予測モデル生成処理において交差検定に応じた処理を実行してよい。
なお輝度学習データは、訓練データと、テストデータとに分類されてよく、モデル最適化部３５４は輝度予測モデル生成処理において交差検定に応じた処理を実行してよい。
【0052】
このように実施形態２によれば、装置３０は、モノクロ画像Ｍ０の輝度分布が実際の輝度分布に近づくように、モノクロ画像Ｍ０の輝度値を補正し、補正されたモノクロ画像Ｍ１からカラー化画像Ｃを生成する。したがってカラー化における色の再現精度を向上させることができる。
【0053】
（実施形態３）
次に図９～１２を用いて、この開示の実施形態３について説明する。実施形態３は、色ヒントＨに基づいてモノクロ画像Ｍの画素値を補正することに特徴を有する。
図９は、実施形態３にかかる装置４０の処理の概要を説明するための図である。装置４０は、実施形態１の装置２０とほぼ同様の処理を行う。ただし装置４０は、色ヒントＨを用いてモノクロ画像Ｍ０からモノクロ画像Ｍ１を生成する点で相違する。また装置４０は、色ヒントＨに用いてカラー化予測モデルによりモノクロ画像Ｍを着色する点でも相違する。
次に図９～１２を用いて、この開示の実施形態３について説明する。実施形態３は、色ヒントＨに基づいてモノクロ画像Ｍの画素値を補正することに特徴を有する。
図９は、実施形態３にかかる装置４０の処理の概要を説明するための図である。装置４０は、実施形態１の装置２０とほぼ同様の処理を行う。ただし装置４０は、色ヒントＨを用いてモノクロ画像Ｍ０からモノクロ画像Ｍ１を生成する点で相違する。また装置４０は、色ヒントＨに用いてカラー化予測モデルによりモノクロ画像Ｍを着色する点でも相違する。
【0054】
ここで本実施形態３において、モノクロ画像Ｍ（Ｍ０およびＭ１）に含まれる被写体は、１または複数の対象部分を含む。対象部分は、被写体のうち色が類似する部分である。対象部分は、画素値の差が所定範囲内の複数の隣接する画素を含む画素領域であってよい。対象部分は一例として、人物の肌、人物の目、人物の服、空、夕日、木の幹、木の葉および草等である。
【0055】
また色ヒントＨは、対象部分の色を示唆する色の指標である。本実施形態３で色ヒントＨは、色空間を用いて定義される色である。色ヒントＨは、モノクロ画像Ｍの画素値補正処理に用いられる画素値に関連する情報に含まれる。また色ヒントＨは、カラー化予測モデルに付加される条件である。色ヒントＨは、特にニューラルネットワークに含まれるオートエンコーダに付加される条件であってよい。色ヒントＨは、モノクロ画像Ｍの画素の色の予測精度を向上させる。
【0056】
図１０は、実施形態３にかかる装置４０の概略構成図である。装置４０は、実施形態１の装置２０とほぼ同様の構成および機能を有する。ただし装置４０は、取得部２００、画素値補正部２２０、カラー化生成部２３０およびカラー化モデル生成部２６０に代えて、取得部４００、画素値補正部４２０、およびカラー化モデル生成部４６０を備える点で装置２０と相違する。
【0057】
取得部４００は、取得部２００とほぼ同様の構成および機能を有するが、画像取得部２０２に加えてヒント決定部４０４を有する。
ヒント決定部４０４は、後続の処理（画素値補正処理およびカラー化生成処理）に用いる色ヒントＨを決定し、画素値補正部４２０およびカラー化生成部２３０に出力する。ヒント決定部４０４は、ヒント取得部４０５を含む。
ヒント取得部４０５は、画像取得部２０２が取得したモノクロ画像Ｍ０の対象位置情報Ｐと、対象部分の色ヒントＨとをユーザからの指定を受け付けることにより取得する。ここで対象位置情報Ｐとは、対象部分を構成する画素のうち少なくとも一部の画素の位置情報であってよい。
なお本実施形態３では、ヒント決定部４０４は、ヒント取得部４０５が取得した色ヒントＨを、後続の処理に用いる色ヒントＨとして決定する。
ヒント決定部４０４は、後続の処理（画素値補正処理およびカラー化生成処理）に用いる色ヒントＨを決定し、画素値補正部４２０およびカラー化生成部２３０に出力する。ヒント決定部４０４は、ヒント取得部４０５を含む。
ヒント取得部４０５は、画像取得部２０２が取得したモノクロ画像Ｍ０の対象位置情報Ｐと、対象部分の色ヒントＨとをユーザからの指定を受け付けることにより取得する。ここで対象位置情報Ｐとは、対象部分を構成する画素のうち少なくとも一部の画素の位置情報であってよい。
なお本実施形態３では、ヒント決定部４０４は、ヒント取得部４０５が取得した色ヒントＨを、後続の処理に用いる色ヒントＨとして決定する。
【0058】
画素値補正部４２０は、画素値補正部２２０と同様に、画素値に関連する情報に基づいて、モノクロ画像Ｍ０の画素値を補正する。ただし画素値補正部４２０は、画素値補正部２２０が行う処理に加え、画素値に関連する情報として色ヒントＨに基づいて、モノクロ画像Ｍ０の画素値を補正する。
【0059】
カラー化生成部４３０は、実施形態１のカラー化生成部２３０が行う処理に加え、モデル最適化部４６４から出力されるカラー化予測モデルを用いて、補正されたモノクロ画像Ｍ１および色ヒントＨから、モノクロ画像Ｍに対応するカラー化画像Ｃを生成する。ここで実施形態１において用いられる、色ヒントＨを用いないカラー化予測モデルをヒント無カラー化予測モデルと呼び、色ヒントＨを用いるカラー化予測モデルをヒント有カラー化予測モデルと呼ぶこととする。
【0060】
カラー化モデル生成部４６０は、学習処理部４６２と、モデル最適化部４６４とを有する。
学習処理部４６２は、学習処理部２６２とほぼ同様の構成および機能を有するが、ヒント無カラー化予測モデルの学習データを管理することに加えて、ヒント有カラー化予測モデルの学習データを管理する。学習処理部４６２は、学習データベース２１６に格納された学習データをモデル最適化部２６４に出力する。
モデル最適化部４６４は、モデル最適化部２６４とほぼ同様の構成および機能を有するが、ヒント無カラー化予測モデルに加えて、学習データを用いて機械学習によりヒント有カラー化予測モデルを最適化する。モデル最適化部４６４は、最適化したカラー化予測モデルをカラー化生成部４３０に出力する。
学習処理部４６２は、学習処理部２６２とほぼ同様の構成および機能を有するが、ヒント無カラー化予測モデルの学習データを管理することに加えて、ヒント有カラー化予測モデルの学習データを管理する。学習処理部４６２は、学習データベース２１６に格納された学習データをモデル最適化部２６４に出力する。
モデル最適化部４６４は、モデル最適化部２６４とほぼ同様の構成および機能を有するが、ヒント無カラー化予測モデルに加えて、学習データを用いて機械学習によりヒント有カラー化予測モデルを最適化する。モデル最適化部４６４は、最適化したカラー化予測モデルをカラー化生成部４３０に出力する。
【0061】
図１１は、実施形態３にかかる装置４０の画像処理を示すフローチャートである。図１１に示すステップは、実施形態１の図４に示すステップのＳ１０２～１０６に代えて、Ｓ３０１～３０５を有する。なお図４に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
【0062】
Ｓ３０１において、ヒント決定部４０４のヒント取得部４０５は、Ｓ１００においてモノクロ画像Ｍ０を取得したことに応じて、対象部分の対象位置情報Ｐを取得したか否かを判定する。たとえばヒント取得部４０５は、ユーザが装置４０のユーザインターフェイス（不図示）上に表示されたモノクロ画像Ｍ０の少なくとも一部の画素をポインティングデバイス等により指定したか否かを判定する。ヒント取得部４０５は、取得（指定）していれば（Ｓ３０１でＹ）、処理をＳ３０２に進め、そうでなければ（Ｓ３０１でＮ）、処理をＳ１０２に進める。
【0063】
Ｓ３０２において、ヒント取得部４０５は、対象部分の色ヒントＨを取得したか否かを判定する。たとえばヒント取得部４０５は、ユーザがユーザインターフェイス上に表示されたカラーパレットに含まれる色または色空間の色等を指定したか否かを判定する。ヒント取得部４０５は、取得（指定）していれば（Ｓ３０２でＹ）、色ヒントを対象部分の対象位置情報Ｐに対応する１または複数の画素に関連付ける。そしてヒント取得部４０５は、ユーザインターフェイス上に表示されたモノクロ画像Ｍ０上の、対象位置情報Ｐに対応する画素に色ヒントＨが示す色を重畳的に表示させ、処理をＳ３０３に進める。ヒント取得部４０５は、そうでなければ（Ｓ３０２でＮ）、処理をＳ１０２に進める。
【0064】
Ｓ３０３において、画素値補正部４２０は、色ヒントＨを取得したことに応じて、出力されたモノクロ画像Ｍ０に対して第３画素値補正処理を行い、モノクロ画像Ｍ１を生成する。なお第３画素値補正処理の詳細については、後述する。画素値補正部４２０は、モノクロ画像Ｍ１をカラー化生成部４３０に出力する。
【0065】
次にＳ３０４において、カラー化生成部４３０は、モデル最適化部４６４からヒント有カラー化予測モデルを取得する。そしてカラー化生成部４３０は、処理をＳ３０５に進める。
【0066】
なおＳ３０１およびＳ３０２においてヒント取得部４０５が対象位置情報Ｐおよび色ヒントＨのいずれかを取得していないことに応じて、画素値補正部４２０は、Ｓ１０２において第１画素値処理を実行し、モノクロ画像Ｍ１を生成する。そして画素値補正部４２０は、処理をＳ１０４に進める。
【0067】
Ｓ１０４において、カラー化生成部４３０は、モデル最適化部４６４からヒント無カラー化予測モデルを取得する。そしてカラー化生成部４３０は、処理をＳ３０５に進める。
【0068】
Ｓ３０５において、カラー化生成部４３０は、画素値補正部４２０から出力されるモノクロ画像Ｍ１を入力データとし、取得したカラー化予測モデルを用いてモノクロ画像Ｍに対応したカラー化画像Ｃを生成する。このときカラー化生成部４３０は、カラー化予測モデルがヒント有カラー化予測モデルである場合は、色ヒントＨを条件としてカラー化画像Ｃを生成する。そしてカラー化生成部４３０は、出力部２４０にカラー化画像Ｃを出力する。
【0069】
なおヒント取得部４０５は、Ｓ１０２およびＳ１０４に示す処理に代えて、エラーを示す信号を出力し、処理を終了してもよい。
また本実施形態３では、ヒント有カラー化予測モデルとヒント無カラー化予測モデルを区別して説明した。しかし、ヒント有カラー化予測モデルは、ヒント無カラー化予測モデルを含み、色ヒントＨが入力されない場合にヒント無カラー化予測モデルと同様の予測処理を行ってよい。この場合画素値補正部４２０は、Ｓ１０２に示す処理を行った後、処理をＳ３０４に進めてよく、Ｓ１０４は省略されてよい。なお、Ｓ１０２に示す処理は省略されてもよい。
また本実施形態３では、ヒント有カラー化予測モデルとヒント無カラー化予測モデルを区別して説明した。しかし、ヒント有カラー化予測モデルは、ヒント無カラー化予測モデルを含み、色ヒントＨが入力されない場合にヒント無カラー化予測モデルと同様の予測処理を行ってよい。この場合画素値補正部４２０は、Ｓ１０２に示す処理を行った後、処理をＳ３０４に進めてよく、Ｓ１０４は省略されてよい。なお、Ｓ１０２に示す処理は省略されてもよい。
【0070】
図１２は、実施形態３にかかる画素値補正部４２０の第３画素値補正処理を示すフローチャートである。
まずＳ３１０において、画素値補正部４２０は、モノクロ画像Ｍ０に含まれる複数の画素を、画素値および画素位置に基づいてスーパーピクセルに分解する。たとえば画素値補正部４２０は、画素値の差が所定閾値以下であって、画素間の距離が所定閾値以下である画素を、１つのスーパーピクセルとしてグループ化する。これにより、画素値および画素が近い画素同士が同一のスーパーピクセルに分類される。
まずＳ３１０において、画素値補正部４２０は、モノクロ画像Ｍ０に含まれる複数の画素を、画素値および画素位置に基づいてスーパーピクセルに分解する。たとえば画素値補正部４２０は、画素値の差が所定閾値以下であって、画素間の距離が所定閾値以下である画素を、１つのスーパーピクセルとしてグループ化する。これにより、画素値および画素が近い画素同士が同一のスーパーピクセルに分類される。
【0071】
次にＳ３１２において、画素値補正部４２０は、スーパーピクセルの画素値の代表値および代表画素位置に基づいて、スーパーピクセルをさらにクラスタリングする。ここでスーパーピクセルの画素値の代表値は、スーパーピクセルに含まれる画素の画素値の平均値であってよい。またスーパーピクセルの代表画素位置は、スーパーピクセルの中心の画素座標であってよい。たとえば画素値補正部４２０は、これらの値に基づいて、ｋ平均法（k-means clustering）を用いてクラスタリングを行ってよい。これにより、画素値の代表値および代表画素位置が近いスーパーピクセル同士が同一のクラスタに分類される。なおここで分類されたクラスタのそれぞれは、被写体の対象部分を示すものと推定される。
【0072】
次にＳ３１４において、画素値補正部４２０は、色ヒントＨが関連付けられた１または複数の画素を含むクラスタの画素値の代表値と、当該色ヒントＨが示す色に対応する画素値とに基づいて、当該クラスタの画素値補正量を算出する。ここで、クラスタの画素値の代表値は、クラスタに含まれる画素の画素値の平均値であってもよく、色ヒントＨが関連付けられた画素の画素値の平均値であってもよい。
【0073】
そしてＳ３１６において、画素値補正部４２０は、色ヒントＨを含むクラスタの画素値補正量を基準に、色ヒントＨを含まない他のクラスタの画素値補正量を算出する。
Ｓ３１８において、画素値補正部４２０は、算出した画素値補正量に基づいて、モノクロ画像Ｍ０の画素の画素値を補正する。このとき画素値補正部４２０は、Ｓ３１４およびＳ３１６において算出した画素値補正量に応じた補正を、対応するクラスタに含まれる画素に対して実行してよい。また画素値補正部４２０は、Ｓ３１４およびＳ３１６において算出した画素値補正量の平均値、中間値または中央値等の代表値を算出し、当該代表値を用いてモノクロ画像Ｍ０全体の画素値レベルを補正してもよい。このとき画素値補正部４２０は、代表値の算出のために、Ｓ３１４およびＳ３１６において算出した画素値補正量の一部を用いてもよく、全部を用いてもよい。
Ｓ３１８において、画素値補正部４２０は、算出した画素値補正量に基づいて、モノクロ画像Ｍ０の画素の画素値を補正する。このとき画素値補正部４２０は、Ｓ３１４およびＳ３１６において算出した画素値補正量に応じた補正を、対応するクラスタに含まれる画素に対して実行してよい。また画素値補正部４２０は、Ｓ３１４およびＳ３１６において算出した画素値補正量の平均値、中間値または中央値等の代表値を算出し、当該代表値を用いてモノクロ画像Ｍ０全体の画素値レベルを補正してもよい。このとき画素値補正部４２０は、代表値の算出のために、Ｓ３１４およびＳ３１６において算出した画素値補正量の一部を用いてもよく、全部を用いてもよい。
【0074】
このように画素値補正部４２０は、モノクロ画像Ｍ０に含まれる１または複数の画素の画素値と、１または複数の画素に関連付けられた色ヒントＨに対応する画素値とに基づいて、モノクロ画像Ｍ０に含まれる画素の画素値の補正量を決定することができる。
【0075】
このように本実施形態３によれば、画素値補正部４２０が色ヒントＨに基づいて画素値を補正し、カラー化生成部４３０が補正されたモノクロ画像Ｍ１からカラー化画像Ｃを生成する。したがって、カラー化における色の再現精度を向上させることができる。
【0076】
なお、画素値補正処理およびカラー化生成処理に用いる色ヒントＨは、写真画像として「好ましい色」、特に人間の知覚に合った色であることが好ましい。本実施形態３の装置４０のヒント取得部４０５は、「好ましい色」を有するカラーパレットをユーザインターフェイス上に表示可能に有してよい。そしてヒント取得部４０５は、ユーザが当該カラーパレットから「好ましい色」を指定したことに応じて、色ヒントＨを取得してよい。
【0077】
なおこのような「好ましい色」は、太陽光および白色光源等の所定の光源下での反射率特性を有するものであってよい。また「好ましい色」は、人間の知覚に基づいて経験的に定められた色であってもよい。
また「好ましい色」は、所定の光源下での物体の色と、所定の表示装置に表示される物体の色との間の色差が小さい（好ましくは、最小の）場合の、後者の色であってもよい。たとえば「好ましい色」は、以下のように求めることもできる。まず物体の色を、第１のイメージセンサで検出し、当該検出した色を所定の表示装置に表示させ、表示された色をさらに第２のイメージセンサで検出する。このとき、第１のイメージセンサの検出色と、第２のイメージセンサの検出色との間の色差が小さくなる（好ましくは、最小となる）場合に、第２のイメージセンサの検出色を、その物体の「好ましい色」とすることができる。
また「好ましい色」は、所定の光源下での物体の色と、所定の表示装置に表示される物体の色との間の色差が小さい（好ましくは、最小の）場合の、後者の色であってもよい。たとえば「好ましい色」は、以下のように求めることもできる。まず物体の色を、第１のイメージセンサで検出し、当該検出した色を所定の表示装置に表示させ、表示された色をさらに第２のイメージセンサで検出する。このとき、第１のイメージセンサの検出色と、第２のイメージセンサの検出色との間の色差が小さくなる（好ましくは、最小となる）場合に、第２のイメージセンサの検出色を、その物体の「好ましい色」とすることができる。
【0078】
（実施形態４）
次に図１３～１８を用いて、この開示の実施形態４について説明する。実施形態３では、画素値補正処理およびカラー化生成処理に用いる色ヒントＨは、ユーザから指定を受け付けることにより取得した色ヒントＨであった。実施形態４では、画素値補正処理およびカラー化生成処理に用いる色ヒントＨが、ユーザから取得した色ヒントＨを上述の「好ましい色」として変換した色ヒントＨであることに特徴を有する。
次に図１３～１８を用いて、この開示の実施形態４について説明する。実施形態３では、画素値補正処理およびカラー化生成処理に用いる色ヒントＨは、ユーザから指定を受け付けることにより取得した色ヒントＨであった。実施形態４では、画素値補正処理およびカラー化生成処理に用いる色ヒントＨが、ユーザから取得した色ヒントＨを上述の「好ましい色」として変換した色ヒントＨであることに特徴を有する。
【0079】
図１３は、実施形態４にかかる装置５０の概略構成図である。
装置５０は、実施形態３の装置４０とほぼ同様の構成および機能を有する。ただし装置５０は、取得部４００および記憶部２１０に代えて、取得部５００および記憶部５１０を備える点で装置４０と相違する。
装置５０は、実施形態３の装置４０とほぼ同様の構成および機能を有する。ただし装置５０は、取得部４００および記憶部２１０に代えて、取得部５００および記憶部５１０を備える点で装置４０と相違する。
【0080】
取得部５００は、取得部４００とほぼ同様の機能および構成を有するが、ヒント決定部４０４に代えて、ヒント決定部５０４を有する。
【0081】
ヒント決定部５０４は、ヒント決定部４０４と同様に、後続の処理に用いる色ヒントＨを取得し、決定する。しかし本実施形態４では色ヒントＨは、第１の色ヒントと第２の色ヒントとを含み、ヒント決定部５０４は、モノクロ画像Ｍ０の被写体の対象部分の第１の色ヒントを取得し、第２の色ヒントを決定する。ここで第１の色ヒントは、ユーザが被写体の対象部分の色を示唆する色として指定した色ヒントである。そして第２の色ヒントは、第１の色ヒントに応じた「好ましい色」であり、ヒント有カラー化予測モデルに条件として入力される色ヒントである。ヒント取得部４０５に代えて、ヒント取得部５０５およびヒント変換部５０６を含む。
【0082】
ヒント取得部５０５は、モノクロ画像Ｍの対象位置情報Ｐおよび対象部分の第１の色ヒントに加えて、対象部分の分類項目を取得する。ここで分類項目とは、対象部分の種別を示す情報であり、一例として、「人物の肌」、「人物の目」、「空」、「夕日」、「木の幹」、「木の葉」および「草」等である。
【0083】
ヒント変換部５０６は、ヒント取得部５０５が取得した分類項目に基づいて、第１の色ヒントを第２の色ヒントに変換する。ヒント変換部５０６は、記憶部５１０に格納される変換テーブルを用いて第１の色ヒントを第２の色ヒントに変換してよい。ヒント変換部５０６は、第２の色ヒントを画素値補正部４２０およびカラー化生成部４３０に出力する。
【0084】
記憶部５１０は、記憶部２１０とほぼ同様の機能および構成を有するが、これに加えて色ヒント変換処理に関連する各種データを記憶する。記憶部５１０は、学習データベース２１６に加えて、変換テーブルを有する。
変換テーブルは、対象部分の分類項目と、色ヒント変換処理に関連するパラメータ等とを関連付けて記憶するテーブルである。詳細は後述する。
変換テーブルは、対象部分の分類項目と、色ヒント変換処理に関連するパラメータ等とを関連付けて記憶するテーブルである。詳細は後述する。
【0085】
なお、画素値補正部４２０は、画素値に関連する情報として、ヒント変換部５０６から出力される第２の色ヒントに基づいて、モノクロ画像Ｍの画素値を補正する。
またカラー化生成部４３０は、ヒント有カラー化予測モデルを用いて、ヒント変換部５０６から出力される第２の色ヒントからモノクロ画像Ｍに対応するカラー化画像Ｃを生成する。
またカラー化生成部４３０は、ヒント有カラー化予測モデルを用いて、ヒント変換部５０６から出力される第２の色ヒントからモノクロ画像Ｍに対応するカラー化画像Ｃを生成する。
【0086】
図１４は、実施形態４にかかる装置５０のユーザインターフェイスの一例を示す図である。たとえばユーザインターフェイスは、モノクロ画像表示部１と、カラー化画像表示部２と、カラーパレット３と、分類項目入力部４と、色空間表示部５と、ヒント表示部６と、画像入力部７と、画像出力部８とを備える。
【0087】
モノクロ画像表示部１は、取得したモノクロ画像Ｍ０を表示するとともに、当該モノクロ画像Ｍ０の対象部分の対象位置情報Ｐに対応する画素に第１の色ヒントまたは第２の色ヒントが示す色を重畳的に表示する。なおモノクロ画像表示部１は、ポインティングデバイス等を介してユーザから対象位置情報Ｐの入力を受け付ける。モノクロ画像表示部１は、ヒント決定部５０４に含まれ、ヒント取得部５０５に接続されてよい。
【0088】
カラー化画像表示部２は、生成されたカラー化画像Ｃの表示を行う。カラー化画像表示部２は、出力部２４０に含まれる。
【0089】
カラーパレット３は、複数の色を保持する汎用のカラーパレットであり、ユーザから色の指定を受け付ける。指定された色は、第１の色ヒントである。カラーパレット３は、ヒント決定部５０４のヒント取得部５０５に含まれる。
分類項目入力部４は、対象部分の分類項目のリストを表示し、ユーザから分類項目の入力を受け付ける。分類項目入力部４は、ヒント決定部５０４に含まれ、ヒント取得部５０５に接続されてよい。
分類項目入力部４は、対象部分の分類項目のリストを表示し、ユーザから分類項目の入力を受け付ける。分類項目入力部４は、ヒント決定部５０４に含まれ、ヒント取得部５０５に接続されてよい。
【0090】
色空間表示部５は、現時点で選択されている色ヒント（ユーザから指定を受け付けた第１の色ヒントまたは変換後の第２の色ヒント）を色空間で表示する。色空間表示部５は、ポインティングデバイス等を介してユーザから色の指定（つまり、第１の色ヒントの入力）を受け付けてもよい。
ヒント表示部６は、現時点で選択されている色ヒントを色で表示する。
ヒント表示部６は、現時点で選択されている色ヒントを色で表示する。
【0091】
画像入力部７は、画像取得部２０２に含まれ、ユーザからのモノクロ画像Ｍの入力を受け付ける。
画像出力部８は、出力部２４０に含まれ、カラー化画像Ｃを所定のデータ形式で外部に出力する。
画像出力部８は、出力部２４０に含まれ、カラー化画像Ｃを所定のデータ形式で外部に出力する。
【0092】
次に実施形態４にかかる装置５０の処理について、図１４を参照しながら図１５を用いて説明する。図１５は、実施形態４にかかる装置５０の画像処理を示すフローチャートである。図１５に示すステップは、実施形態３の図１１に示すステップのＳ３０２に代えて、Ｓ４００～４０４を有する。なお図１１に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
【0093】
Ｓ４００において、ヒント取得部５０５は、Ｓ３０１において対象部分の対象位置情報Ｐを取得したことに応じて、対象部分の第１の色ヒントを取得したか否かを判定する。たとえばヒント取得部５０５は、ユーザが図１４に示すカラーパレット３に含まれる色または色空間表示部５に表示される色を指定したか否かを判定する。ヒント取得部５０５は、取得（指定）していれば（Ｓ４００でＹ）、図１４に示すようにモノクロ画像表示部１のモノクロ画像Ｍ上の、対象位置情報Ｐに対応する画素に第１の色ヒントが示す色を重畳的に表示させ、処理をＳ４０２に進める。ヒント取得部５０５は、そうでなければ（Ｓ４００でＮ）、処理をＳ１０２に進める。
【0094】
Ｓ４０２において、ヒント取得部５０５は、対象部分の分類項目を取得したか否かを判定する。たとえばヒント取得部５０５は、ユーザが分類項目入力部４に表示された分類項目を指定したか否かを判定する。ヒント取得部５０５は、取得（指定）していれば（Ｓ４０２でＹ）、処理をＳ４０４に進め、そうでなければ（Ｓ４０２でＮ）、第１の色ヒントを画素値補正部４２０およびカラー化生成部４３０に出力し、処理をＳ３０３に進める。
【0095】
Ｓ４０４において、ヒント変換部５０６は、記憶部５１０の変換テーブルを参照し、取得した分類項目に応じて、第１の色ヒントを第２の色ヒントに変換する。この色ヒント変換処理についての詳細は、後述する。ヒント変換部５０６は、画素値補正部４２０およびカラー化生成部４３０に第２の色ヒントを出力する。またヒント変換部５０６は、図１４に示すように、モノクロ画像表示部１のモノクロ画像Ｍ上の、対象位置情報Ｐに対応する画素に第１の色ヒントに代えて第２の色ヒントが示す色を重畳的に表示させる。
【0096】
このように本実施形態４によれば、ヒント変換部５０６が分類項目に基づいて第１の色ヒントを第２の色ヒントに変換する。このため装置５０は、指定された色ヒントの色調整を分類項目に基づいて行い、「好ましい色」として変換された色ヒントを用いて画素値補正処理およびカラー化生成処理を行うことができる。これにより、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる。
【0097】
次に、ヒント変換部５０６による変換テーブルを用いた色ヒント変換処理（つまり、図１５のＳ４０４に示す処理）について説明する。変換テーブルは、第１の変換テーブル、第２の変換テーブルおよび第３の変換テーブルのうち少なくとも１つを含んでよく、ヒント変換部５０６は、記憶部５１０に格納される変換テーブルの種類に応じた変換処理を行ってよい。
【0098】
【0099】
第１の変換テーブルは、対象部分の分類項目と、複数の第２の色ヒントの候補とを関連付けて記憶する。図１６Ａに示すように、第１の変換テーブルは、対象部分の分類項目と、分類項目に対応する複数の第２の色ヒントの候補の色空間座標とを含んでよい。色空間座標は、色空間の次元に対応した成分（つまり画素値）を含み、本図では輝度次元および補色次元にそれぞれ対応する３つの成分Ｌ，ａ，ｂを含む。ここで第２の色ヒントの候補は、分類項目に応じて、前述の「好ましい色」として予め定められた色であってよい。
【0100】
図１６Ｂに示すように、まずＳ４１０においてヒント変換部５０６は、第１の変換テーブルを用いて、取得した分類項目に応じた複数の第２の色ヒントの候補の色空間座標を取得する。
次にＳ４１２において、ヒント変換部５０６は、第２の色ヒントの候補の各々と第１の色ヒントとの間の色差、すなわち第２の色ヒントの候補の各々の色空間座標と、第１の色ヒントの色空間座標との間の距離を算出する。ここで距離は、ユークリッド距離、マンハッタン距離，チェビシェフ距離またはその他の任意の距離であってよい。
次にＳ４１４において、ヒント変換部５０６は、第２の色ヒントの候補のうち、第１の色ヒントとの間の色差が最も小さいものを選択し、第２の色ヒントを決定する。
次にＳ４１２において、ヒント変換部５０６は、第２の色ヒントの候補の各々と第１の色ヒントとの間の色差、すなわち第２の色ヒントの候補の各々の色空間座標と、第１の色ヒントの色空間座標との間の距離を算出する。ここで距離は、ユークリッド距離、マンハッタン距離，チェビシェフ距離またはその他の任意の距離であってよい。
次にＳ４１４において、ヒント変換部５０６は、第２の色ヒントの候補のうち、第１の色ヒントとの間の色差が最も小さいものを選択し、第２の色ヒントを決定する。
【0101】
このようにヒント変換部５０６は、第１の変換テーブルを用いることで、分類項目ごとに予め定められた好ましい色のうち、ユーザが指定した色（第１の色ヒント）に最も近い色を第２の色ヒントとして容易に決定することができる。
【0102】
【0103】
第２の変換テーブルは、第１の色ヒントと、対象部分の分類項目と、第２の色ヒントとを関連付けて記憶する。図１７Ａに示すように、第２の変換テーブルは、分類項目ごとに、第１の色ヒントの色空間座標の範囲に応じて割り当てられた色空間座標を第２の色ヒントとして記憶する。ここで第２の色ヒントは、分類項目ごとに、第１の色ヒントの色空間に対応して上述の「好ましい色」として予め定められた色であってよい。
【0104】
図１７Ｂに示すように、まずＳ４２０においてヒント変換部５０６は、第２の変換テーブルを参照する。
次にＳ４２２において、ヒント変換部５０６は、取得した前記分類項目および第１の色ヒントの色空間座標の成分に対応する範囲に関連付けられた第２の色ヒントを取得する。
このようにヒント変換部５０６は、第２の変換テーブルを用いることで、分類項目ごとに、ユーザが指定した色に対応して予め定められた「好ましい色」を第２の色ヒントとして容易に決定することができる。
次にＳ４２２において、ヒント変換部５０６は、取得した前記分類項目および第１の色ヒントの色空間座標の成分に対応する範囲に関連付けられた第２の色ヒントを取得する。
このようにヒント変換部５０６は、第２の変換テーブルを用いることで、分類項目ごとに、ユーザが指定した色に対応して予め定められた「好ましい色」を第２の色ヒントとして容易に決定することができる。
【0105】
【0106】
図１８Ａに示すように、第３の変換テーブルは、対象部分の分類項目に応じた、第１の色ヒントから第２の色ヒントに変換する変換パラメータを記憶する。
【0107】
図１８Ｂに示すように、まずＳ４３０においてヒント変換部５０６は、第３の変換テーブルに記憶される、取得した分類項目に応じた変換パラメータを取得する。
次にＳ４３２に示すように、ヒント変換部５０６は、変換パラメータを用いて第１の色ヒントから第２の色ヒントを算出する。
次にＳ４３２に示すように、ヒント変換部５０６は、変換パラメータを用いて第１の色ヒントから第２の色ヒントを算出する。
【0108】
このようにヒント変換部５０６は、第３の変換テーブルを用いることで、分類項目ごとに予め定められた変換パラメータに基づいた演算処理をユーザが指定した色に対して行い、出力結果を第２の色ヒントとして容易に決定することができる。
【0109】
（実施形態５）
【0110】
次に図１９～２１を用いて、この開示の実施形態５について説明する。実施形態５は、ユーザから取得した色ヒントＨを「好ましい色」として変換し、変換後の色ヒントをさらに色調整することに特徴を有する。
図１９は、実施形態５にかかる装置６０の概略構成図である。装置６０は、実施形態４の装置５０とほぼ同様の構成および機能を有する。ただし装置６０は、取得部５００に代えて、取得部６００を備える点で装置５０と相違する。
図１９は、実施形態５にかかる装置６０の概略構成図である。装置６０は、実施形態４の装置５０とほぼ同様の構成および機能を有する。ただし装置６０は、取得部５００に代えて、取得部６００を備える点で装置５０と相違する。
【0111】
取得部６００は、取得部５００とほぼ同様の構成および機能を有するが、ヒント決定部５０４に代えてヒント決定部６０４を有する。
ヒント決定部６０４は、ヒント決定部５０４の構成に加えて、ヒント調整部６０７を含む。
ヒント調整部６０７は、ヒント変換部５０６から出力された、変換された第２の色ヒントの色空間座標を、第１の色ヒントの色空間座標との間の距離に基づいて調整する。
ヒント決定部６０４は、ヒント決定部５０４の構成に加えて、ヒント調整部６０７を含む。
ヒント調整部６０７は、ヒント変換部５０６から出力された、変換された第２の色ヒントの色空間座標を、第１の色ヒントの色空間座標との間の距離に基づいて調整する。
【0112】
なお画素値補正部４２０は、画素値に関連する情報として、ヒント調整部６０７から出力される調整後の第２の色ヒントに基づいて、モノクロ画像Ｍの画素値を補正する。
またカラー化生成部４３０は、ヒント調整部６０７から出力される調整後の第２の色ヒントに基づいてモノクロ画像Ｍに対応するカラー化画像Ｃを生成する。
またカラー化生成部４３０は、ヒント調整部６０７から出力される調整後の第２の色ヒントに基づいてモノクロ画像Ｍに対応するカラー化画像Ｃを生成する。
【0113】
図２０は、実施形態５にかかる装置６０の画像処理を示すフローチャートである。図２０に示すステップは、実施形態４の図１５に示すステップに加えて、Ｓ５００を有する。なお図１５に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
Ｓ５００において、ヒント決定部６０４のヒント調整部６０７は、Ｓ４０４においてヒント変換部５０６から第２の色ヒントが出力されたことに応じて、色ヒント調整処理を行う。そしてヒント調整部６０７は、画素値補正部４２０およびカラー化生成部４３０に第２の色ヒントを出力し、処理をＳ３０３に進める。
Ｓ５００において、ヒント決定部６０４のヒント調整部６０７は、Ｓ４０４においてヒント変換部５０６から第２の色ヒントが出力されたことに応じて、色ヒント調整処理を行う。そしてヒント調整部６０７は、画素値補正部４２０およびカラー化生成部４３０に第２の色ヒントを出力し、処理をＳ３０３に進める。
【0114】
図２１は、実施形態５にかかる色ヒント調整処理（つまり、図２０のＳ５００に示す処理）を説明するための概念図である。本図に示す点ｖは、Ｓ４００においてヒント取得部５０５が取得した（つまり、ユーザが指定した）第１の色ヒントの色空間座標である。また点ｐは、Ｓ４０４においてヒント変換部５０６が変換した第２の色ヒント（すなわち、「好ましい色」）の色空間座標である。また点Ｘは、Ｓ５００においてヒント調整部６０７が調整した第２の色ヒントの色空間座標である。
【0115】
ヒント調整部６０７は、点ｐと点ｖとを結ぶ直線上に点Ｘを設定することで、変換後の第２の色ヒントの色を調整する。これによりヒント調整部６０７は結果的に、第２の色ヒントを、第１の色ヒントから「好ましい色」に所定量近づける、または遠ざける加工処理を行うことが可能となる。
【0116】
たとえば本図は、ヒント調整部６０７が色空間で点ｖと点ｐとの間に点Ｘを設定する場合、すなわち第２の色ヒントを「好ましい色」に所定量近づける場合の一例を示す。たとえば点ｖと点ｐとの間の距離をｌとし、点ｖ、ｐおよびＸの色空間座標を、位置ベクトルを用いてそれぞれｖ、ｐ、Ｘとする。そして「好ましい色」にどの程度近づけるかを示すパラメータをｔ（－１≦ｔ≦１）とする。本図では、ｔ＞０であり、Ｘ＝ｌ・ｔ・ｖ＋ｌ・（１－ｔ）・ｐが得られる。
【0117】
またヒント調整部６０７は、ｔ＜０とすれば、色空間で点ｖと点ｐとを結ぶ直線上の、点ｖに対して点ｐと反対側の位置に点Ｘを設定することも可能である。すなわちヒント調整部６０７は、第２の色ヒントを「好ましい色」に所定量遠ざけることが可能である。
【0118】
このように本実施形態５によれば、装置６０は予め定められた「好ましい色」を基準としてユーザの好みのテイストで色ヒントＨを調整し、調整後の色ヒントＨに基づいて画素値補正処理およびカラー化生成処理を実行することができる。
【0119】
（実施形態６）
【0120】
次に図２２～２４を用いて、この開示の実施形態６について説明する。実施形態６は、モノクロ画像Ｍの対象位置情報Ｐを自動取得することに特徴を有する。
図２２は、実施形態６にかかる装置７０の概略構成図である。装置７０は、実施形態４の装置５０とほぼ同様の構成および機能を有する。ただし装置７０は、取得部５００に代えて、取得部７００を備える。
図２２は、実施形態６にかかる装置７０の概略構成図である。装置７０は、実施形態４の装置５０とほぼ同様の構成および機能を有する。ただし装置７０は、取得部５００に代えて、取得部７００を備える。
【0121】
取得部７００は、取得部５００とほぼ同様の構成および機能を有するが、ヒント決定部５０４に代えてヒント決定部７０４を有する。
ヒント決定部７０４は、ヒント決定部５０４の構成に加えて、対象検出部７０６と、検出表示部７０８とを含む。
ヒント決定部７０４は、ヒント決定部５０４の構成に加えて、対象検出部７０６と、検出表示部７０８とを含む。
【0122】
対象検出部７０６は、モノクロ画像Ｍ０から対象部分を自動で検出し、対象位置情報Ｐを取得する。たとえば対象検出部７０６は、被写体を検出し、被写体のうち色が類似すると推定される画素領域を対象部分として検出してよい。なお対象検出部７０６は、被写体に含まれる画素同士の画素値の差および画素の位置に基づいて、色が類似すると推定される画素領域を検出してよい。
そして対象検出部７０６は、検出された対象部分に基づいて対象部分の分類項目を推定する。対象検出部７０６は、推定した分類項目をヒント変換部５０６に出力する。
そして対象検出部７０６は、検出された対象部分に基づいて対象部分の分類項目を推定する。対象検出部７０６は、推定した分類項目をヒント変換部５０６に出力する。
【0123】
検出表示部７０８は、検出された対象部分を選択し、表示する。したがってユーザは、対象部分の対象位置情報Ｐを指定することなく、第１の色ヒントを指定することができる。なお検出表示部７０８は、対象部分に加えて、検出された被写体も表示してよい。
なお、ヒント取得部５０５は、表示された対象部分に対応するユーザからの第１の色ヒントの入力を受け付けてよい。
なお、ヒント取得部５０５は、表示された対象部分に対応するユーザからの第１の色ヒントの入力を受け付けてよい。
【0124】
本実施形態６によれば、対象検出部７０６が対象位置情報Ｐを自動で検出するため、ユーザの対象位置情報Ｐの指定操作が省略され、利便性が向上する。また当該対象位置情報Ｐの自動検出に応じて、対象検出部７０６が対象部分の分類項目を推定するため、対象部分の分類項目を自動で取得することができる。これにより、ユーザの分類項目の指定操作が省略され、利便性がさらに向上する。
【0125】
次に実施形態６にかかる装置７０の画像処理について、図２４を参照しながら図２３を用いて説明する。図２３は、実施形態６にかかる装置７０の画像処理を示すフローチャートである。また図２４は、実施形態６にかかる装置７０のユーザインターフェイスの一例を示す図である。
【0126】
図２３に示すステップは、実施形態４の図１５に示すステップのＳ３０１に代えて、Ｓ６００～Ｓ６０４に示すステップを有する。なお図１５に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
Ｓ６００において、対象検出部７０６は、Ｓ１００において画像取得部２０２がモノクロ画像Ｍ０を取得したことに応じて、モノクロ画像Ｍ０から被写体および被写体の対象部分を自動で検出することにより、対象位置情報Ｐを取得したか否かを判定する。
対象検出部７０６は、対象位置情報Ｐを取得していれば（Ｓ６００でＹ）、処理をＳ６０２に進め、そうでなければ（Ｓ６００でＮ）、処理をＳ６０１に進める。
Ｓ６００において、対象検出部７０６は、Ｓ１００において画像取得部２０２がモノクロ画像Ｍ０を取得したことに応じて、モノクロ画像Ｍ０から被写体および被写体の対象部分を自動で検出することにより、対象位置情報Ｐを取得したか否かを判定する。
対象検出部７０６は、対象位置情報Ｐを取得していれば（Ｓ６００でＹ）、処理をＳ６０２に進め、そうでなければ（Ｓ６００でＮ）、処理をＳ６０１に進める。
【0127】
Ｓ６０１において、ヒント取得部５０５は、図１５のＳ３０１に示すステップと同様の処理を行い、対象位置情報Ｐを取得していれば（Ｓ６０１でＹ）、処理をＳ４００に進め、そうでなければ（Ｓ６０１でＮ）、処理をＳ１０２に進める。
【0128】
Ｓ６０２において、対象検出部７０６は、Ｓ６００で対象位置情報Ｐを取得したことに応じて、検出した対象部分の分類項目を推定する。そして図２４に示すように、分類項目入力部４上に推定した分類項目を表示する。
【0129】
なお、Ｓ６００およびＳ６０２に示すステップは、並行して実行されてよい。ここで対象検出部７０６は、機械学習により学習済の所定の物体認識モデルを用いて、被写体および対象部分を検出し、対象位置情報Ｐを取得し、当該対象部分の分類項目を推定してよい。所定の物体認識モデルは、画像から物体を検出し認識するニューラルネットワーク、特にＣＮＮを含んでよい。
また被写体が人物等である場合は、対象検出部７０６は、当該所定の物体認識モデルを用いて被写体を検出し、骨格推定技術等を用いて、顔、腕および脚等の位置を推定してもよい。そして対象検出部７０６は、推定したこれらの位置を対象部分の対象位置情報Ｐとし、対象部分の分類項目を「人物の肌」と推定してもよい。これにより同一の分類項目の対象部分が互いに分離された状態で存在する場合にも、後続のＳ４００においてユーザが第１のヒントを複数回指定することを回避でき、利便性が向上する。
また被写体が人物等である場合は、対象検出部７０６は、当該所定の物体認識モデルを用いて被写体を検出し、骨格推定技術等を用いて、顔、腕および脚等の位置を推定してもよい。そして対象検出部７０６は、推定したこれらの位置を対象部分の対象位置情報Ｐとし、対象部分の分類項目を「人物の肌」と推定してもよい。これにより同一の分類項目の対象部分が互いに分離された状態で存在する場合にも、後続のＳ４００においてユーザが第１のヒントを複数回指定することを回避でき、利便性が向上する。
【0130】
なお本実施形態６で対象検出部７０６は、モノクロ画像Ｍ０から対象部分を、矩形枠を用いて認識し、対象位置情報Ｐおよび分類項目を取得する。しかしこれに代えて、対象検出部７０６は、領域分割（Semantic Segmentation）により、モノクロ画像Ｍ０の各領域部分がどの分類項目に属するかを推定することで対象位置情報Ｐの取得を行ってもよい。
【0131】
Ｓ６０４において、検出表示部７０８は、モノクロ画像表示部１上に検出被写体Ｆおよび対象部分の対象位置情報Ｐに対応する画素を表示する。たとえば図２４に示すように、モノクロ画像表示部１は、取得したモノクロ画像Ｍ０に、検出被写体Ｆを示す矩形枠および対象位置情報Ｐに対応する画素を重畳的に表示してよい。
なお、対象検出部７０６が領域分割を用いる場合は、検出表示部７０８は、検出した領域部分の輪郭を囲む枠等を検出被写体Ｆとしてモノクロ画像Ｍに対して重畳的に表示させてよい。そして検出表示部７０８は、処理をＳ４００に進める。
なお、対象検出部７０６が領域分割を用いる場合は、検出表示部７０８は、検出した領域部分の輪郭を囲む枠等を検出被写体Ｆとしてモノクロ画像Ｍに対して重畳的に表示させてよい。そして検出表示部７０８は、処理をＳ４００に進める。
【0132】
なお検出表示部７０８は、モノクロ画像Ｍ０が複数の検出対象部分を含む場合、順番に検出対象部分の表示を行い、ヒント取得部５０５に対してユーザへ第１の色ヒントの入力を促すように要求してよい。
【0133】
また図２４に示すように、モノクロ画像Ｍ０が同一の分類項目を有する対象部分を複数含む場合には、検出表示部７０８は一度に当該複数の対象部分を選択し、モノクロ画像表示部１に表示させてよい。これにより、後続のＳ４００においてユーザが第１の色ヒントを複数回指定することを回避することができ、利便性が向上する。
【0134】
上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。
【0135】
なお上述の実施形態では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、任意の機能（処理）、特に図１、４～５、７～８、１１～１２、１５～１８、２０および２３に示す処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
【0136】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0137】
請求の範囲、明細書、および図面中において示した装置および方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
【0138】
以上、実施形態を参照してこの開示を説明したが、この開示は上記実施形態に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0139】
１ モノクロ画像表示部、２ カラー化画像表示部、３ カラーパレット、４ 分類項目入力部、５ 色空間表示部、６ ヒント表示部、７ 画像入力部、８ 画像出力部、１０，２０，３０，４０，５０，６０，７０ 装置、１０２ 画像取得部、１２０，２２０，３２０，４２０ 画素値補正部、１３０，２３０，４３０ カラー化生成部、２００，４００，５００，６００，７００ 取得部、２０２ 画像取得部、２１０，３１０，５１０ 記憶部、２１６，３１６ 学習データベース、２４０ 出力部、２６０，４６０ カラー化モデル生成部、２６２，４６２ 学習処理部、２６４，４６４ モデル最適化部、３５０ 補正パラメータ最適化部、３５２ 学習処理部、３５４ モデル最適化部、４０４，５０４，６０４，７０４ ヒント決定部、４０５，５０５ ヒント取得部、５０６ ヒント変換部、６０７ ヒント調整部、７０６ 対象検出部、７０８ 検出表示部、Ｍ，Ｍ０、Ｍ１ モノクロ画像、Ｃ カラー化画像、Ｈ 色ヒント、Ｐ 対象位置情報、Ｆ 検出被写体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】