特許 6986438 カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6986438

(24)【登録日】2021年12月1日

(45)【発行日】2021年12月22日

(54)【発明の名称】カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20211213BHJP

   G06T 1/40 20060101ALI20211213BHJP

【ＦＩ】

   G06T1/00 510

   G06T1/40

【請求項の数】7

【全頁数】20

(21)【出願番号】特願2017-251872(P2017-251872)

(22)【出願日】2017年12月27日

(65)【公開番号】特開2019-117558(P2019-117558A)

(43)【公開日】2019年7月18日

【審査請求日】2020年10月26日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】遠藤 伶

(72)【発明者】

【氏名】河合 吉彦

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１１−１７２２６１（ＪＰ，Ａ）

【文献】 特開２００４−３３４８１４（ＪＰ，Ａ）

【文献】 特開２０１４−１０６５６５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０１７０２４８（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０７３３０９５６（ＣＮ，Ａ）

【文献】 石川 博，”人工知能で白黒写真をカラーに”，画像ラボ，日本，日本工業出版株式会社，2017年10月10日，Vol.28, No.10，pp.14-21

【文献】 品川 淳、長尾 智晴，”エッジ画像を用いた領域成長法によるモノクロ画像のカラー化”，電子情報通信学会２０１３年総合大会講演論文集 情報・システム２，日本，一般社団法人電子情報通信学会，2013年03月05日，p.35

【文献】 N. Anagnostopoulos et al.，"Two-Staged Image Colorization Based on Salient Contours"，2014 IEEE International Conference on Imaging Systems and Techniques (IST) Proceedings，米国，IEEE，2014年10月14日，pp.1-5，https://ieeexplore.ieee.org/document/6958509

【文献】 L. Vincent et al.，"Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations"，IEEE Transactions on Pattern Analysis and Machine Intelligence，米国，IEEE，1991年06月30日，Vol.13, No.6，pp.583-598

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，１／４０，７／００−７／９０

Ｈ０４Ｎ １／５６−１／６０，９／６４

(57)【特許請求の範囲】

【請求項1】

モノクロ画像からカラー情報を推定するためのカラー情報推定モデルを生成するカラー情報推定モデル生成装置であって、
学習データであるカラー画像を明度成分であるモノクロ情報と明度成分以外の色成分であるカラー情報とに分離する情報分離手段と、
前記情報分離手段で分離したカラー情報において、色の変化が予め定めた閾値よりも大きい境界から画素をランダムに選択し、その位置を示す境界情報を生成する境界学習データ生成手段と、
前記モノクロ情報と前記境界情報とを入力し、前記情報分離手段で分離したカラー情報を正解データとしてニューラルネットワークを学習することで前記カラー情報推定モデルを生成するモデル学習手段と、
を備えることを特徴とするカラー情報推定モデル生成装置。

【請求項2】

前記情報分離手段は、前記カラー画像のモノクロ情報を色空間の明度成分として分離し、前記カラー画像のカラー情報を前記色空間の第１色成分および第２色成分として分離するものであって、
前記境界学習データ生成手段は、
前記第１色成分および前記第２色成分のそれぞれで色の境界を検出する境界手段と、
前記第１色成分および前記第２色成分の少なくとも一方で境界として検出された画素位置からランダムに選択した画素位置に、境界であることを示す情報を設定することで前記境界情報を生成するランダム境界選択手段と、
を備えることを特徴とする請求項１に記載のカラー情報推定モデル生成装置。

【請求項3】

前記情報分離手段で分離したカラー情報において、画素ごとに色指定の指示の有無を示す情報をランダムに設定した指示情報を前記カラー情報に付加し、前記色指定の指示がない前記指示情報の画素に対応する前記カラー情報の画素に、予め定めた固定値を設定した色指定情報を生成する色指定学習データ生成手段を、さらに備え、
前記モデル学習手段は、前記モノクロ情報と前記境界情報と前記色指定情報とを入力し、前記ニューラルネットワークを学習することを特徴とする請求項１または請求項２に記載のカラー情報推定モデル生成装置。

【請求項4】

請求項１または請求項２に記載のカラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ画像からカラー情報を推定し、カラー画像を生成する画像カラー化装置であって、
前記モノクロ画像における境界の位置を境界指示として入力する境界指示手段と、
前記モノクロ画像の画素位置に対応して、前記境界指示で指示された画素位置に境界であることを示す情報を設定した境界情報を生成する境界情報生成手段と、
前記カラー情報推定モデルを用いて、モノクロ情報である前記モノクロ画像と前記境界情報とからカラー情報を推定するカラー情報推定手段と、
前記カラー情報推定手段で推定されたカラー情報と前記モノクロ画像とを合成することで、前記カラー画像を生成するカラー画像合成手段と、
を備えることを特徴とする画像カラー化装置。

【請求項5】

請求項３に記載のカラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ画像からカラー情報を推定し、カラー画像を生成する画像カラー化装置であって、
前記モノクロ画像における境界の位置を境界指示として入力する境界指示手段と、
前記モノクロ画像の画素位置に対応して、前記境界指示で指示された画素位置に境界であることを示す情報を設定した境界情報を生成する境界情報生成手段と、
前記モノクロ画像における色指定を行う位置および色を色指定指示として入力する色指定指示入力手段と、
前記モノクロ画像の画素位置に対応して、前記色指定指示の有無を示す指示情報と、色指定された色をカラー情報とを設定した色指定情報を生成する色指定情報生成手段と、
前記カラー情報推定モデルを用いて、モノクロ情報である前記モノクロ画像と前記境界情報と前記色指定情報とからカラー情報を推定するカラー情報推定手段と、
前記カラー情報推定手段で推定されたカラー情報と前記モノクロ画像とを合成することで、前記カラー画像を生成するカラー画像合成手段と、
を備えることを特徴とする画像カラー化装置。

【請求項6】

コンピュータを、請求項１から請求項３のいずれか一項に記載のカラー情報推定モデル生成装置として機能させるためのカラー情報推定モデル生成プログラム。

【請求項7】

コンピュータを、請求項４または請求項５に記載の画像カラー化装置として機能させるための画像カラー化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モノクロ画像をカラー化するためのカラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラムに関する。

【背景技術】

【0002】

近年、いわゆる機械学習技術を用いることにより、モノクロ画像（白黒画像）におけるカラー情報を推定する方法が提案されている（非特許文献１、非特許文献２参照）。このような機械学習技術を用いたカラー情報の推定方法は、多様な物体が写った膨大な量のカラー画像を用意することを前提としている。

【0003】

このカラー情報の推定方法は、カラー情報を推定するための推定モデルを学習する際に、例えば、ニューラルネットワーク等で構成されたモデルに、膨大なカラー画像を入力する。そして、この推定方法は、モノクロ画像とこのモノクロ画像に対応するカラー情報との対応関係を機械学習技術により推定モデルのパラメータとして学習する。そして、この推定方法は、学習した推定モデルを用いて、モノクロ画像とカラー情報との対応関係から、入力として与えられるモノクロ画像に対して、カラー情報を推定し、カラー画像を生成する。

【0004】

しかし、このようなモノクロ画像だけを入力とするカラー情報の推定方法は、学習データに含まれる物体の平均的な色を出力するように推定モデルを学習する。そのため、この推定方法は、洋服のような色のバリエーションが多い物体に対して、同じような色を推定することになり、自然な色のカラー画像を生成することができない。

【0005】

そこで、従来、カラー情報の推定モデルへの入力として、モノクロ画像だけではなく、ユーザによる色指定情報を用いる方法が提案されている（非特許文献３参照）。この方法は、モノクロ画像上の物体に対してユーザが着色して欲しい色を指示する情報を推定モデルに与えることで、その物体を指定された色で着色するように学習し、モノクロ画像からカラー画像を生成する。
この方法によって、洋服のような色のバリエーションが多い物体でも、ユーザ所望の色付けが可能となる。また、この方法によって、史実等で予め正解の色が分かっている場合に、モノクロ画像からより正確なカラー画像を生成することができる。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa., “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,” ACM Transaction on Graphics (Proc. Of SIGGRAPH), 35(4):110, 2016.

【非特許文献2】Richard Zhang, Phillip Isola, and Alexei A. Efros. “Colorful Image Colorization.” In ECCV 2016.

【非特許文献3】R. Zhang, J.Y. Zhu, P. Isola, X. Geng, A. S. Lin, T. Yu, A. A. Efros., “Real-Time User-Guided Image Colorization with Learned Deep Priors,” in SIGGRAPH, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0007】

前記したユーザの指示による色指定情報を用いてモノクロ画像をカラー化する方法は、ユーザが指定した色を画像のどの領域まで着色するのかを直接コントロールすることができない。そのため、この方法は、ユーザの意図とは異なる領域を指定した色で着色してしまうことがあるという問題がある。
例えば、モノクロ画像上のある洋服を赤色で着色する指示を与えても、洋服に隣接して写っている樹木を赤色に着色してしまうことがある。この場合も、樹木に対して正しい色（例えば、茶色）を指定することは可能であるが、画像全体に着色を指示することが必要になり、多くの手間を要する。

【0008】

また、従来の方法は、たとえ画像上の多くの物体に色を指定したとしても、物体の境界付近で正しく色付けすることができない場合があるという問題がある。特に、モノクロ画像上でほぼ同じ色の領域となる輝度値の変化が少ない領域では、領域ごとに異なる色を着色することは困難である。

【0009】

本発明は、以上のような問題点に鑑みてなされたものであり、モノクロ画像をカラー化する際に、画像上の領域の境界で色を分けることが可能なカラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0010】

前記課題を解決するため、本発明に係るカラー情報推定モデル生成装置は、モノクロ画像からカラー情報を推定するためのカラー情報推定モデルを生成するカラー情報推定モデル生成装置であって、情報分離手段と、境界学習データ生成手段と、モデル学習手段と、を備える構成とした。

【0011】

かかる構成において、カラー情報推定モデル生成装置は、情報分離手段によって、学習データであるカラー画像を明度成分であるモノクロ情報と明度成分以外の色成分であるカラー情報とに分離する。カラー画像から分離されたモノクロ情報は、カラー情報推定モデルを学習するためのモノクロ画像の学習データとなる。
そして、カラー情報推定モデル生成装置は、境界学習データ生成手段によって、情報分離手段で分離したカラー情報において、色の変化が予め定めた閾値よりも大きい境界から画素をランダムに選択し、その位置を示す境界情報を生成する。この境界情報は、モノクロ画像上で、境界となる位置をユーザが指示する学習データとなる。また、境界となる画素をランダムに選択するのは、境界の一部をユーザが指示することをカラー情報推定モデルに学習させるためである。

【0012】

そして、カラー情報推定モデル生成装置は、モデル学習手段によって、モノクロ情報と境界情報とを入力し、情報分離手段で分離したカラー情報を正解データとしてニューラルネットワークを学習することで、ニューラルネットワークで構成されたカラー情報推定モデルを生成する。
これによって、カラー情報推定モデル生成装置は、モノクロ情報と境界情報とからカラー情報を推定することが可能なカラー情報推定モデルを生成する。

【0013】

また、前記課題を解決するため、本発明に係る画像カラー化装置は、カラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ画像からカラー情報を推定し、カラー画像を生成する画像カラー化装置であって、境界指示手段と、境界情報生成手段と、カラー情報推定手段と、カラー画像合成手段と、を備える構成とした。

【0014】

かかる構成において、画像カラー化装置は、境界指示手段によって、カラー化対象のモノクロ画像における境界の位置を境界指示として入力する。これによって、ユーザは、モノクロ画像上の輝度がほぼ同じ領域であっても、明示的に境界を指示することができる。
そして、画像カラー化装置は、境界情報生成手段によって、モノクロ画像の画素位置に対応して、境界指示で指示された画素位置に境界であることを示す情報を設定した境界情報を生成する。

【0015】

そして、画像カラー化装置は、カラー情報推定手段によって、カラー情報推定モデルを用いて、モノクロ情報であるモノクロ画像と境界情報とからカラー情報を推定する。
そして、画像カラー化装置は、カラー画像合成手段によって、カラー情報推定手段で推定されたカラー情報と入力されたモノクロ画像とを合成することで、カラー画像を生成する。

【0016】

また、本発明は、コンピュータを、前記カラー情報推定モデル生成装置として機能させるためのカラー情報推定モデル生成プログラムで実現することもできる。
また、本発明は、コンピュータを、前記画像カラー化装置として機能させるための画像カラー化プログラムで実現することもできる。

【発明の効果】

【0017】

本発明は、以下に示す優れた効果を奏するものである。
本発明に係るカラー情報推定モデル生成装置によれば、カラー画像に対する色の境界を学習し、境界によって異なる色となる状態を学習したカラー情報推定モデルを生成することができる。
また、本発明に係る画像カラー化装置によれば、ユーザがモノクロ画像上で色の境を明示的に与える簡易な操作で、モノクロ画像から、より正確なカラー画像を生成することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の概要を説明するための概要図である。

【図2】本発明の実施形態に係るカラー情報推定モデル生成装置の構成を示すブロック図である。

【図3】色指定学習データ生成手段が生成する色指定学習データ（色指定情報）のデータ構造を説明するための説明図である。

【図4】色指定情報のデータの一例を示す図である。

【図5】境界学習データ生成手段が生成する境界学習データの一例を示す図であって、（ａ）は境界検出後、（ｂ）はランダムに境界を選択した後のデータ例を示す。

【図6】カラー情報推定モデルの一例を示すニューラルネットワークの構造図である。

【図7】本発明の実施形態に係るカラー情報推定モデル生成装置の動作を示すフローチャートである。

【図8】本発明の実施形態に係る画像カラー化装置の構成を示すブロック図である。

【図9】本発明の実施形態に係る画像カラー化装置の動作を示すフローチャートである。

【図10】本発明の実施形態に係る画像カラー化装置において、色指定や境界の指示により、生成するカラー画像がどのように変化するのかを模式的に示す図であって、（ａ）は色指定指示なし、境界指示なし、（ｂ）は色指定指示あり、境界指示なし、（ｃ）は色指定指示あり、境界指示あり（左寄り）、（ｄ）は色指定指示あり、境界指示あり（右寄り）を示す。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について図面を参照して説明する。
＜本発明の概要＞
まず、図１を参照して、本発明の概要について説明する。図１は、本発明の概要を説明するための概要図である。
図１に示すように、本発明に係るカラー情報推定モデル生成装置１は、カラー情報推定モデルＭを生成するものである。また、本発明に係る画像カラー化装置２は、カラー情報推定モデル生成装置１が生成したカラー情報推定モデルＭを用いて、モノクロ画像Ｐｍのカラー情報を推定し、カラー画像Ｐｃを生成するものである。

【0020】

カラー情報推定モデルＭは、モノクロ画像Ｐｍと、ユーザからの指示である色指定指示Ｉｃおよび境界指示Ｉｂを示す情報とを入力し、モノクロ画像Ｐｍのカラー情報を出力するニューラルネットワークである。

【0021】

モノクロ画像Ｐｍは、白黒写真、フィルム等からスキャンした明度成分の情報を持つデジタル画像である。
色指定指示Ｉｃは、画像上のある位置における色の指定を行う指示である。例えば、色指定指示Ｉｃは、モノクロ画像Ｐｍに対して、ある物体の正解の色が予め分かっている場合、その物体の位置とその色を指定するものである。
境界指示Ｉｂは、色の境を示す位置の指定を行う指示である。例えば、境界指示Ｉｂは、人物と背景との境界、重なりあった物体の境界等を指定するものである。
このカラー情報推定モデルＭは、色指定指示Ｉｃで指定された位置を含んだ領域に対して指定された色を付けるように学習し、さらに、境界指示Ｉｂで指定された境界で色を分けるように学習したものである。

【0022】

画像カラー化装置２は、カラー情報推定モデルＭによって、色指定指示Ｉｃで指示された位置を含んだ領域に対して、指定された色で着色するようにカラー情報を推定する。カラー情報は、カラー画像から色空間の明度成分を除いた色成分（第１色成分、第２色成分）の情報である。
また、画像カラー化装置２は、カラー情報推定モデルＭによって、境界指示Ｉｂで指示された境界で、色が区分されるようにカラー情報を推定する。
これによって、本発明は、モノクロ画像Ｐｍに対するカラー情報を推定することで、より正確な色のカラー画像Ｐｃを生成することができる。
以下、本発明に係るカラー情報推定モデル生成装置１および画像カラー化装置２について、より詳細に説明する。

【0023】

＜カラー情報推定モデル生成装置：構成＞
まず、図２を参照して、カラー情報推定モデル生成装置１の構成について説明する。図２は、カラー情報推定モデル生成装置１の構成を示すブロック図である。
図２に示すように、カラー情報推定モデル生成装置１は、情報分離手段１０と、色指定学習データ生成手段１１と、境界学習データ生成手段１２と、モデル学習手段１３と、モデル記憶手段１４と、を備える。

【0024】

カラー情報推定モデル生成装置１は、複数のカラー画像Ｐｏから、カラー情報推定モデルＭを生成するものである。
カラー画像Ｐｏは、カラー情報推定モデルＭを学習するための学習用データであって、予め大量（例えば、２００万枚以上）に準備したカラー画像である。
このカラー画像Ｐｏは、カラー化の対象となるモノクロ画像Ｐｍ（図１参照）と同じ画像サイズ（垂直Ｈ画素×水平Ｗ画素）で、予め定めた色空間で表された画像である。ここでは、カラー画像Ｐｏは、Ｌａｂ色空間で表された画像であるとする。

【0025】

情報分離手段１０は、入力したカラー画像Ｐｏを、モノクロ情報とカラー情報とに分離するものである。
具体的には、情報分離手段１０は、Ｌａｂ色空間の３チャンネルで構成されたカラー画像Ｐｏを、モノクロ情報であるＬチャンネル（明度成分）と、カラー情報（明度成分以外の色成分）であるａ，ｂチャンネル（第１色成分，第２色成分）とに分離する。
情報分離手段１０は、分離したモノクロ情報（Ｌチャンネル）を、モデル学習手段１３に出力する。
また、情報分離手段１０は、分離したカラー情報（ａ，ｂチャンネル）を、色指定学習データ生成手段１１、境界学習データ生成手段１２およびモデル学習手段１３に出力する。

【0026】

色指定学習データ生成手段１１は、ユーザがモノクロ画像上の位置とその位置に対応する色とを指示する色指定指示Ｉｃ（図１参照）の学習データ（色指定学習データ）を生成するものである。色指定学習データ生成手段１１は、指示情報付加手段１１０と、ランダム色指定設定手段１１１と、を備える。

【0027】

指示情報付加手段１１０は、カラー情報（ａ，ｂチャンネル）のデータの各要素（画素）に対して、色指定の指示の有無を示す情報（指示情報）を付加するものである。
図３に示すように、カラー推定を行う画像のサイズをＨ（垂直画素数）×Ｗ（水平画素数）の大きさとしたとき、指示情報付加手段１１０は、カラー情報のチャンネルＣｈ１，Ｃｈ２に、新たなチャンネルＣｈ３を付加して、Ｈ×Ｗ×３の３チャンネルのデータ構造を持つ色指定情報ＤＩｃを生成する。

【0028】

チャンネルＣｈ１およびチャンネルＣｈ２は、情報分離手段１０で分離されたカラー情報（Ｌａｂ色空間のａ，ｂチャンネル）である。チャンネルＣｈ１はａの値、チャンネルＣｈ２はｂの値で構成される。
チャンネルＣｈ３は、画素に対する色指定の指示の有無を示す情報（指示情報）である。例えば、チャンネルＣｈ３の各要素には、対応する要素の位置（画素位置）に色指定の指示がある場合に“１”、色指定の指示がない場合に“０”が設定される。ここでは、指示情報付加手段１１０は、初期値として、チャンネルＣｈ３（指示情報）のすべての要素に色指定の指示あり（例えば“１”）を設定する。

【0029】

このように初期化された色指定情報ＤＩｃは、すべての画素位置に対して色指定を指示した色指定学習データ（完全色指定学習データ）となる。
指示情報付加手段１１０は、カラー情報（Ｃｈ１，Ｃｈ２）に指示情報（Ｃｈ３）を付加したデータ（色指定情報）を、ランダム色指定設定手段１１１に出力する。

【0030】

ランダム色指定設定手段１１１は、指示情報付加手段１１０で生成された色指定情報において、ランダムに選択した画素位置に色指定を指示する情報を設定するものである。
具体的には、ランダム色指定設定手段１１１は、“０”から全画素数（垂直Ｈ画素×水平Ｗ画素）までの範囲でランダムに選択した値を、色指定を指示する画素数（色指定画素数）とする。なお、ランダム色指定設定手段１１１は、色指定画素数を、例えば、予め定めた確率の幾何分布に従う数として算出すればよい。
そして、ランダム色指定設定手段１１１は、画像上（Ｈ×Ｗ）で色指定画素数分の画素位置（色指定画素位置）をランダムに選択する。なお、ランダム色指定設定手段１１１は、色指定画素位置を、予め定めた平均、分散の二次元正規分布、あるいは、一様分布に従うものとして算出すればよい。

【0031】

ここでは、初期値として、指示情報（Ｃｈ３；図３）のすべての要素（画素）に色指定の指示あり（例えば“１”）を設定しているため、ランダム色指定設定手段１１１は、色指定画素位置以外の画素位置に対応する指示情報（Ｃｈ３）の要素位置に“０”を設定する。また、ランダム色指定設定手段１１１は、色指定指示情報（Ｃｈ３）に“０”が設定された要素位置に対応するカラー情報（ａ，ｂチャンネル〔Ｃｈ１，Ｃｈ２〕）の画素位置のａの値およびｂの値を予め定めた固定値（“０”）に設定する。

【0032】

例えば、図４に示すように、ランダム色指定設定手段１１１は、チャンネルＣｈ３の二次元データ上の（ｘ，ｙ）座標である座標（３，１），（１，３），（３，３），（２，４）をランダムに選択した色指定画素位置とし、他の座標に“０”を設定したとする。その場合、ランダム色指定設定手段１１１は、チャンネルＣｈ３で“０”を設定した要素位置に対応するチャンネルＣｈ１，Ｃｈ２の要素の値に“０”を設定する。
これによって、色指定学習データ生成手段１１は、指示情報（Ｃｈ３）のランダムに設定された要素位置に“１”が設定されている画素だけに、有効なカラー情報（ａ，ｂチャンネル〔Ｃｈ１，Ｃｈ２〕）の値を持つ色指定学習データを生成することができる。
色指定学習データ生成手段１１は、生成した色指定学習データをモデル学習手段１３に出力する。

【0033】

境界学習データ生成手段１２は、ユーザがモノクロ画像上の色の境を指示する境界指示Ｉｂ（図１参照）の学習データ（境界学習データ）を生成するものである。境界学習データ生成手段１２は、境界検出手段１２０と、ランダム境界選択手段１２１と、を備える。

【0034】

境界検出手段１２０は、カラー情報（ａ，ｂチャンネル）から、画素ごとに当該画素が色の境界となる画素であるか否かを検出するものである。
境界検出手段１２０は、画像サイズをＨ（垂直画素数）×Ｗ（水平画素数）の大きさとしたとき、Ｈ×Ｗ×１の１チャンネル分の境界情報を生成する。この境界情報は、要素（画素）ごとに、境界として検出されたか否かを示す値（例えば、境界であれば“１”、境界でなければ“０”）で構成される。

【0035】

境界検出手段１２０は、ａチャンネルおよびｂチャンネルのそれぞれで色が大きく変化する境界の検出を行い、少なくとも一方のチャンネルで境界として検出された画素位置の要素に“１”、両方のチャンネルで境界として検出されなかった画素位置の要素に“０”を設定することで境界情報を生成する。
なお、境界検出手段１２０における境界の検出は、一般的なエッジ検出アルゴリズム（例えば、Ｃａｎｎｙアルゴリズム）を用いて、周辺画素との値の差が予め定めた閾値よりも大きい画素を境界の画素として検出すればよい。
境界検出手段１２０は、境界の画素位置を示す境界情報をランダム境界選択手段１２１に出力する。

【0036】

ランダム境界選択手段１２１は、境界検出手段１２０で生成された境界情報において、境界として設定された要素をランダムに選択するものである。
具体的には、ランダム境界選択手段１２１は、“０”から境界として設定された画素数（境界画素数）までの範囲でランダムに選択した値を、境界として指示する画素数（境界指示画素数）とする。なお、ランダム境界選択手段１２１は、境界指示画素数を、例えば、予め定めた確率の幾何分布に従う数として算出すればよい。
そして、ランダム境界選択手段１２１は、境界情報において、境界として設定された画素から、ランダムに境界指示画素数分の画素を選択する。ランダム境界選択手段１２１は、選択した境界指示画素以外の画素位置に“０”を設定する。

【0037】

例えば、図５（ａ）に示すように、境界検出後に境界の画素位置に“１”が設定されている場合、ランダム境界選択手段１２１は、図５（ｂ）に示すように、“１”が設定されて画素から、ランダムに選択した画素位置の“１”のみを残して他の画素位置に“０”を設定する。なお、図５中、点線はカラー画像上の境界を示す。
これによって、境界学習データ生成手段１２は、カラー情報から検出した境界の一部の画素位置で境界を指示する境界学習データを生成することができる。
境界学習データ生成手段１２は、生成した境界学習データをモデル学習手段１３に出力する。

【0038】

モデル学習手段１３は、カラー情報を推定するカラー情報推定モデルを学習するものである。このモデル学習手段１３は、情報分離手段１０で分離された１チャンネルのモノクロ情報（Ｌチャンネル）と、色指定学習データ生成手段１１で生成された３チャンネルの色指定学習データと、境界学習データ生成手段１２で生成された１チャンネルの境界学習データとを学習データとして入力する。
そして、モデル学習手段１３は、情報分離手段１０で分離された２チャンネルのカラー情報（ａ，ｂチャンネル）を正解データとして、カラー情報推定モデルＭの出力との誤差をなくす方向（誤差が予め定めた値以下になるよう）に、誤差逆伝播法を用いてカラー情報推定モデルＭ（具体的にはそのモデルパラメータ）を学習する。
モデル学習手段１３は、学習したカラー情報推定モデルＭをモデル記憶手段１４に書き込み記憶する。

【0039】

ここで、図６を参照して、モデル学習手段１３が学習するカラー情報推定モデルＭの構成例について説明する。
図６に示すように、カラー情報推定モデルＭは、畳み込み層を含んだニューラルネットワークで構成することができる。

【0040】

図６に示すように、カラー情報推定モデルＭは、入力層Ｉとして、１チャンネル（１ｃｈ）のモノクロ画像と、３チャンネルの色指定情報と、１チャンネルの境界情報と、を入力する。

【0041】

また、カラー情報推定モデルＭは、隠れ層（中間層）Ｈとして、複数のコンボリューション層（Ｃ１〜Ｃ６）を有する。
カラー情報推定モデルＭは、コンボリューション層Ｃ１において、複数のカーネル（畳み込みフィルタ）により、モノクロ画像（１ｃｈ）を、モノクロ画像と同じ画像サイズ（垂直Ｈ画素×水平Ｗ画素）で、予め定めたチャンネル数Ｎ（例えば、Ｎ＝６４）のデータに畳み込む。

【0042】

また、カラー情報推定モデルＭは、コンボリューション層Ｃ２において、複数のカーネルにより、色指定情報（３ｃｈ）を、Ｈ×Ｗ画素のチャンネル数Ｎのデータに畳み込む。また、カラー情報推定モデルＭは、コンボリューション層Ｃ３において、複数のカーネルにより、境界情報（１ｃｈ）を、Ｈ×Ｗ画素のチャンネル数Ｎのデータに畳み込む。
そして、カラー情報推定モデルＭは、加算器Ｓにより、Ｎｃｈに畳み込まれた情報（モノクロ画像、色指定情報、境界情報）を加算する。なお、加算器Ｓを用いずに、３×Ｎチャンネルの連結した情報としてもよい。

【0043】

そして、カラー情報推定モデルＭは、コンボリューション層Ｃ４，Ｃ５により、順次、複数のカーネルにより、畳み込みを行う。
最後に、カラー情報推定モデルＭは、コンボリューション層Ｃ６により、Ｎｃｈの情報を２ｃｈの情報に畳み込む。
カラー情報推定モデルＭは、出力層Ｏとして、２チャンネルの情報をカラー情報であるａ，ｂチャンネルとして出力する。
モデル学習手段１３は、各コンボリューション層のカーネル、重み等をモデルパラメータとして学習する。

【0044】

なお、カラー情報推定モデルＭのニューラルネットワークの構造は、この実施形態に限定されるものではない。例えば、コンボリューション層の数とパラメータ数（カーネルサイズ、チャンネル数）を変更してもよいし、コンボリューション層以外の層（例えば、全結合層、ノーマライゼーション層）を追加してもよい。

【0045】

図２に戻って、カラー情報推定モデル生成装置１の構成について説明を続ける。
モデル記憶手段１４は、モデル学習手段１３で学習するカラー情報推定モデルＭを記憶するものである。このモデル記憶手段１４は、半導体メモリ等の一般的な記憶媒体で構成することができる。学習後のカラー情報推定モデルＭは、画像カラー化装置２（図１参照）で用いられる。
なお、カラー情報推定モデル生成装置１は、コンピュータを、前記した各手段として機能させるためのカラー情報推定モデル生成プログラムで動作させることができる。

【0046】

以上説明したようにカラー情報推定モデル生成装置１を構成することで、カラー情報推定モデル生成装置１は、モノクロ画像、色指定情報、境界情報を入力として、カラー情報を推定するカラー情報推定モデルＭを学習により生成することができる。
また、カラー情報推定モデル生成装置１は、カラー情報推定モデルＭを生成する際に、モノクロ画像、色指定情報、境界情報を学習データとして準備することなく、カラー画像Ｐｏから学習データを生成することができる。

【0047】

＜カラー情報推定モデル生成装置：動作＞
次に、図７を参照（構成については、適宜図２参照）して、カラー情報推定モデル生成装置１の動作について説明する。図７は、カラー情報推定モデル生成装置１の動作を示すフローチャートである。
ステップＳ１において、情報分離手段１０は、入力したカラー画像を、カラー情報であるａ，ｂチャンネル（２チャンネル）と、モノクロ情報であるＬチャンネル（１チャンネル）とに分離する。なお、カラー画像から分離したモノクロ情報は、モノクロ画像であって、そのまま、カラー情報推定モデルＭを学習するための学習データ（モノクロ画像学習データ）となる。

【0048】

ステップＳ２において、色指定学習データ生成手段１１の指示情報付加手段１１０は、全要素（全画素）に色指定の指示あり（例えば“１”）の指示情報を設定した１チャンネルのデータを生成し、ステップＳ１で分離したカラー情報（ａ，ｂチャンネル）に付加する。これによって、指示情報付加手段１１０は、３チャンネルの色指定情報を生成する。

【0049】

ステップＳ３において、色指定学習データ生成手段１１のランダム色指定設定手段１１１は、ステップＳ２で生成した３チャンネルの色指定情報でランダムに選択した要素（画素）に“０”を設定する。これによって、色指定学習データ生成手段１１は、１チャンネルの指示情報において“１”が設定されている要素位置に対応するカラー情報（ａ，ｂチャンネル）の画素だけに、有効なａ，ｂの値を持つ色指定学習データを生成する。

【0050】

ステップＳ４において、境界学習データ生成手段１２の境界検出手段１２０は、ステップＳ１で分離したカラー情報であるａチャンネルまたはｂチャンネルの少なくとも一方で色が大きく変化する色の境界を検出する。
ステップＳ５において、境界検出手段１２０は、境界として検出された画素位置の要素に“１”、境界として検出されなかった画素位置の要素に“０”を設定した１チャンネルのデータ（境界情報）を生成する。

【0051】

ステップＳ６において、境界学習データ生成手段１２のランダム境界選択手段１２１は、ステップＳ５で生成した境界情報として“１”が設定されている要素のうちで、ランダムに選択した要素に“０”を設定する。これによって、境界学習データ生成手段１２は、カラー情報から検出した境界の一部の画素位置で境界を指示する境界学習データを生成する。

【0052】

ステップＳ７において、モデル学習手段１３は、ステップＳ１で分離したモノクロ画像学習データと、ステップＳ３で生成した色指定学習データと、ステップＳ６で生成した境界学習データとを入力し、正解データであるステップＳ１で分離したカラー情報（ａ，ｂチャンネル）を出力するように、カラー情報推定モデルＭを学習する。
ステップＳ８において、モデル学習手段１３は、予め定めたカラー画像の入力が終了した、あるいは、学習による推定誤差の変化量が閾値以下となったかにより、学習の終了を判定する。

【0053】

ここで、学習が終了していなければ（ステップＳ８でＮｏ）、カラー情報推定モデル生成装置１は、ステップＳ１に戻って、他のカラー画像を入力し、学習を継続する。
一方、学習が終了した場合（ステップＳ８でＹｅｓ）、ステップＳ９において、モデル学習手段１３は、学習したカラー情報推定モデルＭをモデル記憶手段１４に書き込み記憶する。
以上の動作によって、カラー情報推定モデル生成装置１は、カラー画像のみから、モノクロ画像、色指定情報、境界情報を入力として、カラー情報を推定するカラー情報推定モデルを学習により生成することができる。

【0054】

＜画像カラー化装置：構成＞
次に、図８を参照して、画像カラー化装置２の構成について説明する。図８は、画像カラー化装置２の構成を示すブロック図である。
図８に示すように、画像カラー化装置２は、画像入力手段２０と、色指定指示手段２１と、色指定情報生成手段２２と、境界指示手段２３と、境界情報生成手段２４と、モデル記憶手段２５と、カラー情報推定手段２６と、カラー情報合成手段２７と、を備える。

【0055】

画像入力手段２０は、カラー化を行う対象のモノクロ画像Ｐｍを入力するものである。画像入力手段２０は、入力したモノクロ画像ＰｍをＬａｂ空間のＬチャンネル（１チャンネル）のモノクロ情報（モノクロ画像）として、カラー情報推定手段２６およびカラー情報合成手段２７に出力する。

【0056】

色指定指示手段２１は、モノクロ画像Ｐｍ上で、ユーザが色指定を行いたい位置および色を色指定指示Ｉｃとして入力するものである。この色指定指示手段２１は、図示を省略した表示装置にモノクロ画像Ｐｍを表示して、マウス、キーボード等の入力手段を介して、色指定指示を入力するものであってもよい。

【0057】

色指定指示Ｉｃの位置は、モノクロ画像Ｐｍ上の画素位置である。この画素位置は、複数であっても構わない。
色指定指示Ｉｃの色は、色指定指示Ｉｃの位置に対応する色であって、Ｌａｂ空間のａ，ｂチャンネルの値（ａｂ値）である。なお、色指定指示Ｉｃの色は、ａ，ｂチャンネルの値である必要はなく、例えば、ＲＧＢ値等、他の色空間の色であっても構わない。その場合、色指定指示手段２１は、色空間変換を行い、Ｌａｂ空間のａ，ｂチャンネルの値を求めればよい。
色指定指示手段２１は、指示された位置および色（ａｂ値）を、色指定情報生成手段２２に出力する。

【0058】

なお、色指定指示手段２１は、すべての位置に対して色指定を行わないことを示す指示を入力してもよい。その場合、色指定指示手段２１は、色指定を行わないことを示す指示を色指定情報生成手段２２に出力する。

【0059】

色指定情報生成手段２２は、色指定指示Ｉｃから、カラー情報推定モデルＭの入力となる色指定情報を生成するものである。
色指定情報生成手段２２は、モノクロ画像Ｐｍの画像のサイズをＨ（垂直画素数）×Ｗ（水平画素数）の大きさとしたとき、Ｈ×Ｗ×３の３チャンネルのデータ構造を持つ色指定情報を生成する。この色指定情報は、図３で説明したデータ構造と同じである。

【0060】

色指定情報生成手段２２は、図３に示したデータ構造において、チャンネルＣｈ１の指示された位置の要素に指示されたａ値を設定し、チャンネルＣｈ１の他の要素に予め定めた固定値（“０”）を設定する。
また、色指定情報生成手段２２は、チャンネルＣｈ２の指示された位置の要素に指示されたｂ値を設定し、チャンネルＣｈ２の他の要素に予め定めた固定値（“０”）を設定する。

【0061】

また、色指定情報生成手段２２は、チャンネルＣｈ３の指示された位置の要素に、色指定の指示があることを示す値（“１”）を設定し、チャンネルＣｈ３の他の要素に、色指定の指示がないことを示す値（“０”）を設定する。
なお、色指定情報生成手段２２は、色指定指示手段２１から、すべての位置に対して色指定を行わないことを示す指示を入力した場合、３チャンネルのすべての要素に“０”を設定すればよい。
色指定情報生成手段２２は、生成した３チャンネルの色指定情報を、カラー情報推定手段２６に出力する。

【0062】

境界指示手段２３は、モノクロ画像Ｐｍ上で、ユーザが境界として指定を行いたい位置を境界指示Ｉｂとして入力するものである。この境界指示手段２３は、図示を省略した表示装置にモノクロ画像Ｐｍを表示して、マウス等の入力手段を介して、境界指示を入力するものであってもよい。

【0063】

境界指示Ｉｂは、モノクロ画像Ｐｍ上の境界を示す画素位置である。この画素位置は、１点であってもよいし、複数であってもよい。例えば、指示された位置が２点であれば、それらの点を結ぶ直線が境界となる。また、指示された位置が３点以上であれば、それらの点を結ぶ曲線が境界となる。また、境界指示Ｉｂは、これらの組み合わせであっても構わない。
境界指示手段２３は、指示された位置を、境界情報生成手段２４に出力する。
なお、境界指示手段２３は、境界指定を行わないことを示す指示を入力してもよい。その場合、境界指示手段２３は、境界指定を行わないことを示す指示を境界情報生成手段２４に出力する。

【0064】

境界情報生成手段２４は、境界指示Ｉｂから、カラー情報推定モデルＭの入力となる境界情報を生成するものである。
境界情報生成手段２４は、モノクロ画像Ｐｍの画像のサイズをＨ（垂直画素数）×Ｗ（水平画素数）の大きさとしたとき、Ｈ×Ｗ×１の１チャンネルのデータ構造を持つ境界情報を生成する。
境界情報生成手段２４は、境界指示Ｉｂで特定される画素位置に対応する要素に、当該画素位置が境界であることを示す値（“１”）を設定し、他の要素に境界ではないことを示す値（“０”）を設定する。

【0065】

なお、境界指示Ｉｂで２点が指示された場合、境界情報生成手段２４は、指示された２点間を結ぶ直線上の要素に、境界であることを示す値（“１”）を設定する。また、境界指示Ｉｂで３点以上が指示された場合、境界情報生成手段２４は、指示された３点以上を結ぶ曲線を、例えば、スプライン曲線で近似し、曲線上の要素に、境界であることを示す値（“１”）を設定する。
なお、境界情報生成手段２４は、境界指示手段２３から、境界指定を行わないことを示す指示を入力した場合、１チャンネルの境界情報のすべての要素に“０”を設定すればよい。
境界情報生成手段２４は、生成した１チャンネルの境界情報を、カラー情報推定手段２６に出力する。

【0066】

モデル記憶手段２５は、図２で説明したカラー情報推定モデル生成装置１で生成されたカラー情報推定モデルＭを記憶するものである。このモデル記憶手段２５は、半導体メモリ等の一般的な記憶媒体で構成することができる。
カラー情報推定モデルＭは、カラー情報推定手段２６によって参照される。

【0067】

カラー情報推定手段２６は、モノクロ画像、色指定情報および境界情報を入力し、カラー情報推定モデルＭを用いて、カラー情報（ａ，ｂチャンネル）を推定するものである。
カラー情報推定手段２６は、画像入力手段２０から、１チャンネルのモノクロ画像を入力する。また、カラー情報推定手段２６は、色指定情報生成手段２２から、３チャンネルの色指定情報を入力する。また、カラー情報推定手段２６は、境界情報生成手段２４から、１チャンネルの境界情報を入力する。

【0068】

このカラー情報推定手段２６は、図６に示したカラー情報推定モデルＭにより、モノクロ画像、色指定情報および境界情報を入力層Ｉへの入力とし、出力層Ｏから出力される２チャンネルのカラー情報（ａ，ｂチャンネル）を演算により生成する。
カラー情報推定手段２６は、推定したカラー情報（ａ，ｂチャンネル）を、カラー情報合成手段２７に出力する。

【0069】

カラー情報合成手段２７は、画像入力手段２０から入力したモノクロ画像をＬａｂ色空間のＬチャンネルとし、カラー情報推定手段２６が推定したカラー情報（ａ，ｂチャンネル）を合成するものである。
カラー情報合成手段２７は、Ｌチャンネル、ａチャンネルおよびｂチャンネルの３チャンネルのデータを、３チャンネルのデータ構造を有するＬａｂ色空間のカラー画像Ｐｃとして出力する。
なお、画像カラー化装置２は、コンピュータを、前記した各手段として機能させるための画像カラー化プログラムで動作させることができる。

【0070】

以上説明したように画像カラー化装置２を構成することで、画像カラー化装置２は、モノクロ画像に対して、ユーザから色指定および境界を指示されることで、カラー情報を推定し、カラー画像を生成することができる。

【0071】

＜画像カラー化装置：動作＞
次に、図９を参照（構成については、適宜図８参照）して、画像カラー化装置２の動作について説明する。図９は、画像カラー化装置２の動作を示すフローチャートである。
ステップＳ１０において、画像入力手段２０は、カラー化を行う対象のモノクロ画像を入力する。モノクロ画像は、カラー情報推定モデルＭへの入力となるとともに、最終的に生成するカラー画像を構成するＬａｂ色空間のＬチャンネルとなる。

【0072】

ステップＳ１１において、色指定指示手段２１は、モノクロ画像上で、ユーザが色指定を行いたい位置および色を色指定指示として入力する。
ステップＳ１２において、色指定情報生成手段２２は、ステップＳ１１で入力した色指定指示から、カラー情報推定モデルＭの入力となる３チャンネルの色指定情報を生成する。色指定情報生成手段２２は、色指定が指示された画素位置において、指定されたカラー情報であるＬａｂ色空間のａ値、ｂ値、ならびに、当該画素位置に色指定が指示されていることを示す値（“１”）を、３チャンネルの対応する要素（画素）に設定することで、色指定情報を生成する。なお、色指定情報生成手段２２は、色指定が指示されていない画素位置に対応する要素には、すべて色指定が指示されていることを示す値（“０”）を設定する。

【0073】

ステップＳ１３において、境界指示手段２３は、モノクロ画像上で、ユーザが境界として指定を行いたい位置を境界指示として入力する。
ステップＳ１４において、境界情報生成手段２４は、ステップＳ１３で入力した境界指示から、カラー情報推定モデルＭの入力となる１チャンネルの境界情報を生成する。境界情報生成手段２４は、境界指示Ｉｂで特定される画素位置に対応する要素に、境界であることを示す値（“１”）、他の要素に境界ではないことを示す値（“０”）を設定することで、境界情報を生成する。

【0074】

ステップＳ１５において、カラー情報推定手段２６は、ステップＳ１０で入力したモノクロ画像、ステップＳ１２で生成した色指定情報、および、ステップＳ１４で生成した境界情報から、カラー情報推定モデルＭを用いて、カラー情報（ａ，ｂチャンネル）を推定する。

【0075】

ステップＳ１６において、カラー情報合成手段２７は、ステップＳ１０で入力したモノクロ画像をＬａｂ色空間のＬチャンネルとし、ステップＳ１５で推定したカラー情報（ａ，ｂチャンネル）を合成することで、カラー画像を生成する。
以上の動作によって、画像カラー化装置２は、カラー情報推定モデル生成装置１で生成したカラー情報推定モデルを用いて、ユーザから色指定や境界の指示を入力することで、正確なカラー画像を生成することができる。

【0076】

＜画像カラー化装置のカラー画像生成例＞
次に、図１０を参照して、色指定や境界の指示により、画像カラー化装置２が生成するカラー画像がどのように変化するのかを模式的に説明する。
図１０は、色指定指示と境界指示とをそれぞれ行った場合のカラー画像の着色状態を示す。図１０中、矢印の左側の図形（ここでは、茶碗）がモノクロ画像、矢印の右側の図形（茶碗）がモノクロ画像をカラー化したカラー画像Ｐｃ（Ｐｃ１〜Ｐｃ４）を模式的に示している。なお、図１０では、色の違いをハッチングの違いで表している。また、茶碗中央の帯状領域Ｚは、輝度値の変化が少ない領域とする。

【0077】

図１０（ａ）は、色指定の指示と境界の指示とがともにない場合を示している。
この場合、茶碗中央の帯状領域Ｚの輝度値の変化が少ないため、カラー画像Ｐｃ１のように、帯状領域Ｚは、ほぼ同じ色で着色されることになる。
図１０（ｂ）は、色指定の指示があり、境界の指示がない場合を示している。また、ここでは、帯状領域の左側に色Ａを指定し、右側に色Ｂを指定している。
この場合、カラー画像Ｐｃ２のように、帯状領域Ｚは、指定された色Ａ，Ｂで着色される。ただし、帯状領域Ｚの輝度値の変化が少ないため、色Ａと色Ｂとの境界はにじんだ色となる。

【0078】

図１０（ｃ）は、色指定の指示と境界の指示とがともにあり、境界Ｃを左寄りに指示した場合を示している。
この場合、カラー画像Ｐｃ３のように、帯状領域Ｚは、指定された左寄りの境界で、指定された色Ａ，Ｂが分かれて着色される。
図１０（ｄ）は、色指定の指示と境界の指示とがともにあり、境界Ｄを右寄りに指示した場合を示している。
この場合、カラー画像Ｐｃ４のように、帯状領域Ｚは、指定された右寄りの境界で、指定された色Ａ，Ｂが分かれて着色される。

【0079】

なお、ここでは、直線で境界を指示した例を示している。この境界は点で指定してもよく、例えば、図１０（ｃ）（ｄ）において、点で境界を指定した場合、生成されるカラー画像は、図１０（ｂ）のカラー画像Ｐｃ２のように、色Ａと色Ｂとの境界はにじんだ色となるが、その境界は指定された点に移動する。

【0080】

＜変形例＞
以上、本発明の実施形態について説明したが、本発明はこの実施形態に限定されるものではない。
（変形例１）
ここでは、図６に示すように、カラー情報推定モデルＭを、モノクロ画像と色指定情報と境界情報との３つの入力でカラー情報（ａ，ｂチャンネル）を推定するモデルとした。
しかし、本発明において、色指定情報は必須ではない。
その場合、図２に示したカラー情報推定モデル生成装置１から、色指定学習データ生成手段１１を省き、モデル学習手段１３が、カラー情報推定モデルＭをモノクロ画像と境界情報との２つの入力で学習すればよい。また、図８に示した画像カラー化装置２から、色指定指示手段２１および色指定情報生成手段２２を省き、カラー情報推定手段２６が、モノクロ画像と境界情報との２つの入力でカラー情報（ａ，ｂチャンネル）を推定すればよい。

【0081】

もちろん、カラー情報推定モデルＭは、モノクロ画像、色指定情報、境界情報以外に、他の情報を追加してカラー情報を推定するモデルとしてもよい。例えば、カラー情報推定モデルＭの入力として、モノクロ画像のエッジデータ、ジャンル（アニメ、ドラマ、ニュース等）等を用いてもよい。

【0082】

モノクロ画像のエッジデータを入力とすることで、カラー情報推定モデルＭは、モノクロ画像のエッジによって、色を精度よく区分することが可能なモデルになる。また、ジャンルを入力とすることで、カラー情報推定モデルＭは、ジャンル固有の色合いを推定することが可能なモデルとなる。

【0083】

例えば、モノクロ画像のエッジデータをカラー情報推定モデルＭの入力とする場合、図２に示したカラー情報推定モデル生成装置１において、エッジを検出するエッジ検出手段を備えればよい。そして、エッジ検出手段が、情報分離手段１０で分離したモノクロ情報であるＬチャンネルからエッジを検出し、エッジデータ（エッジ画像）を１チャンネルの情報として、モデル学習手段１３に出力すればよい。
また、図８に示した画像カラー化装置２においても、エッジ検出手段を備えればよい。そして、エッジ検出手段が、画像入力手段２０で入力したモノクロ画像を入力してエッジを検出し、エッジデータ（エッジ画像）を１チャンネルの情報として、カラー情報推定手段２６に出力すればよい。

【0084】

また、例えば、モノクロ画像のジャンルをカラー情報推定モデルＭの入力とする場合、カラー情報推定モデル生成装置１および画像カラー化装置２において、取り扱うジャンルの種類をＮｊとしたとき、Ｎｊチャンネル分のデータ（ジャンル情報）を生成するジャンル情報生成手段を備え、ジャンル情報を、モデル学習手段１３、カラー情報推定手段２６に出力することとすればよい。このジャンル情報は、ひとつのチャンネルにひとつのジャンルが対応するものとする。そして、ジャンル情報生成手段は、該当ジャンルに対応するチャンネルのみにジャンルが設定されていることを示す値（例えば、“１”）、それ以外のチャンネルにはジャンルが設定されていないことを示す値（例えば“０”）を設定することで、ジャンル情報を生成する。これによって、モノクロ画像に複数のジャンルが対応する場合でも、カラー情報推定モデルＭの入力として使用することができる。

【0085】

（変形例２）
また、ここでは、図６に示すように、カラー情報推定モデルＭを、モノクロ画像（１チャンネル）、色指定情報（３チャンネル）、境界情報（１チャンネル）の３つの入力をそれぞれ個別に畳み込んだ後、加算（または連結）するモデルとした。
しかし、カラー情報推定モデルＭは、これら３つの入力を連結し、５チャンネルのデータに対して畳み込みを行ってもよい。もちろん、３つの入力をすべて連結する必要はなく、その中の任意の２つを連結し、畳み込んだ後、それぞれを加算（または連結）することとしてもよい。例えば、モノクロ画像の１チャンネルと、色指定情報および境界情報を連結した４チャンネルとに分けて畳み込みを行う等である。

【0086】

（変形例３）
また、ここでは、カラー画像をＬａｂ色空間の画像とした。しかし、カラー画像は、Ｌａｂ色空間の画像に限定するものではなく、他の色空間（例えば、ＲＧＢ色空間）の画像であっても構わない。

【0087】

例えば、図２に示したカラー情報推定モデル生成装置１において、ＲＧＢ色空間のカラー画像を学習データとして、カラー情報推定モデルＭを生成する場合、情報分離手段１０の前段に、色空間変換手段を備えればよい。そして、色空間変換手段が、ＲＧＢ色空間のカラー画像をＬａｂ色空間のカラー画像に変換し、情報分離手段１０に出力すればよい。
また、図８に示した画像カラー化装置２において、カラー情報合成手段２７の後段に、Ｌａｂ色空間のカラー画像をＲＧＢ色空間のカラー画像に変換する色空間変換手段を備えればよい。

【符号の説明】

【0088】

１ カラー情報推定モデル生成装置
１０ 情報分離手段
１１ 色指定学習データ生成手段
１１０ 指示情報付加手段
１１１ ランダム色指定設定手段
１２ 境界学習データ生成手段
１２０ 境界検出手段
１２１ ランダム境界選択手段
１３ モデル学習手段
１４ モデル記憶手段
２ 画像カラー化装置
２０ 画像入力手段
２１ 色指定指示手段
２２ 色指定情報生成手段
２３ 境界指示手段
２４ 境界情報生成手段
２５ モデル記憶手段
２６ カラー情報推定手段
２７ カラー情報合成手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】