知財求人 - 知財ポータルサイト「IP Force」
特許6990580カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-08
(45)【発行日】2022-01-12
(54)【発明の名称】カラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラム
(51)【国際特許分類】
G06T 7/90 20170101AFI20220104BHJP
G06T 7/00 20170101ALI20220104BHJP
H04N 9/64 20060101ALI20220104BHJP
【ＦＩ】
G06T7/90 A
G06T7/00 350C
H04N9/64 Z
【請求項の数】
7
(21)【出願番号】P 2017251873
(22)【出願日】2017-12-27
(65)【公開番号】P2019117559
(43)【公開日】2019-07-18
【審査請求日】2020-10-26
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】遠藤 伶
(72)【発明者】
【氏名】河合 吉彦
【審査官】豊田 好一
(56)【参考文献】
【文献】特開２００４－３３４８１４（ＪＰ，Ａ）
【文献】特開２０１４－０４４５９５（ＪＰ，Ａ）
【文献】Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa ，Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification，ACM Transaction on Graphics (Proc. Of SIGGRAPH)，2016年，35(4)，110
【文献】森田 千晶、増永 良文，モノクロ画像のカラリゼーションのための色彩傾向を考慮したウェブ画像検索システム，電子情報通信学会第１７回データ工学ワークショップ（DEWS2006），日本，2006年03月，5B-i9
【文献】R. Irony, D. Cohen-Or, D. Lischinski，Colorization by Example，Eurgraphics Symposium on Rendering ，2005年
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／９０
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ９／６４
(57)【特許請求の範囲】
【請求項1】
被写体が共通するカラー動画像のフレームである基準カラー画像と複数の参照カラー画像とを対とした複数のカラー画像を用いて、前記基準カラー画像の明度成分であるモノクロ画像に対するカラー情報を推定するためのカラー情報推定モデルを生成するカラー情報推定モデル生成装置であって、前記基準カラー画像を明度成分であるカラー化対象の対象モノクロ画像と明度成分以外の色成分である正解データになる正解カラー情報とに分離する基準画像分離手段と、
前記参照カラー画像を参照モノクロ画像と参照カラー情報とに分離する参照画像分離手段と、
前記カラー情報推定モデルをニューラルネットワークにより学習するモデル学習手段と、を備え、
前記モデル学習手段は、
前記対象モノクロ画像、前記参照モノクロ画像および前記参照カラー情報を入力して特徴量である参照画像特徴を出力する参照画像特徴抽出器と、
前記複数の参照カラー画像に対応して前記参照画像特徴抽出器から出力される複数の参照画像特徴を合成して合成特徴を生成する特徴合成器と、
前記対象モノクロ画像を入力して特徴量であるモノクロ画像特徴を出力するモノクロ画像特徴抽出器と、
前記合成特徴および前記モノクロ画像特徴を連結した特徴量を入力して推定カラー情報を出力するカラー情報推定器と、
で構成された前記カラー情報推定モデルを、前記推定カラー情報が前記正解カラー情報となるように学習することを特徴とするカラー情報推定モデル生成装置。
【請求項2】
被写体が共通するカラー動画像のフレームである基準カラー画像と複数の参照カラー画像とを対とした複数のカラー画像を用いて、前記基準カラー画像の明度成分であるモノクロ画像に対するカラー情報を推定するためのカラー情報推定モデルを生成するカラー情報推定モデル生成装置であって、前記基準カラー画像を明度成分であるカラー化対象の対象モノクロ画像と明度成分以外の色成分である正解データになる正解カラー情報とに分離する基準画像分離手段と、
前記カラー情報推定モデルをニューラルネットワークにより学習するモデル学習手段と、を備え、
前記モデル学習手段は、
前記対象モノクロ画像および前記参照カラー画像を入力して特徴量である参照画像特徴を出力する参照画像特徴抽出器と、
前記複数の参照カラー画像に対応して前記参照画像特徴抽出器から出力される複数の参照画像特徴を合成して合成特徴を生成する特徴合成器と、
前記対象モノクロ画像を入力して特徴量であるモノクロ画像特徴を出力するモノクロ画像特徴抽出器と、
前記合成特徴および前記モノクロ画像特徴を連結した特徴量を入力して推定カラー情報を出力するカラー情報推定器と、
で構成された前記カラー情報推定モデルを、前記推定カラー情報が前記正解カラー情報となるように学習することを特徴とするカラー情報推定モデル生成装置。
【請求項3】
前記特徴合成器は、前記参照画像特徴抽出器で抽出された複数の参照画像特徴において、データ配列の同一の要素ごとに最大値を選択、最小値を選択、または、加算することで前記合成特徴を生成することを特徴とする請求項１または請求項２に記載のカラー情報推定モデル生成装置。
【請求項4】
請求項１に記載のカラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ動画像と複数の参照カラー画像とからカラー動画像を生成する動画像カラー化装置であって、前記複数の参照カラー画像を複数の参照モノクロ画像と複数の参照カラー情報とに分離する参照画像分離手段と、
前記モノクロ動画像をフレームごとにカラー化対象の対象モノクロ画像として入力する動画像入力手段と、
前記カラー情報推定モデルの参照画像特徴抽出器により、前記参照モノクロ画像および前記参照カラー情報ごとに、前記対象モノクロ画像との間の参照画像特徴を複数抽出する参照画像特徴抽出手段と、
前記参照画像特徴抽出手段で抽出された複数の参照画像特徴を、前記カラー情報推定モデルの特徴合成器と同じ合成手法で合成して合成特徴を生成する参照画像特徴合成手段と、
前記カラー情報推定モデルのモノクロ画像特徴抽出器により、前記対象モノクロ画像からモノクロ画像特徴を抽出するモノクロ画像特徴抽出手段と、
前記カラー情報推定モデルのカラー情報推定器により、前記参照画像特徴合成手段で生成された複数の参照画像特徴の合成特徴と前記モノクロ画像特徴を連結した特徴量からカラー情報を推定するカラー情報推定手段と、
前記カラー情報推定手段で推定されたカラー情報と前記対象モノクロ画像とをフレーム単位で合成することで、前記カラー動画像を生成するカラー情報合成手段と、
を備えることを特徴とする動画像カラー化装置。
【請求項5】
請求項２に記載のカラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ動画像と複数の参照カラー画像とからカラー動画像を生成する動画像カラー化装置であって、前記モノクロ動画像をフレームごとにカラー化対象の対象モノクロ画像として入力する動画像入力手段と、
前記カラー情報推定モデルの参照画像特徴抽出器により、前記参照カラー画像ごとに、前記対象モノクロ画像との間の参照画像特徴を複数抽出する参照画像特徴抽出手段と、
前記参照画像特徴抽出手段で抽出された複数の参照画像特徴を、前記カラー情報推定モデルの特徴合成器と同じ合成手法で合成して合成特徴を生成する参照画像特徴合成手段と、
前記カラー情報推定モデルのモノクロ画像特徴抽出器により、前記対象モノクロ画像からモノクロ画像特徴を抽出するモノクロ画像特徴抽出手段と、
前記カラー情報推定モデルのカラー情報推定器により、前記参照画像特徴合成手段で生成された複数の参照画像特徴の合成特徴と前記モノクロ画像特徴を連結した特徴量からカラー情報を推定するカラー情報推定手段と、
前記カラー情報推定手段で推定されたカラー情報と前記対象モノクロ画像とをフレーム単位で合成することで、前記カラー動画像を生成するカラー情報合成手段と、
を備えることを特徴とする動画像カラー化装置。
【請求項6】
コンピュータを、請求項１から請求項３のいずれか一項に記載のカラー情報推定モデル生成装置として機能させるためのカラー情報推定モデル生成プログラム。
【請求項7】
コンピュータを、請求項４または請求項５に記載の動画像カラー化装置として機能させるための動画像カラー化プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モノクロ動画像をカラー化するためのカラー情報推定モデル生成装置、動画像カラー化装置およびそれらのプログラムに関する。
【背景技術】
【0002】
近年、いわゆる機械学習技術を用いることにより、モノクロ画像（白黒画像）におけるカラー情報を推定する方法が提案されている（非特許文献１、非特許文献２参照）。このような機械学習技術を用いたカラー情報の推定方法は、多様な物体が写った膨大な量のカラー画像を用意することを前提としている。
【0003】
このカラー情報の推定方法は、カラー情報を推定するためのカラー推定モデルを学習する際に、例えば、ニューラルネットワーク等で構成されたモデルに、膨大なカラー画像を入力する。そして、この推定方法は、モノクロ画像とこのモノクロ画像に対応するカラー情報との対応関係を機械学習技術によりカラー推定モデルのパラメータとして学習する。次に、この推定方法は、学習したカラー推定モデルを用いて、モノクロ画像とカラー情報との対応関係から、入力として与えられるモノクロ画像に対して、カラー情報を推定し、カラー画像を生成する。
この従来の推定方法を用いて、モノクロ動画像（白黒動画像）から静止画フレームを抽出し、フレーム単位のモノクロ画像ごとにカラー化を行い、動画像のフレームとすることで、カラー動画像を生成することができる。
この従来の推定方法を用いて、モノクロ動画像（白黒動画像）から静止画フレームを抽出し、フレーム単位のモノクロ画像ごとにカラー化を行い、動画像のフレームとすることで、カラー動画像を生成することができる。
【先行技術文献】
【非特許文献】
【0004】
【文献】Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa., “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,”ACM Transaction on Graphics (Proc. Of SIGGRAPH), 35(4):110, 2016.
【文献】Richard Zhang, Phillip Isola, and Alexei A. Efros. “Colorful Image Colorization.” In ECCV 2016.
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の推定方法を用いて、フレーム単位でカラー化を行うことでカラー動画を生成する手法には、以下のような問題がある。
従来の手法は、フレームごとに個別にカラー化を行うため、同一被写体であっても、被写体の形状、配置等の変化に伴い、カラー推定モデルの入出力が変化し、前フレームと次フレームとの間で色ぶれが発生してしまう。
そのため、従来の手法によりモノクロ動画像をカラー化した場合、不自然なカラー動画像となってしまうという問題がある。
また、このように生成された色の不自然なカラー動画像は人手により修正が必要となるが、すべてのフレームに対して修正を行うことは多大な時間と労力を要するという問題がある。
従来の手法は、フレームごとに個別にカラー化を行うため、同一被写体であっても、被写体の形状、配置等の変化に伴い、カラー推定モデルの入出力が変化し、前フレームと次フレームとの間で色ぶれが発生してしまう。
そのため、従来の手法によりモノクロ動画像をカラー化した場合、不自然なカラー動画像となってしまうという問題がある。
また、このように生成された色の不自然なカラー動画像は人手により修正が必要となるが、すべてのフレームに対して修正を行うことは多大な時間と労力を要するという問題がある。
【0006】
本発明は、以上のような問題に鑑みてなされたものであり、被写体が共通するカラー動画像のフレームである基準カラー画像と複数の参照カラー画像とから、基準カラー画像の明度成分であるモノクロ画像に対するカラー情報を推定することが可能なカラー情報推定モデル生成装置、カラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、フレーム間の色ぶれを抑え、モノクロ動画像をカラー化することが可能な動画像カラー化装置およびそれらのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係るカラー情報推定モデル生成装置は、被写体が共通するカラー動画像のフレームである基準カラー画像と複数の参照カラー画像とを対とした複数のカラー画像を用いて、基準カラー画像の明度成分であるモノクロ画像に対するカラー情報を推定するためのカラー情報推定モデルを生成するカラー情報推定モデル生成装置であって、基準画像分離手段と、参照画像分離手段と、モデル学習手段と、を備える構成とした。
【0008】
かかる構成において、カラー情報推定モデル生成装置は、基準画像分離手段によって、基準カラー画像を明度成分であるモノクロ画像と明度成分以外の色成分であるカラー情報とに分離する。これによって、基準画像分離手段は、カラー情報推定モデルにおけるカラー化対象の学習データとなる対象モノクロ画像と、正解データとなる正解カラー情報とを生成する。
また、カラー情報推定モデル生成装置は、参照画像分離手段によって、参照カラー画像を参照モノクロ画像と参照カラー情報とに分離する。これによって、参照画像分離手段は、対象モノクロ画像との相関を学習するための学習データとなる参照モノクロ画像と参照カラー情報とを生成する。
また、カラー情報推定モデル生成装置は、参照画像分離手段によって、参照カラー画像を参照モノクロ画像と参照カラー情報とに分離する。これによって、参照画像分離手段は、対象モノクロ画像との相関を学習するための学習データとなる参照モノクロ画像と参照カラー情報とを生成する。
【0009】
そして、カラー情報推定モデル生成装置は、モデル学習手段によって、参照画像特徴抽出器、特徴合成器、モノクロ画像特徴抽出器およびカラー情報推定器で構成されたカラー情報推定モデルをニューラルネットワークにより学習する。
ここで、参照画像特徴抽出器は、対象モノクロ画像、参照モノクロ画像および参照カラー情報を入力して特徴量である参照画像特徴を出力するニューラルネットワークのモデルである。また、特徴合成器は、複数の参照カラー画像に対応して参照画像特徴抽出器から出力される複数の参照画像特徴を合成して合成特徴を生成する合成手段である。また、モノクロ画像特徴抽出器は、対象モノクロ画像を入力して特徴量であるモノクロ画像特徴を出力するニューラルネットワークのモデルである。また、カラー情報推定器は、合成特徴およびモノクロ画像特徴を連結した特徴量を入力して推定カラー情報を出力するニューラルネットワークのモデルである。これによって、モデル学習手段は、カラー化対象の対象モノクロ画像、参照モノクロ画像および参照カラー情報を入力して、対象モノクロ画像に対応する推定カラー情報が正解カラー情報となるようにカラー情報推定モデルを学習する。
ここで、参照画像特徴抽出器は、対象モノクロ画像、参照モノクロ画像および参照カラー情報を入力して特徴量である参照画像特徴を出力するニューラルネットワークのモデルである。また、特徴合成器は、複数の参照カラー画像に対応して参照画像特徴抽出器から出力される複数の参照画像特徴を合成して合成特徴を生成する合成手段である。また、モノクロ画像特徴抽出器は、対象モノクロ画像を入力して特徴量であるモノクロ画像特徴を出力するニューラルネットワークのモデルである。また、カラー情報推定器は、合成特徴およびモノクロ画像特徴を連結した特徴量を入力して推定カラー情報を出力するニューラルネットワークのモデルである。これによって、モデル学習手段は、カラー化対象の対象モノクロ画像、参照モノクロ画像および参照カラー情報を入力して、対象モノクロ画像に対応する推定カラー情報が正解カラー情報となるようにカラー情報推定モデルを学習する。
【0010】
また、前記課題を解決するため、本発明に係る動画像カラー化装置は、カラー情報推定モデル生成装置で生成されたカラー情報推定モデルを用いて、モノクロ動画像と複数の参照カラー画像とからカラー動画像を生成する動画像カラー化装置であって、参照画像分離手段と、動画像入力手段と、参照画像特徴抽出手段と、参照画像特徴合成手段と、モノクロ画像特徴抽出手段と、カラー情報推定手段と、カラー情報合成手段と、を備える構成とした。
【0011】
かかる構成において、動画像カラー化装置は、参照画像分離手段によって、複数の参照カラー画像を複数の参照モノクロ画像と複数の参照カラー情報とに分離する。これによって、参照画像分離手段は、カラー情報推定モデルへの入力となる複数の参照モノクロ画像と、複数の参照カラー情報とを生成する。
そして、動画像カラー化装置は、動画像入力手段によって、モノクロ動画像をフレームごとにカラー化対象の対象モノクロ画像として入力する。この対象モノクロ画像は、カラー情報推定モデルへの入力となる。
そして、動画像カラー化装置は、動画像入力手段によって、モノクロ動画像をフレームごとにカラー化対象の対象モノクロ画像として入力する。この対象モノクロ画像は、カラー情報推定モデルへの入力となる。
【0012】
そして、動画像カラー化装置は、参照画像特徴抽出手段によって、カラー情報推定モデルの参照画像特徴抽出器により、一対の参照モノクロ画像および参照カラー情報ごとに、対象モノクロ画像との間の参照画像特徴を複数抽出する。
さらに、動画像カラー化装置は、参照画像特徴合成手段によって、参照画像特徴抽出手段で抽出された複数の参照画像特徴を、カラー情報推定モデルの特徴合成器と同じ合成手法で合成して合成特徴を生成する。これによって、参照画像特徴合成手段は、複数の参照画像特徴を、固定長のデータ量に変換する。
また、動画像カラー化装置は、モノクロ画像特徴抽出手段によって、カラー情報推定モデルのモノクロ画像特徴抽出器により、対象モノクロ画像からモノクロ画像特徴を抽出する。
さらに、動画像カラー化装置は、参照画像特徴合成手段によって、参照画像特徴抽出手段で抽出された複数の参照画像特徴を、カラー情報推定モデルの特徴合成器と同じ合成手法で合成して合成特徴を生成する。これによって、参照画像特徴合成手段は、複数の参照画像特徴を、固定長のデータ量に変換する。
また、動画像カラー化装置は、モノクロ画像特徴抽出手段によって、カラー情報推定モデルのモノクロ画像特徴抽出器により、対象モノクロ画像からモノクロ画像特徴を抽出する。
【0013】
そして、動画像カラー化装置は、カラー情報推定手段によって、カラー情報推定モデルのカラー情報推定器により、参照画像特徴合成手段で生成された複数の参照画像特徴の合成特徴とモノクロ画像特徴を連結した特徴量からカラー情報を推定する。
そして、動画像カラー化装置は、カラー情報合成手段によって、カラー情報推定手段で推定されたカラー情報と対象モノクロ画像とをフレーム単位で合成することで、カラー動画像を生成する。
そして、動画像カラー化装置は、カラー情報合成手段によって、カラー情報推定手段で推定されたカラー情報と対象モノクロ画像とをフレーム単位で合成することで、カラー動画像を生成する。
【0014】
また、本発明は、コンピュータを、前記カラー情報推定モデル生成装置として機能させるためのカラー情報推定モデル生成プログラムで実現することもできる。
また、本発明は、コンピュータを、前記動画像カラー化装置として機能させるための動画像カラー化プログラムで実現することもできる。
また、本発明は、コンピュータを、前記動画像カラー化装置として機能させるための動画像カラー化プログラムで実現することもできる。
【発明の効果】
【0015】
本発明は、以下に示す優れた効果を奏するものである。
本発明に係るカラー情報推定モデル生成装置によれば、被写体が共通する基準カラー画像と複数の参照カラー画像とを対として、基準カラー画像の明度成分であるモノクロ画像と参照カラー画像とから、モノクロ画像のカラー情報を推定するカラー情報推定モデルを生成することができる。
また、本発明に係る動画像カラー化装置によれば、モノクロ動画像の各フレームをカラー化する際に、カラー情報推定モデルを用いて、参照カラー画像を参照して、近接する色のフレーム間特徴を保持するようにカラー化を行うため、フレーム間の色ぶれを抑えたカラー動画像を生成することができる。
本発明に係るカラー情報推定モデル生成装置によれば、被写体が共通する基準カラー画像と複数の参照カラー画像とを対として、基準カラー画像の明度成分であるモノクロ画像と参照カラー画像とから、モノクロ画像のカラー情報を推定するカラー情報推定モデルを生成することができる。
また、本発明に係る動画像カラー化装置によれば、モノクロ動画像の各フレームをカラー化する際に、カラー情報推定モデルを用いて、参照カラー画像を参照して、近接する色のフレーム間特徴を保持するようにカラー化を行うため、フレーム間の色ぶれを抑えたカラー動画像を生成することができる。
【図面の簡単な説明】
【0016】
【図1】本発明におけるカラー情報推定モデルを生成する概要を説明するための概要図である。
【図2】本発明におけるカラー情報推定モデルを用いてモノクロ動画像からカラー動画像を生成する概要を説明するための概要図である。
【図3】本発明の実施形態に係るカラー情報推定モデル生成装置の構成を示すブロック図である。
【図4】本発明の実施形態に係るカラー情報推定モデル生成装置が生成するカラー情報推定モデルの一例を示す構造図である。
【図5】本発明の実施形態に係るカラー情報推定モデル生成装置の動作を示すフローチャートである。
【図6】本発明の実施形態に係る動画像カラー化装置の構成を示すブロック図である。
【図7】本発明の実施形態に係る動画像カラー化装置の動作を示すフローチャートである。
【図8】カラー情報推定モデルの参照画像特徴抽出器の変形例を示す構造図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について図面を参照して説明する。
＜本発明の概要＞
まず、図１，図２を参照して、本発明の概要について説明する。
本発明は、同一被写体が映った参照カラー画像Ｒから、カラー情報推定モデルＭを学習により生成する。
図１に示すように、カラー情報推定モデルＭは、ある基準カラー画像Ｂの明度成分であるモノクロ画像（モノクロ情報）と、複数の参照カラー画像Ｒの色成分であるカラー情報とから、基準カラー画像Ｂのカラー情報を推定するニューラルネットの学習モデルである。
例えば、本発明は、被写体（ここでは、車）が同じシーンのカラー動画像Ｖｃから選択した任意の基準カラー画像Ｂ（ここでは、時刻Ｔ＝ｔ＋１のフレーム画像Ｆｔ＋１）と、近接する参照カラー画像Ｒ（ここでは、時刻Ｔ＝２，ｔ－１のフレーム画像Ｆ２，Ｆｔ－１）から、カラー情報推定モデルＭを学習により生成する。
＜本発明の概要＞
まず、図１，図２を参照して、本発明の概要について説明する。
本発明は、同一被写体が映った参照カラー画像Ｒから、カラー情報推定モデルＭを学習により生成する。
図１に示すように、カラー情報推定モデルＭは、ある基準カラー画像Ｂの明度成分であるモノクロ画像（モノクロ情報）と、複数の参照カラー画像Ｒの色成分であるカラー情報とから、基準カラー画像Ｂのカラー情報を推定するニューラルネットの学習モデルである。
例えば、本発明は、被写体（ここでは、車）が同じシーンのカラー動画像Ｖｃから選択した任意の基準カラー画像Ｂ（ここでは、時刻Ｔ＝ｔ＋１のフレーム画像Ｆｔ＋１）と、近接する参照カラー画像Ｒ（ここでは、時刻Ｔ＝２，ｔ－１のフレーム画像Ｆ２，Ｆｔ－１）から、カラー情報推定モデルＭを学習により生成する。
【0018】
また、本発明は、カラー情報推定モデルＭを用いて、複数の参照カラー画像からモノクロ動画像のカラー推定を行い、カラー動画像を生成する。
図２に示すよう、本発明は、カラー化対象であるモノクロ動画像Ｖｍの一部のフレーム画像を予めカラー化し、参照カラー画像Ｒ１，Ｒ２，…として準備する。
そして、本発明は、カラー化対象のモノクロ動画像Ｖｍを構成するフレーム（モノクロ画像）ごとに、モノクロ画像と複数の参照カラー画像Ｒの色成分であるカラー情報とから、モノクロ画像のカラー情報を推定し、カラー動画像Ｖｃを生成する。
図２に示すよう、本発明は、カラー化対象であるモノクロ動画像Ｖｍの一部のフレーム画像を予めカラー化し、参照カラー画像Ｒ１，Ｒ２，…として準備する。
そして、本発明は、カラー化対象のモノクロ動画像Ｖｍを構成するフレーム（モノクロ画像）ごとに、モノクロ画像と複数の参照カラー画像Ｒの色成分であるカラー情報とから、モノクロ画像のカラー情報を推定し、カラー動画像Ｖｃを生成する。
【0019】
このように、本発明は、複数の参照カラー画像Ｒを参照して、モノクロ動画像Ｖｍに対するカラー情報を推定するため、参照カラー画像を仲介して、カラー情報をフレーム間で伝播させることが可能になる。そのため、本発明は、フレーム間で色ぶれの少ないカラー動画像Ｖｃを生成することができる。
なお、参照カラー画像を１枚しか選べないモデルであれば、参照カラー画像を切り替えるタイミングで色ぶれが発生することがある。これを解決するためには、従来の手法は、人手により非常に短い間隔で厳密に参照カラー画像を選択しなければならない。
しかし、本発明は、複数の参照カラー画像を参照可能としたことで、厳密に参照カラー画像を選択する必要がなく、参照カラー画像を選択する手間や時間を削減することができる。
以下、本発明に係るカラー情報推定モデル生成装置および動画像カラー化装置について、より詳細に説明する。
なお、参照カラー画像を１枚しか選べないモデルであれば、参照カラー画像を切り替えるタイミングで色ぶれが発生することがある。これを解決するためには、従来の手法は、人手により非常に短い間隔で厳密に参照カラー画像を選択しなければならない。
しかし、本発明は、複数の参照カラー画像を参照可能としたことで、厳密に参照カラー画像を選択する必要がなく、参照カラー画像を選択する手間や時間を削減することができる。
以下、本発明に係るカラー情報推定モデル生成装置および動画像カラー化装置について、より詳細に説明する。
【0020】
＜カラー情報推定モデル生成装置：構成＞
まず、図３を参照して、カラー情報推定モデル生成装置１の構成について説明する。
図３に示すように、カラー情報推定モデル生成装置１は、基準画像分離手段１０と、参照画像分離手段１１と、モデル学習手段１２と、モデル記憶手段１３と、を備える。
まず、図３を参照して、カラー情報推定モデル生成装置１の構成について説明する。
図３に示すように、カラー情報推定モデル生成装置１は、基準画像分離手段１０と、参照画像分離手段１１と、モデル学習手段１２と、モデル記憶手段１３と、を備える。
【0021】
カラー情報推定モデル生成装置１は、基準カラー画像Ｂと複数の参照カラー画像Ｒ（Ｒ１，…，ＲＮ１）とを対とした学習データから、カラー情報推定モデルＭを生成するものである。学習データは、予め大量（例えば、２００万画像対以上）に準備しておく。
基準カラー画像Ｂは、例えば、予めカラー動画像Ｖｃ（図１参照）から任意に選択した画像である。参照カラー画像Ｒ（Ｒ１，…，ＲＮ１）は、例えば、カラー動画像Ｖｃにおいて基準カラー画像Ｂと近接する画像である。同一の基準カラー画像Ｂに対する参照カラー画像Ｒの数は特に制限するものではないが、例えば、１～５の間のランダムな数で学習する。
基準カラー画像Ｂは、例えば、予めカラー動画像Ｖｃ（図１参照）から任意に選択した画像である。参照カラー画像Ｒ（Ｒ１，…，ＲＮ１）は、例えば、カラー動画像Ｖｃにおいて基準カラー画像Ｂと近接する画像である。同一の基準カラー画像Ｂに対する参照カラー画像Ｒの数は特に制限するものではないが、例えば、１～５の間のランダムな数で学習する。
【0022】
なお、基準カラー画像Ｂおよび参照カラー画像Ｒを選択するカラー動画像Ｖｃは、フレーム間で連続性があることが好ましく、例えば、同じ被写体を撮影したシーンの動画像である。また、基準カラー画像Ｂおよび参照カラー画像Ｒは、同じ被写体が映った異なるシーンの画像であっても構わない。
また、基準カラー画像Ｂおよび参照カラー画像Ｒは、Ｌａｂ色空間で表されたフレームで構成されたものとする。
また、基準カラー画像Ｂおよび参照カラー画像Ｒは、Ｌａｂ色空間で表されたフレームで構成されたものとする。
【0023】
基準画像分離手段１０は、入力した基準カラー画像を、カラー化対象のモノクロ画像（対象モノクロ画像）と正解データとなるカラー情報（正解カラー情報）とに分離するものである。
具体的には、基準画像分離手段１０は、Ｌａｂ色空間の３チャンネルで構成された基準カラー画像を、Ｌチャンネル（明度成分）の対象モノクロ画像と、ａ，ｂチャンネル（明度成分以外の色成分）の正解カラー情報とに分離する。
基準画像分離手段１０は、分離した対象モノクロ画像（Ｌチャンネル）および正解カラー情報（ａ，ｂチャンネル）を、モデル学習手段１２に出力する。
具体的には、基準画像分離手段１０は、Ｌａｂ色空間の３チャンネルで構成された基準カラー画像を、Ｌチャンネル（明度成分）の対象モノクロ画像と、ａ，ｂチャンネル（明度成分以外の色成分）の正解カラー情報とに分離する。
基準画像分離手段１０は、分離した対象モノクロ画像（Ｌチャンネル）および正解カラー情報（ａ，ｂチャンネル）を、モデル学習手段１２に出力する。
【0024】
参照画像分離手段１１は、入力した複数（Ｎ１枚）の参照カラー画像を、基準画像分離手段１０と同様に、Ｌチャンネルのモノクロ画像（参照モノクロ画像）と、ａ，ｂチャンネルのカラー情報（参照カラー情報）とに分離するものである。
参照画像分離手段１１は、分離した参照モノクロ画像（Ｌチャンネル）および参照カラー情報（ａ，ｂチャンネル）を、モデル学習手段１２に出力する。
参照画像分離手段１１は、分離した参照モノクロ画像（Ｌチャンネル）および参照カラー情報（ａ，ｂチャンネル）を、モデル学習手段１２に出力する。
【0025】
モデル学習手段１２は、カラー情報を推定するカラー情報推定モデルを学習するものである。このモデル学習手段１２は、基準画像分離手段１０で分離された１チャンネルの対象モノクロ画像（Ｌチャンネル）と、参照画像分離手段１１で分離された複数（Ｎ１枚）の１チャンネルの参照モノクロ画像（Ｌチャンネル）および２チャンネルの参照カラー情報（ａ，ｂチャンネル）とを学習データとして入力する。
そして、モデル学習手段１２は、基準画像分離手段１０で分離された２チャンネルの正解カラー情報（ａ，ｂチャンネル）を正解データとして、カラー情報推定モデルＭの出力との誤差をなくす方向（誤差が予め定めた値以下になるよう）に、誤差逆伝播法を用いてカラー情報推定モデルＭ（具体的にはそのモデルパラメータ）を学習する。
モデル学習手段１２は、学習したカラー情報推定モデルＭをモデル記憶手段１３に書き込み記憶する。
そして、モデル学習手段１２は、基準画像分離手段１０で分離された２チャンネルの正解カラー情報（ａ，ｂチャンネル）を正解データとして、カラー情報推定モデルＭの出力との誤差をなくす方向（誤差が予め定めた値以下になるよう）に、誤差逆伝播法を用いてカラー情報推定モデルＭ（具体的にはそのモデルパラメータ）を学習する。
モデル学習手段１２は、学習したカラー情報推定モデルＭをモデル記憶手段１３に書き込み記憶する。
【0026】
ここで、図４を参照して、モデル学習手段１２が学習するカラー情報推定モデルＭの構成例について説明する。
図４に示すように、カラー情報推定モデルＭは、畳み込み層を含んだニューラルネットワークで構成することができる。なお、図４に示すカラー情報推定モデルＭは、カラー情報推定モデル生成装置１の学習対象であって装置構成ではないため、カラー情報推定モデルＭの各構成には、ＭＲＦ，ＭＢＷ，ＭＣＬ等の記号を付している。
カラー情報推定モデルＭは、入力層Ｉとして、複数の参照カラー画像Ｒの２チャンネルの参照カラー情報（ａ，ｂチャンネル）および１チャンネルの参照モノクロ画像（Ｌチャンネル）と、カラー化対象の１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）と、を入力する。なお、対象モノクロ画像Ｐの入力層Ｉへの入力は２系統とする。
図４に示すように、カラー情報推定モデルＭは、畳み込み層を含んだニューラルネットワークで構成することができる。なお、図４に示すカラー情報推定モデルＭは、カラー情報推定モデル生成装置１の学習対象であって装置構成ではないため、カラー情報推定モデルＭの各構成には、ＭＲＦ，ＭＢＷ，ＭＣＬ等の記号を付している。
カラー情報推定モデルＭは、入力層Ｉとして、複数の参照カラー画像Ｒの２チャンネルの参照カラー情報（ａ，ｂチャンネル）および１チャンネルの参照モノクロ画像（Ｌチャンネル）と、カラー化対象の１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）と、を入力する。なお、対象モノクロ画像Ｐの入力層Ｉへの入力は２系統とする。
【0027】
また、カラー情報推定モデルＭは、隠れ層（中間層）Ｈとして、ニューラルネットワークで構成された複数のモデル（参照画像特徴抽出器ＭＲＦ，特徴合成器Ｃ，モノクロ画像特徴抽出器ＭＢＷ，カラー情報推定器ＭＣＬ）を備える。
参照画像特徴抽出器ＭＲＦは、参照カラー画像Ｒと対象モノクロ画像Ｐとから、対象モノクロ画像Ｐに対応した参照カラー画像Ｒの画像特徴を抽出するモデルである。
なお、複数の参照画像特徴抽出器ＭＲＦは、入力する参照カラー画像の数に応じて、逐次、参照カラー画像の数だけ学習対象となる。ただし、モデル学習手段１２は、学習したそれぞれの参照画像特徴抽出器ＭＲＦのパラメータの値を加算あるいは平均化することで、複数の参照画像特徴抽出器ＭＲＦであっても、同じ参照画像特徴抽出器ＭＲＦとして学習する。
参照画像特徴抽出器ＭＲＦは、参照カラー画像Ｒと対象モノクロ画像Ｐとから、対象モノクロ画像Ｐに対応した参照カラー画像Ｒの画像特徴を抽出するモデルである。
なお、複数の参照画像特徴抽出器ＭＲＦは、入力する参照カラー画像の数に応じて、逐次、参照カラー画像の数だけ学習対象となる。ただし、モデル学習手段１２は、学習したそれぞれの参照画像特徴抽出器ＭＲＦのパラメータの値を加算あるいは平均化することで、複数の参照画像特徴抽出器ＭＲＦであっても、同じ参照画像特徴抽出器ＭＲＦとして学習する。
【0028】
この参照画像特徴抽出器ＭＲＦは、複数のコンボリューション層Ｃ１～Ｃ３と、加算器Ｓと、畳み込みニューラルネットワーク（ＣＮＮ）ＮＴ１とで構成することができる。
コンボリューション層Ｃ１は、複数のカーネル（畳み込みフィルタ）により、参照カラー画像Ｒの２チャンネルの参照カラー情報（ａ，ｂチャンネル）を、予め定めたチャンネル数Ｊ（例えば、Ｊ＝６４）のデータに畳み込む。
コンボリューション層Ｃ２は、複数のカーネルにより、参照カラー画像Ｒの１チャンネルの参照モノクロ画像（Ｌチャンネル）を、コンボリューション層Ｃ１と同じチャンネル数Ｊのデータに畳み込む。
コンボリューション層Ｃ３は、複数のカーネルにより、１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）を、コンボリューション層Ｃ１と同じチャンネル数Ｊのデータに畳み込む。
コンボリューション層Ｃ１は、複数のカーネル（畳み込みフィルタ）により、参照カラー画像Ｒの２チャンネルの参照カラー情報（ａ，ｂチャンネル）を、予め定めたチャンネル数Ｊ（例えば、Ｊ＝６４）のデータに畳み込む。
コンボリューション層Ｃ２は、複数のカーネルにより、参照カラー画像Ｒの１チャンネルの参照モノクロ画像（Ｌチャンネル）を、コンボリューション層Ｃ１と同じチャンネル数Ｊのデータに畳み込む。
コンボリューション層Ｃ３は、複数のカーネルにより、１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）を、コンボリューション層Ｃ１と同じチャンネル数Ｊのデータに畳み込む。
【0029】
加算器Ｓは、コンボリューション層Ｃ１～Ｃ３で畳み込まれたＪチャンネル（Ｊｃｈ）のデータを要素ごとに加算する。なお、加算器Ｓを用いずに、コンボリューション層Ｃ１～Ｃ３の出力を連結し、３×Ｊチャンネルの情報としてもよい。
畳み込みニューラルネットワークＮＴ１は、加算器Ｓで加算されたデータを、カーネルによる畳み込み処理、サンプリング処理等を行うことで、参照画像特徴ＲＦＦを生成する。この畳み込みニューラルネットワークＮＴ１には、一般的な畳み込みニューラルネットワークの構造を用いればよく、例えば、ＶＧＧ、ＲｅｓＮｅｔ等を用いることができる。
このように、参照画像特徴抽出器ＭＲＦは、参照カラー画像Ｒと対象モノクロ画像Ｐとから特徴を抽出するため、それぞれの関連性を含んだ参照画像特徴ＲＦＦを生成することができる。
畳み込みニューラルネットワークＮＴ１は、加算器Ｓで加算されたデータを、カーネルによる畳み込み処理、サンプリング処理等を行うことで、参照画像特徴ＲＦＦを生成する。この畳み込みニューラルネットワークＮＴ１には、一般的な畳み込みニューラルネットワークの構造を用いればよく、例えば、ＶＧＧ、ＲｅｓＮｅｔ等を用いることができる。
このように、参照画像特徴抽出器ＭＲＦは、参照カラー画像Ｒと対象モノクロ画像Ｐとから特徴を抽出するため、それぞれの関連性を含んだ参照画像特徴ＲＦＦを生成することができる。
【0030】
なお、参照画像特徴抽出器ＭＲＦのニューラルネットワークの構造は、この実施形態に限定されるものではない。例えば、コンボリューション層の数とパラメータ数（カーネルサイズ、チャンネル数）を変更してもよいし、コンボリューション層以外の層（例えば、全結合層、ノーマライゼーション層）を追加してもよい。
【0031】
特徴合成器Ｃは、複数の参照画像特徴抽出器ＭＲＦの出力である複数の参照画像特徴ＲＦＦを合成して合成特徴ＭＸＦを生成する。具体的には、特徴合成器Ｃは、複数の参照画像特徴ＲＦＦに対して、データ配列の同一の要素ごとに最大値を選択する、最小値を選択する、あるいは、要素ごとの値を加算するの何れかを行うことで、合成特徴ＭＸＦを生成する。これによって、特徴合成器Ｃは、参照カラー画像の枚数によらずに、固定長のデータ量の合成特徴ＭＸＦを生成することができる。
【0032】
複数の参照画像特徴ＲＦＦは、それぞれ同じ対象モノクロ画像に対する異なる参照カラー画像の特徴である。例えば、複数の参照画像特徴ＲＦＦのデータ配列の同一要素の最大値のみを選択、あるいは加算することにより、カラー推定を行うネットワークに伝播して学習を行うことで、参照画像特徴抽出器ＭＲＦは、対象モノクロ画像と参照カラー画像との間で相関の強い要素はより大きな値として出力するよう学習される。
【0033】
このように学習された参照画像特徴抽出器ＭＲＦを用いると、対象モノクロ画像とまったく無関係な参照カラー画像を入力したとしても、その参照画像特徴ＲＦＦは小さい値となりカラー推定を行うネットワークにはまったく伝播されないため、出力される推定カラーに悪影響を与えない。そのため、ユーザが参照カラー画像を選択する際の自由度が上がることになる。
なお、合成としてデータ配列の同一要素ごとに最小値を選択する手法は、データ配列の同一要素ごとに最大値を選択する手法と論理が逆になるだけで、参照画像特徴ＲＦＦとして大きな値がカラー推定を行うネットワークにまったく伝播されないように学習され、最大値を選択する場合と効果は同じである。
なお、合成としてデータ配列の同一要素ごとに最小値を選択する手法は、データ配列の同一要素ごとに最大値を選択する手法と論理が逆になるだけで、参照画像特徴ＲＦＦとして大きな値がカラー推定を行うネットワークにまったく伝播されないように学習され、最大値を選択する場合と効果は同じである。
【0034】
モノクロ画像特徴抽出器ＭＢＷは、対象モノクロ画像Ｐの画像特徴を抽出するモデルである。このモノクロ画像特徴抽出器ＭＢＷは、畳み込みニューラルネットワーク（ＣＮＮ）ＮＴ２で構成することができる。
畳み込みニューラルネットワークＮＴ２は、１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）から、カーネルによる畳み込み処理、サンプリング処理等を行うことで、モノクロ画像特徴ＢＷＦを生成する。なお、畳み込みニューラルネットワークＮＴ２も、ＶＧＧ、ＲｅｓＮｅｔ等の一般的な畳み込みニューラルネットワークの構造を用いればよい。
畳み込みニューラルネットワークＮＴ２は、１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）から、カーネルによる畳み込み処理、サンプリング処理等を行うことで、モノクロ画像特徴ＢＷＦを生成する。なお、畳み込みニューラルネットワークＮＴ２も、ＶＧＧ、ＲｅｓＮｅｔ等の一般的な畳み込みニューラルネットワークの構造を用いればよい。
【0035】
カラー情報推定器ＭＣＬは、特徴合成器Ｃで合成された合成特徴ＭＸＦとモノクロ画像特徴抽出器ＭＢＷで抽出されたモノクロ画像特徴ＢＷＦとを連結したデータ（連結特徴ＣＴＦ）から、２チャンネルのカラー情報（ａ，ｂチャンネル）を推定するモデルである。このカラー情報推定器ＭＣＬは、畳み込みニューラルネットワーク（ＣＮＮ）ＮＴ３で構成することができる。
このカラー情報推定器ＭＣＬは、非特許文献１、非特許文献２等で用いられるＣＮＮの後半部分であるデコンボリューション層、アップサンプリング層を用いて構成することができる。
カラー情報推定器ＭＣＬは、出力層Ｏから、推定したカラー情報（推定カラー情報：ａ，ｂチャンネル）を出力する。
なお、モデル学習手段１２は、複数のモデル（ＭＲＦ，ＭＢＷ，ＭＣＬ）のカーネル、重み等をモデルパラメータとして学習する。特徴合成器Ｃは、固定の演算を行うもので、学習対象ではない。
このカラー情報推定器ＭＣＬは、非特許文献１、非特許文献２等で用いられるＣＮＮの後半部分であるデコンボリューション層、アップサンプリング層を用いて構成することができる。
カラー情報推定器ＭＣＬは、出力層Ｏから、推定したカラー情報（推定カラー情報：ａ，ｂチャンネル）を出力する。
なお、モデル学習手段１２は、複数のモデル（ＭＲＦ，ＭＢＷ，ＭＣＬ）のカーネル、重み等をモデルパラメータとして学習する。特徴合成器Ｃは、固定の演算を行うもので、学習対象ではない。
【0036】
図３に戻って、カラー情報推定モデル生成装置１の構成について説明を続ける。
モデル記憶手段１３は、モデル学習手段１２で学習するカラー情報推定モデルＭを記憶するものである。このモデル記憶手段１３は、半導体メモリ等の一般的な記憶媒体で構成することができる。学習後のカラー情報推定モデルＭは、動画像カラー化装置２（図６参照）で用いられる。
なお、カラー情報推定モデル生成装置１は、コンピュータを、前記した各手段として機能させるためのカラー情報推定モデル生成プログラムで動作させることができる。
モデル記憶手段１３は、モデル学習手段１２で学習するカラー情報推定モデルＭを記憶するものである。このモデル記憶手段１３は、半導体メモリ等の一般的な記憶媒体で構成することができる。学習後のカラー情報推定モデルＭは、動画像カラー化装置２（図６参照）で用いられる。
なお、カラー情報推定モデル生成装置１は、コンピュータを、前記した各手段として機能させるためのカラー情報推定モデル生成プログラムで動作させることができる。
【0037】
＜カラー情報推定モデル生成装置：動作＞
次に、図５を参照（構成については、適宜図３参照）して、カラー情報推定モデル生成装置１の動作について説明する。
ステップＳ１において、基準画像分離手段１０は、入力したＬａｂ色空間の基準カラー画像Ｂを、ａ，ｂチャンネルの正解カラー情報と、Ｌチャンネルの対象モノクロ画像とに分離する。
ステップＳ２において、参照画像分離手段１１は、入力したＬａｂ色空間の複数の参照カラー画像Ｒを、それぞれ、ａ，ｂチャンネルの参照カラー情報と、Ｌチャンネルの参照モノクロ画像とに分離する。
次に、図５を参照（構成については、適宜図３参照）して、カラー情報推定モデル生成装置１の動作について説明する。
ステップＳ１において、基準画像分離手段１０は、入力したＬａｂ色空間の基準カラー画像Ｂを、ａ，ｂチャンネルの正解カラー情報と、Ｌチャンネルの対象モノクロ画像とに分離する。
ステップＳ２において、参照画像分離手段１１は、入力したＬａｂ色空間の複数の参照カラー画像Ｒを、それぞれ、ａ，ｂチャンネルの参照カラー情報と、Ｌチャンネルの参照モノクロ画像とに分離する。
【0038】
ステップＳ３において、モデル学習手段１２は、ステップＳ１で分離した対象モノクロ画像と、ステップＳ２で分離した複数の参照カラー情報および参照モノクロ画像とを入力し、ステップＳ1で分離した正解カラー情報ａ，ｂを出力するようにニューラルネットワークのカラー情報推定モデルＭを学習する。
このステップＳ３では、カラー情報推定モデルＭを構成する複数のモデル（参照画像特徴抽出器ＭＲＦ，モノクロ画像特徴抽出器ＭＢＷ，カラー情報推定器ＭＣＬ）が学習される。
このステップＳ３では、カラー情報推定モデルＭを構成する複数のモデル（参照画像特徴抽出器ＭＲＦ，モノクロ画像特徴抽出器ＭＢＷ，カラー情報推定器ＭＣＬ）が学習される。
【0039】
ステップＳ４において、モデル学習手段１２は、予め定めた学習データ（基準カラー画像Ｂ、参照カラー画像Ｒ）の入力が終了した、あるいは、学習による推定誤差の変化量が閾値以下となったかにより、学習の終了を判定する。
ここで、学習が終了していなければ（ステップＳ４でＮｏ）、カラー情報推定モデル生成装置１は、ステップＳ１に戻って、他の基準カラー画像Ｂおよび他の複数の参照カラー画像Ｒを入力し、学習を継続する。
一方、学習が終了した場合（ステップＳ４でＹｅｓ）、ステップＳ５において、モデル学習手段１２は、学習したカラー情報推定モデルＭをモデル記憶手段１３に書き込み記憶する。
ここで、学習が終了していなければ（ステップＳ４でＮｏ）、カラー情報推定モデル生成装置１は、ステップＳ１に戻って、他の基準カラー画像Ｂおよび他の複数の参照カラー画像Ｒを入力し、学習を継続する。
一方、学習が終了した場合（ステップＳ４でＹｅｓ）、ステップＳ５において、モデル学習手段１２は、学習したカラー情報推定モデルＭをモデル記憶手段１３に書き込み記憶する。
【0040】
以上の動作によって、カラー情報推定モデル生成装置１は、対象モノクロ画像のカラー情報を参照カラー画像から推定するカラー情報推定モデルＭを学習により生成することができる。
【0041】
＜動画像カラー化装置：構成＞
次に、図６を参照して、動画像カラー化装置２の構成について説明する。
図６に示すように、動画像カラー化装置２は、参照画像分離手段２０と、動画像入力手段２１と、モデル記憶手段２２と、フレーム別カラー情報推定手段２３と、カラー情報合成手段２４と、を備える。
次に、図６を参照して、動画像カラー化装置２の構成について説明する。
図６に示すように、動画像カラー化装置２は、参照画像分離手段２０と、動画像入力手段２１と、モデル記憶手段２２と、フレーム別カラー情報推定手段２３と、カラー情報合成手段２４と、を備える。
【0042】
なお、カラー化対象のモノクロ動画像Ｖｍに対して、予め複数の参照カラー画像Ｒを準備しておく。参照カラー画像Ｒは、カラー化対象のモノクロ動画像Ｖｍの一部のフレーム（モノクロ画像）に対してカラー化を行った画像とする。参照カラー画像Ｒの数Ｎ２は、特に限定するものではない。この参照カラー画像Ｒは、異なる被写体が出現するたびに、新たな参照カラー画像を準備することが望ましい。例えば、カメラと被写体が動かない動画像であれば、参照カラー画像Ｒは１枚でよい。また、カメラが動き、１秒ごとに新たな被写体が写り込む場合は、１秒あたりに参照カラー画像Ｒを１枚準備することが望ましい。
【0043】
参照カラー画像Ｒを予めモノクロ動画像Ｖｍから生成するには、例えば、図示を省略した従来の画像カラー化装置を用いて、モノクロ動画像Ｖｍのカラー情報をフレーム単位で推定して生成したカラー動画像の中から、操作者が正しい色に近いと判断した画像を参照カラー画像Ｒとして選択すればよい。この従来の画像カラー化装置には、非特許文献１、非特許文献２等のフレーム単位でカラー情報を推定するものを用いることができる。
もちろん、参照カラー画像Ｒは、図示を省略した画像エディタ装置によって、モノクロ動画像Ｖｍの中から選択したフレームを人手により個別に着色したものであっても構わない。
もちろん、参照カラー画像Ｒは、図示を省略した画像エディタ装置によって、モノクロ動画像Ｖｍの中から選択したフレームを人手により個別に着色したものであっても構わない。
【0044】
参照画像分離手段２０は、予め準備したＮ２（Ｎ２は２以上）枚の参照カラー画像を順次入力し、モノクロ画像（参照モノクロ画像）とカラー情報（参照カラー情報）とに分離するものである。
具体的には、参照画像分離手段２０は、Ｌａｂ色空間の３チャンネルで構成された参照カラー画像Ｒを、Ｌチャンネル（明度成分）の参照モノクロ画像と、ａ，ｂチャンネル（明度成分以外の色成分）の参照カラー情報とに分離する。
参照画像分離手段２０は、分離した参照モノクロ画像（Ｌチャンネル）および参照カラー情報（ａ，ｂチャンネル）を、図示を省略したメモリ（記憶手段）に記憶し、後記するフレーム別カラー情報推定手段２３が参照する。
具体的には、参照画像分離手段２０は、Ｌａｂ色空間の３チャンネルで構成された参照カラー画像Ｒを、Ｌチャンネル（明度成分）の参照モノクロ画像と、ａ，ｂチャンネル（明度成分以外の色成分）の参照カラー情報とに分離する。
参照画像分離手段２０は、分離した参照モノクロ画像（Ｌチャンネル）および参照カラー情報（ａ，ｂチャンネル）を、図示を省略したメモリ（記憶手段）に記憶し、後記するフレーム別カラー情報推定手段２３が参照する。
【0045】
動画像入力手段２１は、カラー化を行う対象のモノクロ動画像Ｖｍを入力するものである。動画像入力手段２１は、入力したモノクロ動画像Ｖｍをフレームごとにカラー化対象のモノクロ画像（対象モノクロ画像）として、フレーム別カラー情報推定手段２３およびカラー情報合成手段２４に出力する。なお、モノクロ動画像Ｖｍをフレームは、Ｌａｂ空間のＬチャンネル（１チャンネル）に相当する。
【0046】
モデル記憶手段２２は、図３で説明したカラー情報推定モデル生成装置１で生成されたカラー情報推定モデルＭを記憶するものである。このモデル記憶手段２２は、半導体メモリ等の一般的な記憶媒体で構成することができる。
カラー情報推定モデルＭは、フレーム別カラー情報推定手段２３によって参照される。
カラー情報推定モデルＭは、フレーム別カラー情報推定手段２３によって参照される。
【0047】
フレーム別カラー情報推定手段２３は、カラー情報推定モデルＭを参照し、動画像入力手段２１から入力されるフレームごとの対象モノクロ画像に対して、カラー情報を推定するものである。
フレーム別カラー情報推定手段２３は、モノクロ画像特徴抽出手段２３０と、参照画像特徴抽出手段２３１と、参照画像特徴合成手段２３２と、カラー情報推定手段２３３と、を備える。
フレーム別カラー情報推定手段２３は、モノクロ画像特徴抽出手段２３０と、参照画像特徴抽出手段２３１と、参照画像特徴合成手段２３２と、カラー情報推定手段２３３と、を備える。
【0048】
モノクロ画像特徴抽出手段２３０は、動画像入力手段２１から入力される対象モノクロ画像の画像特徴を抽出するものである。このモノクロ画像特徴抽出手段２３０は、カラー情報推定モデルＭのモノクロ画像特徴抽出器ＭＢＷを参照し、図４に示すように、対象モノクロ画像に対して、畳み込みニューラルネットワークＮＴ２による演算を行うことで、モノクロ画像特徴ＢＷＦを生成する。
モノクロ画像特徴抽出手段２３０は、生成したモノクロ画像特徴ＢＷＦをカラー情報推定手段２３３に出力する。
モノクロ画像特徴抽出手段２３０は、生成したモノクロ画像特徴ＢＷＦをカラー情報推定手段２３３に出力する。
【0049】
参照画像特徴抽出手段２３１は、参照画像分離手段２０から入力される参照カラー画像ＲのＮ２枚分の参照カラー情報（ａ，ｂチャンネル）および参照モノクロ画像（Ｌチャンネル）と、動画像入力手段２１から入力される対象モノクロ画像とから、対象モノクロ画像に対応した参照カラー画像Ｒの画像特徴を抽出するものである。
この参照画像特徴抽出手段２３１は、カラー情報推定モデルＭの参照画像特徴抽出器ＭＲＦを参照し、図４に示すように、対象モノクロ画像と参照カラー画像Ｒの参照カラー情報（ａ，ｂチャンネル）および参照モノクロ画像（Ｌチャンネル）をそれぞれコンボリューション層（Ｃ１～Ｃ３）で予め定めたチャンネル数のデータに畳み込み加算する。そして、参照画像特徴抽出手段２３１は、加算したデータに対して、畳み込みニューラルネットワークＮＴ１による演算を行うことで、参照画像特徴ＲＦＦを生成する。
なお、参照画像特徴抽出手段２３１は、１つの対象モノクロ画像に対して、参照カラー画像ＲのＮ２枚分の参照画像特徴ＲＦＦを生成する。
参照画像特徴抽出手段２３１は、生成した参照カラー画像ＲのＮ２枚分の参照画像特徴ＲＦＦを参照画像特徴合成手段２３２に出力する。
この参照画像特徴抽出手段２３１は、カラー情報推定モデルＭの参照画像特徴抽出器ＭＲＦを参照し、図４に示すように、対象モノクロ画像と参照カラー画像Ｒの参照カラー情報（ａ，ｂチャンネル）および参照モノクロ画像（Ｌチャンネル）をそれぞれコンボリューション層（Ｃ１～Ｃ３）で予め定めたチャンネル数のデータに畳み込み加算する。そして、参照画像特徴抽出手段２３１は、加算したデータに対して、畳み込みニューラルネットワークＮＴ１による演算を行うことで、参照画像特徴ＲＦＦを生成する。
なお、参照画像特徴抽出手段２３１は、１つの対象モノクロ画像に対して、参照カラー画像ＲのＮ２枚分の参照画像特徴ＲＦＦを生成する。
参照画像特徴抽出手段２３１は、生成した参照カラー画像ＲのＮ２枚分の参照画像特徴ＲＦＦを参照画像特徴合成手段２３２に出力する。
【0050】
参照画像特徴合成手段２３２は、参照画像特徴抽出手段２３１で抽出される参照カラー画像Ｒの枚数分（Ｎ２枚）の参照画像特徴ＲＦＦを合成するものである。
この参照画像特徴合成手段２３２は、図４で説明した特徴合成器Ｃで説明した合成手法と同じ合成手法により、複数の参照画像特徴ＲＦＦに対して、データ配列の同一の要素ごとに最大値を選択する、最小値を選択する、あるいは要素ごとの値を加算することで、合成特徴ＭＸＦを生成する。これによって、参照画像特徴合成手段２３２は、参照カラー画像Ｒの枚数によらずに、固定長のデータ量の合成特徴ＭＸＦを生成することができる。
参照画像特徴合成手段２３２は、生成した合成特徴ＭＸＦをカラー情報推定手段２３３に出力する。
この参照画像特徴合成手段２３２は、図４で説明した特徴合成器Ｃで説明した合成手法と同じ合成手法により、複数の参照画像特徴ＲＦＦに対して、データ配列の同一の要素ごとに最大値を選択する、最小値を選択する、あるいは要素ごとの値を加算することで、合成特徴ＭＸＦを生成する。これによって、参照画像特徴合成手段２３２は、参照カラー画像Ｒの枚数によらずに、固定長のデータ量の合成特徴ＭＸＦを生成することができる。
参照画像特徴合成手段２３２は、生成した合成特徴ＭＸＦをカラー情報推定手段２３３に出力する。
【0051】
カラー情報推定手段２３３は、モノクロ画像特徴抽出手段２３０で抽出されたモノクロ画像特徴ＢＷＦと、参照画像特徴合成手段２３２で合成された合成特徴ＭＸＦとを連結したデータ（連結特徴ＣＴＦ）から、２チャンネルのカラー情報（ａ，ｂチャンネル）を推定するものである。このカラー情報推定手段２３３は、カラー情報推定モデルＭのカラー情報推定器ＭＣＬを参照し、図４に示すように、連結特徴ＣＴＦに対して、畳み込みニューラルネットワークＮＴ３による演算を行うことで、カラー情報（ａ，ｂチャンネル）を生成する。
カラー情報推定手段２３３は、生成したカラー情報（ａ，ｂチャンネル）をカラー情報合成手段２４に出力する。
以上説明したように、フレーム別カラー情報推定手段２３は、カラー情報推定モデルＭを参照して、対象モノクロ画像のカラー情報を推定する。
カラー情報推定手段２３３は、生成したカラー情報（ａ，ｂチャンネル）をカラー情報合成手段２４に出力する。
以上説明したように、フレーム別カラー情報推定手段２３は、カラー情報推定モデルＭを参照して、対象モノクロ画像のカラー情報を推定する。
【0052】
カラー情報合成手段２４は、動画像入力手段２１から入力した対象モノクロ画像をＬａｂ色空間のＬチャンネルとし、フレーム別カラー情報推定手段２３が推定したカラー情報（ａ，ｂチャンネル）を合成するものである。
カラー情報合成手段２４は、Ｌチャンネル、ａチャンネルおよびｂチャンネルの３チャンネルのデータを、順次、３チャンネルのデータ構造を有するＬａｂ色空間のカラー画像のフレームとすることで、カラー動画像Ｖｃとして出力する。
なお、動画像カラー化装置２は、コンピュータを、前記した各手段として機能させるための動画像カラー化プログラムで動作させることができる。
カラー情報合成手段２４は、Ｌチャンネル、ａチャンネルおよびｂチャンネルの３チャンネルのデータを、順次、３チャンネルのデータ構造を有するＬａｂ色空間のカラー画像のフレームとすることで、カラー動画像Ｖｃとして出力する。
なお、動画像カラー化装置２は、コンピュータを、前記した各手段として機能させるための動画像カラー化プログラムで動作させることができる。
【0053】
以上説明したように動画像カラー化装置２を構成することで、動画像カラー化装置２は、参照カラー画像を参照してモノクロ動画像をカラー化し、カラー動画像を生成することができる。
【0054】
＜動画像カラー化装置：動作＞
次に、図７を参照（構成については、適宜図６参照）して、動画像カラー化装置２の動作について説明する。なお、モノクロ動画像Ｖｍの一部を予めカラー化した参照カラー画像がＮ２枚準備されているものとする。
次に、図７を参照（構成については、適宜図６参照）して、動画像カラー化装置２の動作について説明する。なお、モノクロ動画像Ｖｍの一部を予めカラー化した参照カラー画像がＮ２枚準備されているものとする。
【0055】
ステップＳ１０において、参照画像分離手段２０は、複数（Ｎ２枚）のＬａｂ色空間の参照カラー画像Ｒを入力し、ａ，ｂチャンネルの参照カラー情報と、Ｌチャンネルの参照モノクロ画像とに分離する。参照画像分離手段２０は、複数（Ｎ２枚）の参照カラー画像Ｒの参照カラー情報および参照モノクロ画像は図示を省略したメモリに記憶する（ステップとして図示せず）。
ステップＳ１１において、動画像入力手段２１は、モノクロ動画像Ｖｍをフレーム（対象モノクロ画像）単位で入力する。対象モノクロ画像は、Ｌａｂ色空間のモノクロ情報（Ｌチャンネル）に相当する。
ステップＳ１１において、動画像入力手段２１は、モノクロ動画像Ｖｍをフレーム（対象モノクロ画像）単位で入力する。対象モノクロ画像は、Ｌａｂ色空間のモノクロ情報（Ｌチャンネル）に相当する。
【0056】
ステップＳ１２において、フレーム別カラー情報推定手段２３のモノクロ画像特徴抽出手段２３０は、ステップＳ１１で入力した対象モノクロ画像に対して、モノクロ画像特徴抽出器ＭＢＷによる演算を行う。これによって、モノクロ画像特徴抽出手段２３０は、対象モノクロ画像からモノクロ画像特徴ＢＷＦを抽出する。
【0057】
ステップＳ１３において、フレーム別カラー情報推定手段２３の参照画像特徴抽出手段２３１は、ステップＳ１０で分離した複数の参照カラー情報（ａ，ｂ）および参照モノクロ画像（Ｌ）と、ステップＳ１１で入力した対象モノクロ画像とに対して、参照画像特徴抽出器ＭＲＦによる演算を行う。これによって、参照画像特徴抽出手段２３１は、対象モノクロ画像に対応した複数の参照カラー画像の参照画像特徴ＲＦＦを抽出する。
【0058】
ステップＳ１４において、参照画像特徴抽出手段２３１は、参照カラー画像の枚数（Ｎ２枚）すべてにおいて、参照画像特徴ＲＦＦを抽出したか否かを判定する。ここで、画像特徴が参照カラー画像の枚数（Ｎ）分未満の場合（ステップＳ１４でＮｏ）、動画像カラー化装置２は、ステップＳ１２に戻って、次の参照カラー画像の参照画像特徴ＲＦＦを抽出する。
一方、参照画像特徴ＲＦＦが参照カラー画像の数（Ｎ２枚）に達した場合（ステップＳ１４でＹｅｓ）、ステップＳ１５において、フレーム別カラー情報推定手段２３の参照画像特徴合成手段２３２は、参照カラー画像の枚数（Ｎ２枚）分の参照画像特徴ＲＦＦを合成し、合成特徴ＭＸＦを生成する。この合成は、カラー情報推定モデルＭの特徴合成器Ｃ（図４参照）と同じ合成手法で、例えば、複数の参照画像特徴ＲＦＦに対して、データ配列の同一の要素ごとに最大値を選択する。
これによって、参照カラー画像の数によらずに、固定長のデータ量の合成特徴ＭＸＦが生成される。
一方、参照画像特徴ＲＦＦが参照カラー画像の数（Ｎ２枚）に達した場合（ステップＳ１４でＹｅｓ）、ステップＳ１５において、フレーム別カラー情報推定手段２３の参照画像特徴合成手段２３２は、参照カラー画像の枚数（Ｎ２枚）分の参照画像特徴ＲＦＦを合成し、合成特徴ＭＸＦを生成する。この合成は、カラー情報推定モデルＭの特徴合成器Ｃ（図４参照）と同じ合成手法で、例えば、複数の参照画像特徴ＲＦＦに対して、データ配列の同一の要素ごとに最大値を選択する。
これによって、参照カラー画像の数によらずに、固定長のデータ量の合成特徴ＭＸＦが生成される。
【0059】
ステップＳ１６において、フレーム別カラー情報推定手段２３のカラー情報推定手段２３３は、ステップＳ１１で入力した対象モノクロ画像と、ステップＳ１５で生成された合成特徴とを連結したデータ（連結特徴）に対して、カラー情報推定器ＭＣＬによる演算を行う。これによって、カラー情報推定手段２３３は、モノクロ画像に対応した２チャンネルのカラー情報（ａ，ｂチャンネル）を推定する。
【0060】
ステップＳ１７において、カラー情報合成手段２４は、ステップＳ１１で入力した対象モノクロ画像をＬａｂ色空間のＬチャンネルとし、ステップＳ１６で推定したカラー情報（ａ，ｂチャンネル）を合成することで、カラー画像を生成する。
ステップＳ１８において、動画像入力手段２１は、モノクロ動画像Ｖｍの入力が終了したか否かを判定する。ここで、モノクロ動画像Ｖｍの入力が終了していない場合（ステップＳ１８でＮｏ）、動画像カラー化装置２は、ステップＳ１１に戻って、次フレーム（対象モノクロ画像）のカラー化を行う。
一方、モノクロ動画像Ｖｍの入力が終了した場合（ステップＳ１８でＹｅｓ）、動画像カラー化装置２は、動作を終了する。
ステップＳ１８において、動画像入力手段２１は、モノクロ動画像Ｖｍの入力が終了したか否かを判定する。ここで、モノクロ動画像Ｖｍの入力が終了していない場合（ステップＳ１８でＮｏ）、動画像カラー化装置２は、ステップＳ１１に戻って、次フレーム（対象モノクロ画像）のカラー化を行う。
一方、モノクロ動画像Ｖｍの入力が終了した場合（ステップＳ１８でＹｅｓ）、動画像カラー化装置２は、動作を終了する。
【0061】
以上の動作によって、動画像カラー化装置２は、カラー情報推定モデル生成装置１で生成したカラー情報推定モデルを用いて、モノクロ動画像からフレーム間で色ぶれの少ないカラー動画像を生成することができる。
【0062】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明はこの実施形態に限定されるものではない。
（変形例１）
ここでは、図４に示すように、カラー情報推定モデルＭにおける参照画像特徴抽出器ＭＲＦの入力を、参照カラー画像Ｒの２チャンネルの参照カラー情報（ａ，ｂチャンネル）および１チャンネルの参照モノクロ画像（Ｌチャンネル）と、カラー化対象の１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）との３入力とした。
以上、本発明の実施形態について説明したが、本発明はこの実施形態に限定されるものではない。
（変形例１）
ここでは、図４に示すように、カラー情報推定モデルＭにおける参照画像特徴抽出器ＭＲＦの入力を、参照カラー画像Ｒの２チャンネルの参照カラー情報（ａ，ｂチャンネル）および１チャンネルの参照モノクロ画像（Ｌチャンネル）と、カラー化対象の１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）との３入力とした。
【0063】
しかし、参照画像特徴抽出器ＭＲＦは、参照カラー画像Ｒと対象モノクロ画像Ｐとから、対象モノクロ画像Ｐに対応した参照カラー画像Ｒの画像特徴を抽出するモデルである。そのため、参照画像特徴抽出器ＭＲＦは、図８に示すように、３チャンネル（Ｌａｂ）の参照カラー画像Ｒと、１チャンネル（Ｌ）の対象モノクロ画像Ｐとの２入力から、参照画像特徴ＲＦＦを抽出するモデル（参照画像特徴抽出器ＭＲＦ２）としてもよい。
この場合、図３に示したカラー情報推定モデル生成装置１において、参照画像分離手段１１を省略すればよい。また、図６に示した動画像カラー化装置２において、参照画像分離手段２０を省略すればよい。
この場合、図３に示したカラー情報推定モデル生成装置１において、参照画像分離手段１１を省略すればよい。また、図６に示した動画像カラー化装置２において、参照画像分離手段２０を省略すればよい。
【0064】
また、参照画像特徴抽出器ＭＲＦは、２チャンネルの参照カラー情報（ａ，ｂチャンネル）および１チャンネルの参照モノクロ画像（Ｌチャンネル）と、カラー化対象の１チャンネルの対象モノクロ画像Ｐ（Ｌチャンネル）との３入力を連結し、５チャンネルのデータに対して畳み込みを行ってもよい。その場合、参照画像特徴抽出器ＭＲＦは、個別の畳み込みと加算を行う必要はない。
また、参照画像特徴抽出器ＭＲＦは、参照モノクロ画像（Ｌチャンネル）と、対象モノクロ画像Ｐ（Ｌチャンネル）とを連結して畳み込んでもよい。
このように、参照画像特徴抽出器ＭＲＦは、入力データを任意の組み合わせで連結し、畳み込みを行ってもよい。
また、参照画像特徴抽出器ＭＲＦは、参照モノクロ画像（Ｌチャンネル）と、対象モノクロ画像Ｐ（Ｌチャンネル）とを連結して畳み込んでもよい。
このように、参照画像特徴抽出器ＭＲＦは、入力データを任意の組み合わせで連結し、畳み込みを行ってもよい。
【0065】
（変形例２）
また、ここでは、カラー画像をＬａｂ色空間の画像とした。しかし、カラー画像は、Ｌａｂ色空間の画像に限定するものではなく、他の色空間（例えば、ＲＧＢ色空間）の画像であっても構わない。
また、ここでは、カラー画像をＬａｂ色空間の画像とした。しかし、カラー画像は、Ｌａｂ色空間の画像に限定するものではなく、他の色空間（例えば、ＲＧＢ色空間）の画像であっても構わない。
【0066】
例えば、図２に示したカラー情報推定モデル生成装置１において、ＲＧＢ色空間のカラー画像（基準カラー画像、参照カラー画像）を学習データとして、カラー情報推定モデルＭを生成する場合、基準画像分離手段１０および参照画像分離手段１１のそれぞれの前段に、色空間変換手段を備えればよい。そして、色空間変換手段が、ＲＧＢ色空間のカラー画像をＬａｂ色空間のカラー画像に変換すればよい。
また、図６に示した動画像カラー化装置２において、参照画像分離手段２０の前段にＲＧＢ色空間のカラー画像をＬａｂ色空間のカラー画像に変換する色空間変換手段を備えればよい。また、カラー情報合成手段２４の後段に、Ｌａｂ色空間のカラー画像をＲＧＢ色空間のカラー画像に変換する色空間変換手段を備えればよい。
また、図６に示した動画像カラー化装置２において、参照画像分離手段２０の前段にＲＧＢ色空間のカラー画像をＬａｂ色空間のカラー画像に変換する色空間変換手段を備えればよい。また、カラー情報合成手段２４の後段に、Ｌａｂ色空間のカラー画像をＲＧＢ色空間のカラー画像に変換する色空間変換手段を備えればよい。
【符号の説明】
【0067】
１ カラー情報推定モデル生成装置
１０ 基準画像分離手段
１１ 参照画像分離手段
１２ モデル学習手段
１３ モデル記憶手段
２０ 動画像入力手段
２１ 参照画像分離手段
２２ モデル記憶手段
２３ フレーム別カラー情報推定手段
２３０ モノクロ画像特徴抽出手段
２３１ 参照画像特徴抽出手段
２３２ 参照画像特徴合成手段
２３３ カラー情報推定手段
２４ カラー情報合成手段
Ｍ カラー情報推定モデル
ＭＢＷ モノクロ画像特徴抽出器
ＭＲＦ 参照画像特徴抽出器
ＭＣＬ カラー情報推定器
Ｃ 特徴合成器
１０ 基準画像分離手段
１１ 参照画像分離手段
１２ モデル学習手段
１３ モデル記憶手段
２０ 動画像入力手段
２１ 参照画像分離手段
２２ モデル記憶手段
２３ フレーム別カラー情報推定手段
２３０ モノクロ画像特徴抽出手段
２３１ 参照画像特徴抽出手段
２３２ 参照画像特徴合成手段
２３３ カラー情報推定手段
２４ カラー情報合成手段
Ｍ カラー情報推定モデル
ＭＢＷ モノクロ画像特徴抽出器
ＭＲＦ 参照画像特徴抽出器
ＭＣＬ カラー情報推定器
Ｃ 特徴合成器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】