特許 7592398 情報処理装置、学習方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】情報処理装置、学習方法およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241125BHJP

   G06N 3/08 20230101ALI20241125BHJP

   H04N 19/96 20140101ALI20241125BHJP

【ＦＩ】

G06N20/00 130

G06N3/08

H04N19/96

【請求項の数】 13

(21)【出願番号】P 2020069286

(22)【出願日】2020-04-07

(65)【公開番号】P2021165962

(43)【公開日】2021-10-14

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】大浦 颯人

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０１８－１８２５３１（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９７８８２９６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｈ０４Ｎ １９／９６

(57)【特許請求の範囲】

【請求項1】

学習用の画像を入力として前記画像を分割した分割パターンを出力する学習モデルが出力した分割パターンと、前記学習モデルの機械学習を行うときの教師データとの類似度に対応する重みを決定する決定手段と、
決定された前記重みにより重み付けされた損失関数を用いて前記学習モデルの機械学習を行う学習手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記決定手段は、前記類似度が高くなるに応じて、前記損失関数が小さくなるように前記重みを決定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記決定手段は、前記類似度が低くなるに応じて、前記損失関数が大きくなるように前記重みを決定することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記決定手段は、前記類似度が所定の値以上である場合、前記重みを０として決定することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記決定手段は、前記学習モデルに入力された学習用の画像の枚数が所定の枚数に達するごとに、前記重みを決定することを特徴とする請求項１乃至４のうち何れか１項に記載の情報処理装置。

【請求項6】

前記決定手段は、前記学習モデルが出力した同じ類似度のグループに属する複数の分割パターンについての重みを、前記教師データと相違しているブロックのブロックサイズに応じて異ならせることを特徴とする請求項１乃至５のうち何れか１項に記載の情報処理装置。

【請求項7】

前記類似度は、教師データの分割パターンと前記学習モデルが出力した分割パターンとで異なる区画数に応じて決定されることを特徴とする請求項１乃至６のうち何れか１項に記載の情報処理装置。

【請求項8】

前記類似度は、さらに前記画像をブロックに分割する際の階層構造の深度の差に応じて決定されることを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記類似度は、前記区画数と前記深度の差とのうち何れかが優先されて決定されることを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記学習用の画像は、ＨＥＶＣの規格により符号化される動画像を構成する画像であることを特徴とする請求項１乃至９のうち何れか１項に記載の情報処理装置。

【請求項11】

未知の画像を入力として前記学習モデルが出力したブロック分割パターンを用いて、前記未知の画像を符号化することを特徴とする請求項１乃至１０のうち何れか１項に記載の情報処理装置。

【請求項12】

学習用の画像を入力として前記画像を分割した分割パターンを出力する学習モデルが出力した分割パターンと、前記学習モデルの機械学習を行うときの教師データとの類似度に対応する重みを決定する工程と、
決定された前記重みにより重み付けされた損失関数を用いて前記学習モデルの機械学習を行う工程と、
を備えることを特徴とする学習方法。

【請求項13】

請求項１乃至１１のうち何れか１項に記載の情報処理装置の各手段をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、学習方法およびプログラムに関する。

【背景技術】

【0002】

Ｈ．２６５（ＩＳＯ／ＩＥＣ ２３００８－２）と称される動画圧縮規格を用いて動画像の圧縮が行われている。Ｈ．２６５規格は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とも称される。ＨＥＶＣでは、符号化を行う対象の画像（符号化対象画像）は、縦横６４画素のＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）のブロックに分割され、ブロックごとに符号化が実施される。また、ＨＥＶＣでは、ＣＴＵは符号化単位がＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）に再帰的に分割される。ＣＵは、縦横が６４画素、３２画素、１６画素または８画素の何れかのサイズに分割される。ＣＴＵごとのブロック分割パターンは、ＣＵの分割形状の組み合わせに応じて決定される。

【0003】

関連する技術として、特許文献１の技術が提案されている。特許文献１の技術では、学習モデルが、入力されたＣＴＵのＣＵの分割形状と学習パラメータとに基づいて、四分木データ構造の各ノードの分割確率を表すラベルを出力する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１８２５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術では、四分木データ構造の各ノードの分割確率を学習しているが、学習モデルが、正解となるブロック分割パターンと近いブロック分割パターンを出力しない可能性がある。このため、学習モデルが正解となるブロック分割パターンと大きく異なるブロック分割パターンを出力した場合、該ブロック分割パターンで動画像の符号化が行われることになり、動画像の画質が大幅に劣化する。

【0006】

本発明は、学習モデルが正解のブロック分割パターンを出力する割合を高くすることを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の情報処理装置は、学習用の画像を入力として前記画像を分割した分割パターンを出力する学習モデルが出力した分割パターンと、前記学習モデルの機械学習を行うときの教師データとの類似度に対応する重みを決定する決定手段と、決定された前記重みにより重み付けされた損失関数を用いて前記学習モデルの機械学習を行う学習手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、学習モデルが正解のブロック分割パターンを出力する割合を高くすることを目的とする。

【図面の簡単な説明】

【0009】

【図1】コンピュータの一例を示す図である。

【図2】ブロック分割パターンの一例を示す図である。

【図3】第１実施形態において分割パターンが１区画異なる教師データと類似グループとの関係を示す図である。

【図4】第１実施形態において分割パターンが２区画異なる教師データと類似グループとの関係を示す図である。

【図5】学習処理の流れを示すフローチャートである。

【図6】損失関数の重み付け処理の流れを示すフローチャートである。

【図7】第２実施形態における損失関数に重み付けする重みの更新処理の流れを示すフローチャートである。

【図8】第３実施形態において分割パターンが１区画異なる教師データと類似グループとの関係を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

【0011】

＜第１実施形態＞
以下、図面を参照して、第１実施形態について説明する。図１は、コンピュータ１０の一例を示す図である。コンピュータ１０は、情報処理装置に対応する。コンピュータ１０は、例えば、サーバ等である。コンピュータ１０は、ＣＰＵ１１、メモリ１２、記憶装置１３、通信部１４、表示部１５、入力制御部１６、ＧＰＵ１７（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および内部バス１００を有する。

【0012】

ＣＰＵ１１は、記憶装置１３に記憶されているコンピュータプログラムを実行することで、内部バス１００を介してコンピュータ１０の各部（各機能ブロック）の動作を制御する。また、ＣＰＵ１１は、単独で各種の演算を行ってもよいし、ＧＰＵ１７と協働して各種の演算を行ってもよい。メモリ１２は、書き換え可能な揮発性メモリである。メモリ１２は、コンピュータ１０の各部の動作を制御するためのコンピュータプログラムやコンピュータ１０の各動作に関する情報、ＣＰＵ１１による処理前後の情報等を一時的に記憶する。以下の各処理は、記憶装置１３に記憶されているコンピュータプログラムがメモリ１２に展開され、ＣＰＵ１１がメモリ１２に展開されたコンピュータプログラムを実行することにより、実現されてもよい。また、ＣＰＵ１１がＧＰＵ１７を制御して、ＣＰＵ１１とＧＰＵ１７とが協働して動作することにより、各処理が実現されてもよい。ＣＰＵ１１またはＧＰＵ１７は、決定手段および学習手段に対応する。

【0013】

メモリ１２は、各種情報を一時的に記録するために十分な記憶容量を有する。各実施形態では、ＣＰＵ１１は、学習モデルとしてのニューラルネットワークの機械学習を行う。メモリ１２は、ニューラルネットワークの処理内容を記述したコンピュータプログラムや学習済み係数パラメータ（重み係数やバイアス値等）を記憶する。重み係数は、ニューラルネットワークにおけるノード間の接続の強さを示す値であり、バイアスは、重み係数と入力データとの積算値に対してオフセットを与えるための値である。

【0014】

記憶装置１３は、電気的に情報を記憶および消去が可能なメモリであり、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が適用される。記憶装置１３は、コンピュータ１０の各部を制御するコンピュータプログラムやメモリ１２に一時保存された処理結果等の情報を記憶する。通信部１４は、外部装置や記録媒体等の周辺機器と通信を行う。通信部１４は、有線による通信を行ってもよいし、無線による通信を行ってもよい。例えば、通信部１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格に基づく有線通信を行ってもよいし、ＩＥＥＥ８０２．１１等の無線通信規格に適合する方式を用いた無線通信を行ってもよい。

【0015】

表示部１５は所定の情報を表示する。表示部１５には、例えば、液晶ディスプレイや有機ＥＬディスプレイ等が適用される。表示部１５は、ＣＰＵ１１やＧＰＵ１７等から送られる画像信号に基づいて、画像を表示する。入力制御部１６は、所定の入力装置からの入力を受け付ける。入力装置としては、例えば、キーボードやマウス等が適用される。入力制御部１６は、入力装置を用いた入力操作の内容を電気信号に変換し、コンピュータ１０の各部へ入力信号を伝える。ＧＰＵ１７は、表示部１５へ送る画像信号に関する演算処理やコンピュータプログラムの演算処理等を行う。また、ＧＰＵ１７は、機械学習を行う際の演算処理に好適に用いられる。ＧＰＵ１７は、並列な演算処理を高速に行う回路を有していることから、演算の内容に応じてＣＰＵ１１が行う演算処理を代替して行うことができる。各機能ブロックは、内部バス１００を介して相互にアクセス可能である。

【0016】

次に、機械学習について説明する。各実施形態では、コンピュータ１０は、学習モデルとしてのニューラルネットワークの機械学習を行う。ニューラルネットワークは、例えば、畳み込み層とプーリング層とが交互に積層され、全結合層および出力層が接続されるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってもよい。また、学習モデルは、ニューラルネットワークには限定されない。例えば、学習モデルは、サポートベクターマシン等の機械学習アルゴリズムを用いて学習されたモデルであってもよい。ニューラルネットワークの機械学習は、目的となる処理結果に対して、重み係数やバイアス値等の係数パラメータを適切な値に近づけるような調整により、最適化されることで、実現される。

【0017】

各実施形態では、ＣＰＵ１１は、ニューラルネットワークを用いて、動画像符号化の標準規格であるＨＥＶＣ（Ｈ．２６５）の規格におけるＣＴＵごとのブロック分割パターンを決定する。ブロック分割パターンは、ＣＴＵごとの分割パターンである。ＨＥＶＣにおけるＣＴＵごとのブロック分割パターンの演算方法として、ＨＥＶＣＴｅｓｔＭｏｄｅｌ（ＨＭ）がある。ＨＭは、ＪＣＴ－ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）により作成されたモデルである。ＨＭでは、膨大な演算が行われ、コストが最も小さくなるＣＵサイズおよび予測モードが決定される。

【0018】

各実施形態において、ＣＰＵ１１は、符号化対象画像の画質の劣化が小さくなるブロック分割パターンが出力されるように、ニューラルネットワークの機械学習を行う。ブロック分割パターンの詳細は、後述する。各実施形態におけるニューラルネットワークの機械学習は、教師あり学習である。教師データ（正解データ）としては、例えば、上述したＨＭにより得られるブロック分割パターンが適用されてもよい。ニューラルネットワークには、教師データと対応する学習用の符号化対象画像が入力される。教師データと学習用の符号化対象画像との組み合わせが学習データである。ＣＰＵ１１は、学習データを用いて、ニューラルネットワークの機械学習を行う。

【0019】

上記の機械学習が繰り返し行われることにより、ニューラルネットワークの係数パラメータが調整される。機械学習により調整された係数パラメータが、学習済み係数パラメータである。機械学習されたニューラルネットワークは、未知の符号化対象画像が入力されると、ブロック分割パターンを示すデータ（出力データ）を出力する。機械学習は、ＣＰＵ１１により行われてもよいし、ＧＰＵ１７により行われてもよいし、ＣＰＵ１１とＧＰＵ１７との協働動作により行われてもよい。

【0020】

ここで、ＨＥＶＣのブロック分割パターン等のような連続した値ではないデータの分類の機械学習が行われる際、一般に、交差エントロピー誤差（ｃｒｏｓｓ ｅｎｔｒｏｐｙ ｅｒｒｏｒ）を用いた損失関数の演算が行われる。損失関数として交差エントロピー誤差が用いられた場合、交差エントロピー誤差の値がゼロに近づくように機械学習が行われる。交差エントロピー誤差の定義式を、以下の式（１）に示す。式（１）において、ｌｏｇは底がｅの自然対数を示し、ｙ_ｋはニューラルネットワークの出力を示し、ｔ_ｋは教師データのインデックスを示し、ｌｏｓｓは損失関数を示す。教師データのインデックスは、正解の場合「１」であり、不正解の場合「０」である。

【0021】

【数1】

【0022】

図２は、ブロック分割パターンの一例を示す図である。図２の例では、ブロック分割パターンは、１７パターンである。ただし、ブロック分割パターンのパターン数は１７パターンには限定されない。また、ブロック分割パターンの分割方法は、図２の例には限定されない。図２において、ブロック分割パターン２ａが教師データであるとする。この場合、ニューラルネットワークからの出力データがブロック分割パターン２ａとなる確率が高くなるように、ニューラルネットワークの機械学習が行われる。つまり、ニューラルネットワークが出力したブロック分割パターン自体が考慮されるのではなく、ニューラルネットワークからの出力データがブロック分割パターン２ａである確率のみが、機械学習に反映されることになる。

【0023】

例えば、図２において、ブロック分割パターン２ｂは、教師データのブロック分割パターン２ａに最も類似している。一方、ブロック分割パターン２ｑは、教師データのブロック分割パターン２ａと最も類似していない。このとき、ニューラルネットワークが、ブロック分割パターン２ｂとブロック分割パターン２ｑとの両者がブロック分割パターン２ａである確率が同じ値であることを示す出力を行ったとする。この場合、ブロック分割パターン２ｂとブロック分割パターン２ｑとでは、ブロック分割パターン２ａとの類似度が大きく異なっているにもかかわらず、同じ損失誤差が用いられて、ニューラルネットワークの機械学習が行われることになる。

【0024】

そこで、本実施形態では、ＣＰＵ１１は、ニューラルネットワークの機械学習を行う際、交差エントロピー誤差等の損失誤差に重み付けを行う。ＣＰＵ１１は、ニューラルネットワークの出力データと教師データとの組み合わせに応じて重み付けを行う。これにより、教師データ（正解データ）に類似したブロック分割パターンがニューラルネットワークから出力される割合を高めることができる。その結果、本実施形態では、損失誤差に重み付けがされない場合と比較して、動画像を構成する画像が符号化されて圧縮された後に復号された画像の画質を向上させることができる。

【0025】

次に、損失関数の重み付けについて説明する。図３は、第１実施形態において分割パターンが１区画異なる教師データと類似グループとの関係を示す図である。図３の例では、類似グループ１のブロック分割パターンは、教師データのブロック分割パターンと１区画異なるブロック分割パターンである。図３（ａ）は、第１実施形態において分割パターンが１区画異なる場合の教師データと類似グループとの関係を示す第１の例を示す図である。図３（ａ）では、教師データが図２のブロック分割パターン２ａである場合の類似グループ１を示す。図２のブロック分割パターン２ａと１区画異なるブロック分割パターンは、ブロック分割パターン２ｂだけである。

【0026】

図３（ｂ）は、第１実施形態において分割パターンが１区画異なる教師データと類似グループとの関係を示す第２の例を示す図である。図２のブロック分割パターン２ａと１区画異なるブロック分割パターンは、ブロック分割パターン２ｂだけである。図３（ｂ）では、教師データが図２のブロック分割パターン２ｊである場合の類似グループ１を示す。図２のブロック分割パターン２ｊと１区画異なるブロック分割パターンは、ブロック分割パターン２ｄ、２ｆ、２ｎおよび２ｏの４つである。ニューラルネットワークが出力したブロック分割パターン（最も確率が高いブロック分割パターン）が教師データと１区画異なる場合、ＣＰＵ１１は、類似グループ１を定義する。また、ＣＰＵ１１は、類似グループ１に属する各ブロック分割パターンについての損失関数の重みをｗ_１と定義する。

【0027】

図４は、第１実施形態において分割パターンが２区画異なる教師データと類似グループとの関係を示す図である。類似グループ２のブロック分割パターンは、教師データのブロック分割パターンと、分割パターンが２区画異なるブロック分割パターンである。図４（ａ）は、第１実施形態において分割パターンが２区画異なる場合の教師データと類似グループとの関係を示す第１の例を示す図である。教師データは、図２（ａ）のブロック分割パターン２ａである。また、ブロック分割パターン２ａと２区画異なるブロック分割パターンは、図２（ａ）のブロック分割パターン２ｃ、２ｄ、２ｅおよび２ｆの４つである。図４（ｂ）は、第１実施形態において分割パターンが２区画異なる場合の教師データと類似グループとの関係を示す第２の例を示す図である。教師データは、図２（ｂ）のブロック分割パターン２ｊである。ブロック分割パターン２ｊと２区画異なるブロック分割パターンは、ブロック分割パターン２ａ、２ｇ、２ｉ、２ｋ、２ｌおよび２ｑの６つである。ニューラルネットワークが出力したブロック分割パターン（最も確率が高いブロック分割パターン）が教師データと２区画異なる場合、ＣＰＵ１１は、類似グループ２を定義する。また、ＣＰＵ１１は、類似グループ２に属する各ブロック分割パターンについての損失関数の重みをｗ_２と定義する。

【0028】

同様に、ＣＰＵ１１は、ニューラルネットワークが出力した最も確率が高いブロック分割パターンが教師データと３区画異なる場合には、類似グループ３を定義する。このとき、ＣＰＵ１１は、類似グループ３に属する各ブロック分割パターンについての損失関数の重みｗ_３を定義する。ＣＰＵ１１は、ニューラルネットワークが出力した最も確率が高いブロック分割パターンが教師データと４区画異なる場合には、類似グループ４を定義する。このとき、ＣＰＵ１１は、類似グループ４に属する各ブロック分割パターンについての損失関数の重みｗ_４を定義する。ＣＰＵ１１は、ニューラルネットワークが出力した最も確率が高いブロック分割パターンが教師データと５区画異なる場合には、類似グループ５を定義する。このとき、ＣＰＵ１１は、類似グループ５に属する各ブロック分割パターンについての損失関数の重みｗ_５を定義する。以上より、ＣＰＵ１１は、教師データのブロック分割パターンとニューラルネットワークが出力したブロック分割パターンとで、異なる区画数に応じて、類似グループを決定する。

【0029】

また、ニューラルネットワークが出力した最も確率が高いブロック分割パターンが、教師データのブロック分割パターンと完全に一致する場合がある。この場合、ＣＰＵ１１は、類似グループ０を定義し、損失関数の重みをｗ_０と定義する。

【0030】

ＣＰＵ１１が定義する重みｗ_０～ｗ_５は、以下の式（２）の関係が成立する。

【数2】

【0031】

また、上記式（２）は、以下の式（３）または式（４）であってもよい。

【数3】

【数4】

【0032】

式（３）の場合、ＣＰＵ１１は、重みｗ_０を定義した際、類似グループ０に属する各ブロック分割パターンについての損失関数の重み付けを実施しなくてもよい。また、式（４）の場合、ＣＰＵ１１は、重みｗ_５を定義した際、類似グループ５に属する各ブロック分割パターンについての損失関数の重み付けを実施しなくてもよい。

【0033】

類似グループ０に属する各ブロック分割パターンと教師データとの類似度は最も高い。一方、類似グループ５に属する各ブロック分割パターンと教師データとの類似度は最も低い。つまり、ＣＰＵ１１は、ニューラルネットワークが出力するブロック分割パターンと教師データのブロック分割パターンとの類似度が高くなるに応じて、損失関数が小さくなるように重みを決定する。一方、ＣＰＵ１１は、上記の類似度が低くなるに応じて、損失関数が大きくなるように重みを決定する。以上の例では、教師データのブロック分割パターンと異なった区画数により類似グループの定義が行われる例について説明したが、ＣＰＵ１１は、区画数よりも、分割パターンの階層構造を優先した類似グループを定義してもよい。

【0034】

次に、学習処理について説明する。図５は、本実施形態の学習処理の流れを示すフローチャートである。Ｓ５０１で、ＣＰＵ１１は、画像（符号化対象画像）を、ニューラルネットワークに入力する。各実施形態では、符号化対象画像は、動画像を構成する画像であり、例えばＨＥＶＣにより符号化による圧縮がされる。Ｓ５０２で、ＣＰＵ１１は、符号化対象画像を入力として、ニューラルネットワークの係数パラメータの演算を行う。Ｓ５０３で、ＣＰＵ１１は、ニューラルネットワークの演算結果を用いて損失関数を算出する。Ｓ５０４で、ＣＰＵ１１は、損失関数の重み付け処理を行う。Ｓ５０４の処理の詳細は、後述する。Ｓ５０５で、ＣＰＵ１１は、損失関数を用いて、ニューラルネットワークの係数パラメータを更新する。次に、Ｓ５０６で、ＣＰＵ１１は、学習処理を終了するかを判定する。ＣＰＵ１１は、Ｓ５０６でＮＯと判定した場合、フローをＳ５０１に戻す。一方、ＣＰＵ１１は、Ｓ５０６でＹＥＳと判定した場合、学習処理を終了させる。例えば、ＣＰＵ１１は、学習回数が一定回数に達したときに、Ｓ５０６でＹＥＳと判定してもよい。

【0035】

次に、Ｓ５０４の損失関数の重み付け処理について説明する。図６は、損失関数の重み付け処理の流れを示すフローチャートである。Ｓ６０１で、ＣＰＵ１１は、損失関数の重み付けを行うかを判定する。例えば、損失関数の重み付け処理を行うかの設定が予めされている場合、ＣＰＵ１１は、設定された内容に基づいて、Ｓ６０１の判定を行ってもよい。ＣＰＵ１１は、Ｓ６０１でＮＯと判定した場合、損失関数の重み付け処理を終了させる。一方、ＣＰＵ１１は、Ｓ６０１でＹＥＳと判定した場合、処理をＳ６０２に進める。Ｓ６０２で、ＣＰＵ１１は、ニューラルネットワークが出力したブロック分割パターンと教師データのブロック分割パターンとに基づいて、ニューラルネットワークの出力結果が属する類似グループおよび該類似グループに対応する重みを決定する。上述した例では、ＣＰＵ１１は、類似グループ０～５に対応する重みｗ_０～ｗ_５のうち何れかを重みｗとして決定する。

【0036】

Ｓ６０３で、ＣＰＵ１１は、損失関数にＳ６０４で決定した重みで重み付けする。ＣＰＵ１１は、以下の式（５）により、重みの値ｗを損失関数ｌｏｓｓに乗じることで、損失関数の重み付けを行う。損失関数ｌｏｓｓは、上述した式（１）により得られる。

【数5】

【0037】

ＣＰＵ１１は、Ｓ６０３の処理を行った後、損失関数の重み付け処理を終了させる。図６の損失関数の重み付け処理は、図５の学習処理行われるごとに行われる。

【0038】

以上説明したように、ＣＰＵ１１は、教師データのブロック分割パターンとニューラルネットワークが出力するブロック分割パターンとを比較して、類似グループを定義する。そして、ＣＰＵ１１は、類似グループに応じた重みの値で損失関数の重み付けを行い、重み付けがされた損失関数を用いてニューラルネットワークの機械学習を行う。重み付けがされた損失関数を用いてニューラルネットワークの機械学習が行われることで、ニューラルネットワークは、教師データのブロック分割パターンと近いブロック分割パターンを出力する割合を高くするようになる。このため、損失関数に重み付けされない場合と比較して、符号化して圧縮した画像の画質を向上させることができる。

【0039】

上述した各処理により、ＣＰＵ１１がニューラルネットワークの機械学習を行うことで、係数パラメータが調整されたニューラルネットワーク（学習済みのニューラルネットワーク）が生成される。ＣＰＵ１１は、学習済みのニューラルネットワークを用いて、推論処理を行ってもよい。例えば、ＣＰＵ１１は、上記のニューラルネットワークを用いて、動画像を構成する画像の符号化を行うことができる。このとき、ＣＰＵ１１は、学習済みのニューラルネットワークに、未知の画像（動画像を構成する画像）を入力する。そして、ＣＰＵ１１は、学習済みのニューラルネットワークが出力するブロック分割パターンを用いて、未知の画像を符号化する。

【0040】

また、学習済みのニューラルネットワークを用いた未知の画像の符号化は、コンピュータ１０とは別の情報処理装置（例えば、スマートフォンやタブレット端末、撮像装置等）により行われてもよい。この場合、上記の別の情報処理装置は、コンピュータ１０と通信を行い、コンピュータ１０から学習済みのニューラルネットワークを取得して、未知の画像の符号化を行ってもよい。

【0041】

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、ＣＰＵ１１は、ニューラルネットワークの機械学習の進行に伴い、損失関数に重み付けする重みを更新する。第２実施形態のコンピュータ１０の構成は、第１実施形態と同様である。以下、第１実施形態と重複する部分の説明は省略する。第２実施形態では、第１実施形態と同様、ＣＰＵ１１は、符号化対象画像を１７パターンのブロック分割パターンで分割する。そして、第２実施形態では、式（２）～（４）の重みｗ_０～ｗ_５の値を、ニューラルネットワーク機械学習の進行に伴い更新する。

【0042】

図７は、第２実施形態における損失関数に重み付けする重みの更新処理の流れを示すフローチャートである。Ｓ７０１で、ＣＰＵ１１は、機械学習された画像の枚数（学習枚数）が所定の枚数に達したかを判定する。所定の枚数は、予め設定された枚数であってもよいし、学習の収束度に基づいて判定されてもよい。また、所定の枚数は、他の任意の方法で設定されてもよい。ＣＰＵ１１は、Ｓ７０１でＮＯと判定した場合、図７の処理を終了させる。一方、ＣＰＵ１１は、Ｓ７０１でＹＥＳと判定した場合、処理をＳ７０２に進める。

【0043】

Ｓ７０２で、ＣＰＵ１１は、それぞれの重みｗ_０～ｗ_５が更新の対象であるかを判定する。本実施形態では、ＣＰＵ１１は、重みが更新の対象であるかの判定を、教師データのブロック分割パターンとニューラルネットワークが出力するブロック分割パターンとの類似度に基づいて行う。ただし、重みが更新の対象であるかの判定は、任意の手法で行われてもよい。ＣＰＵ１１は、上記の類似度が高くなるに応じて、重み付けされた損失関数の値が小さくなるように、重みを減少させる更新を行う。また、ＣＰＵ１１は、上記の類似度が低くなるに応じて、重み付けされた損失関数の値が大きくなるように、重みを増大させる更新する。

【0044】

例えば、基準となる所定の類似グループを類似グループ２とした場合において、ＣＰＵ１１が重みの値を増大させる更新を行うときには、類似グループ０～２以外の類似グループ３～５に対応する重みｗ_３～ｗ_５が更新の対象となる。一方、ＣＰＵ１１が重みの値を減少させる更新を行うときには、類似グループ０～２に対応する重みｗ_０～ｗ_２が更新の対象となる。更新する対象の重みは、値を増大させる更新を行う重みと、値を減少させる更新を行う重みとの何れかであってもよいし、両者であってもよい。更新する対象の重みがない場合、ＣＰＵ１１は、Ｓ７０２でＮＯと判定し、図７の処理を終了させる。一方、更新する対象の重みがある場合、ＣＰＵ１１は、処理をＳ７０３に進める。

【0045】

Ｓ７０３で、ＣＰＵ１１は、重みの更新を行う。更新する対象の重みが、値を増大させる更新を行う重みである場合、ＣＰＵ１１は、更新する対象の重みに対して、値が増大するように所定の倍率（重みが大きくなる倍率）を乗じる。また、更新する対象の重みが、値を減少させる更新を行う重みである場合、ＣＰＵ１１は、更新する対象の重みに対して、値が減少するように所定の倍率（重みが低くなる倍率）を乗じる。ＣＰＵ１１は、更新する対象の重みに対して、任意の値を加算または減算してもよい。ここで、更新する対象の重みが、値を減少させる更新を行う重みである場合（類似度が所定の値以上である場合）、ＣＰＵ１１は、更新する対象の重みに対して「０」を乗じてもよい。この場合、更新する対象の重みは「０」になる。所定の値は、上述した基準となる所定の類似グループに対応する。ＣＰＵ１１は、Ｓ７０３の処理が行われた後、図７の処理を終了させる。ＣＰＵ１１は、更新された重みを用いて、図６のＳ６０３の処理、つまり損失関数の重み付けを行う。

【0046】

第２実施形態では、ＣＰＵ１１は、学習枚数が所定の枚数に達するごとに、重みを決定する。つまり、ＣＰＵ１１は、機械学習の進行に伴い、損失関数に重み付けする重みの更新を行う。これにより、教師データのブロック分割パターンと大きく異なるブロック分割パターンについての損失関数の重みを、機械学習の途中段階で、大きくすることができる。その結果、ニューラルネットワークの機械学習が行われるときに、教師データのブロック分割パターンと大きく異なるブロック分割パターンの機械学習に対する影響を大きくすることができる。よって、教師データのブロック分割パターンと類似したブロック分割パターンをニューラルネットワークが出力する割合を、より高めることができる。

【0047】

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態では、ＣＰＵ１１は、同じ類似グループ（同じ類似度のグループ）に属すると決定したブロック分割パターンであっても、損失関数に重み付けをする重みを変更する。ただし、ＣＰＵ１１は、重みを変更しない場合もある。第３実施形態のコンピュータ１０の構成は、第１実施形態と同様である。第１実施形態と重複する部分については説明を省略する。

【0048】

図８は、第３実施形態において分割パターンが１区画異なる教師データと類似グループとの関係を示す図である。図８に示される類似グループ１に属する５つのブロック分割パターンのうちブロック分割パターン８ｂと他の４つのブロック分割パターン８ｃ～８ｆとの重みが異なる。同じ類似グループに属する複数のブロック分割パターンの全ての重みが異なっていてもよい。図８の例において、類似グループ１は、教師データのブロック分割パターンとニューラルネットワークが出力するブロック分割パターンとのパターンが１区画異なる。この場合、類似グループ１には５つのブロック分割パターン８ｂ～８ｆが属する。

【0049】

教師データのブロック分割パターン８ａおよび類似グループ１に属するブロック分割パターン８ｂ～８ｆは、縦横が６４画素である画像ブロックである。ここで、ブロック分割パターン８ｂ～８ｆは、教師データのブロック分割パターン２ａと１区画異なる点で共通している。一方、ブロック分割パターン８ｃ～８ｆは、教師データのブロック分割パターン２ａと縦横３２画素のブロックで異なっているが、ブロック分割パターン８ｂは、ブロック分割パターン８ａと縦横６４画素のブロックで異なる。つまり、教師データのブロック分割パターン２ａと相違しているブロックのブロックサイズが異なる。

【0050】

同じ類似グループに属するブロック分割パターンであっても、教師データのブロック分割パターン２ａと異なる区画のブロックのブロックサイズ、つまり分割の最小階層が異なる場合がある。そこで、ＣＰＵ１１は、類似グループ１に属する複数のブロック分割パターンを、ブロック分割パターン２ａと異なる区画のブロックのブロックサイズに応じて、異なる重みを用いて損失関数に重み付けを行う。図８の例において、ＣＰＵ１１は、ブロック分割パターン８ｂについては、損失関数に重み付けする重みｗ_１Ｌを定義し、ブロック分割パターン８ｃ～８ｆについては、損失関数に重み付けする重みｗ_１Ｓを定義する。重みｗ_１Ｌと重みｗ_１Ｓとの間には、以下の式（６）の関係が成立する。

【数6】

【0051】

また、重みｗ_１Ｌと重みｗ_１Ｓとの間には、以下の式（７）または式（８）の関係が成立してもよい。

【数7】

【数8】

【0052】

式（７）または式（８）の場合、ＣＰＵ１１が新たに１つの重みを定義することにより、同じ類似グループに属する複数のブロック分割パターンに対して異なる重みを定義することができる。

【0053】

第３実施形態において、ＣＰＵ１１は、教師データとの類似度に対応する類似グループに属する複数のブロック分割パターンについて、分割ブロックのブロックサイズに応じて、損失関数に重み付けする重みを異ならせる。これにより、同じ類似グループに属するブロック分割パターンであっても、符号化により圧縮された後に復号された画像の画質に影響することが想定されるブロック分割パターンについての損失関数に重み付けする重みを大きくできる。従って、ニューラルネットワークが、教師データに近いブロック分割パターンを出力する割合を高くすることができるとともに、符号化により圧縮された後に復号された画像の画質劣化を抑制することができる。

【0054】

ここで、ＨＥＶＣは、階層構造を採用しており、階層が深くなるに応じて、ブロックサイズが小さくなる。例えば、ＣＴＵにおいて、縦横が６４画素のブロックは最も深度の浅いブロックであり、縦横が８画素のブロックは最も深度が深いブロック（最小深度の分割ブロック）である。従って、ＣＰＵ１１は、教師データのブロック分割パターンの階層構造の深度とニューラルネットワークが出力したブロック分割パターンの階層構造の深度との差に応じて、類似度を決定してもよい。この場合、ＣＰＵ１１は、階層構造の深度の差が大きくなるに応じて、類似度が高くなるように決定し、深度の差が小さくなるに応じて、類似度が低くなるように決定する。

【0055】

また、上述した各実施形態では、ＣＰＵ１１は、教師データのブロック分割パターンとニューラルネットワークが出力するブロック分割パターンとで相違する区画数に応じて、類似度を決定する。このとき、ＣＰＵ１１は、上記の階層構造における深度の差を、上記の区画数よりも優先して、類似度を決定してもよいし、上記の区画数を上記の階層構造における深度の差よりも優先して、類似度を決定してもよい。

【0056】

また、上述した各実施形態では、動画像を構成する画像の符号化を行う際の分割パターンの決定について説明したが、各実施形態は、所定の画像を任意のパターンで分割する場合に、適用されてもよい。

【0057】

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0058】

１０ コンピュータ
１１ ＣＰＵ
１２ メモリ
１７ ＧＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】