特許 7152600 学習方法及び装置、プログラム、学習済みモデル並びにテキスト生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】学習方法及び装置、プログラム、学習済みモデル並びにテキスト生成装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221004BHJP

   G06N 20/00 20190101ALI20221004BHJP

【ＦＩ】

G06T7/00 350C

G06N20/00 130

【請求項の数】 14

(21)【出願番号】P 2021516031

(86)(22)【出願日】2020-04-15

(86)【国際出願番号】 JP2020016556

(87)【国際公開番号】W WO2020218111

(87)【国際公開日】2020-10-29

【審査請求日】2021-09-30

(31)【優先権主張番号】P 2019083057

(32)【優先日】2019-04-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】大関 誠

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】国際公開第２０１６／０３３７１０（ＷＯ，Ａ１）

【文献】原田 達也，機械学習の新展開，シミュレーション 第３４巻 第４号，日本，小宮山印刷工業株式会社，2015年

【文献】中村 玄貴，コンテキストアウェア敵対的生成ネットワークによる画像生成，第９回データ工学と情報マネジメントに関するフォーラム （第１５回日本データベース学会年次大会），日本，電子情報通信学会データ工学研究専門委員会 日本デー，2017年

【文献】牛久 祥孝，視覚・言語融合の最前線，映像情報メディア学会誌 第７２巻 第５号，日本，一般社団法人映像情報メディア学会，2018年

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｎ ２０／００ － ２０／２０

(57)【特許請求の範囲】

【請求項1】

画像から画像特徴量を抽出する特徴量抽出部と、前記画像特徴量に基づいて前記画像に関する推定テキストを生成するテキスト生成部と、前記推定テキスト又は正解テキストの入力を受け、入力されたテキストに対応する画像の統計量を推定して推定画像統計量を生成する統計量推定部と、を含む学習モデルを用いることと、
学習用の第１画像と、前記第１画像に対する前記正解テキストとしての第１テキストと、を組み合わせた複数の学習データの入力を受け付けることと、
前記特徴量抽出部に前記第１画像を入力して第１画像特徴量を取得することと、
前記テキスト生成部に前記第１画像特徴量を入力して第１推定テキストを取得することと、
前記第１推定テキストについて前記第１テキストとの第１誤差を計算することと、
前記統計量推定部に前記第１テキストを入力して第１推定画像統計量を取得することと、
前記第１推定画像統計量について前記第１画像から計算される第１画像統計量との第２誤差を計算することと、
前記統計量推定部に前記第１推定テキストを入力して第２推定画像統計量を取得することと、
前記第２推定画像統計量について前記第１画像統計量との第３誤差を計算することと、
前記第２誤差に基づいて前記統計量推定部のパラメータを更新することと、
前記第１誤差及び前記第３誤差に基づいて少なくとも前記テキスト生成部のパラメータを更新することと、
を含む学習方法。

【請求項2】

前記テキスト生成部は、前記画像特徴量と前記画像に関連付けされたユーザに関するメタデータとから前記推定テキストを生成するモジュールであり、
前記学習モデルは、さらに、
前記推定テキスト又は前記第１テキストの入力を受け、入力されたテキストに対応するユーザのメタデータを推定して推定メタデータを生成するメタデータ推定部を含み、
前記学習データは、さらに、前記第１画像に関連付けされた第１ユーザに関する第１メタデータを含み、
前記テキスト生成部に前記第１画像特徴量と前記第１メタデータとを入力することにより前記第１推定テキストが取得され、
さらに、
前記メタデータ推定部に前記第１テキストを入力して第１推定メタデータを取得することと、
前記第１推定メタデータについて前記第１メタデータとの第４誤差を計算することと、
前記第４誤差に基づいて前記メタデータ推定部のパラメータを更新することと、
前記メタデータ推定部に前記第１推定テキストを入力して第２推定メタデータを取得することと、
前記第２推定メタデータについて前記第１メタデータとの第５誤差を計算することと、
を含み、
前記第５誤差に基づいて少なくとも前記テキスト生成部のパラメータが更新される、
請求項１に記載の学習方法。

【請求項3】

前記第１ユーザは、前記画像の撮影者、創作者、投稿者、提供者、及び所有者のうち少なくとも１つに該当しており、
前記第１メタデータは、前記第１ユーザの属性を示す情報を含む、請求項２に記載の学習方法。

【請求項4】

前記第１テキストは、前記第１ユーザによって作成された文章を含む、請求項２又は３に記載の学習方法。

【請求項5】

前記第１画像は、前記第１ユーザによってソーシャルネットワーキングサービスに投稿された画像であり、
前記第１テキストは、前記第１ユーザによって前記ソーシャルネットワーキングサービスに投稿された文章であり、
前記第１メタデータは、前記ソーシャルネットワーキングサービスに登録されている前記第１ユーザのユーザ情報の少なくとも一部を含む、
請求項２から４のいずれか一項に記載の学習方法。

【請求項6】

前記第１画像は、前記第１ユーザが受信したメールを画像情報に変換した画像であり、
前記第１テキストは、前記第１ユーザが送信したメールの文章を含む、請求項２から５のいずれか一項に記載の学習方法。

【請求項7】

前記第１誤差に基づいて前記特徴量抽出部のパラメータを更新すること、
をさらに含む、請求項１から６のいずれか一項に記載の学習方法。

【請求項8】

前記学習モデルは、階層型ニューラルネットワークを用いて構成される請求項１から７のいずれか一項に記載の学習方法。

【請求項9】

請求項１から８のいずれか一項に記載の学習方法の処理をコンピュータに実行させるためのプログラム。

【請求項10】

請求項９に記載のプログラムが記録された非一時的かつコンピュータ読取可能な記録媒体。

【請求項11】

請求項１から８のいずれか一項に記載の学習方法を用いて学習された学習済みの前記テキスト生成部である学習済みモデル。

【請求項12】

請求項１から８のいずれか一項に記載の学習方法を用いて学習された学習済みの前記テキスト生成部と、
前記特徴量抽出部と、
を備えるテキスト生成装置。

【請求項13】

学習用の第１画像と、前記第１画像に対する正解テキストとしての第１テキストと、を組み合わせた複数の学習データの入力を受け付ける学習データ取得部と、
前記学習データによって訓練される学習モデルであって、
入力された画像から画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量に基づいて前記画像に関する推定テキストを生成するテキスト生成部と、
前記推定テキスト又は前記第１テキストの入力を受け、入力されたテキストに対応する画像の統計量を推定して推定画像統計量を生成する統計量推定部と、
を含む前記学習モデルと、
前記第１画像を前記特徴量抽出部に入力することにより前記特徴量抽出部から得られる第１画像特徴量を、前記テキスト生成部に入力することにより前記テキスト生成部から得られる第１推定テキストと前記第１テキストとの第１誤差を計算する第１誤差計算部と、
前記統計量推定部に前記第１テキストを入力することにより前記統計量推定部から得られる第１推定画像統計量と前記第１画像から計算される第１画像統計量との第２誤差を計算し、かつ、前記統計量推定部に前記第１推定テキストを入力することにより前記統計量推定部から得られる第２推定画像統計量と前記第１画像統計量との第３誤差を計算する第２誤差計算部と、
前記第１誤差及び前記第２誤差に基づいて前記テキスト生成部及び前記統計量推定部のパラメータを更新し、かつ、前記第３誤差に基づいて少なくとも前記テキスト生成部のパラメータを更新するパラメータ更新部と、
を備える学習装置。

【請求項14】

前記テキスト生成部は、前記画像特徴量と前記画像に関連付けされたユーザに関するメタデータとから前記推定テキストを生成するモジュールであり、
前記学習モデルは、さらに、
前記推定テキスト又は前記第１テキストの入力を受け、入力されたテキストに対応するユーザのメタデータを推定して推定メタデータを生成するメタデータ推定部を含み、
前記学習データは、さらに、前記第１画像に関連付けされた第１ユーザに関する第１メタデータを含み、
前記テキスト生成部に前記第１画像特徴量と前記第１メタデータとを入力することにより前記第１推定テキストが取得され、
さらに、
前記メタデータ推定部に前記第１テキストを入力することにより前記メタデータ推定部から得られる第１推定メタデータと前記第１メタデータとの第４誤差を計算し、かつ、前記メタデータ推定部に前記第１推定テキストを入力することにより前記メタデータ推定部から得られる第２推定メタデータと前記第１画像統計量との第５誤差を計算する第３誤差計算部を備え、
前記パラメータ更新部は、前記第４誤差に基づいて前記メタデータ推定部のパラメータを更新し、かつ、前記第５誤差に基づいて少なくとも前記テキスト生成部のパラメータを更新する、請求項１３に記載の学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習方法及び装置、プログラム、学習済みモデル並びにテキスト生成装置に係り、特に、画像に関連するテキストの生成を実現する機械学習技術、画像処理技術及び自然言語処理技術に関する。

【背景技術】

【0002】

画像から画像のキャプションを自動生成する技術として、非特許文献１に記載の技術が知られている。非特許文献１では画像から画像の特徴を抽出する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）と、抽出された画像特徴量を基に自然言語によるキャプションを生成する再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）と、を組み合わせた画像キャプション生成器が提案されている。なお、キャプションはテキストの概念に含まれる。

【0003】

非特許文献２には、従来の画像キャプションの自動生成技術について概括的にまとめられている。

【0004】

非特許文献３には、条件付き敵対的生成ネットワーク（Conditional ＧＡＮ：Conditional Generative Adversarial Network）を用い、学習の際に画像以外の入力を加えることで、１つのモデルから様々な文体を出力する研究が記載されている。

【先行技術文献】

【非特許文献】

【0005】

【文献】Oriol Vinyals, Alexander Toshev, Samy Bengio, Dumitru Erhan “Show and Tell: A Neural Image Caption Generator”, arXiv:1411.4555

【文献】牛久祥孝「画像キャプションの自動生成」［平成30年12月22日検索］、インターネット＜URL：https://www.slideshare.net/YoshitakaUshiku/ss-57148161＞

【文献】Bo Dai, Sanja Fidler, Raquel Urtasun, Dahua Lin “Towards Diverse and Natural Image Descriptions via a Conditional GAN”, arXiv:1703.06029

【発明の概要】

【発明が解決しようとする課題】

【0006】

画像に対応するテキストを自動生成するためのテキスト生成モデルを得るために、学習用の画像とその画像に対応する正解のテキストとのペアのデータを用いて機械学習を行うことが考えられる。しかし、画像に対するテキストの表現の自由度は大きく、従来の学習方法では、学習モデルのパラメータの収束が遅いこと、及び／又は、学習によって得られるテキスト生成モデルの推論の精度が不十分である、という課題がある。

【0007】

本発明はこのような事情に鑑みてなされたもので、画像からテキストを自動生成する処理に用いられるモデルの推論の精度を高めることができる学習方法及び装置、プログラム、学習済みモデル並びにテキスト生成装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様に係る学習方法は、画像から画像特徴量を抽出する特徴量抽出部と、画像特徴量に基づいて画像に関する推定テキストを生成するテキスト生成部と、推定テキスト又は正解テキストの入力を受け、入力されたテキストに対応する画像の統計量を推定して推定画像統計量を生成する統計量推定部と、を含む学習モデルを用いることと、学習用の第１画像と、第１画像に対する正解テキストとしての第１テキストと、を組み合わせた複数の学習データの入力を受け付けることと、特徴量抽出部に第１画像を入力して第１画像特徴量を取得することと、テキスト生成部に第１画像特徴量を入力して第１推定テキストを取得することと、第１推定テキストについて第１テキストとの第１誤差を計算することと、統計量推定部に第１テキストを入力して第１推定画像統計量を取得することと、第１推定画像統計量について第１画像から計算される第１画像統計量との第２誤差を計算することと、統計量推定部に第１推定テキストを入力して第２推定画像統計量を取得することと、第２推定画像統計量について第１画像統計量との第３誤差を計算することと、第２誤差に基づいて統計量推定部のパラメータを更新することと、第１誤差及び第３誤差に基づいて少なくともテキスト生成部のパラメータを更新することと、を含む学習方法である。

【0009】

本態様の学習方法は、テキスト生成部と統計量推定部とを組み合わせた学習モデルが用いられ、テキスト生成部と統計量推定部との学習が並行して行われる。本態様によれば、テキスト生成部の推定結果を基に統計量推定部により推定される第１推定画像統計量と正解の第１画像統計量との第３誤差を用いてテキスト生成部のパラメータを更新する仕組みが導入されており、自由度の高いテキストの生成に対して、画像統計量の制約が加味された学習が行われる。これにより、与えられた画像から精度の高いテキストを生成することが可能なモデルを得ることができる。

【0010】

第１誤差に基づくテキスト生成部のパラメータの更新タイミングと、第３誤差に基づくテキスト生成部のパラメータの更新タイミングとは、異なるタイミングであってもよいし、同時のタイミングであってもよい。また、テキスト生成部のパラメータを更新するタイミングと、統計量推定部のパラメータを更新するタイミングとは、異なるタイミングであってもよいし、同時のタイミングであってもよい。

【0011】

本開示の他の態様に係る学習方法において、テキスト生成部は、画像特徴量と画像に関連付けされたユーザに関するメタデータとから推定テキストを生成するモジュールであり、学習モデルは、さらに、推定テキスト又は正解テキストの入力を受け、入力されたテキストに対応するユーザのメタデータを推定して推定メタデータを生成するメタデータ推定部を含み、学習データは、さらに、第１画像に関連付けされた第１ユーザに関する第１メタデータを含み、テキスト生成部に第１画像特徴量と第１メタデータとを入力することにより第１推定テキストが取得され、さらに、メタデータ推定部に第１テキストを入力して第１推定メタデータを取得することと、第１推定メタデータについて第１メタデータとの第４誤差を計算することと、第４誤差に基づいてメタデータ推定部のパラメータを更新することと、メタデータ推定部に第１推定テキストを入力して第２推定メタデータを取得することと、第２推定メタデータについて第１メタデータとの第５誤差を計算することと、を含み、第５誤差に基づいて少なくともテキスト生成部のパラメータが更新される構成とすることができる。

【0012】

この態様によれば、ユーザの属性に基づいて生成するテキストの文体を変化させ、ユーザの意図に近いテキストを生成することが可能になる。

【0013】

本開示のさらに他の態様に係る学習方法において、第１ユーザは、画像の撮影者、創作者、投稿者、提供者、及び所有者のうち少なくとも１つに該当しており、第１メタデータは、第１ユーザの属性を示す情報を含む構成とすることができる。

【0014】

本開示のさらに他の態様に係る学習方法において、第１テキストは、第１ユーザによって作成された文章を含む構成とすることができる。

【0015】

本開示のさらに他の態様に係る学習方法において、第１画像は、第１ユーザによってソーシャルネットワーキングサービスに投稿された画像であり、第１テキストは、第１ユーザによってソーシャルネットワーキングサービスに投稿された文章であり、第１メタデータは、ソーシャルネットワーキングサービスに登録されている第１ユーザのユーザ情報の少なくとも一部を含む構成とすることができる。

【0016】

本開示のさらに他の態様に係る学習方法において、第１画像は、第１ユーザが受信したメールを画像情報に変換した画像であり、第１テキストは、第１ユーザが送信したメールの文章を含む構成とすることができる。

【0017】

本開示のさらに他の態様に係る学習方法において、第１誤差に基づいて特徴量抽出部のパラメータを更新すること、をさらに含む構成とすることができる。

【0018】

本開示のさらに他の態様に係る学習方法において、学習モデルは、階層型ニューラルネットワークを用いて構成される構成とすることができる。

【0019】

本開示のさらに他の態様に係るプログラムは、本開示のいずれか一態様に係る学習方法の処理をコンピュータに実行させるためのプログラムである。

【0020】

本開示のさらに他の態様に係る学習済みモデルは、本開示のいずれか一態様に係る学習方法を用いて学習された学習済みのテキスト生成部である。

【0021】

本開示のさらに他の態様に係るテキスト生成装置は、本開示のいずれか一態様に係る学習方法を用いて学習された学習済みのテキスト生成部と、特徴量抽出部と、を備えるテキスト生成装置である。

【0022】

本開示のさらに他の態様に係る学習装置は、学習用の第１画像と、第１画像に対する正解テキストとしての第１テキストと、を組み合わせた複数の学習データの入力を受け付ける学習データ取得部と、学習データによって訓練される学習モデルであって、入力された画像から画像特徴量を抽出する特徴量抽出部と、画像特徴量に基づいて画像に関する推定テキストを生成するテキスト生成部と、推定テキスト又は第１テキストの入力を受け、入力されたテキストに対応する画像の統計量を推定して推定画像統計量を生成する統計量推定部と、を含む学習モデルと、第１画像を特徴量抽出部に入力することにより特徴量抽出部から得られる第１画像特徴量を、テキスト生成部に入力することによりテキスト生成部から得られる第１推定テキストと第１テキストとの第１誤差を計算する第１誤差計算部と、統計量推定部に第１テキストを入力することにより統計量推定部から得られる第１推定画像統計量と第１画像から計算される第１画像統計量との第２誤差を計算し、かつ、統計量推定部に第１推定テキストを入力することにより統計量推定部から得られる第２推定画像統計量と第１画像統計量との第３誤差を計算する第２誤差計算部と、第１誤差及び第２誤差に基づいてテキスト生成部及び統計量推定部のパラメータを更新し、かつ、第３誤差に基づいて少なくともテキスト生成部のパラメータを更新するパラメータ更新部と、を備える学習装置である。

【0023】

パラメータ更新部による、テキスト生成部及び統計量推定部のそれぞれのパラメータの更新タイミングは異なるタイミングであってもよいし、同時のタイミングであってもよい。パラメータ更新部は、第１誤差及び第３誤差に基づいてテキスト生成部のパラメータを更新し、かつ、第２誤差に基づいて統計量推定部のパラメータを更新してよい。パラメータ更新部は、第３誤差に基づいて統計量推定部のパラメータを更新してもよい。

【0024】

本開示のさらに他の態様に係る学習装置において、テキスト生成部は、画像特徴量と画像に関連付けされたユーザに関するメタデータとから推定テキストを生成するモジュールであり、学習モデルは、さらに、推定テキスト又は第１テキストの入力を受け、入力されたテキストに対応するユーザのメタデータを推定して推定メタデータを生成するメタデータ推定部を含み、学習データは、さらに、第１画像に関連付けされた第１ユーザに関する第１メタデータを含み、テキスト生成部に第１画像特徴量と第１メタデータとを入力することにより第１推定テキストが取得され、さらに、メタデータ推定部に第１テキストを入力することによりメタデータ推定部から得られる第１推定メタデータと第１メタデータとの第４誤差を計算し、かつ、メタデータ推定部に第１推定テキストを入力することによりメタデータ推定部から得られる第２推定メタデータと第１画像統計量との第５誤差を計算する第３誤差計算部を備え、パラメータ更新部は、第４誤差に基づいてメタデータ推定部のパラメータを更新し、かつ、第５誤差に基づいて少なくともテキスト生成部のパラメータを更新する構成であってよい。

【0025】

本開示の他の態様に係る学習装置は、少なくとも１つのプロセッサと、プロセッサに実行させるための命令が記憶された非一時的なコンピュータ可読媒体と、を備え、プロセッサは、命令を実行することにより、画像から画像特徴量を抽出する特徴量抽出部と、画像特徴量に基づいて画像に関する推定テキストを生成するテキスト生成部と、推定テキスト又は正解テキストの入力を受け、入力されたテキストに対応する画像の統計量を推定して推定画像統計量を生成する統計量推定部と、を含む学習モデルとして機能し、学習用の第１画像と、第１画像に対する正解テキストとしての第１テキストと、を組み合わせた複数の学習データの入力を受け付けることと、第１画像を特徴量抽出部に入力することにより特徴量抽出部から得られる第１画像特徴量を、テキスト生成部に入力することによりテキスト生成部から得られる第１推定テキストと第１テキストとの第１誤差を計算することと、統計量推定部に第１テキストを入力することにより統計量推定部から得られる第１推定画像統計量と第１画像から計算される第１画像統計量との第２誤差を計算し、かつ、統計量推定部に第１推定テキストを入力することにより統計量推定部から得られる第２推定画像統計量と第１画像統計量との第３誤差を計算することと、第１誤差及び第２誤差に基づいてテキスト生成部及び統計量推定部のパラメータを更新し、かつ、第３誤差に基づいて少なくともテキスト生成部のパラメータを更新することを、を含む処理を行う学習装置である。

【発明の効果】

【0026】

本発明によれば、画像に対応するテキストを精度よく生成することが可能になる。

【図面の簡単な説明】

【0027】

【図1】図１は、第１実施形態に係るキャプション生成装置の例を示す機能ブロック図である。

【図2】図２は、第１実施形態に係る学習装置の構成例を示す機能ブロック図である。

【図3】図３は、学習装置の特徴量抽出部、テキスト生成部、統計量推定部及び統計量計算部の各モジュールに入力されるデータと各モジュールから出力されるデータとを概略的に示すブロック図である。

【図4】図４は、第１実施形態に係る学習方法の手順を例示的に示すフローチャートである。

【図5】図５は、第１実施形態に係る学習方法の手順を例示的に示すフローチャートである。

【図6】図６は、学習装置の第１誤差計算部によって計算される第１誤差に基づいてテキスト生成部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図7】図７は、学習装置の第２誤差計算部によって計算される第２誤差に基づいて統計量推定部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図8】図８は、学習装置の第２誤差計算部によって計算される第３誤差に基づいてテキスト生成部及び統計量推定部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図9】図９は、第２実施形態に係るキャプション生成装置の例を示す機能ブロック図である。

【図10】図１０は、第２実施形態に係る学習装置の構成例を示す機能ブロック図である。

【図11】図１１は、学習装置の特徴量抽出部、テキスト生成部、メタデータ推定部、統計量推定部及び統計量計算部の各モジュールに入力されるデータと各モジュールから出力されるデータとを概略的に示すブロック図である。

【図12】図１２は、第２実施形態に係る学習方法の手順を例示的に示すフローチャートである。

【図13】図１３は、第２実施形態に係る学習方法の手順を例示的に示すフローチャートである。

【図14】図１４は、学習装置の第１誤差計算部によって計算される第１誤差に基づいてテキスト生成部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図15】図１５は、学習装置の第３誤差計算部によって計算される第４誤差に基づいてメタデータ推定部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図16】図１６は、学習装置の第２誤差計算部によって計算される第２誤差に基づいて統計量推定部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図17】図１７は、学習装置の第３誤差計算部によって計算される第５誤差に基づいてテキスト生成部及びメタデータ推定部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図18】図１８は、学習装置の第２誤差計算部によって計算される第３誤差に基づいてテキスト生成部及び統計量推定部のパラメータを更新する処理の様子を模式的に示すブロック図である。

【図19】図１９は、応用例１に係るキャプション生成機能を実現するコンピュータシステムの全体構成の例を示すブロック図である。

【図20】図２０は、データ保管部に保管されているデータの概念図である。

【図21】図２１は、コンピュータのハードウェア構成の例を示すブロック図である。

【発明を実施するための形態】

【0028】

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

【0029】

《第１実施形態に係るテキスト生成装置の概要》
図１は、本発明の第１実施形態に係るキャプション生成装置の例を示す機能ブロック図である。キャプション生成装置１０は、画像ＩＭＧを入力として、入力された画像ＩＭＧに関する推定テキストＰＴＸを生成して出力する。画像ＩＭＧは、例えば、撮像デバイスを用いて撮影されたデジタル写真画像であってもよいし、スキャナを用いて読み込まれた読取画像であってもよいし、スクリーンショットのようなキャプチャ画像であってもよいし、あるいは作画ツールなどを用いて作成されたイラストなどであってもよい。

【0030】

推定テキストＰＴＸは、画像ＩＭＧのコンテンツに応じたキャプションであり、自然言語の表現による文字情報である。「テキスト」という用語は「キャプション」の概念を含む。本明細書でいう「テキスト」あるいは「キャプション」という用語は、意味のまとまりを伝える複数の単語の配列を含み、文、文章、句、若しくは、節の概念を含む。テキストに使用する文字には、記号、顔文字及び絵文字が含まれてもよい。本明細書では「生成する」という用語は「推定する」という用語の概念を含む。

【0031】

キャプション生成装置１０は、画像取得部１２と、特徴量抽出部１６と、テキスト生成部１８と、を含む。キャプション生成装置１０は、１台又は複数台のコンピュータを含むコンピュータシステムによって実現することができる。すなわち、画像取得部１２、特徴量抽出部１６、及びテキスト生成部１８の機能は、コンピュータのハードウェアとソフトウェアの組み合わせによって実現できる。ソフトウェアは「プログラム」と同義である。

【0032】

画像取得部１２は、画像ＩＭＧのデータを取り込むためのインターフェースである。画像取得部１２は、外部又は装置内の他の信号処理部から画像ＩＭＧのデータを取り込むデータ入力端子で構成されてよい。メタデータ取得部１４は、メタデータＭＴＤのデータを取り込むためのインターフェースである。メタデータ取得部１４は、外部又は装置内の他の信号処理部からメタデータＭＴＤを取り込むデータ入力端子で構成されてよい。

【0033】

また、画像取得部１２には、有線又は無線の通信インターフェース部を採用してもよいし、メモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース部を採用してもよく、若しくは、これら態様の適宜の組み合わせであってもよい。

【0034】

画像取得部１２を介して入力された画像ＩＭＧは特徴量抽出部１６に送られる。特徴量抽出部１６は、入力された画像ＩＭＧから画像特徴量を抽出して出力する。特徴量抽出部１６は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）に代表される階層型ニューラルネットワークを用いた学習済みモデルであってよい。特徴量抽出部１６は、画像分類のタスクなどに利用されるＣＮＮのエンコーダに相当するネットワーク部分を利用したものであってよい。

【0035】

「ニューラルネットワーク」とは、脳神経系の仕組みを模擬した情報処理の数理モデルである。ニューラルネットワークを用いた処理は、コンピュータを用いて実現することができる。ニューラルネットワークを含む処理部は、プログラムモジュールとして構成され得る。本明細書においてニューラルネットワークを単に「ネットワーク」と表記する場合がある。

【0036】

特徴量抽出部１６から出力された画像特徴量はテキスト生成部１８に送られる。

【0037】

テキスト生成部１８は、与えられた画像特徴量を基に、推定テキストＰＴＸを生成する。テキスト生成部１８は、階層型ニューラルネットワークを含む学習モデルによって構成されており、後述の学習方法を用いた機械学習によって画像からテキストを生成する機能が獲得される。キャプション生成装置１０は本開示における「テキスト生成装置」の一例である。

【0038】

《学習装置の構成例１》
次に、テキスト生成部１８の推定機能を高めるための学習方法について説明する。

【0039】

図２は、第１実施形態に係る学習装置２０の構成例を示す機能ブロック図である。学習装置２０は、学習データ保管部６０と接続される。学習データ保管部６０は、学習装置２０が機械学習を行うために必要な学習データＬＤｉを保管しておくストレージを含んで構成される。「学習データ」とは、機械学習に用いる訓練用のデータであり、「学習用データ」或いは「訓練データ」と同義である。

【0040】

本実施形態の機械学習においては、画像Ｉｉと、画像Ｉｉを説明するテキストＴｉと、の組み合わせである学習データＬＤｉ＝（Ｉｉ，Ｔｉ）を多数使用する。ｉは学習データを識別するインデックス番号であり、例えば、用意される学習データの総数がＮである場合、ｉは０以上Ｎ－１以下の整数であってよい。例えば、ｉ＝０からｉ＝ｎまでのｎ＋１セットの学習データの集合は、次のように表記される。

【0041】

｛（Ｉ０，Ｔ０），（Ｉ１，Ｔ１），・・・（Ｉｉ，Ｔｉ），・・・（Ｉｎ，Ｔｎ）｝
なお、ミニバッチ処理を行う場合、ミニバッチの学習データ数をｍとすると、Ｎ組の中からｍ組の学習データが選択されることになる。

【0042】

学習データ保管部６０及び学習装置２０の機能は、コンピュータのハードウェアとソフトウェアの組み合わせによって実現できる。ここでは、学習データ保管部６０と学習装置２０とがそれぞれ別々の装置として構成される例を説明するが、これらの機能は１台のコンピュータで実現してもよいし、２以上の複数台のコンピュータで処理の機能を分担して実現してもよい。

【0043】

例えば、学習データ保管部６０と学習装置２０とは、図示しない電気通信回線を介して互いに接続されていてもよい。「接続」という用語は、有線接続に限らず、無線接続の概念も含む。電気通信回線は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよい。

【0044】

このように構成することで、学習データの生成と生成モデルの学習とを物理的にも時間的にも互いに束縛されることなく実施することができる。

【0045】

学習装置２０は、学習データ保管部６０から学習データＬＤｉを読み込み、機械学習を実行する。学習装置２０は、複数の学習データＬＤｉをまとめたミニバッチの単位で学習データＬＤｉの読み込みとパラメータの更新を行うことができる。図２においては、説明を簡単にするために１組の学習データＬＤｉ＝（Ｉｉ，Ｔｉ）の処理の流れを示すが、ミニバッチ学習を行う場合、ミニバッチに含まれる複数組の（例えばｍ組の）学習データが一括して処理される。

【0046】

学習装置２０は、データ取得部２２と、特徴量抽出部２６と、テキスト生成部２８と、統計量推定部３２と、統計量計算部３４と、第１誤差計算部４１と、第２誤差計算部４２と、オプティマイザ４６と、を含む。

【0047】

データ取得部２２は、学習データＬＤｉを取り込むためのインターフェースである。データ取得部２２は、図１の画像取得部１２と同様の構成であってよい。すなわち、データ取得部２２は、外部又は装置内の他の信号処理部から学習データＬＤｉを取り込むデータ入力端子で構成されてよい。また、データ取得部２２には、有線又は無線の通信インターフェース部を採用してもよいし、メモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース部を採用してもよく、若しくは、これら態様の適宜の組み合わせであってもよい。

【0048】

特徴量抽出部２６は、入力された画像Ｉｉから画像特徴量Ｆｉを計算する。特徴量抽出部２６は、図１の特徴量抽出部１６と同様の構成である。特徴量抽出部２６によって計算された画像特徴量Ｆｉは、多次元のベクトルで表される。例えば、画像特徴量Ｆｉは５１２次元のベクトルで表されてよい。特徴量抽出部２６によって計算された画像特徴量Ｆｉはテキスト生成部２８に送られる。

【0049】

テキスト生成部２８は、図１のテキスト生成部１８と同様の階層型ニューラルネットワークを含むモデルによって構成される。テキスト生成部２８は、与えられた画像特徴量Ｆｉを基に、推定テキストＴ＾ｉを生成する。テキスト生成部２８から出力された推定テキストＴ＾ｉは第１誤差計算部４１に送られる。また、テキスト生成部２８から出力された推定テキストＴ＾ｉは統計量推定部３２に送られる。

【0050】

第１誤差計算部４１は、テキスト生成部２８によって生成された推定テキストＴ＾ｉに対して、教師データであるテキストＴｉとの誤差を計算する。第１誤差計算部４１は、損失関数を用いて誤差を評価する。推定テキストＴ＾ｉと正解テキストとしてのテキストＴｉとの誤差を第１誤差Ｅｒ１という。第１誤差計算部４１によって計算された第１誤差Ｅｒ１はオプティマイザ４６に送られる。

【0051】

統計量推定部３２は、与えられたテキストから、このテキストに対応する画像の画像統計量を推定して推定画像統計量を出力する。画像統計量とは、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の色成分の平均値、若しくは色の分布、カラーヒストグラムなどのように、画像のデータから統計的な計算によって求めることができる統計量である。画像統計量は、画像全体の雰囲気を評価する指標として用いられる。統計量推定部３２は、データ取得部２２を介して入力されたテキストＴｉが与えられると、このテキストＴｉからテキストＴｉに対応する画像の推定画像統計量ＩＳ＾ｉを生成する。統計量推定部３２から出力された推定画像統計量ＩＳ＾ｉは第２誤差計算部４２に送られる。

【0052】

統計量計算部３４は、データ取得部２２を介して入力された画像Ｉｉから、この画像Ｉｉの実際の画像統計量ＩＳｉを計算する。統計量計算部３４から出力された画像統計量ＩＳｉは第２誤差計算部４２に送られる。

【0053】

第２誤差計算部４２は、統計量推定部３２によって生成された推定画像統計量ＩＳ＾ｉに対して、教師データに相当する画像統計量ＩＳｉとの誤差を計算する。第２誤差計算部４２は、損失関数を用いて誤差を評価する。推定画像統計量ＩＳ＾ｉと正解としての画像統計量ＩＳｉとの誤差を第２誤差Ｅｒ２という。第２誤差計算部４２によって算出された第２誤差Ｅｒ２はオプティマイザ４６に送られる。

【0054】

オプティマイザ４６は、第１誤差計算部４１、及び第２誤差計算部４２の各々の計算結果からテキスト生成部２８及び統計量推定部３２のそれぞれのネットワークのパラメータを更新する処理を行う。ネットワークのパラメータは、各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）及びノードのバイアスなどを含む。

【0055】

オプティマイザ４６は、第１誤差計算部４１及び第２誤差計算部４２の各々から得られる誤差の計算結果を用いて、テキスト生成部２８及び統計量推定部３２のそれぞれのネットワークのパラメータの更新量を計算するパラメータ演算処理と、計算されたパラメータの更新量に従い、テキスト生成部２８及び統計量推定部３２のそれぞれのネットワークのパラメータを更新するパラメータ更新処理と、を行う。オプティマイザ４６は、勾配降下法に代表される誤差逆伝播法などのアルゴリズムに基づきパラメータの更新を行う。

【0056】

さらに、この学習装置２０では、テキスト生成部２８が生成した推定テキストＴ＾ｉを統計量推定部３２に入力して、上記と同様の学習を行う。すなわち、テキスト生成部２８によって生成した推定テキストＴ＾ｉは統計量推定部３２に入力される。

【0057】

統計量推定部３２は、与えられた推定テキストＴ＾ｉから、この推定テキストＴ＾ｉに対応する画像の推定画像統計量ＩＳ＾＾ｉを生成する。統計量推定部３２から出力された推定画像統計量ＩＳ＾＾ｉは第２誤差計算部４２に送られる。

【0058】

第２誤差計算部４２は、統計量推定部３２によって生成された推定画像統計量ＩＳ＾＾ｉに対して、教師データとしての画像統計量ＩＳｉとの誤差を計算する。推定画像統計量ＩＳ＾＾ｉと正解としての画像統計量ＩＳｉとの誤差を第３誤差Ｅｒ３という。第２誤差計算部４２によって算出された第３誤差Ｅｒ３はオプティマイザ４６に送られる。

【0059】

オプティマイザ４６は、第２誤差計算部４２から得られる第３誤差Ｅｒ３を用いて、テキスト生成部２８及び統計量推定部３２のそれぞれのネットワークのパラメータを更新する。なお、オプティマイザ４６は、第３誤差Ｅｒ３から少なくともテキスト生成部２８のパラメータの更新量を計算してテキスト生成部２８のパラメータを更新すればよく、統計量推定部３２のパラメータは、第３誤差Ｅｒ３を基に更新しない態様も可能である。

【0060】

テキスト生成部２８及び統計量推定部３２のパラメータを更新するタイミングは特に限定されない。テキスト生成部２８のパラメータの更新タイミングと、統計量推定部３２のパラメータの更新タイミングとは、異なるタイミングであってもよいし、同時のタイミングであってもよい。

【0061】

また、第１誤差から計算されるテキスト生成部２８のパラメータ更新量に基づくテキスト生成部２８のパラメータ更新のタイミングと、第３誤差から計算されるテキスト生成部２８のパラメータ更新量に基づくテキスト生成部２８のパラメータ更新のタイミングとは、異なるタイミングであってもよいし、同時のタイミングであってもよい。例えば、オプティマイザ４６は、第１誤差から計算されるテキスト生成部２８のパラメータ更新量と、第３誤差から計算されるテキスト生成部２８のパラメータ更新量とをマージして、このマージしたパラメータ更新量に従ってテキスト生成部２８のパラメータの更新処理を実施してもよい。

【0062】

図３は、学習装置２０における特徴量抽出部２６、テキスト生成部２８、統計量推定部３２及び統計量計算部３４の各モジュールに入力されるデータと各モジュールから出力されるデータとを概略的に示すブロック図である。テキスト生成部２８から出力される推定テキストＴ＾ｉと正解のテキストＴｉとに基づいて第１誤差Ｅｒ１が計算される。統計量推定部３２には、テキストＴｉ又は推定テキストＴ＾ｉが選択的に入力される。統計量推定部３２は、テキストＴｉの入力を受けて推定画像統計量ＩＳ＾ｉを出力する。統計量推定部３２から出力される推定画像統計量ＩＳ＾ｉと正解の画像統計量ＩＳｉとに基づいて第２誤差Ｅｒ２が計算される。

【0063】

また、統計量推定部３２は、推定テキストＴ＾ｉの入力を受けて推定画像統計量ＩＳ＾＾ｉを出力する。統計量推定部３２から出力される推定画像統計量ＩＳ＾＾ｉと正解の画像統計量ＩＳｉとに基づいて第３誤差Ｅｒ３が計算される。

【0064】

データ取得部２２は本開示における「学習データ取得部」の一例である。画像Ｉｉは本開示における「学習用の第１画像」の一例である。テキストＴｉは本開示における「第１テキスト」の一例である。特徴量抽出部２６、テキスト生成部２８、統計量推定部３２の組み合わせは本開示における「学習モデル」の一例である。画像特徴量Ｆｉは本開示における「第１画像特徴量」の一例である。推定テキストＴ＾ｉは本開示における「第１推定テキスト」の一例である。画像統計量ＩＳｉは本開示における「第１画像統計量」の一例である。推定画像統計量ＩＳ＾ｉは本開示における「第１推定画像統計量」の一例である。推定テキストＴ＾ｉから推定される推定画像統計量ＩＳ＾＾ｉは本開示における「第２推定画像統計量」の一例である。オプティマイザ４６は本開示における「パラメータ更新部」の一例である。

【0065】

《学習装置２０を用いた学習方法の例》
図４及び図５は、本発明の実施形態に係る学習方法の手順を例示的に示すフローチャートである。図４及び図５に示すフローチャートのステップの一部又は全部は、学習装置２０として機能するプロセッサによって実行される。

【0066】

まず、ステップＳ１において、学習データセットを用意する。すなわち、画像ＩｉとテキストＴｉとの組み合わせを複数組み用意する。学習データセットを生成する機能は、学習装置２０に組み込まれていてもよいし、学習装置２０とは別の装置に組み込まれていてもよい。

【0067】

ステップＳ１は、学習装置２０が学習データを読み込み可能な状態に学習データをあらかじめ準備することを含む。また、ステップＳ１は、学習データを必要に応じて随時生成することを含む。学習装置２０は、ステップＳ１にて用意された学習データを読み込む。学習装置２０は、複数の学習データを含むミニバッチの単位で学習データを取得することができる。

【0068】

ステップＳ２において、学習装置２０は特徴量抽出部２６に画像Ｉｉを入力し、画像特徴量Ｆｉを取得する。

【0069】

ステップＳ３において、学習装置２０はテキスト生成部２８に画像特徴量Ｆｉを入力し、推定テキストＴ＾ｉを取得する。

【0070】

ステップＳ４において、第１誤差計算部４１は推定テキストＴ＾ｉに対して、テキストＴｉとの誤差（第１誤差Ｅｒ１）を計算する。

【0071】

ステップＳ７において、学習装置２０は統計量推定部３２にテキストＴｉを入力し、推定画像統計量ＩＳ＾ｉを取得する。

【0072】

ステップＳ８において、第２誤差計算部４２は推定画像統計量ＩＳ＾ｉと画像Ｉｉから計算できる画像統計量ＩＳｉとの誤差（第２誤差Ｅｒ２）を計算する。統計量計算部３４は、ステップＳ８以前の適宜のタイミングで画像Ｉｉから画像統計量ＩＳｉを計算する。

【0073】

ステップＳ９において、オプティマイザ４６はステップＳ４及びＳ８で計算された誤差に基づいて、テキスト生成部２８及び統計量推定部３２のパラメータを更新する。パラメータの更新処理はミニバッチの単位で実施される。

【0074】

ステップＳ９の後、上述のステップＳ７からＳ９の各入力として、テキスト生成部２８が推定した推定テキストＴ＾ｉを使用し、同様の処理を行う。

【0075】

すなわち、図５のステップＳ１７において、学習装置２０は統計量推定部３２に推定テキストＴ＾ｉを入力し、推定画像統計量ＩＳ＾＾ｉを取得する。

【0076】

ステップＳ１８において、第２誤差計算部４２は推定画像統計量ＩＳ＾＾ｉと画像Ｉｉから計算できる画像統計量ＩＳｉとの誤差（第３誤差Ｅｒ３）を計算する。

【0077】

ステップＳ１９において、オプティマイザ４６はステップＳ１８で計算された誤差に基づいて、テキスト生成部２８、及び統計量推定部３２のパラメータを更新する。なお、オプティマイザ４６は、ステップＳ１８で計算された第３誤差Ｅｒ３を用いて少なくともテキスト生成部２８のパラメータを更新すればよい。例えば、ステップＳ１９の際に、オプティマイザ４６は統計量推定部３２のパラメータを固定して更新の対象から除外し、テキスト生成部２８に限りパラメータを更新してもよい。また、オプティマイザ４６は、ステップＳ１９において、ステップＳ４で計算された第１誤差Ｅｒ１とステップＳ１８で計算された第３誤差Ｅｒ３に基づきテキスト生成部２８のパラメータを更新してもよい。

【0078】

ステップＳ２０において、学習装置２０は学習を終了するか否かの判別を行う。学習終了条件は、誤差の値に基づいて定められていてもよいし、パラメータの更新回数に基づいて定められていてもよい。誤差の値に基づく方法としては、例えば、誤差が規定の範囲内に収束していることを学習終了条件としてよい。更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。

【0079】

ステップＳ２０の判定結果がＮｏ判定である場合、学習装置２０はステップＳ１に戻り、学習終了条件を満たすまで、学習の処理を繰り返す。

【0080】

ステップＳ２０の判定結果がＹｅｓ判定である場合、学習装置２０は図４及び図５に示すフローチャートを終了する。

【0081】

こうして得られた学習済みのテキスト生成部２８の部分を、キャプション生成装置１０のテキスト生成部１８として適用する。学習済みのテキスト生成部２８は本開示における「学習済みモデル」の一例である。学習済みのテキスト生成部２８のモジュールを学習装置２０とは別装置のキャプション生成装置１０のテキスト生成部１８として実装してもよいし、学習装置２０をそのままキャプション生成装置１０として利用することも可能である。すなわち、学習装置２０を構成している特徴量抽出部２６及びテキスト生成部２８の部分をそのままキャプション生成装置１０として利用する形態も可能である。

【0082】

なお、本実施形態では、特徴量抽出部２６については学習の対象としていないが、特徴量抽出部２６のパラメータも学習の対象に加えてもよい。この場合、特徴量抽出部２６及びテキスト生成部２８の各ネットワークのパラメータを学習によって更新し、学習済みの特徴量抽出部２６及びテキスト生成部２８を、キャプション生成装置１０の特徴量抽出部１６及びテキスト生成部１８として利用する。

【0083】

図４及び図５のフローチャートに示すステップの順番は、技術的矛盾の無い範囲で適宜変更可能であり、複数のステップが同時に実行される場合もありうる。また、テキスト生成部２８及び統計量推定部３２のそれぞれのパラメータの更新タイミング及び更新頻度についても図４及び図５の例に限定されない。

【0084】

《学習モデルのパラメータ更新処理の例》
図６は、第１誤差計算部４１によって計算される第１誤差Ｅｒ１に基づいてテキスト生成部２８のパラメータを更新する処理の様子を模式的に示すブロック図である。図６は、図４のステップＳ２～Ｓ４及びステップＳ９の動作によってテキスト生成部２８のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。

【0085】

図７は、第２誤差計算部４２によって計算される第２誤差Ｅｒ２に基づいて統計量推定部３２のパラメータを更新する処理の様子を模式的に示すブロック図である。図７は、図４のステップＳ７～Ｓ９の動作によって統計量推定部３２のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。

【0086】

図８は、第２誤差計算部４２によって計算される第３誤差Ｅｒ３に基づいてテキスト生成部２８及び統計量推定部３２のパラメータを更新する処理の様子を模式的に示すブロック図である。図８は、図５のステップＳ１７～Ｓ１９の動作によってテキスト生成部２８及び統計量推定部３２のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。

【0087】

図６から図８の各図において破線で示す矢印は、誤差逆伝播法によるパラメータの更新処理のデータの流れ方向を表している。また、図６から図８の各図においてグレーの塗りつぶしにより表示されるブロックは、破線の矢印で示す逆伝播経路のパラメータの更新処理の際に直接的に関与しない要素、つまり非使用となる要素（以下、非アクティブの要素という。）を表している。

【0088】

図６に示す処理を実行する場合、統計量計算部３４、統計量推定部３２、及び第２誤差計算部４２は非アクティブとなる。オプティマイザ４６は、第１誤差Ｅｒ１を基に計算されるテキスト生成部２８のパラメータの更新量に基づきテキスト生成部２８のパラメータを更新する。なお、オプティマイザ４６は、テキスト生成部２８に加えて特徴量抽出部２６のパラメータを更新してもよい。この場合、オプティマイザ４６は第１誤差Ｅｒ１を基に計算されるテキスト生成部２８及び特徴量抽出部２６のそれぞれのパラメータの更新量に基づきテキスト生成部２８及び特徴量抽出部２６のパラメータを更新する。

【0089】

図７に示す処理を実行する場合、オプティマイザ４６は、第２誤差Ｅｒ２を基に計算される統計量推定部３２のパラメータの更新量に基づき統計量推定部３２のパラメータを更新する。

【0090】

図８に示す処理を実行する場合、オプティマイザ４６は、第３誤差Ｅｒ３を基に計算される統計量推定部３２及びテキスト生成部２８のそれぞれのパラメータの更新量に基づき、統計量推定部３２及びテキスト生成部２８のそれぞれのパラメータを更新する。第３誤差Ｅｒ３に基づくパラメータの更新に関して、図６と同様に、オプティマイザ４６は、特徴量抽出部２６のパラメータを更新してもよい。この場合、オプティマイザ４６は第３誤差Ｅｒ３を基に計算される統計量推定部３２、テキスト生成部２８及び特徴量抽出部２６のそれぞれのパラメータの更新量に基づき統計量推定部３２、テキスト生成部２８及び特徴量抽出部２６のパラメータを更新する。

【0091】

あるいはまた、オプティマイザ４６は、図８に示す統計量推定部３２についてパラメータを更新しない態様も可能である。

【0092】

テキスト生成部２８は、図６に示す第１誤差Ｅｒ１と図８に示す第３誤差Ｅｒ３とに基づいてパラメータの更新が行われるため、第１誤差Ｅｒ１のみに基づいてパラメータの更新を行う場合と比較して、効率よく学習を行うことができ、より正確なテキスト生成を実現できる。

【0093】

第３誤差Ｅｒ３は、テキスト生成部２８によって生成された推定テキストの妥当性あるいは正確性を評価する値となりうる。画像からテキストを推定するタスクは、テキストの自由度が大きく、第１誤差Ｅｒ１のみを用いる学習方法では学習が収束しにくい。

【0094】

この点、第１実施形態に係る学習方法では、テキスト生成部２８に統計量推定部３２を組み合わせた学習モデルを採用しており、テキスト生成部２８によって生成された推定テキストを統計量推定部３２の入力として用い、統計量推定部３２から得られる推定画像統計量について正解の画像統計量との誤差を評価して、テキスト生成部２８の学習に利用している。第１実施形態によれば、統計量推定部３２とテキスト生成部２８のそれぞれの学習が進むことで、テキスト生成部２８は、より正確な推定テキストを出力する機能を獲得する。

【0095】

なお、統計量推定部３２を用いる代わりに、テキストの入力を受けて画像を出力する画像生成モデルを採用するという考え方もあり得るが、テキストから画像を生成するというタスクは、画像からテキストを生成するタスクに比べてさらに複雑困難なタスクである。したがって、画像からテキストを生成する処理に用いるテキスト生成モデルを作成することを主眼とする学習モデルに、そのような複雑困難な処理を行うモデルを組み合わせる合理性に乏しい。

【0096】

この点、第１実施形態ではテキストから「画像」を推定する代わりに、より簡易な情報としての「画像統計量」を用い、推定画像統計量が正解の画像統計量に近くなるように制約を加えてテキスト生成部２８を含む学習モデルの学習を行う仕組みを採用している。

【0097】

《第１実施形態による効果》
第１実施形態に係る学習方法によれば、テキスト生成部２８と統計量推定部３２との各ネットワークの学習を並行して進め、さらに、テキスト生成部２８から出力される推定テキストＴ＾ｉを統計量推定部３２への入力に与えて学習を行うため、より精度の高い推定テキストの生成が可能になる。

【0098】

《第２実施形態が解決しようとする課題の説明》
次に、本発明の第２実施形態について説明する。まず、解決課題について簡単に説明する。非特許文献１－２に記載されている従来のキャプション生成技術では、学習したデータに従ってキャプションを生成する。自動生成されるキャプションの文体は、学習に用いたデータに依存するため、異なった文体を出力するためには、それぞれのモデルを用意する必要がある。例えば、人が作成する文章には、作成者個人に特有の表現や文章スタイルなどがあり、これらの個性的な表現の特性がその人特有の文体として現れる。

【0099】

このような各個人に特有の文体に近いキャプションを自動生成しようとする場合、従来の技術では、例えば、一人に１つの個別のモデルを用意して、その個人ごとに学習データを用いて個別のモデルの学習を行うことが考えられる。しかし、個人ごとに大量の学習データを収集することは困難であり、現実的とは言えない。

【0100】

非特許文献３では、１つのモデルに対して、画像とは別の情報を付加して、様々な文体を出力する技術が提案されているものの、個人に特有の文体の再現などに関する具体的な手法については記載されていない。

【0101】

このような事情に鑑みて、本発明の第２実施形態は、ユーザの属性に基づいて文体を変化させ、ユーザの意図に近いテキストを生成することが可能となるモデルの学習方法及び装置、プログラム、学習済みモデル、並びにテキスト生成装置を提供する。

【0102】

《第２実施形態に係るキャプション生成装置の概要》
図９は、第２実施形態に係るキャプション生成装置１１０の例を示す機能ブロック図である。図９において図１と同一又は類似する要素には同一の符号を付す。図１との相違点を説明する。図９に示すキャプション生成装置１１０は、画像ＩＭＧと、ユーザの属性情報を含むメタデータＭＴＤと、を入力として、これらの入力からユーザの文体に近い推定テキストＰＴＸを生成して出力する。

【0103】

ここでいう「ユーザ」とは、画像ＩＭＧに対してキャプションを付加しようとしている者を指す。ユーザは、例えば、画像ＩＭＧの撮影者、創作者、投稿者、提供者、及び所有者のうち少なくとも１つに該当するものであってよい。ユーザの属性情報とは、例えば、ユーザの性別、年齢、職業、趣味、嗜好、及び交友関係などのうちの少なくとも１つ、好ましくは複数の情報の組み合わせを含む。メタデータＭＴＤの一部又は全部は、ユーザの登録情報などから取得することができる。例えば、ソーシャルネットワーキングサービス（ＳＮＳ：Social Networking Service）のシステムを利用するユーザの場合、アカウントの登録情報からメタデータＭＴＤの一部又は全部を読み込むことができる。また、ＳＮＳにおける過去の投稿内容を分析するなどして、ユーザの趣味、嗜好などの情報を自動的に取得することもできる。

【0104】

推定テキストＰＴＸは、画像ＩＭＧのコンテンツに応じたキャプションであり、メタデータＭＴＤにより特定されるユーザの意図に近いと推定される自然言語の表現による文字情報である。「ユーザの意図」は、「ユーザの好み」、「ユーザの趣味嗜好」あるいは「ユーザの文体」と言い換えてもよい。つまり、推定テキストＰＴＸは、メタデータＭＴＤにより特定されるユーザによって作成される表現（文体）に近いと推定される言語表現の情報である。

【0105】

キャプション生成装置１１０は、画像取得部１２と、メタデータ取得部１４と、特徴量抽出部１６と、テキスト生成部１８と、を含む。キャプション生成装置１１０は、１台又は複数台のコンピュータを含むコンピュータシステムによって実現することができる。メタデータ取得部１４の機能は、コンピュータのハードウェアとソフトウェアの組み合わせによって実現できる。

【0106】

メタデータ取得部１４は、メタデータＭＴＤのデータを取り込むためのインターフェースである。メタデータ取得部１４は、外部又は装置内の他の信号処理部からメタデータＭＴＤを取り込むデータ入力端子で構成されてよい。画像取得部１２及びメタデータ取得部１４として機能する共通のインターフェースを採用してもよい。

【0107】

メタデータ取得部１４を介して入力されたメタデータＭＴＤは、テキスト生成部１８に送られる。

【0108】

テキスト生成部１８は、与えられた画像特徴量と画像に関連付けされたメタデータＭＴＤとを基に、推定テキストＰＴＸを生成する。テキスト生成部１８は、後述の学習方法を用いた機械学習によってユーザ特有の文体に近い文体のテキストを生成する機能が獲得される。キャプション生成装置１１０は本開示における「テキスト生成装置」の一例である。

【0109】

《学習装置の構成例２》
次に、テキスト生成部１８の推定機能を高めるための学習方法について説明する。

【0110】

図１０は、第２実施形態に係る学習装置１２０の構成例を示す機能ブロック図である。図１０において図３と同一又は類似する要素には同一の符号を付す。図３との相違点を説明する。

【0111】

学習装置１２０は、学習データ保管部６０と接続される。学習データ保管部６０は、学習装置２０が機械学習を行うために必要な学習データＬＤｉを保管しておくストレージを含んで構成される。第２実施形態の機械学習においては、画像Ｉｉと、ユーザの属性を示すメタデータＭｉと、画像Ｉｉを説明するテキストＴｉと、の組み合わせである学習データＬＤｉ＝（Ｉｉ，Ｍｉ，Ｔｉ）を多数使用する。例えば、ｉ＝０からｉ＝ｎまでのｎ＋１セットの学習データの集合は、次のように表記される。

【0112】

｛（Ｉ０，Ｍ０，Ｔ０），（Ｉ１，Ｍ１，Ｔ１），・・・（Ｉｉ，Ｍｉ，Ｔｉ），・・・（Ｉｎ，Ｍｎ，Ｔｎ）｝
このような学習データセットは、例えば、ＳＮＳ（Social Networking Service）を利用するユーザが過去に投稿した画像と、ユーザ（投稿者）のユーザ情報と、その画像に対してユーザが入力したキャプションと、を組み合わせることによって生成することができる。

【0113】

学習装置１２０は、学習データ保管部６０から学習データＬＤｉを読み込み、機械学習を実行する。図１０においては、説明を簡単にするために１組の学習データＬＤｉ＝（Ｉｉ，Ｍｉ，Ｔｉ）の処理の流れを示すが、ミニバッチ学習を行う場合、ミニバッチに含まれる複数組の（例えばｍ組の）学習データが一括して処理される。

【0114】

学習装置１２０は、データ取得部２２と、特徴量抽出部２６と、テキスト生成部２８と、メタデータ推定部３０と、統計量推定部３２と、統計量計算部３４と、第１誤差計算部４１と、第２誤差計算部４２と、第３誤差計算部４３と、オプティマイザ４６と、を含む。

【0115】

データ取得部２２は、図９の画像取得部１２及びメタデータ取得部１４と同様の構成であってよい。

【0116】

テキスト生成部２８は、図９のテキスト生成部１８と同様の階層型ニューラルネットワークを含む学習モデルによって構成される。テキスト生成部２８は、与えられた画像特徴量ＦｉとメタデータＭｉとを基に、推定テキストＴ＾ｉを生成する。テキスト生成部２８から出力された推定テキストＴ＾ｉは第１誤差計算部４１に送られる。また、テキスト生成部２８から出力された推定テキストＴ＾ｉは、メタデータ推定部３０及び統計量推定部３２に送られる。

【0117】

メタデータ推定部３０は、与えられたテキストから、このテキストに対応するユーザのメタデータを推定して推定メタデータを出力する。すなわち、メタデータ推定部３０は、データ取得部２２を介して入力されたテキストＴｉが与えられると、このテキストＴｉから推定メタデータＭ＾ｉを生成する。メタデータ推定部３０から出力された推定メタデータＭ＾ｉは第３誤差計算部４３に送られる。

【0118】

第３誤差計算部４３は、メタデータ推定部３０によって生成された推定メタデータＭ＾ｉに対して、教師データであるメタデータＭｉとの誤差を計算する。第３誤差計算部４３は、損失関数を用いて誤差を評価する。推定メタデータＭ＾ｉと正解としてのメタデータＭｉとの誤差を第４誤差Ｅｒ４という。第３誤差計算部４３によって計算された第４誤差Ｅｒ４はオプティマイザ４６に送られる。

【0119】

オプティマイザ４６は、第１誤差計算部４１、第２誤差計算部４２及び第３誤差計算部４３の各々の計算結果からテキスト生成部２８、メタデータ推定部３０及び統計量推定部３２のそれぞれのネットワークのパラメータを更新する処理を行う。

【0120】

オプティマイザ４６は、第１誤差計算部４１、第２誤差計算部４２及び第３誤差計算部４３の各々から得られる誤差の計算結果を用いて、テキスト生成部２８、メタデータ推定部３０及び統計量推定部３２のそれぞれのネットワークのパラメータの更新量を計算するパラメータ演算処理と、計算されたパラメータの更新量に従い、テキスト生成部２８、メタデータ推定部３０及び統計量推定部３２のそれぞれのネットワークのパラメータを更新するパラメータ更新処理と、を行う。

【0121】

さらに、この学習装置１２０では、テキスト生成部２８が生成した推定テキストＴ＾ｉをメタデータ推定部３０及び統計量推定部３２の各々に入力して、上記と同様の学習を行う。すなわち、テキスト生成部２８によって生成した推定テキストＴ＾ｉは、メタデータ推定部３０及び統計量推定部３２に入力される。

【0122】

メタデータ推定部３０は、与えられた推定テキストＴ＾ｉから、この推定テキストＴ＾ｉに対応するユーザの推定メタデータＭ＾＾ｉを生成する。メタデータ推定部３０から出力された推定メタデータＭ＾＾ｉは第３誤差計算部４３に送られる。

【0123】

第３誤差計算部４３は、メタデータ推定部３０によって生成された推定メタデータＭ＾＾ｉに対して、教師データであるメタデータＭｉとの誤差を計算する。推定メタデータＭ＾＾ｉと正解としてのメタデータＭｉとの誤差を第５誤差Ｅｒ５という。第３誤差計算部４３によって算出された第５誤差Ｅｒ５はオプティマイザ４６に送られる。

【0124】

オプティマイザ４６は、第３誤差計算部４３から得られる第４誤差Ｅｒ４を用いて、メタデータ推定部３０のネットワークのパラメータを更新する。また、オプティマイザ４６は、第３誤差計算部４３から得られる第５誤差Ｅｒ５を用いて、メタデータ推定部３０及びテキスト生成部２８の各々のネットワークパラメータを更新する。

【0125】

なお、オプティマイザ４６は、第５誤差Ｅｒ５から少なくともテキスト生成部２８のパラメータの更新量を計算してテキスト生成部２８のパラメータを更新すればよく、メタデータ推定部３０のパラメータは、第５誤差Ｅｒ５を基に更新しない態様も可能である。

【0126】

テキスト生成部２８、メタデータ推定部３０、及び統計量推定部３２のパラメータを更新するタイミングは特に限定されない。テキスト生成部２８のパラメータの更新タイミングと、メタデータ推定部３０のパラメータの更新タイミングと、統計量推定部３２のパラメータの更新タイミングとは、異なるタイミングであってもよいし、同時のタイミングであってもよい。また、第１誤差Ｅｒ１から計算されるテキスト生成部２８のパラメータ更新量に基づくテキスト生成部２８のパラメータ更新のタイミングと、第３誤差Ｅｒ３から計算されるテキスト生成部２８のパラメータ更新量に基づくテキスト生成部２８のパラメータ更新のタイミングと、第５誤差Ｅｒ５から計算されるテキスト生成部２８のパラメータ更新量に基づくテキスト生成部２８のパラメータ更新のタイミングとは、それぞれ異なるタイミングであってもよいし、これらの一部又は全部が同時のタイミングであってもよい。例えば、オプティマイザ４６は、第１誤差から計算されるテキスト生成部２８のパラメータ更新量と、第３誤差から計算されるテキスト生成部２８のパラメータ更新量と、第５誤差から計算されるテキスト生成部２８のパラメータ更新量とをマージして、このマージしたパラメータ更新量に従ってテキスト生成部２８のパラメータの更新処理を実施してもよい。

【0127】

図１１は、学習装置１２０の特徴量抽出部２６、テキスト生成部２８、メタデータ推定部３０、統計量推定部３２及び統計量計算部３４の各モジュールに入力されるデータと各モジュールから出力されるデータとを概略的に示すブロック図である。図１１において図３に示す構成と同一の要素には同一の符号を付し、その説明は省略する。図１１について図３との相違点を説明する。

【0128】

図１１に示す学習装置１２０のメタデータ推定部３０には、テキストＴｉ又は推定テキストＴ＾ｉが選択的に入力される。メタデータ推定部３０は、テキストＴｉの入力を受けて推定メタデータＭ＾ｉを出力する。メタデータ推定部３０から出力される推定メタデータＭ＾ｉと正解のメタデータＭｉとに基づいて第４誤差Ｅｒ４が計算される。

【0129】

また、メタデータ推定部３０は、推定テキストＴ＾ｉの入力を受けて推定メタデータＭ＾＾ｉを出力する。メタデータ推定部３０から出力される推定メタデータＭ＾＾ｉと正解のメタデータＭｉとに基づいて第５誤差Ｅｒ５が計算される。

【0130】

メタデータＭｉは本開示における「第１メタデータ」の一例である。メタデータＭｉに対応するユーザは本開示における「第１ユーザ」の一例である。特徴量抽出部２６、テキスト生成部２８、メタデータ推定部３０及び統計量推定部３２の組み合わせは本開示における「学習モデル」の一例である。推定メタデータＭ＾ｉは本開示における「第１推定メタデータ」の一例である。推定テキストＴ＾ｉから推定される推定メタデータＭ＾＾ｉは本開示における「第２推定メタデータ」の一例である。

【0131】

《学習装置１２０を用いた学習方法の例》
図１２及び図１３は、第２実施形態に係る学習方法の手順を例示的に示すフローチャートである。図１２及び図１３において、図３及び図４に示すフローチャートと同一又は類似のステップには同一のステップ番号を付す。図１２及び図１３について図３及び図４との相違点を説明する。

【0132】

図１２のフローチャートは、図３のステップＳ１、ステップＳ３及びステップＳ９に代えて、ステップＳ１Ａ、ステップＳ３Ａ及びステップＳ９Ａを含む。また、図１２のフローチャートは、図３のステップＳ４とステップＳ７との間にステップＳ５及びＳ６を含む。図１３のフローチャートは、図４に示すステップＳ１７の前に、ステップＳ１５及びＳ１６を含む。また、図１３のフローチャートは、図４のステップＳ１９に代えて、ステップＳ１９Ａを含む。

【0133】

図１２のステップＳ１Ａにおいて、画像ＩｉとメタデータＭｉとテキストＴｉとの組み合わせを複数組み用意する。

【0134】

ステップＳ３Ａにおいて、学習装置２０はテキスト生成部２８に画像特徴量ＦｉとメタデータＭｉとを入力し、推定テキストＴ＾ｉを取得する。

【0135】

ステップＳ５において、学習装置２０はメタデータ推定部３０にテキストＴｉを入力し、推定メタデータＭ＾ｉを取得する。

【0136】

ステップＳ６において、第３誤差計算部４３は推定メタデータＭ＾ｉに対して、メタデータＭｉとの誤差（第４誤差）を計算する。

【0137】

ステップＳ９Ａにおいて、オプティマイザ４６はステップＳ４、Ｓ６、及びＳ８で計算された誤差に基づいて、テキスト生成部２８、メタデータ推定部３０、及び統計量推定部３２のパラメータを更新する。

【0138】

ステップＳ９Ａの後、上述のステップＳ５からＳ９Ａの各入力として、テキスト生成部２８が推定した推定テキストＴ＾ｉを使用し、同様の処理を行う。

【0139】

すなわち、図１３のステップＳ１５において、学習装置１２０はメタデータ推定部３０に推定テキストＴ＾ｉを入力し、推定メタデータＭ＾＾ｉを取得する。

【0140】

ステップＳ１６において、第３誤差計算部４３は推定メタデータＭ＾＾ｉに対して、メタデータＭｉとの誤差（第５誤差Ｅｒ５）を計算する。

【0141】

ステップＳ１９Ａにおいて、オプティマイザ４６はステップＳ４、Ｓ１６、及びＳ１８で計算された誤差に基づいて、テキスト生成部２８、メタデータ推定部３０、及び統計量推定部３２のパラメータを更新する。なお、オプティマイザ４６は、ステップＳ１６で計算された第５誤差と、ステップＳ１８で計算された第３誤差Ｅｒ３と、を用いて少なくともテキスト生成部２８のパラメータを更新すればよい。例えば、ステップＳ１９Ａの際に、オプティマイザ４６はメタデータ推定部３０及び統計量推定部３２のいずれか一方又は両方のパラメータを固定して更新の対象から除外し、テキスト生成部２８のパラメータを更新してもよい。また、ステップＳ１９Ａにおいて、オプティマイザ４６はステップＳ４で計算された第１誤差Ｅｒ１を用いずに、第５誤差Ｅｒ５と第３誤差Ｅｒ３に基づいてテキスト生成部２８のパラメータを更新してもよい。他の処理は図３及び図４に示すフローチャートと同様である。

【0142】

こうして得られた学習済みのテキスト生成部２８の部分を、キャプション生成装置１１０のテキスト生成部１８として適用する。なお、特徴量抽出部２６を学習の対象に含めてもよいことは第１実施形態と同様である。

【0143】

図１２及び図１３のフローチャートに示すステップの順番は、技術的矛盾の無い範囲で適宜変更可能であり、複数のステップが同時に実行される場合もありうる。また、テキスト生成部２８、メタデータ推定部３０及び統計量推定部３２のそれぞれのパラメータの更新タイミング及び更新頻度についても図１２及び図１３の例に限定されない。

【0144】

《学習モデルにおけるパラメータの更新処理の例》
図１４は、第１誤差計算部４１によって計算される第１誤差に基づいてテキスト生成部２８のパラメータを更新する処理の様子を模式的に示すブロック図である。図１４は、図１２のステップＳ２～Ｓ４及びステップＳ９Ａの動作によってテキスト生成部２８のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。なお、特徴量抽出部２６のパラメータは、学習による更新処理の対象に含めてもよいし、含めなくてもよい。

【0145】

図１５は、第３誤差計算部４３によって計算される第４誤差に基づいてメタデータ推定部３０のパラメータを更新する処理の様子を模式的に示すブロック図である。図１５は、図１２のステップＳ５、Ｓ６及びＳ９Ａの動作によってメタデータ推定部３０のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。

【0146】

図１６は、第２誤差計算部４２によって計算される第２誤差に基づいて統計量推定部３２のパラメータを更新する処理の様子を模式的に示すブロック図である。図１６は、図１２のステップＳ７、Ｓ８及びＳ９Ａの動作によってメタデータ推定部３０のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。

【0147】

図１７は、第３誤差計算部４３によって計算される第５誤差に基づいてメタデータ推定部３０及びテキスト生成部２８の各々のパラメータを更新する処理の様子を模式的に示すブロック図である。図１７は、図１３のステップＳ１５、Ｓ１６及びＳ１９Ａの動作によってメタデータ推定部３０及びテキスト生成部２８のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。

【0148】

図１８は、第２誤差計算部４２によって計算される第３誤差に基づいてメタデータ推定部３０及びテキスト生成部２８の各々のパラメータを更新する処理の様子を模式的に示すブロック図である。図１８は、図１３のステップＳ１７、Ｓ１８及びＳ１９Ａの動作によって統計量推定部３２及びテキスト生成部２８のパラメータを更新する場合にアクティブとなる要素とデータの流れを示している。図１４から図１８の各図面の表示ルールは、図６から図８の表示ルールと同様である。

【0149】

図１４に示す処理を実行する場合、メタデータ推定部３０、第３誤差計算部４３、統計量推定部３２、統計量計算部３４、及び第２誤差計算部４２は非アクティブとなる。オプティマイザ４６は、第１誤差Ｅｒ１を基に計算されるテキスト生成部２８のパラメータの更新量に基づきテキスト生成部２８のパラメータを更新する。

【0150】

図１５に示す処理を実行する場合、オプティマイザ４６は、第４誤差Ｅｒ４を基に計算されるメタデータ推定部３０のパラメータの更新量に基づきメタデータ推定部３０のパラメータを更新する。

【0151】

図１６に示す処理を実行する場合、オプティマイザ４６は、第２誤差Ｅｒ２を基に計算される統計量推定部３２のパラメータの更新量に基づき統計量推定部３２のパラメータを更新する。

【0152】

図１７に示す処理を実行する場合、オプティマイザ４６は、第５誤差Ｅｒ５を基に計算されるメタデータ推定部３０及びテキスト生成部２８のそれぞれのパラメータの更新量に基づき、メタデータ推定部３０及びテキスト生成部２８のそれぞれのパラメータを更新する。第５誤差Ｅｒ５に基づくパラメータの更新に関して、図１４と同様に、オプティマイザ４６は、特徴量抽出部２６のパラメータを更新してもよい。あるいはまた、オプティマイザ４６は、図１７に示すメタデータ推定部３０及びテキスト生成部２８のうちメタデータ推定部３０についてパラメータを更新せずに、テキスト生成部２８のみパラメータを更新してもよい。

【0153】

図１８に示す処理を実行する場合、オプティマイザ４６は、第３誤差Ｅｒ３を基に計算される統計量推定部３２及びテキスト生成部２８のそれぞれのパラメータの更新量に基づき、統計量推定部３２及びテキスト生成部２８のそれぞれのパラメータを更新する。第３誤差Ｅｒ３に基づくパラメータの更新に関して、図１４と同様に、オプティマイザ４６は、特徴量抽出部２６のパラメータを更新してもよい。

【0154】

テキスト生成部２８は、図１４に示す第１誤差Ｅｒ１と、図１７に示す第５誤差Ｅｒ５と、図１８に示す第３誤差Ｅｒ３とに基づいてパラメータの更新が行われる。

【0155】

《第２実施形態による効果》
第２実施形態によれば、学習データとして、画像ＩｉとテキストＴｉとに加え、ユーザの属性情報を含むメタデータＭｉを含む組み合わせを用いているため、ユーザの属性を反映した精度の高いテキスト生成を実現できるモデルを効率よく学習することができる。また、第２実施形態に係る学習方法は、テキスト生成部２８とメタデータ推定部３０と統計量推定部３２との各ネットワークの学習を並行して進め、さらに、テキスト生成部２８から出力される推定テキストＴ＾ｉをメタデータ推定部３０及び統計量推定部３２への入力に与えて学習を行うため、より精度の高い推定テキストの生成が可能になる。第２実施形態によれば、ユーザの意図に近いキャプションを生成することができる。

【0156】

また、第２実施形態によれば、異なるユーザの学習データを含む学習データセットを用いて学習を行うことにより、様々な属性のユーザに対応したキャプションの自動生成が可能な汎用性のあるモデルを得ることができる。

【0157】

《応用例１》
本開示の技術は、例えば、ＳＮＳに付随する投稿支援機能の一つとしてのキャプション生成機能のサービスとして適用できる。このキャプション生成機能は、次の手順で実現される。

【0158】

［手順１－１］ユーザがキャプションを生成したい画像をシステムにアップロードする。ここでいう「システム」とは、キャプション生成の処理機能を提供するコンピュータシステムである。このシステムを、以下「キャプション生成システム」という。キャプション生成システムは、ＳＮＳシステムと一体に構築されていてもよいし、独立したシステムとして構築されてもよい。

【0159】

［手順１－２］キャプション生成システムは、ユーザによる過去の投稿内容などから、ユーザの過去の入力文字と画像とを分析する。ここでいう「分析」とは、ユーザのメタデータと入力文字（テキスト）と画像とを組み合わせて複数の学習データを生成し、学習装置２０を用いて機械学習を実行することを指す。なお、上述の［手順１－１］と［手順１－２］の順番は入れ替え可能である。

【0160】

［手順１－３］手順１－２の分析（学習）によって得られた学習済みのテキスト生成部２８を含むキャプション生成装置１０に対象画像（アップロードされた画像）を入力してキャプションを生成する。生成されたキャプションをユーザに提供する。

【0161】

〈応用例１のシステム構成例〉
図１９は、応用例１に係るキャプション生成機能を実現するコンピュータシステムの全体構成の例を示すブロック図である。このコンピュータシステム７０は、データ保管部６１と、キャプション生成システム７２と、学習装置１２０と、を含む。データ保管部６１、キャプション生成システム７２、及び学習装置１２０の各々は、電気通信回線９０に接続され、互いにデータの受け渡しが可能である。電気通信回線９０は、インターネットなどのワイドエリアネットワークであってよい。データ保管部６１、キャプション生成システム７２、及び学習装置１２０の各々は、電気通信回線９０に接続するための図示しない通信部を備える。

【0162】

データ保管部６１は、各ユーザのユーザ情報及び過去の投稿データなどが保管されている大容量ストレージを含む。

【0163】

キャプション生成システム７２は、ユーザ認証を行う認証部７４と、学習データを生成する学習データ生成部７６と、学習データ保管部６０と、キャプション生成装置１１０と、を含む。なお、認証部７４は、キャプション生成システム７２の外部に設けられていてもよい。

【0164】

ユーザは、情報端末装置８０を用い、電気通信回線９０を介してキャプション生成システム７２にアクセスすることができる。情報端末装置８０は、スマートフォンなどの携帯通信端末であってもよいし、パーソナルコンピュータなどであってもよい。情報端末装置８０は、電気通信回線９０に接続するための図示しない通信部を備える。

【0165】

情報端末装置８０は、ユーザインターフェースとしての操作部８４と表示部８６とを含む。操作部８４は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、又はこれらの適宜の組み合わせによって構成される。表示部８６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせによって構成される。

【0166】

情報端末装置８０は、カメラ８８を備えていてよい。カメラ８８は図示しないレンズを含む撮影光学系と撮像デバイスとを含む。ユーザは、カメラ８８によって撮影した画像及び／又は情報端末装置８０の内部又は外部の図示しないメモリに記憶されている画像をキャプション生成システム７２にアップロードすることができる。

【0167】

認証部７４は、情報端末装置８０から送信されたユーザ認証情報を受け取り、ユーザ認証の処理を行う。認証部７４は、データ保管部６１に登録されているユーザの登録情報と照合してアクセス要求を受けたユーザを特定する。認証部７４は、特定したユーザに関するユーザ情報を学習データ生成部７６及びキャプション生成装置１１０に送る。認証部７４から学習データ生成部７６及びキャプション生成装置１１０に送るユーザ情報には、データ保管部６１から読み出したユーザのメタデータが含まれている。あるいは学習データ生成部７６及びキャプション生成装置１１０は、ユーザを特定する情報を基に、データ保管部６１からユーザのメタデータを取得してもよい。

【0168】

図２０は、データ保管部６１に保管されているデータの概念図である。データ保管部６１には、ユーザごとにユーザ情報Ｕ（ｘ）と過去の投稿データＰ（ｘ）_ｊとが紐付けされて保管されている。ｘはユーザを識別するインデックスであり、ｊは投稿データを識別するインデックスである。投稿データＰ（ｘ）_ｊは、画像Ｉ（ｘ）_ｊとテキストＴ（ｘ）_ｊとの組み合わせによって構成される。ユーザ情報Ｕ（ｘ）には、ユーザのメタデータが含まれる。図２０に示すように、ユーザａによって投稿された過去の投稿データＰ（ａ）_ｊは、ユーザ情報Ｕ（ａ）と紐付けされて保管されている。同様に、ユーザｂによって投稿された過去の投稿データＰ（ｂ）_ｊは、ユーザ情報Ｕ（ｂ）と紐付けされて保管されている。

【0169】

学習データ生成部７６は、データ保管部６１に保管されているデータから学習データＬＤｉを生成する。学習データＬＤｉは、図１０で説明したように、画像、メタデータ、及びテキストの組み合わせである。学習データ生成部７６によって生成された学習データＬＤｉのセットは学習データ保管部６０に保管される。なお、学習データ保管部６０は、データ保管部６１の中に組み込まれていてもよい。

【0170】

学習装置１２０は、学習データ保管部６０から学習データＬＤｉを読み込み、学習を行う。学習装置２０は、学習結果として得られる学習済みのパラメータをキャプション生成装置１１０に送り、キャプション生成装置１１０のテキスト生成部１８を学習済みのパラメータによって更新する。これにより、キャプション生成装置１１０には、ユーザの意図に近いキャプション生成が可能な学習済みのモデル（テキスト生成部１８）が実装される。

【0171】

キャプション生成装置１１０は、ユーザからアップロードされた画像に対して、ユーザの意図に近いキャプションを生成し、ユーザに提供する。キャプション生成装置１１０が生成したキャプションは電気通信回線９０を介して情報端末装置８０に送られ、表示部８６に表示される。

【0172】

ユーザは、キャプション生成装置１１０によって自動生成されたキャプションを確認して、そのまま投稿に利用してもよいし、必要に応じて編集を加えることもできる。

【0173】

このようなシステムによれば、画像にキャプションを付加する際のユーザによるテキスト入力作業を軽減することができる。

【0174】

また、ある特定のユーザについて学習を実行して得られた学習済みのパラメータを、ユーザ情報と紐付けてデータ保管部６１に保管しておくことにより、次回のアクセス時には学習済みパラメータをキャプション生成装置１１０に適用して学習の処理を省略することができる。あるいは、次回のアクセス時に、学習済みパラメータを学習装置１２０における学習時の初期パラメータに設定し、追加の学習を実施することにより、推定の精度を高めることができる。

【0175】

〈変形例〉
図１９の学習装置１２０は、キャプション生成システム７２の中に組み込まれていてもよい。学習データ生成部７６は、学習データ生成装置として独立した装置構成であってもよい。キャプション生成装置１０に組み込まれた学習済みのパラメータを情報端末装置８０に提供し、情報端末装置８０の中にキャプション生成装置１１０を構築してもよい。

【0176】

《応用例２》
本開示の技術は、例えば、メール自動返信機能のサービスとして適用できる。このメール自動返信機能は、次の手順で実現される。

【0177】

［手順２－１］メール自動返信システムは、ユーザのメールを画像として取得する。ここでいう「ユーザのメール」とは、本サービスを利用する対象ユーザ宛に届いたメールであり、対象ユーザが受信したメールである。ユーザは、受信したメールをメール自動返信システムに転送（アップロード）する。メール自動返信システムは、アップロードされたメールを画像情報に変換したメール画像を取得する。

【0178】

［手順２－２］メール自動返信システムは、このユーザによる過去の送信メールの内容などから、ユーザの過去の入力文字とメール画像とを分析する。なお、この分析の過程でユーザのメタデータを抽出してもよい。

【0179】

［手順２－３］手順２－２の分析（学習）によって得られた学習済みのテキスト生成部２８を含むキャプション生成装置１１０に対象画像（ここでは、手順２－１で取得された画像）を入力してキャプション、すなわち返信候補の文章を生成する。そして、生成されたキャプションをユーザに提供する。

【0180】

この応用例２のシステム構成は、概ね応用例１の場合と同様であるため説明を省略する。応用例２によれば、ユーザの意図に近い文体の返信候補を自動生成できるため、返信メールの作成作業を軽減することができる。

【0181】

《他の応用例》
本開示の技術は、画像に対して文章を作成する様々な用途に応用できる。例えば、本開示の技術は、医療分野での読影レポート作成、あるいはインフラ点検での帳票作成などに適用できる。読影レポートを作成する場合のユーザは読影者であり、インフラ点検の帳票を作成する場合のユーザは点検作業を実施する作業者である。

【0182】

キャプションを付加する画像は、静止画に限らず、動画であってもよい。また、画像は、動画を構成している一部のフレーム画像であってよい。

【0183】

《蒸留モデル及び派生モデルについて》
本開示の学習方法を実施することによって得られた学習済みモデルを基に、派生モデル及び／又は蒸留モデルを生成することが可能である。派生モデルとは、学習済みモデルに対してさらなる追加学習を実施することによって得られる派生的な学習済みモデルであり「再利用モデル」ともいう。ここでの「追加学習」とは、既存の学習済みモデルに、異なる学習用データセットを適用して、更なる学習を行うことにより、新たに学習済みパラメータを生成することをいう。追加学習は、例えば、学習済みモデルの精度の維持又は向上を図ること、あるいは、当初に学習させた領域と異なる領域に適応させることなどを目的として行われる。

【0184】

一方、「蒸留」とは、既存の学習済みモデルへの入力及びその入力に対する出力結果を、新たなモデルの学習用データセットとして利用して機械学習を行い、新たな学習済みモデル及び／又は学習済みパラメータを生成することをいう。「蒸留モデル」とは、蒸留により新たに生成された学習済みパラメータが組み込まれた推論プログラム（推論モデル）を意味する。「推論プログラム」とは、組み込まれた学習済みパラメータを適用することで、入力に対して一定の結果を出力することを可能にするプログラムをいう。蒸留モデルは、元の学習済みモデルと異なるネットワーク構造であってよく、一般に、蒸留モデルは、元の学習済みモデルよりも小規模なネットワーク構造となり得る。

【0185】

本開示の学習方法を実施することによって得られた学習済みモデルを基に、派生モデル及び／又は蒸留モデルを生成することが可能である。したがって、これらの派生モデル及び／又は蒸留モデルを生成する方法、並びに、得られた派生モデル及び／又は蒸留モデルは、本開示の技術的範囲に属すると理解される。

【0186】

《コンピュータのハードウェア構成の例》
図２１は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ８００は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ８００は、既に説明したキャプション生成装置１０、学習装置２０、データ保管部６１、キャプション生成システム７２、及び情報端末装置８０のいずれか、又はこれらの複数の機能を備えた装置として用いることができる。

【0187】

コンピュータ８００は、ＣＰＵ（Central Processing Unit）８０２、ＲＡＭ（Random Access Memory）８０４、ＲＯＭ（Read Only Memory）８０６、ＧＰＵ（Graphics Processing Unit）８０８、ストレージ８１０、通信部８１２、入力装置８１４、表示装置８１６及びバス８１８を備える。なお、ＧＰＵ（Graphics Processing Unit）８０８は、必要に応じて設ければよく、演算負担が大きくなければ省略されてよい。

【0188】

ＣＰＵ８０２は、ＲＯＭ８０６又はストレージ８１０等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ８０４は、ＣＰＵ８０２の作業領域として使用される。また、ＲＡＭ８０４は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。

【0189】

ストレージ８１０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、若しくは半導体メモリ、又はこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。ストレージ８１０には、学習処理及び／又は画像生成処理等の画像処理に必要な各種プログラムやデータ等が記憶される。ストレージ８１０に記憶されているプログラムがＲＡＭ８０４にロードされ、これをＣＰＵ８０２が実行することにより、コンピュータは、プログラムで規定される各種の処理を行う手段として機能する。

【0190】

通信部８１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。

【0191】

入力装置８１４は、コンピュータ８００に対する各種の操作入力を受け付ける入力インターフェースである。入力装置８１４は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。

【0192】

表示装置８１６は、各種の情報が表示される出力インターフェースである。表示装置８１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。

【0193】

《コンピュータを動作させるプログラムについて》
上述の各実施形態で説明した学習機能、キャプション生成機能、及び学習データ生成機能のうち少なくとも１つの処理機能の一部又は全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。

【0194】

またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

【0195】

また、上述の各実施形態で説明した学習機能、キャプション生成機能、及び学習データ生成機能のうち少なくとも１つの処理機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

【0196】

《各処理部のハードウェア構成について》
図１及び図９の画像取得部１２、メタデータ取得部１４、特徴量抽出部１６、テキスト生成部１８、図２及び図１０の学習データ保管部６０、データ取得部２２、特徴量抽出部２６、テキスト生成部２８、メタデータ推定部３０、統計量推定部３２、統計量計算部３４、第１誤差計算部４１、第２誤差計算部４２、第３誤差計算部４３、オプティマイザ４６、図１９のデータ保管部６１、認証部７４、及び学習データ生成部７６などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。

【0197】

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0198】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0199】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0200】

《その他》
上述の実施形態で説明した構成や変形例で説明した事項は、適宜組み合わせて用いることができ、また、一部の事項を置き換えることもできる。

【0201】

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0202】

１０ キャプション生成装置
１２ 画像取得部
１４ メタデータ取得部
１６ 特徴量抽出部
１８ テキスト生成部
２０ 学習装置
２２ データ取得部
２６ 特徴量抽出部
２８ テキスト生成部
３０ メタデータ推定部
３２ 統計量推定部
３４ 統計量計算部
４１ 第１誤差計算部
４２ 第２誤差計算部
４３ 第３誤差計算部
４６ オプティマイザ
６０ 学習データ保管部
６１ データ保管部
７０ コンピュータシステム
７２ キャプション生成システム
７４ 認証部
７６ 学習データ生成部
８０ 情報端末装置
８４ 操作部
８６ 表示部
８８ カメラ
９０ 電気通信回線
１１０ キャプション生成装置
１２０ 学習装置
８００ コンピュータ
８０２ ＣＰＵ
８０４ ＲＡＭ
８０６ ＲＯＭ
８０８ ＧＰＵ
８１０ ストレージ
８１２ 通信部
８１４ 入力装置
８１６ 表示装置
８１８ バス
Ｅｒ１ 第１誤差
Ｅｒ２ 第２誤差
Ｅｒ３ 第３誤差
Ｅｒ４ 第４誤差
Ｅｒ５ 第５誤差
Ｉ 画像
Ｉｉ 画像
Ｆｉ 画像特徴量
ＩＭＧ 画像
ＩＳｉ 画像統計量
ＩＳ＾ｉ 推定画像統計量
ＩＳ＾＾ｉ 推定画像統計量
ＬＤｉ 学習データ
ＭＴＤ メタデータ
Ｍｉ メタデータ
Ｍ＾ｉ 推定メタデータ
Ｍ＾＾ｉ 推定メタデータ
Ｔｉ テキスト
ＰＴＸ 推定テキスト
Ｔ＾ｉ 推定テキスト
Ｕ（ｘ） ユーザ情報
Ｐ（ｘ）_ｊ 投稿データ
Ｓ１～Ｓ９，Ｓ１Ａ，Ｓ９Ａ，Ｓ１５～Ｓ２０，Ｓ１９Ａ 学習方法のステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】