ホーム > 特許ランキング > ソフトバンク株式会社
▶ ソフトバンクモバイル株式会社の特許一覧 ▶ 学校法人明星学苑の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138826
(43)【公開日】2024-10-09
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20241002BHJP
G06T 7/00 20170101ALI20241002BHJP
G06F 40/56 20200101ALI20241002BHJP
【ＦＩ】
G06T7/20
G06T7/00 350B
G06F40/56
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023049528
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(71)【出願人】
【識別番号】500132214
【氏名又は名称】学校法人明星学苑
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】宅島 寛貴
(72)【発明者】
【氏名】堀 隆之
(72)【発明者】
【氏名】鈴木 裕真
(72)【発明者】
【氏名】岡本 秀明
(72)【発明者】
【氏名】田之上 隼人
(72)【発明者】
【氏名】植木 一也
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096DA05
5L096HA11
5L096KA04
(57)【要約】
【課題】動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とする。
【解決手段】本願に係る情報処理装置は、処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、一のフレーム画像の次のフレーム画像および動作情報に基づいて、次のフレーム画像の内容を説明する文章である次画像説明文を生成する文章生成部と、を備える。
【選択図】図１
【解決手段】本願に係る情報処理装置は、処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、一のフレーム画像の次のフレーム画像および動作情報に基づいて、次のフレーム画像の内容を説明する文章である次画像説明文を生成する文章生成部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、
前記一のフレーム画像の次のフレーム画像および前記動作情報に基づいて、前記次のフレーム画像の内容を説明する文章である次画像説明文を生成する文章生成部と、
を備える情報処理装置。
前記一のフレーム画像の次のフレーム画像および前記動作情報に基づいて、前記次のフレーム画像の内容を説明する文章である次画像説明文を生成する文章生成部と、
を備える情報処理装置。
【請求項2】
前記文章生成部は、
画像から前記画像の内容を説明する文章である画像説明文を生成する機械学習モデルである第１の文章生成モデルの入力情報として、前記次のフレーム画像および前記動作情報を入力し、前記第１の文章生成モデルの出力情報として出力される前記次画像説明文を生成する、
請求項１に記載の情報処理装置。
画像から前記画像の内容を説明する文章である画像説明文を生成する機械学習モデルである第１の文章生成モデルの入力情報として、前記次のフレーム画像および前記動作情報を入力し、前記第１の文章生成モデルの出力情報として出力される前記次画像説明文を生成する、
請求項１に記載の情報処理装置。
【請求項3】
前記文章生成部は、
画像から前記画像の内容を説明する文章である画像説明文を生成する機械学習モデルである第２の文章生成モデルに含まれるエンコーダの入力情報として、前記次のフレーム画像を入力し、前記エンコーダの出力情報として出力される画像特徴量を生成し、
前記第２の文章生成モデルに含まれるデコーダの入力情報として、前記画像特徴量および文章の始まりを示す特殊文字列を入力し、前記デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、前記動作情報に対応する動作文字列の出現確率を高くするように前記条件付き確率分布を重み付けし、前記デコーダの出力情報として出力される前記次画像説明文を生成する、
請求項１に記載の情報処理装置。
画像から前記画像の内容を説明する文章である画像説明文を生成する機械学習モデルである第２の文章生成モデルに含まれるエンコーダの入力情報として、前記次のフレーム画像を入力し、前記エンコーダの出力情報として出力される画像特徴量を生成し、
前記第２の文章生成モデルに含まれるデコーダの入力情報として、前記画像特徴量および文章の始まりを示す特殊文字列を入力し、前記デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、前記動作情報に対応する動作文字列の出現確率を高くするように前記条件付き確率分布を重み付けし、前記デコーダの出力情報として出力される前記次画像説明文を生成する、
請求項１に記載の情報処理装置。
【請求項4】
前記文章生成部は、
前記対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文および前記対象動画の対象音声データに対応する対象文字データを生成し、前記複数の画像説明文および前記対象文字データに基づいて、前記複数の画像説明文および前記対象文字データを要約した文章である要約文を生成し、前記要約文に基づいて、前記対象動画の内容を説明する文章である対象動画説明文を生成する、
請求項１に記載の情報処理装置。
前記対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文および前記対象動画の対象音声データに対応する対象文字データを生成し、前記複数の画像説明文および前記対象文字データに基づいて、前記複数の画像説明文および前記対象文字データを要約した文章である要約文を生成し、前記要約文に基づいて、前記対象動画の内容を説明する文章である対象動画説明文を生成する、
請求項１に記載の情報処理装置。
【請求項5】
前記文章生成部は、
音声データから前記音声データに対応する文字データを生成する機械学習モデルである音声テキスト変換モデルを用いて、前記対象音声データから前記対象文字データを生成する、
請求項４に記載の情報処理装置。
音声データから前記音声データに対応する文字データを生成する機械学習モデルである音声テキスト変換モデルを用いて、前記対象音声データから前記対象文字データを生成する、
請求項４に記載の情報処理装置。
【請求項6】
前記推定部は、
前記一のフレーム画像に関する画像特徴量を入力情報として分類器に入力し、前記画像特徴量に対応する動作ラベルであって、前記分類器の出力情報として出力された動作ラベルに基づいて、前記動作情報を推定する、
請求項１に記載の情報処理装置。
前記一のフレーム画像に関する画像特徴量を入力情報として分類器に入力し、前記画像特徴量に対応する動作ラベルであって、前記分類器の出力情報として出力された動作ラベルに基づいて、前記動作情報を推定する、
請求項１に記載の情報処理装置。
【請求項7】
前記推定部は、
前記一のフレーム画像のうち、一の対象物が撮像された第１領域に関する第１特徴量と、前記一の対象物とは異なる他の対象物が撮像された第２領域に関する第２特徴量と、前記第１領域と前記第２領域とが重なる領域である交差領域に関する交差特徴量と、前記第１領域と前記第２領域の両方を含む領域である結合領域に関する結合特徴量とに基づいて生成された濃縮特徴量を入力情報として分類器に入力し、前記濃縮特徴量に対応する動作ラベルであって、前記分類器の出力情報として出力された動作ラベルに基づいて、前記動作情報を推定する、
請求項６に記載の情報処理装置。
前記一のフレーム画像のうち、一の対象物が撮像された第１領域に関する第１特徴量と、前記一の対象物とは異なる他の対象物が撮像された第２領域に関する第２特徴量と、前記第１領域と前記第２領域とが重なる領域である交差領域に関する交差特徴量と、前記第１領域と前記第２領域の両方を含む領域である結合領域に関する結合特徴量とに基づいて生成された濃縮特徴量を入力情報として分類器に入力し、前記濃縮特徴量に対応する動作ラベルであって、前記分類器の出力情報として出力された動作ラベルに基づいて、前記動作情報を推定する、
請求項６に記載の情報処理装置。
【請求項8】
学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、
前記一のフレーム画像の次のフレーム画像および前記動作情報を入力情報として入力した場合に、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである第１の文章生成モデルを生成するモデル生成部と、
を備える情報処理装置。
前記一のフレーム画像の次のフレーム画像および前記動作情報を入力情報として入力した場合に、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである第１の文章生成モデルを生成するモデル生成部と、
を備える情報処理装置。
【請求項9】
学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、
前記一のフレーム画像の次のフレーム画像を入力情報としてエンコーダに入力した場合に、前記次のフレーム画像に対応する画像特徴量を出力情報として出力するように学習された前記エンコーダと、
前記画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダに入力した場合に、前記デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、前記動作情報に対応する動作文字列の出現確率を高くするように前記条件付き確率分布を重み付けし、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された前記デコーダと、を含む機械学習モデルである第２の文章生成モデルを生成するモデル生成部と、
を備える情報処理装置。
前記一のフレーム画像の次のフレーム画像を入力情報としてエンコーダに入力した場合に、前記次のフレーム画像に対応する画像特徴量を出力情報として出力するように学習された前記エンコーダと、
前記画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダに入力した場合に、前記デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、前記動作情報に対応する動作文字列の出現確率を高くするように前記条件付き確率分布を重み付けし、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された前記デコーダと、を含む機械学習モデルである第２の文章生成モデルを生成するモデル生成部と、
を備える情報処理装置。
【請求項10】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定工程と、
前記一のフレーム画像の次のフレーム画像および前記動作情報に基づいて、前記次のフレーム画像の内容を説明する文章である画像説明文を生成する文章生成工程と、
を含む情報処理方法。
処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定工程と、
前記一のフレーム画像の次のフレーム画像および前記動作情報に基づいて、前記次のフレーム画像の内容を説明する文章である画像説明文を生成する文章生成工程と、
を含む情報処理方法。
【請求項11】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定工程と、
前記一のフレーム画像の次のフレーム画像および前記動作情報を入力情報として入力した場合に、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである第１の文章生成モデルを生成するモデル生成工程と、
を含む情報処理方法。
学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定工程と、
前記一のフレーム画像の次のフレーム画像および前記動作情報を入力情報として入力した場合に、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである第１の文章生成モデルを生成するモデル生成工程と、
を含む情報処理方法。
【請求項12】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定工程と、
前記一のフレーム画像の次のフレーム画像を入力情報としてエンコーダに入力した場合に、前記次のフレーム画像に対応する画像特徴量を出力情報として出力するように学習された前記エンコーダと、
前記画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダに入力した場合に、前記デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、前記動作情報に対応する動作文字列の出現確率を高くするように前記条件付き確率分布を重み付けし、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された前記デコーダと、を含む機械学習モデルである第２の文章生成モデルを生成するモデル生成工程と、
を含む情報処理方法。
学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定工程と、
前記一のフレーム画像の次のフレーム画像を入力情報としてエンコーダに入力した場合に、前記次のフレーム画像に対応する画像特徴量を出力情報として出力するように学習された前記エンコーダと、
前記画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダに入力した場合に、前記デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、前記動作情報に対応する動作文字列の出現確率を高くするように前記条件付き確率分布を重み付けし、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された前記デコーダと、を含む機械学習モデルである第２の文章生成モデルを生成するモデル生成工程と、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
従来、動画から動画のキャプション（動画キャプションともいう。以下、「動画説明文」と記載する。）を生成する技術が知られている。例えば、画像に含まれる要素を単語として出力する多層式のニューラルネットワークに監視カメラで撮影された動画を入力し、動画の説明文を生成する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１０１３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、画像に含まれる要素を単語として出力する多層式のニューラルネットワークに監視カメラで撮影された動画を入力し、動画の説明文を生成するにすぎないため、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができるとは限らない。
【0005】
本願は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができる情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、前記一のフレーム画像の次のフレーム画像および前記動作情報に基づいて、前記次のフレーム画像の内容を説明する文章である次画像説明文を生成する文章生成部と、を備える。
【0007】
また、本願に係る情報処理装置は、学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、前記一のフレーム画像の次のフレーム画像および前記動作情報を入力情報として入力した場合に、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである第１の文章生成モデルを生成するモデル生成部と、を備える。
【0008】
また、本願に係る情報処理装置は、学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する推定部と、前記一のフレーム画像の次のフレーム画像を入力情報としてエンコーダに入力した場合に、前記次のフレーム画像に対応する画像特徴量を出力情報として出力するように学習された前記エンコーダと、前記画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダに入力した場合に、前記デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、前記動作情報に対応する動作文字列の出現確率を高くするように前記条件付き確率分布を重み付けし、前記次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された前記デコーダと、を含む機械学習モデルである第２の文章生成モデルを生成するモデル生成部と、を備える。
【発明の効果】
【0009】
実施形態の一態様によれば、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下に、本願に係る情報処理装置及び情報処理方法を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置及び情報処理方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0012】
（実施形態）
〔１．はじめに〕
近年、機械学習をはじめとするＡＩ（Artificial Intelligence）の研究や産業への応用において、ＡＩモデル（機械学習モデルとも呼ばれる。以下、「機械学習モデル」と記載する。）のサイズが肥大化するとともに、機械学習モデルを学習させるために大量の学習データを要することが前提となっている。
〔１．はじめに〕
近年、機械学習をはじめとするＡＩ（Artificial Intelligence）の研究や産業への応用において、ＡＩモデル（機械学習モデルとも呼ばれる。以下、「機械学習モデル」と記載する。）のサイズが肥大化するとともに、機械学習モデルを学習させるために大量の学習データを要することが前提となっている。
【0013】
しかしながら、動画から動画の内容を説明する文章である動画説明文を生成する機械学習モデルを学習させるために必要な学習データ（具体的には、動画と動画説明文との組を含むデータセット。以下、「動画文データセット」と記載する。）の数は、依然として比較的に数が少ないことが知られている。例えば、動画文データセットの数は、画像を画像に対応するカテゴリに分類する機械学習モデルを学習させるために必要な学習データ（具体的には、画像と画像に対応するラベルとの組を含むデータセット。以下、「画像分類データセット」と記載する。）の数と比べると、まだ少ないことが知られている。また、動画文データセットの数は、画像から画像の内容を説明する文章である画像説明文を生成する機械学習モデルを学習させるために必要な学習データ（具体的には、画像と画像説明文との組を含むデータセット。以下、「画像文データセット」と記載する場合がある。）の数と比べると、まだ少ないことが知られている。
【0014】
これに対して、動画説明文と組になっていない動画のデータ（動画説明文が付いていない動画のデータ）は、動画文データセット、画像分類データセットおよび画像文データセット等と比べると、大量に存在することが知られている。
【0015】
そこで、本実施形態に係る情報処理装置は、動画説明文と組になっていない動画のデータ（以下、「動画」と記載する。）を利用して、動画から擬似的な動画説明文を生成する。これにより、本実施形態に係る情報処理装置は、動画と擬似的な動画説明文との組を含むデータセット（以下、「擬似動画文データセット」と記載する。）を大量に生成可能とすることができる。また、本実施形態に係る情報処理装置は、動画から動画説明文を生成する機械学習モデルの学習データとして、大量の擬似動画文データセットを用いることにより、動画から動画説明文を生成する機械学習モデルの推定精度を向上させることを可能とすることができる。
【0016】
具体的には、本実施形態に係る情報処理装置は、動画を構成する各フレーム画像に含まれる対象物の動作（アクションともいう）に関する動作情報を推定し、各フレーム画像の動作情報に基づいて、各フレーム画像の次のフレーム画像の内容を説明する文章である画像説明文を生成する。これにより、本実施形態に係る情報処理装置は、前のフレーム画像に含まれる対象物の動作に関する動作情報を各フレーム画像の画像説明文に反映することを可能とすることができる。すなわち、本実施形態に係る情報処理装置は、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文を生成することができる。
【0017】
また、本実施形態に係る情報処理装置は、動画を構成する各フレーム画像それぞれに対応する画像説明文を要約した要約文を生成し、要約文に基づいて、擬似的な動画説明文（以下、「動画説明文」と略記する場合がある。）を生成する。このように、本実施形態に係る情報処理装置は、前のフレーム画像に含まれる対象物の動作に関する動作情報を反映した各フレーム画像の画像説明文に基づいて、動画説明文を生成する。すなわち、本実施形態に係る情報処理装置は、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文に基づいて、動画説明文を生成する。したがって、本実施形態に係る情報処理装置は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成することができる。
【0018】
〔２．情報処理装置の構成〕
図１を用いて、実施形態に係る情報処理装置１００の構成例について説明する。図１は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
図１を用いて、実施形態に係る情報処理装置１００の構成例について説明する。図１は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
【0019】
（通信部１１０）
通信部１１０は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。通信部１１０は、各種ネットワークと有線または無線で接続され、例えば、情報処理装置１００以外の他の情報処理装置との間で情報の送受信を行う。
通信部１１０は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。通信部１１０は、各種ネットワークと有線または無線で接続され、例えば、情報処理装置１００以外の他の情報処理装置との間で情報の送受信を行う。
【0020】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、各種データを記憶する。例えば、記憶部１２０は、機械学習モデルの学習に用いられる動画である学習用動画に関する情報を記憶する。また、記憶部１２０は、各種プログラムを記憶する。例えば、記憶部１２０は、モデル生成部１３３によって生成された機械学習モデルに関する情報を記憶する。また、記憶部１２０は、音声データから音声データに対応する文字データを生成する機械学習モデルである音声テキスト変換モデルに関する情報を記憶する。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、各種データを記憶する。例えば、記憶部１２０は、機械学習モデルの学習に用いられる動画である学習用動画に関する情報を記憶する。また、記憶部１２０は、各種プログラムを記憶する。例えば、記憶部１２０は、モデル生成部１３３によって生成された機械学習モデルに関する情報を記憶する。また、記憶部１２０は、音声データから音声データに対応する文字データを生成する機械学習モデルである音声テキスト変換モデルに関する情報を記憶する。
【0021】
（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0022】
制御部１３０は、取得部１３１と、推定部１３２と、モデル生成部１３３と、文章生成部１３４を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１３０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0023】
（取得部１３１）
取得部１３１は、各種情報を取得してよい。例えば、取得部１３１は、機械学習モデルの学習に用いられる動画である学習用動画を取得してよい。また、取得部１３１は、処理対象の動画である対象動画を取得してよい。
取得部１３１は、各種情報を取得してよい。例えば、取得部１３１は、機械学習モデルの学習に用いられる動画である学習用動画を取得してよい。また、取得部１３１は、処理対象の動画である対象動画を取得してよい。
【0024】
（推定部１３２）
推定部１３２は、画像に含まれる対象物の動作（アクションともいう）に関する動作情報を推定してよい。具体的には、推定部１３２は、動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定してよい。推定部１３２は、動画を構成する各フレーム画像に含まれる対象物の動作に関する動作情報を推定してよい。ここで、画像に含まれる対象物は、動きを伴う物体であればどのような物体であってもよい。例えば、対象物は、人物、動物または移動体（例えば、車両、船舶、飛行機など）であってよい。また、対象物は、複数であってもよい。例えば、対象物は、第１の対象物とともに画像に写っている第２の対象物であってよい。例えば、第１の対象物が人物である場合、第２の対象物は人物によって使用される道具（例えば、フライパン等の料理道具、スポーツで使用されるバット、ボール、ラケットなど）などであってもよい。また、第１の対象物が人物である場合、第２の対象物は人物が乗っている馬や車両などであってもよい。
推定部１３２は、画像に含まれる対象物の動作（アクションともいう）に関する動作情報を推定してよい。具体的には、推定部１３２は、動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定してよい。推定部１３２は、動画を構成する各フレーム画像に含まれる対象物の動作に関する動作情報を推定してよい。ここで、画像に含まれる対象物は、動きを伴う物体であればどのような物体であってもよい。例えば、対象物は、人物、動物または移動体（例えば、車両、船舶、飛行機など）であってよい。また、対象物は、複数であってもよい。例えば、対象物は、第１の対象物とともに画像に写っている第２の対象物であってよい。例えば、第１の対象物が人物である場合、第２の対象物は人物によって使用される道具（例えば、フライパン等の料理道具、スポーツで使用されるバット、ボール、ラケットなど）などであってもよい。また、第１の対象物が人物である場合、第２の対象物は人物が乗っている馬や車両などであってもよい。
【0025】
（モデル生成部１３３）
モデル生成部１３３は、動画を構成する所定のフレーム画像から所定のフレームの内容を説明する文章である画像説明文を生成するように学習された文章生成モデルを生成してよい。具体的には、モデル生成部１３３は、動画を構成する所定のフレーム画像、および、所定のフレーム画像の一つ前のフレーム画像に対応する動作情報を入力情報として入力した場合に、所定のフレームの内容を説明する文章である画像説明文を出力情報として出力するように学習された文章生成モデルを生成してよい。言い換えると、モデル生成部１３３は、動画を構成する一のフレーム画像の次のフレーム画像、および、一のフレーム画像に対応する動作情報を入力情報として入力した場合に、次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された文章生成モデルを生成してよい。より具体的には、モデル生成部１３３は、推定部１３２によって推定された動作情報に基づいて、画像から画像の内容を説明する文章である画像説明文を生成するように学習された学習済みの機械学習モデル（以下、「既存の文章生成モデル」と記載する。）を再学習させることで、文章生成モデルを生成してよい。
モデル生成部１３３は、動画を構成する所定のフレーム画像から所定のフレームの内容を説明する文章である画像説明文を生成するように学習された文章生成モデルを生成してよい。具体的には、モデル生成部１３３は、動画を構成する所定のフレーム画像、および、所定のフレーム画像の一つ前のフレーム画像に対応する動作情報を入力情報として入力した場合に、所定のフレームの内容を説明する文章である画像説明文を出力情報として出力するように学習された文章生成モデルを生成してよい。言い換えると、モデル生成部１３３は、動画を構成する一のフレーム画像の次のフレーム画像、および、一のフレーム画像に対応する動作情報を入力情報として入力した場合に、次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された文章生成モデルを生成してよい。より具体的には、モデル生成部１３３は、推定部１３２によって推定された動作情報に基づいて、画像から画像の内容を説明する文章である画像説明文を生成するように学習された学習済みの機械学習モデル（以下、「既存の文章生成モデル」と記載する。）を再学習させることで、文章生成モデルを生成してよい。
【0026】
例えば、既存の文章生成モデルは、画像が入力情報として入力された場合に、画像の特徴を示す画像特徴量を出力情報として出力するエンコーダを含んでよい。例えば、エンコーダは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であってよい。また、エンコーダは、物体認識用に開発されたＲｅｓＮｅｔ（Residual Network）（Kaiming He et al., 2015）、ＡｌｅｘＮｅｔ（Krizhevsky et al., 2012）、ＶＧＧＮｅｔ（Simonyan et al., 2014）、ＧｏｏｇＬｅＮｅｔ（Szegedy et al., 2014）、ＳＥＮｅｔ（Squeeze-and-Excitation Networks）（Jie Hu et al., 2018））、ＥｆｆｉｃｉｅｎｔＮｅｔ（Tan et al., 2019）、またはＺＦＮｅｔ（Matthew et al., 2013）であってよい。また、エンコーダは、物体検出用に開発されたＦａｓｔｅｒ Ｒ－ＣＮＮ（Shaoqing Ren et al., 2015）、ＹＯＬＯ（You Look Only Onse）（Joseph Redmon et al., 2015）、またはＳＳＤ（Single Shot MultiBox Detector）（Wei Liu., 2015）であってよい。
【0027】
また、既存の文章生成モデルは、エンコーダから出力された画像特徴量が入力情報として入力された場合に、エンコーダに入力された画像の内容を説明する文章である画像説明文を出力情報として出力するデコーダを含んでよい。例えば、デコーダは、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、ＧＲＵ（Gated Recurrent Unit）、ＬＳＴＭ（Long Short Term Memory）、Ｔｒａｎｓｆｏｒｍｅｒ（Ashish Vaswani et al., 2017）、ＴｒａｎｓｆｏｒｍｅｒをベースとしたＢＥＲＴ（Bidirectional Encoder Representations from Transformers）、ＧＰＴ－３（Generative Pre-Training3）またはＴ５（Text-to-Text Transfer Transformer）であってよい。
【0028】
（文章生成部１３４）
文章生成部１３４は、処理対象の動画である対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文を生成してよい。具体的には、文章生成部１３４は、モデル生成部１３３によって生成された文章生成モデルを用いて、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文を生成してよい。また、文章生成部１３４は、対象動画の対象音声データに対応する対象文字データを生成してよい。
文章生成部１３４は、処理対象の動画である対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文を生成してよい。具体的には、文章生成部１３４は、モデル生成部１３３によって生成された文章生成モデルを用いて、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文を生成してよい。また、文章生成部１３４は、対象動画の対象音声データに対応する対象文字データを生成してよい。
【0029】
また、文章生成部１３４は、対象動画の内容を説明する文章である対象動画説明文を生成してよい。ここで、対象動画説明文は、上述した擬似的な動画説明文に対応する。具体的には、文章生成部１３４は、対象動画説明文として、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文および対象文字データを要約した要約文を生成してよい。
【0030】
【0031】
図２を用いて、情報処理装置１００による文章生成モデルの生成処理の一例について詳しく説明する。図２は、実施形態に係る文章生成モデルの生成処理の一例を示すフローチャートである。図２では、取得部１３１は、機械学習モデルの学習に用いられる動画である学習用動画を取得する（ステップＳ１０１）。具体的には、取得部１３１は、学習用動画に関する情報を格納している記憶部１２０から学習用動画を取得してよい。
【0032】
また、推定部１３２は、学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する（ステップＳ１０２）。具体的には、推定部１３２は、一のフレーム画像に関する画像特徴量を入力情報として分類器に入力し、画像特徴量に対応する動作ラベルであって、分類器の出力情報として出力された動作ラベルに基づいて、動作情報を推定する。
【0033】
図３を用いて、情報処理装置１００による動作情報の推定処理の一例について詳しく説明する。図３は、実施形態に係る動作情報の推定処理の一例について説明するための図である。図３の左側には、学習用動画を構成する一のフレーム画像Ｇ１１を示す。図３に示す一のフレーム画像Ｇ１１は、フライパンＯ２を手に持った人物Ｏ１が野菜を炒めている様子を示す。図３では、推定部１３２は、静止画像に写っている対象物の動作（アクション）を推定する公知の技術を用いて、一のフレーム画像Ｇ１１に含まれる対象物である人物Ｏ１の動作に関する動作情報＃１１を推定してよい（参考文献；論文名“Understanding action recognition in still images“,＜インターネット＞https://openaccess.thecvf.com/content_CVPRW_2020/papers/w23/Girish_Understanding_Action_Recognition_in_Still_Images_CVPRW_2020_paper.pdf（令和５年２月２２日検索））。
【0034】
まず、推定部１３２は、公知の物体検出技術を用いて、一のフレーム画像Ｇ１１の中から、物体が写っている領域を抽出してよい。図３では、推定部１３２は、一のフレーム画像Ｇ１１の中から、人物Ｏ１が写っている領域である第１領域Ｒ１、フライパンＯ２が写っている領域である第２領域Ｒ２、人物Ｏ１とフライパンＯ２とが接触している部分が写っている領域である交差領域Ｒ３、および、人物Ｏ１とフライパンＯ２の両方を含む領域である結合領域Ｒ４を抽出してよい。図３では、推定部１３２によって抽出された各領域をバウンディングボックスのような矩形の枠によって囲まれた領域によって示す。具体的には、交差領域Ｒ３は、第１領域Ｒ１と第２領域Ｒ２とが重なる領域であってよい。また、結合領域Ｒ４は、第１領域Ｒ１と第２領域Ｒ２の両方を含む領域であってよい。
【0035】
続いて、推定部１３２は、上述したＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ、またはＳＳＤを用いて、抽出された各領域から各領域に対応する画像特徴量を抽出してよい。図３では、推定部１３２は、第１領域Ｒ１から、第１領域Ｒ１に対応する画像特徴量である第１特徴量を抽出してよい。また、推定部１３２は、第２領域Ｒ２から、第２領域Ｒ２に対応する画像特徴量である第２特徴量を抽出してよい。また、推定部１３２は、第１領域Ｒ１と第２領域Ｒ２とが重なる領域である交差領域Ｒ３から、交差領域Ｒ３に対応する画像特徴量である交差特徴量を抽出してよい。また、推定部１３２は、第１領域Ｒ１と第２領域Ｒ２の両方を含む領域である結合領域Ｒ４から、結合領域Ｒ４に対応する画像特徴量である結合特徴量を抽出してよい。
【0036】
続いて、推定部１３２は、抽出された各領域に写っている物体のカテゴリに基づいて、抽出された画像特徴量が何の特徴を示すかを推定してよい。図３では、推定部１３２は、第１領域Ｒ１に写っている物体のカテゴリが「人物」なので、第１特徴量は「人物」に関する画像特徴量であると推定してよい。また、推定部１３２は、第２領域Ｒ２に写っている物体のカテゴリが「フライパン」なので、第２特徴量はフライパン「フライパン」に関する画像特徴量であると推定してよい。また、推定部１３２は、交差領域Ｒ３に写っている物体のカテゴリが「人物の手がフライパンを握っている部分」なので、交差特徴量は「人物の手がフライパンを握っている部分」に関する画像特徴量であると推定してよい。また、推定部１３２は、結合領域Ｒ４に写っている物体のカテゴリが「人物」と「フライパン」と「人物の手がフライパンを握っている部分」と「野菜」なので、結合特徴量は「人物」と「フライパン」と「人物の手がフライパンを握っている部分」と「野菜」に関する画像特徴量であると推定してよい。
【0037】
続いて、推定部１３２は、各領域から抽出された画像特徴量を結合した特徴量である濃縮特徴量を生成してよい。推定部１３２は、各画像特徴量に対応する特徴量ベクトル同士を連結して、濃縮特徴量に対応する一の特徴ベクトルを生成してよい。図３では、推定部１３２は、第１特徴量と第２特徴量と交差特徴量と結合特徴量を連結して、濃縮特徴量を生成してよい。
【0038】
続いて、推定部１３２は、濃縮特徴量が入力情報として入力された場合、濃縮特徴量と対応する動作ラベルを出力するようにあらかじめ学習された機械学習モデルである分類器を取得してよい。例えば、推定部１３２は、分類器に関する情報を格納している記憶部１２０から分類器を取得してよい。ここで、動作ラベルは、画像に含まれる対象物の動作を示す文字列であってよい。例えば、動作ラベルは、日本語の動詞の分類における継続動詞、瞬間動詞、状態動詞、または、第４種の動詞に対応する文字列であってよい。継続動詞は、ある時間継続して行われる種類の動作を示す動詞である。例えば、継続動詞の一例として、食べる、読む、話す、歌う、歩く、書く、笑う、泣く、泳ぐ等の人間の動作を表す動詞や、散る、降る、咲く等の自然現象を表す動詞がある。瞬間動詞は、一瞬で終わってしまう動作を示す動詞である。例えば、瞬間動詞の一例として、（電気が）つく、消える、触る、届く、決まる、見つかる、始まる、終わる、到着する等がある。状態動詞は、状態を表す動詞である。例えば、状態動詞の一例として、ある、いる等がある。第４種の動詞は、時間の観念を含まず、形容詞のようにその物事の様子、性質、形状、印象を表す動詞である。例えば、第４種の動詞の一例として、似る、（水が）澄む、（角が）とがる、高い鼻をしている等がある。
【0039】
続いて、推定部１３２は、生成した濃縮特徴量を入力情報として分類器に入力し、濃縮特徴量に対応する動作ラベルであって、分類器の出力情報として出力される動作ラベルを推定してよい。続いて、推定部１３２は、動作ラベルに基づいて、動作情報を推定してよい。図３では、推定部１３２は、生成した濃縮特徴量を入力情報として分類器に入力し、濃縮特徴量に対応する動作ラベルＬ１１であって、分類器の出力情報として出力される動作ラベルＬ１１を推定してよい。図３では、動作ラベルＬ１１は、「炒める」という動詞に対応する文字列であってよい。続いて、推定部１３２は、動作ラベルＬ１１に基づいて、動作情報＃１１を推定してよい。例えば、推定部１３２は、動作情報＃１１として、動作ラベルＬ１１に対応する「炒める」という文字列を推定してよい。
【0040】
このように、推定部１３２は、一のフレーム画像（図３では、一のフレーム画像Ｇ１１）のうち、一の対象物（図３では、人物Ｏ１）が撮像された第１領域（図３では、第１領域Ｒ１）に関する第１特徴量と、一の対象物とは異なる他の対象物（図３では、フライパンＯ２）が撮像された第２領域（図３では、第２領域Ｒ２）に関する第２特徴量と、第１領域と第２領域とが重なる領域である交差領域（図３では、交差領域Ｒ３）に関する交差特徴量と、第１領域と第２領域の両方を含む領域である結合領域（図３では、結合領域Ｒ４）に関する結合特徴量とに基づいて生成された濃縮特徴量を入力情報として分類器に入力し、濃縮特徴量に対応する動作ラベルであって、分類器の出力情報として出力された動作ラベル（図３では、動作ラベルＬ１１）に基づいて、動作情報（図３では、動作ラベルＬ１１に対応する「炒める」という文字列）を推定する。
【0041】
なお、図３では、推定部１３２が、濃縮特徴量を入力情報として分類器に入力し、動作情報として、分類器の出力情報として出力される動作ラベルに対応する文字列を推定する場合について説明したが、推定部１３２は、分類器に入力される入力情報は、濃縮特徴量に限られない。例えば、推定部１３２は、第１特徴量と第２特徴量と交差特徴量と結合特徴量を入力情報として分類器に入力し、分類器の出力情報として出力される動作ラベルに対応する文字列を推定してもよい。また、推定部１３２は、一のフレーム画像から一のフレーム画像に対応する画像特徴量を抽出してよい。続いて、推定部１３２は、一のフレーム画像に対応する画像特徴量を入力情報として分類器に入力し、分類器の出力情報として出力される動作ラベルに対応する文字列を推定してもよい。
【0042】
また、図３では、推定部１３２の処理対象となる画像が図３に示す一のフレーム画像Ｇ１１である場合について説明したが、推定部１３２の処理対象となる画像は一のフレーム画像Ｇ１１に限られない。例えば、推定部１３２の処理対象となる画像は、学習用動画を構成する複数のフレーム画像に含まれるフレーム画像であれば、どのフレーム画像であってもよい。また、推定部１３２の処理対象となる画像は、後述する処理対象の動画である対象動画を構成する一のフレームであってもよい。例えば、推定部１３２の処理対象となる画像は、対象動画を構成する複数のフレーム画像に含まれるフレーム画像であれば、どのフレーム画像であってもよい。
【0043】
また、図３では、推定部１３２によって推定された動作情報＃１１が、動作ラベルＬ１１に対応する「炒める」という動詞に対応する文字列である場合について説明したが、推定部１３２によって推定される動作情報は、「炒める」という動詞に対応する文字列に限られない。例えば、動作情報は、画像に含まれる対象物の動作を示す文字列であれば、どのような文字列であってもよい。例えば、動作情報は、上述した継続動詞、瞬間動詞、状態動詞、または、第４種の動詞に対応するいかなる文字列であってもよい。
【0044】
また、モデル生成部１３３は、学習用動画を構成する一のフレーム画像の次のフレーム画像、および、推定部１３２によって推定された一のフレーム画像に含まれる対象物の動作に関する動作情報（以下、「一のフレーム画像に対応する動作情報」と記載する場合がある。）を入力情報として入力した場合に、次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである文章生成モデルＭ１を生成する（ステップＳ１０３）。図３の例に当てはめると、モデル生成部１３３は、学習用動画を構成する一のフレーム画像Ｇ１１の次のフレーム画像Ｇ１２、および、推定部１３２によって推定された一のフレーム画像Ｇ１１に対応する動作情報＃１１（例えば、動作ラベルＬ１１に対応する「炒める」という文字列）を入力情報として入力した場合に、次のフレーム画像Ｇ１２の内容を説明する文章である次画像説明文ＣＰ１２（例えば、「野菜を炒める」という文章）を出力情報として出力するように学習された機械学習モデルである文章生成モデルＭ１を生成してよい。
【0045】
具体的には、モデル生成部１３３は、画像を入力情報としてエンコーダＥ１に入力した場合に、画像に対応する画像特徴量を出力情報として出力するように学習されたエンコーダＥ１と、画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダＤ１に入力した場合に、画像説明文を出力情報として出力するように学習されたデコーダＤ１と、を含む機械学習モデルである既存の文章生成モデルを、推定部１３２によって推定された動作情報に基づいて再学習させることで、文章生成モデルＭ１を生成してよい。より具体的には、モデル生成部１３３は、エンコーダＥ１およびデコーダＤ１を含む既存の文章生成モデルの入力情報として、推定部１３２によって推定された動作情報を追加することにより、既存の文章生成モデルを再学習させてよい。
【0046】
例えば、モデル生成部１３３は、推定部１３２によって推定された動作情報に基づいて、動作情報に対応するベクトルを生成してよい。例えば、モデル生成部１３３は、推定部１３２によって推定された一のフレーム画像Ｇ１１に対応する動作情報＃１１に基づいて、一のフレーム画像Ｇ１１に対応する動作情報＃１１に対応するベクトルＶ１１を生成してよい。例えば、モデル生成部１３３は、動作ラベルＬ１１に対応する「炒める」という文字列に基づいて、動作ラベルＬ１１に対応する「炒める」という文字列に対応するベクトルＶ１１を生成してよい。続いて、モデル生成部１３３は、一のフレーム画像Ｇ１１の次のフレーム画像Ｇ１２に対応するベクトルＶ１２と、生成されたベクトルＶ１１とを連結して、連結された一のベクトルである連結ベクトルＶ１３（＝Ｖ１１＋Ｖ１２）を生成してよい。続いて、モデル生成部１３３は、既存の文章生成モデルに含まれるエンコーダＥ１の入力情報として、生成された連結ベクトルＶ１３を入力し、エンコーダＥ１の出力情報として出力される特徴量であって、連結ベクトルＶ１３に対応する特徴量である結合特徴量＃１３を生成してよい。このように、モデル生成部１３３は、既存の文章生成モデルに含まれるエンコーダＥ１の入力情報として、次のフレーム画像Ｇ１２に対応するベクトルＶ１２と一のフレーム画像Ｇ１１に対応する動作情報＃１１に対応するベクトルＶ１１とを連結した連結ベクトルＶ１３を入力することで、連結ベクトルＶ１３に対応する特徴量である結合特徴量＃１３を出力情報として出力するようにエンコーダＥ１を再学習させてよい。以下では、再学習されたエンコーダＥ１をエンコーダＥ１´と記載する場合がある。
【0047】
続いて、モデル生成部１３３は、既存の文章生成モデルに含まれるデコーダＤ１の入力情報として、エンコーダＥ１´から出力された結合特徴量＃１３を入力し、デコーダＤ１の出力情報として出力される文章であって、結合特徴量＃１３に対応する文章である次画像説明文ＣＰ１２（例えば、「野菜を炒める」という文章）を生成してよい。このように、モデル生成部１３３は、既存の文章生成モデルに含まれるデコーダＤ１の入力情報として、エンコーダＥ１´から出力された結合特徴量を入力することで、結合特徴量に対応する文章である次画像説明文を出力情報として出力するようにデコーダＤ１を再学習させてよい。以下では、再学習されたデコーダＤ１をデコーダＤ１´と記載する場合がある。このようにして、モデル生成部１３３は、エンコーダＥ１´とデコーダＤ１´と、を含む機械学習モデルである文章生成モデルＭ１を生成してよい。
【0048】
図４～図６を用いて、情報処理装置１００による動画説明文の生成処理の一例について詳しく説明する。図４は、実施形態に係る動画説明文の生成処理の一例を示すフローチャートである。図４では、取得部１３１は、処理対象の動画である対象動画を取得する（ステップＳ２０１）。具体的には、取得部１３１は、通信部１１０を介して、例えば、利用者によって使用される情報処理装置から対象動画を取得してよい。
【0049】
また、文章生成部１３４は、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文を生成する（ステップＳ２０２）。具体的には、文章生成部１３４は、モデル生成部１３３によって生成された文章生成モデルＭ１を用いて、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文を生成してよい。
【0050】
ここで、図５を用いて、比較技術に係る画像説明文の生成処理の一例について説明する。図５は、比較技術に係る画像説明文の生成処理の一例について説明するための図である。図５では、既存の文章生成モデルを用いて、画像から画像説明文を生成する処理について説明する。図５では、対象動画を構成する複数のフレーム画像のうちの所定のフレーム画像Ｇ２２を入力情報として既存の文章生成モデルに入力した場合、所定のフレーム画像Ｇ２２の内容を説明する画像説明文ＣＰ２２´である「野菜を焼く」という文章が生成される。すなわち、既存の文章生成モデルは、所定のフレーム画像Ｇ２２に写っている人物がフライパンに野菜を載せて焼いているという瞬間の動作に対応する画像説明文を生成する。このように、比較技術では、既存の文章生成モデルが、各フレーム画像から各フレーム画像にその瞬間に写っている対象物の動作に対応する画像説明文を生成するにすぎない。したがって、比較技術では、所定のフレーム画像に対応する画像説明文に前のフレーム画像に含まれる対象物の動作に関する動作情報を反映することは困難な場合があった。
【0051】
次に、図６を用いて、情報処理装置１００による画像説明文の生成処理の一例について説明する。図６は、実施形態に係る画像説明文の生成処理の一例について説明するための図である。図６では、推定部１３２は、処理対象の動画である対象動画を構成する一のフレーム画像Ｇ２１（図示略）に含まれる対象物の動作に関する動作情報＃２１を推定する。図６では、簡単のため、対象動画を構成する一のフレーム画像Ｇ２１が、図３で説明した学習用動画を構成する一のフレーム画像Ｇ１１と同じ画像である場合について説明するが、この限りではない。このとき、推定部１３２は、図３と同様にして、対象動画を構成する一のフレーム画像Ｇ２１に含まれる対象物の動作に関する動作情報＃２１（以下、「一のフレーム画像Ｇ２１に対応する動作情報＃２１」と記載する場合がある。）として、動作ラベルＬ２１に対応する「炒める」という文字列を推定してよい。
【0052】
また、図６では、文章生成部１３４は、対象動画を構成する一のフレーム画像Ｇ２１の次のフレーム画像Ｇ２２および一のフレーム画像Ｇ２１に含まれる対象物の動作に関する動作情報＃２１である「炒める」という文字列に基づいて、次のフレーム画像Ｇ２２の内容を説明する文章である次画像説明文ＣＰ２２である「野菜を炒める」という文章を生成してよい。
【0053】
このように、文章生成部１３４は、対象動画を構成する一のフレーム画像の次のフレーム画像および一のフレーム画像に含まれる対象物の動作に関する動作情報に基づいて、次のフレーム画像の内容を説明する文章である次画像説明文を生成する。
【0054】
具体的には、文章生成部１３４は、モデル生成部１３３によって生成された文章生成モデルＭ１に関する情報を格納している記憶部１２０から文章生成モデルＭ１を取得してよい。続いて、文章生成部１３４は、文章生成モデルＭ１の入力情報として、対象動画を構成する一のフレーム画像Ｇ２１の次のフレーム画像Ｇ２２および一のフレーム画像Ｇ２１に含まれる対象物の動作に関する動作情報＃２１を入力し、文章生成モデルＭ１の出力情報として出力される次画像説明文ＣＰ２２を生成してよい。より具体的には、文章生成部１３４は、文章生成モデルＭ１の入力情報として、対象動画を構成する一のフレーム画像Ｇ２１の次のフレーム画像Ｇ２２および一のフレーム画像Ｇ２１に対応する動作情報＃２１である「炒める」という文字列を入力し、文章生成モデルＭ１の出力情報として出力される次画像説明文ＣＰ２２である「野菜を炒める」という文章を生成してよい。
【0055】
このように、文章生成部１３４は、画像から画像の内容を説明する文章である画像説明文を生成する機械学習モデルである文章生成モデルＭ１の入力情報として、対象動画を構成する一のフレーム画像の次のフレーム画像および一のフレーム画像に含まれる対象物の動作に関する動作情報を入力し、文章生成モデルＭ１の出力情報として出力される次画像説明文を生成する。
【0056】
例えば、文章生成部１３４は、推定部１３２によって推定された動作情報に基づいて、動作情報に対応するベクトルを生成してよい。図６では、文章生成部１３４は、推定部１３２によって推定された一のフレーム画像Ｇ２１に対応する動作情報＃２１に基づいて、一のフレーム画像Ｇ２１に対応する動作情報＃２１に対応するベクトルＶ２１を生成してよい。例えば、文章生成部１３４は、動作ラベルＬ２１に対応する「炒める」という文字列に基づいて、動作ラベルＬ２１に対応する「炒める」という文字列に対応するベクトルＶ２１を生成してよい。続いて、文章生成部１３４は、一のフレーム画像Ｇ２１の次のフレーム画像Ｇ２２に対応するベクトルＶ２２と、生成されたベクトルＶ２１とを連結して、連結された一のベクトルである連結ベクトルＶ２３（＝Ｖ２１＋Ｖ２２）を生成してよい。続いて、文章生成部１３４は、文章生成モデルＭ１に含まれるエンコーダＥ１´の入力情報として、生成された連結ベクトルＶ２３を入力し、エンコーダＥ１´の出力情報として出力される特徴量であって、連結ベクトルＶ２３に対応する特徴量である結合特徴量＃２３を生成してよい。続いて、文章生成部１３４は、文章生成モデルＭ１に含まれるデコーダＤ１´の入力情報として、エンコーダＥ１´から出力された結合特徴量＃２３を入力し、デコーダＤ１´の出力情報として出力される文章であって、結合特徴量＃２３に対応する文章である次画像説明文ＣＰ２２（例えば、「野菜を炒める」という文章）を生成してよい。
【0057】
このように、情報処理装置１００は、所定のフレーム画像Ｇ２２の内容を説明する画像説明文ＣＰ２２を生成する際に、所定のフレーム画像Ｇ２２よりも一つ前のフレーム画像Ｇ２１に含まれる対象物の動作に関する動作情報＃２１（図６では、動作ラベルＬ２１に対応する「炒める」という文字列）を用いる。これにより、情報処理装置１００は、一つ前のフレーム画像Ｇ２１で行われていた動作に関する情報を所定のフレーム画像Ｇ２２に対応する画像説明文ＣＰ２２に反映することを可能とすることができる。言い換えると、情報処理装置１００は、一つ前のフレーム画像Ｇ２１から所定のフレーム画像Ｇ２２にかけて行われている動作の継続性を所定のフレーム画像Ｇ２２に対応する画像説明文ＣＰ２２に反映することを可能とすることができる。すなわち、情報処理装置１００は、一つ前のフレーム画像Ｇ２１から所定のフレーム画像Ｇ２２にかけて行われている継続動詞に対応する動作（図６では、人物がフライパンで野菜を炒めるという継続動詞に対応する動作）を所定のフレーム画像Ｇ２２に対応する画像説明文ＣＰ２２に反映しやすくすることを可能とすることができる。
【0058】
ここで、対象動画を構成する複数のフレーム画像のうち、最初のフレーム画像については、前のフレーム画像が存在しないため、前のフレーム画像に対応する動作情報が存在しない。そこで、文章生成部１３４は、既存の文章生成モデルを用いて、対象動画を構成する最初のフレーム画像の内容を説明する画像説明文を生成してよい。また、文章生成部１３４は、図６と同様にして、モデル生成部１３３によって生成された文章生成モデルＭ１を用いて、対象動画を構成する複数のフレーム画像のうち、２枚目以降のフレーム画像の内容を説明する複数の画像説明文を生成してよい。このようにして、文章生成部１３４は、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文を生成してよい。
【0059】
続いて、文章生成部１３４は、音声データから音声データに対応する文字データを生成する機械学習モデルである音声テキスト変換モデルを用いて、対象動画の対象音声データから対象音声データに対応する対象文字データを生成する（ステップＳ２０３）。具体的には、音声テキスト変換モデルは、Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ（Ｓｐｅｅｃｈ２Ｔｅｘｔ）であってよい。例えば、文章生成部１３４は、対象動画から対象音声データを抽出してよい。続いて、文章生成部１３４は、音声テキスト変換モデルを用いて、対象音声データから文字起こしした対象文字データを生成してよい。なお、ステップＳ２０２の処理と、ステップＳ２０３の処理は、いずれの処理が先に行われてもよく、文章生成部１３４によってそれぞれ同時に行われてもよい。
【0060】
続いて、文章生成部１３４は、複数の画像説明文および対象文字データに基づいて、複数の画像説明文および対象文字データを要約した文章である要約文を生成し、要約文に基づいて、対象動画の内容を説明する文章である対象動画説明文を生成する（ステップＳ２０４）。具体的には、文章生成部１３４は、抽出型モデルや抽象型モデルといった既存の文章要約モデルを用いて、複数の画像説明文および対象文字データから要約文を生成し、生成した要約文を対象動画説明文としてよい。
【0061】
このように、文章生成部１３４は、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文および対象動画の対象音声データに対応する対象文字データを生成し、複数の画像説明文および対象文字データに基づいて、複数の画像説明文および対象文字データを要約した文章である要約文を生成し、要約文に基づいて、対象動画の内容を説明する文章である対象動画説明文を生成する。
【0062】
〔４．変形例〕
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
【0063】
上述した実施形態では、モデル生成部１３３が、学習用動画を構成する一のフレーム画像の次のフレーム画像および一のフレーム画像に対応する動作情報を入力情報として入力した場合に、次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである文章生成モデルＭ１を生成する場合について説明した。変形例では、モデル生成部１３３が、デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、学習用動画を構成する一のフレーム画像に対応する動作情報に対応する動作文字列の出現確率を高くするように条件付き確率分布を重み付けし、一のフレーム画像の次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習されたデコーダを含む機械学習モデルである文章生成モデルＭ２を生成する場合について説明する。
【0064】
図７は、変形例に係る文章生成モデルの生成処理の一例を示すフローチャートである。図７では、取得部１３１は、機械学習モデルの学習に用いられる動画である学習用動画を取得する（ステップＳ３０１）。具体的には、取得部１３１は、図２に示すステップＳ１０１で説明したのと同様に、学習用動画を取得してよい。
【0065】
また、推定部１３２は、学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する（ステップＳ３０２）。具体的には、推定部１３２は、図３と同様にして、動作情報を推定してよい。後述する図８の例に当てはめると、推定部１３２は、学習用動画を構成する一のフレーム画像Ｇ３１（図示略）に含まれる対象物である人物Ｏ１の動作に関する動作情報＃３１を推定してよい。ここでは、簡単のため、一のフレーム画像Ｇ３１が、図３に示す一のフレーム画像Ｇ１１と同じ画像である場合について説明するが、この限りではない。例えば、推定部１３２は、図３と同様にして、分類器の出力情報として出力される動作ラベルＬ３１を推定してよい。例えば、動作ラベルＬ３１は、「炒める」という動詞に対応する文字列であってよい。続いて、推定部１３２は、動作ラベルＬ３１に基づいて、動作情報＃３１を推定してよい。例えば、推定部１３２は、動作情報＃３１として、動作ラベルＬ３１に対応する「炒める」という文字列を推定してよい。以下では、動作情報に対応する文字列のこと「動作文字列」と記載する場合がある。例えば、動作情報＃３１に対応する動作文字列＃３１は、「炒める」という文字列である。
【0066】
また、モデル生成部１３３は、デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、学習用動画を構成する一のフレーム画像に対応する動作情報に対応する動作文字列の出現確率を高くするように条件付き確率分布を重み付けし、一のフレーム画像の次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習されたデコーダを含む機械学習モデルである文章生成モデルＭ２を生成する（ステップＳ３０３）。
【0067】
図８を用いて、変形例に係る文章生成モデルの生成処理の一例について詳しく説明する。図８は、変形例に係る文章生成モデルの生成処理の一例について説明するための図である。図８の左側には、学習用動画を構成する一のフレーム画像Ｇ３１（図示略）の次のフレーム画像Ｇ３２を示す。次のフレーム画像Ｇ３２は、文章生成モデルＭ２に入力される入力情報に相当する。また、図８の中央に、文章生成モデルＭ２の構成を示す。文章生成モデルＭ２は、エンコーダＥ２を含んでよい。文章生成モデルＭ２に入力された次のフレーム画像Ｇ３２は、エンコーダＥ２に入力されてよい。エンコーダＥ２は、次のフレーム画像Ｇ３２が入力情報として入力された場合、次のフレーム画像Ｇ３２に対応する画像特徴量Ｆ３２を出力情報として出力してよい。また、文章生成モデルＭ２は、デコーダＤ２を含んでよい。図８では、デコーダＤ２が、１つずつ文字列を生成して、生成した文字列を自己回帰的に次のステップの入力する様子を示す。デコーダＤ２は、エンコーダＥ２が出力した画像特徴量Ｆ３２と文章の始まりを示す特殊文字列（図８では、「＜ｓ＞」という特殊文字列）が入力情報として入力された場合、次のフレーム画像Ｇ３２の内容を説明する文章である次画像説明文ＣＰ３２を出力情報として出力してよい。また、図８の右側に、次のフレーム画像Ｇ３２の内容を説明する文章である次画像説明文ＣＰ３２を示す。次画像説明文ＣＰ３２は、文章生成モデルＭ２から出力される出力情報に相当する。
【0068】
図８では、モデル生成部１３３は、学習用動画を構成する一のフレーム画像Ｇ３１の次のフレーム画像Ｇ３２を入力情報としてエンコーダＥ２に入力した場合に、次のフレーム画像Ｇ３２に対応する画像特徴量Ｆ３２を出力情報として出力するように学習されたエンコーダＥ２と、次のフレーム画像Ｇ３２に対応する画像特徴量Ｆ３２および文章の始まりを示す特殊文字列である「＜ｓ＞」を入力情報としてデコーダＤ２に入力した場合に、デコーダＤ２が逐次出力する各文字列の出現確率に関する条件付き確率分布ＰＤ１～ＰＤ３のうち、一のフレーム画像Ｇ３１に含まれる対象物の動作に関する動作情報＃３１に対応する動作文字列＃３１である「炒める」という文字列の出現確率を高くするように条件付き確率分布ＰＤ１～ＰＤ３をそれぞれ重み付けし、次のフレーム画像Ｇ３２の内容を説明する文章である次画像説明文ＣＰ３２を出力情報として出力するように学習されたデコーダＤ２と、を含む機械学習モデルである文章生成モデルＭ２を生成してよい。
【0069】
図８では、簡単のため、デコーダＤ２が逐次出力する各文字列の出現確率に関する条件付き確率分布が、「彼」と「野菜」と「炒める」と「を」の４つの文字列の出現確率に関する条件付き確率分布である場合について説明する。実際には、デコーダＤ２が逐次出力する各文字列の出現確率に関する条件付き確率分布は、例えば、文章生成モデルＭ２が予め学習した辞書データ（デコーダＤ２から出力される文字列の候補に関する辞書データ）に含まれる全ての文字列それぞれの出現確率に関する条件付き確率分布であってよい。
【0070】
図８では、モデル生成部１３３は、エンコーダＥ２が出力した画像特徴量Ｆ３２および文章の始まりを示す特殊文字列である「＜ｓ＞」を入力情報としてデコーダＤ２に入力した場合に、デコーダＤ２が出力する「彼」と「野菜」と「炒める」と「を」の４つの文字列それぞれの出現確率に関する条件付き確率分布ＰＤ１のうち、動作情報＃３１に対応する動作文字列＃３１である「炒める」という文字列の出現確率を高くするように条件付き確率分布ＰＤ１を重み付けしてよい。図８では、条件付き確率分布ＰＤ１における「炒める」という文字列の出現確率は、「炒める」という文字列の元の出現確率Ｐ１１にモデル生成部１３３によって重み付けされた出現確率Ｐ１２が加算された出現確率となっている様子を示す。また、図８では、モデル生成部１３３は、条件付き確率分布ＰＤ１において、４つの文字列の出現確率のうち、「野菜」という文字列の出現確率が最も高いので、デコーダＤ２の出力情報として「野菜」という文字列を出力してよい。
【0071】
続いて、モデル生成部１３３は、先のステップでデコーダＤ２が出力した「野菜」という文字列を入力情報としてデコーダＤ２に入力した場合に、デコーダＤ２が出力する「彼」と「野菜」と「炒める」と「を」の４つの文字列それぞれの出現確率に関する条件付き確率分布ＰＤ２のうち、動作情報＃３１に対応する動作文字列＃３１である「炒める」という文字列の出現確率を高くするように条件付き確率分布ＰＤ２を重み付けしてよい。図８では、条件付き確率分布ＰＤ２における「炒める」という文字列の出現確率は、「炒める」という文字列の元の出現確率Ｐ２１にモデル生成部１３３によって重み付けされた出現確率Ｐ２２が加算された出現確率となっている様子を示す。また、図８では、モデル生成部１３３は、条件付き確率分布ＰＤ２において、４つの文字列の出現確率のうち、「を」という文字列の出現確率が最も高いので、デコーダＤ２の出力情報として「を」という文字列を出力してよい。
【0072】
続いて、モデル生成部１３３は、先のステップでデコーダＤ２が出力した「を」という文字列を入力情報としてデコーダＤ２に入力した場合に、デコーダＤ２が出力する「彼」と「野菜」と「炒める」と「を」の４つの文字列それぞれの出現確率に関する条件付き確率分布ＰＤ３のうち、動作情報＃３１に対応する動作文字列＃３１である「炒める」という文字列の出現確率を高くするように条件付き確率分布ＰＤ３を重み付けしてよい。図８では、条件付き確率分布ＰＤ３における「炒める」という文字列の出現確率は、「炒める」という文字列の元の出現確率Ｐ３１にモデル生成部１３３によって重み付けされた出現確率Ｐ３２が加算された出現確率となっている様子を示す。また、図８では、モデル生成部１３３は、条件付き確率分布ＰＤ３において、４つの文字列の出現確率のうち、「炒める」という文字列の出現確率が最も高いので、デコーダＤ２の出力情報として「炒める」という文字列を出力してよい。
【0073】
続いて、モデル生成部１３３は、デコーダＤ２から最初に出力された「野菜」という文字列、デコーダＤ２から２番目に出力された「を」という文字列、および、デコーダＤ２から最後に出力された「炒める」という文字列に基づいて、「野菜を炒める」という文章である次画像説明文ＣＰ３２を出力情報として出力してよい。
【0074】
このように、モデル生成部１３３は、一のフレーム画像の次のフレーム画像を入力情報としてエンコーダに入力した場合に、次のフレーム画像に対応する画像特徴量を出力情報として出力するように学習されたエンコーダと、画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダに入力した場合に、デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、動作情報に対応する動作文字列の出現確率を高くするように条件付き確率分布を重み付けし、次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習されたデコーダと、を含む機械学習モデルである文章生成モデルＭ２を生成する。
【0075】
また、推定部１３２は、処理対象の動画である対象動画を構成する一のフレーム画像Ｇ４１（図示略）に含まれる対象物の動作に関する動作情報＃４１を推定する。例えば、推定部１３２は、図３と同様にして、対象動画を構成する一のフレーム画像Ｇ４１に含まれる対象物の動作に関する動作情報＃４１（以下、「一のフレーム画像Ｇ４１に対応する動作情報＃４１」と記載する場合がある。）として、動作ラベルＬ４１に対応する文字列を推定してよい。
【0076】
また、文章生成部１３４は、モデル生成部１３３によって生成された文章生成モデルＭ２に関する情報を格納している記憶部１２０から文章生成モデルＭ２を取得してよい。続いて、文章生成部１３４は、文章生成モデルＭ２に含まれるエンコーダＥ２の入力情報として、対象動画を構成する一のフレーム画像Ｇ４１の次のフレーム画像Ｇ４２を入力し、エンコーダＥ２の出力情報として出力される画像特徴量Ｆ４２を生成し、文章生成モデルＭ２に含まれるデコーダＤ２の入力情報として、画像特徴量Ｆ４２および文章の始まりを示す特殊文字列を入力し、デコーダＤ２が逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、動作情報＃４１に対応する動作文字列＃４１の出現確率を高くするように条件付き確率分布を重み付けし、デコーダＤ２の出力情報として出力される次画像説明文ＣＰ４２を生成してよい。
【0077】
このように、情報処理装置１００は、所定のフレーム画像Ｇ４２の内容を説明する画像説明文ＣＰ４２を生成する際に、所定のフレーム画像Ｇ４２よりも一つ前のフレーム画像Ｇ４１に含まれる対象物の動作に関する動作情報＃４１に対応する動作文字列＃４１の出現確率を高くするように条件付き確率分布を重み付けする。これにより、情報処理装置１００は、一つ前のフレーム画像Ｇ４１で行われていた動作に対応する動作文字列が出現しやすい画像説明文ＣＰ４２を生成可能とすることができる。言い換えると、情報処理装置１００は、一つ前のフレーム画像Ｇ４１から所定のフレーム画像Ｇ４２にかけて行われている動作の継続性を所定のフレーム画像Ｇ４２に対応する画像説明文ＣＰ４２に反映することを可能とすることができる。すなわち、情報処理装置１００は、一つ前のフレーム画像Ｇ４１から所定のフレーム画像Ｇ４２にかけて行われている継続動詞に対応する動作を所定のフレーム画像Ｇ４２に対応する画像説明文ＣＰ４２に反映することを可能とすることができる。
【0078】
このように、文章生成部１３４は、画像から画像の内容を説明する文章である画像説明文を生成する機械学習モデルである文章生成モデルＭ２に含まれるエンコーダの入力情報として、次のフレーム画像を入力し、エンコーダの出力情報として出力される画像特徴量を生成し、文章生成モデルＭ２に含まれるデコーダの入力情報として、画像特徴量および文章の始まりを示す特殊文字列を入力し、デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、動作情報に対応する動作文字列の出現確率を高くするように条件付き確率分布を重み付けし、デコーダの出力情報として出力される次画像説明文を生成する。
【0079】
〔５．効果〕
上述したように、実施形態に係る情報処理装置１００は、推定部１３２と文章生成部１３４を備える。推定部１３２は、処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する。文章生成部１３４は、一のフレーム画像の次のフレーム画像および動作情報に基づいて、次のフレーム画像の内容を説明する文章である次画像説明文を生成する。
上述したように、実施形態に係る情報処理装置１００は、推定部１３２と文章生成部１３４を備える。推定部１３２は、処理対象の動画である対象動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する。文章生成部１３４は、一のフレーム画像の次のフレーム画像および動作情報に基づいて、次のフレーム画像の内容を説明する文章である次画像説明文を生成する。
【0080】
これにより、情報処理装置１００は、前のフレーム画像に含まれる対象物の動作に関する動作情報を各フレーム画像の画像説明文に反映することを可能とすることができる。すなわち、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文を生成することができる。また、情報処理装置１００は、例えば、前のフレーム画像に含まれる対象物の動作に関する動作情報を反映した各フレーム画像の画像説明文に基づいて、動画説明文を生成することができる。すなわち、情報処理装置１００は、例えば、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文に基づいて、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成することができる。したがって、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができる。また、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができるので、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。
【0081】
また、文章生成部１３４は、画像から画像の内容を説明する文章である画像説明文を生成する機械学習モデルである第１の文章生成モデルの入力情報として、次のフレーム画像および動作情報を入力し、第１の文章生成モデルの出力情報として出力される次画像説明文を生成する。
【0082】
このように、情報処理装置１００は、所定のフレーム画像の内容を説明する画像説明文を生成する際に、所定のフレーム画像よりも一つ前のフレーム画像に含まれる対象物の動作に関する動作情報を用いる。これにより、情報処理装置１００は、一つ前のフレーム画像で行われていた動作に関する情報を所定のフレーム画像に対応する画像説明文に反映することを可能とすることができる。言い換えると、情報処理装置１００は、一つ前のフレーム画像から所定のフレーム画像にかけて行われている動作の継続性を所定のフレーム画像に対応する画像説明文に反映することを可能とすることができる。すなわち、情報処理装置１００は、一つ前のフレーム画像から所定のフレーム画像にかけて行われている継続動詞に対応する動作を所定のフレーム画像に対応する画像説明文に反映しやすくすることを可能とすることができる。
【0083】
また、文章生成部１３４は、画像から画像の内容を説明する文章である画像説明文を生成する機械学習モデルである第２の文章生成モデルに含まれるエンコーダの入力情報として、次のフレーム画像を入力し、エンコーダの出力情報として出力される画像特徴量を生成し、第２の文章生成モデルに含まれるデコーダの入力情報として、画像特徴量および文章の始まりを示す特殊文字列を入力し、デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、動作情報に対応する動作文字列の出現確率を高くするように条件付き確率分布を重み付けし、デコーダの出力情報として出力される次画像説明文を生成する。
【0084】
このように、情報処理装置１００は、所定のフレーム画像の内容を説明する画像説明文を生成する際に、所定のフレーム画像よりも一つ前のフレーム画像に含まれる対象物の動作に関する動作情報に対応する動作文字列の出現確率を高くするように条件付き確率分布を重み付けする。これにより、情報処理装置１００は、一つ前のフレーム画像で行われていた動作に対応する動作文字列が出現しやすい画像説明文を生成可能とすることができる。言い換えると、情報処理装置１００は、一つ前のフレーム画像から所定のフレーム画像にかけて行われている動作の継続性を所定のフレーム画像に対応する画像説明文に反映することを可能とすることができる。すなわち、情報処理装置１００は、一つ前のフレーム画像から所定のフレーム画像にかけて行われている継続動詞に対応する動作を所定のフレーム画像に対応する画像説明文に反映しやすくすることを可能とすることができる。
【0085】
また、文章生成部１３４は、対象動画を構成する複数のフレーム画像それぞれの内容を説明する複数の画像説明文および対象動画の対象音声データに対応する対象文字データを生成し、複数の画像説明文および対象文字データに基づいて、複数の画像説明文および対象文字データを要約した文章である要約文を生成し、要約文に基づいて、対象動画の内容を説明する文章である対象動画説明文を生成する。
【0086】
これにより、情報処理装置１００は、対象動画を構成する複数のフレーム画像それぞれの内容と対象動画の対象音声データの内容とを網羅的に反映した対象動画説明文を生成することができる。
【0087】
また、文章生成部１３４は、音声データから音声データに対応する文字データを生成する機械学習モデルである音声テキスト変換モデルを用いて、対象音声データから対象文字データを生成する。
【0088】
これにより、情報処理装置１００は、対象音声データから対象文字データを効率よく生成することができる。
【0089】
また、推定部１３２は、一のフレーム画像に関する画像特徴量を入力情報として分類器に入力し、画像特徴量に対応する動作ラベルであって、分類器の出力情報として出力された動作ラベルに基づいて、動作情報を推定する。
【0090】
これにより、情報処理装置１００は、動作情報を適切に推定することができる。
【0091】
また、推定部１３２は、一のフレーム画像のうち、一の対象物が撮像された第１領域に関する第１特徴量と、一の対象物とは異なる他の対象物が撮像された第２領域に関する第２特徴量と、第１領域と第２領域とが重なる領域である交差領域に関する交差特徴量と、第１領域と第２領域の両方を含む領域である結合領域に関する結合特徴量とに基づいて生成された濃縮特徴量を入力情報として分類器に入力し、濃縮特徴量に対応する動作ラベルであって、分類器の出力情報として出力された動作ラベルに基づいて、動作情報を推定する。
【0092】
これにより、情報処理装置１００は、動作情報を適切に推定することができる。
【0093】
また、情報処理装置１００は、推定部１３２とモデル生成部１３３を備える。推定部１３２は、学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する。モデル生成部１３３は、一のフレーム画像の次のフレーム画像および動作情報を入力情報として入力した場合に、次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習された機械学習モデルである第１の文章生成モデルを生成する。
【0094】
これにより、情報処理装置１００は、前のフレーム画像に含まれる対象物の動作に関する動作情報を各フレーム画像の画像説明文に反映することを可能とすることができる。すなわち、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文を生成可能とすることができる。また、情報処理装置１００は、例えば、前のフレーム画像に含まれる対象物の動作に関する動作情報を反映した各フレーム画像の画像説明文に基づいて、動画説明文を生成可能とすることができる。すなわち、情報処理装置１００は、例えば、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文に基づいて、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができる。したがって、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができる。また、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができるので、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。
【0095】
また、推定部１３２は、学習用動画を構成する一のフレーム画像に含まれる対象物の動作に関する動作情報を推定する。モデル生成部１３３は、一のフレーム画像の次のフレーム画像を入力情報としてエンコーダに入力した場合に、次のフレーム画像に対応する画像特徴量を出力情報として出力するように学習されたエンコーダと、画像特徴量および文章の始まりを示す特殊文字列を入力情報としてデコーダに入力した場合に、デコーダが逐次出力する各文字列の出現確率に関する条件付き確率分布のうち、動作情報に対応する動作文字列の出現確率を高くするように条件付き確率分布を重み付けし、次のフレーム画像の内容を説明する文章である次画像説明文を出力情報として出力するように学習されたデコーダと、を含む機械学習モデルである第２の文章生成モデルを生成する。
【0096】
これにより、情報処理装置１００は、前のフレーム画像に含まれる対象物の動作に関する動作情報を各フレーム画像の画像説明文に反映することを可能とすることができる。すなわち、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文を生成可能とすることができる。また、情報処理装置１００は、例えば、前のフレーム画像に含まれる対象物の動作に関する動作情報を反映した各フレーム画像の画像説明文に基づいて、動画説明文を生成可能とすることができる。すなわち、情報処理装置１００は、例えば、動画の各場面におけるアクションの時間的な変化を反映した各フレーム画像の画像説明文に基づいて、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができる。したがって、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができる。また、情報処理装置１００は、動画の各場面におけるアクションの時間的な変化を反映した動画説明文を生成可能とすることができるので、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。
【0097】
〔６．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
また、上述してきた実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
【0098】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0099】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0100】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0101】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0102】
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0103】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0104】
〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0105】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0106】
例えば、上述した実施形態では、情報処理装置１００が、取得部１３１と、推定部１３２と、モデル生成部１３３と、文章生成部１３４を機能部として有する場合について説明したが、各部はそれぞれ別々の装置に分散して構成することができる。例えば、情報処理装置１００は、文章を生成する情報処理装置として、取得部１３１と、推定部１３２と、文章生成部１３４を機能部として有することができる。また、情報処理装置１００以外の情報処理装置（以下、「生成装置」と記載する）は、文章生成モデルを生成する情報処理装置として、取得部１３１と、推定部１３２と、モデル生成部１３３を機能部として有することができる。このとき、情報処理装置１００と生成装置とは、各種ネットワークと有線または無線で接続され、相互に情報の送受信を行ってよい。例えば、情報処理装置１００は、生成装置によって生成された文章生成モデルに関する情報を生成装置から受信してよい。
【0107】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【符号の説明】
【0108】
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ モデル生成部
１３４ 文章生成部
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ モデル生成部
１３４ 文章生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】