(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024074096
(43)【公開日】2024-05-30
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240523BHJP
G06T 1/00 20060101ALI20240523BHJP
【FI】
G06N20/00
G06T1/00 200C
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022185166
(22)【出願日】2022-11-18
(71)【出願人】
【識別番号】500257300
【氏名又は名称】LINEヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】朝日 勝雅
(72)【発明者】
【氏名】中村 友一
(72)【発明者】
【氏名】江口 悠香
(72)【発明者】
【氏名】山口 寛
(72)【発明者】
【氏名】岩▲瀬▼張 太士
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050AA03
5B050BA10
5B050CA07
5B050CA08
5B050FA02
5B050GA08
(57)【要約】
【課題】適切な画像の生成を行う。
【解決手段】本願に係る情報処理装置は、取得部と、第1生成部と、第2生成部とを有する。取得部は、画像生成の対象となる紹介対象に関する紹介対象情報を取得する。第1生成部は、紹介対象情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する。第2生成部は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報から紹介対象を紹介する画像である紹介画像を生成する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
画像生成の対象となる紹介対象に関する紹介対象情報を取得する取得部と、
前記紹介対象情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成部と、
文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記紹介対象を紹介する画像である紹介画像を生成する第2生成部と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記第2生成部は、
文字情報が入力された場合、当該文字情報に対応する前記画像を出力する前記画像生成モデルを用いて、前記紹介画像を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記取得部は、
前記紹介対象となる書籍に関する前記紹介対象情報を取得する
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記取得部は、
前記書籍に含まれる文章である前記紹介対象情報を取得する
ことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記第1生成部は、
前記紹介対象情報から文字情報を抽出することにより、前記対象文字情報を生成する
ことを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記第1生成部は、
前記紹介対象情報のうち重要度が高い文字情報を抽出することにより、前記対象文字情報を生成する
ことを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記第1生成部は、
文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、前記対象文字情報を生成する
ことを特徴とする請求項4に記載の情報処理装置。
【請求項8】
前記第1生成部は、
文字情報が入力された場合、当該文字情報に対応する前記文字列を出力する前記テキスト生成モデルを用いて、前記対象文字情報を生成する
ことを特徴とする請求項7に記載の情報処理装置。
【請求項9】
前記第1生成部は、
前記紹介対象情報を前記テキスト生成モデルに入力し、前記テキスト生成モデルが出力した出力情報を用いて、前記対象文字情報を生成する
ことを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記第2生成部は、
前記書籍の内容を紹介する前記紹介画像を生成する
ことを特徴とする請求項3に記載の情報処理装置。
【請求項11】
前記第2生成部は、
前記書籍に含まれる前記文章の内容を紹介する前記紹介画像を生成する
ことを特徴とする請求項4に記載の情報処理装置。
【請求項12】
前記第2生成部により生成された前記紹介画像を提供する提供部、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項13】
前記提供部は、
前記紹介画像を外部装置に送信する
ことを特徴とする請求項12に記載の情報処理装置。
【請求項14】
前記提供部は、
前記紹介画像を表示する
ことを特徴とする請求項12に記載の情報処理装置。
【請求項15】
前記提供部は、
前記紹介画像を含むコンテンツを提供する
ことを特徴とする請求項12に記載の情報処理装置。
【請求項16】
前記提供部は、
前記紹介対象の販売を促進するための前記コンテンツを提供する
ことを特徴とする請求項15に記載の情報処理装置。
【請求項17】
コンピュータが実行する情報処理方法であって、
画像生成の対象となる紹介対象に関する紹介対象情報を取得する取得工程と、
前記紹介対象情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成工程と、
文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記紹介対象を紹介する画像である紹介画像を生成する第2生成工程と、
を含むことを特徴とする情報処理方法。
【請求項18】
画像生成の対象となる紹介対象に関する紹介対象情報を取得する取得手順と、
前記紹介対象情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成手順と、
文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記紹介対象を紹介する画像である紹介画像を生成する第2生成手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、テキスト等の種々の情報に基づいて画像を生成する技術が提供されている。例えば、推薦画像に含まれる対象物を組み合わせる対象としてユーザによって選択された画像に基づいて、推薦画像を出力(生成)する技術が提供されている。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【非特許文献1】“A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis”,Jorge Agnese, Jonathan Herrera, Haicheng Tao and Xingquan Zhu<インターネット>https://arxiv.org/pdf/1910.09399.pdf(令和4年11月9日検索)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の従来技術には改善の余地がある。上記の従来技術では、組み合わせる対象としてユーザが選択した画像に基づいて画像を生成しているに過ぎず、ユーザが画像を選択していない場合等、適切に画像を生成することが難しい場合がある。そのため、画像の生成に用いる情報を生成し、生成した情報を基に画像を生成することで適切な画像の生成を行うことが望まれている。
【0006】
本願は、上記に鑑みてなされたものであって、適切な画像の生成を行う情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本願に係る情報処理装置は、画像生成の対象となる紹介対象に関する紹介対象情報を取得する取得部と、前記紹介対象情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成部と、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記紹介対象を紹介する画像である紹介画像を生成する第2生成部と、を備えることを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、適切な画像の生成を行うことができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施形態に係る情報処理の一例を示す図である。
【
図2】
図2は、実施形態に係る情報処理システムの構成例を示す図である。
【
図3】
図3は、実施形態に係る情報処理装置の構成例を示す図である。
【
図4】
図4は、実施形態に係るモデル情報記憶部の一例を示す図である。
【
図5】
図5は、実施形態に係る情報処理の一例を示すフローチャートである。
【
図6】
図6は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
(実施形態)
〔1.情報処理〕
まず、
図1を用いて、実施形態に係る情報処理の一例について説明する。
図1は、実施形態に係る情報処理の一例を示す図である。
図1では、情報処理システム1が書籍を紹介対象として、その書籍に対応する画像を生成する場合を一例として説明する。なお、書籍は紹介対象の一例に過ぎず、紹介対象は、書籍に限らず、任意の対象であってもよいが、この点については後述する。また、以下では、情報処理システム1に含まれる装置のうち端末装置10を画像の生成の処理主体として説明するが、画像の生成処理等の各種処理は、例えばサーバ装置50等の情報処理システム1のいずれの装置が行ってもよいが、この点については後述する。
【0012】
〔1-1.情報処理システムの構成〕
図1の説明に先だって、
図2を用いて、以下に示す情報処理を実現する情報処理システム1の構成について説明する。
図2は、実施形態に係る情報処理システムの構成例を示す図である。
図2に示すように、情報処理システム1には、複数の端末装置10と、サーバ装置50とが含まれる。端末装置10と、サーバ装置50とは所定のネットワークNを介して、有線または無線により通信可能に接続される。なお、
図2に示した情報処理システム1には、複数の端末装置10や複数のサーバ装置50が含まれてもよい。
【0013】
端末装置10は、ユーザによって利用されるコンピュータ(情報処理装置)である。例えば、端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。以下では、端末装置10をユーザと表記する場合がある。すなわち、ユーザを端末装置10と読み替えることもできる。以下では、端末装置10がスマートフォンである場合を一例として示す。
【0014】
端末装置10は、画像生成の対象となる紹介対象に関する紹介対象情報に基づいて、画像生成に用いられる文字情報(「対象文字情報」ともいう)を生成する。また、端末装置10は、文字情報(「テキスト」ともいう)から画像を生成するように学習が行われた学習モデル(「画像生成モデル」ともいう)を用いて、対象文字情報から紹介対象を紹介する画像(「紹介画像」ともいう)を生成する。
【0015】
また、端末装置10は、各種の情報を表示する。例えば、端末装置10は、各種のアプリケーションにより各種情報を表示する。例えば、端末装置10は、ウェブコンテンツ等のコンテンツを表示する。端末装置10は、画像生成処理により生成された画像を表示する。
【0016】
端末装置10は、コンテンツの表示に関する種々の従来技術が適宜用いて、コンテンツの表示に関する種々の処理を制御情報等により実行してもよい。端末装置10は、コンテンツの表示に関する種々の処理を制御情報により実行してもよい。端末装置10は、制御情報として、ウェブブラウザ等の所定のアプリケーション上で実行されるスクリプトを取得し、取得したスクリプトを実行してもよい。このような制御情報は、実施形態に係る表示プログラム等に対応するものであり、例えば、CSS(Cascading Style Sheets)、JavaScript(登録商標)、HTML(HyperText Markup Language)、あるいは、上述した表示処理等を記述可能な任意の言語によって実現される。以下、実施形態に係る表示プログラムに従って上述した表示処理等を実行する端末装置10等について、詳細に説明する。
【0017】
サーバ装置50は、端末装置10が処理に用いる各種情報を提供するコンピュータ(情報処理装置)である。例えば、サーバ装置50は、情報処理システム1の管理者等により管理されるサーバである。なお、サーバ装置50が画像生成の処理を行ってもよいがこの点については後述する。
【0018】
サーバ装置50は、ユーザに対して各種の情報を提供する。サーバ装置50は、ユーザが利用する端末装置10に各種の情報を送信する。例えば、サーバ装置50は、ウェブコンテンツ等の各種のコンテンツを配信する。サーバ装置50は、端末装置10から各種の情報の提供の要求を受け付け、受け付けた要求に対応する情報を端末装置10に送信する。例えば、サーバ装置50は、端末装置10からウェブコンテンツの配信の要求を受け付け、受け付けたウェブコンテンツを端末装置10に配信する。
【0019】
例えば、サーバ装置50は、端末装置10に処理に用いる各種情報を提供する。サーバ装置50は、端末装置10に画像生成モデル等の各種のモデルを配信してもよい。なお、モデルの配信は、サーバ装置50以外の装置が行ってもよい。
【0020】
〔1-2.情報処理システムにおける処理の全体概要〕
ここから、
図1を用いて、情報処理システム1が行う情報処理の一例について説明する。なお、情報処理システム1において行なわれる情報処理について、画像生成に関する従来の処理と同様の点についての詳細な説明は適宜省略する。
【0021】
図1では、端末装置10は、紹介対象となる書籍T1に関する紹介対象情報を取得する。例えば、端末装置10は、書籍T1に含まれる文章であるテキスト「XXXXXX」を紹介対象情報BW1として取得する。なお、
図1では、テキスト「XXXXXX」、「YYYYYY」という抽象的な文字列で示すが、各テキストは具体的な内容を示すテキストであるものとする。例えば、テキスト「XXXXXX」は、「…トンネルを抜けると雪国で…」等といった具体的な内容を含むテキストであり、書籍T1中の段落等、書籍T1の一部分に対応する。
【0022】
また、端末装置10は、紹介対象情報からテキストを生成するテキスト生成モデルM1(単に「モデルM1」ともいう)をサーバ装置50から取得する。例えば、モデルM1は、各種の要約技術を用いて学習されたテキスト生成モデルである。モデルM1は、文字情報を入力として、その文字情報に対応するテキストを出力するテキスト生成モデルである。例えば、モデルM1は、入力された文字情報から、特徴的な文字列等、重要度が高い文字情報を抽出し、後述する画像生成モデルM2への入力として適切なテキスト(「サモンワード」等ともいう)を出力する。なお、端末装置10は、モデルM1を学習する場合、モデルM1の学習処理に用いるデータ(学習データ)をサーバ装置50等から取得し、学習データを用いてモデルM1を学習してもよいが、この点については後述する。
【0023】
端末装置10は、紹介対象情報BW1を入力情報としてモデルM1に入力する(ステップS1-1)。
図1では、端末装置10は、書籍T1の文章であるテキスト「XXXXXX」を入力情報としてモデルM1に入力する。入力情報が入力されたモデルM1は、対象文字情報AW1を出力する(ステップS1-2)。
図1では、書籍T1の紹介対象情報BW1が入力されたモデルM1は、対象文字情報AW1に示すように、テキスト「YYYYYY」を出力する。例えば、テキスト「YYYYYY」は、「トンネル」、「雪」等といった特徴的な文字列を含むテキストであり、画像生成モデルM2への入力として適切なテキストである。これにより、端末装置10は、モデルM1を用いることにより、紹介対象情報BW1から、画像生成モデルM2への入力として適切なテキストである対象文字情報AW1を生成する。
【0024】
そして、端末装置10は、テキストを入力情報として、そのテキストに対応する画像を生成して出力する画像生成モデルM2(単に「モデルM2」ともいう)を用いて、画像を生成する。端末装置10は、対象文字情報AW1を入力情報としてモデルM2に入力する(ステップS2-1)。
図1では、端末装置10は、画像生成モデルM2への入力として適切なテキスト「YYYYYY」を入力情報としてモデルM2に入力する。
【0025】
入力情報が入力されたモデルM2は、入力されたテキストに対応する画像を出力する(ステップS2-2)。
図1では、対象文字情報AW1が入力されたモデルM2は、書籍T1のテキスト「XXXXXX」に対応する紹介画像IM1を出力する。例えば、紹介画像IM1は、テキスト「XXXXXX」の内容を描写(可視化)した画像であり、例えばトンネル及び雪景色を含む画像である。このように、端末装置10は、紹介対象情報BW1に対応する対象文字情報AW1を用いて、書籍T1を紹介する紹介画像IM1を生成する。
【0026】
上述したように、端末装置10は、モデルM1を用いて、紹介対象情報を、モデルM2への入力として適切な態様に変換された対象文字情報を生成し、生成した対象文字情報をモデルM2への入力とすることにより、適切な画像の生成を行うことができる。なお、
図1では説明のために、風景のような具体的な内容が描写対象である場合を一例として説明したが、紹介対象情報が抽象的な内容である場合、生成される画像も抽象的なイメージの描写であってもよい。
【0027】
〔1-3.システム構成〕
なお、上述した情報処理システム1の構成は一例に過ぎず、情報処理システム1は、任意の装置構成及び機能の分配が採用可能である。
図1では、端末装置10が画像を生成する情報処理装置である場合を一例として説明したが、情報処理システム1では、画像の生成は、ユーザが利用する端末装置10以外の情報処理装置が行ってもよい。例えば、情報処理システム1では、画像の生成は、サーバ装置50等のサーバ装置(情報処理装置)が行ってもよい。
【0028】
この場合、情報処理システム1では、サーバ装置50は、
図1に示す処理により紹介対象を紹介する画像(紹介画像)を生成する。そして、サーバ装置50は、生成した紹介画像をユーザが利用する端末装置10に送信することにより、ユーザに生成した画像を提供してもよい。そして、ユーザが利用する端末装置10は、サーバ装置50から受信した紹介画像を表示してもよい。
【0029】
このように、情報処理システム1では、画像を表示する情報処理装置(例えば端末装置10)と、画像を生成する情報処理装置(例えばサーバ装置50)とは別体であってもよい。例えば、情報処理システム1では、サーバ装置50が端末装置10を使用するユーザに提供する画像を生成し、提供する提供装置(情報処理装置)であり、端末装置10がサーバ装置50から提供された画像を表示する表示装置であってもよい。なお、上述した情報処理システム1の構成は一例に過ぎず、情報処理システム1は、上記に限らず、任意の装置構成及び機能の分配が採用可能である。
【0030】
〔1-4.その他の例〕
上述した処理は一例に過ぎず、情報処理システム1は、様々な情報を用いて画像を生成したり、生成した画像をユーザに提供したりしてもよい。なお、情報処理システム1が処理の主体として記載されている処理については、情報処理システム1に含まれる端末装置10やサーバ装置50等のいずれの装置(情報処理装置)が行ってもよい。
【0031】
例えば、情報処理システム1は、生成した画像を用いて様々なサービスを提供してもよい。情報処理システム1は、紹介画像を提供する。例えば、端末装置10は、紹介画像をサーバ装置50等の外部装置に送信する。例えば、端末装置10は、紹介画像を表示する。
【0032】
例えば、情報処理システム1は、紹介画像を含むコンテンツを提供する。例えば、端末装置10は、紹介画像を含むコンテンツを生成し、生成したコンテンツを提供する。例えば、端末装置10は、紹介画像を含むコンテンツを表示する。例えば、端末装置10は、紹介対象の販売を促進するためのコンテンツを表示する。例えば、端末装置10は、紹介対象の販売する商取引サイト等へユーザを誘導するコンテンツ(販売コンテンツ)を生成し、生成した販売コンテンツを提供する。端末装置10は、紹介対象の販売する商取引サイト等へのリンク(URL等)が貼られた販売コンテンツを生成し、生成した販売コンテンツを提供する。
【0033】
上述したように、情報処理システム1は、画像生成モデルで本(書籍)を説明する画像を生成する。情報処理システム1は、紹介対象の書籍に含まれるテキストから、重要度が高いテキストを抽出する。情報処理システム1は、テキストから画像を生成するように学習が行われたモデルを用いて、抽出したテキストから画像を生成する。情報処理システム1は、書籍を紹介するコンテンツとして、生成した画像を含むコンテンツを提供する。
【0034】
このように、情報処理システム1は、紹介対象の書籍から重要度が高いテキストを抽出する。情報処理システム1は、各種要約技術を用いて、テキスト抽出を行う。情報処理システム1は、抽出したテキストを画像生成モデルに入力して画像生成を行う。情報処理システム1生成した画像を含むコンテンツであって、書籍を紹介するコンテンツとして提供する。なお、コンテンツは、上記のように販売に関する販売コンテンツであってもよい。
【0035】
例えば、情報処理システム1は、パラグラム、センテンス、章、場面等の任意の単位に基づいて、その単位ごとに画像を生成してもよい。例えば、情報処理システム1は、書籍種別に応じて異なる手法により画像を生成してもよい。例えば、情報処理システム1は、書籍が小説である場合、パラグラムごとに画像を生成してもよい。また、例えば、情報処理システム1は、書籍がエッセイである場合、全体を対象として画像を生成してもよい。
【0036】
例えば、情報処理システム1は、パラグラムごとに画像を生成し、生成した画像群の中で適切な画像を選択してもよい。例えば、情報処理システム1は、会話のシーンや情景のシーン等、シーンの種別に応じて画像の生成を行ってもよい。例えば、情報処理システム1は、小説におけるシーン(場面)を認識して分割し、各シーンの画像を生成してもよい。例えば、情報処理システム1は、書籍の種別に応じて、異なる種別の画像を生成する画像生成モデルを用いてもよい。例えば、情報処理システム1は、書籍が自己啓発本である場合、抽象画を生成する画像生成モデルを用いて画像を生成してもよい。
【0037】
例えば、情報処理システム1は、章における文ごとに画像を生成し、生成した画像群からその章に適した画像を選択してもよい。例えば、情報処理システム1は、ユーザの嗜好を学習してもよい。例えば、情報処理システム1は、ユーザ属性に応じて画像を生成し、提供してもよい。例えば、情報処理システム1は、本の種別ごとに画像を生成し、提供してもよい。
【0038】
例えば、情報処理システム1は、説明文を生成するモデル(「説明文モデル」ともいう)をテキスト生成モデルとして学習してもよい。この場合、情報処理システム1は、テキスト生成モデルが出力した説明文を入力した際に、より適切な画像が出力するように画像生成モデルを学習してもよい。例えば、情報処理システム1は、書籍のテキストを入力した際に説明文を出力するように説明文モデルを生成する。例えば、情報処理システム1は、生成した説明文モデルから、接続係数が異なる複数の説明文モデルで説明文を生成し、この説明文で画像生成モデルから画像を生成してもよい。
【0039】
例えば、情報処理システム1は、画像に対するユーザの評価を受け付けてもよい。例えば、情報処理システム1は、ユーザの評価が高い画像を生成可能な説明文モデルを採用してもよい。例えば、情報処理システム1は、説明文モデルからさらに異なる複数の説明文モデルを生成して、上述した処理を繰り返してもよい。
【0040】
例えば、情報処理システム1は、説明文を適切に作成できる人(ユーザ)に書籍に対応する説明文を作ってもらい、この人の説明文を正解データとして説明文モデルを学習することで、適切な説明文を生成する説明文モデルを生成してもよい。例えば、情報処理システム1は、動画像(動画)を生成してもよい。例えば、情報処理システム1は、テキスト(文言)から動画を生成してもよい。この場合、例えば、情報処理システム1は、途中のシーンが動画になるコンテンツを提供してもよい。
【0041】
例えば、情報処理システム1は、大人向けの画像(挿絵)と子供向けの画像(挿絵)の各々を異なる画像生成モデルで生成してもよい。例えば、情報処理システム1は、ユーザ(読み手)の嗜好に合う(好きそうな)シーンを画像化してもよい。また、例えば、情報処理システム1は、ユーザ(読み手)の好きそうな画像になるようにテキストを生成してもよい。例えば、情報処理システム1は、描写の詳細性を、年齢が上がるごとに上げてもよい。
【0042】
例えば、情報処理システム1は、紹介対象のカテゴリごとに画風を変更してもよい。例えば、情報処理システム1は、ユーザの嗜好に合う(好きそうな)画風で画像を生成してもよい。また、例えば、情報処理システム1は、カテゴリとユーザの組合せ、ユーザが読んだ書籍とユーザの組合せ等に応じて画風を決定し、決定した画風の画像を生成してもよい。この場合、例えば、情報処理システム1は、画像のスタイルを変換するモデル(スタイル変換モデル)を用いて、画風を変更してもよい。例えば、例えば、情報処理システム1は、生成した紹介画像を所望のスタイルに変換するスタイル変換モデルに入力することにより、画風を変更した紹介画像を生成してもよい。
【0043】
例えば、情報処理システム1は、カテゴリに応じて、生成する画像を異ならせてもよい。例えば、情報処理システム1は、ブログの場合、ポスターを画像として生成してもよい。例えば、情報処理システム1は、小説の場合、内容を再現した画像を生成してもよい。例えば、情報処理システム1は、漫画を生成してもよい。例えば、情報処理システム1は、擬音等の効果音を決定して、キーワードを含めた画像を生成し、提供してもよい。例えば、情報処理システム1は、作家を推定して、推定した作家に対応する画像を生成し、提供してもよい。
【0044】
例えば、情報処理システム1は、オーディオブック等、音声により朗読される書籍、いわゆる聴く本を対象として処理を行ってもよい。この場合、情報処理システム1は、ユーザが利用する端末装置10で音声出力されている文章を対象として画像(「音声出力対応画像」ともいう)の生成を行い、端末装置10は、その文章が音声出力されている間、その文章に対応する音声出力対応画像を表示してもよい。例えば、情報処理システム1は、段落や章等、書籍の部分ごとに音声出力対応画像の生成を行い、端末装置10で書籍が音声出力されている間、その書籍の音声出力部分に対応する音声出力対応画像を端末装置10に表示させてもよい。
【0045】
なお、上記は一例に過ぎず、紹介対象は、書籍に限らず、任意の対象であってもよい。例えば、紹介対象は、広告を行いたい商品、サービス等の対象(広告対象)であってもよい。また、例えば、紹介対象は、紹介対象を紹介したニュース、記事、エッセイ、ブログ、デジタルサイネージ等であってもよい。例えば、紹介対象が広告対象である場合、キャッチコピーであってもよい。例えば、情報処理システム1は、広告対象の情報をモデルM1に入力することにより、広告対象に対応するテキスト(キャッチコピー)を生成し、生成したキャッチコピーをモデルM2に入力することにより、広告対象に対応する広告画像を紹介画像として生成してもよい。なお、上記は一例に過ぎず、情報処理システム1は、任意の対象について、紹介画像を生成してもよい。
【0046】
また、情報処理システム1は、生成した紹介画像を様々なサービスに利用してもよい。情報処理システム1は、紹介画像を検索に用いてもよい。例えば、情報処理システム1は、紹介画像を用いた検索処理により抽出した類似画像をユーザに提供してもよい。例えば、端末装置10は、紹介画像を用いた検索処理により抽出した類似画像を表示してもよい。例えば、サーバ装置50は、紹介画像を用いた検索処理により抽出した類似画像をユーザが利用する端末装置10に送信してもよい。
【0047】
〔2.情報処理装置の構成〕
次に、
図3を用いて、情報処理装置の一例である端末装置10の構成について説明する。
図3は、実施形態に係る情報処理装置の構成例を示す図である。
図3に示すように、端末装置10は、通信部11と、入力部12と、出力部13と、記憶部14と、制御部15とを有する。なお、端末装置10は、音声による入出力インターフェイスとなるマイク(音センサ)やスピーカを有してもよい。例えば、端末装置10は、音センサやスピーカが外部接続等により通信可能に接続されてもよい。
【0048】
(通信部11)
通信部11は、例えば、通信回路等によって実現される。そして、通信部11は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部11は、所定のネットワークN(
図2参照)と有線または無線で接続され、サーバ装置50との間で情報の送受信を行う。
【0049】
(入力部12)
入力部12は、ユーザから各種操作が入力される。例えば、入力部12は、タッチパネル機能により表示面(例えば出力部13)を介してユーザからの各種操作を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0050】
(出力部13)
出力部13は、情報を表示する画面である。例えば、出力部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。出力部13は、タッチパネルの画面として機能してもよい。
【0051】
(記憶部14)
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、例えば、端末装置10にインストールされているアプリケーション(例えば画像生成アプリケーション等)に関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部14は、
図3に示すように、モデル情報記憶部141と、生成用情報記憶部142と、ユーザ情報記憶部143とを有する。なお、記憶部14は、上記以外にも様々な情報を記憶してもよい。例えば、記憶部14は、生成された画像を記憶してもよい。また、記憶部14は、端末装置10が複数の画像を表示するために用いる情報を記憶してもよい。記憶部14は、端末装置10がどの画像を表示するかを決定するために用いる情報を記憶してもよい。例えば、記憶部14は、画像の表示順序を示す情報を記憶してもよい。
【0052】
(モデル情報記憶部141)
実施形態に係るモデル情報記憶部141は、モデルに関する情報を記憶する。例えば、モデル情報記憶部141は、学習処理により学習(生成)された学習済みモデル(モデル)の情報(モデルデータ)を記憶する。
図4に示すモデル情報記憶部141は、学習に用いたデータ(学習データ)を学習済みモデル(モデル)に対応付けて記憶する。
図4は、実施形態に係るモデル情報記憶部の一例を示す図である。
図4に示した例では、モデル情報記憶部141は、「モデルID」、「用途」、「モデルデータ」、「学習データ」といった項目が含まれる。
図4の例では、モデル情報記憶部141は、学習に用いたデータ(学習データ)を学習済みモデル(モデル)に対応付けて記憶する。
【0053】
「モデルID」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。
図4等では「モデルデータ」に「MDT1」といった概念的な情報が格納される例を示したが、実際には、モデルの構成(ネットワーク構成)の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。
【0054】
「学習データ」は、学習済みモデル(モデル)の学習に用いられたデータを示す。「学習データ」には、対応するモデルの学習に用いられたデータセットを示す情報が記憶される。例えば、「学習データ」は、データ(入力情報)とそのデータに対応する正解情報(出力情報)とを対応付けて、学習データ(「学習データ」ともいう)として記憶する。
図4では「学習データ」に「LDT1」といった概念的な情報が格納される例を示したが、実際には、データ(入力情報)とそのデータに対応する正解情報(出力情報)等、対応するモデルの学習に用いられたデータに関する種々の情報が含まれる。
【0055】
図4では、モデルID「M1」により識別されるモデル(モデルM1)は、用途が「テキスト生成」であることを示す。すなわち、モデルM1は、入力された文字情報(テキスト)に対応するテキストを出力(生成)するモデルであることを示す。また、モデルM1のモデルデータは、モデルデータMDT1であることを示す。また、モデルM1の学習に用いられた学習データは、学習データLDT1であることを示す。
【0056】
また、モデルID「M2」により識別されるモデル(モデルM2)は、用途が「画像生成」であることを示す。すなわち、モデルM2は、文字情報に対応する画像を出力するモデルであることを示す。また、モデルM2のモデルデータは、モデルデータMDT2であることを示す。また、モデルM2の学習に用いられた学習データは、学習データLDT2であることを示す。
【0057】
なお、モデル情報記憶部141は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0058】
(生成用情報記憶部142)
実施形態に係る生成用情報記憶部142は、画像生成に関する各種情報を記憶する。例えば、生成用情報記憶部142は、ユーザに提供する画像の生成に用いる各種情報を記憶する。
【0059】
生成用情報記憶部142は、画像を含むコンテンツを生成するために生成に用いる各種情報を記憶する。生成用情報記憶部142は、紹介対象の画像を含むコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、所定の音楽を含むコンテンツの生成に用いる各種情報を記憶する。例えば、生成用情報記憶部142は、コンテンツに付与される所定の音楽の音源(音楽データ)を記憶する。生成用情報記憶部142は、特殊効果を含むコンテンツの生成に用いる各種情報を記憶する。例えば、生成用情報記憶部142は、コンテンツに付与される特殊効果のデータ(エフェクトデータ)を記憶する。
【0060】
生成用情報記憶部142は、紹介対象の画像を含む動画であるコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、紹介対象の名称を含むコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、紹介対象の価格を含むコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、紹介対象の説明文を含むコンテンツの生成に用いる各種情報を記憶する。
【0061】
例えば、生成用情報記憶部142は、端末装置10等の表示装置に表示されるコンテンツの生成に用いる情報を記憶する。例えば、生成用情報記憶部142は、コンテンツの生成に用いる画像情報を記憶する。例えば、生成用情報記憶部142は、JPEG(Joint Photographic Experts Group)やGIF(Graphics Interchange Format)やPNG(Portable Network Graphics)など様々な形式の画像を、コンテンツの生成に用いる画像情報として記憶してもよい。また、生成用情報記憶部142は、CSSやJavaScriptやHTMLの形式の情報を、コンテンツの生成に用いる画像情報として記憶してもよい。
【0062】
なお、生成用情報記憶部142は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0063】
(ユーザ情報記憶部143)
実施形態に係るユーザ情報記憶部143は、ユーザに関する各種情報を記憶する。ユーザ情報記憶部143は、端末装置10を利用するユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部143は、ユーザ属性に関する各種情報やユーザの行動に関する各種情報を記憶する。
【0064】
ユーザ情報記憶部143は、ユーザの行動予定等の未来行動に関する情報を記憶する。例えば、ユーザ情報記憶部143は、ユーザがカレンダーアプリケーション(単に「カレンダー」ともいう)に登録した行動予定(スケジュール)に関する情報を記憶する。ユーザ情報記憶部143は、ユーザのカレンダー等のユーザの予定(スケジュール)に関するスケジュール情報を記憶する。
【0065】
ユーザ情報記憶部143は、ユーザの行動履歴等の過去行動に関する情報を記憶する。ユーザ情報記憶部143は、ユーザのインターネット上における行動等の各種の行動情報を記憶する。ユーザ情報記憶部143は、ユーザの年齢、性別、住所、勤務地等の各種の属性情報を記憶する。例えば、ユーザ情報記憶部143は、興味関心を示す対象等、ユーザの嗜好(好み)に関する情報を記憶する。
【0066】
なお、ユーザ情報記憶部143は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報記憶部143は、他のデモグラフィック属性情報やサイコグラフィック属性情報を記憶してもよい。例えば、ユーザ情報記憶部143は、氏名、家族構成、収入、ライフスタイル等の情報を記憶してもよい。また、ユーザ情報記憶部143は、ユーザが利用する端末装置10を識別する情報(端末ID)を記憶してもよい。
【0067】
(制御部15)
制御部15は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置10内部の記憶部14などの記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムは、情報処理を行うアプリケーションのプログラムが含まれる。また、制御部15は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0068】
図3に示すように、制御部15は、取得部151と、学習部152と、第1生成部153と、第2生成部154と、表示部155と、送信部156とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、
図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0069】
(取得部151)
取得部151は、各種情報を取得する。例えば、取得部151は、記憶部14から各種情報を取得する。例えば、取得部151は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等から各種情報を取得する。また、取得部151は、各種情報を外部の情報処理装置から取得してもよい。
【0070】
例えば、取得部151は、サーバ装置50から各種情報を取得する。例えば、取得部151は、サーバ装置50から処理に用いる各種情報を取得する。例えば、取得部151は、サーバ装置50からモデルM1、M2等のモデルを取得する。
【0071】
取得部151は、各種情報を受け付ける。取得部151は、ユーザによる各種操作を受け付ける。例えば、取得部151は、入力部12によりユーザによる各種操作を受け付ける。取得部151は、ユーザの操作を受け付ける。取得部151は、ユーザが画面に接触させた指を移動させる操作を受け付ける。取得部151は、表示中のコンテンツを選択する操作を受け付ける。
【0072】
取得部151は、画像生成の対象となる紹介対象に関する紹介対象情報を取得する。取得部151は、紹介対象となる書籍に関する紹介対象情報を取得する。取得部151は、書籍に含まれる文章である紹介対象情報を取得する。
【0073】
(学習部152)
学習部152は、学習モデル(モデル)を学習する学習処理を実行する。なお、端末装置10は、サーバ装置50からモデルM1、M2等の学習モデルを取得する場合、学習部152を有しなくてもよい。
【0074】
例えば、学習部152は、取得部131により取得された各種情報に基づいて、学習処理を実行する。学習部152は、外部の情報処理装置からの情報や記憶部14に記憶された情報に基づいて、学習処理を実行する。学習部152は、モデル情報記憶部141に記憶された情報に基づいて、学習処理を実行する。学習部152は、学習により生成したモデルをモデル情報記憶部141に格納する。
【0075】
学習部152は、学習処理を行う。学習部152は、各種学習を行う。学習部152は、取得部131により取得された情報に基づいて、各種情報を学習する。学習部152は、モデルを学習(生成)する。学習部152は、モデル等の各種情報を学習する。学習部152は、学習によりモデルを生成する。学習部152は、種々の機械学習に関する技術を用いて、モデルを学習する。例えば、学習部152は、モデル(ネットワーク)のパラメータを学習する。学習部152は、種々の機械学習に関する技術を用いて、モデルを学習する。
【0076】
学習部152は、モデルM1等の各種の学習モデルを生成する。学習部152は、ネットワークのパラメータを学習する。例えば、学習部152は、モデルM1等の各種の学習モデルのネットワークのパラメータを学習する。学習部152は、モデル情報記憶部141に記憶された学習データを用いて、学習処理を行うことにより、モデルM1等の各種の学習モデルを生成する。例えば、学習部152は、テキスト生成に用いられるモデルを生成する。学習部152は、モデルM1等の各種の学習モデルのネットワークのパラメータを学習することにより、モデルM1等の各種の学習モデルを生成する。
【0077】
学習部152は、モデル情報記憶部141に記憶された学習データ(教師データ)に基づいて、学習処理を行う。学習部152は、モデル情報記憶部141に記憶された学習データを用いて、学習処理を行うことにより、モデルM1等の各種の学習モデルを生成する。例えば、学習部152は、文字情報と、その文字情報における重要度が高い文字列との関連性の特徴を学習したテキスト生成モデルであるモデルM1を学習する。学習部152は、紹介対象情報から文字情報を抽出し、対象文字情報を出力するモデルM1を学習する。学習部152は、紹介対象情報のうち重要度が高い文字情報を抽出し、対象文字情報を出力するモデルM1を学習する。
【0078】
例えば、学習部152は、紹介対象情報と、その紹介対象情報がモデルM1に入力した際に出力されることが望ましいテキストである正解情報とを対応付けた学習データを用いて、モデルM1を学習する。正解情報は、モデルM2への入力として適切なテキスト(サモンワード)であってもよい。例えば、正解情報は、モデルM2に入力された際に望ましい画像が生成されたテキストであってもよい。例えば、正解情報は、紹介対象情報に対応する画像として、モデルM2に入力された際に望ましい画像が生成されたテキストであってもよい。すなわち、正解情報は、画像生成モデルへの入力情報として適切であるテキストである。
【0079】
例えば、学習部152は、モデルM1が出力する文字情報(テキスト)が、モデルM1に入力した紹介対象情報(入力情報)に対応付けられた正解情報に近づくように、バックプロパゲーション(誤差逆伝播法)等の手法により学習処理を行う。例えば、学習部152は、書籍に含まれる文章等の紹介対象情報である入力情報が入力されたモデルM1が出力する文字情報(テキスト)が、その入力情報に対応付けられた正解情報に近づくように学習処理を行う。
【0080】
例えば、学習部152は、学習処理によりノード間で値が伝達する際に考慮される重み(すなわち、接続係数)の値を調整する。このように、学習部152は、モデルM1における出力と、入力に対応する正解情報との誤差が少なくなるようにパラメータ(接続係数)を補正するバックプロパゲーション等の処理によりモデルM1を学習する。例えば、学習部152は、所定の損失(ロス)関数を最小化するようにバックプロパゲーション等の処理を行うことによりモデルM1を生成する。これにより、学習部152は、モデルM1のパラメータを学習する学習処理を行うことができる。
【0081】
なお、モデルの学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。なお、各モデルの生成は、機械学習に関する種々の従来技術を適宜用いて行われてもよい。例えば、モデルの生成は、SVM(Support Vector Machine)等の教師あり学習の機械学習に関する技術を用いて行われてもよい。また、例えば、モデルの生成は、教師なし学習の機械学習に関する技術を用いて行われてもよい。例えば、モデルの生成は、深層学習(ディープラーニング)の技術を用いて行われてもよい。例えば、モデルの生成は、DNN(Deep Neural Network)やRNN(Recurrent Neural Network)やCNN(Convolutional Neural Network)等の種々のディープラーニングの技術を適宜用いて行われてもよい。なお、上記モデルの生成に関する記載は例示であり、モデルの生成は、取得可能な情報等に応じて適宜選択された学習手法により行われてもよい。すなわち、学習部152は、学習データに含まれる入力情報が入力された場合に、正解情報に対応する情報を出力するようにモデルM1を学習可能であれば、どのような手法によりモデルM1の生成を行ってもよい。
【0082】
上記のように、学習部152による学習の手法は特に限定されないが、例えば、データ(入力情報)とその正解情報(出力情報)とを紐づけた学習データを用意し、その学習データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。また、例えばCNN、3D-CNN等のDNNに基づく手法が用いられてもよい。学習部152は、音声等のような時系列データを対象とする場合、再帰型ニューラルネットワーク(RNN)やRNNを拡張したLSTM(Long Short-Term Memory units)に基づく手法を用いてもよい。
【0083】
(第1生成部153)
第1生成部153は、種々の情報を生成する。第1生成部153は、取得部151により取得された情報に基づいて各種情報を生成する。第1生成部153は、記憶部14に記憶された情報に基づいて各種情報を生成する。第1生成部153は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等に記憶された情報に基づいて各種情報を生成する。第1生成部153は、種々の情報を決定する決定処理を実行する。第1生成部153は、種々の情報を推定する推定処理を実行する。第1生成部153は、種々の情報を抽出する決抽出処理を実行する。第1生成部153は、種々の情報を選択する選択処理を実行する。
【0084】
第1生成部153は、紹介対象情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する。第1生成部153は、紹介対象情報から文字情報を抽出することにより、対象文字情報を生成する。第1生成部153は、紹介対象情報のうち重要度が高い文字情報を抽出することにより、対象文字情報を生成する。
【0085】
第1生成部153は、文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、対象文字情報を生成する。第1生成部153は、文字情報が入力された場合、当該文字情報に対応する文字列を出力するテキスト生成モデルを用いて、対象文字情報を生成する。第1生成部153は、紹介対象情報をテキスト生成モデルに入力し、テキスト生成モデルが出力した出力情報を用いて、対象文字情報を生成する。
【0086】
(第2生成部154)
第2生成部154は、種々の情報を生成する。第2生成部154は、取得部151により取得された情報に基づいて各種情報を生成する。第2生成部154は、記憶部14に記憶された情報に基づいて各種情報を生成する。第2生成部154は、第1生成部153により生成された情報に基づいて各種情報を生成する。第2生成部154は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等に記憶された情報に基づいて各種情報を生成する。第2生成部154は、種々の情報を決定する決定処理を実行する。第2生成部154は、種々の情報を推定する推定処理を実行する。第2生成部154は、種々の情報を抽出する決抽出処理を実行する。第2生成部154は、種々の情報を選択する選択処理を実行する。
【0087】
第2生成部154は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報から紹介対象を紹介する画像である紹介画像を生成する。第2生成部154は、文字情報が入力された場合、当該文字情報に対応する画像を出力する画像生成モデルを用いて、紹介画像を生成する。第2生成部154は、書籍の内容を紹介する紹介画像を生成する。第2生成部154は、書籍に含まれる文章の内容を紹介する紹介画像を生成する。第2生成部154は、紹介画像を含むコンテンツを生成する。第2生成部154は、紹介対象の販売を促進するためのコンテンツを生成する。
【0088】
第2生成部154は、ユーザに提供するコンテンツを生成する処理を実行する。第2生成部154は、画面(出力部13)に表示するコンテンツを生成する。第2生成部154は、動画を生成する動画生成に関する種々の従来技術を適宜用いてコンテンツを生成する。第2生成部154は、紹介対象の画像を用いて、その紹介対象について動画であるコンテンツを生成する。例えば、第2生成部154は、Java(登録商標)等の種々の技術を適宜用いて、紹介対象の動画等のコンテンツを生成する。なお、第2生成部154は、CSSやJavaScript(登録商標)やHTMLの形式に基づいて、紹介対象の動画等のコンテンツを生成してもよい。また、例えば、第2生成部154は、JPEG(Joint Photographic Experts Group)やGIF(Graphics Interchange Format)やPNG(Portable Network Graphics)など様々な形式で紹介対象の動画等のコンテンツを生成してもよい。
【0089】
(表示部155)
表示部155は、第2生成部154により生成された画像やコンテンツ等の情報を提供する提供部として機能する。表示部155は、種々の情報を表示する。例えば、送信部156は、入力部12により入力されたユーザ操作に従って、種々の情報を表示する。
【0090】
例えば、表示部155は、出力部13を介して各種情報を表示する。表示部155は、取得部151により取得された情報に基づいて各種情報を表示する。表示部155は、記憶部14に記憶された情報に基づいて各種情報を表示する。表示部155は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等に記憶された情報に基づいて各種情報を表示する。表示部155は、第1生成部153や第2生成部154により生成された各種情報を表示する。
【0091】
表示部155は、第2生成部154により生成された紹介画像を提供する。表示部155は、紹介画像を含むコンテンツを提供する。表示部155は、紹介対象の販売を促進するためのコンテンツを提供する。
【0092】
表示部155は、紹介画像を表示する。表示部155は、紹介画像を含むコンテンツを表示する。表示部155は、紹介対象の販売を促進するためのコンテンツを表示する。
【0093】
(送信部156)
送信部156は、第2生成部154により生成された画像やコンテンツ等の情報を提供する提供部として機能する。送信部156は、各種情報を送信する。例えば、送信部156は、入力部12により入力されたユーザ操作に従って、外部の情報処理装置へ種々の情報を送信する。送信部156は、ユーザ操作に応じて、外部の情報処理装置に対して種々の情報を要求するリクエスト情報を外部の情報処理装置へ送信する。
【0094】
送信部156は、第2生成部154により生成された紹介画像を提供する。送信部156は、紹介画像を含むコンテンツを提供する。送信部156は、紹介対象の販売を促進するためのコンテンツを提供する。
【0095】
送信部156は、紹介画像を外部装置に送信する。送信部156は、紹介画像を含むコンテンツを送信する。送信部156は、紹介対象の販売を促進するためのコンテンツを送信する。
【0096】
送信部156は、サーバ装置50に情報を要求するリクエスト情報を送信する。送信部156は、コンテンツの配信を要求するリクエスト情報を送信する。送信部156は、ユーザの行動情報をサーバ装置50に送信する。送信部156は、ユーザによる操作を示す行動情報を送信する。
【0097】
なお、上述した制御部15による情報処理等の処理は、所定のアプリケーションにより行われる場合、制御部15の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部15による情報処理等の処理は、JavaScript(登録商標)などを含む制御情報により実現されてもよい。また、上述した情報処理等が専用アプリにより行われる場合、制御部15は、例えば、所定のアプリ(例えば画像生成アプリケーション等)や専用アプリを制御するアプリ制御部を有してもよい。
【0098】
〔3.情報処理のフロー〕
次に、
図5を用いて、実施形態に係る端末装置10による情報処理の手順について説明する。
図5は、実施形態に係る情報処理の一例を示すフローチャートである。
【0099】
図5に示すように、端末装置10は、画像生成の対象となる紹介対象に関する紹介対象情報を取得する(ステップS101)。そして、端末装置10は、紹介対象情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する(ステップS102)。そして、端末装置10は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報から紹介対象を紹介する画像である紹介画像を生成する(ステップS103)。
【0100】
〔4.効果〕
上述してきたように、実施形態に係る情報処理装置(実施形態では端末装置10)は、取得部(実施形態では取得部151)と、第1生成部(実施形態では第1生成部153)と、第2生成部(実施形態では第2生成部154)とを有する。取得部は、画像生成の対象となる紹介対象に関する紹介対象情報を取得する。第1生成部は、紹介対象情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する。第2生成部は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報から紹介対象を紹介する画像である紹介画像を生成する。
【0101】
このように、実施形態に係る情報処理装置は、画像生成の対象となる紹介対象に関する紹介対象情報に基づいて、画像生成に用いられる対象文字情報を生成し、画像生成モデルを用いて、対象文字情報から紹介対象を紹介する紹介画像を生成することにより、適切な画像の生成を行うことができる。
【0102】
また、実施形態に係る情報処理装置において、第2生成部は、文字情報が入力された場合、当該文字情報に対応する画像を出力する画像生成モデルを用いて、紹介画像を生成する。
【0103】
このように、実施形態に係る情報処理装置は、文字情報が入力された場合、当該文字情報に対応する画像を出力する画像生成モデルを用いて、紹介画像を生成することにより、適切な画像の生成を行うことができる。
【0104】
また、実施形態に係る情報処理装置において、取得部は、紹介対象となる書籍に関する紹介対象情報を取得する。
【0105】
このように、実施形態に係る情報処理装置は、紹介対象となる書籍に関する紹介対象情報に基づいて、書籍の紹介画像を生成することにより、適切な画像の生成を行うことができる。
【0106】
また、実施形態に係る情報処理装置において、取得部は、書籍に含まれる文章である紹介対象情報を取得する。
【0107】
このように、実施形態に係る情報処理装置は、書籍に含まれる文章である紹介対象情報に基づいて、書籍の紹介画像を生成することにより、適切な画像の生成を行うことができる。
【0108】
また、実施形態に係る情報処理装置において、第1生成部は、紹介対象情報から文字情報を抽出することにより、対象文字情報を生成する。
【0109】
このように、実施形態に係る情報処理装置は、紹介対象情報から文字情報を抽出することにより、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0110】
また、実施形態に係る情報処理装置において、第1生成部は、紹介対象情報のうち重要度が高い文字情報を抽出することにより、対象文字情報を生成する。
【0111】
このように、実施形態に係る情報処理装置は、紹介対象情報のうち重要度が高い文字情報を抽出することにより、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0112】
また、実施形態に係る情報処理装置において、第1生成部は、文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、対象文字情報を生成する。
【0113】
このように、実施形態に係る情報処理装置は、文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0114】
また、実施形態に係る情報処理装置において、第1生成部は、文字情報が入力された場合、当該文字情報に対応する文字列を出力するテキスト生成モデルを用いて、対象文字情報を生成する。
【0115】
このように、実施形態に係る情報処理装置は、文字情報が入力された場合、当該文字情報に対応する文字列を出力するテキスト生成モデルを用いて、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0116】
また、実施形態に係る情報処理装置において、第1生成部は、紹介対象情報をテキスト生成モデルに入力し、テキスト生成モデルが出力した出力情報を用いて、対象文字情報を生成する。
【0117】
このように、実施形態に係る情報処理装置は、紹介対象情報をテキスト生成モデルに入力し、テキスト生成モデルが出力した出力情報を用いて、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0118】
また、実施形態に係る情報処理装置において、第2生成部は、書籍の内容を紹介する紹介画像を生成する。
【0119】
このように、実施形態に係る情報処理装置は、書籍の内容を紹介する紹介画像を生成することにより、適切な画像の生成を行うことができる。
【0120】
また、実施形態に係る情報処理装置において、第2生成部は、書籍に含まれる文章の内容を紹介する紹介画像を生成する。
【0121】
このように、実施形態に係る情報処理装置は、書籍に含まれる文章の内容を紹介する紹介画像を生成することにより、適切な画像の生成を行うことができる。
【0122】
また、実施形態に係る情報処理装置は、提供部(実施形態では表示部155または送信部156)を有する。提供部は、第2生成部により生成された紹介画像を提供する。
【0123】
このように、実施形態に係る情報処理装置は、生成された紹介画像を提供することにより、適切に生成された画像に関する情報提供を行うことができる。
【0124】
また、実施形態に係る情報処理装置において、提供部は、紹介画像を外部装置に送信する。
【0125】
このように、実施形態に係る情報処理装置は、紹介画像を外部装置に送信することにより、適切に生成された画像に関する情報提供を行うことができる。
【0126】
また、実施形態に係る情報処理装置において、提供部は、紹介画像を表示する。
【0127】
このように、実施形態に係る情報処理装置は、紹介画像を表示することにより、適切に生成された画像に関する情報提供を行うことができる。
【0128】
また、実施形態に係る情報処理装置において、提供部は、紹介画像を含むコンテンツを提供する。
【0129】
このように、実施形態に係る情報処理装置は、紹介画像を含むコンテンツを提供することにより、適切に生成された画像に関する情報提供を行うことができる。
【0130】
また、実施形態に係る情報処理装置において、提供部は、紹介対象の販売を促進するためのコンテンツを提供する。
【0131】
このように、実施形態に係る情報処理装置は、紹介対象の販売を促進するためのコンテンツを提供することにより、適切に生成された画像に関する情報提供を行うことができる。
【0132】
〔5.プログラム〕
上述してきた端末装置10やサーバ装置50による処理は、本願に係る情報処理プログラムにより実現される。例えば、端末装置10に係る第1生成部153や第2生成部154等は、端末装置10が有するCPUやMPU等によって、例えば画像生成アプリケーション等に含まれる情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る情報処理手順が実行されることにより実現される。
【0133】
なお、本願に係る端末装置10やサーバ装置50が実行する処理は、必ずしも全てが情報処理プログラムによって実現されるものでなくてもよい。例えば、端末装置10外の情報等は、端末装置10が有するOS(Operating System)によって取得されてもよい。すなわち、情報処理プログラム自体が、上述してきたような端末装置10で実行される処理を実行するのではなく、OSによって取得されたデータ(例えば、画像等のコンテンツを表示(再生)するために用いるデータ)を受け取ったりすることにより、上述してきた端末装置10の処理を実現するようにしてもよい。
【0134】
〔6.ハードウェア構成〕
上述してきた実施形態に係る端末装置10等の情報処理装置は、例えば
図6に示すような構成のコンピュータ1000によって実現される。
図6は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
【0135】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0136】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定のネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定のネットワークNを介して他の機器へ送信する。
【0137】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0138】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0139】
例えば、コンピュータ1000が実施形態に係る端末装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部15の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定のネットワークNを介してこれらのプログラムを取得してもよい。
【0140】
以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0141】
〔7.その他〕
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0142】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0143】
また、上述してきた各実施形態に記載された各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0144】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0145】
1 情報処理システム
10 端末装置(情報処理装置)
14 記憶部
141 モデル情報記憶部
142 生成用情報記憶部
143 ユーザ情報記憶部
15 制御部
151 取得部
152 学習部
153 第1生成部
154 第2生成部
155 表示部(提供部)
156 送信部(提供部)
50 サーバ装置
N ネットワーク