(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024074097
(43)【公開日】2024-05-30
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240523BHJP
G06T 1/00 20060101ALI20240523BHJP
【FI】
G06N20/00
G06T1/00 200C
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022185167
(22)【出願日】2022-11-18
(71)【出願人】
【識別番号】500257300
【氏名又は名称】LINEヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】朝日 勝雅
(72)【発明者】
【氏名】中村 友一
(72)【発明者】
【氏名】江口 悠香
(72)【発明者】
【氏名】山口 寛
(72)【発明者】
【氏名】岩▲瀬▼張 太士
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050AA03
5B050BA06
5B050BA10
5B050CA07
5B050CA08
5B050EA12
5B050EA14
5B050FA02
5B050FA05
5B050GA08
(57)【要約】
【課題】適切な画像の生成を行う。
【解決手段】本願に係る情報処理装置は、取得部と、第1生成部と、第2生成部とを有する。取得部は、画像生成の対象となるユーザに関するユーザ情報を取得する。第1生成部は、ユーザ情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する。第2生成部は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報からユーザが利用する画面に表示する画像である表示画像を生成する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
画像生成の対象となるユーザに関するユーザ情報を取得する取得部と、
前記ユーザ情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成部と、
文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記ユーザが利用する画面に表示する画像である表示画像を生成する第2生成部と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記第2生成部は、
文字情報が入力された場合、当該文字情報に対応する前記画像を出力する前記画像生成モデルを用いて、前記表示画像を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記取得部は、
前記ユーザのスケジュール情報を含む前記ユーザ情報を取得する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記取得部は、
前記ユーザが所定のカレンダーに登録した情報を含む前記ユーザ情報を取得する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記第1生成部は、
前記ユーザ情報から文字情報を抽出することにより、前記対象文字情報を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
前記第1生成部は、
前記ユーザ情報のうち重要度が高い文字情報を抽出することにより、前記対象文字情報を生成する
ことを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記第1生成部は、
文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、前記対象文字情報を生成する
ことを特徴とする請求項4に記載の情報処理装置。
【請求項8】
前記第1生成部は、
文字情報が入力された場合、当該文字情報に対応する前記文字列を出力する前記テキスト生成モデルを用いて、前記対象文字情報を生成する
ことを特徴とする請求項7に記載の情報処理装置。
【請求項9】
前記第1生成部は、
前記ユーザ情報を前記テキスト生成モデルに入力し、前記テキスト生成モデルが出力した出力情報を用いて、前記対象文字情報を生成する
ことを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記第2生成部は、
前記ユーザへ通知する情報を含む前記表示画像を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項11】
前記第2生成部は、
前記ユーザが利用する端末装置の待ち受け画像として用いられる前記表示画像を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項12】
前記第2生成部により生成された前記表示画像を提供する提供部、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項13】
前記提供部は、
前記表示画像を外部装置に送信する
ことを特徴とする請求項12に記載の情報処理装置。
【請求項14】
前記提供部は、
前記表示画像を表示する
ことを特徴とする請求項12に記載の情報処理装置。
【請求項15】
前記提供部は、
待ち受け画像として前記表示画像を表示する
ことを特徴とする請求項14に記載の情報処理装置。
【請求項16】
前記提供部は、
ロック画像として前記表示画像を表示する
ことを特徴とする請求項15に記載の情報処理装置。
【請求項17】
コンピュータが実行する情報処理方法であって、
画像生成の対象となるユーザに関するユーザ情報を取得する取得工程と、
前記ユーザ情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成工程と、
文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記ユーザが利用する画面に表示する画像である表示画像を生成する第2生成工程と、
を含むことを特徴とする情報処理方法。
【請求項18】
画像生成の対象となるユーザに関するユーザ情報を取得する取得手順と、
前記ユーザ情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成手順と、
文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記ユーザが利用する画面に表示する画像である表示画像を生成する第2生成手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、テキスト等の種々の情報に基づいて画像を生成する技術が提供されている。例えば、推薦画像に含まれる対象物を組み合わせる対象としてユーザによって選択された画像に基づいて、推薦画像を出力(生成)する技術が提供されている。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【非特許文献1】“A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis”,Jorge Agnese, Jonathan Herrera, Haicheng Tao and Xingquan Zhu<インターネット>https://arxiv.org/pdf/1910.09399.pdf(令和4年11月9日検索)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の従来技術には改善の余地がある。上記の従来技術では、組み合わせる対象としてユーザが選択した画像に基づいて画像を生成しているに過ぎず、ユーザが画像を選択していない場合等、適切に画像を生成することが難しい場合がある。そのため、画像の生成に用いる情報を生成し、生成した情報を基に画像を生成することで適切な画像の生成を行うことが望まれている。
【0006】
本願は、上記に鑑みてなされたものであって、適切な画像の生成を行う情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本願に係る情報処理装置は、画像生成の対象となるユーザに関するユーザ情報を取得する取得部と、前記ユーザ情報に基づいて、前記画像生成に用いられる文字情報である対象文字情報を生成する第1生成部と、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、前記対象文字情報から前記ユーザが利用する画面に表示する画像である表示画像を生成する第2生成部と、を備えることを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、適切な画像の生成を行うことができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施形態に係る情報処理の一例を示す図である。
【
図2】
図2は、実施形態に係る情報処理システムの構成例を示す図である。
【
図3】
図3は、実施形態に係る情報処理装置の構成例を示す図である。
【
図4】
図4は、実施形態に係るモデル情報記憶部の一例を示す図である。
【
図5】
図5は、実施形態に係る情報処理の一例を示すフローチャートである。
【
図6】
図6は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
(実施形態)
〔1.情報処理〕
まず、
図1を用いて、実施形態に係る情報処理の一例について説明する。
図1は、実施形態に係る情報処理の一例を示す図である。
図1では、情報処理システム1がユーザU1を対象ユーザとして、ユーザU1に対応する画像を生成する場合を一例として説明する。なお、ユーザU1はユーザの一例に過ぎず、ユーザは、ユーザU1に限らず、任意のユーザであってもよい。また、以下では、情報処理システム1に含まれる装置のうち端末装置10を画像の生成の処理主体として説明するが、画像の生成処理等の各種処理は、例えばサーバ装置50等の情報処理システム1のいずれの装置が行ってもよいが、この点については後述する。
【0012】
〔1-1.情報処理システムの構成〕
図1の説明に先だって、
図2を用いて、以下に示す情報処理を実現する情報処理システム1の構成について説明する。
図2は、実施形態に係る情報処理システムの構成例を示す図である。
図2に示すように、情報処理システム1には、複数の端末装置10と、サーバ装置50とが含まれる。端末装置10と、サーバ装置50とは所定のネットワークNを介して、有線または無線により通信可能に接続される。なお、
図2に示した情報処理システム1には、複数の端末装置10や複数のサーバ装置50が含まれてもよい。
【0013】
端末装置10は、ユーザによって利用されるコンピュータ(情報処理装置)である。例えば、端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等により実現される。以下では、端末装置10をユーザと表記する場合がある。すなわち、ユーザを端末装置10と読み替えることもできる。以下では、端末装置10がスマートフォンである場合を一例として示す。
【0014】
端末装置10は、画像生成の対象となるユーザに関するユーザ情報に基づいて、画像生成に用いられる文字情報(「対象文字情報」ともいう)を生成する。また、端末装置10は、文字情報(「テキスト」ともいう)から画像を生成するように学習が行われた学習モデル(「画像生成モデル」ともいう)を用いて、対象文字情報からユーザが利用する画面(例えば端末装置10の画面等)に表示する画像(「表示画像」ともいう)を生成する。
【0015】
また、端末装置10は、各種の情報を表示する。例えば、端末装置10は、各種のアプリケーションにより各種情報を表示する。例えば、端末装置10は、ウェブコンテンツ等のコンテンツを表示する。端末装置10は、画像生成処理により生成された画像を表示する。
【0016】
端末装置10は、コンテンツの表示に関する種々の従来技術が適宜用いて、コンテンツの表示に関する種々の処理を制御情報等により実行してもよい。端末装置10は、コンテンツの表示に関する種々の処理を制御情報により実行してもよい。端末装置10は、制御情報として、ウェブブラウザ等の所定のアプリケーション上で実行されるスクリプトを取得し、取得したスクリプトを実行してもよい。このような制御情報は、実施形態に係る表示プログラム等に対応するものであり、例えば、CSS(Cascading Style Sheets)、JavaScript(登録商標)、HTML(HyperText Markup Language)、あるいは、上述した表示処理等を記述可能な任意の言語によって実現される。以下、実施形態に係る表示プログラムに従って上述した表示処理等を実行する端末装置10等について、詳細に説明する。
【0017】
サーバ装置50は、端末装置10が処理に用いる各種情報を提供するコンピュータ(情報処理装置)である。例えば、サーバ装置50は、情報処理システム1の管理者等により管理されるサーバである。なお、サーバ装置50が画像生成の処理を行ってもよいがこの点については後述する。
【0018】
サーバ装置50は、ユーザに対して各種の情報を提供する。サーバ装置50は、ユーザが利用する端末装置10に各種の情報を送信する。例えば、サーバ装置50は、ウェブコンテンツ等の各種のコンテンツを配信する。サーバ装置50は、端末装置10から各種の情報の提供の要求を受け付け、受け付けた要求に対応する情報を端末装置10に送信する。例えば、サーバ装置50は、端末装置10からウェブコンテンツの配信の要求を受け付け、受け付けたウェブコンテンツを端末装置10に配信する。
【0019】
例えば、サーバ装置50は、端末装置10に処理に用いる各種情報を提供する。サーバ装置50は、端末装置10に画像生成モデル等の各種のモデルを配信してもよい。なお、モデルの配信は、サーバ装置50以外の装置が行ってもよい。
【0020】
〔1-2.情報処理システムにおける処理の全体概要〕
ここから、
図1を用いて、情報処理システム1が行う情報処理の一例について説明する。なお、情報処理システム1において行なわれる情報処理について、画像生成に関する従来の処理と同様の点についての詳細な説明は適宜省略する。
【0021】
図1では、端末装置10は、画像生成の対象となるユーザU1に関するユーザ情報を取得する。例えば、端末装置10は、ユーザU1が所定のカレンダーアプリケーション(単に「カレンダー」ともいう)に登録した予定(スケジュール)に関する情報等のユーザ情報であるテキスト「XXXXXX」をユーザ情報BW1として取得する。例えば、端末装置10は、ユーザU1のユーザ情報のうち処理時点よりも先(未来)の予定を示すユーザ情報であるテキスト「XXXXXX」をユーザ情報BW1として取得する。なお、
図1では、テキスト「XXXXXX」、「YYYYYY」という抽象的な文字列で示すが、各テキストは具体的な内容を示すテキストであるものとする。例えば、テキスト「XXXXXX」は、「A月11日ZZZ期限、A月12日U2さんの誕生日…」等といった具体的な内容を含むテキストであり、ユーザU1に関する予定(スケジュール)を示す情報である。なお、ユーザ情報は、ユーザの予定に関する情報に限らず、ユーザの属性情報等であってもよい。
【0022】
また、端末装置10は、ユーザ情報からテキストを生成するテキスト生成モデルM1(単に「モデルM1」ともいう)をサーバ装置50から取得する。モデルM1は、文字情報を入力として、その文字情報に対応するテキストを出力するテキスト生成モデルである。例えば、モデルM1は、入力された文字情報から、特徴的な文字列等、重要度が高い文字情報を抽出し、後述する画像生成モデルM2への入力として適切なテキスト(「サモンワード」等ともいう)を出力する。なお、端末装置10は、モデルM1を学習する場合、モデルM1の学習処理に用いるデータ(学習データ)をサーバ装置50等から取得し、学習データを用いてモデルM1を学習してもよいが、この点については後述する。
【0023】
端末装置10は、ユーザ情報BW1を入力情報としてモデルM1に入力する(ステップS1-1)。
図1では、端末装置10は、ユーザU1の文章であるテキスト「XXXXXX」を入力情報としてモデルM1に入力する。入力情報が入力されたモデルM1は、対象文字情報AW1を出力する(ステップS1-2)。
図1では、ユーザU1のユーザ情報BW1が入力されたモデルM1は、対象文字情報AW1に示すように、テキスト「YYYYYY」を出力する。例えば、テキスト「YYYYYY」は、「ZZZ期限」、「U2さんの誕生日」等といった特徴的な文字列を含むテキストであり、画像生成モデルM2への入力として適切なテキストである。これにより、端末装置10は、モデルM1を用いることにより、ユーザ情報BW1から、画像生成モデルM2への入力として適切なテキストである対象文字情報AW1を生成する。
【0024】
そして、端末装置10は、テキストを入力情報として、そのテキストに対応する画像を生成して出力する画像生成モデルM2(単に「モデルM2」ともいう)を用いて、画像を生成する。端末装置10は、対象文字情報AW1を入力情報としてモデルM2に入力する(ステップS2-1)。
図1では、端末装置10は、画像生成モデルM2への入力として適切なテキスト「YYYYYY」を入力情報としてモデルM2に入力する。
【0025】
入力情報が入力されたモデルM2は、入力されたテキストに対応する画像を出力する(ステップS2-2)。
図1では、対象文字情報AW1が入力されたモデルM2は、ユーザU1に対応する表示画像IM1を出力する。例えば、表示画像IM1は、処理時点よりも後のユーザU1の予定を示す画像であり、例えば「ZZZ期限」、「U2さんの誕生日」といった通知情報を含む画像である。このように、端末装置10は、ユーザ情報BW1に対応する対象文字情報AW1を用いて、ユーザU1が利用する端末装置10に表示する表示画像IM1を生成する。
図1では、ユーザU1が利用する端末装置10は、表示画像IM1を待ち受け画像として表示する。
【0026】
上述したように、端末装置10は、モデルM1を用いて、ユーザ情報を、モデルM2への入力として適切な態様に変換された対象文字情報を生成し、生成した対象文字情報をモデルM2への入力とすることにより、適切な画像の生成を行うことができる。
【0027】
〔1-3.システム構成〕
なお、上述した情報処理システム1の構成は一例に過ぎず、情報処理システム1は、任意の装置構成及び機能の分配が採用可能である。
図1では、端末装置10が画像を生成する情報処理装置である場合を一例として説明したが、情報処理システム1では、画像の生成は、ユーザが利用する端末装置10以外の情報処理装置が行ってもよい。例えば、情報処理システム1では、画像の生成は、サーバ装置50等のサーバ装置(情報処理装置)が行ってもよい。
【0028】
この場合、情報処理システム1では、サーバ装置50は、
図1に示す処理によりユーザにとって最適化された画像(表示画像)を生成する。そして、サーバ装置50は、生成した表示画像をユーザが利用する端末装置10に送信することにより、ユーザに生成した画像を提供してもよい。そして、ユーザが利用する端末装置10は、サーバ装置50から受信した表示画像を表示してもよい。
【0029】
このように、情報処理システム1では、画像を表示する情報処理装置(例えば端末装置10)と、画像を生成する情報処理装置(例えばサーバ装置50)とは別体であってもよい。例えば、情報処理システム1では、サーバ装置50が端末装置10を使用するユーザに提供する画像を生成し、提供する提供装置(情報処理装置)であり、端末装置10がサーバ装置50から提供された画像を表示する表示装置であってもよい。なお、上述した情報処理システム1の構成は一例に過ぎず、情報処理システム1は、上記に限らず、任意の装置構成及び機能の分配が採用可能である。
【0030】
〔1-4.その他の例〕
上述した処理は一例に過ぎず、情報処理システム1は、様々な情報を用いて画像を生成したり、生成した画像をユーザに提供したりしてもよい。なお、情報処理システム1が処理の主体として記載されている処理については、情報処理システム1に含まれる端末装置10やサーバ装置50等のいずれの装置(情報処理装置)が行ってもよい。
【0031】
例えば、情報処理システム1は、生成した画像を用いて様々なサービスを提供してもよい。情報処理システム1は、表示画像を提供する。例えば、端末装置10は、表示画像をサーバ装置50等の外部装置に送信する。例えば、端末装置10は、表示画像を表示する。例えば、端末装置10は、ロック画像として表示画像を表示してもよい。
【0032】
例えば、情報処理システム1は、表示画像を含むコンテンツを提供する。例えば、端末装置10は、表示画像を含むコンテンツを生成し、生成したコンテンツを提供する。例えば、端末装置10は、表示画像を含むコンテンツを表示する。
【0033】
上述したように、情報処理システム1は、画像生成モデルで、スマートフォン等のユーザの端末装置10の待ち受けを最適化する。例えば、情報処理システム1は、端末装置10を利用するユーザのユーザ情報から、ユーザ情報の特徴を示すテキストを生成する。そして、情報処理システム1は、テキストから画像を生成するモデルを用いて、テキストから画像を生成する。情報処理システム1は、生成した画像を端末装置10の画面の待ち受け画面として表示する。
【0034】
例えば、情報処理システム1は、処理実行日の情報から日替わりで画像を生成する。例えば、情報処理システム1は、処理実行日でのユーザの予定情報(カレンダー、予約メール等)等から表示画像を生成する。例えば、情報処理システム1は、サーバ装置50から処理時点の日付に関する情報(日時情報)を取得し、日時情報をテキストに含めて表示画像を生成してもよい。例えば、情報処理システム1は、それぞれ異なる特徴を示すテキストから個別に画像を生成し、複数の画像を提供してもよい。例えば、情報処理システム1は、TODO画像を生成して提供してもよい。例えば、情報処理システム1は、期限、記念日等の対象日が近い程、その情報が大きくなるように画像を生成してもよい。なお、上記は一例に過ぎず、情報処理システム1は、様々な情報を適宜用いて表示画像を生成してもよい。
【0035】
例えば、情報処理システム1は、ユーザの予定のうち、処理日時からの残り期間が所定の条件を満たす予定(「直近予定」ともいう)に対応する情報の表示態様を動的に変動させてもよい。例えば、端末装置10は、表示画像中の直近予定に対応する情報にエフェクト(特殊効果)をかけて表示してもよい。例えば、端末装置10は、表示画像中の直近予定に対応する情報を点滅させて表示してもよい。例えば、端末装置10は、表示画像中の直近予定に対応する情報の表示サイズを、最大サイズと最小サイズと間で繰り返し変更させながら表示してもよい。例えば、端末装置10は、表示画像中の直近予定に対応する情報の表示位置を変更させながら表示してもよい。例えば、端末装置10は、表示画像中の直近予定に対応する情報を回転させながら表示してもよい。例えば、端末装置10は、表示画像中の直近予定に対応する情報の色を、寒色系(例えば青)と暖色系(例えば赤)との間で繰り返し変更させながら表示してもよい。
【0036】
また、情報処理システム1は、生成した表示画像を様々なサービスに利用してもよい。情報処理システム1は、表示画像を検索に用いてもよい。例えば、情報処理システム1は、表示画像を用いた検索処理により抽出した類似画像をユーザに提供してもよい。例えば、端末装置10は、表示画像を用いた検索処理により抽出した類似画像を表示してもよい。例えば、サーバ装置50は、表示画像を用いた検索処理により抽出した類似画像をユーザが利用する端末装置10に送信してもよい。
【0037】
〔2.情報処理装置の構成〕
次に、
図3を用いて、情報処理装置の一例である端末装置10の構成について説明する。
図3は、実施形態に係る情報処理装置の構成例を示す図である。
図3に示すように、端末装置10は、通信部11と、入力部12と、出力部13と、記憶部14と、制御部15とを有する。なお、端末装置10は、音声による入出力インターフェイスとなるマイク(音センサ)やスピーカを有してもよい。例えば、端末装置10は、音センサやスピーカが外部接続等により通信可能に接続されてもよい。
【0038】
(通信部11)
通信部11は、例えば、通信回路等によって実現される。そして、通信部11は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部11は、所定のネットワークN(
図2参照)と有線または無線で接続され、サーバ装置50との間で情報の送受信を行う。
【0039】
(入力部12)
入力部12は、ユーザから各種操作が入力される。例えば、入力部12は、タッチパネル機能により表示面(例えば出力部13)を介してユーザからの各種操作を受け付けてもよい。また、入力部12は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0040】
(出力部13)
出力部13は、情報を表示する画面である。例えば、出力部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。出力部13は、タッチパネルの画面として機能してもよい。
【0041】
(記憶部14)
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、例えば、端末装置10にインストールされているアプリケーション(例えば画像生成アプリケーション等)に関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部14は、
図3に示すように、モデル情報記憶部141と、生成用情報記憶部142と、ユーザ情報記憶部143とを有する。なお、記憶部14は、上記以外にも様々な情報を記憶してもよい。例えば、記憶部14は、生成された画像を記憶してもよい。また、記憶部14は、端末装置10が複数の画像を表示するために用いる情報を記憶してもよい。記憶部14は、端末装置10がどの画像を表示するかを決定するために用いる情報を記憶してもよい。例えば、記憶部14は、画像の表示順序を示す情報を記憶してもよい。
【0042】
(モデル情報記憶部141)
実施形態に係るモデル情報記憶部141は、モデルに関する情報を記憶する。例えば、モデル情報記憶部141は、学習処理により学習(生成)された学習済みモデル(モデル)の情報(モデルデータ)を記憶する。
図4に示すモデル情報記憶部141は、学習に用いたデータ(学習データ)を学習済みモデル(モデル)に対応付けて記憶する。
図4は、実施形態に係るモデル情報記憶部の一例を示す図である。
図4に示した例では、モデル情報記憶部141は、「モデルID」、「用途」、「モデルデータ」、「学習データ」といった項目が含まれる。
図4の例では、モデル情報記憶部141は、学習に用いたデータ(学習データ)を学習済みモデル(モデル)に対応付けて記憶する。
【0043】
「モデルID」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。
図4等では「モデルデータ」に「MDT1」といった概念的な情報が格納される例を示したが、実際には、モデルの構成(ネットワーク構成)の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。
【0044】
「学習データ」は、学習済みモデル(モデル)の学習に用いられたデータを示す。「学習データ」には、対応するモデルの学習に用いられたデータセットを示す情報が記憶される。例えば、「学習データ」は、データ(入力情報)とそのデータに対応する正解情報(出力情報)とを対応付けて、学習データ(「学習データ」ともいう)として記憶する。
図4では「学習データ」に「LDT1」といった概念的な情報が格納される例を示したが、実際には、データ(入力情報)とそのデータに対応する正解情報(出力情報)等、対応するモデルの学習に用いられたデータに関する種々の情報が含まれる。
【0045】
図4では、モデルID「M1」により識別されるモデル(モデルM1)は、用途が「テキスト生成」であることを示す。すなわち、モデルM1は、入力された文字情報(テキスト)に対応するテキストを出力(生成)するモデルであることを示す。また、モデルM1のモデルデータは、モデルデータMDT1であることを示す。また、モデルM1の学習に用いられた学習データは、学習データLDT1であることを示す。
【0046】
また、モデルID「M2」により識別されるモデル(モデルM2)は、用途が「画像生成」であることを示す。すなわち、モデルM2は、文字情報に対応する画像を出力するモデルであることを示す。また、モデルM2のモデルデータは、モデルデータMDT2であることを示す。また、モデルM2の学習に用いられた学習データは、学習データLDT2であることを示す。
【0047】
なお、モデル情報記憶部141は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0048】
(生成用情報記憶部142)
実施形態に係る生成用情報記憶部142は、画像生成に関する各種情報を記憶する。例えば、生成用情報記憶部142は、ユーザに提供する画像の生成に用いる各種情報を記憶する。
【0049】
生成用情報記憶部142は、画像を含むコンテンツを生成するために生成に用いる各種情報を記憶する。生成用情報記憶部142は、ユーザのスケジュールに関する画像を含むコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、所定の音楽を含むコンテンツの生成に用いる各種情報を記憶する。例えば、生成用情報記憶部142は、コンテンツに付与される所定の音楽の音源(音楽データ)を記憶する。生成用情報記憶部142は、特殊効果を含むコンテンツの生成に用いる各種情報を記憶する。例えば、生成用情報記憶部142は、コンテンツに付与される特殊効果のデータ(エフェクトデータ)を記憶する。
【0050】
生成用情報記憶部142は、ユーザのスケジュールに関する画像を含む動画であるコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、ユーザがカレンダーに登録したスケジュールを含むコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、ユーザの将来の予定に関する情報を含むコンテンツの生成に用いる各種情報を記憶する。生成用情報記憶部142は、他のユーザの誕生日等の所定の記念日等の情報を含むコンテンツの生成に用いる各種情報を記憶する。
【0051】
例えば、生成用情報記憶部142は、端末装置10等の表示装置に表示されるコンテンツの生成に用いる情報を記憶する。例えば、生成用情報記憶部142は、コンテンツの生成に用いる画像情報を記憶する。例えば、生成用情報記憶部142は、JPEG(Joint Photographic Experts Group)やGIF(Graphics Interchange Format)やPNG(Portable Network Graphics)など様々な形式の画像を、コンテンツの生成に用いる画像情報として記憶してもよい。また、生成用情報記憶部142は、CSSやJavaScriptやHTMLの形式の情報を、コンテンツの生成に用いる画像情報として記憶してもよい。
【0052】
なお、生成用情報記憶部142は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0053】
(ユーザ情報記憶部143)
実施形態に係るユーザ情報記憶部143は、ユーザに関する各種情報を記憶する。ユーザ情報記憶部143は、端末装置10を利用するユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部143は、ユーザ属性に関する各種情報やユーザの行動に関する各種情報を記憶する。
【0054】
ユーザ情報記憶部143は、ユーザの行動予定等の未来行動に関する情報を記憶する。例えば、ユーザ情報記憶部143は、ユーザがカレンダーアプリケーション(カレンダー)に登録した予定(スケジュール)に関する情報を記憶する。ユーザ情報記憶部143は、ユーザのカレンダー等のユーザの予定(スケジュール)に関するスケジュール情報を記憶する。
【0055】
ユーザ情報記憶部143は、ユーザの行動履歴等の過去行動に関する情報を記憶する。ユーザ情報記憶部143は、ユーザのインターネット上における行動等の各種の行動情報を記憶する。ユーザ情報記憶部143は、ユーザの年齢、性別、住所、勤務地等の各種の属性情報を記憶する。例えば、ユーザ情報記憶部143は、興味関心を示す対象等、ユーザの嗜好(好み)に関する情報を記憶する。
【0056】
なお、ユーザ情報記憶部143は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報記憶部143は、他のデモグラフィック属性情報やサイコグラフィック属性情報を記憶してもよい。例えば、ユーザ情報記憶部143は、氏名、家族構成、収入、ライフスタイル等の情報を記憶してもよい。また、ユーザ情報記憶部143は、ユーザが利用する端末装置10を識別する情報(端末ID)を記憶してもよい。
【0057】
(制御部15)
制御部15は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、端末装置10内部の記憶部14などの記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、この各種プログラムは、情報処理を行うアプリケーションのプログラムが含まれる。また、制御部15は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0058】
図3に示すように、制御部15は、取得部151と、学習部152と、第1生成部153と、第2生成部154と、表示部155と、送信部156とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、
図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0059】
(取得部151)
取得部151は、各種情報を取得する。例えば、取得部151は、記憶部14から各種情報を取得する。例えば、取得部151は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等から各種情報を取得する。また、取得部151は、各種情報を外部の情報処理装置から取得してもよい。
【0060】
例えば、取得部151は、サーバ装置50から各種情報を取得する。例えば、取得部151は、サーバ装置50から処理に用いる各種情報を取得する。例えば、取得部151は、サーバ装置50からモデルM1、M2等のモデルを取得する。
【0061】
取得部151は、各種情報を受け付ける。取得部151は、ユーザによる各種操作を受け付ける。例えば、取得部151は、入力部12によりユーザによる各種操作を受け付ける。取得部151は、ユーザの操作を受け付ける。取得部151は、ユーザが画面に接触させた指を移動させる操作を受け付ける。取得部151は、表示中のコンテンツを選択する操作を受け付ける。
【0062】
取得部151は、画像生成の対象となるユーザに関するユーザ情報を取得する。取得部151は、ユーザのスケジュール情報を含むユーザ情報を取得する。取得部151は、ユーザが所定のカレンダーに登録した情報を含むユーザ情報を取得する。
【0063】
(学習部152)
学習部152は、学習モデル(モデル)を学習する学習処理を実行する。なお、端末装置10は、サーバ装置50からモデルM1、M2等の学習モデルを取得する場合、学習部152を有しなくてもよい。
【0064】
例えば、学習部152は、取得部131により取得された各種情報に基づいて、学習処理を実行する。学習部152は、外部の情報処理装置からの情報や記憶部14に記憶された情報に基づいて、学習処理を実行する。学習部152は、モデル情報記憶部141に記憶された情報に基づいて、学習処理を実行する。学習部152は、学習により生成したモデルをモデル情報記憶部141に格納する。
【0065】
学習部152は、学習処理を行う。学習部152は、各種学習を行う。学習部152は、取得部131により取得された情報に基づいて、各種情報を学習する。学習部152は、モデルを学習(生成)する。学習部152は、モデル等の各種情報を学習する。学習部152は、学習によりモデルを生成する。学習部152は、種々の機械学習に関する技術を用いて、モデルを学習する。例えば、学習部152は、モデル(ネットワーク)のパラメータを学習する。学習部152は、種々の機械学習に関する技術を用いて、モデルを学習する。
【0066】
学習部152は、モデルM1等の各種の学習モデルを生成する。学習部152は、ネットワークのパラメータを学習する。例えば、学習部152は、モデルM1等の各種の学習モデルのネットワークのパラメータを学習する。学習部152は、モデル情報記憶部141に記憶された学習データを用いて、学習処理を行うことにより、モデルM1等の各種の学習モデルを生成する。例えば、学習部152は、テキスト生成に用いられるモデルを生成する。学習部152は、モデルM1等の各種の学習モデルのネットワークのパラメータを学習することにより、モデルM1等の各種の学習モデルを生成する。
【0067】
学習部152は、モデル情報記憶部141に記憶された学習データ(教師データ)に基づいて、学習処理を行う。学習部152は、モデル情報記憶部141に記憶された学習データを用いて、学習処理を行うことにより、モデルM1等の各種の学習モデルを生成する。例えば、学習部152は、ユーザ情報と、そのユーザ情報における重要度が高い文字列との関連性の特徴を学習したテキスト生成モデルであるモデルM1を学習する。学習部152は、ユーザ情報から文字情報を抽出し、対象文字情報を出力するモデルM1を学習する。学習部152は、ユーザ情報のうち重要度が高い文字情報を抽出し、対象文字情報を出力するモデルM1を学習する。
【0068】
例えば、学習部152は、ユーザ情報と、そのユーザ情報がモデルM1に入力した際に出力されることが望ましいテキストである正解情報とを対応付けた学習データを用いて、モデルM1を学習する。正解情報は、モデルM2への入力として適切なテキスト(サモンワード)であってもよい。例えば、正解情報は、モデルM2に入力された際に望ましい画像が生成されたテキストであってもよい。例えば、正解情報は、ユーザ情報に対応する画像として、モデルM2に入力された際に望ましい画像が生成されたテキストであってもよい。すなわち、正解情報は、画像生成モデルへの入力情報として適切であるテキストである。
【0069】
例えば、学習部152は、モデルM1が出力する文字情報(テキスト)が、モデルM1に入力したユーザ情報(入力情報)に対応付けられた正解情報に近づくように、バックプロパゲーション(誤差逆伝播法)等の手法により学習処理を行う。例えば、学習部152は、ユーザのスケジュール等のユーザ情報である入力情報が入力されたモデルM1が出力する文字情報(テキスト)が、その入力情報に対応付けられた正解情報に近づくように学習処理を行う。
【0070】
例えば、学習部152は、学習処理によりノード間で値が伝達する際に考慮される重み(すなわち、接続係数)の値を調整する。このように、学習部152は、モデルM1における出力と、入力に対応する正解情報との誤差が少なくなるようにパラメータ(接続係数)を補正するバックプロパゲーション等の処理によりモデルM1を学習する。例えば、学習部152は、所定の損失(ロス)関数を最小化するようにバックプロパゲーション等の処理を行うことによりモデルM1を生成する。これにより、学習部152は、モデルM1のパラメータを学習する学習処理を行うことができる。
【0071】
なお、モデルの学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。なお、各モデルの生成は、機械学習に関する種々の従来技術を適宜用いて行われてもよい。例えば、モデルの生成は、SVM(Support Vector Machine)等の教師あり学習の機械学習に関する技術を用いて行われてもよい。また、例えば、モデルの生成は、教師なし学習の機械学習に関する技術を用いて行われてもよい。例えば、モデルの生成は、深層学習(ディープラーニング)の技術を用いて行われてもよい。例えば、モデルの生成は、DNN(Deep Neural Network)やRNN(Recurrent Neural Network)やCNN(Convolutional Neural Network)等の種々のディープラーニングの技術を適宜用いて行われてもよい。なお、上記モデルの生成に関する記載は例示であり、モデルの生成は、取得可能な情報等に応じて適宜選択された学習手法により行われてもよい。すなわち、学習部152は、学習データに含まれる入力情報が入力された場合に、正解情報に対応する情報を出力するようにモデルM1を学習可能であれば、どのような手法によりモデルM1の生成を行ってもよい。
【0072】
上記のように、学習部152による学習の手法は特に限定されないが、例えば、データ(入力情報)とその正解情報(出力情報)とを紐づけた学習データを用意し、その学習データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。また、例えばCNN、3D-CNN等のDNNに基づく手法が用いられてもよい。学習部152は、音声等のような時系列データを対象とする場合、再帰型ニューラルネットワーク(RNN)やRNNを拡張したLSTM(Long Short-Term Memory units)に基づく手法を用いてもよい。
【0073】
(第1生成部153)
第1生成部153は、種々の情報を生成する。第1生成部153は、取得部151により取得された情報に基づいて各種情報を生成する。第1生成部153は、記憶部14に記憶された情報に基づいて各種情報を生成する。第1生成部153は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等に記憶された情報に基づいて各種情報を生成する。第1生成部153は、種々の情報を決定する決定処理を実行する。第1生成部153は、種々の情報を推定する推定処理を実行する。第1生成部153は、種々の情報を抽出する決抽出処理を実行する。第1生成部153は、種々の情報を選択する選択処理を実行する。
【0074】
第1生成部153は、ユーザ情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する。第1生成部153は、ユーザ情報から文字情報を抽出することにより、対象文字情報を生成する。第1生成部153は、ユーザ情報のうち重要度が高い文字情報を抽出することにより、対象文字情報を生成する。
【0075】
第1生成部153は、文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、対象文字情報を生成する。第1生成部153は、文字情報が入力された場合、当該文字情報に対応する文字列を出力するテキスト生成モデルを用いて、対象文字情報を生成する。第1生成部153は、ユーザ情報をテキスト生成モデルに入力し、テキスト生成モデルが出力した出力情報を用いて、対象文字情報を生成する。
【0076】
(第2生成部154)
第2生成部154は、種々の情報を生成する。第2生成部154は、取得部151により取得された情報に基づいて各種情報を生成する。第2生成部154は、記憶部14に記憶された情報に基づいて各種情報を生成する。第2生成部154は、第1生成部153により生成された情報に基づいて各種情報を生成する。第2生成部154は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等に記憶された情報に基づいて各種情報を生成する。第2生成部154は、種々の情報を決定する決定処理を実行する。第2生成部154は、種々の情報を推定する推定処理を実行する。第2生成部154は、種々の情報を抽出する決抽出処理を実行する。第2生成部154は、種々の情報を選択する選択処理を実行する。
【0077】
第2生成部154は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報からユーザが利用する画面に表示する画像である表示画像を生成する。第2生成部154は、文字情報が入力された場合、当該文字情報に対応する画像を出力する画像生成モデルを用いて、表示画像を生成する。
【0078】
第2生成部154は、ユーザへ通知する情報を含む表示画像を生成する。第2生成部154は、ユーザが利用する端末装置の待ち受け画像として用いられる表示画像を生成する。
【0079】
第2生成部154は、ユーザに提供するコンテンツを生成する処理を実行する。第2生成部154は、画面(出力部13)に表示するコンテンツを生成する。第2生成部154は、動画を生成する動画生成に関する種々の従来技術を適宜用いてコンテンツを生成する。第2生成部154は、ユーザのスケジュールに関する画像を用いて、そのユーザのスケジュールについて動画であるコンテンツを生成する。例えば、第2生成部154は、Java(登録商標)等の種々の技術を適宜用いて、ユーザのスケジュールの動画等のコンテンツを生成する。なお、第2生成部154は、CSSやJavaScript(登録商標)やHTMLの形式に基づいて、ユーザのスケジュールの動画等のコンテンツを生成してもよい。また、例えば、第2生成部154は、JPEG(Joint Photographic Experts Group)やGIF(Graphics Interchange Format)やPNG(Portable Network Graphics)など様々な形式でユーザのスケジュールの動画等のコンテンツを生成してもよい。
【0080】
(表示部155)
表示部155は、第2生成部154により生成された画像やコンテンツ等の情報を提供する提供部として機能する。表示部155は、種々の情報を表示する。例えば、送信部156は、入力部12により入力されたユーザ操作に従って、種々の情報を表示する。
【0081】
例えば、表示部155は、出力部13を介して各種情報を表示する。表示部155は、取得部151により取得された情報に基づいて各種情報を表示する。表示部155は、記憶部14に記憶された情報に基づいて各種情報を表示する。表示部155は、モデル情報記憶部141や生成用情報記憶部142やユーザ情報記憶部143等に記憶された情報に基づいて各種情報を表示する。表示部155は、第1生成部153や第2生成部154により生成された各種情報を表示する。
【0082】
表示部155は、第2生成部154により生成された表示画像を提供する。表示部155は、表示画像を外部装置に送信する。表示部155は、待ち受け画像として表示画像を表示する。表示部155は、ロック画像として表示画像を表示する。
【0083】
(送信部156)
送信部156は、第2生成部154により生成された画像やコンテンツ等の情報を提供する提供部として機能する。送信部156は、各種情報を送信する。例えば、送信部156は、入力部12により入力されたユーザ操作に従って、外部の情報処理装置へ種々の情報を送信する。送信部156は、ユーザ操作に応じて、外部の情報処理装置に対して種々の情報を要求するリクエスト情報を外部の情報処理装置へ送信する。
【0084】
送信部156は、第2生成部154により生成された表示画像を提供する。送信部156は、表示画像を外部装置に送信する。
【0085】
送信部156は、サーバ装置50に情報を要求するリクエスト情報を送信する。送信部156は、コンテンツの配信を要求するリクエスト情報を送信する。送信部156は、ユーザの行動情報をサーバ装置50に送信する。送信部156は、ユーザによる操作を示す行動情報を送信する。
【0086】
なお、上述した制御部15による情報処理等の処理は、所定のアプリケーションにより行われる場合、制御部15の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部15による情報処理等の処理は、JavaScript(登録商標)などを含む制御情報により実現されてもよい。また、上述した情報処理等が専用アプリにより行われる場合、制御部15は、例えば、所定のアプリ(例えば画像生成アプリケーション等)や専用アプリを制御するアプリ制御部を有してもよい。
【0087】
〔3.情報処理のフロー〕
次に、
図5を用いて、実施形態に係る端末装置10による情報処理の手順について説明する。
図5は、実施形態に係る情報処理の一例を示すフローチャートである。
【0088】
図5に示すように、端末装置10は、画像生成の対象となるユーザに関するユーザ情報を取得する(ステップS101)。そして、端末装置10は、ユーザ情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する(ステップS102)。そして、端末装置10は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報からユーザが利用する画面に表示する画像である表示画像を生成する(ステップS103)。
【0089】
〔4.効果〕
上述してきたように、実施形態に係る情報処理装置(実施形態では端末装置10)は、取得部(実施形態では取得部151)と、第1生成部(実施形態では第1生成部153)と、第2生成部(実施形態では第2生成部154)とを有する。取得部は、画像生成の対象となるユーザに関するユーザ情報を取得する。第1生成部は、ユーザ情報に基づいて、画像生成に用いられる文字情報である対象文字情報を生成する。第2生成部は、文字情報から画像を生成するように学習が行われた学習モデルである画像生成モデルを用いて、対象文字情報からユーザが利用する画面に表示する画像である表示画像を生成する。
【0090】
このように、実施形態に係る情報処理装置は、画像生成の対象となるユーザに関するユーザ情報に基づいて対象文字情報を生成し、画像生成モデルを用いて、対象文字情報からユーザが利用する画面に表示する表示画像を生成することにより、適切な画像の生成を行うことができる。
【0091】
また、実施形態に係る情報処理装置において、第2生成部は、文字情報が入力された場合、当該文字情報に対応する画像を出力する画像生成モデルを用いて、表示画像を生成する。
【0092】
このように、実施形態に係る情報処理装置は、文字情報が入力された場合、当該文字情報に対応する画像を出力する画像生成モデルを用いて、表示画像を生成することにより、適切な画像の生成を行うことができる。
【0093】
また、実施形態に係る情報処理装置において、取得部は、ユーザのスケジュール情報を含むユーザ情報を取得する。
【0094】
このように、実施形態に係る情報処理装置は、ユーザのスケジュール情報を含むユーザ情報に基づいて、表示画像を生成することにより、適切な画像の生成を行うことができる。
【0095】
また、実施形態に係る情報処理装置において、取得部は、ユーザが所定のカレンダーに登録した情報を含むユーザ情報を取得する。
【0096】
このように、実施形態に係る情報処理装置は、ユーザが所定のカレンダーに登録した情報を含むユーザ情報に基づいて、表示画像を生成することにより、適切な画像の生成を行うことができる。
【0097】
また、実施形態に係る情報処理装置において、第1生成部は、ユーザ情報から文字情報を抽出することにより、対象文字情報を生成する。
【0098】
このように、実施形態に係る情報処理装置は、ユーザ情報から文字情報を抽出することにより、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0099】
また、実施形態に係る情報処理装置において、第1生成部は、ユーザ情報のうち重要度が高い文字情報を抽出することにより、対象文字情報を生成する。
【0100】
このように、実施形態に係る情報処理装置は、ユーザ情報のうち重要度が高い文字情報を抽出することにより、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0101】
また、実施形態に係る情報処理装置において、第1生成部は、文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、対象文字情報を生成する。
【0102】
このように、実施形態に係る情報処理装置は、文字情報と、当該文字情報における重要度が高い文字列との関連性の特徴を学習した学習モデルであるテキスト生成モデルを用いて、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0103】
また、実施形態に係る情報処理装置において、第1生成部は、文字情報が入力された場合、当該文字情報に対応する文字列を出力するテキスト生成モデルを用いて、対象文字情報を生成する。
【0104】
このように、実施形態に係る情報処理装置は、文字情報が入力された場合、当該文字情報に対応する文字列を出力するテキスト生成モデルを用いて、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0105】
また、実施形態に係る情報処理装置において、第1生成部は、ユーザ情報をテキスト生成モデルに入力し、テキスト生成モデルが出力した出力情報を用いて、対象文字情報を生成する。
【0106】
このように、実施形態に係る情報処理装置は、ユーザ情報をテキスト生成モデルに入力し、テキスト生成モデルが出力した出力情報を用いて、対象文字情報を生成することで、適切な画像の生成を行うことができる。
【0107】
また、実施形態に係る情報処理装置において、第2生成部は、ユーザへ通知する情報を含む表示画像を生成する。
【0108】
このように、実施形態に係る情報処理装置は、ユーザへ通知する情報を含む表示画像を生成することにより、適切な画像の生成を行うことができる。
【0109】
また、実施形態に係る情報処理装置において、第2生成部は、ユーザが利用する端末装置の待ち受け画像として用いられる表示画像を生成する。
【0110】
このように、実施形態に係る情報処理装置は、ユーザが利用する端末装置の待ち受け画像として用いられる表示画像を生成することにより、適切な画像の生成を行うことができる。
【0111】
また、実施形態に係る情報処理装置は、提供部(実施形態では表示部155または送信部156)を有する。提供部は、第2生成部により生成された表示画像を提供する。
【0112】
このように、実施形態に係る情報処理装置は、生成された表示画像を提供することにより、適切に生成された画像に関する情報提供を行うことができる。
【0113】
また、実施形態に係る情報処理装置において、提供部は、表示画像を外部装置に送信する。
【0114】
このように、実施形態に係る情報処理装置は、表示画像を外部装置に送信することにより、適切に生成された画像に関する情報提供を行うことができる。
【0115】
また、実施形態に係る情報処理装置において、提供部は、表示画像を表示する。
【0116】
このように、実施形態に係る情報処理装置は、表示画像を表示することにより、適切に生成された画像に関する情報提供を行うことができる。
【0117】
また、実施形態に係る情報処理装置において、提供部は、待ち受け画像として表示画像を表示する。
【0118】
このように、実施形態に係る情報処理装置は、表示画像を含むコンテンツを提供することにより、適切に生成された画像に関する情報提供を行うことができる。
【0119】
また、実施形態に係る情報処理装置において、提供部は、ロック画像として表示画像を表示する。
【0120】
このように、実施形態に係る情報処理装置は、ロック画像として表示画像を表示することにより、適切に生成された画像に関する情報提供を行うことができる。
【0121】
〔5.プログラム〕
上述してきた端末装置10やサーバ装置50による処理は、本願に係る情報処理プログラムにより実現される。例えば、端末装置10に係る第1生成部153や第2生成部154等は、端末装置10が有するCPUやMPU等によって、例えば画像生成アプリケーション等に含まれる情報処理プログラムがRAMを作業領域として、情報処理プログラムに係る情報処理手順が実行されることにより実現される。
【0122】
なお、本願に係る端末装置10やサーバ装置50が実行する処理は、必ずしも全てが情報処理プログラムによって実現されるものでなくてもよい。例えば、端末装置10外の情報等は、端末装置10が有するOS(Operating System)によって取得されてもよい。すなわち、情報処理プログラム自体が、上述してきたような端末装置10で実行される処理を実行するのではなく、OSによって取得されたデータ(例えば、画像等のコンテンツを表示(再生)するために用いるデータ)を受け取ったりすることにより、上述してきた端末装置10の処理を実現するようにしてもよい。
【0123】
〔6.ハードウェア構成〕
上述してきた実施形態に係る端末装置10等の情報処理装置は、例えば
図6に示すような構成のコンピュータ1000によって実現される。
図6は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
【0124】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0125】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定のネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定のネットワークNを介して他の機器へ送信する。
【0126】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0127】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0128】
例えば、コンピュータ1000が実施形態に係る端末装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部15の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定のネットワークNを介してこれらのプログラムを取得してもよい。
【0129】
以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0130】
〔7.その他〕
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0131】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0132】
また、上述してきた各実施形態に記載された各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0133】
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0134】
1 情報処理システム
10 端末装置(情報処理装置)
14 記憶部
141 モデル情報記憶部
142 生成用情報記憶部
143 ユーザ情報記憶部
15 制御部
151 取得部
152 学習部
153 第1生成部
154 第2生成部
155 表示部(提供部)
156 送信部(提供部)
50 サーバ装置
N ネットワーク