特許 7462991 絵本生成システム、絵本生成プログラム及び絵本生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-03-29

(45)【発行日】2024-04-08

(54)【発明の名称】絵本生成システム、絵本生成プログラム及び絵本生成方法

(51)【国際特許分類】

   G06F 40/56 20200101AFI20240401BHJP

   G06T 11/60 20060101ALI20240401BHJP

【ＦＩ】

G06F40/56

G06T11/60 100A

【請求項の数】 11

(21)【出願番号】P 2023110319

(22)【出願日】2023-07-04

【審査請求日】2023-07-04

【早期審査対象出願】

(73)【特許権者】

【識別番号】523254427

【氏名又は名称】株式会社Ｎｏｏｂｌ

(74)【代理人】

【識別番号】110004163

【氏名又は名称】弁理士法人みなとみらい特許事務所

(72)【発明者】

【氏名】廣瀬 晃

【審査官】長 由紀子

(56)【参考文献】

【文献】米国特許出願公開第２０２２／０２５４１８８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００８／０２３５５７６（ＵＳ，Ａ１）

【文献】特開２００３－１５７２５２（ＪＰ，Ａ）

【文献】特開２０２３－０００３１２（ＪＰ，Ａ）

【文献】本多 夏音 外３名，ＡＩを活用した絵本の半自動生成試行 Trial for semi-automatic generation of a picture book using AI，情報処理学会 研究報告 エンタテインメントコンピューティング（ＥＣ） ２０２２－ＥＣ－６５ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2022年09月29日，pp.1-6

【文献】五木 宏 外４名，ストーリー型コンテンツ制作支援ＡＩフルコト Story-based Content Creation Support AI FURUKOTO，情報処理学会 シンポジウム じんもんこんシンポジウム ２０２２ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2022年12月02日，pp.45-52

【文献】pusai，ＡＩ技術フル活用講座 翻訳＆要約から小説の執筆までお任せ！ テキスト系ＡＩサービス，ラジオライフ ，日本，三才ブックス，2023年03月25日， 第44巻 第6号 ，pp.84-85

【文献】第６章 カメラ＆写真 Section060 ちょっと凝った写真を撮る，今すぐ使えるかんたんＰＬＵＳ＋ ｉＰａｄアプリ完全大事典 ，日本，株式会社技術評論社，2014年12月05日，pp.134-135

【文献】福田 清人 外３名，機械学習に基づく対話システムを導入した絵本の半自動生成 Semi-automatic Picture Book Generation with Interaction System based on Machine Learning，一般社団法人 人工知能学会 第３１回全国大会論文集ＤＶＤ ［ＤＶＤ－ＲＯＭ］，日本，一般社団法人人工知能学会，2017年05月23日，pp.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－５６

Ｇ０６Ｔ １１／６０

(57)【特許請求の範囲】

【請求項1】

絵本の生成を行う絵本生成システムであって、
受付手段と、イラスト化手段と、物語化手段と、統合化手段と、を備え、
前記受付手段は、複数の写真、及び、テキストを受け付け、
前記イラスト化手段は、前記複数の写真を、学習済みの機械学習モデルであるイラスト生成手段に送信し、
前記物語化手段は、前記テキストを、学習済みの機械学習モデルである物語生成手段に送信し、
前記イラスト生成手段は、前記複数の写真を用いて複数のイラストを生成し、
前記物語生成手段は、前記テキストを用いて物語を生成し、
前記統合化手段は、前記物語生成手段が生成した物語を前記複数のイラストに１対１で対応するように分割し、該分割した物語を該複数のイラストそれぞれに１対１で対応させて、該物語と該イラストとの統合を行い、絵本データを生成する、
絵本生成システム。

【請求項2】

前記物語生成手段は、大規模言語モデルである、
請求項１に記載の絵本生成システム。

【請求項3】

前記絵本生成システムは、更に、記憶部と、を備え、
前記記憶部は、前記イラストの方向性を指定する情報であるイラスト化パターン情報と、前記物語の方向性を指定する情報である物語化あらすじ情報と、を記憶し、
前記受付手段は、更に、ユーザからユーザ端末を介して、前記イラスト化パターン情報及び前記物語化あらすじ情報を受け付け、
前記イラスト化手段は、更に、前記ユーザから受け付けたイラスト化パターン情報を前記イラスト生成手段に送信し、
前記物語化手段は、更に、前記ユーザから受け付けた物語化あらすじ情報を前記物語生成手段に送信し、
前記イラスト生成手段は、更に、前記イラスト化パターン情報を用いて複数のイラストを生成し、
前記物語生成手段は、更に、前記ユーザから受け付けた物語化あらすじ情報を用いて物語を生成する、
請求項１に記載の絵本生成システム。

【請求項4】

前記絵本生成システムは、更に、記憶部と、を備え、
前記記憶部は、前記絵本に登場する人物が写っている登場人物設定写真を記憶し、更に、該登場人物設定写真に写っている人物の名前である登場人物名前を紐づけて記憶し、
前記受付手段は、絵本に登場する場面が写っている場面設定写真を受け付け、更に、顔認識技術によって、前記登場人物設定写真から場面設定写真に写っている人物を検出し、
前記イラスト化手段は、前記場面設定写真を、前記イラスト生成手段に送信し、
前記物語化手段は、更に、前記顔認識技術で検出した人物が写っている登場人物設定写真に紐づく登場人物名前を、前記物語生成手段に送信し、
前記イラスト生成手段は、前記場面設定写真を用いてイラストを生成し、
前記物語生成手段は、更に、前記登場人物名前を用いて物語を生成する、
請求項１に記載の絵本生成システム。

【請求項5】

前記記憶部は、更に、前記登場人物名前にその人物の役割を紐づけて記憶し、
前記物語化手段は、更に、前記受付手段が検出した人物の役割を、前記物語生成手段に送信し、
前記物語生成手段は、更に、前記役割を用いて物語を生成する、
請求項４に記載の絵本生成システム。

【請求項6】

前記絵本生成システムは、更に、記憶部と、を備え、
前記記憶部は、前記物語の文字数を制御する文字数制御情報、前記物語の文字の種類をひらがなに指定するひらがな化情報又は前記物語に使用できない単語を指定する禁則情報の少なくとも１つを記憶し、
前記受付手段は、更に、前記記憶部が前記文字数制御情報を記憶する場合、ユーザからユーザ端末を介して、前記文字数制御情報を受け付け、
前記物語化手段は、更に、前記受付手段が前記文字数制御情報を受け付けた場合、前記文字数制御情報を前記物語生成手段に送信し、更に、前記記憶部が前記ひらがな化情報又は前記禁則情報を記憶する場合、前記ひらがな化情報又は前記禁則情報を前記物語生成手段に送信し、
前記物語生成手段は、更に、前記文字数制御情報、前記ひらがな化情報又は前記禁則情報の少なくとも１つを用いて物語を生成する、
請求項１に記載の絵本生成システム。

【請求項7】

前記統合は、機械学習モデルが行う、
請求項１に記載の絵本生成システム。

【請求項8】

前記絵本生成システムは、更に、記憶部と、を備え、
前記記憶部は、更に、しつけ、マナー又はルールに関するイラスト及び物語の生成指示を生成するための情報を、前記しつけ、マナー又はルールに関するテーマに紐づけて記憶し、
前記受付手段は、更に、ユーザからユーザ端末を介して、前記テーマを受け付け、
前記イラスト化手段は、更に、前記テーマに紐づくイラストの方向性の指示を前記イラスト生成手段に送信し、
前記物語化手段は、更に、前記テーマに紐づく物語の方向性の指示を前記物語生成手段に送信し、
前記イラスト生成手段は、更に、前記テーマに紐づくイラストの方向性の指示を用いてイラストを生成し、
前記物語生成手段は、更に、前記テーマに紐づく物語の方向性の指示を用いて物語を生成する、
請求項１に記載の絵本生成システム。

【請求項9】

前記イラスト生成手段は、大規模言語モデルである、
請求項１に記載の絵本生成システム。

【請求項10】

絵本の生成を行う絵本生成プログラムであって、
コンピュータを、受付手段と、イラスト化手段と、物語化手段と、統合化手段と、として機能させ、
前記受付手段は、複数の写真、及び、テキストを受け付け、
前記イラスト化手段は、前記複数の写真を、学習済みの機械学習モデルであるイラスト生成手段に送信し、
前記物語化手段は、前記テキストを、学習済みの機械学習モデルである物語生成手段に送信し、
前記イラスト生成手段は、前記複数の写真を用いて複数のイラストを生成し、
前記物語生成手段は、前記テキストを用いて物語を生成し、
前記統合化手段は、前記物語生成手段が生成した物語を前記複数のイラストに１対１で対応するように分割し、該分割した物語を該複数のイラストそれぞれに１対１で対応させて、該物語と該イラストとの統合を行い、絵本データを生成する、
絵本生成プログラム。

【請求項11】

絵本の生成を行う絵本生成方法であって、
コンピュータが、受付工程と、イラスト化工程と、物語化工程と、統合化工程と、を実行し、
前記受付工程において、複数の写真、及び、テキストを受け付け、
前記イラスト化工程において、前記複数の写真を、学習済みの機械学習モデルであるイラスト生成手段に送信し、
前記物語化工程において、前記テキストを、学習済みの機械学習モデルである物語生成手段に送信し、
前記イラスト生成手段は、前記複数の写真を用いて複数のイラストを生成し、
前記物語生成手段は、前記テキストを用いて物語を生成し、
前記統合化工程において、前記物語生成手段が生成した物語を前記複数のイラストに１対１で対応するように分割し、該分割した物語を該複数のイラストそれぞれに１対１で対応させて、該物語と該イラストとの統合を行い、絵本データを生成する、
絵本生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、絵本生成システム、絵本生成プログラム及び絵本生成方法に関する。

【背景技術】

【0002】

従来、撮影した写真を用いて、本を作成する技術が存在する。

【0003】

例えば、特許文献１には、「サーバ装置１は、画像を選択してフォトブックデータを作成する際に、選択した画像に対し、コメント（又はタイトル）を生成して付与できる。サーバ装置１は、画像解析により検出された画像内の物体やテキスト、フォトブックの目的等に基づいて、コメントを生成する。例えば、サーバ装置１は、特徴的な物体が検出された画像に対してコメントを生成して付与する」（００３９）ことが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許７０９１８９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術では、撮影した写真に対してコメントを付与してフォトブックを作成できる。しかしながら、写真に対して適切なイラスト化を施し、更に、ユーザが入力した情報から絵本に適した物語を生成することは困難である。

【0006】

本発明は、上記従来技術の課題に鑑みて行われたものであって、その目的は、ユーザが撮影した写真及びユーザが入力した情報を用いて、イラスト及びイラストに適した物語を有する絵本を生成する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明は、絵本の生成を行う絵本生成システムであって、
受付手段と、イラスト化手段と、物語化手段と、統合化手段と、を備え、
前記受付手段は、写真、テキスト、テーマの少なくとも１つを含むユーザ入力情報を受け付け、
前記イラスト化手段は、前記ユーザ入力情報を用いてイラストの生成指示をイラスト生成手段に送信し、
前記物語化手段は、前記ユーザ入力情報を用いて物語の生成指示を物語生成手段に送信し、
前記統合化手段は、前記イラスト生成手段が生成したイラスト及び前記物語生成手段が生成した物語の統合を行い、絵本データを生成する。

【0008】

このような構成とすることで、ユーザが撮影した写真を用いて、絵本を生成することができる。

【0009】

本発明の好ましい形態では、前記イラスト生成手段は、機械学習モデルであり、
前記物語生成手段は、大規模言語モデルである。

【0010】

このような構成とすることで、絵本のためのイラスト及び物語を簡易に生成することができる。

【0011】

本発明の好ましい形態では、前記絵本生成システムは、更に、記憶部と、を備え、
前記記憶部は、前記イラストの方向性を指定する情報であるイラスト化パターン情報と、前記物語の方向性を指定する情報である物語化あらすじ情報と、を記憶し、
前記イラスト化手段は、更に、前記イラスト化パターン情報を前記イラスト生成手段に送信し、
前記物語化手段は、更に、前記物語化あらすじ情報を前記物語生成手段に送信する。

【0012】

このような構成とすることで、ユーザの好みに合う絵本のためのイラスト及び物語を生成することができる。

【0013】

本発明の好ましい形態では、前記受付手段は、１枚の写真に対応するテキストとして１つの短文を受け付け、
前記イラスト化手段は、前記１枚の写真を用いてイラストの生成指示を前記イラスト生成手段に送信し、
前記物語化手段は、前記１つの短文を用いて物語の生成指示を前記物語生成手段に送信し、
前記統合化手段は、前記イラスト生成手段が生成した１枚のイラスト及び前記物語生成手段が生成した物語の統合を行い、絵本データを生成する。

【0014】

このような構成とすることで、イラストに対応する物語の統合を行うことができる。

【0015】

本発明の好ましい形態では、前記記憶部は、更に、前記物語の文字数を制御する文字数制御情報、前記物語の文字の種類をひらがなに指定するひらがな化情報又は前記物語に使用できない単語を指定する禁則情報の少なくとも１つを記憶し、
前記物語化手段は、更に、前記文字数制御情報、前記ひらがな化情報又は前記禁則情報の少なくとも１つを前記物語生成手段に送信する。

【0016】

このような構成とすることで、絵本に適した物語の生成を行うことができる。

【0017】

本発明の好ましい形態では、前記写真は、前記物語に登場する登場人物の候補が写っている登場人物設定写真を含み、
前記記憶部は、更に、前記登場人物設定写真に前記登場人物の名前である登場人物名前を紐づけて記憶する。

【0018】

このような構成とすることで、ユーザは登場人物の名前を毎回入力する必要が無い。

【0019】

本発明の好ましい形態では、前記統合は、機械学習モデルが行う。

【0020】

このような構成とすることで、イラスト及び物語の統合を簡易に行うことができる。

【0021】

本発明の好ましい形態では、前記記憶部は、更に、しつけ、マナー又はルールに関するテンプレート情報を前記テーマに紐づけて記憶する。

【0022】

このような構成とすることで、しつけ、マナー又はルールに関する絵本の生成を行うことができる。

【0023】

本発明の好ましい形態では、前記受付手段は、写真、テキストとして短文を受け付け、
前記イラスト化手段は、前記写真を用いてイラストの生成指示を前記イラスト生成手段に送信し、
前記物語化手段は、前記短文を用いて物語の生成指示を前記物語生成手段に送信し、
前記統合化手段は、前記物語生成手段が生成した物語を分割して、前記イラスト生成手段が生成したイラストとの統合を行い、絵本データを生成する。

【0024】

このような構成とすることで、絵本を簡易に生成することができる。

【発明の効果】

【0025】

本発明によれば、ユーザが撮影した写真及びユーザが入力した情報を用いて所定の処理を実行することで、絵本生成システムに係る新規な技術を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本実施形態の絵本生成システムのブロック図。

【図2】本実施形態のハードウェア構成図。

【図3】本実施形態のデータ構成の一例。

【図4】本実施形態のデータ構成の一例。

【図5】本実施形態の絵本生成の処理シーケンス図。

【図6】本実施形態の絵本生成のためのユーザ入力情報の入力画面の一例。

【図7】本実施形態の絵本生成のためのユーザ入力情報の入力画面の一例。

【図8】本実施形態の絵本生成システムのブロック図。

【発明を実施するための形態】

【0027】

以下、図面を用いて、本発明の実施形態に関する絵本生成システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

【0028】

本実施形態では、絵本生成システム、絵本生成装置及び絵本生成プログラムの構成、動作等について説明するが、同様の構成の方法、コンピュータのプログラムおよび当該プログラムを記録したプログラム記録媒体等も、同様の作用効果を奏する。プログラム記録媒体を用いれば、例えば、コンピュータに当該プログラムをインストールすることができる。以下で説明する本実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、ＣＤ－ＲＯＭやフレキシブルディスクなどの非一過性コンピュータ可読記録媒体、更には通信回線を経て提供可能である。

【0029】

絵本生成システムは、コンピュータ装置により構成される。コンピュータ装置は、ＣＰＵ（Central Processing Unit）などの演算装置および記憶装置を有する。当該コンピュータ装置は、記憶装置に格納される絵本生成プログラムを、演算装置により実行することで、当該コンピュータ装置を絵本生成装置として機能させることができる。絵本生成方法は、絵本生成装置を含むコンピュータ装置の処理により実現される。

【0030】

本実施形態において、絵本生成システムは、ユーザによる入力に対して、出力として絵本を提供する。ユーザによる入力は、写真、短文又はテーマ等を例示できるがこれらに限定されない。

【0031】

＜実施形態１＞
図１は、実施形態１における絵本生成システム１のブロック図を示す。絵本生成システム１は、絵本生成装置２と、ユーザ端末３と、イラスト生成装置４と、物語生成装置５と、を備え、これらの構成部は、通信ネットワークＮＷを介して通信可能に接続されている。さらに、絵本生成装置２は、有線又は無線で記憶部６に接続されている。

【0032】

絵本生成装置２は、機能構成要素として、ユーザからユーザ入力情報を受け付ける受付手段２１と、イラストの生成指示を送信するイラスト化手段２２と、物語の生成指示を送信する物語化手段２３と、イラスト及び物語の統合を行う統合化手段２４と、を備える。これら機能構成要素の配置は一例であり、絵本生成装置２の備えた機能構成の一部が、絵本生成装置２と通信可能に構成された１又は複数の装置に配置されても良い。

【0033】

絵本生成装置２は、ユーザ端末３よりユーザ入力情報を受信する。絵本生成装置２は、受信したユーザ入力情報を用いてイラストの生成指示をイラスト生成装置４に送信する。絵本生成装置２は、生成されたイラストをイラスト生成装置４より受信する。絵本生成装置２は、受信したユーザ入力情報を用いて物語の生成指示を物語生成装置５に送信する。絵本生成装置２は、生成された物語を物語生成装置５より受信する。絵本生成装置２は、受信したイラスト及び物語の統合を行い、絵本データを生成する。

【0034】

絵本生成装置２は、具体的には、テキスト、写真をイラストの生成指示としてイラスト生成装置４に送信する。絵本生成装置２は、例えば、ユーザから選択された選択肢に紐づく情報及びユーザから入力された情報を用いてプロンプトを生成し、プロンプト及びユーザから受け付けた写真をイラスト生成装置４に送信する。

【0035】

絵本生成装置２は、具体的には、テキストを物語生成装置５に送信する。絵本生成装置２は、例えば、ユーザから選択された選択肢に紐づく情報及びユーザから入力された情報を用いてプロンプトを生成し、プロンプトを物語生成装置５に送信する。物語生成装置５は、ＣｈａｔＧＰＴ等である。

【0036】

ユーザは、ユーザ端末３を介して、写真、テキスト、テーマの少なくとも１つを含むユーザ入力情報を入力又は送信することができる。ユーザ端末３は、絵本に登場する人物の名前等を含む登場人物設定写真情報を送信することができる。ユーザ端末３は、ユーザの名前、住所、電話番号等を含むユーザ基本情報を送信することができる。ユーザ端末３は、ディスプレイ等の表示部に生成されるイラスト及び物語を含む絵本の場面を画面に表示することができる。ユーザ端末３は、図１において、１つのみ示したが、複数存在しても良い。

【0037】

イラスト生成装置４は、機能構成要素として、イラスト生成手段４１を備える。イラスト生成手段４１は、イラストの生成指示に含まれるユーザ入力情報を用いてイラストを生成し、生成したイラストを、イラストの生成指示の送信元に送信する。本実施形態において、イラストの生成指示の送信元は、絵本生成装置２であるが、これに限定されず、ユーザ端末３とする態様を採用することもできる。

【0038】

本実施形態において、イラスト生成手段４１は、機械学習モデルである。絵本生成装置２より受信したユーザ入力情報を、ニューラルネットワーク等の機械学習モデルによって、イラスト化する。イラスト生成手段４１は、大規模言語モデル（ＬＬＭ（Large Language Model））であっても良い。

【0039】

物語生成装置５は、機能構成要素として、物語生成手段５１を備える。物語生成手段５１は、物語の生成指示に含まれるユーザ入力情報を用いて物語を生成し、生成した物語を、物語の生成指示の送信元に送信する。本実施形態において、物語の生成指示の送信元は、絵本生成装置２であるが、これに限定されず、ユーザ端末３とする態様を採用することもできる。

【0040】

本実施形態において、物語生成手段５１は、大規模言語モデルである。物語生成手段５１に対して、テキストがプロンプトとして入力されると、物語生成手段５１は物語を生成する。例えば、絵本生成装置２より受信したユーザ入力情報が１つの短い文章である場合、その短い文章を基に物語を生成する。物語生成手段５１は、ニューラルネットワーク等の機械学習モデルであっても良い。

【0041】

記憶部６は、イラスト生成手段４１に対して生成するイラストの方向性を促すための情報であるイラスト化パターン情報、物語生成手段５１に対して生成する物語の方向性を促すための情報である物語化あらすじ情報、絵本に登場する登場人物を設定するための情報である登場人物設定写真情報、絵本に適した文字数に制御するための情報である文字数制御情報、絵本に適した文字にするための情報であるひらがな化情報、絵本に適さない用語及び表現を使用しないための情報である禁則情報、を格納する。さらに、記憶部６は、しつけ、マナー、ルールに関する絵本を生成するための情報であるテンプレート情報を格納する。記憶部６が格納する情報は、ユーザ入力情報として用いられる。また、記憶部６に格納されたデータの一部又は全部が、絵本生成システム１と通信可能に構成された１又は複数の装置に格納されても良い。

【0042】

図２（ａ）は、絵本生成装置２のハードウェア構成図を示す。絵本生成装置２は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を備える。本実施形態において、絵本生成装置２は、サーバ装置、パーソナルコンピュータ等のコンピュータ装置を用いることができる。なお、絵本生成装置２は、複数のコンピュータにより構成され、全体として上述の機能構成要素（２１－２４）を実現できれば良く、図２（ａ）に示す構成に限定されない。

【0043】

制御部２０１は、ＣＰＵなどの１つ以上のプロセッサにより構成され、絵本生成プログラムやＯＳ（Operating System）、その他のアプリケーションを実行することで、絵本生成装置２における全体処理を制御する。記憶部２０２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＲＡＭ（Random Access Memory）等であって、絵本生成プログラム及び各種データを記憶する。通信部２０３は、通信ネットワークＮＷとの通信制御を行い、ユーザ端末３、イラスト生成装置４及び物語生成装置５とのデータ通信を実現する。

【0044】

イラスト生成装置４及び物語生成装置５は、絵本生成装置２と同様のハードウェア構成を備えるものであって良い。また、イラスト生成装置４及び物語生成装置５は、絵本生成装置２と同様のコンピュータ装置に実装されても良い。さらに、イラスト生成手段４１及び物語生成手段５１は、絵本生成装置２の機能構成要素として実現されても良い。

【0045】

図２（ｂ）は、ユーザ端末３のハードウェア構成図を示す。ユーザ端末３は、ハードウェア構成として、制御部３０１と、記憶部３０２と、通信部３０３と、入力部３０４と、表示部３０５と、を備える。本実施形態において、ユーザ端末３は、スマートフォン、パーソナルコンピュータ、タブレット端末などを用いることができる。

【0046】

制御部３０１は、ＣＰＵなどの１つ以上のプロセッサにより構成され、ＯＳ、その他のアプリケーションを実行することで、ユーザ端末３における全体処理を制御する。記憶部３０２は、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＲＡＭなどであって、ブラウザアプリケーション、および各種データを記憶する。通信部３０３は、通信ネットワークＮＷとの通信制御を行い、少なくとも絵本生成装置２とのデータ通信を実現する。入力部３０４は、ユーザによる入力操作を受け付ける入力インターフェイスであって、タッチパネル、マウス、キーボードなどにより構成される。表示部３０５は、制御部３０１による処理結果を表示するディスプレイなどにより構成される。

【0047】

図３及び４は、記憶部に格納されたデータ構成の一例を示す。記憶部６は、図３及び４のようなデータを格納する。

【0048】

受付手段２１は、ユーザからユーザ端末３を介して、ユーザ入力情報を受け付ける。ユーザ入力情報は、絵本データを生成するために利用する情報であって、写真、テキスト、テーマの少なくとも１つを含む。写真は、人が写っている写真、写っていない写真のどちらでも良い。写真は、後述する登場人物設定写真又は場面設定写真である。また、テキストは、文章又は単語である。文章は、短くても長くても良いし、１つ又は複数のどちらでも良い。単語は、１つ又は複数のどちらでも良い。テーマは、しつけ、マナー又はルールに関するものである。マナー又はルールは、一般的なもの又は保育園、幼稚園等の特定の施設に関するものである。

【0049】

イラスト化手段２２は、受付手段２１が受け付けたユーザ入力情報を用いてイラストの生成指示をイラスト生成手段４１に送信する。

【0050】

イラスト化手段２２は、具体的には、イラスト化パターン情報又はテンプレート情報が有する情報を用いてイラストの生成指示としてプロンプトを生成し、生成したプロンプト及びユーザから受け付けた写真をイラスト生成手段４１に送信する。

【0051】

物語化手段２３は、受付手段２１が受け付けたユーザ入力情報を用いて物語の生成指示を物語生成手段５１に送信する。

【0052】

物語化手段２３は、具体的には、物語化あらすじ情報、文字数制御情報、ひらがな化情報、禁則情報、テンプレート情報が有する情報を用いて物語の生成指示としてプロンプトを生成し、生成したプロンプトを物語生成手段５１に送信する。

【0053】

統合化手段２４は、イラスト生成手段４１が生成したイラスト及び物語生成手段５１が生成した物語の統合を行い、絵本データを生成する。

【0054】

受付手段２１は、更に、ユーザからユーザ端末３を介して、ユーザ基本情報を受け付ける。ユーザ基本情報は、ユーザの名前、住所、電話番号等のユーザに関する基本的な情報である。記憶部６は、図３（ａ）のように、受け付けたユーザ基本情報をユーザＩＤに紐づけて格納する。

【0055】

受付手段２１は、絵本に登場する人物が写っている登場人物設定写真を受け付ける。記憶部６は、登場人物設定写真を含む登場人物設定写真情報を格納しても良い。記憶部６が、図３（ｂ）のように、登場人物設定写真情報を記憶しておくことによって、イラスト化手段２２及び物語化手段２３は、ユーザ入力情報として登場人物設定写真情報を用いることができる。

【0056】

記憶部６が、図３（ｂ）のように、登場人物設定写真をユーザＩＤに紐づけて格納しておくことによって、ユーザは、登場人物設定写真を何度も入力する必要がなくなる。記憶部６は、更に、図３（ｂ）のように、登場人物設定写真に写っている人物の名前も格納する。登場人物設定写真に複数の人物が写っている場合、それぞれの名前を紐づけて格納しても良い。また、記憶部６は、図３（ｂ）のように、登場人物設定写真に写っている人物の名称を格納しても良い。登場人物が写っている写真に紐づけてその登場人物の名前又は名称を格納することによって、絵本に登場する人物の入力と同時に、物語における呼ばれ方が決定する。これによって、ユーザが毎回登場人物の名前又は名称を入力する必要がなくなる。さらに、記憶部６は、図３（ｂ）のように、登場人物設定写真に写っている人物の役割を格納しても良い。役割として主人公又はサブキャラを格納することによって、両者が登場する場合、役割に応じた物語が生成される。例えば、役割が主人公の人物が物語に登場する場合、その主人公を中心にした物語が生成される。

【0057】

受付手段２１は、絵本に登場する場面が写っている場面設定写真を受け付ける。場面設定写真には、人物が写っていても良いし、写っていなくても良い。場面設定写真に人物が写っている場合、受付手段２１は、登場人物設定写真及び場面設定写真を利用し、顔認識技術によって、場面設定写真に写っている人物を検出しても良い。登場人物設定写真から場面設定写真に写っている人物を検出することによって、ユーザは、登場人物設定写真を選択する必要が無くなる。また、ユーザは、登場人物設定写真情報が有する名前、年齢、役割、名称を入力する必要が無くなる。

【0058】

ユーザ入力情報は、登場人物設定写真情報を含んで良いため、イラスト化手段２２は、登場人物設定写真又は／及び場面設定写真を用いてイラストの生成指示をイラスト生成手段４１に送信しても良い。

【0059】

ユーザ入力情報は、登場人物設定写真情報を含んで良いため、物語化手段２３は、登場人物設定写真情報に含まれる名前、年齢、役割、名称を用いて物語の生成指示を物語生成手段５１に送信しても良い。

【0060】

受付手段２１は、更に、ユーザからユーザ端末３を介して、ユーザ入力情報としてイラスト化パターン情報が有するイラストの方向性の選択を受け付ける。イラストの方向性は、ユーザからテキストの入力によって受け付けても良い。記憶部６は、図３（ｃ）のように、イラストの方向性に紐づけて指示を格納する。受付手段２１が、ユーザからイラストの方向性の入力を受け付けると、イラスト化手段２２は、イラストの方向性に紐づく指示を用いてイラストの生成指示をイラスト生成手段４１に送信する。例えば、イラスト化手段２２は、イラストの方向性に紐づく指示を用いてプロンプトを生成し、イラスト生成手段４１にユーザから受け付けた写真及びプロンプトを送信する。イラスト生成手段４１は、イラストの方向性の指示に沿ったイラストを生成する。図３（ｃ）のイラストの方向性の指示は一例であり、イラストの方向性に適したイラストの生成をイラスト生成手段４１に促すような指示であれば良い。

【0061】

受付手段２１は、更に、ユーザからユーザ端末３を介して、ユーザ入力情報として物語化あらすじ情報が有する物語の方向性の選択を受け付ける。物語の方向性は、ユーザからテキストの入力によって受け付けても良い。記憶部６は、図３（ｄ）のように、物語の方向性に紐づけて指示を格納する。受付手段２１が、ユーザから物語の方向性の入力を受け付けると、物語化手段２３は、物語の方向性に紐づく指示を用いて物語の生成指示を物語生成手段５１に送信する。例えば、物語化手段２３は、物語の方向性に紐づく指示を用いてプロンプトを生成し、物語生成手段５１にプロンプトを送信する。物語生成手段５１は、物語の方向性の指示に沿った物語を生成する。図３（ｄ）の物語の方向性の指示は一例であり、物語の方向性に適した物語の生成を物語生成手段５１に促すような指示であれば良い。

【0062】

物語化手段２３は、更に、物語の文字数を制御する文字数制御情報を物語生成手段５１に送信する。文字数制御情報として、予め１つの指示が定められ、物語化手段２３がその指示を送信しても良い。この他に、ユーザがいくつかのパターンから文字数を選択できても良い。例えば、記憶部６が、図３（ｅ）のように、文字数に紐づけて指示を格納することによって、ユーザが文字数を選択し、物語化手段２３が文字数の指示を用いて物語の生成指示を物語生成手段５１に送信する。図３（ｅ）の文字数の指示は一例であり、指定される文字数の物語の生成を物語生成手段５１に促すような指示であれば良い。この他にも、ユーザが任意の文字数を入力しても良く、任意の文字数以下の物語の生成指示を物語生成手段５１に送信する。例えば、記憶部６が、文字数の指示として「Ｘ文字以下の物語を生成」を格納し、物語化手段２３は、ユーザから入力された文字数をＸに代入した指示を物語生成手段５１に送信する。ユーザが任意の文字数を入力しても良い場合、その文字数の上限が指示に含められていても良い。

【0063】

物語化手段２３は、更に、物語の文字の種類をひらがなに指定するひらがな化情報を物語生成手段５１に送信する。ひらがな化情報として、「全文ひらがなの物語を生成」のような予め１つの指示が定められ、物語化手段２３がその指示を送信しても良い。この他に、ユーザがいくつかのパターンからひらがな化情報を選択できても良い。例えば、記憶部６が、図３（ｆ）のように、文字種類に紐づけて指示を格納することによって、ユーザが文字種類を選択し、物語化手段２３が文字種類の指示を用いて物語の生成指示を物語生成手段５１に送信する。図３（ｆ）の文字種類の指示は一例であり、指定される文字種類の物語の生成を物語生成手段５１に促すような指示であれば良い。この他にも、ユーザが小学校等の学年を選択することによって、物語化手段２３が、その学年までに習う漢字を用いた物語の生成指示を物語生成手段５１に送信しても良い。例えば、小学校２年生が選択された場合、物語化手段２３は、「小学校２年生までに習う漢字の使用は可能」のような指示を物語生成手段５１に送信する。

【0064】

物語化手段２３は、更に、物語に使用できない単語を指定する禁則情報を物語生成手段５１に送信する。例えば、記憶部６が、図３（ｇ）のように、禁則事項に紐づけて指示を格納することによって、物語化手段２３が禁則事項の指示を用いて物語の生成指示を物語生成手段５１に送信する。図３（ｇ）に記載の禁則事項の指示の他に、「宗教上の問題になるである表現の使用を禁止」のような指示を物語生成手段５１に送信しても良い。この他にも、ユーザから物語に使用できない単語を受け付け、物語化手段２３が、物語においてその単語を使用しないように促す指示を物語生成手段５１に送信しても良い。

【0065】

記憶部６は、図４（ａ）のように、テンプレート情報として、テーマに紐づけてイラスト及び物語の指示を格納する。受付手段２１が、ユーザからユーザ端末３を介して、ユーザ入力情報としてテーマを受け付けることによって、イラスト化手段２２及び物語化手段２３が、それぞれのテーマに紐づく指示をイラスト生成手段４１及び物語生成手段５１に送信する。

【0066】

図５は、絵本生成の処理シーケンス図を示す。ステップＳ５０１において、ユーザはユーザ端末３を介して、ユーザ入力情報を入力する。

【0067】

図６は、思い出に関する絵本生成のためのユーザ入力情報の入力画面の一例を示す。ユーザは、Ｗ６１のように、登場人物設定を行う。記憶部６が登場人物設定写真を格納している場合、ユーザは、ユーザ入力情報として、Ｐ６１ａ又はＰ６１ｂのような登場人物設定写真を選択して入力することができる。記憶部６が登場人物設定写真を格納していない場合、受付手段２１が、新たに登場人物設定写真を受け付けても良い。図６のＰ６１ａは、図３（ｂ）：Ｔａｒｏ１．ｊｐｇに対応し、図６のＰ６１ｂは、図３（ｂ）：Ｔａｒｏ２．ｊｐｇに対応する。ユーザが、絵本に登場させる人物としてＰ６１ａを選択することによって、イラスト化手段２２が、対応するＴａｒｏ１．ｊｐｇをイラスト生成手段４１に送信する。写真のファイル形式は、ＰＮＧ、ＧＩＦ等でも良く、その形式の指定はない。また、Ｐ６１ａが選択されると、物語化手段２３は、Ｔａｒｏ１．ｊｐｇに紐づく名前等の情報を物語生成手段５１に送信する。ユーザは、登場人物設定写真を１枚だけ入力可能でも良いし、複数枚入力可能でも良い。

【0068】

ユーザは、Ｗ６２のように、絵本の場面設定を行う。場面設定では、図６のＰ６２ａ及びＴ６２ａ、Ｐ６２ｂ及びＴ６２ｂ、・・・のように、受付手段２１は、１枚の写真に対応する１つのテキストを受け付けても良い。図６では、テキストは１つの短文である。イラスト化手段２２は、受け付けた１枚の写真であるＰ６２ａを用いてイラストの生成指示をイラスト生成手段４１に送信する。さらに、物語化手段２３は、受け付けた１つの短文であるＴ６２ａを用いて物語の生成指示を物語生成手段５１に送信する。統合化手段２４は、イラスト生成手段４１が生成した１枚のイラスト及び物語生成手段５１が生成した物語の統合を行い、絵本データを生成する。また、物語化手段２３が、生成する物語を１文にするような物語の生成指示を物語生成手段５１に送信し、統合化手段２４が、１枚のイラスト及び１文の物語の統合を行っても良い。

【0069】

物語化手段２３が物語生成手段５１に送信する生成指示としては、ユーザから受け付けたテキストを１つずつ送信しても良い。例えば、図６のＴ６２ａ、Ｔ６２ｂ、Ｔ６２ｃ、・・・を１つずつ送信することが考えられる。

【0070】

この他にも、物語化手段２３がユーザから受け付けた２つ目のテキストを生成指示として物語生成手段５１に送信する場合、ユーザから受け付けた２つ目のテキスト、１つ目のテキスト、１つ目のテキストから物語生成手段５１が生成した物語を送信しても良い。例えば、図６のＴ６２ｂを送信する場合、Ｔ６２ｂ、Ｔ６２ａ、Ｔ６２ａから物語生成手段５１が生成した回答を送信する。つまり、Ｎ個目のテキストを生成指示として送信する場合、物語化手段２３は、Ｎ及びＮ－１個目のテキスト及びＮ－１個目のテキストの回答を物語生成手段５１送信する。また、３つ目のテキストを生成指示として送信する場合、１～３つ目のテキスト、１つ目及び２つ目のテキストから物語生成手段５１が生成した物語を送信しても良い。つまり、Ｎ個目のテキストを生成指示として送信する場合、物語化手段２３は、１～Ｎ個目のテキスト、１～Ｎ－１個目のテキストから物語生成手段５１が生成した物語を物語生成手段５１に送信する。物語化手段２３は、ユーザから受け付けた過去のテキスト及び物語生成手段５１からの回答を全て物語生成手段５１に送信しても良いし、テキスト又は回答のどちらか全てを送信しても良い。

【0071】

受け付けた１枚の写真Ｐ６２ａ及び１つのテキストＴ６２ａは対応するため、Ｐ６２ａから生成されたイラスト及びＴ６２ａから生成された物語が、統合化手段２４によって統合され、絵本の１ページとして生成される。統合化手段２４は、生成した絵本の１ページを、任意の順番に統合して絵本データを生成しても良い。例えば、絵本生成装置２は、ユーザの写真及びテキストの入力順のページ順の絵本データを生成する。図６では、ユーザが場面０１、場面０２、の順番で入力し、統合化手段２４が、場面０１、場面０２、・・・の順番の絵本データを生成する。イラスト化手段２２及び物語化手段２３が、場面０１、場面０２、・・・の順番に送信し、イラスト及び物語を受信した順番に統合する。この他に、送信する写真及びテキストに順番を表す情報を紐づけて送信し、順番を表す情報をもとに、受信したイラスト及び物語を統合しても良い。ユーザは、自身の好きな順番で場面設定写真及びテキストを入力又はそれぞれの場面に順番を表す情報を入力することによって、自身の好きな順番の絵本を生成することができる。

【0072】

この他にも、場面設定において、受付手段２１は、複数の写真に対して、１つ又は複数のテキストを受け付けても良い。イラスト化手段２２は、複数の写真を用いてイラストの生成指示をイラスト生成手段４１に送信し、物語化手段２３は、１つ又は複数のテキストを用いて物語の生成指示を物語生成手段５１に送信する。統合化手段２４は、物語生成手段５１が生成した物語を分割して、イラスト生成手段４１が生成したイラストとの統合を行い、絵本データを生成する。写真とテキストが１対１で対応していないため、統合化手段２４が物語を分割して、イラストに対応させる。

【0073】

場面設定において、受付手段２１が受け付けた場面設定写真に人が写っている場合、ユーザによる登場人物設定が行われず、絵本生成装置２は、場面設定写真に写っている人物を用いて絵本を作成しても良い。この場合、場面設定において、場面設定写真に写っている人の役割を設定しても良い。また、場面設定において、受付手段２１が受け付けた場面設定写真に人が写っている場合、絵本生成装置２は、機械学習モデル等を利用した画像解析手法によって顔認識を行い、登場人物設定写真から場面設定写真に写っている人を検出し、検出した登場人物設定写真に紐づく登場人物設定写真情報を物語生成手段５１に送信しても良い。

【0074】

ユーザは、Ｗ６３のように、イラスト方向性設定を行う。ユーザは、ユーザ入力情報として、Ｓ６３ａ、Ｓ６３ｂ、・・・のように、イラストの方向性を選択する。図６では、イラストの方向性として、Ｓ６３ａの「リアル」が選択されている。受付手段２１が、図６のように、ユーザ入力情報として、「リアル」の入力を受け付けると、イラスト化手段２２は、「リアル」に紐づく図３（ｃ）のようなイラストの方向性の指示を用いてイラストの生成指示をイラスト生成手段４１に送信する。

【0075】

ユーザは、Ｗ６４のように、物語方向性設定を行う。ユーザは、ユーザ入力情報として、Ｓ６４ａ、Ｓ６４ｂ、・・・のように、物語の方向性を選択する。図６では、物語の方向性として、Ｓ６４ｂの「冒険」が選択されている。受付手段２１が、図６のように、ユーザ入力情報として、「冒険」の入力を受け付けると、物語化手段２３は、「冒険」に紐づく図３（ｄ）のような物語の方向性の指示を用いてイラストの生成指示を物語生成手段５１に送信する。

【0076】

ステップＳ５０２において、イラスト化手段２２は、Ｓ５０１において受付手段２１がユーザから受け付けたユーザ入力情報を、イラストの生成指示として、イラスト生成手段４１に送信する。さらに、ステップＳ５０２において、物語化手段２３は、Ｓ５０１において受付手段２１がユーザから受け付けたユーザ入力情報を、物語の生成指示として、物語生成手段５１に送信する。

【0077】

ステップＳ５０３において、イラスト生成手段４１及び物語生成手段５１は、Ｓ５０２においてそれぞれが生成したイラスト又は物語を、イラスト又は物語の生成指示の送信元に送信する。

【0078】

ステップＳ５０４において、統合化手段２４は、Ｓ５０３において受信したイラスト及び物語の統合を行い、絵本データを生成する。

【0079】

ステップＳ５０５において、絵本生成装置２は、生成した絵本データをユーザ端末３に出力する。ユーザは、ユーザ端末３を介して、生成された絵本のイラスト及び物語を確認し、気に入らない場合、ユーザ入力情報を変更しても良い。

【0080】

絵本生成装置２は、少なくとも絵本データを含む製本指示を工場に送信する。工場は、受信した絵本データを用いて製本し、製本された絵本をユーザ基本情報が有するユーザの住所に送信しても良い。

【0081】

図７は、しつけ、マナー又はルールに関する絵本生成のためのユーザ入力情報の入力画面の一例を示す。なお、図６と同様の入力画面については、同様の符号を付してその説明を省略する。

【0082】

ユーザは、Ｗ７２のように、絵本のテーマ設定を行う。テーマ設定では、図７のＴ７２ａ、Ｔ７２ｂ、・・・のように、受付手段２１は、しつけ、マナー又はルールに関する１つのテーマを受け付ける。また、しつけ、マナー又はルールに関する絵本を生成する場合、登場人物設定において、絵本に登場する人物を設定する必要がある。イラスト化手段２２は、登場人物設定において受け付けた写真及びテーマ設定において受け付けたテーマに紐づくイラストの方向性の指示を用いてイラスト生成手段４１に送信する。さらに、物語化手段２３は、登場人物設定において受け付けた写真に紐づく登場人物設定写真情報及びテーマ設定において受け付けたテーマに紐づく物語の方向性の指示を用いて物語生成手段５１に送信する。記憶部６が、図４（ａ）のように、テーマに紐づけてイラスト及び物語の方向性の指示を格納しているため、イラスト化手段２２及び物語化手段２３は、生成指示をイラスト生成手段４１及び物語生成手段５１に送信することができる。

【0083】

実施形態１では、イラストの生成指示をイラスト生成手段４１に送信、物語の生成指示を物語生成手段５１に送信したが、イラスト及び物語の生成指示を同一の生成手段に送信しても良い。この同一の生成手段は、ニューラルネットワーク等の機械学習モデルであっても、大規模言語モデルであっても良い。

【0084】

＜実施形態２＞
実施形態２では、イラスト及び物語の統合を統合装置７が行う形態を示す。なお、実施形態１と同様の構成については、同様の符号を付してその説明を省略する。図８は、実施形態２における絵本生成システム１のブロック図を示す。

【0085】

生成物送信手段２５は、イラスト生成手段４１が生成したイラスト及び物語生成手段５１が生成した物語を用いて統合指示を統合手段７１に送信する。場面設定において写真とテキストが１対１で対応している場合、統合指示は、写真とテキストの１対１の対応関係の情報を含む。統合手段７１は、機械学習モデル又は大規模言語モデルであり、統合装置７のハードウェア構成等は、イラスト生成装置４又は物語生成装置５と同様のものである。

【0086】

統合装置７は、機能構成要素として、統合手段７１を備える。統合手段７１は、統合指示に含まれるイラスト及び物語を用いて絵本データを生成し、生成した絵本を、統合指示の送信元に送信する。本実施形態において、統合指示の送信元は、絵本生成装置２であるが、これに限定されず、ユーザ端末３とする態様を採用することもできる。

【0087】

実施形態２では、イラストの生成指示をイラスト生成手段４１に送信、物語の生成指示を物語生成手段５１に送信、イラスト及び物語の統合指示を統合手段７１に送信したが、イラストの生成指示、物語の生成指示、イラスト及び物語の統合指示を同一の生成手段又は生成装置に送信しても良い。この同一の生成手段は、ニューラルネットワーク等の機械学習モデルであっても、大規模言語モデルであっても良い。また、同一の生成装置は、ニューラルネットワーク等の機械学習モデル又は大規模言語モデルである生成手段を有しても良い。

【0088】

イラスト生成装置４、物語生成装置５、統合装置７の一部又は全部を第三者が提供し、ウェブＡＰＩを利用してイラスト及び物語の生成並びにイラスト及び物語の統合を行わせても良い。

【符号の説明】

【0089】

１ 絵本生成システム
２ 絵本生成装置
２１ 受付手段
２２ イラスト化手段
２３ 物語化手段
２４ 統合化手段
２５ 生成物送信手段
３ ユーザ端末
４ イラスト生成装置
４１ イラスト生成手段
５ 物語生成装置
５１ 物語生成手段
６ 記憶部
７ 統合装置
７１ 統合手段
ＮＷ 通信ネットワーク

【要約】

【課題】
ユーザが撮影した写真及びユーザが入力した情報を用いて、イラスト及びイラストに適した物語を有する絵本を生成する技術を提供する。
【解決手段】
絵本の生成を行う絵本生成システムであって、
受付手段と、イラスト化手段と、物語化手段と、統合化手段と、を備え、
前記受付手段は、写真、テキスト、テーマの少なくとも１つを含むユーザ入力情報を受け付け、
前記イラスト化手段は、前記ユーザ入力情報を用いてイラストの生成指示をイラスト生成手段に送信し、
前記物語化手段は、前記ユーザ入力情報を用いて物語の生成指示を物語生成手段に送信し、
前記統合化手段は、前記イラスト生成手段が生成したイラスト及び前記物語生成手段が生成した物語の統合を行い、絵本データを生成する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】