特開 2024-176249 マンガ作成支援システム、及びマンガ作成支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176249

(43)【公開日】2024-12-19

(54)【発明の名称】マンガ作成支援システム、及びマンガ作成支援方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241212BHJP

   G06T 11/80 20060101ALI20241212BHJP

【ＦＩ】

G06Q50/10

G06T11/80 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023094674

(22)【出願日】2023-06-08

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】西田 康二

(72)【発明者】

【氏名】中山 晃治

【テーマコード（参考）】

5B050

5L049

5L050

【Ｆターム（参考）】

5B050CA07

5B050EA04

5B050EA19

5B050FA05

5L049CC11

5L050CC11

(57)【要約】

【課題】マンガを簡便な方法で作成する。
【解決手段】マンガにおける１又は複数のコマのそれぞれを構成する図絵の内容又は特徴を表すデータである図絵データを設定する図絵データ設定処理と、コマを構成するセリフを表すデータであるセリフデータを設定するセリフデータ設定処理と、設定した図絵データに基づき、設定した図絵データが示す図絵の内容又は特徴を有する画像データを取得する画像データ取得処理と、取得した画像データと、設定したセリフデータとに基づき、マンガのデータを生成するマンガ作成処理とを実行する制御装置を備える、マンガ作成支援システム１。
【選択図】図２

【特許請求の範囲】

【請求項1】

マンガにおける１又は複数のコマのそれぞれを構成する図絵の内容又は特徴を表すデータである図絵データを設定する図絵データ設定処理と、
前記コマを構成するセリフを表すデータであるセリフデータを設定するセリフデータ設定処理と、
前記設定した図絵データに基づき、前記設定した図絵データが示す図絵の内容又は特徴を有する画像データを取得する画像データ取得処理と、
前記取得した画像データと、前記設定したセリフデータとに基づき、前記マンガのデータを生成するマンガ作成処理と
を実行する制御装置を備える、マンガ作成支援システム。

【請求項2】

前記制御装置は、
マンガを構成する図絵として許容されない図絵を特定するデータに基づき、前記取得した画像データがマンガを構成する図絵として許容されない図絵を含んでいるか否かを判定し、前記取得した画像データがマンガを構成する図絵として許容されない図絵を含んでいると判定した場合には、前記取得した画像データのうち、前記許容されない図絵の部分のデータに所定の加工を行った新たなマンガのデータを生成する校閲処理を実行する、
請求項１に記載のマンガ作成支援システム。

【請求項3】

前記制御装置は、前記校閲処理において、マンガを構成する図絵として許容されない図絵の画像データである禁止画像データを取得し、取得した禁止画像データに基づき、前記取得した画像データが前記禁止画像データと同一性を有するか否かを判定することにより、前記取得した画像データがマンガを構成する図絵として許容されない図絵を含んでいるか否かを判定する、
請求項２に記載のマンガ作成支援システム。

【請求項4】

前記制御装置は、前記校閲処理において、マンガを構成する図絵として許容されない図絵を示すテキストデータである禁止テキストデータを取得し、取得した禁止テキストデータに基づき、前記取得した画像データが示す図絵が前記禁止テキストデータが示す図絵と同一であるか否かを判定することにより、前記取得した画像データがマンガを構成する図絵として許容されない図絵を含んでいるか否かを判定する、
請求項２に記載のマンガ作成支援システム。

【請求項5】

前記制御装置は、
前記校閲処理において、前記取得した画像データが示す画像の領域のうち、ユーザから、マンガを構成する図絵の一部又は全部の領域を示すデータである禁止範囲データの入力を受け付け、
前記マンガ作成処理において、前記取得した画像データが示す画像の領域のうち前記禁止範囲データが示す領域に所定の加工を行った新たなマンガのデータを生成する、
請求項２に記載のマンガ作成支援システム。

【請求項6】

前記制御装置は、
前記校閲処理において、所定の情報処理システムにより画像データを検索し、検索した画像データを出力すると共に、前記取得した画像データのうちマンガを構成する図絵として許容されない図絵を含んでいる画像データの指定を受け付け、指定された画像データが示す、前記許容されない図絵の部分のデータに所定の加工を行った新たなマンガのデータを作成する、
請求項２に記載のマンガ作成支援システム。

【請求項7】

前記制御装置は、
前記校閲処理において、所定の情報処理システムにより画像データを検索し、検索した画像データがマンガを構成する図絵として許容されない図絵のデータに対応するか否かを所定のデータに基づき判定し、前記検索した画像データがマンガを構成する図絵として許容されない図絵のデータに対応すると判定した場合には、前記取得した画像データのうち、前記許容されない図絵の部分のデータに所定の加工を行った新たなマンガのデータを作成する、
請求項２に記載のマンガ作成支援システム。

【請求項8】

前記マンガを構成する図絵として許容されない図絵を特定するデータと、前記図絵に行う加工方法を示すデータとを対応付けたデータベースを記憶する記憶装置を備え、
前記制御装置は、前記校閲処理において、前記許容されない図絵の部分のデータに、前記データベースに基づき特定される加工を行った新たなマンガのデータを生成する、
請求項２に記載のマンガ作成支援システム。

【請求項9】

前記マンガを構成する図絵として許容されない図絵に関して所定の権利を有する者を特定するデータと、前記図絵を特定するデータとを対応付けたデータベースを記憶する記憶装置を備え、
前記制御装置は、前記校閲処理において、前記データベースに基づき、前記取得した画像データがマンガを構成する図絵として許容されない図絵を含んでいるか否かを判定する、
請求項２に記載のマンガ作成支援システム。

【請求項10】

前記制御装置は、
前記校閲処理において、前記取得した画像データがマンガを構成する図絵として許容されない図絵を含んでいると判定した場合には、前記取得した画像データのうち、前記許容されない図絵の部分を他の図絵に置換し又は消去した新たなマンガのデータを生成する、
請求項２に記載のマンガ作成支援システム。

【請求項11】

マンガにおけるコマを構成する図絵の内容又は特徴を表すデータが入力され、前記データが示す内容又は特徴を有する画像データを出力する画像生成モデルを記憶する記憶装置を備え、
前記制御装置は、
前記画像データ取得処理において、前記図絵データを前記画像生成モデルに入力することにより、前記図絵データが示す内容又は特徴を有する画像データを取得する、
請求項１に記載のマンガ作成支援システム。

【請求項12】

前記記憶装置は、マンガのコマにおける図絵の内容又は特徴を表すデータと共に、前記マンガのコマにおける図絵の位置、図絵間の関係性、又は、擬音語、擬態語、若しくは擬声語に対する装飾のいずれかを示す付帯データが入力され、前記データ及び付帯データが示す内容又は特徴を有する画像データを出力する画像生成モデルを記憶し、
前記制御装置は、
前記画像データ取得処理において、前記マンガのコマにおける図絵の内容又は特徴を表すデータと共に、前記マンガのコマにおける図絵の位置、図絵間の関係性、又は、擬音語、擬態語、若しくは擬声語に対する装飾のいずれかを示す付帯データを前記画像生成モデルに入力することにより、前記入力された各データが示す内容又は特徴を有する画像データを取得する、
請求項１１に記載のマンガ作成支援システム。

【請求項13】

前記制御装置は、
前記図絵データ設定処理において、ユーザから、前記図絵データの入力を受け付け、
前記セリフデータ設定処理において、ユーザから、前記セリフデータの入力を受け付ける、
請求項１に記載のマンガ作成支援システム。

【請求項14】

前記制御装置は、前記マンガ作成処理において、前記生成したマンガのデータの内容を表示する、請求項１に記載のマンガ作成支援システム。

【請求項15】

情報処理装置が、
マンガにおける１又は複数のコマのそれぞれを構成する図絵の内容又は特徴を表すデータである図絵データを設定する図絵データ設定処理と、
前記コマを構成するセリフを表すデータであるセリフデータを設定するセリフデータ設定処理と、
前記設定した図絵データに基づき、前記設定した図絵データが示す図絵の内容又は特徴を有する画像データを取得する画像データ取得処理と、
前記取得した画像データと、前記設定したセリフデータとに基づき、前記マンガのデータを生成するマンガ作成処理と
を実行する、マンガ作成支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マンガ作成支援システム、及びマンガ作成支援方法に関する。

【背景技術】

【0002】

近年、web広告市場は成長傾向にあり、web広告は様々なコンテンツの告知に活用されている。このうち、マンガの形態による広告（マンガ広告）は独自の訴求性を有しており様々なニーズがある。ただし、マンガの作成には一定のスキルが必要である。そこで、例えば、非特許文献１には、所定の情報入力によってマンガ広告のコンテンツが作成可能なプラットフォームが開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】"マンガフィールド（ＭＡＮＧＡＦＩＥＬＤ）"、［online］、［令和５年（２０２３年）５月１０日検索］、インターネット（URL: https://lp.manga-field.net/）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、このようなプラットフォームは、予め準備した構図（テンプレート）及びその構図に対応したテキストコンテンツ（吹き出しないしコメント）等をユーザが入力する必要があり、このようなデータの準備には大きなコストが生じる。また、ユーザは、このようなデータに基づいてプラットフォームが提案した種々のテンプレートから、使用するテンプレートを選択し、選択したテンプレートに対して適切なコメントを作成して埋め込む必要がある。このような作業にもまた、一定のスキル及び時間が必要となる。

【0005】

本発明はこのような背景に鑑みてなされたものであり、その目的は、マンガを簡便な方法で作成することが可能なマンガ作成支援システム、及びマンガ作成支援方法を提供することにある。

【課題を解決するための手段】

【0006】

前記の課題を解決するための本発明の一つは、マンガにおける１又は複数のコマのそれぞれを構成する図絵の内容又は特徴を表すデータである図絵データを設定する図絵データ設定処理と、前記コマを構成するセリフを表すデータであるセリフデータを設定するセリフデータ設定処理と、前記設定した図絵データに基づき、前記設定した図絵データが示す図絵の内容又は特徴を有する画像データを取得する画像データ取得処理と、前記取得した画像データと、前記設定したセリフデータとに基づき、前記マンガのデータを生成するマンガ作成処理とを実行する制御装置を備える、マンガ作成支援システム、である。

【発明の効果】

【0007】

本発明によれば、マンガを簡便な方法で作成することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係るマンガ作成支援システムの構成の一例を説明する図である。

【図2】マンガ作成支援装置が有する機能の一例を説明する図である。

【図3】描画禁止データリストの一例を示す図である。

【図4】画像生成装置が有する機能の一例を説明する図である。

【図5】マンガ作成支援システムにおける各情報処理装置が備えるハードウェアの一例を説明する図である。

【図6】マンガ作成支援処理の概略を説明する図である。

【図7】マンガ作成支援画面の一例を示す図である。

【図8】校閲処理の詳細を説明するフロー図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態について、図面を参照しつつ説明する。

【0010】

本実施形態に係るマンガ作成支援システムは、マンガを作成しようとしているユーザにより指定された、マンガの図絵に関する情報に基づき、その図絵に対応する画像データを自動的に生成する。マンガ作成支援システムは、この生成した画像データと、ユーザが指定したセリフのデータとに基づき、マンガのデータを生成する。

【0011】

さらに、このマンガ作成支援システムは、生成したマンガのデータについて、権利関係上又は社会通念上等、不適切な画像を含んでいるか否かをチェック（校閲）し、必要に応じてそのような不適切な画像を加工することで、マンガのデータを修正する。

【0012】

図１は、本実施形態に係るマンガ作成支援システム１の構成の一例を説明する図である。マンガ作成支援システム１は、ユーザ端末１０、マンガ作成支援装置１００、及び画像生成装置２００を含んで構成される。これらの装置の間は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、又は専用線等の有線又は無線の通信ネットワーク５により接続される。

【0013】

ユーザ端末１０は、図絵及びセリフを含むマンガを作成するユーザが使用する情報処理装置である。

【0014】

マンガ作成支援装置１００は、ユーザ端末１０からの、図絵及びセリフに関する指示に基づき、図絵に対応する画像データを画像生成装置２００から取得し、取得した画像データ及び上記セリフのデータに基づきマンガデータを生成し、生成したマンガデータをユーザ端末１０に送信する情報処理装置である。また、マンガ作成支援装置１００は、生成したマンガデータに不適切な画像が含まれていないかを校閲し、必要に応じてマンガデータを加工（修正）する。

【0015】

画像生成装置２００は、マンガ作成支援装置１００から図絵（画像データ）の生成に関する指示を受信し、受信した指示に基づき画像データを生成する情報処理装置である。画像生成装置２００は、生成した画像データをマンガ作成支援装置１００に送信する。

【0016】

次に、図２は、マンガ作成支援装置１００が有する機能の一例を説明する図である。

【0017】

同図に示すように、マンガ作成支援装置１００は、描画禁止データリスト１２０、ユーザ情報ＤＢ１４０、及び物体検出モデル１６０を記憶する。

【0018】

描画禁止データリスト１２０は、マンガを構成する図絵（例えば、人（架空のキャラクタを含む）、物、又は背景パターン等の描画対象。以下、オブジェクトともいう。）として、権利関係又は社会通念等の理由で許容されない不適切な図絵（以下、禁止オブジェクトという）を表すデータ（以下、禁止オブジェクトデータという）と、そのオブジェクトが許容されない理由を示すデータ（以下、禁止理由データという）とを対応付けたデータである。

【0019】

ユーザ情報ＤＢ１４０は、マンガ作成支援装置１００が生成したマンガデータを、ユーザのＩＤに対応付けて記憶する。

【0020】

物体検出モデル１６０は、画像データが入力され、その画像データが描画しているオブジェクトを示す情報（テキストデータその他のフォーマットのデータ）を出力する。物体検出モデル１６０は、例えば、入力値が入力される入力層と、入力値から画像データの特徴量を抽出して出力する１又は複数の中間層（隠れ層）と、特徴量からオブジェクトの情報を出力する出力層とを有するニューラルネットワークとする。ニューラルネットワークとしては、例えば、ＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）がある。また、ニューラルネットワーク以外にも、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は回帰木等を適用したモデルを採用してもよい。物体検出モデル１６０は、予め機械学習等により生成される。例えば、物体検出モデル１６０は、複数の画像データと、それらの正解データ（オブジェクトを特定するデータ）との間の関係を学習することにより生成される。なお、物体検出モデル１６０は、このような学習済みモデルに限らず、データベース又はテンプレート等による構成であってもよい。

【0021】

（描画禁止データリスト）
ここで、図３は、描画禁止データリスト１２０の一例を示す図である。描画禁止データリスト１２０は、禁止オブジェクトデータが設定される禁止オブジェクトデータ１２１、その禁止オブジェクトについての禁止理由データが設定される理由１２２、及び、その禁止オブジェクトに係る画像データに関して実行すべき処理（加工方法）を特定する情報が設定される加工方法１２３の各データ項目を有する。

【0022】

禁止オブジェクトデータ１２１には、例えば、禁止オブジェクトを表すテキストデータ（例えば、キャラクターの名称。以下、禁止テキストデータという。）、禁止オブジェクトに係る画像データ（以下、禁止画像データという）、又はその画像データの格納場所（ＵＲＬ等）の情報等が設定される。

【0023】

理由１２２には、例えば、禁止オブジェクトに関して所定の権利を有する権利者が存在することを示す情報が設定される。この権利者は、例えば、ユーザ以外の者であり、ユーザがその禁止オブジェクトに係る画像データをその権利者以外の承諾なく用いると権利侵害となるような者である。この権利者は、例えば、著作権者である。

【0024】

また、理由１２２には、例えば、禁止オブジェクトの内容がユーザのポリシ又は公序良俗に反することを示す情報が設定される。

【0025】

加工方法１２３には、例えば、禁止オブジェクトの画像データをその他のオブジェクト（同種の異なるオブジェクト又は異種のオブジェクト）の画像データに加工する場合のその加工方法を特定する情報が設定される。この加工は、例えば、禁止オブジェクトを同種の異なるオブジェクトに変更する加工（例えば、ある人を異なる人にする）、禁止オブジェクトを異種のオブジェクトに変更する加工（例えば、人又は物を他の物又は人にする）、又は、禁止オブジェクトを消去する（無地の背景にする）加工である。具体的には、加工方法１２３には、例えば、加工後の画像データを特定する情報等が設定される。

【0026】

続いて、図２に示すように、マンガ作成支援装置１００は、データ送受信部１０１、図絵データ設定部１０２、セリフデータ設定部１０３、画像データ取得部１０４、マンガ作成部１０５、マンガ表示部１０６、校閲部１０７、及び物体検出部１０８の各機能部（プログラム）を有する。

【0027】

データ送受信部１０１は、ユーザ端末１０及び画像生成装置２００との間の通信を制御する。

【0028】

図絵データ設定部１０２は、マンガにおける１又は複数のコマのそれぞれを構成する図絵（オブジェクト）の内容又は特徴を表すデータである図絵データを設定する。例えば、図絵データ設定部１０２は、ユーザ端末１０から、図絵データの入力を受け付ける。図絵データは、テキストデータの形式であってもよいし、画像データの形式であってもよい。

【0029】

セリフデータ設定部１０３は、コマを構成するセリフを表すデータであるセリフデータを設定する。例えば、セリフデータ設定部１０３は、ユーザ端末１０から、セリフデータの入力を受け付ける。セリフデータは、本実施形態では、テキストデータの形式であるものとするが、それ以外のデータ形式であることを妨げない。

【0030】

画像データ取得部１０４は、図絵データ設定部１０２が設定した図絵データに基づき、図絵データ設定部１０２が設定した図絵データが示す内容又は特徴を有する画像データを、画像生成装置２００から取得する。

【0031】

マンガ作成部１０５は、画像データ取得部１０４が取得した画像データと、画像データ取得部１０４が設定したセリフデータとに基づき、マンガのデータ（マンガデータ）を生成する。

【0032】

マンガ表示部１０６は、図絵データ及びセリフデータの入力をユーザ端末１０から受け付け、マンガ作成部１０５が生成したマンガデータの内容を表示する画面（以下、マンガ作成支援画面という）等を表示する。

【0033】

校閲部１０７は、マンガを構成する図絵として許容されない図絵（禁止オブジェクト）を特定するデータ（禁止オブジェクトデータ）を特定し、特定したデータに基づき、画像データ取得部１０４が取得した画像データがマンガを構成する図絵として禁止オブジェクトを含んでいるか否かを判定する。そして、校閲部１０７は、画像データ取得部１０４が取得した画像データが禁止オブジェクトを含んでいると判定した場合には、画像データ取得部１０４が取得した画像データのうち、禁止オブジェクトの部分のデータに所定の加工を行った新たなマンガのデータを生成する。

【0034】

例えば、校閲部１０７は、マンガを構成する図絵として許容されない図絵の画像データである禁止画像データを取得し、取得した禁止画像データに基づき、画像データ取得部１０４が取得した画像データが禁止画像データと同一性を有するか否かを判定することにより、その画像データが禁止オブジェクトを含んでいるか否かを判定する（自動校閲処理）。

【0035】

また、例えば、校閲部１０７は、画像データ取得部１０４が取得した画像データが示す画像の領域のうち、ユーザから、マンガを構成する図絵の一部又は全部の領域を示すデータである禁止範囲データの入力を受け付ける。その後、マンガ作成部１０５は、画像データ取得部１０４が取得した画像データが示す画像の領域のうち禁止範囲データが示す領域のデータに所定の加工を行った新たなマンガのデータを生成する（手動校閲処理）。

【0036】

また、例えば、校閲部１０７は、所定の情報処理システム（例えば、インターネット検索システム、所定のデータベース）を呼び出して、その情報処理システムが管理する画像データを検索し、検索した画像データを表示してユーザに提示する。そして、校閲部１０７は、上記取得した各画像データのうち、禁止オブジェクトを含んでいる画像データの指定をユーザから受け付け、指定された画像データが示す禁止オブジェクトの部分のデータに所定の加工を行った新たなマンガのデータを作成する（検索校閲処理）。また、この場合、校閲部１０７は、検索した画像データが禁止オブジェクトのデータに対応するか否かを判定し、検索した画像データが禁止オブジェクトのデータに対応すると判定した場合には、上記取得した画像データのうち禁止オブジェクトの部分のデータに所定の加工を行った新たなマンガのデータを作成してもよい。

【0037】

物体検出部１０８は、ユーザからマンガ作成支援装置１００を介して指定された画像データを物体検出モデル１６０に入力することにより、その画像データにおけるオブジェクトを出力する。

【0038】

次に、図４は、画像生成装置２００が有する機能の一例を説明する図である。
まず、画像生成装置２００は、画像生成モデル２２０を記憶する。

【0039】

画像生成モデル２２０は、マンガのコマにおける図絵の内容又は特徴を表すデータと共に、そのマンガのコマにおける図絵の位置、図絵間の関係性、又は、擬音語、擬態語、若しくは擬声語に対する装飾のいずれかを示す付帯データが入力され、そのデータ及び付帯データが示す内容又は特徴を有する画像データを出力する。

【0040】

画像生成モデル２２０は、本実施形態ではいわゆる画像生成ＡＩ（Artificial Intelligence）であるものとする。この画像生成モデル２２０は、text-to-imageのモデルであっても、image-to-imageのモデルであってもよい。すなわち、画像生成モデル２２０の入力データは、テキストデータであっても、画像データであってもよい。入力データがテキストデータである場合は、画像生成モデル２２０は、例えば、テキストエンコーダ及び画像生成器により構成される。テキストエンコーダは、テキストを特徴量からなるベクトルに変換するモデルであり、例えば、リカレントニューラルネットワーク（Recurrent Neural Network：RNN）によるモデル、又はTransformerモデルである。画像生成器は、ベクトルを画像データに変換するモデルであり、例えば、GAN（Generative Adversarial Network）、又は拡散モデルである。入力データが画像データである場合は、画像生成モデル２２０は、例えば、各種類のGAN（Generative Adversarial Network）（例えば、CGAN（ConditionalGAN））のモデルにより構成される。なお、このようなモデルの構成は一例であり、画像生成モデル２２０は上記機能を有する任意のタイプのモデルを含む。

【0041】

なお、画像生成モデル２２０は、画像データ及びその画像データに対する加工方法の指定を受け付け、画像データを上記加工方法に従って加工した新たな画像データを生成する機能を備えていてもよい。

【0042】

次に、画像生成装置２００は、データ送受信部２０１、及び画像生成部２０２の各機能（プログラム）を有する。

【0043】

データ送受信部２０１は、ユーザ端末１０及びマンガ作成支援装置１００との間の通信を制御する。

【0044】

画像生成部２０２は、ユーザ端末１０からマンガ作成支援装置１００を介して指定された、マンガのコマの図絵に関する図絵データ及びその付帯データを含むデータを受信し、受信したデータを画像生成モデル２２０に入力することにより、画像データを出力する。出力された画像データは、マンガ作成支援装置１００に送信される。

【0045】

次に、図５は、マンガ作成支援システム１における各情報処理装置（ユーザ端末１０、マンガ作成支援装置１００、及び画像生成装置２００）が備えるハードウェアの一例を説明する図である。各情報処理装置は、ＣＰＵ（Central Processing Unit）などの制御装置９１（プロセッサ）と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の主記憶装置９２（メモリ）と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置９３と、キーボード、マウス、タッチパネルなどからなる入力装置９４と、モニタ（ディスプレイ）等からなる、画面表示を行う出力装置９５と、ＮＩＣ（Network Interface Card）、無線通信モジュール、USB（Universal Serial Interface）モジュール、又はシリアル通信モジュール等で構成される通信装置９６を備える。

【0046】

各情報処理装置の機能は、各情報処理装置のハードウェアによって、もしくは、各情報処理装置の制御装置９１が、主記憶装置９２又は補助記憶装置９３に記憶されている各プログラムを読み出して実行することにより実現される。また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤなどの記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤなどの、情報処理装置で読み取り可能な記録媒体に格納される。なお、各情報処理装置は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、これらの装置によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。
次に、マンガ作成支援システム１において行われる処理について説明する。

【0047】

図６は、マンガ作成支援システム１において行われるマンガ作成支援処理の概略を説明する図である。
図７は、マンガ作成支援システム１においてユーザ端末１０等に表示されるマンガ作成支援画面７００の一例を示す図である。

【0048】

マンガ作成支援処理は、例えば、マンガ作成支援装置１００が、マンガを作成したいユーザのユーザ端末１０から所定の実行指示を受信したことを契機に開始される。

【0049】

まず、図６に示すように、マンガ作成支援装置１００の図絵データ設定部１０２は、マンガ作成支援画面７００をユーザ端末１０に表示させ、ユーザ端末１０から、マンガにおける各コマの図絵の情報（図絵データ）等の入力を受け付ける（ｓ１）。

【0050】

また、マンガ作成支援装置１００のセリフデータ設定部１０３は、マンガ作成支援画面７００をユーザ端末１０に表示させ、ユーザ端末１０から、マンガにおける各コマのセリフの情報（セリフデータ）等の入力を受け付ける（ｓ３）。また、マンガ作成支援装置１００は、マンガを作成するために必要なその他のデータの入力をユーザ端末１０から受け付ける。

【0051】

ここで、図７に示すように、マンガ作成支援画面７００は、ユーザ（ユーザ端末１０。以下同様。）からマンガのコマ数の指定を受け付けるコマ数指定欄７１０と、ユーザからマンガを構成する各コマの図絵及びセリフの指定を受け付けるマンガ定義指定欄７２０と、コマ数指定欄７１０及びマンガ定義指定欄７２０で指定された情報に基づき画像生成装置２００に画像データの生成を指示するための送信欄７９０とを有する。なお、マンガ作成支援画面７００は、作成されるマンガにおけるコマ割り（各コマの配置）の指定をユーザから受け付ける指定欄を備えていてもよい（不図示）。

【0052】

マンガ定義指定欄７２０は、コマ数指定欄７１０で指定されたコマ数分の、１又は複数のコマ定義欄７３０を有する。各コマ定義欄７３０は、前提画像指定欄７３１と、描画構造定義欄７３２と、コメント定義欄７３３と、描画スタイル定義欄７３４と、フォント指定欄７３５とを有する。

【0053】

前提画像指定欄７３１は、画像生成装置２００が生成する画像の内容又は特徴を基礎づける画像（以下、前提画像という。図絵データに対応。）の指定をユーザから受け付ける。前提画像は、例えば、コマにおける各オブジェクト又は背景パターンを特徴づける画像である。前提画像指定欄７３１は、例えば、画像生成装置２００の画像生成モデル２２０がimage-to-imageのモデルである場合に使用される。

【0054】

描画構造定義欄７３２は、画像生成装置２００が生成する画像データを特定するための文章、単語、記号、又は識別子等のテキストの入力（すなわち、図絵データの入力）をユーザから受け付ける。描画構造定義欄７３２には、例えば、描画するオブジェクト７３６の属性の情報が設定される。属性は、例えば、オブジェクト７３６の名称、種類、形、大きさ、姿勢若しくは方向、色、表情若しくは表面、装飾表現たるオノマトペ（具体的には、例えば、擬音語、擬態語、若しくは擬声語に対する装飾、又は集中線等）、オブジェクト７３６間の関連性の定義、又はオブジェクトの描画位置等である。これらの属性の情報は、マンガを構成するオブジェクトの内容又はスタイルを特定するためのあらゆる情報が含まれ得る。描画構造定義欄７３２は、例えば、画像生成装置２００の画像生成モデル２２０がtext-to-imageのモデルである場合に使用される。

【0055】

コメント定義欄７３３は、描画構造定義欄７３２で定義された各オブジェクト７３６に対応する各オブジェクト７３７とそのオブジェクト７３７に対応付けられるセリフ７３８のテキストの入力（すなわち、セリフデータの入力）をユーザから受け付ける。また、コメント定義欄７３３は、コマ内でのセリフの配置属性（例えば、文字の大きさ、位置、又は縦書き若しくは横書きの定義等）の指定をユーザから受け付けてもよい（不図示）。

【0056】

描画スタイル定義欄７３４は、図絵データに対する付帯データの指定を受け付ける。すなわち、描画スタイル定義欄７３４は、対応するコマにおける図絵の全体的な特徴を示す情報の指定をユーザから受け付ける。この情報は、例えば、写実的な画像又は空想的な画像の生成を指定する情報である。

【0057】

なお、図絵データに対する付帯データには、その他の種類のデータを含んでもよい。例えば、付帯データには、セリフを囲う吹き出しの表示態様を示すデータを含んでいてもよい。

【0058】

また、例えば、付帯データには、画像生成モデル２２０において画像データの生成における乱数生成を制御するパラメータ値（例えば、seed値）が含まれていてもよい。この場合のパラメータ値は、各コマについて共通の値が設定されることが好ましい。もしくは、このパラメータ値は、画像生成装置２００が生成した各コマの画像データの特徴が共通するように、適宜の値に自動的に又はユーザからの指定によって調整されることが好ましい。このようなパラメータ値を設定することにより、マンガの画風の一貫性を維持することができる。

【0059】

フォント指定欄７３５は、コメント定義欄７３３で入力されたテキストのフォントの指定をユーザから受け付ける。

【0060】

その後、図６に示すように、マンガ作成支援装置１００の画像データ取得部１０４は、ｓ１、ｓ３で入力された図絵データ及びこれに付帯する付帯データを画像生成装置２００に送信する（ｓ５）。

【0061】

例えば、画像データ取得部１０４は、マンガ作成支援画面７００の送信欄７９０の指定をユーザから受け付けた場合、各コマについての前提画像指定欄７３１又は描画構造定義欄７３２に入力されたデータ（図絵データ）と、描画スタイル定義欄７３４等に入力されたデータ（付帯データ）とを含むデータを、画像生成装置２００に送信する。

【0062】

その後、まず、画像データ取得部１０４は、画像生成装置２００から、画像生成装置２００が生成した画像データ（各コマの画像データ）を取得する（ｓ７）。

【0063】

具体的には、画像生成装置２００の画像生成部２０２は、マンガ作成支援装置１００から受信した、図絵データ及び付帯データを含むデータを画像生成モデル２２０に入力することにより、入力されたデータが示す内容又は特徴を有する画像データを出力する。そして、画像生成部２０２は、出力した画像データをマンガ作成支援装置１００に送信する。

【0064】

すると、マンガ作成部１０５は、ｓ７で受信した各コマの画像データと、ｓ３で設定したセリフデータとを組み合わせたマンガデータを生成する（ｓ９）。

【0065】

例えば、マンガ作成部１０５は、各コマについて、そのコマに係る画像データの上に、ｓ３で設定したセリフデータが示すセリフ及び、セリフを囲う吹き出しを重ねる。より具体的には、セリフデータに関してマンガ作成部１０５は、コメント定義欄７３３及びフォント指定欄７３５で指定された内容に基づき、画像データにおけるセリフの座標（領域）を算出し、算出した座標（領域）に、セリフデータが示すセリフの文字等を埋め込む。

【0066】

また、吹き出しに関してマンガ作成部１０５は、上記で算出したセリフのテキストデータの座標に基づき、吹き出しの座標（領域）を算出し、算出した座標（領域）に、吹き出しの画像データを埋め込む。なお、マンガ作成部１０５は、描画構造定義欄７３２で指定された内容に基づき、画像生成装置２００が生成した画像データにおける吹き出しの座標（領域）を算出してもよい。

【0067】

なお、セリフ又は吹き出しに関して、画像生成モデル２２０そのものが、コメント定義欄７３３及びフォント指定欄７３５の内容等に基づき、図絵及びセリフ又は吹き出しを描画した画像データを生成してもよい。

【0068】

マンガ作成部１０５は、ｓ９で生成したマンガデータの内容を表示する（ｓ１１）。

【0069】

ここで、図７に示すように、マンガ作成支援画面７００は、マンガの内容を表示する生成マンガ表示欄７４０を有する。生成マンガ表示欄７４０は、ｓ９で生成した各コマのマンガデータの内容が表示される、１又は複数のコマ領域７５０を有する。

【0070】

コマ領域７５０には、画像生成装置２００が生成した各コマの図絵７５１（画像データの内容）が表示される。また、コマ領域７５０には、コメント定義欄７３３で入力されたセリフ７３８に対応するセリフ７５２及び、セリフ７３９を囲う吹き出し７５３がそれぞれ表示される。また、コマの背景パターン７５４が表示される。

【0071】

その後、図６に示すように、校閲部１０７は、ｓ１１で生成したマンガデータの修正（加工）を実行する校閲処理ｓ１３を実行する。

【0072】

その後、データ送受信部１０１は、校閲処理ｓ１３で加工されたマンガデータをユーザ端末１０に送信する（ｓ１５）。以上でマンガ作成支援処理を終了する。

【0073】

ここで、図７に示すように、マンガ作成支援画面７００は、校閲処理ｓ１３に関するインタフェースとして、禁止画像データを登録するための描画禁止リスト登録欄７９１と、自動校閲処理の実行の指定をユーザから受け付ける自動校閲実行欄７９２と、検索校閲処理の実行の指定をユーザから受け付ける一般画像校閲実行欄７９３と、手動画像校閲処理の実行の指定をユーザから受け付ける手動校閲実行欄７９４とを有する。

【0074】

＜校閲処理＞
図８は、校閲処理ｓ１３の詳細を説明するフロー図である。

【0075】

校閲部１０７は、マンガ作成支援画面７００が表示されると、実行する処理の種類の選択を受け付ける（ｓ１３０）。具体的には、校閲部１０７は、マンガ作成支援画面７００における自動校閲実行欄７９２、一般画像校閲実行欄７９３、又は手動校閲実行欄７９４のいずれかの選択をユーザから受け付ける。

【0076】

実行する処理が検索校閲処理である場合は（ｓ１３０：検索。例えば、一般画像校閲実行欄７９３が指定された場合）、校閲部１０７は、ｓ１３１の処理を実行する。

【0077】

実行する処理が自動校閲処理である場合は（ｓ１３０：自動。例えば、自動校閲実行欄７９２が指定された場合）、校閲部１０７は、ｓ１３５の処理を実行する。

【0078】

実行する処理が手動画像校閲処理である場合は（ｓ１３０：手動。例えば、手動校閲実行欄７９４が指定された場合）、校閲部１０７は、ｓ１４０の処理を実行する。

【0079】

ｓ１３１において校閲部１０７は、所定の情報処理システムから画像データを検索する。例えば、校閲部１０７は、マンガデータにおける各コマの画像データ（以下、コマ画像データという）又はそのコマ画像データにおけるオブジェクトをキーにして、所定のインターネット検索システム又はデータベース（様々な画像データを記憶し又はその所在を管理しているシステム）から、コマ画像データ又はオブジェクトと関連性のある１又は複数の画像データを検索して取得する。

【0080】

なお、校閲部１０７は、コマ画像データにおけるオブジェクトを、例えば次のようにして認識する。すなわち、校閲部１０７は、コマ画像データを画像生成装置２００に送信する。画像生成装置２００は、受信したコマ画像データを物体検出モデル１６０に入力することにより、コマ画像データを構成するオブジェクトの情報を出力する。画像生成装置２００は、出力した各オブジェクトの情報を校閲部１０７に送信する。

【0081】

校閲部１０７は、ｓ１３１で検索した画像データに基づき、加工すべきオブジェクトが含まれるコマ画像データを特定する（ｓ１３２）。

【0082】

例えば、校閲部１０７は、ｓ１３１で検索した各画像データをユーザ端末１０に表示することでマンガの画像として許容されないタイプの画像をユーザに提案しつつ、ユーザ端末１０から、生成した全コマ画像データのうち実際に加工すべきコマ画像データの指定を受け付ける。また、校閲部１０７は、ｓ１３１で検索した画像データがそれぞれ描画禁止データリスト１２０の禁止オブジェクトデータ１２１に登録されているか否かを検索し、検索できた場合は、その画像データに対応するコマ画像データを、加工すべきコマ画像データとしてもよい。

【0083】

なお、描画禁止データリスト１２０の禁止オブジェクトデータ１２１にテキストデータ（禁止テキストデータ）が設定される場合は、例えば、校閲部１０７は、禁止テキストデータをキーに所定のデータベース又は情報処理システム（検索システム）に問い合わせることにより、禁止テキストデータに対応する画像データを取得する。

【0084】

校閲部１０７は、ｓ１３２で加工すべきコマ画像データを特定できた場合は、そのコマ画像データ又は、そのコマ画像データにおける加工すべきオブジェクトの部分のデータを、所定の加工方法により加工する（ｓ１３３）。

【0085】

この際、加工方法の特定に関して、校閲部１０７は、ユーザ端末１０から加工方法の指定を受け付けてもよい。また、校閲部１０７は、描画禁止データリスト１２０を参照することで、加工方法を特定してもよい。

【0086】

また、加工処理の実行に関して、校閲部１０７は、加工すべきコマ画像データ及び加工方法の指定を含む指示データを画像生成装置２００に送信し、画像生成装置２００がその指示データに従ってコマ画像データを加工し、加工したコマ画像データを校閲部１０７に送信してもよい。また、校閲部１０７は、所定の画像編集プログラムを起動してユーザ端末１０からコマ画像データの編集を受け付けることで、コマ画像データを加工してもよい。また、校閲部１０７は、所定の自動画像加工プログラムを起動することで、コマ画像データを加工してもよい。

【0087】

校閲部１０７は、ｓ１３３で加工したコマ画像データにてマンガデータを更新する（ｓ１３４）。以上で校閲処理ｓ１３は終了する。

【0088】

ｓ１３５において校閲部１０７は、描画禁止データリスト１２０で設定されている描画禁止データの一つを選択する。

【0089】

また、校閲部１０７は、マンガデータにおける各コマの画像データ（コマ画像データ）における各オブジェクトを、例えばｓ１３１で説明したものと同様の処理で認識する（ｓ１３６）。

【0090】

校閲部１０７は、ｓ１３６で認識した各オブジェクトの画像データが描画禁止データリスト１２０に登録されているかを検索する（ｓ１３７）。例えば、校閲部１０７は、描画禁止データリスト１２０を参照し、ｓ１３６で認識した各オブジェクトの画像データがそれぞれ描画禁止データリスト１２０に登録されているかを検索する。

【0091】

校閲部１０７は、ｓ１３７で描画禁止データリスト１２０に登録されている画像データを検索できた場合は、そのコマ画像データを、ｓ１３３と同様に、所定の加工方法により加工する（ｓ１３８）。

【0092】

校閲部１０７は、ｓ１３８で加工したコマ画像データにてマンガデータを更新する（ｓ１３９）。

【0093】

校閲部１０７は、以上のｓ１３６－ｓ１３９の処理を、描画禁止データリスト１２０で設定されている描画禁止データのそれぞれについて実行する（ｓ１４０）。その後、校閲処理ｓ１３は終了する。

【0094】

ｓ１４０において校閲部１０７は、マンガの各コマの図絵の領域のうち、校閲の対象とする領域を設定する。例えば、校閲部１０７は、ユーザ端末１０から、生成マンガ表示欄７４０に描画されているコマの一部又は全部の領域の指定を受け付ける。

【0095】

校閲部１０７は、ｓ１４０で設定した領域に対応するコマ画像データの部分を、ｓ１３８と同様に、他の画像に加工する（ｓ１４１）。

【0096】

校閲部１０７は、ｓ１４１で加工したコマ画像データにてマンガデータを更新する（ｓ１４２）。以上で校閲処理ｓ１３は終了する。

【0097】

なお、校閲部１０７は、ｓ１３３、ｓ１３８、ｓ１４１の処理においてコマ画像データにおけるオブジェクトを加工する際、そのオブジェクトに対応するセリフデータを消去するようにしてもよい。

【0098】

以上に説明したように、本実施形態のマンガ作成支援システム１は、マンガにおける各コマの図絵データ及びコマを構成するセリフのセリフデータをそれぞれ設定し、設定した図絵データに基づき、その図絵データが示す図絵の内容又は特徴を有する画像データを取得し、取得した画像データと、上記設定したセリフデータとに基づき、マンガデータを生成する。

【0099】

すなわち、本実施形態のマンガ作成支援システム１は、マンガの各コマの図絵の内容又は特徴を表す図絵データ及びセリフデータを設定しておけば、そのような図絵に対応する画像データを用いた、セリフを有するマンガを自動的に生成することができる。

【0100】

このように、本実施形態のマンガ作成支援システム１によれば、マンガを簡便な方法で作成することができる。

【0101】

また、本実施形態のマンガ作成支援システム１は、禁止オブジェクトデータに基づき、上記画像データが禁止オブジェクトを含んでいると判定した場合には、上記画像データのうち、禁止オブジェクトの部分のデータに所定の加工を行った新たなマンガのデータを生成する。

【0102】

このように、生成されるマンガの画像データが禁止オブジェクトを含んでいる場合にはその部分を加工することで、適切な内容のマンガを作成することができる。

【0103】

例えば、本実施形態のマンガ作成支援システム１は、禁止テキストデータに基づき、上記画像データが示す図絵が禁止テキストデータが示す図絵と同一であるか否かを判定する。

【0104】

このように、禁止オブジェクトをテキストデータにより特定することで、生成されるマンガデータから禁止オブジェクトを容易に取り除くことができる。

【0105】

また、例えば、本実施形態のマンガ作成支援システム１は、上記画像データが示す画像の領域のうち、ユーザから、マンガを構成する図絵の一部又は全部の領域を示す禁止範囲データの入力を受け付け、上記画像データが示す画像の領域のうち禁止範囲データが示す領域に所定の加工を行った新たなマンガのデータを生成する。

【0106】

このように、禁止オブジェクトの範囲の指定をユーザから受け付けることで、生成されるマンガデータから禁止オブジェクトを確実に取り除くことができる。

【0107】

また、例えば、本実施形態のマンガ作成支援システム１は、所定の情報処理システム（検索サイト等）により画像データを検索し、検索した画像データをユーザに表示すると共に、上記取得した画像データのうち禁止オブジェクトを含んでいる画像データの指定をユーザから受け付け、指定された禁止オブジェクトの部分のデータに所定の加工を行った新たなマンガのデータを作成する。

【0108】

このように、外部のシステムから検索した画像データをユーザに提示しつつ、禁止オブジェクトを含む画像データの指定をユーザから受け付け、その画像データの部分に加工を行うことで、マンガに含めるべきでないオブジェクトをユーザの知見に基づき適切に設定することができる。

【0109】

また、例えば、本実施形態のマンガ作成支援システム１は、所定の情報処理システム（検索サイト等）により画像データを検索し、描画禁止データリスト１２０等に基づき、検索した画像データが禁止オブジェクトのデータに対応すると判定した場合には、上記画像データのうち上記禁止オブジェクトの部分のデータに所定の加工を行った新たなマンガのデータを作成する。

【0110】

このように、画像データが禁止オブジェクトを含んでいるか否かを、検索システム等から検索した画像データ及びデータリストに基づき自動的に判定することで、禁止オブジェクトを広く特定することができる。

【0111】

また、本実施形態では、描画禁止データリスト１２０が、禁止オブジェクトを特定するデータと、禁止オブジェクトに対して行う加工方法を示すデータとを対応付けており、マンガ作成支援システム１は、この描画禁止データリスト１２０に基づき特定される加工を行った新たなマンガのデータを生成する。

【0112】

このように、禁止オブジェクトと加工方法とを対応づけた描画禁止データリスト１２０に基づいて画像データの加工を行うことにより、禁止オブジェクトの性質等に応じたデータ加工を行うことができる。

【0113】

また、本実施形態では、描画禁止データリスト１２０が、禁止オブジェクトに関して所定の権利を有する者を特定するデータと、その禁止オブジェクトを特定するデータとを対応付けており、マンガ作成支援システム１は、この描画禁止データリスト１２０に基づき、上記画像データが禁止オブジェクトを含んでいるか否かを判定する。

【0114】

このように、禁止オブジェクトに関する権利者（例えば、著作権者）と関連づけられる禁止オブジェクトに基づいた判定を行うことで、作成されたマンガが他者の権利を侵害することを防ぐことができる。

【0115】

また、本実施形態のマンガ作成支援システム１は、上記画像データが禁止オブジェクトを含んでいると判定した場合には、上記画像データのうち、禁止オブジェクトの部分を他のオブジェクトに置換し又は消去した新たなマンガのデータを生成する。

【0116】

これにより、不適切な図絵を含まないマンガを確実に作成することができる。

【0117】

また、本実施形態のマンガ作成支援システム１は、図絵データを、マンガにおけるコマを構成する図絵の内容又は特徴を表すデータが入力され、そのデータが示す内容又は特徴を有する画像データを出力する画像生成モデル２２０に入力することにより、その図絵データが示す内容又は特徴を有する画像データを取得する。

【0118】

これにより、マンガを構成する図絵（画像データ）を容易に作成することができる。

【0119】

また、本実施形態のマンガ作成支援システム１は、図絵データを、マンガのコマにおける図絵の内容又は特徴を表すデータと共にマンガのコマにおける図絵の位置、図絵間の関係性、又は、擬音語、擬態語、若しくは擬声語に対する装飾のいずれかを示す付帯データが入力され、そのデータ及び付帯データが示す内容又は特徴を有する画像データを出力する画像生成モデル２２０に入力することにより、入力された各データが示す内容又は特徴を有する画像データを取得する。

【0120】

これにより、マンガを構成する、様々な特色を有する図絵（画像データ）を容易に作成することができる。

【0121】

また、本実施形態のマンガ作成支援システム１は、ユーザから、図絵データの入力を受け付け、また、ユーザから、コマを構成するセリフを表すデータの入力を受け付ける。

【0122】

これにより、ユーザは、自身が望む内容のマンガを容易に作成することができる。

【0123】

また、本実施形態のマンガ作成支援システム１は、生成したマンガのデータの内容を表示する。

【0124】

これにより、ユーザは、作成したマンガの内容を確認することができる。

【0125】

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。

【0126】

例えば、本実施形態の各装置が備えるハードウェアの一部は、他の装置に設けてもよい。例えば、マンガ作成支援装置１００と画像生成装置２００は同一の情報処理装置としてもよい。

【0127】

また、各装置の各プログラムは他の装置に設けてもよいし、あるプログラムを複数のプログラムからなるものとしてもよいし、複数のプログラムを一つのプログラムに統合してもよい。例えば、物体検出部１０８は、画像生成装置２００に設けてもよいし、マンガ作成支援装置１００と通信可能なその他の情報処理装置に設けてもよい。

【符号の説明】

【0128】

１ マンガ作成支援システム、１００ マンガ作成支援装置、２００ 画像生成装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】