(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025002569
(43)【公開日】2025-01-09
(54)【発明の名称】画像生成AIを適用して漫画等の画像データから処理画像データを作成する装置。
(51)【国際特許分類】
G06T 11/80 20060101AFI20241226BHJP
G06T 1/40 20060101ALI20241226BHJP
【FI】
G06T11/80 E
G06T1/40
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023102830
(22)【出願日】2023-06-22
(71)【出願人】
【識別番号】318006239
【氏名又は名称】株式会社HRC
(74)【代理人】
【識別番号】100183564
【弁理士】
【氏名又は名称】西村 伸也
(72)【発明者】
【氏名】重丸 尚輝
【テーマコード(参考)】
5B050
5B057
【Fターム(参考)】
5B050BA06
5B050CA07
5B050EA12
5B050EA19
5B050FA05
5B050FA09
5B050FA10
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE17
5B057DA17
5B057DB02
5B057DB09
5B057DC30
5B057DC40
(57)【要約】
【課題】機械学習モデルを適用して、効率的に適切に処理された画像データを生成する装置などを提供することを目的とする。
を提供する
【解決手段】画像領域10を有する画像データ11から、所定の処理を施すための画像生成AI16を用いて、処理画像領域15aを有する処理画像データ15を生成する装置であって、画像領域10を複数に区分した子画像領域12のそれぞれに対応する複数の子画像データ13を作成する子画像データ作成部3と、複数の子画像データ13のそれぞれに画像生成AI16を用いて生成された複数の処理子画像データ14から、処理画像データ15を作成する処理画像データ作成部5とからなる生成装置1である。
【選択図】
図2
【特許請求の範囲】
【請求項1】
画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを生成する装置であって、
前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成する子画像データ作成部と、
複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成する処理画像データ作成部とからなる、処理画像データの生成装置。
【請求項2】
前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成される、請求項1記載の処理画像データの生成装置。
【請求項3】
前記画像生成AIによる処理を行う生成部をさらに備えている、請求項1記載の処理画像データの生成装置。
【請求項4】
前記処理が着色処理である、請求項1記載の処理画像データの生成装置。
【請求項5】
前記画像領域が複数のコマを含む漫画である、請求項1、2、3もしくは4のいずれかに記載の処理画像データの生成装置。
【請求項6】
画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを生成するためのコンピュータに実行させる方法であって、
前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成させ、
複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成させる、処理画像データの生成方法。
【請求項7】
前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成される、請求項6記載の処理画像データの生成方法。
【請求項8】
前記処理が着色処理である、請求項6記載の処理画像データの生成方法。
【請求項9】
前記画像領域が複数のコマを含む漫画である、請求項6、7もしくは8のいずれかに記載の処理画像データの生成方法。
【請求項10】
画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを生成するプログラムであって、
コンピュータに、
前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成させ、
複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成させる、処理画像データの生成プログラム。
【請求項11】
前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成される、請求項10記載の処理画像データの生成プログラム。
【請求項12】
前記処理が着色処理である、請求項10記載の処理画像データの生成プログラム。
【請求項13】
前記画像領域が複数のコマを含む漫画である、請求項10、11もしくは12のいずれかに記載の処理画像データの生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理画像データを生成する装置などに関する。さらには生成系AIにより漫画に着色などの処理が施された処理画像データを生成する装置などに関する。
【背景技術】
【0002】
従来から、白黒の漫画に着色するなど、生成系AIを用いて画像データを処理する方法やプログラムがある。
【0003】
特許文献1には、着色装置、着色システム、着色方法及び着色プログラムが開示されている。
それらの着色装置などは、算出部と、着色部とを備える。算出部は、領域分割された参照画像データの各領域について、少なくとも1つの代表色を算出する。着色部は、参照画像データに基づいて着色される、領域分割された対象画像データの各領域と、算出部が算出した当該領域に対応する参照画像データの領域の代表色とに基づいて、対象画像データを着色する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
処理しようとする画像領域が大きいと、画像生成AIによる処理負担が増大する傾向にある。
また一般に画像生成AIでは、処理のための規定された/推奨される画像領域の大きさがあり、いずれかを満たさないと、細部(例えば、画像の画像が線や点により詳細に表現されている部分)が潰れたり、省略されたり、さらに画像全体が変形(例えば縦横比)されたりすることがある。
細部を有する画像として、例えば、マンガのように1つの画像領域に複数の小さな画像領域(コマ)を有する画像がある。
【0006】
そこで本発明は、画像生成AIを適用して、適切に処理された画像データを生成する装置などを提供することを目的とする。
【課題を解決するための手段】
【0007】
(1)本発明の処理画像データの生成装置は、画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを生成する装置であって、前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成する子画像データ作成部と、複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成する処理画像データ作成部とからなることを特徴としている。
【0008】
「画像領域」は、画像が配置されたり、描かれたり、修正されたりする領域である。画像と画像領域は同じ又はほぼ同じ大きさであってもよい。
【0009】
「子画像領域」は、画像領域を複数に分割したそれぞれの画像の領域である。
【0010】
「画像生成AI」とは、例えば、デジタルの生成物としての、画像、動画を新たに生成するAI、前記AIを利用/応用した手段または前記AIに類似する技術を利用した手段である。
【0011】
(2)このような処理画像データの生成装置は、前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成されるのが好ましい。
【0012】
(3)前記画像生成AIによる処理を行う生成部をさらに備えているのが好ましい。
【0013】
「配置情報」は、画像領域における子画像領域の配置を示す情報であり、それに換算できる情報を含む概念である。
【0014】
(4)また前記処理が着色処理であるのが好ましい。
【0015】
(5)また前記画像領域が複数のコマを含む漫画であるのが好ましい。
【0016】
(6)本発明の処理画像データの生成方法は、画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを生成するためのコンピュータに実行させる方法であって、前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成させ、複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成させることを特徴としている。
【0017】
(7)このような処理画像データの生成方法は、前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成されるのが好ましい。
【0018】
(8)また前記処理が着色処理であるのが好ましい。
【0019】
(9)また前記画像領域が複数のコマを含む漫画であるのが好ましい。
【0020】
(10)本発明の処理画像データの生成プログラムは、画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを生成するプログラムであって、コンピュータに、前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成させ、複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成させることを特徴としている。
【0021】
(11)このような処理画像データの生成プログラムは、前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成されるのが好ましい。
【0022】
(12)また前記処理が着色処理であるのが好ましい。
【0023】
(13)また前記画像領域が複数のコマを含む漫画であるのが好ましい。
【発明の効果】
【0024】
処理画像データを生成する装置などは、データを並列処理することができる。また画像領域に対し適切な処理を行うことができる。
【図面の簡単な説明】
【0025】
【
図1】処理画像データを生成する様子を示す概略図である。
【
図2】処理画像データの生成装置の一実施形態を示す機能ブロック図である。
【
図3】処理画像データの生成装置のハードウェア構成の一例を示す概略図である。
【
図4】処理画像データを生成する処理の流れの一実施形態を示すフローチャートである。
【
図5】画像領域を区分する様子の一例を示す概略図である。
【
図6】子画像データのデータ構造の一例を示す概略図である。
【発明を実施するための形態】
【0026】
[1.概略説明]
まず、
図1を用いて処理画像データを生成する様子を説明する。図に示している実施形態では、例えば、漫画の画像領域10について、画像生成AI16を利用して所定の処理が施された処理画像領域15aを有する処理画像データ15を生成する、というものである。本実施形態では着色の処理が施される。
【0027】
図では、画像データ11の画像領域10を複数の子画像領域12に区分し、子画像領域に対応した子画像データ13を作成している。子画像データ13に画像生成AI16を用いて、子画像領域12を着色処理する。着色処理された処理子画像データ14から着色処理された処理画像領域15aを有する着色画像データ15を作成する。
【0028】
(画像生成AI16)
生成系AIとは、例えば、デジタルの生成物としての、画像や動画、音声や音楽、文章やコードなどを新たに生成するAIのことである。生成系AIは、例えば、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせるなどして、一定レベルの品質の文章や画像を生成するものである。
本実施形態では、例えば、生成系AIとして、画像生成AI16を用いている。画像生成AI16と共に利用されるツールとしては、例えば、「Stable Diffusion」、「Style2Paints」などが挙げられる。
【0029】
(制御情報7)
画像生成AI16において、例えば、制御情報7により、事前学習済みの大規模な拡散モデルを制御して、追加の入力条件に対応させることができる。制御情報7として、画像、プロンプト(
図2参照)などが与えられる。
ユーザはキーボードなどの入力装置を用いて制御情報7を入力する。テキスト情報の場合、音声で入力し、テキストに変換するようにしてもよい。
本実施形態では、制御情報7を予め設定された条件39(
図3参照)として記憶しておいてもよい。
【0030】
(画像領域10)
画像領域10は、生成装置1の表示部17(
図3参照)で表示される。図では符号X、Yで示される縦長の長方形の領域として示されている。画像領域10は、所定の大きさの枠状のキャンバスのようなもので、前記枠状の内部に画像を配置したり、描いたり、編集したりする領域である。画像領域10は四角形状であるのが好ましい。なお他の形状であってもよい。画像は画像領域10に描かれている。なお画像と画像領域10が同じ又はほぼ同じ大きさであってもよい。
【0031】
(処理される画像)
処理される画像領域10の画像としては、漫画、イラスト、ポスターなどの画像が相当する。特に画像領域10において、多くの線または点が描かれている細部が存在する場合、複数の子画像領域12に区分して画像生成AI16を用いるので、生成の際に細部が省略されたり、曖昧にされたりすることを防止できる。また複数の子画像領域12に対応する子画像データ13を処理するので、並列的な処理を行うことができ効率的である。また画像としては、複数のコマ(符号10a参照)を有する場合がある。
【0032】
(子画像領域12)
子画像領域12は、画像領域10を複数に区分した領域である。図では、符号X、Y1で示される横長の長方形の領域12aと、符号X、Y2で示される長方形の領域12bと、符号X、Y3で示される長方形の領域12cとして示されている。
子画像領域12の形状は、
図1では、全て同じ形状の四角形であるが、異なる形状の四角形であってもよい。子画像領域12の縦横比は、同じ/ほぼ同じであるのが好ましい。
【0033】
画素領域10、コマ10aおよび子画像領域12の形状は、特に制限はない。
【0034】
(画像データ11)
画像データ11は、画像領域10を有している。画像データ11としては、従来公知のデータ構造を採用することができる。
【0035】
(処理)
処理としては、例えば、着色、線または点の変更や修正、線または画像の消去といった処理があり、言い換えると、画像に対し情報の追加または削除を行うものである。
【0036】
(処理画像データ15)
処理画像データ15は、処理された画像領域15aを有するデータである。画像生成AI16により生成された複数の処理子画像データ14から作成される。
【0037】
[2.各構成]
(生成装置1)
次いで、さらに
図2を用いて説明する。
図2は処理画像データの生成装置の機能ブロック図の一実施形態を示す。図に示している処理画像データの生成装置(以下、生成装置という)1は、画像領域10を有する画像データ11から、所定の処理を施すための画像生成AI(機械学習モデル)16を用いて、処理画像データ15を生成する。
【0038】
生成装置1は、主として、画像領域10を複数の子画像領域12に区分し、それの子画像領域12に対応する子画像データ13を作成する子画像データ作成部3と、子画像データ13に画像生成AI16を用いて生成された処理子画像データ14から処理画像データ15を作成する処理画像データ作成部5とからなる。
また本実施系形態における生成装置1は、さらに子画像データ作成部3の前に画像領域10を複数の子画像領域13に区分する区分部2と、画像生成AI16により処理子画像データ14を生成する生成部4とを備えている。
さらに生成装置1は、記憶部31を備えており、生成部4の生成に利用される制御情報7を含む条件39が記憶されている。
【0039】
生成装置1は、本実施形態においては、例えば、パソコン(パーソナルコンピュータ)やスマートフォンである。なおタブレット型端末などでもよい。生成装置1は表示部17、入出力部18を備えている。
【0040】
(区分部2)
区分部2は、生成装置1の表示部17(
図3参照)に表示された画像領域10を複数の子画像領域13に区分する。本実施形態では、例えば、ユーザによる入出力部18(
図3参照)の操作により子画像領域12を区分するユーザ入力情報6が入力される。
【0041】
(ユーザ入力情報6)
ユーザ入力情報6は、画像領域10を区分する座標の情報や、実際に表示画面17上に表示される枠(
図5の符号26参照)をユーザが入出力部18を操作して入力する情報である。
【0042】
(子画像データ作成部3)
子画像データ作成部3は、区分された子画像領域12に対応する子画像データ13を作成する。子画像データ13を作成する際またはその前に、配置情報8(
図2参照)をさらに作成する。
【0043】
(配置情報8)
配置情報8は、画像領域10に対する子画像領域12の位置に関する情報である。例えば、画像領域10を二次元の座標で表すことにより、子画像領域12の位置が特定される。配置情報8は、記憶部31に記憶したり、画像データ11または子画像データ13に保存したりしてもよい。画像データ11または子画像データ13に保存する場合は、例えば、メタデータとして保存してもよい。また配置情報8をファイル名にしてもよい。ファイル名は、例えば、データ中のファイル名領域と呼ばれるファイルの名前を記述するデータ領域にあり、オペレーティングシステムにより認識される領域にある。
【0044】
(子画像データ13)
子画像データ13は、子画像領域12を有する画像データである。
【0045】
(生成部4)
生成部4は、子画像データ13に画像生成AI16の機械学習モデルを用いて処理子画像データ14を生成する。
【0046】
(処理子画像データ14)
処理された子画像データ14は、子画像データ13に画像生成AI16を用いて生成したものである。
【0047】
(処理画像データ作成部5)
処理画像データ作成部5は、複数の処理子画像データ14から作成される。処理画像データ作成部5は、処理子画像領域14aを配置情報8に基づいて再配置した処理画像領域15aを有している。
【0048】
(表示部17)
表示部17としては、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、プラズマディスプレイ(PDP:Plasma Display Panel)、有機EL(EL:Electroluminescence)などの画面を表示する装置が用いられる。
【0049】
(入出力部18)
入出力部18(
図3参照)としては、例えば、マイク、スピーカまたはキーボードである。キーボードの代わりに、マイクを介して音声でテキストを入力したり、表示部17をタッチすることでテキストを入力したりしてもよい。入出力部18は、生成装置1に内蔵しているものや、外部機器として生成装置1に接続するものでもよい。その他、入出力部は従来公知のものを採用することができる。
【0050】
[3.ハードウェア構成]
次に
図3を用いて、生成装置1、外部サーバ9およびデータサーバ22(
図7参照)のハードウェア構成を説明する。
図3に示すように、本実施形態の生成装置1では、例えば、コンピュータを用いている。生成装置1はCPU(またはGPU)30を備えたものである。そのCPU30には、例えば、メモリ(以下、記憶部という。)31と、記憶デバイス32などを接続/読み込むための接続ポート33と、ネットワークを介して外部と通信するための通信回路34とがバスライン35を介して接続されている。記憶部31には、装置プログラム36、条件39が記憶されている。またブラウザプログラム37、さらにはOS38(オペレーティングシステム)が記憶されていてもよい。なお外部サーバ9およびデータサーバ22は装置プログラム36および条件39を備えていない。
【0051】
本実施形態では、装置プログラム36は、それぞれOS38およびブラウザプログラム37の機能を利用して協働して動作してもよい。なお装置プログラム36として、それぞれブラウザプログラム37、OS38を利用せず、単独で動作するようにしてもよい。
【0052】
上述した装置プログラム36のハードウェア構成では、
図2の機能ブックス図に示す機能を、例えば、CPU30と装置プログラム36を用いて実現するようにしているが、その一部または全部をマイコンなどの論理回路、あるいは、PLC(プログラマブルロジックコントローラ)を用いてシーケンス制御してもよい。
【0053】
[4.プログラム]
(処理画像データを生成するフローチャート)
図4は、生成装置1で用いられる装置プログラム36の処理の一実施形態を示すフローチャートである。さらに図のフローチャートは処理画像データの生成方法24を表している。
【0054】
(S0:準備工程)
準備工程S0では、装置プログラム36で処理するための画像データ11のファイル形式を所定の形式に整える。また装置プログラム36または画像生成AIに用いる初期設定を入力し、条件39として記憶部31に記憶する。
【0055】
(S1:区分工程)
画像領域10を区分する。
図5は画像領域10を区分している様子を示す表示部17の表示画面である。表示画面17には画像領域10が4つの四角形で区分されている。本実施系形態では、ユーザが入出力部18を操作して枠26の位置・大きさを指定している。画像領域10を区分する枠26が、子画像領域12の境界線となる。図では枠26は、子画像領域12の境界線を兼ねている。ユーザは枠26の大きさや位置を変更し、子画像領域12を決定する。大文字のアルファベットA、B、C、Dは4つの子画像領域12をそれぞれ表している。
【0056】
(区分する方法)
区分する方法として、画像領域10の線や点の量が平均化するように区分してもよい。また区分の数は予め設定してもよい。また画像領域10から1つ以上のコマ10aを判別し、各コマ10aが異なる子画像領域12内に位置するように区分してもよい。
【0057】
(頂点座標19)
本実施形態では、配置情報8は頂点座標19により決定される。本実施形態では、例えば、子画像領域12の形状は長方形または正方形である。このため子画像領域12の対角に位置する2つの頂点座標により、画像領域10における子画像領域12の位置が決まる。例えば、子画像領域Aでは頂点19a、19bの座標が配置情報8に相当する。その他、子画像領域12の画像領域10に対する位置や大きさが特定できる情報であるならよい。配置情報8のデータ構造は特定の構造に限定されるものではない。
【0058】
(その他)
図に示している画像領域10は、漫画に用いられている。図示していないが、画像領域10には4つのコマ10a(
図1参照)が描かれており、それらのコマ10aは4つの子画像領域12にそれぞれ配置されている。なお図では4つの子画像領域12は重なり合う部位を有していないが、重なり合うようにして子画像領域12を区分してもよい。
【0059】
(S2:子画像データ作成工程)
子画像領域12に対応する子画像データ13を作成する。本実施形態では子画像データ13の作成の際に、配置情報8を作成している。配置情報8は子画像データ13のメタデータとして記憶されている。
【0060】
(子画像データのデータ構造)
図6に子画像データ13のデータ構造の一例を示している。図に示す子画像データ13は、子画像領域の画像データ13aと、配置情報8とからなる。配置情報8はデータID8aと、分割ID8bと、座標8cとからなる。
子画像領域の画像データ13aは、区分された子画像領域12に相当する画像のデータである。データID8aは、画像領域10毎に共通のIDである。分割ID8bは、子画像データ13を識別するためのIDである。座標8cは、座標位置19に対応する座標を示すデータである。
なお配置情報8として、子画像領域12の頂点座標19の座標8cがあれば、画像領域10における子画像領域12の位置を決定することができる。
【0061】
(S3:前処理工程)
本実施形態では、画像生成AI16による処理が適切にされるように、子画像データ13に前処理を施す。前処理を施した場合、どのような前処理をしたのかを記憶部31(
図3参照)に記憶しておき、例えば、修正工程(S5)で元に戻す。なお前処理工程は必ずしも設けなくてもよい。
本実施形態では、子画像データ13を圧縮処理する。圧縮処理は、例えば、子画像データ13の解像度を落としたり、子画像領域12を縮小したりする。例えば、画像生成AI16の規定するファイルサイズを超える場合または画像生成AI16の処理に余裕を持たせたい場合に施すのがよい。
また前処理された子画像データ13は一時的に記憶部31に記憶しておき、後に続く修正工程(S5)の際に読み出す。
【0062】
(S4:生成工程)
図4に戻って、子画像データ13に基づいて、場合によっては、さらに制御情報7を加えて、画像生成AI16により処理子画像データ14を生成する。
【0063】
(S5:仮配置工程)
処理子画像データ14および配置情報8に基づいて、処理画像領域15a(
図2参照)を作成し、表示部17に表示する。例えば、処理画像データ14の処理画像領域14aを別個のレイヤ(図示せず)に配置し、それらのレイヤを重ね合わせ、全ての処理画像領域14aをあたかも1つにまとめた処理画像領域15aとして観察できるようにしたものである。
【0064】
(S6:修正工程)
まとめられた処理画像領域14a(疑似的な処理画像領域15a)を観察し、修正が不要の場合、次の処理画像データ作成工程(S6)に進む。
一方、修正が必要な場合は、工程S1の区分工程(二点鎖線参照)または生成工程(S3)に戻る。区分工程(S1)では枠26(
図5参照)を再度調整する。また生成工程(S3)では制御情報7を加えたり、変更したりする。
【0065】
(S7:処理画像データ作成工程)
処理画像データ15に作成する。例えば、別個のレイヤに配置された処理画像領域14aを1つにまとめて処理画像領域15aとして、処理画像データ15を作成する。なお処理画像領域14aを1つにまとめる際に、各レイヤに配置したままの状態を維持した上で、1つの処理画像データ15としてもよい。
【0066】
[5.他の実施形態]
次に他の実施形態を説明する。以下に説明する変形例および第2実施形態は、前述した生成装置1とほぼ同様であるので、同じ部分には同じ符号を付して、その説明を省略する。
【0067】
(生成装置1の変形例)
図2に戻って、生成装置1では生成部4(16)を備えているが、変形例の生成装置1aでは生成部4を外部サーバ9に備えている(二点鎖線の矢印参照)。外部サーバ9は、クラウドAIとして、クラウド上のサーバ装置で生成物を生成するための処理を行う。図では外部サーバ9は1台であるが、複数台でもよい。複数台の場合、子画像データ13に応じて、例えば、人物用、背景用など子画像データ13にマッチした画層生成AI16を用いることができる。
【0068】
(第2実施形態)
次に第2実施形態を説明する。第2実施形態にかかるシステム20は、主に、複数の生成装置1(1a)と、外部サーバ9とからなる。生成装置1(1a)および外部サーバ9は通信ネットワーク21により通信可能に接続されている。さらにシステム20には、通信ネットワーク21を介してデータサーバ22が接続されている。
【0069】
(通信ネットワーク21)
通信ネットワーク21は、例えば、インターネットの通信網であり、その他、携帯電話回線網、無線通信路、イーサネット(登録商標)などにより構築される。
【0070】
システム20は、例えば、1冊の漫画、本、雑誌などを複数のユーザで処理するのに用いられる。ユーザ(符号23参照)はデータサーバ22から処理すべき画像データ11を取得する。各ユーザは生成装置1(a)で画像データ11を処理する。その際に、画像データ11または子画像データ13を処理するのに適した外部サーバ9の画像生成AI16を用いることができる。次いで、処理画像データ15をデータサーバ22に送信する。
【0071】
[6.その他]
前述の実施形態に、その他として記載した事項を、それぞれを適宜に組み合わせて用いることができる。
生成装置1において、生成部4の処理の一部を外部サーバ9で行うようにしてもよい。
本実施形態では、例えば、複数の子画像領域12により画像領域10の全ての領域を収めているが、画像領域10の画像が描かれていない部位について、子画像領域12に含めないようにしてもよい。
配置情報は、画像領域10における画像の特定位置が既知であるなら、画像に対する位置の情報とすることもできる。
本実施形態では、座標の原点(0.0)を画像領域10の左上の頂点としているが、その他の位置に原点を設定してもよい。その他、三角または五角形以上の多角形、円、楕円、自由に引いた線や曲線で枠26を特定してもよい。多角形の場合は全ての頂点の座標、円形の場合は中心と半径などで特定する。
【0072】
[7.まとめ]
(1)(6)(10)生成装置1(処理画像データの生成方法24、プログラム36)は、画像領域10を有する画像データ11から、所定の処理を施すための画像生成AI16を用いて、処理画像領域15aを有する処理画像データ15を生成する装置であって、画像領域10を複数に区分した子画像領域12のそれぞれに対応する複数の子画像データ13を作成する子画像データ作成部3と、複数の子画像データ13のそれぞれに画像生成AI16を用いて生成された複数の処理子画像データ14から、処理画像データ15を作成する処理画像データ作成部5とからなることを特徴としている。
1つの画像データ11から複数の子画像データ13を作成するので、並列で処理することができる。さらに線や点が多い画像領域10に対し、線や点が省略されたり、変形されたりするのを防止できる。また子画像データ毎に異なる画像生成AI(学習モデル)16を使用することができる。例えば、背景用、人物用、建物用、田舎風、和風、ヨーロッパ風、朝/昼/夜などの画像領域に描かれている絵の内容を処理するのに適した画像生成AI(学習モデル)16を使用することができる。
【0073】
(2)(7)(11)このような生成装置1(処理画像データの生成方法24、プログラム36)は、画像領域10における子画像領域12の配置に関する配置情報8に基づいて、処理画像データ15が作成されるので、簡易な方法で子画像データ13を元に戻すことができる。
【0074】
(3)また画像生成AI16による処理を行う生成部4を備えているので、生成装置1で処理を行うことができる。
【0075】
(4)(8)(12)また前記処理が着色処理であるので、白黒の画像領域において、線や点を削除したり、変形したりするのを防止し、その上で、着色することができる。異なる着色のための学習モデルを用いることができる。
【0076】
(5)(9)(13)また画像領域10が複数のコマ10aを含む漫画である場合は、コマ10aに線や点が多く詳細に描かれていても、処理時に、線や点を削除したり、変形したりするのを防止する。またコマ毎に適切な学習モデルを用いることができる。
【0077】
(14)子画像データの製造方法25は、画像領域を有する画像データから処理画像データを得るために、画像生成AI16で処理するための子画像データ13を製造する方法であって、画像領域10を複数の子画像領域12に区分する区分工程(S2)と、画像領域10における子画像領域12の配置に関する配置情報8を付加すると共に、子画像領域12に対応する子画像データ13を作成する子画像データ作成工程(S3)とを備えていることを特徴としている。
1つの画像データ11から複数の子画像データ13を作成するので、並列で処理することができる。さらに線や点が多い画像領域10に対し、線や点が省略されたり、変形されたりするのを防止できる。また子画像データ毎に異なる画像生成AI(学習モデル)16を使用することができる。例えば、背景用、人物用、建物用、田舎風、和風、ヨーロッパ風、朝/昼/夜などの画像領域に描かれている絵の内容を処理するのに適した画像生成AI(学習モデル)16を使用することができる。
【0078】
(15)画像領域を有する画像データから処理画像データを得るために、画像生成AI16で処理するための子画像データ13のデータ構造であって、画像生成AI16で処理し、且つ、画像領域10を区分した複数の子画像領域12に対応する子画像の画像データ13aと、処理子画像データ14を処理画像データ15aに戻すのに用いられると共に画像領域10における子画像領域12の配置に関する配置情報8とからなることを特徴としている。
1つの画像領域10を複数に区分した子画像領域12のそれぞれを画像生成AI16で処理することができる。その上で、複数の処理された子画像領域14aから配置情報8に基づいて処理画像領域15aを作成することができる。
すなわち並列で処理することができる。さらに線や点が多い画像領域に対し、線や点が省略されたり、変形されたりするのを防止できる。また子画像データ毎に異なる学習モデルを使用することができる。例えば、背景用、人物用、建物用、田舎風、和風、ヨーロッパ風、朝/昼/夜などの画像領域に描かれている絵の内容を処理するのに適した画像生成AI(学習モデル)16を使用することができる。
【符号の説明】
【0079】
1 生成装置
1a 生成装置
2 区分部
3 分離部
4 生成部
5 形成部
6 ユーザ入力情報
7 プロンプト
8 配置情報
8a データID
8b 分割ID
8c 座標
9 外部サーバ
10 画像領域
10a コマ
11 画像データ
12 子画像領域
13 子画像データ
13a 子画像領域の画像データ
14 処理された子画像データ
15 処理画像データ
15a 処理画像領域
16 画像生成AI(機械学習モデル)
17 表示部
18 入出力部
19 座標位置
20 システム
21 通信ネットワーク
22 データサーバ
23 ユーザ
24 処理画像データの生成方法
25 子画像データの製造方法
26 枠
30 CPU
31 メモリ
32 記録デバイス
33 接続ポート
34 通信回路
35 バスライン
36 評価装置プログラム
36a 送信装置プログラム
37 ブラウザプログラム
38 OS
39 条件
【手続補正書】
【提出日】2023-06-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを作成する装置であって、
前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成する子画像データ作成部と、
複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成する処理画像データ作成部とからなる、画像生成AIを適用して漫画等の画像データから処理画像データを作成する装置。
【請求項2】
前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成される、請求項1記載の画像生成AIを適用して漫画等の画像データから処理画像データを作成する装置。
【請求項3】
前記画像生成AIによる処理を行う生成部をさらに備えている、請求項1記載の画像生成AIを適用して漫画等の画像データから処理画像データを作成する装置。
【請求項4】
前記処理が着色処理である、請求項1記載の画像生成AIを適用して漫画等の画像データから処理画像データを作成する装置。
【請求項5】
前記画像領域が複数のコマを含む漫画である、請求項1、2、3もしくは4のいずれかに記載の画像生成AIを適用して漫画等の画像データから処理画像データを作成する装置。
【請求項6】
画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを作成するためのコンピュータに実行させる方法であって、
前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成させ、
複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成させる、処理画像データの作成方法。
【請求項7】
前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成される、請求項6記載の処理画像データの作成方法。
【請求項8】
前記処理が着色処理である、請求項6記載の処理画像データの作成方法。
【請求項9】
前記画像領域が複数のコマを含む漫画である、請求項6、7もしくは8のいずれかに記載の処理画像データの作成方法。
【請求項10】
画像領域を有する画像データから、所定の処理を施すための画像生成AIを用いて、処理画像領域を有する処理画像データを作成するプログラムであって、
コンピュータに、
前記画像領域を複数に区分した子画像領域のそれぞれに対応する複数の子画像データを作成させ、
複数の前記子画像データのそれぞれに前記画像生成AIを用いて生成された複数の処理子画像データから、前記処理画像データを作成させる、処理画像データの作成プログラム。
【請求項11】
前記画像領域における前記子画像領域の配置に関する配置情報に基づいて、前記処理画像データが作成される、請求項10記載の処理画像データの作成プログラム。
【請求項12】
前記処理が着色処理である、請求項10記載の処理画像データの作成プログラム。
【請求項13】
前記画像領域が複数のコマを含む漫画である、請求項10、11もしくは12のいずれかに記載の処理画像データの作成プログラム。