2025-113637 画像処理装置、画像処理装置の制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025113637

(43)【公開日】2025-08-04

(54)【発明の名称】画像処理装置、画像処理装置の制御方法、及びプログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20250728BHJP

   G06N 3/0475 20230101ALI20250728BHJP

【ＦＩ】

H04N1/00 127A

H04N1/00 L

G06N3/0475

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2024007900

(22)【出願日】2024-01-23

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】王 暁立

【テーマコード（参考）】

5C062

【Ｆターム（参考）】

5C062AA05

5C062AA13

5C062AA32

5C062AA35

5C062AB02

5C062AB17

5C062AB20

5C062AB22

5C062AB23

5C062AB41

5C062AB43

5C062AB44

5C062AC02

5C062AC04

5C062AC05

5C062AC22

5C062AC38

5C062AC61

5C062AC64

5C062AE01

5C062AE15

5C062AF14

(57)【要約】

【課題】生成ＡＩに対して画像生成の指示を適切に行うことができる仕組みを提供する。
【解決手段】画像処理装置１は、ＡＩ画像データを生成する生成ＡＩサーバー１０と通信を行う。画像処理装置１は、原稿を読み取るスキャナー装置を備える。画像処理装置１は、ユーザがオブジェクトを大まかに手書きで描いたラフ画の原稿をスキャンし、この原稿のスキャン画像データを生成する。画像処理装置１は、このスキャン画像データに基づいて生成ＡＩサーバー１０にＡＩ画像データを生成させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

原稿を読み取る読取手段と、
前記読取手段によって前記原稿を読み取ることによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる手段と、
前記生成ＡＩによって生成された第２の画像データを受信する手段とを備えることを特徴とする画像処理装置。

【請求項2】

原稿を撮影する撮影手段と、
前記撮影手段によって前記原稿を撮影することによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる手段と、
前記生成ＡＩによって生成された第２の画像データを受信する手段とを備えることを特徴とする画像処理装置。

【請求項3】

前記原稿には、ユーザが手書きで描いたオブジェクトが含まれることを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記生成させる手段は、前記第１の画像データから前記オブジェクトを識別し、前記識別したオブジェクトの特徴情報を含む中間データを生成し、前記中間データを前記生成ＡＩに送信することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記識別したオブジェクトの特徴情報となる複数の候補の中から、前記中間データに含める特徴情報をユーザに選択させる手段を更に備えることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記原稿には、前記オブジェクトの傍に当該オブジェクトの特徴を示す文字列が描かれ、
前記中間データは、前記第１の画像データから識別された文字列を更に含むことを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記中間データをユーザに編集させる手段を更に備えることを特徴とする請求項４に記載の画像処理装置。

【請求項8】

前記生成させる手段は、前記第１の画像データを前記生成ＡＩに送信することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項9】

前記受信した第２の画像データを印刷する手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。

【請求項10】

前記生成させる手段は、ユーザに設定された印刷設定に対応する第２の画像データを前記生成ＡＩに生成させることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記生成ＡＩは、前記画像処理装置と異なる外部装置が備えることを特徴とする請求項１又は２に記載の画像処理装置。

【請求項12】

前記生成ＡＩを更に備えることを特徴とする請求項１又は２に記載の画像処理装置。

【請求項13】

原稿を読み取る読取工程と、
前記読取工程にて前記原稿を読み取ることによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる工程と、
前記生成ＡＩによって生成された第２の画像データを受信する工程とを有することを特徴とする画像処理装置の制御方法。

【請求項14】

原稿を撮影する撮影工程と、
前記撮影工程にて前記原稿を撮影することによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる工程と、
前記生成ＡＩによって生成された第２の画像データを受信する工程とを有することを特徴とする画像処理装置の制御方法。

【請求項15】

請求項１３又は１４に記載の画像処理装置の制御方法をコンピューターに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関する。

【背景技術】

【0002】

ユーザが入力したキーワードを用いて画像を生成するＡＩＧＣ(ＡＩ－Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔ：生成的人工知能)システムが知られている。ＡＩＧＣシステムでは、キーワードとして、例えば、自然言語の文字列からなるプロンプトが入力される（特許文献１参照）。ＡＩＧＣシステムは、ユーザが入力したプロンプトに対応するオブジェクトを含む画像を生成する。これにより、ユーザは、ＡＩＧＣシステムにプロンプトを入力するだけで、人物や車等といった、このプロンプトに対応するオブジェクトを含む画像を取得することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】ＵＳ２０２３／０２６７６５２Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述したプロンプトを画像生成の指示として用いる構成では、ユーザは、例えば、人物がどの向きを向いているかといった構図に関する指示や、背景に関する指示を適切に行うことができないことがある。

【0005】

本発明は、生成ＡＩに対して画像生成の指示を適切に行うことができる仕組みを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の画像処理装置は、原稿を読み取る読取手段と、前記読取手段によって前記原稿を読み取ることによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる手段と、前記生成ＡＩによって生成された第２の画像データを受信する手段とを備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、生成ＡＩに対して画像生成の指示を適切に行うことができる。

【図面の簡単な説明】

【0008】

【図1】本実施の形態に係る画像処理装置を含むＡＩＧＣシステムの構成を概略的に示す構成図である。

【図2】図１のコントローラーの構成を概略的に示すブロック図である。

【図3】図１の生成ＡＩサーバーの構成を概略的に示すブロック図である。

【図4】図１の画像処理装置が生成ＡＩサーバーから受信したＡＩ画像データを用いて行う処理について説明するための図である。

【図5】図１の操作部に表示されるＵＩ画面の一例を示す図である。

【図6】図１の操作部に表示される設定画面の一例を示す図である。

【図7】図６の設定画面における操作ボタンの設定について説明するための図である。

【図8】図１の画像処理装置によって実行されるＡＩ画像データの生成制御処理の手順を示すフローチャートである。

【図9】図８のＡＩ画像データの生成制御処理における各工程の詳細を説明するための図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して本発明の実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0010】

図１は、本実施の形態に係る画像処理装置１を含むＡＩＧＣシステム(ＡＩ－Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔ：生成的人工知能)の構成を概略的に示す構成図である。ＡＩは、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅの略である。図１において、このＡＩＧＣシステムは、画像処理装置１、コンピューター９、及び生成ＡＩサーバー１０で構成される。画像処理装置１、コンピューター９、及び生成ＡＩサーバー１０は、ＬＡＮ／Ｉｎｔｅｒｎｅｔ８経由で互いに通信可能である。このＡＩＧＣシステムでは、画像処理装置１は、ユーザがオブジェクトを大まかに手書きで描いたラフ画の原稿を読み取ってこの原稿のデジタル画像データ（以下、「スキャン画像データ」とする。）を生成する。画像処理装置１は、このスキャン画像データに基づいて画像生成要求を生成ＡＩサーバー１０に送信する。生成ＡＩサーバー１０は、受信した画像生成要求に従って、色付きのリアルな画像データ（以下、「ＡＩ画像データ」とする。）を生成する生成ＡＩを備える。生成ＡＩサーバー１０は、生成したＡＩ画像データを画像処理装置１やコンピューター９といった画像生成要求で指定された送信先へ送信する。

【0011】

次に、画像処理装置１の構成について説明する。画像処理装置１は、図１に示すように、スキャナー装置２、コントローラー３、プリンター装置４、操作部５、ストレージ装置６、及びＦＡＸ装置７を備える。コントローラー３は、スキャナー装置２、プリンター装置４、操作部５、ストレージ装置６、及びＦＡＸ装置７と夫々接続されている。

【0012】

スキャナー装置２は、原稿束を自動的に逐次入れ替えることが可能な原稿給紙ユニット２１、原稿を光学スキャンしてスキャン画像データに変換することが可能なスキャナーユニット２２を備える。スキャナー装置２は、原稿から光学的に画像を読み取ってスキャン画像データに変換し、このスキャン画像データをコントローラー３に送信する。

【0013】

コントローラー３は、接続されたモジュールに指示を出すことでジョブを実行する。プリンター装置４は、画像データを用紙に印刷する。プリンター装置４は、用紙束から一枚ずつ逐次給紙可能な給紙ユニット４２、給紙した用紙に画像データを印刷するためのマーキングユニット４１、印刷後の用紙を排紙するための排紙ユニット４３を備える。

【0014】

操作部５は、ユーザから各種指示を受け付け、また、画像処理装置１に関する各種情報を表示する。ストレージ装置６は、画像データや制御プログラム等を記憶する。ＦＡＸ装置７は、電話回線等を介して外部装置にスキャン画像データ等を送信する。

【0015】

画像処理装置１は、例えば、ＬＡＮ／Ｉｎｔｅｒｎｅｔ８経由で、コンピューター９と画像データの送受信を行う。また、画像処理装置１は、コンピューター９から送信されたジョブの発行指示等を、ＬＡＮ／Ｉｎｔｅｒｎｅｔ８を介して受信する。

【0016】

また、コンピューター９は、ＬＡＮ／Ｉｎｔｅｒｎｅｔ８経由で、画像処理装置１の動作を制御する。例えば、コンピューター９は、ＬＡＮ／Ｉｎｔｅｒｎｅｔ８経由で、画像処理装置１のコントローラー３に電源ＯＦＦ指示を出力する。コントローラー３は、受信した電源ＯＦＦ指示に従って、画像処理装置１の電源ＯＦＦシーケンスの制御を行う。

【0017】

画像処理装置１は、複写機能、画像送信機能、画像保存機能、画像印刷機能等の複数の機能を備える。複写機能は、スキャナー装置２が原稿を光学スキャンして生成されたスキャン画像データをストレージ装置６に記録し、このスキャン画像データをプリンター装置４によって印刷する機能である。画像送信機能は、スキャナー装置２が原稿を光学スキャンして生成されたスキャン画像データを、ＬＡＮ／Ｉｎｔｅｒｎｅｔ８を介してコンピューター９等の外部装置へ送信する機能である。画像保存機能は、スキャナー装置２が原稿を光学スキャンして生成されたスキャン画像データをストレージ装置６に記録し、必要に応じてこのスキャン画像データの送信や印刷を行う機能である。画像印刷機能は、コンピューター９から送信されたＰＤＬデータを解析してプリンター装置４に印刷処理を実行させる機能である。

【0018】

次に、画像処理装置１のコントローラー３の構成について説明する。図２は、図１のコントローラー３の構成を概略的に示すブロック図である。図２において、コントローラー３は、メインシステム２００及びサブシステム２２０から構成される。

【0019】

メインシステム２００には、ＵＳＢメモリー２０９、操作部５、ストレージ装置６等が接続される。メインシステム２００は、いわゆる汎用的なＣＰＵシステムである。メインシステム２００は、メインＣＰＵ２０１、ブートロム２０２、メモリー２０３、バスコントローラー２０４、不揮発性メモリー２０５、ディスクコントローラー２０６を備える。メインシステム２００は更に、フラッシュディスク２０７、ＵＳＢコントローラー２０８、ネットワークインターフェース２１０、ＲＴＣ２１１を備える。

【0020】

メインＣＰＵ２０１は、メインシステム２００全体を制御する。ブートロム２０２は、ブートプログラムを記憶する。メモリー２０３は、メインＣＰＵ２０１のワークメモリーとして使用される。バスコントローラー２０４は、外部バスとのブリッジ機能を持つ。不揮発性メモリー２０５は、メインシステム２００が電源ＯＦＦされた場合でもデータを保持可能な記憶装置である。ディスクコントローラー２０６は、フラッシュディスク２０７やストレージ装置６等の記憶装置を制御する。フラッシュディスク２０７は、半導体デバイスで構成された比較的小容量の不揮発性記憶装置、例えば、ＳＳＤである。ＵＳＢコントローラー２０８は、画像処理装置１に接続されたＵＳＢデバイスを制御する。例えば、ＵＳＢコントローラー２０８は、画像処理装置１に接続されたＵＳＢメモリー２０９に画像データを保存する処理や、ＵＳＢメモリー２０９に保存された画像データを読み出す処理を行う。ネットワークインターフェース２１０は、ＬＡＮ／Ｉｎｔｅｒｎｅｔ８を介して、コンピューター９や生成ＡＩサーバー１０等の外部装置とデータ通信を行う。ＲＴＣ２１１は、時計機能を有する。

【0021】

サブシステム２２０には、プリンター装置４、スキャナー装置２、ＦＡＸ装置７等が接続される。サブシステム２２０は、比較的小さな汎用サブＣＰＵシステムと画像処理ハードウェアから構成される。サブシステム２２０は、サブＣＰＵ２２１、メモリー２２３、バスコントローラー２２４、不揮発性メモリー２２５、画像処理プロセッサー２２６、プリンターコントローラー２２７、スキャナーコントローラー２２８を備える。

【0022】

サブＣＰＵ２２１は、サブシステム２２０全体を制御する。また、サブＣＰＵ２２１は、ＦＡＸ装置７を制御する。メモリー２２３は、サブＣＰＵ２２１のワークメモリーとして使用される。バスコントローラー２２４は、外部バスとのブリッジ機能を持つ。不揮発性メモリー２２５は、サブシステム２２０が電源ＯＦＦされた場合でもデータを保持可能な記憶装置である。画像処理プロセッサー２２６は、リアルタイムデジタル画像処理を行う。プリンターコントローラー２２７は、プリンター装置４による印刷処理を制御する。例えば、プリンターコントローラー２２７は、印刷対象となる画像データをプリンター装置４に送る。スキャナーコントローラー２２８は、スキャナー装置２によるスキャン処理を制御する。例えば、スキャナーコントローラー２２８は、スキャナー装置２に対してスキャン処理の実行指示を行い、このスキャン処理にて生成されたスキャン画像データをスキャナー装置２から取得する。

【0023】

ここで、コントローラー３の動作について、複写機能を例に説明する。ユーザが操作部５から画像複写の指示を行うと、メインＣＰＵ２０１がサブＣＰＵ２２１を介してスキャナー装置２に画像読み取り命令を送る。スキャナー装置２は、セットされた原稿を光学スキャンしてスキャン画像データに変換し、このスキャン画像データをプリンターコントローラー２２７を介して画像処理プロセッサー２２６に送る。画像処理プロセッサー２２６は、サブＣＰＵ２２１を介してメモリー２２３にＤＭＡ転送を行ってこのスキャン画像データの一時保存を行う。

【0024】

メインＣＰＵ２０１は、スキャン画像データがメモリー２２３に一定量若しくは全て記憶されたことが確認できると、サブＣＰＵ２２１を介してプリンター装置４に画像出力指示を出す。サブＣＰＵ２２１は、画像処理プロセッサー２２６にメモリー２２３におけるスキャン画像データの記憶領域を伝える。メモリー２２３に記憶されたスキャン画像データは、プリンター装置４が出力する同期信号に従って、画像処理プロセッサー２２６とプリンターコントローラー２２７を介してプリンター装置４に送信される。プリンター装置４は、受信したスキャン画像データを用紙に印刷する。

【0025】

なお、複数部数の印刷を行う場合、メインＣＰＵ２０１が、メモリー２２３に記憶されたスキャン画像データをストレージ装置６に保存する。このようにストレージ装置６にスキャン画像データを保存することで、２部目以降のスキャン画像データをスキャナー装置２から再度取得することなく、プリンター装置４に送ることが可能となる。

【0026】

図３は、図１の生成ＡＩサーバー１０の構成を概略的に示すブロック図である。図３において、生成ＡＩサーバー１０は、ＡＩＧＣフロントエンドサーバー１０１、ＡＩＧＣバックエンドサーバー１０２、学習データベース１０３を備える。

【0027】

ＡＩＧＣフロントエンドサーバー１０１は、コンピューター９や画像処理装置１等の外部装置から受信した画像生成要求に基づいて、ＡＩＧＣバックエンドサーバー１０２に画像生成を依頼する。ＡＩＧＣバックエンドサーバー１０２は、学習データベース１０３に格納された学習済みモデルを用いて画像生成処理を行ってＡＩ画像データを生成する。また、ＡＩＧＣバックエンドサーバー１０２は、生成したＡＩ画像データをフロントエンドサーバー１０１経由で、画像生成要求にて指定された送信先(画像処理装置１やコンピューター９等)へ送信する。例えば、画像データが画像処理装置１へ送信された場合、画像処理装置１は、図４のＡに示すように、受信した画像データを用紙に印刷する。また、画像処理装置１は、図４のＢに示すように、受信した画像データを、コンピューター９や図４のスマートフォン１２といった他の装置へ転送する。学習データベース１０３は、線画から色付きのリアルな画像を出力するように学習された学習済みモデルを格納する。

【0028】

次に、画像処理装置１のＵＩの構成について説明する。図５は、図１の操作部５に表示されるＵＩ画面５００の一例を示す図である。ＵＩ画面５００には、画像処理装置１で利用可能な機能に対応する複数の操作ボタン、例えば、「コピー」ボタン５０１、「スキャン送信」ボタン５０２、「ＡＩＧＣ利用」ボタン５０３、「デバイス設定」ボタン５０４が表示される。なお、ＵＩ画面５００の構成は一例であり、ＵＩ画面５００には、これらの操作ボタン以外の操作ボタンが含まれていても良い。

【0029】

「コピー」ボタン５０１は、画像処理装置１の複写機能を利用するための操作ボタンである。「スキャン送信」ボタン５０２は、画像処理装置１の画像送信機能を利用するための操作ボタンである。「デバイス設定」ボタン５０４は、画像処理装置１の各種設定を行うための操作ボタンである。「ＡＩＧＣ利用」ボタン５０３は、本実施の形態におけるＡＩＧＣシステムを利用するための操作ボタンである。ユーザが「ＡＩＧＣ利用」ボタン５０３を選択すると、画像処理装置１に搭載された不図示のＡＩＧＣアプリが起動し、操作部５には、図６の設定画面６００が表示される。設定画面６００は、操作ボタン６０１～操作ボタン６０５を含む。

【0030】

操作ボタン６０１は、ＡＩＧＣシステムの入力として画像のみを使うか、画像と文字を使うかを設定するためのボタンである。例えば、「ＡＩＧＣシステムの入力として画像のみを使う」ことが設定された場合、画像処理装置１は、生成したスキャン画像データから識別したオブジェクトに基づいて中間データを生成し、この中間データを画像生成要求と共に生成ＡＩサーバー１０へ送信する。中間データは、例えば、ラフ画の特徴を表した自然言語の文字列からなるプロンプトである。プロンプトは、例えば、スキャン画像データに含まれるオブジェクトの種類を示す文字列（「人」や「猫」等）、スキャン画像データに含まれるオブジェクトの位置を示す文字列（「中央」等）、ＡＩ画像データのスタイルを示す文字列（「漫画風」等）を含む。なお、中間データは、プロンプトに限られず、このラフ画から色付きのリアルなＡＩ画像データを生成する指示として生成ＡＩサーバー１０が解釈可能なコマンドであってスキャン画像データに含まれるオブジェクトの特徴情報を含むコマンドであっても良い。

【0031】

「ＡＩＧＣシステムの入力として画像と文字を使う」ことが設定された場合、画像処理装置１は、生成したスキャン画像データから識別したオブジェクトと文字情報とに基づいて中間データを生成する。また、画像処理装置１は、この中間データを画像生成要求と共に生成ＡＩサーバー１０へ送信する。例えば、スキャン画像データにおいてオブジェクトの傍に「漫画風」という文字列が記載されていた場合、画像処理装置１は、このオブジェクトの特徴を表した自然言語の文字列と、「漫画風」という文字列とを含む中間データを生成する。

【0032】

操作ボタン６０２は、オブジェクト補正の設定を行うためのボタンである。ユーザがオブジェクト補正の設定を有効に設定すると、画像処理装置１では、ラフ画が曖昧であるためにオブジェクトの特徴情報を絞り込めない場合に、想定される複数の候補の中からオブジェクトの特徴情報をユーザに選択させる。

【0033】

ここで、操作ボタン６０１の設定で「ＡＩＧＣシステムの入力として画像のみを使う」ことが設定された場合について説明する。この場合に、図７（ａ）に示すように、背景と人物が描かれたラフ画の原稿７０１が画像処理装置１にセットされると、画像処理装置１は、この原稿のスキャン画像データに含まれるオブジェクトの識別処理を行う。画像処理装置１は、このスキャン画像データに含まれるオブジェクトが「人間」であることは識別できるが、ラフ画が曖昧であるのでこのオブジェクトが「男性」、「女性」、「子供」の何れであるかまで識別することができない。このため、画像処理装置１は、想定される複数の候補の中からオブジェクトの特徴情報をユーザに選択させる選択画面７０２を操作部５に表示する。画像処理装置１は、選択画面７０２で選択された特徴情報に基づいて中間データを生成する。

【0034】

また、操作ボタン６０１の設定で「ＡＩＧＣシステムの入力として画像と文字を使う」ことが設定された場合についても同様に選択画面が表示される。例えば、図７（ｂ）に示すように、人物の傍に「漫画風」という文字列が描かれたラフ画の原稿７０３が画像処理装置１にセットされると、画像処理装置１は、この原稿のスキャン画像データに含まれるオブジェクトの識別処理を行う。画像処理装置１は、このスキャン画像データに含まれるオブジェクトが「人間」であることは識別できるが、ラフ画が曖昧であるのでこのオブジェクトが「男性」、「女性」、「子供」の何れであるかまで識別することができない。このため、画像処理装置１は、想定される複数の候補の中からオブジェクトの特徴情報をユーザに選択させる選択画面７０４を操作部５に表示する。画像処理装置１は、選択画面７０４で選択された特徴情報に基づいて中間データを生成する。

【0035】

操作ボタン６０３は、ラフ画の原稿を読み取って当該原稿のスキャン画像データを生成する指示を行うためのボタンである。

【0036】

操作ボタン６０４は、成果物に関する設定を行うためのボタンである。本実施の形態では、例えば、生成ＡＩサーバー１０によって生成されたＡＩ画像データを印刷する、このＡＩ画像データをユーザが操作するコンピューター９等へ転送することが可能である。また、このＡＩ画像データをコンピューター９等に表示する、中間データであるプロンプトの再利用の有無等を設定することも可能である。

【0037】

操作ボタン６０５は、印刷設定を行うためのボタンである。操作ボタン６０４の設定で「ＡＩ画像データを印刷する」ことを設定した際に、この印刷処理で使用される印刷設定が設定される。例えば、ポスター形式や冊子で出力するように設定することが可能である。

【0038】

図８は、図１の画像処理装置１によって実行されるＡＩ画像データの生成制御処理の手順を示すフローチャートである。ＡＩ画像データの生成制御処理は、コントローラー３がメモリー２０３やメモリー２２３等に格納されたプログラムを実行することによって実現される。ＡＩ画像データの生成制御処理は、ユーザがラフ画の原稿をセットし操作ボタン６０３を選択した際に実行される。

【0039】

図８において、まず、コントローラー３は、セットされたラフ画の原稿をスキャンする（Ｓ８０１）。これにより、この原稿のスキャン画像データが生成される。次いで、コントローラー３は、生成したスキャン画像データに含まれるオブジェクトの識別処理を行う。これにより、スキャン画像データに含まれる人物等のオブジェクトが識別される。また、操作ボタン６０１の設定で「ＡＩＧＣシステムの入力として画像と文字を使う」ことが設定された場合には、スキャン画像データに含まれる文字情報も識別される。

【0040】

次いで、コントローラー３は、オブジェクト補正の設定が有効に設定されているか否かを判定する（Ｓ８０２）。

【0041】

Ｓ８０２にてオブジェクト補正の設定が有効に設定されていないと判定された場合、本処理は後述するＳ８０４へ進む。Ｓ８０２にてオブジェクト補正の設定が有効に設定されていると判定された場合、コントローラー３は、識別処理にて識別した結果に基づいて、オブジェクトの特徴情報をユーザに選択させるための選択画面を操作部５に表示させる（Ｓ８０３）。ここで、一例として、図９に示すように、背景と人物が描かれ更にその人物の傍に「漫画風」という文字列が描かれたラフ画の原稿９０１がセットされた場合について説明する。原稿９０１のスキャン画像データに含まれるオブジェクトの識別処理において、コントローラー３は、背景と人物が描かれていることは識別できるが、ラフ画が曖昧であるのでその人物が「男性」、「女性」、「子供」の何れであるかまで識別することができない。このため、コントローラー３は、複数の候補の中からその人物の特徴情報をユーザに選択させるための選択画面９０２を操作部５に表示させる。ユーザが選択画面９０２に含まれる複数の候補の中から１つを選択すると、本処理はＳ８０４へ進む。

【0042】

Ｓ８０４では、コントローラー３は、生成ＡＩサーバー１０にＡＩ画像を生成させるための中間データを生成する。例えば、オブジェクト補正の設定が有効に設定されていない場合、コントローラー３は、識別処理にて識別したオブジェクトの特徴情報に基づいて中間データを生成する。なお、中間データは、上述した通り、識別したオブジェクトの特徴を表す自然言語の文字列からなるプロンプトである。一方、オブジェクト補正の設定が有効に設定されている場合、コントローラー３は、選択画面９０２にて選択された特徴情報９０３に基づいて中間データ９０４を生成する。

【0043】

次いで、コントローラー３は、生成した中間データを操作部５に表示させ、この中間データで画像生成を行うか否かをユーザに確認する（Ｓ８０５）。

【0044】

Ｓ８０５において、この中間データで画像生成を行う指示をユーザから受けた場合、コントローラー３は、Ｓ８０４で生成した中間データと画像生成要求とを生成ＡＩサーバー１０に送信する（Ｓ８０６）。生成ＡＩサーバー１０は、受信した中間データを入力として画像生成処理を行う。これにより、例えば、原稿９０１に描かれたラフ画をリアル且つ漫画風に描画したＡＩ画像データ９０５が生成される。生成ＡＩサーバー１０は、生成したＡＩ画像データ９０５を、画像生成要求にて指定された送信先、例えば、画像処理装置１へ送信する。

【0045】

次いで、コントローラー３は、生成ＡＩサーバー１０からＡＩ画像データ９０５を受信する（Ｓ８０７）。コントローラー３は、例えば、上述した図４のＡに示すように、受信したＡＩ画像データ９０５を用紙に印刷する、若しくは上述した図４のＢに示すように、受信したＡＩ画像データ９０５をコンピューター９やスマートフォン１２といった外部装置へ送信する。その後、本処理は終了する。

【0046】

Ｓ８０５において、この中間データで画像生成を行わない指示をユーザから受けた場合、コントローラー３は、ユーザから受けた修正指示に従って中間データを修正する（Ｓ８０８）。次いで、コントローラー３は、Ｓ８０６にて、修正された中間データと画像生成要求とを生成ＡＩサーバー１０へ送信する。その後、上述したＳ８０７が行われ、本処理は終了する。

【0047】

上述した実施の形態によれば、原稿をスキャンして得られたスキャン画像データに基づいて生成ＡＩサーバー１０にＡＩ画像データを生成させる。これにより、生成ＡＩサーバー１０に対する画像生成の指示に、スキャン画像データから得られた構図に関する情報や背景に関する情報を含めることができ、もって、生成ＡＩサーバー１０に対して画像生成の指示を適切に行うことができる。

【0048】

また、上述した実施の形態では、原稿には、ユーザが手書きで描いたオブジェクトが含まれる。これにより、ユーザは、手書きでオブジェクトが描かれた原稿を準備するだけで、生成ＡＩサーバー１０に対して構図に関する指示や背景に関する指示を適切に行うことができる。

【0049】

また、上述した実施の形態では、スキャン画像データから識別したオブジェクトの特徴情報を含む中間データが生成され、この中間データが生成ＡＩサーバー１０に送信される。これにより、スキャン画像データから識別したオブジェクトの特徴情報を生成ＡＩサーバー１０に伝えることができる。

【0050】

また、上述した実施の形態では、識別したオブジェクトの特徴情報となる複数の候補の中から、中間データに含める情報をユーザに選択させる選択画面が操作部５に表示される。これにより、中間データに含める情報について、ユーザの意図を反映させることができる。

【0051】

また、上述した実施の形態では、原稿には、オブジェクトの傍に当該オブジェクトの特徴を示す文字列が描かれ、中間データは、スキャン画像データから識別された文字列を更に含む。これにより、ユーザは、ラフ画と文字を組み合わせて、生成ＡＩサーバー１０に対して画像生成の指示を行うことができる。

【0052】

また、上述した実施の形態では、中間データをユーザに編集させる。これにより、生成ＡＩサーバー１０に対し、ユーザの意図をより反映した指示を行うことができる。

【0053】

また、上述した実施の形態では、受信したＡＩ画像データが印刷される。これにより、生成ＡＩサーバー１０に生成させたＡＩ画像データの印刷物を得ることができる。

【0054】

また、上述した実施の形態では、生成ＡＩは、画像処理装置１と異なる外部装置である生成ＡＩサーバー１０が備える。これにより、外部装置である生成ＡＩサーバー１０に対して画像生成の指示を適切に行うことができる。

【0055】

なお、本実施の形態では、画像処理装置１は、スキャン機能を備える装置に限られない。例えば、撮影機能を備えるスマートフォン、タブレット端末、ＰＣ等の装置であっても良い。撮影機能を備える装置の制御部、又はこの装置にインストールされたアプリケーションは、ラフ画の原稿を撮影してこの原稿の撮影画像データを生成する処理を行い、生成した撮影画像データを用いて上述したＳ８０２～Ｓ８０８の処理を行う。このように撮影機能を備える装置においても、生成ＡＩサーバー１０に対して画像生成の指示を適切に行うことができる。

【0056】

また、本実施の形態では、画像処理装置１が生成ＡＩを備える構成であっても良い。これにより、生成ＡＩを備える画像処理装置１において、この生成ＡＩに対して画像生成の指示を適切に行うことができる。

【0057】

また、本実施の形態では、スキャン画像データや撮影画像データからオブジェクトを認識する処理を、画像処理装置１が備えるＡＩを用いて行っても良い。昨今のＣＰＵには、オブジェクト認識専用の回路が組み込まれている場合が多く、この回路と併用することで、オブジェクトを認識する処理の負荷を最小限に留めつつ、この処理を精度良く実施することができる。

【0058】

また、本実施の形態では、画像処理装置１は、印刷設定に対応するＡＩ画像データを生成ＡＩサーバー１０に生成させてもよい。例えば、印刷設定で２ｉｎ１設定が行われた場合、画像処理装置１は、２つの画像データを割り付けた１つのＡＩ画像データを生成ＡＩサーバー１０に生成させる中間データを生成する。これにより、生成ＡＩサーバー１０に対し、印刷設定に対応するＡＩ画像データを生成する指示を行うことができる。

【0059】

また、本実施の形態では、生成ＡＩサーバー１０がラフ画の画像データを入力として、ＡＩ画像データを生成可能な構成である場合、中間データではなく、スキャン画像データや撮影画像データを画像生成要求と共に生成ＡＩサーバー１０へ送信しても良い。これにより、画像処理装置１は中間データの生成にそのリソースを割くことなく、生成ＡＩサーバー１０に対して画像生成の指示を適切に行うことができる。

【0060】

なお、本実施の形態に係る技術の利用ケースとして、例えば、フローチャートの作成、ポスターの作成（例えば、人間を線でスケッチしてその姿勢をラフ画で示し、その横に「漫画風」といった文字列を記述してそのスタイルを示す）が挙げられる。また、スライドの雛形、年賀状、手紙、チラシ、個人で楽しむ同人誌等の作成が挙げられる。

【0061】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0062】

なお、本実施形態の開示は、以下の構成および方法を含む。
（構成１）原稿を読み取る読取手段と、前記読取手段によって前記原稿を読み取ることによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる手段と、前記生成ＡＩによって生成された第２の画像データを受信する手段とを備えることを特徴とする画像処理装置。
（構成２）原稿を撮影する撮影手段と、前記撮影手段によって前記原稿を撮影することによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる手段と、前記生成ＡＩによって生成された第２の画像データを受信する手段とを備えることを特徴とする画像処理装置。
（構成３）前記原稿には、ユーザが手書きで描いたオブジェクトが含まれることを特徴とする構成１又は２に記載の画像処理装置。
（構成４）前記生成させる手段は、前記第１の画像データから前記オブジェクトを識別し、前記識別したオブジェクトの特徴情報を含む中間データを生成し、前記中間データを前記生成ＡＩに送信することを特徴とする構成３に記載の画像処理装置。
（構成５）前記識別したオブジェクトの特徴情報となる複数の候補の中から、前記中間データに含める特徴情報をユーザに選択させる手段を更に備えることを特徴とする構成４に記載の画像処理装置。
（構成６）前記原稿には、前記オブジェクトの傍に当該オブジェクトの特徴を示す文字列が描かれ、前記中間データは、前記第１の画像データから識別された文字列を更に含むことを特徴とする構成４又は５に記載の画像処理装置。
（構成７）前記中間データをユーザに編集させる手段を更に備えることを特徴とする構成４乃至６の何れか１つに記載の画像処理装置。
（構成８）前記生成させる手段は、前記第１の画像データを前記生成ＡＩに送信することを特徴とする構成１乃至３の何れか１つに記載の画像処理装置。
（構成９）前記受信した第２の画像データを印刷する手段を更に備えることを特徴とする構成１乃至８の何れか１つに記載の画像処理装置。
（構成１０）前記生成させる手段は、ユーザに設定された印刷設定に対応する第２の画像データを前記生成ＡＩに生成させることを特徴とする構成９に記載の画像処理装置。
（構成１１）前記生成ＡＩは、前記画像処理装置と異なる外部装置が備えることを特徴とする構成１乃至１０の何れか１つに記載の画像処理装置。
（構成１２）前記生成ＡＩを更に備えることを特徴とする構成１乃至１０の何れか１つに記載の画像処理装置。
（制御方法１３）原稿を読み取る読取工程と、前記読取工程にて前記原稿を読み取ることによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる工程と、前記生成ＡＩによって生成された第２の画像データを受信する工程とを有することを特徴とする画像処理装置の制御方法。
（制御方法１４）原稿を撮影する撮影工程と、前記撮影工程にて前記原稿を撮影することによって得られた第１の画像データに基づいて生成ＡＩに第２の画像データを生成させる工程と、前記生成ＡＩによって生成された第２の画像データを受信する工程とを有することを特徴とする画像処理装置の制御方法。
（プログラム）制御方法１３又は１４に記載の画像処理装置の制御方法をコンピューターに実行させるためのプログラム。

【符号の説明】

【0063】

１ 画像処理装置
２ スキャナー装置
３ コントローラー
４ プリンター装置
５ 操作部
１０ 生成ＡＩサーバー
２１０ ネットワークインターフェース
７０２ 選択画面
７０４ 選択画面
９０２ 選択画面
９０５ ＡＩ画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】