特開 2024-6488 コンピュータプログラム、および、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024006488

(43)【公開日】2024-01-17

(54)【発明の名称】コンピュータプログラム、および、画像処理装置

(51)【国際特許分類】

   H04N 1/387 20060101AFI20240110BHJP

   G06F 3/12 20060101ALI20240110BHJP

   B41J 5/30 20060101ALI20240110BHJP

【ＦＩ】

H04N1/387 110

G06F3/12 304

G06F3/12 356

G06F3/12 350

B41J5/30 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022107392

(22)【出願日】2022-07-01

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】四海 洋一

(72)【発明者】

【氏名】近藤 真樹

(72)【発明者】

【氏名】澤野 賢太郎

(72)【発明者】

【氏名】渡邉 航平

(72)【発明者】

【氏名】増田 貴昭

(72)【発明者】

【氏名】御田 政義

【テーマコード（参考）】

2C187

5C076

【Ｆターム（参考）】

2C187AC08

2C187AD20

2C187AF03

2C187AG15

2C187BG17

2C187CC04

2C187CD12

5C076AA12

5C076AA19

5C076BA06

(57)【要約】

【課題】ユーザの入力に基づいて簡易にユーザの好みに合致した印刷画像を決定して印刷実行部に印刷させる。
【解決手段】画像処理装置は、印刷画像の候補である１以上の候補画像を表示部に表示する候補表示処理と、表示部に表示される候補画像に対する評価を示す情報であってユーザの入力に基づく情報である画像評価情報を取得する評価取得処理と、を複数回に亘って実行する。２回目以降の候補表示処理は、画像評価情報に基づいて候補画像を決定し、決定済みの候補画像を表示部に表示する処理である。画像処理装置は、複数回に亘って実行される候補表示処理にて表示される複数個の候補画像の少なくとも一部と、複数回に亘って実行される評価取得処理にて取得される複数個の画像評価情報の少なくとも一部と、に基づいて、印刷画像を決定する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

コンピュータプログラムであって、
印刷すべき印刷画像を決定する印刷画像決定機能と、
決定済みの前記印刷画像を示す印刷データを生成する印刷データ生成機能と、
前記印刷データに従って印刷実行部に印刷を実行させる印刷制御機能と、
をコンピュータに実現させ、
前記印刷画像決定機能は、
前記印刷画像の候補である１以上の候補画像を表示部に表示する候補表示処理と、
前記表示部に表示される前記候補画像に対する評価を示す情報であってユーザの入力に基づく情報である画像評価情報を取得する評価取得処理と、
を複数回に亘って実行し、
２回目以降の前記候補表示処理は、前記画像評価情報に基づいて前記候補画像を決定し、決定済みの前記候補画像を前記表示部に表示する処理であり、
前記印刷画像決定機能は、複数回に亘って実行される前記候補表示処理にて表示される複数個の前記候補画像の少なくとも一部と、複数回に亘って実行される前記評価取得処理にて取得される複数個の前記画像評価情報の少なくとも一部と、に基づいて、前記印刷画像を決定する、コンピュータプログラム。

【請求項2】

請求項１に記載のコンピュータプログラムであって、さらに、
コンテンツをそれぞれ示す１以上のコンテンツデータを取得するコンテンツ取得機能と、
前記コンテンツの表現を規定する複数個の表現情報を取得する表現情報取得機能と、
前記コンテンツデータと前記複数個の表現情報とを用いて、前記コンテンツが表現された複数個の前記候補画像を示す複数個の候補画像データを生成する候補画像生成機能と、
をコンピュータに実現させ、
前記候補表示処理は、前記複数個の候補画像データの少なくとも１つを用いて、前記候補画像を前記表示部に表示する処理である、コンピュータプログラム。

【請求項3】

請求項２に記載のコンピュータプログラムであって、
前記コンテンツデータは、前記コンテンツとしての画像を示す画像データと、前記コンテンツとしてのテキストを示すテキストデータと、の少なくとも一方を含む、コンピュータプログラム。

【請求項4】

請求項３に記載のコンピュータプログラムであって、
前記コンテンツデータは、第１コンテンツを示す第１コンテンツデータと、第２コンテンツを示す第２コンテンツデータと、を含み、
前記表現情報は、複数個のコンテンツのレイアウトを規定するレイアウト情報を含み、
前記候補画像生成機能は、前記第１コンテンツが表現された第１コンテンツ画像と前記第２コンテンツが表現された第２コンテンツ画像とが、前記レイアウト情報によって規定されるレイアウトに従って配置される前記候補画像を示す前記候補画像データを生成する、コンピュータプログラム。

【請求項5】

請求項２に記載のコンピュータプログラムであって、
前記表現情報は、特定のスタイルにて表現されたスタイル画像を示すスタイル画像データを含み、
前記候補画像生成機能は、
前記コンテンツデータに対して、前記スタイル画像データを用いたスタイル変換処理を実行して、前記コンテンツが前記特定のスタイルにて表現された変換済画像を示す変換済画像データを生成し、
前記変換済画像データを用いて、前記変換済画像を含む前記候補画像を示す前記候補画像データを生成する、コンピュータプログラム。

【請求項6】

請求項５に記載のコンピュータプログラムであって、
前記候補画像生成機能は、
１つの前記コンテンツデータに対して、互いに異なる前記スタイル画像データを用いる複数の前記スタイル変換処理を実行して、複数個の前記変換済画像を示す複数個の前記変換済画像データを生成し、
複数個の前記変換済画像データを用いて、複数個の前記候補画像データを生成し、
前記コンピュータプログラムは、さらに、
前記スタイル画像データに対する評価に関する情報であってユーザの入力に基づく情報であるスタイル評価情報を取得するスタイル評価取得機能と、
前記スタイル評価情報に基づいて、前記スタイル変換処理にて用いるべき前記スタイル画像データの少なくとも一部を変更するスタイル変更機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項7】

請求項６に記載のコンピュータプログラムであって、
前記スタイル変更機能は、前記スタイル評価情報に基づく評価が基準以上である複数個の前記スタイル画像データを合成して、前記スタイル変換処理にて用いるべき新たな前記スタイル画像データを生成する、コンピュータプログラム。

【請求項8】

請求項６に記載のコンピュータプログラムであって、
前記スタイル評価取得機能は、前記候補画像に対する評価を示す前記画像評価情報を、前記候補画像データの生成に用いられる前記スタイル画像データに対する評価を示す前記スタイル評価情報として取得する、コンピュータプログラム。

【請求項9】

請求項１に記載のコンピュータプログラムであって、
前記候補表示処理は、ｍ個（Ｍは２以上の整数）の画像の中からｍ個未満の前記候補画像を決定し、決定済みのｍ個未満の前記候補画像を前記表示部に表示する処理であり、
２回目以降の前記候補表示処理は、
直前の評価取得処理にて取得される前記画像評価情報を用いて前記ｍ個の画像のうちの少なくとも一部に対する評価値を算出し、
前記評価値に基づいて前記ｍ個の画像の中からｍ個未満の前記候補画像を再度決定し、
決定済みのｍ個未満の前記候補画像を前記表示部に表示する処理である、コンピュータプログラム。

【請求項10】

請求項１に記載のコンピュータプログラムであって、
前記候補表示処理は、
ユーザの入力に依存しない特定の選別処理を実行することによって、Ｍ個（Ｍは３以上の整数）の画像の中からｍ個（ｍは２以上Ｍ未満の整数）の画像を選別し、
選別済みのｍ個の画像の中からｍ個未満の前記候補画像を決定し、
決定済みのｍ個未満の前記候補画像を前記表示部に表示する処理である、コンピュータプログラム。

【請求項11】

請求項１０に記載のコンピュータプログラムであって、
前記特定の選別処理は、
画像データが入力される場合に前記画像データによって示される画像を評価した結果を示す評価データを出力するように訓練された機械学習モデルを用いて、前記Ｍ個の画像の前記評価データを取得し、
前記Ｍ個の画像の前記評価データに基づいて、前記ｍ個の画像を選別する処理である、コンピュータプログラム。

【請求項12】

画像処理装置であって、
印刷すべき印刷画像を決定する印刷画像決定部と、
決定済みの前記印刷画像を示す印刷データを生成する印刷データ生成部と、
前記印刷データに従って印刷実行部に印刷を実行させる印刷制御部と、
を備え、
前記印刷画像決定部は、
前記印刷画像の候補である１以上の候補画像を表示部に表示する候補表示処理と、
前記表示部に表示される前記候補画像に対する評価を示す情報であってユーザの入力に基づく情報である画像評価情報を取得する評価取得処理と、
を複数回に亘って実行し、
２回目以降の前記候補表示処理は、前記画像評価情報に基づいて前記候補画像を決定し、決定済みの前記候補画像を前記表示部に表示する処理であり、
前記印刷画像決定部は、複数回に亘って実行される前記候補表示処理にて表示される複数個の前記候補画像の少なくとも一部と、複数回に亘って実行される前記評価取得処理にて取得される複数個の前記画像評価情報の少なくとも一部と、に基づいて、前記印刷画像を決定する、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、印刷画像を決定し、該印刷画像を印刷実行部に印刷させるための技術に関する。

【背景技術】

【0002】

様々な製品を印刷媒体として印刷が行われている。例えば、特許文献１には、伸縮性のあるＴシャツをフィルムで挟持した状態で、Ｔシャツに対して印刷を実行するインクジェットプリンタが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１－１３８７６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、ユーザ自身が印刷画像を用意することは困難な場合もあるため、ユーザの入力に基づいて簡易にユーザの好みに合致した印刷画像を決定して印刷実行部に印刷させることが求められている。

【0005】

本明細書は、ユーザの入力に基づいて簡易にユーザの好みに合致した印刷画像を決定して印刷実行部に印刷させ得る新たな技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］コンピュータプログラムであって、印刷すべき印刷画像を決定する印刷画像決定機能と、決定済みの前記印刷画像を示す印刷データを生成する印刷データ生成機能と、前記印刷データに従って印刷実行部に印刷を実行させる印刷制御機能と、をコンピュータに実現させ、前記印刷画像決定機能は、前記印刷画像の候補である１以上の候補画像を表示部に表示する候補表示処理と、前記表示部に表示される前記候補画像に対する評価を示す情報であってユーザの入力に基づく情報である画像評価情報を取得する評価取得処理と、を複数回に亘って実行し、２回目以降の前記候補表示処理は、前記画像評価情報に基づいて前記候補画像を決定し、決定済みの前記候補画像を前記表示部に表示する処理であり、前記印刷画像決定機能は、複数回に亘って実行される前記候補表示処理にて表示される複数個の前記候補画像の少なくとも一部と、複数回に亘って実行される前記評価取得処理にて取得される複数個の前記画像評価情報の少なくとも一部と、に基づいて、前記印刷画像を決定する、コンピュータプログラム。

【0008】

上記構成によれば、１以上の候補画像を表示する候補表示処理と、候補画像に対する評価を示す情報であってユーザの入力に基づく情報である画像評価情報を取得する評価取得処理と、が複数回に亘って実行されることで、ユーザの好みに合致した候補画像が表示され得る。そして、表示される複数個の候補画像の少なくとも一部と、取得される複数個の画像評価情報の少なくとも一部と、に基づいて、印刷画像が決定される。したがって、ユーザの入力に基づいて簡易にユーザの好みに合致した印刷画像を決定して印刷実行部に印刷させ得る。

【0009】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法、画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】実施例の印刷システム１０００の構成を示すブロック図。

【図2】印刷システム１０００の概略構成を示す斜視図。

【図3】印刷処理のフローチャート。

【図4】印刷処理に用いられるデータ等の一例を示す図。

【図5】スタイル変換処理の説明図。

【図6】自動レイアウト処理のフローチャート。

【図7】自動レイアウト処理の説明図。

【図8】デザイン選別処理の説明図。

【図9】候補画像決定処理のフローチャート。

【図10】レコメンドテーブルＲＴの一例を示す図。

【図11】ＵＩ画面の一例を示す図。

【図12】第１実施例のスタイル画像更新処理の説明図。

【図13】第２実施例のスタイル画像更新処理のフローチャート。

【図14】評価入力画面ＷＩ３の一例を示す図。

【発明を実施するための形態】

【0011】

Ａ．第１実施例：
Ａ－１：印刷システム１０００の構成
次に、実施の形態を実施例に基づき説明する。図１は、実施例の印刷システム１０００の構成を示すブロック図である。印刷システム１０００は、プリンタ２００と、本実施例の画像処理装置としての端末装置３００と、撮像装置４００と、を含んでいる。プリンタ２００と端末装置３００、および、撮像装置４００と端末装置３００とは、通信可能に接続されている。

【0012】

端末装置３００は、プリンタ２００のユーザが使用する計算機であり、例えば、パーソナルコンピュータやスマートフォンである。端末装置３００は、端末装置３００のコントローラとしてのＣＰＵ３１０と、ハードディスクドライブなどの不揮発性記憶装置３２０と、ＲＡＭなどの揮発性記憶装置３３０と、マウスやキーボードなどの操作部３６０と、液晶ディスプレイなどの表示部３７０と、通信部３８０と、を備えている。通信部３８０は、外部機器、例えば、プリンタ２００や撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。

【0013】

揮発性記憶装置３３０は、ＣＰＵ３１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域３３１を提供する。不揮発性記憶装置３２０には、コンピュータプログラムＰＧ１とスタイル画像データ群ＳＧとレコメンドテーブルＲＴとスタイル画像評価テーブルＳＴとが格納されている。コンピュータプログラムＰＧ１は、例えば、サーバからダウンロードされる形態、あるいは、ＤＶＤ－ＲＯＭなどに格納される形態で、プリンタ２００の製造者によって提供される。ＣＰＵ３１０は、コンピュータプログラムＰＧ１を実行することによって、プリンタ２００を制御するプリンタドライバとして機能する。プリンタドライバとしてのＣＰＵ３１０は、例えば、後述する印刷処理を実行する。スタイル画像データ群ＳＧは、複数個のスタイル画像データを含んでいる。

【0014】

コンピュータプログラムＰＧ１は、後述する画像生成モデルＧＮと画像識別モデルＤＮ１、ＤＮ２をＣＰＵ３１０に実現させるコンピュータプログラムをモジュールとして含んでいる。スタイル画像データ群ＳＧとレコメンドテーブルＲＴとスタイル画像評価テーブルＳＴは、後述する印刷処理において説明する。

【0015】

撮像装置４００は、光学的に被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像装置４００は、端末装置３００の制御に従って、撮像画像データを生成し、端末装置３００に送信する。

【0016】

プリンタ２００は、例えば、印刷機構１００と、プリンタ２００のコントローラとしてのＣＰＵ２１０と、ハードディスクドライブなどの不揮発性記憶装置２２０と、ＲＡＭなどの揮発性記憶装置２３０と、ユーザによる操作を取得するためのボタンやタッチパネルなどの操作部２６０と、液晶ディスプレイなどの表示部２７０と、通信部２８０と、を備えている。通信部２８０は、外部機器、例えば、端末装置３００と通信可能に接続するための有線または無線のインタフェースを含む。

【0017】

揮発性記憶装置２３０は、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２３１を提供する。不揮発性記憶装置２２０には、コンピュータプログラムＰＧ２が格納されている。コンピュータプログラムＰＧ２は、本実施例では、プリンタ２００を制御するための制御プログラムであり、プリンタ２００の出荷時に不揮発性記憶装置２２０に格納されて提供され得る。これに代えて、コンピュータプログラムＰＧ２は、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ２１０は、コンピュータプログラムＰＧ２を実行することにより、例えば、後述する印刷処理によって端末装置３００から送信される印刷データに従って印刷機構１００を制御して印刷媒体に画像を印刷する。なお、本実施例のプリンタ２００は、印刷媒体として布地が想定されており、例えば、Ｔシャツなどの衣服Ｓ（図２参照）上に画像を印刷することができる。

【0018】

印刷機構１００は、Ｃ、Ｍ、Ｙ、Ｋの各インク（液滴）を吐出して印刷を行うインクジェット方式の印刷機構である。印刷機構１００は、印刷ヘッド１１０とヘッド駆動部１２０と主走査部１３０と搬送部１４０とを備えている。

【0019】

図２を参照して、さらに、説明する。図２は、印刷システム１０００の概略構成を示す斜視図である。図２の＋Ｘ方向、－Ｘ方向、＋Ｙ方向、－Ｙ方向、＋Ｚ方向、－Ｚ方向は、それぞれ、プリンタ２００の左方、右方、前方、後方、上方、下方である。

【0020】

主走査部１３０は、筐体２０１の内部において、図示しない主走査モータの動力を用いて、印刷ヘッド１１０を搭載するキャリッジ（図示省略）を主走査方向（図２のＸ方向）に沿って往復動させる。これによって、衣服Ｓなどの印刷媒体に対して主走査方向（Ｘ方向）に沿って印刷ヘッド１１０を往復動させる主走査が実現される。

【0021】

搬送部１４０は、筐体２０１のＸ方向中央部に設けられたプラテン１４２およびトレイ１４４を備えている。板状のプラテン１４２の上面（＋Ｚ方向の面）は、衣服Ｓなどの印刷媒体を載置するための載置面である。プラテン１４２は、プラテン１４２の－Ｚ方向に配置された板状のトレイ１４４に固定されている。トレイ１４４は、プラテン１４２より一回り大きい。プラテン１４２とトレイ１４４とによって、衣服Ｓなどの印刷媒体が保持される。プラテン１４２とトレイ１４４は、図示しない副走査モータの動力を用いて、主操作方向と交差する搬送方向（図２のＹ方向）に搬送される。これによって、衣服Ｓなどの印刷媒体を印刷ヘッド１１０に対して搬送方向に搬送する副走査が実現される。

【0022】

ヘッド駆動部１２０（図１）は、主走査部１３０が印刷ヘッド１１０の主走査を行っている最中に、印刷ヘッド１１０に駆動信号を供給して、印刷ヘッド１１０を駆動する。印刷ヘッド１１０は、図示しない複数個のノズルを備え、駆動信号に従って、搬送部１４０によって搬送される印刷媒体上にインクを吐出してドットを形成する。

【0023】

図２に示すように、撮像装置４００は、図示しない支持具によって支持されて、プリンタ２００の＋Ｚ方向に配置される。撮像装置４００は、プリンタ２００から離れた場所に位置し、プラテン１４２の上面に対向して設けられ、プラテン１４２の上面に載置された衣服Ｓなどの印刷媒体を撮影可能である。これによって、撮像装置４００は、衣服Ｓなどの印刷媒体を含む画像を示す撮像画像データを生成することができる。

【0024】

印刷システム１０００は、印刷媒体としての衣服Ｓの一部分である印刷領域に対して、所定の印刷画像（例えば、模様やロゴ）を印刷する。本実施例では、図２に示すように、衣服Ｓは、Ｔシャツであり、印刷領域は、Ｔシャツのうち、着用者の胸部に対応する領域である。印刷システム１０００は、例えば、Ｔシャツを販売する店舗に設置されている。印刷システム１０００は、例えば、店舗の店員によって管理されている。印刷システム１０００は、後述するように、例えば、店舗の顧客や店員が端末装置３００を操作することによって動作する。このように、印刷システム１０００のユーザは、例えば、店舗の店員や顧客である。

【0025】

Ａ－２．印刷処理
端末装置３００のＣＰＵ３１０は、印刷処理を実行する。印刷処理は、プリンタ２００を用いて、衣服Ｓに対して、印刷画像を印刷する処理である。図３は、印刷処理のフローチャートである。印刷処理は、例えば、印刷媒体である衣服Ｓがプラテン１４２上に載置され、プラテン１４２に載置された衣服Ｓを上方から撮像装置４００にて撮影可能な状態で、ユーザ（例えば、店舗の顧客）が端末装置３００に開始指示を入力した場合に開始される。

【0026】

Ｓ１０では、ＣＰＵ３１０は、コンテンツデータを取得して、メモリ（不揮発性記憶装置３２０または揮発性記憶装置３３０）に格納する。図４は、印刷処理に用いられるデータ等の一例を示す図である。図４（Ａ）には、コンテンツデータの説明図が示されている。コンテンツデータは、コンテンツとしての画像ＣＩ（以下コンテンツ画像とも呼ぶ）を示すコンテンツ画像データと、コンテンツとしてのテキストＣＴを示すテキストデータと、を含んでいる。コンテンツ画像データは、例えば、デジタルカメラなどを用いて被写体を撮像することによって生成される撮像画像データであっても良いし、イラストなどのコンピュータグラフィックを示す画像データであっても良い。コンテンツ画像データは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。なお、本実施例では、コンテンツデータは、１個の画像データと１個のテキストデータとを含む。変形例では、コンテンツデータは、複数個の画像データを含んでも良いし、複数個のテキストデータを含んでも良い。

【0027】

コンテンツデータは、ユーザによって準備される。例えば、店舗の顧客がユーザである場合には、例えば、顧客は、自身のスマートフォンにコンテンツデータを格納して来店する。顧客は、スマートフォンを無線または有線の通信インタフェースを介して端末装置３００に接続する。ＣＰＵ３１０は、顧客のスマードフォンから、顧客によって指定されたコンテンツデータを取得する。

【0028】

Ｓ１５では、ＣＰＵ３１０は、印刷媒体情報（図４（Ｂ））を取得する。印刷媒体情報は、印刷媒体としての衣服Ｓに関する情報であり、例えば、布地の材質ＭＴや布地の地色ＢＣや印刷領域ＰＡを示す情報である。印刷領域ＰＡは、例えば、衣服Ｓの胸部に対応する部分である。ＣＰＵ３１０は、例えば、表示部３７０に図示しないユーザインタフェース（ＵＩ）画面を表示し、該ＵＩ画面を介してユーザによって入力される印刷媒体情報を取得する。例えば、印刷領域ＰＡを示す情報は、撮像装置４００によって撮影された衣服Ｓの画像を含むＵＩ画面において、ユーザが矩形の印刷領域ＰＡ（図４（Ｂ））を指定することによって取得される。

【0029】

Ｓ２０では、ＣＰＵ３１０は、スタイル画像選択処理を実行する。スタイル画像選択処理は、スタイル画像データ群ＳＧに含まれる複数個のスタイル画像データの中から１以上の使用すべきスタイル画像データを選択する処理である。図４（Ｃ）には、スタイル画像データによって示されるスタイル画像ＳＩの一例として、スタイル画像ＳＩ１～ＳＩ４が示されている。複数個のスタイル画像ＳＩは、互いに異なる様々なスタイル（画風とも呼ぶ）にて表現された画像である。例えば、複数個のスタイル画像ＳＩは、イラスト風、水墨画風、アニメ風、ピカソやゴッホなどの著名な画家の画風にて表現された画像を含む。

【0030】

ＣＰＵ３１０は、図示しないＵＩ画面に複数個のスタイル画像ＳＩを表示し、ユーザから１以上のスタイル画像ＳＩを選択する選択指示の入力を受け付ける。ＣＰＵ３１０は、ユーザの選択指示に従って、使用すべきスタイル画像ＳＩを示すスタイル画像データを選択する。本実施例では、スタイル画像データは、コンテンツ画像データと同様に、ＲＧＢ画像データである。

【0031】

Ｓ２０では、ＣＰＵ３１０は、スタイル変換処理を実行する。図５は、スタイル変換処理の説明図である。スタイル変換処理は、画像生成モデルＧＮを用いて実行される。画像生成モデルＧＮは、図５（Ｂ）に示す構成を有している。画像生成モデルＧＮは、スタイル変換を行う機械学習モデルである。本実施例の画像生成モデルＧＮは、論文「Xun Huang and Serge Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. In ICCV, 2017.」に開示されている機械学習モデルである。

【0032】

画像生成モデルＧＮには、コンテンツ画像データＣＤとスタイル画像データＳＤとから成るデータペアが入力される。コンテンツ画像データＣＤは、上述したコンテンツ画像ＣＩを示す画像データである。スタイル画像データＳＤは、上述したスタイル画像ＳＩを示す画像データである。

【0033】

画像生成モデルＧＮは、データペアが入力されると、データペアに対して複数個のパラメータを用いた演算を実行して、変換済画像データＴＤを生成し、出力する。変換済画像データＴＤは、コンテンツ画像ＣＩに対してスタイル画像ＳＩのスタイルを適用して得られる変換済画像ＴＩを示す画像データである。例えば、変換済画像ＴＩは、コンテンツ画像ＣＩのオブジェクトの形状を維持しつつ、スタイル画像ＳＩのスタイル（画風）を有する画像である。変換済画像データＴＤは、コンテンツ画像データＣＤやスタイル画像データＳＤと同様のビットマップデータであり、本実施例では、ＲＧＢ画像データである。

【0034】

図５（Ｂ）に示すように、画像生成モデルＧＮは、エンコーダＥＣと、特徴結合部ＣＣと、デコーダＤＣと、を含んでいる。

【0035】

エンコーダＥＣには、コンテンツ画像データＣＤやスタイル画像データＳＤが入力される。エンコーダＥＣは、入力された画像データに対して、次元削減処理を実行して、入力された画像データの特徴を示す特徴データを生成する。エンコーダＥＣは、例えば、畳込処理(convolution)を行う畳込層を含む複数の層を有するニューラルネットワーク（Convolutional Neural Network）である。本実施例では、エンコーダＥＣには、ＶＧＧ１９と呼ばれるニューラルネットワークのうちの入力層からRElu4_1層までの部分が用いられる。ＶＧＧ１９は、ＩｍａｇｅＮｅｔと呼ばれる画像データベースに登録された画像データを用いて訓練された訓練済みのニューラルネットワークであり、その訓練済みの演算パラメータは一般公開されている。本実施例では、エンコーダＥＣの演算パラメータには、公開された訓練済みの演算パラメータが用いられる。

【0036】

特徴結合部ＣＣは、上記論文に開示された「AdaIN layer」である。特徴結合部ＣＣは、コンテンツ画像データＣＤをエンコーダＥＣに入力して得られる特徴データｆ（ｃ）と、スタイル画像データＳＤをエンコーダＥＣに入力して得られる特徴データｆ（ｓ）と、を用いて、変換特徴データｔを生成する。

【0037】

デコーダＤＣには、変換特徴データｔが入力される。デコーダＤＣは、変換特徴データｔに対して、複数個の演算パラメータを用いて、エンコーダＥＣとは逆の次元復元処理を実行して、上述した変換済画像データＴＤを生成する。デコーダＤＣは、転置畳込処理（transposed convolution）を行う転置畳込層を含む複数の層を有するニューラルネットワークである。

【0038】

デコーダＤＣの複数個の演算パラメータは、以下の訓練によって調整される。訓練用のコンテンツ画像データＣＤとスタイル画像データＳＤからなるデータペアが、所定数（例えば、数万個）分だけ準備される。これらのデータペアから選択される所定のバッチサイズ分のデータペアを用いて１回の調整処理が実行される。

【0039】

１回の調整処理では、バッチサイズ分のデータペアを用いて算出される損失関数Ｌが小さくなるように、所定のアルゴリズムに従って複数個の演算パラメータが調整される。所定のアルゴリズムには、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム（本実施例では、ａｄａｍ）が用いられる。

【0040】

損失関数Ｌは、コンテンツ損失Ｌｃと、スタイル損失Ｌｓと、重みλを用いて、以下の式（１）で示される。
Ｌ＝Ｌｃ＋λＬｓ …（１）

【0041】

コンテンツ損失Ｌｃは、本実施例では、変換済画像データＴＤの特徴データｆ（ｇ（ｔ））と、変換特徴データｔと、の間の損失（誤差とも呼ぶ）である。変換済画像データＴＤの特徴データｆ（ｇ（ｔ））は、用いるべきデータペアを画像生成モデルＧＮに入力して得られる変換済画像データＴＤを、さらに、エンコーダＥＣに入力することによって算出される。変換特徴データｔは、上述したように、用いるべきデータペアをエンコーダＥＣに入力して得られる特徴データｆ（ｃ）、ｆ（ｓ）を特徴結合部ＣＣに入力することによって算出される。

【0042】

スタイル損失Ｌｃは、変換済画像データＴＤをエンコーダＥＣに入力した場合にエンコーダＥＣの複数個の層からそれぞれ出力されるデータ群と、スタイル画像データＳＤをエンコーダＥＣに入力した場合にエンコーダＥＣの複数個の層からそれぞれ出力されるデータ群と、の間の損失である。

【0043】

以上のような調整処理を複数回に亘って繰り返される。これによって、コンテンツ画像データＣＤとスタイル画像データＳＤとが入力される場合に、コンテンツ画像に対してスタイル画像のスタイルを適用して得られる変換済画像を示す変換済画像データＴＤが出力できるように、画像生成モデルＧＮが訓練される。

【0044】

図３のＳ２５のスタイル変換処理は、事前に訓練済みの画像生成モデルＧＮを用いて実行される。具体的には、ＣＰＵ３１０は、Ｓ２０にて選択された複数個のスタイル画像データＳＤのそれぞれを、Ｓ１０にて取得済みのコンテンツ画像データＣＤとペアにして、画像生成モデルＧＮに入力することによって、変換済画像ＴＩを示す変換済画像データを生成する。図５（Ａ）には、変換済画像ＴＩの一例として、変換済画像ＴＩ１～ＴＩ４が図示されている。図５（Ａ）の変換済画像ＴＩ１～ＴＩ４は、図４（Ｃ）のスタイル画像ＳＩ１～ＳＩ４（図４（Ｃ））と一対一で対応している。スタイル画像ＳＩと対応する変換済画像ＴＩは、該スタイル画像ＳＩを示すスタイル画像データＳＤとコンテンツ画像データＣＤとのペアを、画像生成モデルＧＮすることによって生成される変換済画像データＴＤによって示される画像である。例えば、Ｓ２０にて、Ｌ個（Ｌは１以上の整数）のスタイル画像ＳＩが選択された場合には、Ｌ個の変換済画像データが生成される。

【0045】

スタイル変換処理後の図３のＳ３０では、ＣＰＵ３１０は、自動レイアウト処理を実行する。自動レイアウト処理は、生成済み変換済画像データと、テキストＣＴを示すテキストデータと、を用いて、Ｍ個のデザイン画像データを生成する処理である。生成されるデザイン画像データの個数Ｍは、３以上の整数であり、例えば、数百～数万である。

【0046】

図６は、自動レイアウト処理のフローチャートである。図７は、自動レイアウト処理の説明図である。図６のＳ１０５では、ＣＰＵ３１０は、印刷すべき印刷画像のサイズを決定する。印刷画像のサイズ（縦方向および横方向の画素数）は、印刷領域ＰＡ（図４（Ｂ））に応じたサイズに決定される。

【0047】

Ｓ１１０では、複数個の文字の表現情報に従って複数個のテキスト画像データを生成する。文字の表現情報は、文字を表現するための表現条件を規定する情報であり、例えば、フォント、文字色、背景色、文字のサイズを示す情報を含む。例えば、フォントは、ｋ１種類の予め定められたフォントである。文字色は、ｋ２種類の予め定められた色である。背景色は、ｋ３種類の予め定められた色である。文字のサイズは、ｋ４種類の予め定められたサイズである。ｋ１、ｋ２、ｋ３、ｋ４は、例えば、３～数十個である。本実施例では、これらの条件を組み合わせて得られるＫ個（Ｋ＝ｋ１×ｋ２×ｋ３×ｋ４）の互いに異なる表現条件にて、Ｋ個の互いに異なるテキスト画像データが生成される。生成されるテキスト画像データの個数Ｋは、例えば、数百～数千である。図７（Ａ）には、テキストＣＴ（図４（Ａ））を示すテキストデータから生成されるテキスト画像データによって示されるテキスト画像ＸＩの例として、テキスト画像ＸＩ１～ＸＩ３が示されている。テキスト画像ＸＩ１～ＸＩ３は、テキストＣＴが様々な表現条件（フォント、文字色など）にて表現された画像である。

【0048】

Ｓ１１５では、ＣＰＵ３１０は、各変換済画像ＴＩを複数のサイズに調整してトリミングを実行する。これによって、サイズ調整後の変換済画像ＴＡＩを示す調整済画像データが生成される。具体的には、ＣＰＵ３１０は、複数個の拡大率で１つの変換済画像ＴＩを拡大する拡大処理を実行して、複数個の拡大済み画像を生成する。ＣＰＵ３１０は、印刷領域ＰＡに応じて設定されるサイズに拡大済み画像をトリミングすることによって、サイズ調整後の変換済画像ＴＡＩを示す調整済画像データを生成する。複数個の拡大率は、印刷領域ＰＡに応じて設定されるサイズを１とすると、例えば、１、１．２、１．３、１．５などのＱ個の値に設定される。この場合には、１つの変換済画像データからＱ個の互いに異なる調整済画像データが生成されるため、Ｌ個の変換済画像データから（Ｌ×Ｑ）個の互いに異なる調整済画像データが生成される。図７（Ｂ）には、サイズ調整後の変換済画像ＴＡＩの一例として、変換済画像ＴＩ１を用いて生成される複数個のサイズ調整後の変換済画像ＴＡＩ１～ＴＡＩ３が示されている。サイズ調整後の変換済画像ＴＡＩ１～ＴＡＩ３は、コンテンツ画像ＣＩが様々な表現条件（スタイル、サイズなど）にて表現された画像である。

【0049】

Ｓ１２０では、ＣＰＵ３１０は、各要素画像（Ｋ個のテキスト画像ＸＩと（Ｌ×Ｑ）個のサイズ調整後の変換済画像ＴＡＩ）を複数個のレイアウト情報ＬＴに従って配置する。これによって、Ｍ個のデザイン画像データが生成される。図４（Ｄ）には、レイアウト情報ＬＴの一例として、レイアウト情報ＬＴ１～ＬＴ３が示されている。レイアウト情報ＬＴは、複数個のコンテンツのレイアウトを規定する情報である。例えば、レイアウト情報ＬＴは、印刷領域ＰＡ内において、テキスト画像ＸＩが配置される文字領域ＴＡと、サイズ調整後の変換済画像ＴＡＩが配置される画像領域ＩＡと、を規定する情報である。１つのレイアウト情報ＬＴに従って、Ｋ個のテキスト画像ＸＩのうちの１つと、（Ｌ×Ｑ）個のサイズ調整後の変換済画像ＴＡＩのうちの１つと、を配置する全ての組み合わせについて、デザイン画像データが生成される。このために、１つのレイアウト情報ＬＴについて、（Ｋ×Ｌ×Ｑ）個のデザイン画像データが生成される。したがって、使用されるレイアウト情報ＬＴの個数をＰ（Ｐは１以上の整数、例えば、３～数１０）とすると、合計で（Ｐ×Ｋ×Ｌ×Ｑ）個のデザイン画像データが生成される（Ｍ＝Ｐ×Ｋ×Ｌ×Ｑ）。図７（Ｃ）には、デザイン画像データによって示されるデザイン画像ＤＩの一例として、テキスト画像ＸＩ１（図７（Ａ））と、サイズ調整後の変換済画像ＴＡＩ（図７（Ｂ））と、を用いて生成されるデザイン画像ＤＩ１～ＤＩ３が示されている。

【0050】

自動レイアウト処理後の図３のＳ３５では、ＣＰＵ３１０は、デザイン選別処理を実行する。デザイン選別処理は、画像識別モデルＤＮ１を用いて、生成済みのＭ個のデザイン画像データの中から、印刷画像の候補として適切なＭ個未満のデザイン画像データを決定する処理である。図８は、デザイン選別処理の説明図である。

【0051】

図８（Ｂ）には、画像識別モデルＤＮ１、ＤＮ２の概略構成が示されている。画像識別モデルＤＮ１と、詳細は後述する画像識別モデルＤＮ２と、は同様の構成を有している。本実施例の画像識別モデルＤＮ１、ＤＮ２には、ＲｅｓＮｅｔ１８と呼ばれる公知のモデルが用いられている。このモデルは、例えば、論文「K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in ICML, 2016.」に開示されている。

【0052】

画像識別モデルＤＮ１は、エンコーダＥＣａと、全結合層ＦＣと、を含む。エンコーダＥＣには、デザイン画像データＤＤが入力される。エンコーダＥＣは、デザイン画像データＤＤに対して次元削減処理を実行して、デザイン画像データＤＤによって示されるデザイン画像ＤＩ（図７（Ｃ））の特徴を示す特徴データを生成する。

【0053】

エンコーダＥＣは、図示しない複数のレイヤを備えている。各レイヤは、複数個の畳込層を含むＣＮＮ（Convolutional Neural Network）である。各畳込層は、所定サイズのフィルタを用いて畳込処理(convolution)を実行して特徴データを生成する。各畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。各畳込層から出力される特徴マップは次の処理層（次の畳込層やレイヤ）に入力される。活性化関数には、いわゆるReLU（Rectified Linear Unit）等の公知の関数が用いられる。畳込処理に用いられるフィルタの重みおよびバイアスとは、後述する訓練によって調整される演算パラメータである。

【0054】

全結合層ＦＣは、エンコーダＥＣから出力される特徴データの次元数を削減して、画像評価データＯＤ１を生成する。全結合層ＦＣの演算に用いられる重みおよびバイアスは、後述する訓練によって調整される演算パラメータである。画像評価データＯＤ１は、例えば、デザイン画像ＤＩのデザインを複数段階の評価（例えば、高評価、中評価、低評価の３段階）に分類した結果を示す。

【0055】

画像識別モデルＤＮ１は、複数個の訓練用のデザイン画像データと、これらの訓練用のデザイン画像データに対応する教師データと、を用いて、事前に訓練された訓練済みのモデルである。訓練用のデザイン画像データは、例えば、訓練用に準備されたコンテンツデータを用いて、図３のＳ１５～Ｓ３０の処理を実行して得られる多数の画像データである。教師データは、訓練用のデザイン画像データによって示されるデザイン画像の評価を示すデータである。例えば、評価者（例えば、デザインの専門家）が、訓練用のデザイン画像に対する評価を決定し、該評価を示す教師データが作成される。画像識別モデルＤＮ１は、訓練用のデザイン画像データが入力される場合に、対応する教師データと同様の評価結果を示す画像評価データＯＤ１を出力するように、訓練される。画像識別モデルＤＮ１の訓練は、画像評価データＯＤ１と教師データとの差を示す公知の損失関数と、公知のアルゴリズム（例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム）と、を用いて実行される。

【0056】

図８（Ａ）には、デザイン選別処理のフローチャートが図示されている。Ｓ２０５では、ＣＰＵ３１０は、Ｍ個のデザイン画像データのそれぞれを画像識別モデルＤＮ１に入力して、Ｍ個の画像評価データＯＤ１を取得する。

【0057】

Ｓ２１０では、ＣＰＵ３１０は、画像評価データＯＤ１に基づいて、Ｍ個のデザイン画像データのうち、低評価であるデザイン画像データをメモリから削除する。これによって、ｍ個のデザイン画像データがメモリに格納された状態になるものとする（Ｍ＞ｍ）。上述のように、デザイン画像データは、様々な表現条件（画像のスタイルやサイズ、文字のフォントや色、レイアウト情報）を総当たりで組み合わせて生成される。このために、Ｍ個のデザイン画像ＤＩには、デザインとして採用され難い不適切な画像が含まれ得る。不適切な画像は、例えば、テキスト画像ＸＩが重ねられることで変換済画像ＴＡＩ１の主要な部分が隠れている画像や、互いに重なり合うテキスト画像ＸＩと変換済画像ＴＡＩの色とが同一でテキスト画像ＸＩの文字が読めない画像など、デザインとして明らかに問題がある画像を含む。デザイン選別処理によって、Ｍ個のデザイン画像データから、このような不適切な画像を示す画像データが除かれる。デザイン選別処理によって、デザイン画像データの個数は、Ｍ個からｍ個に減少するものとする（Ｍ＞ｍ）。デザイン選別処理は、ユーザの入力に依存せず、画像識別モデルＤＮ１を用いて、Ｍ個のデザイン画像ＤＩから、候補画像として決定される可能性のあるｍ個のデザイン画像ＤＩを選別する処理である。

【0058】

デザイン選別処理後の図３のＳ４０では、ＣＰＵ３１０は、候補画像決定処理を実行する。候補画像決定処理は、ｍ個のデザイン画像ＤＩの中から、Ｎ個の候補画像を決定する処理である。決定される候補画像の個数Ｎは、例えば、３～２０程度である。

【0059】

図９は、候補画像決定処理のフローチャートである。Ｓ３００では、ＣＰＵ３１０は、実行中の候補画像決定処理が初回の候補画像決定処理であるか否かを判断する。実行中の候補画像決定処理が初回の候補画像決定処理である場合には（Ｓ３００：ＹＥＳ）、ＣＰＵ３１０は、Ｓ３０５にて、レコメンドテーブルＲＴ（図１）に、各デザイン画像ＤＩの特徴ベクトルを記録する。

【0060】

図１０は、レコメンドテーブルＲＴの一例を示す図である。図１０のレコメンドテーブルＲＴには、１つのデザイン画像ＤＩ（デザイン画像データ）ごとに、１行分のデータが記録される。１行分のデータは、デザイン画像ＤＩを識別する画像ＩＤと、該画像ＩＤによって識別されるデザイン画像ＤＩの特徴を示す特徴ベクトルと、を含む。特徴ベクトルの要素は、図１０に示すように、表現情報と、デザイン評価情報と、類似度の合計と、を含む。

【0061】

表現情報は、例えば、テキストＣＴの表現条件（例えば、フォント、文字色、背景色）やコンテンツ画像ＣＩの表現条件（例えば、サイズや、使用したスタイル画像）を示す情報である。表現情報は、これらの表現条件を示す値を要素とするベクトルである。図１０では、理解を容易とするために、フォント、文字色、背景色の各要素の値として、ＦＯＮＴ＿Ａ、ＦＯＮＴ＿Ｂ、ｂｌｕｅ、ｒｅｄ、ｇｒｅｅｎが用いられている。実際の各要素の値には、これらのフォントや色に予め割り当てられた数値、例えば、ＦＯＮＴ＿Ａ＝１、ＦＯＮＴ＿Ｂ＝２のように、１以上の整数値が用いられている。

【0062】

デザイン評価情報は、複数個の評価項目の値を要素とするベクトルである。複数個の評価項目は、例えば、「ＣＯＯＬ」、「ＣＵＴＥ」などのように、デザインから受ける印象を示す項目を含む。また、複数個の評価項目は、印刷時の仕上がりや見栄えに関する項目、例えば、衣服Ｓに印刷した場合に滲みなどが目立ちやすいか否かを示す項目を含む。各評価項目の値は、例えば、０～１の範囲の数値であり、数値が大きいほど高い評価を示す。デザイン評価情報は、本実施例では、画像識別モデルＤＮ２を用いて生成される。

【0063】

画像識別モデルＤＮ２は、上述した画像識別モデルＤＮ１と同じ構成を備えている（図８（Ｂ））。ただし、画像識別モデルＤＮ２の全結合層ＦＣは、上述したデザイン評価情報を示す画像評価データＯＤ２を出力するように構成されている。画像識別モデルＤＮ２は、複数個の訓練用のデザイン画像データと、これらの訓練用のデザイン画像データに対応する教師データと、を用いて、事前に訓練された訓練済みのモデルである。訓練用のデザイン画像データは、例えば、訓練用に準備されたコンテンツデータを用いて、図３のＳ１５～Ｓ３０の処理を実行して得られる多数の画像データである。教師データは、訓練用のデザイン画像データによって示されるデザイン画像の評価を示すデータである。例えば、評価者（例えば、デザインの専門家）が、訓練用のデザイン画像に対する上述の複数個の評価項目（例えば、「ＣＯＯＬ」、「ＣＵＴＥ」）について評価を決定し、該評価を示す教師データが作成される。画像識別モデルＤＮ２は、訓練用のデザイン画像データが入力される場合に、対応する教師データと同様の評価結果を示す画像評価データＯＤ２を出力するように、訓練される。画像識別モデルＤＮ２の訓練は、画像評価データＯＤ２と教師データとの差を示す公知の損失関数と、公知のアルゴリズム（例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム）と、を用いて実行される。

【0064】

ＣＰＵ３１０は、図３のＳ２０～Ｓ３０にて各デザイン画像データを生成する際に用いられたテキストＣＴやコンテンツ画像ＣＩの表現条件を示す表現情報をベクトルとして生成して、デザイン画像データごとに該ベクトルをレコメンドテーブルＲＴに記録する。ＣＰＵ３１０は、各デザイン画像データを画像識別モデルＤＮ２に入力して、デザイン評価情報としてのベクトルを示す画像評価データＯＤ２を取得し、デザイン画像データごとに該ベクトルをレコメンドテーブルＲＴに記録する。ＣＰＵ３１０は、特徴ベクトルの最後の要素である類似度の合計を、初期値である０に設定する。この結果、レコメンドテーブルＲＴには、ｍ個のデザイン画像データのそれぞれの特徴ベクトルが、画像ＩＤと対応付けて記録される。

【0065】

Ｓ３１０では、ＣＰＵ３１０は、ｍ個のデザイン画像ＤＩ（デザイン画像データ）の中から所定数Ｎのデザイン画像をランダムに選択し、該デザイン画像を候補画像として決定して、候補画像決定処理を終了する。なお、変形例では、ｍ個のデザイン画像ＤＩのうち、デザイン評価が高い所定個数ｍ２のデザイン画像の中からＮ個の候補画像が決定されても良い。デザイン評価を示す値には、例えば、デザイン評価情報としてのベクトルの長さが用いられる。

【0066】

実行中の候補画像決定処理が２回目以降の候補画像決定処理である場合には（Ｓ３００：ＮＯ）、ＣＰＵ３１０は、Ｓ３１５にて、ｍ個のデザイン画像ＤＩの中から、特徴ベクトルに含まれる上述した類似度の合計が大きい順にＮ個の候補画像を決定して、候補画像決定処理を終了する。２回目以降の候補画像決定処理が実行される時点では、各デザイン画像ＤＩの類似度の合計は、後述するＳ５１～Ｓ５３において、ユーザによる選択画像に基づいて、初期値（０）とは異なる値に変更されている。ユーザによる選択画像は、後述するように、Ｎ個の候補画像の中からユーザによって選択された画像である。

【0067】

候補画像決定処理後の図３のＳ４５では、ＣＰＵ３１０は、直前の候補画像決定処理にて決定済みのＮ個の候補画像を含む選択画面ＷＩ１を表示部３７０に表示する。図１１は、ＵＩ画面の一例を示す図である。図１１（Ａ）には、選択画面ＷＩ１の一例が示されている。選択画面ＷＩ１は、候補画像としてのＮ個（図１１（Ａ）の例では６個）のデザイン画像ＤＩａ～ＤＩｆを含む。選択画面ＷＩ１は、さらに、表示された候補画像（デザイン画像ＤＩａ～ＤＩｆ）の中から好みの画像を選択することをユーザに促すメッセージＭＳ１と、ＯＫボタンＢＴと、選択枠ＳＦと、を含む。

【0068】

Ｓ５０では、ＣＰＵ３１０は、ユーザによる好みの候補画像の選択指示を取得する。例えば、ユーザは、選択枠ＳＦを操作して１つのデザイン画像を選択して、ＯＫボタンＢＴを押下する。ＯＫボタンＢＴが押下されると、ＣＰＵ３１０は、その時点で選択枠ＳＦにて選択されている候補画像を選択する選択指示を取得する。該選択指示によって選択された候補画像を、ユーザによる選択画像とも呼ぶ。

【0069】

Ｓ５１では、ＣＰＵ３１０は、ユーザによる選択画像と、ｍ個のデザイン画像ＤＩのそれぞれと、の類似度を算出する。本実施例では、類似度は、レコメンドテーブルＲＴに記録されたデザイン画像ＤＩの特徴ベクトル（図１０）を用いて算出される。具体的には、２個の画像の類似度には、一の画像の特徴ベクトルＶａと他の画像の特徴ベクトルＶｂとのコサイン類似度ｃｏｓθが用いられる。コサイン類似度ｃｏｓθは、２つの特徴ベクトルが類似する度合を示す値であり、２つの特徴ベクトルの内積（Ｖａ・Ｖｂ）を、２つのベクトルの長さ（Ｌ２ノルム）の積（｜Ｖａ｜｜Ｖｂ｜）で除して得られる値である。

【0070】

Ｓ５２では、ＣＰＵ３１０は、算出した類似度を各デザイン画像の類似度の合計に加算する。具体的には、ＣＰＵ３１０は、レコメンドテーブルＲＴに記録されたｍ個のデザイン画像ＤＩのうち、ユーザによる選択画像を除いた（ｍ－１）個のデザイン画像ＤＩのそれぞれの類似度の合計に、Ｓ５１にて算出された各デザイン画像ＤＩの類似度を加算する。これによって、レコメンドテーブルＲＴに記録された各デザイン画像ＤＩの類似度の合計が更新される。

【0071】

Ｓ５３では、ＣＰＵ３１０は、ユーザによる選択画像の類似度の合計に、１を加算する。具体的には、ＣＰＵ３１０は、レコメンドテーブルＲＴに記録されたｍ個のデザイン画像ＤＩのうち、ユーザによる選択画像の類似度の合計に、コサイン類似度ｃｏｓθの最大値である「１」が加算される。このように、特徴ベクトルの一要素である類似度の合計が更新されることによって、次回以降の候補画像の決定に、今回の選択画像との類似度が反映される。

【0072】

Ｓ５５では、ＣＰＵ３１０は、Ｓ４０～Ｓ５０の処理の繰り返し回数が閾値ＴＨｎ以上であるか否かを判断する。閾値ＴＨｎは、例えば、５～数十回程度の値である。繰り返し回数が閾値ＴＨｎ未満である場合には（Ｓ５５：ＮＯ）、ＣＰＵ３１０は、Ｓ４０に処理を戻す。繰り返し回数が閾値ＴＨｎ以上である場合には（Ｓ５５：ＹＥＳ）、ＣＰＵ３１０は、Ｓ５７に処理を進める。

【0073】

Ｓ５７では、ＣＰＵ３１０は、最終決定指示の入力画面ＷＩ２を表示する。図１１（Ｂ）には、入力画面ＷＩ２の一例が示されている。入力画面ＷＩ２は、直前のＳ５０にて取得された選択指示によって選択された選択画像ＤＩｘを含む。入力画面ＷＩ２は、さらに、選択画像ＤＩｘを最終的に印刷すべき印刷画像として承認するか否かの判断を促すメッセージＭＳ２と、承認ボタンＢＴｙと、不承認ボタンＢＴｎと、を含む。

【0074】

Ｓ６０では、ＣＰＵ３１０は、最終決定指示が取得されたか否かを判断する。ユーザは、入力画面ＷＩ２に含まれる選択画像ＤＩｘを最終的な印刷画像とする場合には、承認ボタンＢＴｙを押下し、選択画像ＤＩｘを最終的な印刷画像としない場合には、不承認ボタンＢＴｎを押下する。ＣＰＵ３１０は、承認ボタンＢＴｙが押下された場合には、最終決定指示が取得されたと判断し、不承認ボタンＢＴｎが押下された場合には、印刷画像の選択の継続指示が取得されたと判断する。印刷画像の選択の継続指示が取得された場合には（Ｓ６０：ＮＯ）、ＣＰＵ３１０は、Ｓ４０に処理を戻す。最終決定指示が取得された場合には（Ｓ６０：ＹＥＳ）、ＣＰＵ３１０は、Ｓ７０に処理を進める。

【0075】

Ｓ７０では、ＣＰＵ３１０は、最終決定指示によって決定された印刷画像（例えば、図１１（Ｂ）のデザイン画像ＤＩｘ）を印刷するための印刷データを生成する。具体的には、ＣＰＵ３１０は、最終的に印刷画像として決定されたデザイン画像ＤＩを示すデザイン画像データに対して所定の生成処理を実行して、印刷データを生成する。生成処理は、例えば、画質調整処理と、色変換処理と、ハーフトーン処理と、を含む。

【0076】

画質調整処理は、例えば、衣服Ｓに印刷される印刷画像の見栄えを向上するための処理である。例えば、衣服Ｓに印刷される印刷画像には、滲みが生じやすいため、画質調整処理は、滲みに起因する画質の低下を抑制する処理、例えば、テキストの周囲に所定の色（例えば、白）の領域を設ける処理を含む。また、画質調整処理は、印刷画像の解像度を高くする処理、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）を含む機械学習モデルを用いて画像を高解像度化する処理を含む。

【0077】

色変換処理は、ＲＧＢ画像データを、印刷に用いられる複数個の色材に対応する複数個の成分値を含む色値によって画素ごとの色を表す画像データに変換する処理である。本実施例では、画質調整処理済みのデザイン画像データの各画素のＲＧＢ値は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロ）、Ｋ（ブラック）の４個の成分値を含むＣＭＹＫ値に変換される。色変換処理は、不揮発性記憶装置３２０に予め格納された色変換プロファイル（図示省略）を参照して実行される。ハーフトーン処理は、色変換処理後のデザイン画像データを、ドットの形成状態を画素ごと、かつ、色材ごとに表す印刷データ（ドットデータとも呼ぶ）に変換する処理である。ハーフトーン処理は、誤差拡散法やディザ法などの公知のアルゴリズムに従って実行される。

【0078】

Ｓ７５では、ＣＰＵ３１０は、生成された印刷データをプリンタ２００に送信する。プリンタ２００が印刷データを受信すると、プリンタ２００のＣＰＵ２１０は、印刷データに従って、印刷機構１００を制御して、衣服Ｓに印刷画像を印刷する。

【0079】

Ｓ８０では、ＣＰＵ３１０は、スタイル画像更新処理を実行して、印刷処理を終了する。図１２は、スタイル画像更新処理の説明図である。スタイル画像更新処理は、スタイル画像データ群ＳＧに含まれる複数個のスタイル画像データの一部を、スタイル画像データに対する評価に基づいて、入れ替える処理である。図１２（Ａ）は、スタイル画像変更処理のフローチャートである。

【0080】

Ｓ４０２では、ＣＰＵ３１０は、スタイル画像評価テーブルＳＴ（図１）を更新する。図１２（Ｂ）には、スタイル画像評価テーブルＳＴの一例が示されている。スタイル画像評価テーブルＳＴには、スタイル画像データ群ＳＧに含まれる複数個のスタイル画像データのそれぞれの評価値が、スタイル画像データを識別する画像ＩＤと対応付けて記録されている。

【0081】

本実施例では、スタイル画像データの評価値の初期値は、０である。本実施例では、スタイル画像データの評価値は、ユーザによるスタイル画像ＳＩの選択結果と、ユーザによる候補画像の選択結果と、に基づいて更新される。例えば、図３のＳ２０のスタイル画像選択処理において、ユーザによって選択されたスタイル画像ＳＩの評価値には、１ポイントが加算される。また、図３のＳ５０にてユーザによって選択された候補画像（デザイン画像ＤＩ）の作成に使用されたスタイル画像ＳＩの評価値には、１ポイントが加算される。図３のＳ５７、Ｓ６０にてユーザによって最終的な印刷画像として決定されたデザイン画像ＤＩの作成に使用されたスタイル画像ＳＩの評価値には、２ポイントが加算される。この評価方法は、一例であり、適宜に変更され得る。例えば、ユーザによって最終的な印刷画像として決定されたデザイン画像ＤＩの作成に使用されたスタイル画像ＳＩだけが、評価値の加算対象とされても良いし、Ｓ５０にてユーザによって選択された候補画像（デザイン画像ＤＩ）の作成に使用されたスタイル画像ＳＩだけが評価値の加算対象とされても良い。

【0082】

Ｓ４０５では、ＣＰＵ３１０は、前回のスタイル画像データの更新後の印刷枚数は閾値ＴＨｃ以上であるか否かを判断する。印刷枚数の閾値ＴＨｃは、例えば、数十～数百枚である。前回のスタイル画像データの更新後の印刷枚数が閾値ＴＨｃ未満である場合には（Ｓ４０５：ＮＯ）、ＣＰＵ３１０は、スタイル画像データの更新を行うことなく、処理を終了する。前回のスタイル画像データの更新後の印刷枚数が閾値ＴＨｃ以上である場合には（Ｓ４０５：ＹＥＳ）、ＣＰＵ３１０は、Ｓ４１０に処理を進める。

【0083】

Ｓ４１０では、ＣＰＵ３１０は、スタイル画像評価テーブルＳＴを参照して低評価のスタイル画像ＳＩがあるか否かを判断する。例えば、評価値が閾値ＴＨｓ未満であるスタイル画像ＳＩは、低評価のスタイル画像であると判断される。低評価のスタイル画像ＳＩがない場合には（Ｓ４１０：ＮＯ）、ＣＰＵ３１０は、スタイル画像データの更新を行うことなく、処理を終了する。低評価のスタイル画像ＳＩがある場合には（Ｓ４１０：ＹＥＳ）、ＣＰＵ３１０は、Ｓ４１５、Ｓ４２０を実行して、スタイル画像データの更新を行う。

【0084】

Ｓ４１５では、ＣＰＵ３１０は、スタイル画像データ群ＳＧに含まれる複数個のスタイル画像データのうち、低評価のスタイル画像データを削除する。Ｓ４２０では、ＣＰＵ３１０は、高評価のスタイル画像データを合成して新たなスタイル画像データを生成する。例えば、ＣＰＵ３１０は、残りのスタイル画像データのうち、評価値が閾値ＴＨｈ以上であるスタイル画像ＳＩを示すスタイル画像データの中から、２個のスタイル画像データをランダムに選択する。ＣＰＵ３１０は、２個のスタイル画像データを合成して新たなスタイル画像データを生成する。スタイル画像データの合成は、例えば、一方のスタイル画像の各画素の値Ｖ１と、他方のスタイル画像の同座標の画素の値Ｖ１と、の平均値（Ｖ１＋Ｖ２）／２を、新たなスタイル画像の同座標の画素の値とすることによって実行される。図１２（Ｃ）には、図４（Ｃ）のスタイル画像ＳＩ１とスタイル画像ＳＩ２とを合成することによって得られる新たなスタイル画像ＳＩ１２が図示されている。ＣＰＵ３１０は、Ｓ４１５にて削除されたスタイル画像データの個数と同数の新たなスタイル画像データを生成する。新たなスタイル画像データは、不揮発性記憶装置３２０に格納される。スタイル画像更新処理が終了されると、図３の印刷処理は終了される。

【0085】

以上説明した本実施例によれば、ＣＰＵ３１０は、印刷すべき印刷画像を決定し（図３のＳ１０～Ｓ６０）、決定済みの印刷画像を示す印刷データを生成し（図３のＳ７０）、該印刷データに従って印刷実行部としてのプリンタ２００に印刷を実行させる（図３のＳ７５）。印刷画像を決定する際には、ＣＰＵ３１０は、印刷画像の候補である候補画像（図１１（Ａ）のデザイン画像ＤＩａ～ＤＩｆ）を表示部３７０に表示する（図３のＳ４５、図１１（Ａ））。ＣＰＵ３１０は、表示部３７０に表示されたＮ個の候補画像の中から好みの画像を選択する選択指示を取得する（図３のＳ５０）。この選択指示は、選択された候補画像に対するユーザの評価が他の候補画像に対するユーザの評価よりも高いことを示しているので、この選択指示は、表示部３７０に表示される候補画像に対する評価を示す情報であってユーザの入力に基づく情報である、と言うことができる。ＣＰＵ３１０は、このような候補画像の表示と、選択指示の取得と、を複数回に亘って実行する（図３のＳ５５）。２回目以降の候補画像の表示の際には、ＣＰＵ３１０は、選択指示に基づいて表示すべき候補画像を決定し（図３のＳ４０、Ｓ５１～Ｓ５３、図９のＳ３１５）、決定済みの候補画像を表示部３７０に表示する（図３のＳ４５）。ＣＰＵ３１０は、表示部３７０に表示される候補画像と、取得される選択指示と、に基づいて、印刷画像を決定する。具体的には、最後に表示部３７０に表示されるＮ個の候補画像の中から、ユーザの選択指示によって選択された画像が、印刷画像として決定される（図３のＳ５０、Ｓ５５～Ｓ６０）。この構成によれば、候補画像の表示と選択指示の取得とが複数回に亘って実行されることで、ユーザの好みに合致した候補画像が表示され得る。そして、表示される複数個の候補画像と、取得される選択指示と、に基づいて、印刷画像が決定される。したがって、ユーザの入力に基づいて簡易にユーザの好みに合致した印刷画像を決定してプリンタ２００に印刷させ得る。例えば、ユーザ（例えば、店員や顧客）自身が、印刷画像をデザインして作成する場合には、ユーザにデザインに関する比較的高い知識やスキルが要求される。例えば、予め用意されたテンプレートを利用することによって、ユーザの負担は軽減され得るが、ユーザには、ある程度の知識やスキルが要求される。本実施例によれば、ユーザは、予め文字や画像などのコンテンツデータを用意すれば、該コンテンツデータを用いて実現される候補画像（デザイン画像ＤＩ）の中から好みの画像を選択することを繰り返すだけで、好みの印刷画像の印刷を実現できる。

【0086】

さらに、上記実施例によれば、ＣＰＵ３１０は、１以上のコンテンツデータを取得し（図３のＳ１０）、コンテンツの表現を規定する複数個の表現情報（例えば、文字のフォント、文字色、スタイル画像データ、画像のサイズ、レイアウトパターン）と、コンテンツデータと、を用いて、コンテンツが表現された複数個のデザイン画像ＤＩを示す複数個のデザイン画像データを生成する（図３のＳ２５、Ｓ３０、図６のＳ１１０～Ｓ１２０）。ＣＰＵ３１０は、複数個のデザイン画像データの少なくとも１つを用いて、候補画像を表示部３７０に表示する。この結果、コンテンツデータと複数個の表現情報とを用いて、コンテンツを様々な態様で表現したデザイン画像ＤＩを候補画像として表示部３７０に表示できる。

【0087】

さらに、上記実施例によれば、コンテンツデータは、コンテンツ画像ＣＩを示すコンテンツ画像データと、テキストＣＴを示すテキストデータと、を含む。この結果、テキストＣＴと、写真やＣＧなどのコンテンツ画像ＣＩと、を組み合わせた多様なデザイン画像ＤＩを候補画像として表示部３７０に表示できる。

【0088】

さらに、上記実施例によれば、ＣＰＵ３１０は、コンテンツ画像ＣＩが表現されたサイズ調整後の変換済画像ＴＡＩ（図７（Ｂ））と、テキストＣＴが表現されたテキスト画像ＸＩ（図７（Ａ））とが、レイアウト情報によって規定されるレイアウトに従って配置されるデザイン画像ＤＩ（図７（Ｃ））を示すデザイン画像データを生成する。この結果、複数個のコンテンツ（本実施例では、文字と画像）が様々なレイアウトで配置されたデザイン画像ＤＩを候補画像として表示部３７０に表示できる。

【0089】

さらに、上記実施例によれば、ＣＰＵ３１０は、コンテンツ画像データに対して、スタイル画像データを用いたスタイル変換処理を実行して、コンテンツ画像ＣＩが特定のスタイルにて表現された変換済画像ＴＩ（図５（Ａ））を示す変換済画像データを生成する（図３のＳ２５）。ＣＰＵ３１０は、変換済画像データを用いて、変換済画像（具体的には、サイズ調整後の変換済画像ＴＡＩ）を含むデザイン画像ＤＩを示すデザイン画像データを生成する（図３のＳ３０、図６のＳ１１５、Ｓ１２０、図７（Ｂ）、（Ｃ））。この結果、スタイル変換処理を用いることで、コンテンツ画像ＣＩが様々なスタイルにて表現されたデザイン画像ＤＩを示すデザイン画像データを生成できる。

【0090】

さらに、上記実施例によれば、ＣＰＵ３１０は、スタイル画像データに対する評価に関する情報であってユーザの入力に基づく情報であるスタイル評価情報を取得する。具体的には、スタイル画像更新処理の説明において上述したように、ユーザによるスタイル画像ＳＩの選択結果（図３のＳ２０）と、ユーザによる候補画像の選択結果（図３のＳ５０）と、がスタイル評価情報として用いられる。ＣＰＵ３１０は、スタイル評価情報に基づいて、スタイル変換処理にて用いるべきスタイル画像データの少なくとも一部を変更するスタイル画像更新処理を実行する（図３のＳ８０、図１２）。この結果、スタイル評価情報に基づいて、スタイル変換処理にて用いるべきスタイル画像データの少なくとも一部が変更されるので、ユーザの評価に応じたスタイル画像データを用いるスタイル変換処理が実行される可能性を高めることができる。

【0091】

さらに、上記実施例によれば、ＣＰＵ３１０は、スタイル評価情報に基づく評価が基準以上である複数個のスタイル画像データ、具体的には、上述したように、評価値が閾値ＴＨｈ以上であるスタイル画像ＳＩを示す２個のスタイル画像データを合成して、スタイル変換処理にて用いるべき新たなスタイル画像データを生成する（図１２（Ａ）のＳ４２０、図１２（Ｃ））。この結果、ユーザの評価に基づいて、適切なスタイル画像データを新たに生成し得る。したがって、さらに、ユーザに好まれる多様な候補画像（デザイン画像ＤＩ）を示すデザイン画像データを生成し得る。

【0092】

さらに、上記実施例によれば、ＣＰＵ３１０は、候補画像に対する評価を示す画像評価情報（具体的には、上述した表示部３７０に表示されたＮ個の候補画像の中から好みの画像を選択する選択指示）を取得する。この画像評価情報は、候補画像データに対する評価だけでなく、候補画像データの生成に用いられるスタイル画像データに対する評価を示すスタイル評価情報としても用いられる。この結果、ユーザによる１つの入力が、候補画像データとスタイル画像データとの両方の評価に用いられるので、ユーザがスタイル画像データに対する評価を入力する負担を軽減できる。

【0093】

さらに、上記実施例によれば、ＣＰＵ３１０は、ｍ個のデザイン画像ＤＩの中からｍ個未満（本実施例ではＮ個）の候補画像を決定し（図９のＳ３１０）、決定済みのｍ個未満の候補画像を表示部３７０に表示する（図３のＳ４０、Ｓ４５、図９）。２回目以降の候補画像の表示では、ＣＰＵ３１０は、直前に取得される画像評価情報（具体的には、上述した表示部３７０に表示されたＮ個の候補画像の中から好みの画像を選択する選択指示）を用いてｍ個のデザイン画像ＤＩに対する評価値（本実施例では、ユーザによる選択画像とのコサイン類似度ｃｏｓ）を算出する（図３のＳ５１）。ＣＰＵ３１０は、該評価値に基づいてｍ個のデザイン画像ＤＩの中からｍ個未満の候補画像を再度決定し（図３のＳ５２、Ｓ５３、図９のＳ３１５）、決定済みのｍ個未満の候補画像を表示部３７０に表示する（図３のＳ４０、Ｓ４５）。この結果、ユーザによる評価を反映した評価値に基づいて、ユーザの好みに応じた候補画像を決定することができるので、最終的にユーザの好みに合致した印刷画像の印刷を行うことができる。

【0094】

より具体的には、ＣＰＵ３１０は、デザイン画像ＤＩにおける文字や画像の表現条件を示す表現情報やデザインの評価を示すデザイン評価情報を含む特徴ベクトルの類似度を示すコサイン類似度ｃｏｓθを用いて、ｍ個のデザイン画像ＤＩとユーザによる選択画像との類似度を算出する（図３のＳ５１）。ＣＰＵ３１０は、該類似度に基づいて、ユーザによる選択画像との類似度が高いデザイン画像ＤＩを、表示すべき候補画像として決定する（図９のＳ３１５）。この結果、ユーザによる選択画像との類似度が高いデザイン画像ＤＩを適切に候補画像として決定することができる。

【0095】

さらに具体的には、コサイン類似度ｃｏｓθの算出に用いられる特徴ベクトルは、要素として類似度の合計を含む（図１０）。そして、ＣＰＵ３１０は、候補画像の表示と、ユーザによる選択画像の選択指示の取得と、を実行する度に、該類似度の合計を更新する（図３のＳ５１～Ｓ５３）。そして、ＣＰＵ３１０は、該類似度の合計が高い順に、ｍ個のデザイン画像ＤＩからＮ個の候補画像を決定する（図９のＳ３１５）。この結果、複数回に亘って行われるユーザによる選択画像の選択結果が、特徴ベクトルの類似度の合計に反映されるので、最終的にユーザの好みに合致したデザイン画像ＤＩが候補画像として決定される可能性を高めることができる。

【0096】

さらに、ＣＰＵ３１０は、ユーザの入力に依存しないデザイン選別処理（図３のＳ３５、図８）を実行することによって、Ｍ個（Ｍは３以上の整数）のデザイン画像ＤＩの中からｍ個のデザイン画像ＤＩを選別する。ＣＰＵ３１０は、選別済みのｍ個のデザイン画像ＤＩの中から、表示すべきｍ個未満（本実施例ではＮ個）の候補画像を決定する。この結果、例えば、印刷画像として不適切なデザインを有する画像を予め除くことができるので、不適切な画像が候補画像として表示されることを抑制することができる。

【0097】

具体的には、デザイン選別処理は、デザイン画像データが入力される場合にデザイン画像ＤＩを評価した結果を示す画像評価データＯＤ１を出力するように訓練された機械学習モデルである画像識別モデルＤＮ１を用いて、ｍ個の画像の画像評価データＯＤ１を取得し、Ｍ個の画像の画像評価データＯＤ１に基づいて、ｍ個の画像を選別する処理である（図８）。この結果、画像識別モデルＤＮ１を用いた選択処理によって、ユーザの入力に依存することなく、容易に不適切な画像が候補画像として表示されることを抑制することができる。

【0098】

Ｂ．第２実施例
第２実施例では、スタイル画像更新処理の内容が第１実施例とは異なる。第２実施例の他の構成は、第１実施例と同様である。図１３は、第２実施例のスタイル画像更新処理のフローチャートである。

【0099】

Ｓ４００Ｂでは、ＣＰＵ３１０は、スタイル画像ＳＩの評価を入力するための評価入力画面ＷＩ３を表示部３７０に表示して、スタイル画像ＳＩの評価情報をユーザから取得する。図１４は、評価入力画面ＷＩ３の一例を示す図である。図１４の評価入力画面ＷＩ３は、図３のＳ２５のスタイル変換処理にて生成された変換済画像データによって示される変換済画像ＴＩ１～ＴＩ４（図５（Ａ））を含む。評価入力画面ＷＩ３は、さらに、変換済画像ＴＩ１～ＴＩ４に対するユーザの評価を入力するためのＵＩ要素であるラジオボタンＲＢ１～ＲＢ４を含む。ユーザは、ラジオボタンＲＢ１～ＲＢ４を介して３段階の評価（高評価（良い）、中評価（普通）、低評価（悪い））のいずれかを変換済画像ごとに入力することができる。評価入力画面ＷＩ３は、さらに、変換済画像ＴＩ１～ＴＩ４に対する評価の入力を促すメッセージＭＳ３と、ＯＫボタンＢＴと、を含む。なお、このＳ４００Ｂの処理は、このタイミングで実行されることに代えて、別のタイミング、例えば、図３のＳ２５のスタイル変換処理の後、Ｓ３０の自動レイアウト処理の前に実行されても良い。この場合には、ＣＰＵ３１０は、Ｓ３０の自動レイアウト処理において、低評価の変換済画像ＴＩを用いることなく、高評価と中評価の変換済画像ＴＩだけを用いて、デザイン画像ＤＩを示すデザイン画像データが生成されても良い。

【0100】

ユーザは、評価入力画面ＷＩ３のラジオボタンＲＢ１～ＲＢ４にチェックを入れた状態で、ＯＫボタンＢＴを押下する。ＣＰＵ３１０は、ＯＫボタンＢＴが押下された場合には、その時点にラジオボタンＲＢ１～ＲＢ４にてチェックされている評価を示す情報を、変換済画像ＴＩ１～ＴＩ４の評価情報として取得する。

【0101】

Ｓ４０２Ｂでは、ＣＰＵ３１０は、スタイル画像評価テーブルＳＴ（図１、図１２（Ｂ））を更新する。図１２（Ｂ）のスタイル画像評価テーブルＳＴには、上述のように、スタイル画像データ群ＳＧに含まれる複数個のスタイル画像データのそれぞれの評価値が、スタイル画像データを識別する画像ＩＤと対応付けて記録されている。

【0102】

本実施例では、スタイル画像データの評価値の初期値は、０である。本実施例では、評価入力画面ＷＩ３を介して取得されたユーザによるスタイル画像ＳＩの評価情報に基づいて更新される。例えば、高評価（良い）を示す評価情報が取得されたスタイル画像ＳＩの評価値には、１ポイントが加算される。また、中評価（普通）を示す評価情報が取得されたスタイル画像ＳＩの評価値は、変更されない。低評価（悪い）を示す評価情報が取得されたスタイル画像ＳＩの評価値には、１ポイントが減算される。この評価方法は、一例であり、適宜に変更され得る。例えば、３段階の評価を示す評価情報に代えて、５段階や７段階の評価を示す評価情報が取得されても良い。この場合には、５段階や７段階の評価に応じて評価値の減算や加算が適宜に実行される。

【0103】

Ｓ４０５Ｂでは、図１２（Ａ）のＳ４０５と同様に、ＣＰＵ３１０は、前回のスタイル画像データの更新後の印刷枚数は閾値ＴＨｃ以上であるか否かを判断する。前回のスタイル画像データの更新後の印刷枚数が閾値ＴＨｃ未満である場合には（Ｓ４０５Ｂ：ＮＯ）、ＣＰＵ３１０は、スタイル画像データの更新を行うことなく、処理を終了する。前回のスタイル画像データの更新後の印刷枚数が閾値ＴＨｃ以上である場合には（Ｓ４０５Ｂ：ＹＥＳ）、ＣＰＵ３１０は、Ｓ４１０Ｂに処理を進める。

【0104】

Ｓ４１０Ｂでは、ＣＰＵ３１０は、スタイル画像評価テーブルＳＴを参照して低評価のスタイル画像ＳＩがあるか否かを判断する。例えば、評価値が閾値ＴＨｓｂ未満であるスタイル画像ＳＩは、低評価のスタイル画像であると判断される。閾値ＴＨｓｂは、本実施例では、所定の負の値に設定される。低評価のスタイル画像ＳＩがない場合には（Ｓ４１０Ｂ：ＮＯ）、ＣＰＵ３１０は、スタイル画像データの更新を行うことなく、処理を終了する。低評価のスタイル画像ＳＩがある場合には（Ｓ４１０Ｂ：ＹＥＳ）、ＣＰＵ３１０は、Ｓ４１５Ｂ、Ｓ４２０Ｂを実行して、スタイル画像データの更新を行う。

【0105】

Ｓ４１５Ｂでは、ＣＰＵ３１０は、スタイル画像データ群ＳＧに含まれる複数個のスタイル画像データのうち、低評価のスタイル画像データを削除する。Ｓ４２０Ｂでは、ＣＰＵ３１０は、印刷システム１０００を管理している管理ユーザ（例えば、店舗の店員）に新たなスタイル画像データの追加要求を送信して、スタイル画像更新処理を終了する。追加要求の送信は、例えば、予め端末装置３００に登録済みの管理ユーザのメールアドレス宛に送信される。追加要求を受け取った管理ユーザは、例えば、新たなスタイル画像データを準備し、該新たなスタイル画像データをスタイル画像データ群ＳＧが格納された所定のフォルダに格納する。これによって、端末装置３００の不揮発性記憶装置３２０に格納された複数個のスタイル画像データが更新される。なお、Ｓ４１５Ｂの低評価のスタイル画像データの削除は、管理ユーザによって新たなスタイル画像データが不揮発性記憶装置３２０に格納された後に実行されても良い。

【0106】

以上説明した本実施例によれば、評価入力画面ＷＩ３を介して、スタイル画像ＳＩに対する直接的な評価をユーザから取得できる。したがって、ユーザのスタイル画像ＳＩに対する評価をより正確に判定したうえで、スタイル画像データの更新を行うことができる。また、本実施例では、新たなスタイル画像データは、管理ユーザによって準備されるので、例えば、既存のスタイル画像データとは大きく異なる新たなスタイル画像データが追加されることが期待できる。

【0107】

Ｃ．変形例
（１）上記各実施例では、印刷媒体として衣服Ｓが例示されているが、これに限られない。印刷媒体は、他の布製品、具体的には、バック、財布、ズボン、携帯電話などのケースなどの製品であっても良い。また、印刷媒体は、布製品に限らず、革、紙、プラスチック、金属などの他の材料を用いて作成された上記の製品であっても良い。また、印刷媒体は、上記の完成された製品に限らず、例えば、製品の作成に用いられる部品、半製品、材料（例えば、加工前の布地、革、紙、プラスチックや金属の板）であっても良い。また、印刷媒体は、ポスター用の用紙であっても良い。

【0108】

（２）上記実施例では、コンテンツデータ（テキストデータや画像データ）は、ユーザによって準備されている。これに限らず、コンテンツデータは、予め印刷システム１０００の販売者によって準備されて不揮発性記憶装置３２０に格納されたコンテンツデータ群から選択されても良い。

【0109】

（３）上記実施例では、１つのコンテンツ画像ＣＩから、複数個の変換済画像ＴＩが生成され、複数個の変換済画像ＴＩを用いてデザイン画像ＤＩが生成される。同様に、１つのテキストＣＴから、複数個のテキスト画像ＸＩが生成され、複数個のテキスト画像ＸＩを用いてデザイン画像ＤＩが生成される。これに代えて、例えば、ユーザによって指定された一部のコンテンツ画像は、例えば、そのまま、デザイン画像ＤＩ内に配置されても良い。また、上記実施例では、１つのデザイン画像ＤＩの生成に用いられるコンテンツの個数は、２個（テキストＣＴとコンテンツ画像ＣＩ）であるが、コンテンツの個数は、１個でも良いし、３個以上であっても良い。また、使用されるコンテンツは、テキストのみであっても良いし、写真やＣＧなどの画像のみであっても良い。

【0110】

（４）上記実施例では、１つのコンテンツ画像データに対して、複数個のスタイル画像データを用いたスタイル変換処理を実行することで、様々な態様でコンテンツ画像ＣＩを表現した画像を含むデザイン画像ＤＩを生成している。これに限らず、スタイル変換処理に代えて、あるいは、スタイル変換処理とともに、他の画像処理、例えば、色数の低減処理、エッジ強調処理、他の画像との合成処理などを用いて、様々な態様でコンテンツ画像ＣＩを表現した画像を含むデザイン画像ＤＩが生成されても良い。

【0111】

上記実施例では、１つのテキストＣＴを複数個の表現条件（フォント、文字色など）で表現することで、様々な態様でテキストＣＴを表現した画像を含むデザイン画像ＤＩを生成している。これらの表現条件は一例であり、様々な表現条件が用いられる。例えば、テキストＣＴを示す画像データに対して、コンテンツ画像ＣＩと同様のスタイル変換処理を実行することによって、様々な態様でテキストＣＴを表現した画像を含むデザイン画像ＤＩを生成しても良い。

【0112】

（５）上記実施例では、表示部３７０に表示されるＮ個の候補画像（デザイン画像ＤＩａ～ＤＩｆ）から１個の好みの画像を選択する選択指示が、Ｎ個の候補画像に対する評価を示す画像評価情報として取得される。これに限らず、画像評価情報は、好みの画像を選択する選択指示とは異なる情報であっても良い。例えば、ユーザが、Ｎ個の候補画像に対して好みである順番で順位を付け、ＣＰＵ３１０は、該順位を示す情報を画像評価情報として取得しても良い。この場合には、例えば、ＣＰＵ３１０は、順位が上位の所定個数の候補画像のそれぞれと、評価対象のデザイン画像ＤＩと、の類似度を算出し、該類似度を順位に応じた重みを乗じて加算した値を、該評価対象のデザイン画像ＤＩの評価値として算出しても良い。あるいは、ユーザが、Ｎ個の候補画像に対して、好みの程度に応じた複数段階（例えば、３段階や５段階）の評価を付し、ＣＰＵ３１０は、該評価を示す情報を画像評価情報として取得しても良い。この場合には、例えば、ＣＰＵ３１０は、ユーザによる評価が高い候補画像との類似度が高いほど高評価になるように、評価対象のデザイン画像ＤＩの評価値を算出しても良い。

【0113】

（６）上記実施例では、最後にユーザによって選択された選択画像について、ユーザから最終決定指示が取得された場合に、該選択画像が印刷画像として決定されている。最終的な印刷画像の決定方法は、これに限られない。例えば、所定回数に亘って、Ｎ個の候補画像の表示と、該Ｎ個の候補画像から１つの画像を選択する選択指示の取得と、が繰り返された後に、ＣＰＵ３１０は、最後の所定回数分の選択指示によって選択された複数個の選択画像を表示し、該複数個の選択画像の中から１個の印刷画像をユーザに選択させることによって、最終的な印刷画像を決定しても良い。一般的には、複数回に亘って実行される候補画像の表示において表示される複数個の候補画像の少なくとも一部と、複数回に亘って実行される取得される選択指示の少なくとも一部と、に基づいて、最終的な印刷画像が決定されることが好ましい。

【0114】

（７）上記実施例の図３の印刷処理は、一例であり、適宜に変更や省略がされても良い。例えば、上記実施例において、Ｍ個のデザイン画像ＤＩを生成するための表現条件を示す表現情報は、文字のフォント、文字色、背景色、文字のサイズ、コンテンツ画像に適用されるスタイルを示すスタイル画像データ、画像のサイズ、レイアウト情報などを含んでいる。これらの表現情報は、適宜に変更や省略がなされて良い。

【0115】

例えば、図３のＳ８０のスタイル画像更新処理や、Ｓ３５のデザイン選別処理は、省略されても良い。

【0116】

（８）上記実施例では、ユーザによる選択画像と、評価対象のデザイン画像ＤＩと、の類似度として、２つの画像の特徴ベクトルのコサイン類似度ｃｏｓθが用いられている。これに代えて、他の手法を用いて算出される類似度、例えば、２つの画像のヒストグラムの類似度や、２つの画像を画素単位や領域単位で比較して得られる類似度が、用いられても良い。

【0117】

また、上記実施例の画像の特徴ベクトルは、一例であり、これに限られない。例えば、特徴ベクトルは、表現情報を示すベクトルを含み、デザイン評価情報を示すベクトルを含んでいなくても良い。あるいは、特徴ベクトルは、デザイン評価情報を示すベクトルを含み、デザイン評価情報を示すベクトルを含んでいなくても良い。

【0118】

また、上記実施例において２回目以降に表示すべきＮ個の候補画像を決定するアルゴズムは、一例であり、これに限られない。例えば、ユーザによる選択画像と評価対象のデザイン画像ＤＩとの類似度を考慮することに加えて、例えば、過去に他のユーザによって印刷された印刷画像との類似度が考慮されても良い。例えば、ユーザによる選択画像と類似した印刷画像を他のユーザが印刷している場合には、該他のユーザが印刷した複数個の印刷画像の生成に用いられた表現情報（文字のフォントやスタイル画像データなど）と同一または類似した表現情報を用いて生成されたデザイン画像ＤＩが優先的に候補画像として選択されるように評価値が算出されても良い。

【0119】

（９）図３の印刷処理の印刷処理の全部または一部を実行する装置は、端末装置３００に代えて、他の種々の装置であってよい。例えば、プリンタ２００のＣＰＵ２１０が図３（Ｂ）の印刷処理を実行しても良い。この場合には、端末装置３００は不要であり、プリンタ２００のＣＰＵ２１０が印刷データを生成し、印刷実行部としての印刷機構１００に印刷画像を印刷させる。また、図３の印刷処理を実行する装置は、プリンタ２００や端末装置３００とインターネットを介して接続されたサーバであっても良い。この場合に、サーバは、複数個の互いに通信可能な計算機によって構成されるいわゆるクラウドサーバであっても良い。

【0120】

（１０）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。

【0121】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0122】

１０００…印刷システム,１００…印刷機構,１１０…印刷ヘッド,１２０…ヘッド駆動部,１３０…主走査部,１４０…搬送部,１４２…プラテン,１４４…トレイ,２００…プリンタ,２０１…筐体,２１０…ＣＰＵ,２２０…不揮発性記憶装置,２３０…揮発性記憶装置,２３１…バッファ領域,２６０…操作部,２７０…表示部,２８０…通信部,３００…端末装置,３１０…ＣＰＵ,３２０…不揮発性記憶装置,３３０…揮発性記憶装置,３３１…バッファ領域,３６０…操作部,３７０…表示部,３８０…通信部,４００…撮像装置,ＤＮ１,ＤＮ２…画像識別モデル,ＧＮ…画像生成モデル,ＰＧ１,ＰＧ２…コンピュータプログラム,ＲＴ…レコメンドテーブル,Ｓ…衣服,ＳＧ…スタイル画像データ群,ＳＩ…スタイル画像,ＳＴ…スタイル画像評価テーブル,ＴＩ…変換済画像,ＸＩ…テキスト画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】