特許 7342065 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-01

(45)【発行日】2023-09-11

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06F 16/532 20190101AFI20230904BHJP

   G06Q 30/015 20230101ALI20230904BHJP

【ＦＩ】

G06F16/532

G06Q30/015

【請求項の数】 14

(21)【出願番号】P 2021101057

(22)【出願日】2021-06-17

(65)【公開番号】P2023000312

(43)【公開日】2023-01-04

【審査請求日】2021-12-17

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】土井 賢治

(72)【発明者】

【氏名】岩崎 雅二郎

(72)【発明者】

【氏名】西村 修平

【審査官】松尾 真人

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０２７９２６５（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１２９２７３２５（ＣＮ，Ａ）

【文献】特許第５５６８１９５（ＪＰ，Ｂ１）

【文献】特開２００９－１８１４００（ＪＰ，Ａ）

【文献】特開２０００－１４８７９４（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０２０－０１４５０７４（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得部と、
前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像を前記ベース画像から生成する生成部と、
前記生成部により生成された前記イラスト画像に対する前記ユーザの編集を受け付ける受付部と、
前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供部と、
を備え、
前記取得部は、
前記編集後イラスト画像に基づく検索結果を前記検索サーバから取得し、
前記生成部は、
前記編集後イラスト画像に基づく検索結果のうち、一の画像から前記一の画像に含まれる取引対象がイラスト化された検索結果イラスト画像を生成し、
前記受付部は、
前記生成部により生成された前記検索結果イラスト画像に対する前記ユーザの編集を受け付け、
前記提供部は、
前記ユーザにより編集された前記検索結果イラスト画像を、前記検索サーバに対して提供し、
前記取得部は、
前記検索結果イラスト画像に基づく検索結果を前記検索サーバから取得する
ことを特徴とする情報処理装置。

【請求項2】

前記取得部は、
前記イラスト化取引対象に類似する類似取引対象を示す前記検索結果を前記検索サーバから取得する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記受付部は、
前記イラスト化取引対象に対する前記ユーザによる色の変更を受け付け、
前記提供部は、
前記ユーザにより前記イラスト化取引対象の色が変更された後の前記編集後イラスト画像を、前記検索サーバに対して提供する
ことを特徴とする請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記受付部は、
前記イラスト化取引対象に対する前記ユーザによる形状の変更を受け付け、
前記提供部は、
前記ユーザにより前記イラスト化取引対象の形状が変更された後の前記編集後イラスト画像を、前記検索サーバに対して提供する
ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記受付部は、
前記イラスト化取引対象に対する前記ユーザによる模様の変更を受け付け、
前記提供部は、
前記ユーザにより前記イラスト化取引対象の模様が変更された後の前記編集後イラスト画像を、前記検索サーバに対して提供する
ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

前記取得部は、
前記ユーザが指定した色の前記取引対象の前記ベース画像を取得する
ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記取得部は、
前記ユーザが指定した形状の前記取引対象の前記ベース画像を取得する
ことを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。

【請求項8】

前記取得部は、
前記ユーザが指定した模様の前記取引対象の前記ベース画像を取得する
ことを特徴とする請求項１～７のいずれか１項に記載の情報処理装置。

【請求項9】

前記取得部は、
前記ユーザが指定した商品であるに前記取引対象に対応する前記ベース画像を取得する
ことを特徴とする請求項１～８のいずれか１項に記載の情報処理装置。

【請求項10】

前記生成部は、
前記ベース画像のスタイルを変更した前記イラスト画像を生成する
ことを特徴とする請求項１～９のいずれか１項に記載の情報処理装置。

【請求項11】

前記生成部は、
前記ベース画像から色を除いた線画である前記イラスト画像を生成する
ことを特徴とする請求項１～１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記生成部は、
前記ベース画像の第１の色を第２の色に変更した前記イラスト画像を生成する
ことを特徴とする請求項１～１１のいずれか１項に記載の情報処理装置。

【請求項13】

コンピュータが実行する情報処理方法であって、
ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得工程と、
前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像を前記ベース画像から生成する生成工程と、
前記生成工程により生成された前記イラスト画像に対する前記ユーザの編集を受け付ける受付工程と、
前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供工程と、
を含み、
前記取得工程は、
前記編集後イラスト画像に基づく検索結果を前記検索サーバから取得し、
前記生成工程は、
前記編集後イラスト画像に基づく検索結果のうち、一の画像から前記一の画像に含まれる取引対象がイラスト化された検索結果イラスト画像を生成し、
前記受付工程は、
前記生成工程により生成された前記検索結果イラスト画像に対する前記ユーザの編集を受け付け、
前記提供工程は、
前記ユーザにより編集された前記検索結果イラスト画像を、前記検索サーバに対して提供し、
前記取得工程は、
前記検索結果イラスト画像に基づく検索結果を前記検索サーバから取得する
ことを特徴とする情報処理方法。

【請求項14】

ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得手順と、
前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像を前記ベース画像から生成する生成手順と、
前記生成手順により生成された前記イラスト画像に対する前記ユーザの編集を受け付ける受付手順と、
前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供手順と、
をコンピュータに実行させ、
前記取得手順は、
前記編集後イラスト画像に基づく検索結果を前記検索サーバから取得し、
前記生成手順は、
前記編集後イラスト画像に基づく検索結果のうち、一の画像から前記一の画像に含まれる取引対象がイラスト化された検索結果イラスト画像を生成し、
前記受付手順は、
前記生成手順により生成された前記検索結果イラスト画像に対する前記ユーザの編集を受け付け、
前記提供手順は、
前記ユーザにより編集された前記検索結果イラスト画像を、前記検索サーバに対して提供し、
前記取得手順は、
前記検索結果イラスト画像に基づく検索結果を前記検索サーバから取得する
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、検索クエリとして入力された情報と対応する情報の検索を行う技術が知られている。このような技術の一例として、受付けた手書き画像から生成した画像を用いて画像検索を行う技術が提供されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６４０３８６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術には、改善の余地がある。例えば、上記の従来技術では、ユーザが何もない状態から手書きを開始しており、必ずしもユーザビリティが高いとは言えない。そのため、ユーザビリティがより高く、ユーザが所望する検索を容易にすることが望まれている。

【0005】

本願は、上記に鑑みてなされたものであって、ユーザが所望する検索を容易にする情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理装置は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する取得部と、前記ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対する前記ユーザの編集を受け付ける受付部と、前記ユーザにより編集された前記イラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する提供部と、を備えたことを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、ユーザが所望する検索を容易にすることができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の一例を示す図である。

【図2】図２は、実施形態に係る情報処理の一例を示す図である。

【図3】図３は、実施形態に係る情報処理システムの構成例を示す図である。

【図4】図４は、実施形態に係る端末装置の構成例を示す図である。

【図5】図５は、実施形態に係るモデル情報記憶部の一例を示す図である。

【図6】図６は、実施形態に係る情報処理の一例を示すフローチャートである。

【図7】図７は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

（実施形態）
〔１．情報処理〕
図１及び図２を用いて、実施形態に係る情報処理の一例について説明する。図１及び図２は、実施形態に係る情報処理の一例を示す図である。具体的には、図１は、情報処理システム１（図３参照）が実行する情報処理の概要を示す図である。また、図２は、情報処理システム１に含まれる端末装置１０及び検索サーバ５０間の通信を含め、情報処理システム１が実行する情報処理の詳細を示す図である。

【0011】

〔１－１．情報処理システムの構成〕
まず、図１及び図２の説明に先立って、図３に示す情報処理システム３の構成について説明する。図３に示すように、情報処理システム１は、端末装置１０と、検索サーバ５０とが含まれる。端末装置１０と、検索サーバ５０とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図３は、実施形態に係る情報処理システムの構成例を示す図である。なお、図３に示した情報処理システム１には、複数台の端末装置１０や、複数台の検索サーバ５０が含まれてもよい。

【0012】

端末装置１０は、ユーザによって利用される情報処理装置（コンピュータ）である。端末装置１０は、情報処理を実行する情報処理装置であり、例えば、スマートフォンやタブレット等のスマートデバイスにより実現される。例えば、端末装置１０は、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１０は、スマートデバイスのみならず、デスクトップＰＣ（Personal Computer）やノートＰＣ等の情報処理装置であってもよい。端末装置１０は、種々のアプリケーション（「アプリ」ともいう）に関する情報を画面に表示する表示装置である。

【0013】

ここで、端末装置１０は、ユーザから各種の入力を受け付ける機能を有する。例えば、端末装置１０は、ユーザの入力を受け付けるタッチパネルを有し、表示した画像に対するユーザが指やスタイラスを用いた編集操作を受け付ける機能を有する。

【0014】

また、端末装置１０は、画像のスタイルを変更する機能を有してもよい。例えば、端末装置１０は撮像された写真である画像のスタイルをイラストに変換する機能を有する。この場合、端末装置１０は、取引対象が撮影された写真（画像）からイラスト化した画像（「イラスト画像」ともいう）を生成する処理（「イラスト化の処理」ともいう）を実行する。ここでいう取引対象とは、商品や役務等の取引の対象となり得るものであればどのような対象であってもよく、例えば、電子商店街に出品された商品や役務等である。以下では、商品であるスニーカ（靴）を取引対象の一例として説明するが、スニーカに限らず、例えば不動産物件の間取り等取引の対象となり得るものであればどのような対象であってもよい。

【0015】

なお、イラスト化の処理については種々の技術が用いられてもよい。例えば、端末装置１０は、ＣｙｃｌｅＧＡＮ（Generative Adversarial Network）等のＣＮＮ（Convolution Neural Network）ベースの手法を用いて、イラスト化の処理を実行してもよい。また、例えば、端末装置１０は、上述した特許文献１に記載される技術を用いて、イラスト化の処理を行ってもよい。

【0016】

以下の例では、端末装置１０が画像をイラスト化したイラスト画像を生成する生成モデルＭ１を用いて、写真（画像）からイラスト画像を生成する場合を一例として説明する。例えば、生成モデルＭ１は、ＣｙｃｌｅＧＡＮ等のＣＮＮベースの手法を用いて学習され、入力された画像をイラスト化した画像（イラスト画像）を出力するモデルである。例えば、ＣｙｃｌｅＧＡＮ等の手法を用いることにより、写真からイラストへの変換だけでなく、イラストから写真への逆変換も行うことができる。この場合、情報処理システム１は、例えば、編集後のイラストを写真（写真画像）に戻した（逆変換した）後、逆変換後の写真画像で作成済みのインデックスを検索することができる。なお、上記は一例に過ぎず、生成モデルＭ１は、任意の手法により学習されてもよい。

【0017】

なお、イラスト化の処理は端末装置１０以外の装置が行ってもよい。例えば、情報処理システム１には、イラスト化の処理を行う画像処理サーバが含まれてもよい。この場合、例えば、端末装置１０は、イラスト化したい画像を画像処理サーバへ送信し、画像を受信した画像処理サーバがその画像をイラスト化したイラスト画像を生成する。例えば、画像処理サーバは、ＣｙｃｌｅＧＡＮ等のＣＮＮベースの手法を用いて学習された生成モデルＭ１を用いて、イラスト画像を生成する。そして、画像処理サーバが生成したイラスト画像を端末装置１０へ送信することにより、端末装置１０はイラスト画像を取得してもよい。

【0018】

検索サーバ５０は、端末装置１０を利用するユーザに検索サービスを提供するコンピュータである。検索サーバ５０は、画像検索を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、検索サーバ５０は、検索クエリとなる画像（「クエリ画像」ともいう）を受け付けると、検索対象となる各種画像の中からクエリ画像と類似する画像を検索する検索処理を実行し、検索結果を提供する。具体的には、検索サーバ５０は、端末装置１０からイラスト画像をクエリ画像（「クエリイラスト」ともいう）として受け付けると、そのイラスト画像を基に検索処理を実行し、検索結果を提供する。このように、検索サーバ５０は、検索対象となる商品等の取引対象をイラスト化したインデックスを用いて、検索処理を実行し、検索結果を提供してもよい。なお、上記は一例に過ぎず、検索サーバ５０は、本来の写真のままの商品画像で作成したインデックスを用いてもよい。この場合、検索インデックス（インデックス）は、本来の写真のままの商品画像で作成したインデックス（第１インデックス）と、イラスト化後の画像で作成したインデックス（第２インデックス）とを含む複数のインデックスであってもよい。この場合、検索サーバ５０は、変換後のスタイルに応じて、複数のインデックスのいずれかを用いて、検索処理を実行し、検索結果を提供してもよい。例えば、検索サーバ５０は、変換後のスタイル（線画や印象派風等）に応じて、第１インデックスまたは第２インデックスのいずれかを用いて、検索処理を実行し、検索結果を提供してもよい。例えば、検索サーバ５０は、変換後の画像で検索を行う場合、第２インデックスを用いて、検索処理を実行し、検索結果を提供してもよい。また、例えば、検索サーバ５０は、写真に戻して検索を行う場合、第１インデックスを用いて、検索処理を実行し、検索結果を提供してもよい。

【0019】

検索サーバ５０は、電子商店街において出品された取引対象の各々について、取引対象を示す画像として登録された画像（「登録画像」ともいう）がイラスト化された画像（「登録イラスト画像」ともいう）を用いて検索処理を実行する。例えば、電子商店街において出品された取引対象の中から、登録イラスト画像がクエリ画像（クエリイラスト）と類似する取引対象を検索し、検索結果として、登録イラスト画像がクエリ画像（クエリイラスト）と類似する取引対象の情報を抽出する。

【0020】

また、例えば、検索サーバ５０は、検索結果として抽出した取引対象の登録画像や価格、取引対象を販売する電子商店街の店舗の情報等を提供する。このように、検索サーバ５０は、クエリ画像となるイラスト画像に、登録イラスト画像が類似する取引対象の情報を提供する。なお、検索サーバ５０は、取引対象の価格や販売履歴、登録画像とクエリ画像との類似度に応じたランキングを生成し、生成したランキングを検索結果として提供してもよい。

【0021】

上記は一例に過ぎず、検索サーバ５０は、登録イラスト画像を用いることなく、登録画像とクエリ画像との類似関係を基に検索結果を提供してもよい。この場合、検索サーバ５０は、電子商店街において出品された取引対象の中から、登録画像がクエリ画像と類似する取引対象を検索し、検索結果として、登録画像がクエリ画像と類似する取引対象の情報を提供する。

【0022】

〔１－２．処理概要〕
図１に戻って、ここから情報処理の概要について説明する。図１で情報処理システム１が処理の主体として記載されている処理については、情報処理システム１に含まれるいずれの装置が行ってもよい。

【0023】

まず、情報処理システム１は、ベースとなる画像（「ベース画像」ともいう）を取得する。例えば、情報処理システム１は、ベースとなる商品を探し、その商品を含む画像をベース画像として取得する。図１の例では、情報処理システム１は、ベースとなる商品である赤いスニーカ（「取引対象Ｙ」ともいう）を含むベース画像ＩＭ１を取得する。なお、図１及び図２では表示の都合上、画像中で赤色の部分（領域）をハッチングで示す。すなわち、ベース画像ＩＭ１に含まれる赤いスニーカ（取引対象Ｙ）は、つま先部分及び底部が白色であり、その他の部分が赤いスニーカである場合を示す。

【0024】

そして、情報処理システム１は、ベース画像をイラスト化する（ステップＳ１）。例えば、情報処理システム１は、ＣｙｃｌｅＧＡＮ等のＣＮＮベースの手法を用いて、ベース画像をイラスト化する。情報処理システム１は、生成モデルＭ１を用いて、ベース画像ＩＭ１からイラスト画像ＩＬ１を生成する。イラスト画像ＩＬ１は、ベース画像ＩＭ１と同様に、つま先部分及び底部が白色であり、その他の部分が赤いスニーカのイラストを示す。すなわち、イラスト画像ＩＬ１は、赤いスニーカ（取引対象Ｙ）がイラスト化されたイラスト状態の赤いスニーカ（「イラスト化取引対象ＩＹ」ともいう）を含む。

【0025】

そして、情報処理システム１は、イラスト画像に対するユーザの編集を受け付ける（ステップＳ２）。例えば、ユーザは、イラスト化取引対象ＩＹを確認し、自身の好みに応じてイラスト化取引対象ＩＹに対する編集を行う。図１では、ユーザは、つま先部分を赤色に変更し、横の部分に白い波線上のマークを追加する編集を行う。情報処理システム１は、ユーザの編集に応じて、イラスト化取引対象ＩＹが編集された編集後イラスト画像ＩＬ２を生成する。編集後イラスト画像ＩＬ２は、横の部分に追加された波線上のマーク及び底部が白色であり、その他の部分が赤いスニーカのイラストを示す。

【0026】

そして、情報処理システム１は、編集後イラスト画像を用いて検索処理を実行する（ステップＳ３）。なお、上述したように、情報処理システム１は、例えば、編集後イラスト画像を写真に逆変換して、（写真用インデックスに対して）変換処理を実行してもよい。情報処理システム１は、編集後イラスト画像に類似した取引対象を検索する。例えば、情報処理システム１は、イラスト化した取引対象の検索インデックスを用意しイラストで実商品の検索を行う。情報処理システム１は、編集後イラスト画像ＩＬ２に類似する取引対象として、類似画像ＲＳ１に示す赤いスニーカを抽出する。類似画像ＲＳ１に示す赤いスニーカは、つま先部分が赤であり、横の部分に波線上の白いマークがある赤いスニーカであり、編集後イラスト画像ＩＬ２のスニーカのイラストに類似する取引対象である。

【0027】

例えば、ユーザは、欲しい商品等の取引対象のイメージはあるが、キーワードで検索しづらい場合がある。このような場合、イラストを用いて、検索できるとユーザの利便性が向上する。一方で、ユーザがゼロからイラストを書くのは大変であり、負荷が高いという問題がある。そこで、情報処理システム１は、イラストを編集して、編集したイラストを用いて検索する処理を行う。例えば、情報処理システム１は、ベースの商品（例えばスニーカー）等の取引対象をイラストに変換し、そのイラストに対するユーザの編集を受け付ける。そして、情報処理システム１は、ユーザが編集したイラストをベースに見た目が類似する取引対象を検索する。これにより、情報処理システム１は、ユーザが所望する検索を容易にすることができる。

【0028】

〔１－３．情報処理例〕
ここから、図２を用いて、情報処理システム１に含まれる端末装置１０及び検索サーバ５０間の通信を含め、情報処理システム１が実行する情報処理の詳細を説明する。図２では、端末装置１０における表示内容の変更に応じて、端末装置１０を端末装置１０－１、端末装置１０－２、端末装置１０－３、端末装置１０－４として説明する。なお、端末装置１０－１、端末装置１０－２、端末装置１０－３、端末装置１０－４は同一の端末装置１０である。また、以下では、端末装置１０－１、端末装置１０－２、端末装置１０－３、端末装置１０－４について、特に区別なく説明する場合には、端末装置１０と記載する。

【0029】

まず、端末装置１０－１は、ユーザが指定した取引対象が含まれる画像（ベース画像）を検索サーバ５０に要求する（ステップＳ１１）。端末装置１０－１は、ユーザが入力したキーワード「赤いスニーカ」を検索サーバ５０に送信することにより、検索サーバ５０に赤いスニーカが含まれるベース画像の提供を要求する。

【0030】

なお、図２では説明のために、端末装置１０が検索サーバ５０からベース画像ＩＭ１を取得する場合を示したが、端末装置１０は、ベース画像ＩＭ１を検索サーバ５０以外から取得してもよい。例えば、端末装置１０は、検索サーバ５０以外の装置（例えば画像提供装置等）からベース画像ＩＭ１を取得してもよいし、自装置で取引対象を撮像した画像をベース画像ＩＭ１として用いてもよい。

【0031】

検索サーバ５０は、端末装置１０からの要求に対応する画像を抽出する（ステップＳ１２）。検索サーバ５０は、登録画像のうち、赤いスニーカが含まれる画像をベース画像ＩＭ１として抽出する。そして、検索サーバ５０は、抽出したベース画像ＩＭ１を端末装置１０へ送信する（ステップＳ１３）。なお、検索サーバ５０は、赤いスニーカが含まれる画像を複数抽出した場合、複数の画像をベース画像として端末装置１０へ送信してもよい。

【0032】

検索サーバ５０からベース画像ＩＭ１を受信した端末装置１０は、ベース画像ＩＭ１をイラスト化の処理を実行する（ステップＳ１４）。端末装置１０は、ベース画像ＩＭ１を生成モデルＭ１に入力し、生成モデルＭ１にベース画像ＩＭ１をイラスト化した画像を出力せることにより、イラスト化の処理を実行する。端末装置１０は、ベース画像ＩＭ１をイラスト化したイラスト画像ＩＬ１を生成する。そして、図２に示すように、端末装置１０－２は、イラスト画像ＩＬ１を表示する。

【0033】

そして、イラスト画像ＩＬ１を表示する端末装置１０－２は、イラスト画像ＩＬ１に対するユーザの編集を受け付ける（ステップＳ１５）。端末装置１０は、イラスト画像ＩＬ１のつま先部分を赤色に変更し、横の部分に白い波線上のマークを追加するユーザの編集を受け付ける。そして、図２に示すように、端末装置１０－３は、イラスト画像ＩＬ１へのユーザの編集を反映した編集後イラスト画像ＩＬ２を表示する。

【0034】

端末装置１０－３に表示された編集後イラスト画像ＩＬ２を確認したユーザは、必要に応じてさらに編集を行ってもよい。図２では、編集後イラスト画像ＩＬ２が所望の態様になっているため、ユーザは、編集後イラスト画像ＩＬ２を用いた検索処理を行うための操作を端末装置１０に対して行う。例えば、ユーザは、端末装置１０－３に編集後イラスト画像ＩＬ２とともに表示された検索ボタンを選択することにより、編集後イラスト画像ＩＬ２を用いた検索処理を行うための操作を端末装置１０に対して行う。

【0035】

編集後イラスト画像ＩＬ２を用いた検索処理を行うための操作を受け付けた端末装置１０－３は、検索サーバ５０に編集後イラスト画像ＩＬ２を用いた検索処理を要求する（ステップＳ１６）。端末装置１０－３は、編集後イラスト画像ＩＬ２を検索サーバ５０に対して提供する。例えば、端末装置１０－３は、編集後イラスト画像ＩＬ２を検索サーバ５０に送信することにより、検索サーバ５０に編集後イラスト画像ＩＬ２を用いた検索処理を要求する。

【0036】

検索サーバ５０は、編集後イラスト画像ＩＬ２を用いた検索処理を実行する（ステップＳ１７）。検索サーバ５０は、編集後イラスト画像ＩＬ２に含まれる編集後の赤いスニーカに類似する取引対象を検索する。検索サーバ５０は、検索処理により、編集後イラスト画像ＩＬ２に類似する取引対象として、類似画像ＲＳ１に示すような赤いスニーカ（「靴ｘ」ともいう）を抽出する。例えば、検索サーバ５０は、つま先部分が赤であり、横の部分に波線上の白いマークがある赤いスニーカを（靴ｘ）含む類似画像ＲＳ１を抽出する。

【0037】

そして、検索サーバ５０は、検索結果を端末装置１０へ提供する（ステップＳ１８）。検索サーバ５０は、検索結果として、類似画像ＲＳ１や類似画像ＲＳ１が示す靴ｘ（取引対象）に関する情報を端末装置１０へ送信する。

【0038】

検索サーバ５０から検索結果を受信した端末装置１０は、検索結果を表示する（ステップＳ１９）。図４では、端末装置１０－４は、検索結果として、類似画像ＲＳ１等、靴ｘに関する情報を表示する。

【0039】

〔１－４．その他〕
上記は一例に過ぎず、情報処理システム１が行う処理は上記に限られない。以下、情報処理システム１が行う処理について例示を記載する。

【0040】

〔１－４－１．編集〕
上述した例では、ユーザがイラスト画像の色を変更する編集を行う場合を示したが、編集対象は色に限らず、イラスト化取引対象に対する編集であればどのような要素の変更であってもよい。

【0041】

例えば、情報処理システム１は、ユーザによるイラスト化取引対象の形状を変更する編集を受け付けてもよい。この場合、端末装置１０は、イラスト化取引対象に対するユーザによる形状の変更を受け付ける。そして、端末装置１０は、ユーザによりイラスト化取引対象の形状が変更された後の編集後イラスト画像を、検索サーバ５０に対して提供する。これにより、検索サーバ５０は、形状が変更された後の編集後イラスト画像を用いて検索処理を行い、検索処結果を端末装置１０へ送信する。例えば、図２の場合、ユーザはイラスト画像ＩＬ１に含まれるローカットのスニーカをハイカットのスニーカに変更する編集を行ってもよい。情報処理システム１は、ユーザによりハイカットに変更された編集後のイラスト化取引対象を用いて検索処理を行う。

【0042】

また、例えば、情報処理システム１は、ユーザによるイラスト化取引対象の模様を変更する編集を受け付けてもよい。この場合、端末装置１０は、イラスト化取引対象に対するユーザによる模様の変更を受け付ける。そして、端末装置１０は、ユーザによりイラスト化取引対象の模様が変更された後の編集後イラスト画像を、検索サーバ５０に対して提供する。これにより、検索サーバ５０は、模様が変更された後の編集後イラスト画像を用いて検索処理を行い、検索処結果を端末装置１０へ送信する。例えば、図２の場合、ユーザはイラスト画像ＩＬ１に含まれる赤一色のスニーカの模様を、迷彩等の模様のスニーカに変更する編集を行ってもよい。情報処理システム１は、ユーザにより迷彩の模様に変更された編集後のイラスト化取引対象を用いて検索処理を行う。

【0043】

〔１－４－２．ベース画像〕
上述した例では、ユーザがキーワード「赤いスニーカ」により取引対象及びその色を指定し、端末装置１０がユーザにより指定された赤い色の取引対象「スニーカ」のベース画像を取得する場合を示したが、ユーザの指定は上記に限られない。例えば、ユーザはキーワード「スニーカ」を用いて、取引対象のみを指定してもよい。

【0044】

また、ユーザが取引対象及びその形状を指定し、端末装置１０がユーザにより指定された形状の取引対象のベース画像を取得してもよい。例えば、ユーザがキーワード「ハイカットのスニーカ」により取引対象及びその形状を指定し、端末装置１０がユーザにより指定されたハイカットのスニーカのベース画像を取得してもよい。

【0045】

また、ユーザが取引対象及びその模様を指定し、端末装置１０がユーザにより指定された形状の取引対象のベース画像を取得してもよい。例えば、ユーザがキーワード「チェック柄のスニーカ」により取引対象及びその模様を指定し、端末装置１０がユーザにより指定されたチェック柄のスニーカのベース画像を取得してもよい。

【0046】

なお、上記は一例に過ぎず、端末装置１０は、ユーザの指定に応じた様々なベース画像を取得してもよい。端末装置１０は、取引対象とその色、形状及び模様の少なくとも１つを組み合わせた指定に応じた様々なベース画像を取得してもよい。例えば、ユーザがキーワード「ハイカットの赤いスニーカ」と指定した場合、端末装置１０は、ユーザにより指定されたハイカットの赤いスニーカのベース画像を取得してもよい。

【0047】

〔１－４－３．表示〕
上述した例では、ベース画像がイラスト化されたイラスト画像を端末装置１０が表示し、表示したイラスト画像に対するユーザの編集を受け付ける場合を示したが、端末装置１０における表示態様は上記に限られない。例えば、端末装置１０は、ベース画像を表示し、表示したイラスト画像に対するユーザの編集を受け付けてもよい。そして、端末装置１０は、表示したベース画像に対するユーザの編集を、イラスト画像に対して反映してもよい。図２の場合、端末装置１０は、ベース画像ＩＭ１を表示し、ユーザによるベース画像ＩＭ１に対する編集をイラスト画像ＩＬ１に反映してもよい。例えば、ユーザがベース画像ＩＭ１に含まれるスニーカのつま先の色を青に変更した場合、端末装置１０は、イラスト画像ＩＬ１に含まれるスニーカののつま先の色を青に変更する。この場合、情報処理システム１は、ユーザに実物のイメージを想像させながら、検索クエリとなるイラスト画像を生成することができる。

【0048】

〔１－４－４．画像〕
上述した例では、ベース画像をそのままイラスト化する場合を示したが、情報処理システム１は、様々な情報を用いて、様々な画像を生成してもよい。すなわち、情報処理システム１は、イラスト画像に限らず、ベース画像を基に様々なスタイルの画像を生成してもよい。この点について以下例示を記載する。なお、画像のスタイル変換については、様々な従来技術を適宜用いればよく、詳細な説明は省略する。

【0049】

例えば、情報処理システム１は、ベース画像から色を除いたイラスト画像を生成してもよい。すなわち、情報処理システム１は、ベース画像から線画を生成してもよい。この場合、情報処理システム１は、画像を入力とし、その画像から色を除いたイラスト画像を出力するモデルを用いて、ベース画像から色を除いたイラスト画像を生成してもよい。

【0050】

例えば、情報処理システム１は、ベース画像のスタイルを、印象派等のようにふわっとした描法に変換した変換後画像を生成してもよい。この場合、情報処理システム１は、画像を入力とし、その画像のスタイルを印象派のスタイルに変換した変換後画像を出力するモデルを用いて、ベース画像を印象派のスタイルに変換した変換後画像を生成してもよい。

【0051】

また、例えば、情報処理システム１は、ベース画像のスタイルを、写実派等のようにかっちりとした描法に変換した変換後画像を生成してもよい。この場合、情報処理システム１は、画像を入力とし、その画像のスタイルを写実派のスタイルに変換した変換後画像を出力するモデルを用いて、ベース画像を写実派のスタイルに変換した変換後画像を生成してもよい。

【0052】

〔１－４－５．モデル入力〕
上述した例では、１つのベース画像を入力とする例を示したが、生成モデルＭ１は複数の情報を入力としてもよい。例えば、生成モデルＭ１は、複数画像を入力として、１つの画像を出力してもよい。

【0053】

例えば、生成モデルＭ１は、形状に対応する第１ベース画像と、色に対応第２ベース画像を含む複数の要素の各々に対応する複数画像を入力とし、各要素の特徴を合わせたイラスト画像を出力してもよい。この場合、生成モデルＭ１は、第１ベース画像の取引対象の形状に、第２ベース画像の色が反映されたイラスト画像を出力する。このように、生成モデルＭ１は、複数画像の各要素の特徴を混合（ミクスチャー）した画像を出力する。なお、上記は一例に過ぎず、様々な手法により複数画像の特徴を咬合した画像を生成してもよい。例えば、情報処理システム１は、ＣｙｃｌｅＧＡＮのベースに色を入れることにより実現してもよい。

【0054】

〔１－４－６．多視点画像〕
例えば、生成モデルＭ１は、ベース画像を入力として、ベース画像に対応する多視点の画像を出力してもよい。例えば、生成モデルＭ１は、ベース画像を入力として、ベース画像に含まれる取引対象の３次元画像を出力してもよい。この場合、ユーザが取引対象の３次元画像のうち、所望の画像を編集してもよい。そして、情報処理システム１は、ユーザが編集した画像をクエリ画像として用いて検索処理を行ってもよい。なお、上記は一例に過ぎず、情報処理システム１は、多視点画像や３次元画像を用いて様々な処理を行ってもよい。例えば、情報処理システム１は、ユーザが選択した画像から、３次元像を推定してイラスト化した画像をカートーンシェーディングで表示してもよい。そして、情報処理システム１は、ユーザによる編集を基に画像を修正して検索処理を行ってもよい。

【0055】

〔１－４－７．繰返し処理〕
情報処理システム１は、検索結果を用いた繰返し処理を行ってもよい。図２の例では、情報処理システム１は、検索結果である類似画像ＲＳ１が示す靴ｘがイラスト化されたイラスト画像を用いて、検索処理を行ってもよい。この場合、情報処理システム１は、靴ｘがイラスト化されたイラスト画像に対するユーザの編集を受け付ける。そして、情報処理システム１は、ユーザが編集したイラスト画像を用いて、検索処理を行い、検索結果をユーザに提供する。

【0056】

情報処理システム１は、ユーザが所望の検索結果となるまで、繰り返し処理を行ってもよい。この場合、端末装置１０は、検索結果とともに、その検索結果を用いた検索を行うことを指示するボタン（再検索ボタン）を表示し、ユーザが再検索ボタンを選択した場合、表示した検索結果の画像をイラスト化し、ユーザによる編集を受け付ける。

【0057】

なお、上記は一例に過ぎず、検索結果を用いた繰返し処理が可能であれば、どのような態様であってもよい。また、情報処理システム１は、様々な情報を用いて様々な処理を行ってもよい。情報処理システム１は、検索処理に対するユーザの選択結果（クリック結果）を用いてもよい。

【0058】

〔２．端末装置の構成〕
次に、図４を用いて、実施形態に係る端末装置１０の構成について説明する。図４は、実施形態に係る端末装置の構成例を示す図である。図４に示すように、端末装置１０は、通信部１１と、入力部１２と、表示部１３と、記憶部１４と、制御部１５と、センサ部１６とを有する。なお、図示を省略するが端末装置１０は、音声を出力するスピーカなど音声出力部を有する。例えば、音声出力部は、表示部１３に表示される情報に対応する音声を出力する。また、端末装置１０は、マイクである音声入力部を有し、音声によるユーザに有力を受け付けてもよい。

【0059】

（通信部１１）
通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部１１は、図示しない所定の通信網と有線または無線で接続され、検索サーバ５０との間で情報の送受信を行う。

【0060】

（入力部１２）
入力部１２は、ユーザから各種操作が入力される。例えば、入力部１２は、タッチパネル機能により表示面（例えば表示部１３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。

【0061】

入力部１２は、センサ部１６に含まれる各種センサにより実現されるタッチパネルの機能によりタブレット端末等の表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部１２は、端末装置１０の表示部１３を介してユーザから各種操作を受け付ける。例えば、入力部１２は、端末装置１０の表示部１３を介してユーザの指定操作等の操作を受け付ける。言い換えると、入力部１２は、タッチパネルの機能によりユーザの操作を受け付ける受付部として機能する。なお、入力部１２によるユーザの操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、ユーザの操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、端末装置１０は、端末装置１０にボタンが設けられたり、キーボードやマウスが接続されていたりする場合、ボタン等による操作も受け付ける入力部を有してもよい。

【0062】

（表示部１３）
表示部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。つまり、端末装置１０は、表示部１３である表示画面によりユーザの入力を受け付け、ユーザへの出力も行う。

【0063】

（記憶部１４）
記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、例えば、端末装置１０にインストールされているアプリケーション（例えばホームアプリ）に関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部１４は、図４に示すように、モデル情報記憶部１４１を有する。

【0064】

（モデル情報記憶部１４１）
実施形態に係るモデル情報記憶部１４１は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２２は、学習処理により学習（生成）された学習済みモデル（モデル）の情報（モデルデータ）を記憶する。図６は、本開示の第１の実施形態に係るモデル情報記憶部の一例を示す図である。図６に、第１の実施形態に係るモデル情報記憶部１２２の一例を示す。図６に示した例では、モデル情報記憶部１２２は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。

【0065】

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図６等では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルの構成（ネットワーク構成）の情報やパラメータに関する情報等、そのモデルを構成する種々の情報が含まれる。例えば、「モデルデータ」には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。

【0066】

図６に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（生成モデルＭ１）は、用途が「イラスト化」であることを示す。すなわち、生成モデルＭ１は、入力された画像データをイラスト化した画像データを出力するモデルであることを示す。また、生成モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。

【0067】

なお、モデル情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。

【0068】

（制御部１５）
制御部１５は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって、端末装置１０内部の記憶部１４などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、情報処理を行うアプリケーション（例えばホームアプリ）のプログラムが含まれる。また、制御部１５は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0069】

図４に示すように、制御部１５は、取得部１５１と、生成部１５２と、受付部１５３と、提供部１５４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。

【0070】

（取得部１５１）
取得部１５１は、各種情報を取得する。例えば、取得部１５１は、外部の情報処理装置から各種情報を取得する。取得部１５１は、検索サーバ５０から各種情報を受信する。例えば、取得部１５１は、記憶部１４から各種情報を取得する。取得部１５１は、モデル情報記憶部１４１から各種情報を取得する。例えば、取得部１５１は、センサ部１６により撮像された画像をベース画像として取得してもよい。

【0071】

取得部１５１は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する。取得部１５１は、編集後イラスト画像に基づく検索結果を検索サーバ５０から取得する。取得部１５１は、ユーザが指定した色の取引対象のベース画像を取得する。取得部１５１は、ユーザが指定した形状の取引対象のベース画像を取得する。取得部１５１は、ユーザが指定した模様の取引対象のベース画像を取得する。取得部１５１は、ユーザが指定した商品である取引対象に対応するベース画像を取得する。取得部１５１は、イラスト化取引対象に類似する類似取引対象を示す検索結果を検索サーバ５０から取得する。

【0072】

（生成部１５２）
生成部１５２は、種々の生成を行なう。生成部１５２は、イラスト画像を生成する。生成部１５２は、記憶部１４に記憶された情報を用いてイラスト画像を生成する。生成部１５２は、モデル情報記憶部１４１に記憶された生成モデルＭ１を用いてイラスト画像を生成する。

【0073】

生成部１５２は、ベース画像からイラスト画像を生成する。生成部１５２は、ベース画像のスタイルを変更したイラスト画像を生成する。生成部１５２は、ベース画像から色を除いた線画であるイラスト画像を生成する。生成部１５２は、ベース画像の第１の色を第２の色に変更したイラスト画像を生成する。

【0074】

（受付部１５３）
受付部１５３は、各種情報を受け付ける。受付部１５３は、ユーザによる各種操作を受け付ける。例えば、受付部１５３は、入力部１２によりユーザによる各種操作を受け付ける。

【0075】

受付部１５３は、ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付ける。受付部１５３は、イラスト化取引対象に対するユーザによる色の変更を受け付ける。受付部１５３は、イラスト化取引対象に対するユーザによる形状の変更を受け付ける。受付部１５３は、イラスト化取引対象に対するユーザによる模様の変更を受け付ける。受付部１５３は、生成部１５２により生成されたイラスト画像に対するユーザの編集を受け付ける。

【0076】

（提供部１５４）
提供部１５４は、通信部１１を介して、外部の情報処理装置へ種々の情報を送信する。提供部１５４は、検索サーバ５０へ各種情報を送信する。提供部１５４は、記憶部１４に記憶された各種情報を外部の情報処理装置へ送信する。提供部１５４は、取得部１５１により取得された各種情報を外部の情報処理装置へ送信する。

【0077】

提供部１５４は、ユーザにより編集されたイラスト画像である編集後イラスト画像を、画像検索を行う検索サーバ５０に対して提供する。提供部１５４は、ユーザによりイラスト化取引対象の色が変更された後の編集後イラスト画像を、検索サーバ５０に対して提供する。提供部１５４は、ユーザによりイラスト化取引対象の形状が変更された後の編集後イラスト画像を、検索サーバ５０に対して提供する。提供部１５４は、ユーザによりイラスト化取引対象の模様が変更された後の編集後イラスト画像を、検索サーバ５０に対して提供する。

【0078】

なお、上述した制御部１５による各処理は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などにより実現されてもよい。また、上述した制御部１５による情報処理等の処理は、所定のアプリケーションにより行われる場合、制御部１５の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部１５による情報処理等の処理は、外部の情報処理装置から受信した制御情報により実現されてもよい。

【0079】

（センサ部１６）
センサ部１６は、所定の情報を検知する。なお、センサ部１６は、情報処理に用いる情報を検知するための様々なセンサを有してもよい。

【0080】

例えば、センサ部１６は、端末装置１０に対するユーザの操作に関する種々の情報を検知するセンサを有する。例えば、センサ部１６は、圧力センサを有する。例えば、センサ部１６は、ユーザが画面に接触する圧力を示す圧力情報を検知するセンサを有する。例えば、センサ部１６は、画面におけるユーザの接触範囲（座標）を検知するセンサを有する。例えば、センサ部１６は、画面においてユーザが接触する位置を示す位置情報を検知するセンサを有する。例えば、センサ部１６は、画面においてユーザが接触する面積を示す面積情報を検知するセンサを有する。

【0081】

例えば、カメラ機能により撮像された画像をベース画像として用いる場合、センサ部１６は、カメラ（画像センサ）を有してもよい。例えば、センサ部１６は、ユーザが検索を所望する取引対象を撮像するために画像センサを有する。

【0082】

また、センサ部１６には、上記に限らず、種々のセンサが含まれてもよい。例えば、センサ部１６は、端末装置１０外の情報を検知するセンサを含んでもよい。

【0083】

センサ部１６は、端末装置１０の位置を検知するセンサ（位置センサ）を有する。例えば、センサ部１６は、ＧＰＳ（Global Positioning System）センサを有してもよい。また、端末装置１０の位置情報をセンサ情報として取得する場合、センサ部１６は、通信を行っている基地局の位置情報や、ＷｉＦｉ（登録商標）（Wireless Fidelity）の電波を用いて推定された端末装置１０の位置情報を取得してもよい。

【0084】

なお、センサ部１６における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。

【0085】

〔３．情報処理のフロー〕
次に、図６を用いて、実施形態に係る情報処理の手順について説明する。図６は、実施形態に係る情報処理の一例を示すフローチャートである。

【0086】

図６に示すように、端末装置１０は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する（ステップＳ１０１）。例えば、端末装置１０は、ユーザが指定した取引対象を示す情報を検索サーバ５０に送信し、検索サーバ５０から取引対象が含まれるベース画像を取得する。

【0087】

そして、端末装置１０は、ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付ける（ステップＳ１０２）。例えば、端末装置１０は、イラスト画像中のイラスト化取引対象の色、形状、または模様の少なくとも１つを変更するユーザの編集を受け付ける。

【0088】

そして、端末装置１０は、ユーザにより編集されたイラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する（ステップＳ１０３）。例えば、端末装置１０は、ユーザにより編集された編集後イラスト画像を、検索サーバ５０に対して送信する。その後、端末装置１０は、検索サーバ５０から編集後イラスト画像を用いた検索の結果を受信する。

【0089】

〔４．効果〕
上述してきたように、実施形態に係る情報処理装置（実施形態では「端末装置１０」。以下同様）は、取得部（実施形態では「取得部１５１」。以下同様）と、受付部（実施形態では「受付部１５３」。以下同様）と、提供部（実施形態では「提供部１５４」。以下同様）とを有する。取得部は、ユーザが指定した取引対象が含まれる画像であるベース画像を取得する。また、受付部は、ベース画像に含まれる取引対象がイラスト化されたイラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付ける。また、提供部は、ユーザにより編集されたイラスト画像である編集後イラスト画像を、画像検索を行う検索サーバに対して提供する。

【0090】

このように、実施形態に係る情報処理装置は、取引対象を含むベース画像がイラスト化され、イラスト化取引対象を含むイラスト画像に対するユーザの編集を受け付け、ユーザによる編集後の編集後イラスト画像を、画像検索を行う検索サーバに対して提供することにより、ユーザが編集しやすい態様で画像を提供し、ユーザの編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。

【0091】

また、実施形態に係る情報処理装置において、取得部は、編集後イラスト画像に基づく検索結果を検索サーバから取得する。

【0092】

このように、実施形態に係る情報処理装置は、編集後イラスト画像に基づく検索結果を検索サーバから取得することで、ユーザが所望する検索結果をユーザに提供することができる。

【0093】

また、実施形態に係る情報処理装置において、取得部は、イラスト化取引対象に類似する類似取引対象を示す検索結果を検索サーバから取得する。

【0094】

このように、実施形態に係る情報処理装置は、編集後イラスト画像に含まれるイラスト化取引対象に類似する類似取引対象を検索サーバから取得することで、ユーザが所望する検索結果をユーザに提供することができる

【0095】

また、実施形態に係る情報処理装置において、受付部は、イラスト化取引対象に対するユーザによる色の変更を受け付ける。提供部は、ユーザによりイラスト化取引対象の色が変更された後の編集後イラスト画像を、検索サーバに対して提供する。

【0096】

このように、実施形態に係る情報処理装置は、ユーザによるイラスト化取引対象の色の変更を受け付け、色を変更後の編集後イラスト画像を、検索サーバに対して提供することにより、ユーザの色に関する編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。

【0097】

また、実施形態に係る情報処理装置において、受付部は、イラスト化取引対象に対するユーザによる形状の変更を受け付ける。提供部は、ユーザによりイラスト化取引対象の形状が変更された後の編集後イラスト画像を、検索サーバに対して提供する。

【0098】

このように、実施形態に係る情報処理装置は、ユーザによるイラスト化取引対象の形状の変更を受け付け、形状を変更後の編集後イラスト画像を、検索サーバに対して提供することにより、ユーザの形状に関する編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。

【0099】

また、実施形態に係る情報処理装置において、受付部は、イラスト化取引対象に対するユーザによる模様の変更を受け付ける。提供部は、ユーザによりイラスト化取引対象の模様が変更された後の編集後イラスト画像を、検索サーバに対して提供する。

【0100】

このように、実施形態に係る情報処理装置は、ユーザによるイラスト化取引対象の模様の変更を受け付け、模様を変更後の編集後イラスト画像を、検索サーバに対して提供することにより、ユーザの模様に関する編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する検索を容易にすることができる。

【0101】

また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した色の取引対象のベース画像を取得する。

【0102】

このように、実施形態に係る情報処理装置は、ユーザが指定した色の取引対象のベース画像に基づくイラスト画像に対するユーザの編集を受け付けることで、色に関する編集の負荷が軽減されユーザによる編集を容易化することができ、ユーザが所望する検索結果をユーザに提供することができる。

【0103】

また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した形状の取引対象のベース画像を取得する。

【0104】

このように、実施形態に係る情報処理装置は、ユーザが指定した形状の取引対象のベース画像に基づくイラスト画像に対するユーザの編集を受け付けることで、形状に関する編集の負荷が軽減されユーザによる編集を容易化することができ、ユーザが所望する検索結果をユーザに提供することができる。

【0105】

また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した模様の取引対象のベース画像を取得する。

【0106】

このように、実施形態に係る情報処理装置は、ユーザが指定した模様の取引対象のベース画像に基づくイラスト画像に対するユーザの編集を受け付けることで、模様に関する編集の負荷が軽減されユーザによる編集を容易化することができ、ユーザが所望する検索結果をユーザに提供することができる。

【0107】

また、実施形態に係る情報処理装置において、取得部は、ユーザが指定した商品である取引対象に対応するベース画像を取得する。

【0108】

このように、実施形態に係る情報処理装置は、商品を含むベース画像がイラスト化され、イラスト化商品を含むイラスト画像に対するユーザの編集を受け付け、ユーザによる編集後の編集後イラスト画像を、画像検索を行う検索サーバに対して提供することにより、ユーザが編集しやすい態様で画像を提供し、ユーザの編集結果を反映した画像を基に検索を行うことにより、ユーザが所望する商品検索を容易にすることができる。

【0109】

実施形態に係る情報処理装置は、生成部（実施形態では「生成部１５２」。以下同様）を有する。生成部は、ベース画像からイラスト画像を生成する。また、受付部は、生成部により生成されたイラスト画像に対するユーザの編集を受け付ける。

【0110】

このように、実施形態に係る情報処理装置は、ベース画像からイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。

【0111】

また、実施形態に係る情報処理装置において、生成部は、ベース画像のスタイルを変更したイラスト画像を生成する。

【0112】

このように、実施形態に係る情報処理装置は、ベース画像のスタイルを変更したイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。

【0113】

また、実施形態に係る情報処理装置において、生成部は、ベース画像から色を除いた線画であるイラスト画像を生成する。

【0114】

このように、実施形態に係る情報処理装置は、ベース画像の色を除いたイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。

【0115】

また、実施形態に係る情報処理装置において、生成部は、ベース画像の第１の色を第２の色に変更したイラスト画像を生成する。

【0116】

このように、実施形態に係る情報処理装置は、ベース画像の色を変更したイラスト画像を生成することで、生成したイラスト画像に対するユーザの編集を受け付けることができるため、ユーザが所望する検索を容易にすることができる。

【0117】

〔５．プログラム〕
上述してきた端末装置１０による処理は、本願に係る情報処理プログラムにより実現される。例えば、端末装置１０に係る生成部１５２は、端末装置１０が有するＣＰＵやＭＰＵ等によって、情報処理プログラムがＲＡＭを作業領域として、情報処理プログラムに係る処理手順が実行されることにより実現される。例えば、端末装置１０に係る生成部１５２は、端末装置１０が有するＣＰＵやＭＰＵ等によって、情報処理プログラムがＲＡＭを作業領域として、情報処理プログラムに係るイラスト画像に対するユーザの編集を受け付ける受付処理等の最適化に関する情報処理手順が実行されることにより実現される。端末装置１０に係る他の部も同様に、情報処理プログラムによる各手順が実行されることにより実現される。例えば、情報処理プログラムは検索サービスを提供するアプリ等に含まれてもよい。

【0118】

なお、本願に係る端末装置１０が実行する処理は、必ずしも全てが情報処理プログラムによって実現されるものでなくてもよい。例えば、センサ部１６は、端末装置１０における各種のセンサ情報を検知する。このとき、端末装置１０における各種のセンサ情報等は、端末装置１０が有するＯＳ（Operating System）によって検知されてもよい。すなわち、情報処理プログラム自体が、上述してきたような端末装置１０で実行される処理を実行するのではなく、ＯＳによって取得されたデータ（例えば、端末装置１０が有するセンサや回路等を利用して取得されるデータ）を受け取ったり、検知したりすることにより、上述してきた端末装置１０の処理を実現するようにしてもよい。また、端末装置１０が有するＯＳに情報処理プログラムが含まれてもよい。

【0119】

〔６．ハードウェア構成〕
また、上述した実施形態に係る端末装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力Ｉ／Ｆ（Interface）１０６０、入力Ｉ／Ｆ１０７０、ネットワークＩ／Ｆ１０８０がバス１０９０により接続された形態を有する。

【0120】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置１０３０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。

【0121】

一次記憶装置１０４０は、ＲＡＭ（Random Access Memory）等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。二次記憶装置１０５０は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置１０５０は、ＵＳＢメモリやＳＤ（Secure Digital）メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置１０５０は、クラウドストレージ（オンラインストレージ）やＮＡＳ（Network Attached Storage）、ファイルサーバ等であってもよい。

【0122】

出力Ｉ／Ｆ１０６０は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力Ｉ／Ｆ１０７０は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

【0123】

また、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０はそれぞれ出力装置１０１０及び入力装置１０２０と無線で接続してもよい。すなわち、出力装置１０１０及び入力装置１０２０は、ワイヤレス機器であってもよい。

【0124】

また、出力装置１０１０及び入力装置１０２０は、タッチパネルのように一体化していてもよい。この場合、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０も、入出力Ｉ／Ｆとして一体化していてもよい。

【0125】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。

【0126】

ネットワークＩ／Ｆ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0127】

演算装置１０３０は、出力Ｉ／Ｆ１０６０や入力Ｉ／Ｆ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0128】

例えば、コンピュータ１０００が端末装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１５の機能を実現する。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器から取得したプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。

【0129】

以上、本願の実施形態および変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0130】

〔７．その他〕
また、上記各実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0131】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0132】

また、上述してきた各実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0133】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0134】

１ 情報処理システム
１０ 端末装置（情報処理装置）
１１ 通信部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ モデル情報記憶部
１５ 制御部
１５１ 取得部
１５２ 生成部
１５３ 受付部
１５４ 提供部
１６ センサ部
５０ 検索サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】