特開 2023-2325 探索システム、探索方法及び探索プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023002325

(43)【公開日】2023-01-10

(54)【発明の名称】探索システム、探索方法及び探索プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221227BHJP

   G06T 7/00 20170101ALI20221227BHJP

   G06N 5/022 20230101ALI20221227BHJP

   G06F 17/18 20060101ALI20221227BHJP

【ＦＩ】

G06N20/00

G06T7/00 350B

G06N5/02 120

G06F17/18 Z

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021103506

(22)【出願日】2021-06-22

(11)【特許番号】

(45)【特許公報発行日】2022-11-17

(71)【出願人】

【識別番号】592131906

【氏名又は名称】みずほリサーチ＆テクノロジーズ株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】永田 毅

(72)【発明者】

【氏名】笠間 俊夫

(72)【発明者】

【氏名】前川 秀正

(72)【発明者】

【氏名】下元 正義

(72)【発明者】

【氏名】萩原 透

(72)【発明者】

【氏名】友澤 弘充

(72)【発明者】

【氏名】土屋 美恵

【テーマコード（参考）】

5B056

5L096

【Ｆターム（参考）】

5B056BB21

5B056BB64

5L096AA06

5L096CA01

5L096DA01

5L096DA02

5L096FA32

5L096FA33

5L096FA66

5L096GA30

5L096HA11

5L096JA11

5L096KA04

5L096KA07

5L096KA09

(57)【要約】

【課題】ユーザが所望するアイテムを探索するための探索システム、探索方法及び探索プログラムを提供する。
【解決手段】支援サーバ２０は、ユーザ端末１０に接続される制御部２１を備える。そして、制御部２１が、アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、第１成分値と異なる成分値からなる複数のアイテム候補とを、ユーザ端末１０に出力し、アイテム候補から、ユーザ端末１０において選択された第２アイテムを特定し、各主成分において、第１成分値と第２アイテムの第２成分値との位置関係を算出し、各主成分において、位置関係に応じて成分値分布を算出し、第２アイテムに対して、成分値分布に基づき複数のアイテム候補を新たに生成し、ユーザ端末１０に出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザ端末に接続される制御部を備えた探索システムであって、
前記制御部が、
アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、前記第１成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記各主成分において、前記第１成分値と前記第２アイテムの第２成分値との位置関係を算出し、
前記各主成分において、前記位置関係に応じて成分値分布を算出し、
前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力することを特徴とする探索システム。

【請求項2】

前記制御部が、前記成分値分布を、前記第１成分値と前記第２成分値との距離に応じて算出することを特徴とする請求項１に記載の探索システム。

【請求項3】

前記制御部が、前記第１成分値の成分値分布と、前記第２成分値の成分値分布とを用いて算出した合成分布を用いて、複数のアイテム候補を新たに生成することを特徴とする請求項２に記載の探索システム。

【請求項4】

前記制御部が、
前記アイテム候補から、前記第２アイテムとして、前記ユーザ端末において選択された好みアイテムと嫌いアイテムとを特定し、
前記第１アイテムと、前記好みアイテムと前記嫌いアイテムとを用いて、前記位置関係を算出し、
前記嫌いアイテムの成分値との重なりを抑制する成分値分布を算出することを特徴とする請求項１～３の何れか一項に記載の探索システム。

【請求項5】

ユーザ端末に接続される制御部を備えた探索システムを用いて、ユーザの趣向に応じたアイテムを探索する方法であって、
前記制御部が、
アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、前記第１成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記各主成分において、前記第１成分値と前記第２アイテムの第２成分値との位置関係を算出し、
前記各主成分において、前記位置関係に応じて成分値分布を算出し、
前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力することを特徴とする探索方法。

【請求項6】

ユーザ端末に接続される制御部を備えた探索システムを用いて、ユーザの趣向に応じたアイテムを探索する探索プログラムであって、
前記制御部を、
アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、前記第１成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記各主成分において、前記第１成分値と前記第２アイテムの第２成分値との位置関係を算出し、
前記各主成分において、前記位置関係に応じて成分値分布を算出し、
前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力する手段として機能させるための探索プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの好みに応じて画像等のアイテムを探索するための探索システム、探索方法及び探索プログラムに関する。

【背景技術】

【0002】

ユーザからの情報を取得して、ユーザの好みに応じたアイテムを探索する場合がある。例えば、ユーザに対して、多様なサンプル画像を提供し、ユーザによって選択されたサンプル画像に基づいて、ユーザの所望の画像を特定する技術が検討されている（例えば、特許文献１）。この特許文献に記載された画像表示システムは、基準画像を表示面に表示させる第一表示制御部と、基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、表示面の基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部と、を備える。そして、複数の候補画像の各々の画像データは、基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－００５２０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ユーザが画像を選択する基準は多様である。このため、基準画像の画像データに基づいて決定された探索領域が、的確でなければ、ユーザが所望する画像を効率的に探索することは困難である。

【課題を解決するための手段】

【0005】

上記課題を解決する探索システムは、ユーザ端末に接続される制御部を備える。そして、前記制御部が、アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、前記第１成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記各主成分において、前記第１成分値と前記第２アイテムの第２成分値との位置関係を算出し、前記各主成分において、前記位置関係に応じて成分値分布を算出し、前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力する。

【発明の効果】

【0006】

本発明によれば、ユーザが所望するアイテムを、効率的かつ的確に特定することができる。

【図面の簡単な説明】

【0007】

【図1】実施形態の探索システムの説明図。

【図2】実施形態のハードウェア構成の説明図。

【図3】実施形態の学習処理の処理手順の説明図。

【図4】実施形態のサンプル画像の説明図。

【図5】実施形態の予測処理の処理手順の説明図。

【図6】実施形態の表示画面の説明図であって、（ａ）は初回、（ｂ）は２回目、（ｃ）は３回目、（ｄ）は４回目の表示画面の説明図。

【図7】実施形態のサンプル画像の生成の説明図であって、（ａ）は基準画像に対して選択画像が近い場合、（ｂ）は基準画像に対して選択画像が遠い場合の説明図。

【図8】他の実施形態のサンプル画像の生成の説明図。

【図9】他の実施形態のサンプル画像の生成の説明図。

【図10】他の実施形態のサンプル画像の生成の説明図。

【発明を実施するための形態】

【0008】

図１～図７に従って、探索システム、探索方法及び探索プログラムを具体化した一実施形態を説明する。本実施形態では、ユーザが、趣向に応じて好みのアイテムを探索する場合を想定する。ここでは、アイテムとして、人物の顔画像（２次元の静止画像）を用いる。

【0009】

図１に示すように、本実施形態の探索システムは、ネットワークを介して接続されたユーザ端末１０、支援サーバ２０を用いる。
（ハードウェア構成例）

【0010】

図２は、ユーザ端末１０、支援サーバ２０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。
情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。

【0011】

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

【0012】

入力装置Ｈ１２は、ユーザ等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。

【0013】

記憶装置Ｈ１４は、ユーザ端末１０、支援サーバ２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

【0014】

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、ユーザ端末１０、支援サーバ２０における各処理（例えば、後述する制御部２１における処理）を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、ユーザ端末１０、支援サーバ２０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。

【0015】

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラムに従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【0016】

（各情報処理装置の機能）
図１を用いて、ユーザ端末１０、支援サーバ２０の機能を説明する。
ユーザ端末１０は、本システムを利用するユーザが用いるコンピュータ端末である。

【0017】

支援サーバ２０は、ユーザが所望するアイテムの特定を支援するためのコンピュータシステムである。この支援サーバ２０は、制御部２１、教師情報記憶部２２、学習結果記憶部２３、履歴情報記憶部２４を備えている。

【0018】

制御部２１は、後述する処理（学習段階、予測段階、生成段階等を含む処理）を行なう。このための探索プログラムを実行することにより、制御部２１は、学習部２１１、予測部２１２、生成部２１３等として機能する。

【0019】

学習部２１１は、複数の顔画像（教師画像）を構成する特徴量を用いて、主成分を算出する主成分分析処理を実行する。この主成分分析処理により、多様な画像を構成する要素（次元）の次元圧縮を行なう。本実施形態では、主成分分析を用いるが、次元圧縮できる手法であれば、これに限定されず、例えばオートエンコーダを用いてもよい。

【0020】

予測部２１２は、基準画像（第１アイテム）に対して、選択されたサンプル画像（第２アイテム）を用いて、ユーザの好みを予測する処理を実行する。
生成部２１３は、主成分の標準偏差を用いて、複数のサンプル画像（アイテム候補）を生成する処理を実行する。このサンプル画像は、ユーザが選択可能な候補画像である。

【0021】

教師情報記憶部２２には、学習処理に用いる教師情報が記録される。この教師情報は、学習処理前に記録される。この教師情報には、検索対象のアイテムのカテゴリに属する教師画像に関するデータが含まれる。例えば、アイテムのカテゴリとして、人物の顔を対象とする場合には、多様な人物の顔画像を用いる。

【0022】

学習結果記憶部２３には、学習処理による学習結果情報が記録される。この学習結果情報は、学習処理を実行した場合に記録される。この学習結果情報には、アイテム（教師画像）を構成する主成分に関するデータが含まれる。この主成分は、教師画像の特徴量の主成分分析により算出される。

【0023】

履歴情報記憶部２４には、ユーザが選択したアイテムについての履歴情報が記録される。この履歴情報は、予測処理の実行時に記録される。この履歴情報には、世代識別子毎に、画像及び主成分値に関するデータが含まれる。第１世代のアイテムとしては、学習処理によって生成された初期画像が記録される。第２世代以降のアイテムとしては、ユーザ端末１０において選択された選択画像が記録される。

【0024】

初期画像は、教師情報の主成分分析により算出された平均画像であって、最初にユーザ端末１０に提示される基準画像である。選択画像は、基準画像に対して、ユーザの好みに応じて選択されたサンプル画像である。

【0025】

（学習処理）
次に、図３を用いて、学習処理を説明する。
まず、支援サーバ２０の制御部２１は、教師画像の取得処理を実行する（ステップＳ１０１）。具体的には、制御部２１の学習部２１１は、教師情報記憶部２２に記録された各教師画像を構成する各主成分（次元）の特徴量を算出する。

【0026】

次に、支援サーバ２０の制御部２１は、主成分分析処理を実行する（ステップＳ１０２）。具体的には、制御部２１の学習部２１１は、各教師画像の特徴量の主成分分析により、特徴量の主成分を特定する。ここで、主成分の数に制限を設けることにより、次元数を圧縮する。

【0027】

図４に、主成分を変更したサンプル画像５００を示す。サンプル画像５００は、寄与度が高い順番に、主成分番号「１」～「５」について、主成分得点（主成分スコア）を「－２」～「＋２」の範囲で、「１」刻みで振って生成した画像例である。実際の処理では、後述するように、ランダムに主成分得点を与えてサンプル画像を生成する。

【0028】

（予測処理）
次に、図５を用いて、予測処理を説明する。ここでは、まず、サービスを利用するユーザは、ユーザ端末１０を用いて、支援サーバ２０にアクセスする。

【0029】

この場合、支援サーバ２０の制御部２１は、平均画像の生成処理を実行する（ステップＳ２０１）。具体的には、制御部２１の予測部２１２は、学習結果記憶部２３に記録された各主成分の平均値を算出する。次に、予測部２１２は、各主成分の平均値を用いて、平均的なアイテム（初期画像としての平均顔）を生成する。ここでは、公知の機械学習による画像生成技術を用いる。そして、予測部２１２は、世代識別子（第１世代）に関連付けて、各主成分の平均値、平均顔に関する情報を履歴情報記憶部２４に記録する。

【0030】

次に、支援サーバ２０の制御部２１は、サンプル画像の生成処理を実行する（ステップＳ２０２）。具体的には、制御部２１の生成部２１３は、平均値に対して、標準偏差ｓｄの乱数により、各主成分値を生成する。なお、初期段階の標準偏差ｓｄ（初期標準偏差）は、教師画像を網羅するような大きな値を用いる。そして、生成部２１３は、生成した各主成分値を用いて、サンプル画像を生成する。本実施形態では、１６個のサンプル画像を生成する。

【0031】

次に、支援サーバ２０の制御部２１は、サンプル画像の出力処理を実行する（ステップＳ２０３）。具体的には、制御部２１の予測部２１２は、ユーザ端末１０の表示装置Ｈ１３に、選択画面を出力する。

【0032】

図６（ａ）に示すように、選択画面５１０には、基準画像５１１の表示欄、及び１６個のサンプル画像５１２の表示欄が含まれる。各サンプル画像５１２はランダムに配置されており、いずれかを選択可能である。また、選択画面には、「再生成」ボタンと「終了」ボタンとが含まれる。基準画像５１１は好みではないが、より好ましいサンプル画像５１２が存在しない場合には、「再生成」ボタンを選択する。また、基準画像５１１が好みであり、より好ましいサンプル画像が存在しない場合には、「終了」ボタンを選択する。

【0033】

次に、支援サーバ２０の制御部２１は、選択かどうかについての判定処理を実行する（ステップＳ２０４）。具体的には、ユーザは、基準画像５１１よりも好みに合うサンプル画像５１２がある場合には、このサンプル画像を選択する。制御部２１の予測部２１２は、選択画面において、サンプル画像の選択の有無を検知する。

【0034】

サンプル画像が選択されたと判定した場合（ステップＳ２０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、選択画像の登録処理を実行する（ステップＳ２０５）。具体的には、制御部２１の予測部２１２は、世代識別子（第２世代）に関連付けて、各主成分値、選択画像に関する情報を履歴情報記憶部２４に記録する。

【0035】

次に、支援サーバ２０の制御部２１は、中心成分の特定処理を実行する（ステップＳ２０６）。具体的には、制御部２１の予測部２１２は、選択画像を、新たな基準画像として特定する。この場合、予測部２１２は、新たな基準画像の各主成分値を中心成分として特定する。

【0036】

そして、図６（ｂ）に示すように、予測部２１２は、選択画面５２０において、選択画像を、この世代識別子（ここでは第２世代）の基準画像５２１として出力する。
次に、支援サーバ２０の制御部２１は、中心成分近傍でサンプル画像の生成処理を実行する（ステップＳ２０７）。具体的には、制御部２１の生成部２１３は、各主成分の位置関係として、先行世代の主成分値（第１成分値）と、現在の基準画像の主成分値（第２成分値）との距離ｄを算出する。そして、生成部２１３は、主成分毎の距離ｄを用いて標準偏差ｓｄを算出する。この場合、距離ｄが大きい程、標準偏差ｓｄが大きくなる関数を用いる。例えば、距離ｄに比例係数αを乗算する関数ｆを用いて標準偏差ｓｄを算出する。なお、この関数においては、算出される標準偏差ｓｄが、初期標準偏差よりも小さくなるように設定しておく。

【0037】

図７（ａ）に示すように、先行の基準画像face０と選択画像face１とが距離ｄ０１の場合、ｓｄ１（＝α＊ｄ０１）を用いる。図７（ｂ）に示すように、先行の基準画像face０と選択画像face１とが距離ｄ０２の場合、ｓｄ２（＝α＊ｄ０２）を用いる。ここで、距離ｄ０２＞距離ｄ０１の場合には、ｓｄ２＞ｓｄ１となる。

【0038】

そして、生成部２１３は、中心成分に対して、算出した標準偏差ｓｄの成分値分布（例えば正規分布）に基づいた乱数により各主成分値を生成する。次に、生成部２１３は、生成した各主成分値を用いて、サンプル画像を生成する。そして、支援サーバ２０の制御部２１は、サンプル画像の出力処理（ステップＳ２０３）以降の処理を繰り返す。ここで、サンプル画像の出力処理以降の処理を繰り返して実行する場合、繰り返すたびに、世代識別子を１つ増やす。

【0039】

図６（ｂ）に示すように、ステップＳ２０６の中心成分の特定処理によって、選択画面５２０においては、選択画面５１０で選択されたサンプル画像５１２が、第２世代の基準画像５２１として表示される。また、ステップＳ２０７の中心成分近傍でサンプル画像の生成処理によって、選択画面５２０には、基準画像５２１の標準偏差内で生成された複数のサンプル画像５２２が表示される。

【0040】

その後、ユーザが、選択画面５２０のサンプル画像５２２において、より好ましい画像を選択すると、支援サーバ２０の制御部２１は、サンプル画像の出力処理（ステップＳ２０３）を実行する。

【0041】

この場合、図６（ｃ）に示すように、選択画面５３０においては、選択画面５２０で選択されたサンプル画像５２２が、第３世代の基準画像５３１として表示される。また、選択画面５３０には、この基準画像５３１の標準偏差内で生成された複数のサンプル画像５３２を表示する。

【0042】

その後、ユーザは、選択画面５３０のサンプル画像５３２において、より好ましい画像を選択する。
この場合、図６（ｄ）に示すように、選択画面５４０においては、選択画面５３０で選択されたサンプル画像５３２が、第４世代の基準画像５４１として表示される。また、選択画面５４０には、この基準画像５４１の標準偏差内で生成された複数のサンプル画像５４２を表示する。ここで、基準画像５４１より好ましいサンプル画像５４２がない場合には、終了ボタンを選択する。

【0043】

一方、「再生成」ボタン又は「終了」ボタンが選択されて、選択でないと判定した場合（ステップＳ２０４において「ＮＯ」の場合）、終了かどうかについての判定処理を実行する（ステップＳ２０８）。具体的には、制御部２１の予測部２１２は、「終了」ボタンの選択を検知した場合に、終了と判定する。

【0044】

なお、「再生成」ボタンが選択されて、終了でないと判定した場合（ステップＳ２０８において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、サンプル画像の生成処理（ステップＳ２０２）以降の処理を繰り返す。

【0045】

その後、「終了」ボタンが選択されることにより終了と判定した場合（ステップＳ２０８において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、アイテムの提供処理を実行する（ステップＳ２０９）。具体的には、制御部２１の予測部２１２は、ユーザ端末１０に、最終世代の基準画像を提供する。

【0046】

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態においては、教師画像の取得処理（ステップＳ１０１）、主成分分析処理（ステップＳ１０２）を実行する。これにより、画像を構成する主な要素を絞り込む次元圧縮を用いて、効率的な探索を行なうことができる。

【0047】

（２）本実施形態においては、支援サーバ２０の制御部２１は、平均画像の生成処理を実行する（ステップＳ２０１）。これにより、教師画像における平均的な画像を出発点として、ユーザの好みを探索することができる。

【0048】

（３）本実施形態においては、支援サーバ２０の制御部２１は、サンプル画像の生成処理を実行する（ステップＳ２０２）。これにより、初期段階では、大きな標準偏差を用いることにより、広い範囲で、ユーザの好みを探索することができる。

【0049】

（４）本実施形態においては、支援サーバ２０の制御部２１は、サンプル画像の出力処理を実行する（ステップＳ２０３）。これにより、ユーザは基準画像とサンプル画像とを比較しながら、好みの画像を選択することができる。

【0050】

（５）本実施形態においては、サンプル画像が選択されて、選択と判定した場合（ステップＳ２０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、選択画像の登録処理を実行する（ステップＳ２０５）。これにより、ユーザが選択した画像の遷移の履歴を記録することができる。

【0051】

（６）本実施形態においては、支援サーバ２０の制御部２１は、中心成分の特定処理（ステップＳ２０６）、中心成分近傍でサンプル画像の生成処理（ステップＳ２０７）を実行する。これにより、選択された画像を考慮して、新たなサンプル画像を生成することができる。この場合、基準画像との距離に応じて標準偏差を決定する。これにより、距離に応じて探索範囲を変更して、効率的に絞り込みを行なうことができる。すなわち、距離が遠い場合には、広い範囲で探索し、距離が近い場合には、狭い範囲での探索を行なうことができる。

【0052】

（７）本実施形態においては、「再生成」ボタンが選択されることにより終了でないと判定した場合（ステップＳ２０８において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、サンプル画像の生成処理（ステップＳ２０２）以降の処理を繰り返す。これにより、ユーザが納得できる画像が見つからない場合、サンプル画像を作り直すことができる。

【0053】

（８）本実施形態においては、「終了」ボタンが選択されることにより終了と判定した場合（ステップＳ２０８において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、アイテムの提供処理を実行する（ステップＳ２０９）。これにより、ユーザの好みに応じた画像を提供することができる。

【0054】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ユーザが好むアイテムとして２次元の静止画像を探索する場合を想定する。探索対象は２次元の静止画像に限定されるものではない。アイテムを構成する要素を複数次元で数値化できるものであれば適用可能である。例えば、３次元画像、動画、音声、文章（俳句やキャッチコピー等）にも適用可能である。

【0055】

・上記実施形態では、選択画面において、より好ましい一つのサンプル画像を選択する。選択方法はこれに限定されるものではない。例えば、選択画面において、複数のサンプル画像を選択できるようにしてもよい。

【0056】

図８に示すように、基準画像face０に対して、複数のサンプル画像face１１，face１２，face１３が選択された場合を想定する。この場合には、予測部２１２は、基準画像face０と、選択された各サンプル画像との距離ｄ１１，ｄ１２，ｄ１３を算出する。そして、予測部２１２は、標準偏差ｓｄを、複数の距離ｄ１１，ｄ１２，ｄ１３を変数とする関数により算出する。そして、サンプル画像face１１，face１２，face１３の各主成分の統計値（例えば、平均値）を用いて、中心成分を算出する。

【0057】

例えば、距離ｄ１１，ｄ１２，ｄ１３のばらつきを考慮した分布を生成する標準偏差ｓｄを算出する関数を用いる。この場合には、例えば、距離ｄ１１，ｄ１２，ｄ１３のばらつきが大きい程、標準偏差ｓｄを大きくする。
これにより、選択された複数のサンプル画像用いて、好みを探索することができる。

【0058】

・上記実施形態では、選択画面において、より好ましい一つのサンプル画像を選択する。選択方法はこれに限定されるものではない。例えば、選択画面において、好ましいサンプル画像及び嫌いなサンプル画像を選択できるようにしてもよい。

【0059】

図９に示すように、基準画像face０に対して、好ましいサンプル画像face１と、嫌いなサンプル画像faceＸ１，faceＸ２が選択された場合を想定する。
この場合、新たな基準画像として、サンプル画像face１を用いる。サンプル画像face１の近傍に、サンプル画像face１、基準画像face０との距離に応じた標準偏差を用いて分布を作成する。

【0060】

更に、この分布を、嫌いなサンプル画像faceＸ１，faceＸ２との距離に応じて調整する。このため、サンプル画像faceＸ１，faceＸ２の周囲に、基準画像face０との距離に応じた標準偏差を用いて分布を作成する。そして、サンプル画像face１の分布を、サンプル画像faceＸ１，faceＸ２の分布との重なりを抑制するように、調整する。

【0061】

図９では、基準画像face０との距離ｄ２０に応じた標準偏差を用いた分布において、サンプル画像faceＸ１側の標準偏差ｓｄ１と、サンプル画像faceＸ２側の標準偏差ｓｄ２とで異なる値を用いる。具体的には、嫌いなサンプル画像に近い側の標準偏差ｓｄ２を小さくして、嫌いなサンプル画像の分布と重ならないように調整する。

【0062】

また、基準画像と嫌いなサンプル画像とで、距離が長い成分を特定して、この成分については基準画像の範囲を利用するようにしてもよい。また、基準画像と嫌いなサンプル画像との距離が近い成分は、ユーザの趣向に効いていない可能性があるので、主成分から除くようにしてもよい。
これにより、嫌いなサンプル画像を考慮して、新たなサンプル画像を生成することができる。

【0063】

・上記実施形態では、標準偏差を用いて、新たなサンプル画像を生成する。新たなサンプル画像の生成方法は、標準偏差を用いる場合に限定されるものではない。例えば、ベイズ推定を用いて、サンプル画像を生成する範囲を算出してもよい。

【0064】

この場合には、face１の範囲を、face０を使って新たな分布を作る。なお、face０として、初期段階の平均顔を除いて、ユーザが選択したものを用いる。
ここでは、図１０に示すように、事前確率分布Ｐ（Ｙ）（＝Ｐ（Ｙ０｜Ｘ０））は、前回の探索で求めた事後確率分布とする。次に、尤度分布Ｐ（Ｘ｜Ｙ）は、ユーザが選択したサンプル画像face１の主成分値を中心とした正規分布を用いる。この場合、標準偏差ｓｄ（＝α＊ｄ３０）を用いる。

【0065】

次に、事後確率分布（合成分布）を下記式により算出する。
Ｐ（Ｙ｜Ｘ）∝Ｐ（Ｙ）Ｐ（Ｘ｜Ｙ）
そして、Ｐ（Ｙ｜Ｘ）を満たす乱数で、アイテムを生成する成分値を決定する。

【0066】

なお、サンプル画像face１の主成分値の尤度分布Ｐ（Ｘ｜Ｙ）については、ユーザが選択しなかった成分値も考慮することも可能である。

【符号の説明】

【0067】

１０…ユーザ端末、２０…支援サーバ、２１…制御部、２１１…学習部、２１２…予測部、２１３…生成部、２２…教師情報記憶部、２３…学習結果記憶部、２４…履歴情報記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2022-09-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザ端末に接続される制御部を備えた探索システムであって、
前記制御部が、
アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、前記第１成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記各主成分において、前記第１成分値と前記第２アイテムの第２成分値との距離を算出し、
前記各主成分において、前記距離に対応して分布が広くなる成分値分布を算出し、
前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力することを特徴とする探索システム。

【請求項2】

前記制御部が、前記第１成分値の成分値分布と、前記第２成分値の成分値分布とを用いて算出した合成分布を用いて、複数のアイテム候補を新たに生成することを特徴とする請求項１に記載の探索システム。

【請求項3】

前記制御部が、
前記アイテム候補から、前記第２アイテムとして、前記ユーザ端末において選択された好みアイテムと嫌いアイテムとを特定し、
前記第１アイテムと、前記好みアイテムと前記嫌いアイテムとを用いて、前記距離を算出し、
前記距離を用いて、前記好みアイテムの成分値において、前記嫌いアイテムの成分値との重なりを抑制する成分値分布を算出することを特徴とする請求項１又は２に記載の探索システム。

【請求項4】

ユーザ端末に接続される制御部を備えた探索システムが、ユーザの趣向に応じたアイテムを探索する方法であって、
前記制御部が、
アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、前記第１成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記各主成分において、前記第１成分値と前記第２アイテムの第２成分値との距離を算出し、
前記各主成分において、前記距離に対応して分布が広くなる成分値分布を算出し、
前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力することを特徴とする探索方法。

【請求項5】

ユーザ端末に接続される制御部を備えた探索システムに、ユーザの趣向に応じたアイテムを探索させる探索プログラムであって、
前記制御部を、
アイテムを構成する複数の主成分において、第１成分値からなる第１アイテムと、前記第１成分値と異なる成分値からなる複数のアイテム候補とを、前記ユーザ端末に出力し、
前記アイテム候補から、前記ユーザ端末において選択された第２アイテムを特定し、前記各主成分において、前記第１成分値と前記第２アイテムの第２成分値との距離を算出し、
前記各主成分において、前記距離に対応して分布が広くなる成分値分布を算出し、
前記第２アイテムに対して、前記成分値分布に基づき複数のアイテム候補を新たに生成し、前記ユーザ端末に出力する手段として機能させるための探索プログラム。