ホーム > 特許ランキング > リプランハウス株式会社
▶ リプランハウス株式会社の特許一覧 ▶ 株式会社調和技研の特許一覧
特開2024-97312情報処理装置、情報処理システム、情報処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024097312
(43)【公開日】2024-07-18
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06Q 50/08 20120101AFI20240710BHJP
G06Q 30/015 20230101ALI20240710BHJP
【ＦＩ】
G06Q50/08
G06Q30/015
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2024000881
(22)【出願日】2024-01-05
(31)【優先権主張番号】P 2023000441
(32)【優先日】2023-01-05
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年１０月２６日から令和４年１０月２８日に「Ｊａｐａｎ Ｈｏｍｅ＆Ｂｕｉｌｄｉｎｇ Ｓｈｏｗ２０２２」にて発表 令和５年９月２２日にウェブサイトに掲載
(71)【出願人】
【識別番号】523487221
【氏名又は名称】リプランハウス株式会社
(71)【出願人】
【識別番号】510058391
【氏名又は名称】株式会社調和技研
(74)【代理人】
【識別番号】100140936
【弁理士】
【氏名又は名称】高橋 功一
(72)【発明者】
【氏名】秋元 紳吾
(72)【発明者】
【氏名】岩田 聖
(72)【発明者】
【氏名】澤井 秀朋
(72)【発明者】
【氏名】三木 奎吾
(57)【要約】
【課題】直感的で分かりやすく、ユーザの住宅選択を支援する。
【解決手段】情報処理システムＩＳ１は、ユーザが使用するユーザ端末２と、ユーザ端末２に画像情報を提供することが可能なサーバ１とを含む。情報処理システムＩＳ１は、住宅事業者により施工された住宅のスタイル及び感情に関する住宅の特徴と住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者ＤＢ３５０と、ユーザの好みに応じた画像をユーザ端末２から取得する情報取得部３２１と、その画像に基づいてその画像に含まれるもの（例えば、住宅に関する物体）のスタイル及び感情に関する画像の特徴を生成するタグ生成部３２２と、その画像の特徴と、住宅事業者ＤＢ３５０の住宅の特徴とを比較した比較結果に基づいて、複数の住宅事業者のうちからユーザの好みに応じた住宅事業者を選択する抽出部３２４とを備える。
【選択図】図１１
【解決手段】情報処理システムＩＳ１は、ユーザが使用するユーザ端末２と、ユーザ端末２に画像情報を提供することが可能なサーバ１とを含む。情報処理システムＩＳ１は、住宅事業者により施工された住宅のスタイル及び感情に関する住宅の特徴と住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者ＤＢ３５０と、ユーザの好みに応じた画像をユーザ端末２から取得する情報取得部３２１と、その画像に基づいてその画像に含まれるもの（例えば、住宅に関する物体）のスタイル及び感情に関する画像の特徴を生成するタグ生成部３２２と、その画像の特徴と、住宅事業者ＤＢ３５０の住宅の特徴とを比較した比較結果に基づいて、複数の住宅事業者のうちからユーザの好みに応じた住宅事業者を選択する抽出部３２４とを備える。
【選択図】図１１
【特許請求の範囲】
【請求項1】
ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、
住宅事業者により施工された住宅のスタイル及び感情に関する前記住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを前記電子機器から取得する取得部と、
前記テキスト情報に基づいて前記ユーザの好みに関するスタイル及び感情のそれぞれの特徴である第１特徴を生成し、前記画像に基づいて前記画像に含まれるもののスタイル及び感情に関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
住宅事業者により施工された住宅のスタイル及び感情に関する前記住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを前記電子機器から取得する取得部と、
前記テキスト情報に基づいて前記ユーザの好みに関するスタイル及び感情のそれぞれの特徴である第１特徴を生成し、前記画像に基づいて前記画像に含まれるもののスタイル及び感情に関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
【請求項2】
ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、
住宅事業者により施工された住宅のスタイル及び感情に関する前記住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じた画像を前記電子機器から取得する取得部と、
前記画像に基づいて前記画像に含まれるもののスタイル及び感情に関する前記画像の特徴を生成する特徴生成部と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
住宅事業者により施工された住宅のスタイル及び感情に関する前記住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じた画像を前記電子機器から取得する取得部と、
前記画像に基づいて前記画像に含まれるもののスタイル及び感情に関する前記画像の特徴を生成する特徴生成部と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
【請求項3】
請求項２に記載の情報処理システムであって、
前記取得部は、前記ユーザの好みに応じた複数の画像を前記電子機器から取得し、
前記複数の画像のそれぞれの特徴に基づいて、前記スタイル及び前記感情に関する前記ユーザの好みを示す特徴情報を生成する特徴情報生成部をさらに備え、
前記選択部は、前記特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記ユーザの好みに応じた住宅事業者を選択する
情報処理システム。
前記取得部は、前記ユーザの好みに応じた複数の画像を前記電子機器から取得し、
前記複数の画像のそれぞれの特徴に基づいて、前記スタイル及び前記感情に関する前記ユーザの好みを示す特徴情報を生成する特徴情報生成部をさらに備え、
前記選択部は、前記特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記ユーザの好みに応じた住宅事業者を選択する
情報処理システム。
【請求項4】
請求項２に記載の情報処理システムであって、
前記選択部により選択された住宅事業者に関する住宅事業者情報を表示するための表示情報を前記電子機器に送信する情報提供部をさらに備え、
前記電子機器は、前記表示情報に基づいて前記住宅事業者情報を表示部に表示させる表示制御を実行する制御部を備える
情報処理システム。
前記選択部により選択された住宅事業者に関する住宅事業者情報を表示するための表示情報を前記電子機器に送信する情報提供部をさらに備え、
前記電子機器は、前記表示情報に基づいて前記住宅事業者情報を表示部に表示させる表示制御を実行する制御部を備える
情報処理システム。
【請求項5】
請求項２に記載の情報処理システムであって、
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を前記複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている前記住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得する
情報処理システム。
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を前記複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている前記住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得する
情報処理システム。
【請求項6】
請求項５に記載の情報処理システムであって、
前記電子機器は、
前記表示情報に基づいて前記住宅画像情報に対応する住宅画像を表示部に表示させる表示制御と、
前記表示部に表示された住宅画像がユーザ操作に基づいて編集された編集住宅画像に関する編集画像情報を前記情報処理装置に送信する送信制御とを実行する制御部を備え、
前記取得部は、前記電子機器から送信された前記編集画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
前記電子機器は、
前記表示情報に基づいて前記住宅画像情報に対応する住宅画像を表示部に表示させる表示制御と、
前記表示部に表示された住宅画像がユーザ操作に基づいて編集された編集住宅画像に関する編集画像情報を前記情報処理装置に送信する送信制御とを実行する制御部を備え、
前記取得部は、前記電子機器から送信された前記編集画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
【請求項7】
請求項２に記載の情報処理システムであって、
前記電子機器は、
画像取得部により取得された画像を格納する画像情報データベースと、
前記画像情報データベースに格納されている画像を表示部に表示させる表示制御と、前記表示部に表示された画像のうちからユーザ操作に基づいて選択された画像に関する選択画像情報を前記情報処理装置に送信する送信制御とを実行する制御部と、を備え、
前記取得部は、前記電子機器から送信された前記選択画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
前記電子機器は、
画像取得部により取得された画像を格納する画像情報データベースと、
前記画像情報データベースに格納されている画像を表示部に表示させる表示制御と、前記表示部に表示された画像のうちからユーザ操作に基づいて選択された画像に関する選択画像情報を前記情報処理装置に送信する送信制御とを実行する制御部と、を備え、
前記取得部は、前記電子機器から送信された前記選択画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
【請求項8】
請求項６又は７に記載の情報処理システムであって、
前記特徴生成部は、対象画像に含まれるものに関する特徴を抽出するＡＩモデルを用いて、前記スタイル及び前記感情に関する前記画像の特徴を抽出する
情報処理システム。
前記特徴生成部は、対象画像に含まれるものに関する特徴を抽出するＡＩモデルを用いて、前記スタイル及び前記感情に関する前記画像の特徴を抽出する
情報処理システム。
【請求項9】
請求項４に記載の情報処理システムであって、
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得し、
前記情報提供部は、前記選択された住宅事業者以外の新たな住宅事業者の再提案を要求する再提案要求が前記電子機器から送信された場合には、前記特徴生成部により生成された前記画像の特徴に基づいて、前記画像情報データベースに格納されている住宅画像情報のうちから前記ユーザの好みに応じた住宅画像として抽出された住宅画像情報を表示するための表示情報を前記電子機器に送信する
情報処理システム。
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得し、
前記情報提供部は、前記選択された住宅事業者以外の新たな住宅事業者の再提案を要求する再提案要求が前記電子機器から送信された場合には、前記特徴生成部により生成された前記画像の特徴に基づいて、前記画像情報データベースに格納されている住宅画像情報のうちから前記ユーザの好みに応じた住宅画像として抽出された住宅画像情報を表示するための表示情報を前記電子機器に送信する
情報処理システム。
【請求項10】
ユーザの好みに応じた画像を取得する画像取得部と、
前記画像に関する特徴を取得する特徴取得部と、
前記画像に関する特徴と、複数の住宅事業者のそれぞれにより施工された住宅に関する前記住宅事業者毎の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理装置。
前記画像に関する特徴を取得する特徴取得部と、
前記画像に関する特徴と、複数の住宅事業者のそれぞれにより施工された住宅に関する前記住宅事業者毎の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理装置。
【請求項11】
ユーザの好みに応じた画像を取得する画像取得処理と、
前記画像に関する特徴を取得する特徴取得処理と、
前記画像に関する特徴と、複数の住宅事業者のそれぞれにより施工された住宅に関する前記住宅事業者毎の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
を含む情報処理方法。
前記画像に関する特徴を取得する特徴取得処理と、
前記画像に関する特徴と、複数の住宅事業者のそれぞれにより施工された住宅に関する前記住宅事業者毎の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
を含む情報処理方法。
【請求項12】
ユーザの好みに応じた画像を取得する画像取得処理と、
前記画像に関する特徴を取得する特徴取得処理と、
前記画像に関する特徴と、複数の住宅事業者のそれぞれにより施工された住宅に関する前記住宅事業者毎の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
をコンピュータに実行させるプログラム。
前記画像に関する特徴を取得する特徴取得処理と、
前記画像に関する特徴と、複数の住宅事業者のそれぞれにより施工された住宅に関する前記住宅事業者毎の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、住宅の建設は多くのユーザにとって重要な事項であり、ユーザの希望する住宅を建設するための技術が複数提案されている。例えば、ユーザから入力された情報に基づいて、住宅プランや間取り等を提案可能な技術が開示されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１８９６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、上述の特許文献１に記載の技術を含む従来技術では、多くの場合、質問に対するユーザの回答等に基づいて、住宅プラン等が提案される。しかしながら、一般的に、ユーザは、建設する住宅に抽象的な理想のイメージや好みを有しているものの、住宅のイメージや要望を明確に伝えることが困難である。
【0005】
本発明は、直感的で分かりやすく、ユーザの住宅選択を支援することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、住宅事業者により施工された住宅のスタイル及び感情に関する前記住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、前記ユーザの好みに応じた画像を前記電子機器から取得する取得部と、前記画像に基づいて前記画像に含まれるもののスタイル及び感情に関する前記画像の特徴を生成する特徴生成部と、前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理システム、その情報処理システムを構成する情報処理装置、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0007】
本発明によれば、直感的で分かりやすく、ユーザの住宅選択を支援することができる。
【図面の簡単な説明】
【0008】
【図1】情報処理システムの構成を示すシステム構成図である。
【図2】情報処理システムを構成するサーバのハードウェア構成の一例を示す図である。
【図3】情報処理システムを構成するサーバ、ユーザ端末及び住宅事業者端末の機能的構成の一例を示す図である。
【図4】ユーザ端末に表示される画像の一例を示す図である。
【図5】タグ付け方法の概要を示すイメージ図である。
【図7】ユーザベクトルの概念を説明するためのイメージ図である。
【図10】サーバ及びユーザ端末で実行される各種処理の流れの一例を示すアローチャートである。
【図11】情報処理システムの構成例を示すブロック図である。
【図12】住宅画像に付与されるタグの生成例を示す図である。
【図13】画像情報の格納内容を簡略化して示す図である。
【図14】住宅事業者情報の格納内容を簡略化して示す図である。
【図15】選択画面の表示例を示す図である。
【図16】選択事業者情報画面の表示例を示す図である。
【図17】選択画面の表示例を示す図である。
【図18】住宅事業者選択処理例を示すフローチャートである。
【図19】アイテム情報の格納内容を簡略化して示す図である。
【図20】編集画面の表示例を示す図である。
【図21】住宅画像編集処理例を示すフローチャートである。
【図22】画像情報の格納内容を簡略化して示す図である。
【図23】選択画面の表示例を示す図である。
【図24】画像選択処理例を示すフローチャートである。
【図25】テキスト入力画面の表示例を示す図である。
【図26】選択画面の表示例を示す図である。
【図27】住宅事業者選択処理例を示すフローチャートである。
【図28】テキスト入力画面の表示例を示す図である。
【図29】選択画面の表示例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
＜概要の説明＞
まず図１を用いた具体的な説明に先立ち、本発明の一実施形態にかかる情報処理システムの適用対象となるサービス（以下、「本サービス」と呼ぶ）の一例を説明する。
まず図１を用いた具体的な説明に先立ち、本発明の一実施形態にかかる情報処理システムの適用対象となるサービス（以下、「本サービス」と呼ぶ）の一例を説明する。
【0011】
本サービスは、例えば、ユーザにより選択された住宅画像に基づいて、ユーザの趣向にあった住宅事業者や新たな住宅画像の提案を行うサービスである。なお、住宅事業者とは、例えば、一級建築士事務所、ハウスメーカー、工務店等の住宅の建築や設計に関連する各種事業者である。
【0012】
本サービスにおいて、本発明の一実施形態にかかる情報処理システム（以下、「本システム」と呼ぶ）は、統計的機械学習等の技術を活用することで、ユーザにより選択された住宅画像や住宅事業者により提供された住宅画像を解析することで、ユーザの好みの住宅に近い住宅事業者を選択し、ユーザに表示する。これにより、ユーザは、単に自分の好みの住宅画像を選択するだけで、自分の好みの住宅を建築できる可能性の高い有望な住宅事業者を選別し、住宅プランの作成や住宅の設計等を依頼することが可能になる。
【0013】
図１は、本発明の一実施形態にかかる情報処理システムの構成を示すシステム構成図である。
【0014】
図１に示す情報処理システムは、サーバ１と、ユーザ端末２と、住宅事業者端末３－１乃至３－ｎ（ｎは、１以上の任意の自然数）とを含み構成される。サーバ１と、ユーザ端末２と、住宅事業者端末３－１乃至３－ｎとは、インターネット等の所定のネットワークＮを介して相互に接続されている。ただし、ネットワークＮは必須の構成要素ではなく、例えば、ＮＦＣ（Near Field Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＡＮ（Local Area Network）等が利用されてもよい。なお、以降の説明において、住宅事業者端末３－１乃至３－ｎの夫々を特に区別する必要がない場合、これらをまとめて住宅事業者端末３と呼ぶ。
【0015】
サーバ１は、汎用的なパーソナルコンピュータ（Personal Computer）等で構成され、本サービスの提供者等により管理される。サーバ１は、本サービスの提供にかかる各種処理を実行する。
【0016】
ユーザ端末２は、スマートフォン、タブレット、汎用的なＰＣ等で構成され、本サービスの提供を希望するユーザにより使用される。ユーザ端末２は、ユーザによる各種入力操作を受け付ける。また、ユーザ端末２は、サーバ１から送信されてくる各種情報を取得し、図示せぬ表示部等に表示する。
【0017】
住宅事業者端末３は、汎用的なパーソナルコンピュータ等で構成され、本サービスへの参加を希望する各種住宅事業者等により管理される。住宅事業者端末３は、それぞれの住宅事業者により選択された住宅の画像情報等をサーバ１へ送信する。
【0018】
＜ハードウェア構成＞
図２は、本発明の一実施形態にかかる情報処理システムを構成するサーバのハードウェア構成の一例を示す図である。
図２は、本発明の一実施形態にかかる情報処理システムを構成するサーバのハードウェア構成の一例を示す図である。
【0019】
図２に示すように、サーバ１は、制御部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。
【0020】
制御部１１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、及び半導体メモリを含むマイクロコンピュータ等で構成され、ＲＯＭ１２に記録されているプログラム、または、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【0021】
ＲＡＭ１３には、制御部１１が各種の処理を実行する上において必要な情報等も適宜記憶される。
【0022】
制御部１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、ドライブ２０が接続されている。
【0023】
出力部１６は、各種液晶ディスプレイやスピーカ等に対して、画像情報や音声情報等を出力する。出力部１６が出力した画像情報や音声情報は、各種液晶ディスプレイやスピーカ等から、画像や音声として人が認識可能な状態で出力される。
【0024】
入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。
【0025】
記憶部１８は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、各種データを記憶する。本実施形態では、例えば、各種プログラムや各種データベースを含む各種情報が記憶されている。
【0026】
通信部１９は、インターネットを含むネットワークＮを介して他の情報処理装置等との間で行う通信を制御する。
【0027】
ドライブ２０は、必要に応じて設けられる。ドライブ２０には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。またリムーバブルメディア３１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0028】
ここで、ユーザ端末２及び住宅事業者端末３のハードウェア構成は、サーバ１のハードウェア構成と基本的に同様とすることができるため、説明を省略する。
【0029】
図３は、本発明の一実施形態にかかる情報処理システムを構成するサーバ、ユーザ端末及び住宅事業者端末の機能的構成の一例を示す図である。
【0030】
図３に示すように、サーバ１の制御部１１においては、各種プログラム等を実行することにより、画像情報取得部６０と、タグ情報取得部６２と、ベクトル生成部６４と、住宅事業者選択部６６とが機能する。
【0031】
また、サーバ１の記憶部１８の一領域には、住宅事業者ＤＢ４００が設けられている。住宅事業者ＤＢ４００には、各住宅事業者により提供された住宅画像に基づいて生成された各住宅事業者に対応するベクトル（以下、「事業者ベクトル」と呼ぶ）、及び各住宅事業者により提供されたプロフィール等が、格納されている。なお、本システムが、各住宅事業者のベクトルを生成する方法は、後述するユーザのベクトルを生成する方法と基本的に同様とすることができる。
【0032】
画像情報取得部６０は、住宅にかかるユーザから、住宅を含む画像に関する情報を、第２画像情報として取得する。具体的に画像情報取得部６０は、ユーザ端末２から送信されてくるユーザにより選択されたお気に入りの住宅画像に関する情報（以下、「お気に入り画像情報」と呼ぶ）を、通信部１９を介して取得する。
【0033】
タグ情報取得部６２は、第２画像情報にかかる所定の基準に基づく分類に関する情報を取得する。すなわち、タグ情報取得部６２は、お気に入り画像のそれぞれに付与されているタグに関する情報を取得する。
【0034】
ここで、タグとは、各画像の性質等に基づいて、各画像を分類する基準である。そして、各画像に対してタグの基準により分類する行為をタグ付けと呼ぶ。このタグ付けは、事前に行われた統計的機械学習による学習の結果に基づいて、本システムで取り扱われるすべての住宅画像に対して自動で行われ、その結果は、事前に図示せぬデータベースに格納されている。
【0035】
そのため、タグ情報取得部６２は、その図示せぬデータベースに格納されているお気に入り画像に付与されているタグに関する情報を取得する。
【0036】
なお、具体的に本実施形態では、例えば、以下の５種類の基準がタグとして採用される。
（１）場所
各住宅画像に含まれる場所に関する分類の基準である。例えば、住宅全体の外観、玄関、階段、リビング、キッチン、水回り、部屋等の実際に各住宅画像に含まれる住宅内の場所に関する情報が、タグとして付与される。
（２）スタイル
各住宅画像に含まれる場所のスタイルに関する分類の基準である。住宅の外観が自然に近い木造の外観であれば、例えば、「ナチュラル」、「ウッディ」という情報がタグとして付与される。なお、スタイルの具体的な分類としては、例えば、「アーバン」、「ダークトーン」、「ウッディ」、「ナチュラル」、「和風」、「ビンテージ」、「古民家」、「モダン」、「シンプル」等の各種建築の分野で知られる各種スタイルの基準を採用する。
（３）素材
各住宅画像に含まれる素材に関する分類の基準である。例えば、「木材」、「木目調」、「タイル」、「コンクリート・モルタル」、「鋼材・アイアン」、「デザインクロス」「ガラス」、「ステンレス」等の特徴的な素材に関する情報がタグとして付与される。
（４）アイテム
各住宅画像に、薪ストーブや太陽光パネルが含まれているか否かに関する分類の基準である。例えば、各住宅画像に薪ストーブや太陽光パネルが含まれていれば、「有り（プラス）」のタグが付与され、各住宅画像に薪ストーブや太陽光パネルが含まれていなければ「無し（マイナス）」のタグが付与される。
（５）感情
各住宅画像の雰囲気や見た時の感情に関する分類の基準である。「家族団らん・温もり」、「開放感」、「高級感・上品・ラグジュアリー」、「落ち着く」、「かっこいい・シック」、「派手」、「カジュアル・ポップ」、「重厚感」、「洗練・スタイリッシュ」、「かわいい」等の感情の基準が採用される。例えば、各住宅画像に対して、これらの感情の基準が０～４の５段階で評価された結果に関する情報を、各住宅画像にタグとして付与してもよい。
（１）場所
各住宅画像に含まれる場所に関する分類の基準である。例えば、住宅全体の外観、玄関、階段、リビング、キッチン、水回り、部屋等の実際に各住宅画像に含まれる住宅内の場所に関する情報が、タグとして付与される。
（２）スタイル
各住宅画像に含まれる場所のスタイルに関する分類の基準である。住宅の外観が自然に近い木造の外観であれば、例えば、「ナチュラル」、「ウッディ」という情報がタグとして付与される。なお、スタイルの具体的な分類としては、例えば、「アーバン」、「ダークトーン」、「ウッディ」、「ナチュラル」、「和風」、「ビンテージ」、「古民家」、「モダン」、「シンプル」等の各種建築の分野で知られる各種スタイルの基準を採用する。
（３）素材
各住宅画像に含まれる素材に関する分類の基準である。例えば、「木材」、「木目調」、「タイル」、「コンクリート・モルタル」、「鋼材・アイアン」、「デザインクロス」「ガラス」、「ステンレス」等の特徴的な素材に関する情報がタグとして付与される。
（４）アイテム
各住宅画像に、薪ストーブや太陽光パネルが含まれているか否かに関する分類の基準である。例えば、各住宅画像に薪ストーブや太陽光パネルが含まれていれば、「有り（プラス）」のタグが付与され、各住宅画像に薪ストーブや太陽光パネルが含まれていなければ「無し（マイナス）」のタグが付与される。
（５）感情
各住宅画像の雰囲気や見た時の感情に関する分類の基準である。「家族団らん・温もり」、「開放感」、「高級感・上品・ラグジュアリー」、「落ち着く」、「かっこいい・シック」、「派手」、「カジュアル・ポップ」、「重厚感」、「洗練・スタイリッシュ」、「かわいい」等の感情の基準が採用される。例えば、各住宅画像に対して、これらの感情の基準が０～４の５段階で評価された結果に関する情報を、各住宅画像にタグとして付与してもよい。
【0037】
ベクトル生成部６４は、統計的手法による学習の結果に基づいて、所定のベクトルを生成する。具体的にベクトル生成部６４は、タグ情報取得部６２で取得されたお気に入り画像に付与されているタグに関する情報に基づいて、ユーザの希望する住宅の好みを示すベクトル（以下、「ユーザベクトル」と呼ぶ）を生成する。なお、生成するベクトルの詳細は、図７等を参照しながら後述する。
【0038】
住宅事業者選択部６６は、ベクトル生成部６４で生成されたユーザベクトルと、住宅事業者ＤＢ４００に格納されている各住宅事業者の事業者ベクトルを比較して、ユーザに推奨し得る住宅事業者を決定する。なお、住宅事業者選択部６６は、ユーザベクトルと最も距離が近い事業者ベクトルに対応する１の住宅事業者を選択してもよいし、距離が近い事業者ベクトルに対応する住宅事業者を近い順に複数選択してもよい。
【0039】
また、住宅事業者選択部６６は、選択した住宅事業者に関する情報（以下、「選択事業者情報」と呼ぶ）をユーザ端末２へ送信する。
【0040】
図３に示すように、ユーザ端末２の制御部２００においては、各種プログラム等を実行することにより、表示画像管理部２２０と、画像選択受付部２２２と、住宅事業者情報取得部２２４とが機能する。
【0041】
表示画像管理部２２０は、ユーザ端末２の図示せぬ表示部に表示する各種画像を生成し、管理する。具体的に、表示画像管理部２２０は、ユーザがお気に入り画像を選択するための各種画像や後述する住宅事業者情報をユーザに提示するための各種画像等を生成し、その画像をユーザ端末２の図示せぬ表示部に表示する制御を実行する。
【0042】
画像選択受付部２２２は、住宅にかかるユーザから、住宅を含む画像に関する情報を受け付ける。具体的に画像選択受付部２２２は、ユーザにより選択されたお気に入りの住宅画像（以下、「お気に入り画像」と呼ぶ）の選択を受け付ける。また、画像選択受付部２２２は、受け付けたお気に入り画像の選択に関するお気に入り画像情報を、サーバ１へ送信する。なお、実際にユーザがお気に入り画像を選択する方法等については、図４等を参照しながら後述する。
【0043】
住宅事業者情報取得部２２４は、サーバ１から送信されてきた選択事業者情報を、通信部２１０を介して取得する。
【0044】
【0045】
図４の例では、お気に入り画像としてユーザにより選択された複数の住宅画像が表示されている。なお、図４で表示されているお気に入り画像は、事前に提示された住宅画像の中から、ユーザにより選択されたものである。
【0046】
また、図４の例において、住宅画像とともに表示されたお気に入りボタン（例えば、表示領域Ａ１乃至Ｄ１）をクリック等することで、容易にお気に入り画像としての選択を解除することもできる。本実施形態において、お気に入り画像の選択（及び削除）は、例えば、このような方法により行われる。
【0047】
【0048】
図５の例では、お気に入り画像として選択された住宅画像の一例が表示されている。上述の通り、本システムでは、対象の住宅画像に対して、統計的機械学習による学習の結果に基づいて、自動的にタグ付けが行われる。
【0049】
具体的に図５の例は、リビングが撮像された住宅画像であるため場所のタグとして「リビング」が付与される。そして、全体的に自然で木造の作り（図５のＳ１）であるから、スタイルのタグとして、「ナチュラル」や「ウッディ」が付与される。同様に、素材のタグには「木目調」が付与される。薪ストーブや太陽光パネルは存在しないため、アイテムのタグには「無し（マイナス）」が付与される。最後に、全体的な雰囲気から与える印象を踏まえ、例えば、感情のタグとして、「家族団らん・温もり」や「落ち着く」等のタグが付与されると考えられる。
【0050】
ここで、本システムでは、特に場所のタグ付けにおいて、複数の階層のタグ付けを行うことができる。すなわち、本システムは、広域の場所を示すタグ付けのほかに、その詳細な場所を示すタグを別途付与することができる。具体的に図５の例では、住宅画像に含まれる場所として、「対面式キッチン（図５のＳ２）」、「ダイニングテーブル（図５のＳ３）」、「階段（図５のＳ４）」等のタグ付けを行うこともできる。
【0051】
同様に、図６の例では、場所のタグとして「外観」、「庭・中庭」、「ウッドデッキ」、「三角屋根・切妻屋根」等のタグが、スタイルのタグとして「ダークトーン」等のタグが、素材のタグとして「サイディング」等のタグが、アイテムのタグとして「無し（マイナス）」のタグが、感情のタグとして「かっこいい・シック」、「洗練・スタイリッシュ」等のタグが付与される。
【0052】
図７は、本発明の一実施形態にかかるユーザベクトルの概念を説明するためのイメージ図である。
【0053】
図７の例では、タグ付けされた結果に基づいて、場所（０．２）、スタイル（０．８）、素材（０．５）、アイテム（０．２）、感情（０．５）という数値（ベクトル）が表示されている。なお、ベクトルは、例えば、ユーザにより選択されたお気に入り画像それぞれに付与されたタグに基づいて、数値化し、それを統計的に処理した結果により生成される。そのため、生成されたユーザベクトルは、ユーザの住宅の好みを総合的にベクトルとして表現したものと評価することができる。
【0054】
【0055】
具体的に図８の例では、選択されたお気に入り画像に基づいて、新たな住宅画像の候補がユーザに表示されている。これらの新たな住宅画像は、本システムにより生成されたユーザベクトルと、任意の住宅画像（住宅事業者により提供された住宅画像や事前に本システムで取得された任意の住宅画像等）により生成されたベクトルとを比較することにより選択されたものである。ユーザは、これらの住宅画像を確認しながら、自分の好みの住宅画像があれば、住宅画像とともに表示されたお気に入りボタン（例えば、表示領域Ｅ１乃至Ｈ１）をクリック等することで、容易にお気に入り画像に追加することができる。本システムは、このようにして新たに追加されたお気に入り画像を追加して、ユーザベクトルを生成することで、よりユーザの好みに対応する精度を向上させることができる。
【0056】
【0057】
具体的に図９の例では、選択されたお気に入り画像に基づいて、選択された住宅事業者の候補が、住宅事業者名や対応地域等の情報とともに表示されている。ユーザは、表示された住宅事業者の候補を確認しながら、住宅の建築を依頼したい住宅事業者を選択することができる。なお、図９の例では、ユーザは、詳細確認ボタン（例えば、表示領域Ｉ１及びＪ１）をクリック等することで、各住宅事業者の詳細な情報（例えば、企業情報や登録されたプロフィール等）を確認することができる。また、図９の例では、ユーザは、資料請求ボタン（例えば、表示領域Ｉ２、Ｊ２、Ｍ１）をクリック等した上で、任意の決定ボタン（例えば、表示領域Ｋ１）をクリック等することで、各住宅事業者の詳細な資料を請求することができる。例えば、この資料請求が行われると、その情報が各住宅事業者に送信され、各住宅事業者からユーザに対して所定の資料が送付される。
【0058】
図１０は、本発明の一実施形態にかかる情報処理システムを構成するサーバ及びユーザ端末で実行される各種処理の流れの一例を示すアローチャートである。
【0059】
ステップＳ１において、ユーザ端末２の画像選択受付部２２２は、ユーザにより選択されたお気に入り画像の選択を受け付ける。
【0060】
ステップＳ２において、ユーザ端末２の画像選択受付部２２２は、受け付けたお気に入り画像の選択に関するお気に入り画像情報を、サーバ１へ送信する。
【0061】
ステップＳ２１において、サーバ１の画像情報取得部６０は、ユーザ端末２から送信されてくるユーザにより選択されたお気に入り画像情報を、通信部１９を介して取得する。
【0062】
ステップＳ２２において、サーバ１のタグ情報取得部６２は、お気に入り画像のそれぞれに付与されているタグに関する情報を取得する。
【0063】
ステップＳ２３において、サーバ１のベクトル生成部６４は、タグ情報取得部６２で取得されたお気に入り画像に付与されているタグに関する情報に基づいて、ユーザの希望する住宅の好みを示すユーザベクトルを生成する。
【0064】
ステップＳ２４において、サーバ１の住宅事業者選択部６６は、ベクトル生成部６４で生成されたユーザベクトルと、住宅事業者ＤＢ４００に格納されている各住宅事業者の事業者ベクトルを比較して、ユーザに推奨し得る住宅事業者を決定する。
【0065】
ステップＳ２５において、サーバ１の住宅事業者選択部６６は、選択した住宅事業者に関する選択事業者情報をユーザ端末２へ送信する。
【0066】
ステップＳ３において、ユーザ端末２の住宅事業者情報取得部２２４は、サーバ１から送信されてきた選択事業者情報を、通信部２１０を介して取得する。
【0067】
ステップＳ４において、ユーザ端末２の表示画像管理部２２０は、住宅事業者情報をユーザに提示するための各種画像等を生成し、その画像をユーザ端末２の図示せぬ表示部に表示する制御を実行する。
【0068】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0069】
ここで、本システム特有の利点についてさらに説明する。本システムは、ユーザが選択した画像（例えば、お気に入り画像）に基づいて、ベクトルを生成し、類似度の高い住宅画像をさらに推薦することができる。そのため、既存のシステム等のように雰囲気や特徴等をユーザが明確に言語化する必要がなく、単に好みの住宅画像を選択するのみで、自動的に新たな住宅画像や住宅事業者の推薦を受けることができる。また、本システムは、ユーザが新たな住宅画像をお気に入り画像として選択するたび、その都度更新され、選定の精度を向上させていくことができる。これらの点が、本システムの特徴的な利点である。
【0070】
ただし、本システムが類似度を判定するために生成したベクトルを用いるものとして説明したが、限定されない。例えば、本システムは、タグ付けの結果に基づいて、任意の基準や数値を生成し、それに基づいて新たな住宅画像の選択や住宅事業者の推薦を行ってもよい。
【0071】
また、上述の実施形態において、お気に入り画像はいずれも本システムに事前に備えられた住宅画像から選択されるものとして説明したが、限定されない。本システムは、例えば、ユーザから好みの住宅画像のアップロード等を受け付ける機能を備えていてもよい。なお、その場合、本システムは、新たにアップロード等された住宅画像に対して、適宜、タグ付けを行ってもよい。
【0072】
また、上述の実施形態において、本システムは、タグの付与を統計的機械学習による学習の結果に基づいて自動で行われるものとして説明したが、限定されない。本システムは、例えば、統計的機械学習の適用の有無を問わず、任意の基準によりタグの付与を行ってもよい。また、本システムは、例えば、単に人により行われたタグ付けの結果の入力を受け付け、情報として取得してもよい。
【0073】
また、上述の実施形態において、本システムは、タグ付けの基準として「場所」、「スタイル」、「素材」、「アイテム」、「感情」の５つの基準を採用するものとして説明したが、限定されない。本システムは、他の任意の基準をタグ付けの基準として採用してもよい。
【0074】
また、上述の実施形態において、本システムは、「場所」、「スタイル」、「素材」、「アイテム」、「感情」の基準の全てを考慮して、ユーザベクトルを生成するものとして説明したが、限定されない。本システムは、例えば、「場所」、「スタイル」、「素材」、「アイテム」、「感情」の基準のうち任意の基準のみを考慮して、ユーザベクトルを生成してもよい。
【0075】
また、上述の実施形態において、本システムが「場所」、「スタイル」、「素材」、「アイテム」、「感情」の基準でタグ付けを行う場合の基準や付与するタグの例を説明したが、これらは全て例示であり、限定されない。本システムは、上述の例以外の任意の基準でタグ付けを行ってもよいし、上述の例以外の任意のタグを採用しタグ付けを行ってもよい。
【0076】
なお、上述の実施形態では説明を省略したが、ユーザ端末２がお気に入り画像情報を送信するタイミングや、サーバ１で取得されたお気に入り画像情報に基づいてタグ付け等が行われるタイミングは、いずれも任意である。本システムは、例えば、ユーザにより図示せぬ表示領域がクリック等された場合に各種処理が行われる仕様を採用してもよいし、ユーザの操作により各種条件が更新された場合に常時各種処理が行われる仕様を採用してもよい。
【0077】
また、上述の実施形態（特に図５及び図６の実施形態）では簡易的な説明に留めたが、本システムは、特に場所のタグ付けにおいて、階層的な学習により得られた結果を採用することができる。具体的に図５や図６の例で示した階層を含むタグ付けの内容を加味して、学習を行うことで、本システムは、より学習精度を向上させることができる。
【0078】
また、上述の実施形態（特に図４や図８の実施形態）では簡易的な説明に留めたが、本システムは、単にお気に入り画像の追加や削除ができるだけでなく、さらに充実したユーザ管理機能を備えていてもよい。具体的に例えば、本システムは、顧客情報の管理機能、業務進捗管理機能、イベント等の予約機能、ＳＮＳ等のコミュニケーション機能、ユーザからのコメント（住宅の好みや要望、建築予定地、予算等に関する情報）の受け付け機能等を備えていてもよい。
【0079】
また、上述の実施形態では説明を省略したが、本システムのタグ付けの基準は、全ての基準を同列に扱う必要はなく、重み付けを採用してもよい。例えば、感情の基準において、例えば「落ち着く」のタグの優先度に対して、例えば「家族団らん・温もり」のタグの優先度は相対的に高く設定されてもよい。
【0080】
また、上述の実施形態では説明を省略したが、本システムは、ユーザとの対話機能を備えていてもよい。具体的に例えば、本システムは、ユーザに対して、質問等を提示し、その質問への回答を入力させることで、よりマッチングの精度を高められる可能性がある。
【0081】
また、上述の実施形態では簡易的な説明に留めたが、本システムが生成するベクトルは、任意の方法で数値化してもよい。本システムでは、具体的に例えば、場所のベクトルとしてリビング（０．７）、ダイニング（０．６）、キッチンなど、スタイルのベクトルとして洋風（１．０）など、和風（０．０）、感情のベクトルとしてかっこいい（１．０）、可愛い（０．０）などのように、より具体的なタグ項目として数値を持ってもよい。
【0082】
また、上述の実施形態では説明を省略したが、本システムは、例えば、新たな住宅画像の選択や住宅事業者の推薦に、以下のような要素を利用してもよい。
（１）本システムは、例えば、新たな住宅画像の選択や住宅事業者の推薦に、画像の特徴量を利用してもよい。
（２）本システムは、例えば、新たな住宅画像の選択や住宅事業者の推薦に、画像に含まれるテキスト（文字や数字等）を利用してもよい。
なお、本システムは、これらの要素を利用する場合、いずれもタグ付けの基準として利用してもよい。
（１）本システムは、例えば、新たな住宅画像の選択や住宅事業者の推薦に、画像の特徴量を利用してもよい。
（２）本システムは、例えば、新たな住宅画像の選択や住宅事業者の推薦に、画像に含まれるテキスト（文字や数字等）を利用してもよい。
なお、本システムは、これらの要素を利用する場合、いずれもタグ付けの基準として利用してもよい。
【0083】
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【0084】
換言すると、図３等の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは図３等の例に限定されない。また、機能ブロックの存在場所も、図３等の例に限定されず、任意でよい。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは図３等の例に限定されない。また、機能ブロックの存在場所も、図３等の例に限定されず、任意でよい。
【0085】
また、１つの機能ブロックは、ハードウェア単体で構成されてもよいし、ソフトウェア単体で構成されてもよいし、それらの組み合わせで構成されてもよい。
【0086】
また、本システムを構成する各種ハードウェアの数や使用者は任意であるし、他のハードウェアなどを含み構成されてもよい。
【0087】
また例えば、本システムを構成する各種ハードウェアや使用者の数は上述の例に限定されず任意である。また、本システムは、上述の各種ハードウェアだけでなく、他のハードウェア等を含み組み合わせて構成されてもよい。
【0088】
また例えば、本システムは、いわゆるクラウド型のシステムのようにＷｅｂ等を介して各種処理を実行し、処理結果を各種ハードウェアに送る等の構成を採用してもよい。
【0089】
また、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
【0090】
また、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータであってもよい。
【0091】
すなわち、例えば、上述の実施形態における各種ハードウェアには、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。
【0092】
また、このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成されてもよい。
【0093】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理は勿論、並列的又は個別に実行されてもよい。また、上述の実施形態で記載するステップは、一部が省略されてもよい。
【0094】
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味している。
【0095】
また、これらの他の実施形態を採用した場合においても、本実施形態の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。
【0096】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
【0097】
即ち、本発明の第１の態様は、住宅に関する画像の処理にかかる情報処理装置であって、前記住宅にかかる建設事業者から前記住宅を含む画像に関する情報を、第１画像情報として記憶する記憶手段と、前記住宅にかかるユーザから前記住宅を含む画像に関する情報を、第２画像情報として取得する第２画像情報取得手段と、前記第２画像情報にかかる所定の基準に基づく分類に関する情報を、分類情報として取得する分類情報取得手段と、を備える情報処理装置である。
【0098】
また、第１の態様において、前記情報処理装置は、前記分類情報取得手段で取得された分類情報に基づいて、前記ユーザに推奨し得る建設事業者を決定する第１決定手段をさらに備えることができる。
【0099】
また、第１の態様において、前記情報処理装置は、前記分類情報取得手段で取得された分類情報に基づいて、前記ユーザに提示し得る新たな住宅画像の候補を決定する第２決定手段をさらに備えることができる。
【0100】
また、第１の態様において、場所に関する基準、スタイルに関する基準、素材に関する基準、アイテムに関する基準及び感情に関する基準の少なくともいずれかに基づいて、分類された情報を取得することができる。
【0101】
また、第１の態様において、前記分類情報取得手段は、統計的手法による学習の結果に基づいて、前記第２画像情報にかかる画像に付与されたタグに関する情報を取得することができる。
【0102】
また、第１の態様において、前記分類情報取得手段は、統計的手法による学習の結果を考慮して、決定の基準となる数値を生成することができる。
【0103】
また、第１の態様において、前記分類情報取得手段は、階層構造を利用した学習手法を含む学習を行うことができる。
【0104】
また、本発明の第２の態様は、住宅に関する画像の処理にかかるコンピュータが実行する情報処理方法であって、前記住宅にかかる建設事業者から前記住宅を含む画像に関する情報を、第１画像情報として記憶する記憶手段と、前記住宅にかかるユーザから前記住宅を含む画像に関する情報を、第２画像情報として取得する第２画像情報取得手段と、前記第２画像情報にかかる所定の基準に基づく分類に関する情報を、分類情報として取得する分類情報取得手段と、を含む情報処理方法である。
【0105】
また、本発明の第３の態様は、住宅に関する画像の処理にかかるコンピュータに、前記住宅にかかる建設事業者から前記住宅を含む画像に関する情報を、第１画像情報として記憶する記憶手段と、前記住宅にかかるユーザから前記住宅を含む画像に関する情報を、第２画像情報として取得する第２画像情報取得手段と、前記第２画像情報にかかる所定の基準に基づく分類に関する情報を、分類情報として取得する分類情報取得手段と、を含む処理を実行させるプログラムである。
【0106】
これにより、ユーザは、直感的に分かりやすく、自身の好みの住宅事業者を選定することができる。
【0107】
以上で示したように、本実施形態では、ユーザにより選択された住宅画像に基づいて、ユーザの趣向にあった住宅事業者や新たな住宅画像の提案を行うための各種サービスを実現することが可能である。以下では、これらのサービスについて各種の多様な側面について説明する。なお、以上で示した実施形態と共通する部分については、図示及び説明等を適宜省略したり、同一の符号を付して説明したりする。
【0108】
［情報処理システムの構成例］
図１１は、情報処理システムＩＳ１の構成例を示すブロック図である。情報処理システムＩＳ１は、図１、図３に示す情報処理システムに対応する。また、サーバ１は、図１～図３に示すサーバ１に対応する。また、ユーザ端末２は、図１、図３に示すユーザ端末２に対応する。
図１１は、情報処理システムＩＳ１の構成例を示すブロック図である。情報処理システムＩＳ１は、図１、図３に示す情報処理システムに対応する。また、サーバ１は、図１～図３に示すサーバ１に対応する。また、ユーザ端末２は、図１、図３に示すユーザ端末２に対応する。
【0109】
情報処理システムＩＳ１は、サーバ１及びユーザ端末２により構成される。例えば、サーバ１及びユーザ端末２が所定のネットワークＮ（図１参照）を介して接続される。なお、これらの各器機間の通信については、有線通信を利用した通信又は無線通信を利用した通信が行われる。また、これらの各器機間の通信については、ネットワークＮを経由した通信以外に機器間で直接通信するようにしてもよい。
【0110】
【0111】
通信部３１０は、有線通信又は無線通信の少なくとも１つを利用して、他の機器との間で各種情報のやりとりを行うものである。例えば、通信部３１０は、ユーザ端末２から送信された各種情報を受信する受信処理、ユーザ端末２に対して各種情報を送信する送信処理等を実行する。
【0112】
制御部３２０は、情報取得部３２１と、タグ生成部３２２と、ベクトル生成部３２３と、抽出部３２４と、情報提供部３２５とを備える。
【0113】
情報取得部３２１は、ユーザ端末２から送信された各種情報を受信し、その受信した各情報を各部に供給するものである。
【0114】
タグ生成部３２２は、情報取得部３２１から出力された情報（例えば、住宅画像、その他の画像）についてタグを生成するものであり、生成されたタグに関する情報（タグ情報）をベクトル生成部３２３に出力する。例えば、タグ生成部３２２は、情報取得部３２１から出力された情報が、画像情報ＤＢ（Data Base）３４０に格納されている住宅画像である場合には、その住宅画像に関連付けられているタグ情報３４３（図１３参照）を取得する。また、タグ生成部３２２は、情報取得部３２１から出力された情報が他の画像である場合には、タグ情報ＤＢ３６０に格納されているタグ情報に基づいてタグを生成することが可能である。また、タグ生成部３２２は、情報取得部３２１から出力された情報が他の画像である場合には、ＡＩ（Artificial Intelligent）モデルを用いてタグを生成することが可能である。なお、タグの生成方法については、図１２等を参照して詳細に説明する。
【0115】
ベクトル生成部３２３は、タグ生成部３２２から出力されたタグ情報（ベクトル成分）に基づいて、ユーザ端末２のユーザの好みに応じたユーザベクトルを生成するものであり、生成されたユーザベクトルを抽出部３２４に出力する。なお、ユーザベクトルの生成方法については、図１５等を参照して詳細に説明する。
【0116】
抽出部３２４は、各部から出力された情報に基づいて、記憶部３３０に格納されている各ＤＢから所望の情報を抽出するものであり、抽出された各情報を情報提供部３２５に出力する。例えば、抽出部３２４は、ベクトル生成部３２３からユーザベクトルが出力された場合には、そのユーザベクトルと、住宅事業者ＤＢ３５０に格納されている住宅事業者ベクトルとを比較して、各ベクトルの類似度に基づいて、ユーザ端末２のユーザの好みに応じた住宅事業者を抽出する。また、例えば、抽出部３２４は、新たな住宅画像の提供がユーザ端末２から要求された場合には、ベクトル生成部３２３により生成されたユーザベクトルと、画像情報ＤＢ３４０に格納されているタグ情報３４３（ベクトル）とを比較して、各ベクトルの類似度に基づいて、ユーザ端末２のユーザの好みに応じた住宅画像を抽出する。なお、これらの各ユーザベクトルの生成方法については、図１５等を参照して詳細に説明する。
【0117】
情報提供部３２５は、各部から出力された情報をユーザ端末２に送信する送信制御を実行するものである。
【0118】
記憶部３３０は、各種情報を記憶する記憶媒体である。例えば、記憶部３３０には制御部３２０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、画像情報３４０（図１３参照）、住宅事業者ＤＢ３５０（図１４参照）、タグ情報ＤＢ３６０、ＡＩモデル）が記憶される。また、記憶部３３０には、通信部３１０を介して取得された各種情報が記憶される。記憶部３３０として、例えば、ＲＯＭ、ＲＡＭ、ＳＲＡＭ（Static Random Access Memory）、ＨＤＤ、ＳＳＤ、又は、これらの組み合わせを用いることができる。
【0119】
画像情報ＤＢ３４０は、住宅事業者により提供された住宅画像と、この画像に基づいて生成された複数のタグの特徴量とを関連付けて格納するためのデータベースである。なお、画像情報ＤＢ３４０については、図１３を参照して詳細に説明する。
【0120】
住宅事業者ＤＢ３５０は、住宅事業者に関する各種情報を関連付けて格納するためのデータベースである。なお、住宅事業者ＤＢ３５０については、図１４を参照して詳細に説明する。
【0121】
タグ情報ＤＢ３６０は、タグ生成部３２２によりタグ情報が生成される場合に用いられる情報を格納するためのデータベースである。例えば、ＡＩモデルを用いてタグ情報が生成される場合には、ＡＩモデルに関する情報が格納される。
【0122】
［ユーザ端末の構成例］
ユーザ端末２は、通信部４１０と、位置情報取得部４２０と、画像取得部４３０と、音取得部４４０と、制御部４５０と、ＵＩ（User Interface）部４６０と、記憶部４７０とを備える。ユーザ端末２は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等の情報処理装置、電子機器等の機器により実現される。なお、ユーザ端末２が備える各部は、一例であり、これらのうちの一部を省略してもよく、他の部材を追加してもよい。例えば、ユーザ端末２がパーソナルコンピュータである場合には、位置情報取得部４２０及び画像取得部４３０を省略したり、外部機器としたりすることが可能である。
ユーザ端末２は、通信部４１０と、位置情報取得部４２０と、画像取得部４３０と、音取得部４４０と、制御部４５０と、ＵＩ（User Interface）部４６０と、記憶部４７０とを備える。ユーザ端末２は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等の情報処理装置、電子機器等の機器により実現される。なお、ユーザ端末２が備える各部は、一例であり、これらのうちの一部を省略してもよく、他の部材を追加してもよい。例えば、ユーザ端末２がパーソナルコンピュータである場合には、位置情報取得部４２０及び画像取得部４３０を省略したり、外部機器としたりすることが可能である。
【0123】
通信部４１０は、制御部４５０の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。
【0124】
位置情報取得部４２０は、ユーザ端末２が存在する位置に関する位置情報を取得するものであり、取得した位置情報を制御部４５０に出力する。位置情報取得部４２０は、例えば、ＧＰＳ（Global Positioning System：全地球測位システム）信号を受信してそのＧＰＳ信号に基づいて位置情報を算出するＧＰＳ受信機により実現することができる。また、その算出された位置情報には、ＧＰＳ信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得する位置情報取得装置を用いるようにしてもよい。例えば、周囲に存在する無線ＬＡＮによるアクセスポイント情報を用いて位置情報を導き出し、この位置情報を取得する位置情報取得装置を用いるようにしてもよい。また、例えば、通話や通信に利用する基地局の位置情報を用いて位置情報を導き出し、この位置情報を取得する位置情報取得装置を用いるようにしてもよい。また、例えば、ナビゲーション機能による位置推定技術を用いて位置情報を導き出し、この位置情報を取得する位置情報取得装置を用いるようにしてもよい。例えば、各種センサ（例えば、加速度センサ、ジャイロセンサ）によるセンサ情報と、地図情報とに基づいて、自機器の位置を推定することができる。
【0125】
画像取得部４３０は、制御部４５０の制御に基づいて、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像を制御部４５０に出力する。画像取得部４３０は、例えば、レンズ（図示省略）により集光された被写体からの光を入射する撮像素子（イメージセンサ、画像センサ）、その撮像素子により生成された画像データについて所定の画像処理を施す画像処理部等により構成される。撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子を用いることができる。
【0126】
音取得部４４０は、制御部４５０の制御に基づいて、ユーザ端末２の周囲の音を取得するものであり、取得された音に関する音情報を制御部４５０に出力する。音取得部４４０として、例えば、１又は複数のマイクや音取得センサを用いることができる。
【0127】
制御部４５０は、記憶部４７０に記憶されている各種プログラムに基づいて各部を制御するものである。制御部４５０は、例えば、ＣＰＵ等の処理装置により実現される。なお、制御部４５０により実行される各処理については、図１５乃至図１８等を参照して詳細に説明する。
【0128】
記憶部４７０は、各種情報を記憶する記憶媒体である。例えば、記憶部４７０には制御部４５０が各種処理を行うために必要となる各種情報（例えば、制御プログラム、画像情報ＤＢ８００（図２２参照）、住宅事業者アプリ、機器識別情報）が記憶される。また、記憶部４７０には、通信部４１０を介して取得された各種情報が記憶される。記憶部４７０として、例えば、ＲＯＭ、ＲＡＭ、ＳＲＡＭ、ＨＤＤ、ＳＳＤ、又は、これらの組み合わせを用いることができる。なお、記憶部４７０については、取り外し可能な記憶部とするようにしてもよく、ユーザ端末２に内蔵される記憶部としてもよい。また、ユーザ端末２には、取り外し可能な記憶部と、内蔵される記憶部との双方を設けるようにしてもよい。
【0129】
ＵＩ部４６０は、受付部４６１と、出力部４６２とを備える。
【0130】
受付部４６１は、ユーザからの各種操作を受け付けるものであり、その受け付けられた操作内容を制御部４５０に出力する。なお、受付部４６１及び出力部４６２については、ユーザがその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。別体のユーザインタフェースとして構成する場合には、スイッチ、ボタン、キーボード等の各種操作部材を受付部４６１として用いることが可能である。また、操作部に相当する画像を壁等に投影して、その画像を利用（例えば、ユーザが指す）して操作を行うことが可能なユーザインタフェースとしてもよい。また、ユーザが発する音声に基づいて各種操作を受け付ける音取得部４４０等を受付部４６１として用いてもよい。
【0131】
出力部４６２は、制御部４５０の制御に基づいて、各種情報を出力するものである。例えば、出力部４６２は、表示部及び音出力部により構成することが可能である。この表示部は、制御部４５０からの指示に基づいて、各種画像を表示する。表示部として、例えば、有機ＥＬ（Electro Luminescence）パネル、ＬＣＤ（Liquid Crystal Display）パネル等の表示パネルを用いることができる。音出力部は、制御部４５０からの指示に基づいて、各種音声を出力する。音出力部として、例えば１又は複数のスピーカを用いることができる。なお、表示部、音出力部、音取得部４４０、受付部４６１は、ユーザインタフェースの一例であり、これらのうちの一部を省略してもよく、他のユーザインタフェースを用いてもよい。
【0132】
［タグ付け例］
ここでは、画像情報ＤＢ３４０に格納されている画像情報に付与されるタグ付けについて説明する。例えば、本実施形態におけるサービスを利用する住宅事業者によりサーバ１にアップロードされた画像情報が画像情報ＤＢ３４０に格納される。すなわち、住宅事業者によりサーバ１にアップロードされた画像情報が住宅画像として登録される。このように住宅画像が登録された場合には、その住宅画像についてタグ付与処理が実行される。そして、登録された住宅画像と、これについて生成されたタグとが関連付けて画像情報ＤＢ３４０に格納される。
ここでは、画像情報ＤＢ３４０に格納されている画像情報に付与されるタグ付けについて説明する。例えば、本実施形態におけるサービスを利用する住宅事業者によりサーバ１にアップロードされた画像情報が画像情報ＤＢ３４０に格納される。すなわち、住宅事業者によりサーバ１にアップロードされた画像情報が住宅画像として登録される。このように住宅画像が登録された場合には、その住宅画像についてタグ付与処理が実行される。そして、登録された住宅画像と、これについて生成されたタグとが関連付けて画像情報ＤＢ３４０に格納される。
【0133】
ここで、タグは、上述したように、各画像の性質等に基づいて、画像（住宅画像）を分類する基準であり、その分類の際に基準となる項目も意味する。すなわち、住宅画像のタグ付けは、住宅画像の意味付けと称することが可能である。また、タグは、画像（住宅画像）の特徴（特徴量）を抽出する際に基準となる項目を意味する。また、タグは、画像（住宅画像）を識別するための情報と称することも可能である。なお、以下で示すラベルは、画像（住宅画像）の特徴、属性等を表す情報も意味する。このように、タグ及びラベルは、略同じ意味、似たような意味を有するため、以下では、タグとラベルとを同一の意味として使用することもある。
【0134】
また、本実施形態では、タグと、これに対応する特徴（特徴量）とが関連付けられている情報を、タグ情報と称して説明する。ただし、タグ情報については、タグ辞書、メタデータ、付随情報、付加情報等と称することも可能である。また、本実施形態では、タグに対応する特徴として、数値化された特徴量を用いる例について説明する。
【0135】
図１２（Ａ）には、住宅画像に付与されるタグの一例を示す。ここでは、上述したように、「場所」、「スタイル」、「素材」、「アイテム」、「感情」のそれぞれのタグを使用する例を示す。
【0136】
場所タグは、住宅画像に含まれる場所を表すラベルを意味する。なお、同一の住宅画像において複数の場所が含まれる場合もある。例えば、同一の住宅画像において「玄関」、「階段」が含まれる場合には、複数の場所が含まれることになる。また、ある場所（例えば、リビング）とそれに紐付いた他の場所（スキップフロア）とを有する階層構造となることもある。例えば、住宅画像に含まれる場所に関する場所タグとして、住宅全体の外観、玄関、階段、リビング、キッチン、水回り、部屋等が付与される。なお、場所タグは、例えば、多段階（例えば、０～４の５段階、０～１の範囲）で表すことも可能である。
【0137】
スタイルタグは、住宅画像に含まれる場所のスタイルを表すラベルを意味する。なお、同一の住宅画像に含まれる住宅等が複数のスタイルを有する場合もある。例えば、同一の住宅画像において「ナチュラル」、「和風」が含まれる場合には、複数のスタイルが含まれることになる。また、例えば、住宅画像に含まれる住宅の外観が自然に近い木造の外観であれば、「ナチュラル」、「ウッディ」等の情報がスタイルタグとして付与される。また、上述したように、例えば、「アーバン」、「ダークトーン」、「ウッディ」、「ナチュラル」、「和風」、「ビンテージ」、「古民家」、「モダン」、「シンプル」等の各種建築の分野で知られる各種スタイルの基準をスタイルタグとして採用することが可能である。なお、スタイルタグは、例えば、多段階（例えば、０～４の５段階、０～１の範囲）で表すことも可能である。例えば、０～１の範囲で表す場合において、ウッディ要素の入ったモダンな住宅画像であれば、モダン：０．７、ウッディ：０．４等の評価値を付与することが可能である。
【0138】
素材タグは、住宅画像に含まれる素材を表すラベルを意味する。なお、同一の住宅画像において複数の素材が含まれる場合もある。例えば、同一の住宅画像において「木材」、「ガラス」が含まれる場合には、複数の素材が含まれることになる。例えば、住宅画像に含まれる素材として、「木材」、「木目調」、「タイル」、「コンクリート・モルタル」、「鋼材・アイアン」、「デザインクロス」「ガラス」、「ステンレス」等の特徴的な素材に関する情報が素材タグとして付与される。なお、素材タグは、例えば、多段階（例えば、０～４の５段階、０～１の範囲）で表すことも可能である。
【0139】
アイテムタグは、薪ストーブ、太陽光パネル等のアイテムを表すラベルを意味する。なお、同一の住宅画像において複数のアイテムが含まれる場合もある。例えば、同一の住宅画像において「薪ストーブ」、「太陽光パネル」が含まれる場合には、複数のアイテムが含まれることになる。例えば、住宅画像に薪ストーブが含まれていれば、薪ストーブのアイテムとして「薪ストーブ有」を示すアイテムタグが付与され、住宅画像に太陽光パネルが含まれていれば、太陽光パネルのアイテムとして「太陽光パネル有」を示すアイテムタグが付与される。一方、住宅画像に薪ストーブが含まれていなければ、薪ストーブのアイテムとして「薪ストーブ無」を示すアイテムタグが付与され、住宅画像に太陽光パネルが含まれていなければ、太陽光パネルのアイテムとして「太陽光パネル無」を示すアイテムタグが付与される。なお、アイテムタグとして、薪ストーブ、太陽光パネル以外のアイテムを表すラベルを付与することも可能である。また、アイテムタグは、例えば、多段階（例えば、０～４の５段階、０～１の範囲）で表すことも可能である。
【0140】
感情タグは、住宅画像の雰囲気、見た目の感情を表すラベルを意味する。この感情タグは、例えば、多段階（例えば、０～４の５段階、０～１の範囲）で表すことが可能である。例えば、住宅画像に関する感情として、「家族団らん・温もり」、「開放感」、「高級感・上品・ラグジュアリー」、「落ち着く」、「かっこいい・シック」、「派手」、「カジュアル・ポップ」、「重厚感」、「洗練・スタイリッシュ」、「かわいい」等の感情の基準が採用される。そして、例えば、住宅画像に対して、これらの各感情の基準が０～１の範囲で評価された結果に関する情報が、感情タグとして付与される。
【0141】
［人の作業によるタグの付与例］
住宅事業者によりサーバ１に住宅画像がアップロードされた場合には、その住宅画像について人の作業でタグを付与するタグ付与処理を実行することが可能である。例えば、住宅画像に含まれる場所、スタイル、素材、アイテム、住宅画像に関する感情等を人が判断し、その判断結果に基づいて、上述した各タグ情報を住宅画像に付与することが可能である。しかし、このように人の作業でタグを付与する場合には、専門知識を持った人員が登録時に必要となるが、そのような人員を得るのは困難となることが多い。そこで、以下では、人工知能（ＡＩ）等を用いてタグ付与処理を実行する例を示す。なお、本実施形態では、主にＡＩを用いてタグを付与する例について説明する。
住宅事業者によりサーバ１に住宅画像がアップロードされた場合には、その住宅画像について人の作業でタグを付与するタグ付与処理を実行することが可能である。例えば、住宅画像に含まれる場所、スタイル、素材、アイテム、住宅画像に関する感情等を人が判断し、その判断結果に基づいて、上述した各タグ情報を住宅画像に付与することが可能である。しかし、このように人の作業でタグを付与する場合には、専門知識を持った人員が登録時に必要となるが、そのような人員を得るのは困難となることが多い。そこで、以下では、人工知能（ＡＩ）等を用いてタグ付与処理を実行する例を示す。なお、本実施形態では、主にＡＩを用いてタグを付与する例について説明する。
【0142】
［ＡＩを用いたタグの付与例］
［学習に使用する画像と教師ラベルの例］
図１２（Ｂ）には、学習に使用する画像ＩＭＧ１の一例を示す。なお、画像ＩＭＧ１は、学習に使用する画像（例えば住宅画像）の一例である。すなわち、ＡＩを用いて住宅画像にタグを付与するタグ付与処理を実行する場合には、画像ＩＭＧ１等の各種画像を教師データとして使用することが可能である。なお、画像ＩＭＧ１は、説明を容易にするための簡略化した画像である。
［学習に使用する画像と教師ラベルの例］
図１２（Ｂ）には、学習に使用する画像ＩＭＧ１の一例を示す。なお、画像ＩＭＧ１は、学習に使用する画像（例えば住宅画像）の一例である。すなわち、ＡＩを用いて住宅画像にタグを付与するタグ付与処理を実行する場合には、画像ＩＭＧ１等の各種画像を教師データとして使用することが可能である。なお、画像ＩＭＧ１は、説明を容易にするための簡略化した画像である。
【0143】
また、本実施形態では、タグパターン（場所、スタイル、素材、アイテム、感情）毎にＡＩモデルを生成する例を示す。すなわち、場所、スタイル、素材、アイテム、感情のそれぞれを学習した５つのＡＩモデルを生成する例を示す。なお、ＡＩモデルの生成はこれに限定されず、全てのタグパターン（場所、スタイル、素材、アイテム、感情）について１つのＡＩモデルを生成してもよく、全てのタグパターン（場所、スタイル、素材、アイテム、感情）のうちの２乃至４のパターンについて複数のＡＩモデルを生成してもよい。
【0144】
画像ＩＭＧ１を学習する場合には、所定のタグをそれぞれ教師ラベルとして画像ＩＭＧ１に付与する。そして、学習するＡＩモデル毎に該当するタグパターン（場所、スタイル、素材、アイテム、感情）を抜き出して学習に用いる。
【0145】
以下では、画像ＩＭＧ１の教師ラベルの一例を示す。すなわち、学習に使用する画像ＩＭＧ１に教師ラベルとして付与するタグの一例を示す。なお、以下で示す内容（（１）～（５））は、説明を容易にするための簡略化した内容であり、これに限定されない。
（１）場所タグ：リビング：その他、スキップフロア
（２）スタイルタグ：ナチュラル、ウッディ
（３）素材タグ：木材・木目、カーペット
（４）アイテムタグ：該当なし
（５）感情タグ：
家族団らん・温もり：０．８７５
高級感・上品・ラグジュアリー：０．１２５
かっこいい・シック：０．３７５
カジュアル・ポップ：０．５
洗練・スタイリッシュ：０．７５
開放感：０．３７５
落ち着く：０．７５
派手：０
重厚感：０
かわいい：０．３７５
（１）場所タグ：リビング：その他、スキップフロア
（２）スタイルタグ：ナチュラル、ウッディ
（３）素材タグ：木材・木目、カーペット
（４）アイテムタグ：該当なし
（５）感情タグ：
家族団らん・温もり：０．８７５
高級感・上品・ラグジュアリー：０．１２５
かっこいい・シック：０．３７５
カジュアル・ポップ：０．５
洗練・スタイリッシュ：０．７５
開放感：０．３７５
落ち着く：０．７５
派手：０
重厚感：０
かわいい：０．３７５
【0146】
図１２（Ａ）に示すように、付与するタグは予め決められている。なお、各タグは重複を許すマルチラベルとする。例えば、場所タグ、スタイルタグ、素材タグのそれぞれは、該当するものが画像ＩＭＧ１に含まれる場合には「１」とし、該当するものが画像ＩＭＧ１に含まれない場合には「０」とする。すなわち、上記の例では、画像ＩＭＧ１に「リビング」、「スキップフロア」が含まれるため、（１）場所タグの「リビング」には「１」が付与され、（１）場所タグの、その他の「スキップフロア」には「１」が付与され、その他の場所タグには「０」が付与される。また、画像ＩＭＧ１に「ナチュラル」、「ウッディ」が含まれるため、（２）スタイルタグの「ナチュラル」及び「ウッディ」のそれぞれには「１」が付与され、その他のスタイルタグには「０」が付与される。また、画像ＩＭＧ１に「木材・木目」、「カーペット」が含まれるため、（３）素材タグの「木材・木目」及び「カーペット」のそれぞれには「１」が付与され、その他の素材タグには「０」が付与される。
【0147】
また、例えば、感情タグは、０～１の間でどの程度に当てはまるかを数値化したタグとする。この場合には、感情タグが０であれば、該当する感情の程度が最も低く、感情タグが１であれば、該当する感情の程度が最も高いことを意味する。
【0148】
また、例えば、アイテムタグは該当するものが画像に存在しているか否かを表すタグとする。すなわち、アイテムタグは、該当するものが画像ＩＭＧ１に含まれる場合には「１」とし、該当するものが画像ＩＭＧ１に含まれる場合には「０」とする。すなわち、上記の例では、画像ＩＭＧ１にアイテムタグに該当する物体が含まれないため、（４）アイテムタグの各項目には「０」が付与される。すなわち、画像ＩＭＧ１にはアイテムタグに該当する物体が含まれないことが付与される。
【0149】
また、学習に使用する画像ＩＭＧ１以外の他の画像（例えば住宅画像）についても同様に、所定のタグをそれぞれ教師ラベルとして付与して学習に用いる。
【0150】
なお、ここでは、場所タグ、スタイルタグ、素材タグ、アイテムタグのそれぞれについては、０又は１を付与する例を示したが、これらのうちの少なくとも１つについても、感情タグと同様に、多段階（例えば、０～１の範囲）で表すことが可能である。上述したように、例えば、ウッディ要素の入ったモダンな住宅画像であれば、モダン：０．７、ウッディ：０．４等のスタイルタグとすることが可能である。
【0151】
［学習に使用するＡＩモデルの生成例］
上述した教師データ（例えば画像ＩＭＧ１）と教師ラベル（例えば各タグ情報）とを用いてＡＩモデル（例えば、機械学習されて生成される機械学習モデル）を生成する。なお、本実施形態で示す学習は、多量のデータに基づいて、これらのデータの背後にある規則性を見出すことを意味するものとする。また、本実施形態で示す学習により生成されるＡＩモデルは、各種の学習アルゴリズムにより生成される。例えば、教師データ（例えば画像ＩＭＧ１）と教師ラベル（例えば各タグ情報）とを読み込ませて予め学習しておき、このＡＩモデルをタグ付与処理に用いることが可能である。なお、ＡＩモデルとして、例えば、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、ＶｉＴ（Vision Transformer）等を用いることが可能である。なお、これらについては、所定のアプリケーションをサーバ１にインストールすることで実行可能である。
上述した教師データ（例えば画像ＩＭＧ１）と教師ラベル（例えば各タグ情報）とを用いてＡＩモデル（例えば、機械学習されて生成される機械学習モデル）を生成する。なお、本実施形態で示す学習は、多量のデータに基づいて、これらのデータの背後にある規則性を見出すことを意味するものとする。また、本実施形態で示す学習により生成されるＡＩモデルは、各種の学習アルゴリズムにより生成される。例えば、教師データ（例えば画像ＩＭＧ１）と教師ラベル（例えば各タグ情報）とを読み込ませて予め学習しておき、このＡＩモデルをタグ付与処理に用いることが可能である。なお、ＡＩモデルとして、例えば、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、ＶｉＴ（Vision Transformer）等を用いることが可能である。なお、これらについては、所定のアプリケーションをサーバ１にインストールすることで実行可能である。
【0152】
［学習したＡＩモデルによる出力例］
上述したように、タグパターン（場所、スタイル、素材、アイテム、感情）毎にＡＩモデルが生成されるため、タグパターン毎に５つのＡＩモデルが用意される。このため、サーバ１に登録された住宅画像を、それぞれ５つのＡＩモデルに入力する。これにより、５つのＡＩモデルは、それぞれ場所、スタイル、素材、アイテム、感情についてタグ付けをした結果を出力する。このように、５つのＡＩモデルを用いて、入力された画像に対して、設定されたタグに関するタグ情報を付して出力することが可能である。なお、住宅画像以外の画像の入力に対しても、設定されたタグに関するタグ情報を付して出力することも可能である。
上述したように、タグパターン（場所、スタイル、素材、アイテム、感情）毎にＡＩモデルが生成されるため、タグパターン毎に５つのＡＩモデルが用意される。このため、サーバ１に登録された住宅画像を、それぞれ５つのＡＩモデルに入力する。これにより、５つのＡＩモデルは、それぞれ場所、スタイル、素材、アイテム、感情についてタグ付けをした結果を出力する。このように、５つのＡＩモデルを用いて、入力された画像に対して、設定されたタグに関するタグ情報を付して出力することが可能である。なお、住宅画像以外の画像の入力に対しても、設定されたタグに関するタグ情報を付して出力することも可能である。
【0153】
［画像情報ＤＢの構成例］
図１３は、画像情報ＤＢ３４０に格納されている画像情報の格納内容を簡略化して示す図である。
図１３は、画像情報ＤＢ３４０に格納されている画像情報の格納内容を簡略化して示す図である。
【0154】
画像情報ＤＢ３４０は、住宅事業者により提供された住宅画像と、この画像に基づいて生成された複数のタグの特徴量とを関連付けて格納するためのデータベースである。
【0155】
具体的には、画像情報３４２と、タグ情報３４３と、住宅事業者識別情報３４４とが画像識別情報３４１に関連付けて画像情報ＤＢ３４０に格納される。
【0156】
画像識別情報３４１は、ユーザに提供するために住宅事業者が用意した各住宅画像を識別するための識別情報である。なお、図１３では、説明を容易にするため、識別情報として数値のみを画像識別情報３４１に格納する例を示すが、他の識別情報を用いてもよい。
【0157】
画像情報３４２は、ユーザに提供するために住宅事業者が用意した画像に関する情報である。なお、図１３では、説明を容易にするため、画像のみを画像情報３４２に格納する例を示すが、画像に関連付けて格納されている各種属性情報を含めてもよい。
【0158】
タグ情報３４３は、画像情報３４２に格納されている画像について生成されたタグ情報である。具体的には、上述したタグ付与処理により付与されたタグ情報が格納される。また、これらのタグ情報のうち、感情及びスタイルについては、ユーザベクトルを生成する際に用いられる。また、これらのタグ情報のうち、場所、素材、アイテムについては、住宅画像、住宅事業者等の検索の絞り込みに利用することが可能である。
【0159】
例えば、画像情報ＤＢ３４０に格納されている住宅画像をユーザ端末２のＵＩ部４６０（図１１参照）に表示する場合に、ユーザの好みの住宅画像を絞り込む場合に利用することが可能である。例えば、リビングにこだわりがあるユーザであれば、住宅画像に関連付けられている場所タグに基づいて「リビング」に絞った住宅画像をＵＩ部４６０に表示させることが可能である。この場合には、ＵＩ部４６０に表示された住宅画像（場所タグの「リビング」に「１（又は０よりも大きい数値）」が付与された住宅画像）のうちから、ユーザが好みの住宅画像を選択することが可能である。これにより、自分の好みをより反映させたユーザベクトル（後述する）を生成することが可能である。また、例えば、ストーブのある部屋が好みのユーザであれば、住宅画像に関連付けられているアイテムタグに基づいて「ストーブ」のある住宅画像に絞った住宅画像をＵＩ部４６０に表示させることが可能である。この場合には、ＵＩ部４６０に表示された住宅画像（アイテムタグの「ストーブ」に「１（又は０よりも大きい数値）」が付与された住宅画像）のうちから、ユーザが好みの住宅画像を選択することが可能である。これにより、自分の好みをより反映させたユーザベクトルを生成することが可能である。また、例えば、コンクリート剥き出し部屋が好みのユーザであれば、住宅画像に関連付けられている素材タグに基づいて「コンクリート」のある住宅画像に絞った住宅画像をＵＩ部４６０に表示させることが可能である。この場合には、ＵＩ部４６０に表示された住宅画像（素材タグの「コンクリート」に「１（又は０よりも大きい数値）」が付与された住宅画像）のうちから、ユーザが好みの住宅画像を選択することが可能である。これにより、自分の好みをより反映させたユーザベクトルを生成することが可能である。また、例えば、ソーラーパネルを扱っている住宅業者のみを推薦して欲しければ、住宅画像に関連付けられているアイテムタグに基づいて「ソーラーパネル」のある住宅画像に絞った住宅画像をＵＩ部４６０に表示させることが可能である。この場合には、ＵＩ部４６０に表示された住宅画像（アイテムタグの「ソーラーパネル」に「１（又は０よりも大きい数値）」が付与された住宅画像）のうちから、ユーザが好みの住宅画像を選択することが可能である。これにより、ソーラーパネルを扱っている住宅業者をより適切に推薦することが可能である。なお、これらの住宅画像、住宅事業者等の検索の絞り込みについては、図示及び他の説明を省略する。
【0160】
住宅事業者識別情報３４４は、画像情報３４２に格納されている画像を提供した住宅事業者を識別するための識別情報である。なお、図１３では、説明を容易にするため、住宅事業者の名称を住宅事業者識別情報３４４に格納する例を示すが、住宅事業者を識別可能な他の情報（例えば、通し番号、符号）を用いてもよい。
【0161】
なお、図１３に示す各情報は、画像情報ＤＢ３４０に格納する情報の一例であり、他の情報を関連付けて格納してもよく、これらのうちの一部を必要に応じて省略してもよい。
【0162】
［住宅事業者情報ＤＢの構成例］
図１４は、住宅事業者ＤＢ３５０に格納されている住宅事業者情報の格納内容を簡略化して示す図である。なお、住宅事業者ＤＢ３５０は、図３に示す住宅事業者ＤＢ４００に対応する。
図１４は、住宅事業者ＤＢ３５０に格納されている住宅事業者情報の格納内容を簡略化して示す図である。なお、住宅事業者ＤＢ３５０は、図３に示す住宅事業者ＤＢ４００に対応する。
【0163】
住宅事業者ＤＢ３５０は、住宅事業者に関する各種情報を関連付けて格納するためのデータベースである。
【0164】
具体的には、住宅事業者識別情報３５１と、プロフィール情報３５２と、タグ情報３５３とが関連付けて住宅事業者ＤＢ３５０に格納される。
【0165】
住宅事業者識別情報３５１は、住宅事業者を識別するための識別情報である。なお、住宅事業者識別情報３５１は、図１３に示す住宅事業者識別情報３４４に対応する。また、図１３に示す例と同様に、図１４では、説明を容易にするため、住宅事業者の名称を住宅事業者識別情報３５１に格納する例を示すが、住宅事業者を識別可能な他の情報（例えば、通し番号、符号）を用いてもよい。
【0166】
プロフィール情報３５２は、住宅事業者識別情報３５１に住宅事業者識別情報が格納されている住宅事業者に関する各種情報である。例えば、住宅事業者の住所、住宅事業者の紹介情報等が格納される。このプロフィール情報は、住宅事業者により適宜編集することが可能である。
【0167】
タグ情報３５３は、住宅事業者識別情報３５１に住宅事業者識別情報が格納されている住宅事業者について付与されたタグ情報である。このタグ情報として、図１３に示すタグ情報３４３のうちの「スタイル」及び「感情」に関する情報のみが格納される。また、このタグ情報については、住宅事業者により適宜設定可能としてもよく、住宅事業者によりサーバ１にアップロードされた複数の住宅画像について付与された各タグ情報の演算結果に基づいて格納してもよい。例えば、サーバ１にアップロードされた複数の住宅画像について付与された各タグ情報のうち「スタイル」及び「感情」に関する各要素の平均値を、「スタイル」及び「感情」に関する各要素として格納することが可能である。また、「スタイル」及び「感情」に関する各要素の算出方法については、後述するユーザベクトルの算出方法と同様の算出方法を採用してもよい。このタグ情報については、ユーザに推薦する住宅事業者を選択する際に用いられる。
【0168】
なお、図１４に示す各情報は、住宅事業者ＤＢ３５０に格納する情報の一例であり、他の情報を関連付けて格納してもよく、これらのうちの一部を必要に応じて省略してもよい。
【0169】
［お気に入り画像の選択例］
図１５は、ユーザ端末２のＵＩ部４６０に表示される選択画面５００の表示例を示す図である。選択画面５００は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
図１５は、ユーザ端末２のＵＩ部４６０に表示される選択画面５００の表示例を示す図である。選択画面５００は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
【0170】
選択画面５００には、複数の住宅画像５０３乃至５０８を表示する住宅画像表示領域５０１と、決定ボタン５０２とが表示される。具体的には、サーバ１の情報提供部３２５は、ユーザ端末２からの要求に基づいて、選択画面５００を表示するための選択画面情報をユーザ端末２に送信する。その選択画面情報をユーザ端末２が受信すると、制御部４５０は、受信した選択画面情報に基づいて選択画面５００をＵＩ部４６０に表示させる。なお、住宅画像表示領域５０１には、ユーザ操作に基づいて、他の住宅画像を表示することが可能である。
【0171】
また、制御部４５０は、ＵＩ部４６０の受付部４６１においてユーザ操作が受け付けられた場合には、そのユーザ操作に基づいて各種処理を実行する。例えば、住宅画像表示領域５０１に表示されている好みの住宅画像を選択する選択操作（例えば、タッチ操作）がユーザにより行われると、その選択操作がされた好みの住宅画像を選択状態とする。例えば、その選択操作がされた好みの住宅画像を、他の住宅画像とは異なる表示態様（例えば、お気に入りボタン５０９（星領域）を黒塗とする、太線で囲む、特定の色を付す）とすることにより選択状態がユーザにわかるようにする。図１５では、お気に入りボタン５０９（星領域）を黒塗りとすることで住宅画像５０３が選択状態とされた例を示す。なお、ユーザによる選択操作が行われた後には、ユーザにより選択状態とされた住宅画像のみを表示させることが可能である。この例を図４に示す。この場合には、図４で示したように、お気に入りボタン（星領域）の選択操作（例えばクリック操作）をすることで、住宅画像の選択状態を解除することも可能である。
【0172】
また、１又は複数の住宅画像がユーザにより選択された後に、ユーザが決定ボタン５０２を選択する選択操作（例えば、タッチ操作）を実行した場合には、制御部４５０は、ユーザにより選択された１又は複数枚の住宅画像に関する画像選択情報をサーバ１に送信する。その画像選択情報をサーバ１が受信すると、情報取得部３２１は、その受信した画像選択情報をタグ生成部３２２及びベクトル生成部３２３に出力する。
【0173】
［ユーザベクトルの生成例］
タグ生成部３２２は、ユーザ端末２から送信された画像選択情報に対応する１又は複数の住宅画像に関連付けられているタグ情報を、画像情報ＤＢ３４０から取得する。具体的には、タグ生成部３２２は、その画像選択情報に対応する１又は複数の住宅画像に対応する画像識別情報３４１に関連付けられている１又は複数のタグ情報を画像情報ＤＢ３４０のタグ情報３４３から取得し、取得されたタグ情報をベクトル生成部３２３に出力する。
タグ生成部３２２は、ユーザ端末２から送信された画像選択情報に対応する１又は複数の住宅画像に関連付けられているタグ情報を、画像情報ＤＢ３４０から取得する。具体的には、タグ生成部３２２は、その画像選択情報に対応する１又は複数の住宅画像に対応する画像識別情報３４１に関連付けられている１又は複数のタグ情報を画像情報ＤＢ３４０のタグ情報３４３から取得し、取得されたタグ情報をベクトル生成部３２３に出力する。
【0174】
次に、ベクトル生成部３２３は、タグ生成部３２２から出力されたタグ情報に基づいて、画像選択情報を送信したユーザに関するユーザベクトルを生成する。なお、ユーザ端末２から送信された画像選択情報に対応する住宅画像が１つの場合には、その１つの住宅画像に関連付けられているタグ情報を、ユーザベクトルとすることが可能である。
【0175】
ここで、住宅画像を見たユーザの好みを適切に取得するためには、住宅画像の見た目と、住宅画像から得られる印象とが重要であると考えられる。そこで、本実施形態では、各タグ情報のうちから、スタイルタグ及び感情タグのそれぞれの情報を用いて、ユーザの好みに応じたユーザベクトルを生成する例を示す。なお、場所タグ、素材タグ、アイテムタグのそれぞれの情報については、上述したように、検索の絞り込みに利用することが可能である。なお、ここで示すユーザベクトルの生成例は一例であり、スタイルタグ及び感情タグと、これ以外の他のタグ情報（場所タグ、素材タグ、アイテムタグのタグ情報）とのうちの少なくとも１つを用いてユーザベクトルを生成してもよい。
【0176】
例えば、ベクトル生成部３２３は、タグ生成部３２２から出力されたタグ情報に対応する各ベクトルのうち、スタイルタグ及び感情タグのそれぞれを構成する要素について加算処理を実行し、その加算結果を、加算対象となったベクトルの数で除算することでユーザベクトルを生成することが可能である。
【0177】
例えば、ユーザにより３の住宅画像が選択された場合を想定する。この選択された３の住宅画像に関連付けられているタグ情報（タグベクトル）のうち、スタイルタグを構成する要素を［ａ１，… ，ａｎ１］，［ｂ１，… ，ｂｎ１］，［ｃ１，… ，ｃｎ１］とし、感情タグを構成する要素を［ｘ１，… ，ｘｎ２］，［ｙ１，… ，ｙｎ２］，［ｚ１，… ，ｚｎ２］とする。ただし、ｎ１は、スタイルタグの各項目の数を意味し、ｎ２は、感情タグの各項目の数を意味する。また、各要素の成分（数値）は、０～１の範囲の値である。
【0178】
この場合には、ベクトル生成部３２３は、３つの多次元ベクトル（［ａ１，… ，ａｎ１］，［ｂ１，… ，ｂｎ１］，［ｃ１，… ，ｃｎ１］）に対して、各成分を加算した値を３で除算した値［（ａ１＋ｂ１＋ｃ１）／３，… ，（ａｎ１＋ｂｎ１＋ｃｎ１）／３］を、スタイルタグに関するユーザベクトルとして生成する。同様に、ベクトル生成部３２３は、３つの多次元ベクトル（［ｘ１，… ，ｘｎ２］，［ｙ１，… ，ｙｎ２］，［ｚ１，… ，ｚｎ２］）に対して、各成分を加算した値を３で除算した値［（ｘ１＋ｙ１＋ｚ１）／３，…，（ｘｎ２＋ｙｎ２＋ｚｎ２）／３］を、感情タグに関するユーザベクトルとして生成する。そして、ベクトル生成部３２３は、スタイルタグに関するユーザベクトルと、感情タグに関するユーザベクトルとの組み合わせを、ユーザベクトルとする。具体的には、［（ａ１＋ｂ１＋ｃ１）／３，… ，（ａｎ１＋ｂｎ１＋ｃｎ１）／３，（ｘ１＋ｙ１＋ｚ１）／３，… ，（ｘｎ２＋ｙｎ２＋ｚｎ２）／３］をユーザベクトルとする。この場合に、ユーザベクトルの各要素と、事業者ベクトルの各要素とが対応する関係となる。
【0179】
このように、ユーザにより選択された複数の住宅画像の平均値をユーザベクトルとすることが可能である。しかし、本実施形態は、これに限定されず、他の演算方法によりユーザベクトルを生成することが可能である。例えば、各住宅画像のスタイルタグに関してのみｓｏｆｔｍａｘ関数を用いた後に平均を演算する演算方法を採用することが可能である。また、例えば、Ｍａｘ関数を用いて平均を演算する演算方法を採用することが可能である。また、本実施形態では、スタイルタグ及び感情タグのそれぞれを構成する要素を用いてユーザベクトルを生成する例を示すが、これに限定されず、スタイルタグ及び感情タグ以外の少なくとも１つの要素を用いてユーザベクトルを生成してもよく、他のタグ情報を用いてユーザベクトルを生成してもよい。
【0180】
［住宅事業者の選択例］
抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルに基づいて、住宅事業者ＤＢ３５０に住宅事業者情報が格納されている各住宅事業者のうちから、ユーザベクトルに対応するユーザの好みに応じた住宅事業者を抽出する。例えば、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルと、住宅事業者ＤＢ３５０のタグ情報３５３に格納されている事業者ベクトルとを比較し、この比較結果に基づいて、ユーザの好みに応じた住宅事業者を抽出する。
抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルに基づいて、住宅事業者ＤＢ３５０に住宅事業者情報が格納されている各住宅事業者のうちから、ユーザベクトルに対応するユーザの好みに応じた住宅事業者を抽出する。例えば、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルと、住宅事業者ＤＢ３５０のタグ情報３５３に格納されている事業者ベクトルとを比較し、この比較結果に基づいて、ユーザの好みに応じた住宅事業者を抽出する。
【0181】
上述したように、事業者ベクトル（タグ情報３５３）は、スタイルベクトルと感情ベクトルの組み合わせで構成される。ここでは、ある事業者の事業者ベクトル（タグ情報３５３）が［Ｓ１，… ，Ｓｎ１，Ｅ１，… ，Ｅｎ２］で表現されている場合の例を示す。ただし、ｎ１は、スタイルタグの各項目の数を意味し、ｎ２は、感情タグの各項目の数を意味する。また、各要素の成分（数値）は、タグ情報３５３の値に対応する。
【0182】
この場合には、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルと、ある事業者の事業者ベクトル（タグ情報３５３）［Ｓ１，… ，Ｓｎ１，Ｅ１，… ，Ｅｎ２］とを比較し、この比較結果に基づいて、両者の類似度を判定する。例えば、ユーザベクトルが［（ａ１＋ｂ１＋ｃ１）／３，… ，（ａｎ１＋ｂｎ１＋ｃｎ１）／３，（ｘ１＋ｙ１＋ｚ１）／３，… ，（ｘｎ２＋ｙｎ２＋ｚｎ２）／３］である場合には、このユーザベクトルと、ある事業者の事業者ベクトル［Ｓ１，… ，Ｓｎ１，Ｅ１，… ，Ｅｎ２］とを比較する。
【0183】
例えば、抽出部３２４は、ユーザベクトルと各事業者ベクトルとのコサイン類似度を事業者ベクトル毎に算出する。このコサイン類似度の算出方法については、公知の算出方法を用いることが可能である。また、コサイン類似度を算出する場合には、各ベクトルを正規化しておくことが好ましい。そして、抽出部３２４は、そのコサイン類似度が最も高い事業者ベクトル（すなわち、ユーザベクトルとのコサインの値が最も小さい）に対応する住宅事業者を、ユーザの好みに応じた住宅事業者として抽出する。なお、コサイン類似度が高いことは、ベクトル空間において距離が近いことを意味する。また、複数の住宅事業者をユーザに提供する場合には、抽出部３２４は、算出されたコサイン類似度が高い所定数（例えば２乃至１０程度）の住宅事業者を抽出することが可能である。このように抽出される住宅事業者の数については、ユーザ端末２を用いたユーザ操作に基づいて指定してもよい。
【0184】
なお、他の演算方法により住宅事業者の抽出処理を実行してもよい。例えば、抽出部３２４は、ユーザベクトルを構成する各成分と、各事業者ベクトルを構成する各成分（ユーザベクトルの各成分に対応する成分）との差分値（対応する成分毎）を事業者ベクトル毎に算出し、この差分値の合計値を事業者ベクトル毎に算出する。そして、抽出部３２４は、その差分値の合計値が最も小さい事業者ベクトルに対応する住宅事業者を、ユーザの好みに応じた住宅事業者として抽出してもよい。
【0185】
このように、ユーザベクトルと最も類似する事業者ベクトルに対応する１の住宅事業者を選択してもよいし、ユーザベクトルとの類似度が高い所定数の事業者ベクトルに対応する住宅事業者を類似度が高い順に複数選択してもよい。言い換えると、ユーザベクトルと最も距離が近い事業者ベクトルに対応する１の住宅事業者を選択してもよいし、距離が近い事業者ベクトルに対応する住宅事業者を近い順に複数選択してもよい。
【0186】
また、抽出部３２４は、抽出された住宅事業者に関する情報（例えば、プロフィール情報３５２、画像情報３４２）を情報提供部３２５に出力する。
【0187】
そして、情報提供部３２５は、抽出された住宅事業者に関する選択住宅事業者情報（例えば、プロフィール情報３５２、画像情報３４２）をユーザ端末２に送信する。
【0188】
［選択事業者情報の表示例］
図１６は、ユーザ端末２のＵＩ部４６０に表示される選択事業者情報画面５１０の表示例を示す図である。選択事業者情報画面５１０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
図１６は、ユーザ端末２のＵＩ部４６０に表示される選択事業者情報画面５１０の表示例を示す図である。選択事業者情報画面５１０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
【0189】
選択事業者情報画面５１０には、サーバ１の抽出部３２４により抽出された住宅事業者に関する情報（例えば、プロフィール情報３５２、画像情報３４２）が表示される。例えば、選択事業者情報画面５１０には、プロフィール情報表示領域５１１と、サーバ１の抽出部３２４により抽出された住宅事業者に関連付けられている複数の住宅画像５１６乃至５１８を表示する住宅画像表示領域５１２と、新たな画像を再提案ボタン５１４と、決定ボタン５１５とが表示される。具体的には、サーバ１の情報提供部３２５は、選択事業者情報画面５１０を表示するための画面情報をユーザ端末２に送信する。その画面情報をユーザ端末２が受信すると、制御部４５０は、受信した画面情報に基づいて選択事業者情報画面５１０をＵＩ部４６０に表示させる。なお、住宅画像表示領域５１２には、ユーザ操作に基づいて、抽出された住宅事業者に関連付けられている他の住宅画像を表示することが可能である。
【0190】
また、制御部４５０は、ＵＩ部４６０の受付部４６１においてユーザ操作が受け付けられた場合には、そのユーザ操作に基づいて各種処理を実行する。例えば、プロフィール情報表示領域５１１に表示されているプロフィールと、住宅画像表示領域５１２に表示されている複数の住宅画像５１６乃至５１８とを確認した後に、プロフィール情報表示領域５１１に表示されているプロフィールの住宅事業者を、好みの住宅事業者として決定する場合には、ユーザは、決定ボタン５１５を選択する選択操作（例えば、タッチ操作）を行う。この決定ボタン５１５の選択操作が行われた場合には、制御部４５０は、その選択操作がされた旨を示す決定情報をサーバ１に送信する。サーバ１は、その決定情報を受信すると、制御部３２０は、その受信した決定情報に対応する住宅事業者とユーザとの間で何らかのやり取りを可能とするための所定の処理を実行する。この所定の処理として、例えば、ユーザに関する情報（ユーザの同意を得た情報）を、その決定情報に対応する住宅事業者に送信する送信処理と、その決定情報に対応する住宅事業者にアクセスするための情報（例えば、電話番号、電子メールアドレス、ＵＲＬ、ＳＮＳ等のアクセス情報）をユーザに送信する送信処理とのうちの少なくとも１つが実行される。これにより、ユーザは、自分の好みに応じた住宅事業者に容易に迅速にアクセスすることが可能となる。
【0191】
ここで、プロフィール情報表示領域５１１に表示されているプロフィールと、住宅画像表示領域５１２に表示されている複数の住宅画像５１６乃至５１８とを確認した後に、プロフィール情報表示領域５１１に表示されているプロフィールの住宅事業者の再提案を、ユーザが要求することも想定される。例えば、プロフィール情報表示領域５１１に表示されているプロフィールに含まれる住所を確認したユーザが、場所が遠いことを理由に再提案を要求することが考えられる。また、住宅画像表示領域５１２に表示されている複数の住宅画像５１６乃至５１８を確認したユーザが、自分の好みの画像がないことを理由に再提案を要求することが考えられる。
【0192】
このように、プロフィール情報表示領域５１１に表示されているプロフィールの住宅事業者の再提案を、ユーザが要求する場合には、ユーザは、新たな画像を再提案ボタン５１４を選択する選択操作（例えば、タッチ操作）を行う。この新たな画像を再提案ボタン５１４の選択操作が行われた場合には、制御部４５０は、その選択操作がされた旨を示す再提案要求情報をサーバ１に送信する。その再提案要求情報をサーバ１が受信すると、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルに基づいて、ユーザに新たに提供するための住宅画像を画像情報ＤＢ３４０から抽出する。例えば、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルと、画像情報ＤＢ３４０のタグ情報３４３に格納されているタグ情報（スタイル、感情）とを比較し、この比較結果に基づいて、ユーザの好みに応じた住宅画像を新たに抽出する。具体的には、抽出部３２４は、ユーザベクトルを構成する各成分と、各タグ情報（各ベクトル）を構成する各成分との差分値をタグ情報毎に算出し、この差分値の合計値をタグ情報毎に算出する。そして、抽出部３２４は、その差分値の合計値が小さい所定数のタグ情報に対応する住宅画像を、ユーザの好みに応じた新たな住宅画像として抽出する。なお、比較対象となる各ベクトルのコサイン類似度を用いて、コサイン類似度が高い所定数のタグ情報に対応する住宅画像を、ユーザの好みに応じた新たな住宅画像として抽出してもよい。また、他の演算方法を用いて、ユーザの好みに応じた新たな住宅画像を抽出してもよい。
【0193】
また、抽出部３２４は、抽出された新たな住宅画像に関する住宅画像情報（例えば、画像情報３４２）を情報提供部３２５に出力する。
【0194】
［新たな住宅画像の選択例］
図１７は、ユーザ端末２のＵＩ部４６０に表示される選択画面５２０の表示例を示す図である。選択画面５２０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
図１７は、ユーザ端末２のＵＩ部４６０に表示される選択画面５２０の表示例を示す図である。選択画面５２０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
【0195】
選択画面５２０には、複数の住宅画像５２３乃至５２８を表示する住宅画像表示領域５２１と、決定ボタン５２２とが表示される。なお、選択画面５２０は、図１５に示す選択画面５００に対応する表示画面であり、住宅画像表示領域５２１及び決定ボタン５２２は、住宅画像表示領域５０１及び決定ボタン５０２に対応する。このため、これらの詳細な説明を省略する。また、各画像の選択操作、決定操作についても図１５に示す例と同様であるため、これらの詳細な説明を省略する。
【0196】
また、１又は複数の住宅画像がユーザにより選択された後に、ユーザが決定ボタン５２２を選択する選択操作（例えば、タッチ操作）を実行した場合には、制御部４５０は、ユーザにより選択された１又は複数枚の住宅画像に関する画像選択情報をサーバ１に送信する。なお、その画像選択情報を用いたタグ生成部３２２によるタグ生成処理、ベクトル生成部３２３によるベクトル生成処理、抽出部３２４による住宅事業者抽出処理については、上述した例と同様である。
【0197】
このように、ユーザにより選択された住宅画像（お気に入り画像）に基づいて生成されたユーザベクトルを用いて、住宅画像を新たに選択してユーザに提供することが可能である。また、これらの各処理を複数回実施することで、ユーザへのレコメンドを精緻化することが可能となる。また、過去の演算結果（例えば、１乃至数回前のユーザベクトル）を用いて住宅画像を新たに選択してもよい。
【0198】
［サーバの動作例］
図１８は、サーバ１による住宅事業者選択処理の一例を示すフローチャートである。また、この住宅事業者選択処理は、記憶部３３０（図１１参照）に記憶されているプログラムに基づいて、制御部３２０（図１１参照）により実行される。また、この住宅事業者選択処理は、制御周期毎に常時実行される。また、この住宅事業者選択処理では、図１乃至図１７を適宜参照して説明する。
図１８は、サーバ１による住宅事業者選択処理の一例を示すフローチャートである。また、この住宅事業者選択処理は、記憶部３３０（図１１参照）に記憶されているプログラムに基づいて、制御部３２０（図１１参照）により実行される。また、この住宅事業者選択処理は、制御周期毎に常時実行される。また、この住宅事業者選択処理では、図１乃至図１７を適宜参照して説明する。
【0199】
ステップＳ６０１において、情報提供部３２５は、ユーザ端末２からの住宅画像要求に基づいて住宅画像情報をユーザ端末２に送信する。この住宅画像情報は、ユーザ端末２のＵＩ部４６０に選択画面５００（図１５参照）を表示させるための情報である。例えば、ユーザ端末２に所定のアプリケーション（住宅事業者アプリ）をインストールすることにより、本実施形態におけるサービスの提供をユーザ端末２が受けることが可能としてもよい。この場合には、ユーザ端末２においてその住宅事業者アプリを起動させることによりユーザ端末２の制御部４５０は、住宅画像要求をサーバ１に送信する。
【0200】
ステップＳ６０２において、情報取得部３２１は、画像選択情報（お気に入り画像情報）をユーザ端末２から受信したか否かを判定する。例えば、選択画面５００（図１５参照）においてユーザにより住宅画像の選択処理が行われた後に決定ボタン５０２の選択操作が行われた場合には、ユーザ端末２の制御部４５０は、画像選択情報をサーバ1に送信する。画像選択情報を受信した場合には、ステップＳ６０３に進む。一方、画像選択情報を受信していない場合には監視を継続して行う。
【0201】
ステップＳ６０３において、タグ生成部３２２は、ステップＳ６０２で受信した画像選択情報に対応する１又は複数の住宅画像に関連付けられているタグ情報を、画像情報ＤＢ３４０から取得する。なお、このタグ情報の取得方法については、上述した取得方法と同様である。
【0202】
ステップＳ６０４において、ベクトル生成部３２３は、ステップＳ６０３で取得されたタグ情報に基づいて、画像選択情報を送信したユーザ端末２のユーザに関するユーザベクトルを生成する。なお、このユーザベクトルの生成方法については、上述した生成方法と同様である。
【0203】
ステップＳ６０５において、抽出部３２４は、ステップＳ６０４で生成されたユーザベクトルに基づいて、住宅事業者ＤＢ３５０に住宅事業者情報が格納されている各住宅事業者のうちから、ユーザベクトルに対応するユーザの好みに応じた住宅事業者を抽出して選択する。この住宅事業者の選択方法（抽出方法）については、上述した抽出方法と同様である。
【0204】
ステップＳ６０６において、情報提供部３２５は、ステップＳ６０５で選択された住宅事業者に関する選択住宅事業者情報（例えば、プロフィール情報３５２、画像情報３４２）をユーザ端末２に送信する。この選択住宅事業者情報をユーザ端末２が受信すると、ユーザ端末２の制御部４５０は、選択事業者情報画面５１０（図１６参照）をＵＩ部４６０に表示させる。
【0205】
ステップＳ６０７において、情報取得部３２１は、ステップＳ６０６で選択住宅事業者情報を送信したユーザ端末２から決定情報を受信したか否かを判定する。例えば、選択事業者情報画面５１０（図１６参照）においてユーザにより決定ボタン５１５の選択操作が行われた場合には、ユーザ端末２の制御部４５０は、決定情報をサーバ1に送信する。決定情報を受信した場合には、ステップＳ６０８に進む。一方、決定情報を受信していない場合には、ステップＳ６０９に進む。
【0206】
ステップＳ６０８において、制御部３２０は、ステップＳ６０７で受信した決定情報に対応する住宅事業者（選択住宅事業者）をユーザ端末２のユーザに紹介するための所定処理を実行する。この所定処理については、上述した所定処理と同様である。
【0207】
ステップＳ６０９において、情報取得部３２１は、ステップＳ６０６で選択住宅事業者情報を送信したユーザ端末２から再提案要求情報を受信したか否かを判定する。例えば、選択事業者情報画面５１０（図１６参照）においてユーザにより新たな画像を再提案ボタン５１４の選択操作が行われた場合には、ユーザ端末２の制御部４５０は、再提案要求情報をサーバ1に送信する。再提案要求情報を受信した場合には、ステップＳ６１０に進む。一方、再提案要求情報を受信していない場合には、ステップＳ６０７に戻る。
【0208】
ステップＳ６１０において、抽出部３２４は、ステップＳ６０４で生成されたユーザベクトルに基づいて、ユーザに新たに提供するための住宅画像を画像情報ＤＢ３４０から抽出する。
【0209】
ステップＳ６１１において、情報提供部３２５は、ステップＳ６１１で抽出された新たな住宅画像に関する住宅画像情報（例えば、画像情報３４２）をユーザ端末２に送信する。この住宅画像情報は、ユーザ端末２のＵＩ部４６０に選択画面５２０（図１７参照）を表示させるための情報である。
【0210】
［効果例］
ここで、ユーザは、好みの住宅に関して、抽象的な理想のイメージや好みを有しているものの、住宅のイメージや要望を明確に言語化することは困難であることが想定される。このため、住宅のイメージや要望等の質問をユーザに回答してもらい、このユーザの回答等に基づいて住宅事業者を提案すると、適切な住宅事業者を提案することができないおそれがある。そこで、本実施形態では、ユーザ端末２に表示された複数の住宅画像のうちからユーザの好みに応じた住宅画像を選択することで、ユーザの好みを適切に取得することが可能である。そして、ユーザの好みに応じた住宅画像に関するタグ情報を用いてユーザベクトルを生成し、このユーザベクトルと住宅事業者ベクトルとの比較結果に基づいて、ユーザに住宅事業者を提案するため、ユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
ここで、ユーザは、好みの住宅に関して、抽象的な理想のイメージや好みを有しているものの、住宅のイメージや要望を明確に言語化することは困難であることが想定される。このため、住宅のイメージや要望等の質問をユーザに回答してもらい、このユーザの回答等に基づいて住宅事業者を提案すると、適切な住宅事業者を提案することができないおそれがある。そこで、本実施形態では、ユーザ端末２に表示された複数の住宅画像のうちからユーザの好みに応じた住宅画像を選択することで、ユーザの好みを適切に取得することが可能である。そして、ユーザの好みに応じた住宅画像に関するタグ情報を用いてユーザベクトルを生成し、このユーザベクトルと住宅事業者ベクトルとの比較結果に基づいて、ユーザに住宅事業者を提案するため、ユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0211】
［ユーザによる住宅画像の編集例］
ここで、ユーザに提供された住宅画像のうちに、ユーザの好みに合致したものがないことも想定される。この場合には、ユーザが好み住宅画像を選択することが困難となることも想定される。そこで、ユーザに提供された住宅画像をユーザの好みに合わせて一時的に編集可能とすることで、ユーザが好み住宅画像を選択しやすいようにすることが考えられる。
ここで、ユーザに提供された住宅画像のうちに、ユーザの好みに合致したものがないことも想定される。この場合には、ユーザが好み住宅画像を選択することが困難となることも想定される。そこで、ユーザに提供された住宅画像をユーザの好みに合わせて一時的に編集可能とすることで、ユーザが好み住宅画像を選択しやすいようにすることが考えられる。
【0212】
［アイテム情報ＤＢの構成例］
図１９は、アイテム情報ＤＢ３７０に格納されているアイテム情報の格納内容を簡略化して示す図である。なお、アイテム情報ＤＢ３７０は、サーバ１の記憶部３３０に格納してもよく、サーバ１以外の外部機器に格納して用いてもよい。
図１９は、アイテム情報ＤＢ３７０に格納されているアイテム情報の格納内容を簡略化して示す図である。なお、アイテム情報ＤＢ３７０は、サーバ１の記憶部３３０に格納してもよく、サーバ１以外の外部機器に格納して用いてもよい。
【0213】
アイテム情報ＤＢ３７０は、住宅事業者により提供された画像を編集するためのアイテムと、このアイテムについて生成された複数のタグの特徴量とを関連付けて格納するためのデータベースである。
【0214】
具体的には、画像情報３７２と、タグ情報３７３とがアイテム識別情報３７１に関連付けてアイテム情報ＤＢ３７０に格納される。
【0215】
アイテム識別情報３７１は、サービス提供者が用意した各アイテムを識別するための識別情報である。なお、図１９では、説明を容易にするため、識別情報としてアイテムを示す名称のみをアイテム識別情報３７１に格納する例を示すが、他の識別情報を用いてもよい。
【0216】
画像情報３７２は、ユーザが編集可能となるようにサービス提供者が用意したアイテム画像に関する情報である。なお、図１９では、説明を容易にするため、画像のみを画像情報３７２に格納する例を示すが、画像に関連付けて格納されている各種属性情報（例えば、サイズ情報）を含めてもよい。
【0217】
タグ情報３７３は、画像情報３７２に格納されているアイテム画像について生成されたタグ情報である。このタグ情報については、ユーザベクトルを生成する際に用いられる。なお、図１９では、図１３に示すタグ情報３４３と同じ内容のタグ情報を格納する例を示すが、これらのうちの必要となる情報のみを格納して他の情報を省略してもよい。
【0218】
［ユーザによる住宅画像の編集画面例］
図２０は、ユーザ端末２のＵＩ部４６０に表示される編集画面７００の表示例を示す図である。編集画面７００は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
図２０は、ユーザ端末２のＵＩ部４６０に表示される編集画面７００の表示例を示す図である。編集画面７００は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
【0219】
編集画面７００には、複数の住宅画像７０３乃至７０６を表示する住宅画像表示領域７０１と、決定ボタン７０２と、アイテム表示領域７１０とが表示される。具体的には、サーバ１の情報提供部３２５は、編集画面７００を表示するための編集画面情報をユーザ端末２に送信する。その編集画面情報をユーザ端末２が受信すると、制御部４５０は、受信した編集画面情報に基づいて編集画面７００をＵＩ部４６０に表示させる。なお、住宅画像表示領域７０１は、図１５に示す住宅画像表示領域５０１に対応する。
【0220】
アイテム表示領域７１０は、アイテム情報ＤＢ３７０（図１９参照）にアイテム情報が格納されている各アイテム画像７１１乃至７１８を表示する領域である。ユーザは、アイテム表示領域７１０に表示されている所望のアイテムを、住宅画像表示領域７０１に表示されている所望の住宅画像に移動する移動操作をすることにより、ユーザの好みの画像を生成することが可能となる。例えば、ＵＩ部４６０がタッチパネルで構成されている場合には、ユーザは、所望のアイテムをタッチした状態で所望の住宅画像の位置まで移動する操作（例えばドラッグ＆ドロップ操作）を実行することが可能である。例えば、観葉植物を示すアイテム画像７１２を、住宅画像７０３における所望の位置まで移動する操作をユーザが実行することにより、アイテム画像７１２を住宅画像７０３に配置することが可能である。この移動の遷移を矢印７２０で模式的に示す。また、アイテム画像が配置された住宅画像（編集された住宅画像）については、選択状態とされる。また、アイテム画像を住宅画像内に配置して合成する画像合成処理については、公知の画像処理を用いることが可能である。また、各アイテム画像については、ユーザ操作に基づいて各種画像処理（例えば、拡大縮小、３次元の角度調整、画像の追加編集）を実行可能としてもよい。これらの各画像処理についても、公知の画像処理を用いることが可能である。また、住宅画像に配置されたアイテム画像については、公知の画像処理技術を用いて、住宅画像における他の構成物との関係で適宜変形してもよい。例えば、住宅画像における各物体のサイズに基づいて、アイテム画像を拡大縮小させたり、住宅画像における各物体の傾き等に基づいて、アイテム画像の角度を調整させたりすることが可能である。
【0221】
このように、ユーザの好みに合致する住宅画像が住宅画像表示領域７０１に表示されてない場合には、住宅画像表示領域７０１に表示されている各住宅画像のうちの一部を編集して、ユーザの好みに合致する住宅画像を生成することが可能となる。なお、この編集により生成された住宅画像は、住宅事業者を選択するために一時的に生成された画像であり、住宅事業者の選択処理が終了した後に消去される。
【0222】
このように、制御部４５０は、ＵＩ部４６０の受付部４６１においてユーザ操作が受け付けられた場合には、そのユーザ操作に基づいて各種処理を実行する。例えば、住宅画像表示領域７０１に表示されている住宅画像のうちから編集対象とする住宅画像を選択する選択操作（例えば、タッチ操作）がユーザにより行われると、その選択操作がされた好みの住宅画像を選択状態とする。
【0223】
また、１又は複数の住宅画像をユーザが編集した後に、ユーザが決定ボタン７０２を選択する選択操作（例えば、タッチ操作）を実行した場合には、制御部４５０は、ユーザにより編集された１又は複数枚の住宅画像に関する編集画像情報をサーバ１に送信する。その編集画像情報をサーバ１が受信すると、情報取得部３２１は、その受信した編集画像情報をタグ生成部３２２及びベクトル生成部３２３に出力する。
【0224】
［ユーザベクトルの生成例］
タグ生成部３２２は、ユーザ端末２から送信された編集画像情報に対応する１又は複数の編集画像について、タグ情報を、画像情報ＤＢ３４０及びアイテム情報ＤＢ３７０から取得する。具体的には、タグ生成部３２２は、各編集画像の元の住宅画像に関連付けられているタグ情報を、画像情報ＤＢ３４０から取得するとともに、編集により各編集画像に付加されたアイテムに関連付けられているタグ情報を、アイテム情報ＤＢ３７０から取得する。そして、タグ生成部３２２は、その取得された各タグ情報をベクトル生成部３２３に出力する。
タグ生成部３２２は、ユーザ端末２から送信された編集画像情報に対応する１又は複数の編集画像について、タグ情報を、画像情報ＤＢ３４０及びアイテム情報ＤＢ３７０から取得する。具体的には、タグ生成部３２２は、各編集画像の元の住宅画像に関連付けられているタグ情報を、画像情報ＤＢ３４０から取得するとともに、編集により各編集画像に付加されたアイテムに関連付けられているタグ情報を、アイテム情報ＤＢ３７０から取得する。そして、タグ生成部３２２は、その取得された各タグ情報をベクトル生成部３２３に出力する。
【0225】
次に、ベクトル生成部３２３は、タグ生成部３２２から出力されたタグ情報に基づいて、編集画像情報を送信したユーザに関するユーザベクトルを生成する。この場合には、アイテムに関連付けられているタグ情報を用いる点以外は、上述したユーザベクトルの生成方法と同様であるため、ここでの詳細な説明を省略する。
【0226】
ここで、ユーザによりアイテムが付加されて編集された編集画像については、編集されていない住宅画像よりもユーザの好みが反映されていると考えられる。そこで、ユーザによりアイテムが付加されて編集された編集画像に関連付けられているタグ情報については、他のタグ情報よりも高い重み付けをしてユーザベクトルを生成してもよい。また、複数のアイテムが付加された編集画像となることも想定される。このような編集画像の場合には、ユーザの好みがさらに反映されていると考えられる。そこで、例えば、編集画像に付加されたアイテムの数に応じて、その編集画像に対する重み付けと、その付加されたアイテムに対する重み付けとを大きくしてユーザベクトルを生成してもよい。すなわち、編集画像に付加されたアイテムに関する各種情報（例えば、アイテムの数、住宅画像におけるアイテム画像の割合）に基づいて、その編集画像に対する重み付けと、その付加されたアイテムに対する重み付けとを変更してユーザベクトルを生成してもよい。これにより、ユーザの好みを反映したユーザベクトルを生成することが可能である。
【0227】
ここで、図２０に示すように、住宅画像にアイテムを追加して住宅画像が編集された場合には、その住宅画像におけるアイテムの位置によってスタイル及び感情が異なることも想定される。そこで、上述したスタイル及び感情に関するＡＩモデルを用いて、タグ生成部３２２は、編集画像についてスタイル及び感情に関する新たなタグ情報を生成してもよい。この場合には、ユーザにより編集された編集結果に応じたより適切なタグ情報を生成することが可能となる。
【0228】
［ユーザ端末の動作例］
図２１は、ユーザ端末２による住宅画像編集処理の一例を示すフローチャートである。また、この住宅画像編集処理は、記憶部４７０（図１１参照）に記憶されているプログラムに基づいて、制御部４５０（図１１参照）により実行される。また、この住宅画像編集処理は、制御周期毎に常時実行される。また、この住宅画像編集処理では、図１乃至図２０を適宜参照して説明する。
図２１は、ユーザ端末２による住宅画像編集処理の一例を示すフローチャートである。また、この住宅画像編集処理は、記憶部４７０（図１１参照）に記憶されているプログラムに基づいて、制御部４５０（図１１参照）により実行される。また、この住宅画像編集処理は、制御周期毎に常時実行される。また、この住宅画像編集処理では、図１乃至図２０を適宜参照して説明する。
【0229】
ステップＳ７５１において、制御部４５０は、編集画面情報を要求するための編集画面要求情報をサーバ１に送信する。例えば、編集画面を要求するためのユーザ操作が行われた場合に、制御部４５０は、編集画面要求情報をサーバ１に送信する。
【0230】
ステップＳ７５２において、制御部４５０は、編集画面情報をサーバ１から受信したか否かを判定する。編集画面情報を受信した場合には、ステップＳ７５３に進む。一方、編集画面情報を受信していない場合には監視を継続して行う。
【0231】
ステップＳ７５３において、制御部４５０は、ステップＳ７５２で受信した編集画面情報に基づいて編集画面（例えば、編集画面７００（図２０参照））をＵＩ部４６０に表示させる。
【0232】
ステップＳ７５４において、制御部４５０は、ステップＳ７５３で表示させた編集画面についてユーザ操作が受付部４６１により受け付けられたか否かを判定する。ユーザ操作が受け付けられた場合には、ステップＳ７５５に進む。一方、ユーザ操作が受け付けられていない場合には監視を継続して行う。
【0233】
ステップＳ７５５において、制御部４５０は、ステップＳ７５４で受け付けられたユーザ操作が、編集画面に表示されている住宅画像を編集するための編集操作であるか否かを判定する。例えば、アイテム表示領域７１０（図２０参照）に表示されている所望のアイテムを、住宅画像表示領域７０１（図２０参照）に表示されている所望の住宅画像に移動する移動操作が行われた場合には、ユーザ操作として編集操作が行われたと判定される。ユーザ操作が編集操作である場合には、ステップＳ７５６に進む。一方、ユーザ操作が編集操作でない場合には、ステップＳ７５７に進む。
【0234】
ステップＳ７５６において、制御部４５０は、ステップＳ７５４で受け付けられたユーザ操作（編集操作）に基づいて、住宅画像を編集する編集処理を実行する。例えば、アイテム表示領域７１０に表示されているアイテムを、住宅画像表示領域７０１に表示されている住宅画像に移動する移動操作がされた場合には、その移動操作に応じてアイテムを移動して住宅画像に合成する画像処理が実行される。また、例えば、住宅画像に移動したアイテムを削除する削除操作がされた場合には、その削除操作に応じたアイテムを削除する画像処理が実行される。
【0235】
ステップＳ７５７において、制御部４５０は、ステップＳ７５４で受け付けられたユーザ操作が、１又は複数の住宅画像が編集された後に操作される決定操作であるか否かを判定する。例えば、決定ボタン７０２（図２０参照）を選択する選択操作（例えば、タッチ操作）が行われた場合には、ユーザ操作として決定操作が行われたと判定される。ユーザ操作が決定操作である場合には、ステップＳ７５９に進む。一方、ユーザ操作が決定操作でない場合には、ステップＳ７５８に進む。
【0236】
ステップＳ７５８において、制御部４５０は、ステップＳ７５４で受け付けられたユーザ操作に基づいて所定処理を実行する。例えば、住宅画像表示領域７０１に表示されている住宅画像を選択状態とする選択操作がされた場合には、その選択操作に応じて住宅画像を選択状態とする画像処理が実行される。
【0237】
ステップＳ７５９において、制御部４５０は、ユーザにより編集された１又は複数枚の住宅画像に関する編集画像情報をサーバ１に送信する。
【0238】
このように、ユーザ端末２に表示された複数の住宅画像のうちからユーザの好みに応じた住宅画像を編集可能とすることで、ユーザの主体的な編集に基づいてユーザの好みをさらに適切に表現することが可能である。このため、ユーザの編集結果に基づいてユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0239】
以上では、画像（アイテム画像）を用いて住宅画像を編集する例を示したが、ユーザにより入力（例えば手動入力、音声入力、ジェスチャ入力）されたテキスト情報を用いて住宅画像を編集してもよい。例えば、テキスト情報として「ピアノを置きたい」「ソファを置きたい」等を入力することが考えられる。この場合には、例えば、選択状態とした住宅画像について入力されたテキスト情報を反映させることが可能である。例えば、各スタイルについて学習した生成系ＡＩ（例えば、画像生成ＡＩ（例えば、Ｓｔａｂｌｅ Ｄｉｆｆｕｓｉｏｎ、Ｍｉｄｊｏｕｒｎｅｙ））を用いて、入力されたテキスト情報に関する画像を生成することが可能である。そして、その生成された画像（テキスト情報に関する画像）と、選択状態とした住宅画像とを合成することで所望の編集画像を生成することが可能である。この場合には、例えば、公知の画像合成技術を用いることが可能である。これにより、入力されたテキスト情報に関するスタイルの雰囲気を踏襲して所望の編集画像を生成することが可能である。この場合については、例えば、入力されたテキスト情報の重さ（例えば文字の多さ）に応じて、その編集画像に関連付けられている重み付けと、その入力されたテキスト情報に関連付けられている重み付けとを大きくしてユーザベクトルを生成してもよい。これにより、ユーザの好みを反映したユーザベクトルを生成することが可能である。
【0240】
［ユーザにより取得された画像を用いる例］
上述したように、ユーザに提供された住宅画像のうちに、ユーザの好みに合致したものがないことも想定される。この場合には、ユーザが好み住宅画像を選択することが困難となることも想定される。そこで、ユーザにより取得された画像を用いて、ユーザの好みに応じたユーザベクトルを生成することで、ユーザの好みに応じた住宅事業者を選択することが考えられる。
上述したように、ユーザに提供された住宅画像のうちに、ユーザの好みに合致したものがないことも想定される。この場合には、ユーザが好み住宅画像を選択することが困難となることも想定される。そこで、ユーザにより取得された画像を用いて、ユーザの好みに応じたユーザベクトルを生成することで、ユーザの好みに応じた住宅事業者を選択することが考えられる。
【0241】
［画像情報ＤＢの構成例］
図２２は、画像情報ＤＢ８００に格納されている画像情報の格納内容を簡略化して示す図である。
図２２は、画像情報ＤＢ８００に格納されている画像情報の格納内容を簡略化して示す図である。
【0242】
画像情報ＤＢ８００は、ユーザ端末２の記憶部４７０（図１１参照）に格納されているデータベースである。また、画像情報ＤＢ８００には、画像取得部４３０により取得された画像情報が格納される。例えば、ユーザ端末２としてスマートフォンを用いる場合には、スマートフォンに搭載されているカメラが画像取得部４３０に相当する。
【0243】
ユーザ端末２の制御部４５０は、ユーザにより画像の取得操作（例えば、静止画の撮影操作、動画の撮影操作）が行われた場合には、その取得操作に基づいて画像取得部４３０により取得された画像を画像ファイル（静止画ファイル、動画ファイル）として画像情報ＤＢ８００に記録する。例えば、図２２に示すように、その画像ファイルが画像情報８０２に格納される。
【0244】
この場合に、制御部４５０は、その取得操作がされたタイミングに基づいて、ユーザ端末２の位置情報取得部４２０により取得された位置情報（例えば、緯度及び経度）をその画像ファイルに関連付けて格納する。例えば、図２２に示すように、その画像ファイルに関連付けて、取得された位置情報が位置情報８０３に格納される。例えば、ユーザ端末２としてスマートフォンを用いる場合には、スマートフォンに搭載されているＧＰＳ機器が位置情報取得部４２０に相当する。
【0245】
また、制御部４５０は、その取得操作がされたタイミングに基づいて、ユーザ端末２の音取得部４４０により取得された音声情報をその画像ファイルに関連付けて格納する。例えば、図２２に示すように、その画像ファイルに関連付けて、取得された音声情報が音声情報８０４に格納される。例えば、ユーザ端末２としてスマートフォンを用いる場合には、スマートフォンに搭載されているマイクが音取得部４４０に相当する。なお、静止画を撮影する場合に、その撮影タイミングを基準とする所定時間の音声情報をその静止画に関連付けて格納することが可能である。また、動画を撮影する場合に取得された音声情報を用いて、その動画の代表画像（例えば、最初のフレーム、特徴が最も高いフレーム）を静止画として用いてもよい。
【0246】
例えば、ユーザは、ユーザ端末２を用いてユーザの好みに合う住宅、住宅内、風景、他の被写体を撮影することにより、ユーザの好みに合う画像が画像情報ＤＢ８００に格納される。そこで、画像情報ＤＢ８００に格納された画像情報等を用いてユーザの好みに応じたユーザベクトルを生成することが可能である。なお、ユーザ端末２としてパーソナルコンピュータ等の据置型の機器を用いる場合には、位置情報取得部４２０及び画像取得部４３０を備えていないことも考えられる。この場合には、外部機器を位置情報取得部４２０及び画像取得部４３０として用いてもよく、撮像装置（例えば、スマートフォン、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））を用いて取得された画像情報等を取得して画像情報ＤＢ８００に格納し、これを用いることが可能である。
【0247】
［ユーザによる好みの画像の選択例］
図２３は、ユーザ端末２のＵＩ部４６０に表示される選択画面８１０の表示例を示す図である。選択画面８１０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
図２３は、ユーザ端末２のＵＩ部４６０に表示される選択画面８１０の表示例を示す図である。選択画面８１０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
【0248】
選択画面８１０には、複数の画像８２１乃至８２６を表示する画像表示領域８２０と、選択画像を表示する選択画像表示領域８３０と、位置情報指定領域８１１と、音声情報指定領域８１２と、決定ボタン８１３とが表示される。具体的には、サーバ１の情報提供部３２５は、選択画面８１０を表示するための選択画面情報をユーザ端末２に送信する。その選択画面情報をユーザ端末２が受信すると、制御部４５０は、受信した選択画面情報に基づいて選択画面８１０をＵＩ部４６０に表示させる。
【0249】
画像表示領域８２０は、ユーザ端末２の画像情報ＤＢ８００に画像情報が格納されている各画像８２１乃至８２６を表示する領域である。すなわち、制御部４５０は、画像情報ＤＢ８００に格納されている各画像情報を取得し、選択画面８１０の画像表示領域８２０に表示させる。なお、ここで表示対象とする画像については、住宅画像に限定されず、各種画像を表示することが可能である。
【0250】
ユーザは、画像表示領域８２０に表示されている所望の画像を、選択画像表示領域８３０に移動する移動操作をすることにより、ユーザの好みの画像を選択することが可能となる。例えば、ＵＩ部４６０がタッチパネルで構成されている場合には、ユーザは、所望の画像をタッチした状態で選択画像表示領域８３０まで移動する操作（例えばドラッグ＆ドロップ操作）を実行することが可能である。例えば、珈琲カップが含まれる画像８２２を選択画像表示領域８３０まで移動する操作をユーザが実行することにより、画像８２２を選択画像表示領域８３０に配置することが可能である。この移動の遷移を矢印８４０で模式的に示す。なお、選択画像表示領域８３０に既に表示されている画像と他の画像とを公知の画像処理技術を用いて合成して合成画像としてもよい。また、上述した各編集技術を用いて、１又は複数の画像を編集してもよい。
【0251】
選択画像表示領域８３０は、ユーザ操作に基づいて選択された各画像８３１、８３２、８２２を表示する領域である。なお、選択画像表示領域８３０には、図１５、図１７で示した画面において選択状態とした各住宅画像、図２０で示した編集画面７００において編集した各編集画像等を表示させてもよい。このように各種画像を表示させた場合には、ユーザ操作に基づいて、各種画像の消去操作、追加操作、編集操作を適宜実行可能としてもよい。
【0252】
【0253】
位置情報指定領域８１１は、画像表示領域８２０に表示されている画像に関連付けられている位置情報を使用するか否かを指定する際に操作される領域である。例えば、選択画像表示領域８３０に移動させた画像を選択状態とした後に、位置情報指定領域８１１のプルダウンボタンを選択する選択操作が実行されると、使用又は不使用を選択するための選択領域が表示され、この選択領域においてユーザが所望する操作を実行する。例えば、選択状態とした画像に関連付けられている位置情報を使用することを指定した場合には、その画像に関連付けられている位置情報を用いてユーザベクトルを生成することが可能である。一方、選択状態とした画像に関連付けられている位置情報を使用しないことを指定した場合には、その画像に関連付けられている位置情報を用いずにユーザベクトルを生成することが可能である。
【0254】
音声情報指定領域８１２は、画像表示領域８２０に表示されている画像に関連付けられている音声情報を使用するか否かを指定する際に操作される領域である。例えば、選択画像表示領域８３０に移動させた画像を選択状態とした後に、音声情報指定領域８１２のプルダウンボタンを選択する選択操作が実行されると、使用又は不使用を選択するための選択領域が表示され、この選択領域においてユーザが所望する操作を実行する。例えば、選択状態とした画像に関連付けられている音声情報を使用することを指定した場合には、その画像に関連付けられている音声情報を用いてユーザベクトルを生成することが可能である。一方、選択状態とした画像に関連付けられている音声情報を使用しないことを指定した場合には、その画像に関連付けられている音声情報を用いずにユーザベクトルを生成することが可能である。
【0255】
このように、制御部４５０は、ＵＩ部４６０の受付部４６１においてユーザ操作が受け付けられた場合には、そのユーザ操作に基づいて各種処理を実行する。また、１又は複数の画像を選択画像表示領域８３０に移動させた後に、ユーザが決定ボタン８１３を選択する選択操作（例えば、タッチ操作）を実行した場合には、制御部４５０は、ユーザにより選択された１又は複数枚の画像に関する選択画像情報をサーバ１に送信する。この選択画像情報には、画像情報と、位置情報（使用が指定された場合）と、音声情報（使用が指定された場合）とが含まれる。その選択画像情報をサーバ１が受信すると、情報取得部３２１は、その受信した選択画像情報をタグ生成部３２２及びベクトル生成部３２３に出力する。
【0256】
［ユーザベクトルの生成例］
タグ生成部３２２は、ユーザ端末２から送信された選択画像情報に対応する１又は複数の選択画像について、タグ情報を生成する。なお、画像情報ＤＢ３４０に格納されている住宅画像が選択画像とされた場合には、タグ生成部３２２は、その住宅画像のタグ情報を画像情報ＤＢ３４０から取得する。
タグ生成部３２２は、ユーザ端末２から送信された選択画像情報に対応する１又は複数の選択画像について、タグ情報を生成する。なお、画像情報ＤＢ３４０に格納されている住宅画像が選択画像とされた場合には、タグ生成部３２２は、その住宅画像のタグ情報を画像情報ＤＢ３４０から取得する。
【0257】
また、ユーザ端末２の画像情報ＤＢ８００に格納されている画像が選択画像である場合には、タグ生成部３２２は、その画像についてスタイル及び感情に関するタグ情報を生成する。例えば、上述したスタイル及び感情に関するＡＩモデルを用いて、その画像についてスタイル及び感情に関するタグ情報を生成することが可能である。
【0258】
また、位置情報（使用が指定された場合）と、音声情報（使用が指定された場合）とのうちの少なくとも１つが選択画像情報に含まれる場合には、それらの各情報についてスタイル及び感情に関するタグ情報を生成することが可能である。例えば、位置情報（例えば緯度経度）と、スタイル及び感情に関するタグ情報（例えば、地域毎に予め設定された情報）とを関連付けたデータベースを予めサーバ１の記憶部３３０に用意しておき、このデータベースを用いて、選択画像情報に含まれる位置情報に対応するタグ情報を取得することが可能である。
【0259】
また、例えば、位置情報（例えば緯度経度）と、ある場所の特性・環境イメージ（例えば、沖縄は「熱い」、鎌倉は「古都」「落ち着いている」）とを関連付けたデータベースを予めサーバ１の記憶部３３０に用意しておき、このデータベースを用いて、選択画像情報に含まれる位置情報に対応する特性・環境イメージ（例えば、沖縄は「熱い」、鎌倉は「古都」「落ち着いている」）を取得し、この特性・環境イメージ（例えば、「熱い」、「古都」「落ち着いている」）に関するテキスト情報を生成することが可能である。この場合には、後述するＡＩモデルを用いて、テキスト情報からタグ情報を生成することが可能である。
【0260】
また、例えば、音声情報と、スタイル及び感情に関するタグ情報（例えば、音の種類毎（例えば「雑音」「静か」「川のせせらぎ」「子供の声」）に予め設定された情報）とを関連付けたデータベースを予めサーバ１の記憶部３３０に用意しておき、このデータベースを用いて、選択画像情報に含まれる音声情報に対応するタグ情報を取得することが可能である。
【0261】
また、例えば、音声情報をテキスト情報に変換することも可能である。この場合には、後述するＡＩモデルを用いて、テキスト情報からタグ情報を生成することが可能である。また、位置情報、音声情報等を用いて学習したＡＩモデルを用いてタグ情報を生成してもよい。
【0262】
次に、ベクトル生成部３２３は、タグ生成部３２２から出力されたタグ情報に基づいて、画像選択情報を送信したユーザに関するユーザベクトルを生成する。なお、このユーザベクトルの生成方法については、上述したユーザベクトルの生成方法と同様であるため、ここでの詳細な説明を省略する。
【0263】
なお、以上では、予め学習して生成されたＡＩモデルを用いてタグ情報を生成し、このタグ情報を用いてユーザベクトルを生成する例を示したが、他のＡＩモデルを用いてもよい。例えば、ＡＩモデルとして、例えば、ＬＬＭ（large language model：大規模言語モデル）を用いることが可能である。ＬＬＭとして、例えば、ＣｈａｔＧＰＴ（Generative Pre-trained Transformer）、Ｂａｒｄ、Ｌｌａｍａ２（Large Language Model Meta AI 2）、マルチモーダルＬＬＭ等を用いることが可能である。なお、これらは一例であり、他のＡＩモデルを使用してもよい。例えば、各種画像についてマルチモーダルＬＬＭを用いてタグ情報を生成してもよい。なお、住宅画像（例えば物件画像）には、テキスト情報が付随することも考えられる。このような場合には、ＡＩモデルを用いてそのテキスト情報に関するタグ情報を生成し、このタグ情報と、住宅画像（例えば物件画像）に関するタグ情報とを合わせたタグ情報を、ユーザベクトルの生成に用いてもよい。
【0264】
［ユーザ端末の動作例］
図２４は、ユーザ端末２による画像選択処理の一例を示すフローチャートである。また、この画像選択処理は、記憶部４７０（図１１参照）に記憶されているプログラムに基づいて、制御部４５０（図１１参照）により実行される。また、この画像選択処理は、制御周期毎に常時実行される。また、この画像選択処理では、図１乃至図２３を適宜参照して説明する。
図２４は、ユーザ端末２による画像選択処理の一例を示すフローチャートである。また、この画像選択処理は、記憶部４７０（図１１参照）に記憶されているプログラムに基づいて、制御部４５０（図１１参照）により実行される。また、この画像選択処理は、制御周期毎に常時実行される。また、この画像選択処理では、図１乃至図２３を適宜参照して説明する。
【0265】
ステップＳ８５１において、制御部４５０は、選択画面情報を要求するための選択画面要求情報をサーバ１に送信する。例えば、選択画面を要求するためのユーザ操作が行われた場合に、制御部４５０は、選択画面要求情報をサーバ１に送信する。
【0266】
ステップＳ８５２において、制御部４５０は、選択画面情報をサーバ１から受信したか否かを判定する。選択画面情報を受信した場合には、ステップＳ８５３に進む。一方、選択画面情報を受信していない場合には監視を継続して行う。
【0267】
ステップＳ８５３において、制御部４５０は、ステップＳ８５２で受信した選択画面情報に基づいて表示される編集画面において表示する画像情報（例えば画像情報８０２）を画像情報ＤＢ８００（図２２参照）から取得する。
【0268】
ステップＳ８５４において、制御部４５０は、ステップＳ８５２で受信した選択画面情報に基づいて選択画面（例えば、選択画面８１０（図２３参照））をＵＩ部４６０に表示させる。
【0269】
ステップＳ８５５において、制御部４５０は、ステップＳ８５４で表示させた選択画面についてユーザ操作が受付部４６１により受け付けられたか否かを判定する。ユーザ操作が受け付けられた場合には、ステップＳ８５６に進む。一方、ユーザ操作が受け付けられていない場合には監視を継続して行う。
【0270】
ステップＳ８５６において、制御部４５０は、ステップＳ８５５で受け付けられたユーザ操作が、選択画面に表示されている画像を選択するための選択操作であるか否かを判定する。例えば、画像表示領域８２０（図２３参照）に表示されている画像を、選択画像表示領域８３０（図２３参照）に移動する移動操作が行われた場合には、ユーザ操作として選択操作が行われたと判定される。ユーザ操作が選択操作である場合には、ステップＳ８５７に進む。一方、ユーザ操作が選択操作でない場合には、ステップＳ８５８に進む。
【0271】
ステップＳ８５７において、制御部４５０は、ステップＳ８５５で受け付けられたユーザ操作（選択操作）に基づいて、画像を選択する選択処理を実行する。例えば、画像表示領域８２０（図２３参照）に表示されている画像を、選択画像表示領域８３０（図２３参照）に移動する移動操作がされた場合には、その移動操作に応じて画像を移動して選択画像とする画像処理が実行される。また、例えば、選択画像として選択画像表示領域８３０に移動された画像を削除する削除操作がされた場合には、その削除操作に応じた画像を選択画像表示領域８３０から削除する画像処理が実行される。
【0272】
ステップＳ８５８において、制御部４５０は、ステップＳ８５５で受け付けられたユーザ操作が、１又は複数の画像が選択された後に操作される決定操作であるか否かを判定する。例えば、決定ボタン８１３（図２３参照）を選択する選択操作（例えば、タッチ操作）が行われた場合には、ユーザ操作として決定操作が行われたと判定される。ユーザ操作が決定操作である場合には、ステップＳ８６０に進む。一方、ユーザ操作が決定操作でない場合には、ステップＳ８５９に進む。
【0273】
ステップＳ８５９において、制御部４５０は、ステップＳ８５５で受け付けられたユーザ操作に基づいて所定処理を実行する。例えば、選択画像表示領域８３０に表示されている住宅画像を選択状態とする選択操作がされた場合には、その選択操作に応じて住宅画像を選択状態とする画像処理が実行される。
【0274】
ステップＳ８６０において、制御部４５０は、ユーザにより選択された１又は複数枚の画像に関する選択画像情報をサーバ１に送信する。
【0275】
このように、ユーザがユーザ端末２を用いて取得した画像のうちからユーザの好みに応じた画像を選択可能とすることで、ユーザの主体的な画像収集に基づいてユーザの好みをさらに適切に表現することが可能である。このため、ユーザの収集結果に基づいてユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0276】
［テキスト情報を用いる例］
以上では、主に住宅画像を用いて住宅事業者を選択する例を示した。しかし、ユーザの好みの住宅画像がユーザに提示されないことも想定される。そこで、以下では、テキスト情報を用いて住宅画像を選択する例を示す。
以上では、主に住宅画像を用いて住宅事業者を選択する例を示した。しかし、ユーザの好みの住宅画像がユーザに提示されないことも想定される。そこで、以下では、テキスト情報を用いて住宅画像を選択する例を示す。
【0277】
［テキスト情報に基づいてユーザベクトルを生成する例］
図２５は、ユーザ端末２のＵＩ部４６０に表示されるテキスト入力画面９００の表示例を示す図である。テキスト入力画面９００は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
図２５は、ユーザ端末２のＵＩ部４６０に表示されるテキスト入力画面９００の表示例を示す図である。テキスト入力画面９００は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。
【0278】
テキスト入力画面９００には、複数の住宅画像９０２乃至９０４を表示する住宅画像表示領域９０１と、テキスト情報入力欄９０５と、再提案ボタン９０６と、決定ボタン９０７とが表示される。具体的には、サーバ１の情報提供部３２５は、ユーザ端末２からの要求に基づいて、テキスト入力画面９００を表示するための画面情報をユーザ端末２に送信する。その画面情報をユーザ端末２が受信すると、制御部４５０は、受信した画面情報に基づいてテキスト入力画面９００をＵＩ部４６０に表示させる。なお、テキスト入力画面９００には、ユーザ操作に基づいて、他の住宅画像を表示することが可能である。
【0279】
また、制御部４５０は、ＵＩ部４６０の受付部４６１においてユーザ操作が受け付けられた場合には、そのユーザ操作に基づいて各種処理を実行する。ここで、住宅画像表示領域９０１にユーザの好みの住宅画像が表示されないことも想定される。このような場合には、ユーザ入力（例えば、手動操作、音声入力）で好みの住宅に関する文字をテキスト情報入力欄９０５に入力することが可能である。図２５では、ユーザにより「木の温もりが感じられる家が好きです」が入力された場合の例を示す。なお、これは一例であり、好みの住宅に関する文字として、例えば、「伝統的なイングランド風の家」、「バッキンガム宮殿みたいな家」、「もっと近代的なデザインの家が好きです」等を入力してもよい。
【0280】
また、テキスト情報入力欄９０５に文字が入力された後に、ユーザが再提案ボタン９０６を選択する選択操作（例えば、タッチ操作）を実行した場合には、制御部４５０は、ユーザにより入力された文字に対応するテキスト情報をサーバ１に送信する。そのテキスト情報をサーバ１が受信すると、情報取得部３２１は、その受信したテキスト情報をタグ生成部３２２及びベクトル生成部３２３に出力する。なお、１又は複数の住宅画像がユーザにより選択された場合には、制御部４５０は、テキスト情報とともに、その選択された１又は複数枚の住宅画像に関する画像選択情報をサーバ１に送信する。
【0281】
［ユーザベクトルの生成例］
タグ生成部３２２は、ユーザ端末２から送信されたテキスト情報に対応するタグ情報を生成する。なお、１又は複数の住宅画像がユーザにより選択された場合には、テキスト情報とともに、その選択された１又は複数枚の住宅画像に関する画像選択情報がユーザ端末２から送信される。この場合には、その画像選択情報を考慮してユーザベクトルを生成することが可能である。この例を図２８、図２９に示す。
タグ生成部３２２は、ユーザ端末２から送信されたテキスト情報に対応するタグ情報を生成する。なお、１又は複数の住宅画像がユーザにより選択された場合には、テキスト情報とともに、その選択された１又は複数枚の住宅画像に関する画像選択情報がユーザ端末２から送信される。この場合には、その画像選択情報を考慮してユーザベクトルを生成することが可能である。この例を図２８、図２９に示す。
【0282】
例えば、タグ生成部３２２は、テキスト情報をタグ情報に変換するための所定のデータベース（例えば、辞書データベース）を用いて、テキスト情報に対応するタグ情報を生成することが可能である。例えば、文字列と、タグ情報を構成する各要素の特徴（例えば、スタイル及び感情に関する特徴）とを関連付けた辞書データベースを用いることが可能である。そして、タグ生成部３２２は、ユーザ端末２から送信されたテキスト情報に対応する文章に含まれる各文字列のうちから、辞書データベースに含まれる文字列を抽出し、その抽出された文字列に対応するタグ情報の特徴を辞書データベースから抽出する。また、複数の文字列が抽出された場合には、それぞれの文字列に対応するタグ情報の特徴を抽出する。そして、タグ生成部３２２は、抽出された１又は複数のタグ情報の特徴を集計（例えば、平均値の算出）して、ユーザ端末２から送信されたテキスト情報に対応するタグ情報とする。そして、タグ生成部３２２は、生成されたタグ情報をベクトル生成部３２３に出力する。
【0283】
また、ＡＩモデルを用いて、テキスト情報からタグ情報（ユーザベクトル）を生成することが可能である。例えば、文章と、タグ情報を構成する各要素の特徴（例えば、スタイル及び感情に関する特徴）とを関連付けた所定のタグを教師ラベルとして付与した複数のテキスト情報を学習したＡＩモデルを使用することが可能である。この学習方法については、図１２に示す学習方法を適用することが可能である。
【0284】
また、ＡＩモデルとして、例えば、ＬＬＭを用いることが可能である。ＬＬＭとして、例えば、ＣｈａｔＧＰＴ、Ｂａｒｄ、Ｌｌａｍａ２等を用いることが可能である。なお、これらは一例であり、他のＡＩモデルを使用してもよい。例えば、ユーザにより入力されたテキスト情報に基づいて、住宅画像に関する特徴を複数のタグ毎に出力する旨の条件情報を指示情報（プロンプト）としてＬＬＭに入力し、これに対する出力情報をタグ情報とすることが可能である。ここで、複数のタグは、上述したように、スタイル及び感情に関するタグである。
【0285】
ここでは、ＣｈａｔＧＰＴを用いてタグを提案するプロンプトの一例を示す。例えば、ユーザ端末２から送信されたテキスト情報を構成する文章を用いて、複数のタグ（スタイルタグ、感情タグ）のそれぞれとの関連性に関するスコア（０～１）を出力する旨の指示情報（プロンプト）をＬＬＭに入力し、これに対する出力情報を複数のタグ毎の特徴量とすることが可能である。なお、スタイルタグは、上述したものと同様としてもよく、例えば、洋風、和風、モダン、アメリカン、アンティーク、カントリー、シンプル、ナチュラル、北欧、インダストリアル、ウッディ等を要素としてもよい。また、感情タグは、上述したものと同様としてもよく、例えば、家族団らん・温もり、高級感・上品・ラグジュアリー、かっこいい・シック、カジュアル・ポップ、洗練・スタイリッシュ、開放感、落ち着く、派手、重厚感、かわいい等を要素としてもよい。
【0286】
次に、ベクトル生成部３２３は、タグ生成部３２２から出力されたタグ情報に基づいて、テキスト情報を送信したユーザに関するユーザベクトルを生成する。この場合には、タグ生成部３２２により生成されたタグ情報を、ユーザベクトルとすることが可能である。なお、ユーザ端末２から送信されたテキスト情報が複数存在する場合には、それぞれのテキスト情報毎にタグ情報が生成されるため、図１５で示した例と同様に、複数のタグ情報を用いてユーザベクトルを生成することが可能である。
【0287】
［テキスト情報に基づく住宅画像の選択例］
次に、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルに基づいて、ユーザに新たに提供するための住宅画像を画像情報ＤＢ３４０から抽出する。この抽出方法については、新たな画像を再提案ボタン５１４（図１６参照）の選択操作がされた場合における新たな住宅画像の抽出方法と同様であるため、ここでの説明を省略する。
次に、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルに基づいて、ユーザに新たに提供するための住宅画像を画像情報ＤＢ３４０から抽出する。この抽出方法については、新たな画像を再提案ボタン５１４（図１６参照）の選択操作がされた場合における新たな住宅画像の抽出方法と同様であるため、ここでの説明を省略する。
【0288】
また、抽出部３２４は、抽出された住宅画像に関する住宅画像情報（例えば、画像情報３４２）を情報提供部３２５に出力する。そして、情報提供部３２５は、その住宅画像情報をユーザ端末２に送信し、ユーザ端末２は、その住宅画像情報を表示させる。
【0289】
［新たな住宅画像の選択例］
図２６は、ユーザ端末２のＵＩ部４６０に表示される選択画面９１０の表示例を示す図である。選択画面９１０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。なお、選択画面９１０は、図１７に示す選択画面５２０のうち、上部のメッセージの一部を変形したものであり、他は選択画面５２０と共通する。このため、選択画面５２０と共通する部分には、同一の符号を付して示す。
図２６は、ユーザ端末２のＵＩ部４６０に表示される選択画面９１０の表示例を示す図である。選択画面９１０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。なお、選択画面９１０は、図１７に示す選択画面５２０のうち、上部のメッセージの一部を変形したものであり、他は選択画面５２０と共通する。このため、選択画面５２０と共通する部分には、同一の符号を付して示す。
【0290】
このように、ユーザにより入力されたテキスト情報に基づいて生成されたユーザベクトルを用いて、住宅画像を新たに選択してユーザに提供することが可能である。なお、選択画面９１０にテキスト情報入力欄９０５（図２５参照）を設け、さらにテキスト情報の入力を可能としてもよい。この場合に、ユーザによりテキスト情報が入力されたときには、そのテキスト情報に基づいて、さらに新たな住宅画像をユーザに再提案することが可能である。また、これらの各処理を複数回実施することで、ユーザへのレコメンドを精緻化することが可能となる。
【0291】
なお、以上では、ユーザに提示した住宅画像のうちに、好みの画像が存在しない場合、それらの住宅画像に対して要望がある場合等に、ユーザ入力によりテキスト情報を受け付ける例を示した。ただし、これに限定されない。例えば、住宅画像が提示される前に、ユーザ入力によるテキスト情報の受け付けを可能とし、このテキスト情報に基づいて生成されたユーザベクトルを用いて、住宅画像を選択してユーザに提示することも可能である。
【0292】
［サーバの動作例］
図２７は、サーバ１による住宅事業者選択処理の一例を示すフローチャートである。この住宅事業者選択処理は、図１８に示す住宅事業者選択処理の一部を変形したものである。具体的には、ステップＳ９３１乃至Ｓ９３４を追加したものである。この追加した点以外は、図１８に示す住宅事業者選択処理と同様であるため、図１８と共通する部分には、同一の符号を付してこれらの説明を省略する。
図２７は、サーバ１による住宅事業者選択処理の一例を示すフローチャートである。この住宅事業者選択処理は、図１８に示す住宅事業者選択処理の一部を変形したものである。具体的には、ステップＳ９３１乃至Ｓ９３４を追加したものである。この追加した点以外は、図１８に示す住宅事業者選択処理と同様であるため、図１８と共通する部分には、同一の符号を付してこれらの説明を省略する。
【0293】
ステップＳ９３１において、情報取得部３２１は、テキスト情報をユーザ端末２から受信したか否かを判定する。例えば、テキスト入力画面９００（図２５参照）においてユーザによりテキスト情報の入力処理が行われた後に再提案ボタン９０６の選択操作が行われた場合には、ユーザ端末２の制御部４５０は、テキスト情報をサーバ1に送信する。テキスト情報を受信した場合には、ステップＳ９３２に進む。一方、テキスト情報を受信していない場合には、ステップＳ６０２に戻る。
【0294】
ステップＳ９３２において、タグ生成部３２２、ベクトル生成部３２３は、ステップＳ９３１で受信したテキスト情報に基づいてタグ情報（ユーザベクトル）を生成する。このユーザベクトルの生成方法については、上述した生成方法と同様である。
【0295】
ステップＳ９３３において、抽出部３２４は、ステップＳ９３２で生成されたユーザベクトルに基づいて、ユーザに新たに提供するための住宅画像を画像情報ＤＢ３４０から抽出する。
【0296】
ステップＳ９３４において、情報提供部３２５は、ステップＳ９３３で抽出された新たな住宅画像に関する住宅画像情報（例えば、画像情報３４２）をユーザ端末２に送信する。この住宅画像情報は、ユーザ端末２のＵＩ部４６０に選択画面９１０（図２６参照）を表示させるための情報である。
【0297】
［住宅画像及びテキスト情報に基づく住宅画像の再推薦例］
以上では、テキスト情報に基づいて生成されたユーザベクトルを用いて住宅画像をユーザに提示する例を示した。ここで、ユーザに複数の住宅画像を提示した後に、それらのうちからユーザの好みの住宅画像が選択されるとともに、それらの住宅画像についてユーザからテキスト情報による要望を受けることも想定される。そこで、以下では、ユーザにより選択された住宅画像と、ユーザに提示された住宅画像に関するユーザからの要望とに基づいて、新たなユーザベクトルを生成する例を示す。
以上では、テキスト情報に基づいて生成されたユーザベクトルを用いて住宅画像をユーザに提示する例を示した。ここで、ユーザに複数の住宅画像を提示した後に、それらのうちからユーザの好みの住宅画像が選択されるとともに、それらの住宅画像についてユーザからテキスト情報による要望を受けることも想定される。そこで、以下では、ユーザにより選択された住宅画像と、ユーザに提示された住宅画像に関するユーザからの要望とに基づいて、新たなユーザベクトルを生成する例を示す。
【0298】
［選択された住宅画像とテキスト情報に基づいてユーザベクトルを生成する例］
図２８は、ユーザ端末２のＵＩ部４６０に表示されるテキスト入力画面９５０の表示例を示す図である。なお、テキスト入力画面９５０は、図２５に示すテキスト入力画面９００と同様であり、テキスト情報入力欄９０５に入力された内容と、住宅画像９０２、９０３が選択状態（お気に入りボタン９５１、９５２が黒塗）とされた点とが異なり、他はテキスト入力画面９００と共通する。このため、テキスト入力画面９００と共通する部分には、同一の符号を付して示す。また、各情報のサーバ１への送信処理等も図２５に示す例と同様である。
図２８は、ユーザ端末２のＵＩ部４６０に表示されるテキスト入力画面９５０の表示例を示す図である。なお、テキスト入力画面９５０は、図２５に示すテキスト入力画面９００と同様であり、テキスト情報入力欄９０５に入力された内容と、住宅画像９０２、９０３が選択状態（お気に入りボタン９５１、９５２が黒塗）とされた点とが異なり、他はテキスト入力画面９００と共通する。このため、テキスト入力画面９００と共通する部分には、同一の符号を付して示す。また、各情報のサーバ１への送信処理等も図２５に示す例と同様である。
【0299】
上述したように、住宅画像表示領域９０１にユーザの好みの住宅画像が表示されないこと、ユーザの好みの住宅画像が少ないこと、ユーザの好みの住宅画像と少し異なる住宅画像が表示されること等も想定される。このような場合には、ユーザ入力（例えば、手動操作、音声入力）でテキスト情報入力欄９０５に好みの住宅に関する文字を入力することが可能である。図２８では、ユーザにより「もう少し、明るい雰囲気の家を推薦してください」が入力された場合の例を示す。なお、これは一例であり、好みの住宅に関する文字として、例えば、「元の推薦結果を白紙にして、明るい雰囲気の家の画像を推薦してください」等を入力してもよい。
【0300】
［ユーザベクトルの生成例］
タグ生成部３２２は、ユーザ端末２から送信された画像選択情報及びテキスト情報のそれぞれに対応するタグ情報を生成する。なお、画像選択情報に基づくタグ情報の生成については、図１５等で示した例と同様である。また、テキスト情報に基づくタグ情報の生成については、図２５で示した例と同様である。また、タグ生成部３２２により生成されタグ情報に基づくユーザベクトル（画像選択情報に基づくユーザベクトル、テキスト情報に基づくユーザベクトル）の生成についても、上述した各生成例と同様である。
タグ生成部３２２は、ユーザ端末２から送信された画像選択情報及びテキスト情報のそれぞれに対応するタグ情報を生成する。なお、画像選択情報に基づくタグ情報の生成については、図１５等で示した例と同様である。また、テキスト情報に基づくタグ情報の生成については、図２５で示した例と同様である。また、タグ生成部３２２により生成されタグ情報に基づくユーザベクトル（画像選択情報に基づくユーザベクトル、テキスト情報に基づくユーザベクトル）の生成についても、上述した各生成例と同様である。
【0301】
［ユーザの要望に基づく画像選択情報及びテキスト情報の反映割合の決定例］
ここで、画像選択情報に基づいて生成されたユーザベクトル（ユーザベクトルＡ）と、テキスト情報に基づいて生成されたユーザベクトル（ユーザベクトルＢ）とを用いて、新たな住宅画像を選択するためのユーザベクトルＣを生成する例を示す。
ここで、画像選択情報に基づいて生成されたユーザベクトル（ユーザベクトルＡ）と、テキスト情報に基づいて生成されたユーザベクトル（ユーザベクトルＢ）とを用いて、新たな住宅画像を選択するためのユーザベクトルＣを生成する例を示す。
【0302】
例えば、予め設定された割合（ユーザベクトルＡ及びユーザベクトルＢの反映割合）を用いて、ユーザベクトルＣを生成することが可能である。例えば、ユーザベクトルＡ及びユーザベクトルＢの反映割合αを用いて、以下の式１によりユーザベクトルＣを求めることが可能である。なお、式１による演算方法は一例であり、他の演算方法によりユーザベクトルＣを求めてもよい。
ユーザベクトルＣ＝（１－α）×ユーザベクトルＡ＋α×ユーザベクトルＢ …式１
ユーザベクトルＣ＝（１－α）×ユーザベクトルＡ＋α×ユーザベクトルＢ …式１
【0303】
また、ベクトル生成部３２３は、タグ生成部３２２から出力されたタグ情報に基づいて、ユーザベクトルＡ及びユーザベクトルＢを生成し、反映割合αと、ユーザベクトルＡ及びユーザベクトルＢとに基づいて、ユーザベクトルＣを生成する。なお、反映割合αについては、ユーザが設定してもよく、本実施形態におけるサービス提供者が設定してもよい。
【0304】
また、反映割合αについては、テキスト情報のうちの少なくとも１つに基づいて設定してもよい。例えば、ＡＩモデルを用いて、反映割合αを設定することが可能である。例えば、反映割合と、要望文とを関連付けた所定のタグを教師ラベルとして付与した複数のテキスト情報を学習したＡＩモデルを使用することが可能である。
【0305】
また、ＡＩモデルとして、例えば、ＬＬＭを用いることが可能である。ＬＬＭとして、例えば、ＣｈａｔＧＰＴ、Ｂａｒｄ、Ｌｌａｍａ２等を用いることが可能である。なお、これらは一例であり、他のＡＩモデルを使用してもよい。例えば、ユーザにより入力されたテキスト情報に基づいて、反映割合αを出力する旨の条件情報を指示情報（プロンプト）としてＬＬＭに入力し、これに対する出力情報を反映割合αとすることが可能である。
【0306】
ここでは、ＣｈａｔＧＰＴを用いて反映割合αを出力するプロンプトの一例を示す。例えば、ユーザ端末２から送信されたテキスト情報を構成する文章を用いて、その文章の内容をどの程度反映させるべきか、その割合（０～１）を決めて出力する旨の指示情報（プロンプト）をＬＬＭに入力し、これに対する出力情報を反映割合αとすることが可能である。この場合に、反映割合αの推定根拠を出力する旨の指示情報（プロンプト）をＬＬＭに入力してもよい。
【0307】
例えば、反映割合αの決め方の例（反映割合αの推定根拠の例）として、「元の推薦結果を白紙にして、明るい雰囲気の家の画像を推薦してください」というユーザ入力がされた場合には、元の推薦結果を無視して欲しいという要求が見えるため、その文章の内容の反映割合は１．０が適切とすることを反映割合αの推定根拠とすることが可能である。また、例えば、「もう少し、明るい雰囲気の家を推薦してください」というユーザ入力がされた場合には、元の推薦結果をある程度維持した上でもう少し変更して欲しいという要求が見えるため、その文章の内容の反映割合は０．３程度が適切と考えられることを反映割合αの推定根拠とすることが可能である。また、例えば、「明るい雰囲気の家が好きです」というユーザ入力がされた場合には、元の推薦結果を維持すべきか否か判断が難しいため、その文章の内容の反映割合を０．５程度にすることを反映割合αの推定根拠とすることが可能である。
【0308】
［テキスト情報に基づく住宅画像の選択例］
次に、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルＣに基づいて、ユーザに新たに提供するための住宅画像を画像情報ＤＢ３４０から抽出する。この抽出方法については、新たな画像を再提案ボタン５１４（図１６参照）の選択操作がされた場合における新たな住宅画像の抽出方法と同様であるため、ここでの説明を省略する。
次に、抽出部３２４は、ベクトル生成部３２３により生成されたユーザベクトルＣに基づいて、ユーザに新たに提供するための住宅画像を画像情報ＤＢ３４０から抽出する。この抽出方法については、新たな画像を再提案ボタン５１４（図１６参照）の選択操作がされた場合における新たな住宅画像の抽出方法と同様であるため、ここでの説明を省略する。
【0309】
また、抽出部３２４は、抽出された住宅画像に関する住宅画像情報（例えば、画像情報３４２）を情報提供部３２５に出力する。そして、情報提供部３２５は、その住宅画像情報をユーザ端末２に送信し、ユーザ端末２は、その住宅画像情報を表示させる。
【0310】
以上では、ユーザベクトルＣに基づいて、ユーザに新たに提供するための住宅画像を抽出する例を示したが、ユーザベクトルＣに基づいて、住宅事業者ＤＢ３５０からユーザの好みに応じた住宅事業者を抽出してもよい。この場合には、抽出された住宅事業者に関する選択住宅事業者情報（例えば、プロフィール情報３５２、画像情報３４２）がユーザ端末２に送信され、ユーザ端末２において表示される。例えば、選択事業者情報画面５１０（図１６参照）がＵＩ部４６０に表示される。
【0311】
また、選択事業者情報画面５１０（図１６参照）にテキスト情報入力欄９０５（図２５、図２８参照）を設け、テキスト情報入力欄９０５に入力されたテキスト情報を用いて、ユーザの好みに応じたユーザベクトルＢを生成し、既に生成されているユーザベクトルＡ（画像選択情報に基づいて生成されたユーザベクトル）とユーザベクトルＢとを用いて、住宅画像の抽出処理、住宅事業者の抽出処理等を実行してもよい。この場合には、抽出された各情報がユーザ端末２に送信され、ユーザ端末２において表示される。
【0312】
［新たな住宅画像の選択例］
図２９は、ユーザ端末２のＵＩ部４６０に表示される選択画面９１０の表示例を示す図である。選択画面９６０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。なお、選択画面９６０は、図１７に示す選択画面５２０のうち、上部のメッセージの一部を変形したものであり、他は選択画面５２０と共通する。このため、選択画面５２０と共通する部分には、同一の符号を付して示す。
図２９は、ユーザ端末２のＵＩ部４６０に表示される選択画面９１０の表示例を示す図である。選択画面９６０は、制御部４５０の制御に基づいてＵＩ部４６０に表示される。なお、選択画面９６０は、図１７に示す選択画面５２０のうち、上部のメッセージの一部を変形したものであり、他は選択画面５２０と共通する。このため、選択画面５２０と共通する部分には、同一の符号を付して示す。
【0313】
このように、ユーザにより入力されたテキスト情報と、ユーザにより選択された住宅画像とに基づいて生成されたユーザベクトルＣを用いて、住宅画像を新たに選択してユーザに提供することが可能である。なお、選択画面９６０にテキスト情報入力欄９０５（図２５、図２８参照）を設け、さらにテキスト情報の入力を可能としてもよい。この場合に、ユーザによりテキスト情報が入力された場合には、そのテキスト情報に基づいて、さらに新たな住宅画像をユーザに提供することが可能である。また、これらの各処理を複数回実施することで、ユーザへのレコメンドを精緻化することが可能となる。
【0314】
［サーバの動作例］
サーバ１の動作例については、図２７に示す住宅事業者選択処理を適用することが可能である。ただし、ステップＳ６０２では、画像選択情報のみを受信したか否かを判定する。また、ステップＳ９３２では、画像選択情報及びテキスト情報（又はテキスト情報のみ）に基づいて、ユーザベクトルを生成する。すなわち、画像選択情報に基づいて生成されたユーザベクトル（ユーザベクトルＡ）と、テキスト情報に基づいて生成されたユーザベクトル（ユーザベクトルＢ）とを用いて、新たな住宅画像を選択するためのユーザベクトルＣを生成する。この場合に、上述した式１を用いてユーザベクトルＣを生成することが可能である。
サーバ１の動作例については、図２７に示す住宅事業者選択処理を適用することが可能である。ただし、ステップＳ６０２では、画像選択情報のみを受信したか否かを判定する。また、ステップＳ９３２では、画像選択情報及びテキスト情報（又はテキスト情報のみ）に基づいて、ユーザベクトルを生成する。すなわち、画像選択情報に基づいて生成されたユーザベクトル（ユーザベクトルＡ）と、テキスト情報に基づいて生成されたユーザベクトル（ユーザベクトルＢ）とを用いて、新たな住宅画像を選択するためのユーザベクトルＣを生成する。この場合に、上述した式１を用いてユーザベクトルＣを生成することが可能である。
【0315】
なお、図１８、図２１、図２３、図２７で示す各処理は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。また、それらの各処理では、サーバ１から送信された情報に基づいて、ユーザ端末２に表示される表示画面の表示状態を制御部４５０が制御する例を示したが、サーバ１側の制御に基づいて、ユーザ端末２に表示される表示画面の表示状態が制御されてもよい。
【0316】
このように、ユーザは、提案された住宅画像に対する改善をサーバ１にリクエストすることが可能であり、そのリクエスト内容を踏まえて要望ベクトル（ユーザベクトルＢ）を生成し、その要望ベクトルを用いてユーザベクトルを更新することが可能である。この更新後のユーザベクトルは、ユーザベクトルＣである。このように、ユーザからのリクエスト内容を踏まえてユーザベクトルを更新することにより、ユーザは自身の要望を具体的に伝えることが可能であり、住宅画像の推薦結果によりダイレクトに影響を与えることが可能となる。この結果として、ユーザの満足度を向上させることが可能であり、ユーザの興味を持続させることが可能である。
【0317】
［住宅事業者に関連情報を提供する例］
ここで、ユーザの好みに合う住宅事業者として選択された場合には、その住宅事業者にその旨の情報が送信される。しかし、選択されなかった住宅事業者にも、ユーザの好みに関する何らかの情報（例えば、統計情報、ユーザ傾向情報）を提供してもよい。例えば、ユーザにより選択状態とされた住宅画像に関連付けられている住宅事業者に、その選択状態とされた住宅画像の種類と、その選択された数とに関する情報を提供してもよい。また、例えば、図２０に示す例において、編集がされた住宅画像に関連付けられている住宅事業者に、その編集がされた住宅画像の種類と、その編集に用いられたアイテムと、編集された数とに関する情報を提供してもよい。これらは、住宅事業者の全体の好みの統計としても用いてもよく、ユーザ傾向の解析等に用いてもよい。
ここで、ユーザの好みに合う住宅事業者として選択された場合には、その住宅事業者にその旨の情報が送信される。しかし、選択されなかった住宅事業者にも、ユーザの好みに関する何らかの情報（例えば、統計情報、ユーザ傾向情報）を提供してもよい。例えば、ユーザにより選択状態とされた住宅画像に関連付けられている住宅事業者に、その選択状態とされた住宅画像の種類と、その選択された数とに関する情報を提供してもよい。また、例えば、図２０に示す例において、編集がされた住宅画像に関連付けられている住宅事業者に、その編集がされた住宅画像の種類と、その編集に用いられたアイテムと、編集された数とに関する情報を提供してもよい。これらは、住宅事業者の全体の好みの統計としても用いてもよく、ユーザ傾向の解析等に用いてもよい。
【0318】
［他の機器、他のシステムにおいて処理を実行させる例］
なお、以上では、タグ情報生成処理、ベクトル生成処理、選択処理等をサーバ１（又は情報処理システムＩＳ１）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、他のサービス会社の管理による情報処理装置、ユーザが使用可能な機器（例えば、ユーザ端末２、スマートフォン、タブレット端末、パーソナルコンピュータ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。また、各ＤＢに格納されている情報については、外部記憶装置において管理し、その外部記憶装置から取得して用いるようにしてもよい。
なお、以上では、タグ情報生成処理、ベクトル生成処理、選択処理等をサーバ１（又は情報処理システムＩＳ１）において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、他のサービス会社の管理による情報処理装置、ユーザが使用可能な機器（例えば、ユーザ端末２、スマートフォン、タブレット端末、パーソナルコンピュータ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。また、各ＤＢに格納されている情報については、外部記憶装置において管理し、その外部記憶装置から取得して用いるようにしてもよい。
【0319】
また、サーバ１（又は情報処理システムＩＳ１）の機能を実行可能な情報処理システムの一部（又は全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。
【0320】
［本実施形態の構成例及びその効果例］
情報処理システムＩＳ１は、ユーザが使用するユーザ端末２（電子機器の一例）と、ユーザ端末２に画像情報を提供することが可能なサーバ１（情報処理装置の一例）とを含む情報処理システムである。情報処理システムＩＳ１は、住宅事業者により施工された住宅のスタイル及び感情に関する住宅の特徴と住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者ＤＢ３５０（住宅事業者データベースの一例）と、ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とをユーザ端末２から取得する情報取得部３２１（取得部の一例）と、そのテキスト情報に基づいてユーザの好みに関するスタイル及び感情のそれぞれの特徴（第１特徴）を生成し、その画像に基づいてその画像に含まれるもの（例えば、住宅に関する物体）のスタイル及び感情に関する画像の特徴（第２特徴）を生成し、そのテキスト情報に基づいて第１特徴及び第２特徴のそれぞれの重み（例えば、反映割合α）を生成するタグ生成部３２２、ベクトル生成部３２３（特徴生成部の一例）と、その重みと第１特徴と第２特徴とに基づいて生成されたユーザの好みを示す特徴情報（例えば、ユーザベクトルＣ）と、住宅の特徴（例えば、住宅事業者ベクトル）とを比較した比較結果に基づいて、複数の住宅事業者のうちからユーザの好みに応じた住宅事業者を選択する抽出部３２４（選択部の一例）とを備える。なお、第１特徴は、画像情報に基づいて生成されるタグ情報（又はこれに対応するユーザベクトルＡ）であり、第２特徴は、テキスト情報に基づいて生成されるタグ情報（又はこれに対応するユーザベクトルＢ）である。また、ユーザベクトルＡとユーザベクトルＢと反映割合αとに基づいて、式１によりユーザベクトルＣが算出される。
情報処理システムＩＳ１は、ユーザが使用するユーザ端末２（電子機器の一例）と、ユーザ端末２に画像情報を提供することが可能なサーバ１（情報処理装置の一例）とを含む情報処理システムである。情報処理システムＩＳ１は、住宅事業者により施工された住宅のスタイル及び感情に関する住宅の特徴と住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者ＤＢ３５０（住宅事業者データベースの一例）と、ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とをユーザ端末２から取得する情報取得部３２１（取得部の一例）と、そのテキスト情報に基づいてユーザの好みに関するスタイル及び感情のそれぞれの特徴（第１特徴）を生成し、その画像に基づいてその画像に含まれるもの（例えば、住宅に関する物体）のスタイル及び感情に関する画像の特徴（第２特徴）を生成し、そのテキスト情報に基づいて第１特徴及び第２特徴のそれぞれの重み（例えば、反映割合α）を生成するタグ生成部３２２、ベクトル生成部３２３（特徴生成部の一例）と、その重みと第１特徴と第２特徴とに基づいて生成されたユーザの好みを示す特徴情報（例えば、ユーザベクトルＣ）と、住宅の特徴（例えば、住宅事業者ベクトル）とを比較した比較結果に基づいて、複数の住宅事業者のうちからユーザの好みに応じた住宅事業者を選択する抽出部３２４（選択部の一例）とを備える。なお、第１特徴は、画像情報に基づいて生成されるタグ情報（又はこれに対応するユーザベクトルＡ）であり、第２特徴は、テキスト情報に基づいて生成されるタグ情報（又はこれに対応するユーザベクトルＢ）である。また、ユーザベクトルＡとユーザベクトルＢと反映割合αとに基づいて、式１によりユーザベクトルＣが算出される。
【0321】
この構成によれば、ユーザにより入力されたテキスト情報と、ユーザにより選択された住宅画像とに基づいて生成されたユーザベクトルＣを用いて、ユーザの好みに応じた住宅事業者を選択することが可能である。このため、ユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0322】
情報処理システムＩＳ１は、ユーザが使用するユーザ端末２（電子機器の一例）と、ユーザ端末２に画像情報を提供することが可能なサーバ１（情報処理装置の一例）とを含む情報処理システムである。情報処理システムＩＳ１は、住宅事業者により施工された住宅のスタイル及び感情に関する住宅の特徴と住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者ＤＢ３５０（住宅事業者データベースの一例）と、ユーザの好みに応じた画像をユーザ端末２から取得する情報取得部３２１（取得部の一例）と、その画像に基づいてその画像に含まれるもの（例えば、住宅に関する物体）のスタイル及び感情に関する画像の特徴を生成するタグ生成部３２２、ベクトル生成部３２３（特徴生成部の一例）と、その画像の特徴（例えば、タグ情報、ユーザベクトル）と、住宅事業者ＤＢ３５０の住宅の特徴（例えば、住宅事業者ベクトル）とを比較した比較結果に基づいて、複数の住宅事業者のうちからユーザの好みに応じた住宅事業者を選択する抽出部３２４（選択部の一例）とを備える。また、本実施形態に係る情報処理方法は、それらの各処理を含む情報処理方法である。また、本実施形態に係るプログラムは、それらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、サーバ１が実行可能な各機能をコンピュータに実現させるプログラムである。
【0323】
この構成によれば、ユーザの好みの画像をユーザ端末２から取得し、この取得された画像に含まれる住宅等のスタイル及び感情に関する画像の特徴と、住宅事業者ＤＢ３５０の住宅の特徴とを比較した比較結果に基づいて、複数の住宅事業者のうちからユーザの好みに応じた住宅事業者を選択することが可能である。このため、ユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0324】
また、情報取得部３２１（取得部の一例）は、ユーザの好みに応じた複数の画像をユーザ端末２（電子機器の一例）から取得する。また、情報処理システムＩＳ１は、複数の画像のそれぞれの特徴に基づいて、スタイル及び感情に関するユーザの好みを示すユーザベクトル（特徴情報の一例）を生成するベクトル生成部３２３（特徴情報生成部の一例）をさらに備える。また、抽出部３２４（選択部の一例）は、ユーザベクトルと、住宅事業者ＤＢ３５０の住宅の特徴（住宅事業者ベクトル）とを比較した比較結果に基づいて、ユーザの好みに応じた住宅事業者を選択する。
【0325】
この構成によれば、ユーザの好みの複数の画像をユーザ端末２から取得し、この取得された複数の画像のそれぞれの特徴に基づいて生成されたユーザベクトルと、住宅事業者ＤＢ３５０の住宅の特徴とを比較した比較結果に基づいて、複数の住宅事業者のうちからユーザの好みに応じた住宅事業者を選択することが可能である。このため、ユーザの好みに応じたより適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0326】
また、情報処理システムＩＳ１は、抽出部３２４（選択部の一例）により選択された住宅事業者に関する住宅事業者情報を表示するための表示情報をユーザ端末２（電子機器の一例）に送信する情報提供部３２５をさらに備える。また、ユーザ端末２は、その表示情報に基づいて住宅事業者情報をＵＩ部４６０（表示部の一例）に表示させる表示制御を実行する制御部４５０を備える。
【0327】
この構成によれば、ユーザの好みの画像に基づいて、複数の住宅事業者のうちから選択されたユーザの好みに応じた住宅事業者を、ユーザは、ユーザ端末２のＵＩ部４６０で視覚的に容易に確認することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0328】
また、情報処理システムＩＳ１は、複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を複数の住宅事業者毎に関連付けて格納する画像情報ＤＢ３４０（画像情報データベース）と、画像情報ＤＢ３４０に格納されている住宅画像情報を表示するための表示情報をユーザ端末２（電子機器の一例）に送信する情報提供部３２５とをさらに備える。情報取得部３２１（取得部の一例）は、住宅画像情報に基づいてユーザ端末２（電子機器の一例）に表示された住宅画像のうちからユーザによるユーザ操作に基づいて選択された住宅画像を、ユーザの好みに応じた画像としてユーザ端末２から取得する。
【0329】
この構成によれば、画像情報ＤＢ３４０に格納されている住宅画像情報をユーザ端末２のＵＩ部４６０に表示させることが可能である。このため、ユーザは、ユーザ端末２のＵＩ部４６０に表示された住宅画像情報を視覚的に容易に確認することが可能であり、これらのうちから好みの住宅画像情報を容易に選択することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0330】
また、ユーザ端末２（電子機器の一例）は、サーバ１（情報処理装置の一例）から送信された表示情報に基づいて住宅画像情報に対応する住宅画像をＵＩ部４６０（表示部の一例）に表示させる表示制御と、ＵＩ部４６０に表示された住宅画像がユーザ操作に基づいて編集された編集住宅画像に関する編集画像情報をサーバ１に送信する送信制御とを実行する制御部４５０を備える。また、情報処理システムＩＳ１の情報取得部３２１（取得部の一例）は、ユーザ端末２から送信された編集画像情報に対応する画像を、ユーザの好みに応じた画像として取得する。
【0331】
この構成によれば、ユーザ端末２に表示された住宅画像についてユーザの好みに応じた編集を可能とすることで、ユーザの主体的な編集に基づいてユーザの好みをさらに適切に表現することが可能である。このため、ユーザの編集結果に基づいてユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0332】
また、ユーザ端末２（電子機器の一例）は、画像取得部４３０により取得された画像を格納する画像情報ＤＢ８００（画像情報データベースの一例）と、画像情報ＤＢ８００に格納されている画像をＵＩ部４６０（表示部の一例）に表示させる表示制御と、ＵＩ部４６０に表示された画像のうちからユーザ操作に基づいて選択された画像に関する選択画像情報をサーバ１（情報処理装置の一例）に送信する送信制御とを実行する制御部４５０とを備える。また、情報処理システムＩＳ１の情報取得部３２１（取得部の一例）は、ユーザ端末２から送信された選択画像情報に対応する画像を、ユーザの好みに応じた画像として取得する。
【0333】
この構成によれば、ユーザがユーザ端末２（又は他の外部機器）を用いて取得した画像のうちからユーザの好みに応じた画像を選択可能とすることで、ユーザの主体的な画像収集に基づいてユーザの好みをさらに適切に表現することが可能である。このため、ユーザの収集結果に基づいてユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0334】
また、サーバ１（情報処理装置の一例）のタグ生成部３２２（特徴生成部の一例）は、対象画像に含まれるものに関する特徴を抽出するＡＩモデルを用いて、スタイル及び感情に関する画像の特徴を抽出する。
【0335】
この構成によれば、ユーザ端末２から送信されたユーザの好みに応じた任意の画像について、スタイル及び感情に関する画像の特徴を抽出することが可能である。このため、ユーザの好みに応じた適切な住宅事業者を提案することが可能となる。すなわち、直感的で分かりやすく、ユーザの住宅選択を支援することが可能となる。
【0336】
また、情報処理システムＩＳ１は、複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を複数の住宅事業者毎に関連付けて格納する画像情報ＤＢ３４０（画像情報データベース）と、画像情報ＤＢ３４０に格納されている住宅画像情報を表示するための表示情報をユーザ端末２（電子機器の一例）に送信する情報提供部３２５とをさらに備える。また、情報取得部３２１（取得部の一例）は、住宅画像情報に基づいてユーザ端末２のＵＩ部４６０に表示された住宅画像のうちから、ユーザによるユーザ操作に基づいて選択された住宅画像を、ユーザの好みに応じた画像としてユーザ端末２から取得する。また、情報提供部３２５は、その選択された住宅事業者以外の新たな住宅事業者の再提案を要求する再提案要求がユーザ端末２から送信された場合には、タグ生成部３２２、ベクトル生成部３２３（特徴生成部の一例）により生成された画像の特徴（例えば、タグ情報、ユーザベクトル）に基づいて、画像情報ＤＢ３４０に格納されている住宅画像情報のうちから、ユーザの好みに応じた住宅画像として抽出された住宅画像情報を表示するための表示情報をユーザ端末２に送信する。
【0337】
この構成によれば、ユーザに提案した住宅事業者以外の新たな住宅事業者の再提案を要求する再提案要求をユーザがユーザ端末２を用いて実行可能となる。これにより、ユーザの好みではない住宅事業者が提案された場合でも、ユーザの好みに応じた住宅事業者の再提案を容易に要求することが可能である。この場合に、住宅事業者の選択のために用いる住宅画像を、ユーザにより一度選択された画像の特徴に基づいて選択することが可能であるため、ユーザの好みに近い住宅画像をユーザに提供することが可能である。このため、ユーザの好みに応じたより適切な住宅事業者を提案することが可能となる。
【0338】
サーバ１（情報処理装置の一例）は、ユーザの好みに応じた画像を取得する情報取得部３２１（画像取得部の一例）と、その画像に関する特徴を取得するタグ生成部３２２、ベクトル生成部３２３（特徴取得部の一例）と、その画像に関する特徴と、複数の住宅事業者のそれぞれにより施工された住宅に関する住宅事業者毎の特徴とを比較した比較結果に基づいて、複数の住宅事業者のうちから、ユーザの好みに応じた住宅事業者を選択する抽出部３２４（選択部の一例）とを備える。また、本実施形態に係る情報処理方法は、それらの各処理を含む情報処理方法である。また、本実施形態に係るプログラムは、それらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、サーバ１が実行可能な各機能をコンピュータに実現させるプログラムである。例えば、タグ生成部３２２は、情報取得部３２１により取得された画像に関する特徴（タグ情報）を取得する。また、ベクトル生成部３２３は、タグ生成部３２２により生成されたタグ情報に基づいて、ユーザベクトルを生成する。
【0339】
なお、本実施形態の各処理は、各種の処理手順をコンピュータに実行させるためのプログラムに基づいて実行される。本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置、電子機器等に新機能を追加するためのアップデート処理により、そのプログラムを各機器の各記憶装置に記憶させることができる。これにより、そのアップデートされた各装置に本実施形態で示した各処理を実施させることが可能となる。
【0340】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【符号の説明】
【0341】
１…サーバ、１１…制御部、６０…画像情報取得部、６２…タグ情報取得部、６４…ベクトル生成部、６６…住宅事業者選択部、４００…住宅事業者ＤＢ、２…ユーザ端末、２００…制御部、２２０…表示画像管理部、２２２…画像選択受付部、２２４…住宅事業者情報取得部、３－１乃至３－ｎ…住宅事業者端末、ＩＳ１…情報処理システム、３１０…通信部、３２０…制御部、３２１…情報取得部、３２２…タグ生成部、３２３…ベクトル生成部、３２４…抽出部、３２５…情報提供部、３３０…記憶部、３４０…画像情報ＤＢ、３５０…住宅事業者ＤＢ、３６０…タグ情報ＤＢ、４１０…通信部、４２０…位置情報取得部、４３０…画像取得部、４４０…音取得部、４５０…制御部、４６０…ＵＩ部、４６１…受付部、４６２…出力部、４７０…記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【手続補正書】
【提出日】2024-05-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを前記電子機器から取得する取得部と、
前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを前記電子機器から取得する取得部と、
前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
【請求項2】
請求項１に記載の情報処理システムであって、
前記住宅事業者データベースには、前記住宅の特徴として、前記住宅のスタイル及び感情に関する特徴が格納され、
前記生成部は、前記第１特徴として、前記ユーザの好みに関するスタイル及び感情のそれぞれの特徴を生成し、前記第２特徴として、前記画像に含まれるもののスタイル及び感情に関する特徴を生成する
情報処理システム。
前記住宅事業者データベースには、前記住宅の特徴として、前記住宅のスタイル及び感情に関する特徴が格納され、
前記生成部は、前記第１特徴として、前記ユーザの好みに関するスタイル及び感情のそれぞれの特徴を生成し、前記第２特徴として、前記画像に含まれるもののスタイル及び感情に関する特徴を生成する
情報処理システム。
【請求項3】
ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じた画像を前記電子機器から取得する取得部と、
前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、
前記ユーザの好みに応じた画像を前記電子機器から取得する取得部と、
前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理システム。
【請求項4】
請求項３に記載の情報処理システムであって、
前記住宅事業者データベースには、前記住宅の特徴として、前記住宅のスタイル及び感情に関する特徴が格納され、
前記特徴生成部は、前記画像の特徴として、前記画像に含まれるもののスタイル及び感情に関する特徴を生成する
情報処理システム。
前記住宅事業者データベースには、前記住宅の特徴として、前記住宅のスタイル及び感情に関する特徴が格納され、
前記特徴生成部は、前記画像の特徴として、前記画像に含まれるもののスタイル及び感情に関する特徴を生成する
情報処理システム。
【請求項5】
請求項４に記載の情報処理システムであって、
前記取得部は、前記ユーザの好みに応じた複数の画像を前記電子機器から取得し、
前記複数の画像のそれぞれの特徴に基づいて、前記スタイル及び前記感情に関する前記ユーザの好みを示す特徴情報を生成する特徴情報生成部をさらに備え、
前記選択部は、前記特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記ユーザの好みに応じた住宅事業者を選択する
情報処理システム。
前記取得部は、前記ユーザの好みに応じた複数の画像を前記電子機器から取得し、
前記複数の画像のそれぞれの特徴に基づいて、前記スタイル及び前記感情に関する前記ユーザの好みを示す特徴情報を生成する特徴情報生成部をさらに備え、
前記選択部は、前記特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記ユーザの好みに応じた住宅事業者を選択する
情報処理システム。
【請求項6】
請求項３又は４に記載の情報処理システムであって、
前記選択部により選択された住宅事業者に関する住宅事業者情報を表示するための表示情報を前記電子機器に送信する情報提供部をさらに備え、
前記電子機器は、前記表示情報に基づいて前記住宅事業者情報を表示部に表示させる表示制御を実行する制御部を備える
情報処理システム。
前記選択部により選択された住宅事業者に関する住宅事業者情報を表示するための表示情報を前記電子機器に送信する情報提供部をさらに備え、
前記電子機器は、前記表示情報に基づいて前記住宅事業者情報を表示部に表示させる表示制御を実行する制御部を備える
情報処理システム。
【請求項7】
請求項３又は４に記載の情報処理システムであって、
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を前記複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている前記住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得する
情報処理システム。
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を前記複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている前記住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得する
情報処理システム。
【請求項8】
請求項７に記載の情報処理システムであって、
前記電子機器は、
前記表示情報に基づいて前記住宅画像情報に対応する住宅画像を表示部に表示させる表示制御と、
前記表示部に表示された住宅画像がユーザ操作に基づいて編集された編集住宅画像に関する編集画像情報を前記情報処理装置に送信する送信制御とを実行する制御部を備え、
前記取得部は、前記電子機器から送信された前記編集画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
前記電子機器は、
前記表示情報に基づいて前記住宅画像情報に対応する住宅画像を表示部に表示させる表示制御と、
前記表示部に表示された住宅画像がユーザ操作に基づいて編集された編集住宅画像に関する編集画像情報を前記情報処理装置に送信する送信制御とを実行する制御部を備え、
前記取得部は、前記電子機器から送信された前記編集画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
【請求項9】
請求項３又は４に記載の情報処理システムであって、
前記電子機器は、
画像取得部により取得された画像を格納する画像情報データベースと、
前記画像情報データベースに格納されている画像を表示部に表示させる表示制御と、前記表示部に表示された画像のうちからユーザ操作に基づいて選択された画像に関する選択画像情報を前記情報処理装置に送信する送信制御とを実行する制御部と、を備え、
前記取得部は、前記電子機器から送信された前記選択画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
前記電子機器は、
画像取得部により取得された画像を格納する画像情報データベースと、
前記画像情報データベースに格納されている画像を表示部に表示させる表示制御と、前記表示部に表示された画像のうちからユーザ操作に基づいて選択された画像に関する選択画像情報を前記情報処理装置に送信する送信制御とを実行する制御部と、を備え、
前記取得部は、前記電子機器から送信された前記選択画像情報に対応する画像を、前記ユーザの好みに応じた画像として取得する
情報処理システム。
【請求項10】
請求項４又は５に記載の情報処理システムであって、
前記特徴生成部は、対象画像に含まれるものに関する特徴を抽出するＡＩモデルを用いて、前記スタイル及び前記感情に関する前記画像の特徴を抽出する
情報処理システム。
前記特徴生成部は、対象画像に含まれるものに関する特徴を抽出するＡＩモデルを用いて、前記スタイル及び前記感情に関する前記画像の特徴を抽出する
情報処理システム。
【請求項11】
請求項３又は４に記載の情報処理システムであって、
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得し、
前記情報提供部は、前記選択された住宅事業者以外の新たな住宅事業者の再提案を要求する再提案要求が前記電子機器から送信された場合には、前記特徴生成部により生成された前記画像の特徴に基づいて、前記画像情報データベースに格納されている住宅画像情報のうちから前記ユーザの好みに応じた住宅画像として抽出された住宅画像情報を表示するための表示情報を前記電子機器に送信する
情報処理システム。
前記複数の住宅事業者のそれぞれにより施工された各住宅に関する住宅画像情報を複数の住宅事業者毎に関連付けて格納する画像情報データベースと、
前記画像情報データベースに格納されている住宅画像情報を表示するための表示情報を前記電子機器に送信する情報提供部と、をさらに備え、
前記取得部は、前記住宅画像情報に基づいて前記電子機器に表示された住宅画像のうちから前記ユーザによるユーザ操作に基づいて選択された住宅画像を、前記ユーザの好みに応じた画像として前記電子機器から取得し、
前記情報提供部は、前記選択された住宅事業者以外の新たな住宅事業者の再提案を要求する再提案要求が前記電子機器から送信された場合には、前記特徴生成部により生成された前記画像の特徴に基づいて、前記画像情報データベースに格納されている住宅画像情報のうちから前記ユーザの好みに応じた住宅画像として抽出された住宅画像情報を表示するための表示情報を前記電子機器に送信する
情報処理システム。
【請求項12】
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能な情報処理装置であって、
ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得する取得部と、
前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理装置。
ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得する取得部と、
前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理装置。
【請求項13】
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能な情報処理装置であって、
ユーザの好みに応じた画像を取得する取得部と、
前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理装置。
ユーザの好みに応じた画像を取得する取得部と、
前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部と
を備える情報処理装置。
【請求項14】
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能なコンピュータに実行させる情報処理方法であって、
ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得すると、前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成処理と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
を含む情報処理方法。
ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得すると、前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成処理と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
を含む情報処理方法。
【請求項15】
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能なコンピュータに実行させる情報処理方法であって、
ユーザの好みに応じた画像を取得すると、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成処理と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
を含む情報処理方法。
ユーザの好みに応じた画像を取得すると、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成処理と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択処理と
を含む情報処理方法。
【請求項16】
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能なコンピュータに実行させるプログラムであって、
ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得すると、前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成手順と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択手順と
をコンピュータに実行させるプログラム。
ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得すると、前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成手順と、
前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択手順と
をコンピュータに実行させるプログラム。
【請求項17】
住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能なコンピュータに実行させるプログラムであって、
ユーザの好みに応じた画像を取得すると、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成手順と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択手順と
をコンピュータに実行させるプログラム。
ユーザの好みに応じた画像を取得すると、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成手順と、
前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択手順と
をコンピュータに実行させるプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本発明の一態様は、ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、前記ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを前記電子機器から取得する取得部と、前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理システム、その情報処理システムを構成する情報処理装置、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。
また、本発明の一態様は、ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、前記ユーザの好みに応じた画像を前記電子機器から取得する取得部と、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理システム、その情報処理システムを構成する情報処理装置、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。
また、本発明の一態様は、住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能な情報処理装置であって、ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得する取得部と、前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理装置、これを含む情報処理システム、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。
また、本発明の一態様は、住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能な情報処理装置であって、ユーザの好みに応じた画像を取得する取得部と、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理装置、これを含む情報処理システム、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。
また、本発明の一態様は、ユーザが使用する電子機器と、前記電子機器に画像情報を提供することが可能な情報処理装置とを含む情報処理システムであって、住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納する住宅事業者データベースと、前記ユーザの好みに応じた画像を前記電子機器から取得する取得部と、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理システム、その情報処理システムを構成する情報処理装置、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。
また、本発明の一態様は、住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能な情報処理装置であって、ユーザの好みに応じて選択された画像と、当該画像に対する要望を示すテキスト情報とを取得する取得部と、前記テキスト情報に基づいて前記ユーザの好みに関する第１特徴を生成し、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴である第２特徴を生成し、前記テキスト情報に基づいて前記第１特徴及び前記第２特徴のそれぞれの重みを生成する生成部と、前記重みと前記第１特徴と前記第２特徴とに基づいて生成された前記ユーザの好みを示す特徴情報と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理装置、これを含む情報処理システム、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。
また、本発明の一態様は、住宅事業者により施工された住宅の特徴と前記住宅事業者とを複数の住宅事業者毎に関連付けて格納するデータベースを扱うことが可能な情報処理装置であって、ユーザの好みに応じた画像を取得する取得部と、前記画像に基づいて前記画像に含まれるものに関する前記画像の特徴を生成する特徴生成部と、前記画像の特徴と、前記住宅の特徴とを比較した比較結果に基づいて前記複数の住宅事業者のうちから前記ユーザの好みに応じた住宅事業者を選択する選択部とを備える情報処理装置、これを含む情報処理システム、それらの各処理を含む情報処理方法、及び、それらの各処理をコンピュータに実行させるプログラムである。