特開 2024-125741 情報処理方法、プログラム、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125741

(43)【公開日】2024-09-19

(54)【発明の名称】情報処理方法、プログラム、及び情報処理装置

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240911BHJP

【ＦＩ】

G06Q30/06

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023033781

(22)【出願日】2023-03-06

(71)【出願人】

【識別番号】000000413

【氏名又は名称】永大産業株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】椙田 潔司

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB08

5L049BB08

(57)【要約】

【課題】ユーザの希望する室内イメージに適合した室内設備の製品をユーザに提示することが可能な情報処理方法等を提供する。
【解決手段】本開示の一実施形態に係る情報処理方法は、ユーザが所有するユーザ端末から室内イメージ画像を取得し、取得した前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを前記ユーザ端末に出力する。また、取得した前記室内イメージ画像に類似する前記製品パース画像を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザが所有するユーザ端末から室内イメージ画像を取得し、
取得した前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを前記ユーザ端末に出力する
情報処理方法。

【請求項2】

取得した前記室内イメージ画像に類似する前記製品パース画像を生成する
請求項１に記載の情報処理方法。

【請求項3】

取得した前記室内イメージ画像内に存在するオブジェクト及び前記オブジェクトの位置を認識し、
認識した前記オブジェクトに類似する前記製品を特定し、
特定した前記製品を前記室内イメージ画像内における前記オブジェクトの位置に対応する位置に配置することによって前記製品パース画像を生成する
請求項１または２に記載の情報処理方法。

【請求項4】

複数の前記製品パース画像を生成し、
生成した複数の前記製品パース画像を対比表示させる
請求項１または２に記載の情報処理方法。

【請求項5】

前記ユーザ端末によって撮影された室内撮影画像上に、前記リストに含まれる製品の仮想オブジェクトをＡＲ表示させる
請求項１または２に記載の情報処理方法。

【請求項6】

前記リストに含まれる製品に製品ＩＤを紐づけする
請求項１または２に記載の情報処理方法。

【請求項7】

前記製品ＩＤに対応するメーカまたはビルダーに関する情報を出力する
請求項６に記載の情報処理方法。

【請求項8】

前記メーカまたは前記ビルダーに対する前記製品の発注情報を取得し、
前記発注情報に基づき、前記メーカまたは前記ビルダーに対する手数料を算出する
請求項７に記載の情報処理方法。

【請求項9】

前記ユーザに関する情報に基づいて前記ユーザに対する推奨製品を特定し、
前記推奨製品を前記リストに追加する
請求項１または２に記載の情報処理方法。

【請求項10】

ユーザが所有するユーザ端末から室内イメージ画像を取得し、
取得した前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを前記ユーザ端末に出力する
処理をコンピュータに実行させるプログラム。

【請求項11】

室内イメージ画像を出力し、
前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを取得し、
前記製品パース画像及び前記リストを表示する
処理をコンピュータに実行させるプログラム。

【請求項12】

ユーザが所有するユーザ端末から室内イメージ画像を取得し、
取得した前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを前記ユーザ端末に出力する
処理部
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理方法、プログラム、及び情報処理装置に関する。

【背景技術】

【0002】

従来、間取りに合った家具製品や家電製品の配置シミュレーションが可能なコンピュータシステムを利用した販売方法が提案されている。例えば、特許文献１に記載の販売方法は、顧客が購入した住宅の３次元間取り図と上記家具店および家電店が取扱う製品の３次元寸法や電源や位置の寸法や配管図をＷｅｂ上で連携させ、該３次元間取り図の内装に合った家具製品および家電製品の配置をシミュレーションし、該顧客端末の画面上からＷｅｂ上でオンラインで製品を購入することを特徴とする。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－３３７９００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の販売方法は、ユーザの希望する室内イメージに適合した室内設備の製品をユーザに提示することが出来ない。

【0005】

本開示は斯かる事情に鑑みてなされたものであり、ユーザの希望する室内イメージに適合した室内設備の製品をユーザに提示することが可能な情報処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理方法は、ユーザが所有するユーザ端末から室内イメージ画像を取得し、取得した前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを前記ユーザ端末に出力する。

【0007】

本開示の一実施形態に係る情報処理方法は、取得した前記室内イメージ画像に類似する前記製品パース画像を生成する。

【0008】

本開示の一実施形態に係る情報処理方法は、取得した前記室内イメージ画像内に存在するオブジェクト及び前記オブジェクトの位置を認識し、認識した前記オブジェクトに類似する前記製品を特定し、特定した前記製品を前記室内イメージ画像内における前記オブジェクトの位置に対応する位置に配置することによって前記製品パース画像を生成する。

【0009】

本開示の一実施形態に係る情報処理方法は、複数の前記製品パース画像を生成し、生成した複数の前記製品パース画像を対比表示させる。

【0010】

本開示の一実施形態に係る情報処理方法は、前記ユーザ端末によって撮影された室内撮影画像上に、前記リストに含まれる製品の仮想オブジェクトをＡＲ表示させる。

【0011】

本開示の一実施形態に係る情報処理方法は、前記リストに含まれる製品に製品ＩＤを紐づけする。

【0012】

本開示の一実施形態に係る情報処理方法は、前記製品ＩＤに対応するメーカまたはビルダーに関する情報を出力する。

【0013】

本開示の一実施形態に係る情報処理方法は、前記メーカまたは前記ビルダーに対する前記製品の発注情報を取得し、前記発注情報に基づき、前記メーカまたは前記ビルダーに対する手数料を算出する。

【0014】

本開示の一実施形態に係る情報処理方法は、前記ユーザに関する情報に基づいて前記ユーザに対する推奨製品を特定し、前記推奨製品を前記リストに追加する。

【0015】

本開示の一実施形態に係るプログラムは、ユーザが所有するユーザ端末から室内イメージ画像を取得し、取得した前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを前記ユーザ端末に出力する
処理をコンピュータに実行させる。

【0016】

本開示の一実施形態に係るプログラムは、室内イメージ画像を出力し、前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを取得し、前記製品パース画像及び前記リストを表示する処理をコンピュータに実行させる。

【0017】

本開示の一実施形態に係る情報処理装置は、ユーザが所有するユーザ端末から室内イメージ画像を取得し、取得した前記室内イメージ画像に基づいて生成された製品パース画像及び前記製品パース画像内に含まれる製品のリストを前記ユーザ端末に出力する処理部を備える。

【発明の効果】

【0018】

本開示の一実施形態に係る情報処理方法にあっては、ユーザの希望する室内イメージに適合した室内設備の製品をユーザに提示することが可能な情報処理方法等を提供することが可能である。

【図面の簡単な説明】

【0019】

【図1】製品発注システムの構成例を示すブロック図である。

【図2】情報処理装置の構成例を示すブロック図である。

【図3】ユーザ端末の構成例を示すブロック図である。

【図4】登録製品テーブルの一例を示す説明図である。

【図5】室内イメージ画像の一例を示す説明図である。

【図6】オブジェクト検出モデルの一例を示す説明図である。

【図7】製品パース画像の一例を示す説明図である。

【図8】製品リストの一例を示す説明図である。

【図9】製品パース画像及び製品リストの表示画面例を示す説明図である。

【図10】実施形態１の変形例に係る製品パース画像及び製品リストの表示画面例を示す説明図である。

【図11】情報処理装置及びユーザ端末の処理の一例を示すフローチャートである。

【図12】実施形態２に係るユーザ端末の構成例を示すブロック図である。

【図13】実施形態２に係る登録製品テーブルの一例を示す説明図である。

【図14】製品のＡＲ表示の一例を示す説明図である。

【図15】実施形態２に係る情報処理装置及びユーザ端末の処理の一例を示すフローチャートである。

【図16】実施形態３に係る情報処理装置の構成例を示すブロック図である。

【図17】ユーザ情報の入力画面の一例を示す説明図である。

【図18】発注履歴テーブルの一例を示す説明図である。

【図19】推奨製品出力モデルの一例を示す説明図である。

【図20】実施形態３に係る情報処理装置及びユーザ端末の処理の一例を示すフローチャートである。

【図21】実施形態４に係る情報処理装置の一例を示すブロック図である。

【図22】床製品テーブルの一例を示す説明図である。

【図23】床製品出力モデルの一例を示す説明図である。

【図24】実施形態４に係る製品リストの表示画面の一例を示す説明図である。

【図25】実施形態４に係る情報処理装置の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0020】

（実施形態１）
図１は、製品発注システムＳの構成例を示すブロック図である。製品発注システムＳは、情報処理装置１と、ユーザ端末２と、外部サーバ３と、メーカ端末４とを備える。情報処理装置１は、広域無線通信によるネットワークＮを介してユーザ端末２と互いに通信可能である。ユーザ端末２は、室内に設置する家具または機器などを含む室内設備の製品の購入またはリースを検討するユーザが所持する端末である。

【0021】

ユーザ端末２は、ネットワークＮを介して、外部サーバ３のウェブページまたはＳＮＳ（Social Networking Service）などから、ユーザが選択した室内のイメージ画像（室内イメージ画像）を取得する。すなわち、外部サーバ３は、例えば、ウェブサーバまたはＳＮＳサーバなどである。ユーザは、ユーザ端末２によって、外部サーバ３から取得可能な画像のうち、ユーザが希望する室内のイメージに適合または類似する室内イメージ画像を選択することが可能である。また、ユーザ端末２は、ネットワークＮを介して、取得した室内イメージ画像を情報処理装置１に送信（出力）する。

【0022】

情報処理装置１は、ユーザ端末２から受信（取得）した室内イメージ画像に含まれる家具または機器などを含む室内設備のオブジェクトを認識し、認識したオブジェクトに類似する製品を特定する。情報処理装置１は、認識したオブジェクトの位置を室内イメージ画像に重畳表示することによって製品パース画像を生成し、生成した製品パース画像をユーザ端末２に送信（出力）する。また、情報処理装置１は、製品パース画像に含まれる製品のリスト（製品リスト）をユーザ端末２に送信（出力）する。

【0023】

情報処理装置１は、ユーザ端末２から、製品リスト内の設備の製品のうち、ユーザが製品のメーカまたはビルダーに対する発注を決定した製品の発注情報を取得する。情報処理装置１は、発注情報に基づいて、メーカまたはビルダーに対する手数料を算出し、メーカまたはビルダーが有するメーカ端末４に発注された製品及び算出した手数料に関する情報を送信（出力）する。

【0024】

図２は、情報処理装置１の構成例を示すブロック図である。情報処理装置１は、例えばサーバコンピュータであり、制御部１１と、記憶部１２と、通信部１３とを備える。制御部１１は、ＣＰＵ（Central Processing Unit）ＭＰＵ(Micro Processing Unit)、ＧＰＵ（Graphical Processing Unit）、または量子プロセッサ等により構成されており、記憶部１２に予め記憶されたプログラムＰ（プログラム製品）及びデータベースを読み出して実行することにより、種々の制御処理、演算処理等を行う。なお情報処理装置１の外部にデータベースサーバ等を設け、該データベースサーバ等からデータベースを読み出してもよい。また、情報処理装置１は、複数のサーバ装置またはコンピュータによりその機能が実現されるものであってもよい。また、情報処理装置１は、ブロックチェーン上のノードに対応するものでもよい。

【0025】

情報処理装置１の記憶部１２は、例えば、揮発性メモリ及び不揮発性メモリである。記憶部１２には、プログラムＰ、登録製品テーブル１２１、及びオブジェクト検出モデルＭ１が記憶されている。なお、プログラムＰは、コンピュータが読み取り可能に記憶した記憶媒体１２ａを用いて情報処理装置１に提供されてもよい。記憶媒体１２ａは、例えば可搬型メモリである。可搬型メモリの例として、ＣＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤカード、マイクロＳＤカード又はコンパクトフラッシュメモリ（登録商標）等が挙げられる。記憶媒体１２ａが可搬型メモリである場合、制御部１１の処理素子は、図示しない読取装置を用いて記憶媒体１２ａからプログラムＰを読み取ってもよい。読み取ったプログラムＰは記憶部１２に書き込まれる。更に、プログラムＰは、通信部１３が外部装置と通信することによって、情報処理装置１に提供されてもよい。登録製品テーブル１２１及びオブジェクト検出モデルＭ１の詳細については後述する。

【0026】

通信部１３は、有線又は無線によりユーザ端末２と通信するための通信モジュール又は通信インターフェイスであり、例えばＬＴＥ（登録商標）、４Ｇ、または５Ｇ等の広域無線通信モジュールである。制御部１１は、通信部１３を介し、例えばインターネットなどの外部のネットワークＮを通じて、ユーザ端末２と通信を行う。

【0027】

図３は、実施形態１に係るユーザ端末２の構成例を示すブロック図である。ユーザ端末２は、例えば、スマートフォン、タブレット型端末、ウェアラブルグラス、ウェアラブルコンピュータ、パーソナルコンピュータ、またはＨＭＤ（Head Mounted Display）等である。なお、本実施形態においては、ユーザ端末２はスマートフォンである例について説明を行う。ユーザ端末２は、端末制御部２１と、記憶部２２と、通信部２３と、入力部２４と、表示部２５とを備える。端末制御部２１は、ＣＰＵ又はＭＰＵ等により構成されており、種々の制御処理、演算処理等を行う。なお、ユーザ端末２の機能は複数の機器によって実現されてもよい。例えば、演算処理がスマートフォンにより実行され、入力の受け付けまたは画面の表示がウェアラブルグラスに実行されてもよい。また、ユーザ端末２は、本実施形態に係る情報処理装置１が実行する処理の一部または全部を行うものであってもよい。

【0028】

記憶部２２は、外部サーバ３から取得した室内イメージ画像を情報処理装置１に送信（出力）し、情報処理装置１から受信（取得）した製品パース画像及び製品リストを表示するアプリケーションのアプリプログラムＰａを記憶している。アプリプログラムＰａは、例えば、記憶媒体２２ａを用いてユーザ端末２に提供される。なお、ユーザ端末２の端末制御部２１は、インターネットを用いてアプリプログラムＰａを取得し、記憶部２２に記憶させてもよい。

【0029】

通信部２３は、無線により情報処理装置１と通信するための通信モジュール又は通信インターフェイスである。端末制御部２１は、通信部２３を介し、外部のネットワークＮを通じて、情報処理装置１と通信を行う。

【0030】

入力部２４は、ユーザによる入力を受け付ける。ユーザは、入力部２４によって、製品パース画像内に表示する製品の変更及びメーカに対して発注する製品の選択などを入力することが可能である。

【0031】

表示部２５は、情報処理装置１から受信（取得）した製品パース画像及び製品リストなどを表示する。なお、本実施形態において、ユーザ端末２はスマートフォンであり、入力部２４及び表示部２５はタッチパネルによって一体として構成される。

【0032】

図４は、登録製品テーブル１２１の一例を示す説明図である。登録製品テーブル１２１には、情報処理装置１の記憶部１２に登録された製品に関する情報が格納されている。登録製品テーブル１２１の管理項目（フィールド）は、例えば、製品ＩＤフィールド、種類フィールド、製品名称フィールド、メーカ名フィールド、価格フィールド、及び画像フィールドを含む。製品ＩＤフィールドには、各製品に対応する製品ＩＤ（品番）が格納される。種類フィールドには、製品の種類が格納される。製品の種類は、例えば、ドア、テーブル、ソファ、収納またはカーテンなどを含む。製品名称フィールドには、製品の名称が格納される。メーカ名フィールドには、製品を販売するメーカまたはビルダーの名称が格納される。価格フィールドには、製品を発注する場合の価格が格納される。なお、価格フィールドに格納される価格は、随時更新されてもよい。画像フィールドには、製品の外観を示す二次元画像が、例えばファイル形式で格納される。製品を販売している会社がビルダーである場合、登録製品テーブル１２１には、製品を据え付けるための工賃が格納されてもよい。また、登録製品テーブル１２１には、製品の色、寸法、または仕様などが格納されてもよい。

【0033】

図５は、室内イメージ画像の一例を示す説明図である。ユーザ端末２は、外部サーバ３に接続し、ウェブページまたはＳＮＳなどに公開されている画像から、ユーザが、ユーザが希望する室内のイメージに適合または類似する室内イメージ画像の選択を受け付ける。ユーザ端末２は選択された室内イメージ画像を情報処理装置１に送信（出力）する。なお、ユーザ端末２は、室内イメージ画像に対する色味または明度などの調整加工を受け付け、調整加工された室内イメージ画像を情報処理装置１に送信（出力）してもよい。また、室内イメージ画像は、ユーザ端末２またはカメラなどによってユーザが撮影した、例えばモデルルームなどの画像であってもよい。

【0034】

図６は、オブジェクト検出モデルＭ１の一例を示す説明図である。オブジェクト検出モデルＭ１は、例えば、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、又はＹＯＬＯ（You Only Look Once）、等、室内イメージ画像内に含まれるオブジェクトを検出する学習モデルである。オブジェクト検出モデルＭ１が例えばＲＣＮＮ等の画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）を含むニューラルネットワークで構成される場合、オブジェクト検出モデルＭ１は、室内イメージ画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は室内イメージ画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、画像特徴量に基づき、室内イメージ画像内における家具または機器などを含む室内設備のオブジェクトの位置及び種類を出力する。出力層から出力される画像においては、検出されたオブジェクトの位置が斜線で示され、各オブジェクトの種類が示される。

【0035】

オブジェクト検出モデルＭ１は、室内イメージ画像にオブジェクトの位置のラベル及び各オブジェクトの種類が紐づけられた訓練データを用いて学習される。オブジェクト検出モデルＭ１は、室内イメージ画像が入力された場合、オブジェクトの位置及びオブジェクトに類似する製品の種類を出力するように学習される。

【0036】

制御部１１は、オブジェクト検出モデルＭ１によって検出されたオブジェクトに対する類似度が高い製品の製品ＩＤを出力する。制御部１１は、登録製品テーブル１２１から、オブジェクト検出モデルＭ１によって検出されたオブジェクトの種類に該当する製品の画像を読み出し、該オブジェクトと読み出された各製品の画像とのコサイン類似度（類似度）を算出する。制御部１１は、算出された類似度が高い複数の製品（本実施形態おいては２つ）の製品の製品ＩＤを出力する。図６に示す例においては、検出されたオブジェクトに対し、類似度が高い製品の製品ＩＤが紐づけられている。なお、制御部１１は、オブジェクトと製品の画像とを入力した場合に、オブジェクトと製品の類似度を出力するように学習された学習モデルによって類似度を出力してもよい。

【0037】

図７は、製品パース画像の一例を示す説明図である。情報処理装置１の制御部１１は、視点角度が異なる室内の構図を示す複数のテンプレート背景から、天井面、壁面、及び床面の位置に基づいて、室内イメージ画像に類似する構図のテンプレート背景を選択する。本実施形態におけるテンプレート背景において、天井面、壁面、及び床面は白色の無地であるが、背景の色または柄は変更されてもよい。また、制御部１１は、室内イメージ画像から背景を抽出し、抽出された背景を製品パース画像の背景としてもよい。制御部１１は、検出されたオブジェクトに対する類似度が一番高い製品の画像を登録製品テーブル１２１の画像フィールドから読み出し、選択されたテンプレート背景に配置することにより、室内イメージ画像に類似する製品パース画像を生成する。このとき、製品の画像は、室内イメージ画像におけるオブジェクト検出モデルＭ１が出力したオブジェクトの位置に対応する、選択されたテンプレート背景における位置に配置される。本実施形態において製品パース画像は２次元画像であるが、制御部１１は、３次元のＶＲ（Virtual Reality）画像を製品パース画像として生成してもよい。また、制御部１１は、各オブジェクトに対して２番目に類似度が高い製品の画像を配置した製品パース画像など、複数の製品パース画像を生成してもよい。

【0038】

図８は、製品リストの一例を示す説明図である。情報処理装置１の制御部１１は、登録製品テーブル１２１から、オブジェクト検出モデルＭ１によって検出されたオブジェクトに類似する製品の情報を、出力された製品ＩＤをキーとして読み出し、読み出された製品の情報が含まれる製品リストを作成する。制御部１１は、作成した製品リストをユーザ端末２に送信（出力）する。製品リストに記載される製品の情報は、製品ＩＤ、種類、製品名称、メーカ名（メーカまたはビルダの名称）、及び価格を含む。

【0039】

図９は、製品パース画像及び製品リストの表示画面例を示す説明図である。ユーザ端末２の端末制御部２１は、表示部２５に、情報処理装置１から受信（取得）した製品パース画像及び製品リストを表示させる。表示部２５に表示される製品リストにおいては、製品パース画像内に表示されている製品が星印によって示されている。ユーザは、表示部２５に表示される製品リストに含まれる製品の選択を入力部２４によって入力することにより、表示部２５に表示される製品パース画像内に配置される製品を変更することが可能である。なお、端末制御部２１は、表示部２５に、室内イメージ画像と製品パース画像を対比表示させてもよい。

【0040】

表示部２５に表示される製品リストには、発注コマンドが付与される。ユーザは、入力部２４によって各製品の発注コマンドを選択することが可能である。発注コマンドが選択されると、ユーザ端末２の端末制御部２１は、発注コマンドが選択された製品の発注情報を情報処理装置１に送信（出力）する。

【0041】

図１０は、実施形態１の変形例に係る製品パース画像及び製品リストの表示画面例を示す説明図である。変形例に係る情報処理装置１は複数の製品パース画像を生成し、ユーザ端末２の表示部２５は情報処理装置１から受信（取得）した複数の製品パース画像を対比表示させる。図１０に示す例においては、製品パース画像Ａ及びＢが対比表示される。変形例に係る製品リストには、製品が表示されている製品パース画像名が示されている。また、製品パース画像Ａには、製品の各種類において最も類似度が高い製品が配置された画像が表示され、製品パース画像Ｂには、製品の各種類において類似度が２番目に高い製品が配置された画像が表示される。本変形例においては、ユーザは、複数の製品パース画像を視覚的に比較することにより、より高い精度でイメージに合致する製品を発注することが可能である。

【0042】

図１１は、情報処理装置１及びユーザ端末２の処理の一例を示すフローチャートである。ユーザ端末２の端末制御部２１は、室内イメージ画像を外部サーバ３から取得する（Ｓ１）。ユーザ端末２は、取得した室内イメージ画像を情報処理装置１に送信（出力）する（Ｓ２）。

【0043】

情報処理装置１の制御部１１は、ユーザ端末２から室内イメージ画像を受信（取得）する（Ｓ３）。制御部１１は、室内イメージ画像をオブジェクト検出モデルＭ１に入力し（Ｓ４）、オブジェクトの位置及びオブジェクトに類似する製品の製品ＩＤを出力する（Ｓ５）。制御部１１は、オブジェクト検出モデルＭ１によって検出されたオブジェクトの位置及びオブジェクトに類似する製品の製品ＩＤに基づいて、製品パース画像を生成する（Ｓ６）。Ｓ６において制御部１１は、検出されたオブジェクトに対する類似度が一番高い製品の画像を登録製品テーブル１２１の画像フィールドから読み出し、オブジェクト検出モデルＭ１が出力したオブジェクトの位置に基づいて選択されたテンプレート背景内に配置することにより、製品パース画像を生成する。なお、制御部１１は、Ｓ６において複数の製品パース画像を生成してもよい。制御部１１は、製品リストを作成する（Ｓ７）。Ｓ７において制御部１１は、登録製品テーブル１２１から、オブジェクト検出モデルＭ１によって検出されたオブジェクトに類似する製品の情報を、出力された製品ＩＤをキーとして読み出し、読み出された製品の情報を含めた製品リストを作成する。すなわち、製品リストに含まれる製品には製品ＩＤが紐づけられている。また、製品リストに記載される製品の情報は、製品ＩＤ、種類、製品名称、メーカ名（メーカまたはビルダの名称）、及び価格を含む。制御部１１は、生成した製品パース画像及び作成した製品リストをユーザ端末２に送信（出力）する（Ｓ８）。

【0044】

ユーザ端末２の端末制御部２１は製品パース画像及び製品リストを受信（取得）し（Ｓ９）、製品パース画像及び製品リストを表示部２５に表示させる（Ｓ１０）。なお、情報処理装置１の制御部１１が複数の製品パース画像を生成し、ユーザ端末２に送信（出力）している場合、Ｓ１０において端末制御部２１は、複数の製品パース画像を対比表示する。端末制御部２１は、入力部２４において製品リストに含まれる製品の選択が入力された場合、選択された製品の図を製品パース画像上に表示する（Ｓ１１）。端末制御部２１は、発注する製品の選択を受け付け（Ｓ１２）、選択された製品の発注情報を情報処理装置１に送信（出力）して（Ｓ１３）、処理を終了する。

【0045】

情報処理装置１の制御部１１は、ユーザ端末２から受信（取得）した発注情報を受信（取得）し（Ｓ１４）、発注情報に基づいてメーカまたはビルダーに対する手数料を算出する（Ｓ１５）。Ｓ１５において、制御部１１は、例えば、発注された製品の価格に所定の係数を乗算し、手数料を算出する。なお、制御部１１は、記憶部１２に記憶された、製品ごとに規定の金額を手数料としてもよい。また、制御部１１は、メーカ及びビルダーの両方に対する手数料を算出してもよい。制御部１１は、製品の発注情報及び算出した手数料を、発注された製品を販売するメーカまたはビルダーのメーカ端末４に送信（出力）し（Ｓ１６）、処理を終了する。

【0046】

以上の構成及び処理によれば、ユーザの希望する室内イメージに適合した室内設備の製品をユーザに提示することが可能である。さらに、ユーザの希望する室内イメージに適合した室内設備の製品の発注を円滑に受け付けることが可能である。なお、登録製品テーブル１２１に格納されている製品と同一のオブジェクトが室内イメージ画像に含まれている場合、オブジェクト検出モデルＭ１は、オブジェクトと同一の製品の製品ＩＤを出力してもよい。

【0047】

（実施形態２）
実施形態２に係る情報処理装置１は、ユーザ端末２によって撮影された室内撮影画像上に、製品リストに含まれる製品の仮想オブジェクトをＡＲ表示させる。以下では、実施形態２について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については、実施形態１と共通している。このため、実施形態１と共通する構成部には実施形態１と同一の参照符号を付し、その構成部の説明を省略する。

【0048】

図１２は、実施形態２に係るユーザ端末２の構成例を示すブロック図である。実施形態２に係るユーザ端末２は、撮影部２６を備える。ユーザは、例えば、撮影部２６によって入居前の室内の画像を撮影することが可能である。撮影部２６が撮影する画像は動画であってもよい。ユーザ端末２の表示部２５は、撮影部２６が撮影する室内撮影画像をリアルタイムで表示することが可能である。

【0049】

図１３は、実施形態２に係る登録製品テーブル１２１の一例を示す説明図である。実施形態２に係る登録製品テーブル１２１は、ＡＲ画像フィールドを含むＡＲ画像フィールドには、製品の外観を示すＡＲ画像が、例えばファイル形式で格納されている。

【0050】

図１４は、製品のＡＲ表示の一例を示す説明図である。ユーザ端末２の端末制御部２１は、撮影部２６が撮影した室内撮影画像を表示部２５に表示させる。また、端末制御部２１は、情報処理装置１から取得した製品リストを表示部２５に表示させる。本実施形態に係る製品リストは実施形態１と同様であるが、例えば、登録製品テーブル１２１のＡＲ画像フィールドに格納されている製品のＡＲ画像の略図を一覧として表示してもよい。端末制御部２１は、製品リストに含まれる製品の選択が入力された場合、表示部２５に、選択された製品のＡＲ画像を室内撮影画像に重畳表示させる。端末制御部２１は、図１４に示す画面において選択された製品のＡＲ画像を室内撮影画像に重畳表示することによって、ＡＲ表示を行う。ユーザは、室内撮影画像内においてＡＲ画像を表示する位置を選択することが可能である。また、室内撮影画像に重畳表示されたＡＲ画像は、ユーザの入力によって表示させる位置を移動されることが可能である。図１４に示す製品リストにおいては、ＡＲ画像が表示されている製品が星印によって示されている。端末制御部２１は、製品パース画像における各製品の位置関係に基づき、室内撮影画像においてＡＲ表示される製品の位置関係を決定し、決定した位置関係において製品のＡＲ画像を表示してもよい。

【0051】

図１５は、実施形態２に係る情報処理装置１及びユーザ端末２の処理の一例を示すフローチャートである。Ｓ２１～Ｓ２５は、図１１におけるＳ１～Ｓ５と同様である。情報処理装置１の制御部１１は、オブジェクト検出モデルＭ１によって検出されたオブジェクトに類似する製品の製品ＩＤに基づいて、製品リストを作成する（Ｓ２６）。制御部１１は、作成した製品リスト及び製品リストに含まれる製品のＡＲ画像をユーザ端末２に送信（出力）する（Ｓ２７）。

【0052】

ユーザ端末２の端末制御部２１は、情報処理装置１から、製品リスト及び製品のＡＲ画像を受信（取得）する（Ｓ２８）。端末制御部２１は、撮影部２６に、室内撮影画像を撮影させる（Ｓ２９）。端末制御部２１は、室内撮影画像及び製品リストを表示部２５に表示させる（Ｓ３０）。端末制御部２１は、製品リストに含まれる製品からＡＲ画像を表示する製品の選択を受け付け（Ｓ３１）、表示部２５に、選択された製品のＡＲ画像を室内撮影画像に重畳表示させる（Ｓ３２）。Ｓ３３～Ｓ３７は、図１１におけるＳ１２～Ｓ１６と同様の処理である。

【0053】

（実施形態３）
実施形態３に係る情報処理装置１は、ユーザに関する情報（ユーザ情報）を取得し、取得したユーザ情報に基づいて特定した推奨製品の情報を製品リストに追加する。以下では、実施形態３について、実施形態１と異なる点を説明する。後述する構成を除く他の構成については、実施形態１と共通している。このため、実施形態１と共通する構成部には実施形態１と同一の参照符号を付し、その構成部の説明を省略する。

【0054】

図１６は、実施形態３に係る情報処理装置１の構成例を示すブロック図である。実施形態３に係る情報処理装置１の記憶部は、発注履歴テーブル１２２と、推奨製品出力モデルＭ２とを記憶している。発注履歴テーブルには、過去に製品を発注したユーザのユーザ情報と、ユーザが発注した製品とが対応して格納されている。推奨製品出力モデルＭ２は、ユーザ情報を入力した場合、登録製品テーブル１２１に格納されている製品から、ユーザに対する推奨製品の製品ＩＤを出力する。制御部１１は、推奨製品出力モデルＭ２によって製品ＩＤが出力された製品の情報を製品リストに追加する。

【0055】

図１７は、ユーザ情報の入力画面の一例を示す説明図である。ユーザ端末２の端末制御部２１は、例えば、室内イメージ画像を情報処理装置１に送信（出力）する前に、ユーザ情報の入力画面を表示部２５に表示させる。本実施形態においてユーザは、ユーザ情報の入力画面において、性別、年齢、家族構成、発注したい製品の種類及び製品を設置したい部屋の用途を選択式によって入力することが可能である。端末制御部２１は、情報処理装置１へユーザ情報を送信（出力）する指示を示すコマンドが選択された場合、入力されたユーザ情報を情報処理装置１に送信（出力）する。なお、ユーザ端末２は、記入式によって入力を受け付けてもよい。また、発注したい製品の種類は、複数の種類が選択されて入力されてもよい。

【0056】

図１８は、発注履歴テーブル１２２の一例を示す説明図である。発注履歴テーブルの管理項目（フィールド）は、例えば、過去に製品を発注したユーザが入力したユーザ情報と、ユーザ情報を入力したユーザが発注した製品とが対応して格納されている。発注履歴テーブル１２２の管理項目は、例えば、性別フィールド、年齢フィールド、家族構成フィールド、製品種類フィールド、部屋用途フィールド、及び発注製品フィールドを含む。性別フィールド、年齢フィールド、家族構成フィールド、製品種類フィールド、及び部屋用途フィールドには、図１７に示す画面において入力されたユーザ情報が格納される。発注製品フィールドには、ユーザ情報を入力したユーザが発注した製品の製品ＩＤが格納される。発注履歴テーブル１２２に格納された情報は、推奨製品出力モデルＭ２の学習に使用される訓練データとして使用される。

【0057】

図１９は、推奨製品出力モデルＭ２の一例を示す説明図である。推奨製品出力モデルＭ２は例えば、ニューラルネットワークによって構成され、機械学習によって生成される学習済みモデルである。推奨製品出力モデルＭ２に含まれる入力層は、ユーザ端末２から受信（取得）したユーザ情報の入力を受け付ける複数のニューロンを有し、入力されたユーザ情報を中間層に受け渡す。中間層は、ユーザ情報の情報特徴量を抽出する複数のニューロンを有し、抽出した情報特徴量を出力層に受け渡す。出力層は、中間層から出力された情報特徴量に基づいて、推奨製品の製品ＩＤを出力する。なお、推奨製品出力モデルＭ２は、ＣＮＮ、Ｒ―ＣＮＮ、Ｆａｓｔ Ｒ―ＣＮＮ、Ｆａｓｔｅｒ Ｒ―ＣＮＮ、ＳＳＤ、又はＹＯＬＯ等でもよい。また、オブジェクト検出モデルＭ１は、決定木、ｋ近傍法、またはＳＶＭ等、ニューラルネットワーク以外の方法によるものでもよい。

【0058】

推奨製品出力モデルＭ２は、発注履歴テーブル１２２に格納された情報を訓練データとして学習される。制御部１１は、発注履歴テーブル１２２の性別フィールド、年齢フィールド、家族構成フィールド、製品種類フィールド、及び部屋用途フィールドに格納されているユーザ情報を入力値とし、発注製品フィールドに格納されている製品ＩＤを正解の出力値として対応付けた訓練データを作成する。推奨製品出力モデルは、ユーザ情報を入力された際に出力する推奨製品の製品ＩＤの、訓練データとの差異が小さくなるように中間層における重みを学習することで学習、または再学習する。制御部１１は、発注履歴テーブルの各レコードに基づいて複数の訓練データを作成し、例えば一週間に一回など定期的に推奨製品出力モデルＭ２を再学習させる。なお、制御部１１は、発注情報を取得する毎に訓練データを作成し、推奨製品出力モデルＭ２を再学習させてもよい。

【0059】

図２０は、実施形態３に係る情報処理装置１及びユーザ端末２の処理の一例を示すフローチャートである。ユーザ端末２の端末制御部２１は、外部サーバ３から室内イメージ画像を取得する（Ｓ４１）。端末制御部２１は、表示部２５にユーザ情報の入力画面を表示させ（Ｓ４２）、ユーザ情報の入力を受け付ける（Ｓ４３）。端末制御部２１は、ユーザ情報及び室内イメージ画像を情報処理装置１に送信（出力）する（Ｓ４４）。

【0060】

情報処理装置１の制御部１１は、ユーザ情報及び室内イメージ画像を受信（取得）する（Ｓ４５）。制御部１１は、室内イメージ画像をオブジェクト検出モデルＭ１に入力し（Ｓ４６）、オブジェクトの位置及びオブジェクトに類似する製品の製品ＩＤを出力する（Ｓ４７）。制御部１１は、オブジェクト検出モデルＭ１によって検出されたオブジェクトの位置及びオブジェクトに類似する製品の製品ＩＤに基づいて、製品パース画像を生成し（Ｓ４８）、製品リストを作成する（Ｓ４９）。

【0061】

情報処理装置１の制御部１１は、ユーザ端末２から受信（取得）したユーザ情報を、推奨製品出力モデルＭ２に入力し（Ｓ５０）、推奨製品の製品ＩＤを出力する（Ｓ５１）。制御部１１は、推奨製品出力モデルＭ２によって出力された製品ＩＤに係る製品（推奨製品）の情報を製品リストに追加する（Ｓ５２）。制御部１１は、生成した製品パース画像及び作成した製品リストをユーザ端末２に送信（出力）する（Ｓ５３）。Ｓ５４～Ｓ６１は、Ｓ９～Ｓ１６と同様の処理である。

【0062】

本実施形態において、制御部１１は、推奨製品出力モデルＭ２によって、ユーザ情報に基づく推奨製品を特定したが、これに限られない。制御部１１は、例えば、ルールベースによってユーザ情報を入力したユーザを複数のタイプに分類し、分類したタイプに適合する製品を推奨製品に特定してもよい。この場合、制御部１１は、予め設定されたルールベースに従い、取得したユーザ情報に基づいて、ユーザを複数のタイプのうちのいずれかに分類する。本例における製品には、発注を推奨されるユーザのタイプが紐づけられている。制御部１１は、ユーザが分類されたタイプと、製品に紐づけられているタイプが合致している場合、該当製品を推奨製品に特定する。本例におけるタイプは、例えば、性別、年齢、家族構成、発注したい製品の種類及び製品を設置したい部屋の用途の組み合わせによって分類される。この場合、タイプの一例は、男性、２０代、１人暮らし、リビングソファを発注希望、部屋用途はリビングなどの分類区分を含む。

【0063】

（実施形態４）
実施形態４に係る情報処理装置１は、室内イメージ画像に含まれる床面に類似する床製品をユーザ端末２に送信（出力）する。以下では、実施形態４について、実施形態１及び３と異なる点を説明する。後述する構成を除く他の構成については、実施形態１及び３と共通している。このため、実施形態１及び３と共通する構成部には実施形態１と同一の参照符号を付し、その構成部の説明を省略する。

【0064】

図２１は、実施形態４に係る情報処理装置１の一例を示すブロック図である。実施形態４に係る情報処理装置１の記憶部１２は、床製品テーブル１２３と、床製品出力モデルＭ３とを記憶している。床製品テーブル１２３には、床製品に関する情報が格納されている。床製品出力モデルＭ３は、室内イメージ画像が入力された場合、室内イメージ画像に含まれる床面に類似する床製品の床製品ＩＤを出力する。

【0065】

図２２は、床製品テーブル１２３の一例を示す説明図である。床製品テーブル１２３には、ユーザによる発注を受け付けることが可能な床製品が格納されている。床製品テーブル１２３の管理項目（フィールド）は、例えば、床製品ＩＤフィールド、床材フィールド、明度フィールド、表面加工フィールド、メーカ名フィールド、及び価格フィールドを含む。床製品ＩＤには、各床製品に紐づけられているＩＤ（床製品ＩＤ）が格納される。床材フィールドには、各床製品に使用されている床材の種類が格納される。明度フィールドには、各床製品の、床材の基準の明度に対する明度の差異が格納される。明度フィールドに格納される値は相対値であり、床材の基準の明度に対して明るい色味である場合はプラスの値が格納され、暗い色味である場合はマイナスの値が格納される。表面加工フィールドには、各床製品の表面に施されている加工の種類が格納される。本実施形態において表面加工フィールドに格納される加工の種類は、無垢、艶、及びなぐり加工を含むが、これに限られない。メーカ名フィールドには、床製品を販売するメーカまたはビルダーの名称が格納される。価格フィールドには、例えば、床製品の１平米当たりの価格が格納されている。

【0066】

図２３は、床製品出力モデルＭ３の一例を示す説明図である。床製品出力モデルＭは、例えば、ニューラルネットワークによって構成され、機械学習によって生成される学習済みモデルである。床製品出力モデルＭ３に含まれる入力層は、ユーザ端末２から受信（取得）した室内イメージ画像の入力を受け付ける複数のニューロンを有し、入力された室内イメージ画像を中間層に受け渡す。中間層は、室内イメージ画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、中間層から出力された画像特徴量に基づいて、室内イメージ画像に含まれる床面に類似する床製品の床製品ＩＤを出力する。なお、床製品出力モデルＭ３は、ＣＮＮ、Ｒ―ＣＮＮ、Ｆａｓｔ Ｒ―ＣＮＮ、Ｆａｓｔｅｒ Ｒ―ＣＮＮ、ＳＳＤ、又はＹＯＬＯ等でもよい。また、オブジェクト検出モデルＭ１は、決定木、ｋ近傍法、またはＳＶＭ等、ニューラルネットワーク以外の方法によるものでもよい。

【0067】

図２４は、実施形態４に係る製品リストの表示画面の一例を示す説明図である。情報処理装置１の制御部１１は、床製品テーブル１２３から、床製品出力モデルＭ３によって認識された床面に類似する床製品の情報を、出力された床製品ＩＤをキーとして読み出し、読み出された床製品の情報が含まれる製品リストを作成する。制御部１１は、作成した製品リストをユーザ端末２に送信（出力）する。

【0068】

ユーザ端末２の端末制御部２１は、表示部２５に、情報処理装置１から受信（取得）した製品リストを表示させる。また、端末制御部２１は、表示部２５に、発注する床製品の面積の入力欄を表示させる。ユーザは、入力部２４によって、発注する床製品の面積（平米）を入力することが可能である。本実施形態において発注情報は、入力された面積の情報を含む。端末制御部２１は、発注する床製品の面積が入力された場合、選択されている床製品の１平米当たりの価格に面積を乗算した総額を表示してもよい。

【0069】

図２５は、実施形態４に係る情報処理装置１の処理の一例を示すフローチャートである。ユーザ端末２の端末制御部２１は、室内イメージ画像を外部サーバ３から取得する（Ｓ７１）。ユーザ端末２は、取得した室内イメージ画像を情報処理装置１に送信（出力）する（Ｓ７２）。

【0070】

情報処理装置１の制御部１１は、ユーザ端末２から室内イメージ画像を受信（取得）する（Ｓ７３）。制御部１１は、室内イメージ画像を床製品出力モデルＭ３に入力し（Ｓ７４）、室内イメージ画像に含まれる床面に類似する床製品の床製品ＩＤを出力する（Ｓ７５）。制御部１１は、床製品出力モデルＭ３によって出力された床製品ＩＤに基づいて、製品リストを作成する（Ｓ７６）。制御部１１は作成した製品リストをユーザ端末２に送信（出力）する（Ｓ７７）。

【0071】

ユーザ端末２の端末制御部２１は製品リストを受信（取得）し（Ｓ７８）、製品リストを表示部２５に表示させる（Ｓ７９）。端末制御部２１は、発注する床製品の選択及び発注する床製品の面積の入力を受け付け（Ｓ８０）、選択された製品の発注情報を情報処理装置１に送信（出力）して（Ｓ８１）、処理を終了する。

【0072】

情報処理装置１の制御部１１は、ユーザ端末２から受信（取得）した発注情報を受信（取得）し（Ｓ８２）、発注情報に基づいてビルダーまたはメーカに対する手数料を算出する（Ｓ８３）。Ｓ８３において、制御部１１は、例えば、発注された床製品の価格に、発注された床製品の面積と所定の係数とを乗算し、手数料を算出する。なお、制御部１１は、記憶部１２に記憶された、床製品ごとに規定の金額を手数料としてもよい。制御部１１は、製品の発注情報及び算出した手数料を、床製品を販売するメーカまたはビルダーのメーカ端末４に送信（出力）し（Ｓ８４）、処理を終了する。

【0073】

実施形態４に係る制御部１１は、床製品出力モデルＭ３によって室内イメージ画像に含まれる床面に類似する床製品の床製品ＩＤを出力したがこれに限られない。記憶部１２は各床製品の画像を記憶し、制御部１１は、室内イメージ画像と記憶された各床製品の画像とのコサイン類似度を算出し、コサイン類似度が高い床製品の床製品ＩＤを出力してもよい。また、ユーザ端末２の端末制御部は、表示部２５に、出力された床製品が含まれる製品パース画像またはＶＲ画像を表示させてもよく、出力された床製品を室内撮影画像内にＡＲ表示させてもよい。

【0074】

実施形態４に係る制御部１１は、実施形態１と同様に製品パース画像を生成してもよい。この場合、制御部１１は、選択されたテンプレート背景に含まれる床面を床製品の画像に置き換え、あるいは色及び柄を床製品と同様となるように変更し、その上に実施形態１と同様に製品の画像を配置して製品パース図を生成する。

【0075】

今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0076】

１ 情報処理装置
１１ 制御部
１２ 記憶部
１２ａ 記憶媒体
１２１ 登録製品テーブル
１２２ 発注履歴テーブル
１２３ 床製品テーブル
１３ 通信部
２ ユーザ端末
２１ 端末制御部
２２ 記憶部
２２ａ 記憶媒体
２３ 通信部
２４ 入力部
２５ 表示部
２６ 撮影部
３ 外部サーバ
４ メーカ端末
Ｍ１ オブジェクト検出モデル
Ｍ２ 推奨製品出力モデル
Ｍ３ 床製品出力モデル
Ｎ ネットワーク
Ｐ プログラム
Ｐａ アプリプログラム
Ｓ 製品発注システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】