特許 7093418 情報処理装置、情報処理システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-21

(45)【発行日】2022-06-29

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06F 30/13 20200101AFI20220622BHJP

   G06F 3/04815 20220101ALI20220622BHJP

   G06F 3/01 20060101ALI20220622BHJP

   G06F 111/18 20200101ALN20220622BHJP

【ＦＩ】

G06F30/13

G06F3/04815

G06F3/01 515

G06F3/01 510

G06F111:18

【請求項の数】 13

(21)【出願番号】P 2020548037

(86)(22)【出願日】2019-07-18

(86)【国際出願番号】 JP2019028301

(87)【国際公開番号】W WO2020059277

(87)【国際公開日】2020-03-26

【審査請求日】2021-04-05

(31)【優先権主張番号】P 2018175671

(32)【優先日】2018-09-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】狩野 喬俊

(72)【発明者】

【氏名】板垣 和幸

(72)【発明者】

【氏名】大関 誠

(72)【発明者】

【氏名】林 伸治

【審査官】松浦 功

(56)【参考文献】

【文献】特開２０１５－４９５４８（ＪＰ，Ａ）

【文献】特開２００７－２８６９９５（ＪＰ，Ａ）

【文献】特開２００１－１８４３７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３０／００ －３０／２８

Ｇ０６Ｆ ３／０４８１－ ３／０４８３

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、前記空間センシング情報に基づく空間情報を取得する空間情報取得部と、

前記オブジェクトのオブジェクト情報を取得するオブジェクト情報取得部と、

前記空間をセンシングする際に、前記空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、前記ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得部と、

前記空間情報及び前記ユーザ情報に基づいて、前記空間の局所領域ごとの前記ユーザの注目度を示す注目度マップを作成する注目度マップ作成部と、

前記空間情報及び前記オブジェクト情報に基づいて、前記局所領域ごとの前記オブジェクトの適合度を示す適合度マップを作成する適合度マップ作成部と、

前記注目度マップ及び前記適合度マップに基づいて、前記空間における前記オブジェクトの配置を提案する提案部と、

を備えた情報処理装置。

【請求項2】

前記ユーザ情報取得部は、撮像装置を用いて前記ユーザを撮像して得られた撮像データを前記ユーザセンシング情報として取得し、前記ユーザセンシング情報に基づいて前記ユーザの表情、前記ユーザの視線、及び前記ユーザの瞳孔のサイズの少なくともいずれかを前記ユーザ情報として取得する請求項１に記載の情報処理装置。

【請求項3】

前記ユーザ情報取得部は、前記ユーザの生体情報を測定する生体情報測定装置を用いて測定された前記ユーザの心拍数、前記ユーザの血圧、前記ユーザの体温、ユーザの脳波、及びユーザの呼吸数の少なくともいずれかを前記ユーザセンシング情報として取得する請求項１又は２に記載の情報処理装置。

【請求項4】

前記空間情報取得部は、前記空間を撮像する撮像装置を用いて前記空間を撮像して得られた撮像データを前記空間センシング情報として取得する請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記空間情報取得部は、前記空間を撮像する撮像装置を用いて前記空間を撮像して得られた撮像データから前記空間の構成要素の情報を取得する請求項１から４のいずれか一項に記載の情報処理装置。

【請求項6】

前記空間情報取得部は、前記空間の広さ、前記空間の形、前記空間の色、及び前記空間の光に関する情報の少なくともいずれかを前記空間情報として取得する請求項１から５のいずれか一項に記載の情報処理装置。

【請求項7】

前記オブジェクト情報取得部は、前記オブジェクトのサイズ、前記オブジェクトの形、及び前記オブジェクトの色の少なくともいずれかを前記オブジェクト情報として取得する請求項１から６のいずれか一項に記載の情報処理装置。

【請求項8】

前記提案部は、前記オブジェクトを配置した前記空間を表す画像データを作成する請求項１から７のいずれか一項に記載の情報処理装置。

【請求項9】

前記画像データを表す信号を表示装置へ送信する信号送信部を備えた請求項８に記載の情報処理装置。

【請求項10】

前記画像データを印刷装置へ送信する信号送信部を備えた請求項８に記載の情報処理装置。

【請求項11】

ネットワークに接続されたサーバ装置を備えた情報処理システムであって、

前記サーバ装置は、

オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、前記空間センシング情報に基づく空間情報を取得する空間情報取得部と、

前記オブジェクトのオブジェクト情報を取得するオブジェクト情報取得部と、

前記空間をセンシングする際に、前記空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、前記ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得部と、

前記空間情報及び前記ユーザ情報に基づいて、前記空間の局所領域ごとの前記ユーザの注目度を示す注目度マップを作成する注目度マップ作成部と、

前記空間情報及び前記オブジェクト情報に基づいて、前記局所領域ごとの前記オブジェクトの適合度を示す適合度マップを作成する適合度マップ作成部と、

前記注目度マップ及び前記適合度マップに基づいて、前記空間における前記オブジェクトの配置を提案する提案部と、

を備えた情報処理システム。

【請求項12】

オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、前記空間センシング情報に基づく空間情報を取得する空間情報取得工程と、

前記オブジェクトのオブジェクト情報を取得するオブジェクト情報取得工程と、

前記空間をセンシングする際に、前記空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、前記ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得工程と、

前記空間情報及び前記ユーザ情報に基づいて、前記空間の局所領域ごとの前記ユーザの注目度を示す注目度マップを作成する注目度マップ作成工程と、

前記空間情報及び前記オブジェクト情報に基づいて、前記局所領域ごとの前記オブジェクトの適合度を示す適合度マップを作成する適合度マップ作成工程と、

前記注目度マップ及び前記適合度マップに基づいて、前記空間における前記オブジェクトの配置を提案する提案工程と、

を含む情報処理方法。

【請求項13】

コンピュータに、

オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、前記空間センシング情報に基づく空間情報を取得する空間情報取得機能、

前記オブジェクトのオブジェクト情報を取得するオブジェクト情報取得機能、

前記空間をセンシングする際に、前記空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、前記ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得機能、

前記空間情報及び前記ユーザ情報に基づいて、前記空間の局所領域ごとの前記ユーザの注目度を示す注目度マップを作成する注目度マップ作成機能、

前記空間情報及び前記オブジェクト情報に基づいて、前記局所領域ごとの前記オブジェクトの適合度を示す適合度マップを作成する適合度マップ作成機能、及び

前記注目度マップ及び前記適合度マップに基づいて、前記空間における前記オブジェクトの配置を提案する提案機能を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、情報処理システム、情報処理方法、及びプログラムに係り、特にオブジェクトのレイアウト提案に関する。

【背景技術】

【0002】

コンピュータを用いて現実環境を拡張する拡張現実が知られている。例えば、ＡＲのフレームワークは、カメラを用いて部屋を撮像して得られた撮像データから空間を認識することが可能である。そして、ＡＲを用いて撮像データから認識した空間に家具等のオブジェクトを配置することが可能である。なお、拡張現実は英語表記であるAugmented Realityの省略語を用いてＡＲと呼ばれる場合がある。

【0003】

非特許文献１は、スマートフォン等を用いて動作するルームコーディネートアプリケーションソフトが記載されている。同文献に記載のアプリケーションソフトは、家具等のオブジェクトを配置したい空間を選択し、配置したいオブジェクトを選択し、選択した空間におけるオブジェクトの配置を設定すると、オブジェクトがコーディネートされた空間を、スマートフォン等に具備される表示装置に表示する。

【0004】

非特許文献２は、ＡＲ技術を活用して、部屋の中に実寸大の家具を設置した状態を、スマートフォン等に具備される表示装置に表示するアプリケーションソフトウェアが記載されている。

【0005】

非特許文献３は、ＡＩ（artificial intelligence）を用いて、資料のレイアウト及び配置等を最適化し、アニメーション化するスライド作成ツールが記載されている。非特許文献４は、写真の自動レイアウトを実施するアプリケーションソフトが記載されている。

【0006】

近年、撮像素子、赤外線センサ、及び環境光センサ等の複数のセンサを含むインカメラを備えたスマートフォンが知られている。また、心拍などの生体情報の取得が可能なウェアラブルが知られている。

【0007】

特許文献１は、三次元空間において体験者が対象物に着目していたかを特定できる情報処理装置が記載されている。同文献に記載の情報処理装置は、三次元空間上の表示装置の位置及びユーザの視線と、三次元空間上の物体の位置から、ユーザが注目していた物体を特定する。

【0008】

特許文献２は、仮想オブジェクトの表示を制御する際に適用されるユーザ情報が記載されている。特許文献３は、実空間にセンサが配置され、センサを用いて実空間全体の三次元情報を取得する情報処理システムが記載されている。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１７－６８８５１号公報

【文献】国際公開第２０１７／０４７１７８号

【文献】特開２０１８－８５５７１号公報

【非特許文献】

【0010】

【文献】「RoomCoNAVI、ルームコーディネートアプリ「RoomCo AR」とは？」、インターネット<URL:https://www.roomco.jp/info/roomco-ar.html>

【文献】「WIRED、INSIGHT 2017.10.06 FRI 07:00 イケアはスマホアプリにARを導入し、「家具の買い方」を根本から変える」、インターネット<URL:https://wired.jp/2017/10/06/ikea-place-augmented-reality/>

【文献】「APPPLA、Beautiful.AI」、インターネット<URL:https://www.appp.la/posts/beautiful_ai>

【文献】「DreamPages」、インターネット<URL: https://dnp-photobook.jp/recommend/easy-photobook.html>

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、非特許文献１に記載のルームコーディネートアプリケーションソフトは、空間の指定された位置に対して設定したオブジェクトを配置した状態を可視化するが、オブジェクトのレイアウトを提案することは考慮されていない。

【0012】

非特許文献２に記載のアプリケーションソフトウェアは、オブジェクトのレイアウトを自動的に提案するが、提案されるオブジェクトのレイアウトはユーザごとにパーソナライズすることは考慮されていない。

【0013】

非特許文献３及び非特許文献４は、書類及び写真等の自動レイアウトを実施する技術を開示しているが、空間に配置されるオブジェクトの自動レイアウトに関する技術を開示していない。

【0014】

特許文献１に記載の発明は、空間に存在する物体について、ユーザが注目した物体を特定するが、空間に配置されるオブジェクトのレイアウトを提案することは考慮されていない。

【0015】

特許文献２は、仮想オブジェクトの表示を制御する際に適用されるユーザ情報を開示しているが、空間に配置されるオブジェクトのレイアウトを提案する技術を開示していない。

【0016】

特許文献３は、センサを用いた実空間の三次元情報の取得に関する技術を開示しているが、空間に配置されるオブジェクトの自動レイアウトの提案に関する技術を開示していない。

【0017】

本発明はこのような問題点に鑑みてなされ、オブジェクトのユーザにパーソナライズされたレイアウトを提案し得る、情報処理装置、情報処理システム、情報処理方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0018】

上記目的を達成するために、次の発明態様を提供する。

【0019】

第１態様に係る情報処理装置は、オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、空間センシング情報に基づく空間情報を取得する空間情報取得部と、オブジェクトのオブジェクト情報を取得するオブジェクト情報取得部と、空間をセンシングする際に、空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得部と、空間情報及びユーザ情報に基づいて、空間の局所領域ごとのユーザの注目度を示す注目度マップを作成する注目度マップ作成部と、空間情報及びオブジェクト情報に基づいて、局所領域ごとのオブジェクトの適合度を示す適合度マップを作成する適合度マップ作成部と、注目度マップ及び適合度マップに基づいて、空間におけるオブジェクトの配置を提案する提案部と、を備えた情報処理装置である。

【0020】

第１態様によれば、ユーザの注目度を表す注目度マップ及びオブジェクトの適合度を表す適合度マップに基づき空間におけるオブジェクトの配置を提案する。これにより、ユーザにパーソナライズされたオブジェクトのレイアウトを提案し得る。

【0021】

オブジェクトは、現実の物品及び仮想的なオブジェクトの少なくともいずれかを含み得る。

【0022】

取得には、生成、導出、及び読み出しなど、取得対象の情報の元となる情報に処理を施す間接的な取得を意味する概念を含み得る。すなわち、ユーザ情報取得部は、ユーザセンシング情報からユーザ情報を導出するユーザ情報導出部を備えてもよい。また、空間情報取得部は、空間センシング情報から空間情報を導出する空間情報導出部を備えてもよい。

【0023】

第１態様に係る情報処理装置は、一つ以上のプロセッサと、一つ以上のメモリを備えた情報処理装置であって、一つ以上のプロセッサは、オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得して空間センシング情報に基づく空間情報を取得し、オブジェクトのオブジェクト情報を取得し、空間をセンシングする際に、空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得してユーザセンシング情報に基づくユーザ情報を取得し、空間情報及びユーザ情報に基づいて、空間の局所領域ごとのユーザの注目度を示す注目度マップを作成し、空間情報及びオブジェクト情報に基づいて、局所領域ごとのオブジェクトの適合度を示す適合度マップを作成し、注目度マップ及び適合度マップに基づいて、空間におけるオブジェクトの配置を提案し、一つ以上のメモリは、各処理におけるデータを記憶する情報処理装置として構成し得る。

【0024】

第２態様は、第１態様の情報処理装置において、ユーザ情報取得部は、撮像装置を用いてユーザを撮像して得られた撮像データをユーザセンシング情報として取得し、ユーザセンシング情報に基づいてユーザの表情、ユーザの視線、及びユーザの瞳孔のサイズの少なくともいずれかをユーザ情報として取得する構成としてもよい。

【0025】

第２態様によれば、ユーザの表情、ユーザの視線、及びユーザの瞳孔のサイズを、ユーザ情報に適用し得る。

【0026】

第３態様は、第１態様又は第２態様の情報処理装置において、ユーザ情報取得部は、ユーザの生体情報を測定する生体情報測定装置を用いて測定されたユーザの心拍数、ユーザの血圧、ユーザの体温、ユーザの脳波、及びユーザの呼吸数の少なくともいずれかをユーザセンシング情報として取得する構成としてもよい。

【0027】

第３態様によれば、生体情報測定装置を用いて測定したユーザの生体情報を、ユーザ情報に適用し得る。

【0028】

第４態様は、第１態様から第３態様のいずれか一態様の情報処理装置において、空間情報取得部は、空間を撮像する撮像装置を用いて空間を撮像して得られた撮像データを空間センシング情報として取得する構成としてもよい。

【0029】

第４態様によれば、撮像装置を用いて空間を撮像して得られた撮像データを、空間センシング情報として取得し得る。

【0030】

第５態様は、第１態様から第４態様のいずれか一態様の情報処理装置において、空間情報取得部は、空間を撮像する撮像装置を用いて空間を撮像して得られた撮像データから空間の構成要素の情報を取得する構成としてもよい。

【0031】

第５態様によれば、撮像データから得られた空間の構成要素の情報を、空間情報に適用し得る。

【0032】

第６態様は、第１態様から第５態様のいずれか一態様の情報処理装置において、空間情報取得部は、空間の広さ、空間の形、空間の色、及び空間の光に関する情報の少なくともいずれかを空間情報として取得する構成としてもよい。

【0033】

第６態様によれば、空間の広さ、空間の形、空間の色、及び空間の光に関する情報の少なくともいずれかを空間情報に適用し得る。

【0034】

第６態様において、空間情報取得部は、空間を撮像する撮像装置を用いて空間を撮像して得られた空間の撮像データから、空間の広さ、空間の形、空間の色、及び空間の光に関する情報の少なくともいずれかを空間情報として取得し得る。

【0035】

第７態様は、第１態様から第６態様のいずれか一態様の情報処理装置において、オブジェクト情報取得部は、オブジェクトのサイズ、オブジェクトの形、及びオブジェクトの色の少なくともいずれかをオブジェクト情報として取得する構成としてもよい。

【0036】

第７態様によれば、オブジェクトのサイズ、オブジェクトの形、及びオブジェクトの色の少なくともいずれかを、オブジェクト情報に適用し得る。

【0037】

第８態様は、第１態様から第７態様のいずれか一態様の情報処理装置において、提案部は、オブジェクトを配置した空間を表す画像データを作成する構成としてもよい。

【0038】

第８態様によれば、オブジェクトを配置した空間を表す画像データを用いて、空間におけるオブジェクトの配置を提案し得る。

【0039】

第９態様は、第８態様の情報処理装置において、画像データを表す信号を表示装置へ送信する信号送信部を備えた構成としてもよい。

【0040】

第９態様によれば、空間におけるオブジェクトの配置の提案を、表示装置を用いて表示し得る。

【0041】

第１０態様は、第８態様の情報処理装置において、画像データを印刷装置へ送信する信号送信部を備えた構成としてもよい。

【0042】

第１０態様によれば、空間におけるオブジェクトの配置の提案を、印刷装置を用いて印刷し得る。

【0043】

第１１の態様に係る情報処理システムは、ネットワークに接続されたサーバ装置を備えた情報処理システムであって、サーバ装置は、オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、空間センシング情報に基づく空間情報を取得する空間情報取得部と、オブジェクトのオブジェクト情報を取得するオブジェクト情報取得部と、空間をセンシングする際に、空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得部と、空間情報及びユーザ情報に基づいて、空間の局所領域ごとのユーザの注目度を示す注目度マップを作成する注目度マップ作成部と、空間情報及びオブジェクト情報に基づいて、局所領域ごとのオブジェクトの適合度を示す適合度マップを作成する適合度マップ作成部と、注目度マップ及び適合度マップに基づいて、空間におけるオブジェクトの配置を提案する提案部と、を備えた情報処理システムである。

【0044】

第１１態様によれば、第１態様と同様の効果を得ることが可能である。

【0045】

第１１態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、情報処理装置において特定される処理または機能を担う構成要素は、これに対応する処理または機能を担う情報処理システムの構成要素として把握することができる。

【0046】

第１２の態様に係る情報処理方法は、オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、空間センシング情報に基づく空間情報を取得する空間情報取得工程と、オブジェクトのオブジェクト情報を取得するオブジェクト情報取得工程と、空間をセンシングする際に、空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得工程と、空間情報及びユーザ情報に基づいて、空間の局所領域ごとのユーザの注目度を示す注目度マップを作成する注目度マップ作成工程と、空間情報及びオブジェクト情報に基づいて、局所領域ごとのオブジェクトの適合度を示す適合度マップを作成する適合度マップ作成工程と、注目度マップ及び適合度マップに基づいて、空間におけるオブジェクトの配置を提案する提案工程と、を含む情報処理方法である。

【0047】

第１２態様によれば、第１態様と同様の効果を得ることが可能である。

【0048】

第１２態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、情報処理装置において特定される処理または機能を担う構成要素は、これに対応する処理または機能を担う情報処理方法の構成要素として把握することができる。

【0049】

第１３態様に係るプログラムは、コンピュータに、オブジェクトを配置する空間をセンシングして得られた空間センシング情報を取得し、空間センシング情報に基づく空間情報を取得する空間情報取得機能、オブジェクトのオブジェクト情報を取得するオブジェクト情報取得機能、空間をセンシングする際に、空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、ユーザセンシング情報に基づくユーザ情報を取得するユーザ情報取得機能、空間情報及びユーザ情報に基づいて、空間の局所領域ごとのユーザの注目度を示す注目度マップを作成する注目度マップ作成機能、空間情報及びオブジェクト情報に基づいて、局所領域ごとのオブジェクトの適合度を示す適合度マップを作成する適合度マップ作成機能、及び注目度マップ及び適合度マップに基づいて、空間におけるオブジェクトの配置を提案する提案機能を実現させるプログラムである。

【0050】

第１３態様によれば、第１態様と同様の効果を得ることが可能である。

【0051】

第１３態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理または機能を担う構成要素は、これに対応する処理または機能を担うプログラムの構成要素として把握することができる。

【発明の効果】

【0052】

本発明によれば、ユーザの注目度を表す注目度マップ及びオブジェクトの適合度を表す適合度マップに基づき空間におけるオブジェクトの配置を提案する。これにより、ユーザにパーソナライズされたオブジェクトのレイアウトを提案し得る。

【図面の簡単な説明】

【0053】

【図1】図１は情報処理装置の機能ブロック図である。

【図2】図２は情報処理装置のハードウェア構成を示すブロック図である。

【図3】図３はオブジェクト選択画面の説明図である。

【図4】図４は空間センシング及びユーザセンシングの模式図である。

【図5】図５は空間情報の一例を示す説明図である。

【図6】図６は注目度マップの模式図である。

【図7】図７は適合度マップの模式図である。

【図8】図８はレイアウト提案の模式図である。

【図9】図９は情報処理方法の手順を示すフローチャートである。

【図10】図１０は畳み込みニューラルネットワークの説明図である。

【図11】図１１はユーザセンシング情報取得の変形例の説明図である。

【図12】図１２はレイアウト提案の変形例の説明図である。

【図13】図１３は応用例に係るオブジェクト選択画面の説明図である。

【図14】図１４は応用例に係る空間センシング及びユーザセンシングの模式図である。

【図15】図１５は応用例に係るレイアウト提案の模式図である。

【図16】図１６は応用例に係るレイアウト提案の他の例の模式図である。

【図17】図１７は応用例に係る情報処理方法の手順を示すフローチャートである。

【図18】図１８はネットワークシステムへの適用例に係る情報処理システムのブロック図である。

【発明を実施するための形態】

【0054】

以下、添付図面に従って発明を実施するための形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略することとする。

【0055】

［情報処理装置の説明］

〔機能ブロックの説明〕

図１は情報処理装置の機能ブロック図である。図１に示す情報処理装置１０は、オブジェクト情報取得部１２、空間情報取得部１４、空間情報記憶部１６、ユーザ情報取得部１８、ユーザ情報記憶部２０、注目度マップ作成部２２、適合度マップ作成部２４、及び提案部２６を備える。情報処理装置１０を構成する上記の各部は、バス２８を介して通信可能に接続される。

【0056】

情報処理装置１０は、ユーザが選択したオブジェクトを空間に配置する場合に、空間をセンシングする際のユーザの状態に応じてパーソナライズされた、最適なオブジェクトのレイアウトを自動的に提案する。なお、本明細書では、レイアウトという用語と配置という用語とは相互に置き替えることが可能である。

【0057】

ここでいうオブジェクトは、写真、絵画、及び家具等の現実の物品でもよいし、ＡＲ等を用いて作成された仮想的なオブジェクトでもよい。また、空間は、室内及び屋外のいずれでもよい。

【0058】

オブジェクト情報取得部１２は、スマートフォン等のユーザ端末を用いて選択されたオブジェクトの識別情報を用いて、ユーザが選択したオブジェクトにおけるオブジェクト情報を取得する。

【0059】

オブジェクト情報は、オブジェクトのサイズ、オブジェクトの形状、及びオブジェクトの色の少なくともいずれかの情報を適用し得る。オブジェクト情報は、オブジェクトの種類、オブジェクトの製造者、オブジェクトの販売者、オブジェクトの価格、オブジェクトの在庫状況、及びオブジェクトの入手予定日等が含まれていてもよい。

【0060】

空間情報取得部１４は、撮像装置等の空間センサ３０を用いて空間をセンシングして得られた空間センシング情報を取得し、空間センシング情報に基づく空間情報を導出する。空間センサ３０が撮像装置の場合、空間の撮像データが空間センシング情報となる。空間センサ３０は、赤外線デバイス及び音波デバイス等を適用してもよい。空間情報取得部１４は、空間情報を空間情報記憶部１６へ記憶する。

【0061】

空間情報はセンシング対象の空間のマップを適用し得る。空間が室内の場合、空間情報は、家具及び壁等の空間の構成要素が含まれてもよい。空間情報は、空間に照射される光の向き、光の量、及び光の波長等が含まれてもよい。ここでいう光は、自然光及び照明光の少なくともいずれかを含み得る。

【0062】

ユーザ情報取得部１８は、撮像装置等のユーザセンサ３２を用いて、空間に対するユーザの状態をセンシングして得られたユーザセンシング情報を取得し、ユーザセンシング情報に基づくユーザ情報を導出する。ユーザ情報取得部１８は、ユーザ情報をユーザ情報記憶部２０へ記憶する。ユーザセンサ３２は、赤外線デバイス及び音波デバイス等を適用してもよい。

【0063】

ユーザ情報はユーザの表情、ユーザの目の動き、及びユーザの生体情報等を適用し得る。ユーザの生体情報の一例として、ユーザの心拍数、血圧、呼吸数、脳波、体温、及び瞳孔のサイズ等が挙げられる。

【0064】

注目度マップ作成部２２は、空間情報及びユーザ情報に基づいて、空間の局所領域ごとのユーザの注目度を表す注目度マップを作成する。注目度マップ作成部２２は、注目度マップを提案部２６へ提供する。すなわち、注目度マップ作成部２２は、空間情報とユーザ情報とを関連付けし、空間情報にユーザ情報をマッピングする。

【0065】

適合度マップ作成部２４は、オブジェクト情報及び空間情報に基づいて、局所領域ごとのオブジェクトの適合度を表す適合度マップを作成する。適合度マップ作成部２４は、適合度マップを提案部２６へ提供する。すなわち、適合度マップ作成部２４は、空間情報とオブジェクト情報とを関連付けし、空間情報にオブジェクト情報をマッピングする。

【0066】

提案部２６は、注目度マップ及び適合度マップに基づいて、空間におけるオブジェクトの配置を提案する。すなわち、提案部２６は注目度マップ及び適合度マップを用いて、オブジェクトの配置に適した局所領域を探索する。提案部２６はオブジェクトの配置の適合度合いを表すスコアを空間にマッピングしてもよい。

【0067】

提案部２６は、オブジェクトの配置の候補となる局所領域について、ユーザの目線の高さ、周囲の色、及び光等の情報から、オブジェクトの配置の適合度合いをスコア化してもよい。

【0068】

提案部２６は、空間におけるオブジェクトのレイアウトの提案として、オブジェクトの配置の候補となる局所領域ごとのスコアを適用してもよい。提案部２６は、オブジェクトの最適な配置位置を特定し、空間にオブジェクトを配置したレイアウト画像を生成してもよい。なお、本明細書における画像という用語は画像データの意味が含まれ得る。

【0069】

情報処理装置１０は、提案部２６を用いて生成された、空間におけるオブジェクトのレイアウト提案を表す表示信号をユーザ端末へ送信し得る。ユーザ端末は、空間におけるオブジェクトのレイアウト提案を表す表示信号に基づいて、ユーザ端末に具備される表示装置を用いて、空間におけるオブジェクトのレイアウトの提案を表示し得る。

【0070】

図１では、バス２８を介して情報処理装置１０を構成する各部が通信可能に接続される態様を示したが、情報処理装置１０の各部の少なくとも一部は、ネットワーク等の通信回線を介して接続されてもよい。

【0071】

〔制御装置のハードウェア構成〕

〈全体構成〉

図２は情報処理装置のハードウェア構成を示すブロック図である。図１に示す情報処理装置１０は、制御部４０、メモリ４２、ストレージ装置４４、ネットワークコントローラ４６、及び電源装置４８を備える。制御部４０、メモリ４２、ストレージ装置４４、及びネットワークコントローラ４６は、バス２８を介して通信可能に接続される。

【0072】

情報処理装置１０は、ディスプレイコントローラ５２、入出力インターフェース５４、及び入力コントローラ５６を備えてもよい。情報処理装置１０は、制御部４０を用いて規定のプログラムを実行し、情報処理装置１０の各種機能を実現し得る。

【0073】

〈制御部〉

制御部４０は、情報処理装置１０の全体制御部、各種演算部、及び記憶制御部として機能する。制御部４０は、メモリ４２に具備されるＲＯＭ（read only memory）に記憶されるプログラムを実行する。

【0074】

制御部４０は、ネットワークコントローラ４６を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク５０を介して情報処理装置１０と通信可能に接続されていてもよい。

【0075】

制御部４０は、メモリ４２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、情報処理装置１０の各種機能が実現される。

【0076】

制御部４０は、ストレージ装置４４からのデータの読み出し及びストレージ装置４４へのデータの書き込みを制御する。制御部４０は、ネットワークコントローラ４６を介して、外部の記憶装置から各種データを取得してもよい。制御部４０は、取得した各種データを用いて、演算等の各種処理を実行可能である。

【0077】

制御部４０は、一つ又は二つ以上のプロセッサ（processor）が含まれてもよい。プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。

【0078】

プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。

【0079】

制御部４０は、同じ種類の二つ以上のプロセッサを適用可能である。例えば、制御部４０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。制御部４０は、異なる種類の二つ以上プロセッサを適用してもよい。例えば、制御部４０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。

【0080】

複数の制御部４０を備える場合、複数の制御部４０は一つのプロセッサを用いて構成してもよい。複数の制御部４０を一つのプロセッサで構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数の制御部４０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。

【0081】

ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。複数の制御部４０が一つのプロセッサを用いて構成される代表例として、コンピュータが挙げられる。

【0082】

複数の制御部４０を一つのプロセッサで構成する他の例として、複数の制御部４０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部４０を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。

【0083】

このように、制御部４０は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。

【0084】

〈メモリ〉

メモリ４２は、図示しないＲＯＭ及び図示しないＲＡＭを備える。ＲＯＭは、情報処理装置１０おいて実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域及び制御部４０のワーク領域等として機能する。

【0085】

〈ストレージ装置〉

ストレージ装置４４は、各種データを非一時的に記憶する。ストレージ装置４４は、情報処理装置１０に外付けされてもよい。ストレージ装置４４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。

【0086】

〈ネットワークコントローラ〉

ネットワークコントローラ４６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ４６を介して接続されるネットワーク５０は、ＬＡＮ（Local Area Network）などの公知のネットワークを適用し得る。

【0087】

〈電源装置〉

電源装置４８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置４８は停電等に起因して商用電源が遮断された際に、情報処理装置１０へ電源を供給する。

【0088】

〈ディスプレイコントローラ〉

ディスプレイコントローラ５２は、制御部４０から送信される指令信号に基づいて表示部６０を制御するディスプレイドライバーとして機能する。実施形態に示すディスプレイコントローラ５２は信号送信部の一例である。

【0089】

〈入出力インターフェース〉

入出力インターフェース５４は、情報処理装置１０と外部機器との通信可能に接続する。入出力インターフェース５４は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。

【0090】

〈入力コントローラ〉

入力コントローラ５６は、操作部６２を用いて入力された信号の形式を情報処理装置１０の処理に適した形式に変換する。入力コントローラ５６を介して操作部６２から入力された情報は、制御部４０を介して各部へ送信される。

【0091】

なお、図２に示す情報処理装置１０のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。

【0092】

［オブジェクトの自動レイアウト提案］

次に、情報処理装置１０を用いて実施されるオブジェクトの、ユーザにパーソナライズされた自動レイアウト提案について説明する。本実施形態に示すオブジェクトの自動レイアウト提案では、フレームに入れられた写真を部屋に飾る際の自動レイアウト提案を実施する。

【0093】

〔オブジェクトの説明〕

図３はオブジェクト選択画面の説明図である。図３に示すオブジェクト選択画面１００は、ユーザが空間に配置するオブジェクトを選択する際に、ユーザ端末の表示装置を用いて表示される。なお、ユーザ端末は、図４にスマートデバイス１２２として図示する。また、ユーザ端末の表示装置は、図４にスマートデバイス１２２の表示装置１２３として図示する。

【0094】

ユーザは、ユーザ端末を用いてオブジェクトを選択するサイトにアクセスする。ユーザは、複数のオブジェクトが掲載されるオブジェクト一覧１０２のページを開いて、ユーザ端末の表示装置にオブジェクト一覧１０２を表示させる。

【0095】

図３に示すオブジェクト一覧１０２は、第一オブジェクトを表す第一画像１０４、第二オブジェクトを表す第二画像１０６、及び第三オブジェクトを表す第三画像１０８が表示される。第一画像１０４、第二画像１０６、及び第三画像１０８は、図示しない額に入れられた写真を表すサムネイル画像が適用される。

【0096】

ユーザがオブジェクト一覧１０２から所望のオブジェクトを選択すると、所望のオブジェクトを表す画像が拡大表示される。図３には、第一オブジェクトを選択した結果、第一画像１０４の拡大画像１１０が表示される例を示す。ユーザがオーケーボタン１１２をタップするとオブジェクトの選択が確定する。

【0097】

図１に示すオブジェクト情報取得部１２は、ユーザ端末を用いて選択されたオブジェクトの識別情報をユーザ端末から取得する。オブジェクト情報取得部１２は、識別情報に対応するオブジェクトのオブジェクト情報を取得する。

【0098】

オブジェクト情報取得部１２は、オブジェクト情報にオブジェクトの識別情報が関連付けされて記憶されるオブジェクトデータベース３４からオブジェクト情報を取得し得る。オブジェクト情報は図示しないオブジェクト情報記憶部へ記憶される。

【0099】

〔空間情報の説明〕

図４は空間センシング及びユーザセンシングの模式図である。図４には、ユーザ１２０がスマートデバイス１２２に具備される第一カメラ１２７を用いて、部屋の内部１２４を動画撮像している状態を示す。

【0100】

すなわち、ユーザ１２０は、スマートデバイス１２２の第一カメラ１２７を走査して、部屋の内部１２４の全体の動画像を撮像する。部屋の内部１２４の撮像は、静止画撮像でもよい。静止画撮像の場合、ユーザ１２０は、スマートデバイス１２２の第一カメラ１２７の光軸を移動させて、複数枚の静止画を撮像する。実施形態に示すスマートデバイス１２２の第一カメラ１２７を用いた部屋の内部１２４の撮像は、空間センシングの一例である。

【0101】

スマートデバイス１２２は、部屋の内部１２４の画像データを図１に示す情報処理装置１０へ送信する。空間情報取得部１４は、部屋の内部１２４の画像データを空間センシング情報として取得する。空間情報取得部１４は、部屋の内部１２４の画像データを解析して、部屋のサイズ、部屋の壁の色、テーブル等の家具のサイズ、家具の色、装飾品のサイズ、及び装飾品の色等の情報を取得してもよい。

【0102】

画像データの解析は公知の技術を適用し得る。情報処理装置１０は、空間センサ３０から取得した空間センシング情報を解析する空間センシング情報解析部を備えてもよい。

【0103】

図５は空間情報の一例を示す説明図である。図５に示す空間情報１３０は、図４に示す部屋の内部１２４の動画に含まれる一フレームを構成要素とする。空間情報１３０は、部屋のサイズ、部屋の壁の色、テーブル等の家具のサイズ、家具の色、装飾品のサイズ、及び装飾品の色等の部屋の内部１２４に関する情報を構成要素として含み得る。

【0104】

〔ユーザ情報の説明〕

図４に戻り、ユーザ１２０は、部屋の内部１２４の動画を撮像する際に、スマートデバイス１２２に具備される第二カメラ１２８を用いて、ユーザ１２０を撮像する。ユーザ１２０はユーザ１２０の顔が含まれる画角を適用して、ユーザ１２０を撮像する。

【0105】

スマートデバイス１２２は、ユーザ１２０の画像データを情報処理装置１０へ送信する。ユーザ情報取得部１８は、ユーザ１２０の画像データをユーザセンシング情報として取得する。ユーザ１２０の画像データは、ユーザ１２０の顔のうち、ユーザ１２０の目が含まれてもよい。実施形態に示すスマートデバイス１２２の第二カメラ１２８を用いたユーザ１２０の撮像はユーザセンシングの一例である。

【0106】

ユーザ情報取得部１８は、ユーザ１２０の画像データを解析して、ユーザ１２０の表情、表情の変化、視線及び瞳孔の大きさなど、ユーザ１２０の状態に関する情報をユーザ情報の構成要素として取得し得る。ユーザ１２０の表情の変化の一例として、ユーザ１２０の表情が平常の表情から好感を示す表情に変わった場合等が挙げられる。

【0107】

ユーザ１２０の画像データの解析は公知の技術を適用し得る。情報処理装置１０は、ユーザセンサ３２から取得したユーザセンシング情報を解析するユーザセンシング情報解析部を備えてもよい。

【0108】

〔注目度マップの説明〕

図６は注目度マップの模式図である。図６に示す注目度マップ２００は、空間情報１３０に対してユーザ情報から生成されたユーザの注目度を表す注目度スコア２０２等がマッピングされている。

【0109】

すなわち、図１に示す注目度マップ作成部２２は、ユーザ情報からユーザの注目度を表す注目度スコア２０２、注目度スコア２０４、及び注目度スコア２０６を生成し、注目度スコア２０２、注目度スコア２０４、及び注目度スコア２０６を空間情報１３０にマッピングした注目度マップ２００を生成する。

【0110】

図６に示す注目度マップ２００は、ユーザ１２０が最も注目した局所領域に、最も高いスコアを表す注目度スコア２０２がマッピングされている。すなわち、注目度マップ２００はユーザ１２０が空間の撮像を行う際に、ユーザが最も好感を示す表情をした局所領域に、最も高いスコアを表す注目度スコア２０２がマッピングされている。

【0111】

注目度マップ２００は、ユーザ１２０が二番目に注目した局所領域に、二番目に高いスコアを表す注目度スコア２０４がマッピングされ、ユーザ１２０が三番目に注目した局所領域に、三番目のスコアを表す注目度スコア２０６がマッピングされている。すなわち、注目度マップ２００は、ユーザ１２０の表情から把握されるユーザの注目の程度の順に生成された注目度スコア２０２等が、空間情報１３０にマッピングされる。

【0112】

注目度スコア２０２等は、数値を用いてユーザの注目度の大きさを表してもよいし、色を用いてユーザの注目度の大きさを表してもよい。ここでいう色は、色相、明度、及び彩度の少なくともいずれかが含まれ得る。後述する適合度マップも同様である。注目度スコア２０２等は、シンボルマークと数値とを併記してもよい。ユーザの表情からユーザの注目の程度を解析する手法は、公知の画像解析手法を適用し得る。

【0113】

本実施形態では、空間情報１３０に複数の注目度スコアをマッピングする態様を示したが、空間情報１３０にマッピングされる注目度スコアは一つ以上であればよい。また、空間情報１３０に四つ以上の注目度スコアをマッピングしてもよい。

【0114】

〔適合度マップの説明〕

図７は適合度マップの模式図である。図７に示す適合度マップ２２０は、空間情報１３０に対して、オブジェクトを配置する局所領域としての適合度を表す適合度スコア２２２等がマッピングされる。

【0115】

すなわち、図１に示す適合度マップ作成部２４は、オブジェクト情報及び空間情報から、オブジェクトを配置する局所領域としての適合度を表す適合度スコア２２２、適合度スコア２２４、及び適合度スコア２２６を生成し、適合度スコア２２２、適合度スコア２２４、及び適合度スコア２２６を空間情報１３０にマッピングした適合度マップ２２０を生成する。

【0116】

換言すると、空間の位置、サイズ、色、及び光等の条件と、オブジェクトの種類、形状、サイズ、及び色等の条件とを総合的に勘案して、空間の局所領域とオブジェクトとの適合度合いをスコア化し、適合度スコア２２２等を生成する。

【0117】

例えば、空間の中央には、空間の中央に適したテーブル等のオブジェクトに高いスコアが付与される。また、空間の中央には、サイズが大きいテーブル等のオブジェクトに高いスコアが付与される。壁には、壁に適した絵画等のオブジェクトに高いスコアが付与される。床には、床に適したカーペット等のオブジェクトに高いスコアが付与される。

【0118】

適合度マップ２２０は、オブジェクトの配置に最も適した局所領域に、最も高いスコアを表す適合度スコア２２２がマッピングされている。適合度マップ２２０は、オブジェクトの配置に二番目に適した局所領域に、二番目に高いスコアを表す適合度スコア２２４がマッピングされ、オブジェクトの配置に三番目に適した局所領域に、三番目に高いスコアを表す適合度スコア２２６がマッピングされている。

【0119】

すなわち、適合度マップ２２０は、空間情報１３０及びオブジェクト情報に基づき、オブジェクトの配置に適した順を表す適合度スコア２２２等が、空間情報１３０にマッピングされる。

【0120】

適合度スコア２２２等は、数値を用いてオブジェクトの配置の適合度の大きさを表してもよいし、色を用いてオブジェクトの配置の適合度の大きさを表してもよい。適合度スコア２２２等は、シンボルマークと数値とを併記してもよい。

【0121】

本実施形態では、空間情報１３０に複数の適合度スコアをマッピングする態様を示したが、空間情報１３０にマッピングされる適合度スコアは一つ以上であればよい。また、空間情報１３０に四つ以上の適合度スコアをマッピングしてもよい。

【0122】

〔オブジェクトのレイアウト提案の説明〕

図８はレイアウト提案の模式図である。図１に示す提案部２６は、図８に示すレイアウト画像２４０を生成する。情報処理装置１０は、レイアウト画像２４０を表す表示信号をスマートデバイス１２２へ送信する。

【0123】

ユーザ１２０は、スマートデバイス１２２の表示装置１２３に表示されたレイアウト画像２４０を見て、ユーザにパーソナライズされた、最適なオブジェクト１２５のレイアウト提案を確認することが可能である。

【0124】

本実施形態では、レイアウト画像２４０を表す表示信号を情報処理装置１０からスマートデバイス１２２へ送信する態様を示したが、情報処理装置１０は、図示しないプリンタへレイアウト画像２４０を表す画像データを送信してもよい。ユーザ１２０は、プリンタを用いて印刷された画像を見て、ユーザにパーソナライズされた、最適なオブジェクト１２５のレイアウト提案を確認することが可能である。実施形態に示すプリンタは印刷装置の一例である。

【0125】

〔情報処理方法のフローチャート〕

図９は情報処理方法の手順を示すフローチャートである。図９に手順を示す情報処理方法は、オブジェクト情報取得工程Ｓ１０、空間情報取得工程Ｓ１２、ユーザ情報取得工程Ｓ１４、注目度マップ作成工程Ｓ１６、適合度マップ作成工程Ｓ１８、レイアウト提案作成工程Ｓ２０、及び表示工程Ｓ２２が含まれる。なお、図９に示すフローチャートは、印刷工程が追加されてもよいし、表示工程Ｓ２２に代わり印刷工程を実施してもよい。

【0126】

オブジェクト情報取得工程Ｓ１０では、図１に示すオブジェクト情報取得部１２は、オブジェクトの選択情報に基づきオブジェクトを特定し、オブジェクトの識別情報に基づき、オブジェクトデータベース３４からオブジェクト情報を取得する。オブジェクト情報取得部１２は、空間情報記憶部１６へオブジェクト情報を記憶する。オブジェクト情報取得工程Ｓ１０の後に空間情報取得工程Ｓ１２へ進む。

【0127】

空間情報取得工程Ｓ１２では、空間情報取得部１４は、空間センサ３０から空間センシング情報を取得する。空間情報取得部１４は、空間センシング情報を解析して、空間情報１３０を導出する。空間情報取得部１４は、空間情報記憶部１６へ空間情報１３０を記憶する。空間情報取得工程Ｓ１２の後にユーザ情報取得工程Ｓ１４へ進む。

【0128】

ユーザ情報取得工程Ｓ１４では、ユーザ情報取得部１８は、ユーザセンサ３２からユーザセンシング情報を取得する。空間情報取得部１４は、ユーザセンシング情報を解析して、ユーザ情報を導出する。ユーザ情報取得部１８は、ユーザ情報記憶部２０へユーザ情報を記憶する。ユーザ情報取得工程Ｓ１４の後に注目度マップ作成工程Ｓ１６へ進む。

【0129】

なお、オブジェクト情報取得工程Ｓ１０、空間情報取得工程Ｓ１２、及びユーザ情報取得工程Ｓ１４は、並行して実施されてもよいし、順番が入れ替えられてもよい。すなわち、注目度マップ作成工程Ｓ１６の実施前に、空間情報１３０及びユーザ情報が取得されていればよい。また、適合度マップ作成工程Ｓ１８の実施前に、空間情報１３０及びオブジェクト情報が取得されていればよい。

【0130】

注目度マップ作成工程Ｓ１６では、注目度マップ作成部２２は、空間情報１３０及びユーザ情報に基づいて、図６に示す注目度マップ２００を作成する。注目度マップ作成工程Ｓ１６の後に適合度マップ作成工程Ｓ１８へ進む。

【0131】

適合度マップ作成工程Ｓ１８では、適合度マップ作成部２４は、オブジェクト情報及び空間情報１３０に基づいて、図７に示す適合度マップ２２０を作成する。適合度マップ作成工程Ｓ１８の後にレイアウト提案作成工程Ｓ２０へ進む。

【0132】

なお、注目度マップ作成工程Ｓ１６と適合度マップ作成工程Ｓ１８とは、並行して実施されてもよいし、順番が入れ替えられてもよい。すなわち、レイアウト提案作成工程Ｓ２０の実施前に、注目度マップ２００及び適合度マップ２２０が生成されていればよい。

【0133】

レイアウト提案作成工程Ｓ２０では、提案部２６は、注目度マップ２００及び適合度マップ２２０に基づいて、図８に示すレイアウト画像２４０を生成する。レイアウト提案作成工程Ｓ２０の後に表示工程Ｓ２２へ進む。実施形態に示すレイアウト提案作成工程Ｓ２０は、提案工程の一例である。

【0134】

表示工程Ｓ２２では、情報処理装置１０は、スマートデバイス１２２へレイアウト画像２４０を表す表示信号を生成する。ユーザは表示装置１２３に表示されたレイアウト画像２４０を見て、情報処理装置１０が生成したオブジェクトのレイアウトを確認し得る。表示工程Ｓ２２において、情報処理装置１０は図示しないプリンタへレイアウト画像２４０を表す画像データを送信してもよい。表示工程Ｓ２２の後に、情報処理装置１０は情報処理方法を終了させる。

【0135】

［作用効果］

本実施形態に示す情報処理装置及び情報処理方法によれば、以下の作用効果を得ることが可能である。

【0136】

〔１〕

空間情報及びユーザ情報に基づいて、部屋の内部１２４における局所領域ごとのユーザ１２０の注目度合いを示す注目度マップ２００が生成される。これにより、ユーザ１２０が部屋の内部１２４をセンシングした際に、ユーザがどの局所領域にどのくらい注目したかを把握し得る。また、オブジェクト情報及び空間情報に基づいて、部屋の内部１２４の局所領域ごとのオブジェクト１２５の配置の適合度合いを示す適合度マップ２２０が作成される。これにより、部屋の内部１２４のどの局所領域がオブジェクト１２５の配置にどのくらい適しているかを把握し得る。更に、注目度マップ２００及び適合度マップ２２０に基づいて、部屋の内部１２４におけるオブジェクト１２５のレイアウトが提案される。これにより、ユーザ１２０にパーソナライズされた、最適なオブジェクト１２５のレイアウトの提案が可能となる。

【0137】

〔２〕

提案部２６は、部屋の内部１２４におけるオブジェクト１２５の、ユーザ１２０にパーソナライズされた、最適なレイアウトを表すレイアウト画像２４０を生成する。情報処理装置１０はスマートデバイス１２２へレイアウト画像２４０を表す表示信号を送信する。これにより、スマートデバイス１２２の表示装置１２３へレイアウト画像２４０を表示し得る。

【0138】

〔３〕

ユーザ１２０は、オブジェクト一覧１０２からオブジェクトを選択する。オブジェクト情報取得部１２は、オブジェクトの識別情報を用いてオブジェクトを特定し、オブジェクトデータベース３４にアクセスして、オブジェクト情報を取得する。これにより、情報処理装置１０は、ユーザが選択したオブジェクトに対応するオブジェクト情報を取得し得る。

【0139】

〔４〕

ユーザ１２０は、スマートデバイス１２２の第一カメラ１２７を用いて、部屋の内部１２４の撮像データを取得する。これにより、空間情報の構成要素として部屋の内部１２４の撮像データを適用し得る。

【0140】

〔５〕

空間情報取得部１４は、部屋の内部１２４のサイズ、色、配置される家具等のサイズ、及び家具等の色の少なくともいずれかの情報を取得する。これにより、空間情報の構成要素として、部屋の内部１２４のサイズ等の色を適用し得る。

【0141】

〔６〕

ユーザ１２０は、スマートデバイス１２２の第二カメラ１２８を用いてユーザの撮像データを取得する。ユーザ情報取得部１８は、ユーザ１２０の撮像データから、ユーザ１２０の表情、表情の変化、視線、及びユーザの瞳孔の大きさの少なくともいずれかの情報を取得する。これにより、ユーザ情報の構成要素として、ユーザ１２０の表情等を適用し得る。

【0142】

［変形例］

〔注目度マップ作成の変形例〕

次に、注目度マップ作成の変形例について説明する。注目度マップ作成部２２は、ユーザの表情と好感度との関係を学習した認識器を適用して、空間に対するユーザの好感度の度合いを表す好感度マップを注目度マップとして生成し得る。ユーザの好感度はユーザの状態の一例である。

【0143】

学習は、畳み込みニューラルネットワークを適用し得る。なお、畳み込みニューラルネットワークは、英語表記のConvolutional neural networkの省略語を用いてＣＮＮと呼ばれる場合がある。

【0144】

図１０は畳み込みニューラルネットワークの説明図である。注目度マップ作成部２２Ａは、入力層２２Ｂ、中間層２２Ｃ、及び出力層２２Ｄを備える。中間層２２Ｃは、畳み込み層２２Ｅとプーリング層２２Ｆから構成された複数セット、及び全結合層２２Ｇを備える。各層は複数のノードがエッジを用いて結ばれる構造となっている。

【0145】

入力層２２Ｂは、認識処理の対象であるユーザの画像データが入力される。中間層２２Ｃは、畳み込み層２２Ｅとプーリング層２２Ｆとを一セットとする複数セットと、全結合層２２Ｇとを有し、入力層２２Ｂから入力した画像データから特徴を抽出する。

【0146】

畳み込み層２２Ｅは、前の層で近くにあるノードにフィルタ処理を施して特徴マップを取得する。畳み込み層２２Ｅは、フィルタ処理として、フィルタを使用した畳み込み演算を実施する。

【0147】

プーリング層２２Ｆは、畳み込み層２２Ｅから出力された特徴マップを縮小して新たな特徴マップとする。畳み込み層２２Ｅは、画像データからのエッジ抽出等の特徴抽出の役割を担う。プーリング層２２Ｆは抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

【0148】

中間層２２Ｃは、畳み込み層２２Ｅとプーリング層２２Ｆとを一セットとする場合に限らず、畳み込み層２２Ｅが連続する場合、及び図示しない正規化層を備える場合が含まれる。また、各畳み込み層２２Ｅにて使用されるフィルタの重み及びバイアスは、予め多数の学習データを用いて自動的に学習されている。

【0149】

本変形例に示す注目度マップ作成部２２Ａは、ユーザの表情及びユーザの表情の変化の少なくともいずれかと、ユーザの好感度との組み合わせを学習データとして学習させたものである。ユーザの表情は、ユーザの画像データにおける顔の立体構造から導出し得る。

【0150】

注目度マップ作成部２２Ａは、入力層２２Ｂにユーザ１２０の画像データが入力されると、中間層２２Ｃにおける処理を経て、出力層２２Ｄからユーザ１２０の好感度の度合いを表すスコアが出力される。

【0151】

注目度マップ作成部２２Ａは、好きなどの正の感情を持っている場合のユーザ１２０の状態を学習した認識器を適用し得る。注目度マップ作成部２２Ａは、嫌いなどの負の感情を持っている場合のユーザ１２０の状態を学習した認識器を適用し得る。

【0152】

〔注目度マップ作成の変形例の作用効果〕

注目度マップ作成の変形例によれば、注目度マップ作成部２２はユーザの表情と好感度との関係を学習した認識器が適用される。認識器は畳み込みニューラルネットワークが適用される。これにより、ロバスト性及び精度が高いユーザ情報の取得が可能となる。

【0153】

〔ユーザセンシング情報取得の変形例〕

図１１はユーザセンシング情報取得の変形例の説明図である。図１１に示すユーザ１２０Ａは、図１に示す空間センサ３０としてスマートデバイス１２２の第一カメラ１２７を使用する。また、ユーザ１２０Ａは、ユーザセンサ３２として心拍測定器１４４を使用する。心拍測定器１４４は腕時計型である。

【0154】

すなわち、図１に示す空間情報取得部１４は、第一カメラ１２７から部屋の内部１２４の撮像データを取得する。ユーザ情報取得部１８は、心拍測定器１４４からユーザ１２０Ａの心拍数の情報を取得する。ユーザ情報はユーザ１２０Ａの心拍数の情報が含まれる。

【0155】

図示を省略するが、ユーザセンサ３２は、ユーザ１２０Ａの頭部に装着可能な脳波測定器を適用してもよい。ユーザセンサ３２は、血圧計、呼吸計測器、及び体温計など、ユーザ１２０Ａの生体情報を測定する生体情報測定装置を適用してもよい。なお、体温はユーザ１２０Ａの皮膚の表面温度を適用してもよい。体温計はユーザ１２０Ａの皮膚の表面温度を測定する温度センサを適用してもよい。温度センサは非接触型を適用してもよい。

【0156】

ユーザ情報に複数の構成要素が含まれる場合、ユーザ情報を構成する複数の構成要素を用いて、注目度マップ作成部２２は総合的なユーザ１２０Ａの注目度を用いた注目度マップを生成してもよい。

【0157】

複数の構成要素の組み合わせの一例として、ユーザ１２０Ａの視線とユーザ１２０Ａの心拍数との組み合わせのように、ユーザ１２０Ａの外観情報とユーザ１２０Ａの生体情報との組み合わせが挙げられる。

【0158】

複数の構成要素の組み合わせの他の例として、ユーザ１２０Ａの表情とユーザ１２０Ａの視線との組み合わせのように、ユーザ１２０Ａの外観情報同士の組み合わせが挙げられる。ユーザ情報はユーザ１２０Ａの生体情報同士を組み合わせてもよい。

【0159】

〔ユーザセンシング情報取得の変形例の作用効果〕

ユーザセンシング情報取得の変形例によれば、以下の作用効果を得ることが可能である。

【0160】

〈１〉

ユーザ情報の構成要素として、ユーザ１２０Ａの生体情報を適用する。ユーザ１２０Ａの生体情報はユーザ１２０Ａの状態が反映される。これにより、ユーザ１２０Ａの生体情報に基づく注目度マップ２００が生成される。

【0161】

〈２〉

ユーザ情報取得部１８は複数のユーザセンシング情報を取得する。ユーザ情報取得部１８は複数の構成要素を含むユーザ情報を取得する。注目度マップ作成部２２は複数のユーザ情報の構成要素を用いて注目度マップ２００を作成する。これにより、詳細なユーザ１２０Ａの状態が反映された注目度マップ２００を作成し得る。

【0162】

〔レイアウト提案の変形例〕

図１２はレイアウト提案の変形例の説明図である。図１２に示すレイアウト提案では、レイアウト画像２４０及びオブジェクト情報２５０が含まれる。すなわち、スマートデバイス１２２の表示装置１２３は、レイアウト画像２４０及びオブジェクト情報２５０を表示する。

【0163】

図１２に示すオブジェクト情報２５０は、オブジェクト１２５のサイズを表すサイズ情報２５２、及びオブジェクト１２５のフレーム１２６の材質を表す材質情報２５４が含まれる。

【0164】

図１２では、複数の情報を含むオブジェクト情報２５０を例示したが、オブジェクト情報２５０は一つでもよい。図１２に示したサイズ情報２５２及び材質情報２５４は例示であり、オブジェクト情報２５０は、オブジェクト１２５の質量、価格、製作者、及び販売者等の他の情報が含まれていてもよい。

【0165】

〔レイアウト提案の変形例の作用効果〕

レイアウト提案の変形例によれば、以下の作用効果を得ることが可能である。

【0166】

〈１〉

レイアウト提案にオブジェクト情報２５０が含まれる。これにより、ユーザ１２０は現実のオブジェクトを把握し得る。

【0167】

〈２〉

オブジェクト情報２５０はオブジェクト１２５のサイズを表すサイズ情報２５２が含まれる。これにより、ユーザ１２０はオブジェクト１２５のサイズを把握し得る。

【0168】

〈３〉

オブジェクト情報２５０はオブジェクト１２５のフレーム１２６の材質を表す材質情報２５４が含まれる。これにより、ユーザ１２０はオブジェクト１２５のフレーム１２６の材質を把握し得る。

【0169】

［応用例］

次に、上記した実施形態の応用例について説明する。応用例に係るレイアウト提案では、部屋の内部１２４に家具を配置する場合について説明する。以下、主として、上記した実施形態との違いについて説明する。

【0170】

〔オブジェクト選択〕

図１３は応用例に係るオブジェクト選択画面の説明図である。図１３に示すオブジェクト選択画面３００は、オブジェクト一覧３０２に、椅子の画像３０４、花瓶の画像３０６、及びごみ箱の画像３０８が含まれる。オブジェクト選択画面３００はテーブルの画像３１０が選択された状態を表す。ユーザ１２０はオーケーボタン３１２をタップして、オブジェクトとしてテーブルの画像３１０のテーブルの選択を確定させることができる。

【0171】

〔空間センシング及びユーザセンシング〕

図１４は応用例に係る空間センシング及びユーザセンシングの模式図である。既述の実施形態と同様に、ユーザ１２０は、スマートデバイス１２２の第一カメラ１２７を用いて空間のセンシングを行い、かつ、スマートデバイス１２２の第二カメラ１２８を用いてユーザのセンシングを行う。もちろん、図１１に示す心拍測定器１４４を用いて、ユーザ１２０のセンシングを行ってもよい。

【0172】

〔注目度マップの生成及び適合度マップの生成〕

注目度マップの生成及び適合度マップの生成は、既述の実施形態と同様に実施される。ここでは、注目度マップの生成及び適合度マップの生成の説明は省略する。すなわち、空間情報１３０及びユーザ情報に基づいて注目度マップ２００が生成され、空間情報１３０及びオブジェクト情報に基づいて適合度マップ２２０が生成される。

【0173】

〔レイアウト提案〕

図１５は応用例に係るレイアウト提案の模式図である。図１５に示すレイアウト画像３４０は、部屋の内部１２４におけるテーブル３５０の最適なレイアウトの提案を表す。レイアウト画像３４０は、表示装置１２３に表示される。

【0174】

図１６は応用例に係るレイアウト提案の他の例の模式図である。図１６に示すレイアウト画像３６０は、部屋の内部１２４における複数のオブジェクトの最適なレイアウトの提案を示す。

【0175】

図１６に示すレイアウト画像３６０は、複数のオブジェクトとして、テーブル３５０、複数の椅子３５２、サイドボード３５４、複数の花瓶３５６、ごみ箱３５８、及び置物３５９が適用されている。

【0176】

〔情報処理方法のフローチャート〕

図１７は応用例に係る情報処理方法の手順を示すフローチャートである。図１７に示すフローチャートは、複数のオブジェクトの配置を提案する場合に適用される。図１７に手順を示すフローチャートは、図９に示すフローチャートに、オブジェクト情報取得終了判定Ｓ１９が追加されている。

【0177】

図１７に示すフローチャートでは、適合度マップ作成工程Ｓ１８の後にオブジェクト情報取得終了判定Ｓ１９へ進む。オブジェクト情報取得終了判定Ｓ１９では、オブジェクト情報取得部１２は、オブジェクト情報の取得を終了するか否かを判定する。

【0178】

部屋の内部１２４に家具を配置する場合、図１６に示すように、テーブル３５０及び椅子３５２など複数のオブジェクトの配置を提案することがあり得る。そこで、オブジェクト情報取得終了判定Ｓ１９において、オブジェクト情報取得部１２は他のオブジェクト情報を取得しているか否かを判定する。

【0179】

オブジェクト情報取得終了判定Ｓ１９において、オブジェクト情報取得部１２が他のオブジェクト情報を取得すると判定した場合はＮｏ判定となり、オブジェクト情報取得工程Ｓ１０へ進む。

【0180】

以降、オブジェクト情報取得終了判定Ｓ１９においてＹｅｓ判定となるまで、オブジェクト情報取得工程Ｓ１０から適合度マップ作成工程Ｓ１８の各工程を繰り返し実施する。

【0181】

一方、オブジェクト情報取得終了判定Ｓ１９において、オブジェクト情報取得部１２がオブジェクト情報の取得を終了すると判定した場合はＹｅｓ判定となり、レイアウト提案作成工程Ｓ２０へ進む。レイアウト提案作成工程Ｓ２０及び表示工程Ｓ２２を実行すると、情報処理装置１０は情報処理方法を終了させる。

【0182】

［応用例の作用効果］

応用例に係る情報処理装置及び情報処理方法によれば、以下の作用効果を得ることが可能である。

【0183】

〔１〕

オブジェクトとして家具を選択する。これにより、部屋の内部１２４における家具のレイアウト提案が可能である。

【0184】

〔２〕

複数のオブジェクトの選択を可能とする。これにより、複数のオブジェクトを含むユーザ１２０にパーソナライズされた、最適なオブジェクトのレイアウトの提案が可能である。

【0185】

［ネットワークシステムへの適用例］

図１８はネットワークシステムへの適用例に係る情報処理システムのブロック図である。図１８に示す情報処理システム４００は、サーバ装置４１０を備える。サーバ装置４１０、第一ユーザ端末４２０、第二ユーザ端末４２２、及び第三ユーザ端末４２４は、ネットワーク４０２を介して通信可能に接続される。情報処理システム４００は、ネットワーク４０２を介して通信可能に接続されるストレージ装置等の大容量記憶装置を備えてもよい。

【0186】

ネットワーク４０２は、ＷＡＮ（Wide Area Network）などの広域通信網を適用してもよいし、ＬＡＮ（Local Area Network）などの構内通信網を適用してもよい。ネットワーク４０２は、通信方式及び通信プロトコル等も限定されない。なお、図２に示すネットワーク５０は、図１８に示すネットワークを適用し得る。

【0187】

サーバ装置４１０は、図１から図１７を用いて説明した情報処理装置１０が適用される。図１８に示す態様では、図２に示すディスプレイコントローラ５２、入出力インターフェース５４、入力コントローラ５６、表示部６０、及び操作部６２を省略し得る。

【0188】

図１８に示すサーバ装置４１０において、図２に示すストレージ装置４４は、ネットワーク４０２を介してサーバ装置４１０と通信可能に接続されてもよい。また、図１に示すオブジェクトデータベース３４は、ネットワーク４０２を介してサーバ装置４１０及び第一ユーザ端末４２０等と通信可能に接続されてもよい。

【0189】

図１８には、第一ユーザ端末４２０及び第二ユーザ端末４２２として携帯端末が適用され、第三ユーザ端末４２４としてノート型パソコンが適用される例を示す。第一ユーザ端末４２０等のユーザ端末は、ネットワーク４０２を介してサーバ装置４１０と通信可能に接続される機器であればよい。

【0190】

情報処理システム４００は、ネットワーク４０２を介してサーバ装置４１０と通信可能に接続されるプリンタを備えてもよい。プリンタの例として、プリントサービスを提供する店舗の店頭に配置されるプリント装置が挙げられる。

【0191】

［プログラムへの適用例］

上述した情報処理装置１０及び情報方法は、コンピュータを用いて、情報処理装置１０における各部に対応する機能、又は情報処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。

【0192】

各工程等に対応する機能の例として、空間情報取得機能、オブジェクト情報取得機能、ユーザ情報取得機能、注目度マップ作成機能、適合度マップ作成機能、及び提案機能が挙げられる。

【0193】

空間情報取得機能は、オブジェクトを配置する空間をセンシングして得られた空間センシング情報に基づく空間情報を取得する。オブジェクト情報取得機能は、オブジェクトのオブジェクト情報を取得する。ユーザ情報取得機能は、空間をセンシングする際に、空間に対するユーザの状態をセンシングして得られたユーザセンシング情報に基づくユーザ情報を取得する。

【0194】

注目度マップ作成機能は、空間情報及びユーザ情報に基づいて、空間の局所領域ごとのユーザの注目度を示す注目度マップを作成する。適合度マップ作成機能は、空間情報及びオブジェクト情報に基づいて、局所領域ごとのオブジェクトの適合度を示す適合度マップを作成する。提案機能は、注目度マップ及び適合度マップに基づいて、空間におけるオブジェクトの配置を提案する。

【0195】

各工程等に対応する機能は、オブジェクトの配置を表す表示信号を表示装置へ送信する表示信号送信機能、及びオブジェクトの配置を表す画像のプリントデータをプリンタへ送信する送信機能が含まれてもよい。

【0196】

上述した情報処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。

【0197】

［実施形態及び変形例等の組み合わせについて］

上述した実施形態で説明した構成要素、及び適用例等で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

【0198】

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

【符号の説明】

【0199】

１０ 情報処理装置

１２ オブジェクト情報取得部

１４ 空間情報取得部

１６ 空間情報記憶部

１８ ユーザ情報取得部

２０ ユーザ情報記憶部

２２ 注目度マップ作成部

２２Ａ 注目度マップ作成部

２２Ｂ 入力層

２２Ｃ 中間層

２２Ｄ 出力層

２２Ｅ 畳み込み層

２２Ｆ プーリング層

２２Ｇ 全結合層

２４ 適合度マップ作成部

２６ 提案部

２８ バス

３０ 空間センサ

３２ ユーザセンサ

３４ オブジェクトデータベース

４０ 制御部

４２ メモリ

４４ ストレージ装置

４６ ネットワークコントローラ

４８ 電源装置

５０ ネットワーク

５２ ディスプレイコントローラ

５４ 入出力インターフェース

５６ 入力コントローラ

６０ 表示部

６２ 操作部

１００ オブジェクト選択画面

１０２ オブジェクト一覧

１０４ 第一画像

１０６ 第二画像

１０８ 第三画像

１１０ 拡大画像

１１２ オーケーボタン

１２０ ユーザ

１２０Ａ ユーザ

１２２ スマートデバイス

１２３ 表示装置

１２４ 部屋の内部

１２５ オブジェクト

１２６ フレーム

１２７ 第一カメラ

１２８ 第二カメラ

１３０ 空間情報

１４４ 心拍測定器

２００ 注目度マップ

２０２ 注目度スコア

２０４ 注目度スコア

２０６ 注目度スコア

２２０ 適合度マップ

２２２ 適合度スコア

２２４ 適合度スコア

２２６ 適合度スコア

２４０ レイアウト画像

２５０ オブジェクト情報

２５２ サイズ情報

２５４ 材質情報

３００ オブジェクト選択画面

３０２ オブジェクト一覧

３０４ 椅子の画像

３０６ 花瓶の画像

３０８ ごみ箱の画像

３１０ テーブルの画像

３１２ オーケーボタン

３４０ レイアウト画像

３５０ テーブル

３５２ 椅子

３５４ サイドボード

３５６ 花瓶

３５８ ごみ箱

３５９ 置物

３６０ レイアウト画像

４００ 情報処理システム

４０２ ネットワーク

４１０ サーバ装置

４２０ 第一ユーザ端末

４２２ 第二ユーザ端末

４２４ 第三ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】