特許 7479735 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240430BHJP

【ＦＩ】

G06F3/01 510

【請求項の数】 7

(21)【出願番号】P 2023109399

(22)【出願日】2023-07-03

(62)【分割の表示】P 2020535906の分割

【原出願日】2019-08-09

(65)【公開番号】P2023123787

(43)【公開日】2023-09-05

【審査請求日】2023-07-14

(31)【優先権主張番号】P 2018150679

(32)【優先日】2018-08-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】513217311

【氏名又は名称】株式会社ジオクリエイツ

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(72)【発明者】

【氏名】本田 司

【審査官】酒井 優一

(56)【参考文献】

【文献】特開２０１７－１６７５０１（ＪＰ，Ａ）

【文献】国際公開第２０１６／０１３２７２（ＷＯ，Ａ１）

【文献】特許第６２９８５６１（ＪＰ，Ｂ１）

【文献】特開２０１３－２５０８３０（ＪＰ，Ａ）

【文献】特開２０００－１７２７４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

実際の空間又は設計対象の空間に対応するバーチャルリアリティ空間又は拡張現実空間である所定空間をユーザが視認した場合における、前記ユーザが地面と水平の方向であって進行方向に対して垂直方向に首を振る首振り動作及び、前記ユーザの進行方向を基準として前記ユーザの視線を第１角度範囲に含まれる方向に動かした後、所定時間以内に前記進行方向を基準として前記第１角度範囲と反対側の第２角度範囲に含まれる方向に動かす視線の動きの少なくともいずれかを、前記ユーザが空間を認識しようと反応したことを示す見回し動作とし、当該見回し動作の検出状況を示す検出情報を取得する取得部と、
前記検出情報が示す前記見回し動作の検出状況に対応する前記見回し動作の検出パターンを特定し、前記見回し動作の複数の検出パターンのそれぞれに対応するユーザの感情を示す情報を記憶する記憶部において、特定した検出パターンに対応づけられている前記ユーザの感情を示す情報と、前記所定空間を示す情報と、前記取得部が取得した検出情報とを関連付けて出力する出力部と、
を備える情報出力装置。

【請求項2】

前記取得部は、前記所定空間をユーザが視認した場合における、前記ユーザが首を所定方向に振る動作と、前記ユーザの視線が前記ユーザの進行方向を基準とした場合に第１の所定角度範囲の方向に動いた後、前記進行方向を基準として前記第１の所定角度範囲と反対の角度範囲である第２の所定の角度範囲の方向に動く動作との少なくともいずれかを含む動作を、前記見回し動作とし、当該見回し動作の検出状況を示す検出情報を取得する、
請求項１に記載の情報出力装置。

【請求項3】

前記出力部は、前記見回し動作を検出したときの前記所定空間における位置を特定し、前記所定空間を示す地図に含まれる当該特定した位置に、前記見回し動作を検出したことを示す情報を表示させる、
請求項１又は２に記載の情報出力装置。

【請求項4】

前記出力部は、前記所定空間を示す動画を前記ユーザが視認した場合における、前記ユーザの見回し動作の検出状況を示す検出情報であって、前記所定空間を示す動画に含まれる複数の画像のうち、前記見回し動作を検出したタイミングに対応する画像を含む前記検出情報を取得し、
前記出力部は、前記検出情報が示す前記見回し動作の検出状況に対応する前記見回し動作の検出パターンに対応づけられている前記ユーザの感情を示す情報と、前記所定空間を示す情報と、前記取得部が取得した、前記見回し動作を検出したタイミングに対応する画像を含む検出情報とを関連付けて出力する、
請求項１から３のいずれか１項に記載の情報出力装置。

【請求項5】

ユーザが装着する表示装置と、情報出力装置と、を備える設計支援システムであって、
前記表示装置は、
表示部と、
実際の空間又は設計対象の空間に対応するバーチャルリアリティ空間又は拡張現実空間である所定空間を前記表示部に表示させる表示制御部と、
前記ユーザが前記所定空間を視認した場合における、前記ユーザが地面と水平の方向であって進行方向に対して垂直方向に首を振る首振り動作及び、前記ユーザの進行方向を基準として前記ユーザの視線を第１角度範囲に含まれる方向に動かした後、所定時間以内に前記進行方向を基準として前記第１角度範囲と反対側の第２角度範囲に含まれる方向に動かす視線の動きの少なくともいずれかを、前記ユーザが空間を認識しようと反応したことを示す見回し動作とし、当該見回し動作の検出状況を示す検出情報を生成する検出情報生成部と、
を有し、
前記情報出力装置は、
前記検出情報生成部が生成した前記検出情報を取得する取得部と、
前記検出情報が示す前記見回し動作の検出状況に対応する前記見回し動作の検出パターンを特定し、前記見回し動作の複数の検出パターンのそれぞれに対応するユーザの感情を示す情報を記憶する記憶部において、特定した検出パターンに対応づけられている前記ユーザの感情を示す情報と、前記所定空間を示す情報と、前記取得部が取得した検出情報とを関連付けて出力する出力部と、
を有する、
設計支援システム。

【請求項6】

コンピュータが実行する、
実際の空間又は設計対象の空間に対応するバーチャルリアリティ空間又は拡張現実空間である所定空間をユーザが視認した場合における、前記ユーザが地面と水平の方向であって進行方向に対して垂直方向に首を振る首振り動作及び、前記ユーザの進行方向を基準として前記ユーザの視線を第１角度範囲に含まれる方向に動かした後、所定時間以内に前記進行方向を基準として前記第１角度範囲と反対側の第２角度範囲に含まれる方向に動かす視線の動きの少なくともいずれかを、前記ユーザが空間を認識しようと反応したことを示す見回し動作とし、当該見回し動作の検出状況を示す検出情報を取得するステップと、
前記検出情報が示す前記見回し動作の検出状況に対応する前記見回し動作の検出パターンを特定し、前記見回し動作の複数の検出パターンのそれぞれに対応するユーザの感情を示す情報を記憶する記憶部において、特定した検出パターンに対応づけられている前記ユーザの感情を示す情報と、前記所定空間を示す情報と、取得された検出情報とを関連付けて出力するステップと、
を備える情報出力方法。

【請求項7】

コンピュータを、
実際の空間又は設計対象の空間に対応するバーチャルリアリティ空間又は拡張現実空間である所定空間をユーザが視認した場合における、前記ユーザが地面と水平の方向であって進行方向に対して垂直方向に首を振る首振り動作及び、前記ユーザの進行方向を基準として前記ユーザの視線を第１角度範囲に含まれる方向に動かした後、所定時間以内に前記進行方向を基準として前記第１角度範囲と反対側の第２角度範囲に含まれる方向に動かす視線の動きの少なくともいずれかを、前記ユーザが空間を認識しようと反応したことを示す見回し動作とし、当該見回し動作の検出状況を示す検出情報を取得する取得部、及び、
前記検出情報が示す前記見回し動作の検出状況に対応する前記見回し動作の検出パターンを特定し、前記見回し動作の複数の検出パターンのそれぞれに対応するユーザの感情を示す情報を記憶する記憶部において、特定した検出パターンに対応づけられている前記ユーザの感情を示す情報と、前記所定空間を示す情報と、前記取得部が取得した検出情報とを関連付けて出力する出力部、
として機能させる情報出力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バーチャルリアリティ空間を視認するユーザに関する情報を出力する情報出力装置、設計支援システム、情報出力方法及び情報出力プログラムに関する。

【背景技術】

【0002】

従来、建築物のレイアウト設計を行う場合には、設計者と利用者との間で情報交換を行いながら、レイアウト設計を進めることが行われている。例えば、特許文献１には、建築物の間取りに関するレイアウトに対応したバーチャルリアリティ空間を利用者に視認させ、当該利用者から、バーチャルリアリティ空間におけるレイアウトの変更操作を受け付けるレイアウト設計支援装置が開示されている。レイアウト設計支援装置は、レイアウトの変更操作に基づいて、レイアウト変更の傾向を分析し、推奨されるレイアウトの態様を特定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１４５９７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、建築物のユーザは、建築・都市を日々認識しながら生活しており、開放的な空間や安定的な空間等の様々な種類の空間での生活体験を持っている。そして、ユーザは、個々の体験に基づいて空間を認知する。例えば、ユーザは、個々の体験に基づいて、空間に伴っている開放感や安心感を認知する。

【0005】

近年、ユーザの空間に対する認知を反映して設計することが行われている。このため、ユーザが空間に対する認知を特定できるようにすることが求められている。しかしながら、特許文献１に記載されているレイアウト設計支援装置は、ユーザのレイアウト変更操作に基づいて推奨されるレイアウトの態様を特定するものにすぎず、ユーザの空間に対する認知を特定することができない。

【0006】

本発明は、ユーザの空間に対する認知を把握可能にする情報出力装置、設計支援システム、情報出力方法及び情報出力プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明者は、仮想現実（VR：Virtual Reality）空間や拡張現実（AR：Augmented Reality）空間におけるユーザの所定の反応の検出状況に基づいて、当該ユーザの当該空間に含まれる空間の認知状況を特定することを見出した。

【0008】

本発明の第１の態様に係る情報出力装置は、ユーザがバーチャルリアリティ空間又は拡張現実空間である所定空間を視認した場合における、前記ユーザの所定の反応の検出状況を示す検出情報を取得する取得部と、前記所定空間を示す情報と、前記取得部が取得した検出情報とを関連付けて出力する出力部と、を備える。

【0009】

前記取得部は、前記所定空間を示す動画を前記ユーザが視認した場合の前記所定の反応の検出状況と、前記動画の再生位置を示す情報とを関連付けた前記検出情報を取得し、前記出力部は、前記動画の再生位置ごとの前記所定の反応の検出状況を示す前記検出情報を出力してもよい。

【0010】

前記出力部は、前記動画を再生して表示部に表示させるとともに、前記動画の再生位置のそれぞれにおける前記所定の反応の検出状況を示す情報と、前記動画の現在の再生位置を示す情報とを関連付けて表示部に表示させてもよい。

【0011】

前記出力部は、前記動画の再生位置を示す情報のうち、前記所定の反応が検出された再生位置を示す情報を、前記所定の反応が検出されていない再生位置を示す情報と異なる表示態様で表示させてもよい。
前記出力部は、前記動画に対応する複数の画像のうち、前記所定の反応が検出された再生位置に対応する一以上の画像を表示部に表示させてもよい。

【0012】

前記出力部は、前記動画に含まれている画像とは異なる複数の画像のうち、前記動画における前記所定の反応が検出された再生位置の画像に対応する一以上の画像を表示させてもよい。
前記出力部は、前記所定の反応が検出された一以上の再生位置のそれぞれに対応する一以上の画像の中から画像の選択を受け付け、選択された画像と類似する画像を表示させてもよい。

【0013】

前記出力部は、前記所定の反応を検出したときの前記所定空間における位置を特定し、前記所定空間を示す地図に、特定した位置を示す情報を表示させてもよい。

【0014】

前記取得部は、複数の前記ユーザのそれぞれに対応する前記検出情報を取得し、前記出力部は、前記所定空間を示す情報と、前記取得部が取得した複数の前記ユーザのそれぞれに対応する検出情報とを関連付けて出力してもよい。

【0015】

前記出力部は、複数の前記ユーザの少なくともいずれかの選択を受け付け、前記所定空間を示す情報と、選択されたユーザに対応する検出情報とを関連付けて出力してもよい。

【0016】

前記取得部は、前記所定空間を示す動画を前記ユーザが視認した場合に前記所定の反応が検出されると予測される前記動画の再生位置を示す予測情報を取得し、前記出力部は、前記取得部が取得した検出情報と、前記予測情報とを表示部に表示させてもよい。

【0017】

前記取得部は、第１の所定空間を前記ユーザが視認した場合における前記検出情報である第１検出情報と、第２の所定空間を前記ユーザが視認した場合における前記検出情報である第２検出情報とを取得し、前記出力部は、前記取得部が取得した前記第１検出情報と、前記第２検出情報とを表示部に表示させてもよい。

【0018】

前記所定の反応の複数の検出パターンのそれぞれに対応する前記ユーザの感情を示す情報を記憶する記憶部をさらに備え、前記出力部は、前記検出情報に含まれている検出パターンに対応する前記ユーザの感情を示す情報を出力してもよい。

【0019】

前記取得部は、複数の所定空間のそれぞれについて、当該所定空間を示す情報と、取得した検出情報とを関連付けた結果情報と、当該結果情報を公開するか否かを示す情報とを関連付けて記憶部に記憶させ、前記出力部は、端末から、前記記憶部に記憶されている、公開対象の前記結果情報の取得要求を受け付けると、当該端末に当該結果情報を出力してもよい。

【0020】

前記情報出力装置は、前記端末のユーザに、前記結果情報の出力に対する課金を行う課金部をさらに備えてもよい。
前記取得部は、前記ユーザが前記所定空間を見回す動作である見回し動作の検出状態を示す検出情報を、前記所定の反応の検出状況を示す検出情報として取得してもよい。

【0021】

前記取得部は、前記ユーザが前記所定空間を視認した場合に前記ユーザが首を所定方向に振る首振り動作を前記見回し動作とし、当該見回し動作の検出状態を示す前記検出情報を取得してもよい。
前記取得部は、前記ユーザが前記所定空間を視認した場合における前記ユーザの所定パターンの視線の動きを前記見回し動作とし、当該見回し動作の検出状態を示す前記検出情報を取得してもよい。

【0022】

前記取得部は、前記ユーザが前記所定空間を所定時間以上注視する動作である注視動作の検出状態を示す検出情報を、前記所定の反応の検出状況を示す検出情報として取得してもよい。
前記取得部は、前記ユーザが前記所定空間を視認した場合における、前記ユーザの脳波の検出状態を示す検出情報を、前記所定の反応の検出状況を示す検出情報として取得してもよい。

【0023】

本発明の第２の態様に係る設計支援システムは、ユーザが装着する表示装置と、情報出力装置と、を備える設計支援システムであって、前記表示装置は、表示部と、バーチャルリアリティ空間又は拡張現実空間である所定空間を前記表示部に表示させる表示制御部と、前記ユーザが前記所定空間を視認した場合における、前記ユーザの所定の反応の検出状況を示す検出情報を生成する検出情報生成部と、を有し、前記情報出力装置は、前記検出情報生成部が生成した前記検出情報を取得する取得部と、前記所定空間を示す情報と、前記取得部が取得した検出情報とを関連付けて出力する出力部と、を有する。

【0024】

前記表示装置は、情報を公開する情報公開装置から前記所定空間を示す情報を取得する空間情報取得部をさらに有し、前記表示制御部は、前記空間情報取得部が取得した前記情報が示す所定空間を前記表示部に表示させてもよい。

【0025】

本発明の第３の態様に係る情報出力方法は、コンピュータが実行する、ユーザがバーチャルリアリティ空間又は拡張現実空間である所定空間を視認した場合における、前記ユーザの所定の反応の検出状況を示す検出情報を取得するステップと、前記所定空間を示す情報と、取得された検出情報とを関連付けて出力するステップと、を備える。

【0026】

本発明の第４の態様に係る情報出力プログラムは、コンピュータを、ユーザがバーチャルリアリティ空間又は拡張現実空間である所定空間を視認した場合における、前記ユーザの所定の反応の検出状況を示す検出情報を取得する取得部、及び、前記所定空間を示す情報と、前記取得部が取得した検出情報とを関連付けて出力する出力部、として機能させる。

【発明の効果】

【0027】

本発明によれば、ユーザの空間に対する認知を把握可能にすることができるという効果を奏する。

【図面の簡単な説明】

【0028】

【図1】第１実施形態に係る設計支援システムの概要を示す図である。

【図2】第１実施形態に係る表示装置の構成を示す図である。

【図3】第１実施形態に係る情報出力装置の構成を示す図である。

【図4】第１実施形態における情報出力装置が認識結果情報を出力するまでの処理の流れを示すシーケンス図である。

【図5】一人のユーザの認識結果情報の表示例を示す図である。

【図6】一以上のユーザの認識結果情報の表示例を示す図である。

【図7】ＶＲ空間に対応する地図の表示例を示す図である。

【図8】ＶＲ動画を視認したユーザのθ波の検出状況と、見回し動作としての首振り動作の検出状況とを示す図である。

【図9】第２実施形態に係る設計支援システムの概要を示す図である。

【図10】第２実施形態に係る情報出力装置の構成を示す図である。

【発明を実施するための形態】

【0029】

＜第１実施形態＞
［設計支援システムＳの概要］
図１は、第１実施形態に係る設計支援システムＳの概要を示す図である。設計支援システムＳは、生成装置１と、表示装置２と、情報出力装置３とを備え、建築物に関する空間の設計を支援するシステムである。

【0030】

第１実施形態において、生成装置１は、例えば、コンピュータ１Ａや撮像装置１Ｂである。空間を設計する設計者Ｄは、生成装置１を操作し、バーチャルリアリティ空間を示す情報としてのバーチャルリアリティ空間のモデル又はバーチャルリアリティ空間を示す動画を生成する（図１の（１））。バーチャルリアリティ空間のモデル及びバーチャルリアリティ空間を示す動画のそれぞれは、実際の空間又は設計対象の空間に対応している。バーチャルリアリティ空間を示す動画は、例えば、バーチャルリアリティ空間内を静止したり移動したりしながら自由に見回す体験ができるバーチャルリアリティコンテンツ、当該体験と同様の体験ができる３６０°見回し可能な動画、又は１８０°見回し可能な動画等のＶＲコンテンツに係る動画である。なお、以下の説明において、バーチャルリアリティ空間をＶＲ空間、バーチャルリアリティ空間のモデルをＶＲモデル、又はバーチャルリアリティ空間を示す動画をＶＲ動画という。また、ＶＲモデル及びＶＲ動画をまとめてＶＲ情報という。生成装置１は、例えば、ＶＲ情報を、情報を公開する公開装置４にアップロードする（図１の（２））。

【0031】

表示装置２は、例えば、ＶＲゴーグルやＶＲヘッドセット等のＶＲ空間をユーザに閲覧させるウェアラブルデバイスである。ＶＲゴーグルやＶＲヘッドセットは、スマートフォン等をＶＲゴーグルとして機能させるための組み立て式のＶＲゴーグル又はＶＲヘッドセットであってもよい。空間を利用する利用者や被検対象者であるユーザＵは、表示装置２を操作することにより、公開装置４にアップロードされたＶＲ情報が示すＶＲ空間を表示装置２の表示部に表示させる（図１の（３））。そして、ユーザＵは、表示装置２を装着し、表示装置２の表示部に表示されるＶＲ空間を視認する。表示装置２は、ユーザＵがＶＲ空間の視認中における、ユーザＵの所定の反応を検出する（図１の（４））。所定の反応は、ユーザＵの見回し動作若しくは注視動作、又はユーザＵからのθ波の発生である。なお、表示装置２は、パーソナルコンピュータであってもよい。この場合には、表示装置２に、ユーザＵの脳波のうちθ波を検出可能なデバイスが接続されているものとする。表示装置２は、当該デバイスによるθ波の発生の検出に基づいて、所定の反応を検出してもよい。

【0032】

表示装置２は、ユーザＵの脳波のうちθ波を検出可能なデバイスが接続されていない状態でθ波を検出してもよい。表示装置２は、例えば、θ波を検出した時点でＶＲ空間を視認しているユーザＵにより行われたパーソナルコンピュータの操作内容をデータベース化することで、ユーザＵが、θ波が検出された時点で行う傾向が強いパーソナルコンピュータの操作をした場合に、θ波が発生したと判定してもよい。

【0033】

情報出力装置３は、例えばスマートフォン等の携帯端末やパーソナルコンピュータである。情報出力装置３は、ユーザＵがＶＲ空間を視認した場合におけるユーザＵの所定の反応の検出状況を示す検出情報を表示装置２から取得する（図１の（５））。情報出力装置３は、所定空間を示す情報と、取得した検出情報とを関連付けた情報を、ユーザＵの空間認識の結果を示す認識結果情報として出力する（図１の（６））。例えば、情報出力装置３は、図１に示すようにＶＲ動画を示す動画情報と、ＶＲ動画の各再生位置における所定の反応の検出状態を示す情報とを関連付けて、認識結果情報として表示させたり、ＶＲ空間を示す地図上に、所定の反応の検出状態を示す情報を表示させた認識結果情報を表示させたりする。

【0034】

ユーザＵがＶＲ空間において所定の反応を行ったタイミング、すなわち、ＶＲ空間における見回し動作、注視動作、又はθ波の検出タイミングにおいて、ユーザＵは、ＶＲ空間に映っているユーザＵの移動先の空間を認識しようとしていると考えられる。したがって、所定の反応は、ユーザＵが空間を認識しようとする反応である。

【0035】

また、ユーザＵの見回し動作、注視動作、又はθ波が検出される場合、ユーザＵが認識している空間に自身が存在していると認識しながら進んでいるか、ユーザＵが認識している空間が視線の先にあって、ユーザ自身がその空間の中には居ないと認識しながら進んでいると考えられる。また、ユーザＵの見回し動作、注視動作、又はθ波が検出されない場合、ユーザＵが認識している空間に自身が存在していないと認識しながら進んでいると考えられる。したがって、設計者Ｄは、情報出力装置３が出力したＶＲ空間情報と、取得した検出情報とを関連付けた認識結果情報を確認することにより、ユーザＵのＶＲ空間に含まれる空間に対する認知を把握することができる。これにより、設計者Ｄは、ＶＲ空間に対応する実際の空間又は設計対象の空間の評価を行い、空間の設計に役立てることができる。
以下、表示装置２及び情報出力装置３の構成について説明する。

【0036】

［表示装置２の構成例］
まず、表示装置２の構成について説明する。図２は、第１実施形態に係る表示装置２の構成を示す図である。
表示装置２は、入力部２１と、表示部２２と、検出部２３と、記憶部２４と、制御部２５とを備える。

【0037】

入力部２１は、例えば、ボタンや、表示部２２に重畳して配置される接触センサ等により構成されており、表示装置２のユーザから操作入力を受け付ける。
表示部２２は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。表示部２２は、制御部２５の制御に応じて各種情報を表示する。
検出部２３は、例えば、３次元加速度センサであり、表示装置２にかかる加速度を検出する。検出部２３は、加速度を検出すると、検出した加速度を示す情報を制御部２５に出力する。

【0038】

記憶部２４は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等である。記憶部２４は、表示装置２を機能させるための各種プログラムを記憶する。例えば、記憶部２４は、表示装置２の制御部２５を、後述する取得部２５１、表示制御部２５２、検出情報生成部２５３及び送信部２５４として機能させるプログラムを記憶する。

【0039】

制御部２５は、例えばＣＰＵ（Central Processing Unit）である。制御部２５は、記憶部２４に記憶されている各種プログラムを実行することにより、表示装置２に係る機能を制御する。制御部２５は、記憶部２４に記憶されているプログラムを実行することにより、空間情報取得部としての取得部２５１、表示制御部２５２、検出情報生成部２５３及び送信部２５４として機能する。これらの機能の詳細については後述する。

【0040】

なお、表示装置２がパーソナルコンピュータである場合には、ユーザＵの頭部に装着され、ユーザＵの頭部にかかる加速度を検出するデバイスや、ユーザＵの脳波（θ波）を検出するデバイスが表示装置２に接続されているものとする。

【0041】

［情報出力装置３の構成例］
続いて、情報出力装置３の構成について説明する。図３は、第１実施形態に係る情報出力装置３の構成を示す図である。

【0042】

情報出力装置３は、入力部３１と、表示部３２と、記憶部３３と、制御部３４とを備える。
入力部３１は、例えば、ボタンや、表示部３２に重畳して配置される接触センサ等により構成されており、情報出力装置３のユーザから操作入力を受け付ける。
表示部３２は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等により構成される。表示部３２は、制御部３４の制御に応じて各種情報を表示する。

【0043】

記憶部３３は、例えば、ＲＯＭ及びＲＡＭ等である。記憶部３３は、情報出力装置３を機能させるための各種プログラムを記憶する。例えば、記憶部３３は、情報出力装置３の制御部３４を、後述する取得部３４１及び出力部３４２として機能させる情報出力プログラムを記憶する。

【0044】

制御部３４は、例えばＣＰＵである。制御部３４は、記憶部３３に記憶されている各種プログラムを実行することにより、情報出力装置３に係る機能を制御する。制御部３４は、記憶部３３に記憶されている情報出力プログラムを実行することにより、取得部３４１及び出力部３４２として機能する。

【0045】

［認識結果情報の出力に係る処理の流れ］
以下に、情報出力装置３が、ＶＲ空間情報と、取得した検出情報とを関連付けた認識結果情報を出力するときの処理の流れを示すシーケンス図を参照しながら、制御部２５及び制御部３４が備える各機能について説明する。図４は、第１実施形態における情報出力装置３が認識結果情報を出力するまでの処理の流れを示すシーケンス図である。

【0046】

まず、生成装置１は、設計者Ｄからの操作に応じてＶＲ空間情報として、ＶＲ空間モデル又はＶＲ動画を生成する（Ｓ１）。なお、生成装置１は、ＶＲ空間モデル又はＶＲ動画を生成することとしたが、これに限らない。生成装置１は、ＶＲ空間モデルが示すＶＲ空間に対応する複数の静止画像、動画、又はＶＲ動画の一部を示す複数の静止画像を、ＶＲ空間情報として生成してもよい。生成装置１は、生成装置１の操作者の操作に応じて、生成されたＶＲ空間情報を公開装置４にアップロードする（Ｓ２）。ここで、ＶＲ空間情報がＶＲ動画である場合、生成装置１は、ＶＲ動画を動画共有サイトにアップロードしてもよい。

【0047】

続いて、表示装置２の取得部２５１は、入力部２１がＶＲ空間情報を取得する操作を受け付けると、生成装置１が生成したＶＲ空間情報を公開装置４から取得する（Ｓ３）。なお、取得部２５１は、公開装置４からＶＲ空間情報を取得することとしたが、これに限らない。取得部２５１は、ＳＤ（登録商標）カード等の記憶媒体を介してＶＲ空間情報を生成装置１から取得してもよい。

【0048】

続いて、表示装置２の表示制御部２５２は、取得したＶＲ空間情報が示すＶＲ空間を表示部２２に表示させる（Ｓ４）。なお、表示制御部２５２は、外部装置に記憶されているＶＲ空間情報を受信しながら、当該ＶＲ空間情報が示すＶＲ空間を表示部２２に表示させるようにしてもよい。

【0049】

続いて、表示装置２の検出情報生成部２５３は、表示装置２を装着してＶＲ空間を視認しているユーザＵのＶＲ空間に対する所定の反応の検出状況を示す検出情報を生成する（Ｓ５）。ここで、所定の反応は、上述したように、見回し動作、注視動作、又はθ波の発生であるが、ここでは、見回し動作又は注視動作を検出する場合に着目して説明を行う。

【0050】

検出情報生成部２５３は、ＶＲ空間を視認しているユーザＵの見回し動作及び注視動作の検出状態を示す検出情報を、所定の反応を示す検出情報として生成する。見回し動作は、ユーザＵがＶＲ空間を視認した場合にユーザＵが首を所定方向に振る首振り動作である。所定方向は、例えば、地面と水平の方向であって進行方向に対して垂直方向である。注視動作は、ユーザＵがＶＲ空間を一定時間以上注視する動作である。以下、所定方向を横方向と表現し、説明を進める。

【0051】

見回し動作は、例えば、ユーザＵが目的となる場所に関する情報を探している状態を示す「選択状態」である場合に検出される傾向が高い。注視動作は、例えば、ユーザＵが目的となる場所に関する情報を見つけて進行方向が定まっている状態を示す「進行状態」や、ユーザＵが目的となる場所自体を直視しながら進行している状態を示す「到達状態」である場合に検出される傾向が高い。このため、検出情報生成部２５３は、見回し動作の状態が「選択状態」、「進行状態」、「到達状態」のうちどの状態であるかによって、所定の反応を分類してもよい。また、検出情報生成部２５３は、建物の構成又はユーザの目的に応じて「選択状態」、「進行状態」、「到達状態」の３要素のうち、任意の要素のみに基づいて所定の反応を特定してもよい。このようにすることで、検出情報生成部２５３は、見回し動作を用いて、ユーザの探索行動を分類し、定量化することができる。

【0052】

検出情報生成部２５３は、例えば、検出部２３から出力された加速度情報が示す加速度に基づいて、進行方向を特定する。そして、検出情報生成部２５３は、加速度情報が示す加速度のうち、横方向の加速度が第１の閾値を超えた状態を見回し動作の検出状態とする。また、検出情報生成部２５３は、加速度情報が示す横方向の加速度が一定時間以上にわたって所定の閾値未満である状態を、注視動作の検出状態とする。なお、検出情報生成部２５３は、加速度情報が示す加速度のうち、縦方向の加速度が第２の閾値を超えた状態も見回し動作の検出状態としてもよい。

【0053】

このようにすることで、検出情報生成部２５３は、建造物内の吹き抜けや高い建物を見上げた場合も見回し動作として検出することができる。ここで、検出情報生成部２５３が、検出部２３から出力された加速度情報が示す加速度に基づいて、見回し動作及び注視動作を検出する場合を例示したが、これに限らず、検出情報生成部２５３は、ユーザＵが視聴するＶＲ空間内の領域の変化に基づいて見回し動作及び注視動作を検出してもよい。

【0054】

検出情報生成部２５３は、ユーザＵがＶＲ空間モデルが示すＶＲ空間を視認する場合には、当該ユーザＵのＶＲ空間上の位置を示す位置情報と、各位置における見回し動作又は注視動作の検出状態を示す横方向の加速度を示す加速度情報とを関連付けた情報を検出情報として記憶部２４に記憶させる。

【0055】

また、検出情報生成部２５３は、ユーザＵがＶＲ動画を視認する場合には、ＶＲ動画における各再生位置を示す再生位置情報と、各再生位置における見回し動作又は注視動作の検出状態を示す横方向の加速度を示す加速度情報とを関連付けた情報を検出情報として記憶部２４に記憶させる。

【0056】

なお、検出情報生成部２５３は、横方向の加速度が所定量以上である場合に、ユーザＵが見回し動作を行ったことを検出し、横方向の加速度が一定時間以上にわたって所定の閾値未満である場合に、ユーザＵが注視動作を行ったことを検出するようにしてもよい。検出情報生成部２５３は、ユーザＵの見回し動作又は注視動作を検出したときのＶＲ空間の位置又はＶＲ動画の再生位置を特定し、見回し動作又は注視動作を検出したときの検出状態と、ＶＲ空間の位置を示す位置情報又はＶＲ動画の再生位置を示す再生位置情報とを関連付けた情報を検出情報として記憶部２４に記憶させてもよい。

【0057】

例えば、検出情報には、ユーザＵが閲覧しているＶＲ空間に対応するＶＲ空間情報（ＶＲ空間モデル又はＶＲ動画）を識別する空間識別情報と、ユーザＵの動作（見回し動作及び注視動作）の種別を示す種別情報と、ユーザＵを識別するユーザＩＤとが含まれているものとする。空間識別情報は、例えばＶＲ空間情報が示すＶＲ空間に対応する建築物等の名称であり、設計者Ｄにより設定される。なお、ＶＲ空間情報は、複数のユーザＵに視認されてもよい。この場合、検出情報生成部２５３は、複数のユーザＵのそれぞれに対応する検出情報を生成する。

【0058】

なお、見回し動作は、ユーザＵがＶＲ空間を視認した場合にユーザＵが首を所定方向に振る首振り動作であるとしたが、これに限らない。例えば、見回し動作は、ユーザがＶＲ空間を視認した場合におけるユーザの所定パターンの視線の動きであってもよい。この場合には、表示装置２に、ユーザＵの視線を検出する視線検出センサが設けられているものとする。そして、検出情報生成部２５３は、視線検出センサから出力されたユーザＵの視線のパターンが所定パターンであることを検出する。ここで、所定パターンとは、視線が進行方向を０度とした場合に、第１の所定角度範囲（例えば、６０度から１２０度）の方向に動いた後、所定時間以内に第２の所定角度範囲（例えば、－６０度から－１２０度）の方向に動いたことを示すパターン、又は視線が第２の所定角度範囲の方向に動いた後、所定時間以内に第１の所定角度範囲の方向に動いたことを示すパターンである。この所定パターンをサッカードという。

【0059】

検出情報生成部２５３は、ユーザＵが首振り動作を行うとともに視線のパターンがサッカードを示しているときのＶＲ空間の位置又はＶＲ動画の再生位置を特定してもよい。検出情報生成部２５３は、さらに、首振り動作が行われるとともに視線のパターンがサッカードを示しているときの見回し動作の検出状態と、ＶＲ空間の位置を示す位置情報又はＶＲ動画の再生位置を示す再生位置情報とを関連付けた情報を検出情報として記憶部２４に記憶させてもよい。表示装置２は、サッカードの検出状況を考慮することにより、ユーザＵが、ＶＲ空間に映っているユーザＵの移動先の空間を認識しようとしているタイミングを、首振り動作のみを使用する場合に比べて精度良く検出することができる。

【0060】

検出情報生成部２５３は、所定の反応を検出したときの、ＶＲ空間の位置を示す位置情報又はＶＲ動画の再生位置を示す再生位置情報を含む検出情報を記憶部２４に記憶させることとしたが、これに限らない。例えば、検出情報生成部２５３は、所定の反応を検出したときに、表示制御部２５２が表示させていたＶＲ空間を示す画像又はＶＲ動画の表示画像をキャプチャ画像として検出情報に含めてもよい。また、検出情報生成部２５３は、所定の反応を検出したタイミングを含む所定期間内のＶＲ空間を示す動画又はＶＲ動画を検出情報に含めてもよい。

【0061】

また、表示装置２は、所定の反応の一例であるθ波の発生を検出するために、表示装置２を装着するユーザの脳波を検出する脳波検出部を備えてもよい。そして、検出情報生成部２５３が、ユーザＵがＶＲ空間を視認した場合における脳波の検出状態を示す検出情報を、所定の反応の検出状況を示す検出情報として生成してもよい。また、表示装置２が脳波検出部を備えている場合には、表示装置２が検出部２３を備えていなくてもよい。

【0062】

この場合、検出情報生成部２５３は、脳波の一種であるθ波を検出したときのＶＲ空間の位置又はＶＲ動画の再生位置を特定する。検出情報生成部２５３は、θ波の検出状態と、ＶＲ空間の位置を示す位置情報又はＶＲ動画の再生位置を示す再生位置情報とを関連付けた情報を検出情報として記憶部２４に記憶させる。

【0063】

なお、ユーザＵの視線のパターンが所定パターンであるとともに、ユーザが発汗状態であることを、所定の反応としてもよい。また、ユーザＵの視線のパターンが所定パターンであるとともに、ユーザが発汗状態であり、さらに、θ波を検出していることを、所定の反応としてもよい。例えば、表示装置２は、ユーザの発汗を検出するために、表示装置２を装着するユーザの発汗を検出する発汗検出部を備えてもよい。そして、検出情報生成部２５３が、ユーザＵがＶＲ空間を視認した場合における、発汗状態を示す検出情報を、所定の反応の検出状況を示す検出情報として生成してもよい。ここで、表示装置２が発汗検出部を備えている場合には、表示装置２が検出部２３を備えていなくてもよい。

【0064】

続いて、表示装置２の送信部２５４は、一以上のユーザＵがＶＲ空間を視認した場合に所定の反応の検出状況を示す一以上の検出情報を情報出力装置３に送信する（Ｓ６）。具体的には、まず、情報出力装置３の取得部３４１は、表示装置２に検出情報の取得を要求する取得要求を送信する。表示装置２の送信部２５４は、情報出力装置３から検出情報の取得要求を受信すると、記憶部２４に記憶されている一以上の検出情報を、情報出力装置３に送信する。

【0065】

情報出力装置３の取得部３４１は、ユーザＵがＶＲ空間を視認した場合におけるユーザＵの所定の反応の検出状況を示す一以上の検出情報を表示装置２から受信することにより、一以上のユーザＵのそれぞれに対応する検出情報を取得するとともに、公開装置４から、当該検出情報に対応するＶＲ空間情報を取得する（Ｓ７）。取得部３４１は、ユーザがＶＲ空間モデルに対応するＶＲ空間を視認した場合には、所定の反応を検出したときのＶＲ空間の位置を示す位置情報と、所定の反応の検出状態を示す情報とを含む検出情報を取得する。また、取得部３４１は、ユーザＵがＶＲ動画を視認した場合には、所定の反応を検出したときのＶＲ動画の再生位置を示す再生位置情報と、所定の反応の検出状態を示す情報とを含む検出情報を取得する。

【0066】

取得部３４１は、ＶＲ空間情報と検出情報とを関連付けた、ユーザＵの空間認識の結果を示す認識結果情報を記憶部３３に記憶させる。取得部３４１は、複数のＶＲ空間情報のそれぞれについて、当該ＶＲ空間情報と、取得した検出情報とを関連付けた認識結果情報を記憶部３３に記憶させる。

【0067】

出力部３４２は、ＶＲ空間情報と、取得部３４１が取得した検出情報とを関連付けて、ユーザＵの空間認識の結果を示す認識結果情報として出力する。例えば、出力部３４２は、入力部３１を介して、認識結果情報の表示操作を受け付けたことに応じて、記憶部３３に記憶されている認識結果情報を表示部３２に表示させる（Ｓ８）。

【0068】

［一人のユーザの認識結果情報の表示例］
図５は、一人のユーザの認識結果情報の表示例を示す図である。ここでは、ユーザが、ＶＲ空間情報が示すＶＲ空間として、ＶＲ動画を視認した場合の認識結果情報の表示例について説明する。また、所定の反応が、見回し動作であるものとして、認識結果情報の表示例について説明する。

【0069】

例えば、出力部３４２は、図５（ａ）に示されるように、記憶部３３に記憶されている検出情報に含まれるユーザＩＤを表示部３２に表示し、入力部３１を介してユーザＩＤの選択を受け付ける。図５（ａ）に示す例では、３つのユーザＩＤが表示されており、出力部３４２は、３つのユーザＩＤのいずれかの選択を受け付ける。

【0070】

出力部３４２は、一つのユーザＩＤの選択を受け付けると、当該ユーザＩＤに対応する検出情報に含まれている空間識別情報に対応するＶＲ動画を特定する。そして、出力部３４２は、特定したＶＲ動画の再生位置ごとの見回し動作の検出状況を示す情報を出力する。具体的には、出力部３４２は、図５（ｂ）に示されるように、特定したＶＲ動画を再生して表示部３２に表示させるとともに、ＶＲ動画の再生位置のそれぞれにおける見回し動作の検出状態を示す情報であるグラフＧと、ＶＲ動画の現在の再生位置を示す情報である再生位置マークＭとを表示部３２に表示させる。ここで、グラフＧの横軸は、ＶＲ動画の再生位置を示し、縦軸は、横方向の加速度の大きさを示している。なお、表示装置２が見回し動作の代わりにθ波を検出した場合、グラフＧの縦軸は、θ波の検出状況を表している。

【0071】

なお、出力部３４２は、特定したＶＲ動画から、所定時間おき（例えば、１秒おきや３秒おき）の静止画像を抽出し、当該静止画像を表示部３２に表示させてもよい。また、出力部３４２は、ＶＲ動画を視聴したユーザが停止した位置や、当該ユーザが空間を注視したと判定された位置、当該ユーザが所定の操作を行った位置に対応する静止画像を抽出し、当該静止画像を表示部３２に表示させてもよい。また、出力部３４２は、検出情報にキャプチャ画像が含まれている場合には、当該キャプチャ画像を表示部３２に表示させてもよい。ここで、所定の操作は、ユーザが頷くように首を縦に振る操作、又は表示装置２の入力部２１であるボタンの操作であるが、これに限らない。表示装置２に設けられたマイク（不図示）が所定の音声を検出した場合に、所定の操作が行われたものとしてもよい。この場合、認識結果情報には、所定の操作が行われたことを示す操作情報が関連付けられているものとする。

【0072】

また、出力部３４２は、見回し動作が検出されたときのＶＲ動画の再生位置を示す情報を表示部３２に表示されているグラフＧ上に表示させてもよい。図５（ｃ）には、見回し動作が検出されたとき（横方向の加速度が所定量以上であるとき）のＶＲ動画の再生位置を示す情報としての文字列「０１」、「０２」、「０３」、「０４」が表示されている。なお、表示装置２が見回し動作の代わりにθ波を検出した場合、出力部３４２は、所定の振幅以上のθ波が検出されたときのＶＲ動画の再生位置を示す情報を表示部３２に表示されているグラフＧ上に表示させてもよい。

【0073】

また、出力部３４２は、動画の再生位置を示す情報のうち、見回し動作が検出された再生位置を示す情報を、見回し動作が検出されていない再生位置を示す情報と異なる表示態様で表示させてもよい。例えば、出力部３４２は、図５（ｃ）に示されるように、文字列「０１」、「０２」、「０３」、「０４」に対応する、見回し動作が検出された再生位置を示す領域を、見回し動作が検出されていない再生位置を示す領域と異なる色で表示させる。さらに、出力部３４２は、図５（ｃ）に示されるように、動画に対応する複数の画像のうち、見回し動作が検出された再生位置に対応する一以上の画像を示す検出時画像ｉ１、ｉ２、ｉ３を、表示部３２に表示させてもよい。このようにすることで、表示部３２に表示された画面を視認する設計者Ｄは、ＶＲ動画に対応する空間のうち、見回し動作が検出された空間を容易に把握することができる。なお、表示装置２が見回し動作の代わりにθ波を検出した場合、出力部３４２は、動画の再生位置を示す情報のうち、所定の振幅以上のθ波が検出された再生位置を示す情報を、所定の振幅以上のθ波が検出されていない再生位置を示す情報と異なる表示態様で表示させてもよい。

【0074】

また、出力部３４２は、選択されたユーザＩＤに対応するＶＲ動画とは異なる他の複数の画像のうち、当該ＶＲ動画における所定の反応が検出された再生位置の画像に対応する一以上の画像を表示させるようにしてもよい。ここで、他の複数の画像としては、他のＶＲ動画に対応する複数の画像、データベースに予め格納されている複数の画像が挙げられる。また、データベースに格納されている複数の画像としては、例えば、他の動画から予め抜粋して蓄積されている画像、他社の画像投稿・蓄積型のサービス内のデータベース、ウェブ検索サイトが検索結果として提供する画像が挙げられる。

【0075】

また、所定の反応が検出された再生位置の画像に対応する一以上の画像は、例えば、当該画像に含まれる空間の改善案となる空間を示す画像、又は同様の所定の反応が検出されたときの画像である。例えば、出力部３４２は、選択されたユーザＩＤに対応するＶＲ動画に対応する検出時画像の近傍に、他のＶＲ動画に含まれる検出時画像又はデータベースに格納されている複数の画像の表示を行うためのボタンを表示させておく。そして、出力部３４２は、当該ボタンが押下されたことに応じて、他のＶＲ動画又はデータベースに対応する検出時画像を表示させる。このようにすることで、設計者Ｄは、複数のＶＲ動画における検出時画像を確認し、見回し動作等の所定の反応が検出される空間がどのような傾向を有しているかを把握することができる。

【0076】

また、ＶＲ動画に含まれる複数の画像のそれぞれに、画像の属性を示すタグ情報が関連付けられていてもよい。タグ情報は、例えば、画像が示す建築物の種類や、建築物内部の位置を特定する位置特定情報である。建築物の種類は、例えば、戸建て住宅や、商業施設等である。位置特定情報は、例えば、エントランス、回廊、室内等である。

【0077】

そして、出力部３４２は、検出時画像の選択を受け付けるとともに、他のＶＲ動画に含まれる検出時画像の表示を行うためのボタンの押下操作を受け付ける。出力部３４２は、他のＶＲ動画に対応する検出時画像のうち、選択された画像に関連付けられているタグ情報に対応する一以上の検出時画像を表示させる。このようにすることで、設計者Ｄは、自身が選択した検出時画像と類似している可能性が高い画像を確認し、見回し動作等の所定の反応が検出される空間がどのような傾向を有しているかを把握することができる。

【0078】

また、出力部３４２は、検出時画像とは異なる画像が表示されている場合に、当該画像の選択と、選択された画像とは異なる検出時画像の表示を行うためのボタンを表示させてもよい。そして、出力部３４２は、選択された画像に関連付けられているタグ情報に対応する一以上の検出時画像を表示させる。このようにすることで、設計者Ｄは、検出時画像とは異なる画像と、検出時画像との比較を容易に行うことができ、見回し動作等の所定の反応が検出される空間とそうではない空間とにどのような違いがあるのかを検討することができる。

【0079】

また、出力部３４２は、検出時画像の近傍に、これらの画像と類似する画像の表示を行うためのボタンを表示させてもよい。そして、出力部３４２は、検出時画像の中から画像の選択を受け付けるとともに、当該ボタンの押下操作を受け付けてもよい。そして、出力部３４２は、選択された検出時画像と類似する画像を表示させてもよい。例えば、出力部３４２は、選択された検出時画像と類似する画像を記憶部３３に記憶されている複数の他のＶＲ動画から検索したり、選択された画像を外部の検索エンジンに入力し、当該検索エンジンに類似する画像を検索させたりしてもよい。

【0080】

また、出力部３４２は、図５（ｄ）に示されるように、ＶＲ動画と、動画の再生位置のそれぞれにおける見回し動作の検出状態を示す情報であるグラフＧと、見回し動作が検出された再生位置に対応する一以上の検出時画像とを表示部３２に一度に表示させるようにしてもよい。

【0081】

［一以上のユーザの認識結果情報の表示例］
出力部３４２は、取得部３４１が取得した一以上のユーザＵの少なくともいずれかの選択を受け付け、ＶＲ空間情報が示すＶＲ空間と、選択を受け付けたユーザＵに対応する検出情報とを関連付けて出力してもよい。図６は、一以上のユーザの認識結果情報の表示例を示す図である。

【0082】

例えば、出力部３４２は、図６（ａ）に示されるように、記憶部３３に記憶されている検出情報に含まれるユーザＩＤを表示部３２に表示し、入力部３１を介して、複数のユーザＵのうち、一以上のユーザＵの選択を受け付ける。

【0083】

そして、出力部３４２は、選択された一以上のユーザＵのそれぞれに対応する認識結果情報として、ＶＲ動画の再生位置のそれぞれにおける見回し動作及び注視動作の検出状態を示す情報であるグラフＧを重ねて表示させる。図６（ｂ）は、二人のユーザＵが選択されたときのグラフＧの表示例である。図６（ｂ）に示されるように二人のユーザＵのそれぞれの見回し動作の検出状態を示すグラフが重なって表示されるので、設計者Ｄは、どの再生位置において見回し動作が発生する傾向にあるのか把握しやすい。

【0084】

また、出力部３４２は、図６（ｃ）に示すように、記憶部３３に記憶されている検出情報に含まれるユーザＩＤのそれぞれに対応する検出情報を表示部３２の第１領域Ａ１に表示させるとともに、選択されたユーザＩＤに対応する検出結果を表示部３２の第２領域Ａ２に重ねて表示させてもよい。

【0085】

また、出力部３４２は、設計者Ｄ等によるユーザの見回し動作及び注視動作の予測を示す情報と、選択されたユーザＩＤに対応する検出情報とを表示部３２に同じタイミングで表示させてもよい。この場合、取得部３４１は、入力部３１を介して、ＶＲ動画をユーザＵが視認した場合における、ユーザＵが見回し動作及び注視動作を行うと予測される再生位置を示す予測情報を取得する。例えば、見回し動作及び注視動作が実際に行われた場所からユーザが視認したときの風景と類似する風景を視認できる場所に対応する再生位置が、見回し動作及び注視動作が行われる再生位置として予測される。予測情報は、各再生位置を示す再生位置情報と、各再生位置において予測される検出状態（横方向の加速度）とを関連付けた情報である。

【0086】

出力部３４２は、図６（ｄ）に示すように、ＶＲ動画の再生位置のそれぞれにおける見回し動作の検出状態を示す情報であるグラフＧと、ＶＲ動画の再生位置のそれぞれにおける見回し動作の予測結果を示す情報であるグラフＧ２とを重ねて表示する。このようにすることで、設計者Ｄは、見回し動作の予測状態と、実際の見回し動作の検出状態とを比較し、検討を行うことができる。

【0087】

また、取得部３４１は、第１ＶＲ空間をユーザＵが視認した場合における検出情報である第１検出情報と、第１ＶＲ空間とは異なる第２ＶＲ空間をユーザＵが視認した場合における検出情報である第２検出情報とを取得してもよい。そして、出力部３４２は、第１検出情報と、第２検出情報とを同じタイミングで表示部３２に表示させてもよい。例えば、第１ＶＲ空間は、リニューアル前の建築物であり、第２ＶＲ空間は、リニューアル後の建築物である。また、第１ＶＲ空間は、建築物に対する１つ目の検討案であり、第２ＶＲ空間は、建築物に対する２つ目の検討案であってもよい。

【0088】

例えば、出力部３４２は、第１検出情報と、第２検出情報とを表示部３２に並列に表示させたり、重ねて表示させたりしてもよい。また、出力部３４２は、それぞれの検出情報が示す見回し動作が検出された再生位置に対応する第１ＶＲ動画の検出時画像と、第２ＶＲ動画の検出時画像とを表示部３２に表示させてもよい。このようにすることで、設計者Ｄは、例えば、リニューアル前後の空間や複数の案のそれぞれに対応する空間における見回し動作の検出状態を確認しながら、どのような状況で見回し動作が検出されるのかを検討することができる。

【0089】

また、見回し動作の検出パターンが異なると、ユーザＵのＶＲ空間に含まれる空間に対する認知が異なると考えられる。そこで、記憶部３３には、見回し動作の複数の検出パターンのそれぞれに対応するユーザの感情を示す情報を記憶してもよい。そして、出力部３４２は、検出情報を解析し、記憶部３３に記憶されている複数の検出パターンのいずれかを特定してもよい。そして、特定した検出パターンに対応するユーザＵの感情を示す情報を、検出情報と関連付けて出力してもよい。このようにすることで、設計者Ｄは、ユーザＵがＶＲ空間に対してどのような感情を抱いているのか把握することができる。

【0090】

［地図情報に対する検出結果の反映］
出力部３４２は、ユーザＵによる見回し動作を検出したときのＶＲ空間における位置を特定してもよい。取得部３４１は、ＶＲ空間を示す地図情報を予め取得し、当該地図情報を記憶部３３に記憶させる。出力部３４２は、記憶部３３に記憶されている地図情報が示す地図に、特定した位置を示す情報を表示させる。図７は、ＶＲ空間に対応する地図の表示例を示す図である。

【0091】

ユーザＵがＶＲ空間を自由に動き回ることにより、ＶＲ空間を視認した場合、出力部３４２は、検出情報に含まれるＶＲ空間の位置を示す位置情報と、当該位置における見回し動作又は注視動作の検出状態とに基づいて、ＶＲ空間に対応する地図が示すＶＲ空間の位置に、検出状態を示す情報を表示させる。例えば、出力部３４２は、図７に示すように、ＶＲ空間に対応する地図において、検出状態を示すマークＭ２を表示させる。このようにすることで、設計者Ｄは、見回し動作又は注視動作が検出された位置を容易に確認することができる。

【0092】

ここで、図７に示す地図には、ユーザＵのＶＲ空間における移動軌跡が表示されていてもよい。また、ＶＲ空間に配置される家具や商品棚やサイン（標識）等のオブジェクトの配置位置を設計者Ｄから予め受け付けてもよい。そして、出力部３４２は、ＶＲ空間に配置されるオブジェクトの配置位置に基づいて、図７に示す地図に、オブジェクトを示すマークを表示させてもよい。

【0093】

また、ユーザＵにＶＲ動画を視認させる場合には、記憶部３３に、ＶＲ動画の再生位置を示す再生位置情報と、ＶＲ動画に対応するＶＲ空間の位置を示す位置情報とを関連付けて記憶させておく。出力部３４２は、ＶＲ動画に対応する検出情報に基づいて、ユーザＵによる見回し動作を検出したときのＶＲ動画の再生位置を特定する。出力部３４２は、記憶部３３を参照し、特定した再生位置を示す再生位置情報に関連付けられている位置情報を特定するとともに、再生位置情報に関連付けられている検出状態を特定することにより、再生位置に対応するＶＲ空間の位置と、当該位置における検出状態とを特定する。そして、出力部３４２は、記憶部３３に記憶されている地図情報が示す地図において、特定した位置に検出状態を示す情報を表示させる。

【0094】

なお、出力部３４２は、図５（ｂ）～（ｄ）に示すＶＲ動画及びグラフＧと、図７に示すＶＲ空間に対応する地図とを並列に表示させ、再生位置に対応するＶＲ空間上の位置を示す情報を、当該地図上に表示させてもよい。ＶＲ動画と、地図とを並列に表示することにより、設計者Ｄは、ＶＲ動画に対応する位置を容易に確認することができる。

【0095】

［脳波と見回し動作との関係性］
続いて、脳波と、見回し動作や注視動作との関係性について説明する。図８は、ＶＲ動画を視認したユーザのθ波の検出状況と、見回し動作としての首振り動作の検出状況とを示す図である。図８（ａ）は、θ波の検出状況を示し、図８（ｂ）は、首振り動作や注視動作の検出状況を示している。なお、図８（ａ）に示すグラフの横軸と、図８（ｂ）に示すグラフの横軸とは共通の時間軸であるものとする。また、図８（ａ）に示す縦軸は、θ波の大きさを示し、図８（ｂ）に示す縦軸は、横方向の加速度を示している。図８に示すように、θ波を検出したことに応じて、首振り動作や注視動作の検出状況が大きく変化していることが確認でき、θ波と首振り動作や注視動作とに一定の相関性が認められる。

【0096】

［変形例］
検出情報生成部２５３は、ユーザが歩行していない状態で検出された所定の反応に基づいて検出情報を生成してもよい。この場合、情報出力装置３は、例えば、ユーザが着席している間の一連の行動において検出された見回し動作と脳波との相関を分析し、見回しが多い場合には、空間の分節が多い不安定な状態、視線がサッカードほど速くなくゆっくり動くなどのように見回しが少ない場合、又は注視が多い場合には、空間の分節が少ない安定した状態であると定義して、室内等を評価した結果を出力してもよい。

【0097】

また、以上の説明においては、設計支援システムＳが、所定の反応としてθ波の発生を用いる場合を例示したが、θ波以外の脳波を用いてもよい。例えば、見回し動作が一定の時間間隔で繰り返される際に、リラックスを示すα波が一定以上の値を示すことが多い。そこで、情報出力装置３は、見回し動作のみにより、ユーザがリラックスした状態であると推定してもよい。また、注視動作のうち一定の時間以上経過した場合に集中度を示すβ波が一定以上の値を示すことが多いため、情報出力装置３は、注視動作のみに基づいて、ユーザが集中している状態であると推定してもよい。

【0098】

［第１実施形態における効果］
以上のとおり、第１実施形態に係る情報出力装置３は、ユーザがＶＲ空間を視認した場合における、ユーザの所定の反応の検出状況を示す検出情報を取得し、ＶＲ空間情報と、取得した検出情報とを関連付けて出力する。空間における所定の反応である見回し動作又はθ波の発生と、空間認識とは相関性を有していることから、情報出力装置３は、ＶＲ空間情報と、取得した検出情報とを関連付けて出力することにより、これらの情報を確認する設計者は、ユーザのＶＲ空間内に含まれる空間に対する認知を把握することができる。

【0099】

＜第２実施形態＞
［認識結果情報を公開する］
続いて、第２実施形態について説明する。第１実施形態では、空間を設計する設計者Ｄが認識結果情報を確認したが、認識結果情報が示す認識結果は、空間における家具の配置等の室内レイアウトを検討する住居の居住者等にとっても有効である。そこで、第２実施形態に係る情報出力装置３は、認識結果情報を公開する公開サービスを提供する点で第１実施形態と異なる。以下に、第２実施形態に係る情報出力装置３について説明する。なお、第１実施形態と同じ部分については適宜説明を省略する。

【0100】

図９は、第２実施形態に係る設計支援システムＳの概要を示す図である。第２実施形態において、情報出力装置３は、例えばサーバであり、第２ユーザＵ２が使用する端末５と通信可能に接続されている。ここで、端末５の第２ユーザＵ２は、認識結果情報を公開する公開サービスの利用者である。第２実施形態において、情報出力装置３は、端末５に認識結果情報を出力する。図９に示す（１）から（５）までの処理の流れは、図１の（１）から（５）に示す第１実施形態に係る設計支援システムＳにおける処理の流れと同じである。第２実施形態に係る設計支援システムＳは、情報出力装置３が、端末５から認識結果情報の取得要求を受け付けたことに応じて認識結果情報を出力する（図９の（６）、（７））。

【0101】

図１０は、第２実施形態に係る情報出力装置３の構成を示す図である。第２実施形態に係る情報出力装置３は、入力部３１及び表示部３２を備えていない点で、第１実施形態に係る情報出力装置３と異なる。また、第２実施形態に係る情報出力装置３の制御部３４は、課金部３４３をさらに備える点で、第１実施形態に係る情報出力装置３と異なる。

【0102】

また、第２実施形態において、情報出力装置３は、認識結果情報に対応するＶＲ空間情報の関係者（例えば、設計者Ｄや管理者）から、当該認識結果情報及び当該ＶＲ空間情報の公開を許可するか否かの設定を受け付ける。情報出力装置３は、記憶部３３に記憶されている認識結果情報に、公開の許否を示す許可フラグを関連付ける。許可フラグの値は、例えば、認識結果情報及びＶＲ空間情報の公開が許可されている場合には１であり、許可されていない場合には０である。

【0103】

課金部３４３は、端末５を使用する第２ユーザＵ２に、認識結果情報の出力に対する課金を行う。例えば、課金部３４３は、所定期間における認識結果情報の出力に関する料金を定額とし、第２ユーザＵ２に、所定期間おきに当該定額料金の課金を行ってもよい。また、認識結果情報を出力した後に課金を行ってもよい。ここで、課金部３４３は、課金により得られた収益の少なくとも一部を、認識結果情報に対応するＶＲ空間情報の関係者に還元してもよい。

【0104】

第２実施形態において、出力部３４２は、例えば、課金部３４３による課金が完了すると、第２ユーザＵ２が使用する端末５から、記憶部３３に記憶されている認識結果情報の取得要求を受け付ける。例えば、出力部３４２は、端末５に、公開が許可されている一以上の認識結果情報に対応するＶＲ空間情報を示す一部の画像や空間識別情報を提示し、一以上の認識結果情報の中から、少なくともいずれかの認識結果情報の取得要求を受け付ける。出力部３４２は、認識結果情報の取得要求を受け付けると、当該端末５に当該認識結果情報として、図５（ｂ）～（ｄ）に示す画面の少なくともいずれかを出力する。

【0105】

ここで、課金部３４３は、端末５への認識結果情報の出力形態に応じて、課金する金額を変化させてもよい。例えば、課金部３４３は、図５（ｂ）に示す画面を出力する場合には、第１金額の課金を行ったり、課金を行わなかったりしてもよい。

【0106】

また、課金部３４３は、図５（ｃ）又は図５（ｄ）に示す画面を出力する場合、図５（ｂ）に示す画面を出力する場合に比べて利便性が高いと考えられるので、第１金額よりも高い第２金額の課金を行ってもよい。

【0107】

また、課金部３４３は、図５（ｃ）又は図５（ｄ）において、他のＶＲ空間情報に対応する検出時画像の検索、又は検出時画像に類似する検索を行う機能をユーザが利用する場合には、図５（ｃ）又は図５（ｄ）に示す画面を出力する場合に比べて利便性が高いと考えられるので、第２金額よりも高い第３金額の課金を行ってもよい。

【0108】

なお、認識結果情報に対応するＶＲ空間情報の関係者が、当該ＶＲ空間情報を示すＶＲ動画を公開せずに、検出時画像のみを公開したいと考えることもある。そこで、情報出力装置３は、認識結果情報に対応するＶＲ空間情報の関係者から、公開を許可することを受け付けた場合に、検出時画像のみを公開するか否かの選択を受け付け、当該選択内容を示す情報を、認識結果情報に関連付けて記憶部３３に記憶させてもよい。この場合、出力部３４２は、選択内容を示す情報に基づいて、図５（ｂ）に示す画面を出力するか否かを制御してもよい。

【0109】

［第２実施形態における効果］
以上のとおり、第２実施形態に係る情報出力装置３は、端末５を使用する第２ユーザＵ２に、認識結果情報の出力に対する課金を行うので、認識結果情報の出力に対する対価を得ることができる。また、情報出力装置３は、端末５に、公開が許可されている認識結果情報に対応するＶＲ空間情報を出力するので、公開することが望まれていない認識結果情報が外部に公開されてしまうことを防止することができる。

【0110】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施形態では、表示装置２が、ＶＲゴーグルやＶＲヘッドセット等のＶＲ空間をユーザに閲覧させるウェアラブルデバイスであることとしたが、これに限らない。表示装置２は、ＶＲ空間を実空間上に投影する拡張現実の投影装置であってもよい。この場合、情報出力装置３は、ユーザの頭部に加速度を検出する加速度検出センサを備えた検出装置を装着し、実空間上にＶＲ空間が投影されている場合に検出装置が検出する加速度を、見回し動作や注視動作の検出情報として取得してもよい。

【0111】

また、上述の実施形態では、ユーザがＶＲ空間を視認した場合における実施形態について説明したが、これに限らず、ユーザがＶＲ空間の代わりにＡＲ空間を視認した場合に適用してもよい。すなわち、表示装置２は、実空間に仮想オブジェクトを配置したＡＲ空間をユーザが視認した場合における、ユーザの所定の反応の検出状況と、所定の反応が検出されたときにユーザが視認していたＡＲ空間を示すキャプチャ画像とを関連付けた検出情報を生成し、当該検出情報を情報出力装置３に送信してもよい。そして、情報出力装置３は、ＡＲ空間を示す情報と、情報出力装置３から取得した検出情報とを関連付けて出力するようにしてもよい。例えば、情報出力装置３は、所定の反応が検出されたときのＡＲ空間を示すキャプチャ画像と、当該キャプチャ画像に対して、ユーザが所定の反応を示したことを示す情報を関連付けて表示部３２に表示させてもよい。

【0112】

また、情報出力装置３は、ＶＲ空間上の、ユーザＵが所定の反応を示した位置に基づいて、家電、家具、観葉植物等のオブジェクトや標識等のサインの設置に適した位置を判定する判定部をさらに備えてもよい。例えば、情報出力装置３は、ユーザＵが所定の反応を示した位置に対応する空間の広さに基づいて、当該位置がオブジェクトの設置に適した位置であるかを判定する。判定部は、ユーザＵが所定の反応を示す直前又は直後の位置、すなわち空間の切れ目の位置を、サインの配置に適した位置と判定してもよい。

【0113】

また、情報出力装置３は、ユーザＵが所定の反応を示した複数の位置のそれぞれの視認頻度に基づいて、当該位置がオブジェクトの設置に適した位置であるかを判定する。例えば、情報出力装置３は、ユーザＵが所定の反応のうち、注視動作を示した複数の位置のうち、視認頻度が高い位置を、デザイナーズ家具に適した位置と判定する。また、情報出力装置３は、ユーザＵが所定の反応のうち、見回し動作を示した複数の位置のうち、視認頻度が低い位置を、デザインが洗練されていない家具の設置に適した位置と判定する。

【0114】

また、情報出力装置３は、ユーザＵが所定の反応を示していない位置を、オブジェクトの設置に適した位置であるかを判定してもよい。この場合、情報出力装置３は、当該位置の視認頻度にさらに基づいて、オブジェクトの設置に適した位置であるかを判定してもよい。そして、情報出力装置３は、オブジェクトの設置に適していると判定された位置を、オブジェクトの設置候補位置として表示部３２に表示させるようにしてもよい。

【0115】

また、情報出力装置３は、オブジェクトの設置候補位置に、仮想のオブジェクトを配置したＶＲ空間を生成し、当該ＶＲ空間の動画と、仮想のオブジェクトを配置していないＶＲ空間の動画とを比較可能に出力してもよい。さらに、情報出力装置３は、仮想のオブジェクトを配置したＶＲ空間と、仮想のオブジェクトを配置していないＶＲ空間とのそれぞれをユーザＵが視認したときの所定の反応を特定し、当該所定の反応に基づいて、これらの空間を評価してもよい。このようにすることで、情報出力装置３は、オブジェクトの設置についても支援することができる。

【0116】

また、上述の実施形態では、設計支援システムＳが、建築物に関する空間の設計を支援するものとして説明したが、これに限らない。例えば、ゲーム上の仮想空間の設計を支援するものであってもよい。例えば、情報出力装置３は、図５（ｂ）～（ｄ）に示すように、ＶＲ動画を再生出力することとしたが、これに限らない。情報出力装置３の制御部３４は、受付部として機能し、各再生位置のそれぞれに対して、情報出力装置３の利用者から、コメントや注釈を受け付けるようにしてもよい。そして、制御部３４は、受け付けたコメントや注釈と、ＶＲ動画の再生位置とを記憶部３３に記憶させておき、ＶＲ動画を再生する場合に、再生位置に関連付けて、受け付けたコメントや注釈を表示できるようにしてもよい。このようにすることで、設計者Ｄは、ＶＲ動画を閲覧した情報出力装置３の利用者が、ＶＲ動画内の空間に対してどのような印象を抱いているのか把握することができる。

【0117】

例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

【符号の説明】

【0118】

１・・・生成装置、２・・・表示装置、２１・・・入力部、２２・・・表示部、２３・・・検出部、２４・・・記憶部、２５・・・制御部、２５１・・・取得部、２５２・・・表示制御部、２５３・・・検出情報生成部、２５４・・・送信部、３・・・情報出力装置、３１・・・入力部、３２・・・表示部、３３・・・記憶部、３４・・・制御部、３４１・・・取得部、３４２・・・出力部、３４３・・・課金部、４・・・公開装置、Ｓ・・・設計支援システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】