(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023150583
(43)【公開日】2023-10-16
(54)【発明の名称】疑似体験支援装置、疑似体験支援方法、プログラム及び記録媒体
(51)【国際特許分類】
G06Q 50/10 20120101AFI20231005BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022059761
(22)【出願日】2022-03-31
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】海津 美和
(72)【発明者】
【氏名】佐々木 亮介
(72)【発明者】
【氏名】阿部 由莉
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC11
(57)【要約】
【課題】 臨場感のある疑似体験が可能となる疑似体験支援装置を提供する。
【解決手段】 本発明の疑似体験支援装置は、記憶部、入場情報取得部、体験内容決定部、体験画像取得部、及び出力部を含み、
前記記憶部は、入場情報と紐づけられた体験内容特定用情報を含み、
前記入場情報取得部は、ユーザの入場情報を取得し、
前記体験内容決定部は、前記入場情報と前記体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得部は、決定した前記疑似体験用画像情報を取得し、
前記出力部は、前記疑似体験用画像情報をユーザに出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
記憶部、入場情報取得部、体験内容決定部、体験画像取得部、及び出力部を含み、
前記記憶部は、入場情報と紐づけられた体験内容特定用情報を含み、
前記入場情報取得部は、ユーザの入場情報を取得し、
前記体験内容決定部は、前記入場情報と前記体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得部は、決定した前記疑似体験用画像情報を取得し、
前記出力部は、前記疑似体験用画像情報をユーザに出力する、疑似体験支援装置。
【請求項2】
前記体験内容決定部は、前記入場情報と、前記体験内容特定用情報とに基づいて、疑似体験用画像配信端末を決定し、
前記体験画像取得部は、前記疑似体験用画像配信端末に配信開始指示情報を送信し、前記疑似体験用画像配信端末から、前記疑似体験用画像情報を取得する、請求項1記載の疑似体験支援装置。
【請求項3】
前記入場情報が、スマートロックの開錠情報である、請求項1または2記載の疑似体験支援装置。
【請求項4】
ユーザ画像取得部、および画像合成部を含み、
前記ユーザ画像取得部は、ユーザ画像情報を取得し、
前記画像合成部は、前記疑似体験用画像情報に前記ユーザ画像情報を合成した合成画像情報を生成し、
前記出力部は、前記合成画像情報をユーザに出力する、請求項1から3のいずれか一項に記載の疑似体験支援装置。
【請求項5】
前記疑似体験用画像情報がマーカ座標を含み、
前記画像合成部は、前記疑似体験用画像情報の前記マーカ座標に前記ユーザ画像情報を合成する、請求項4記載の疑似体験支援装置。
【請求項6】
マスキング部を含み、
前記記憶部は、マスキング対象識別情報を含み、
前記マスキング部は、前記マスキング対象識別情報に基づいて、前記疑似体験用画像情報およびユーザ画像情報の少なくとも一方からマスキング対象を特定し、前記疑似体験用画像情報におけるマスキング対象をマスキングする、請求項1から4のいずれか一項に記載の疑似体験支援装置。
【請求項7】
入場情報取得工程、体験内容決定工程、体験画像取得工程、及び出力工程を含み、
前記入場情報取得工程は、ユーザの入場情報を取得し、
前記体験内容決定工程は、前記入場情報と、入場情報と紐づけられた体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得工程は、決定した前記疑似体験用画像情報を取得し、
前記出力工程は、前記疑似体験用画像情報をユーザに出力する、疑似体験支援方法。
【請求項8】
前記体験内容決定工程は、前記入場情報と、前記体験内容特定用情報とに基づいて、疑似体験用画像配信端末を決定し、
前記体験画像取得工程は、前記疑似体験用画像配信端末に配信開始指示情報を送信し、前記疑似体験用画像配信端末から、前記疑似体験用画像情報を取得する、請求項7記載の疑似体験支援方法。
【請求項9】
入場情報取得手順、体験内容決定手順、体験画像取得手順、及び出力手順を含み、
前記入場情報取得手順は、ユーザの入場情報を取得し、
前記体験内容決定手順は、前記入場情報と、入場情報と紐づけられた体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得手順は、決定した前記疑似体験用画像情報を取得し、
前記出力手順は、前記疑似体験用画像情報をユーザに出力する、プログラム。
【請求項10】
請求項9記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、疑似体験支援装置、疑似体験支援方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
近年、VR技術などを応用した疑似体験システムが知られている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のような疑似体験技術においては、ユーザの体感と映像を合致させるなどにより、臨場感を高めることが重要となる。
【0005】
そこで、本発明は、臨場感のある疑似体験が可能となる疑似体験支援装置の提供を目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の疑似体験支援装置は、
記憶部、入場情報取得部、体験内容決定部、体験画像取得部、及び出力部を含み、
前記記憶部は、入場情報と紐づけられた体験内容特定用情報を含み、
前記入場情報取得部は、ユーザの入場情報を取得し、
前記体験内容決定部は、前記入場情報と前記体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得部は、決定した前記疑似体験用画像情報を取得し、
前記出力部は、前記疑似体験用画像情報をユーザに出力する。
【0007】
本発明の疑似体験支援方法は、
入場情報取得工程、体験内容決定工程、体験画像取得工程、及び出力工程を含み、
前記入場情報取得工程は、ユーザの入場情報を取得し、
前記体験内容決定工程は、前記入場情報と、入場情報と紐づけられた体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得工程は、決定した前記疑似体験用画像情報を取得し、
前記出力工程は、前記疑似体験用画像情報をユーザに出力する、疑似体験支援方法。
【0008】
本発明のプログラムは、
入場情報取得手順、体験内容決定手順、体験画像取得手順、及び出力手順を含み、
前記入場情報取得手順は、ユーザの入場情報を取得し、
前記体験内容決定手順は、前記入場情報と、入場情報と紐づけられた体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得手順は、決定した前記疑似体験用画像情報を取得し、
前記出力手順は、前記疑似体験用画像情報をユーザに出力する、プログラムである。
【0009】
本発明の記録媒体は、前記本発明のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0010】
本発明によれば、臨場感のある疑似体験が可能となる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、実施形態1の疑似体験支援装置の一例の構成を示すブロック図である。
【
図2】
図2は、実施形態1の疑似体験支援装置のハードウェア構成の一例を示すブロック図である。
【
図3】
図3は、実施形態1の疑似体験支援装置における処理の一例を示すフローチャートである。
【
図4】
図4は、実施形態2の疑似体験支援装置の一例の構成を示すブロック図である。
【
図5】
図5は、実施形態2の疑似体験支援装置における処理の一例を示すフローチャートである。
【
図6】
図6は、実施形態3の疑似体験支援装置の一例の構成を示すブロック図である。
【
図7】
図7は、実施形態3の疑似体験支援装置における処理の一例を示すフローチャートである。
【
図8】
図8は、本発明の疑似体験支援装置の利用の一例を説明する模式図である。
【発明を実施するための形態】
【0012】
本発明において、「疑似体験」とは、例えば、対象者(例えば、本発明の疑似体験支援装置のユーザ)に、現実とは異なる体験をさせることをいい、その分野等は特に制限されない。本発明の疑似体験支援装置は、例えば、仮想空間(メタバース)における疑似体験(仮想体験ともいう)にも利用できる。前記疑似体験の具体例としては、例えば、本発明の疑似体験支援装置のユーザが現実にいる場所とは異なる地点の映像の閲覧等があげられる。前記ユーザが現実にいる場所と異なる地点との種類およびその組み合わせは、特に制限されず、例えば、自宅、学校、病院、又は介護施設等にいるユーザに対し、家族のいる家、学校、旅行先(例えば、観光地、テーマパーク等)、宇宙ステーション、工場、ダム、コンサート会場、スポーツ会場、美術館、画家や写真家の個展等の映像の閲覧等があげられる。また、前記映像としては、例えば、美術館や個展等で展示されている写真や絵画の映像であってもよい。
【0013】
本発明において、「ユーザ」とは、例えば、前記疑似体験を行う(体験する)対象者であり、1人でもよいし、複数でもよい。
【0014】
本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0015】
[実施形態1]
図1は、本実施形態の疑似体験支援装置10の一例の構成を示すブロック図である。
図1に示すように、本装置10は、記憶部11、入場情報取得部12、体験内容決定部13、体験画像取得部14、及び出力部15を含む。
図1に示すように、記憶部11は、体験内容特定用情報111を含む。体験内容特定用情報111については、後述する。
【0016】
本装置10は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置10は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、SAN(Storage Area Network)、DTN(Delay Tolerant Networking)、LPWA(Low Power Wide Area)、L5G(ローカル5G)、等があげられる。無線通信としては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ローカル5G、LPWA等が挙げられる。前記無線通信としては、各装置が直接通信する形態(Ad Hoc通信)、インフラストラクチャ(infrastructure通信)、アクセスポイントを介した間接通信等であってもよい。本装置10は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置10は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ(PC、例えば、デスクトップ型、ノート型)、スマートフォン、タブレット端末等であってもよい。本装置10は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。また、本装置10は、例えば、ユーザが所有する端末型の装置であってもよいし、ユーザが所有する端末と通信可能なサーバ装置であってもよい。
【0017】
図2に、本装置10のハードウェア構成のブロック図を例示する。本装置10は、例えば、CPU101、メモリ102、バス103、記憶装置104、入力装置106、出力装置107、通信デバイス108等を含む。本装置10の各部は、それぞれのインタフェース(I/F)により、バス103を介して相互に接続されている。
【0018】
CPU101は、コントローラ(システムコントローラ、I/Oコントローラ等)等により、他の構成と連携動作し、本装置10の全体の制御を担う。本装置10において、CPU101により、例えば、本発明のプログラム105やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、CPU101が、入場情報取得部12、体験内容決定部13、体験画像取得部14、及び出力部15として機能する。本装置10は、演算装置として、CPUを備えるが、GPU(Graphics Processing Unit)、APU(Accelerated Processing Unit)等の他の演算装置を備えてもよいし、CPUとこれらとの組合せを備えてもよい。
【0019】
バス103は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置(外部データベース等)、プリンタ、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置10は、例えば、バス103に接続された通信デバイス108により、外部ネットワーク(前記通信回線網)に接続でき、外部ネットワークを介して、他の装置と接続することもできる。前記他の装置は、例えば、後述するユーザの端末、及び配信用画像配信端末等があげられる。
【0020】
メモリ102は、例えば、メインメモリ(主記憶装置)が挙げられる。CPU101が処理を行う際には、例えば、後述する記憶装置104に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ102が読み込み、CPU101は、メモリ102からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。また、メモリ102は、例えば、ROM(読み出し専用メモリ)であってもよい。
【0021】
記憶装置104は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置104には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置104は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置104は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ(HDD)、及びソリッドステートドライブ(SSD)であってもよい。本装置10が前記記憶部を含む場合、例えば、記憶装置104は、記憶部11として機能する。
【0022】
本装置10において、メモリ102及び記憶装置104は、ログ情報、外部データベース(図示せず)や外部の装置から取得した情報、本装置10によって生成した情報、本装置10が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ102及び記憶装置104は、例えば、後述する体験内容特定用情報111、入場情報、ユーザ識別情報、疑似体験用画像情報、ユーザ画像情報等からなる群から選択された少なくとも一つの情報を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ102及び記憶装置104以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0023】
本装置10は、例えば、さらに、入力装置106、出力装置107を備える。入力装置106は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス;キーボード;カメラ、スキャナ等の撮像手段;ICカードリーダ、磁気カードリーダ等のカードリーダ;マイク等の音声入力手段;等があげられる。出力装置107は、例えば、LEDディスプレイ、液晶ディスプレイ等の表示装置;スピーカ等の音声出力装置;プリンタ;等があげられる。本実施形態1において、入力装置106と出力装置107とは、別個に構成されているが、入力装置106と出力装置107とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0024】
つぎに、本実施形態の疑似体験支援方法の一例を、
図3のフローチャートに基づき説明する。本実施形態の疑似体験支援方法は、例えば、
図1又は
図2の疑似体験支援装置10を用いて、次のように実施する。なお、本実施形態の疑似体験支援方法は、
図1又は
図2の疑似体験支援装置10の使用には限定されない。
【0025】
まず、本装置10による処理に先立ち、記憶部11に、入場情報と紐づけられた体験内容特定用情報111を記憶する。前記入場情報は、例えば、ユーザの所定エリアへの入場に関連して取得される情報である。前記所定エリアは、後述する出力部15により出力される疑似体験用画像情報をユーザが閲覧可能な場所であれば特に制限されず、例えば、現実の空間でも仮想空間でもよい。前記所定エリアが現実の空間である場合、例えば、室内でも屋外でもよく、周囲と区別された空間であることが好ましい。前記所定エリアは、例えば、仕切りなどにより周囲と区分けされていることが好ましいが、これには限定されない。前記所定エリアの入口には、ドア等の入口がわかる仕切りが設けられていることが好ましい。前記所定エリアの具体例としては、例えば、部屋、個室、ブース、窓の内部空間、のぞき穴の内部空間等があげられる。前記仕切りの種類は、特に制限されず、例えば、車両(例えば、自家用車)のドア、建物(例えば、自宅)のドア、ブースのドア、仕切りの入口、プロジェクターやVR機器などに投影された仮想ドア、窓、のぞき穴等の境界等があげられる。前記「入場」は、例えば、ユーザの全身が前記所定エリアへ侵入したことを意味してもよいし、ユーザの体の少なくとも一部が前記所定エリアに侵入したことを意味してもよい。前記入場情報の具体例としては、例えば、前記所定エリアへ入場するドアの開閉情報、開錠情報、前記所定エリア入口に設けられた入場センサ情報、前記所定エリア入口に設けられたカメラ等の撮像装置により撮像された画像情報、前記所定エリアとつながる窓の開閉情報、のぞき穴の入口に設けられたセンサ情報等があげられる。前記開錠情報は、例えば、前記所定エリア入口のドアに設けられたスマートロックの開錠情報であることが好ましい。
【0026】
前記入場情報は、例えば、ユーザ識別情報を含んでもよい。ユーザ識別情報は、例えば、ユーザを識別可能な情報であり、スマートロックのカードID、個人識別情報、氏名、住所、ユーザが所持する端末の識別情報(電話番号、メールアドレス、端末の識別番号等)等があげられる。
【0027】
体験内容特定用情報111は、例えば、ユーザに提供する疑似体験の内容を決定するための情報である。具体的に、体験内容特定用情報111は、例えば、後述する疑似体験画像情報を特定するための情報であり、前記疑似体験画像情報を直接特定する情報でもよいし、間接的に特定する情報でもよい。疑似体験画像情報を直接特定する情報とは、例えば、前記疑似体験画像情報が記憶されている記憶装置、サーバ装置等における記憶領域や、ウェブ上のURLの情報等があげられる。前記疑似体験画像情報を間接的に特定する情報とは、例えば、前記疑似体験画像情報を本装置10に配信(例えば、送信、出力等ともいう)する装置および端末を特定するための情報があげられ、前記装置または端末の識別情報でもよいし、前記装置または端末にアクセスするためのネットワークのアクセス情報でもよい。前記装置または端末は、例えば、1つでもよいし、2以上の複数あってもよい。また、記憶部11において、例えば、前記ユーザ識別情報に対し、時間毎に異なる体験内容特定用情報111が紐づけられていてもよい。
【0028】
つぎに、入場情報取得部12は、ユーザの入場情報を取得する(S1、入場情報取得工程)。入場情報取得部12は、例えば、通信回線網を介して、前記スマートロックデバイス、前記入場センサ等から前記入場情報を取得できる。また、前記入場情報がスマートロックデバイスである場合、前記入場情報は、前記ユーザ識別情報として、前記スマートロックを開錠するカードID等の情報を含む。
【0029】
前記入場情報は、例えば、その他の情報を含んでもよい。前記その他の情報は、例えば、入場時間情報、ユーザ属性情報等があげられる。前記ユーザ属性情報は、例えば、ユーザの年齢、性別、所属、職業等があげられる。
【0030】
つぎに、体験内容決定部13は、前記入場情報と、前記体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定する(S2、体験内容決定工程)。体験内容決定部13は、例えば、前記入場情報に紐づけられた体験内容特定用情報111を参照することで前記疑似体験用画像情報を決定できる。また、体験内容決定部13は、例えば、前記入場情報と、前記体験内容特定用情報とに基づいて、疑似体験用画像配信端末を決定してもよい。前記疑似体験用画像配信端末(以下、「配信端末」ともいう)は、例えば、前記疑似体験画像情報を本装置10に配信(例えば、送信、出力等ともいう)する装置または端末であり、例えば、送信側(配信側、送信者、配信者等ともいう)の端末ともいう。前記配信端末は、本装置10に前記疑似体験用画像を配信可能な装置であれば特に制限されず、360度カメラ等の撮像装置、カメラ機能を有するスマートデバイス、VR画像配信(画像共有)機能を持ったVRゴーグル等があげられる。
【0031】
つぎに、体験画像取得部14は、疑似体験用画像情報を取得する(S3、体験画像取得工程)。前記疑似体験用画像情報は、例えば、動画でもよいし静止画でもよく、現実空間の画像でもよいし、仮想画像(例えば、仮想空間の画像)でもよい。また、前記疑似体験用画像情報は、例えば、リアルタイムに撮像されたライブ配信映像でもよいし、予め撮像・記録された録画映像でもよい。また、前記疑似体験用画像情報は、二次元画像(平面画像)でもよいし、三次元画像(立体画像ともいう、例えば、3Dホログラム等)であってもよい。体験画像取得部14は、例えば、本装置10の記憶部11に記憶された疑似体験用画像を取得してもよいし、本装置以外の外部装置から擬似体験用画像を取得してもよい。また、体験画像取得部14は、例えば、前記決定された疑似体験用画像配信端末に配信開始指示情報を送信し、前記疑似体験用画像配信端末から、前記疑似体験用画像情報を取得してもよい。前記配信開始指示情報は、例えば、前記疑似体験用画像配信端末に疑似体験用画像情報の配信を指示する情報であり、例えば、前記ライブ配信の開始を指示する情報であることが好ましい。体験画像取得部14は、例えば、取得した疑似体験用画像情報をメモリ102又は記憶装置104に記憶してもよい。
【0032】
そして、出力部15は、前記疑似体験用画像情報をユーザに出力する(S4、出力工程)。疑似体験用画像情報の出力先は、例えば、前記疑似体験用画像情報をユーザが閲覧可能とできれば特に制限されない。具体的に、出力部15は、例えば、スクリーン、水幕、サイネージ等の各種表示機器、プロジェクションマッピングの投影先となる物体や建物、ユーザの端末等に前記疑似体験用画像情報を出力できる。前記端末は、例えば、スマートフォン、タブレット端末等のスマートデバイス;VRゴーグル等のウェアラブルデバイス;プロジェクター、モニター等の表示装置;等があげられる。
【0033】
本実施形態の疑似体験支援装置によれば、例えば、ユーザの所定エリアへの入場時に取得された入場情報をトリガーに、ユーザに出力する疑似体験用画像情報を決定し、出力できる。これにより、例えば、ユーザの所定エリアへの入場をトリガーとして、疑似体験用画像情報の出力を行うことができるため、より臨場感のある疑似体験が可能となる。
【0034】
[実施形態2]
実施形態2は、本発明の疑似体験支援装置の他の例である。
【0035】
本実施形態の疑似体験支援装置は、実施形態1の疑似体験支援装置10の構成に加えて、ユーザ画像取得部、および画像合成部を含むこと以外は前記実施形態1の疑似体験支援装置10と同様であり、その説明を援用できる。本実施形態の疑似体験支援装置10Aは、例えば、ユーザ画像取得部、および画像合成部を含み、前記ユーザ画像取得部は、ユーザ画像情報を取得し、前記画像合成部は、前記疑似体験用画像情報に前記ユーザ画像情報を合成した合成画像情報を生成し、前記出力部は、前記合成画像情報をユーザに出力する。
【0036】
図4は、本実施形態の疑似体験支援装置10Aの一例の構成を示すブロック図である。
図4に示すように、疑似体験支援装置10Aは、実施形態1の疑似体験支援装置10の構成に加えて、ユーザ画像取得部16、および画像合成部17を備える。疑似体験支援装置10Aのハードウェア構成は、
図2の疑似体験支援装置10のハードウェア構成において、CPU101が、
図1の疑似体験支援装置10の構成に代えて、
図4の疑似体験支援装置10Aの構成を備える以外は同様である。
【0037】
つぎに、本実施形態の疑似体験支援方法について、
図5のフローチャートを用いて説明する。本実施形態の疑似体験支援方法は、例えば、
図4に示す本実施形態の疑似体験支援装置10Aを用いて実施できる。なお、本発明の疑似体験支援方法は、疑似体験支援装置10Aの使用に限定されない。
【0038】
まず、前記実施形態1のS1~S3と同様にしてS1~S3を実施する。
【0039】
つぎに、ユーザ画像取得部16は、例えば、ユーザ画像情報を取得する(S11、ユーザ画像取得工程)。前記ユーザ画像情報は、例えば、ユーザ自身を撮像した画像であり、動画でもよいし静止画でもよく、現実空間の画像でもよいし、仮想画像(例えば、仮想空間の画像)でもよい。また、前記ユーザ画像情報は、例えば、リアルタイムに撮像されたライブ映像でもよいし、予め撮像・記録された録画映像でもよい。ユーザ画像取得部16は、例えば、通信回線網を介して、ユーザが所持する端末から、前記ユーザ画像情報を取得できる。ユーザ画像取得部16は、例えば、1人のユーザのユーザ画像情報を取得してもよいし、2人以上の複数のユーザのユーザ画像情報を取得してもよい。なお、前記ユーザ画像情報の撮像を行う端末と、本装置10により疑似体験用画像または合成画像を出力する端末とは、同じ端末でもよいし、異なる端末でもよい。
【0040】
つぎに、画像合成部17は、例えば、前記疑似体験用画像情報に前記ユーザ画像情報を合成した合成画像情報を生成する(S12、画像合成工程)。画像合成部17は、例えば、公知の画像合成技術により前記疑似体験用画像情報とユーザ画像情報とを合成することで前記合成画像情報を生成できる。画像合成部17は、例えば、前記ユーザ画像情報からユーザ自身と、それ以外(例えば、背景)を分離したユーザ画像を生成し、分離したユーザ画像を前記疑似体験用画像情報に合成してもよい。前記疑似体験画像情報におけるユーザ画像情報の合成位置は、特に制限されず、任意の位置とできるが、前記疑似体験用画像情報がマーカ座標を含む場合は、前記マーカ座標に前記ユーザ画像情報を合成することが好ましい。また、画像合成部17は、例えば、前記疑似体験用画像情報および前記ユーザ画像情報に加えて、任意の画像情報をさらに合成してもよい。任意の画像情報は、例えば、疑似体験の臨場感を高めるための背景の画像等があげられる。
【0041】
そして、出力部15により、前記合成画像情報をユーザに出力する(S13、出力工程)。S13におけるユーザへの出力は、前記実施形態1のS4において、ユーザに出力する情報が疑似体験用画像情報に代えて、前記合成画像情報であること以外は前記実施形態1のS4と同様であり、その記載を援用できる。また、出力部15は、例えば、前記合成画像情報を、前記配信端末に出力してもよい。
【0042】
本実施形態の疑似体験支援装置は、画像合成部17により、取得したユーザ画像を前記合成画像情報に合成できるため、あたかもユーザ自身がその場にいるかのような合成画像を生成できる。このため、例えば、より臨場感のある疑似体験が可能となる。
【0043】
[実施形態3]
実施形態3は、本発明の疑似体験支援装置の他の例である。
【0044】
本実施形態の疑似体験支援装置は、実施形態1の疑似体験支援装置10の構成に加えて、マスキング部を含むこと以外は前記実施形態1の疑似体験支援装置10と同様であり、その説明を援用できる。本実施形態の疑似体験支援装置Bは、例えば、マスキング部を含み、前記記憶部は、マスキング対象識別情報を含み、前記マスキング部は、前記マスキング対象識別情報に基づいて、前記疑似体験用画像情報およびユーザ画像情報の少なくとも一方からマスキング対象を特定し、前記疑似体験用画像情報におけるマスキング対象をマスキングする。
【0045】
図6は、本実施形態の疑似体験支援装置10Bの一例の構成を示すブロック図である。
図6に示すように、疑似体験支援装置10Bは、実施形態1の疑似体験支援装置10の構成に加えて、マスキング部18を備える。疑似体験支援装置10Bのハードウェア構成は、
図2の疑似体験支援装置10のハードウェア構成において、CPU101が、
図1の疑似体験支援装置10の構成に代えて、
図6の疑似体験支援装置10Bの構成を備える以外は同様である。
【0046】
つぎに、本実施形態の疑似体験支援方法について、
図7のフローチャートを用いて説明する。本実施形態の疑似体験支援方法は、例えば、
図6に示す本実施形態の疑似体験支援装置10Bを用いて実施できる。なお、本発明の疑似体験支援方法は、疑似体験支援装置10Bの使用に限定されない。
【0047】
まず、前記実施形態1のS1~S3と同様にしてS1~S3を実施する。
【0048】
つぎに、マスキング部18は、例えば、マスキング対象識別情報に基づいて、前記疑似体験用画像情報およびユーザ画像情報の少なくとも一方からマスキング対象を特定し、前記疑似体験用画像情報におけるマスキング対象をマスキングする(S21、マスキング工程)。前記マスキング対象は、例えば、前記疑似体験用画像情報およびユーザ画像情報において映り込みを避けたいものであり、人物でもよいし、人物以外の物でもよい。人物以外の物としては、例えば、機密情報、著作権上の問題で利用に制限のあるコンテンツ等があげられる。前記マスキング対象が人である場合、マスキングする場所は、例えば、プライバシー保護の観点から対象者の顔の少なくとも一部であることが好ましい。前記マスキング対象は、例えば、1種類でもよいし、2種類以上の複数でもよい。前記マスキング対象識別情報は、例えば、前記マスキング対象を識別可能な情報であり、前記マスキング対象の種類に応じて適宜設定できる。前記マスキング対象が人物の場合、前記マスキング対象識別情報は、例えば、マスキング対象となる人物の顔画像、または顔画像の特徴量の情報が挙げられる。マスキング部18は、例えば、マスキング対象識別情報に基づいて、前記疑似体験用画像情報およびユーザ画像情報が含む前記マスキング対象の位置を特定し、特定した位置にマスキング処理を実施する。前記マスキング対象の位置の特定は、特定するマスキング対象に応じて適切な手法が利用でき、例えば、前記マスキング対象が人である場合、公知の顔認識技術(顔検知技術)を利用できる。前記マスキング処理は、前記特定した位置を認識できなくする画像処理があげられ、特に制限されず、前記特定した位置に対するモザイク処理、塗りつぶし処理、切り取り処理、または前記特定した部位にマスク用画像を合成する処理等があげられる。前記マスク用画像は、例えば、所定の画像(例えば、任意の形状の白色または黒色の画像等)でもよいし、マスキング部18が生成した画像でもよい。
【0049】
そして、前記実施形態1のS4と同様にしてS4を実施する。
【0050】
本実施形態の疑似体験支援装置は、マスキング部18により、マスキング対象にマスキングできる。このため、本発明の疑似体験支援によれば、例えば、疑似体験時のプライバシー保護、セキュリティ保護等の効果が期待できる。
【0051】
[実施形態4]
実施形態4は、本発明の疑似体験支援装置10(10A、10B)の利用の例である。以下の説明においては、
図8を参照して、長期入院により病院にいる子供の患者(ユーザ)が、本装置10を用いて学校の授業を疑似体験する場合を例にあげて説明するが、本発明は以下の説明に何ら制限されない。
【0052】
病院にいるユーザ1は、本装置10により疑似体験が可能となる部屋に、ドア2を開けて入室する。ドア2は、スマートロック3により施錠されているため、ユーザ1は、自身のカードキーを使用してスマートロック3を開錠する。スマートロック3は、ユーザ1による開錠を検出すると、通信回線網を介して、ユーザ1のカードIDおよび入場時間情報を含む入場情報を本装置10に送信する。
【0053】
本装置10は、記憶部11に記憶した体験内容特定用情報111と、取得した前記入場情報とに基づいて、ユーザ1に出力する疑似体験用画像を配信する配信端末4を特定する。つぎに、本装置10は、通信回線網を介して配信端末4に配信開始指示情報を送信する。
【0054】
配信端末4は、ユーザ1の学校の教室に配置された撮像装置である。配信端末4は、ユーザ1の学校の教室において、ユーザ1のクラスメイト5(5a、5b、5c)が授業を受けている状態を撮像し、通信回線網を介して、撮像した画像を前記疑似体験用画像として本装置10に配信する。また、この際、教室において、ユーザ1の座席にはマーカ6が設置されており、前記疑似体験用画像は、マーカ6の位置情報を前記マーカ座標として含む。
【0055】
つぎに、ユーザの端末7a(撮像装置)は、ユーザ1を撮像し、通信回線網を介して撮像した画像を前記ユーザ画像として本装置10に出力する。
【0056】
本装置10は、前記ユーザ画像を取得すると、前記疑似体験用画像(教室の配信映像)から、マーカ6の座標を特定し、疑似体験用画像におけるマーカ6の位置にユーザ画像(病院でユーザ1が撮像した映像)を合成、さらに、合成後の画像を、教室の様子を配信するために作成したWeb画面(
図8において「再生Web」との表示)を合成して前記合成画像を生成する。また、教室にいるクラスメイト5のうち、映り込みを希望しないクラスメイト5cについては、前記マスキング対象識別情報により疑似体験用画像(合成画像)からクラスメイト5cを特定し、クラスメイト5cについてマスキング処理する。
図8において、マスキング後のクラスメイト5cを点線で示す。そして、マスキング処理済みの前記合成画像8をユーザ1の端末7bに前記合成画像を出力する。
【0057】
ユーザ1は、端末7bを用いて、前記出力された合成画像を閲覧することにより、病院にいながらにして、クラスメイト5がいる教室での授業を疑似体験することができる。
【0058】
[実施形態5]
本実施形態のプログラムは、前述の疑似体験支援方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、入場情報取得手順、体験内容決定手順、体験画像取得手順、及び出力手順を実行させるためのプログラムである。
【0059】
前記入場情報取得手順は、ユーザの入場情報を取得し、
前記体験内容決定手順は、前記入場情報と、入場情報と紐づけられた体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得手順は、決定した前記疑似体験用画像情報を取得し、
前記出力手順は、前記疑似体験用画像情報をユーザに出力する。
【0060】
また、本実施形態のプログラムは、コンピュータを、入場情報取得手順、体験内容決定手順、体験画像取得手順、及び出力手順として機能させるプログラムということもできる。
【0061】
本実施形態の第1のプログラムは、前記本発明の疑似体験支援装置および疑似体験支援方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
【0062】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0063】
<付記>
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
記憶部、入場情報取得部、体験内容決定部、体験画像取得部、及び出力部を含み、
前記記憶部は、入場情報と紐づけられた体験内容特定用情報を含み、
前記入場情報取得部は、ユーザの入場情報を取得し、
前記体験内容決定部は、前記入場情報と前記体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得部は、決定した前記疑似体験用画像情報を取得し、
前記出力部は、前記疑似体験用画像情報をユーザに出力する、疑似体験支援装置。
(付記2)
前記体験内容決定部は、前記入場情報と、前記体験内容特定用情報とに基づいて、疑似体験用画像配信端末を決定し、
前記体験画像取得部は、前記疑似体験用画像配信端末に配信開始指示情報を送信し、前記疑似体験用画像配信端末から、前記疑似体験用画像情報を取得する、付記1記載の疑似体験支援装置。
(付記3)
前記入場情報が、スマートロックの開錠情報である、付記1または2記載の疑似体験支援装置。
(付記4)
ユーザ画像取得部、および画像合成部を含み、
前記ユーザ画像取得部は、ユーザ画像情報を取得し、
前記画像合成部は、前記疑似体験用画像情報に前記ユーザ画像情報を合成した合成画像情報を生成し、
前記出力部は、前記合成画像情報をユーザに出力する、付記1から3のいずれかに記載の疑似体験支援装置。
(付記5)
前記疑似体験用画像情報がマーカ座標を含み、
前記画像合成部は、前記疑似体験用画像情報の前記マーカ座標に前記ユーザ画像情報を合成する、付記4記載の疑似体験支援装置。
(付記6)
マスキング部を含み、
前記記憶部は、マスキング対象識別情報を含み、
前記マスキング部は、前記マスキング対象識別情報に基づいて、前記疑似体験用画像情報およびユーザ画像情報の少なくとも一方からマスキング対象を特定し、前記疑似体験用画像情報におけるマスキング対象をマスキングする、付記1から4のいずれかに記載の疑似体験支援装置。
(付記7)
入場情報取得工程、体験内容決定工程、体験画像取得工程、及び出力工程を含み、
前記入場情報取得工程は、ユーザの入場情報を取得し、
前記体験内容決定工程は、前記入場情報と、入場情報と紐づけられた体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得工程は、決定した前記疑似体験用画像情報を取得し、
前記出力工程は、前記疑似体験用画像情報をユーザに出力する、疑似体験支援方法。
(付記8)
前記体験内容決定工程は、前記入場情報と、前記体験内容特定用情報とに基づいて、疑似体験用画像配信端末を決定し、
前記体験画像取得工程は、前記疑似体験用画像配信端末に配信開始指示情報を送信し、前記疑似体験用画像配信端末から、前記疑似体験用画像情報を取得する、付記7記載の疑似体験支援方法。
(付記9)
前記入場情報が、スマートロックの開錠情報である、付記7または8記載の疑似体験支援方法。
(付記10)
ユーザ画像取得工程、および画像合成工程を含み、
前記ユーザ画像取得工程は、ユーザ画像情報を取得し、
前記画像合成工程は、前記疑似体験用画像情報に前記ユーザ画像情報を合成した合成画像情報を生成し、
前記出力工程は、前記合成画像情報をユーザに出力する、付記7から9のいずれかに記載の疑似体験支援方法。
(付記11)
前記疑似体験用画像情報がマーカ座標を含み、
前記画像合成工程は、前記疑似体験用画像情報の前記マーカ座標に前記ユーザ画像情報を合成する、付記10記載の疑似体験支援方法。
(付記12)
マスキング工程を含み、
前記マスキング工程は、マスキング対象識別情報に基づいて、前記疑似体験用画像情報およびユーザ画像情報の少なくとも一方からマスキング対象を特定し、前記疑似体験用画像情報におけるマスキング対象をマスキングする、付記7から11のいずれかに記載の疑似体験支援方法。
(付記13)
入場情報取得手順、体験内容決定手順、体験画像取得手順、及び出力手順を含み、
前記入場情報取得手順は、ユーザの入場情報を取得し、
前記体験内容決定手順は、前記入場情報と、入場情報と紐づけられた体験内容特定用情報とに基づいて、取得する疑似体験用画像情報を決定し、
前記体験画像取得手順は、決定した前記疑似体験用画像情報を取得し、
前記出力手順は、前記疑似体験用画像情報をユーザに出力する、プログラム。
(付記14)
前記体験内容決定手順は、前記入場情報と、前記体験内容特定用情報とに基づいて、疑似体験用画像配信端末を決定し、
前記体験画像取得手順は、前記疑似体験用画像配信端末に配信開始指示情報を送信し、前記疑似体験用画像配信端末から、前記疑似体験用画像情報を取得する、付記13記載のプログラム。
(付記15)
前記入場情報が、スマートロックの開錠情報である、付記13または14記載のプログラム。
(付記16)
ユーザ画像取得手順、および画像合成手順を含み、
前記ユーザ画像取得手順は、ユーザ画像情報を取得し、
前記画像合成手順は、前記疑似体験用画像情報に前記ユーザ画像情報を合成した合成画像情報を生成し、
前記出力手順は、前記合成画像情報をユーザに出力する、付記13から15のいずれかに記載のプログラム。
(付記17)
前記疑似体験用画像情報がマーカ座標を含み、
前記画像合成手順は、前記疑似体験用画像情報の前記マーカ座標に前記ユーザ画像情報を合成する、付記16記載のプログラム。
(付記18)
マスキング手順を含み、
前記マスキング手順は、マスキング対象識別情報に基づいて、前記疑似体験用画像情報およびユーザ画像情報の少なくとも一方からマスキング対象を特定し、前記疑似体験用画像情報におけるマスキング対象をマスキングする、付記13から17のいずれかに記載のプログラム。
(付記19)
付記13から18のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0064】
本発明によれば、ユーザに臨場感のある疑似体験を提供できる。このため、本発明は、教育、医療、介護、観光等の様々な分野において広く有用である。
【符号の説明】
【0065】
10、10A、10B 疑似体験支援装置
11 記憶部
111 体験内容特定用情報
12 入場情報取得部
13 体験内容決定部
14 体験画像取得部
15 出力部
16 ユーザ画像取得部
17 画像合成部
18 マスキング部
101 CPU
102 メモリ
103 バス
104 記憶装置
105 プログラム
106 入力装置
107 出力装置
108 通信デバイス