知財求人 - 知財ポータルサイト「IP Force」
特開2023-66265情報処理システム、情報処理装置、プログラム、利用者端末、及び情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023066265
(43)【公開日】2023-05-15
(54)【発明の名称】情報処理システム、情報処理装置、プログラム、利用者端末、及び情報処理方法
(51)【国際特許分類】
H04L 67/02 20220101AFI20230508BHJP
H04N 21/2668 20110101ALI20230508BHJP
H04N 21/4725 20110101ALI20230508BHJP
G06Q 50/10 20120101ALI20230508BHJP
【ＦＩ】
H04L67/02
H04N21/2668
H04N21/4725
G06Q50/10
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021176894
(22)【出願日】2021-10-28
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】菊地 英敏
【テーマコード（参考）】
5C164
5L049
【Ｆターム（参考）】
5C164FA27
5C164GA07
5C164SA25S
5C164SC05P
5C164UA04S
5C164UB92S
5C164UD43P
5L049CC12
5L049CC17
(57)【要約】
【課題】通信を利用した仮想的な購入行動やイベント、店舗観察、現場観察において、必要に応じた臨場感のある映像をより効率的に利用者に提供できること。
【解決手段】情報処理装置と、第１の利用者端末とが通信可能に接続された情報処理システムであって、情報処理装置は、第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または内部画像を第１の利用者端末に表示させる第１の配信データを第１の利用者端末に送信する手段と、画像または内部画像の所定の領域に対する第１の利用者の操作に基づいて第１の配信データに対応するライブ映像を第１の利用者端末に表示させる第２の配信データを送信する手段と、を有し、第１の利用者端末は、受信した第１の配信データに基づいてオブジェクトの画像または内部画像を表示し、及び第２の配信データに基づいてライブ映像を表示する表示制御手段と、を有することで上記課題を解決する。
【選択図】図４
【解決手段】情報処理装置と、第１の利用者端末とが通信可能に接続された情報処理システムであって、情報処理装置は、第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または内部画像を第１の利用者端末に表示させる第１の配信データを第１の利用者端末に送信する手段と、画像または内部画像の所定の領域に対する第１の利用者の操作に基づいて第１の配信データに対応するライブ映像を第１の利用者端末に表示させる第２の配信データを送信する手段と、を有し、第１の利用者端末は、受信した第１の配信データに基づいてオブジェクトの画像または内部画像を表示し、及び第２の配信データに基づいてライブ映像を表示する表示制御手段と、を有することで上記課題を解決する。
【選択図】図４
【特許請求の範囲】
【請求項1】
情報処理装置と、第１の利用者が操作する第１の利用者端末とが通信可能に接続された情報処理システムであって、
前記情報処理装置は、
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信手段と、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信手段と、
を有し、
前記第１の利用者端末は、
受信した前記第１の配信データに基づいて前記オブジェクトの画像または内部画像を表示し、前記第２の配信データに基づいて前記ライブ映像を表示する表示制御手段と、
を有する
情報処理システム。
前記情報処理装置は、
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信手段と、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信手段と、
を有し、
前記第１の利用者端末は、
受信した前記第１の配信データに基づいて前記オブジェクトの画像または内部画像を表示し、前記第２の配信データに基づいて前記ライブ映像を表示する表示制御手段と、
を有する
情報処理システム。
【請求項2】
前記情報処理システムは、更に、
第２の利用者が操作する第２の利用者端末が通信可能に接続されており、
前記情報処理装置は、更に、
前記第１の利用者が操作する第１の利用者端末と、前記第１の利用者に応対する前記第２の利用者が操作する第２の利用者端末と、に双方向のコミュニケーション機能を提供するコミュニケーション機能提供手段、
を有する請求項１記載の情報処理システム。
第２の利用者が操作する第２の利用者端末が通信可能に接続されており、
前記情報処理装置は、更に、
前記第１の利用者が操作する第１の利用者端末と、前記第１の利用者に応対する前記第２の利用者が操作する第２の利用者端末と、に双方向のコミュニケーション機能を提供するコミュニケーション機能提供手段、
を有する請求項１記載の情報処理システム。
【請求項3】
前記オブジェクトの画像は、前記第１の利用者により選択可能となるように表示された前記オブジェクトの地図画像及び外観画像を含み、
前記表示制御手段は、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、前記外観画像、前記内部画像、及び前記ライブ映像の順番に表示する
請求項１又は２記載の情報処理システム。
前記表示制御手段は、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、前記外観画像、前記内部画像、及び前記ライブ映像の順番に表示する
請求項１又は２記載の情報処理システム。
【請求項4】
前記オブジェクトの画像は、前記第１の利用者により選択可能となるように表示された前記オブジェクトの地図画像を含み、
前記表示制御手段は、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、及び前記ライブ映像の順番に表示する
請求項１又は２記載の情報処理システム。
前記表示制御手段は、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、及び前記ライブ映像の順番に表示する
請求項１又は２記載の情報処理システム。
【請求項5】
前記オブジェクトの画像は、前記第１の利用者により選択可能となるように表示された前記オブジェクトの外観画像を含み、
前記表示制御手段は、前記第１の利用者の操作に基づいて、前記オブジェクトの外観画像、及び前記ライブ映像の順番に表示する
請求項１又は２記載の情報処理システム。
前記表示制御手段は、前記第１の利用者の操作に基づいて、前記オブジェクトの外観画像、及び前記ライブ映像の順番に表示する
請求項１又は２記載の情報処理システム。
【請求項6】
前記第２の送信手段は、前記第１の配信データに所定の条件が含まれている場合、該所定の条件を満たした前記第１の利用者端末に対し、前記第２の配信データを送信する
請求項１乃至５の何れか一項に記載の情報処理システム。
請求項１乃至５の何れか一項に記載の情報処理システム。
【請求項7】
前記第２の送信手段は、前記ライブ映像として、周囲を３６０度画像として撮影可能なカメラによるライブ映像を前記第１の利用者端末に表示させる前記第２の配信データを、前記第１の利用者端末に送信する
請求項１乃至６の何れか一項に記載の情報処理システム。
請求項１乃至６の何れか一項に記載の情報処理システム。
【請求項8】
単数又は複数の前記オブジェクトの画像が記号表記により選択可能に表示された前記オブジェクトの地図画像を生成する地図画像生成手段、
を更に有する請求項１乃至７の何れか一項に記載の情報処理システム。
を更に有する請求項１乃至７の何れか一項に記載の情報処理システム。
【請求項9】
第１の利用者が操作する第１の利用者端末と通信可能に接続された情報処理装置であって、
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信手段と、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信手段と、
を有する情報処理装置。
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信手段と、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信手段と、
を有する情報処理装置。
【請求項10】
第１の利用者が操作する第１の利用者端末と通信可能に接続された情報処理装置を、
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信手段、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信手段、
として機能させるためのプログラム。
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信手段、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信手段、
として機能させるためのプログラム。
【請求項11】
第１の利用者が操作する利用者端末であって、
情報処理装置から、前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記利用者端末に表示するための第１の配信データ、及び前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記利用者端末に表示させるための第２の配信データを受信する通信手段と、
受信した前記第１の配信データに基づいて前記オブジェクトの画像または内部画像を表示し、前記第２の配信データに基づいて前記ライブ映像を表示する表示制御手段と、
を有する利用者端末。
情報処理装置から、前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記利用者端末に表示するための第１の配信データ、及び前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記利用者端末に表示させるための第２の配信データを受信する通信手段と、
受信した前記第１の配信データに基づいて前記オブジェクトの画像または内部画像を表示し、前記第２の配信データに基づいて前記ライブ映像を表示する表示制御手段と、
を有する利用者端末。
【請求項12】
情報処理装置と、第１の利用者が操作する第１の利用者端末とが通信可能に接続された情報処理システムが実行する情報処理方法であって、
前記情報処理装置は、
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信ステップと、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信ステップと、
を実行し、
前記第１の利用者端末は、
受信した前記第１の配信データに基づいて前記オブジェクトの画像または内部画像を表示し、前記第２の配信データに基づいて前記ライブ映像を表示する表示制御ステップ、
を実行する
情報処理方法。
前記情報処理装置は、
前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信ステップと、
前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信ステップと、
を実行し、
前記第１の利用者端末は、
受信した前記第１の配信データに基づいて前記オブジェクトの画像または内部画像を表示し、前記第２の配信データに基づいて前記ライブ映像を表示する表示制御ステップ、
を実行する
情報処理方法。
【請求項13】
前記情報処理システムは、更に、
第２の利用者が操作する第２の利用者端末が通信可能に接続されており、
前記情報処理装置は、更に、
前記第１の利用者が操作する第１の利用者端末と、前記第１の利用者に応対する前記第２の利用者が操作する第２の利用者端末と、に双方向のコミュニケーション機能を提供するコミュニケーション機能提供ステップ、
を実行する請求項１２記載の情報処理方法。
第２の利用者が操作する第２の利用者端末が通信可能に接続されており、
前記情報処理装置は、更に、
前記第１の利用者が操作する第１の利用者端末と、前記第１の利用者に応対する前記第２の利用者が操作する第２の利用者端末と、に双方向のコミュニケーション機能を提供するコミュニケーション機能提供ステップ、
を実行する請求項１２記載の情報処理方法。
【請求項14】
前記オブジェクトの画像は、前記第１の利用者により選択可能となるように表示された前記オブジェクトの地図画像及び外観画像を含み、
前記表示制御ステップは、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、前記外観画像、前記内部画像、及び前記ライブ映像の順番に表示する
請求項１２又は１３記載の情報処理方法。
前記表示制御ステップは、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、前記外観画像、前記内部画像、及び前記ライブ映像の順番に表示する
請求項１２又は１３記載の情報処理方法。
【請求項15】
前記オブジェクトの画像は、前記第１の利用者により選択可能となるように表示された前記オブジェクトの地図画像を含み、
前記表示制御ステップは、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、及び前記ライブ映像の順番に表示する
請求項１２又は１３記載の情報処理方法。
前記表示制御ステップは、前記第１の利用者の操作に基づいて、前記オブジェクトの地図画像、及び前記ライブ映像の順番に表示する
請求項１２又は１３記載の情報処理方法。
【請求項16】
前記オブジェクトの画像は、前記第１の利用者により選択可能となるように表示された前記オブジェクトの外観画像を含み、
前記表示制御ステップは、前記第１の利用者の操作に基づいて、前記オブジェクトの外観画像、及び前記ライブ映像の順番に表示する
請求項１２又は１３記載の情報処理方法。
前記表示制御ステップは、前記第１の利用者の操作に基づいて、前記オブジェクトの外観画像、及び前記ライブ映像の順番に表示する
請求項１２又は１３記載の情報処理方法。
【請求項17】
前記第２の送信ステップは、前記第１の配信データが所定の条件を満たしている場合、該所定の条件を満たした前記第１の利用者端末に対し、前記第２の配信データを送信する
請求項１２乃至１６の何れか一項に記載の情報処理方法。
請求項１２乃至１６の何れか一項に記載の情報処理方法。
【請求項18】
前記第２の送信ステップは、前記ライブ映像として、周囲を３６０度画像として撮影可能なカメラによるライブ映像を前記第１の利用者端末に表示させる前記第２の配信データを、前記第１の利用者端末に送信する
請求項１２乃至１７の何れか一項に記載の情報処理方法。
請求項１２乃至１７の何れか一項に記載の情報処理方法。
【請求項19】
単数又は複数の前記オブジェクトの画像が記号表記により選択可能に表示された前記オブジェクトの地図画像を生成する地図画像生成ステップ、
を更に有する請求項１２乃至１８の何れか一項に記載の情報処理方法。
を更に有する請求項１２乃至１８の何れか一項に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、プログラム、利用者端末、及び情報処理方法に関する。
【背景技術】
【0002】
近年、インターネット空間にある施設のストリートビューでの閲覧や当該施設で販売されている商品を購入することが可能となった。例えば商店街や商店内に配置された移動カメラ又は複数の固定カメラを利用してあらかじめ設定した画像を提供した商店街の仮想的な探索を可能とする商品購入支援システムは従来から知られている（例えば特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、従来技術は、あらかじめ設定した画像のみ提供し、消費者等のユーザから商品購入操作を受け付けた後、一般的なＥＣサイトの処理を行うものであり、通信を利用した仮想的な購入行動において必要とされることのある臨場感を得られるものではない。
【0004】
本開示は、通信を利用した仮想的な購入行動やイベント、店舗観察、現場観察において、必要に応じた臨場感のある映像をより効率的に利用者に提供できること、を課題とする。
【課題を解決するための手段】
【0005】
本発明の一実施形態は、情報処理装置と、第１の利用者が操作する第１の利用者端末とが通信可能に接続された情報処理システムであって、前記情報処理装置は、前記第１の利用者により選択可能となるよう表示されたオブジェクトの画像、または該オブジェクトの内部画像を前記第１の利用者端末に表示させるための第１の配信データを前記第１の利用者端末に送信する第１の送信手段と、前記画像または前記内部画像の所定の領域に対する前記第１の利用者の操作に基づいて前記第１の配信データに対応するライブ映像を前記第１の利用者端末に表示させるための第２の配信データを送信する第２の送信手段と、を有し、前記第１の利用者端末は、受信した前記第１の配信データに基づいて前記オブジェクトの画像または内部画像を表示し、前記第２の配信データに基づいて前記ライブ映像を表示する表示制御手段と、を有する情報処理システムである。
【発明の効果】
【0006】
本発明の一実施形態によれば、通信を利用した仮想的な購入行動や店舗観察、現場観察において、必要に応じた臨場感のある映像をより効率的に利用者に提供できる。
【図面の簡単な説明】
【0007】
【図1】本実施形態に係る情報処理システムの一例の構成図である。
【図2】本実施形態に係るコンピュータの一例のハードウェア構成図である。
【図3】本実施形態に係るスマートフォンの一例のハードウェア構成図である。
【図4】本実施形態に係る情報処理システムの一例の機能構成図である。
【図5】建物情報の一例について説明する図である。
【図6】建物情報の他の例について説明する図である。
【図7】内部画像情報の一例について説明する図である。
【図8】ライブ映像配信設定の一例について説明する図である。
【図9】地図情報の一例について説明する図である。
【図10】地図情報に対する登録処理の一例について説明する図である。
【図11】地図情報に対する登録処理の他の例について説明する図である。
【図12】本実施形態に係る情報処理システムの登録処理の一例を示したフローチャートである。
【図13】本実施形態に係る情報処理システムの表示処理の一例を示したフローチャートである。
【図14】外観画像の一例のイメージ図である。
【図15】本実施形態に係る情報処理システムの建物種別「単体」の表示処理の一例を示したフローチャートである。
【図16】内部画像の一例のイメージ図である。
【図17】本実施形態に係る情報処理システムの建物種別「複合」の表示処理の一例を示したフローチャートである。
【図18】フロアガイドの一例のイメージ図である。
【図19】内部画像の所定領域に対する操作を操作者から受け付けた場合の表示処理の一例のフローチャートである。
【図20】外観画像の他の例のイメージ図である。
【図21】ライブ映像の一例のイメージ図である。
【図22】地図情報の一例について説明する図である。
【図23】ライブ映像の一例のイメージ図である。
【発明を実施するための形態】
【0008】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、本実施形態では、第１の利用者が商品の購入者等、第２の利用者が商品の販売者（担当者）である例を説明するが、この例に限定されない。本実施形態において、購入者等は、商品の購入が必須でなく、購入者又は購入予定者などを含む。販売者は購入者等に応対する店員、スタッフ、係員などであればよい。
【0009】
［第１の実施形態］
＜システム構成＞
図１は本実施形態に係る情報処理システムの一例の構成図である。図１に示す情報処理システム１は、情報処理装置１０、第１の利用者端末１２、ライブ映像配信者システム１４、及び決済システム１６を有し、ネットワーク１８を介して通信を行う。ライブ映像配信者システム１４は、第２の利用者端末２０、カメラ２２、及びＥＣ（Electronic commerce）サイト装置２４を有する。ライブ映像配信者システム１４は、第２の利用者端末２０、及び複数台のカメラ２２を有する構成でもよい。ネットワーク１８はインターネットやＬＡＮ（Local Area Network）等である。
＜システム構成＞
図１は本実施形態に係る情報処理システムの一例の構成図である。図１に示す情報処理システム１は、情報処理装置１０、第１の利用者端末１２、ライブ映像配信者システム１４、及び決済システム１６を有し、ネットワーク１８を介して通信を行う。ライブ映像配信者システム１４は、第２の利用者端末２０、カメラ２２、及びＥＣ（Electronic commerce）サイト装置２４を有する。ライブ映像配信者システム１４は、第２の利用者端末２０、及び複数台のカメラ２２を有する構成でもよい。ネットワーク１８はインターネットやＬＡＮ（Local Area Network）等である。
【0010】
第１の利用者端末１２は商品の購入者等が操作する情報処理端末である。第１の利用者端末１２はＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、又はＰＤＡ（Personal Digital Assistant）等である。
【0011】
第２の利用者端末２０は、購入者等に応対する販売者が操作する情報処理端末である。第２の利用者端末２０はＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、又はＰＤＡ等である。
【0012】
情報処理装置１０は、本実施形態に係るサービスを提供する。情報処理装置１０はＰＣ又はワークステーション等である。情報処理装置１０はサーバ装置、ＡＳＰ（Application Service Provider）、又はクラウドコンピューティングにより実現してもよい。
【0013】
カメラ２２は、建物の内部又は入居物件の内部の商品の売場等に設置される。カメラ２２は撮影画像として周囲の３６０度画像を撮影し、建物の内部又は入居物件の内部の商品の売場等のライブ映像を配信可能である。カメラ２２は、例えば一度の撮影で３６０°の全天球パノラマ画像を得るデジタルカメラなどを利用できる。なお、カメラ２２は３６０度画像を撮影する撮影装置に限定されるものではなく、例えば第１の利用者端末１２から撮影方向を左右方向に振るパン操作及び上下方向に振るチルト操作が可能な撮影装置であってもよい。
【0014】
カメラ２２は、販売者が装着するウエアラブルカメラ、又は販売者が操作する第２の利用者端末２０の内蔵カメラなどであってもよい。ウエアラブルカメラは、販売者が頭又は肩などに装着し、ハンズフリーで販売者が見ている方向の画像（目線画像）を撮影するカメラである。カメラ２２はスマートフォンやスマートグラス等の各種スマートデバイスの内蔵カメラであってもよい。カメラ２２は直接又は第２の利用者端末２０を介して通信を行う。カメラ２２は建物の内部又は入居物件の内部の商品の売場等を撮影し、第１の利用者端末１２にライブ映像を配信できる。
【0015】
第１の利用者端末１２及び第２の利用者端末２０は、通話機能、音声データによるパケット通信、又はＷｅｂＲＴＣ（Web Real-Time Communication）などを利用して音声による双方向のコミュニケーション機能を、購入者等及び販売者に提供する。また、第１の利用者端末１２及び第２の利用者端末２０は、チャット機能などを利用して文字（テキスト）による双方向のコミュニケーション機能を、購入者等及び販売者に提供してもよい。
【0016】
ＥＣサイト装置２４は、商品の決済機能など、販売者が商品を販売するＷｅｂサイトに関する処理を行う。ＥＣサイト装置２４は、例えばサーバ装置、ＡＳＰ、又はクラウドコンピューティングにより実現してもよい。また、決済システム１６は、商品の決済機能を提供する。
【0017】
第１の利用者端末１２は、例えば地図画像などの建物選択画像から購入者等が選択した建物の外観画像を表示する。したがって、購入者等は建物の外観画像を参照しながら、内部画像を表示させる建物を選択できる。また、第１の利用者端末１２は購入者等が選択した建物の内部画像を表示する。したがって、購入者等は建物の内部画像を参照しながら、建物の内部のライブ映像を表示させる店舗又はテナント（入居物件）を選択できる。
【0018】
例えば第１の利用者端末１２は前述のとおり、３６０°の全天球パノラマ画像を得るデジタルカメラなどによる撮影画像を用いて、店舗又はテナントの３６０度画像から購入者等の操作により選択された撮影方向の撮影画像を表示できる。購入者等は第１の利用者端末１２に表示された撮影画像から、例えばライブ映像を表示したい箇所を確認できる。また、第１の利用者端末１２は購入者等が選択した箇所の建物の内部のライブ映像を表示する。
【0019】
気になる商品があれば、購入者等は第１の利用者端末１２から販売者が操作する第２の利用者端末２０を呼び出し、販売者との双方向コミュニケーションを開始する。購入者等は、建物の内部のライブ映像を参照しつつ、販売者と音声又はチャットによるコミュニケーションを取り、商品を購入できる。
【0020】
このように、購入者等は、通信を利用した仮想的な購入行動であっても、選択した店舗又はテナントの内部のライブ映像を参照しながら、販売者とコミュニケーションを取ることができる。したがって、購買者等は、実際の店舗又はテナントに行って買い物しているかのように、販売者に商品の購入を伝えることができ、一連の購入行動の没入感を享受できるとともに、継続的に映像を流し続けるものと異なり、必要に応じた臨場感のある映像をより効率的に購入者等に提供できる。
【0021】
例えば店舗又はテナントに実際に行って商品を購入する場合、購入者等は店舗又はテナントの外観を見ながら移動し、気になった店舗又はテナントがあれば、店舗又はテナントに入り、内部を見て回り、気になる商品を見つける。気になった商品があれば、販売者に商品の説明を聞いたりしたあと、商品を購入する。
【0022】
本実施形態は、店舗又はテナントに実際に行って商品を購入する場合に即して、第１の利用者端末１２に表示を行い、購買者等と販売者とのコミュニケーションを行わせ、実際の店舗又はテナントに行って買い物しているかのように、購入者等に一連の購入行動の没入感を享受させる。
【0023】
図１に示す情報処理システム１の構成は一例である。例えば情報処理装置１０の機能の少なくとも一部は、第１の利用者端末１２に設けるようにしてもよい。第１の利用者端末１２及び第２の利用者端末２０の機能の少なくとも一部は、情報処理装置１０に設けるようにしてもよい。決済システム１６及びＥＣサイト装置２４の機能の少なくとも一部は情報処理装置１０に設けるようにしてもよい。
【0024】
＜ハードウェア構成＞
《コンピュータ》
図１の情報処理装置１０、決済システム１６、及びＥＣサイト装置２４は、例えば図２に示すようなハードウェア構成のコンピュータ５００により実現される。また、図１の第１の利用者端末１２及び第２の利用者端末２０は、ＰＣの場合、例えば図２に示すようなハードウェア構成のコンピュータ５００により実現される。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。
《コンピュータ》
図１の情報処理装置１０、決済システム１６、及びＥＣサイト装置２４は、例えば図２に示すようなハードウェア構成のコンピュータ５００により実現される。また、図１の第１の利用者端末１２及び第２の利用者端末２０は、ＰＣの場合、例えば図２に示すようなハードウェア構成のコンピュータ５００により実現される。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。
【0025】
コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ５０４、ＨＤＤ（Hard Disk Drive）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
【0026】
これらのうち、ＣＰＵ５０１は、プログラムに従ってコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。
【0027】
ディスプレイ５０６は、カーソル、メニュー、ウインドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリ等である。ネットワークＩ／Ｆ５０９はネットワーク１８を利用してデータ通信をするためのインタフェースである。データバス５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0028】
キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0029】
【0030】
《スマートフォン》
図１の第１の利用者端末１２及び第２の利用者端末２０は、例えば図３に示したハードウェア構成のスマートフォン７００により実現される。図３は本実施形態に係るスマートフォンの一例のハードウェア構成図である。図３に示されているように、スマートフォン７００は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＥＥＰＲＯＭ７０４、ＣＭＯＳセンサ７０５、撮像素子Ｉ／Ｆ７０６、加速度・方位センサ７０７、メディアＩ／Ｆ７０９、及びＧＰＳ受信部７１１を備えている。
図１の第１の利用者端末１２及び第２の利用者端末２０は、例えば図３に示したハードウェア構成のスマートフォン７００により実現される。図３は本実施形態に係るスマートフォンの一例のハードウェア構成図である。図３に示されているように、スマートフォン７００は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＥＥＰＲＯＭ７０４、ＣＭＯＳセンサ７０５、撮像素子Ｉ／Ｆ７０６、加速度・方位センサ７０７、メディアＩ／Ｆ７０９、及びＧＰＳ受信部７１１を備えている。
【0031】
ＣＰＵ７０１は、スマートフォン７００全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１やＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＥＥＰＲＯＭ７０４は、ＣＰＵ７０１の制御にしたがって、スマートフォン７００用プログラム等の各種データの読み出し又は書き込みを行う。
【0032】
ＣＭＯＳセンサ７０５は、ＣＰＵ７０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサ７０５ではなく、ＣＣＤセンサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ７０６は、ＣＭＯＳセンサ７０５の駆動を制御する回路である。加速度・方位センサ７０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。
【0033】
メディアＩ／Ｆ７０９は、フラッシュメモリ等の記録メディア７０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部７１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【0034】
また、スマートフォン７００は、遠距離通信回路７１２、ＣＭＯＳセンサ７１３、撮像素子Ｉ／Ｆ７１４、マイク７１５、スピーカ７１６、音入出力Ｉ／Ｆ７１７、ディスプレイ７１８、外部機器接続Ｉ／Ｆ７１９、近距離通信回路７２０、近距離通信回路７２０のアンテナ７２０ａ、及びタッチパネル７２１を備えている。
【0035】
遠距離通信回路７１２は、ネットワーク１８を介して他の機器と通信する回路である。ＣＭＯＳセンサ７１３は、ＣＰＵ７０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ７１４は、ＣＭＯＳセンサ７１３の駆動を制御する回路である。マイク７１５は、音を電気信号に変える内蔵型の回路である。スピーカ７１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。
【0036】
音入出力Ｉ／Ｆ７１７は、ＣＰＵ７０１の制御に従ってマイク７１５及びスピーカ７１６との間で音信号の入出力を処理する回路である。ディスプレイ７１８は被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ（Electro Luminescence）などの表示部の一種である。外部機器接続Ｉ／Ｆ７１９は各種の外部機器を接続するインタフェースである。近距離通信回路７２０はＮＦＣやＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル７２１は、ユーザがディスプレイ７１８を押下することで、スマートフォン７００を操作する入力部の一種である。
【0037】
また、スマートフォン７００は、バスライン７１０を備えている。バスライン７１０は図３に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0038】
＜機能構成＞
本実施形態に係る情報処理システム１は例えば図４に示すような機能構成により実現される。図４は本実施形態に係る情報処理システムの一例の機能構成図である。なお、図４の機能構成図は本実施形態の説明に不要な構成について適宜省略している。情報処理装置１０、第１の利用者端末１２、決済システム１６、第２の利用者端末２０、カメラ２２、及びＥＣサイト装置２４は、ＯＳ及びアプリケーション等のプログラムを実行することにより、例えば図４の機能構成を実現する。
本実施形態に係る情報処理システム１は例えば図４に示すような機能構成により実現される。図４は本実施形態に係る情報処理システムの一例の機能構成図である。なお、図４の機能構成図は本実施形態の説明に不要な構成について適宜省略している。情報処理装置１０、第１の利用者端末１２、決済システム１６、第２の利用者端末２０、カメラ２２、及びＥＣサイト装置２４は、ＯＳ及びアプリケーション等のプログラムを実行することにより、例えば図４の機能構成を実現する。
【0039】
図４のライブ映像配信者システム１４は、第２の利用者端末２０、カメラ２２、及びＥＣサイト装置２４を有する構成例である。ライブ映像配信者システム１４は建物の内部のライブ映像を表示させる店舗又はテナントごとに設けられる。ライブ映像配信者システム１４を設ける建物は、平屋であってもよいし、複数階層のビルであってもよい。なお、建物（建屋）はオブジェクトの一例であって、スペース（野外施設）、仮想空間などさまざまな施設・場所を含む概念である。
【0040】
第２の利用者端末２０は第２のコミュニケーション実行部８０及び通信部８２を有する。第２のコミュニケーション実行部８０は、第２の利用者端末２０を操作する販売者に第１の利用者端末１２を操作する購入者等との双方向のコミュニケーション機能を提供するために必要な各種処理を実行する。通信部８２は情報処理装置１０と通信を行う。
【0041】
カメラ２２は撮影部９０及び通信部９２を有する。撮影部９０は周囲の３６０度画像を撮影する。通信部９２は撮影部９０が撮影した店舗又はテナントのライブ映像を情報処理装置１０に送信する。なお、通信部９２は例えば登録済みのＵＲＬ（配信設定で定義されたＵＲＬ）にライブ映像を送信することで、情報処理装置１０にライブ映像を送信する。
【0042】
ＥＣサイト装置２４は決済処理部１００、通信部１０２、及び決済情報記憶部１０４を有する。決済処理部１００は第１の利用者端末１２を操作する購入者等からの商品の購入指示に応じた決済処理を実行する。通信部１０２は情報処理装置１０と通信を行う。決済情報記憶部１０４は、実行した決済処理に関する決済情報を記憶する。
【0043】
また、決済システム１６は、決済処理部１１０、通信部１１２、及び決済情報記憶部１１４を有する。決済処理部１１０は第１の利用者端末１２を操作する購入者等からの商品の購入指示に応じた決済処理を実行する。通信部１１２は情報処理装置１０と通信を行う。決済情報記憶部１１４は、実行した決済処理に関する決済情報を記憶する。決済システム１６は例えば外部決済業者のシステムである。
【0044】
第１の利用者端末１２は、表示制御部３０、第１のコミュニケーション実行部３２、購入受付部３４、及び通信部３６を有する。表示制御部３０は、情報処理装置１０から受信した各種の配信データに基づき、建物の外観画像、建物の内部画像、及び建物の内部のライブ映像を表示する。建物の外観画像、建物の内部画像、及び建物の内部のライブ映像の詳細は後述する。
【0045】
第１のコミュニケーション実行部３２は、第１の利用者端末１２を操作する購入者等に第２の利用者端末２０を操作する販売者との双方向のコミュニケーション機能を提供するために必要な各種処理を実行する。購入受付部３４は購入者等から例えばライブ映像に写っている商品の購入指示を受け付ける。通信部３６は情報処理装置１０と通信を行う。
【0046】
また、情報処理装置１０は、地図画像生成部５０、通信部５２、コミュニケーション機能提供部５４、購入処理部５６、記憶制御部５８、地図情報記憶部７０、建物情報記憶部７２、内部画像情報記憶部７４、及びライブ映像配信設定記憶部７６を有する。
【0047】
地図画像生成部５０は、後述の地図情報及び建物情報を用いて、１つ以上の建物が選択可能に表示されている地図画像を建物選択画像として生成する。通信部５２は、第１の利用者端末１２、決済システム１６、第２の利用者端末２０、カメラ２２、及びＥＣサイト装置２４と通信を行う。通信部５２は、建物選択画像、建物の外観画像、建物の内部画像、及び建物の内部のライブ映像の配信データを第１の利用者端末１２に送信する。通信部５２は、第１の送信部３７及び第２の送信部３８の役割を包含する。通信部５２は、建物選択画像、建物の外観画像、または建物の内部画像を第１の利用者端末１２に表示させるための第１の配信データを第１の利用者端末１２に送信する場合、第１の送信部３７として機能する。通信部５２は、第１の配信データに対応する建物の内部のライブ映像を第１の利用者端末１２に表示させるための第２の配信データを第１の利用者端末１２に送信する場合、第２の送信部３８として機能する。
【0048】
コミュニケーション機能提供部５４は、第１の利用者端末１２を利用する購入者等及び第２の利用者端末２０を利用する販売者に、通話機能を利用した音声によるコミュニケーション機能又はチャット機能を利用した文字によるコミュニケーション機能を、提供する。
【0049】
購入処理部５６は、購入者等が操作する第１の利用者端末１２から例えばライブ映像に写っている商品の購入指示を受け付け、商品の購入処理を実行する。記憶制御部５８は、地図情報記憶部７０、建物情報記憶部７２、内部画像情報記憶部７４、及びライブ映像配信設定記憶部７６に記憶される情報を制御する。
【0050】
地図情報記憶部７０は地図情報を記憶する。地図情報は、建物選択画像を生成可能な情報の一例である。地図情報は、例えば地図情報提供会社又は地図情報提供サービス等から取得できる。また、地図情報は、必ずしも現実の地図である必要は無く、例えば仮想都市や仮想商店街（バーチャルモール）などの仮想の地図であってもよい。
【0051】
建物情報記憶部７２は後述の建物情報を記憶する。内部画像情報記憶部７４は後述の建物の内部画像を記憶する。ライブ映像配信設定記憶部７６は後述のライブ映像配信設定を記憶する。なお、情報処理装置１０はスクリプトを記憶する記憶部を有してもよい。スクリプトは、３６０度画像を表示するアプリケーションが搭載されていない第１の利用者端末１２において、３６０度画像を表示するためのプログラムである。
【0052】
なお、図４の機能構成は一例であって、情報処理装置１０の機能の一部を第１の利用者端末１２に設けるようにしてもよい。情報処理装置１０の機能構成は複数のサーバ装置で実現するようにしてもよい。
【0053】
３６０度画像を表示するアプリケーションが搭載されている第１の利用者端末１２はスクリプトを使用しなくとも３６０度画像を表示できる。情報処理装置１０は３６０度画像を表示するアプリケーションが搭載されていない第１の利用者端末１２に対し、３６０度画像への操作をＷｅｂサービスで提供してもよい。
【0054】
図４に示した情報処理装置１０の建物情報記憶部７２は、例えば図５に示す建物情報を記憶する。図５は、建物情報の一例について説明する図である。図５の建物情報は、地図と、地図上の建物の位置と、建物の情報と、建物の外観画像と、建物の内部画像と、を対応付ける情報である。
【0055】
図５（Ａ）は、バルーンＩＤ、地図上の表示位置、登録名称、及び建物種別を項目として有する。バルーンＩＤは、地図上の建物と対応付けられて地図上に表示されるバルーンの識別情報の一例である。なお、バルーンは地図上の建物に対する購入者等の選択を受け付ける記号表記の一例である。記号表記は、バルーン以外でもピン、アイコン、マーク等、購入者等の選択を受け付ける表示であればよい（その場合はバルーンＩＤに代えてピンＩＤ等を用いればよい）。バルーンは商店街などのような複数の建物を含む地図上のエリアと対応付けられていてもよい。
【0056】
地図上の表示位置はバルーンを表示する地図画像上の位置を表している。また、地図上の表示位置は建物名などの建物の情報を表示する地図画像上の位置を表している。登録名称は地図上に表示する建物名などの建物の情報を表している。建物種別は、建物を選択することで建物の内部画像を特定できる「単体」の建物であるか、建物及び階層を選択することで建物の内部画像を特定できる「複合」の建物であるか、を表している。
【0057】
建物を選択することで建物の内部画像を特定できる「単体」の建物は、例えば平屋などの建物である。建物及び階層を選択することで建物の内部画像を特定できる「複合」の建物は、ビルなどの複数階層の建物（複合施設）である。なお、ビルなどの複数階層の建物であっても、複数階層に同一のテナントが入居しているのであれば「単体」の建物として扱うようにしてもよい。
【0058】
図５（Ｂ）は、バルーンＩＤ及び外観画像のアドレス情報を項目として有する。外観画像のアドレス情報は、地図上のバルーンがクリック操作などにより選択された場合に表示される建物の外観画像の遷移先のＵＲＬ、格納先パス、外部サービスとのＡＰＩなどである。
【0059】
また、図５（Ｃ）は、外観画像の範囲情報及び内部画像のアドレス情報を項目として有する。外観画像の範囲情報は、購入者等からクリック操作などによる選択を受け付ける外観画像上の範囲を表している。内部画像のアドレス情報は、外部画像の範囲情報（例えばマップ上の座標など位置情報またはアノテーション情報により特定可能）に示される外観画像上の範囲がクリック操作などにより選択された場合に表示される建物の内部画像の遷移先のＵＲＬ、格納先パス、外部サービスとのＡＰＩなどである。
【0060】
また、図４に示した情報処理装置１０の建物情報記憶部７２は、例えば図６に示す建物情報を記憶してもよい。図６は建物情報の他の例について説明する図である。図６の建物情報は、地図と、地図上の複数階層の建物の位置と、複数階層の建物の情報と、複数階層の建物のフロアガイドの情報と、各階層に入居しているテナントなどの外観画像と、テナントなどの内部画像と、を対応付ける情報である。
【0061】
図６（Ａ）は、図５（Ａ）と同様である。図６（Ｂ）は、バルーンＩＤ、階層、登録名称、及び外観画像のアドレス情報を項目として有する。階層は、バルーンＩＤに対応付けられた複数階層の建物の階層を表している。登録名称は、各階層に入居しているテナントなどの情報であって、フロアガイドに表示するテナント名などの情報を表している。
【0062】
外観画像のアドレス情報は、フロアガイドに表示されたテナント名などがクリック操作などにより選択された場合に表示されるテナントなどの外観画像の遷移先のＵＲＬ、格納先パス、外部サービスとのＡＰＩなどである。
【0063】
また、図６（Ｃ）は、外観画像の範囲情報及び内部画像のアドレス情報を項目として有する。外観画像の範囲情報は、購入者等からクリック操作などによる選択を受け付ける外観画像上の範囲を表している。内部画像のアドレス情報は、外部画像の範囲情報に示される外観画像上の範囲がクリック操作などにより選択された場合に表示されるテナントなどの内部画像の遷移先のＵＲＬ、格納先パス、外部サービスとのＡＰＩなどである。
【0064】
図４に示した情報処理装置１０の内部画像情報記憶部７４は、例えば図７に示す内部画像情報を記憶する。図７は、内部画像情報の一例について説明する図である。図７の内部画像情報は、内部画像の範囲情報及びライブ映像のアドレス情報を項目として有する。内部画像の範囲情報は、購入者等からクリック操作などによる選択を受け付ける内部画像上の範囲を表している。ライブ映像のアドレス情報は、内部画像の範囲情報に示される内部画像上の範囲がクリック操作などにより選択された場合に表示される建物の内部のライブ映像の遷移先のＵＲＬなどである。
【0065】
図４に示した情報処理装置１０のライブ映像配信設定記憶部７６は、例えば図８に示すようなライブ映像配信設定を記憶する。図８はライブ映像配信設定の一例について説明する図である。図８のライブ映像配信設定はライブ映像を配信するカメラ２２の登録デバイスＩＤがライブ映像のアドレス情報と対応付けられている。登録デバイスＩＤはカメラ２２の識別情報の一例である。
【0066】
＜処理概要＞
図９は地図情報の一例について説明する図である。図９は地図情報を表示した地図画像１０００の一例であって、例えば平屋などの建物１００２、及びビルなどの複数階層の建物１００４が表示されている。図５及び図６の建物情報、図７の内部画像情報、図８のライブ映像配信設定を、事前に地図画像１０００と対応付けて登録することで、第１の利用者端末１２は例えば図１０に示すような地図画像１０００を表示する。
図９は地図情報の一例について説明する図である。図９は地図情報を表示した地図画像１０００の一例であって、例えば平屋などの建物１００２、及びビルなどの複数階層の建物１００４が表示されている。図５及び図６の建物情報、図７の内部画像情報、図８のライブ映像配信設定を、事前に地図画像１０００と対応付けて登録することで、第１の利用者端末１２は例えば図１０に示すような地図画像１０００を表示する。
【0067】
図１０は地図情報に対する登録処理の一例について説明する図である。図１０に示したように、地図画像１０００は、図５及び図６の建物情報、図７の内部画像情報、図８のライブ映像配信設定を登録した建物１００２及び１００４の対応する箇所に、バルーン１００６が表示されている。地図画像１０００上のバルーン１００６に対するクリック操作などにより、第１の利用者端末１２はクリック操作を受け付けたバルーン１００６と対応付けられた地図画像１０００上の建物１００２又は１００４の選択を受け付ける。そして、第１の利用者端末１２は選択を受け付けた建物１００２又は１００４の内部画像及びライブ映像を後述のように表示する。
【0068】
図１１は地図情報に対する登録処理の他の例について説明する図である。図１１の地図画像１０００は、商店街などのような複数の建物を含む地図上のエリア１０１０の対応する箇所に、バルーン１００６を表示した例である。地図画像１０００上のエリア１０１０に対応する箇所のバルーン１００６に対するクリック操作などにより、第１の利用者端末１２はクリック操作を受け付けたバルーン１００６と対応付けられたエリア１０１０の選択を受け付ける。エリア１０１０の選択を受け付けると、第１の利用者端末１２はエリア１０１０に対応する外観画像（例えば商店街の全景など）を表示する。
【0069】
図２０は外観画像の他の例のイメージ図である。図２０の外観画像１５００は購入者等から選択された図１１のバルーン１００６に対応するエリア１０１０の外観画像の一例である。図２０の外観画像１５００は、エリア１０１０に含まれる１件以上の建物１００２が写っている。また、図２０の外観画像１５００は、エリア１０１０に含まれる１件以上の建物１００２が写っている箇所などを、外観画像の範囲情報に対応した、外観画像上の範囲１５０１及び１５０２を視覚的に示している。なお、外観画像上の範囲１５０１及び１５０２は図示しなくてもよい。
【0070】
例えば第１の利用者端末１２を操作する購入者等は、エリア１０１０に対応する外観画像から１つの建物１００２をクリック操作などにより選択して、選択した建物１００２の内部画像を第１の利用者端末１２に表示させる。そして、第１の利用者端末１２は選択を受け付けた建物１００２の内部画像及びライブ映像を後述のように表示する。
【0071】
＜処理＞
本実施形態に係る情報処理システム１の処理手順について説明する。図１２は本実施形態に係る情報処理システムの登録処理の一例を示したフローチャートである。図１２に示した登録処理は事前に行っておく。
本実施形態に係る情報処理システム１の処理手順について説明する。図１２は本実施形態に係る情報処理システムの登録処理の一例を示したフローチャートである。図１２に示した登録処理は事前に行っておく。
【0072】
ステップＳ１０において、情報処理装置１０の記憶制御部５８は地図情報記憶部７０に記憶させる例えば図９の地図画像１０００の地図情報の設定を、情報処理装置１０によりサービスを提供する会社等の管理者などから受け付ける。ステップＳ１２において、記憶制御部５８は管理者などからバルーン１００６の表示位置の登録を受け付ける。ステップＳ１４において、記憶制御部５８は管理者などからバルーン１００６に対応する建物１００２又は１００４の建物の情報の一例である建物の名称の登録を受け付ける。ステップＳ１６において、記憶制御部５８は管理者などからバルーン１００６に対応する建物１００２又は１００４の建物種別の登録を受け付ける。ステップＳ１０～Ｓ１６の処理により記憶制御部５８は例えば図５（Ａ）の建物情報を登録できる。
【0073】
ステップＳ１８において、記憶制御部５８は管理者などからバルーン１００６に対応する外観画像のアドレス情報の登録を受け付ける。ステップＳ１８の処理により記憶制御部５８は例えば図５（Ｂ）の建物情報を登録できる。
【0074】
ステップＳ２０において、記憶制御部５８は管理者などから、外観画像から遷移する内部画像のアドレス情報の登録を受け付ける。記憶制御部５８はステップＳ２０の処理により外観画像の範囲情報と内部画像のアドレス情報とを対応付ける図５（Ｃ）の建物情報を登録できる。
【0075】
ステップＳ２２において、記憶制御部５８は管理者などから、内部画像から遷移するライブ映像のアドレス情報の登録を受け付ける。記憶制御部５８は内部画像の範囲情報とライブ映像のアドレス情報とを対応付ける図７の内部画像情報を登録できる。また、記憶制御部５８は管理者などからライブ映像のアドレス情報に対応するカメラ２２の登録を受け付ける。記憶制御部５８はライブ映像のアドレス情報とカメラ２２の登録デバイスＩＤとを対応付ける図８のライブ映像配信設定を登録できる。
【0076】
記憶制御部５８は、地図画像１０００に表示されている建物１００２又は１００４の登録処理が完了するまでステップＳ１２～Ｓ２４の処理を繰り返す。なお、管理者などは地図画像１０００に表示されている建物１００２又は１００４の少なくとも一部に対して登録処理を行えばよい。なお、外観画像、内部画像、及びライブ映像のいずれのアドレス情報も一定の時間や期間といった定期的に撮影されて更新登録される外観画像、内部画像、及びライブ映像の運用とすることも可能である。
【0077】
図１３は本実施形態に係る情報処理システムの表示処理の一例を示したフローチャートである。ステップＳ３０において、情報処理装置１０の通信部５２は、例えば図１０の地図画像１０００を第１の利用者端末１２に表示させるための配信データを、第１の利用者端末１２に送信する。第１の利用者端末１２の表示制御部３０は、情報処理装置１０から受信した配信データに基づき、例えば図１０のバルーン１００６が登録された地図画像１０００を表示する。
【0078】
表示制御部３０は購入者等からのバルーン１００６の選択操作があれば、ステップＳ３４以降の処理を行う。なお、表示制御部３０は購入者等からのバルーン１００６の選択操作が無ければ、ステップＳ３４～Ｓ４２の処理をスキップする。
【0079】
ステップＳ３４において、表示制御部３０は選択されたバルーン１００６に対応する外観画像を表示する。図１４は外観画像の一例のイメージ図である。図１４の外観画像１１００は購入者等から選択されたバルーン１００６に対応する地図画像１０００上の建物１００２のイメージ図である。図１４の外観画像１１００は、例えば図５（Ｃ）の外観画像の範囲情報に対応した、外観画像上の範囲１１０２を視覚的に示している。なお、外観画像上の範囲１１０２は図示しなくてもよい。
【0080】
図１１のバルーン１００６に対する選択操作を購入者等から受け付けた場合、表示制御部３０はエリア１０１０に対応する全景画像を表示する。購入者等は第１の利用者端末１２に表示されたエリア１０１０に対応する全景画像により、エリア１０１０に含まれる建物１００２の外観画像を確認できる。
【0081】
ここでは、図１０のバルーン１００６に対する選択操作を購入者等から受け付けた例を説明する。ステップＳ３６において外観画像上の範囲１１０２に対する購入者等からの操作を受け付けると、表示制御部３０はステップＳ３８以降の処理に進む。なお、ステップＳ３６において外観画像上の範囲１１０２に対する購入者等からの操作を受け付けなければステップＳ３８～Ｓ４２の処理をスキップする。
【0082】
ステップＳ３８において、表示制御部３０は例えば図５（Ａ）の項目「建物種別」を参照して、購入者等からの操作を受け付けた建物１００２の建物種別が「単体」であるか否かを判定する。建物種別が「単体」であれば、表示制御部３０はステップＳ４０の建物種別「単体」の処理を実行する。また、建物種別が「単体」でなければ、表示制御部３０はステップＳ４２の建物種別「複合」の処理を実行する。
【0083】
ステップＳ４０の建物種別「単体」の処理、及びステップＳ４２の建物種別「複合」の処理は、フローチャートを用いて後述する。ステップＳ３２～Ｓ４４の処理は、購入者等からの終了操作があるまで繰り返される。
【0084】
図１５は本実施形態に係る情報処理システムの建物種別「単体」の表示処理の一例を示したフローチャートである。ステップＳ５０において、表示制御部３０は、購入者等からの操作を受け付けた外観画像上の範囲１１０２に対応する建物１００２の内部画像を表示する。図１６は内部画像の一例のイメージ図である。
【0085】
図１６の内部画像は購入者等からの操作を受け付けた外観画像上の範囲１１０２に対応する建物１００２の内部画像のイメージ図である。図１６の内部画像は、図５（Ｃ）の内部画像のアドレス情報に対応した内部画像である。図１６の内部画像は、図７の内部画像の範囲情報に対応した、内部画像上の範囲１２００を視覚的に示している。なお、内部画像上の範囲１２００は図示しなくてもよい。
【0086】
表示制御部３０は内部画像の表示終了操作があるまでステップＳ５４～Ｓ６０の処理を繰り返す。表示制御部３０は内部画像の表示終了操作があると、図１５のフローチャートの処理を終了する。
【0087】
ステップＳ５４において内部画像上の範囲１２００に対する購入者等からの操作を受け付けると、表示制御部３０はステップＳ５６以降の処理に進む。ステップＳ５４において内部画像上の範囲１２００に対する購入者等からの操作を受け付けなければステップＳ５２の処理に戻る。
【0088】
ステップＳ５６において、表示制御部３０は図７の内部画像情報及び図８のライブ映像配信設定を参照し、購入者等からの操作を受け付けた所定領域に対応する建物１００２の内部のライブ映像を表示する。表示制御部３０はステップＳ５８においてライブ映像の表示終了操作を購入者等から受け付けるまで、ステップＳ５６の建物１００２の内部のライブ映像の表示を継続する。ステップＳ５８においてライブ映像の表示終了操作を購入者等から受け付けると、表示制御部３０はライブ映像の表示を終了し、ステップＳ５２の処理に戻る。
【0089】
図１７は本実施形態に係る情報処理システムの建物種別「複合」の表示処理の一例を示したフローチャートである。ステップＳ７０において、表示制御部３０は、購入者等からの操作を受け付けた外観画像上の範囲１１０２に対応する建物１００４のフロアガイドを表示する。
【0090】
図１８はフロアガイドの一例のイメージ図である。図１８のフロアガイド１３００は例えば図６（Ｂ）に示した情報に基づいて表示される。図１８のフロアガイド１３００は建物１００４が複数階層である場合に、各階層に入居しているテナントを選択可能に表示した例である。
【0091】
ステップＳ７２において、表示制御部３０はフロアガイド１３００内のテナントの選択操作を購入者等から受け付ける。ステップＳ７４において、表示制御部３０は購入者等から選択操作を受け付けたテナントの外観画像を図６（Ｂ）の情報に基づいて特定し、表示する。なお、表示制御部３０は購入者等から選択操作を受け付けたテナントを示す範囲が例えば、図６（Ｂ）の情報の中でテナントの外観画像のアドレス情報に代えてライブ映像のアドレス情報と対応付けられていれば、後述する表示制御部３０のステップＳ１０４以降の処理を行ってもよい。表示制御部３０は購入者等から受け付けた当該地図画像１０００上などの範囲と対応付けられていたライブ映像のアドレス情報を用いて、テナントの外観画像を表示することなくライブ映像の配信開始を情報処理装置１０の通信部５２に要求することも可能である。
【0092】
ステップＳ７６において例えば図６（Ｃ）の外観画像の範囲情報で示された外観画像上の範囲に対する購入者等からの操作を受け付けると、表示制御部３０はステップＳ７８以降の処理に進む。また、表示制御部３０は上述のフロアガイド１３００内のテナントの選択操作での説明と同様に、例えば、図６（Ｃ）の情報の中で内部画像のアドレス情報に代えてライブ映像のアドレス情報と対応付けられていれば、後述する表示制御部３０のステップＳ１０４以降の処理を行ってもよい。表示制御部３０は購入者等から受け付けた外観画像上の範囲と対応付けられていたライブ映像のアドレス情報を用いて、内部画像を表示することなくライブ映像の配信開始を情報処理装置１０の通信部５２に要求することも可能である。なお、ステップＳ７６において外観画像上の範囲に対する購入者等からの操作を受け付けなければステップＳ７８～Ｓ８８の処理をスキップする。
【0093】
ステップＳ７８において、表示制御部３０は、購入者等からの操作を受け付けた外観画像上の範囲に対応する建物１００４のテナントの内部画像を表示する。表示制御部３０は内部画像の表示終了操作があればステップＳ８２～Ｓ９０の処理をスキップする。表示制御部３０は内部画像の表示終了操作がなければステップＳ８２以降の処理を行う。
【0094】
ステップＳ８２において内部画像上の範囲に対する購入者等からの操作を受け付けなければステップＳ８０の処理に戻る。ステップＳ８２において内部画像上の範囲に対する購入者等からの操作を受け付けると、表示制御部３０はステップＳ８４以降の処理に進む。
【0095】
ステップＳ８４において、表示制御部３０は図７の内部画像情報及び図８のライブ映像配信設定を参照し、購入者等からの操作を受け付けた所定領域に対応する建物１００４のテナントの内部のライブ映像を表示する。表示制御部３０はステップＳ８６においてライブ映像の表示終了操作を購入者等から受け付けるまで、ステップＳ８４の建物１００４の内部のライブ映像の表示を継続する。ステップＳ８６においてライブ映像の表示終了操作を購入者等から受け付けると、表示制御部３０はライブ映像の表示を終了し、ステップＳ８０の処理に戻る。
【0096】
ステップＳ９０において、表示制御部３０はフロアガイドの表示終了操作を購入者等から受け付けていなければ、ステップＳ７２の処理に戻る。フロアガイドの表示終了操作を購入者等から受け付けていれば、表示制御部３０は図１７のフローチャートの処理を終了する。
【0097】
図１９は内部画像の所定領域に対する操作を操作者から受け付けた場合の表示処理の一例のフローチャートである。ステップＳ１００において、表示制御部３０は例えば図１６の内部画像の所定領域の一例である内部画像上の範囲１２００に対する操作を購入者等から受け付ける。
【0098】
ステップＳ１０２において、表示制御部３０は図７の内部画像情報を参照し、購入者等から操作を受け付けた内部画像上の範囲１２００がライブ映像のアドレス情報と対応付けられているか否かを判定する。
【0099】
購入者等から操作を受け付けた内部画像上の範囲１２００がライブ映像のアドレス情報と対応付けられていれば、表示制御部３０はステップＳ１０４の処理を行う。ステップＳ１０４において、表示制御部３０は購入者等から操作を受け付けた内部画像上の範囲１２００と対応付けられていたライブ映像のアドレス情報を用いて、ライブ映像の配信開始を情報処理装置１０の通信部５２に要求する。ステップＳ１０６において、表示制御部３０は例えば図２１に示すようにライブ映像の配信を開始する。図２１はライブ映像の一例のイメージ図である。図２１のライブ映像は、購入者等から操作を受け付けた内部画像上の範囲１２００と対応付けられていたライブ映像であり、例えば商品を拡大表示するライブ映像である。
【0100】
購入者等から操作を受け付けた内部画像上の範囲１２００がライブ映像のアドレス情報と対応付けられていなければ、表示制御部３０はステップＳ１０８に進み、購入者等から操作を受け付けた内部画像上の範囲１２００が特定のデータに情報タグ（メタデータ）を付加するアノテーション情報と対応付けられているか否かを判定する。
【0101】
購入者等から操作を受け付けた内部画像上の範囲１２００がアノテーション情報と対応付けられていれば、表示制御部３０はステップＳ１１０においてアノテーション情報の表示を開始する。なお、アノテーション情報と対応付けられていなければ、表示制御部３０はステップＳ１１２において内部画像の表示を継続する。
【0102】
なお、内部画像上の範囲１２００とアノテーション情報との対応付けは、例えば、既知の技術を用いた座標位置やカメラ２２の撮影位置から内部画像上の位置を推定し、推定した位置と対応付けて、内部画像上に表示されている箇所のアノテーション情報を登録しておくことで、購入者等から操作を受け付けた内部画像上の範囲１２００のアノテーション情報を表示させることができる。
【0103】
本実施形態では、カメラ２２を建物の内部に設置する例を示したが、カメラ２２が移動するようにしてもよい。例えばカメラ２２は販売者が持ち歩いてもよいし、販売者が装着してもよいし、建物の内部を巡回する自走式ロボットなどに装着してもよい。
【0104】
本実施形態によれば、通信を利用した仮想的な購入行動であっても、購買者等は実際の店舗又はテナントに行って買い物しているかのように、販売者とコミュニケーションを取りながら商品を購入することができ、一連の購入行動の没入感を享受できる。
【0105】
［他の実施形態］
本実施形態の他の例として、上述のような本情報処理システム１は、購入者等による通信を利用した仮想的なツアー参加イベントなどにも適用可能である。この場合、例えば、あらかじめ所望のツアーのチケットを購入（あるいは仮想空間内からＥＣサイトへ遷移して購入でも可能）した購入者等は図２２のような仮想空間のバス乗り場にアクセスし、マップ上に表示されたバス乗り場から該当するツアーバス（例えば図２２のツアーバスＢ２）を選択する。購入者等は該当するツアーバスを選択することによって（位置情報を含むマップ上のバルーンやアイコンなどを選択する操作以外にもログイン操作などを要求してもよい）、選択領域（マップ上のチケット購入済みのツアーバスＢ２）に対応するライブ映像への切り替え表示を行うことができ、例えば図２３に示すようなツアーバスから覗く景色のライブ映像が流れ出し、臨場感あるツアーを楽しむことができる。また、同様の他の例として、本情報処理システム１はコンサートや演劇などへの仮想的なイベント参加にも適用できる。その場合、本情報処理システム１は会場のマップ情報などから購入者等による座席の選択により、ライブ映像を表示したり、内部画像等による周囲の画像を組み合わせるなどして、必要なときにより臨場感のある体験をすることができる。
本実施形態の他の例として、上述のような本情報処理システム１は、購入者等による通信を利用した仮想的なツアー参加イベントなどにも適用可能である。この場合、例えば、あらかじめ所望のツアーのチケットを購入（あるいは仮想空間内からＥＣサイトへ遷移して購入でも可能）した購入者等は図２２のような仮想空間のバス乗り場にアクセスし、マップ上に表示されたバス乗り場から該当するツアーバス（例えば図２２のツアーバスＢ２）を選択する。購入者等は該当するツアーバスを選択することによって（位置情報を含むマップ上のバルーンやアイコンなどを選択する操作以外にもログイン操作などを要求してもよい）、選択領域（マップ上のチケット購入済みのツアーバスＢ２）に対応するライブ映像への切り替え表示を行うことができ、例えば図２３に示すようなツアーバスから覗く景色のライブ映像が流れ出し、臨場感あるツアーを楽しむことができる。また、同様の他の例として、本情報処理システム１はコンサートや演劇などへの仮想的なイベント参加にも適用できる。その場合、本情報処理システム１は会場のマップ情報などから購入者等による座席の選択により、ライブ映像を表示したり、内部画像等による周囲の画像を組み合わせるなどして、必要なときにより臨場感のある体験をすることができる。
【0106】
さらに、本実施形態の他の例として、本情報処理システム１は利用者が店舗施設や他の各現場（建設現場や倉庫など）の責任者の場合、当該現場責任者等による店舗観察・現場視察に活用してもよい。この場合、例えば、現場責任者等が第１の利用者端末１２、現場にいる担当者やスタッフ等が第２の利用者端末２０を用いて、本実施形態に記載した各処理を実行することによって、必要に応じてより臨場感のある店舗観察や現場視察を実施できる。
【0107】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ(Application Specific Integrated Circuit)、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【0108】
実施例に記載された装置群は本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。本実施形態によって本発明が限定されるものではなく、本実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、及び、いわゆる均等の範囲のものが含まれる。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【符号の説明】
【0109】
１ 情報処理システム
１０ 情報処理装置
１２ 第１の利用者端末
１４ ライブ映像配信者システム
１６ 決済システム
１８ ネットワーク
２０ 第２の利用者端末
２２ カメラ
２４ ＥＣサイト装置
３０ 表示制御部
３２ 第１のコミュニケーション実行部
３４ 購入受付部
３６ 通信部
３７ 第１の送信部
３８ 第２の送信部
５０ 地図画像生成部
５２ 通信部
５４ コミュニケーション機能提供部
５６ 購入処理部
５８ 記憶制御部
７０ 地図情報記憶部
７２ 建物情報記憶部
７４ 内部画像情報記憶部
７６ ライブ映像配信設定記憶部
８０ 第２のコミュニケーション実行部
８２ 通信部
９０ 撮影部
９２ 通信部
１０ 情報処理装置
１２ 第１の利用者端末
１４ ライブ映像配信者システム
１６ 決済システム
１８ ネットワーク
２０ 第２の利用者端末
２２ カメラ
２４ ＥＣサイト装置
３０ 表示制御部
３２ 第１のコミュニケーション実行部
３４ 購入受付部
３６ 通信部
３７ 第１の送信部
３８ 第２の送信部
５０ 地図画像生成部
５２ 通信部
５４ コミュニケーション機能提供部
５６ 購入処理部
５８ 記憶制御部
７０ 地図情報記憶部
７２ 建物情報記憶部
７４ 内部画像情報記憶部
７６ ライブ映像配信設定記憶部
８０ 第２のコミュニケーション実行部
８２ 通信部
９０ 撮影部
９２ 通信部
【先行技術文献】
【特許文献】
【0110】
【特許文献1】特開２０１９－０３６２５８号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】