(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163717
(43)【公開日】2024-11-22
(54)【発明の名称】情報処理装置、情報処理方法、プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241115BHJP
【FI】
G06T19/00 600
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023079563
(22)【出願日】2023-05-12
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】櫻井 七海
(72)【発明者】
【氏名】田口 康行
(72)【発明者】
【氏名】半田 誠之
(72)【発明者】
【氏名】栗崎 直子
(72)【発明者】
【氏名】長澤 辰典
(72)【発明者】
【氏名】瀧本 貴之
(72)【発明者】
【氏名】小林 航生
(72)【発明者】
【氏名】網中 洋明
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050BA09
5B050BA13
5B050CA07
5B050DA01
5B050DA10
5B050EA05
5B050EA07
5B050EA18
5B050EA19
5B050EA27
5B050EA28
5B050FA02
5B050FA09
5B050GA08
(57)【要約】
【課題】実空間における指定場所の認識が困難であること。
【解決手段】本開示の情報処理装置100は、指定場所の位置を特定する指定場所情報と、指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた実空間を撮影した撮影画像と、を取得する取得部121と、指定場所情報と実空間位置情報とに基づいて、撮影画像上における指定場所情報に対応する位置に指定領域情報を表示する表示部122と、を備える。
【選択図】
図13
【特許請求の範囲】
【請求項1】
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得する取得部と、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する表示部と、
を備えた情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記指定領域情報が表示されうる前記撮影画像上において指定された位置を表す第二指定領域情報を受け付ける受付部を備えた、
情報処理装置。
【請求項3】
請求項2に記載の情報処理装置であって、
前記表示部は、前記撮影画像上の前記第二指定領域情報に対応する位置に当該第二指定領域情報を表示する、
情報処理装置。
【請求項4】
請求項2に記載の情報処理装置であって、
前記表示部は、前記指定領域情報に基づいて設定される前記撮影画像上の位置に、前記第二指定領域情報として指定可能な候補領域情報を表示する、
情報処理装置。
【請求項5】
請求項4に記載の情報処理装置であって、
前記表示部は、前記指定領域情報と、前記実空間の状況を表す実空間状況情報と、に基づいて設定される前記撮影画像上の位置に、前記候補領域情報を表示する、
情報処理装置。
【請求項6】
請求項4に記載の情報処理装置であって、
前記指定場所情報に時間情報が関連付けられており、
前記表示部は、前記指定場所情報に対応する前記指定領域情報と、前記指定場所情報に関連付けられた前記時間情報と、に基づいて設定される前記撮影画像上の位置に、前記候補領域情報を表示する、
情報処理装置。
【請求項7】
請求項2に記載の情報処理装置であって、
前記撮影画像上の前記第二指定領域情報と前記実空間位置情報とに基づいて特定される前記第二指定領域情報に対応する実空間における位置を表す第二指定場所情報を、予め設定された通知先に通知する通知部を備えた、
情報処理装置。
【請求項8】
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得し、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する、
情報処理方法。
【請求項9】
請求項8に記載の情報処理方法であって、
前記指定領域情報が表示されうる前記撮影画像上において指定された位置を表す第二指定領域情報を受け付ける、
情報処理方法。
【請求項10】
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得し、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する、
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【0002】
人々の待ち合わせや屋外でイベントを観覧するときなど、特定の領域の区分けが困難な空間であっても、待ち合わせ場所や観覧場所を特定する必要が生じうる。このような場所を特定する技術が、特許文献1に開示されている。具体的に、特許文献1には、パレードにおける観覧エリアの配置図をサイネージや携帯端末に表示すると共に、予約状況を表示することが記載されている。また、特許文献1には、観覧エリアの地面にプロジェクターで予約状況を表示することも記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献1に記載の技術では、サイネージや携帯端末に配置図を表示しているだけであるため、実空間における指定場所の認識が困難である。また、プロジェクターで実空間の地面に予約状況を表示した場合には、実空間に存在する障害物により表示の認識が困難となることがある。このようなことから、実空間における指定場所の認識が困難である、という問題が生じる。
【0005】
このため、本開示の目的は、上述した課題である、実空間における指定場所の認識が困難である、ことを解決することができる情報処理装置を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一形態である情報処理装置は、
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得する取得部と、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する表示部と、
を備えた、
という構成をとる。
【0007】
また、本開示の一形態である情報処理方法は、
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得し、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する、
という構成をとる。
【0008】
また、本開示の一形態であるプログラムは、
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得し、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する、
処理をコンピュータに実行させる、
という構成をとる。
【発明の効果】
【0009】
本開示は、以上のように構成されることにより、実空間における指定場所の認識が容易となる。
【図面の簡単な説明】
【0010】
【
図1】本開示の実施形態1における情報処理システムの利用場面を示す図である。
【
図2】本開示の実施形態1における情報処理システムの構成を示すブロック図である。
【
図3】
図2に開示した情報処理システムによる処理の様子を示す図である。
【
図4】
図2に開示した情報処理システムによる処理の様子を示す図である。
【
図5】
図2に開示した情報処理システムの動作を示すフローチャートである。
【
図6】本開示の実施形態2における情報処理システムの利用場面を示す図である。
【
図7】本開示の実施形態2における情報処理システムの構成を示すブロック図である。
【
図8】
図7に開示した情報処理システムによる処理の様子を示す図である。
【
図9】
図7に開示した情報処理システムによる処理の様子を示す図である。
【
図10】
図7に開示した情報処理システムによる処理の様子を示す図である。
【
図11】
図7に開示した情報処理システムの動作を示すフローチャートである。
【
図12】本開示の実施形態3における情報処理装置のハードウェア構成を示すブロック図である。
【
図13】本開示の実施形態3における情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
<実施形態1>
本開示の第1の実施形態を、
図1乃至
図5を参照して説明する。
図1は、情報処理システムの利用場面を説明するための図であり、
図2は、情報処理システムの構成を説明するための図である。
図3乃至
図5は、情報処理システムの処理動作を説明するための図である。
【0012】
[構成]
本実施形態における情報処理システムは、ユーザが実空間において指定場所の利用の予約を取り、また、予約された実空間の指定場所をユーザに認識させることに用いられる。例えば、
図1に示すような実空間Aにおいて、ユーザUの待ち合わせ場所やイベントの観覧場所といった指定場所の利用予約を受け付け、また、かかる指定場所を実空間AにおいてユーザUに認識させることに用いられる。なお、本実施形態では、特に、既に予約された実空間Aにおける指定場所をユーザに認識させる場合を説明することとする。一例として、実空間Aに存在する「木」付近が待ち合わせ場所として指定されている場合に、
図1の符号P1,P2,P3に示すように、「木」付近の複数の場所が指定場所として考えられる。このとき、ユーザUにとって場所P1が指定場所として予約されている場合に、後述する
図4に示すように、ユーザUのユーザ端末10において、実空間Aの撮影画像G上に指定領域R1を重畳表示して、かかる指定領域R1に対応する指定場所をユーザUに認識させることができる。
【0013】
なお、本実施形態では、ユーザUが実空間Aの現地において、ユーザ端末10にて実空間Aの画像を撮影し、かかる撮影画像G上に指定領域R1を重畳表示する場合を説明する。但し、本開示の情報処理システムでは、必ずしも実空間Aの現地においてユーザ端末10にて撮影された撮影画像G上に指定領域R1を表示することに限定されず、現地ではない場所で事前に撮影された実空間Aの撮影画像Gを表示すると共に、かかる撮影画像G上に指定領域R1を重畳表示してもよい。また、ユーザ端末10は、必ずしもユーザUに所持される携帯端末でなくてもよく、いかなる情報処理装置であってもよい。
【0014】
図2に示すように、情報処理システムは、ネットワークを介して接続されたユーザ端末10と情報処理装置20とを備えて構成されている。以下、各装置について詳しく説明する。
【0015】
情報処理装置20は、演算装置と記憶装置とを備えた1台又は複数台の情報処理装置にて構成される。情報処理装置20は、例えば、ユーザに対して実空間における指定場所の利用を提供すべく、指定場所の利用予約を登録して管理し、さらに指定場所をユーザに対して認識させるサービスを提供する事業者によって管理される情報処理装置である。そして、情報処理装置20は、
図2に示すように、登録部21、提供部22、を備える。登録部21、提供部22の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。また、情報処理装置20は、予約情報記憶部23を備える。、予約情報記憶部23は、記憶装置により構成される。以下、各構成について詳述する。
【0016】
登録部21は、ユーザ端末10から実空間Aにおける指定場所P1の利用予約の通知を受け、かかる指定場所P1の利用予約を登録して管理する。例えば、登録部21は、ユーザ端末10から、ユーザUを識別する識別情報であるユーザIDと、実空間Aにおける指定場所P1の位置を特定する指定場所情報と、の通知を受け、ユーザIDと指定場所情報とを関連付けて予約情報として予約情報記憶部23に記憶する。これにより、ユーザIDのユーザUが、指定場所情報にて特定される指定場所P1を利用することが予約された状態となる。このとき、予約情報として指定場所情報に関連付けられるユーザIDは、利用予約を通知したユーザUのユーザIDだけでなく、別のユーザUのユーザIDも含まれる。例えば、ユーザU同士が待ち合わせを行う場合など複数のユーザUが指定場所P1を利用する場合には、予約を行う第一のユーザUのユーザIDと、かかる第一のユーザUと待ち合わせる第二のユーザUのユーザIDとが、指定場所情報に関連付けられて予約情報として登録される。
【0017】
ここで、予約情報記憶部23に記憶される予約情報に含まれる指定場所情報は、実空間Aにおける指定場所P1の位置情報であり、例えば、緯度、経度による座標によって表される。登録部21は、ユーザ端末10から通知される指定場所情報が、緯度、経度などによる実空間Aにおける指定場所P1の位置情報である場合には、そのまま指定場所情報として記憶する。一方で、登録部21は、ユーザ端末10から通知される指定場所情報が、後述するように、ユーザ端末10から当該ユーザ端末10にて実空間Aが撮影された撮影画像G上における位置情報(指定領域情報)である場合には、かかる撮影画像G上における位置情報を、緯度、経度などの実空間Aにおける指定場所P1の位置情報に変換して、指定場所情報として記憶する。このとき、登録部21は、ユーザ端末10から撮影画像Gと共に、当該撮影画像Gに映る実空間Aの位置を表す位置情報(実空間位置情報)の通知を受け、かかる位置情報を用いて、撮影画像G上における位置情報を実空間Aにおける位置情報に変換する。
【0018】
また、予約情報に含まれる指定場所情報には、ユーザ端末10から通知された指定場所P1を利用する時間を表す時間情報が関連付けられていてもよい。一例として、時間情報は、11時20分から11時30分の10分間というように、利用する時間の開始時間と終了時刻とを含む情報である。但し、時間情報は、ユーザ端末10から通知された時間であることに限定されず、予め区分けされた時間のうちユーザ端末10によって指定された時間であってもよく、あるいは、利用予約の通知の時から予め設定された時間であってもよい。
【0019】
提供部22は、上述したように予約情報記憶部23に記憶されている予約情報をユーザ端末10に送信して提供する。例えば、提供部22は、ユーザ端末10から当該ユーザ端末10の現在の位置情報と共に予約情報の要求を受けた場合に、かかる位置情報の近辺に対応する予約情報を予約情報記憶部23から抽出して、ユーザ端末10に送信する。一例として、提供部22は、ユーザ端末10から送信された位置情報の所定範囲に位置する指定場所情報を含む予約情報を抽出して、ユーザ端末10に送信する。なお、予約情報は、予約情報記憶部23内において実空間Aを区分けした区分け領域毎にまとめられて登録されていてもよく、この場合、提供部22は、ユーザ端末10から送信された位置情報に対応する区分け領域に含まれる予約情報を抽出してユーザ端末10に送信してもよい。
【0020】
ユーザ端末10は、演算装置と記憶装置とを備えた1台又は複数台の情報処理装置にて構成される。特に、本実施形態では、ユーザ端末10は、ユーザUが所持するスマートフォンなどの携帯型情報処理端末であり、携帯型情報処理端末が備える一般的な構成を備えている。例えば、ユーザ端末10は、一般的な構成として、
図2に示すように、画像を撮影する撮影装置であるカメラ15と、位置情報を取得する位置情報取得装置であるGPS(Global Positioning System)16と、画像など種々のデータを表示する表示装置であるディスプレイ17と、を備えている。なお、ディスプレイ17は、タッチパネルにて構成されており、タッチ入力操作が可能な入力装置としても機能している。なお、ユーザ端末10は、GPS16とは異なるいかなる技術(一例として、VPS(Visual Positioning System)やSLAM(Simultaneous Localization and Mapping)などを用いた自己位置推定技術)によって位置情報を取得する装置を備えていてもよく、また、上述した構成以外の他の構成を備えていてもよい。
【0021】
また、ユーザ端末10は、
図2に示すように、取得部11、特定部12、表示部13、を備える。取得部11、特定部12、表示部13の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。例えば、かかるプログラムは、上述した情報処理装置20を管理する事業者によって提供される、実空間における指定場所の利用予約と指定場所を認識させるサービスを利用するためのアプリケーションである。以下、ユーザ端末10の各構成について詳述する。
【0022】
なお、本実施形態では、実空間Aにおける指定場所の予約が既に登録されていることとし、かかる予約情報による指定領域情報を表示させて指定場所を認識する側のユーザU、つまり、予約を行った第一のユーザUと待ち合わせを行う第二のユーザUのユーザ端末10である場合を主に説明する。具体的に、
図1に示すように、予約を行った第一のユーザUから知らされた大まかな待ち合わせ場所に行った第二のユーザUのユーザ端末10の機能を説明する。なお、以下では、第二のユーザUのことを単にユーザUと称する。
【0023】
取得部11は、上述したアプリケーション上で作動し、
図1に示すように待ち合わせ場所周辺に位置するユーザUにより、カメラ15にて撮影された実空間Aの撮影画像Gを取得する。このとき、取得部11にて取得した撮影画像Gは、ユーザUがカメラ15を実空間Aに向けた状態で、ディスプレイ17に表示したままのプレビュー画像であることとするが、撮影して記憶装置に保存した後にディスプレイ17に再生した画像であってもよい。例えば、撮影画像Gは、
図3に示すような画像である。さらに、取得部11は、撮影画像Gの撮影時に、GPS16にて実空間Aの位置を表す実空間位置情報を取得して、当該実空間位置情報を撮影画像Gに関連付けておく。実空間位置情報は、実空間AにおいてユーザUがユーザ端末10にて撮影を行ったユーザ端末10の位置であり、例えば、緯度、経度による座標によって表される。
【0024】
また、取得部11は、上述したアプリケーション上におけるユーザUからの操作に応じて、情報処理装置20に対して予約情報の要求を行う。例えば、取得部11は、撮影画像Gを表示しているディスプレイ17上に、予約情報を要求する指令を入力する操作部を表示し、かかる操作部がユーザUによって操作されることで、情報処理装置20に対して予約情報の要求を行う。このときさらに、取得部11は、撮影時のユーザ端末10の位置、つまり、実空間Aの位置を表す実空間位置情報を、情報処理装置20に通知して予約情報の要求を行う。これに応じて、情報処理装置20からは、通知された実空間位置情報にて特定される位置の近辺に対応する予約情報がユーザ端末10に送信される。これにより、取得部11は、ユーザUの位置の近辺に対応する予約情報を取得することとなる。なお、予約情報は、上述したように、利用予約された指定場所の位置情報である指定場所情報を含み、さらに、指定場所情報に関連付けられた、指定場所を利用するユーザUのユーザIDと、利用する時間情報と、を含む。この例では、取得部11は、
図1に示す指定場所P1,P2,P3の位置に対応する指定場所情報をそれぞれ含む予約情報を取得する。
【0025】
特定部12(表示部)は、上述したように取得した、撮影画像G及び実空間位置情報と、予約情報に含まれる指定場所情報と、に基づいて、撮影画像G上における指定場所に対応する位置を特定する。例えば、特定部12は、ユーザUの撮影位置である実空間位置情報から、撮影画像G上の各位置の実空間Aにおける位置である座標(例えば、緯度、経度)を算出し、算出した撮影画像G上の座標に、指定場所情報である座標を対応付けることで、撮影画像G上における指定場所に対応する位置を特定する。なお、指定場所に対応する位置を特定する方法は、これに限らず様々な方法を採用し得る。例えば、撮像画像G及び予約情報に含まれる指定場所情報に基づいて、撮影画像G上における指定場所に対応する位置を特定するようにしてもよい。より具体的には、撮影画像Gから物体を識別し、識別した物体に紐づけられた指定場所情報に基づいて撮影画像G上における指定場所に対応する位置を特定するものである。ここで、「物体」とは、建物や看板、モニュメントなどである。また、ARマーカなどであってもよい。
【0026】
表示部13は、ディスプレイ17に表示している撮影画像G上において、上述したように特定した指定場所P1,P2,P3に対応する位置に、指定場所であることを表す指定領域情報R1,R2,R3を表示する。例えば、表示部13は、
図1に示す指定場所P1,P2,P3にそれぞれ対応する指定領域情報R1,R2,R3を、
図4に示すように、撮影画像G上に重畳表示する。このとき、表示部13は、ユーザUのユーザIDが関連付けられた指定場所情報に対応する指定領域情報を特定し、かかる指定領域情報を他と区別して表示する。
図1及び
図4の例では、指定場所P1の指定場所情報にユーザUのユーザIDが含まれているため、かかる指定場所P1に対応する指定領域情報R1を黒色で表示し、その他の指定領域情報R2,R3は灰色で表示している。このとき、表示部13は、ディスプレイ17に表示している撮影画像G上に、ユーザUから指定領域情報R1までの経路情報を重畳表示してもよい。例えば、表示部13は、実空間AにおけるユーザUの実空間位置情報から指定場所P1までの経路を算出し、かかる経路を撮影画像G上における経路情報に変換して、かかる経路情報を撮影画像G上に表示する。
【0027】
[動作]
次に、上述した情報処理システムの動作、特に、ユーザ端末10の動作を、主に
図5のフローチャートを参照して説明する。ここでは、
図1に示すように、指定場所P1,P2,P3が予約情報として情報処理装置20に登録されており、このうち、指定場所P1がユーザUの待ち合わせ場所として予約されていることとする。
【0028】
まず、待ち合わせ場所近辺に位置するユーザUの操作により、ユーザ端末10は、カメラ15にて実空間Aの画像である撮影画像Gを撮影して取得し、GPS16にて撮影時の実空間Aの位置を表す実空間位置情報を取得する。(ステップS1)。そして、ユーザ端末10は、ユーザUからの操作に応じて、情報処理装置20に対して実空間Aの位置情報を通知して、予約情報の要求を行う。これにより、ユーザ端末10は、ユーザUの位置の近辺に対応する予約情報を取得する(ステップS1)。なお、ユーザ端末10は、先に情報処理装置20から予約情報を取得し、その後、撮影画像Gを撮影して取得してもよい。
【0029】
続いて、ユーザ端末10は、取得した撮影画像G及び実空間位置情報と、取得した予約情報に含まれる指定場所情報と、に基づいて、撮影画像G上における指定場所に対応する位置を特定する(ステップS2)。例えば、ユーザ端末10は、ユーザUの撮影位置である実空間位置情報から、撮影画像G上の各位置の実空間Aにおける位置である座標を算出し、算出した撮影画像G上の座標に、指定場所情報である座標を対応付けることで、撮影画像G上における指定場所に対応する位置を特定する。
【0030】
続いて、ユーザ端末10は、ディスプレイ17に表示している撮影画像G上において、上述したように特定した指定場所P1,P2,P3に対応する位置に、指定場所であることを表す指定領域情報R1,R2,R3を表示する(ステップS3)。このとき、ユーザ端末10は、ユーザUのユーザIDが関連付けられた指定場所情報に対応する指定領域情報を特定し、かかる指定領域情報を他と区別して表示する。
図4の例では、ユーザUのユーザIDが関連付けられた指定領域情報R1を黒色で表示し、ユーザUのユーザIDが関連付けられていないその他の指定領域情報R2,R3を灰色で表示している。
【0031】
以上のように、本実施形態における情報処理システムによると、ユーザ端末10のディスプレイ17に表示している実空間Aの撮影画像G上に、予約された指定場所P1,P2,P3に対応する指定領域情報R1,R2,R3を表示している。このため、ユーザUは、利用予約された指定場所を、実空間Aの撮影画像G上で容易に認識することができる。また、各ユーザUに関連付けられた指定場所P1,P2,P3に対応する指定領域情報R1,R2,R3を区別して表示しているため、ユーザUは自身が待ち合わせなどで利用する領域場所を撮影画像G上で容易に認識することができる。
【0032】
なお、上記の例では、ユーザUがカメラ15を実空間Aに向けた状態で、ディスプレイ17に実空間Aの撮影画像を表示したままのプレビュー画像上に、指定領域情報R1,R2,R3を重畳表示する場合を説明したが、事前に撮影して記憶装置に保存した後にディスプレイ17に再生した撮影画像G上に、指定領域情報R1,R2,R3を重畳表示してもよい。
【0033】
また、
図4の例では、ユーザUに関連付けられた指定領域情報R1と、ユーザUに関連付けられていない指定領域情報R2,R3と、の両方を表示しているが、いずれか一方の指定領域情報のみを表示してもよい。例えば、ユーザ端末10は、ユーザUのユーザIDが関連付けられた予約情報のみを情報処理装置20から取得したり、取得した予約情報のうちユーザUのユーザIDが関連付けられた予約情報を特定して、ユーザUに対応する指定領域情報のみを表示してもよい。また、例えば、ユーザ端末10は、自身に対応する予約情報がない場合であっても、予約情報を取得して他人の指定領域情報のみを表示してもよい。
【0034】
なお、上述した実空間Aにおける実空間位置情報や指定場所情報は、緯度・経度に高度を加えた3次元座標からなる位置情報であってもよく、これに応じて、撮影画像Gは三次元座標を含む画像であってもよい。この場合、ユーザ端末10は、撮影画像G上における指定場所に対応する位置を三次元座標で特定し、かかる位置に指定領域情報を三次元で重畳表示してもよい。
【0035】
<実施形態2>
次に、本開示の第2の実施形態を、
図6乃至
図11を参照して説明する。
図6は、情報処理システムの利用場面を説明するための図であり、
図7は、情報処理システムの構成を説明するための図である。
図8乃至
図11は、情報処理システムの処理動作を説明するための図である。
【0036】
[構成]
本実施形態における情報処理システムは、上述した実施形態1における情報処理システムの構成に加え、さらに、ユーザが実空間において指定場所の利用の予約を取るための構成を備えている。ここで、本実施形態では、
図6の撮影画像G上の指定領域情報R1,R2,R3に示すように、他のユーザによる予約情報が既に情報処理装置20に登録されており、かかる状況においてユーザUが新たに自身が利用する指定場所の予約を行う場合を説明する。
【0037】
本実施形態におけるユーザ端末10は、実施形態1で説明した構成に加え、
図7に示すように、さらに通知部14を備える。通知部14の機能は、ユーザ端末10の演算装置が記憶装置に格納されたプログラムを実行することにより実現することができる。また、本実施形態におけるユーザ端末10は、
図7に示すように、外部サーバ30に接続されている。以下、本実施形態における各構成について詳述する。
【0038】
まず、本実施形態における表示部13は、ディスプレイ17に表示している撮影画像G上に、新たに利用の予約が可能であり、ユーザUが指定可能な領域を表す候補領域情報を表示する。このとき、表示部13は、既に登録されている予約情報から特定される指定領域情報に基づいて、かかる指定領域情報に対応する指定場所とは異なる場所に対応する候補領域情報を設定して、撮影画像G上に表示する。一例として、表示部13は、
図8に示すように、撮影画像G上において既に登録されている指定領域情報R1,R2,R3とは異なる領域を、候補領域情報r1,r2,r3として設定して、撮影画像G上に表示する。
【0039】
ここで、表示部13は、既に登録されている予約情報から特定される指定領域情報と、外部サーバ30から取得した実空間Aの状況を表す実空間状況情報と、に基づいて、候補領域情報を設定して表示してもよい。例えば、表示部13は、まず、撮影画像Gを撮影した実空間Aの位置情報である実空間位置情報を用いて、実空間Aの位置における状況を表す実空間状況情報を取得する。実空間状況情報としては、実空間A付近に設置された監視カメラによる監視画像や、実空間A付近に設置された人感センサによって計測された混雑度を表す群衆情報、実空間A付近の天気などの気象情報、などである。そして、表示部13は、例えば、監視画像や人感センサなどから、実空間A内の各位置の混雑状況を調べ、予め設定された基準により混雑していない位置を特定し、かかる特定した位置に対応する撮影画像G上の位置を算出して候補領域情報を設定する。また、表示部13は、例えば、実空間A付近の気象情報から天気を調べ、一例として雨である場合には、撮影画像Gの解析結果や地図情報から建物や木などの構造物が存在する場所の周囲の位置を特定し、かかる特定した位置に対応する撮影画像G上の位置を算出して候補領域情報を設定する。
【0040】
また、表示部13は、既に登録されている予約情報に含まれる時間情報に基づいて、候補領域情報を設定して表示してもよい。例えば、表示部13は、既に登録されている予約情報から特定される各指定場所情報に関連付けられた時間情報を調べ、予約されている時刻の終了が近い指定場所情報に対応する指定領域情報を候補領域情報として設定する。なお、上述した候補領域情報の設定方法は一例であり、他の方法で設定してもよい。
【0041】
さらに、本実施形態における取得部11(受付部)は、上述したようにディスプレイ17に表示した撮影画像G上の候補領域情報r1,r2,r3のうち、ユーザUが指定する候補領域情報を、ユーザUが利用を予約する指定場所の撮影画像G上における位置情報(第二指定領域情報)として受け付ける。例えば、取得部11は、タッチパネルであるディスプレイ17上において、ユーザUの指によるいずれかの候補領域情報r1,r2,r3の位置のタッチ操作による指定を受け付ける。ここでは、
図9の斜線に示すように、候補領域情報r2が指定されたとする。
【0042】
そして、本実施形態における表示部13は、ディスプレイ17に表示している撮影画像G上において、上述したように指定された候補領域情報r2の位置に、ユーザUが利用を予約する指定場所を表す指定領域情報R4(第二指定領域情報)を表示する。このとき、表示部13は、ユーザUが指定した指定領域情報R4を、他と区別して表示する。
図10の例では、ユーザUが指定した指定領域情報R4を黒色で表示し、他のユーザUによる指定領域情報R1,R2,R3を灰色で表示している。
【0043】
通知部14は、ユーザUにて指定された撮影画像G上の指定領域情報R4の位置に対応する実空間Aにおける位置を特定する。このとき、通知部14は、例えば、撮影画像Gと、撮影画像Gが撮影された実空間Aの位置情報と、に基づいて、撮影画像G上における指定領域情報R4の位置情報を実空間Aにおける緯度・経度などの座標からなる位置情報に変換する。そして、通知部14は、撮影画像G上の指定領域情報R4を変換した実空間Aにおける位置情報を、ユーザUが利用することを予約した指定場所情報(第二指定場所情報)として、ユーザUのユーザIDと共に、通知先に設定されている情報処理装置20に通知する。これにより、情報処理装置20において、通知された指定場所情報がユーザUの予約情報として登録されることとなる。
【0044】
[動作]
次に、上述した情報処理システムの動作、特に、ユーザ端末10の動作を、主に
図11のフローチャートを参照して説明する。ここでは、
図6に示すように、指定領域情報R1,R2,R3が予約情報として情報処理装置20に登録されており、かかる状況でユーザUが新たに待ち合わせ場所の予約を行う場合を説明する。
【0045】
まず、待ち合わせ場所の近辺に位置するユーザUの操作により、ユーザ端末10は、カメラ15にて実空間Aの画像である撮影画像Gを撮影して取得し、GPS16にて撮影時の実空間Aの位置を表す実空間位置情報を取得する。(ステップS1)。そして、ユーザ端末10は、ユーザUからの操作に応じて、情報処理装置20に対して実空間Aの位置情報を通知して、予約情報の要求を行う。これにより、ユーザ端末10は、ユーザUの位置の近辺に対応する予約情報を取得する(ステップS1)。
【0046】
続いて、ユーザ端末10は、取得した撮影画像G及び実空間位置情報と、取得した予約情報に含まれる指定場所情報と、に基づいて、撮影画像G上における指定場所に対応する位置を特定する(ステップS2)。そして、ユーザ端末10は、ディスプレイ17に表示している撮影画像G上において、上述したように特定した指定場所に対応する位置に、指定場所であることを表す指定領域情報R1,R2,R3を表示する(ステップS3)。このとき、表示する指定領域情報R1,R2,R3は、ユーザUに関連しないものであるため、
図6に示すように灰色で表示している。
【0047】
続いて、ユーザUが新たな待ち合わせ場所の予約を行う場合には、ユーザ端末10に対して予約を行う旨の入力を行う。すると、ユーザ端末10は、
図8に示すように、ディスプレイ17に表示している撮影画像G上に、新たに利用の予約が可能であり指定可能な領域を表す候補領域情報r1,r2,r3を表示する(ステップS4)。このとき、ユーザ端末10は、既に登録されている予約情報から特定される指定領域情報R1,R2,R3とは異なる領域を、候補領域情報r1,r2,r3として設定して撮影画像G上に表示する。なお、ユーザ端末10は、候補領域情報r1,r2,r3を、実空間Aの状況を表す監視画像や天気などの環境などを考慮して設定してもよく、指定領域情報R1,R2,R3に設定されている時間を考慮して設定してもよい。
【0048】
そして、ユーザ端末10は、ディスプレイ17に表示した撮影画像G上の候補領域情報r1,r2,r3のうち、ユーザUが指定する候補領域情報を、ユーザUが利用を予約する指定場所の撮影画像G上における位置情報(第二指定領域情報)として受け付ける(ステップS5)。例えば、ユーザ端末10は、タッチパネルであるディスプレイ17上において、ユーザUの指によるいずれかの候補領域情報r1,r2,r3の位置のタッチ操作による指定を受け付ける。
【0049】
すると、ユーザ端末10は、ディスプレイ17に表示している撮影画像G上において、上述したように指定された候補領域情報r2の位置に、ユーザUが利用を予約する指定場所を表す指定領域情報R4(第二指定領域情報)を表示する(ステップS6)。例えば、ユーザ端末10は、
図10に示すように、ユーザUが指定した指定領域情報R4を黒色、他のユーザによる指定領域情報R1,R2,R3を灰色というように、関連するユーザ毎に区別して表示する。
【0050】
その後、ユーザ端末10は、ユーザUにて指定された撮影画像G上の指定領域情報R4の位置に対応する実空間Aにおける位置を特定し、かかる実空間Aにおける位置情報を、ユーザUによる指定場所情報として情報処理装置20に通知する(ステップS7)。これにより、情報処理装置20において、通知された指定場所情報がユーザUの予約情報として登録されることとなる。
【0051】
以上のように、本実施形態における情報処理システムによると、ユーザUは、他のユーザにて予約されている指定場所を認識しつつ、新たな指定場所を予約することができる。このとき、ユーザ端末10のディスプレイに表示されている実空間Aの撮影画像G上に、候補領域情報を表示することで、ユーザUによる新たな指定領域の予約が容易となる。
【0052】
なお、上記では、ユーザ端末10の撮影画像G上に、既に予約されている指定領域情報R1等に加え、候補領域情報r1等を表示する場合を例示したが、候補領域情報を表示しなくてもよい。この場合、ユーザUは、ディスプレイ17に表示している実空間Aの撮影画像G上における所望の位置をタッチ操作などで指定することで、かかる指定された位置を含む所定の広さの領域が指定領域として受付されることとなる。このとき、位置が指定されたことに応じて、指定領域として予約する広さに関する情報を入力して指定させるための表示を行うようにしてもよい。そのうえで、指定された位置と入力された広さに関する情報に基づいて、指定領域の受付を行うようにしてもよい。また、ユーザUは、ピンチインあるいはピンチアウトなどのタッチ操作にて、指定領域の広さを指定してもよく、また、指定領域の広さを変更するよう指定してもよい。これにより、ユーザUにて指定された広さの指定領域が受け付けられることとなる。
【0053】
また、指定領域の予約を受付ける際に、利用時間に関する情報を受付けるようにしてもよい。利用時間に関する情報は、○○分などのように単に利用する時間を指定するものであってもよいし、〇月×日の12時から12時半まで、といった具体的な日時を指定するものであってもよい。そして、取得した利用時間情報に基づいて、指定領域の予約の可否を判断するようにしてもよい。また、指定領域を希望する利用時間で予約することができない場合には、利用可能な時間もしくは、希望する時間で利用可能な候補領域情報を表示するようにしてもよい。
【0054】
なお、上述した候補領域や指定領域に利用時間が設定されている場合には、ユーザ端末10のディスプレイにおいて、撮影画像G上に、各領域の表示と共に設定されている利用時間を重畳表示してもよい。また、ユーザUは、候補領域に設定されている利用時間内にかかる候補領域の利用を希望する場合には、その候補領域に対するキャンセル待ちを行ってもよい。例えば、ユーザ端末10に表示されている候補領域情報をユーザUが選択してキャンセル待ちの旨を入力することで、かかる候補領域に対するキャンセル待ちが情報処理装置20にて受け付けられる。そして、キャンセル待ちが受け付けられた候補領域の利用がキャンセルされた場合には、情報処理装置10は、かかる候補領域の予約をキャンセル待ちを行ったユーザUに切り替えて登録し、かかるユーザUなどのキャンセル待ち関係者に通知してもよい。
【0055】
また、予約を受付ける際に、指定領域の内容に応じた利用金額を表示するようにしてもよい。指定領域の内容は、例えば、指定領域の広さや指定領域の利用時間、人気度などである。より具体的には、指定領域の広さが広いほど高い利用金額を表示するなどである。同様に、指定領域の利用時間が長いほど高い利用金額を表示するようにしてもよい。なお、人気度は、指定領域として予約される頻度などに応じて決定することができる。例えば、特定の期間において、ある候補領域の利用頻度が他の候補領域の利用頻度に比べて高い場合、利用頻度の高い候補領域の人気度が高いと決定する。人気度は、候補領域間での相対評価によって決定されるものであってもよいし、候補領域ごとの利用頻度を個別に評価した絶対評価によって決定されるものであってもよい。なお、人気度の説明において、候補領域を例に説明を行ったが、これに限らず、指定領域の位置に基づいて、その位置を含む指定領域の人気度を決定するようにしてもよい。これにより、人気度が高い指定領域ほど高い利用金額が表示される。なお、指定領域の情報は、例示した情報以外を考慮して算出するようにしてもよいし、例示した指定領域の広さや指定領域の利用時間、人気度などを組み合わせて算出するようにしてもよい。
【0056】
また、予約した指定領域を他のユーザUが確認可能なように、様々な媒体において予約状況を配信するようにしてもよい。様々な媒体とは、例えば、WEBサイト上や施設に設けられたサイネージなどである。また、スマートフォンにインストールしたアプリケーションを介して予約状況が配信されるものであってもよい。
【0057】
なお、上述した実空間Aにおける実空間位置情報や指定場所情報は、緯度・経度に高度を加えた三次元座標からなる位置情報であってもよく、これに応じて、撮影画像Gは三次元座標を含む画像であってもよい。この場合、ユーザ端末10は、撮影画像G上における指定場所に対応する位置を三次元座標で特定し、かかる位置に候補領域情報や指定領域情報を三次元で重畳表示してもよい。また、ユーザ端末10は、撮影画像G上においてユーザUから指定領域の入力を受ける際には、三次元座標からなる指定領域を受け付けてもよい。このとき、ユーザ端末10は、ユーザUから撮影画像G上における所定の広さの領域指定と共に高さの指定を受け付けてもよい。また、ユーザ端末10は、撮影画像G上で指定された位置に所定の形状の三次元モデルを表示し、ユーザUから三次元モデルの形状の変更を受け付けることで三次元座標からなる指定領域の指定を受け付けてもよい。なお、三次元座標による指定領域の形状は、立方体、直方体、円柱、球、錐体など、いかなる形状であってもよい。
【0058】
なお、上述した各実施形態では、ユーザの待ち合わせ場所の利用予約やかかる場所を認識させることを例示して説明したが、本開示のシステムはいかなる場所の利用予約や認識させることに対しても適用可能である。例えば、駐車場の確保、ビーチやグラウンドなどの使用場所の確保、映画館の座席指定などにも適用可能である。
【0059】
<実施形態3>
次に、本開示の第3の実施形態を、
図12乃至
図13を参照して説明する。
図12乃至
図13は、実施形態3における情報処理装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明したユーザ端末10の構成の概略を示している。
【0060】
まず、
図12を参照して、本実施形態における情報処理装置100のハードウェア構成を説明する。情報処理装置100は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・CPU(Central Processing Unit)101(演算装置)
・ROM(Read Only Memory)102(記憶装置)
・RAM(Random Access Memory)103(記憶装置)
・RAM103にロードされるプログラム群104
・プログラム群104を格納する記憶装置105
・情報処理装置外部の記憶媒体110の読み書きを行うドライブ装置106
・情報処理装置外部の通信ネットワーク111と接続する通信インタフェース107
・データの入出力を行う入出力インタフェース108
・各構成要素を接続するバス109
【0061】
なお、
図12は、情報処理装置100である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置106を有さないなど、上述した構成の一部から構成されてもよい。また、情報処理装置は、上述したCPUの代わりに、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、TPU(TensorProcessingUnit)、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。
【0062】
そして、情報処理装置100は、プログラム群104をCPU101が取得して当該CPU101が実行することで、
図13に示す取得部121と表示部122とを構築して装備することができる。なお、プログラム群104は、例えば、予め記憶装置105やROM102に格納されており、必要に応じてCPU101がRAM103にロードして実行する。また、プログラム群104は、通信ネットワーク111を介してCPU101に供給されてもよいし、予め記憶媒体110に格納されており、ドライブ装置106が該プログラムを読み出してCPU101に供給してもよい。但し、上述した取得部121と表示部122とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
【0063】
上記取得部121は、指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得する。
【0064】
上記表示部122は、前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する。
【0065】
本開示は、以上のように構成されることにより、情報処理装置100は、実空間を撮影した撮影画像上に、指定場所に対応する指定領域情報を表示する。このため、利用者は、実空間の撮影画像上で指定場所を容易に認識することができる。
【0066】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0067】
以上、上記実施形態等を参照して本開示を説明したが、本開示は、上述した実施形態に限定されるものではない。本開示の構成や詳細には、本開示の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した各実施形態に記載の各構成を組み合わせたり置換することができる。また、上述した取得部121と表示部122との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
【0068】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における情報処理装置、情報処理方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
(付記1)
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得する取得部と、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する表示部と、
を備えた情報処理装置。
(付記2)
付記1に記載の情報処理装置であって、
前記指定領域情報が表示されうる前記撮影画像上において指定された位置を表す第二指定領域情報を受け付ける受付部を備えた、
情報処理装置。
(付記3)
付記2に記載の情報処理装置であって、
前記表示部は、前記撮影画像上の前記第二指定領域情報に対応する位置に当該第二指定領域情報を表示する、
情報処理装置。
(付記4)
付記2に記載の情報処理装置であって、
前記表示部は、前記指定領域情報に基づいて設定される前記撮影画像上の位置に、前記第二指定領域情報として指定可能な候補領域情報を表示する、
情報処理装置。
(付記5)
付記4に記載の情報処理装置であって、
前記表示部は、前記指定領域情報と、前記実空間の状況を表す実空間状況情報と、に基づいて設定される前記撮影画像上の位置に、前記候補領域情報を表示する、
情報処理装置。
(付記6)
付記4に記載の情報処理装置であって、
前記指定場所情報に時間情報が関連付けられており、
前記表示部は、前記指定場所情報に対応する前記指定領域情報と、前記指定場所情報に関連付けられた前記時間情報と、に基づいて設定される前記撮影画像上の位置に、前記候補領域情報を表示する、
情報処理装置。
(付記7)
付記2に記載の情報処理装置であって、
前記撮影画像上の前記第二指定領域情報と前記実空間位置情報とに基づいて特定される前記第二指定領域情報に対応する実空間における位置を表す第二指定場所情報を、予め設定された通知先に通知する通知部を備えた、
情報処理装置。
(付記8)
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得し、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する、
情報処理方法。
(付記9)
付記8に記載の情報処理方法であって、
前記指定領域情報が表示されうる前記撮影画像上において指定された位置を表す第二指定領域情報を受け付ける、
情報処理方法。
(付記9.1)
付記9に記載の情報処理方法であって、
前記撮影画像上の前記第二指定領域情報に対応する位置に当該第二指定領域情報を表示する、
情報処理装置。
(付記9.2)
付記9又は9.1に記載の情報処理方法であって、
前記指定領域情報に基づいて設定される前記撮影画像上の位置に、前記第二指定領域情報として指定可能な候補領域情報を表示する、
情報処理方法。
(付記9.3)
付記9.2に記載の情報処理方法であって、
前記指定領域情報と、前記実空間の状況を表す実空間状況情報と、に基づいて設定される前記撮影画像上の位置に、前記候補領域情報を表示する、
情報処理装置。
(付記9.4)
付記9.2又は9.3に記載の情報処理方法であって、
前記指定場所情報に時間情報が関連付けられており、
前記指定場所情報に対応する前記指定領域情報と、前記指定場所情報に関連付けられた前記時間情報と、に基づいて設定される前記撮影画像上の位置に、前記候補領域情報を表示する、
情報処理方法。
(付記9.5)
付記9乃至9.4のいずれかに記載の情報処理方法であって、
前記撮影画像上の前記第二指定領域情報と前記実空間位置情報とに基づいて特定される前記第二指定領域情報に対応する実空間における位置を表す第二指定場所情報を、予め設定された通知先に通知する、
情報処理方法。
(付記10)
指定場所の位置を特定する指定場所情報と、前記指定場所を含む実空間の位置を表す実空間位置情報が関連付けられた当該実空間を撮影した撮影画像と、を取得し、
前記指定場所情報と前記実空間位置情報とに基づいて、前記撮影画像上における前記指定場所情報に対応する位置に指定領域情報を表示する、
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【0069】
10 ユーザ端末
11 取得部
12 特定部
13 表示部
14 通知部
15 カメラ
16 GPS
17 ディスプレイ
20 情報処理装置
21 登録部
22 提供部
23 予約情報記憶部
30 外部サーバ
100 情報処理装置
101 CPU
102 ROM
103 RAM
104 プログラム群
105 記憶装置
106 ドライブ装置
107 通信インタフェース
108 入出力インタフェース
109 バス
110 記憶媒体
111 通信ネットワーク
121 取得部
122 表示部