【文献】
          Keiichi Matsuda,HYPER-REALITY,vimeo[online][video],2016年  5月16日,https://vimeo.com/166807261,URL,https://vimeo.com/166807261
        
        【文献】
          AndRock,[ポケモンGO]ジムが長いってか高い!その理由とは!?[Pokemon GO(ポケモンゴー)],[online],2016年  7月28日,https://androck.jp/appfeatures/gamefeatures/pokemongo/jimuleve/,URL,https://androck.jp/appfeatures/gamefeatures/pokemongo/jimuleve/
        
      
    (58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0017】
[構成]
  
図1は、本実施形態の情報処理システム1の一例を示す図である。情報処理システム1は、いわゆるAR(拡張現実)を実現するための処理を行う情報処理装置10と、画像の撮像及び表示を行う撮像表示装置20と、各エリアに居る人間の数を把握する人間動向把握設備30と、これら情報処理装置10、撮像表示装置20及び人間動向把握設備30を通信可能に接続するネットワーク90とを備えている。ネットワーク90は、例えばLAN(Local Area Network)又はWAN(Wide Area Network)、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。なお、
図1には、情報処理装置10、撮像表示装置20及び人間動向把握設備30を1つずつ示しているが、これらはそれぞれ複数であってもよい。
 
【0018】
  情報処理装置10は、撮像表示装置20によって撮像された現実空間の撮像画像を取得し、その現実空間に対して付加的な画像を重畳した状態で表示するよう、撮像表示装置20を制御する。具体的には、情報処理装置10は、現実空間に含まれる各エリアの上空に、そのエリアに関する情報に応じた高度で浮かぶ浮遊体を重畳表示させる。この浮遊体は、例えば球体や多面体等の形状であってもよいし、風船、気球又は飛行船等を模した形状など、どのような形状であってもよい。浮遊体の高度は、各エリアに関する情報に応じて決定されるが、本実施形態では、人間動向把握設備30によって把握された各エリアに居る人間の数に応じて決定される。エリアに居る人間の数が多いほど、そのエリアの上空を浮遊するように重畳表示される浮遊体の高度が高い。撮像表示装置20を使用するユーザは、その撮像表示装置20を現実空間にかざしたとき、たくさんの人間が集まっているエリアであるほど、その上空の高い位置に浮遊体が表示されていて目立つことになるので、どのエリアが注目するに値する場所であるかを視覚的に分かりやすく知ることが可能となる。
 
【0019】
  図2は、撮像表示装置20のハードウェア構成を例示する図である。撮像表示装置20は、例えばグラス型、ヘッドマウントディスプレイ型又はコンタクトレンズ型のウェアラブルコンピュータ、或いは、スマートフォン又はタブレットなどの携帯型コンピュータである。ARを実現する装置には、現実空間の撮像画像を表示する表示面においてARオブジェクトと呼ばれる付加的な画像を撮像画像に重畳して表示するタイプと、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にARオブジェクトを表示するタイプとがあるが、撮像表示装置20はいずれもタイプであってもよい。いずれにしろ、撮像表示装置20は、ARオブジェクトを現実空間に重畳表示する装置として機能する。
 
【0020】
  撮像表示装置20は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、補助記憶装置204、通信IF205、撮像部206、表示部207、操作部208、測位部209及び向き検出部210を有する。
 
【0021】
  CPU201は、各種の演算を行うプロセッサである。ROM202は、例えば撮像表示装置20の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。RAM203は、CPU201がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置204は、例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性の記憶装置であり、撮像表示装置20において用いられるプログラム及びデータを記憶する。CPU201がこのプログラムを実行することにより撮像表示装置20はコンピュータ装置として機能し、後述する
図5に示される機能が実現される。通信IF205は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。無線の場合、通信IF205は、例えばLTE(Long Term Evolution)又はWi−Fi(登録商標)等の通信規格で動作するアンテナ及び通信回路を備えている。撮像部206はレンズ及び光学素子を含み、撮像した画像を示す撮像画像データを生成する。表示部207は、例えば液晶パネル及び液晶駆動回路などを含み、画像データに応じた画像を表示する。操作部208は、例えばキーやタッチセンサなどの操作子を含み、ユーザの操作を受け付けてその操作に応じた信号をCPU201に供給する。測位部209は、例えばGPS(Global Positioning System)ユニットであり、撮像表示装置20の位置を測定する。向き検出部210は、例えばジャイロセンサや加速度センサであり、撮像表示装置20の姿勢(向き)を検出する。
 
【0022】
  図3は、情報処理装置10のハードウェア構成を例示する図である。情報処理装置10は、CPU101、ROM102、RAM103、補助記憶装置104、及び通信IF105を有するコンピュータ装置である。CPU101は、各種の演算を行うプロセッサである。ROM102は、例えば情報処理装置10の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。RAM103は、CPU101がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。補助記憶装置104は、例えばHDD又はSSDなどの不揮発性の記憶装置であり、情報処理装置10において用いられるプログラム及びデータを記憶する。CPU101がこのプログラムを実行することにより、後述する
図5に示される機能が実現される。通信IF105は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。情報処理装置10は、
図3に例示した構成以外に、例えば表示部や操作部などの他の構成を含んでいてもよい。
 
【0023】
  補助記憶装置104には、所定の基準で区画された各エリアを識別するためのエリアIDと、そのエリアに居る人間の数と、その人間の数に応じて決められる浮遊体の高度とを含むエリアデータベース(以下、データベースをDBと省略する)を記憶している。
図4は、エリアDBの一例を示す図である。例えばエリアID「A01」のエリアには、「2500人」の人間が居て、その数に応じて決められた浮遊体の高度は「100m」である。各エリアに居る人間の数は、人間動向把握設備30から情報処理装置10に通知されて、補助記憶装置104に記憶される。なお、人間動向把握設備30は例えば各人間が携帯している携帯電話機の在圏情報等から各エリアに居る人間の数を推定する。この推定においては、携帯電話機のユーザを特定できないように、ユーザを特定するためのID情報等を除去または改変するなどの秘匿化処理がされている。
 
【0024】
  図5は、情報処理システム1の機能構成の一例を示すブロック図である。
図5に示すように、撮像表示装置20においては、現実空間を撮像する撮像部21と、情報処理装置10による制御の下で画像データに応じた画像を表示する表示部22という機能が実現される。情報処理装置10においては、人間動向把握設備30から各エリアに居る人間の数を取得する取得部11と、取得された数に基づいて、対応するエリアの上空に浮遊する浮遊体の高度を決定する高度決定部12と、撮像表示装置20において現実空間に含まれる各エリアの上空に浮遊体を重畳表示させる表示制御部という機能が実現される。
  前記決定部は、前記エリアにいる人間の数、又は当該エリアにいる人間による行為の数乃至量に応じて、前記浮遊体の高度を決定する
 
【0025】
  撮像表示装置20において、撮像部21はハードウェアとしての撮像部206及び通信IF205によって実現され、表示部22はハードウェアとしての表示部207によって実現される。情報処理装置10において、取得部11はハードウェアとしての通信IF105によって実現され、高度決定部12はハードウェアとしてのCPU101によって実現され、表示制御部13はハードウェアとしてのCPU101及び通信IF105によって実現される。
 
【0026】
[動作]
  
図6〜
図8を参照して、情報処理システム1の動作例について説明する。まず、ユーザは、撮像表示装置20の撮像部21を起動し、自身の周りの現実空間の撮像を開始する(ステップS11)。このとき測位部209及び向き検出部210はそれぞれ測位と向き検出を行う(ステップS12)。撮像部21は、現実空間を撮像した撮像画像データを、測位された位置及び検出された向きを示す情報とともに情報処理装置10に送信する(ステップS13)。
 
【0027】
  ここで、
図7は、撮像表示装置20によって撮像された画像を例示する図である。撮像画像には、複数の建物Bと道路Rとが含まれている。
 
【0028】
  情報処理装置10の表示制御部13は、撮像画像データ等を取得すると、撮像表示装置20の位置及び向きを認識し、撮像表示装置20によって撮像されている範囲を特定する(ステップS14)。そして、表示制御部13は、撮像表示装置20によって撮像されている範囲と、エリアDBとを比較して、その範囲に含まれるエリアを特定する。さらに、表示制御部13は、特定したエリアに対応する浮遊体の高度を特定して、その浮遊体に対応するエリアの位置と高度を含む情報を撮像表示装置20に送信し、そのエリアにおいてその高度にて浮遊体を表示するよう撮像表示装置20に指示する(ステップS15,S16)。
 
【0029】
  撮像表示装置20の表示部22は、情報処理装置10の表示制御部13による制御に従い、指定されたエリアにおいて指定された高度で浮遊体を表示する(ステップS17)。例えば撮像表示装置20がユーザから透過型の表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にARオブジェクトを表示するタイプである場合、各エリアにて指定された高度の位置に重なる表示面上の位置に浮遊体を表示する。
 
【0030】
  ここで、
図8は、撮像表示装置20によって撮像された現実空間に浮遊体が重畳表示されている様子を例示する図である。撮像画像には、複数の建物Bと道路Rのほか、浮遊体V1〜V4が表示されている。これらの浮遊体のうち、浮遊体V1が最も高度が高いので、浮遊体V1の下方の地上においては人間が数多く集まっていることになる。これを見たユーザは浮遊体の位置を頼りにしてそのエリアに自ら赴いたり、そのエリアに関する情報を検索したりする。
 
【0031】
  以上説明した実施形態によれば、エリアに居る人間の数が多いほど、そのエリアの上空を浮遊するように重畳表示される浮遊体の高度が高いから、撮像表示装置20を使用するユーザは、どのエリアが注目するに値する場所であるかを視覚的に分かりやすく知ることができる。
 
【0032】
[変形例]
  本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
[変形例1]
  高度決定部12は、各エリアにいる人間の数以外の条件に応じて浮遊体の高度を決定してもよい。例えば、高度決定部12は、各エリアにいる人間による行為の数乃至量に応じて、浮遊体の高度を決定してもよい。ここでいう各エリアにいる人間による行為の数乃至量とはた、例えば、そのエリアの居る人間がSNS(Social Networking Service)等に投稿した記事やコメントの数乃至量である。SNS等への投稿時にはその投稿位置が記録される機能が周知であるから、高度決定部12は、その機能を用いて、各エリアの居る人間による投稿の数乃至量に応じた高度を特定すればよい。このようにすれば、注目するに値する場所として、人間の行為の数乃至量が多いエリアを用いることができる。
 
【0033】
  また、高度決定部12は、各エリアにおける音声の音量に応じて、浮遊体の高度を決定するようにしてもよい。具体的には、各エリアに配置されたマイク(例えば人間が携帯する携帯電話機のマイクを用いてもよい)によって各エリアにおける音声の音量を検出し、高度決定部12は、その検出結果を用いて、浮遊体の高度を特定すればよい。例えば音量が大きいほど浮遊体の高度は高い。このようにすれば、注目するに値する場所として、音量が大きいエリアを用いることができる。
 
【0034】
  また、高度決定部12は、各エリアにおいて開催されているイベントの残り時間に応じて、浮遊体の高度を決定するようにしてもよい。具体的には、エリアDBに各エリアで開催されているイベントの開催時刻及び終了時刻を記述しておき、高度決定部12は、その記述内容を用いて、浮遊体の高度を特定すればよい。例えばイベントの残り時間が長いほど浮遊体の高度は高い。このようにすれば、注目するに値する場所として、イベントの残り時間が長いエリアを用いることができる。
 
【0035】
  また、高度決定部12は、各エリアにおいて開催されているイベントに参加し得る可能性に応じて、浮遊体の高度を決定するようにしてもよい。具体的には、エリアDBに各エリアで開催されているイベントの開催時刻及び終了時刻を記述しておき、高度決定部12は、そのイベントが開催されている位置、開催時刻及び終了時刻と撮像表示装置20を利用しているユーザの位置とを比較し、そのユーザの位置からイベントのエリアに向ってそのイベントに参加し得る時間を算出し、その時間を用いて、浮遊体の高度を特定すればよい。例えばイベントへの参加可能時間が長いほど浮遊体の高度は高い。このようにすれば、注目するに値する場所として、イベントに参加し得る可能性が高いエリアを用いることができる。
 
【0036】
  また、高度決定部12は、各エリアを含む現実空間を撮像している撮像装置の数に応じて、浮遊体の高度を決定するようにしてもよい。具体的には、高度決定部12は、撮像表示装置20の撮像範囲の位置を特定し、その撮像範囲に各エリアが含まれている場合には、そのエリアが撮像されている数としてカウントし、カウントされた数を用いて、浮遊体の高度を特定すればよい。エリアが撮像されている数のカウントは、例えば1分単位の所定期間ごとに行ってもよい。これにより、各エリアを含む現実空間を撮像している撮像装置の数が特定される。例えば各エリアを含む現実空間を撮像している撮像表示装置20の数が多いほど浮遊体の高度は高い。このようにすれば、注目するに値する場所として、各エリアを含む現実空間を撮像している撮像装置の数が多いエリアを用いることができる。
 
【0037】
  また、高度決定部12は、各エリアで提供される商品又はサービスの広告費として支払われる金銭に応じて、浮遊体の高度を決定するようにしてもよい。具体的には、エリアDBに各エリアで提供される商品又はサービスの広告費を記述しておき、高度決定部12は、その広告費を用いて、浮遊体の高度を特定すればよい。例えば広告費が高いほど浮遊体の高度は高い。このようにすれば、注目するに値する場所として、広告費が多く支払われたエリアを用いることができる。
 
【0038】
[変形例2]
  表示制御部13は、例えば現実空間において重畳表示されている浮遊体がユーザによって握られるような行為(つまり風船を割るような行為)が行われた場合等に、その浮遊体が破裂して当該浮遊体の中から複数の小さな浮遊体が浮遊していく動画像を現実空間に重畳表示させるようにしてもよい。さらに、表示制御部13は、これらの小さな浮遊体に対してユーザにより触られるような行為がなされると、その浮遊体から、そのエリアに関する情報(例えばそのエリアの位置やそのエリアに向う経路、或いは、そのエリアで開催されているイベント名等)を重畳表示させるようにしてもよい。
 
【0039】
  また、情報処理装置10は、例えば現実空間において重畳表示されている浮遊体がユーザによって触られるような行為によってその浮遊体が選択されると、その浮遊体に対応するエリアに関する情報(例えばそのエリアの位置やそのエリアに向う経路、或いは、そのエリアで開催されているイベント名等)を複数のユーザで共有するための処理を行う処理部を備えるようにしてもよい。例えば、処理部は、ユーザが利用しているSNS等に上記の情報を投稿する処理を行う。
 
【0040】
  また、情報処理装置10は、例えば現実空間において重畳表示されている浮遊体がユーザによって触られるような行為によってその浮遊体が選択されると、その浮遊体に対応するエリアに関する価値情報をユーザに提供するための処理を行う処理部を備えるようにしてもよい。例えば、処理部は、そのエリアに関する情報(例えばそのエリアの位置やそのエリアに向う経路、或いは、そのエリアで開催されているイベント名等)をメールによって撮像表示装置20に送信する。
 
【0041】
[変形例3]
  浮遊体の大きさ、色、形状は任意である。また、浮遊体の大きさ、色、形状を何らかの条件に応じて変えてもよい。
 
【0042】
[そのほかの変形例]
  上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。例えば、情報処理装置10の機能の少なくとも一部が撮像表示装置20に実装されてもよい。情報処理装置10の機能の全部が撮像表示装置20に実装された場合、撮像表示装置20が本発明に係る情報処理装置として機能する。
 
【0043】
  本明細書で説明した各態様/実施形態は、LTE(Long  Term  Evolution)、LTE−A(LTE-Advanced)、SUPER  3G、IMT−Advanced、4G、5G、FRA(Future  Radio  Access)、W−CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra  Mobile  Broadband)、IEEE  802.11(Wi−Fi)、IEEE  802.16(WiMAX)、IEEE  802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
 
【0044】
  本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
  本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
 
【0045】
  本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
 
【0046】
  本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。
 
【0047】
  上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)及び情報要素(例えば、TPCなど)は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。
 
【0048】
  本明細書で使用する「判定(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)  した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信(receiving)  (例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。
 
【0049】
  本発明は、情報処理システム1において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、撮像表示装置20又は情報処理装置10において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。
 
【0050】
  ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
 
【0051】
  本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
 
【0052】
  本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び/又はシンボルは信号(シグナル)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC)は、キャリア周波数、セルなどと呼ばれてもよい。
 
【0053】
  本明細書で使用する「第1」、「第2」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1及び第2要素への参照は、2つの要素のみがそこで採用され得ること、又は何らかの形で第1要素が第2要素に先行しなければならないことを意味しない。
 
【0054】
  上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
 
【0055】
  「含む(including)」、「含んでいる(comprising)」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
 
【0056】
  本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
 
【0057】
  以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び決定態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。