特開2015-233284(P2015-233284A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特開2015-233284情報処理装置、情報処理方法、およびプログラム
<>
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000003
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000004
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000005
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000006
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000007
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000008
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000009
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000010
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000011
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000012
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000013
  • 特開2015233284-情報処理装置、情報処理方法、およびプログラム 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-233284(P2015-233284A)
(43)【公開日】2015年12月24日
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   H04S 1/00 20060101AFI20151201BHJP
   G09F 27/00 20060101ALI20151201BHJP
   G10L 13/00 20060101ALI20151201BHJP
   G06F 3/16 20060101ALI20151201BHJP
   H04R 3/00 20060101ALI20151201BHJP
   H04R 1/10 20060101ALI20151201BHJP
   H04S 5/02 20060101ALI20151201BHJP
   G06T 7/00 20060101ALI20151201BHJP
【FI】
   H04S1/00 L
   G09F27/00 G
   G10L13/00 100C
   G06F3/16 610
   H04R3/00 310
   H04R1/10 101B
   H04S5/02 D
   G06T7/00 Z
【審査請求】有
【請求項の数】7
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2015-117537(P2015-117537)
(22)【出願日】2015年6月10日
(62)【分割の表示】特願2010-65115(P2010-65115)の分割
【原出願日】2010年3月19日
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】松田 晃一
【テーマコード(参考)】
5D005
5D162
5D220
5L096
【Fターム(参考)】
5D005BB08
5D005BB11
5D162AA15
5D162CA06
5D162CA21
5D162CC18
5D162CD01
5D162CD02
5D162CD25
5D162DA06
5D162DA52
5D162EG02
5D220AA12
5D220AA31
5L096BA16
5L096FA67
5L096FA69
5L096JA11
(57)【要約】
【課題】ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができるようにする。
【解決手段】各ユーザは、カメラとヘッドホンが設けられたHMDを装着している。カメラはユーザの前方を撮影可能な位置に取り付けられる。ユーザが携帯する情報処理装置においては、カメラにより撮影された画像に基づいて、ユーザがどのポスターを見ているかが物体認識により認識される。また、ユーザが見ているポスターに関連付けられた音データが再生され、再生音がヘッドホンから出力される。情報処理装置には、ユーザがどのポスターを見ているのかを認識するのに用いられるポスターP1乃至P4のそれぞれの認識用のデータと、ポスターP1乃至P4のそれぞれと関連付けられた音データが記憶されている。本技術は、携帯型のコンピュータに適用することができる。
【選択図】図1
【特許請求の範囲】
【請求項1】
認識対象の物体の画像を取得する取得部と、
前記画像に含まれる前記物体を認識する認識部と、
前記認識部により認識された前記物体に関連付けられた音データを再生し、認識された前記物体の位置を音源位置として定位するように、ユーザが装着する出力装置から再生音を出力させる再生部と
を備える情報処理装置。
【請求項2】
前記認識部は、前記物体に設定された領域を認識し、
前記再生部は、前記認識部が認識した領域に応じた前記音データを再生する
請求項1に記載の情報処理装置。
【請求項3】
前記再生部は、前記物体に関連付けられた複数の前記音データのうち、前記ユーザにより選択された前記音データを再生する
請求項1に記載の情報処理装置。
【請求項4】
前記認識部は、複数の前記物体が前記画像に含まれる場合、前記画像の中央に最も近い位置にある前記物体を対象として認識を行う
請求項1に記載の情報処理装置。
【請求項5】
前記認識部は、前記ユーザの視線の方向に応じて前記画像に含まれる前記物体を認識する
請求項1に記載の情報処理装置。
【請求項6】
認識対象の物体の画像を取得し、
前記画像に含まれる前記物体を認識し、
認識した前記物体に関連付けられた音データを再生し、
認識した前記物体の位置を音源位置として定位するように、ユーザが装着する出力装置から再生音を出力させる
ステップを含む情報処理方法。
【請求項7】
認識対象の物体の画像を取得し、
前記画像に含まれる前記物体を認識し、
認識した前記物体に関連付けられた音データを再生し、
認識した前記物体の位置を音源位置として定位するように、ユーザが装着する出力装置から再生音を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
広告を見ている人に、広告に関連する音を聞かせようとする場合に、広告の裏や側面にスピーカを配置して、そのスピーカから音を出力する技術がある(特許文献1)。
【0003】
また、広告が貼られている壁にカメラなどのセンサを取り付け、広告の前に人がいることを検出して、関連する音を出力する技術がある(特許文献2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−77654号公報
【特許文献2】特開2001−142420号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記技術によれば、ポスターなどに印刷されている広告を見ている人の近くに、広告を見ていない人がいる場合、広告を見ている人以外の人にも音が聞こえてしまうといった不具合がある。
【0006】
また、複数枚の異なる広告のポスターが貼られている場合、それぞれの広告の音が混ざることによって音が聞きづらくなるといった不具合がある。
【0007】
上記技術は、通常、特定の人にのみ音を聞かせることによって広告効果を向上させるという効果を期待して採用されるものであるが、これらの不具合は、その効果を低減させてしまうことにもなる。
【0008】
本技術はこのような状況に鑑みてなされたものであり、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができるようにするものである。
【課題を解決するための手段】
【0009】
本技術の一側面の情報処理装置は、認識対象の物体の画像を取得する取得部と、前記画像に含まれる前記物体を認識する認識部と、前記認識部により認識された前記物体に関連付けられた音データを再生し、認識された前記物体の位置を音源位置として定位するように、ユーザが装着する出力装置から再生音を出力させる再生部とを備える。
【0010】
前記認識部には、前記物体に設定された領域を認識させ、前記再生部には、前記認識部が認識した領域に応じた前記音データを再生させることができる。
【0011】
前記再生部には、前記物体に関連付けられた複数の前記音データのうち、前記ユーザにより選択された前記音データを再生させることができる。
【0012】
前記認識部には、複数の前記物体が前記画像に含まれる場合、前記画像の中央に最も近い位置にある前記物体を対象として認識を行わせることができる。
【0013】
前記認識部には、前記ユーザの視線に応じて前記画像に含まれる前記物体を認識させることができる。
【0014】
本技術の一側面においては、認識対象の物体の画像が取得され、前記画像に含まれる前記物体が認識され、認識した前記物体に関連付けられた音データが再生され、認識された前記物体の位置を音源位置として定位するように、ユーザが装着する出力装置から再生音が出力される。
【発明の効果】
【0015】
本技術によれば、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができる。
【図面の簡単な説明】
【0016】
図1】本技術の一実施形態に係る情報処理装置を用いたARシステムの外観例を示す図である。
図2図1のユーザの外観の例を示す図である。
図3】ARシステムの他の外観例を示す図である。
図4】情報処理装置のハードウェアの構成例を示すブロック図である。
図5】情報処理装置の機能構成例を示すブロック図である。
図6】物体の認識について説明する図である。
図7】情報処理装置の音再生処理について説明するフローチャートである。
図8】情報処理装置の他の機能構成例を示すブロック図である。
図9図8に示す構成を有する情報処理装置のダウンロード処理について説明するフローチャートである。
図10】ポスターに設定された部分の例を示す図である。
図11】ポスターの部分と対応させて記憶されているモデルデータと音データの例を示す図である。
図12】情報処理装置の設置の例を示す図である。
【発明を実施するための形態】
【0017】
[AR(Augmented Reality)システム]
図1は、本技術の一実施形態に係る情報処理装置を用いたARシステムの外観例を示す図である。
【0018】
図1の例においては、壁面WにポスターP1乃至P4が並べて貼られている。ポスターP1乃至P4には、例えば、商品やサービスなどの広告が印刷されている。
【0019】
また、図1の例においては、壁面Wの前方にユーザU1乃至U3が立っている。ユーザU1は壁面Wに貼られたポスターP1を見ており、ユーザU3はポスターP4を見ている。ユーザU2は、壁面Wに貼られたポスターP1乃至P4のうちのどのポスターも見ていない。図1の破線矢印#1乃至#3は、それぞれ、ユーザU1乃至U3の視線を表している。
【0020】
この場合、各ユーザの近傍の吹き出しに示すように、ポスターP1を見ているユーザU1にのみ聞こえるように、ポスターP1に関連付けられた音が出力される。また、ポスターP4を見ているユーザU3にのみ聞こえるように、ポスターP4に関連付けられた音が出力される。ポスターP1やP4に関連付けられた音は、ポスターを見ていないユーザU2には聞こえない。
【0021】
それぞれのユーザが携帯している情報処理装置においては、それを携帯しているユーザがポスターを見ていることが検出された場合、そのポスターに関連付けられた音データの再生が行われ、ユーザにのみ聞こえるように再生音が出力される。ポスターに関連付けられた音データは、例えば、ポスターに印刷されている商品やサービスを紹介する音声や音楽のデータである。
【0022】
図2は、図1のユーザU1の外観の例を示す図である。
【0023】
図2に示すように、ユーザU1は、携帯型のコンピュータである情報処理装置1を携帯している。また、ユーザU1は、ヘッドマウントディスプレイ(HMD(Head Mounted Display))2を装着している。情報処理装置1とHMD2は、有線または無線で通信を行うことが可能になっている。
【0024】
HMD2には、カメラ11、ヘッドホン12、およびディスプレイ13が設けられる。
【0025】
カメラ11は、HMD2を装着したユーザU1の前方を撮影可能な位置に取り付けられる。カメラ11の撮影範囲にはユーザの視線が含まれる。カメラ11により撮影された画像は情報処理装置1に送信される。所定のフレームレートで画像(動画)の撮影がカメラ11により続けられることにより、情報処理装置1には、ユーザが見ている風景の画像が提供されることになる。
【0026】
ヘッドホン12は、HMD2を装着したユーザU1の左右の耳の位置にくるように取り付けられる。ヘッドホン12は、情報処理装置1から送信されてきた再生音を出力する。
【0027】
ディスプレイ13は、HMD2を装着したユーザU1の目の前方に表示部がくるように取り付けられる。ディスプレイ13は透過性のある部材により構成され、情報処理装置1から送信されてきたデータに基づいて画像やテキストなどの情報を表示する。ユーザは、風景をディスプレイ13越しに見ることもできるし、ディスプレイ13に表示された情報を見ることもできる。
【0028】
図1のユーザU2,U3も、ユーザU1と同様に、情報処理装置1を携帯し、HMD2を装着している。
【0029】
例えばユーザU1が携帯する情報処理装置1においては、カメラ11により撮影された画像に基づいて、ユーザU1がどのポスターを見ているかが物体認識により認識される。
情報処理装置1には、どのポスターを見ているかを認識するための、ポスターP1乃至P4の認識用のデータが記憶されている。
【0030】
また、情報処理装置1においては、ポスターP1乃至P4のうちのいずれかのポスターをユーザU1が見ていることが検出された場合、ユーザU1が見ているポスターに関連付けられた音データが再生され、再生音がヘッドホン12から出力される。情報処理装置1には、ポスターP1乃至P4のそれぞれと関連付けて音データが記憶されている。
【0031】
これにより、ポスターに関連付けられた音を、そのポスターを見ているユーザにのみ聞かせることが可能になる。
【0032】
すなわち、再生音がヘッドホン12から出力されるから、ポスターを見ている人以外の人に音が聞こえてしまうといった不具合はない。また、ポスターP1乃至P4のうちのいずれかのポスターに関連付けられた音データの再生が行われるから、それぞれの広告の音が混ざってしまうことによって音が聞きづらくなるといった不具合もない。
【0033】
ポスターに関連付けられた音データの再生は、ユーザがそのポスターを見ている間だけ行われる。
【0034】
例えば、図3に示すように、ユーザU1が位置p1で破線矢印#11の先に示すようにポスターP3を見ている場合、ポスターP3に関連付けられた音データの再生が行われる。ユーザU1は、ポスターP3に関連付けられた音データの再生音を聞くことができる。
【0035】
また、実線矢印#12で示すように位置p2に移動したことによって、破線矢印#13の先に示すようにユーザU1がポスターP3を見ていない状態になった場合、ポスターP3に関連付けられた音データの再生は停止される。ユーザU1は、ポスターP3に関連付けられた音データの再生音を聞くことができない。
【0036】
以上のようにして音データの再生を制御する情報処理装置1の一連の処理については後述する。
【0037】
[情報処理装置の構成]
図4は、情報処理装置1のハードウェア構成例を示すブロック図である。
【0038】
CPU(Central Processing Unit)31、ROM(Read Only Memory)32、RAM(Random Access Memory)33は、バス34により相互に接続されている。
【0039】
バス34には、さらに、入出力インタフェース35が接続されている。入出力インタフェース35には、入力部36、出力部37、記憶部38、通信部39、およびドライブ40が接続される。
【0040】
入力部36は、HMD2と通信を行い、HMD2のカメラ11により撮影された画像を受信する。
【0041】
出力部37は、HMD2と通信を行い、音データの再生音をヘッドホン12から出力させる。また、出力部37は、表示データをHMD2に送信し、画像やテキストなどの情報をディスプレイ13に表示させる。
【0042】
記憶部38は、ハードディスクや不揮発性のメモリなどよりなり、ポスターの認識用のデータや、それぞれのポスターに関連付けられた音データを記憶する。
【0043】
通信部39は、無線LAN(Local Area Network)モジュールなどのネットワークインタフェースなどよりなり、ネットワークを介して接続されるサーバと通信を行う。記憶部38に記憶されている、ポスターの認識用のデータや音データは、例えばサーバからダウンロードされることによって情報処理装置1に提供される。
【0044】
ドライブ40は、装着されたリムーバブルメディア41に記憶されているデータを読み出したり、リムーバブルメディア41にデータを書き込んだりする。
【0045】
図5は、情報処理装置1の機能構成例を示すブロック図である。
【0046】
図5に示すように、情報処理装置1においては、画像取得部51、認識部52、音再生制御部53、モデルデータ記憶部54、音データ記憶部55、および通信制御部56が実現される。これらの構成のうちの少なくとも一部は、図4のCPU31により所定のプログラムが実行されることによって実現される。モデルデータ記憶部54と音データ記憶部55は例えば記憶部38に形成される。
【0047】
画像取得部51は、入力部36において受信された、カメラ11により撮影された画像を取得する。画像取得部51は、取得した画像を認識部52に出力する。
【0048】
認識部52は、画像取得部51から供給された画像をクエリ画像として、クエリ画像に含まれる物体を、モデルデータ記憶部54に記憶されているモデルデータに基づいて認識する。モデルデータ記憶部54には、ポスターを含む画像から抽出された、ポスターの特徴を表すデータが記憶されている。認識部52による物体認識については後述する。
【0049】
認識部52は、例えば、認識した物体(ポスター)のIDと、認識したポスターとカメラ11(ユーザ)の相対的な位置関係を表す姿勢情報とを認識結果として音再生制御部53に出力する。姿勢情報により、例えば認識されたポスターの位置を基準として、ユーザの位置までの距離、ユーザのいる方向が特定される。
【0050】
音再生制御部53は、認識部52から供給されたIDに関連付けられている音データを音データ記憶部55から読み出して再生する。音再生制御部53は、再生して得られた再生音のデータを、図4の出力部37を制御してHMD2に送信し、ヘッドホン12から出力させる。音データ記憶部55には、ポスターのIDと音データが関連付けて記憶されている。
【0051】
通信制御部56は、通信部39を制御してサーバ61と通信を行い、ポスターの特徴を表す認識用のデータであるモデルデータと、ポスターに関連付けられた音データをダウンロードする。サーバ61はモデルデータと音データのデータベースを有している。通信制御部56は、ダウンロードしたモデルデータをモデルデータ記憶部54に記憶させ、音データを音データ記憶部55に記憶させる。
【0052】
図6は、物体(ポスター)の認識について説明する図である。
【0053】
認識部52による物体認識のアルゴリズムとしては、例えば、RandomizedFernやSIFT(Scale Invariant Feature Transform)がある。RandomizedFernについては、”Fast Keypoint Recognition using Random Ferns Mustafa Ozuysal, Michael Calonder, Vincent Lepetit and Pascal FuaEcole Polytechnique Federale de Lausanne (EPFL) Computer Vision Laboratory, &C Faculty CH-1015 Lausanne, Switzerland”に開示されている。SIFTについては、” Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe January 5, 2004”に開示されている。
【0054】
図6に示すように、学習装置であるサーバ61においては、画像処理部71、特徴点検出部72、特徴量抽出部73、および合成部74が実現される。図6に示す各構成は、サーバ61のCPUにより所定のプログラムが実行されることによって実現される。サーバ61も図4に示すようなコンピュータにより構成される。
【0055】
画像処理部71は、モデル画像にアフィン変換などの処理を施し、処理を施すことによって得られたモデル画像を特徴点検出部72に出力する。画像処理部71に対しては、ポスターP1乃至P4のそれぞれの画像が、モデル画像として順次入力される。モデル画像は特徴量抽出部73にも入力される。
【0056】
特徴点検出部72は、画像処理部71から供給されたモデル画像上の各点をモデル特徴点として決定し、モデル特徴点の位置を表す情報を特徴量抽出部73に出力する。
【0057】
特徴量抽出部73は、モデル画像を構成する画素のうち、モデル特徴点の位置に対応する画素の情報をモデル特徴量として抽出する。特徴量抽出部73により抽出されたモデル特徴量のデータは、特徴量の抽出元になったモデル画像に含まれるポスターのIDと対応付けてモデル辞書D1に登録される。モデル辞書D1は、ポスターのIDと、ポスターを含む画像から抽出された各モデル特徴点のモデル特徴量のデータとを対応付けたデータとして構成される。
【0058】
また、特徴量抽出部73は、抽出したモデル特徴量のデータを合成部74に出力する。
【0059】
合成部74は、入力された3Dモデルデータと、特徴量抽出部73から供給されたモデル特徴量のデータを合成する。合成部74に対しては、ポスターP1乃至P4のそれぞれの三次元形状を表すデータが3Dモデルデータとして入力される。
【0060】
例えば、合成部74は、3Dモデルデータに基づいて、ポスターを様々な角度から見たときのそれぞれのモデル特徴点の3Dモデル上の位置を計算する。合成部74は、計算したそれぞれのモデル特徴点の位置にモデル特徴量のデータを割り当てることによって、3Dモデルデータとモデル特徴量のデータを合成し、3DモデルデータD2を生成する。
【0061】
モデル辞書D1と、合成部74により生成された3DモデルデータD2は情報処理装置1に提供され、モデルデータ記憶部54に記憶される。
【0062】
図6に示すように、認識部52は、画像処理部81、特徴点検出部82、特徴量抽出部83、マッチング部84、および姿勢推定部85から構成される。画像処理部81に対しては、カメラ11により撮影され、画像取得部51により取得された画像がクエリ画像として入力される。クエリ画像は特徴量抽出部83にも供給される。
【0063】
画像処理部81は、画像処理部71と同様にして、クエリ画像にアフィン変換などの処理を施し、処理を施すことによって得られたクエリ画像を特徴点検出部82に出力する。
【0064】
特徴点検出部82は、画像処理部81から供給されたクエリ画像上の各点をクエリ特徴点として決定し、クエリ特徴点の位置を表す情報を特徴量抽出部83に出力する。
【0065】
特徴量抽出部83は、クエリ画像を構成する画素のうち、クエリ特徴点の位置に対応する画素の情報をクエリ特徴量として抽出し、抽出したクエリ特徴量のデータをマッチング部84に出力する。
【0066】
マッチング部84は、モデル辞書D1に含まれる特徴量のデータに基づいてK-NNなどの最近傍探索を行い、それぞれのクエリ特徴点の最近傍となるモデル特徴点を決定する。マッチング部84は、クエリ特徴点の最近傍となるモデル特徴点の数に基づいて、例えば最近傍となるモデル特徴点が最も多いポスターを選択する。マッチング部84は、選択したポスターのIDを認識結果として出力する。
【0067】
マッチング部84から出力されたポスターのIDは、図5の音再生制御部53に供給されるとともに、姿勢推定部85に供給される。姿勢推定部85に対しては、各クエリ特徴点の位置を表す情報なども供給される。
【0068】
姿勢推定部85は、マッチング部84により認識されたポスターの3DモデルデータD2をモデルデータ記憶部54から読み出し、3DモデルデータD2に基づいて、それぞれのクエリ特徴点の最近傍であるモデル特徴点の3Dモデル上の位置を特定する。また、姿勢推定部85は、ポスターとユーザの位置関係を表す姿勢情報を出力する。
【0069】
カメラ11により撮影されたクエリ画像から検出されたクエリ特徴点の最近傍であるモデル特徴点の3Dモデル上の位置を特定することができれば、クエリ画像がポスターをどの位置から撮影したものであるのか、すなわち、ユーザがどの位置にいるのかを特定することが可能である。また、画像に含まれるポスターの大きさと距離が予め対応付けられていれば、カメラ11により撮影されたクエリ画像に含まれるポスターの大きさから、ポスターの位置からユーザの位置までの距離を特定することが可能である。カメラ11のレンズは、例えば、ズーム機能がない単焦点のレンズである。
【0070】
ユーザが見ているポスターと、ポスターとユーザの相対的な位置関係は以上のようにして認識される。
【0071】
[情報処理装置の動作]
ここで、図7のフローチャートを参照して、情報処理装置1の音再生処理について説明する。図7の処理は、例えば、カメラ11により撮影が行われている間、繰り返し行われる。
【0072】
ステップS1において、画像取得部51は、カメラ11により撮影された画像を取得する。
【0073】
ステップS2において、認識部52は、画像取得部51により取得された画像を対象として物体認識を行う。
【0074】
ステップS3において、認識部52は、認識した物体のIDと一致するIDが、ポスターのIDとしてモデルデータ記憶部54に記憶されているか否か、すなわちユーザがポスターを見ているか否かを判定する。
【0075】
ユーザがポスターを見ていないとステップS3において判定された場合、ステップS4において、音再生制御部53は、音データの再生中であるか否かを判定する。
【0076】
音データの再生中であるとステップS4において判定した場合、音再生制御部53は、ステップS5において、音データの再生を停止する。ステップS5において音データの再生が停止された場合、または、音データの再生中ではないとステップS4において判定された場合、ステップS1に戻り、それ以降の処理が繰り返される。
【0077】
一方、ユーザがポスターを見ているとステップS3において判定された場合、ステップS6において、音再生制御部53は、ユーザが見ているポスターに関連付けられた音データが音データ記憶部55に記憶されているか否かを判定する。
【0078】
ユーザが見ているポスターに関連付けられた音データが記憶されていないとステップS6において判定された場合、ステップS1に戻り、それ以降の処理が繰り返される。
【0079】
ユーザが見ているポスターに関連付けられた音データが記憶されているとステップS6において判定された場合、ステップS7において、音再生制御部53は、ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中であるか否かを判定する。
【0080】
ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中であるとステップS7において判定した場合、ステップS8において、音再生制御部53は、音データの再生を停止する。ステップS8において音データの再生が停止された場合、ステップS1に戻り、それ以降の処理が繰り返される。
【0081】
一方、ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中ではないとステップS7において判定した場合、ステップS9において、音再生制御部53は、ユーザが見ているポスターに関連付けられた音データの再生中であるか否かを判定する。
【0082】
ユーザが見ているポスターに関連付けられた音データの再生中であるとステップS9において判定された場合、ステップS1に戻り、それ以降の処理が行われる。この場合、ユーザが見ているポスターに関連付けられた音データの再生が続けられることになる。
【0083】
ユーザが見ているポスターに関連付けられた音データの再生中ではないとステップS9において判定された場合、ステップS10において、音再生制御部53は、ユーザが見ているポスターに関連付けられた音データを音データ記憶部55から読み出し、再生を開始する。その後、ステップS1以降の処理が繰り返される。
【0084】
以上の処理により、ポスターを見ている人にのみ、そのポスターに関連付けられた音データの再生音を聞かせることが可能になる。
【0085】
カメラ11により撮影された画像に複数のポスターが含まれていると認識された場合、画像の中央に最も近い位置に含まれるポスターが、ユーザが見ているポスターとして認識されるようにしてもよい。
【0086】
ユーザが見ているとして認識されたポスターの貼り付け位置を音源位置とし、姿勢情報により表されるユーザの位置において再生音が定位するように、ヘッドホン12の左右のスピーカから出力される音の音量や出力タイミングが調整されるようにしてもよい。これにより、ポスターから音が出力されているような印象をユーザに与えることが可能になる。
【0087】
[変形例]
情報処理装置1のモデルデータ記憶部54に記憶されるモデルデータと、音データ記憶部55に記憶されている音データが、ユーザの位置に応じて更新されるようにしてもよい。
【0088】
図8は、情報処理装置1の他の機能構成例を示すブロック図である。
【0089】
測位部57が追加されている点を除いて、図8に示す構成は図5に示す構成と同じである。重複する説明については省略する。
【0090】
測位部57は、情報処理装置1内に設けられるGPS(Global Positioning System)センサ(図示せず)の出力に基づいて情報処理装置1の位置、すなわち、情報処理装置1を携帯するユーザの位置を検出する。測位部57は、現在位置を表す位置情報を通信制御部56に出力する。
【0091】
通信制御部56は、位置情報をサーバ61に送信し、現在位置を含むエリア内に貼られているポスターのモデルデータと、ポスターに関連付けられた音データをダウンロードする。
【0092】
サーバ61においては、ポスターのモデルデータと音データが、ポスターが貼られているエリア毎に分けて管理されている。モデルデータと音データのダウンロードは、例えば1つのエリア内に貼られているポスターに関するモデルデータと音データの単位で行われる。
【0093】
通信制御部56は、ダウンロードしたモデルデータをモデルデータ記憶部54に記憶させ、音データを音データ記憶部55に記憶させる。
【0094】
図9のフローチャートを参照して、図8に示す構成を有する情報処理装置1のダウンロード処理について説明する。
【0095】
ステップS21において、測位部57は、現在位置を検出し、位置情報を通信制御部56に出力する。
【0096】
ステップS22において、通信制御部56は、位置情報をサーバ61に送信する。
【0097】
ステップS23において、通信制御部56は、現在位置を含むエリアに貼られているポスターのモデルデータと、ポスターに関連付けられた音データをダウンロードする。
【0098】
ステップS24において、通信制御部56は、ダウンロードしたモデルデータをモデルデータ記憶部54に記憶させ、音データを音データ記憶部55に記憶させる。その後、処理は終了される。
【0099】
新たにダウンロードされたモデルデータと音データが記憶された後、直前のユーザの位置を含むエリア内に貼られているポスターのモデルデータと音データが、モデルデータ記憶部54と音データ記憶部55から消去されるようにしてもよい。これにより、モデルデータと音データのデータ量を減らすことが可能になる。
【0100】
以上においては、ポスター単位で、ユーザがどのポスターを見ているかが認識され、ポスターに関連付けられた音データが再生されるものとしたが、1枚のポスターの部分単位で処理が行われるようにしてもよい。この場合、ユーザがどのポスターのどの部分を見ているかが認識され、認識されたポスターの部分に関連付けられた音データが再生される。
【0101】
図10は、ポスターP1に設定された部分(領域)の例を示す図である。
【0102】
図10の例においては、ポスターP1には、部分1−1,1−2,1−3がそれぞれ設定されている。商品の写真が異なるといったように、部分1−1,1−2,1−3には、それぞれ異なる内容の情報が印刷されている。
【0103】
情報処理装置1には、図11に示すように、ポスターの部分と対応させて、モデルデータと音データが記憶される。
【0104】
図11の例においては、ポスターP1の部分1−1に対応させて、モデルデータ1−1と音データ1−1が記憶されており、部分1−2に対応させて、モデルデータ1−2と音データ1−2が記憶されている。また、部分1−3に対応させて、モデルデータ1−3と音データ1−3が記憶されている。
【0105】
ポスターP2乃至P4についても同様に、ポスター内の各部分に対応させて、モデルデータと音データが記憶されている。
【0106】
情報処理装置1においては、カメラ11により撮影された画像と、部分毎のモデルデータに基づいて、ユーザがポスターP1の部分1−1を見ていると判定された場合、音データ1−1の再生が開始される。
【0107】
これにより、ユーザが見ているポスターの部分に応じて、ユーザに聞かせる音データを切り替えることが可能になる。
【0108】
また、以上においては、情報処理装置1はユーザが携帯するものとしたが、他の場所に設置されるようにしてもよい。
【0109】
図12は、情報処理装置1の設置の例を示す図である。
【0110】
図12の例においては、ポスターP1乃至P4が貼られている壁面Wに、情報処理装置1が設置されている。情報処理装置1と、ユーザが装着するHMD2の間では通信が行われ、カメラ11により撮影された画像や、情報処理装置1により再生された音データの送受信が行われる。
【0111】
以上においては、認識対象の物体がポスターである場合について説明したが、ディスプレイに表示される画像が認識され、認識された画像に関連付けられた音データが再生されるようにしてもよい。
【0112】
また、以上においては、情報処理装置1と通信を行う機器がHMD2である場合について説明したが、情報処理装置1と通信を行う機器は、カメラ機能を有する携帯音楽プレーヤなどの、ユーザが携帯する他の機器であってもよい。ユーザは、携帯音楽プレーヤによってポスターを撮影することによって、ポスターに関連付けられた音を、携帯音楽プレーヤのイヤホンを用いて聞くことができる。
【0113】
再生する音データの種類をユーザが選択することができるようにしてもよい。例えば、同じポスターに関連付けて、大人用の音声、子供用の音声といったように、対象の異なる複数の音声が情報処理装置1に用意されている場合、ユーザにより選択された音声が再生される。
【0114】
この場合、ユーザは、大人用の音声を再生するのか、子供用の音声を再生するのかを予め選択し、選択の内容を表す情報を情報処理装置1に記憶させておくことになる。あるポスターをユーザが見ていることが検出された場合、情報処理装置1においては、そのポスターに関連付けられている音データのうち、記憶されている情報により表される種類の音データの再生が開始される。これにより、ユーザは、同じポスターを見た場合であっても、自分の好みの音声を聞くことが可能になる。
【0115】
また、日本語の音声、外国語の音声といったように、言語の異なる音声の中から、再生させる音声の言語をユーザが選択できるようにしてもよい。
【0116】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0117】
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図4に示されるリムーバブルメディア41に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM32や記憶部38に、あらかじめインストールしておくことができる。
【0118】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0119】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0120】
1 情報処理装置, 2 HMD, 11 カメラ, 12 ヘッドホン, 13 ディスプレイ, 51 画像取得部, 52 認識部, 53 音再生制御部, 54 モデルデータ記憶部, 55 音データ記憶部, 56 通信制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12