特表-20071057IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーグループ株式会社の特許一覧
再表2020-71057情報処理装置、情報処理方法、及び記録媒体
<>
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000003
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000004
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000005
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000006
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000007
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000008
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000009
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000010
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000011
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000012
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000013
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000014
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000015
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000016
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000017
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000018
  • 再表WO2020071057-情報処理装置、情報処理方法、及び記録媒体 図000019
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2020年4月9日
【発行日】2021年9月24日
(54)【発明の名称】情報処理装置、情報処理方法、及び記録媒体
(51)【国際特許分類】
   G06F 3/0487 20130101AFI20210827BHJP
   G06F 3/0484 20130101ALI20210827BHJP
   G09G 5/00 20060101ALI20210827BHJP
   G09G 5/38 20060101ALI20210827BHJP
【FI】
   G06F3/0487
   G06F3/0484 150
   G09G5/00 510B
   G09G5/00 550B
   G09G5/38 Z
   G09G5/00 550C
【審査請求】未請求
【予備審査請求】未請求
【全頁数】26
【出願番号】特願2020-550231(P2020-550231)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年9月6日
(31)【優先権主張番号】特願2018-186422(P2018-186422)
(32)【優先日】2018年10月1日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】時武 美希
(72)【発明者】
【氏名】鳥海 洋章
(72)【発明者】
【氏名】宮澤 克次
(72)【発明者】
【氏名】渡邊 祥次
(72)【発明者】
【氏名】池田 哲男
(72)【発明者】
【氏名】市山 文士
【テーマコード(参考)】
5C182
5E555
【Fターム(参考)】
5C182AA02
5C182AA03
5C182AA04
5C182AA13
5C182AC02
5C182AC03
5C182AC43
5C182BA14
5C182BA26
5C182BA29
5C182BA35
5C182BA64
5C182BA75
5C182CB41
5C182CB47
5C182CB52
5C182DA65
5E555AA11
5E555AA76
5E555BA02
5E555BA29
5E555BB02
5E555BB29
5E555BC04
5E555BE17
5E555CA42
5E555DA03
5E555DB53
5E555DC09
5E555DC85
5E555EA22
5E555FA00
(57)【要約】
投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定されたコンテンツに対応する視覚情報を投影面に投影させる投影制御部(150)、を備える、情報処理装置が提供される。
【特許請求の範囲】
【請求項1】
投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、
を備える、
情報処理装置。
【請求項2】
前記第2のオブジェクトは、前記コンテンツ毎に対応付けられる、
請求項1に記載の情報処理装置。
【請求項3】
前記第1のオブジェクトおよび前記第2のオブジェクトは、継続的に認識され、
前記投影制御部は、前記第1のオブジェクトの認識結果および前記第2のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に動的に投影させる、
請求項1に記載の情報処理装置。
【請求項4】
前記第1のオブジェクトの認識結果は、前記第1のオブジェクトの大きさを含み、
前記投影制御部は、前記第1のオブジェクトの大きさに応じて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項1に記載の情報処理装置。
【請求項5】
前記投影制御部は、前記第1のオブジェクトの大きさが所定の範囲に含まれない場合、前記第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項4に記載の情報処理装置。
【請求項6】
前記認識結果は、前記第1のオブジェクトの位置および前記第2のオブジェクトの位置を含み、
前記投影制御部は、前記第1のオブジェクトの位置および前記第2のオブジェクトの位置に基づいて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項1に記載の情報処理装置。
【請求項7】
前記投影制御部は、前記第1のオブジェクトの位置を基準とした前記第2のオブジェクトの位置が、所定の範囲に含まれない場合、前記第1のオブジェクトの位置を基準として、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項6に記載の情報処理装置。
【請求項8】
前記第1のオブジェクトおよび前記第2のオブジェクトを認識する認識部、
をさらに備え、
前記投影制御部は、前記認識部による前記第1のオブジェクトの認識結果および前記第2のオブジェクトの認識結果に基づいて、特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項1に記載の情報処理装置。
【請求項9】
前記認識部は、前記コンテンツの状態変化を認識し、
前記投影制御部は、前記状態変化に応じて、前記視覚情報を前記投影面に投影させる、
請求項8に記載の情報処理装置。
【請求項10】
前記状態変化は、前記コンテンツの質量変化を含み、
前記投影制御部は、前記質量変化に応じた前記視覚情報を前記投影面に投影させる、
請求項9に記載の情報処理装置。
【請求項11】
前記視覚情報は、前記コンテンツ毎に対応付けられる、
請求項1に記載の情報処理装置。
【請求項12】
前記投影制御部は、前記視覚情報を前記第1のオブジェクト上に投影させる、
請求項1に記載の情報処理装置。
【請求項13】
前記投影制御部は、他のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に投影させる、
請求項1に記載の情報処理装置。
【請求項14】
前記投影制御部は、前記他のオブジェクトによる前記第1のオブジェクトまたは前記第2のオブジェクトへのインタラクションに基づいて、前記視覚情報を前記投影面に投影させ、
前記インタラクションは、前記他のオブジェクトによる前記第1のオブジェクトまたは前記第2のオブジェクトへの接近または接触を含む、
請求項13に記載の情報処理装置。
【請求項15】
前記投影制御部は、特定された前記コンテンツに対応する前記視覚情報の投影を開始させてから経過した時間に基づいて、前記視覚情報を前記投影面に投影させる、
請求項1に記載の情報処理装置。
【請求項16】
前記投影制御部は、複数の前記コンテンツが特定された場合、前記複数のコンテンツに対応する前記視覚情報を前記投影面に投影させる、
請求項1に記載の情報処理装置。
【請求項17】
前記コンテンツは、食品を含み、
前記第2のオブジェクトは、前記食品と共に供される、
請求項1に記載の情報処理装置。
【請求項18】
前記投影制御部は、前記食品が供されたタイミングで、前記視覚情報の前記投影面への投影を開始させる、
請求項17に記載の情報処理装置。
【請求項19】
プロセッサが、
投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、
を含む、
情報処理方法。
【請求項20】
コンピュータに、
投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、
を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
【背景技術】
【0002】
近年、認識された物体に応じた情報の表示に関する技術が各種開発されている。例えば、下記特許文献1には、種々のオブジェクトの認識結果に基づいて、当該オブジェクトに関連する情報の表示や、ユーザに関するコンテキストも考慮に入れた情報の表示を制御する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016−194762号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、例えばユーザによる物体に対する行為によって、物体自体の状況が動的に変化し得る。しかし、特許文献1に記載の技術では、当該状況に応じた情報の表示制御が困難となる場合がある。
【課題を解決するための手段】
【0005】
本開示によれば、投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、を備える、情報処理装置が提供される。
【0006】
また、本開示によれば、プロセッサが、投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、を含む、情報処理方法が提供される。
【0007】
本開示によれば、コンピュータに、投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体が提供される。
【図面の簡単な説明】
【0008】
図1】本開示の一実施形態に係る投影装置10の概要を示す図である。
図2】第1のオブジェクト、第2のオブジェクト、コンテンツ、および第1のオブジェクトと第2のオブジェクトに対応する視覚情報、の関係の一例について説明するための図である。
図3】同実施形態に係る投影装置10の機能構成の一例について説明するための図である。
図4】同実施形態に係る第1のオブジェクトの大きさを認識する方法の一例について説明するための図である。
図5】同実施形態に係る投影制御部150に係る投影制御について説明するための図である。
図6】同実施形態に係る投影制御部150による、第2のオブジェクトの認識結果に基づく視覚情報の投影制御の一例について説明するための図である。
図7】同実施形態に係る投影制御部150による、第1のオブジェクトの位置に基づく視覚情報の投影制御の一例について説明するための図である。
図8】同実施形態に係る投影制御部150による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。
図9】同実施形態に係る投影制御部150による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。
図10】同実施形態に係る複数のコンテンツが供される場合の一例について説明するための図である。
図11】同実施形態に係る投影制御部150による、複数のコンテンツが特定された場合の投影制御の一例について説明するための図である。
図12】同実施形態に係るコンテンツが供されてから経過した時間に基づく投影制御の一例について説明するための図である。
図13】同実施形態に係る投影制御の流れの一例について説明するための図である。
図14】同実施形態に係るコンテンツの状態変化に基づく投影制御の一例について説明するための図である。
図15】同実施形態に係るに係るコンテンツの状態変化における投影制御の流れの一例について説明するための図である。
図16】同実施形態に係る用紙記入に関する投影制御の一例について説明するための図である。
図17】本開示の一実施形態に係る投影装置10のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて料理C0および料理C1のように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、料理C0および料理C1を特に区別する必要が無い場合には、単に料理Cと称する。
【0011】
なお、説明は以下の順序で行うものとする。
1.実施形態
1−1.概要
1−2.機能構成例
1−3.制御例
2.ハードウェア構成例
3.まとめ
【0012】
<<1.実施形態>>
<1−1.概要>
まず、本発明の概要について説明する。
【0013】
近年、物体の認識結果に応じた情報の表示制御に関する技術が各種開発されている。ところで、物体自体の状況が変化するような場合、当該物体を認識することが困難となる場合がある。例えば、認識対象の物体が他の物体と隣接するような状況では、認識対象の物体の外形を認識することが困難となり、情報の表示制御を継続できなくなる可能性がある。
【0014】
また、物体の認識方法として、所定の付与物を用いる方法も挙げられる。ここでの付与物とは、物体の認識のために当該物体に付与される物である。付与物を認識することで、間接的に物体を特定し、当該物体に対応する情報を表示することが可能である。しかし、当該方法では、例えば付与物が物体から取り外された場合に、付与物に基づいて物体を特定することが困難となり、情報の表示を継続できなくなる可能性がある。
【0015】
また、例えば料理がユーザによって食されるように、物体自体の状態が変化する状況も発生し得る。このように、例えば物体の外形が変化する場合、物体を認識し続けることが困難となることも想定される。
【0016】
本開示の一実施形態に係る技術思想は、上記の点に着目して発想されたものであり、複数のオブジェクトの認識結果を組み合わせることにより、継続的に認識対象の物体を特定し、当該物体に対応する情報を表示することを可能とする。また、物体自体の状態が変化するような場合でも、当該物体は認識し続けられ、当該状態の変化に応じた情報が表示される。
【0017】
このために、本開示の一実施形態に係る投影装置は、投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定されたコンテンツに対応する視覚情報を投影面に投影させることを特徴の一つとする。
【0018】
係る特徴によれば、第1のオブジェクトが他の物体と隣接した場合などでも、第2のオブジェクトの認識結果に基づいて、コンテンツを特定することが可能となる。また、係る特徴によれば、第2のオブジェクトがコンテンツから取り外された場合などでも、第1のオブジェクトの認識結果に基づいて、コンテンツを特定することが可能となる。また、係る特徴によれば、コンテンツ自体を認識する場合と比べて、コンテンツの状態が変化する状況であっても、継続的にコンテンツを特定することが可能となる。
【0019】
なお、以下、コンテンツが料理(食品)、第1のオブジェクトが食器、第2のオブジェクトが装飾である場合を一例に挙げて説明していく。ここで、装飾とは、例えば可食性のフィルムなどをいう。
【0020】
まず、本実施形態に係る概要について、図1を参照して説明する。
【0021】
図1は、本開示の一実施形態に係る投影装置10の概要を示す図である。図1には、投影装置10、テーブル20、食器T0、料理C0、および装飾M0が示されている。ここで、料理C0は食器T0上に載せられ、また、装飾M0は料理C0上に載せられている。食器T、料理C、および装飾Mについては後述する。
【0022】
投影装置10は、カメラを備え、例えばテーブル20の天面を撮像する。また、投影装置10は、デプスセンサを備え、深度情報を取得する。また、投影装置10は、RGBセンサを備え、色情報を取得してもよい。また、投影装置10は、マイクロフォン等の音声入力装置をさらに備え、ユーザが発する音声や、周囲の環境の環境音を収音してもよい。
【0023】
投影装置10は、カメラが撮像した画像を解析することにより、テーブル20の天面に位置する物体(例えば、食器Tや装飾M)の位置を認識することができる。
【0024】
また、投影装置10は、深度情報を解析することにより、当該物体の深度情報を取得することができる。投影装置10は、当該深度情報に基づいて、例えば食器Tの位置や大きさを特定することが可能である。また、投影装置10は、音声を出力するスピーカを備えてもよい。
【0025】
また、投影装置10は、視覚情報をテーブル20上に投影する。ここで、視覚情報とは、例えば所定のアニメーションや静止画、文字などを含む。投影装置10は、プロジェクタを備えてもよい。例えば、図1に示すように、投影装置10は、テーブル20の天面に対向するように、テーブル20と所定の距離離隔して配置され得る。この場合、投影装置10は、テーブル20の天面に視覚情報を投影することが可能である。
【0026】
例えば、投影装置10は、認識した料理Cに対応する視覚情報をテーブル20の投影面に投影してよい。ここで、投影面とは、視覚情報が投影されるテーブル20上の領域をいう。当該領域は、例えばテーブル20の天面である。
【0027】
図2は、第1のオブジェクト、第2のオブジェクト、コンテンツ、および第1のオブジェクトと第2のオブジェクトに対応する視覚情報、の関係の一例について説明するための図である。図2左側には、第1のオブジェクト並びに、第1のオブジェクト上に配置されたコンテンツおよび第2のオブジェクトが示されている。投影装置10は、テーブル20に供された第1のオブジェクトの認識結果および第2のオブジェクトの認識結果に基づいて、投影面に投影している。
【0028】
ここで、第1のオブジェクトおよび第2のオブジェクトは、コンテンツ毎に対応付けられる。図2の一例においては、食器T1および装飾M1は、料理C1に対応付けられる。また、投影される視覚情報は、コンテンツに各々対応付けられる。図2右側の一例においては、アニメーションA1は、料理C1に対応付けられる。
【0029】
図2の一例において、投影装置10は、食器T1および装飾M1を認識し、上述した対応付けに基づいて、料理C1を特定する。次に、投影装置10は、上述した対応付けに基づいて、料理C1に対応するアニメーションA1を料理C1上に投影する。ここで、第1のオブジェクト、第2のオブジェクト、および視覚情報は、互いの位置関係が予め決められている。
【0030】
以上説明したように本開示によれば、視覚情報をより正確に投影することが可能となる。
【0031】
例えば、食事の場面において、複数の食器が隣接する場合や、食事が始まる際に料理の上に載っている可食性フィルムが外されるような場合であっても、コンテンツである料理を特定し、当該料理に対応する視覚情報をユーザに提示することができる。
【0032】
以下、第1のオブジェクトの認識結果および第2のオブジェクトの認識結果に基づく視覚情報の投影制御について説明していく。
【0033】
<1−2.機能構成例>
次に、本実施形態に係る投影装置10の機能構成例について説明する。図3は、本実施形態に係る投影装置10の機能構成の一例について説明するための図である。図3に示すように、投影装置10は、入力部110、認識部120、特定部130、記憶部140、投影制御部150、および出力部160、を備える。
【0034】
本実施形態に係る入力部110は、入力部110への各種情報を受け付ける機能を有する。例えば、入力部110は、上述したようにテーブル20の天面を撮像するカメラ、テーブル20上の深度情報を取得するデプスセンサを有する。デプスセンサは、例えばtime of flight方式のセンサや、structured light方式のセンサなどであってもよい。また、入力部110は、ステレオカメラを用いて震度情報を取得してもよい。
【0035】
なお、出力部160により視覚情報が投影される範囲と入力部110が情報の入力を受け付ける範囲とは、同一であってもよいし互いに相違していてもよい。例えば、入力部110は、出力部160による投影範囲より広い範囲を対象とした画像データ、深度情報を取得し得る。また、投影装置10は、RGBセンサを備え、色情報を取得してもよい。
【0036】
本実施形態に係る認識部120は、第1のオブジェクトおよび第2のオブジェクトを認識する機能を有する。認識部120は、入力部110が取得した画像データなどの情報を用いて、認識を実行する。具体的には、認識部120は、第1のオブジェクト位置や大きさ、第2のオブジェクトの種別や位置、大きさなどを認識し得る。その際、認識部120が認識する第1のオブジェクトの位置、第2のオブジェクトの位置、は、各々のオブジェクトの中心でもよい。
【0037】
図4は、第1のオブジェクトの大きさの認識方法の一例について説明するための図である。図4には、食器T2、料理C2、装飾M2、および認識矩形Eが示されている。図4の一例に示すように、認識部120は、食器T2を囲う最小矩形としての認識矩形Eの大きさを、食器T2の大きさとして認識してもよい。なお、認識部120は、当該認識した大きさを示す情報を特定部130へ提供する。その際、最小矩形の大きさは、所定の幅(範囲)を持たせてもよい。
【0038】
また、認識部120は、コンテンツの状態変化を認識してよい。ここでの状態変化とは、例えばユーザによるコンテンツとのインタラクションに基づいて発生した変化、などをいう。また状態変化は、食品の溶解などのユーザによるコンテンツとのインタラクション含まない変化でもよい。例えば、状態変化は、コンテンツの質量変化を含む。認識部120は、コンテンツの状態変化を認識した場合、当該状態変化を示す情報を後述する特定部130に提供する。
【0039】
また、認識部120は、第1のオブジェクト、第2のオブジェクト、およびコンテンツ、を継続的に認識してよい。認識部120は、継続的な認識を行うことで、例えば、コンテンツの状態変化の認識が可能となる。
【0040】
再び図3を参照しながら説明する。
【0041】
本実施形態に係る特定部130は、第1のオブジェクトの認識結果および第2のオブジェクトの認識結果に基づいて、コンテンツを特定する機能を有する。具体的には、特定部130は、後述する記憶部140が記憶する第1のオブジェクトと第2のオブジェクトの組み合わせとコンテンツの対応付けデータに基づいて、コンテンツを特定する。例えば、特定部130は、記憶部140に記憶される当該対応付けデータに基づいて、認識部120が認識した装飾Mに対応付けられる料理Cを特定する。
【0042】
特定部130は、特定したコンテンツを示す情報を投影制御部150へ提供する。
【0043】
なお、特定部130は、第2のオブジェクトに対応付けられるコンテンツを取得し、当該第2のオブジェクトに対応する第1のオブジェクトの大きさを示す情報も取得してよい。ここで、当該情報が示す大きさは、所定の範囲を有してよい。特定部130は、取得した当該情報が示す大きさと、認識部120が認識した大きさとを比較する。特定部130は、当該比較の結果、認識部120が認識した第1のオブジェクトの大きさが所定の範囲に含まれない場合、第2のオブジェクトの大きさが所定の範囲に含まれないことを示す情報を、後述する投影制御部150へ提供してもよい。
【0044】
本実施形態に係る記憶部140は、データの記憶を行う。記憶部140は、第1のオブジェクト、第2のオブジェクト、コンテンツ、および視覚情報に係る情報を記憶する。また、記憶部140は、各々の第1のオブジェクトと第2のオブジェクトの組み合わせの情報を記憶し得る。また、当該組み合わせとコンテンツの対応付け、コンテンツと視覚情報の対応付け、などを記憶し得る。上述した情報は、例えばリレーショナルデータベース等の形式で実現されてもよい。
【0045】
本実施形態に係る投影制御部150は、第1のオブジェクトの認識結果および第2のオブジェクトの認識結果に基づいて、出力部160に視覚情報を投影面へ投影させる機能を有する。具体的には、投影制御部150は、特定部130が特定したコンテンツに対応付けられる視覚情報を投影面に投影するように出力部160を制御する。その際、投影制御部150は、記憶部140が記憶するコンテンツと視覚情報との対応付けデータに基づいて、特定部130が特定した視覚情報を取得する。投影制御部150の制御に関する詳細については後述する。
【0046】
本実施形態に係る出力部160は、投影制御部150の制御に従って、視覚情報を投影面に投影する。
【0047】
なお、例えば、図1で示したように投影装置10は、テーブル20の天面に対向するように、テーブル20と所定の距離離隔して配置され得る。しかしながら、投影装置10は、図1に示されるようなテーブル20の直上に必ずしも位置する必要は無い。例えば、投影装置10は、傾斜して視覚情報をテーブル20上に投影することが可能な配置されてもよい。また例えば、投影装置10は、ペンダントライトやデスクスタンドライトであってもよい。このように上方からテーブル20の天面に情報を表示する方式を「プロジェクション型」とも呼称する。
【0048】
以上、本実施形態に係る投影装置10の機能構成例について説明した。なお、図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る投影装置10の機能構成は係る例に限定されない。例えば、投影装置10は、必ずしも図3に示す構成のすべてを備えなくてもよい。例えば、認識部120、特定部130、記憶部140、および投影制御部150は、投影装置10とは異なる別の装置に備えることも可能である。本実施形態に係る投影装置10の機能構成は、仕様や運用に応じて柔軟に変形可能である。なお、投影装置10は、スマートフォンであってもよい。
【0049】
<1−3.制御例>
次に、本実施形態に係る投影装置10による視覚情報の投影について説明する。図5は、投影制御部150による投影制御の一例について説明するための図である。図5には、食器T3、料理C3、装飾M3、アニメーションA2が示されている。
【0050】
投影制御部150は、第1のオブジェクトの認識結果および第2のオブジェクトの認識結果に基づいて、コンテンツに対応する視覚情報を投影面に投影するように出力部160を制御する。具体的には、投影制御部150は、認識部120が認識した第1のオブジェクトの位置および第2のオブジェクトの位置に基づいて、出力部160に視覚情報を投影させる位置を決定する。投影制御部150は、当該決定した位置に視覚情報を投影するように出力部160を制御する。
【0051】
図5の一例において、投影制御部150は、食器T3の位置P1および装飾M3の位置P2に基づいて、アニメーションA2の投影位置P3を決定している。ここで、例えば食器T3の位置P1を原点として、装飾M3の位置P2の方向をY軸方向とする二次元座標系に基づいて、投影位置P3を決定してもよい。また、投影制御部150は、例えば装飾M3の長軸方向をY軸方向とする二次元座標系に基づいて、投影位置P3を決定してもよい。
【0052】
このように、投影制御部150は、認識部120が認識した第1のオブジェクトの位置および第2のオブジェクトの位置に基づいて、視覚情報を投影する位置を制御することができる。係る機能によれば、より正確な位置に視覚情報を投影することが可能となる。
【0053】
上記では、第1のオブジェクトおよび第2のオブジェクトが共に正しく認識される場合について説明した。しかし、認識時の状況によっては、第1のオブジェクトおよび第2のオブジェクトが共に正しく認識されるとは限らない。例えば、第1のオブジェクトが他の第1のオブジェクトと接触している場合、認識部120は、第1のオブジェクトと他の第1のオブジェクトなどを、まとめて1つの第1のオブジェクトとして認識する可能性がある。従って、認識部120が認識した第1のオブジェクトの大きさが、共に認識した第2のオブジェクトに対応する第1のオブジェクトの大きさとして設定された所定の範囲に含まれないことになる。上記の場合では、投影制御部150は、第2のオブジェクトの位置に基づいて、投影面への視覚情報の投影を制御してもよい。
【0054】
図6は、投影制御部150による、第2のオブジェクトの認識結果に基づく視覚情報の投影の制御を説明するための図である。図6には、食器T4、料理C4、装飾M4が示されている。
【0055】
投影制御部150は、認識部120が認識した第1のオブジェクトの大きさが所定の範囲に含まれない場合、第2のオブジェクトの認識結果に基づいて、コンテンツに対応する視覚情報を出力部160に投影面へ投影させる。具体的には、投影制御部150は、認識部120が認識した第2のオブジェクトの位置に基づいて視覚情報を投影させる位置を決定し、当該決定した位置に視覚情報を投影するように出力部160を制御する。
【0056】
図6の一例において、認識部120は、食器T4が他の食器Tと隣接しているため、装飾M4との組み合わせである食器T4の大きさよりも大きい第1のオブジェクトを認識する。投影制御部150は、認識部120の認識結果に基づいて、装飾M4の位置P4から、アニメーションA3の投影位置P5を決定している。ここで、例えば装飾M4の位置P4を原点として、入力部110に入力された画像における装飾M4の長軸方向をY軸方向とする二次元座標系に基づいて、投影位置P5を決定してもよい。
【0057】
このように、投影制御部150は、第1のオブジェクトの中心座標の認識ができない場合でも、第2のオブジェクトの位置に基づいて、視覚情報を投影させることができる。係る機能によれば、第1のオブジェクトの状況が認識に適していない場合でも、視覚情報の投影を継続することが可能となる。
【0058】
一方、投影制御部150は、認識部120が第1のオブジェクトの中心座標を認識できない場合に、出力部160に視覚情報を投影させなくてもよい。図6の一例において、投影制御部150は、認識部120が認識した第1のオブジェクトの大きさが、仮に所定の範囲よりも小さい場合、アニメーションA3を投影させなくてもよい。係る機能によれば、より正確な投影制御を行うことが可能となる。
【0059】
上記では、第1のオブジェクトが正しく認識されない場合について説明した。他にも、ユーザによる第2のオブジェクトへの行為により、例えば第2のオブジェクトの位置が変化する状況も発生し得る。当該状況の場合、投影制御部150は、第1のオブジェクトの位置に基づいて、投影面への視覚情報の投影を制御する。
【0060】
図7は、投影制御部150による、第1のオブジェクトの位置に基づく視覚情報の投影の制御を説明するための図である。図7には、食器T5、料理C5、装飾M5、アニメーションA4が示されている。
【0061】
投影制御部150は、認識部120が認識した第2のオブジェクトの位置が所定の範囲に含まれない場合、第1のオブジェクトの位置に基づいて、コンテンツに対応する視覚情報を投影面に投影するように出力部160を制御する。ここで、特定部130は、認識部120が認識した第2のオブジェクトに対応するコンテンツを特定する。具体的には、投影制御部150は、第1のオブジェクトの中心位置に基づいて、視覚情報を投影させる位置を決定し、当該決定した位置に投影するように出力部160を制御する。
【0062】
図7の一例において、投影制御部150は、食器T5の位置P7に基づいて、アニメーションA4の投影位置P8を決定している。ここで、例えば、食器T5の位置P7を原点として、入力部110に入力された画像における上方向をY軸方向とする二次元座標系において投影位置P8を決定してもよい。
【0063】
このように、第2のオブジェクトが所定の範囲に含まれない位置で認識された場合でも、第1のオブジェクトの位置に基づいて、視覚情報を投影することができる。係る機能によれば、ユーザが第2のオブジェクトを移動させた状況でも、視覚情報の投影を行うことが可能となる。
【0064】
一方、投影制御部150は、認識部120が第2のオブジェクトを認識できなかった場合、視覚情報の投影を行わせなくてもよい。係る機能によれば、より正確にコンテンツを特定し、視覚情報を投影することが可能となる。また、一方で、特定部130は、認識部120が第2のオブジェクトを認識できなかった場合、第1のオブジェクトの大きさに基づいて、コンテンツを特定してもよい。
【0065】
上記では、投影制御部150による視覚情報の投影位置の決定について説明してきた。次に、認識部120が他のオブジェクトを認識した場合の、投影制御部150の投影制御について説明する。
【0066】
投影制御部150は、認識部120による他のオブジェクトの認識結果に基づいて、視覚情報を投影面に投影させてよい。図8および図9は、投影制御部150による、他のオブジェクトが認識された場合の投影制御の一例について説明するための図である。図8および図9には、食器T6、料理C6、装飾M6が示されている。なお、ここでいう他のオブジェクトとは、卓上において第1のオブジェクトなどに接触または接近し得る物体をいう。例えば、他のオブジェクトは、ユーザの手、ウェイターの手、フォークなどが挙げられる。
【0067】
投影制御部150は、他のオブジェクトの認識結果に基づいて、視覚情報の投影を制御してもよい。例えば、他のオブジェクトがコンテンツなどに接近または接触した場合、投影制御部150は、視覚情報の投影を停止させてもよい。また、他のオブジェクトがコンテンツなどから離れていく場合は、投影制御部150は、視覚情報の投影を再開させてもよい。ここで、投影制御部150は、視覚情報の投影の再開を、回数を問わず行わせてもよいし、または回数に制限を設けてもよい。また、投影制御部150は、視覚情報がアニメーションAである場合、アニメーションAの投影が再開する際に、アニメーションAを最初から再生させ直してもよいし、当該アニメーションAの投影が停止した状態から投影を再開させてもよい。
【0068】
図8左側において、投影制御部150は、食器T6の認識結果および装飾M6の認識結果に基づいて、アニメーションA5を出力部160に投影させている。ここで、他のオブジェクトであるユーザの手Hが食器T6および料理C6に接近すると、投影制御部150は、アニメーションA5の投影を停止するように出力部160を制御する。なお、認識部120は、入力部110が備えるデプスセンサが取得した深度情報に基づいて、ユーザの手Hが料理C6に接近または接触していることを認識し得る。
【0069】
図9において、他のオブジェクトであるユーザの手Hが食器T6および料理C6から離れると、投影制御部150は、アニメーションA6の投影を開始するように出力部160を制御する。図9右側において、投影制御部150は、食器T6の認識結果および装飾M6の認識結果に基づいて、アニメーションA5を出力部160に投影させている。
【0070】
このように、投影制御部150は、他のオブジェクトの認識結果に基づいて、視覚情報の投影を制御することができる。係る機能によれば、ユーザが視覚情報の再生や停止を直観的に行うことや、ユーザの邪魔をしないことが可能となる。
【0071】
上記では、単一のコンテンツが供される場合の投影制御について説明してきた。次に、複数のコンテンツが供される場合の投影制御部150による投影制御について説明する。
【0072】
投影制御部150は、特定部130が複数のコンテンツを特定した場合に、各々のコンテンツに対応付けられる視覚情報を出力部160に出力させてもよい。図10は、複数のコンテンツが供される場合の一例について説明するための図である。図10には、食器T8、料理C8、装飾M8が示されている。また、図10には、食器T9、料理C9、装飾M9も示されている。図10の一例において、投影制御部150は、料理C8に対応付けられるアニメーションA7、料理C9に対応付けられるアニメーションA8を投影面に投影している。
【0073】
また、投影制御部150は、特定部130が複数のコンテンツを特定した場合に、複数のコンテンツに対応する視覚情報を出力部160に出力させてもよい。具体的には、投影制御部150は、特定部130が複数のコンテンツを特定した場合に各々投影させる視覚情報とは異なる、当該複数のコンテンツの組み合わせに対応する視覚情報を出力部160に投影させてもよい。
【0074】
図11は、投影制御部150による、複数のコンテンツが特定された場合の投影制御の一例について説明するための図である。図11には、食器T10、料理C10、装飾M10、食器T11、料理C11、装飾M11が示されている。
【0075】
図11の上側の一例において、投影制御部150は、食器T10および装飾M10の認識結果に基づいて、アニメーションA9を投影させている。また、投影制御部150は、食器T11および装飾M11の認識結果に基づいて、アニメーションA10を投影させている。ここで、アニメーションA10は、料理C10と料理C11の組み合わせに対応付けられる視覚情報である。
【0076】
ここで、投影制御部150は、例えば複数のコンテンツの組み合わせに対応付けられる視覚情報を、当該複数のコンテンツに投影させてもよい。図11の一例において、投影制御部150は、アニメーションA10を、食器T11、装飾M11、および料理C11上から、食器T10、および料理C10まで移動させている。
【0077】
このように、投影制御部150は、複数のコンテンツの認識結果に基づいて、視覚情報をあるコンテンツから他のコンテンツへ移動させることができる。係る機能によれば、ユーザが視覚情報の投影に関して、より楽しむことが可能となる。
【0078】
次に、投影制御部150による、時間経過に基づく投影制御について説明する。図12は、コンテンツが供されてから経過した時間に基づく投影制御の一例について説明するための図である。図12には、ユーザU1およびユーザU2のそれぞれにコンテンツが供されてから、視覚情報が投影された回数について時系列に示されている。
【0079】
投影制御部150は、時間経過に基づいて、視覚情報の投影を制御してもよい。具体的には、投影制御部150は、例えばコンテンツが供されてから経過した時間に基づいて、視覚情報の投影をさせるか否かを決定してもよい。例えば、投影制御部150は、最初に視覚情報の投影を開始させてから経過した時間に基づいて、出力部160に視覚情報を投影面へ投影させるか否かを決定してもよい。
【0080】
投影制御部150は、例えばコンテンツが供されてから所定時間が経過するまでは、出力部160に視覚情報を投影させ、所定時間の経過後は出力部160に視覚情報を投影させなくてもよい。一方で、投影制御部150は、例えばコンテンツが供されてから所定時間が経過するまでの間、視覚情報を投影した回数が所定の回数以下であった場合、所定時間の経過後であっても出力部160に視覚情報を投影させてもよい。
【0081】
以下、図12の一例について説明する。ここで、投影制御部150が設定する所定の投影回数は、5回とする。投影制御部150は、コンテンツが供された時間TI1から所定の時間TI2までの間、出力部160に視覚情報の投影MU1を投影させている。ここで、視覚情報の投影MU1の回数は、6回である。一方で、投影制御部150は、所定の時間TI2以降では、出力部160に視覚情報を投影させていない。
【0082】
また、ユーザU2は、コンテンツが供された時間TI1から所定の時間TI2までの間、視覚情報の投影MU2aをさせている。ここで、視覚情報の投影MU2の回数は、1回であり、所定の投影回数である5回より少ない。従って、投影制御部150は、所定の時間TI2以降であっても、視覚情報の投影MU2bをさせている。ここで、投影制御部150は、視覚情報の投影MU2aと視覚情報の投影MU2bの回数の合計が所定の投影回数に達した時点で、視覚情報の投影をさせなくてもよい。
【0083】
このように、時間経過に基づいて視覚情報の投影を制御することができる。係る機能によれば、同じ視覚情報を投影していても、ユーザに飽きさせないことが可能となる。
【0084】
次に、本実施形態に係る投影制御の流れの一例について説明する。図13は、本実施形態に係る投影制御の流れの一例について説明するための図である。図13を参照すると、まず、認識部120が、入力部110が撮像し、取得した画像などの情報に基づいて、第2のオブジェクトの認識を開始する(S1101)。次に、認識部120は、第2のオブジェクトを認識したか否かを判定する(S1102)。認識部120が第2のオブジェクトを認識しなかったと判定した場合(S1102:NO)、ステップS1102へ復帰する。一方、認識部120が第2のオブジェクトを認識したと判定した場合(S1102:YES)、入力部110が撮像し、取得した画像などの情報に基づいて、第1のオブジェクトを認識したか否かを判定する(S1103)。認識部120が第1のオブジェクトを認識しなかったと判定した場合(S1103:NO)、ステップS1102へ復帰する。
【0085】
次に、特定部130は、第1のオブジェクトの大きさが特定の範囲内にあるか否かを判定する(S1104)。第1のオブジェクトの大きさが特定の範囲内にあると判定した場合(S1104:YES)、特定部130は第1のオブジェクトおよび第2のオブジェクトの認識結果に基づいて、コンテンツを特定する(S1105)。次に、投影制御部150は、第1のオブジェクトの位置および第2のオブジェクトの位置に基づいて、投影位置を決定する(S1106)。次に、当該コンテンツに対応する視覚情報を投影面に投影するように出力部160を制御し(S1107)、投影装置10は動作を終了する。
【0086】
一方で、第1のオブジェクトの大きさが特定の範囲外であると判定した場合(S1104:NO)、特定部130は、第1のオブジェクトの大きさが所定の範囲よりも大きいか否かを判定する(S1108)。第1のオブジェクトの大きさが所定の範囲よりも大きくないと判定した場合(S1108:NO)、ステップS1102へ復帰する。一方、第1のオブジェクトの大きさが所定の範囲よりも大きいと判定した場合(S1108:YES)、特定部130は第2のオブジェクトの認識結果に基づいて、コンテンツを特定する(S1109)。次に、投影制御部150は、第2のオブジェクトの位置に基づいて、投影位置を決定する(S1110)。次に、投影制御部150は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部160を制御し(S1107)、投影装置10は動作を終了する。
【0087】
説明してきたように、投影制御部150は、第1のオブジェクトおよび第2のオブジェクトの認識結果に基づいて、第1のオブジェクトまたは第2のオブジェクトの位置関係が予め決められた位置関係以外となったとしても、正確な位置に視覚情報を投影することが可能である。しかし、第1のオブジェクトおよび第2のオブジェクト以外にも、例えば、料理がユーザによって食されるように、コンテンツ自体の状態が変化する状況があり得る。
【0088】
そこで、本実施形態に係る投影制御部150は、コンテンツの状態変化に基づいて、投影制御を行ってもよい。例えば、投影制御部150は、認識部120が食事の場面において、食器Tに盛り付けられた料理Cの量の変化を認識したことに基づいて、アニメーションAを投影させる位置を決定してもよい。
【0089】
図14は、コンテンツの状態変化に基づく投影制御の一例について説明するための図である。図14には、食器T12、料理C12、装飾M12が示されている。ここで、食器T12の右下部分は料理C12が存在しない空白領域である。
【0090】
投影制御部150は、特定部130が特定したコンテンツに対応する視覚情報を、第1のオブジェクト上に投影させてもよい。具体的には、投影制御部150は、第1のオブジェクトに直接視覚情報を投影できるような領域を選択し得る。投影制御部150は、出力部160に当該領域へ視覚情報を投影させてもよい。例えば、投影制御部150は、認識部120が投影面における新たな第1のオブジェクトの領域を認識した場合、出力部160に視覚情報を当該領域に投影させてもよい。
【0091】
図14の一例において、投影制御部150は、認識部120が食器T12の右下部分における空白領域を認識したことに基づいて、出力部160にアニメーションA11を当該空白領域の投影位置P10へ投影させている。
【0092】
なお、認識部120は、コンテンツの状態変化を入力部110が撮像し、取得した画像から認識してもよい。また、認識部120は、当該画像からコンテンツの体積を推定することで、コンテンツの質量変化を認識してもよい。
【0093】
このように、コンテンツの状態変化に基づいて、視覚情報の投影を制御することができる。係る機能によれば、ユーザのコンテンツに対する行為に応じて、柔軟に視覚情報を投影することが可能となる。
【0094】
なお、認識部120がコンテンツの体積が減少していることを認識した場合、投影制御部150は、第1のオブジェクトの認識結果および第2のオブジェクトの認識結果以外に、コンテンツの体積が減少していることに基づいて、視覚情報を投影する位置を決定してもよい。
【0095】
次に、本実施形態に係るコンテンツの状態変化における投影制御の流れの一例について説明する。図15は、本実施形態に係るコンテンツの状態変化における投影制御の流れの一例について説明するための図である。図15では、コンテンツが供され、認識部120による認識が行われている最中である状況が前提である。図15を参照すると、まず、認識部120がコンテンツの状態が変化したか否かを判定する(S1201)。コンテンツの状態が変化していないと判定された場合(S1201:NO)、ステップS1201へ復帰する。コンテンツの状態が変化したと判定された場合(S1201:YES)、認識部120は投影面における第1のオブジェクトに新たな空白領域が出現したか否かを判定する(S1202)。第1のオブジェクトに空白領域が出現したと判定した場合(S1202:YES)、第1のオブジェクトおよび第2のオブジェクトの認識結果、に基づいて、コンテンツを特定する(S1203)。次に、投影制御部150は、第1のオブジェクトの位置および空白領域に基づいて、投影位置を決定する(S1204)。次に、投影制御部150は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部160を制御し(S1205)、投影装置10は動作を終了する。
【0096】
一方、第1のオブジェクトに空白領域が出現していないと判定した場合(S1202:NO)、認識部120は、コンテンツの質量が変化したか否かを判定する(S1206)。コンテンツの質量が変化していないと判定した場合(S1206:NO)、ステップS1201へ復帰する。一方、コンテンツの質量が変化したと判定した場合(S1204:YES)、第1のオブジェクトの認識結果、第2のオブジェクトの認識結果、および質量が減少したコンテンツの認識結果に基づいて、コンテンツを特定する(S1207)。次に、投影制御部150は、第1のオブジェクトの位置および現在存在する空白領域に基づいて、投影位置を決定する(S1204)。次に、投影制御部150は、当該コンテンツに対応する視覚情報を投影面に投影するように出力部160を制御し(S1205)、投影装置10は動作を終了する。
【0097】
上記はあくまで一例であり、状態変化に関する条件の組み合わせ方はこれに限られない。
【0098】
上記では、コンテンツが料理である例について説明してきた。しかし、コンテンツが料理以外である場合でも、投影制御部150による投影制御は適用可能である。
【0099】
例えば、図16は、用紙記入に関する投影制御の一例について説明するための図である。図16には、第1のオブジェクトである申込用紙T13、第2のオブジェクトである見出しM13、コンテンツであるフォームC13、およびフォームC13に対応する視覚情報である案内情報A12、A13およびA14が示されている。
【0100】
投影制御部150は、認識部120が認識するフォームC13の項目状況の変化に基づいて、案内情報A12、A13を申込用紙T13上に出力部160に投影させる。ここで、フォームC13の項目状況の変化とは、例えばユーザが申込用紙T13に対してフォームC13の形式に沿うように記入を行うことをいう。投影制御部150は、認識部120が認識したフォームC13において形式に沿うように記入されたことに基づいて、出力部160に記入されたことに対応する視覚情報を投影させる。
【0101】
また一方で、フォームC13の項目状況の変化は、フォームC13の形式に沿わないように記入を行うことや、誤った内容の記入を行うこと、などを含んでもよい。例えば、投影制御部150は、認識部120が認識したフォームC13において形式に沿わないように記入されたことに基づいて、出力部160に当該記入が形式に合わないことをユーザに通知(案内)するような視覚情報を投影させてもよい。また、投影制御部150は、認識部120が未だ未記入のコンテンツまたはコンテンツの一部を認識したことに基づいて、出力部160に当該未記入のコンテンツが存在することをユーザに通知するような視覚情報を投影させてもよい。
【0102】
図16の一例において、投影制御部150は、出力部160に、記入形式と異なる記入がされていることを案内する案内情報A12を申込用紙T13上へ投影させている。また、投影制御部150は同時に、認識部120がフォームC13の項目に「Aコース」を選択する記入を認識したことに基づいて、および選択された「Aコース」の内容を案内する案内情報A13を申込用紙T13上に投影させている。また、投影制御部150は同時に、認識部120により申込用紙が供されてから未だ記入がされていない記入欄を認識したことに基づいて、出力部160に記入を促す案内情報A14を投影させている。
【0103】
なお、認識部120は、第1のオブジェクトである用紙を、例えば大きさや、色、形で認識してもよい。また、認識部120は、第2のオブジェクトである見出しを、例えば所定の模様や印字された文字で認識してもよい。
【0104】
このように、投影制御部150は、用紙上の項目に記入された情報を認識し、投影する案内情報を適切に決定できる。係る機能によれば、ユーザの用紙記入に関する利便性の向上が可能となる。なお、投影制御部150による投影制御は、上記の例に限らず、様々な状況において適用が可能である。
【0105】
<2.ハードウェア構成例>
次に、本開示の一実施形態に係る投影装置10のハードウェア構成例について説明する。図17は、本開示の一実施形態に係る投影装置10のハードウェア構成例を示すブロック図である。図17を参照すると、投影装置10は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【0106】
(プロセッサ871)
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【0107】
(ROM872、RAM873)
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【0108】
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
【0109】
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
【0110】
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【0111】
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【0112】
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
【0113】
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
【0114】
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
【0115】
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
【0116】
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
【0117】
<3.まとめ>
以上説明したように、本開示の実施形態に係る投影装置10が、第1のオブジェクトの認識結果および第2のオブジェクトの認識結果を用いることで、より正確に視覚情報を投影することが可能となる。また、投影装置10が、コンテンツの状態変化を認識することで、当該状態変化に応じた視覚情報を投影することが可能となる。
【0118】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0119】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0120】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御部、
を備える、
情報処理装置。
(2)
前記第2のオブジェクトは、前記コンテンツ毎に対応付けられる、
前記(1)に記載の情報処理装置。
(3)
前記第1のオブジェクトおよび前記第2のオブジェクトは、継続的に認識され、
前記投影制御部は、前記第1のオブジェクトの認識結果および前記第2のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に動的に投影させる、
前記(1)または(2)に記載の情報処理装置。
(4)
前記第1のオブジェクトの認識結果は、前記第1のオブジェクトの大きさを含み、
前記投影制御部は、前記第1のオブジェクトの大きさに応じて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記投影制御部は、前記第1のオブジェクトの大きさが所定の範囲に含まれない場合、前記第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記(4)に記載の情報処理装置。
(6)
前記認識結果は、前記第1のオブジェクトの位置および前記第2のオブジェクトの位置を含み、
前記投影制御部は、前記第1のオブジェクトの位置および前記第2のオブジェクトの位置に基づいて、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記投影制御部は、前記第1のオブジェクトの位置を基準とした前記第2のオブジェクトの位置が、所定の範囲に含まれない場合、前記第1のオブジェクトの位置を基準として、前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記(6)に記載の情報処理装置。
(8)
前記第1のオブジェクトおよび前記第2のオブジェクトを認識する認識部、
をさらに備え、
前記投影制御部は、前記認識部による前記第1のオブジェクトの認識結果および前記第2のオブジェクトの認識結果に基づいて、特定された前記コンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記認識部は、前記コンテンツの状態変化を認識し、
前記投影制御部は、前記状態変化に応じて、前記視覚情報を前記投影面に投影させる、
前記(8)に記載の情報処理装置。
(10)
前記状態変化は、前記コンテンツの質量変化を含み、
前記投影制御部は、前記質量変化に応じた前記視覚情報を前記投影面に投影させる、
前記(9)に記載の情報処理装置。
(11)
前記視覚情報は、前記コンテンツ毎に対応付けられる、
前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記投影制御部は、前記視覚情報を前記第1のオブジェクト上に投影させる、
前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記投影制御部は、他のオブジェクトの認識結果に基づいて、前記視覚情報を前記投影面に投影させる、
前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記投影制御部は、前記他のオブジェクトによる前記第1のオブジェクトまたは前記第2のオブジェクトへのインタラクションに基づいて、前記視覚情報を前記投影面に投影させ、
前記インタラクションは、前記他のオブジェクトによる前記第1のオブジェクトまたは前記第2のオブジェクトへの接近または接触を含む、
前記(13)に記載の情報処理装置。
(15)
前記投影制御部は、特定された前記コンテンツに対応する前記視覚情報の投影を開始させてから経過した時間に基づいて、前記視覚情報を前記投影面に投影させる、
前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記投影制御部は、複数の前記コンテンツが特定された場合、前記複数のコンテンツに対応する前記視覚情報を前記投影面に投影させる、
前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記コンテンツは、食品を含み、
前記第2のオブジェクトは、前記食品と共に供される、
前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記投影制御部は、前記食品が供されたタイミングで、前記視覚情報の前記投影面への投影を開始させる、
前記(17)に記載の情報処理装置。
(19)
プロセッサが、
投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させること、
を含む、
情報処理方法。
(20)
コンピュータに、
投影面に供されるコンテンツが配置された第1のオブジェクトの認識結果、および前記第1のオブジェクトと共に供される第2のオブジェクトの認識結果に基づいて特定された前記コンテンツに対応する視覚情報を前記投影面に投影させる投影制御機能、
を実現させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【符号の説明】
【0121】
10 投影装置
20 テーブル
110 入力部
120 認識部
130 特定部
140 記憶部
150 投影制御部
160 出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
【国際調査報告】