特許第6249817号(P6249817)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧

特許6249817画像表示システム、画像表示方法、画像表示プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6249817
(24)【登録日】2017年12月1日
(45)【発行日】2017年12月20日
(54)【発明の名称】画像表示システム、画像表示方法、画像表示プログラム及び記録媒体
(51)【国際特許分類】
   G09F 19/18 20060101AFI20171211BHJP
   G09G 5/00 20060101ALI20171211BHJP
   G09G 5/36 20060101ALI20171211BHJP
   A63F 13/90 20140101ALN20171211BHJP
   A63F 13/213 20140101ALN20171211BHJP
【FI】
   G09F19/18 Z
   G09G5/00 510D
   G09G5/00 550C
   G09G5/36 520D
   !A63F13/90
   !A63F13/213
【請求項の数】9
【全頁数】29
(21)【出願番号】特願2014-34528(P2014-34528)
(22)【出願日】2014年2月25日
(65)【公開番号】特開2015-158648(P2015-158648A)
(43)【公開日】2015年9月3日
【審査請求日】2016年2月18日
【前置審査】
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000637
【氏名又は名称】特許業務法人樹之下知的財産事務所
(72)【発明者】
【氏名】岡 正昭
(72)【発明者】
【氏名】井尾 秀明
【審査官】 谷垣 圭二
(56)【参考文献】
【文献】 特開2009−136398(JP,A)
【文献】 特開2009−067368(JP,A)
【文献】 特開2015−031808(JP,A)
【文献】 実開平02−036895(JP,U)
【文献】 特開2008−203538(JP,A)
【文献】 特開2011−189066(JP,A)
【文献】 特開平03−263085(JP,A)
【文献】 特開平07−036108(JP,A)
【文献】 特開平06−250115(JP,A)
【文献】 特開平10−161236(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09F 19/18
G09G 5/00
G09G 5/36
A63F 13/213
A63F 13/90
(57)【特許請求の範囲】
【請求項1】
内部に物体を収容可能な収容部を有する筐体、及び、前記筐体に設けられ、前記収容部から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を前記少なくとも一部の光が透過する方向に沿って反射させる透過部材を有する容器と、
前記透過部材に画像を投影する表示装置と、
前記透過部材を介して前記収容部内を撮像する第1撮像部、及び、前記収容部内とは異なる領域を撮像する第2撮像部の少なくともいずれかを有する撮像装置と、
前記撮像装置による撮像画像に基づいて、移動体の動きに応じた画像を前記表示装置に表示させる制御装置と、を備えることを特徴とする画像表示システム。
【請求項2】
請求項に記載の画像表示システムにおいて、
前記撮像装置は、前記第2撮像部を有し、
前記第2撮像部の撮像領域は、投影された前記画像が前記透過部材にて反射される方向の領域であることを特徴とする画像表示システム。
【請求項3】
請求項又は請求項に記載の画像表示システムにおいて、
前記表示装置と一体的に構成された前記撮像装置の撮像方向を調整する調整部材を備えることを特徴とする画像表示システム。
【請求項4】
請求項から請求項のいずれか一項に記載の画像表示システムにおいて、
前記制御装置は、前記撮像装置による撮像画像に含まれる前記移動体の位置及び移動方向をオプティカルフローにより検出し、検出された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする画像表示システム。
【請求項5】
請求項から請求項のいずれか一項に記載の画像表示システムにおいて、
前記制御装置は、前記収容部内の撮像画像に含まれ、かつ、前記表示装置により表示された表示画像内の点に対応する前記制御装置による形成画像内の点の座標を取得し、取得された前記形成画像内の点の座標に基づいて、前記画像を前記表示装置に表示させることを特徴とする画像表示システム。
【請求項6】
請求項から請求項のいずれか一項に記載の画像表示システムにおいて、
前記制御装置は、前記撮像画像に含まれる前記移動体の大きさ及び速度のうち少なくともいずれかに基づいて、前記透過部材に対する前記移動体の奥行を取得し、取得された前記移動体の奥行に応じた画像を表示させることを特徴とする画像表示システム。
【請求項7】
背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して正面側から画像を投影する表示装置と、前記透過部材の正面側の領域及び前記透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムを用いて行われる画像表示方法であって、
前記制御装置が、
前記撮像装置による前記正面側の領域及び前記背面側の領域のそれぞれの撮像画像に基づいて、前記透過部材の正面側に位置する正面側移動体、及び、前記透過部材の背面側に位置する背面側移動体のそれぞれの位置及び移動方向を取得し、
取得された前記正面側移動体及び前記背面側移動体のそれぞれの位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする画像表示方法。
【請求項8】
背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して正面側から画像を投影する表示装置と、前記透過部材の正面側の領域及び前記透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムにおける前記制御装置により実行される画像表示プログラムであって、
前記制御装置に、
前記撮像装置による前記正面側の領域及び前記背面側の領域のそれぞれの撮像画像に基づいて、前記透過部材の正面側に位置する正面側移動体、及び、前記透過部材の背面側に位置する背面側移動体のそれぞれの位置及び移動方向を取得させ、
取得された前記正面側移動体及び前記背面側移動体のそれぞれの位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする画像表示プログラム。
【請求項9】
請求項に記載の画像表示プログラムをコンピューター読取可能に記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体に関する。
【背景技術】
【0002】
従来、携帯可能に構成され、動作画面や処理結果を表示する携帯端末が知られている。このような携帯端末として、有機EL(Electro-Luminescence)パネルや液晶パネル等の表示手段と、端末装置を操作する操作手段と、を備えた携帯端末が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2012/0188694号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、上記特許文献1に記載のような携帯端末が普及するに従って、当該携帯端末は、様々な用途で用いられることが多くなっている。例えば、携帯端末を設置面上に立て掛け、予め取り込んだ画像やネットワークを介して配信される画像を表示して、デジタルフォトフレームやテレビのように利用されることがある。
このように、携帯端末を用いた画像表示の新たな形態が要望されている。
【0005】
本発明は、画像の新たな表示形態を提供できる画像表示システム、画像表示方法、画像表示プログラム及び記録媒体を提供することを目的の1つとする。
【課題を解決するための手段】
【0006】
本発明の関連技術に係る容器は、内部に物体を収容可能な収容部を有する筐体と、前記筐体に設けられ、前記収容部から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を前記少なくとも一部の光が透過する方向に沿って反射させる透過部材と、を有し、前記筐体は、それぞれ当該筐体の外観を構成し、互いに交差する第1面部及び第2面部を有し、前記透過部材は、前記第1面部及び前記第2面部のそれぞれに対して傾斜し、前記第1面部及び前記第2面部の交線に沿う方向における前記透過部材の寸法は、前記交線に沿う方向における前記第1面部及び前記第2面部のそれぞれの寸法より小さいことを特徴とする。
【0007】
なお、収容部内に収容される物体は、所定の形状を有する物体の他、液体を含む。
上記関連技術によれば、筐体に設けられた透過部材は、収容部から入射される光のうち少なくとも一部を透過させるので、当該透過部材を介して収容部内を観察できる。また、透過部材は、投影された画像を反射させるので、当該画像の反射方向に位置することで、当該透過部材に投影された画像を虚像として観察できる。更に、透過部材による画像の反射方向は、収容部から入射される光が透過部材を透過する方向に沿うので、当該光の進行方向に位置する観察者(すなわち、画像の反射方向に位置する観察者)は、投影された画像が重なった収容部内の風景を観察できる。従って、単に容器内の風景や投影された画像を観察できるだけでなく、これらが重なって観察される新たな表示形態を提供できる。
【0008】
上記関連技術では、前記筐体は、それぞれ当該筐体の外観を構成し、互いに交差する第1面部及び第2面部を有し、前記透過部材は、前記第1面部及び前記第2面部のそれぞれに対して傾斜している。
なお、筐体が略直方体形状である場合には、第1面部としては上面部又は底面部を例示でき、第2面部としては正面部を例示できる。また、筐体において観察者と対向する部位は、容器内を観察可能に構成されていることが望まれるため、少なくとも可視光が透過する透光性部材により形成されていることが好ましい。
上記関連技術によれば、例えば、観察者が第2面部に対向する場合、当該第2面部側から容器内を観察できる。また、この場合、第1面部及び第2面部のそれぞれに対して傾斜する透過部材にて、第1面部側から投影された画像は第2面部側に反射されることとなるので、第2面部側にて当該画像を観察できる。従って、第2面部側から容器内を見た場合に、容器内の風景と、当該風景に重なった画像とを確実に観察できる。
【0009】
記関連技術では、前記筐体は、それぞれ当該筐体の外観を構成し、互いに交差する第1面部及び第2面部を有し、前記第2面部は、前記第1面部に対して傾斜し、前記透過部材は、前記第2面部に位置することが好ましい。
なお、上記のように、筐体が略直方体形状である場合には、第1面部としては上面部又は底面部を例示でき、第2面部としては正面部を例示できる。また、筐体において観察者と対向する部位は、上記透光性部材により形成されていることが好ましい。
上記関連技術によれば、第1面部に対して傾斜する第2面部に透過部材が位置していることにより、第2面部に対して傾斜した透過部材を有する上記構成と同様の効果を奏することができる。
ここで、透過部材が収容部内に配置されている構成で、かつ、当該収容部内に液体が収容されている場合には、透過部材に投影される画像は、当該液体を通過して透過部材に入射されることとなる。このため、屈折により画像が歪む可能性がある他、透過部材にて反射されて視認される画像の輝度が低下する可能性がある。
これに対し、上記関連技術によれば、透過部材は、第1面部に対して傾斜し、かつ、筐体の外観を構成する第2面部に設けられるので、投影された画像が収容部を通過することがない。従って、収容部に液体が収容されている場合でも、屈折により画像が歪むことを抑制できる他、視認される画像の輝度が低下することを抑制できる。更に、透過部材が第2面部に位置することにより、当該透過部材を容器内に別途配置する必要がない。従って、容器2内の構成を簡略化できる。
【0010】
上記関連技術では、前記筐体は、前記第2面部に対向する第3面部と、前記第2面部に対して前記第3面部とは反対側に位置し、前記透過部材に画像を投影する表示装置が配置される配置部と、を有することが好ましい。
なお、第2面部が正面部である場合には、第3面部は背面部とすることができる。
上記関連技術によれば、配置部は、透過部材が設けられる第2面部に対して第3面部とは反対側、すなわち、透過部材に対して収容部とは反対側に位置している。これによれば、透過部材に対向するように表示装置を配置しやすくすることができる。この他、第2面部が第1面部に対して傾斜していることによって形成される空間に表示装置を配置できるので、容器が不要に大型化することを抑制できる。更に、当該空間は、収容部ではないため、上記歪みの発生や画像の輝度の低下を確実に抑制できる。
【0011】
本発明の第態様に係る画像表示システムは、内部に物体を収容可能な収容部を有する筐体、及び、前記筐体に設けられ、前記収容部から入射される光のうち少なくとも一部の光を透過させるとともに、投影される画像を前記少なくとも一部の光が透過する方向に沿って反射させる透過部材を有する容器と、前記透過部材に画像を投影する表示装置と、前記透過部材を介して前記収容部内を撮像する第1撮像部、及び、前記収容部内とは異なる領域を撮像する第2撮像部の少なくともいずれかを有する撮像装置と、前記撮像装置による撮像画像に基づいて、移動体の動きに応じた画像を前記表示装置に表示させる制御装置と、を備えることを特徴とする。
なお、筐体において透過部材による画像の反射方向の部位は、上記透光性部材により形成されていることが好ましい。
上記第態様によれば、上記関連技術に係る容器と同様の効果を奏することができる。
【0012】
上記第態様では、前記透過部材を介して前記収容部内を撮像する第1撮像部、及び、前記収容部内とは異なる領域を撮像する第2撮像部の少なくともいずれかを有する撮像装置と、前記撮像装置による撮像画像に基づいて、移動体の動きに応じた画像を前記表示装置に表示させる制御装置と、を備える。
なお、移動体の動きに応じた画像としては、例えば、移動体の動きに応じて画像に含まれる仮想体を移動させたり、当該仮想体の形状を変更したりした画像を挙げることができ、より具体的に例示すれば、移動体が透過部材に投影された画像に含まれる仮想体に近づいた場合に、当該移動体の移動方向に沿って仮想体を移動させる画像を挙げることができる。
上記第態様によれば、制御装置が、撮像装置による撮像画像に含まれる現実の移動体の動きに応じた画像を表示でき、画像表示システムによる表示形態の幅を広げることができる。
【0013】
上記第態様では、前記撮像装置は、前記第2撮像部を有し、前記第2撮像部の撮像領域は、投影された前記画像が前記透過部材にて反射される方向の領域であることが好ましい。
ここで、透過部材にて反射された画像を観察する場合、観察者は、当該透過部材による画像の反射方向に位置することとなる。このため、第2撮像部の撮像領域が、当該画像の反射方向の領域であれば、第2撮像部は、観察者が含まれる領域を撮像することとなる。これによれば、制御装置は、観察者の動きを検出できるので、当該観察者の動きに応じた画像を表示装置に表示させることができる。
【0014】
上記第態様では、前記表示装置と一体的に構成された前記撮像装置の撮像方向を調整する調整部材を備えることが好ましい。
なお、調整部材としては、所定方向から入射される光を反射させて撮像装置に導く反射部材を例示できる。
ここで、表示装置と撮像装置とが一体的に構成されている場合、当該撮像装置(第1撮像部及び第2撮像部)の撮像方向が適切な方向に向かない場合が生じうる。
これに対し、上記第態様では、調整部材により、撮像装置の撮像方向を調整できるので、当該撮像装置により適切な方向の領域を撮像できる。
【0015】
上記第態様では、前記制御装置は、前記撮像装置による撮像画像に含まれる前記移動体の位置及び移動方向をオプティカルフローにより検出し、検出された前記移動体の位置及び移動方向に応じた画像を前記表示装置に表示させることが好ましい。
なお、オプティカルフローは、時間的に連続した画像(動画像)の中で物体の動きをベクトルで表したものである。
上記第態様によれば、連続した撮像画像により構成される動画像をオプティカルフローにより解析することで、当該撮像画像に含まれる移動体の位置及び移動方向を検出及び取得できる。そして、制御装置が、取得された移動体の位置及び移動方向に応じた画像を表示させることにより、現実の移動体の動きに合わせた画像を適切に表示できる。
【0016】
上記第態様では、前記制御装置は、前記収容部内の撮像画像に含まれ、かつ、前記表示装置により表示された表示画像内の点に対応する前記制御装置による形成画像内の点の座標を取得し、取得された前記形成画像内の点の座標に基づいて、前記画像を前記表示装置に表示させることが好ましい。
ここで、収容部内の風景に表示画像が重なって観察される状態で、当該表示画像に含まれる仮想体に収容部内の移動体が近づいた際に、当該仮想体を移動させた画像を投影させる場合には、投影される画像における現実の移動体の位置を適切に取得する必要がある。このためには、表示装置により投影される形成画像において、撮像画像における表示画像内の点(移動体の位置に応じた点)に対応する点の座標を把握しておく必要がある。
これに対し、上記第態様では、制御装置が、形成画像において表示画像内の点に対応する点の座標を取得することで、現実の移動体の位置及び移動方向に応じて仮想体を移動させた画像を適切に表示できる。従って、当該移動体の動きに応じた画像を適切かつ確実に表示できる。
【0017】
上記第態様では、前記制御装置は、前記撮像画像に含まれる前記移動体の大きさ及び速度のうち少なくともいずれかに基づいて、前記透過部材に対する前記移動体の奥行を取得し、取得された前記移動体の奥行に応じた画像を表示させることが好ましい。
上記第態様によれば、例えば、表示装置により仮想体が含まれる画像が透過部材に投影されて虚像として視認される状態において、当該虚像の位置に位置する移動体が仮想体に近づいた場合(換言すると、仮想体との奥行位置が一致する移動体が当該仮想体に近づいた場合)には仮想体を動かす画像を表示できる。一方、当該虚像の位置に位置しない移動体が仮想体に近付いた場合(換言すると、仮想体との奥行位置が一致しない移動体が平面的に見て仮想体に近づいた場合)には仮想体が動かない画像を表示できる。これによれば、収容部の奥行を考慮した画像を表示できる。従って、表示される画像においても、観察者に奥行感を付与できる。
【0018】
本発明の第態様に係る画像表示方法は、背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して正面側から画像を投影する表示装置と、前記透過部材の正面側の領域及び前記透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムを用いて行われる画像表示方法であって、前記制御装置が、前記撮像装置による前記正面側の領域及び前記背面側の領域のそれぞれの撮像画像に基づいて、前記透過部材の正面側に位置する正面側移動体、及び、前記透過部材の背面側に位置する背面側移動体のそれぞれの位置及び移動方向を取得し、取得された前記正面側移動体及び前記背面側移動体のそれぞれの位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする。
上記第態様に係る画像表示方法を実施することにより、上記第態様に係る画像表示システムと同様の効果を奏することができる。
【0019】
本発明の第態様に係る画像表示プログラムは、背面側から入射される光のうち少なくとも一部の光を透過させるとともに、正面側から入射される光のうち少なくとも一部の光を反射させる透過部材と、前記透過部材に対して正面側から画像を投影する表示装置と、前記透過部材の正面側の領域及び前記透過部材の背面側の領域を撮像する撮像装置と、前記表示装置を制御する制御装置と、を備えた画像表示システムにおける前記制御装置により実行される画像表示プログラムであって、前記制御装置に、前記撮像装置による前記正面側の領域及び前記背面側の領域のそれぞれの撮像画像に基づいて、前記透過部材の正面側に位置する正面側移動体、及び、前記透過部材の背面側に位置する背面側移動体のそれぞれの位置及び移動方向を取得させ、取得された前記正面側移動体及び前記背面側移動体のそれぞれの位置及び移動方向に応じた画像を前記表示装置に表示させることを特徴とする。
上記第態様に係る画像表示プログラムを制御装置が実行することにより、上記第態様に係る画像表示システムと同様の効果を奏することができる。
【0020】
本発明の第態様に係る記録媒体は、上記画像表示プログラムをコンピューター読取可能に記録したことを特徴とする。
上記第態様によれば、制御装置が記録媒体に記録された上記画像表示プログラムを読み取って実行することで、上記第態様に係る画像表示システムと同様の効果を奏することが可能となる。また、記録媒体として、磁気テープ、ディスク型記録媒体、HDD(Hard Disk Drive)、及び、半導体メモリー等を用いることができ、これらを利用して上記画像表示プログラムを制御装置にてインストール及び実行できる他、当該画像表示プログラムの配布を容易に実施できる。
【図面の簡単な説明】
【0021】
図1】本発明の第1実施形態に係る画像表示システムを示す斜視図。
図2】上記第1実施形態における携帯端末の一例を示す平面図。
図3】上記第1実施形態における携帯端末の構成を示すブロック図。
図4】上記第1実施形態における制御部の構成を示すブロック図。
図5】上記第1実施形態における容器内の風景及び表示画像を示す図。
図6】上記第1実施形態における撮像画像に含まれる移動体の動きを示す図。
図7】上記第1実施形態における撮像画像における点の位置を示す図。
図8】上記第1実施形態における形成画像における点の位置を示す図。
図9】上記第1実施形態における撮像画像における点の位置を示す図。
図10】上記第1実施形態における魚の動きに応じて水草が動く画像が表示された場合に観察される容器内の状態を示す図。
図11】上記第1実施形態における透過部材に対する魚の奥行位置を説明する図。
図12】上記第1実施形態における画像表示処理を示すフローチャート。
図13】上記第1実施形態の変形である画像表示システムを示す斜視図。
図14】上記第1実施形態の変形である画像表示システムを示す斜視図。
図15】上記第1実施形態の変形である画像表示システムを正面側から見た図。
図16】上記第1実施形態の変形である画像表示システムを示す斜視図。
図17】上記第1実施形態の変形である画像表示システムを示す斜視図。
図18】本発明の第2実施形態に係る画像表示システムを示す斜視図。
図19】上記第2実施形態における画像表示システムを正面側から見た図。
図20】上記第2実施形態における撮像画像に含まれる移動体の動きを示す図。
図21】上記第2実施形態における水面の動きを示す図。
図22】上記第2実施形態の変形である画像表示システムを示す斜視図。
図23】本発明の第3実施形態に係る画像表示システムを示す側面図。
図24】上記第3実施形態における携帯端末の背面部を示す図。
図25】上記第3実施形態における撮像画像の一例を示す図。
図26】上記第3実施形態における観察者の手の動きに応じて魚が動く画像が表示された場合に観察される容器内の状態を示す図。
【発明を実施するための形態】
【0022】
[第1実施形態]
以下、本発明の第1実施形態について、図面に基づいて説明する。
図1は、本発明の第1実施形態に係る画像表示システム1の構成を模式的に示す斜視図である。
本実施形態に係る画像表示システム1は、図1に示すように、容器2及び携帯端末3を備え、観察者が容器2内を正面側から観察した際に、容器2内の風景に携帯端末3により投影された画像が重なって観察できるように構成されたものである。また、本実施形態では、携帯端末3は、容器2内の移動体(例えば魚F)の動きを検出し、当該移動体の動きに応じた画像を投影する。
【0023】
[容器の構成]
容器2は、図1に示すように、略直方体形状に形成されて当該容器2の外形を構成する筐体21を有し、当該筐体21内には、液体等を収容可能な収容部22が形成されている。この収容部22内には、本実施形態では、水Wと、現実の移動体である魚Fとが収容されている。このような筐体21は、正面部211、背面部212、上面部213、底面部214及び左右の側面部215,216を有する。
これらのうち、正面部211は、本発明の第2面部に相当し、背面部212は、本発明の第3面部に相当する。また、上面部213及び底面部214は、それぞれ本発明の第1面部に相当する。
【0024】
正面部211は、容器2内を観察できるように少なくとも可視光を透過するガラス又は合成樹脂等の透光性部材により形成されている。この正面部211における底面部214側の位置には、当該正面部211とは反対側に位置する背面部212に向かって凹む配置部23が形成されている。この配置部23内には、後述する携帯端末3が、正面部311が上面部213側を向くように配置される。
【0025】
更に、筐体21内には、矩形板状の透過部材24が配置されている。この透過部材24は、本実施形態ではハーフミラーにより構成されており、当該透過部材24に対して背面部212側から入射される光の一部を透過させるとともに、正面部211側から入射される光の一部を反射させる。
この透過部材24は、上面部213及び底面部214に対して略45°傾斜して配置されている他、正面部211に対して45°傾斜して配置されている。詳述すると、透過部材24は、上記配置部23に配置された携帯端末3から上方に向けて投影された画像(画像を形成する光)を正面部211の法線に沿って反射させるように、下向きに傾斜して配置されている。このため、観察者が正面部211側から容器2内を観察すると、透過部材24を介して当該透過部材24に対して背面部212側の風景を観察できる他、当該風景に重ねて、携帯端末3から投影された画像を観察できる。すなわち、携帯端末3から透過部材24に投影された画像は、透過部材24に対して背面部212側に形成される虚像として視認される。
【0026】
[携帯端末の構成]
図2は、携帯端末3の一例を示す平面図である。
携帯端末3は、スマートフォン(多機能携帯電話機)、タブレット端末及び携帯型ゲーム機等により構成できる。この携帯端末3は、画像を形成及び投影する他、所定の領域内の移動体の動きを検出し、当該移動体の動きに応じた画像を形成及び投影する。本実施形態では、当該所定の領域は、携帯端末3により透過部材24に投影された画像の表示領域内(すなわち、上記虚像の形成領域内)に設定されている。
このような携帯端末3は、図2に示すように、筐体31と、当該筐体31にそれぞれ設けられる表示部32、操作部33、音声出力部34及び撮像部35とを有し、ゲームプログラム等を実行可能な端末装置により構成されている。
【0027】
筐体31は、携帯端末3の外装を構成するものであり、左右の手により把持可能な程度の大きさの略長円形状に形成されている。この筐体31は、正面部311、背面部312(図2では図示省略)、上面部313、底面部314及び左右の側面部315,316を有する。
表示部32は、本発明の表示装置に相当し、正面部311における略中央に配設されている。この表示部32は、矩形状に形成された表示パネルにより構成されており、後述する制御部37の表示制御部371(図4参照)による制御の下、当該表示制御部371により形成される画像を表示する。このような表示パネルとして、有機EL(Electro-Luminescence)や液晶等の表示パネルを例示できる。この表示部32により表示された画像は、携帯端末3が上記配置部23に配置された際には、上記透過部材24にて正面部211側に反射されて観察される。
【0028】
操作部33は、正面部311における表示部32の周囲、及び、上面部313に配設された各種ボタン及びスティックを有し、使用者の入力操作に応じた操作信号を制御部37に出力する。
具体的に、操作部33は、表示部32の左側にそれぞれ位置し、正面部311に対向して見た場合の上下左右の各方向に入力可能な方向ボタン331と、当該各方向に傾倒可能な操作スティック332と、底面部314側に位置する操作ボタン333と、を有する。また、操作部33は、表示部32の右側に位置する4つの操作ボタン334と、操作スティック332と同様の構成を有する操作スティック335と、底面部314側に位置する操作ボタン336,337と、を有する。更に、操作部33は、上面部313の左右両側にそれぞれ位置する操作ボタン338L,338Rを有する。
【0029】
音声出力部34は、正面部311における左右両端近傍にそれぞれ配設されたスピーカー34L,34Rを有する。この音声出力部34は、後述する制御部37の音声出力制御部373(図4参照)から入力される音声信号に応じた音声を、スピーカー34L,34Rにより出力する。
撮像部35は、本発明の撮像装置に相当し、正面部311における右側上部に配設された第1撮像部としてのカメラ351を有する。この撮像部35は、当該カメラ351による撮像画像を制御部37に出力する。なお、カメラ351の撮像方向は、携帯端末3が上記配置部23に配置された際に、上記虚像の形成領域が含まれるように設定される。
【0030】
図3は、携帯端末3の構成を示すブロック図である。
携帯端末3は、図3に示すように、上記構成32〜35の他、記憶部36及び制御部37を備え、これら構成32〜37は、互いにバスラインBLにより接続されている。
記憶部36は、携帯端末3の動作に必要なプログラム及びデータを記憶している。例えば、記憶部36は、携帯端末3の動作を制御するOS(Operating System)、ゲーム等のアプリケーションプログラム、及び、後述する画像表示処理を実行させる画像表示プログラムを記憶している。このような記憶部36は、フラッシュメモリー等の不揮発性メモリーやHDD(Hard Disk Drive)により構成できる。
【0031】
[制御部の構成]
図4は、制御部37の構成を示すブロック図である。
制御部37は、CPU(Central Processing Unit)等を有し、携帯端末3の動作を制御する制御装置である。具体的に、制御部37は、当該CPUが記憶部36に記憶されたプログラムを読み出して処理することで、使用者の入力操作(操作部33から入力される操作信号)に応じて、或いは、自律的に携帯端末3を制御する。
この他、制御部37は、CPUが上記画像表示プログラムを実行することで、収容部22内の現実の移動体の動きに応じた画像を表示部32に表示させる画像表示処理を実行する。このため、制御部37は、図4に示すように、表示制御部371、撮像制御部372、音声出力制御部373、移動体検出部374、座標取得部375及び奥行取得部376を有する。
【0032】
表示制御部371は、携帯端末3の動作状態を示す画像や、上記収容部22内の移動体の動きに応じた画像を描画メモリー(図示省略)に描画し、当該画像に応じた画像信号を表示部32に出力することで、当該画像を表示部32に表示させる。
【0033】
図5は、正面部211側から容器2内を観察した場合に視認される風景SC及び表示画像DPを示す図である。なお、図5においては、実際の風景SCと表示画像DPとを区別するため、当該表示画像DPの外縁を一点鎖線で示している。
ここで、本実施形態では、上記のように、収容部22内に水W及び魚Fが収容されている。このため、透過部材24に画像が投影されていない場合には、正面部211側から容器2内を観察すると、図5における左上に示すように、水Wの中を魚Fが泳いでいる風景SCを観察できる。
【0034】
この状態で、表示制御部371により、例えば図5における右上に示す表示画像DP(仮想体である水草PW及び魚PFが含まれる表示画像DP)が表示部32により表示されると、例えば図5における下段に示すように、透過部材24を透かして容器2内の上記風景SCとともに、当該透過部材24にて反射された表示画像DPが虚像として観察される。このため、観察者により、当該風景SCに表示画像DPが重なって観察される。
なお、上記図5の例では、表示制御部371は、容器2内の風景SCと関連性が高い表示画像DPを表示させているが、関連性が低い表示画像DPを表示させてもよい。
【0035】
撮像制御部372は、撮像部35の動作を制御する。具体的に、撮像制御部372は、撮像部35に所定周期(フレームレート)で撮像させる。そして、撮像制御部372は、撮像部35から入力される連続した撮像画像である動画像を取得し、記憶部36に記憶させる。
音声出力制御部373は、音声出力部34を制御して、所定の音声を出力させる。例えば、表示制御部371により、仮想体である上記魚PFが水面を跳ねる画像が表示される際に、音声出力制御部373は、当該魚PFが水面を跳ねる音を音声出力部34に出力させる。
【0036】
図6は、撮像画像に含まれる移動体である魚Fの動きを示す図であり、換言すると、図6は、当該魚Fの動きをオプティカルフローによる動きベクトルで示した図である。なお、図6においては、魚Fの位置を点線で示している。
移動体検出部374は、撮像制御部372により取得された動画像を解析して、当該動画像に含まれる移動体(例えば、魚F)を検出し、更に、当該移動体の位置及び移動方向を検出する。このような移動体検出部374は、例えば図6に示すように、当該動画像をオプティカルフローにより解析し、当該移動体の位置及び移動方向を検出する。なお、オプティカルフローは、時間的に連続した画像(動画像)の中で物体の動きをベクトルで表したものである。
【0037】
座標取得部375は、撮像画像における座標と、表示制御部371により形成される画像(形成画像)における座標とを対応させる機能部である。
ここで、表示制御部371が、現実の移動体である上記魚Fの動きに応じて、表示画像に含まれる仮想体の位置、形状及び動きを変更するためには、撮像画像における座標(詳しくは、撮像画像における表示画像の座標)と、表示制御部371による形成画像の座標とを対応させ、形成画像における移動体の位置、或いは、撮像画像における仮想体の位置を適切に把握しておく必要がある。
例えば、上記水草PWを含む表示画像DPの表示時に、当該水草PWの表示位置近傍に魚Fが移動してくると、当該魚Fの動きに応じて水草PWを揺らす表示画像DPを表示させようとする場合、水草PWの表示位置近傍に当該魚Fが位置するか否かを判定する必要がある。この判定を実施するためには、撮像画像における魚Fの位置が、形成画像においてどの位置に対応しているのかを適切に把握しておく必要がある。換言すると、当該判定を実施するためには、形成画像における現実の魚Fの位置、或いは、撮像画像における仮想体である水草PWの位置を適切に把握しておく必要がある。
【0038】
このため、表示制御部371により複数の点を含むキャリブレーション用画像を表示させ、表示された当該複数の点の位置を撮像画像から取得し、これにより、撮像画像における表示画像の位置及び座標を取得することで、当該撮像画像の座標と形成画像の座標とを対応させる方法が考えられる。しかしながら、このような手法は、比較的長い時間を要する他、配置部23における携帯端末3の位置、当該携帯端末3の種類、及び、撮像部35を構成するカメラ351の位置が変わるたびに実施する必要があり、面倒である。
【0039】
これに対し、以下に示す第1方法及び第2方法のいずれかを用いて撮像画像の座標と形成画像の座標とを対応付けることにより、対応付けのための処理を簡略化できる。
第1方法は、撮像画像において表示画像の表示領域内に位置する点(例えば、移動体の位置を示す点)に基づいて分割された当該表示領域の面積により、形成画像における当該点の座標を算出する方法である。
【0040】
図7は、撮像画像CPにおける表示画像DP内の点Pの位置を示す図である。また、図8は、形成画像FPにおける点Pの位置を示す図である。なお、図1に示したように、表示部32による表示画像DPは、透過部材24により反射されて観察されるので、携帯端末3は、当該表示画像DPが観察された場合とは上下が逆である形成画像FPを形成する。このため、図8に示す形成画像FPの上下は、図7に示す表示画像DPの上下と逆になっている。
具体的に、図7に示すように、撮像画像CPに含まれる表示画像DP(頂点ABCDを結ぶ辺縁により外縁が形成される形成画像FPが表示され、上記虚像として視認される表示画像DP)において、頂点A,Cと、当該表示画像DP内の点Pとにより形成される三角形ACPの面積をS0とする。同様に、三角形CDPの面積をS1とし、三角形BDPの面積をS2とし、三角形ABPの面積をS3とする。
これらにより、図8に示すように、上記形成画像FPにおける上記点Pの座標を(x,y)とすると、当該x及びyは、それぞれ以下の式(1)により求めることができる。
なお、撮像画像における頂点ABCDの位置は、形成画像FPにおける頂点ABCDを異なる色とし、撮像画像から当該各色の位置を検出することで取得できる。また、三角形ACPの面積は、ヘロンの公式等を用いて算出できる。
【0041】
【数1】
【0042】
図9は、撮像画像CPにおける表示画像DP内の点Pの位置を示す図である。
一方、第2方法は、以下の式(2)により、図8に示した形成画像FPにおける点の座標である(x,y)から撮像画像CPにおける点Pの位置を求める方法である。なお、撮像画像における頂点ABCDの位置は、上記と同様の手法により取得できる。
この式(2)は、形成画像FPの点を画面サイズで正規化された座標(x,y)とし、図9に示す撮像画像CPにおいて線分AB,CDをそれぞれx:1−xで内分する点をM,Nとし、撮像画像CPにおいて線分MNをy:1−yで内分する点をPとして表したものである。この式(2)により、形成画像FPにおける点Pの座標と、撮像画像CPにおける点Pの座標とを対応させることができる。
【0043】
【数2】
【0044】
図10は、容器2内を正面部211側から見た場合に、現実の移動体である魚Fが仮想体である水草PWの表示位置に移動したことに応じて、当該水草PWを魚Fの移動方向とは反対方向に揺らした画像が携帯端末3により表示された場合に観察される容器2内の状態を示す図である。
上記第1方法又は第2方法により、座標取得部375は、表示制御部371による形成画像FPの座標と、撮像画像CPの座標とを対応付けることができる。
このため、例えば、現実の移動体である魚Fの移動方向が、仮想体である水草PW(PW1,PW2)のうち右側の水草PW1の表示位置に向かう方向であり、かつ、当該魚Fの位置が、水草PW1の表示位置に近づいた場合に、図10に示すように、水草PW1が魚Fの移動方向とは反対方向に揺れる表示画像DPを表示できる。これにより、現実の移動体(魚F)と仮想体(水草PW1)とが関連した風景及び画像を、観察者に観察させることができる。
【0045】
ところで、携帯端末3による表示画像DPは、上記のように、透過部材24の奥側にて虚像として視認されるが、収容部22は所定の奥行寸法を有することから、当該虚像に対して奥側に魚Fが位置する場合もある。従って、容器2の奥行方向における移動体の位置を推定し、当該移動体の位置に応じて画像を形成及び表示することで、観察される風景及び画像に奥行感を付与できる。
このような奥行感の付与のため、奥行取得部376は、撮像部35によって取得される動画像(撮像画像)からオプティカルフローを用いて移動体(魚F)の大きさ及び移動速度を取得し、当該移動体の大きさ及び移動速度に基づいて、携帯端末3からの移動体の相対的な距離(換言すると、透過部材24から上記奥行方向の距離)を推定及び取得する。
【0046】
図11は、透過部材24に対する魚Fの奥行位置を説明する図である。
ここで、図11に示すように、透過部材24に対して背面側に位置する魚Fが当該透過部材24に最も近い位置L1に位置する場合、撮像画像においては、当該魚Fは最も大きく撮像され、当該魚Fの移動速度は最も高くなる。一方、当該魚Fが透過部材24から最も遠い位置L2に位置する場合には、撮像画像においては、当該魚Fは最も小さく撮像され、当該魚Fの移動速度は最も低くなる。他方、魚Fが位置L1,L2の間の位置L3に位置する場合には、撮像画像においては、当該魚Fは、位置L1に位置する場合より小さく、かつ、位置L2に位置する場合より大きく撮像されるとともに、魚Fの移動速度は、位置L1に位置する場合より低く、かつ、位置L2に位置する場合より高くなる。
【0047】
このため、奥行取得部376は、取得される移動体の大きさ及び移動速度の少なくともいずれかに基づいて、当該移動体の相対的な距離を推定及び取得する。
そして、表示制御部371は、例えば、魚Fが上記虚像の表示位置に近い位置L1で、かつ、上記水草PW1の表示位置近傍に移動した場合には、水草PWが揺れる上記表示画像DPを表示する一方で、上記位置L2,L3に魚Fが位置する場合には、水草PWの表示位置近傍に魚Fが移動しても、当該水草PWが揺れる表示画像を表示しないようにする。これにより、観察者に容器2内の奥行感を感じさせることができる。
【0048】
[画像表示処理]
図12は、携帯端末3にて行われる画像表示処理を示すフローチャートである。
上記制御部37は、CPUが上記画像表示プログラムを実行することにより、以下に示す画像表示処理を実行し、これにより上記画像を形成及び表示する。
この画像表示処理では、図12に示すように、まず、撮像制御部372が、撮像部35を制御して、カメラ351による撮像画像(動画像)を取得する(ステップS1)。
次に、移動体検出部374が、取得された撮像画像を上記のように処理して、当該撮像画像における移動体の位置及び移動方向を取得する(ステップS2)。
そして、座標取得部375が、撮像画像における移動体の位置に対応する形成画像における座標を取得する(ステップS3)。
また、奥行取得部376が、上記撮像画像における移動体の大きさ及び移動速度に基づいて、当該移動体の奥行位置を取得する(ステップS4)。
この後、表示制御部371が、取得された各情報に応じた画像を形成し、当該画像を表示部32に表示させる(ステップS5)。
このような画像表示処理により、上記表示画像DPのような画像が表示される。
【0049】
[第1実施形態の効果]
以上説明した本実施形態に係る画像表示システム1によれば、以下の効果がある。
容器2の筐体21に設けられた透過部材24は、収容部22から入射される光の少なくとも一部を透過させる。これによれば、透過部材24を介して背面側の収容部22内を観察できる。また、透過部材24は、正面側の配置部23に位置する携帯端末3から投影された画像を反射させるので、当該画像の反射方向に位置する観察者は、透過部材24に投影された画像を観察できる。更に、透過部材24による画像の反射方向は、収容部22から入射される光が透過部材24を透過する方向に沿うので、当該光の進行方向(画像の反射方向)に位置する観察者は、投影された画像が重なった収容部22内の風景を観察できる。従って、容器2内の風景や投影された画像をそれぞれ観察できる他、容器2内の風景に表示画像が重なった新たな表示形態を提供できる。
【0050】
観察者が正面部211(第2面部)に対向する場合、当該正面部211及び透過部材24を介して容器2内を観察できる。また、この場合、上面部213及び底面部214(第1面部)と正面部211とに対して傾斜して配置された透過部材24にて、底面部214側に配置された携帯端末3から投影された画像が正面部211側に反射されるので、正面部211側に位置する観察者は当該画像を観察できる。従って、観察者は、正面部211側から、当該画像(表示画像)が重なった容器2内の風景を確実に観察できる。また、この場合には、透過部材24は、容器2内に収納されるので、当該透過部材24が容器2の外側に位置することがなく、当該容器2を小型化できる。
【0051】
筐体21の正面部211における底面部214側には、携帯端末3が配置される配置部23が設けられている。これによれば、透過部材24に対向するように携帯端末3を配置しやすくすることができる他、携帯端末3が不要に動くことを抑制できる。
【0052】
撮像部35は、透過部材24を介して収容部22内を撮像するカメラ351を有し、制御部37は、撮像部35による撮像画像に基づいて、収容部22内の魚Fの動きに応じた画像を表示部32に表示させる。これによれば、現実の移動体である魚Fの動きに関連する画像を表示できる。
【0053】
撮像部35による撮像画像をオプティカルフローにより解析する移動体検出部374により、撮像画像における移動体の位置及び移動方向を正確に取得できる。また、表示制御部371が、検出された移動体の位置及び移動方向に応じた画像を表示部32に表示させることにより、現実の移動体の動きに合わせた画像を適切に表示できる。従って、画像表示システム1の興趣を高めることができる。
【0054】
座標取得部375は、上記第1方向又は第2方向によって撮像画像CPにおける表示画像DP内の点Pに対応する形成画像FP内の点の座標を取得する。これによれば、撮像画像CPにおける表示画像DPの座標と、形成画像FPの座標とを対応させることができるので、表示制御部371が、現実の移動体である魚Fが仮想体である水草PWに近づいた場合に、当該水草PWを揺らした画像を表示部32に表示させることができる。従って、形成画像FPにおける現実の移動体の位置及び移動方向を適切に把握でき、当該移動体の位置及び移動方向に応じて仮想体を動かす画像を適切に表示できる。
【0055】
奥行取得部376は、撮像画像に含まれる移動体の大きさ及び速度に基づいて、透過部材24に対する移動体の奥行を取得する。これによれば、例えば、仮想体である水草PWの奥行方向の表示位置と一致する魚Fが当該水草PWに近づいた場合には水草PWを揺らした画像を表示でき、水草PWの奥行方向の表示位置と一致しない魚Fが平面的に見て当該水草PWに近づいた場合には水草PWが動かない画像を表示できる。従って、収容部22の奥行を考慮した画像を表示できるので、観察者に奥行感を付与できる。
【0056】
[第1実施形態の第1変形例]
図13は、画像表示システム1の変形である画像表示システム1Aを模式的に示す斜視図である。
上記画像表示システム1では、容器2は、正面部211における底面部214側の位置に配置部23を有し、当該配置部23に配置された携帯端末3が、傾斜した透過部材24に下方から上方に向けて画像を投影する構成であった。しかしながら、上記機能を有する画像表示システムは、このような構成に限らない。例えば、容器2に代えて図13に示す容器2Aを採用した画像表示システム1Aとしてもよい。
【0057】
この容器2Aは、図13に示すように、略直方体形状に形成されて当該容器2Aの外形を構成する筐体21Aを有し、当該筐体21A内には、収容部22が形成されている。また、当該筐体21A内には、矩形板状の透過部材24が配置されている。
ここで、上記容器2では、正面部211における底面部214側の位置に配置部23が設けられているのに対し、容器2Aでは、携帯端末3が配置される配置部23Aは、上面部213における正面部211側の位置に設けられている。そして、携帯端末3は、正面部311が底面部214側を向くようにして、当該配置部23Aに配置される。
【0058】
このように容器2Aでは、携帯端末3は容器2に対する位置とは逆の位置に位置することとなるため、当該携帯端末3から投影された画像を正面部211側に反射させる透過部材24の向きも逆となる。
具体的に、透過部材24は、上記容器2における配置と同様に、上面部213及び底面部214に対して略45°傾斜し、更に正面部211に対して略45°傾斜して配置されているが、配置部23Aに配置された携帯端末3から下方に向けて投影された画像を正面部211の法線に沿って反射させるように、上向きに傾斜して配置されている。
このような容器2A及び上記携帯端末3を備えた画像表示システム1Aでも、上記画像表示システム1と同様の効果を奏することができる。
【0059】
[第1実施形態の第2変形例]
上記画像表示システム1,1Aでは、容器2,2A内に配置される透過部材24の幅寸法(左右の側面部215,216間を接続する方向の寸法)及び高さ寸法(上面部213及び底面部214間を接続する方向の寸法)は、正面部211側から容器2内を見た場合に、当該正面部211の幅寸法及び高さ寸法と一致するように設定していた。しかしながら、透過部材24の大きさは、これに限らない。すなわち、透過部材24の寸法は、適宜変更可能である。例えば、幅寸法が上記透過部材24より小さい透過部材を採用してもよい。
【0060】
図14は、画像表示システム1の変形である画像表示システム1Bを模式的に示す斜視図であり、図15は、当該画像表示システム1Bを容器2Bの正面部211側から見た図である。
画像表示システム1Bは、図14及び図15に示すように、容器2に代えて容器2Bを有する他は、画像表示システム1と同様の構成及び機能を有し、容器2Bは、透過部材24に代えて透過部材24Bを有する他は、容器2と同様の構成及び機能を有する。
この容器2Bでは、透過部材24に比べて幅寸法が小さい透過部材24B、すなわち、正面部211より幅寸法が小さい透過部材24Bが、携帯端末3からの画像の投影範囲に応じて筐体21内に配置されている。このことにより、当該透過部材24Bの幅方向における両脇には隙間Sが形成されており、当該隙間Sを介して、上記魚Fは、透過部材24Aの正面側及び背面側に移動可能である。
【0061】
このような構成の画像表示システム1Bによれば、上記画像表示システム1,1Aと同様の効果を奏することができる他、現実の移動体である魚Fを仮想体の虚像が表示される透過部材24Bの正面側に移動させることができ、表示のバリエーションを拡張できる。
なお、当該画像表示システム1Bでは、容器2と同じ筐体21を有する容器2Bを採用したが、透過部材24に代えて透過部材24Bを有する上記容器2Aを採用してもよい。
【0062】
[第1実施形態の第3変形例]
図16は、画像表示システム1の変形である画像表示システム1Cを模式的に示す斜視図である。
上記画像表示システム1では、容器2は、略直方体形状に形成された筐体21を有し、透過部材24は、上面部213及び底面部214だけでなく、正面部211に対しても略45°傾斜するように筐体21内に配置されるとした。しかしながら、上記機能を有する画像表示システムは、このような構成に限らない。例えば、容器2に代えて図16に示す容器2Cを採用した画像表示システム1Cとしてもよい。
【0063】
この容器2Cは、図16に示すように、正面部211が上面部213及び底面部214のそれぞれに対して略45°傾斜した筐体21を備える。すなわち、正面部211は、底面部214側から上面部213側に向かうに従って背面部212から離間するように傾斜して形成されている。
この正面部211には、上記透過部材24が設けられている。換言すると、正面部211は、透過部材24により構成され、当該透過部材24の正面は下向きに傾斜している。この正面部211に対して正面側に配置された携帯端末3にて表示された画像が投影され、当該画像を透過部材24にて正面側に反射させることで、当該画像を観察者に視認させている。また、観察者は、透過部材24が設けられた正面部211を介して容器2内を観察できるので、携帯端末3により画像が表示される場合には、容器2内の風景に当該画像が重なって観察される。なお、透過部材24を、正面部211において携帯端末3からの画像の投影範囲に応じて配置する構成としてもよい。
このような画像表示システム1Cにおいては、携帯端末3の配置部は、容器2Cの正面側の位置となる。
【0064】
以上説明した画像表示システム1Cによれば、上記画像表示システム1Aと同様の効果を奏することができる他、以下の効果を奏することができる。
透過部材24は、上面部213及び底面部214のそれぞれに対して傾斜する正面部211に設けられる。すなわち、透過部材24は、当該正面部211を構成する。これによれば、収容部22は、透過部材24の背面側に位置することとなる。従って、当該収容部22内に液体が収容される場合でも、透過部材24に入射されて反射される画像が、屈折により歪むことを抑制できる他、視認される画像の輝度が低下することを抑制できる。更に、上面部213及び底面部214と正面部211とのそれぞれに対して傾斜する透過部材24を容器2C内に別途配置する必要がないので、容器2C内の構成を簡略化できる。
【0065】
また、携帯端末3は、上面部213及び底面部214のそれぞれに傾斜する正面部211に対する背面部212側とは反対側(すなわち正面側)の空間に配置される。すなわち、正面部211が上面部213及び底面部214に対して傾斜することで形成される空間に、携帯端末3を配置できる。これによれば、画像表示システム1Cが不要に大型化することを抑制できる。この他、携帯端末3の厚さ寸法が比較的大きい場合や、上記カメラ351による撮像範囲を拡大したり、或いは、当該カメラ351の撮像方向を調整したりするレンズ及びプリズム等の部材(例えば、後述する調整部材4)が携帯端末3に設けられている場合でも、携帯端末3を好適に配置できる。
【0066】
図17は、画像表示システム1の変形である画像表示システム1Dを示す図である。
また、容器2に代えて図17に示す容器2Dを採用して、画像表示システム1Dを構成してもよい。
この容器2Dは、図17に示すように、正面部211が底面部214に対して上記容器2Cとは逆に略45°傾斜した筐体21Dを備える。すなわち、正面部211は、底面部214側から上面部213側に向かうに従って背面部212に近接するように傾斜して形成されている。この正面部211には、上記容器2Cと同様に、透過部材24が設けられている。換言すると、正面部211は、透過部材24により構成されており、当該透過部材24の正面は上向きに傾斜している。なお、上記のように、正面部211において上記投影範囲に応じた位置に透過部材24を配置する構成としてもよい。
【0067】
上面部213は、正面部211より正面側に延出しており、その延出部分に、表示部32が下方(底面部214側)を向くように携帯端末3が配置される配置部23Dを有する。この配置部23Dは、可視光を透過する透光性部材によって構成されており、携帯端末3は、当該配置部23D及び透過部材24を介して、当該透過部材24の背面側に位置する収容部22内を撮像する他、透過部材24にて反射された表示画像DPを撮像する。
このような画像表示システム1Dにおいても、上記画像表示システム1,1Cと同様の効果を奏することができる。
【0068】
[第2実施形態]
次に、本発明の第2実施形態について説明する。
本実施形態に係る画像表示システムは、上記画像表示システム1,1A〜1Dと同様の構成を有する。ここで、当該画像表示システム1,1A〜1Dでは、容器2,2A〜2D内に位置する現実の移動体である魚Fの動きを検出し、当該魚Fの動きに応じて仮想体である水草PWを揺らす画像を表示する等した。これに対し、本実施形態に係る画像表示システムでは、携帯端末3は、水面の動きを検出し、当該水面に浮くように表示した仮想体を移動させる。この点で、本実施形態に係る画像表示システムと、上記画像表示システム1,1A〜1Dとは相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
【0069】
図18は、本実施形態に係る画像表示システム1Eの構成を示す模式図である。また、図19は、当該画像表示システム1Eを構成する容器2D内を正面部211側から見た図である。
本実施形態に係る画像表示システム1Eは、図18に示すように、上記画像表示システム1Dと同様に、容器2D及び携帯端末3を備える。
これらのうち、容器2D内の収容部22には、満水時の1/3程度の水Wが注がれており、水W中には魚Fが泳いでいる。
一方、配置部23Dに配置された携帯端末3では、表示制御部371による制御の下、仮想体であるアヒルDを含む画像が表示部32により透過部材24に投影され、これにより、図19に示すように、水面W1上に浮かんでいるように当該アヒルDが観察される。なお、上記カメラ351の撮像方向は、透過部材24を介して移動体である水面W1を撮像可能な方向に設定されている。
【0070】
図20は、カメラ351による撮像画像CPに含まれる移動体である水面W1の動きを示す図であり、換言すると、図20は、当該水面W1の動きを動きベクトルで示した図である。なお、携帯端末3の底面部314が背面側となるように配置されているため、撮像画像CPの向きは、図20の図面視における上側が容器2Dにおける正面部211側となり、右側が容器2Dにおける左側面部215側となっている。
本実施形態では、携帯端末3の制御部37を構成する移動体検出部374は、撮像制御部372により取得された動画像を解析して、当該動画像に含まれる移動体である水面W1の動きを検出する。例えば、図19に示したように、魚Fが水面W1に近づくように浮上した場合、当該魚Fの位置の水面W1が盛り上がり、波紋が生じる。このような場合に、移動体検出部374は、撮像部35により撮像された動画像をオプティカルフローにより解析して、図20に示す水面W1の動きベクトルを検出する。
【0071】
そして、座標取得部375が、撮像画像CPにおける波紋の起点の座標と、表示制御部371により形成される画像(形成画像)における波紋の起点の座標とを対応させ、表示制御部371が、当該起点から波紋が広がる方向(図20において点線の矢印により示される方向)に、仮想体であるアヒルDが移動する画像を表示させる。これにより、現実の移動体である水面W1上に位置する仮想体であるアヒルDが、当該水面W1の動きに合わせて移動する様子を観察させることができる。
このようにカメラ351が水面W1を上側から撮像するように携帯端末3が配置されていれば、容器2Dの奥行方向における波紋の起点を容易に把握できる。
【0072】
図21は、使用者の指FNによって生じた波紋による水面W1の動きを示す図である。
なお、波紋を生じさせるものは、上記魚Fに限らず、他のものでもよい。例えば、図21に示すように、使用者の指FNが水面W1に触れることで生じる波紋によっても水面W1に動きが生じる。このような場合でも、移動体検出部374、座標取得部375及び表示制御部371により、波紋が広がる方向に仮想体であるアヒルDが移動する画像が表示される。
このような画像表示システム1Eによっても、上記画像表示システム1,1A〜1Dと同様の効果を奏することができる。
【0073】
[第2実施形態の変形]
図22は、画像表示システム1Eの変形である画像表示システム1Fの構成を模式的に示す斜視図である。
上記画像表示システム1Eでは、図18に示したように、携帯端末3が上面部213に設けられた配置部23Dに配置され、カメラ351が水面W1を上側から撮像する構成であった。これに対し、図22に示す画像表示システム1Fのように、容器2Cを採用して、携帯端末3のカメラ351が、水面W1を下側から撮像する構成としてもよい。このような場合でも、上記画像表示システム1Eと同様の効果を奏することができる。
【0074】
[第3実施形態]
次に、本発明の第3実施形態について説明する。
本実施形態に係る画像表示システムは、上記画像表示システム1Dと同様の構成を備える他、観察者の動きを検出して、当該動きに応じた画像を表示する。この点で、本実施形態に係る画像表示システムと、上記画像表示システム1Dとは相違する。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
【0075】
図23は、本実施形態に係る画像表示システム1Gの構成を模式的に示す側面図である。また、図24は、携帯端末3の背面部312を示す図である。
本実施形態に係る画像表示システム1Gは、図23に示すように、上記画像表示システム1Dと同様に、容器2D及び携帯端末3を備え、当該画像表示システム1Dと同様の作用及び機能を有する。
これらのうち、携帯端末3は、図24に示すように、筐体31の背面部312に設けられ、上記撮像部35を構成するカメラ352を備える。そして、撮像部35は、上記カメラ351による撮像画像だけでなく、カメラ352による撮像画像も、上記制御部37に出力する。このカメラ352は、本発明の第2撮像部に相当する。なお、本実施形態では、カメラ352の解像度は、正面部311に設けられた上記カメラ351の解像度より低いが、これに限らず、当該カメラ351の解像度以上であってもよい。
なお、背面部312の左右両端近傍には、それぞれ楕円形状に形成された一対の凹部3121が設けられており、当該各凹部3121に左右の中指等を配置することで、携帯端末3を把持しやすいように構成されている。更に、当該一対の凹部3121に挟まれる領域には、上記操作部33を構成するタッチパネル339が設けられている。
【0076】
ここで、上記カメラ351は、正面部211に位置する透過部材24を介して収容部22内を撮像するのに対し、カメラ352は、容器2Dの正面側に位置する観察者を撮像する。しかしながら、各カメラ351,352の撮像方向は、それぞれ正面部311及び背面部312に直交する方向を中心とする方向であることが多い。
このため、画像表示システム1Gは、図23に示すように、各カメラ351,352の撮像方向を調整する調整部材4を備える。
【0077】
調整部材4は、ミラーやプリズム等により構成される2つの反射部材41,42を有し、反射部材41は、カメラ351近傍に取り付けられ、当該カメラ351の撮像方向を、透過部材24を介して収容部22内を向くように調整する。また、反射部材42は、カメラ352近傍に取り付けられ、当該カメラ352の撮像方向を、容器2Dの正面側に位置する観察者に向くように調整する。
なお、調整部材4は上記画像表示システム1,1A〜Fに採用可能である。
【0078】
図25は、カメラ352により撮像された撮像画像CP1の一例を示す図である。
携帯端末3は、本実施形態においても、上記画像表示処理と同様の画像表示処理を実行する。この際、上記移動体検出部374は、カメラ351による撮像画像に含まれる現実の移動体(例えば魚F)の位置及び移動方向を検出する他、カメラ352による撮像画像に含まれる現実の移動体の位置及び移動方向を検出する。すなわち、移動体検出部374は、各カメラ351,352により撮像された撮像画像である動画像に含まれる現実の移動体の位置及び移動方向を、当該動画像ごとに検出する。
このため、例えば図25に示すように、観察者USが手Hを振るような撮像画像CP1が、カメラ352により撮像されて取得された場合には、移動体検出部374により、当該観察者USの手Hの位置及び移動方向が検出される。
【0079】
図26は、上記撮像画像CP1に含まれる観察者USの手Hの動きに応じて、魚PFを移動させた表示画像DP1を携帯端末3が表示した場合の容器2D内の状態を示す図である。なお、図26においては、表示画像DP1の表示領域における観察者US及び手Hの位置を点線で示している。
そして、表示制御部371が、図26に示すように、観察者USの手Hの位置に仮想体である魚PFが寄って来る表示画像DP1を形成及び表示する。これにより、観察者USから見て、現実の移動体である観察者USの手Hの動きに応じて仮想体である魚PFが移動する表示画像DP1を表示できる。
なお、カメラ351による収容部22内の撮像画像に含まれる現実の移動体である魚Fの動きに応じて、例えば、仮想体である魚PFや水草PWを移動させた表示画像を表示可能であることは、上記画像表示システム1,1A〜1Dと同様である。また、現実の移動体である水面W1の動きに応じて、例えば、仮想体である上記アヒルDが移動する表示画像を表示可能であることは、上記画像表示システム1E,1Fと同様である。
【0080】
[第3実施形態の効果]
以上説明した本実施形態に係る画像表示システム1Gによれば、上記画像表示システム1,1A〜1Fと同様の効果を奏することができる他、以下の効果を奏することができる。
撮像部35は、上記カメラ351の他、透過部材24により画像が反射される方向の領域、すなわち、観察者USが位置する領域を撮像するカメラ352を有する。これによれば、上記移動体検出部374が、当該カメラ352による撮像画像に含まれる現実の移動体(観察者US)の位置及び移動方向を検出することで、表示制御部371が、当該移動体の動き(観察者USの手Hの動き)に応じた画像を表示部32に表示させることができる。
【0081】
携帯端末3は、正面部311に位置するカメラ351の撮像方向を調整する反射部材41と、背面部312に位置するカメラ352の撮像方向を調整する反射部材42とを有する調整部材4を備える。これによれば、当該調整部材4により、各カメラ351,352の撮像方向を適切な向きに調整できるので、適切な領域を撮像部35により撮像できる。
【0082】
[第3実施形態の変形]
上記画像表示システム1Gでは、正面部311に位置するカメラ351による撮像画像に含まれる魚Fの動きに応じて表示画像を変更するだけでなく、背面部312に位置するカメラ352による撮像画像に含まれる観察者の動きに応じて表示画像を形成及び表示するとした。しかしながら、これに限らない。すなわち、正面部311に位置するカメラ351による撮像画像から、収容部22内の像が含まれる画像(収容部22内の画像)と、透過部材24にて反射される観察者の像が含まれる画像(正面側の画像)とを分離し、当該観察者の動きに応じて表示画像を変更してもよい。
【0083】
例えば、上記移動体検出部374が、カメラ351による撮像画像から、収容部22内の画像と、容器2,2A〜2Dに対して正面側の画像とを分離し、それぞれの画像から現実の移動体の位置、形状及び移動方向を検出してもよい。このような構成によれば、カメラ352は無くてもよく、また、上記調整部材4の反射部材42を設ける必要もない。
このような画像の分離は、例えば、各画像の明度によって分けることができる。すなわち、カメラ351により撮像される収容部22内の画像の明度は、当該透過部材24にて反射されて撮像される正面側の画像の明度より高い。このため、当該明度の違いに基づいて、カメラ351による撮像画像から、収容部22内の画像と、上記正面側の画像とを分離できる。
【0084】
なお、明度によって画像を分離する構成に限らず、他の特性によって各画像を分離してもよい。例えば、上記透過部材24の構成として、P偏光及びS偏光のうちの一方の偏光光を透過して他方の偏光光を反射させる偏光分離層を有する構成を採用して、偏光方向によって撮像画像を分離する構成としてもよい。
この場合、例えば、背面部212側から入射される上記一方の偏光光は、偏光分離層を有する透過部材24を透過して正面部211側に進むことから、当該一方の偏光光はカメラ351に入射されることとなり、当該透過部材24を介して収容部22内を撮像できる。一方、正面部211側から透過部材24に入射される光のうち、上記一方の偏光光は透過部材24の偏光分離層を透過するが、他方の偏光光は反射されてカメラ351に入射される。このため、収容部22内の画像を取得する場合と、容器2,2A〜2Dの正面側の画像を取得する場合とで、カメラ351に入射される偏光光を切り替えることにより、当該各画像を個別に取得できる。なお、入射される偏光光を切り替える構成に代えて、カメラ351が有する撮像素子の画素又は領域ごとに、上記一方の偏光光を透過する偏光素子と、他方の偏光光を透過する偏光素子との一方を設ける構成としてもよい。
【0085】
[実施形態の変形]
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記各実施形態では、容器2,2A〜2Dの収容部22内には、水W及び魚Fが収容されているとしたが、本発明はこれに限らない。すなわち、収容部22内に収容される物体は、他のものでもよい。例えば、移動体として動物や玩具等の機械が収容されていてもよく、また、移動体は収容されていなくてもよい。
【0086】
上記各実施形態では、透過部材24は、上面部213及び底面部214に対して45°傾斜して配置されているとした。しかしながら、本発明はこれに限らない。例えば、透過部材24は、左側面部215及び右側面部216に対して傾斜していてもよい。また、透過部材24の傾斜角は45°に限らず、他の角度であってもよい。すなわち、所定の位置に配置された携帯端末3(表示装置)から投影された画像を、観察者が視認可能な位置に反射できれば、透過部材24の位置及び傾斜角は、適宜変更可能である。
【0087】
上記各実施形態では、容器2,2A,2Dは、携帯端末3が配置される配置部23,23A,23Dを有するとしたが、本発明はこれに限らない。すなわち、容器2Cのように、配置部は無くてもよく、或いは、アーム等によって携帯端末3が支持される構成であってもよい。
【0088】
上記各実施形態では、携帯端末3は、表示装置としての表示部32、撮像装置としての撮像部35及び制御装置としての制御部37が一体化された構成を有するとした。しかしながら、本発明はこれに限らない。すなわち、本発明の画像表示システムでは、上記携帯端末3にて一体化されていた表示装置、撮像装置及び制御装置等の構成がそれぞれ別体でもよく、2つ以上の構成が一体化されていてもよい。
【0089】
上記各実施形態では、第2撮像部としてのカメラ352の撮像方向は、透過部材24による画像の反射方向に沿うとした。すなわち、当該カメラ352の撮像方向は、観察者に向く方向であるとした。しかしながら、本発明はこれに限らない。すなわち、カメラ352の撮像方向は、他の方向でもよい。また、当該カメラ352は、携帯端末3の背面部312に設けられるとしたが、例えば正面部311等、他の場所でもよい。
上記第3実施形態では、画像表示システム1Gは、カメラ351,352の撮像方向を調整する調整部材4を備えるとしたが、本発明はこれに限らない。すなわち、当該カメラ351,352の撮像方向が調整されていれば、調整部材4はなくてもよい。また、調整部材の構成は、反射部材を有する構成に限らず、撮像方向を調整可能であれば、他の構成でもよい。
【0090】
上記各実施形態では、移動体検出部374は、撮像部35から取得された撮像画像(動画像)をオプティカルフローにより解析して、当該撮像画像に含まれる移動体の位置及び移動方向を検出するとした。しかしながら、本発明はこれに限らない。すなわち、撮像画像における移動体の位置及び移動方向を検出できれば、他の手法により検出してもよく、更には、移動体の形状等を検出してもよい。
【0091】
上記各実施形態では、座標取得部375は、上記第1方法又は第2方法により、撮像画像に含まれる表示画像内の点に対応する形成画像内の点の座標を取得するとした。しかしながら、本発明はこれに限らない。すなわち、他の手法により、撮像画像における座標と、形成画像における座標との対応を取ってもよい。
上記各実施形態では、奥行取得部376は、撮像画像に含まれる移動体の大きさ及び移動速度に基づいて、当該移動体の奥行位置を取得するとした。しかしながら、本発明はこれに限らない。すなわち、当該移動体の大きさ及び移動速度のいずれかに基づいて、当該移動体の奥行位置を推定及び取得してもよく、他の手法によって当該奥行位置を取得してもよい。
【0092】
上記各実施形態では、撮像部35による撮像画像(動画像)は、現実の移動体(例えば魚F、水面W1及び手H)の位置、移動方向、大きさ及び移動速度の検出及び取得に利用されていた。これらに加えて、当該撮像画像に含まれる表示画像の輝度に基づいて、携帯端末3の表示部32により表示される画像の輝度を増減させてもよい。例えば、表示画像の輝度を高めることにより、当該表示画像のみを観察させることができる他、逆に表示画像の輝度を低くすることにより、収容部22内を観察しやすくすることもできる。
【0093】
上記各実施形態では、透過部材24は、ハーフミラーにより構成されるとし、上記第3実施形態の変形にて、透過部材24は、偏光分離層を有する構成としてもよいとした。しかしながら、本発明はこれに限らない。例えば、透過部材として、所定波長以上の光及び当該所定波長未満の光のうちの一方を透過し、他方を反射させるダイクロイックミラーを採用してもよい。この場合には、撮像画像に対して当該所定波長に基づくフィルタリングを実施することで、撮像画像から収容部22内の風景に基づく画像と、透過部材により反射された表示画像とを分離できる。すなわち、透過部材は、当該透過部材を介して背面側に位置する収容部22内を観察可能で、かつ、正面側から投影された画像を反射可能な構成であればよい。
【0094】
上記各実施形態では、記憶部36に記憶された画像表示プログラムを制御部37のCPUが実行することで、上記画像表示処理を実施するとした。この画像表示処理におけるステップS2,S3とステップS4とは実行順が逆でもよい。また、必ずしもステップS3及びS4は実施しなくてもよい。更に、上記画像表示処理を実行する場合には、表示部32から投影された画像を表示するとともに、撮像部35により背面側の領域が撮像される透過部材24があればよく、筐体21及び収容部22を有する容器2,2A〜2Dのような構成はなくてもよい。
【0095】
上記各実施形態では、画像表示プログラムは、記憶部36に記憶され、制御部37を構成するCPUが、当該画像表示プログラムを読み出して実行することにより、上記画像表示処理が実行されるとした。しかしながら、本発明はこれに限らない。すなわち、当該画像表示プログラムは、ディスク型記録媒体等の記録媒体や、携帯端末3が通信可能な外部機器に記録及び記憶され、制御部37によって適宜読み出される構成としてもよい。更に、当該画像表示プログラムは、記憶部36に予め記憶されていなくてもよく、ネットワーク上のサーバーからダウンロードすることにより記憶される構成としてもよい。
【符号の説明】
【0096】
1,1A,1B,1C,1D,1E,1F,1G…画像表示システム、2,2A,2B,2C,2D…容器、21,21A,21C,21D…筐体、211…正面部(第2面部)、212…背面部(第3面部)、213…上面部(第1面部)、214…底面部(第1面部)、22…収容部、23,23A,23D…配置部、24,24B…透過部材、32…表示部(表示装置)、35…撮像部(撮像装置)、351…カメラ(第1撮像部)、352…カメラ(第2撮像部)、37…制御部(制御装置)、4…調整部材。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26