(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】表示システム及び表示制御方法
(51)【国際特許分類】
G02F 1/13 20060101AFI20240501BHJP
G02F 1/1347 20060101ALI20240501BHJP
【FI】
G02F1/13 505
G02F1/1347
(21)【出願番号】P 2021526669
(86)(22)【出願日】2020-11-05
(86)【国際出願番号】 JP2020041414
(87)【国際公開番号】W WO2021234981
(87)【国際公開日】2021-11-25
【審査請求日】2023-08-08
(32)【優先日】2020-05-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100115381
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100118049
【氏名又は名称】西谷 浩治
(72)【発明者】
【氏名】藤原 菜々美
(72)【発明者】
【氏名】長谷川 祐一
(72)【発明者】
【氏名】川口 剛史
【審査官】横井 亜矢子
(56)【参考文献】
【文献】米国特許出願公開第2014/0185129(US,A1)
【文献】韓国公開特許第10-2015-0047191(KR,A)
【文献】特開2013-142804(JP,A)
【文献】中国特許出願公開第103676257(CN,A)
【文献】中国特許出願公開第110928046(CN,A)
【文献】特開2006-132206(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02F 1/13,1/137-1/141
G02F 1/133,1/1333,1/1334
G02F 1/1339-1/1341,1/1347
G02F 1/15-1/19
G09F 9/00
E06B 9/24-9/388,3/54-3/88
C03C 27/00-29/00
B32B 1/00-43/00
(57)【特許請求の範囲】
【請求項1】
透明ディスプレイと、
前記透明ディスプレイの後方に位置し、透過率を調節可能な調光パネルと、
プロセッサと、を備え、
前記プロセッサは、
前記調光パネルの後方に位置する物体を検出した場合に、
前記透明ディスプレイに画像を表示させ、
前記調光パネルにおける前記物体の前方に位置する領域の透過率を、前記調光パネルにおける、前記画像を表示する領域の後方に位置する領域よりも上昇させ、
前記上昇させる度合を、前記画像と前記物体との組み合わせに応じて異ならせる、
表示システム。
【請求項2】
前記プロセッサは、
前記画像の表示位置を移動させた場合に、前記画像の表示位置の移動に追従させて、前記調光パネルにおける、前記画像を表示する領域の後方に位置する領域の透過率を変化させる、
請求項1に記載の表示システム。
【請求項3】
前記プロセッサは、
前記画像を表示する領域の後方に位置する領域からの距離に応じて前記調光パネルの透過率を変化させる、
請求項1又は2に記載の表示システム。
【請求項4】
前記物体が複数存在し、前記画像には各物体との関連性がそれぞれ定義づけられ、
前記プロセッサは、
前記調光パネルの後方に位置する第一物体と、前記調光パネルの後方に位置する、前記第一物体よりも前記画像との関連性が低い第二物体と、を検出した場合に、
前記調光パネルにおける、前記第一物体の前方に位置する領域の透過率を前記第二物体の前方に位置する領域よりも上昇させる、
請求項1から3の何れか一項に記載の表示システム。
【請求項5】
前記プロセッサは、
前記物体の前方に位置する領域からの距離に応じて前記調光パネルの透過率を変化させる、
請求項1から4の何れか一項に記載の表示システム。
【請求項6】
前記画像には第一画像と第二画像とが含まれ、
前記プロセッサは、
前記調光パネルにおける前記第一画像を表示する領域の後方に位置する領域の透過率と、前記調光パネルにおける前記第二画像を表示する領域の後方に位置する領域の透過率と、を互いに異ならせる、
請求項1から5の何れか一項に記載の表示システム。
【請求項7】
透明ディスプレイと、前記透明ディスプレイの後方に位置し、透過率を調節可能な調光パネルと、プロセッサと、を備える表示システムを用いた表示制御方法であって、
前記プロセッサは、
前記調光パネルの後方に位置する物体を検出した場合に、
前記透明ディスプレイに画像を表示させ、
前記調光パネルにおける前記物体の前方に位置する領域の透過率を、前記調光パネルにおける、前記画像を表示する領域の後方に位置する領域よりも上昇させ、
前記上昇させる度合を、前記画像と前記物体との組み合わせに応じて異ならせる、
表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システム及び表示制御方法に関する。
【背景技術】
【0002】
車外景色への視界を妨げることなく、かつ、運転者の視線が注意対象そのものに向くような注意喚起を行うことを目的とした車両用透過表示装置が知られる(例えば、特許文献1参照)。
【0003】
しかしながら、上記特許文献1に開示された技術は、安全性を重視したもので、画像及び物体の両方の視認性を高めるものではない。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【0005】
本開示は、このような課題を解決するためになされたものであり、画像と物体の両方の視認性を確保することができる表示システム及び表示方法を提供することを目的とする。
【0006】
本開示の一態様に係る表示システムは、透明ディスプレイと、前記透明ディスプレイの後方に位置し、透過率を調節可能な調光パネルと、プロセッサと、を備え、前記プロセッサは、前記調光パネルの後方に位置する物体を検出した場合に、前記透明ディスプレイに画像を表示させ、前記調光パネルにおける前記物体の前方に位置する領域の透過率を、前記調光パネルにおける、前記画像を表示する領域の後方に位置する領域よりも上昇させ、前記上昇させる度合を、前記画像と前記物体との組み合わせに応じて異ならせる。
【図面の簡単な説明】
【0007】
【
図1】実施の形態1に係る表示システムを示す斜視図である。
【
図3】実施の形態1に係る表示システムの機能構成を示すブロック図である。
【
図5】演出処理のフローを示すフローチャートである。
【
図7】演出処理の第一の具体例と比較する具体例を示す図である。
【発明を実施するための形態】
【0008】
(本開示の基礎となる知見)
近年、透過率を調整可能な透過性を有するディスプレイを用いる技術が知られている。具体的には、当該ディスプレイは、透明ディスプレイと、透明ディスプレイの後方に位置し、透過率を調整可能な調光パネルと、を備えて構成される。本発明者は、このようなディスプレイを用いて、例えば住宅等の建物内における部屋(空間)の演出を行うことを検討している。
【0009】
しかし、調光パネル全面の透過率を上昇させると、当該ディスプレイの後方の視認性が向上する一方で、透明ディスプレイに表示した画像の視認性が悪化する。一方で、調光パネル全面の透過率を低下させると、透明ディスプレイに表示した画像の視認性は向上するが、後方に位置する物体の視認性は悪化する。
【0010】
上記特許文献1には、車外景色への視界を妨げることなく、かつ、運転者の視線が注意対象そのものに向くような注意喚起を行うことを目的として、物体を含む領域の透過率を、他の領域の透過率よりも相対的に高くすることが開示されている。しかし、この技術では、物体の視認性が確保されるものの、画像の視認性が確保されない虞がある。
【0011】
そこで、本発明者は、画像と物体の両方の視認性を確保することについて、詳細な検討を行った結果、下記に示す各態様を想到するに至った。
【0012】
本開示の一態様に係る表示システムは、透明ディスプレイと、前記透明ディスプレイの後方に位置し、透過率を調節可能な調光パネルと、プロセッサと、を備え、前記プロセッサは、前記調光パネルの後方に位置する物体を検出した場合に、前記透明ディスプレイに画像を表示させ、前記調光パネルにおける前記物体の前方に位置する領域の透過率を、前記調光パネルにおける、前記画像を表示する領域の後方に位置する領域よりも上昇させ、前記上昇させる度合を、前記画像と前記物体との組み合わせに応じて異ならせる。
【0013】
本開示の一態様に係る表示システムは、透明ディスプレイと、前記透明ディスプレイの後方に位置し、透過率を調節可能な調光パネルと、プロセッサと、を備える表示システムを用いた表示制御方法であって、前記プロセッサは、前記調光パネルの後方に位置する物体を検出した場合に、前記透明ディスプレイに画像を表示させ、前記調光パネルにおける前記物体の前方に位置する領域の透過率を、前記調光パネルにおける、前記画像を表示する領域の後方に位置する領域よりも上昇させ、前記上昇させる度合を、前記画像と前記物体との組み合わせに応じて異ならせる。
【0014】
これらの態様によれば、調光パネルにおいて、物体の前方に位置する領域の透過率が、画像を表示する領域の後方に位置する領域よりも、画像と物体との組み合わせに応じた度合で上昇される。このため、本態様は、ユーザが画像と物体とを組み合わせて見た際の視認性を考慮して、物体の前方に位置する領域の透過率を、画像を表示する領域の後方に位置する領域の透過率よりも適切に上昇させることができる。これにより、本態様は、画像と物体の両方の視認性を確保することができる。
【0015】
上記態様において、前記プロセッサは、前記画像の表示位置を移動させた場合に、前記画像の表示位置の移動に追従させて、前記調光パネルにおける、前記画像を表示する領域の後方に位置する領域の透過率を変化させてもよい。
【0016】
本態様によれば、画像の表示位置の移動に追従して、調光パネルにおける前記画像を表示する領域の後方に位置する領域の透過率が変化される。このため、本態様は、動画等の表示位置が移動する画像の視認性を確保することができる。
【0017】
上記態様において、前記プロセッサは、前記画像を表示する領域の後方に位置する領域からの距離に応じて前記調光パネルの透過率を変化させてもよい。
【0018】
本態様では、画像を表示する領域の後方に位置する領域からの距離に応じて調光パネルの透過率が変化する。このため、本態様は、調光パネルの透過率を、画像を表示する領域の後方に位置する領域から離れるほど上昇させる等して、画像を空間に調和させることができる。
【0019】
上記態様において、前記物体が複数存在し、前記画像には各物体との関連性がそれぞれ定義づけられ、前記プロセッサは、前記調光パネルの後方に位置する第一物体と、前記調光パネルの後方に位置する、前記第一物体よりも前記画像との関連性が低い第二物体と、を検出した場合に、前記調光パネルにおける、前記第一物体の前方に位置する領域の透過率を前記第二物体の前方に位置する領域よりも上昇させてもよい。
【0020】
本態様では、第一物体の前方に位置する領域の透過率が、第一物体よりも画像との関連性が低い第二物体の前方に位置する領域よりも上昇する。このため、本態様は、例えば、画像との関連性が低い物体をぼかし、画像との関連性が高い物体を目立たせる等して、複数の物体の視認性を、画像との関連性に応じて適切に調整することができる。
【0021】
上記態様において、前記プロセッサは、前記物体の前方に位置する領域からの距離に応じて前記調光パネルの透過率を変化させてもよい。
【0022】
本態様では、物体の前方に位置する領域からの距離に応じて調光パネルの透過率が変化する。このため、本態様は、調光パネルの透過率を、物体の前方に位置する領域に近づくほど上昇させる等して、物体を空間に調和させることができる。
【0023】
上記態様において、前記画像には第一画像と第二画像とが含まれ、前記プロセッサは、前記調光パネルにおける前記第一画像を表示する領域の後方に位置する領域の透過率と、前記調光パネルにおける前記第二画像を表示する領域の後方に位置する領域の透過率と、を互いに異ならせてもよい。
【0024】
本態様では、第一画像を表示する領域の後方に位置する領域の透過率と第二画像を表示する領域の後方に位置する領域の透過率とが互いに異なる。このため、本態様は、例えば、物体と共に見せたくない画像をぼかし、物体と共に見せたい画像を目立たせる等して、複数の画像の視認性を、物体との組み合わせに応じて適切に調整することができる。
【0025】
(実施の形態1)
[1-1.表示システムの構造]
まず、
図1及び
図2を参照しながら、実施の形態1に係る表示システム2の構造について説明する。
図1は、実施の形態1に係る表示システム2を示す斜視図である。
図2は、ディスプレイ60の側面図である。
【0026】
尚、以降の説明では、
図1及び
図2等に示すように、互いに直交し合うX軸、Y軸及びZ軸に平行なX軸方向、Y軸方向及びZ軸方向を用いて、表示システム2における互いに直交し合う三方向を示す。具体的には、表示システム2の左右方向をX軸方向とし、-X方向を左方、X方向を右方とする。表示システム2の前後方向(奥行き方向)をY軸方向とし、-Y方向を前方、+Y方向を後方とする。表示システム2の上下方向をZ軸方向とし、+Z方向を上方、-Z方向を下方とする。
【0027】
表示システム2は、例えば住宅等の建物内における部屋(以下、「空間」ともいう)の演出を行う。具体的には、
図1に示すように、表示システム2は、枠体4と、ディスプレイ60と、を備えている。
【0028】
枠体4は、XZ平面視(+Y方向視)で矩形状に形成されている。枠体4は、例えば建物の壁(図示せず)に形成された矩形状の開口部に設置される窓枠である。枠体4は、上壁部8と、下壁部10と、左側壁部12と、右側壁部14とを有している。上壁部8と下壁部10とは、上下方向(Z軸方向)に互いに対向して配置されている。左側壁部12と右側壁部14とは、左右方向(X軸方向)に互いに対向して配置されている。下壁部10は、物体16を置くための置き棚として機能する。
【0029】
ユーザは、部屋のインテリアの一部として、物体16を下壁部10に置くことができる。
図1に示す例では、物体16は、観葉植物(サボテン)である。しかし、物体16は、これに限定されず、例えば写真立て、腕時計、本、装飾用小物、人形、花瓶、玩具、模型又は絵画等であってもよい。
【0030】
ディスプレイ60は、XZ平面視(+Y方向視)で矩形状に形成されており、ディスプレイ60の外周部は、枠体4により支持されている。ディスプレイ60は、例えば建物の外壁に形成された開口部に設置された透明な外窓又は建物内の隣り合う二つの部屋の間に設置される室内窓として機能すると共に、画像を表示するためのディスプレイパネルとしても機能する。上述した物体16は、ディスプレイ60の近傍、具体的には、ディスプレイ60の下部の近傍であって、ディスプレイ60の後方(+Y方向)に配置されている。
【0031】
尚、本開示における「透明」とは、必ずしも透過率が100%の状態を示すとは限らない。透過率とは、入射光に対する透過光(屈折光)の強度比(=透過光(屈折光)/入射光)を百分率で表したものである。例えば、透過率が100%未満の状態や透過率が80~90%程度の状態を「透明」としてもよい。また、可視光(具体的には550nm)に対する透過率が50%以上である半透明の状態を、「透明」としてもよい。
【0032】
図2に示すように、ディスプレイ60は、透明ディスプレイ61と、調光パネル62と、前面ガラス63と、を備える。透明ディスプレイ61は、空間又は物体16を演出するための画像を表示する。透明ディスプレイ61は、例えば透明無機EL(Electro Luminescence)、透明有機EL又は透過型液晶ディスプレイ等の透過型透明ディスプレイで構成される。透明ディスプレイ61の前方(-Y方向)側の面には、光学粘着シート(OCA:Optical Clear Adhesive)611が接着されている。また、透明ディスプレイ61の後方(+Y方向)側の面にも、光学粘着シート612が接着されている。
【0033】
調光パネル62は、透明ディスプレイ61の後方(+Y方向)側の面に光学粘着シート612を介して接着されている。調光パネル62は、XZ平面視(+Y方向視)で透明ディスプレイ61と略同サイズの調光ガラスを備える。調光パネル62の後方(+Y方向)側の面には、反射防止膜621が接着されている。調光パネル62は、例えば、液晶とポリマーを用いたPDLC方式、液晶と色素を用いたGHLC方式、エレクトロクロミック方式、SPD (Suspended Particle Device)方式等の技術を用いて、調光ガラスの透過率を、透明ディスプレイ61の画素と同じ大きさの領域単位で調整する。
【0034】
前面ガラス63は、透明ディスプレイ61の前方(-Y方向)側の面に光学粘着シート(OCA)611を介して接着されている。前面ガラス63の前方(-Y方向)側の面には、反射防止膜631が接着されている。
【0035】
つまり、ユーザは、前方(-Y方向)から、透明ディスプレイ61に表示された画像を前面ガラス63を介して視認すると同時に、下壁部10に置かれた物体16を、前面ガラス63及び透明ディスプレイ61を介して視認することができる。これにより、物体16と画像とが調和した空間の演出が行われる。
【0036】
ユーザは、画像が透明ディスプレイ61に表示されている間、ディスプレイ60の前方(-Y方向)から後方(+Y方向)を透過して、ディスプレイ60の後方(+Y方向)に位置する物体16を視認可能である。すなわち、透明ディスプレイ61における画像の表示の有無に拘わらず、室内にいるユーザは、一般的な建具としての窓と同様に、ディスプレイ60越しに物体16及び室外の景色を眺めることができる。
【0037】
尚、透明ディスプレイ61に表示される画像は、静止画及び動画の何れであってもよいし、静止画及び動画の両方を含む映像コンテンツであってもよい。あるいは、当該画像は、例えば枠体4等に設置されたスピーカ(図示せず)から出力される音楽等と連動した映像であってもよい。これにより、ユーザによる複雑な操作を必要とすることなく、空間の雰囲気を良くし、ユーザの気分を高めることができる。
【0038】
[1-2.表示システムの機能構成]
次に、
図3を参照しながら、実施の形態1に係る表示システム2の機能構成について説明する。
図3は、実施の形態1に係る表示システム2の機能構成を示すブロック図である。
図3に示すように、表示システム2は、上述したディスプレイ60と、メモリ20と、センサ30と、通信部40と、プロセッサ50と、を備えている。
【0039】
メモリ20は、ハードディスクドライブ、ソリッドステートドライブ等の記憶装置である。メモリ20は、表示システム2が演出に用いる種々のデータ及び情報を記憶する。
【0040】
センサ30は、ディスプレイ60(
図1)の後方に位置する物体16が存在するか否かを検知するために設けられている。センサ30は、例えば枠体4(
図1)の上壁部8(
図1)に配置されている。尚、センサ30は、上壁部8に限定されず、例えば枠体4の下壁部10(
図1)、左側壁部12(
図1)及び右側壁部14(
図1)の何れかに配置されていてもよい。
【0041】
センサ30は、例えば撮像素子を有するカメラセンサである。この場合、センサ30は、ディスプレイ60(
図1)の後方を撮像し、当該撮像した画像を示す画像データをプロセッサ50に出力する。尚、センサ30は、撮像素子に加えて、赤外線センサを有していてもよい。また、センサ30を表示システム2に搭載しなくてもよい。
【0042】
また、センサ30は、距離センサであってもよい。この場合、センサ30は、調光パネル62よりも後方(+Y方向)に位置する物体16までの距離を測定し、当該測定した距離が所定範囲内にある場合に、物体16を検知したことを示すデータをプロセッサ50に出力する。尚、距離センサは、物体16までの距離を、例えば、Depth From Defocusテクノロジー等の空間認識技術を用いて測定する。Depth From Defocusテクノロジーとは、ピント位置の異なる複数のライブ画像から空間を認識し、物体までの距離を演算する技術である。
【0043】
通信部40は、プロセッサ50が、スマートフォンやタッチパネル等の操作装置とネットワーク(図示せず)を介して通信するための通信インターフェイス回路である。通信部40は、操作装置とプロセッサ50との間で種々のデータを送受信する。
【0044】
プロセッサ50は、CPU、FPGA等の電気回路である。プロセッサ50は、メモリ20、センサ30、通信部40及びディスプレイ60を制御する。
【0045】
例えば、プロセッサ50は、ユーザが操作装置で入力した、透明ディスプレイ61に表示する演出用の画像(以降、演出用画像)に関する画像情報と、調光パネル62の後方に配置され、演出用画像と共に視認される物体(以降、演出対象物)の種類を示す物体種類情報と、演出用画像と演出対象物との関連性を示す関連性情報とを、通信部40を介して取得する。本実施の形態では、関連性情報が示す関連性は、数値で表され、値が大きいほど、演出用画像と演出対象物との関連性が高いことを示すものとする。
【0046】
画像情報には、演出用画像を示す画像データと、演出用画像の内容(例えば「月」)、種類(例えば「天体」)及び透明ディスプレイ61における表示位置(例えば「(X1、Z1)」)と、が含まれる。尚、プロセッサ50は、ネットワーク上の画像データを、演出用画像を示す画像データとして取得してもよい。具体的には、プロセッサ50が、ユーザが操作装置を用いて入力した、演出用画像を検索するためのキーワードを含む検索指示コマンドを通信部40を介して取得したとする。この場合、プロセッサ50は、通信部40を制御して、当該取得した検索指示コマンドに含まれるキーワードを用いてネットワーク上の画像を検索してもよい。そして、当該検索の結果、前記キーワードに対応する画像が存在した場合、プロセッサ50は、前記キーワードに対応する画像を示す画像データを、通信部40を介して取得(ダウンロード)してもよい。
【0047】
図4は、演出テーブル200の一例を示す図である。例えば、
図4に示すように、メモリ20には、画像情報、物体種類情報及び関連性情報と、調光パネル62における演出用画像を表示する領域の後方に位置する領域の透過率(以降、画像透過率)及び調光パネル62における演出対象物の前方に位置する領域の透過率(以降、物体透過率)と、を対応付けて記憶するための演出テーブル200が設けられている。
【0048】
プロセッサ50は、通信部40を介して取得した、画像情報と物体種類情報と関連性情報とを対応付けて演出テーブル200に記憶する。また、プロセッサ50は、以下のルールR1~R3に従うように、演出テーブル200における各レコードの画像透過率及び物体透過率を決定する。
【0049】
ルールR1:物体透過率を画像透過率よりも上昇させる。
ルールR2:演出用画像と演出対象物との関連性が高い程、物体透過率を画像透過率よりも上昇させる度合を大きくする。
ルールR3:演出用画像と演出対象物との関連性が等しい複数のレコードでは、所定の種類の演出用画像に関するレコードの画像透過率を、前記所定の種類とは異なる種類の演出用画像に関するレコードの画像透過率よりも上昇させる。本実施の形態では、ルールR3における前記所定の種類は「環境」であるものとする。ただし、前記所定の種類は、これに限らない。
【0050】
例えば、
図4に示すように、プロセッサ50は、ルールR1に従い、全てのレコード21~24の物体透過率(例えば「50%」)を画像透過率(例えば「10%」)よりも上昇した透過率に決定する。
【0051】
図4に示す演出テーブル200では、レコード22、21、23、24の順番で、演出用画像と演出対象物との関連性「5」、「4」、「3」、「3」が高い。このため、プロセッサ50は、ルールR2に従い、レコード22、21、23、24の順番で、物体透過率を画像透過率よりも上昇させる度合「50%(=70%-20%)」、「40%(=50%-10%)」、「30%(=50%-20%)」、「30%(=70%-40%)」を大きくする。
【0052】
図4に示す演出テーブル200では、レコード24とレコード23において、演出用画像と演出対象物との関連性「3」が等しい。また、レコード24に対応する演出用画像の種類は「環境」であり、レコード23に対応する演出用画像の種類は「生物」である。このため、プロセッサ50は、ルールR3に従い、レコード24の画像透過率「40%」を、レコード23の画像透過率「20%」よりも上昇させる。
【0053】
例えば、
図4のレコード21、22、24は、種類が「サボテン」の物体16が調光パネル62の後方に配置されたときに、当該物体16を演出対象物として、内容が「月」、「蝶」、「砂漠」の演出用画像を透明ディスプレイ61に表示する演出を行うために用いられる。
【0054】
また、
図4のレコード22、23は、調光パネル62の後方に、種類が「サボテン」の物体16と種類が「積み木」の物体16とが配置されたときに、当該二個の物体16を演出対象物として、内容が「蝶」の動画である演出用画像を透明ディスプレイ61に表示する演出を行うために用いられる。つまり、複数の演出対象物に対して一の演出用画像を用いて演出を行う場合、当該一の演出用画像に関する画像情報には、各演出対象物の種類を示す物体種類情報と、当該一の演出用画像と各演出対象物との関連性を示す関連性情報とが、対応付けて記憶(定義)される。
【0055】
プロセッサ50は、ディスプレイ60の後方に位置する物体16を検出する。具体的には、プロセッサ50は、センサ30等を用いて、ディスプレイ60の後方に位置する物体16の種類及び調光パネル62における物体16の前方に位置する領域を把握する。
【0056】
例えば、センサ30がカメラセンサであるとする。この場合、プロセッサ50は、Mask R-CNN(Regions with Convolutional Neural Network)等の機械学習技術を用いて、センサ30から入力された画像データが示す画像に含まれる物体16の輪郭を検出すると共に、その物体16の種類を判別する。また、プロセッサ50は、当該検出した物体16の輪郭から、調光パネル62における物体16の前方に位置する領域を把握する。
【0057】
Mask R-CNNは、深層学習技術の一つであり、一般的な物体の検出及びそのセグメンテーションを同時に行うことができる技術である。Mask R-CNNでは、画像中の画素(ピクセル)毎にどの物体クラスに属するかが判断され、画像に含まれる物体16の輪郭が検出される。また、当該検出された物体16の輪郭とメモリ20に予め記憶されている物体の特徴を示す情報とが照合され、当該物体16の種類が判別される。
【0058】
尚、プロセッサ50は、通信部40を制御して、ネットワークに接続された外部装置が提供する、画像データに含まれる物体の種類を判別するサービスを用いて、センサ30から入力された画像データに含まれる物体16の種類を把握してもよい。この場合、プロセッサ50の処理負荷を低減することができる。また、メモリ20に物体の特徴を示す情報を予め記憶しておく必要がないので、メモリ20の記憶容量を節約することができる。
【0059】
また、センサ30が距離センサであるとする。この場合、プロセッサ50は、当該センサ30から物体16の存在を検知したことを示すデータが入力された後、ユーザが操作装置等を用いて入力した、当該物体16の種類を示す情報と調光パネル62における当該物体16の前方に位置する領域を示す情報とを通信部40を介して取得するまで待機する。
【0060】
また、センサ30が表示システム2に搭載されていない場合、例えばユーザが保有するスマートフォンのカメラセンサ等、表示システム2の外部装置が備えるカメラセンサによって、調光パネル62の後方に位置する物体16を撮像してもよい。そして、当該撮影された画像を示す画像データを、ネットワークを介して通信部40が受信するようにしてもよい。そして、センサ30がカメラセンサである場合と同様に、プロセッサ50が、通信部40から取得した画像データを用いて、物体16の種類及び調光パネル62における物体16の前方に位置する領域を把握してもよい。
【0061】
プロセッサ50は、調光パネル62の後方に位置する物体16と演出用画像とが調和した空間の演出を行う演出処理を実行する。
【0062】
以下、演出処理の詳細について説明する。
図5は、演出処理のフローを示すフローチャートである。尚、以降の説明では、
図4に示す演出テーブル200がメモリ20に予め記憶されているものとする。
【0063】
図5に示すように、プロセッサ50は、調光パネル62の後方に位置する物体16を検出すると(ステップS1)、当該物体16を演出対象物として、ステップS2及びステップS3からなる演出処理を実行する。具体的には、ステップS1において、プロセッサ50は、上述のように、ディスプレイ60の後方に位置する物体16の種類及び調光パネル62における物体16の前方に位置する領域を把握する。
【0064】
プロセッサ50は、演出処理を開始すると、ステップS1で把握した演出対象物の種類に対応する演出用画像を、透明ディスプレイ61に表示させる(ステップS2)。
【0065】
具体的には、ステップS2において、プロセッサ50は、演出テーブル200(
図4)から、ステップS1で把握した演出対象物の種類を含むレコードを取得する。尚、ここで、ステップS1で把握した演出対象物の種類を含むレコードが複数存在したとする。この場合、プロセッサ50は、例えば、最後に記憶された一のレコードを取得する、ランダムに一つのレコードを取得する、最後に記憶されたレコードから所定数分のレコードを取得する等して、所定の方法で一以上のレコードを取得する。プロセッサ50は、透明ディスプレイ61を制御して、当該取得した各レコードに含まれる演出用画像の表示位置に、当該取得した各レコードに含まれる画像データが示す演出用画像を表示する。
【0066】
次に、プロセッサ50は、ステップS1で把握した調光パネル62における演出対象物の前方に位置する領域の透過率を、調光パネル62における、各演出用画像を表示する領域の後方に位置する領域の透過率よりも上昇させる。また、プロセッサ50は、その上昇させる度合を、演出用画像と演出対象物との組み合わせに応じて異ならせる(ステップS3)。
【0067】
具体的には、上述のように、演出テーブル200(
図4)には、演出用画像に関する画像情報と演出対象物の種類を示す物体種類情報とに対応付けて、ルールR1に従う、画像透過率と当該画像透過率よりも上昇した透過率の物体透過率とが記憶されている。つまり、演出テーブル200には、演演出用画像と演出対象物との組み合わせに応じた、画像透過率と当該画像透過率よりも上昇した透過率の物体透過率とが対応付けて記憶されている。
【0068】
このため、ステップS3では、プロセッサ50は、調光パネル62における、ステップS2で演出用画像を表示した領域の後方に位置する領域の透過率を、ステップS2で演出テーブル200から取得したレコードに含まれる、演出用画像と演出対象物との組み合わせに応じた画像透過率に調整する。また、プロセッサ50は、ステップS1で把握した調光パネル62における演出対象物の前方に位置する領域の透過率を、ステップS2で演出テーブル200から取得したレコードに含まれる、演出用画像と演出対象物との組み合わせに応じた、画像透過率よりも高い物体透過率に調整する。
【0069】
(演出例1)
以下、演出処理の第一の具体例について
図6及び
図7を用いて説明する。
図6は、演出処理の第一の具体例を示す図である。
図7は、演出処理の第一の具体例(以降、演出例1)と比較する具体例を示す図である。
図6及び
図7の左図は、前方(-Y方向)から視たディスプレイ60の正面図であり、
図6及び
図7の右図は、右方(+X方向)から視たディスプレイ60及び演出対象物90の側面図である。
【0070】
演出例1では、ステップS1において、演出対象物90の種類が「サボテン」であると把握され、ステップS2において、
図4に示す演出テーブル200から、演出用画像80の内容が「月」であるレコード21が取得された場合に行われる演出処理について説明する。また、演出例1と比較する具体例として、ステップS1において、演出対象物90の種類が「サボテン」であると把握され、ステップS2において、
図4に示す演出テーブル200から、演出用画像80の内容が「蝶」であるレコード22が取得された場合に行われる演出処理について説明する。
【0071】
ステップS2においてレコード21が取得されると、プロセッサ50は、
図6の左図及び右図に示すように、レコード21に含まれる静止画データが示す、内容が「月」の演出用画像80を、透明ディスプレイ61におけるレコード21に含まれる表示位置「(X1、Z1)」に表示する。
【0072】
次に、ステップS3において、プロセッサ50は、調光パネル62における、演出用画像80を表示する領域の後方に位置する領域628の透過率が、レコード21に含まれる画像透過率「10%」になるよう調光パネル62を制御する。また、プロセッサ50は、ステップ1で把握した調光パネル62における演出対象物90の前方に位置する領域629の透過率が、レコード21に含まれる物体透過率「50%」になるよう調光パネル62を制御する。
【0073】
一方、ステップS2においてレコード22が取得されると、プロセッサ50は、
図7の左図及び右図に示すように、レコード22に含まれる動画データが示す、内容が「蝶」の演出用画像80(動画)の表示を、透明ディスプレイ61におけるレコード22に含まれる表示位置「(X2、Z2)」から開始する。その後、プロセッサ50は、透明ディスプレイ61を制御して、レコード22に含まれる動画データに基づき、内容が「蝶」の演出用画像80の表示位置を、例えば「(X2、Z2)」から「(X5、Z5)」を経て「(X7、Z7)」に移動させる。
【0074】
次に、ステップS3において、プロセッサ50は、調光パネル62を制御して、調光パネル62における、演出用画像80を表示する領域の後方に位置する領域628の透過率を、レコード22に含まれる画像透過率「20%」に調整する。また、プロセッサ50は、演出対象物90の前方に位置する領域629の透過率を、レコード22に含まれる物体透過率「70%」に調整する。
【0075】
このように、プロセッサ50は、レコード21を用いた演出処理では、演出対象物90の前方に位置する領域629の透過率「50%」を、演出用画像80を表示する領域の後方に位置する領域628の透過率「10%」よりも「40%(=50%-10%)」上昇させる。これに対し、プロセッサ50は、レコード22を用いた演出処理では、演出対象物90の前方に位置する領域629の透過率「70%」を、演出用画像80を表示する領域の後方に位置する領域628の透過率「20%」よりも「50%(=70%-20%)」上昇させる。つまり、プロセッサ50は、領域629の透過率を領域628の透過率よりも上昇させる度合を、演出用画像80と演出対象物90との組み合わせに応じて異ならせる。
【0076】
また、プロセッサ50は、内容「蝶」の演出用画像80の表示位置を移動させた場合、当該演出用画像80の表示位置の移動に追従させて、調光パネル62における演出用画像80を表示する領域の後方に位置する領域628の透過率を変化させる。これにより、演出用画像80が動画であり、演出用画像80の表示位置が移動する場合であっても、常に演出用画像80の視認性を向上することができる。尚、プロセッサ50は、演出用画像80の表示位置の移動に追従させて、当該移動の前に演出用画像80が表示されていた領域の後方に位置する領域628の透過率を、所定率だけ上昇させてもよい。この場合、調光パネル62の後方の視認性を向上することができる。
【0077】
また、プロセッサ50は、演出用画像80を表示する領域からの距離に応じて、調光パネル62の透過率を変化させてもよい。例えば、
図6の左図において、プロセッサ50は、調光パネル62における、内容「月」の演出用画像80を表示する領域の後方に位置する領域628から離れた領域程、透過率を上昇させてもよいし、又は低下させてもよい。これにより、演出用画像80が空間と調和するような演出が可能となる。
【0078】
また、プロセッサ50は、演出対象物90の前方に位置する領域629からの距離に応じて、調光パネル62の透過率を変化させてもよい。例えば、
図6の左図において、プロセッサ50は、調光パネル62における、種類が「サボテン」の演出対象物90の前方に位置する領域629から離れた領域程、透過率を上昇させてもよいし、又は低下させてもよい。これにより、演出対象物90が空間とより調和するような演出が可能となる。
【0079】
つまり、これらの場合、演出用画像80と空間との境界、及び、演出対象物90と空間との境界を曖昧にすることができる。これにより、ディスプレイ60を視認しているユーザに与える違和感を軽減できる。
【0080】
(演出例2)
以下、演出処理の第二の具体例について
図8を用いて説明する。
図8は、演出処理の第二の具体例(以降、演出例2)を示す図である。
図8の左図は、前方(-Y方向)から視たディスプレイ60の正面図であり、
図8の右図は、右方(+X方向)から視たディスプレイ60、第一の演出対象物90a及び第二の演出対象物90bの側面図である。
【0081】
演出例2では、一個の演出用画像80と、第一の演出対象物90a(第一物体)と、第一の演出対象物90aよりも当該演出用画像80との関連性が低い第二の演出対象物90b(第二物体)と、が調和した空間の演出を行う場合について説明する。
【0082】
具体的には、ステップS1において、第一の演出対象物90aの種類が「サボテン」であり、第二の演出対象物90bの種類が「積み木」であると把握されたものとする。ステップS2では、
図4に示す演出テーブル200から、ステップS1で把握された各演出対象物90の種類を含むレコードが一つずつ取得される。例えば、ステップS2では、第一の演出対象物90aの種類「サボテン」を含むレコード22と、レコード22と同じ画像情報と第二の演出対象物90bの種類「積み木」とを含むレコード23が取得されたものとする。尚、レコード23に含まれる関連性「3」は、レコード22に含まれる関連性「5」よりも低い。つまり、種類が「積み木」の第二の演出対象物90bは、種類が「サボテン」の第一の演出対象物90aよりも、演出用画像80との関連性が低い。
【0083】
この場合、
図8の左図及び右図に示すように、プロセッサ50は、レコード23に含まれる動画データが示す、内容が「蝶」の演出用画像80(動画)の表示を、透明ディスプレイ61におけるレコード22(23)に含まれる表示位置「(X2、Z2)」から開始する。その後、プロセッサ50は、透明ディスプレイ61を制御して、レコード22に含まれる動画データに基づき、内容が「蝶」の演出用画像80の表示位置を、例えば
図8の左図に示すように、「(X9、Z9)」に移動させる。
【0084】
次に、ステップS3において、プロセッサ50は、調光パネル62における演出用画像80を表示する領域の後方に位置する領域628の透過率が、レコード22(23)に含まれる画像透過率「20%」になるよう調光パネル62を制御する。尚、ステップS2で取得された複数のレコードに含まれる画像透過率が異なる場合、プロセッサ50は、例えば、最小の画像透過率を取得する等、所定の方法で一の画像透過率を取得し、領域628の透過率を当該取得した画像透過率に調整する。
【0085】
また、プロセッサ50は、ステップ1で把握した調光パネル62における第一の演出対象物90aの前方に位置する領域629aの透過率が、レコード22に含まれる物体透過率「70%」になるよう調光パネル62を制御する。また、プロセッサ50は、ステップ1で把握した調光パネル62における第二の演出対象物90bの前方に位置する領域629bの透過率が、レコード23に含まれる物体透過率「50%」になるよう調光パネル62を制御する。
【0086】
このように、プロセッサ50は、調光パネル62の後方に位置する、第一の演出対象物90aと第一の演出対象物90aよりも演出用画像80との関連性が低い第二の演出対象物90bとを検出した場合、第一の演出対象物90aの前方に位置する領域629aの透過率を、第二の演出対象物90bの前方に位置する領域629bの透過率「50%」よりも上昇させた透過率「70%」に調整する。これにより、演出用画像80との関連性が低く、演出用画像80と共には見せたくない第二の演出対象物90bをぼかし、演出用画像80との関連性が高く、演出用画像80と共に見せたい第一の演出対象物90aを目立たせる演出を行うことができる。
【0087】
例えば、種類が「タンス」、「サボテン」、「時計」の物体16が調光パネル62の後方に存在する場合に、これら三個の物体16を演出対象物90として、内容が「猫」の演出用画像80を表示させる演出を行うものとする。また、内容が「猫」の演出用画像80に関する画像情報に、種類が「タンス」の物体種類情報と、最も高い関連性を示す関連性情報と、を対応付けたレコードが演出テーブル200に記憶されたとする。
【0088】
この場合、種類が「タンス」の演出対象物90の前方に位置する領域629の透過率を上昇させ、内容が「猫」の演出用画像80との関連性が、種類が「タンス」の演出対象物90よりも低い、種類が「サボテン」及び「時計」の演出対象物90の前方に位置する領域629の透過率を低下させることができる。これにより、見せたくないものをぼかし、見せたいものを目立たせる演出を行うことができる。
【0089】
(演出例3)
以下、演出処理の第三の具体例について
図9を用いて説明する。
図9は、演出処理の第三の具体例(以降、演出例3)を示す図である。
図9の左図は、前方(-Y方向)から視たディスプレイ60の正面図であり、
図9の右図は、右方(+X方向)から視たディスプレイ60及び演出対象物90の側面図である。
【0090】
演出例3では、一個の演出対象物90と、第一の演出用画像80a(第一画像)と、第二の演出用画像80b(第二画像)と、が調和した空間の演出を行う場合について説明する。
【0091】
具体的には、ステップS1において、演出対象物90の種類が「サボテン」であると把握されたものとする。ステップS2では、
図4に示す演出テーブル200(
図4)から、ステップS1で把握された演出対象物90の種類「サボテン」を含む二個のレコード22、24が取得されたとする。
【0092】
この場合、
図9の左図及び右図に示すように、プロセッサ50は、レコード22に含まれる動画データが示す、内容が「蝶」の第一の演出用画像80a(動画)の表示を、透明ディスプレイ61におけるレコード22に含まれる表示位置「(X2、Z2)」から開始する。その後、プロセッサ50は、透明ディスプレイ61を制御して、レコード22に含まれる動画データに基づき、内容が「蝶」の演出用画像80の表示位置を、例えば
図9の左図に示すように、「(X10、Z10)」に移動させる。また、プロセッサ50は、レコード24に含まれる静止画データが示す、内容が「砂漠」の第二の演出用画像80bを、透明ディスプレイ61におけるレコード24に含まれる表示位置「(X4、Z4)」に表示する。
【0093】
次に、ステップS3において、プロセッサ50は、調光パネル62における第一の演出用画像80aを表示する領域の後方に位置する領域628aの透過率を、レコード22に含まれる画像透過率「20%」に調整する。プロセッサ50は、調光パネル62における第二の演出用画像80bを表示する領域の後方に位置する領域628bの透過率を、レコード24に含まれる画像透過率「40%」に調整する。
【0094】
また、プロセッサ50は、ステップ1で把握した調光パネル62における演出対象物90の前方に位置する領域629の透過率を、レコード22(24)に含まれる物体透過率「70%」に調整する。尚、ステップS2で取得された複数のレコードに含まれる物体透過率が異なる場合、プロセッサ50は、例えば、最大の物体透過率を取得する等、所定の方法で一の物体透過率を取得し、領域629の透過率を当該取得した物体透過率に調整する。
【0095】
このように、プロセッサ50は、第一の演出用画像80aと第二の演出用画像80bとを用いた演出を行う場合、調光パネル62における、第一の演出用画像80aを表示する領域の後方に位置する領域628aの透過率「20%」と第二の演出用画像80bを表示する領域の後方に位置する領域628bの透過率「70%」とを互いに異ならせる。例えば、第一の演出用画像80aの内容が「障子の桟」であり、第二の演出用画像80bの内容が「障子の紙」であってもよい。
【0096】
また、プロセッサ50が、ステップS3において、調光パネル62における第一の演出用画像80aを表示する領域の後方に位置する領域628aの透過率を、演出テーブル200に記憶された画像透過率よりも更に低下させてもよい。同様に、第二の演出用画像80bを表示する領域の後方に位置する領域628bの透過率を、演出テーブル200に記憶された画像透過率よりも更に上昇させてもよい。
【0097】
また、第一の演出用画像80a及び第二の演出用画像80bの種類に応じて、第一の演出用画像80aを表示する領域の後方に位置する領域628aの透過率を、第二の演出用画像80bを表示する領域の後方に位置する領域628bの透過率よりも上昇又は低下させてもよい。例えば、内容が「熱帯魚」であり、種類が「生物」である第一の演出用画像80aを表示する領域の後方に位置する領域628aの透過率を、内容が「水槽」であり、種類が「環境」である第二の演出用画像80bを表示する領域の後方に位置する領域628bの透過率よりも低下させてもよい。これらにより、より空間に調和した演出を実現してもよい。
【0098】
以上説明したように、上記実施の形態によれば、調光パネル62において、演出対象物90の前方に位置する領域629の透過率が、演出用画像80を表示する領域の後方に位置する領域628よりも、演出用画像80と演出対象物90との組み合わせに応じた度合で上昇される。このため、本態様は、ユーザが演出用画像80と演出対象物90とを組み合わせて見た際の視認性を考慮して、演出対象物90の前方に位置する領域629の透過率を、演出用画像80を表示する領域の後方に位置する領域628の透過率よりも適切に上昇させることができる。これにより、本態様は、演出用画像80と演出対象物90の両方の視認性を確保することができる。
【0099】
(変形例)
(1)上記実施の形態では、プロセッサ50が、演出処理の開始前に、ルールR1~R3に従って画像透過率と物体透過率を決定し、当該決定した画像透過率と物体透過率をメモリ20に設けられた演出テーブル200(
図4)に予め記憶する例について説明した。しかし、これに代えて、演出テーブル200(
図4)の構成を、画像透過率と物体透過率とを記憶しない構成に変更してもよい。これに合わせて、プロセッサ50が、ステップS2の実行後、ステップS3の実行前に、当該変更後の演出テーブル200(
図4)に記憶されている各レコードの画像情報、物体種類情報及び関連性情報に基づき、ルールR1~R3に従って、当該各レコードに含める画像透過率と物体透過率とを決定するようにしてもよい。
【0100】
(2)演出テーブル200(
図4)を、演出用画像の種類(例えば「天体」)を含まないように構成し、プロセッサ50が、ルールR1、R2に従うが、ルールR3に従わずに、画像透過率と物体透過率とを決定するようにしてもよい。
【産業上の利用可能性】
【0101】
本開示は、透過率を調整可能な透過性を有するディスプレイの表示画像と当該ディスプレイの背後の物体の両方の視認性を確保することができるため、例えば住宅等の建物内における空間を演出する場合に有用である。