(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】表示システム、表示制御装置及びプログラム
(51)【国際特許分類】
H04N 13/117 20180101AFI20240509BHJP
G09G 5/00 20060101ALI20240509BHJP
G09G 5/38 20060101ALI20240509BHJP
G02B 30/27 20200101ALI20240509BHJP
H04R 3/00 20060101ALI20240509BHJP
G06T 7/00 20170101ALI20240509BHJP
G06T 7/70 20170101ALI20240509BHJP
G06F 3/01 20060101ALI20240509BHJP
G10K 11/26 20060101ALN20240509BHJP
【FI】
H04N13/117
G09G5/00 550C
G09G5/38
G09G5/00 530T
G09G5/00 510H
G09G5/00 510Q
G09G5/00 555D
G02B30/27
H04R3/00 310
G06T7/00 660B
G06T7/70 B
G06F3/01 570
G10K11/26
(21)【出願番号】P 2020037188
(22)【出願日】2020-03-04
【審査請求日】2023-02-20
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110000752
【氏名又は名称】弁理士法人朝日特許事務所
(72)【発明者】
【氏名】池田 和敏
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2013-009127(JP,A)
【文献】特開2018-017924(JP,A)
【文献】特開2001-084662(JP,A)
【文献】米国特許出願公開第2019/0019218(US,A1)
【文献】特開2012-203230(JP,A)
【文献】特開2012-212340(JP,A)
【文献】特開2010-026551(JP,A)
【文献】米国特許出願公開第2013/0290108(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00-13/398
G09G 5/00
G02B 30/00
H04R 3/00
G06T 7/00
G06F 3/01
G10K 11/26
(57)【特許請求の範囲】
【請求項1】
複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、
前記プロセッサが、
前記画素群を視認可能な人物の方向を特定し、
2以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させ
、
前記方向が特定された2以上の人物を識別し、
識別された2以上の人物の方向が移動すると、当該人物毎に当該方向に対して同じ画像を表示させ続け、
識別された2以上の人物の前記方向が特定されなくなった後に再び特定されると、当該人物毎に、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させる
表示システム。
【請求項2】
前記プロセッサは、
前記方向が特定された複数の人物の当該方向の関係から当該複数の人物同士の人間関係を推定し、
特定の人間関係と推定された前記複数の人物の方向に向けて同じ画像を表示させる
請求項1に記載の表示システム。
【請求項3】
前記プロセッサは、
前記特定の人間関係と推定された前記複数の人物の人数に応じたセット数の前記画素群に前記同じ画像を表示させる
請求項
2に記載の表示システム。
【請求項4】
前記プロセッサは、
前記特定の人間関係と推定された複数の人物の密集度に応じたセット数の前記画素群に前記同じ画像を表示させる
請求項
2又は3に記載の表示システム。
【請求項5】
前記プロセッサは、
前記方向が特定された人物の特定の箇所の動きに応じた内容の画像を当該人物の方向に向けて表示させる
請求項1から
4のいずれか1項に記載の表示システム。
【請求項6】
前記プロセッサは、
前記人物の方向が最初に特定された場合に、当該方向に向けて動画を最初から再生させた画像を表示させる
請求項1から
5のいずれか1項に記載の表示システム。
【請求項7】
前記複数の方向のうちから選択された方向に向けて音を放出する指向性のスピーカを備え、
前記プロセッサは、
特定された前記人物の方向に向けて表示される動画の音声を前記スピーカから当該方向に向けて放出させる
請求項1から
6のいずれか1項に記載の表示システム。
【請求項8】
前記プロセッサは、
前記方向が特定された人物が持ち歩く通信端末と無線通信を行い、
前記通信端末から取得される情報に応じた画像を前記人物の方向に向けて表示させる
請求項1から
7のいずれか1項に記載の表示システム。
【請求項9】
前記プロセッサは、
前記画素群を備える表示装置の位置から、前記通信端末から取得される情報が表わす目的地までの経路を示す画像を前記情報に応じた画像として表示させる
請求項
8に記載の表示システム。
【請求項10】
複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、
前記プロセッサが、
前記画素群を視認可能な人物の方向を特定し、
2以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させ
、
前記方向が特定された2以上の人物を識別し、
識別された2以上の人物の方向が移動すると、当該人物毎に当該方向に対して同じ画像を表示させ続け、
識別された2以上の人物の前記方向が特定されなくなった後に再び特定されると、当該人物毎に、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させる
表示制御装置。
【請求項11】
複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサとを備えるコンピュータに、
前記画素群を視認可能な人物の方向を特定するステップと、
2以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させるステップと
、
前記方向が特定された2以上の人物を識別するステップと、
識別された2以上の人物の方向が移動すると、当該人物毎に当該方向に対して同じ画像を表示させ続けるステップと、
識別された2以上の人物の前記方向が特定されなくなった後に再び特定されると、当該人物毎に、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させるするステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、表示制御装置及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、デジタルサイネージに関する技術として、携帯端末から配信されるコンテンツデータを共に配信されるスケジュールデータに従って再生端末がディスプレイに表示させる技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、画像や動画を表示したり音声を発したりすることで情報を提示する情報提示装置を広告のために利用するいわゆるデジタルサイネージは多数の人によって視聴される場合があるが、提示される情報が一通りだと、人によっては興味がなかったり時系列に変化する情報を途中から見たりすることになる。
そこで、本発明は、情報を提示する相手によって受け取る情報を異ならせることを目的とする。
【課題を解決するための手段】
【0005】
本発明の請求項1に係る表示システムは、複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、前記プロセッサが、前記画素群を視認可能な人物の方向を特定し、2以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させることを特徴とする。
【0006】
本発明の請求項2に係る表示システムは、請求項1に記載の態様において、前記プロセッサは、前記方向が特定された人物を識別し、識別された人物の方向が移動すると、当該方向に対して同じ画像を表示させ続ける
ことを特徴とする。
【0007】
本発明の請求項3に係る表示システムは、請求項2に記載の態様において、前記プロセッサは、識別された人物の前記方向が特定されなくなった後に再び特定されると、特定されなくなったときに表示していた画像の続きの画像を再び特定された前記方向に向けて表示させることを特徴とする。
【0008】
本発明の請求項4に係る表示システムは、請求項1に記載の態様において、前記プロセッサは、前記方向が特定された複数の人物の当該方向の関係から当該複数の人物同士の人間関係を推定し、特定の人間関係と推定された前記複数の人物の方向に向けて同じ画像を表示させることを特徴とする。
【0009】
本発明の請求項5に係る表示システムは、請求項4に記載の態様において、前記プロセッサは、前記特定の人間関係と推定された前記複数の人物の人数に応じたセット数の前記画素群に前記同じ画像を表示させることを特徴とする。
【0010】
本発明の請求項6に係る表示システムは、請求項4又は5に記載の態様において、前記プロセッサは、前記特定の人間関係と推定された複数の人物の密集度に応じたセット数の前記画素群に前記同じ画像を表示させることを特徴とする。
【0011】
本発明の請求項7に係る表示システムは、請求項1から6のいずれか1項に記載の態様において、前記プロセッサは、前記方向が特定された人物の特定の箇所の動きに応じた内容の画像を当該人物の方向に向けて表示させることを特徴とする。
【0012】
本発明の請求項8に係る表示システムは、請求項1から7のいずれか1項に記載の態様において、前記プロセッサは、前記人物の方向が最初に特定された場合に、当該方向に向けて動画を最初から再生させた画像を表示させることを特徴とする。
【0013】
本発明の請求項9に係る表示システムは、請求項1から8のいずれか1項に記載の態様において、前記複数の方向のうちから選択された方向に向けて音を放出する指向性のスピーカを備え、前記プロセッサは、特定された前記人物の方向に向けて表示される動画の音声を前記スピーカから当該方向に向けて放出させることを特徴とする。
【0014】
本発明の請求項10に係る表示システムは、請求項1から9のいずれか1項に記載の態様において、前記プロセッサは、前記方向が特定された人物が持ち歩く通信端末と無線通信を行い、前記通信端末から取得される情報に応じた画像を前記人物の方向に向けて表示させることを特徴とする。
【0015】
本発明の請求項11に係る表示システムは、請求項10に記載の態様において、前記プロセッサは、前記画素群を備える表示装置の位置から、前記通信端末から取得される情報が表わす目的地までの経路を示す画像を前記情報に応じた画像として表示させることを特徴とする。
【0016】
本発明の請求項12に係る表示制御装置は、複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサを備え、前記プロセッサが、前記画素群を視認可能な人物の方向を特定し、2以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させることを特徴とする。
【0017】
本発明の請求項13に係るプログラムは、複数の方向に向けてそれぞれ異なる画像を表示可能な複数セットの画素群と、プロセッサとを備えるコンピュータに、前記画素群を視認可能な人物の方向を特定するステップと、2以上の前記方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を当該各方向に対応する前記画素群に表示させるステップとを実行させるためのものであることを特徴とする。
【発明の効果】
【0018】
請求項1、12、13に係る発明によれば、情報を提示する相手によって受け取る情報を異ならせることができる。
請求項2に係る発明によれば、表示システムの前を横切る人物に同じ画像を見続けさせることができる。
請求項3に係る発明によれば、表示システムの前を横切る人物が表示システムから一時的に見えなくなったとしても同じ画像を見続けさせることができる。
請求項4に係る発明によれば、特定の人間関係のグループに対して同じコンテンツの画像を提示することができる。
請求項5、6に係る発明によれば、画像が一瞬消えて再度表示される現象を抑制しつつ画素群を有効に利用することができる。
請求項7に係る発明によれば、画像の視聴者は自分の意志で画像を変更することができる。
請求項8に係る発明によれば、人物が動画を途中から見させられることをなくすことができる。
請求項9に係る発明によれば、方向が特定された人物毎に異なる音声を聞かせることができる。
請求項10に係る発明によれば、人混みの中にいる人物に画像を提示することができる。
請求項11に係る発明によれば、通信端末を持ち歩く人物が目的地を指定しなくてもその目的地までの経路を提示させることができる。
【図面の簡単な説明】
【0019】
【
図1】実施例に係る多方向表示システムの全体構成を表す図
【
図8】変形例に係る多方向表示システムの全体構成を表す図
【
図9】変形例の画像処理装置が実現する機能構成を表す図
【
図10】変形例の多方向表示システムが実現する機能構成を表す図
【発明を実施するための形態】
【0020】
[1]実施例
図1は実施例に係る多方向表示システム1の全体構成を表す。多方向表示システム1は、複数の方向に向けてそれぞれ異なる画像を表示するシステムであり、本発明の「表示システム」の一例である。多方向表示システム1は、ディスプレイ装置10と、撮像装置20と、画像処理装置30とを備える。
【0021】
ディスプレイ装置10は、画像を表示する装置であり、複数の方向に向けてそれぞれ異なる画像を表示する機能を有する。ディスプレイ装置10は、ディスプレイ本体11と、レンチキュラーシート12とを備える。ディスプレイ本体11は、平面状に並べられた複数の画素から光を発して画像を表示する。ディスプレイ本体11は、例えば液晶ディスプレイであるが、有機EL(=Electro-Luminescence)ディスプレイ又はプラズマディスプレイ等であってもよい。
【0022】
ディスプレイ本体11の表示面111にはレンチキュラーシート12が取り付けられている。ここで、
図1においては、表示面111に沿った平面上の座標軸をX軸(水平方向に沿った軸)、Y軸(鉛直方向に沿った軸)とし、表示面111の法線の反対向きを正とするZ軸とにより示される3次元座標軸が表されている。以下では、各軸の矢印が示す方向を正方向と言い、その反対向きの方向を負方向と言う。また、各軸に沿った方向を「X軸方向」、「Y軸方向」、「Z軸方向」と言う。
【0023】
レンチキュラーシート12は、細長いかまぼこ状の凸レンズが並べて配置されたシートであり、表示面111のZ軸負方向側に取り付けられている。レンチキュラーシート12及びディスプレイ本体11の画素との関係を、
図2を参照して説明する。
図2はレンチキュラーシート12を拡大して表す。
図2では、Y軸正方向に見たレンチキュラーシート12及びディスプレイ本体11の画素部112が模式的に表されている。
【0024】
レンチキュラーシート12は、レンズ部122-1、122-2、122-3、122-4、122-5、122-6、・・・(以下では各々を区別しない場合は「レンズ部122」と言う)を備える。画素部112は、画素112-1-1、画素112-1-2、画素112-1-3、画素112-1-3、画素112-1-4、画素112-1-5、画素112-1-6、・・・を有する画素群112-1を備える。
【0025】
複数のレンズ部122は、前述したように各々が細長いかまぼこ状の凸レンズであり、X軸方向に並べて配置されている。つまり、各レンズ部122は、各々の長手方向がY軸に沿うように配置されている。
図2の例では、例えば各レンズ部122-1に対向する対向領域123-1、123-2、123-3、123-4、123-5、123-6、・・・(以下では各々を区別しない場合は「対向領域123」と言う)に4つの画素がX軸方向に並べて配置されている。
【0026】
なお、
図2では、図を見やすくするために各対向領域123においてX軸方向に並べて配置される画素の数を4つにしているが、ディスプレイ本体11は、各対向領域123においてN個(Nは自然数)の画素群を有しているものとする。本実施例におけるNは4よりも大きく、詳細は後述する。
【0027】
画素群112-1の各画素は、いずれも対向領域123のX軸正方向の端に配置されている。画素群112-1の各画素が発した光は、Z軸負方向に進行し、各レンズ部122のX軸正方向の端において同じ方向(以下「共通方向」と言う)に屈折する。そのため、画素群112-1の各画素が発した光は、各光が屈折する共通方向にいる人物の眼まで到達して画像を表示する。
【0028】
画素群112-1の他にも、各対向領域123における配置が共通する画素の集合である画素群は、各レンズ部122において同じ方向に屈折するため、各々の画素群に対応する共通方向にいる人物の眼まで到達して画像を表示する。このように、ディスプレイ装置10は、複数(本実施例ではN個)の方向に向けてそれぞれ異なる画像を表示可能な複数セット(本実施例ではNセット)の画素群を備える。Nセットの画素群は、X軸方向に並べられている。
【0029】
図3は画像が表示される方向の一例を表す。
図3では、Y軸正方向に見たディスプレイ装置10(ディスプレイ本体11及びレンチキュラーシート12)が表されている。ディスプレイ装置10は、表示方向D0、D1、D2、・・・、D45、・・・、D90までの91の方向に向けてそれぞれ異なる画像を表示する。つまり、本実施例では、ディスプレイ装置10は91セットの画素群を備える。
【0030】
表示方向D45は表示面111の法線方向と一致しており、各表示方向は1度ずつ角度が異なっているものとする。つまり、表示方向D0、D90はいずれも表示方向D45に対して45度の角度を成す。以下では、表示方向D0側の角度を負の値で、表示方向D90側の角度を正の値で表すものとする(つまり表示方向D0は-45度の方向、表示方向D90は45度の方向)。
【0031】
撮像装置20は、例えばデジタルカメラであり、ディスプレイ装置10の鉛直上側に取り付けられている。撮像装置20は、レンズが向いている方向(撮影方向)が表示面111の向いている方向に向けられており、
図3に表す表示方向を全て画角に収めて撮影する。ディスプレイ装置10及び撮像装置20は、画像処理装置30とケーブル等により電気的に接続されている。なお、この接続は無線通信で行われてもよい。
【0032】
画像処理装置30は、ディスプレイ装置10が表示する画像及び撮像装置20により撮影された画像に関する処理を行う。
図4は画像処理装置30のハードウェア構成を表す。画像処理装置30は、プロセッサ31と、メモリ32と、ストレージ33と、デバイスI/F34とを備えるコンピュータである。プロセッサ31は、例えば、CPU(=Central Processing Unit)等の演算装置、レジスタ及び周辺回路等を有する。プロセッサ31は本発明の「プロセッサ」の一例である。
【0033】
メモリ32は、プロセッサ31が読み取り可能な記録媒体であり、RAM(=Random Access Memory)及びROM(=Read Only Memory)等を有する。ストレージ33は、プロセッサ31が読み取り可能な記録媒体であり、例えば、ハードディスクドライブ又はフラッシュメモリ等を有する。プロセッサ31は、RAMをワークエリアとして用いてROMやストレージ33に記憶されているプログラムを実行することで各ハードウェアの動作を制御する。
【0034】
デバイスI/F34は、ディスプレイ装置10及び撮像装置20という2つのデバイスとのインターフェース(I/F:Interface)になる。多方向表示システム1においては、プロセッサ31がプログラムを実行して各部を制御することで、以下に述べる各機能が実現される。各機能が行う動作は、その機能を実現する装置のプロセッサ31が行う動作としても表される。
【0035】
図5は画像処理装置30が実現する機能構成を表す。画像処理装置30は、人物方向特定部301と、個人識別部302と、識別情報記憶部303と、コンテンツ選択部304と、コンテンツ記憶部305と、インテグラルレンダリング部306とを備える。人物方向特定部301は、上述したディスプレイ装置10が備える画素群を視認可能な人物の方向を特定する。
【0036】
人物方向特定部301は、例えば、撮像装置20が撮影した画像を取得し、取得した画像から周知の顔認識技術を用いて画像に写っている人物の顔を認識する。人物方向特定部301は、顔が認識された人物は表示面111(つまり画素群)を認識可能であると判断し、認識した顔の画像内の位置に基づいて、その顔の人物の方向を特定する。人物方向特定部301は、例えば、各画素の座標と実空間における方向とを対応付けた方向テーブルを用いて人物の方向を特定する。
【0037】
方向テーブルは、例えば多方向表示システム1の提供者が、実空間における特定の方向に対象物を設置し、その対象物が映る画像内の位置を調べることで予め作成しておく。本実施例では、人物の方向が、例えば表示面111の法線方向(
図3に表す表示方向D45と同じ方向)に対して成す角度によって表される。具体的には、人物の方向は、法線方向に対してX軸方向に成す角度と、法線方向に対してY軸方向に成す角度とによって表される。
【0038】
法線方向に対してX軸方向に成す角度とは、人物の方向を示すベクトルをX軸及びZ軸を含む平面に投影した場合に、投影されたベクトルと法線方向とが成す角度である。また、法線方向に対してY軸方向に成す角度とは、人物の方向を示すベクトルをY軸及びZ軸を含む平面に投影した場合に投影されたベクトルと法線方向とが成す角度である。これらの角度について
図6を参照して説明する。
【0039】
図6は人物の方向を示す角度の一例を表す。
図6では、表示面111の中央を原点とする3次元座標系のベクトルの座標(x、y、z)で人物の方向D100が表されているものとする。
図6(a)では、人物の方向D100をX軸及びZ軸を含む平面に投影した投影方向D100-x(座標(x、0、z))が表されている。投影方向D100-xと表示方向D45(法線方向)とが成す角度θ1が、人物の方向D100が法線方向に対してX軸方向に成す角度である。
【0040】
また、
図6(b)では、人物の方向D100をY軸及びZ軸を含む平面に投影した投影方向D100-y(座標(0、y、z))が表されている。投影方向D100-yと表示方向D45(法線方向)とが成す角度θ2が、人物の方向D100が法線方向に対してY軸方向に成す角度である。このように、人物方向特定部301は、人物のX軸方向における角度θ1とY軸方向における角度θ2とによって、画素群を視認可能な人物の方向を特定する。
【0041】
人物方向特定部301は、人物の方向を特定すると、特定した方向及び特定の際に認識した顔の画像を示す方向情報を個人識別部302に供給する。個人識別部302は、人物方向特定部301によって方向が特定された人物を識別する。個人識別部302は、例えば、供給された方向情報が示す顔の画像の特徴量によって個人を識別する。ここでいう識別とは、方向が特定された人物の個人名及び住所等を特定することではなく、別の画像に顔が写っていた場合に同一人物であることを特定可能にすることを言う。
【0042】
個人識別部302は、新たな人物を識別した場合、その人物の個人の識別に用いた情報(例えば顔の画像)を識別情報記憶部303に登録する。識別情報記憶部303は、個人識別部302により登録された人物の識別情報を記憶する。個人識別部302は、人物方向特定部301から方向情報が供給されると、識別情報記憶部303を参照して、供給された方向情報が示す人物の識別情報の登録の有無を確認する。
【0043】
個人識別部302は、登録がない場合は供給された方向情報が示す人物の識別情報を、新たに識別された個人を示す情報としてコンテンツ選択部304に供給する。また、個人識別部302は、登録がある場合は、登録されていたその人物の識別情報を識別情報記憶部303から読み出して識別済みの個人を示す情報としてコンテンツ選択部304に供給する。
【0044】
コンテンツ選択部304は、個人識別部302から供給された識別情報により識別される人物に対して提示するコンテンツを、コンテンツ記憶部305が記憶するコンテンツの中から選択する。コンテンツ記憶部305は、多方向表示システム1の前を通りかかる人物に提示するためのコンテンツを示すコンテンツデータを多数記憶している。コンテンツとは、人物に提示したい情報を画像(静止画又は動画)及び音によって表したものである。
【0045】
コンテンツ選択部304は、新たに識別された個人を示す識別情報が供給された場合は、例えば現在の日時に応じたコンテンツを提示するコンテンツとして新たに選択する。なお、コンテンツ選択部304は、ランダムにコンテンツを選択してもよいし、用意された複数のコンテンツを順番に選択してもよい。いずれの場合も、コンテンツ選択部304は、2以上の人物の方向が特定された場合には、それぞれ異なるコンテンツを選択することがある(但し同じコンテンツが選択される場合もある)。
【0046】
また、コンテンツ選択部304は、識別済みの個人を示す識別情報が供給された場合は、その識別情報について選択したコンテンツを再び選択する。コンテンツ選択部304は、選択したコンテンツを示すコンテンツデータをコンテンツ記憶部305から読み出し、インテグラルレンダリング部306に供給する。インテグラルレンダリング部306は、供給されたコンテンツデータが示すコンテンツの画像をレンチキュラー方式でレンダリングする。
【0047】
レンダリングとは、表示用の画像データを生成することを言う。レンチキュラー方式でのレンダリングとは、画像を表示させる方向に対応する画素群にその画像を表示させるための画像データであり、且つ、全ての画素の画素値を示す画像データを生成することを言う。インテグラルレンダリング部306は、例えば5つの方向が人物の方向として特定された場合、それらの方向に対応する画素群にそれぞれの方向に提示するコンテンツの画像を表示させるための画像データを生成する。本実施例では、インテグラルレンダリング部306は、1人の人物に対して1つの画素群を割り当てるものとする。
【0048】
ディスプレイ装置10は、上述したようにNセット(本実施例では91セット)の画素群を備えており、その中には人物の方向として特定されなかった表示方向に対応する画素群も含まれている。インテグラルレンダリング部306は、そのように人物がいない表示方向の画素群については、画像をレンダリングすることなく、例えば全て最小の画素値とする画像データを生成する。
【0049】
最小の画素値とするのは、画素が光を発していると隣接する画素の光に対して多少なりとも影響を与えるため、その影響を極力少なくするためである。このように、インテグラルレンダリング部306は、人物方向特定部301により人物の方向として特定されなかった方向に対応する画素群については例えば画素値を最小にして画像を表示させないようにした画像データを生成する。
【0050】
インテグラルレンダリング部306は、以上のとおり画像データを生成することで、2以上の人物の方向が特定された場合に、特定された各方向に向けてそれぞれ異なる画像を各方向に対応する画素群に表示させる。これにより、多方向表示システム1においては、1つの表示面から情報が提示されているにもかかわらず、情報を提示する相手によって受け取る情報が異なることになる。
【0051】
また、人物方向特定部301が新たな人物の方向を特定すると、コンテンツ選択部304が新たなコンテンツを選択することになる。人物の方向が最初に特定され、且つ、選択されたコンテンツが動画であった場合、インテグラルレンダリング部306は、特定された方向に向けて動画を最初から再生させた画像を表示させるようにレンダリングを行う。これにより、例えばディスプレイ装置10の前を通りかかった人物は動画を途中から見させられるということがなくなる。
【0052】
また、人物が一度識別されるとその人物に対してはコンテンツ選択部304が同じコンテンツを選択するので、インテグラルレンダリング部306は、識別された人物の方向が移動すると、その方向に対して同じコンテンツの画像を表示させ続けることになる。これにより、例えばディスプレイ装置10の前を横切る人物がいた場合にその人物は同じコンテンツの画像を見続けることになる。
【0053】
また、一度識別された人物が移動すると、例えば他の人物の後ろに隠れて一時的に撮像装置20が撮影した画像に写らなくなる場合がある。その場合、再び撮影画像に写るようになったときに、人物方向特定部301によってその人物の方向が特定される。そのように識別された人物の方向が特定されなくなった後に再び特定されると、既に識別されたその人物に対してはコンテンツ選択部304が同じコンテンツを選択する。
【0054】
そのため、インテグラルレンダリング部306は、特定されなくなったときに表示していた画像の続きの画像を再び特定された方向に向けて表示させる。これにより、例えばディスプレイ装置10の前を横切る人物がいた場合に、その人物は他の人物の後ろを通るなどしてディスプレイ装置10が一時的に見えなくなったとしても、同じコンテンツの画像を見続けることになる。
【0055】
多方向表示システム1が備える各装置は、上記の構成により、複数の方向の人に対して異なる画像を表示する表示処理を行う。
図7は表示処理における動作手順の一例を表す。まず、撮像装置20は、画像を撮影し(ステップS11)、撮影した画像を画像処理装置30に送信する(ステップS12)。画像処理装置30(人物方向特定部301)は、送信されてきた画像に写っている人物の方向を特定する(ステップS13)。
【0056】
次に、画像処理装置30(個人識別部302)は、方向が特定された人物を識別する(ステップS14)。続いて、画像処理装置30(コンテンツ選択部304)は、識別した人物が既に識別済みの人物であるか否かを判断する(ステップS15)。画像処理装置30(コンテンツ選択部304)は、識別済みでない新たな人物である(NO)と判断した場合は、新たなコンテンツを選択する(ステップS16)。
【0057】
画像処理装置30(コンテンツ選択部304)は、識別済みの人物である(YES)と判断した場合は、その人物について既に選択したものと同じコンテンツを選択する(ステップS17)。ステップS16又はS17の後、画像処理装置30(インテグラルレンダリング部306)は、選択されたコンテンツの画像についてレンチキュラー方式でレンダリングする(ステップS18)。
【0058】
そして、画像処理装置30(インテグラルレンダリング部306)は、レンダリングにより生成された表示用の画像データをディスプレイ装置10に送信する(ステップS19)。ディスプレイ装置10は、送信されてきた画像データを用いて、特定された方向毎に画像を表示する(ステップS20)。ステップS11からS20までの動作は、ディスプレイ装置10が人物の方向毎に画像を表示している間、繰り返し行われる。
【0059】
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
【0060】
[2-1]人物の方向の特定方法
人物方向特定部301は、実施例では人物の顔を認識することで人物の方向を特定したが、人物の方向の特定方法はこれに限らない。人物方向特定部301は、例えば、画像から人物の目を検出することで人物の方向を特定してもよいし、人物の全身を検出することで人物の方向を特定してもよい。
【0061】
また、人物がスマートフォン等の測位手段(自端末の位置を測定する手段)を備える通信端末を所持している場合に、人物方向特定部301は、通信端末が測定した位置を示す位置情報を取得して、予め記憶しておいたディスプレイ装置10の位置情報との関係から人物の方向を特定してもよい。その場合は撮像装置20がなくても人物の方向が特定される。
【0062】
[2-2]グループ
ディスプレイ装置10が表示するコンテンツの画像を数人のグループが見る場合がある。グループとは、例えば、家族、友達又は恋人等である。多方向表示システム1は、それらのグループに属する人物に対して同じコンテンツの画像を提示してもよい。本変形例では、例えば、コンテンツ選択部304が、方向が特定された複数の人物のそれらの方向の関係からそれらの複数の人物同士の人間関係を推定する。
【0063】
コンテンツ選択部304は、例えば、2人の人物について特定された2つの方向が水平方向に成す角度の一定時間における平均値θ11と鉛直方向に成す角度の一定時間における平均値θ12とを算出する。コンテンツ選択部304は、平均値θ11が閾値Th11未満で且つ平均値θ12が閾値Th21未満である場合は2人が夫婦又は恋人と推定し、平均値θ11が閾値Th12未満で且つ平均値θ12が閾値Th21未満である場合は2人が友人と推定する。
【0064】
このように閾値を設定したのは、夫婦、恋人及び友人は一定の距離を保って移動する一方、密着度は夫婦及び恋人の方が友人よりも高いからである。また、コンテンツ選択部304は、平均値θ11が閾値Th11未満で且つ平均値θ12が閾値Th22以上Th23未満である場合は2人が親子と推定する。このように閾値を設定したのは、親子の場合、密着度は高いが背の高さの関係で鉛直方向に顔が離れるためである。
【0065】
また、コンテンツ選択部304は、友人と推定された2人の人物のうちの1人が他の人物と友人と推定される場合、3人の人物をまとめて友人と推定する。コンテンツ選択部304は、同じ要領で多人数の友人グループを推定する。また、コンテンツ選択部304は、決まった人数(例えば10人程度)以上になると、友人グループではなくクラスメイト又はチームメイトと推定する。
【0066】
コンテンツ選択部304は、以上のとおり人間関係を推定すると、特定の人間関係と推定した複数の人物については同じコンテンツを選択する。コンテンツ選択部304は、例えば、夫婦、恋人又は友人と推定した複数の人物については同じコンテンツを選択する。一方、コンテンツ選択部304は、親子と推定した複数の人物については異なるコンテンツを選択する。
【0067】
上記のとおりコンテンツが選択された結果、インテグラルレンダリング部306は、特定の人間関係と推定された複数の人物の方向に向けて同じコンテンツの画像を表示させる。これにより、特定の人間関係のグループに対しては同じコンテンツの画像が提示されることになる。
【0068】
[2-3]画素群の割り当て
インテグラルレンダリング部306は、実施例では、1人の人物に対して1つの画素群を割り当てたが、1人の人物に対して2以上の画素群を割り当ててもよい。2以上の画素群を割り当てるとは、インテグラルレンダリング部306が2以上の画素群に対して同じ画像の表示用の画像データを生成し、それら2以上の画素群に同じ画像を表示させることである。
【0069】
インテグラルレンダリング部306は、例えば、複数の人物が上記変形例で述べた特定の人間関係と推定された場合に、それら複数の人物の人数に応じたセット数の画素群に同じ画像を表示させる。特定の人間関係とは、例えば夫婦、恋人、友人、友人グループ又はクラスメイト等である。インテグラルレンダリング部306は、例えば複数の人物の人数が多いほど割り当てる画素群のセット数を多くする。
【0070】
具体的には、インテグラルレンダリング部306は、1人の人物には1セットの画素群を割り当てるが、特定の人間関係の複数の人物には例えば人数の倍のセット数(2人なら4セット、3人なら6セット)の画素群を割り当てる。1人の人物に1セットの画素群しか割り当てられてない場合、その人物が移動すると隣の画素群が同じ画像を表示するまでにタイムラグ(方向の特定、個人の識別、コンテンツの選択に要する時間)が生じるため、画像が一瞬消えて再度表示されるという画像の点滅現象が発生する。
【0071】
画素群のセット数を増やすほど、人物が移動したときに隣の画素群も同じ画像を表示している可能性が高まり、画像の点滅現象が生じにくくなる。一方で、画素群のセット数には限りがあるので、1人の人物に際限なく割り当ててしまうと、他の人物に割り当てる画素群が少なくなってしまう。ここで、例えば夫婦のように密着度の高い2人以上の人物に同じ画像を提示する場合、その2人の間の方向に他の画像を表示しても、2人以外の人物がその画像を見る可能性は少ない。
【0072】
そこで、本変形例では、上記のとおり画素群のセット数を増やして割り当てることで、割り当てる画素群のセット数を一律にする場合に比べて、画像の点滅現象が抑制されつつ画素群が有効に利用されることになる。ここでいう有効な利用とは、将来他の人物に画像を表示する可能性が高い画素群は使わずにいつでも利用可能にしておき、他の人物に画像を表示する可能性が低い画素群を使って画像の点滅現象を抑制することを言う。
【0073】
また、インテグラルレンダリング部306は、複数の人物が特定の人間関係と推定された場合に、それら複数の人物の密集度に応じたセット数の画素群に同じ画像を表示させてもよい。インテグラルレンダリング部306は、上記変形例で述べた平均値θ11(2つの方向が水平方向に成す角度の平均値)及び平均値θ12(2つの方向が鉛直方向に成す角度の平均値)が小さいほど密集度が高いと判断する。
【0074】
インテグラルレンダリング部306は、例えば複数の人物の密集度が高いほど割り当てる画素群のセット数を多くする。複数の人物の密集度が高いほど、それらの人物の間の方向に他の画像を表示しても他の人物がその画像を見る可能性は少ない。従って、この場合も、割り当てる画素群のセット数を一律にする場合に比べて、画像の点滅現象が抑制されつつ画素群が有効に利用されることになる。
【0075】
[2-4]ジェスチャ
画像を見ている人物のジェスチャによる画像操作を受け付けてもよい。本変形例では、例えば、人物方向特定部301が、人物の方向を特定すると共に、その人物の特定の箇所の決められた動きを特定する。特定の箇所の決められた動きとは、例えば、手を上げる動き又は手を下げる動きである。
【0076】
人物方向特定部301は、例えば、画像に写った人物の骨格を認識する周知の技術(例えば特開2019-211850号公報に開示された技術)を用いて手の部分の決められた動きを特定する。なお、本変形例では、撮像装置20にステレオカメラのような3次元画像データを取得可能なカメラが用いられるものとする。人物方向特定部301は、特定の箇所の決められた動きがあったことを特定すると、動きを特定した人物の顔の画像を示す動き情報を個人識別部302に供給する。
【0077】
個人識別部302は、動きが特定された人物の識別情報を読み出してコンテンツ選択部304に供給する。コンテンツ選択部304は、供給された識別情報により識別される人物に対して提示するための新たなコンテンツを選択する。コンテンツ選択部304は、例えば、該当人物に対して現在選択されているコンテンツがシリーズ物であれば、同じシリーズの次のコンテンツを選択する。
【0078】
また、コンテンツ選択部304は、同じコンテンツの別言語バージョンを選択してもよいし、新たなコンテンツをランダムに選択してもよい。また、コンテンツ選択部304は、同じコンテンツを再度選択し直してもよい。その場合、例えば動画のコンテンツであれば、再度最初から再生されることになる。
【0079】
上記のとおりコンテンツが選択されることで、インテグラルレンダリング部306は、方向が特定された人物の特定の箇所の動きに応じた内容の画像をその人物の方向に向けて表示させる。これにより、コンテンツの画像が提示される人物(視聴者)は、自分の特定の箇所に決められた動きをさせることで、自分の意志でコンテンツの画像を変更することになる。
【0080】
[2-5]指向性の音
多方向表示システムは、画像を表示するとともに、音を発してもよい。
図8は変形例に係る多方向表示システム1aの全体構成を表す。多方向表示システム1aは、ディスプレイ装置10と、指向性スピーカ40とを備える(撮像装置及び画像処理装置は図示を省略している)。
【0081】
指向性スピーカ40は、複数の方向のうちから選択された方向に向けて音を放出するスピーカである。指向性スピーカ40は、
図3に表す表示方向D0、D1、D2、・・・、D45、・・・、D90までの91の方向に向けて音を放出するものとする。
図9は本変形例の画像処理装置30aが実現する機能構成を表す。画像処理装置30aは、
図5に表す各部に加えて音方向制御部307を備える。
【0082】
コンテンツ選択部304は、選択したコンテンツを示すコンテンツデータを音方向制御部307にも供給する。音方向制御部307には、人物方向特定部301から特定した人物の方向を示す方向情報も供給される。音方向制御部307は、供給された方向情報が示す方向、すなわち、人物方向特定部301により特定された人物の方向に向けて表示される動画の音声を指向性スピーカ40からその方向に向けて放出させる。これにより、方向が特定された各人物がそれぞれ異なる音声を聞くことになる。
【0083】
[2-6]通信端末
多方向表示システムは、人物が通信端末を持ち歩いている場合に、その通信端末から得られる情報に基づいて人物の方向を特定したりコンテンツを選択したりしてもよい。
図10は本変形例の多方向表示システム1bが実現する機能構成を表す。多方向表示システム1bは、画像処理装置30bと、通信端末50とを備える(撮像装置及び画像処理装置は図示を省略している)。
【0084】
画像処理装置30bは、
図5に表す各部に加えて端末情報取得部308を備える。通信端末50は、測位部501と、属性記憶部502とを備える。測位部501は、自端末の位置を測定する。測位部501は、例えば、RTK(Real Time Kinematic)測位技術を用いて数cmの誤差で自機の位置を測定する。測位部501は、測定した位置及び自端末を識別する端末IDを示す位置情報を画像処理装置30bに送信する。
【0085】
画像処理装置30bの端末情報取得部308は、送信されてきた位置情報を、人物が持ち歩く通信端末50に関する端末情報として取得する。端末情報取得部308は、取得した位置情報を人物方向特定部301に供給する。人物方向特定部301は、供給された位置情報が示す位置に基づいて人物の方向を特定する。具体的には、人物方向特定部301は、ディスプレイ装置10の位置を予め記憶しておき、記憶している位置と供給された位置情報が示す位置とに基づいて人物の方向を特定する。
【0086】
通信端末50の属性記憶部502は、自端末の持ち主である人物の属性を記憶する。属性とは、例えば、人物の年齢、性別、趣味又は買い物の履歴等の情報であり、本人の趣味趣向を判断する際に利用可能な情報が含まれている。属性記憶部502は、記憶している属性と端末IDとを示す属性情報を画像処理装置30bに送信する。端末情報取得部308は、送信されてきた属性情報を、人物が持ち歩く通信端末50に関する端末情報として取得する。
【0087】
端末情報取得部308は、以上のとおり方向が特定された人物の通信端末と無線通信を行い端末情報を取得して、取得した端末情報をコンテンツ選択部304に供給する。コンテンツ選択部304は、供給された属性情報が示す属性に応じたコンテンツを選択する。コンテンツ選択部304は、属性とコンテンツの種類とを対応付けたコンテンツテーブルを用いてコンテンツを選択する。
【0088】
コンテンツテーブルでは、例えば、年齢が10代ならアニメ又はバラエティ番組、20代、30代ならバラエティ番組又はドラマ、40代、50代ならドラマ又はニュース番組というように属性とコンテンツの種類とが対応付けられている。コンテンツ選択部304は、属性情報が示す属性にコンテンツテーブルにおいて対応付けられている種類のコンテンツを選択する。
【0089】
上記のとおりコンテンツが選択されることで、インテグラルレンダリング部306は、通信端末50から取得される端末情報に応じた画像を通信端末50を持ち歩く人物の方向に向けて表示させる。これにより、例えば人混みの中にいて撮像装置20が撮影した画像からは顔が認識されない人物であってもその人物に対してコンテンツの画像が提示されることになる。
【0090】
[2-7]目的地までの経路
通信端末50を持ち歩く人物が或る目的地に向けて歩いている場合に、多方向表示システムがその目的地までの経路を提示してもよい。その場合、端末情報取得部308は、通信端末50を持ち歩く人物の目的地を示す目的地情報を端末情報として取得する。目的地情報としては、例えば、通信端末50でスケジュールが管理されている場合はそのスケジュールに記載されている直近の予定が行われる場所を示す情報が用いられる。
【0091】
また、他にも、例えば通信端末50で店舗の検索が行われていた場合にはその店舗を示す情報が目的地情報として用いられてもよい。複数の店舗が検索されている場合は、最後に検索された店舗、電話が掛けられた店舗又は最も長い時間閲覧された店舗を示す情報が目的地情報として用いられればよい。端末情報取得部308は、目的地情報を取得すると、取得した目的地情報をコンテンツ選択部304に供給する。
【0092】
コンテンツ選択部304は、供給された目的地情報が示す目的地までの経路を示す画像をコンテンツとして選択する。コンテンツ選択部304は、ディスプレイ装置10の設置場所を示す情報を記憶しておき、地図アプリの機能を用いて設置場所から目的地までの経路を示す画像を生成し、生成した画像をコンテンツとして選択してインテグラルレンダリング部306に供給する。
【0093】
上記のとおりコンテンツが選択されることで、インテグラルレンダリング部306は、ディスプレイ装置10の位置から、通信端末50から取得される端末情報が表わす目的地までの経路を示す画像を端末情報に応じた画像として表示させる。これにより、通信端末50を持ち歩く人物が目的地を指定しなくてもその目的地までの経路が提示されることになる。
【0094】
[2-8]レンチキュラーシート
レンチキュラーシートは、実施例では、各々が細長いかまぼこ状の凸レンズである複数のレンズ部122がX軸方向に並べて配置されていたが、これに限らない。レンチキュラーシートは、例えば、細長いかまぼこ状の凸レンズを直交させて重ねた場合(理論的に重ねるということ)に重なった部分の形状を有する凸レンズであるレンズ部を、X軸方向及びY軸方向に平面的且つ格子状に並べて配置したものであってもよい。
【0095】
本変形例のディスプレイ本体は、各レンズ部の対向領域において、X軸方向に並べられたN個(Nは自然数)の画素群と、Y軸方向に並べられたM個(Mは自然数)の画素群とを有している。これにより、ディスプレイ本体は、X軸方向に並ぶ画素群に加え、Y軸方向に並ぶ画素群も有することになる。それらのY軸方向に並ぶ画素群に対してインテグラルレンダリング部306がレンチキュラー方式でレンダリングすることで、本変形例のディスプレイ装置は、X軸方向に特定された方向毎であり且つY軸方向にも特定された方向毎に画像を表示する。これにより、例えば目線の高い大人と目線の低い子供とで異なる画像が表示されることになる。
【0096】
[2-9]機能構成
多方向表示システム1において
図5等に表す機能を実現する方法は実施例で述べた方法に限らない。例えば、ディスプレイ装置10が
図4に記載されたものに相当するハードウェア構成を備えていれば、ディスプレイ装置10が
図5等に表す機能を全て実現してもよい。また、ディスプレイ装置10が撮像装置20を内蔵していてもよいし、さらに指向性スピーカ40を内蔵していてもよい。
【0097】
それらの場合はディスプレイ装置10が単体で本発明の「表示システム」の一例となる。このように、本発明の「表示システム」は、1つの筐体内に全ての構成要素を備えていてもよいし、2以上の筐体に分離して構成要素を備えていてもよい。また、撮像装置20は表示システムの一部であってもよいし、外部構成であってもよい。
【0098】
また、例えば上述した変形例ではコンテンツ選択部304が複数の人物同士の人間関係を推定したが、この推定を行う機能が別途設けられていてもよい。また、例えばコンテンツ選択部304及びインテグラルレンダリング部306が行う動作を、1つの機能が行ってもよい。要するに、画像読取システム全体として
図5等に表された機能が実現されていれば、各機能を実現する装置の構成と、各機能が行う動作の範囲とは自由に定められてよい。
【0099】
[2-10]プロセッサ
上記各実施例において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
【0100】
また上記各実施例におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0101】
[2-11]発明のカテゴリ
本発明は、ディスプレイ装置という表示装置、撮像装置及び画像処理装置の他、それらの装置を備える表示システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等の通信回線を介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
【符号の説明】
【0102】
1…多方向表示システム、10…ディスプレイ装置、11…ディスプレイ本体、12…レンチキュラーシート、20…撮像装置、30…画像処理装置、40…指向性スピーカ、50…通信端末、112…画素部、112-1…画素群、301…人物方向特定部、302…個人識別部、303…識別情報記憶部、304…コンテンツ選択部、305…コンテンツ記憶部、306…インテグラルレンダリング部、307…音方向制御部、308…端末情報取得部、501…測位部、502…属性記憶部。