特許 7516781 表示システム、表示制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】表示システム、表示制御装置及びプログラム

(51)【国際特許分類】

   H04N 13/368 20180101AFI20240709BHJP

   G09G 5/00 20060101ALI20240709BHJP

   G09G 5/36 20060101ALI20240709BHJP

   G09G 5/377 20060101ALI20240709BHJP

   G09G 5/38 20060101ALI20240709BHJP

   G02B 30/27 20200101ALI20240709BHJP

   H04N 13/305 20180101ALI20240709BHJP

   G06T 19/00 20110101ALI20240709BHJP

   G06F 3/0481 20220101ALI20240709BHJP

【ＦＩ】

H04N13/368

G09G5/00 530M

G09G5/00 550C

G09G5/00 550B

G09G5/00 510H

G09G5/36 500

G09G5/377

G09G5/38

G02B30/27

H04N13/305

G06T19/00 F

G06F3/0481

【請求項の数】 10

(21)【出願番号】P 2020037187

(22)【出願日】2020-03-04

(65)【公開番号】P2021141423

(43)【公開日】2021-09-16

【審査請求日】2023-02-20

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】池田 和敏

【審査官】長谷川 素直

(56)【参考文献】

【文献】特許第５１００８７５（ＪＰ，Ｂ１）

【文献】特開２０１３－００９１２７（ＪＰ，Ａ）

【文献】特開２０１２－１０５１０１（ＪＰ，Ａ）

【文献】特開２０１５－０８９１０４（ＪＰ，Ａ）

【文献】特開２０１２－２０３２３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００２１３６５（ＵＳ，Ａ１）

【文献】特開２０１３－０１５７１１（ＪＰ，Ａ）

【文献】特表２０１５－５１５１６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０３１０２３３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００－１３／３９８

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／３８

Ｇ０２Ｂ ３０／２７

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

Ｎ（Ｎは自然数）個の方向に向けてそれぞれ異なる画像を表示可能なＮセットの画素群とプロセッサを備え、
前記Ｎセットの画素群は第１方向に並べられており、
前記プロセッサは、
前記画素群を視認可能な複数の人物の方向を、当該複数の人物の前記第１方向における第１の角度と第２方向における第２の角度とによって特定し、
特定された前記方向を少なくとも含むＮ個未満の方向に向けた画像を当該方向に対応する前記画素群に表示させ、
前記第１の角度の方向に向けて画像を表示する画素群に対して、前記第２の角度の方向から見た場合の立体物を表す画像を表示させ、
前記方向が特定された複数の人物の人数に応じたセット数の前記画素群に各人物に向けた画像を表示させる
表示システム。

【請求項2】

前記プロセッサは、
前記方向が特定された人物の実空間における位置の変化態様に応じたセット数の前記画素群に当該人物に向けた画像を表示させる
請求項１に記載の表示システム。

【請求項3】

前記位置の変化態様とは、前記位置の移動方向、前記位置の移動速度又は前記位置が固定された時間のうちの１以上を少なくとも含む
請求項２に記載の表示システム。

【請求項4】

前記プロセッサは、
前記方向が特定された人物の実空間における位置の変化態様に応じた視点から見た立体物の画像を表示させる
請求項１から３のいずれか１項に記載の表示システム。

【請求項5】

前記位置の変化態様とは、前記位置の移動方向、前記位置の移動速度又は前記位置が固定された時間のうちの１以上を少なくとも含む
請求項４に記載の表示システム。

【請求項6】

前記プロセッサは、
前記方向が特定された人物の位置に応じたセット数の前記画素群に当該人物に向けた画像を表示させる
請求項１から５のいずれか１項に記載の表示システム。

【請求項7】

前記プロセッサは、
前記方向が特定された人物の特定の箇所の動きに応じたセット数の前記画素群に当該人物に向けた画像を表示させる
請求項１から６のいずれか１項に記載の表示システム。

【請求項8】

前記プロセッサは、
前記方向が特定された人物の特定の箇所の動きに応じた視点から見た立体物の画像を表示させる
請求項１から７のいずれか１項に記載の表示システム。

【請求項9】

Ｎ（Ｎは自然数）個の方向に向けてそれぞれ異なる画像を表示可能なＮセットの画素群とプロセッサを備え、
前記Ｎセットの画素群は第１方向に並べられており、
前記プロセッサは、
前記画素群を視認可能な複数の人物の方向を、当該複数の人物の前記第１方向における第１の角度と第２方向における第２の角度とによって特定し、
特定された前記方向を少なくとも含むＮ個未満の方向に向けた画像を当該方向に対応する前記画素群に表示させ、
前記第１の角度の方向に向けて画像を表示する画素群に対して、前記第２の角度の方向から見た場合の立体物を表す画像を表示させ、
前記方向が特定された複数の人物の人数に応じたセット数の前記画素群に各人物に向けた画像を表示させる
表示制御装置。

【請求項10】

Ｎ（Ｎは自然数）個の方向に向けてそれぞれ異なる画像を表示可能なＮセットの画素群とプロセッサを備え、前記Ｎセットの画素群は第１方向に並べられているコンピュータに、
前記画素群を視認可能な複数の人物の方向を、当該複数の人物の前記第１方向における第１の角度と第２方向における第２の角度とによって特定するステップと、
特定された前記方向を少なくとも含むＮ個未満の方向に向けた画像を当該方向に対応する前記画素群に表示させるステップと、
前記第１の角度の方向に向けて画像を表示する画素群に対して、前記第２の角度の方向から見た場合の立体物を表す画像を表示させるステップと、
前記方向が特定された複数の人物の人数に応じたセット数の前記画素群に各人物に向けた画像を表示させるステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示システム、表示制御装置及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、右目用と左目用にディスプレイを備え、各ディスプレイの向きに視点を変えた画像を用意し、立体視を実現する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１８－５２３３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数の方向に異なる画像を表示する方式として、例えばインテグラルイメージング方式と呼ばれる技術がある。この方式では、画像を表示部にマイクロレンズをアレイ状に配置し、各画素を異なる方向に表示させることにより、立体視を自具現している。このような技術において、複数の方向の人に対して異なる像を提供するためには、複数の方向の各々に割り当てられた画素群に対して異なる画像の信号を生成するため、異なる画像を表示可能な方向の数だけレンダリングの処理が並行して行われ、多大な処理の負荷が生じることになる。
そこで、本発明は、不特定多数の人のために複数の方向の人に対して像を提供する場合に比べ、画像処理の負荷を軽減することを目的とする。

【課題を解決するための手段】

【0005】

本発明の請求項１に係る表示システムは、Ｎ（Ｎは自然数）個の方向に向けてそれぞれ異なる画像を表示可能なＮセットの画素群とプロセッサを備え、前記プロセッサは、前記画素群を視認可能な人物の方向を特定し、特定された前記方向を少なくとも含むＮ個未満の方向に向けた画像を当該方向に対応する前記画素群に表示させることを特徴とする。

【0006】

本発明の請求項２に係る表示システムは、請求項１に記載の態様において、前記Ｎセットの画素群は第１方向に並べられており、前記プロセッサは、前記人物の前記第１方向における第１の角度と第２方向における第２の角度とによって当該人物の方向を特定し、前記第１の角度の方向に向けて画像を表示する画素群に対して、前記第２の角度の方向から見た場合の立体物を表す画像を表示させることを特徴とする。

【0007】

本発明の請求項３に係る表示システムは、請求項１又は２に記載の態様において、前記プロセッサは、前記方向が特定された人物の実空間における位置の変化態様に応じたセット数の前記画素群に当該人物に向けた画像を表示させることを特徴とする。

【0008】

本発明の請求項４に係る表示システムは、請求項３に記載の態様において、前記位置の変化態様とは、前記位置の移動方向、前記位置の移動速度又は前記位置が固定された時間のうちの１以上を少なくとも含むことを特徴とする。

【0009】

本発明の請求項５に係る表示システムは、請求項１から４のいずれか１項に記載の態様において、前記プロセッサは、前記方向が特定された人物の実空間における位置の変化態様に応じた視点から見た立体物の画像を表示させることを特徴とする。

【0010】

本発明の請求項６に係る表示システムは、請求項５に記載の態様において、前記位置の変化態様とは、前記位置の移動方向、前記位置の移動速度又は前記位置が固定された時間のうちの１以上を少なくとも含むことを特徴とする。

【0011】

本発明の請求項７に係る表示システムは、請求項１から６のいずれか１項に記載の態様において、前記プロセッサは、前記方向が特定された人物の位置に応じたセット数の前記画素群に当該人物に向けた画像を表示させることを特徴とする。

【0012】

本発明の請求項８に係る表示システムは、請求項１から７のいずれか１項に記載の態様において、前記プロセッサは、前記方向が特定された人物の人数に応じたセット数の前記画素群に各人物に向けた画像を表示させることを特徴とする。

【0013】

本発明の請求項９に係る表示システムは、請求項１から８のいずれか１項に記載の態様において、前記プロセッサは、前記方向が特定された人物の特定の箇所の動きに応じたセット数の前記画素群に当該人物に向けた画像を表示させることを特徴とする。

【0014】

本発明の請求項１０に係る表示システムは、請求項１から９のいずれか１項に記載の態様において、前記プロセッサは、前記方向が特定された人物の特定の箇所の動きに応じた視点から見た立体物の画像を表示させることを特徴とする。

【0015】

本発明の請求項１１に係る表示制御装置は、Ｎ（Ｎは自然数）個の方向に向けてそれぞれ異なる画像を表示可能なＮセットの画素群とプロセッサを備え、前記プロセッサは、前記画素群を視認可能な人物の方向を特定し、特定された前記方向を少なくとも含むＮ個未満の方向に向けた画像を当該方向に対応する前記画素群に表示させることを特徴とする。

【0016】

本発明の請求項１２に係るプログラムは、Ｎ（Ｎは自然数）個の方向に向けてそれぞれ異なる画像を表示可能なＮセットの画素群とプロセッサを備えるコンピュータに、前記画素群を視認可能な人物の方向を特定するステップと、特定された前記方向を少なくとも含むＮ個未満の方向に向けた画像を当該方向に対応する前記画素群に表示させるステップとを実行させるためのものであることを特徴とする。

【発明の効果】

【0017】

請求項１、１１、１２に係る発明によれば、不特定多数の人のために複数の方向の人に対して像を提供する場合に比べ、画像処理の負荷を軽減することができる。
請求項２に係る発明によれば、画素群に含まれる画素が並ぶ方向以外の方向にも立体的な表示を行うことができる。
請求項３、４に係る発明によれば、画素群のセット数が固定されている場合に比べて、より正確な画像を見せ、且つ、正確な画像をより多くの人物に見せることができる。
請求項５、６に係る発明によれば、視点が固定されている場合に比べて、立体物の画像を見たいアングルから見ることを容易にすることができる。
請求項７に係る発明によれば、画素群のセット数が固定されている場合に比べて、どの位置にいる人物でもより正確な画像を見せ、且つ、正確な画像をより多くの人物に見せることができる。
請求項８に係る発明によれば、人物の数に関わらず画素群を有効に活用することができる。
請求項９に係る発明によれば、画像を見る人物が自分の意志で画像の正確さを変化させることができる。
請求項１０に係る発明によれば、画像を見る人物が自分の意志で画像のアングルを変化させることができる。

【図面の簡単な説明】

【0018】

【図1】実施例に係る多方向表示システムの全体構成を表す図

【図2】レンチキュラーシートを拡大して表す図

【図3】画像が表示される方向の一例を表す図

【図4】画像処理装置のハードウェア構成を表す図

【図5】画像処理装置が実現する機能構成を表す図

【図6】人物の方向を示す角度の一例を表す図

【図7】表示処理における動作手順の一例を表す図

【発明を実施するための形態】

【0019】

［１］実施例
図１は実施例に係る多方向表示システム１の全体構成を表す。多方向表示システム１は、複数の方向に向けてそれぞれ異なる画像を表示するシステムであり、本発明の「表示システム」の一例である。多方向表示システム１は、ディスプレイ装置１０と、撮像装置２０と、画像処理装置３０とを備える。

【0020】

ディスプレイ装置１０は、画像を表示する装置であり、複数の方向に向けてそれぞれ異なる画像を表示する機能を有する。ディスプレイ装置１０は、ディスプレイ本体１１と、レンチキュラーシート１２とを備える。ディスプレイ本体１１は、平面状に並べられた複数の画素から光を発して画像を表示する。ディスプレイ本体１１は、例えば液晶ディスプレイであるが、有機ＥＬ（=Electro-Luminescence）ディスプレイ又はプラズマディスプレイ等であってもよい。

【0021】

ディスプレイ本体１１の表示面１１１にはレンチキュラーシート１２が取り付けられている。ここで、図１においては、表示面１１１に沿った平面上の座標軸をＸ軸（水平方向に沿った軸）、Ｙ軸（鉛直方向に沿った軸）とし、表示面１１１の法線の反対向きを正とするＺ軸とにより示される３次元座標軸が表されている。以下では、各軸の矢印が示す方向を正方向と言い、その反対向きの方向を負方向と言う。また、各軸に沿った方向を「Ｘ軸方向」、「Ｙ軸方向」、「Ｚ軸方向」と言う。

【0022】

レンチキュラーシート１２は、細長いかまぼこ状の凸レンズが並べて配置されたシートであり、表示面１１１のＺ軸負方向側に取り付けられている。レンチキュラーシート１２及びディスプレイ本体１１の画素との関係を、図２を参照して説明する。
図２はレンチキュラーシート１２を拡大して表す。図２では、Ｙ軸正方向に見たレンチキュラーシート１２及びディスプレイ本体１１の画素部１１２が模式的に表されている。

【0023】

レンチキュラーシート１２は、レンズ部１２２－１、１２２－２、１２２－３、１２２－４、１２２－５、１２２－６、・・・（以下では各々を区別しない場合は「レンズ部１２２」と言う）を備える。画素部１１２は、画素１１２－１－１、画素１１２－１－２、画素１１２－１－３、画素１１２－１－３、画素１１２－１－４、画素１１２－１－５、画素１１２－１－６、・・・を有する画素群１１２－１を備える。

【0024】

複数のレンズ部１２２は、前述したように各々が細長いかまぼこ状の凸レンズであり、Ｘ軸方向に並べて配置されている。つまり、各レンズ部１２２は、各々の長手方向がＹ軸に沿うように配置されている。図２の例では、例えば各レンズ部１２２－１に対向する対向領域１２３－１、１２３－２、１２３－３、１２３－４、１２３－５、１２３－６、・・・（以下では各々を区別しない場合は「対向領域１２３」と言う）に４つの画素がＸ軸方向に並べて配置されている。

【0025】

なお、図２では、図を見やすくするために各対向領域１２３においてＸ軸方向に並べて配置される画素の数を４つにしているが、ディスプレイ本体１１は、各対向領域１２３においてＮ個（Ｎは自然数）の画素群を有しているものとする。本実施例におけるＮは４よりも大きく、詳細は後述する。

【0026】

画素群１１２－１の各画素は、いずれも対向領域１２３のＸ軸正方向の端に配置されている。画素群１１２－１の各画素が発した光は、Ｚ軸負方向に進行し、各レンズ部１２２のＸ軸正方向の端において同じ方向（以下「共通方向」と言う）に屈折する。そのため、画素群１１２－１の各画素が発した光は、各光が屈折する共通方向にいる人物の目まで到達して画像を表示する。

【0027】

画素群１１２－１の他にも、各対向領域１２３における配置が共通する画素の集合である画素群は、各レンズ部１２２において同じ方向に屈折するため、各々の画素群に対応する共通方向にいる人物の目まで到達して画像を表示する。このように、ディスプレイ装置１０は、Ｎ個の方向に向けてそれぞれ異なる画像を表示可能なＮセットの画素群を備える。Ｎセットの画素群は、Ｘ軸方向に並べられている。

【0028】

図３は画像が表示される方向の一例を表す。図３では、Ｙ軸正方向に見たディスプレイ装置１０（ディスプレイ本体１１及びレンチキュラーシート１２）が表されている。ディスプレイ装置１０は、表示方向Ｄ０、Ｄ１、Ｄ２、・・・、Ｄ４５、・・・、Ｄ９０までの９１の方向に向けてそれぞれ異なる画像を表示する。つまり、本実施例では、ディスプレイ装置１０は９１セットの画素群を備える。

【0029】

表示方向Ｄ４５は表示面１１１の法線方向と一致しており、各表示方向は１度ずつ角度が異なっているものとする。つまり、表示方向Ｄ０、Ｄ９０はいずれも表示方向Ｄ４５に対して４５度の角度を成す。以下では、表示方向Ｄ０側の角度を負の値で、表示方向Ｄ９０側の角度を正の値で表すものとする（つまり表示方向Ｄ０は－４５度の方向、表示方向Ｄ９０は４５度の方向）。

【0030】

撮像装置２０は、例えばデジタルカメラであり、ディスプレイ装置１０の鉛直上側に取り付けられている。撮像装置２０は、レンズが向いている方向（撮影方向）が表示面１１１の向いている方向に向けられており、図３に表す表示方向を全て画角に収めて撮影する。ディスプレイ装置１０及び撮像装置２０は、画像処理装置３０とケーブル等により電気的に接続されている。なお、この接続は無線通信で行われてもよい。

【0031】

画像処理装置３０は、ディスプレイ装置１０が表示する画像及び撮像装置２０により撮影された画像に関する処理を行う。
図４は画像処理装置３０のハードウェア構成を表す。画像処理装置３０は、プロセッサ３１と、メモリ３２と、ストレージ３３と、デバイスＩ／Ｆ３４とを備えるコンピュータである。プロセッサ３１は、例えば、ＣＰＵ（＝Central Processing Unit）等の演算装置、レジスタ及び周辺回路等を有する。プロセッサ３１は本発明の「プロセッサ」の一例である。

【0032】

メモリ３２は、プロセッサ３１が読み取り可能な記録媒体であり、ＲＡＭ（＝Random Access Memory）及びＲＯＭ（＝Read Only Memory）等を有する。ストレージ３３は、プロセッサ３１が読み取り可能な記録媒体であり、例えば、ハードディスクドライブ又はフラッシュメモリ等を有する。プロセッサ３１は、ＲＡＭをワークエリアとして用いてＲＯＭやストレージ３３に記憶されているプログラムを実行することで各ハードウェアの動作を制御する。

【0033】

デバイスＩ／Ｆ３４は、ディスプレイ装置１０及び撮像装置２０という２つのデバイスとのインターフェース（Ｉ／Ｆ：Interface）になる。多方向表示システム１においては、プロセッサ３１がプログラムを実行して各部を制御することで、以下に述べる各機能が実現される。各機能が行う動作は、その機能を実現する装置のプロセッサ３１が行う動作としても表される。

【0034】

図５は画像処理装置３０が実現する機能構成を表す。画像処理装置３０は、人物方向特定部３０１と、オブジェクト定義部３０２と、レンダリング部３０３と、レンチキュラーレンダリング部３０４とを備える。人物方向特定部３０１は、上述したディスプレイ装置１０が備える画素群を視認可能な人物の方向を特定する。

【0035】

人物方向特定部３０１は、例えば、撮像装置２０が撮影した画像を取得し、取得した画像から周知の顔認識技術を用いて画像に写っている人物の顔を認識する。人物方向特定部３０１は、顔が認識された人物は表示面１１１（つまり画素群）を認識可能であると判断し、認識した顔の画像内の位置に基づいて、その顔の人物の方向を特定する。人物方向特定部３０１は、例えば、各画素の座標と実空間における方向とを対応付けた方向テーブルを用いて人物の方向を特定する。

【0036】

方向テーブルは、例えば多方向表示システム１の提供者が、実空間における特定の方向に対象物を設置し、その対象物が映る画像内の位置を調べることで予め作成しておく。本実施例では、人物の方向が、例えば表示面１１１の法線方向（図３に表す表示方向Ｄ４５と同じ方向）に対して成す角度によって表される。具体的には、人物の方向は、法線方向に対してＸ軸方向に成す角度と、法線方向に対してＹ軸方向に成す角度とによって表される。

【0037】

法線方向に対してＸ軸方向に成す角度とは、人物の方向を示すベクトルをＸ軸及びＺ軸を含む平面に投影した場合に、投影されたベクトルと法線方向とが成す角度である。また、法線方向に対してＹ軸方向に成す角度とは、人物の方向を示すベクトルをＹ軸及びＺ軸を含む平面に投影した場合に投影されたベクトルと法線方向とが成す角度である。これらの角度について図６を参照して説明する。

【0038】

図６は人物の方向を示す角度の一例を表す。図６では、表示面１１１の中央を原点とする３次元座標系のベクトルの座標（ｘ、ｙ、ｚ）で人物の方向Ｄ１００が表されているものとする。図６（ａ）では、人物の方向Ｄ１００をＸ軸及びＺ軸を含む平面に投影した投影方向Ｄ１００－ｘ（座標（ｘ、０、ｚ））が表されている。投影方向Ｄ１００－ｘと表示方向Ｄ４５（法線方向）とが成す角度θ１が、人物の方向Ｄ１００が法線方向に対してＸ軸方向に成す角度である。

【0039】

また、図６（ｂ）では、人物の方向Ｄ１００をＹ軸及びＺ軸を含む平面に投影した投影方向Ｄ１００－ｙ（座標（０、ｙ、ｚ））が表されている。投影方向Ｄ１００－ｙと表示方向Ｄ４５（法線方向）とが成す角度θ２が、人物の方向Ｄ１００が法線方向に対してＹ軸方向に成す角度である。このように、人物方向特定部３０１は、人物のＸ軸方向における角度θ１とＹ軸方向における角度θ２とによって、画素群を視認可能な人物の方向を特定する。

【0040】

Ｘ軸方向は本発明の「第１方向」の一例であり、Ｙ軸方向は本発明の「第２方向」の一例である。また、角度θ１は本発明の「第１の角度」の一例であり、角度θ２は本発明の「第２の角度」の一例である。なお、人物方向特定部３０１は、例えば人物が表示面１１１の近くにいる場合、一人の人物の方向として複数の表示方向を特定してもよい。人物方向特定部３０１は、人物の方向を特定すると、特定した方向を示す方向情報をレンダリング部３０３に供給する。

【0041】

本実施例では、多方向表示システム１が、表示対象となる物体（「オブジェクト」とも言う）を立体物として立体的に表した表示を行う。オブジェクト定義部３０２は、表示対象となる立体物（以下「３Ｄオブジェクト」と言う）を定義した定義情報を記憶する。オブジェクト定義部３０２は、例えば、３Ｄオブジェクトの表面の座標の集合を定義情報として記憶する。オブジェクト定義部３０２が記憶する定義情報は、レンダリング部３０３によって参照される。

【0042】

レンダリング部３０３は、ディスプレイ装置１０が備える各画素群に表示させる画像を示すデータ（以下「表示用の画像データ」と言う）を生成する。このように表示用の画像データを生成することを画像のレンダリングと言う。レンダリング部３０３は、オブジェクト定義部３０２が記憶する定義情報に基づいて、人物方向特定部３０１により特定された人物の方向から見た場合の３Ｄオブジェクトの画像をレンダリングする。

【0043】

レンダリング部３０３は、図６に示す角度θ１及び角度θ２により表される方向が人物の方向として特定された場合は、角度θ１の方向且つ角度θ２の方向から見た場合の３Ｄオブジェクトを表す表示用の画像データを生成する。レンダリング部３０３は、複数の方向が特定された場合には、各方向についての３Ｄオブジェクトの画像をレンダリングする。

【0044】

レンダリング部３０３は、例えば、特定された人物までの距離を特定し、特定した距離に応じて表示用の画像データを生成する。レンダリング部３０３は、例えば、認識した顔の画像内のサイズに基づいてその顔の人物までの距離を特定する。なお、人物までの距離の特定には他の周知の方法が用いられてもよい。レンダリング部３０３は、特定した距離が第１閾値未満である場合、表示方向が第１角度の範囲の画素群に表示させる画像データを生成する。

【0045】

レンダリング部３０３は、同様に、特定した距離が第１閾値以上第２閾値未満である場合は表示方向が第２角度の範囲の画素群に表示させる画像データを生成し、特定した距離が第２閾値以上第３閾値未満である場合は表示方向が第３角度の範囲の画素群に表示させる画像データを生成する。また、レンダリング部３０３は、特定した距離が第３閾値以上である場合は表示方向が第４角度の範囲の画素群に表示させる画像データを生成する。

【0046】

例えば、第１、第２、第３閾値は３０ｃｍ、１００ｃｍ、２００ｃｍと定められ、第１、第２、第３角度は１１度、７度、３度と定められる。レンダリング部３０３は、例えば人物の方向が３０度でその人物までの距離が３０ｃｍ以上１００ｃｍ未満であった場合、２７度から３３度までの表示方向の画素群に表示させる画像データを生成する。その際、レンダリング部３０３は、表示方向が３０度から離れるほど、３０度の表示方向に向けたオブジェクトの画像とは視点をずらしたオブジェクトの画像を表示させる画像データを生成する。

【0047】

また、例えば、特定された人物の右目と左目を別々に検出する構成を更に備えた場合、レンダリング部３０３は、それぞれの目に対し少しずらした表示用画像データを生成し、両目の視差による立体視を可能とするようにしてもよい。レンダリング部３０３は、例えば人物の右目の位置が３２度、左目の位置が３０度と検出されたときに、３２度と３０度の表示方向の画素群にそれぞれ少しずらしたオブジェクトの画像を生成して表示させる画像データを生成する。

【0048】

なお、レンダリング部３０３は、例えば人物の顔の大きさ及び高さから大人か子供かを判定し、判定結果に応じて異なる閾値及び角度を用いてもよい。また、例えば人物方向特定部３０１が画像から目の位置を検知する周知技術を用いて人物の左右の目の方向を特定する場合であれば、レンダリング部３０３は、特定された左右の目の方向で挟まれた表示方向を範囲とする画素群に表示させる画像データを生成してもよい。

【0049】

レンダリング部３０３は、レンダリングした画像の表示用の画像データをレンチキュラーレンダリング部３０４に供給する。レンダリング部３０３は、複数の表示用の画像データを生成した場合はそれら複数の画像データをレンチキュラーレンダリング部３０４に供給する。

【0050】

レンチキュラーレンダリング部３０４は、供給された表示用の画像データが示す画像をレンチキュラー方式でレンダリングする。レンチキュラー方式でのレンダリングとは、画像を表示させる方向に対応する画素群にその画像を表示させるための画像データであり、且つ、全ての画素の画素値を示す画像データを生成することである。レンチキュラーレンダリング部３０４は、例えば５つの方向が人物の方向として特定された場合、それらの方向に対応する画素群にそれぞれの方向から見た３Ｄオブジェクトの画像を表示させるための画像データを生成する。

【0051】

なお、レンチキュラーレンダリング部３０４は、一人の人物の方向として複数の表示方向が特定された場合は、それら複数の表示方向に対応する複数の画素群に３Ｄオブジェクトの共通の画像を表示させるための画像データを生成する。このように、レンチキュラーレンダリング部３０４は、人物方向特定部３０１により特定された人物の方向に向けた画像をその方向に対応する画素群に表示させるための表示用の画像データを生成する。

【0052】

ディスプレイ装置１０は、上述したようにＮセット（本実施例では９１セット）の画素群を備えており、その中には人物の方向として特定されなかった表示方向に対応する画素群も含まれている。レンチキュラーレンダリング部３０４は、そのように人物がいない表示方向の画素群については、画像をレンダリングすることなく、例えば全て最小の画素値とする画像データを生成する。

【0053】

最小の画素値とするのは、画素が光を発していると隣接する画素の光に対して多少なりとも影響を与えるため、その影響を極力少なくするためである。このように、レンチキュラーレンダリング部３０４は、人物方向特定部３０１により人物の方向として特定されなかった方向に対応する画素群については例えば画素値を最小にして画像を表示させないようにした画像データを生成する。

【0054】

なお、Ｎ個の表示方向の全てが人物の方向として同時に特定されることもあり得ない訳ではないが、わざわざそのために多数の人を表示面１１１の前に配置するといった例外的な状況でしか容易には起こりえない。従って、レンチキュラーレンダリング部３０４は、Ｎ個未満の方向に向けた画像をその方向に対応する画素群に表示させるための表示用の画像データを生成することになる。

【0055】

レンチキュラーレンダリング部３０４は、生成した表示用の画像データをディスプレイ装置１０に送信する。ディスプレイ装置１０は、送信されてきた表示用の画像データが示す各画像を、対応する画素群により表示する。以上のとおり、レンダリング部３０３及びレンチキュラーレンダリング部３０４は、図６に示す角度θ１の方向に向けて画像を表示する画素群に対して、角度θ２の方向から見た場合の立体物を表す画像を表示させる。

【0056】

また、レンダリング部３０３及びレンチキュラーレンダリング部３０４は、人物方向特定部３０１により特定された人物の方向を少なくとも含むＮ個未満の方向に向けた画像をその方向に対応する画素群に表示させる。

【0057】

多方向表示システム１が備える各装置は、上記の構成により、複数の方向の人に対して異なる画像を表示する表示処理を行う。
図７は表示処理における動作手順の一例を表す。まず、撮像装置２０は、画像を撮影し（ステップＳ１１）、撮影した画像を画像処理装置３０に送信する（ステップＳ１２）。画像処理装置３０（人物方向特定部３０１）は、送信されてきた画像に写っている人物の方向を特定する（ステップＳ１３）。

【0058】

次に、画像処理装置３０（レンダリング部３０３）は、特定された方向毎に表示する画像をレンダリングする（ステップＳ１４）。続いて、画像処理装置３０（レンチキュラーレンダリング部３０４）は、方向毎のレンダリングで生成された表示用の画像データを用いて、レンチキュラー方式でレンダリングする（ステップＳ１５）。

【0059】

そして、画像処理装置３０（レンチキュラーレンダリング部３０４）は、レンダリングにより生成された表示用の画像データをディスプレイ装置１０に送信する（ステップＳ１６）。ディスプレイ装置１０は、送信されてきた画像データを用いて、特定された方向毎に画像を表示する（ステップＳ１７）。ステップＳ１１からＳ１７までの動作は、ディスプレイ装置１０が人物の方向毎に画像を表示している間、繰り返し行われる。

【0060】

本実施例では、以上のとおり特定された人物の方向毎に画像がレンダリングされる。その際、人物がいない方向には画像を表示しないので、その方向の分はレンダリングの処理が不要になる。このように、本実施例によれば、不特定多数の人のために複数の方向の人に対して像を提供する場合に比べ、画像処理（主にレンダリング部３０３によるレンダリング）の負荷が軽減されることになる。

【0061】

また、本実施例では、画素群に含まれる画素がＸ軸方向に並べられており、図６に表すＸ軸方向における角度θ１で示される人物の方向毎に異なる方向から見た３Ｄオブジェクトの画像が表示される。また、さらに、画素群に含まれる画素はＹ軸方向には並べられていないが、図６に表すＹ軸方向における角度θ２の方向から見た３Ｄオブジェクトの画像が生成されるので、画素群に含まれる画素が並ぶ方向（本実施例ではＸ軸方向）以外の方向（本実施例ではＹ軸方向）にも立体的な表示が行われることになる。

【0062】

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。

【0063】

［２－１］人物の方向の特定方法
人物方向特定部３０１は、実施例では人物の顔を認識することで人物の方向を特定したが、人物の方向の特定方法はこれに限らない。人物方向特定部３０１は、例えば、画像から人物の目を検出することで人物の方向を特定してもよいし、人物の全身を検出することで人物の方向を特定してもよい。

【0064】

また、人物がスマートフォン等の測位手段（自端末の位置を測定する手段）を備える通信端末を所持している場合に、人物方向特定部３０１は、通信端末が測定した位置を示す位置情報を取得して、予め記憶しておいたディスプレイ装置１０の位置情報との関係から人物の方向を特定してもよい。その場合は撮像装置２０がなくても人物の方向が特定される。

【0065】

［２－２］画素群の割り当て
レンチキュラーレンダリング部３０４は、実施例では、一人の人物の方向として複数の表示方向が特定された場合に、それら複数の表示方向に対応する複数の画素群を、その人物への画像表示用の画素群として割り当てた。これに限らず、レンチキュラーレンダリング部３０４は、他の方法で複数の画素群を特定の人物への画像表示用の画素群として割り当ててもよい。

【0066】

レンチキュラーレンダリング部３０４は、例えば、人物方向特定部３０１により方向が特定された人物の実空間における位置の変化態様に応じたセット数の画素群にその人物に向けた画像を表示させるための表示用の画像データを生成する。人物の実空間における位置の変化態様とは、例えば、その人物の位置の移動方向である。人物の位置の移動方向は、例えば、人物方向特定部３０１が人物の方向に加えてその人物までの距離も特定することで判断可能となる。

【0067】

人物方向特定部３０１は、例えば、認識した顔の画像内のサイズに基づいてその顔の人物までの距離を特定する。なお、人物までの距離の特定には他の周知の方法が用いられてもよい。レンチキュラーレンダリング部３０４は、特定された距離が短く変化する場合、すなわち、人物の位置の移動方向がディスプレイ装置１０に近づく方向である場合は、例えば、その人物に割り当てる画素群のセット数を多くする。

【0068】

レンチキュラーレンダリング部３０４は、反対に、人物の位置の移動方向がディスプレイ装置１０から遠ざかる方向である場合は、その人物に割り当てる画素群のセット数を少なくする。ディスプレイ装置１０においては、図３に表すように各対向領域１２３においてＸ軸方向に並べて配置される各画素が発する光はレンチキュラーシート１２で屈折して放射状に進むため、ディスプレイ装置１０に近づくほど人物の目に光が到達する画素の数が増加する。

【0069】

そのため、ディスプレイ装置１０の近くにいる人物に対して１つの画素群しか画像を表示しないと、画像を表示していない画素群も同時に見えるため、それらの画素群の画素値が最小で一面が黒い画像を示していると人物の目に届く画像も黒っぽく見えることになる。また、同時に他の画像を表示する画素群が左右の目から見えると、２つの画像が入り混じって見えることになる。

【0070】

これに対し、人物の左右の目に見える画素群が同じ画像を表示していれば、その画像が正確に見えることになる。また、左右の目に少しずらした画像を見せることで画像が立体的に見えるようにする技術もあるが、その場合でも、左目用の画像と右目用の画像とは異なる画像が左右の目に入ると、立体画像が正確に見えなくなる。このように画像を正確に見せるためには、人物に割り当てる画素群の数を増やせばよいが、一人の人物に割り当てる画素群を増やすほど、他の人物に割り当て可能な画素群が少なくなる。

【0071】

そこで、上記のとおり移動方向に基づき人物に割り当てる画素群のセット数を変化させることで、画素群の割り当てを固定する場合に比べて、人物がディスプレイ装置１０に近づいたときでも、より正確な画像が見えるようになり、且つ、人物に割り当て可能な画素群がより多く残ることになり、正確な画像をより多くの人物に見せられるようになる。

【0072】

なお、人物の実空間における位置の変化態様は、その人物の移動速度であってもよい。その場合、レンチキュラーレンダリング部３０４は、例えば、人物の位置の移動速度が速いほど、その人物に割り当てる画素群のセット数を多くする。これにより、画素群の割り当てを固定する場合に比べて、人物の移動速度にかかわらず、より正確な画像が見えるようになり、且つ、正確な画像をより多くの人物に見せられるようになる。

【0073】

また、人物の実空間における位置の変化態様は、その人物の位置が固定された時間であってもよい。その場合、レンチキュラーレンダリング部３０４は、例えば、人物の位置が固定された時間が長いほど、その人物に割り当てる画素群のセット数を多くする。これにより、画素群の割り当てを固定する場合に比べて、長く画像を見続けている人物ほど、より正確な画像が見えるようになり、且つ、正確な画像をより多くの人物に見せられるようになる。

【0074】

また、レンチキュラーレンダリング部３０４は、上述した位置の変化態様ではなく、より単純に、人物方向特定部３０１により方向が特定された人物の実空間における位置に応じたセット数の画素群にその人物に向けた画像を表示させるための表示用の画像データを生成してもよい。

【0075】

その場合、レンチキュラーレンダリング部３０４は、例えば、人物の位置がディスプレイ装置１０に近いほど、その人物に割り当てる画素群のセット数を多くする。これにより、画素群の割り当てを固定する場合に比べて、どの位置にいる人物でも、より正確な画像が見えるようになり、且つ、正確な画像をより多くの人物に見せられるようになる。

【0076】

また、レンチキュラーレンダリング部３０４は、人物方向特定部３０１により方向が特定された人物の人数に応じたセット数の画素群にその人物に向けた画像を表示させるための表示用の画像データを生成してもよい。その場合、レンチキュラーレンダリング部３０４は、例えば、方向が特定された人物の数が少ないほど、それらの人物に割り当てる画素群のセット数を多くする。

【0077】

つまり、レンチキュラーレンダリング部３０４は、反対に、方向が特定された人物の数が多いほど、それらの人物に割り当てる画素群のセット数を少なくする。これにより、画素群の割り当てを固定する場合に比べて、人物の数に関わらず画素群が有効に活用されることになる。

【0078】

また、レンチキュラーレンダリング部３０４は、人物方向特定部３０１により方向が特定された人物の特定の箇所の動きに応じたセット数の画素群にその人物に向けた画像を表示させるための表示用の画像データを生成してもよい。特定の箇所とは、例えば手、足、目、口、顔などの身体の一部である。その場合、例えば、人物方向特定部３０１が、人物の特定の箇所の画像内での位置又は形を認識して、認識した位置又は形をレンチキュラーレンダリング部３０４に通知する。

【0079】

レンチキュラーレンダリング部３０４は、通知された位置又は形の時間変化から特定の箇所の動きを判断する。レンチキュラーレンダリング部３０４は、例えば、人物の手が上に移動するとその人物への画素群の割り当てを増やし、人物の手が下に移動するとその人物への画素群の割り当てを減らす。これにより、画像を見る人物が自分の意志で画像の正確さを変化させることになる。

【0080】

［２－３］立体物の視点
レンダリング部３０３は、実施例では、図６に示す角度θ１の方向且つ角度θ２の方向から見た場合の３Ｄオブジェクトを表す表示用の画像データを生成したが、３Ｄオブジェクトのレンダリングの方法はこれに限らない。レンダリング部３０３は、人物方向特定部３０１により方向が特定された人物の実空間における位置の変化態様に応じた視点から見た３Ｄオブジェクトを表す表示用の画像データを生成してもよい。

【0081】

人物の実空間における位置の変化態様とは、例えば、その人物の位置の移動方向である。具体的には、レンダリング部３０３は、例えば、３Ｄオブジェクトが壺であり、人物の位置の移動方向がディスプレイ装置１０に近づく方向である場合は、一定の距離まで近づいたところで外部から壺を見る視点から、内部から壺を見る視点に切り替える。

【0082】

また、レンダリング部３０３は、人物の位置の移動方向がディスプレイ装置１０から遠ざかる方向である場合は、一定の距離まで遠ざかったところで内部から壺を見る視点から、外部から壺を見る視点に切り替える。これにより、ディスプレイ装置１０を視聴する人物は、３Ｄオブジェクトの外観及び内観のうち自分が見たい方に視点を切り替えられる。

【0083】

また、人物の実空間における位置の変化態様とは、その人物の位置の移動速度であってもよい。レンダリング部３０３は、例えば、人物の位置の移動速度が速いほど、大きく移動させた視点から見た３Ｄオブジェクトを表す表示用の画像データを生成する。これにより、ディスプレイ装置１０を視聴する人物は、３Ｄオブジェクトを見るアングルを変える際に、移動速度に関係なく視点が変わる場合に比べて、自分が望むアングルにより早く切り替えられる。

【0084】

人物の実空間における位置の変化態様とは、その人物の位置が固定された時間であってもよい。レンダリング部３０３は、例えば、人物の位置が固定された時間が長いほど、視点を近づけた３Ｄオブジェクトを表す表示用の画像データを生成する。これにより、ディスプレイ装置１０を視聴する人物は、注目する箇所を見つめるほどその箇所が詳細に表示されるようになる。また、上記のいずれの変化態様が用いられても、視点が固定されている場合に比べて、立体物の画像を見たいアングルから見ることが容易になる。

【0085】

また、レンチキュラーレンダリング部３０４は、人物方向特定部３０１により方向が特定された人物の特定の箇所の動きに応じた視点から見た３Ｄオブジェクトを表す表示用の画像データを生成してもよい。特定の箇所とは、上述した例と同様に例えば身体の一部である。レンチキュラーレンダリング部３０４は、例えば、人物が手を上下に移動させると視点を上下に移動させ、人物が手を左右に移動させると視点を左右に移動させる。これにより、画像を見る人物が自分の意志で画像のアングルを変化させることになる。

【0086】

この場合に、人物が手を上下や左右に移動させた移動量の変化に応じて、３Ｄオブジェクトに対しする視点の移動量を変化させてもよい。例えば、人物が手をディスプレイ装置１０に対し３度の角度に対応して移動させた場合に、３Ｄオブジェクトに対しする視点の移動量はより大きな３０度分の移動を行うようにし、手の移動量より誇張して表示されるオブジェクト画像のアングルを変化させることが可能となるようにしてもよい。

【0087】

［２－４］レンチキュラーシート
レンチキュラーシートは、実施例では、各々が細長いかまぼこ状の凸レンズである複数のレンズ部１２２がＸ軸方向に並べて配置されていたが、これに限らない。レンチキュラーシートは、例えば、細長いかまぼこ状の凸レンズを直交させて重ねた場合（理論的に重ねるということ）に重なった部分の形状を有する凸レンズであるレンズ部を、Ｘ軸方向及びＹ軸方向に平面的且つ格子状に並べて配置したものであってもよい。

【0088】

本変形例のディスプレイ本体は、各レンズ部の対向領域において、Ｘ軸方向に並べられたＮ個（Ｎは自然数）の画素群と、Ｙ軸方向に並べられたＭ個（Ｍは自然数）の画素群とを有している。これにより、ディスプレイ本体は、Ｘ軸方向に並ぶ画素群に加え、Ｙ軸方向に並ぶ画素群も有することになる。それらのＹ軸方向に並ぶ画素群に対してレンチキュラーレンダリング部３０４がレンチキュラー方式でレンダリングすることで、本変形例のディスプレイ装置は、Ｘ軸方向に特定された方向毎であり且つＹ軸方向にも特定された方向毎に画像を表示する。これにより、例えば目線の高い大人と目線の低い子供とで異なる画像が表示されることになる。

【0089】

［２－５］機能構成
多方向表示システム１において図５に表す機能を実現する方法は実施例で述べた方法に限らない。例えば、ディスプレイ装置１０が図４に記載されたものに相当するハードウェア構成を備えていれば、ディスプレイ装置１０が図５に表す機能を全て実現してもよい。また、ディスプレイ装置１０が撮像装置２０を内蔵していてもよい。

【0090】

その場合はディスプレイ装置１０が単体で本発明の「表示システム」の一例となる。このように、本発明の「表示システム」は、１つの筐体内に全ての構成要素を備えていてもよいし、２以上の筐体に分離して構成要素を備えていてもよい。また、撮像装置２０は表示システムの一部であってもよいし、外部構成であってもよい。

【0091】

また、例えば上述した変形例では人物方向特定部３０１が人物までの距離を特定したり人物の特定の箇所の画像内での位置又は形を認識したりしたが、距離を特定する機能及び位置又は形を認識する機能が別途設けられていてもよい。また、例えばレンダリング部３０３及びレンチキュラーレンダリング部３０４が行う動作を、１つの機能が行ってもよい。要するに、画像読取システム全体として図５等に表された機能が実現されていれば、各機能を実現する装置の構成と、各機能が行う動作の範囲とは自由に定められてよい。

【0092】

［２－６］プロセッサ
上記各実施例において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU：Central Processing Unit、等）や、専用のプロセッサ（例えばGPU：Graphics Processing Unit、ASIC：Application Specific Integrated Circuit、FPGA：Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

【0093】

また上記各実施例におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0094】

［２－７］発明のカテゴリ
本発明は、ディスプレイ装置という表示装置、撮像装置及び画像処理装置の他、各装置を備える表示システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等の通信回線を介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

【符号の説明】

【0095】

１…多方向表示システム、１０…ディスプレイ装置、１１…ディスプレイ本体、１２…レンチキュラーシート、２０…撮像装置、３０…画像処理装置、３０１…人物方向特定部、３０２…オブジェクト定義部、３０３…レンダリング部、３０４…レンチキュラーレンダリング部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】