特許 7531154 裸眼立体画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-01

(45)【発行日】2024-08-09

(54)【発明の名称】裸眼立体画像表示システム

(51)【国際特許分類】

   G02B 30/33 20200101AFI20240802BHJP

   G03B 21/60 20140101ALI20240802BHJP

   G03B 35/08 20210101ALI20240802BHJP

   G03B 35/20 20210101ALI20240802BHJP

   G03B 35/24 20210101ALI20240802BHJP

【ＦＩ】

G02B30/33

G03B21/60

G03B35/08

G03B35/20

G03B35/24

【請求項の数】 3

(21)【出願番号】P 2020167782

(22)【出願日】2020-10-02

(65)【公開番号】P2022059898

(43)【公開日】2022-04-14

【審査請求日】2023-09-28

(73)【特許権者】

【識別番号】592254526

【氏名又は名称】学校法人五島育英会

(73)【特許権者】

【識別番号】303056368

【氏名又は名称】東急建設株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】包 躍

(72)【発明者】

【氏名】熊谷 侑樹

(72)【発明者】

【氏名】上野 隆雄

(72)【発明者】

【氏名】中村 聡

【審査官】岩村 貴

(56)【参考文献】

【文献】米国特許出願公開第２０１３／００８３２９１（ＵＳ，Ａ１）

【文献】特開２０１１－１９７６７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３４２８１３（ＵＳ，Ａ１）

【文献】特開平０７－０１３１０５（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０９８９１９０（ＣＮ，Ａ）

【文献】特表２０１４－５１１５０９（ＪＰ，Ａ）

【文献】特開２０１１－０９５７４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ３０／２０－３０／３７

Ｇ０３Ｂ３５／０８－３５／１２，３５／２０，３５／２４

Ｈ０４Ｎ１３／３０２－１３／３２２

(57)【特許請求の範囲】

【請求項1】

投光装置からの投射光をスクリーンに投射して、裸眼で立体画像を視認させる裸眼立体画像表示システムであって、
前記投光装置は、上下方向及び左右方向のそれぞれに間隔を置いて配置された複数の組の、フォーカスフリーの左目用のプロジェクタと、前記左目用のプロジェクタに間隔をおいて配置されているフォーカスフリーの右目用のプロジェクタと、
観察者を撮影したカメラ画像に基づいて、前記観察者の位置及び姿勢の少なくとも一方を検知する位置・姿勢検知部と、
前記位置・姿勢検知部が検知した情報に基づいて、前記プロジェクタの中から前記左目用のプロジェクタと前記右目用のプロジェクタとを選択するプロジェクタ選択部と、を備え、
前記スクリーンは、前記投射光を再帰反射させる再帰反射手段と、前記再帰反射手段によって再帰反射した再帰反射光を、上下方向のみに拡散させる上下方向拡散手段と、を備え、
前記投光装置は、少なくとも前記観察者の頭の前後方向の動きに合わせて移動可能に構成されている
ことを特徴とする、裸眼立体画像表示システム。

【請求項2】

前記プロジェクタは、レーザースキャン式プロジェクタである
ことを特徴とする、請求項１に記載の裸眼立体画像表示システム。

【請求項3】

前記スクリーンは、曲面で形成されている
ことを特徴とする、請求項１又は２に記載の裸眼立体画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投光装置からの投射光をスクリーンに投射して、裸眼で立体画像を視認させる裸眼立体画像表示システムに関するものである。

【背景技術】

【0002】

従来、専用の眼鏡等を使用しないで、立体画像を視認できるようにした裸眼立体画像表示システムが知られている（例えば、特許文献１参照。）

【0003】

特許文献１には、複数のプロジェクタから画像を投影する画面として、画像を受け、画像を光拡散器層上に焦点合わせし、光拡散器層から拡散された反射画像を受けて拡散反射された画像を焦点合わせして表示窓を形成するレンチキュラー層と、レンチキュラー層の焦点面に位置し、レンチキュラー層から画像を受け二次元の再帰反射面から反射画像を受け、反射画像を拡散して拡散された反射画像を形成する光拡散器層と、光拡散器層から画像を受け、画像の少なくとも一部を光拡散器層に再帰反射して反射画像を形成する二次元の再帰反射面とを有する構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－９５７４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、一般的なプロジェクタは、像をレンズで拡大して、スクリーンに投影するものである。このようなレンズは、レンズ径が大きくなることが一般的である。そのため、視点位置への集光性能が低く、集光されていない像が左右の眼に入るため、視差画像の分解能が悪化する、という問題がある。また、例えば、光拡散器層や、レンチキュラー層や、透明媒体を設けなければならないなど、複雑な構成となる問題がある。

【0006】

そこで、本発明は、簡易な構成で、観察者の左目及び右目への集光性能を高くして、視差画像の分解能を向上させることができる裸眼立体画像表示システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本発明の裸眼立体画像表示システムは、投光装置からの投射光をスクリーンに投射して、裸眼で立体画像を視認させる裸眼立体画像表示システムであって、前記投光装置は、少なくとも１組の、フォーカスフリーの左目用のプロジェクタと、前記左目用のプロジェクタに間隔をおいて配置されているフォーカスフリーの右目用のプロジェクタと、を備え、前記スクリーンは、前記投射光を再帰反射させる再帰反射手段と、前記再帰反射手段によって再帰反射した再帰反射光を、上下方向のみに拡散させる上下方向拡散手段と、を備えることを特徴とする。

【0008】

また、本発明の裸眼立体画像表示システムでは、前記投光装置は、上下方向及び左右方向の少なくとも一方向に間隔を置いて配置された複数の前記プロジェクタによって構成され、観察者を撮影したカメラ画像に基づいて、観察者の位置及び姿勢の少なくとも一方を検知する位置・姿勢検知部と、前記位置・姿勢検知部が検知した情報に基づいて、前記プロジェクタの中から前記左目用のプロジェクタと前記右目用のプロジェクタとを選択するプロジェクタ選択部と、を備えてもよい。

【0009】

また、本発明の裸眼立体画像表示システムでは、前記投光装置は、観察者の頭の前後方向及び左右方向の少なくとも一方の動きに合わせて移動可能に構成されていてもよい。

【0010】

また、本発明の裸眼立体画像表示システムでは、前記投光装置を移動可能な移動手段と、観察者を撮影したカメラ画像に基づいて、観察者の位置及び姿勢の少なくとも一方を検知する位置・姿勢検知部と、前記位置・姿勢検知部が検知した情報に基づいて、前記移動手段を制御する移動手段制御部と、を備えていてもよい。

【0011】

また、本発明の裸眼立体画像表示システムでは、前記プロジェクタは、レーザースキャン式プロジェクタであってもよい。

【0012】

さらに、本発明の裸眼立体画像表示システムでは、前記スクリーンは、曲面で形成されていてもよい。

【発明の効果】

【0013】

このように構成された本発明の裸眼立体画像表示システムでは、投光装置は、少なくとも１組の、フォーカスフリーの左目用のプロジェクタと、左目用のプロジェクタに間隔をおいて配置されているフォーカスフリーの右目用のプロジェクタと、を備え、スクリーンは、投射光を再帰反射させる再帰反射手段と、再帰反射手段によって再帰反射した再帰反射光を、上下方向のみに拡散させる上下方向拡散手段と、を備える。そのため、上下方向拡散手段で拡散した拡散光の左右方向の幅を小さくすることができる。その結果、観察者の左目及び右目への集光性能を高くして、視差画像の分解能を向上させることができる。また、光拡散器層や、レンチキュラー層や、透明媒体を設けないため、簡易な構成とすることができる。

【0014】

また、本発明の裸眼立体画像表示システムでは、投光装置は、上下方向及び左右方向に間隔を置いて配置された複数のプロジェクタによって構成され、観察者を撮影したカメラ画像に基づいて、観察者の位置及び姿勢の少なくとも一方を検知する位置・姿勢検知部と、位置・姿勢検知部が検知した情報に基づいて、プロジェクタの中から左目用のプロジェクタと右目用のプロジェクタとを選択するプロジェクタ選択部と、を備える。そのため、観察者の位置及び姿勢の少なくとも一方（例えば、目や頭）に基づいて、最適な左目用のプロジェクタと右目用のプロジェクタに選択することができる。その結果、観察者の位置及び姿勢の少なくとも一方に対応した視差画像を立体画像として提供することができる。

【0015】

また、本発明の裸眼立体画像表示システムでは、投光装置は、観察者の頭の前後方向や左右方向の動きに合わせて移動可能に構成されているので、観察者の頭が前後方向や左右方向に移動したとしても、観察する目の位置と拡散光の集光位置の関係を一定にすることができる。そして、焦点調整をすることなく、観察者の目に見える立体画像の範囲を一定にすることができる。

【0016】

また、本発明の裸眼立体画像表示システムでは、投光装置を移動可能な移動手段と、観察者を撮影したカメラ画像に基づいて、観察者の位置及び姿勢の少なくとも一方を検知する位置・姿勢検知部と、位置・姿勢検知部が検知した情報に基づいて、移動手段を制御する移動手段制御部と、を備える。そのため、観察者の位置及び姿勢の少なくとも一方（例えば、目や頭）に基づいて、左目用のプロジェクタと右目用のプロジェクタの位置及び姿勢の少なくとも一方を変更することができる。その結果、観察者の位置及び姿勢の少なくとも一方に対応した立体画像を提供することができる。

【0017】

また、本発明の裸眼立体画像表示システムでは、プロジェクタは、レーザースキャン式プロジェクタであるので、レーザースキャン式プロジェクタから出射したレーザの幅を、再帰反射手段によって再帰反射した再帰反射光の論理上の幅とすることができるので、視差幅を極小とすることができる。

【0018】

また、本発明の裸眼立体画像表示システムでは、スクリーンは、曲面で形成されているので、スクリーンの全面に焦点を合わせることができる。そのため、映像によって作り出された世界に入り込んでいるような感覚である没入感が得られる立体画像を提供することができる。

【図面の簡単な説明】

【0019】

【図1】実施例１の裸眼立体画像表示システムの構成を示す概略図である。

【図2】実施例１の裸眼立体画像表示システムの構成を示す概略図である。

【図3】実施例１の投光装置の移動について説明する図であり、図３（ａ）は、投光装置が後方にある状態を示し、図３（ｂ）は、投光装置が前方に移動した状態を示す。

【図4】実施例１の裸眼立体画像表示システムのプロジェクタを説明する概略図である。

【図5】実施例１の裸眼立体画像表示システムのスクリーンを説明する平面図である。

【図6】実施例１の裸眼立体画像表示システムのスクリーンを説明する断面図である。

【図7】実施例１の裸眼立体画像表示システムの機能構成を示すブロック図である。

【図8】実施例１の裸眼立体画像表示システムの制御部による処理の流れを示すフローチャートである。

【図9】実施例１の裸眼立体画像表示システムの作用を説明する図である。

【図10】実施例１の裸眼立体画像表示システムの作用を説明する図である。

【図11】実施例２の裸眼立体画像表示システムの構成を示す概略図である。

【図12】実施例２の裸眼立体画像表示システムの機能構成を示すブロック図である。

【図13】実施例２の裸眼立体画像表示システムの制御部による処理の流れを示すフローチャートである。

【図14】実施例３の裸眼立体画像表示システムの構成を示す概略図である。

【発明を実施するための形態】

【0020】

以下、本発明による裸眼立体画像表示システムを実現する実施形態を、図面に示す実施例１に基づいて説明する。

【実施例1】

【0021】

［裸眼立体画像表示システムの構成］
図１及び図２は、実施例１の裸眼立体画像表示システムの構成を示す概略図である。図３は、実施例１の投光装置の移動について説明する図であり、図３（ａ）は、投光装置が後方にある状態を示し、図３（ｂ）は、投光装置が前方に移動した状態を示す。図４は、実施例１の裸眼立体画像表示システムのプロジェクタを説明する概略図である。図５は、実施例１の裸眼立体画像表示システムのスクリーンを説明する平面図である。図６は、実施例１の裸眼立体画像表示システムのスクリーンを説明する断面図である。以下、実施例１の裸眼立体画像表示システムの構成を説明する。

【0022】

図１に示すように、実施例１における裸眼立体画像表示システム１０は、建設機械１を遠隔操作する場合に使用される。実施例１では、観察者Ｍは、投光装置２０からの投射光をスクリーン３０に投射して、裸眼で立体画像を視認させる裸眼立体画像表示システム１０を使用して、建設機械１を遠隔操作する。

【0023】

なお、観察者Ｍから見て、左右方向を左右方向Ｄ１とし、前後方向を前後方向Ｄ２とし、上下方向を上下方向Ｄ３とする。

【0024】

＜作業現場＞
図１に示すように、作業現場Ｓ１には、建設機械１が配置されている。建設機械１は、例えば、バックホーとすることができる。建設機械１は、車体２と、旋回体３と、アーム４と、を備えている。

【0025】

車体２は、道路や作業現場Ｓ１を自走するための走行装置等を備えている。旋回体３は、車体２の上方に設けられ、車体２に対して、旋回可能となっている。

【0026】

アーム４は、起伏シリンダ（不図示）に支持されている。アーム４の先端には、バケット５が取り付けられている。起伏シリンダが伸縮することで、アーム４が起伏するようになっている。

【0027】

旋回体３には、現場カメラ４０が設置されている。現場カメラ４０は、図２に示すように、右目Ｅ２用の画像を撮影する第１現場カメラ４１と、右目Ｅ２用の画像を撮影する第２現場カメラ４２と、右目Ｅ２用の画像を撮影する第３現場カメラ４３と、左目Ｅ１用の画像を撮影する第４現場カメラ４４と、左目Ｅ１用の画像を撮影する第５現場カメラ４５と、左目Ｅ１用の画像を撮影する第６現場カメラ４６と、を備えている。

【0028】

旋回体３の前方を向いた姿勢で、第１現場カメラ４１と第４現場カメラ４４が最も右側に配置され、第３現場カメラ４３と第６現場カメラ４６が最も左側に配置されている。

【0029】

すなわち、旋回体３の前方を向いた姿勢において、第１現場カメラ４１と第４現場カメラ４４が最も右側の作業現場Ｓ１を撮影し、第３現場カメラ４３と第６現場カメラ４６が最も左側の作業現場Ｓ１を撮影するようになっている。第２現場カメラ４２と第５現場カメラ４５は、第１現場カメラ４１と第４現場カメラ４４が撮影する場所と、第３現場カメラ４３と第６現場カメラ４６が撮影する場所との間を撮影するようになっている。

【0030】

＜遠隔地＞
図１に示すように、遠隔地Ｓ２には、裸眼立体画像表示システム１０が配置されている。裸眼立体画像表示システム１０は、操縦席６に座った観察者Ｍの頭上に配置されている投光装置２０と、スクリーン３０と、観察者Ｍを撮影する観察者カメラ５０と、を備える。

【0031】

（投光装置）
図２に示すように、投光装置２０は、観察者Ｍの頭上に設置された載置台７１に設置さえている。投光装置２０は、プロジェクタとしての、右目Ｅ２用の第１プロジェクタ２１と、右目Ｅ２用の第３プロジェクタ２３と、右目Ｅ２用の第５プロジェクタ２５と、左目Ｅ１用の第２プロジェクタ２２と、左目Ｅ１用の第４プロジェクタ２４と、左目Ｅ１用の第６プロジェクタ２６と、を備えている。なお、図２では、現場カメラ４０を概念的に示している。

【0032】

第１プロジェクタ２１は、第１現場カメラ４１に接続されている。第３プロジェクタ２３は、第２現場カメラ４２に接続されている。第５プロジェクタ２５は、第３現場カメラ４３に接続されている。第２プロジェクタ２２は、第４現場カメラ４４に接続されている。第４プロジェクタ２４は、第５現場カメラ４５に接続されている。第６プロジェクタ２６は、第６現場カメラ４６に接続されている。

【0033】

各プロジェクタは、フォーカスフリー（焦点調節不要）のプロジェクタとしてのレーザースキャン式プロジェクタとするこができる。各プロジェクタは、投射光をスクリーン３０に向けて投射する投射口２１ａ～２６ａを備えている。

【0034】

第１プロジェクタ２１の上方には、第３プロジェクタ２３が配置されている。第３プロジェクタ２３の上方には、第５プロジェクタ２５が配置されている。

【0035】

第３プロジェクタ２３は、第１プロジェクタ２１と左右方向Ｄ１に、間隔Ｄを有して配置されている。言い換えると、第１プロジェクタ２１の投射口２１ａは、第３プロジェクタ２３の投射口２３ａと、左右方向Ｄ１において、間隔Ｄを有して配置されている。

【0036】

第５プロジェクタ２５は、第３プロジェクタ２３と左右方向Ｄ１に、間隔Ｄを有して配置されている。言い換えると、第３プロジェクタ２３の投射口２３ａは、第５プロジェクタ２５の投射口２５ａと、左右方向Ｄ１において、間隔Ｄを有して配置されている。

【0037】

すなわち、右目Ｅ２用の各プロジェクタは、左右方向Ｄ１に間隔Ｄの視差を有して配置されている。

【0038】

第２プロジェクタ２２、第４プロジェクタ２４及び第６プロジェクタ２６は、それぞれ、第１プロジェクタ２１、第３プロジェクタ２３及び第５プロジェクタ２５に対して、左右方向Ｄ１に並んで配置されている。

【0039】

第４プロジェクタ２４は、第２プロジェクタ２２と左右方向Ｄ１に、間隔Ｄを有して配置されている。言い換えると、第２プロジェクタ２２の投射口２２ａは、第４プロジェクタ２４の投射口２４ａと、左右方向Ｄ１において、間隔Ｄを有して配置されている。

【0040】

第６プロジェクタ２６は、第４プロジェクタ２４と左右方向Ｄ１に、間隔Ｄを有して配置されている。言い換えると、第４プロジェクタ２４の投射口２４ａは、第６プロジェクタ２６の投射口２６ａと、左右方向Ｄ１において、間隔Ｄを有して配置されている。

【0041】

すなわち、左目Ｅ１用の各プロジェクタは、左右方向Ｄ１に間隔Ｄの視差を有して配置されている。

【0042】

言い換えると、投光装置２０は、上下方向Ｄ３及び左右方向Ｄ１に間隔を置いて配置された複数のプロジェクタ（第１プロジェクタ２１～第６プロジェクタ２６）によって構成されている。なお、投光装置２０は、上下方向Ｄ３及び左右方向Ｄ１の少なくとも一方に間隔を置いて配置された複数のプロジェクタによって構成されてもよい。

【0043】

観察者Ｍが操縦席６に座った状態において、観察者Ｍの右目Ｅ２の真上に、第３プロジェクタ２３の投射口２３ａが配置され、左目Ｅ１の真上に、第２プロジェクタ２２の投射口２２ａが配置されている。

【0044】

図３（ａ）に示すように、載置台７１には、前後方向Ｄ２に延在したレール７２と、レール７２に接続された駆動部７３とが取り付けられている。駆動部７３は、例えば、ステッピングモータとすることができる。駆動部７３が駆動することで、例えばピニオンギアを介して、投光装置２０がレール７２に沿って前後方向Ｄ２に移動可能に構成されている。

【0045】

各プロジェクタは、図４に示すように、ＲＧＢそれぞれのレーザ光源２０ａと、ＭＥＭＳ（微小電子機械システム）２０ｂとを備えている。レーザ光源２０ａからの光をほぼコリメートして、色合成したビームをＭＥＭＳ２０ｂに入射させ、２次元的に走査し、レーザ変調を同期させることで、目の残像を利用してスクリーン３０に像を形成する。

【0046】

（スクリーン）
図５及び図６に示すように、スクリーン３０は、投光装置２０の投射光を再帰反射させる再帰反射手段３１と、再帰反射手段３１によって再帰反射した再帰反射光を、上下方向Ｄ３のみに拡散させる上下方向拡散手段３２と、を備えている。上下方向拡散手段３２は、再帰反射手段３１の投光装置２０側に積層されている。すなわち、上下方向拡散手段３２は、再帰反射手段３１の手前側（後側）に配置されている。

【0047】

再帰反射手段３１は、例えば、入射した方向のみに光を反射するシート状の素子群とすることができる。再帰反射手段３１は、コーナーキューブタイプやガラスビーズタイプのものにすることができるが、再帰反射率が高い前者が望ましい。

【0048】

上下方向拡散手段３２は、例えば、レンチキュラーアレイとすることができる。上下方向拡散手段３２は、上下方向Ｄ３のみに光を拡散させるレンズ群とすることができる。

【0049】

（観察者カメラ）
図１及び図２に示すように、観察者カメラ５０は、操縦席６に座った観察者Ｍの頭部を撮影可能なように設置されている。観察者カメラ５０としては、例えば、ＷＥＢカメラとすることができる。

【0050】

このように構成されたスクリーン３０は、図６に示すように、投光装置２０からの投射光Ｌ１が、上下方向拡散手段３２を透過して、再帰反射手段３１で再帰反射する。再帰反射手段３１で再帰反射した再帰反射光は、上下方向拡散手段３２で上下方向Ｄ３のみに拡散した拡散光Ｌ２となって、観察者Ｍの左目Ｅ１と右目Ｅ２に到達するようになっている。

【0051】

図１に示すように、操縦席６には、車体２の走行を制御するための操作部（例えば、左及び右の走行レバー）を有している。また、操縦席６には、旋回体３やアーム４等を操作する操作部を有している。操縦席６に座った観察者Ｍは、スクリーン３０を見ながら、操作部を操作して、旋回体３を旋回させ、アーム４を起伏させて作業を行うことができる。

【0052】

［裸眼立体画像表示システムの機能構成］
図７は、実施例１の裸眼立体画像表示システム１０の機能構成を示すブロック図である。以下、実施例１の裸眼立体画像表示システム１０の機能構成を説明する。

【0053】

図７に示すように、裸眼立体画像表示システム１０は、現場カメラ４０が撮影したカメラ画像と観察者カメラ５０が撮影したカメラ画像が、制御部６０に入力され、制御部６０で処理された処理情報が投光装置２０に入力される。

【0054】

現場カメラ４０は、第１現場カメラ４１と、第２現場カメラ４２と、第３現場カメラ４３と、第４現場カメラ４４と、第５現場カメラ４５と、第６現場カメラ４６と、を備えている。各現場カメラ（第１現場カメラ４１～第６現場カメラ４６）は、例えば、単眼カメラとすることができる。現場カメラ４０が撮影したカメラ画像は、制御部６０に入力される。

【0055】

観察者カメラ５０は、例えば、ＷＥＢカメラとすることができる。観察者カメラ５０が撮影したカメラ画像は、制御部６０に入力される。なお、観察者カメラ５０は、例えば、深度カメラとすることもできる。

【0056】

制御部６０は、観察者カメラ画像取得部６１と、位置・姿勢検知部６２と、現場カメラ選択部６３と、現場カメラ画像取得部６４と、プロジェクタ選択部６５と、駆動制御部６６と、を備えている。

【0057】

観察者カメラ画像取得部６１は、観察者カメラ５０が撮影した観察者Ｍのカメラ画像を取得する。

【0058】

位置・姿勢検知部６２は、観察者Ｍを撮影した観察者カメラ５０のカメラ画像に基づいて、観察者Ｍの位置及び姿勢の少なくとも一方を検知する。具体的には、位置・姿勢検知部６２は、例えば、顔の一部（例えば、目や鼻や口）のテンプレート画像を走査して、画像全体から顔を検出するテンプレートマッチングによって、観察者Ｍの位置及び姿勢の少なくとも一方を検知する。観察者Ｍの位置や姿勢には、観察者Ｍの頭の位置や、顔の向きや、頭の傾きや、視線の向き等が含まれるものとする。

【0059】

なお、位置・姿勢検知部６２は、特徴量を用いて顔の一部を探して顔を検出することもできる。特徴量としては、Ｈａａｒ－ｌｉｋｅ特徴量や、ＬＢＰ特徴量や、ＬＩＨ特徴量や、ＨＯＧ特徴量等を用いることができる。

【0060】

Ｈａａｒ－ｌｉｋｅ特徴量を用いた方法では、位置・姿勢検知部６２は、明暗差に基づいて、顔の一部であるか否かを判定する。

【0061】

ＬＢＰ特徴量を用いた方法では、位置・姿勢検知部６２は、輝度の分布（ヒストグラム）に基づいて、顔の一部であるか否かを判定する。

【0062】

ＬＩＨ特徴量を用いた方法では、位置・姿勢検知部６２は、局所領域内の輝度ヒストグラムに基づいて、顔の一部であるか否かを判定する。

【0063】

ＨＯＧ特徴量を用いた方法では、位置・姿勢検知部６２は、画像勾配の強度を表現した方向別ヒストグラムに基づいて、顔の一部であるか否かを判定する。

【0064】

また、位置・姿勢検知部６２は、左目Ｅ１又は右目Ｅ２の画像から、白目と黒目を判別し、検出した黒目の動きをトラッキングすることで、視点位置や視線を検出するようにしてもよい。また、位置・姿勢検知部６２では、ＯｐｅｎＰｏｓｅなどの深層学習を使用して、複数の観察者Ｍの位置及び姿勢の少なくとも一方を検知できるようにすることもできる。また、位置・姿勢検知部６２は、ｄｌｉｂやＮｕｉｔｒａｃｋやＦａｃｅＳＤＫ等を利用して、観察者Ｍの位置及び姿勢の少なくとも一方を検知してもよい。

【0065】

さらに、観察者カメラ５０として、深度カメラを使用した場合、位置・姿勢検知部６２は、特徴点検と深度情報を組み合わせて、観察者Ｍの位置及び姿勢の少なくとも一方を検知することもできる。

【0066】

現場カメラ選択部６３は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、第１現場カメラ４１～第６現場カメラ４６の中から、観察者Ｍの位置及び姿勢の少なくとも一方に対応した左目用の現場カメラ４０と右目用の現場カメラ４０とを選択する。

【0067】

現場カメラ画像取得部６４は、現場カメラ選択部６３が選択した左目用の現場カメラ４０と右目用の現場カメラ４０のカメラ画像を取得する。

【0068】

プロジェクタ選択部６５は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、第１プロジェクタ２１～第６プロジェクタ２６の中から、観察者Ｍの位置及び姿勢の少なくとも一方に対応した左目用のプロジェクタと右目用のプロジェクタとを選択する。プロジェクタ選択部６５が選択した選択情報が投光装置２０に出力されて、プロジェクタ選択部６５によって選択されたプロジェクタが稼働するようになっている。

【0069】

駆動制御部６６は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、投光装置２０が観察者Ｍの位置及び姿勢の少なくとも一方に対応した位置に移動するように、駆動部７３を制御する。すなわち、図３（ｂ）に示すように、例えば、観察者Ｍの頭が前方に移動した場合、駆動制御部６６は、駆動部７３を駆動して、投光装置２０を前方に移動する。観察者Ｍの頭が後方に移動した場合、図３（ａ）に示すように、駆動制御部６６は、駆動部７３を駆動して、投光装置２０を後方に移動する。

【0070】

投光装置２０は、第１プロジェクタ２１～第６プロジェクタ２６を備えている。投光装置２０は、プロジェクタ選択部６５の指示に基づいて、選択したプロジェクタが稼働するようになっている。

【0071】

駆動部７３は、駆動制御部６６の指示に基づいて駆動し、投光装置２０を前後方向Ｄ２に移動するようになっている。すなわち、投光装置２０は、観察者Ｍの頭の前後方向Ｄ２の動きに合わせて移動するようになっている。なお、投光装置２０は、観察者Ｍの頭の前後方向Ｄ２及び左右方向Ｄ１の少なくとも一方の動きに合わせて移動するように構成されてもよい。

【0072】

［裸眼立体画像表示システムの制御部による処理の流れ］
図８は、実施例１の裸眼立体画像表示システム１０の制御部６０による処理の流れを示すフローチャートである。以下、実施例１の裸眼立体画像表示システム１０の制御部６０による処理の流れを説明する。

【0073】

図８に示すように、観察者カメラ画像取得部６１は、観察者カメラ５０が撮影した観察者Ｍのカメラ画像を取得する（ステップＳ１０１）。次いで、位置・姿勢検知部６２は、観察者カメラ５０が撮影した観察者Ｍのカメラ画像に基づいて、観察者Ｍの位置及び姿勢の少なくとも一方を検知する（ステップＳ１０２）。

【0074】

次いで、現場カメラ選択部６３は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、第１現場カメラ４１～第６現場カメラ４６の中から、観察者Ｍの位置及び姿勢の少なくとも一方に対応した左目用の現場カメラ４０と右目用の現場カメラ４０とを選択する（ステップＳ１０３）。

【0075】

次いで、現場カメラ画像取得部６４は、現場カメラ選択部６３が選択した左目用の現場カメラ４０と右目用の現場カメラ４０のカメラ画像を取得する（ステップＳ１０４）。

【0076】

次いで、駆動制御部６６は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、投光装置２０が観察者Ｍの位置及び姿勢の少なくとも一方に対応した位置に移動するように、駆動部７３を制御する（ステップＳ１０５）。

【0077】

次いで、プロジェクタ選択部６５は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、第１プロジェクタ２１～第６プロジェクタ２６の中から、観察者Ｍの位置及び姿勢の少なくとも一方に対応した左目用のプロジェクタと右目用のプロジェクタとを選択し（ステップＳ１０６）、選択されたプロジェクタが稼働してスクリーン３０に投射光Ｌ１を投射し、処理を終了する。

【0078】

［裸眼立体画像表示システムの作用］
図９及び図１０は、実施例１の裸眼立体画像表示システム１０の作用を説明する図である。以下、実施例１の裸眼立体画像表示システム１０の作用を説明する。

【0079】

実施例１の裸眼立体画像表示システム１０は、投光装置２０からの投射光をスクリーン３０に投射して、裸眼で立体画像を視認させる。この裸眼立体画像表示システム１０において、投光装置２０は、フォーカスフリーの左目用のプロジェクタ（第２プロジェクタ２２，第４プロジェクタ２４，第６プロジェクタ２６）と、左目用のプロジェクタ（第２プロジェクタ２２，第４プロジェクタ２４，第６プロジェクタ２６）に間隔をおいて配置されているフォーカスフリーの右目用のプロジェクタ（第１プロジェクタ２１，第３プロジェクタ２３，第５プロジェクタ２５）と、を備え、スクリーン３０は、投射光を再帰反射させる再帰反射手段３１と、再帰反射手段３１によって再帰反射した再帰反射光を、上下方向Ｄ３のみに拡散させる上下方向拡散手段３２と、を備える（図２）。

【0080】

これにより、左目用のプロジェクタからの投射光Ｌ１を、再帰反射手段３１によって再帰反射光にして、この再帰反射光を上下方向Ｄ３に拡散した拡散光Ｌ２として、観察者Ｍの左目Ｅ１に集光することができる。また、右目用のプロジェクタからの投射光Ｌ１を、再帰反射手段３１によって再帰反射光にして、この再帰反射光を上下方向Ｄ３に拡散した拡散光Ｌ２として、観察者Ｍの右目Ｅ２に集光することができる。すなわち、拡散光Ｌ２は上下方向Ｄ３に拡散して、左右方向には略拡散しないため、拡散光Ｌ２の左右方向Ｄ１の幅を小さくすることができる。

【0081】

その結果、観察者Ｍの左目Ｅ１及び右目Ｅ２への集光性能を高くして、視差画像の分解能を向上させることができる。そのため、鮮明な立体画像を、目の疲れを軽減して、裸眼で見えるようにすることができる。さらに、観察者Ｍがスクリーン３０から離れた場所にいても、鮮明な立体画像を、目の疲れを軽減して、裸眼で見えるようにすることができる。

【0082】

ところで、従来のスクリーンでは、光を再帰反射する再帰反射器と、再帰反射器で再帰反射された光を拡散する光拡散器と、再帰反射器と光拡散器との間に設けられた透明媒体と、拡散された光の焦点合わせをするためのレンチキュラー層と、を必要としていた。そのため、スクリーンが厚く重くなるといった問題がある。

【0083】

実施例１では、上下方向拡散手段３２と再帰反射手段３１とで、スクリーン３０を形成することができる。すなわち、実施例１では、光拡散器層、レンチキュラー層、及び透明媒体を設けないため、簡易な構成とし、スクリーン３０の厚さを薄くし、軽量化することができる。

【0084】

また、上下方向Ｄ３に拡散した拡散光Ｌ２を、左目用のプロジェクタ及び右目用のプロジェクタとは異なる位置（例えば、投光装置２０の下方又は上方）にいる観察者Ｍの左目Ｅ１及び右目Ｅ２に到達するようにすることができる。そのため、プロジェクタとは異なる位置にいる観察者Ｍに、鮮明な立体画像を裸眼で見えるようにすることができる。

【0085】

実施例１の裸眼立体画像表示システム１０において、投光装置２０は、上下方向Ｄ３及び左右方向Ｄ１の少なくとも一方に間隔を置いて配置された複数のプロジェクタによって構成され、観察者Ｍを撮影したカメラ画像に基づいて、観察者Ｍの位置及び姿勢の少なくとも一方を検知する位置・姿勢検知部６２と、位置・姿勢検知部６２が検知した情報に基づいて、プロジェクタの中から左目用のプロジェクタと右目用のプロジェクタとを選択するプロジェクタ選択部６５と、を備える（図７）。

【0086】

これにより、観察者Ｍの位置及び姿勢の少なくとも一方（例えば、目や頭）に基づいて、最適な左目用のプロジェクタと右目用のプロジェクタを選択することができる。そのため、例えば、図９に示すように、観察者Ｍが顔を左方向に移動した場合は、移動した位置に対応した左目用の第４プロジェクタ２４と右目用の第５プロジェクタ２５を選択することができる。また、例えば、図１０に示すように、顔を反時計回りに傾けた場合、傾けた位置及び姿勢の少なくとも一方に対応した左目用の第２プロジェクタ２２と右目用の第５プロジェクタ２５を選択することができる。そのため、観察者Ｍの位置及び姿勢の少なくとも一方に対応した視差画像を立体画像として提供することができる。

【0087】

なお、この際、上下方向Ｄ３については、左目用のプロジェクタと右目用のプロジェクタからの投射光が上下方向拡散手段３２によって上下方向Ｄ３のみに拡散した拡散光Ｌ２となっているので、左目用のプロジェクタと右目用のプロジェクタとが上下方向Ｄ３で異なる位置に設置されていても、その影響を受けないようにすることができる。

【0088】

また、拡散光Ｌ２の左右方向Ｄ１の幅を小さくすることができ、さらに投射式プロジェクタより径の小さい出射レンズを使用することができるので、狭い間隔でプロジェクタを複数配置することができる。そのため、視差画像の数を増やすことができる。その結果、連続的な立体画像を表示することができる。また、複数の観察者Ｍがいる場合にも、連続的な立体画像を表示することができる。

【0089】

実施例１の裸眼立体画像表示システム１０において、投光装置２０は、観察者Ｍの頭の前後方向Ｄ２及び左右方向Ｄ１の少なくとも一方の動きに合わせて移動可能に構成されている（図３）。

【0090】

これにより、観察者Ｍの頭が前後方向Ｄ２や左右方向Ｄ１に移動したとしても、観察する目の位置と拡散光Ｌ２の集光位置の関係を一定にすることができる。そのため、観察者Ｍの目に見える立体画像の範囲を一定にすることができる。

【0091】

ところで、投射式プロジェクタを使用する場合、像をスクリーンに投射させるにあたり焦点調節を行う必要がある。例えば、観察者Ｍが頭を前後に動かした場合、立体画像を提供するためには、プロジェクタを前後に移動させると共に、連続的にリアルタイムで焦点調整を行わなければ、鮮明な立体画像を提供することができない、という問題がある。

【0092】

実施例１では、フォーカスフリーのプロジェクタを観察者Ｍの頭の動きに合わせて移動可能としているので、焦点調整をすることなく、鮮明な立体画像を提供することができる。

【0093】

実施例１の裸眼立体画像表示システム１０において、プロジェクタは、レーザースキャン式プロジェクタである（図４）。

【0094】

これにより、レーザースキャン式プロジェクタから出射したレーザを走査して立体画像の表示を行うことができる。そして、レーザースキャン式プロジェクタから出射したレーザの幅を、再帰反射手段３１によって再帰反射した再帰反射光の論理上の幅とすることができるので、視差幅を極小とすることができる。

【実施例2】

【0095】

実施例２の裸眼立体画像表示システムは、投光装置の構成が異なる点で、実施例１の裸眼立体画像表示システムと相違する。

【0096】

［裸眼立体画像表示システムの構成］
図１１は、実施例２の裸眼立体画像表示システムの構成を示す概略図である。以下、実施例２の裸眼立体画像表示システムの構成を説明する。なお、上記実施例で説明した内容と同一乃至均等な部分の説明については、同一の用語又は同一の符号を用いて説明する。

【0097】

図１１に示すように、実施例２の投光装置１２０は、プロジェクタとしての、右目Ｅ２用の第１プロジェクタ２１と、左目Ｅ１用の第２プロジェクタ２２と、を備えている。

【0098】

第１プロジェクタ２１は、第１現場カメラ４１、第２現場カメラ４２又は第３現場カメラ４３に接続されている。第２プロジェクタ２２は、第４現場カメラ４４、第５現場カメラ４５又は第６現場カメラ４６に接続されている。

【0099】

第１プロジェクタ２１と第２プロジェクタ２２は、左右方向Ｄ１に並べて配置されている。投光装置１２０は、移動手段８０によって、前後方向Ｄ２と、左右方向Ｄ１とに移動可能に構成されている。また、投光装置１２０は、移動手段８０によって、上下方向Ｄ３を軸として回転可能に構成されている。

【0100】

移動手段８０は、載置部８１と、載置部８１を支持する支持部８２と、支持部８２に取り付けられている駆動源８３と、載置部８１に取り付けられている前後レール８４と左右レール８５とを備えている。

【0101】

載置部８１は、板状に形成されている。載置部８１には、投光装置１２０が設置されている。

【0102】

支持部８２は、載置台７１に設置されている。駆動源８３は、例えば、ステッピングモータとすることができる。駆動源８３が駆動することで、ピニオンギアを介して、載置部８１が前後レール８４又は左右レール８５に沿って移動可能に構成されている。

【0103】

また、駆動源８３が駆動することで、載置部８１が上下方向Ｄ３を軸として回転可能に構成されている。

【0104】

なお、投光装置１２０は、移動手段８０によって、上下方向Ｄ３に移動可能に構成されていてもよい。

【0105】

［裸眼立体画像表示システムの機能構成］
図１２は、実施例２の裸眼立体画像表示システムの機能構成を示すブロック図である。以下、実施例２の裸眼立体画像表示システムの機能構成を説明する。

【0106】

図１２に示すように、裸眼立体画像表示システム１０は、現場カメラ４０が撮影したカメラ画像と観察者カメラ５０が撮影したカメラ画像が、制御部６０に入力され、制御部６０で処理された処理情報が移動手段８０に入力される。

【0107】

制御部６０は、観察者カメラ画像取得部６１と、位置・姿勢検知部６２と、現場カメラ選択部６３と、移動手段制御部６７と、を備えている。

【0108】

移動手段制御部６７は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、投光装置１２０が観察者Ｍの位置及び姿勢の少なくとも一方に対応した位置に移動するように、移動手段８０を制御する。

【0109】

例えば、観察者Ｍが左右方向Ｄ１に移動した場合、移動手段制御部６７は、駆動源８３を駆動して、載置部８１を左右レール８５に沿って移動させる。観察者Ｍが前後方向Ｄ２に移動した場合、移動手段制御部６７は、駆動源８３を駆動して、載置部８１を左右レール８５に沿って移動させる。観察者Ｍが頭を旋回した場合、移動手段制御部６７は、駆動源８３を駆動して、載置部８１を、上下方向Ｄ３を回転軸として回転させる。

【0110】

移動手段８０は、移動手段制御部６７の制御情報に基づいて、投光装置１２０を移動する。

【0111】

［裸眼立体画像表示システムの制御部による処理の流れ］
図１３は、実施例２の裸眼立体画像表示システムの制御部による処理の流れを示すフローチャートである。以下、実施例２の裸眼立体画像表示システムの制御部による処理の流れを説明する。

【0112】

図１２に示すように、観察者カメラ画像取得部６１は、観察者カメラ５０が撮影した観察者Ｍのカメラ画像を取得する（ステップＳ２０１）。

【0113】

次いで、位置・姿勢検知部６２は、観察者カメラ５０が撮影した観察者Ｍのカメラ画像に基づいて、観察者Ｍの位置及び姿勢の少なくとも一方を検知する（ステップＳ２０２）。

【0114】

次いで、現場カメラ選択部６３は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、第１現場カメラ４１～第６現場カメラ４６の中から、観察者Ｍの位置及び姿勢の少なくとも一方に対応した左目用の現場カメラ４０と右目用の現場カメラ４０とを選択する（ステップＳ２０３）。

【0115】

次いで、現場カメラ画像取得部６４は、現場カメラ選択部６３が選択した左目用の現場カメラ４０と右目用の現場カメラ４０のカメラ画像を取得する（ステップＳ２０４）。

【0116】

次いで、移動手段制御部６７は、位置・姿勢検知部６２が検知した観察者Ｍの位置及び姿勢の少なくとも一方に基づいて、投光装置１２０が観察者Ｍの位置及び姿勢の少なくとも一方に対応した位置に移動するように、移動手段８０を制御し（ステップＳ１０５）、移動した状態で投光装置１２０が稼働してスクリーン３０に投射光Ｌ１を投射し、処理を終了する。

【0117】

［裸眼立体画像表示システムの作用］
次に、実施例２の裸眼立体画像表示システム１０の作用を説明する。実施例２の裸眼立体画像表示システム１０は、投光装置１２０を移動可能な移動手段８０と、観察者Ｍを撮影したカメラ画像に基づいて、観察者Ｍの位置及び姿勢の少なくとも一方を検知する位置・姿勢検知部６２と、位置・姿勢検知部６２が検知した情報に基づいて、移動手段８０を制御する移動手段制御部６７と、を備える（図１２）。

【0118】

これにより、観察者Ｍの位置及び姿勢の少なくとも一方（例えば、目や頭）に基づいて、左目用の第２プロジェクタ２２と右目用の第１プロジェクタ２１の位置及び姿勢の少なくとも一方を変更することができる。例えば、観察者Ｍが顔を旋回した場合は、移動した位置に対応した位置に左目用の第２プロジェクタ２２と右目用の第１プロジェクタ２１を移動することができる。例えば、観察者Ｍが顔を傾けた場合、傾けた位置に対応した位置に左目用の第２プロジェクタ２２と右目用の第１プロジェクタ２１を移動することができる。そのため、観察者Ｍの位置及び姿勢の少なくとも一方に対応した立体画像を提供することができる。

【0119】

なお、他の構成及び作用効果については、実施例１と略同様であるので説明を省略する。

【実施例3】

【0120】

実施例３の裸眼立体画像表示システムは、スクリーンの構成が異なる点で、上記実施例の裸眼立体画像表示システムと相違する。

【0121】

［裸眼立体画像表示システムの構成］
図１４は、実施例３の裸眼立体画像表示システムの構成を示す概略図である。以下、実施例３の裸眼立体画像表示システムの構成を説明する。なお、上記実施例で説明した内容と同一乃至均等な部分の説明については、同一の用語又は同一の符号を用いて説明する。

【0122】

図１４に示すように、実施例３のスクリーン３０は、例えば、上下方向Ｄ３を軸方向とする半円筒状の曲面で形成されている。なお、スクリーン３０の曲面は、凹面であればよく、球面状であっても、半筒状であってもよい。

【0123】

［裸眼立体画像表示システムの作用］
次に、実施例３の裸眼立体画像表示システム１０の作用を説明する。実施例３の裸眼立体画像表示システム１０において、スクリーン３０は、曲面で形成されている（図１４）。

【0124】

ところで、一般的な投射式プロジェクタを使用して、平面ではないスクリーンに投射する場合、焦点合わせを行った箇所以外の部分は、焦点を合わせることができない。そのため、鮮明な立体画像を提供することが出来ない。

【0125】

実施例３では、フォーカスフリーのプロジェクタを使用しているので、曲面で形成されたスクリーン３０の全面に焦点を合わせることができる。そのため、映像によって作り出された世界に入り込んでいるような感覚である没入感が得られる立体画像を提供することができる。

【0126】

なお、他の構成及び作用効果については、実施例１と略同様であるので説明を省略する。

【0127】

以上、本発明の裸眼立体画像表示システムを実施例１～実施例３に基づき説明してきた。しかし、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、各実施例の組み合わせ、設計の変更や追加等は許容される。

【0128】

実施例１では、プロジェクタを６つ備え、実施例２では、プロジェクタを２つ備える例を示した。しかし、プロジェクタの設置数は、これらの態様に限定されるものでなく、右目用のプロジェクタと左目用のプロジェクタが少なくとも１組あればよい。すなわち、投光装置は、少なくとも１組の、フォーカスフリーの左目用のプロジェクタと、左目用のプロジェクタに間隔をおいて配置されているフォーカスフリーの右目用のプロジェクタと、を備えていればよい。

【0129】

実施例１～実施例３では、上下方向拡散手段３２をレンチキュラーアレイとする例を示した。しかし、上下方向拡散手段としては、光を上下方向にのみ拡散できるものであればよい。

【0130】

実施例１～実施例３では、プロジェクタをレーザースキャン式プロジェクタとする例を示した。しかし、プロジェクタとしては、出射レンズ径の小さいフォーカスフリーのレーザ光源プロジェクタ等にすることもできる。

【0131】

実施例１～実施例３では、現場カメラ４０を第１現場カメラ４１～第６現場カメラ４６の６つとする例を示した。しかし、現場カメラは、５つ以下であってもよいし、７つ以上であってもよい。また、現場カメラを移動可能に構成してもよい。

【0132】

実施例１～実施例３では、本発明の裸眼立体画像表示システム１０を１人の観察者Ｍが観察する場合に適用する例を示した。しかし、本発明の裸眼立体画像表示システムは、複数の観察者Ｍが観察する場合にも適用することができる。

【0133】

実施例１～実施例３では、本発明の裸眼立体画像表示システム１０を、建設機械１を遠隔操作する場合に適用する例を示した。しかし、本発明の裸眼立体画像表示システムは、通常のプロジェクタの用途に使用することもできる。

【符号の説明】

【0134】

１０ 裸眼立体画像表示システム
２０ 投光装置
２１ 第１プロジェクタ（右目用のプロジェクタの一例）
２２ 第２プロジェクタ（左目用のプロジェクタの一例）
２３ 第３プロジェクタ（右目用のプロジェクタの一例）
２４ 第４プロジェクタ（左目用のプロジェクタの一例）
２５ 第５プロジェクタ（右目用のプロジェクタの一例）
２６ 第６プロジェクタ（左目用のプロジェクタの一例）
３０ スクリーン
３１ 再帰反射手段
３２ 上下方向拡散手段
６２ 位置・姿勢検知部
６５ プロジェクタ選択部
６７ 移動手段制御部
８０ 移動手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】