特許 7149915 投影装置、投影方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】投影装置、投影方法及びプログラム

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20220930BHJP

   G03B 21/00 20060101ALI20220930BHJP

   G09G 5/00 20060101ALI20220930BHJP

【ＦＩ】

G06F3/04845

G03B21/00 D

G09G5/00 510B

G09G5/00 550C

【請求項の数】 14

(21)【出願番号】P 2019177672

(22)【出願日】2019-09-27

(65)【公開番号】P2021056652

(43)【公開日】2021-04-08

【審査請求日】2021-08-25

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】阿部 雄大

(72)【発明者】

【氏名】楠本 修也

(72)【発明者】

【氏名】小宮 優馬

(72)【発明者】

【氏名】島田 智大

【審査官】三吉 翔子

(56)【参考文献】

【文献】特開２０１６－１７０６１３（ＪＰ，Ａ）

【文献】国際公開第２０１５／１５９６０２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８４５

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部と、
前記投影部への入力操作を検出する入力操作検出部と、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知部と、
前記検知部により検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成部と、
前記検知部の検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定部と、
を備え、
前記投影画像生成部は、前記判定部の結果及び前記入力操作検出部の検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成する投影装置。

【請求項2】

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部と、
前記投影部への入力操作を検出する入力操作検出部と、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知部と、
前記検知部により検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成部と、
を備え、
前記投影画像生成部は、前記入力操作検出部の検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成し、
前記検知部は、予め決められた位置の前記人物を前記操作者として検知する投影装置。

【請求項3】

前記検知部の検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定部を備え、
前記投影画像生成部は、前記判定部の結果に基づいて、前記操作者の前記副画像への操作を前記主画像に反映させる請求項２に記載の投影装置。

【請求項4】

前記検知部は、予め決められた位置の前記人物を前記操作者として検知する請求項１に記載の投影装置。

【請求項5】

前記投影面の周囲に位置する前記複数の人物の撮像画像を取得する撮像部を備え、
前記検知部は、前記撮像画像に基づいて、前記投影面の周囲に位置する前記複数の人物を検知する請求項１から４のいずれか１項に記載の投影装置。

【請求項6】

前記投影画像生成部は、前記検知部で検知された前記複数の人物の検知結果に基づいて、前記副画像を配置する請求項５に記載の投影装置。

【請求項7】

前記検知部は、前記撮像画像に基づいて、前記人物の指示動作を検知して前記操作者を検知する請求項５又は６に記載の投影装置。

【請求項8】

前記複数の人物のうち少なくとも１人が有し、操作指示の入力を行う指示体からの指示を受け付ける指示受付部を備え、
前記入力操作検出部は、前記指示に基づいて前記入力操作を検出し、
前記検知部は、前記指示に基づいて前記操作者を検知する請求項１から７のいずれか１項に記載の投影装置。

【請求項9】

前記検知部は、前記人物が有する特徴部を検知することにより、前記操作者を検知する請求項１から８のいずれか１項に記載の投影装置。

【請求項10】

前記入力操作検出部は、前記投影面の周囲に位置する複数の人物の操作画面の要求指示を検出し、
前記投影画像生成部は、前記入力操作検出部により検出された前記要求指示に応じて、前記操作画面と前記主画像とを含む投影画像を生成する請求項１から９のいずれか１項に記載の投影装置。

【請求項11】

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法であって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
前記検知ステップの検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定ステップと、
を含み、
前記投影画像生成ステップは、前記判定ステップの結果及び前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成する投影方法。

【請求項12】

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法であって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
を含み、
前記投影画像生成ステップは、前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成し、
前記検知ステップは、予め決められた位置の前記人物を前記操作者として検知する投影方法。

【請求項13】

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法をコンピュータに実行させるプログラムであって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
前記検知ステップの検知結果に基づいて、前記操作者と、前記操作者ではない他の前記人物とを判定する判定ステップと、
を含み、
前記投影画像生成ステップは、前記判定ステップの結果及び前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成する投影方法をコンピュータに実行させるプログラム。

【請求項14】

主画像又は前記主画像と前記主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法をコンピュータに実行させるプログラムであって、
前記投影部への入力操作を検出する入力操作検出ステップと、
前記投影面の周囲に位置する複数の人物のうちの前記副画像に前記入力操作を行う操作者を検知する検知ステップと、
前記検知ステップにより検知された前記操作者に対応する位置に配置された前記副画像と前記主画像とを含む前記投影画像を生成する投影画像生成ステップと、
を含み、
前記投影画像生成ステップは、前記入力操作検出ステップの検出結果に基づいて、前記操作者の前記副画像への前記入力操作を前記主画像に反映させた前記投影画像を生成し、
前記検知ステップは、予め決められた位置の前記人物を前記操作者として検知する投影方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投影装置、投影方法及びプログラムに関する。

【背景技術】

【0002】

近年、インタラクティブ操作を行うことができる投影装置が提案されている。ここでインタラクティブ操作とは、ユーザが投影されている画像に対して投影面上で書き込みを行えたり、ユーザの指示により投影されている画像を移動又は拡縮させることである。

【0003】

例えば特許文献１に記載されている技術では、インタラクティブ操作に関連する技術が記載されている。具体的には、特許文献１に記載された技術では、指示手段を移動させた移動軌跡に対応する第１の軌跡画像を画像の表示面上における設定されたオフセット量だけオフセットした位置に表示させるとともに、移動軌跡に対応する第２の軌跡画像をオフセットしない位置にも表示させる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－１２０３９号公報

【発明の概要】

【0005】

本発明の技術に係る一つの実施形態は、複数の人物に対して主画像を投影する場合において、操作を行う操作者に対して副画像を適切に表示することができる投影装置、投影方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明の一の態様である投影装置は、主画像又は主画像と主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部と、投影部への入力操作を検出する入力操作検出部と、投影面の周囲に位置する複数の人物のうちの副画像に入力操作を行う操作者を検知する検知部と、検知部により検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する投影画像生成部と、を備え、投影画像生成部は、入力操作検出部の検出結果に基づいて、操作者の副画像への入力操作を主画像に反映させた投影画像を生成する。

【0007】

好ましくは、投影装置は、検知部の検知結果に基づいて、操作者と、操作者ではない他の人物とを判定する判定部を備え、投影画像生成部は、判定部の結果に基づいて、操作者の副画像への操作を主画像に反映させる。

【0008】

好ましくは、投影装置は、投影面の周囲に位置する複数の人物の撮像画像を取得する撮像部を備え、検知部は、撮像画像に基づいて、投影面の周囲に位置する複数の人物を検知する。

【0009】

好ましくは、投影画像生成部は、検知部で検知された複数の人物の検知結果に基づいて、副画像を配置する。

【0010】

好ましくは、検知部は、撮像画像に基づいて、人物の指示動作を検知して操作者を検知する。

【0011】

好ましくは、投影装置は、複数の人物のうち少なくとも１人が有し、操作指示の入力を行う指示体からの指示を受け付ける指示受付部を備え、入力操作検出部は、指示に基づいて前記入力操作を検出し、検知部は、指示に基づいて操作者を検知する。

【0012】

好ましくは、検知部は、人物が有する特徴部を検知することにより、操作者を検知する。

【0013】

好ましくは、検知部は、予め決められた位置の人物を操作者として検知する。

【0014】

好ましくは、入力操作検出部は、投影面の周囲に位置する複数の人物の操作画面の要求指示を検出し、投影画像生成部は、入力操作検出部により検出された要求指示に応じて、操作画面と主画像とを含む投影画像を生成する。

【0015】

本発明の他の態様である投影方法は、主画像又は主画像と主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法であって、投影部への入力操作を検出する入力操作検出ステップと、投影面の周囲に位置する複数の人物のうちの副画像に入力操作を行う操作者を検知する検知ステップと、検知ステップにより検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する投影画像生成ステップと、を含み、投影画像生成ステップは、入力操作検出ステップの検出結果に基づいて、操作者の副画像への入力操作を主画像に反映させた投影画像を生成する。

【0016】

本発明の他の態様であるプログラムは、主画像又は主画像と主画像の少なくとも一部が複製された副画像とを含む投影画像を投影面に投影する投影部を有する投影装置の投影方法をコンピュータに実行させるプログラムであって、投影部への入力操作を検出する入力操作検出ステップと、投影面の周囲に位置する複数の人物のうちの副画像に入力操作を行う操作者を検知する検知ステップと、検知ステップにより検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する投影画像生成ステップと、を含み、投影画像生成ステップは、入力操作検出ステップの検出結果に基づいて、操作者の副画像への入力操作を主画像に反映させた投影画像を生成する投影方法をコンピュータに実行させる。

【図面の簡単な説明】

【0017】

【図1】図１は、投影装置が使用される一形態に関して説明する図である。

【図2】図２は、投影装置の機能構成の例を示すブロック図である。

【図3】図３は、投影装置を使用した投影方法を示すフローチャートである。

【図4】図４は、複数の人物が出席する会議において、投影装置により会議の資料を投影する例を説明する図である。

【図5】図５は、撮像画像を概念的に示す図である。

【図6】図６は、副画像を必要とする場合を説明する図である。

【図7】図７は、副画像の表示要求の一例を示す図である。

【図8】図８は、副画像の表示例を示す図である。

【図9】図９は、操作者でない他の人物の操作と判定した場合について説明する図である。

【図10】図１０は、操作者のインタラクティブ操作と判定された場合について説明する図である。

【図11】図１１は、投影装置の機能構成例を示すブロック図である。

【図12】図１２は、電子ペンによりインタラクティブ操作を行うことを示す図である。

【図13】図１３は、投影方法を示したフローチャートである。

【図14】図１４は、操作画面の要求指示の例を示す図である。

【図15】図１５は、操作画面の要求指示を行う場合について説明する図である。

【図16】図１６は、表示された操作画面の例を示す図である。

【図17】図１７は、人物が有する特徴部により操作者を検知する場合の例を示す図である。

【図18】図１８は、特定の位置に居る人物を、操作者として検知する場合の例を示す図である。

【発明を実施するための形態】

【0018】

以下、添付図面に従って本発明に係る投影装置、投影方法及びプログラムの好ましい実施の形態について説明する。

【0019】

＜第１の実施形態＞
先ず、本発明の第１の実施形態に関して説明する。

【0020】

図１は、本実施形態の投影装置２０が使用される一形態に関して説明する図である。

【0021】

投影装置２０は会議室の天井Ｘに設置されている。投影装置２０のプロジェクタ部（投影部）２０Ａは、投影装置２０で生成される投影画像をテーブルＴの表面（以後、単にテーブルＴという）を投影面として投影する。テーブルＴの回りに着席した会議の出席者である人物Ａ及び人物Ｊは、テーブルＴに投影される投影画像を参照する。なお、図１で示されている人物Ａと人物Ｊとの配置は、図４をＸ軸方向に向かって見た場合の配置である。

【0022】

投影装置２０はカメラ部（撮像部）２０Ｂを備え、テーブルＴを含む人物が写っている撮像画像を取得する。図１及び図４に示す場合では、テーブルＴを囲む人物Ａ～人物Ｌの撮像画像が取得される。なお、図１は投影装置２０が使用される一例を示す図であり、これに限定されるものではない。例えば投影装置２０は、天井Ｘに設置されることには限定されず、テーブルＴの表面に投影画像を投影することが可能な位置に設置することができる。また、投影面は、テーブルＴに限定されるものではなく、投影画像を投影することができる表面であればよい。例えば、スクリーンやホワイトボードを投影面とすることもできる。

【0023】

図２は、投影装置２０の機能構成の例を示すブロック図である。

【0024】

投影装置２０は、投影面であるテーブルＴに投影画像を投影するプロジェクタ部２０Ａと、テーブルＴの回りに位置する複数の人物を捉えるカメラ部２０Ｂと、制御部２６と、メモリ２７と、投影画像生成部２８と、入力操作検出部３０、検知部３１と、判定部３３と、入力Ｉ／Ｆ(interface)２９と、を備えている。なお制御部２６、メモリ２７、及び入力Ｉ／Ｆ２９は、プロジェクタ部２０Ａ及びカメラ部２０Ｂにおいて共通に機能する。

【0025】

プロジェクタ部２０Ａは、所謂単板式の液晶プロジェクタであり、表示用光学素子（光変調素子ともいう）４２と、素子ドライバ４３と、ＬＥＤ光源４４と、光源ドライバ４５と、投影レンズ４６と、レンズドライバ４７と、を含む。

【0026】

表示用光学素子４２は、複数色のカラーフィルタを備えた透過型の液晶パネル、或いはダイクロイックミラーとマイクロレンズアレイとモノクロの透過型の液晶パネルとを組み合わせたカラーフィルレス構造の素子等が用いられる。カラーフィルレス構造の素子は、例えば、Ｒ（Ｒｅｄ）光、Ｇ（Ｇｒｅｅｎ）光、Ｂ（Ｂｌｕｅ）光をそれぞれ反射する３種類のダイクロイックミラーにより白色光をＲＧＢの３色の光に分光し、３色の光を互いに異なった角度で液晶パネル上のマイクロレンズアレイに入射させる。そして、３色の光をマイクロレンズアレイにより液晶パネルのＲ用画素、Ｇ用画素、Ｂ用画素にそれぞれ入射させることによりカラー画像の表示が可能となる。

【0027】

なお、プロジェクタ部２０Ａは、単板式の液晶プロジェクタに限定されるものでなく、色分離光学系及び複数の液晶パネルを備える公知の３板式の液晶プロジェクタであってもよい。また、プロジェクタ部２０Ａは、透過型液晶方式に限定されるものではなく、反射型液晶表示方式やＤＭＤ（Digital Mirror Device）等を用いた反射型表示方式等の他の各種方式を採用してもよい。

【0028】

素子ドライバ４３は、制御部２６の制御の下、表示用光学素子４２を制御して、投影画像生成部２８が生成した投影画像を表示させる。

【0029】

ＬＥＤ光源４４は、投影光源であり、表示用光学素子４２の背面側（投影レンズ４６に対向する面とは反対面側）から表示用光学素子４２に対して白色光を入射させる。これにより、表示用光学素子４２から投影画像の像光が出射される。光源ドライバ４５は、制御部２６の制御の下、ＬＥＤ光源４４の駆動を制御する。なお、投影光源としてＬＥＤ以外の光源を使用可能である。また、ＤＭＤ等、Ｒ光、Ｂ光、Ｇ光を時分割で順次投影する表示用光学素子４２を用いる場合は、投影光源として、Ｒ光、Ｂ光、Ｇ光を時分割で表示用光学素子４２に順次照射させる光源を使用する。すなわち、投影光としては、Ｒ光、Ｂ光、Ｇ光などの白色光以外の光を用いることができる。

【0030】

投影レンズ４６は、表示用光学素子４２から出射される投影画像の像光を投影面に投影する。レンズドライバ４７は、図示しないレンズ駆動部を介して、投影レンズ４６のフォーカス制御等を行う。なお、本例では投影装置２０及びテーブルＴの位置がほぼ固定であるので、テーブルＴの位置に合わせて予めフォーカス調整等が予め行われていてもよい。

【0031】

制御部２６は、データバス４９を介して、レンズドライバ３７、撮像素子３８、インターフェース回路４０、素子ドライバ４３、光源ドライバ４５、及びレンズドライバ４７等に接続している。この制御部２６は、例えばＣＰＵ（Central Processing Unit）を含む各種の演算部及び処理部及び記憶部により構成されたものであり、メモリ２７から読み出した制御用のプログラムやデータを実行することで、投影装置２０の全体の動作や処理を統括制御する。

【0032】

メモリ２７は、制御部２６が処理を実行するための制御用のプログラムを格納している。

【0033】

投影画像生成部２８は、プロジェクタ部２０Ａで投影される投影画像を生成する。具体的には投影画像生成部２８は、主画像で構成される投影画像、又は主画像及び副画像で構成される投影画像を生成する。ここで、主画像とは投影面に投影される比較的大きな画像である。例えば主画像は、会議に出席した出席者全員が見ることを想定した画像である。また、副画像とは、主画像に対してインタラクティブ操作（入力操作）を行う操作者に補助的に投影される画像である。すなわち、主画像に対してインタラクティブ操作を行う場合に、出席者の位置によっては、直接主画像の所定の領域に手が届かない場合がある。このような場合には、副画像を操作者の手元に表示して、操作者は、敢えて移動しなくても主画像に対してインタラクティブ操作を行うことが可能になる。

【0034】

投影画像生成部２８は、検知部３１により検知された操作者に対応して配置された副画像と主画像とを含む投影画像を生成する。副画像は、予め投影面上の所定の位置に配置することが決められていてもよい。例えば、テーブルＴにおいて予め出席者が座る位置が決まっている場合には、副画像はテーブルＴにおいて予め決められた位置に表示される。また、副画像は、操作者の場所に応じて表示されてもよい。例えば、検知部３１で検知された操作者の手元や周辺に副画像を表示される。

【0035】

投影画像生成部２８は、入力操作検出部３０の検出結果に基づいて、操作者の副画像へのインタラクティブ操作（入力操作）を主画像に反映させた投影画像を生成する。なお、投影画像生成部２８は、副画像においてもインタラクティブ操作を反映させた投影画像を生成してもよい。

【0036】

入力操作検出部３０は、プロジェクタ部２０Ａへのインタラクティブ操作を検出する。具体的には、プロジェクタ部２０Ａが投影する投影画像へのインタラクティブ操作を検出する。入力操作検出部３０は、様々の手法により、インタラクティブ操作を検出することができる。例えば入力操作検出部３０は、カメラ部２０Ｂにより撮像された撮像画像に基づいて、インタラクティブ操作を検出する。入力操作検出部３０は、撮像画像を画像処理することにより、操作者の書き込みや投影された画像の移動又は拡縮操作を検出して、投影画像生成部２８はその検出結果を投影画像（主画像、又は主画像及び副画像）に反映させる。また、入力操作検出部３０は、図２では図示は省略しているが、電子ペン等の指示体に送信される信号により、インタラクティブ操作を検出してもよい。入力操作検出部３０は、電子ペンから送信されてくる信号により、操作者が書き込んだ文字又は投影された画像への操作を検出し、投影画像生成部２８はその検出結果を投影画像に反映させる。

【0037】

検知部３１は、投影面の周囲に位置する複数の人物のうちの副画像にインタラクティブ操作を行う操作者を検知する。検知部３１は、投影装置２０が取得する様々の情報に基づいて、会議の参加者から、インタラクティブ操作を行う操作者を検知する。例えば検知部３１は、カメラ部２０Ｂで取得された撮像画像に基づいて、操作者を検知する。

【0038】

判定部３３は、インタラクティブ操作が操作者の操作であるか、操作者でない者の操作であるかを判定する。例えば判定部３３は、撮像画像に基づいて、操作者と、操作者ではない他の人物とを判定する。

【0039】

カメラ部２０Ｂは、会議の出席者を捉えた撮像画像の取得を行う。カメラ部２０Ｂは出席者の撮像画像を静止画又は動画で取得する。カメラ部２０Ｂは、撮影レンズ３６と、レンズドライバ３７と、撮像素子３８と、図中「Ａ／Ｄ」と表示しているＡＤ(Analog-to-Digital)変換器３９と、図中「Ｉ／Ｆ」と表示しているインターフェース(interface)回路４０と、を含む。カメラ部２０Ｂは、常時又は一定の間隔で撮像画像を取得する。

【0040】

撮影レンズ３６を介して、出席者の像は撮像素子３８に結像する。レンズドライバ３７は、図示しないレンズ駆動部を介して、撮影レンズ３６のフォーカス制御等を行う。

【0041】

撮像素子３８は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。なお、撮像素子３８は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ(Charge Coupled Device)型のイメージセンサでもよい。

【0042】

撮像素子３８には、ＲＧＢの各フィルタが２次元状に配列されたカラーフィルタが備えられており、撮像素子３８によりカラー画像が得られる。なお、得られる撮像画像は、カラー画像に限定されるものではなく、モノクロ画像であってもよい。

【0043】

ＡＤ変換器３９は、撮像素子３８から読み出された受光信号をデジタル信号に変換してインターフェース回路４０へ出力する。インターフェース回路４０は、画像入力コントローラとして機能するものであり、ＡＤ変換器３９から入力された撮像画像を制御部２６へ出力する。

【0044】

図３は、投影装置２０を使用した投影方法を示すフローチャートである。なお、図３に示す一連のステップを説明した後に、各ステップの詳細について説明を行う。

【0045】

先ず、会議の出席者が会議室に入室した後に、投影装置２０の電源が入れられる（ステップＳ１０）。その後、カメラ部２０Ｂにより出席者の撮像が行われ撮像画像が取得される（ステップＳ１１）。その後、検知部３１により、取得された撮像画像に基づいて人物の数及び各人物の位置が検知される（ステップＳ１２）。次に、プロジェクタ部２０Ａにより投影面に主画像が投影される（ステップＳ１３）。次に、検知部３１は、会議の出席者のうちで操作者を検知する（検知ステップ：ステップＳ１４）。そして、検知部３１で操作者が検知された場合には、操作者に対応する位置に副画像を表示する（ステップＳ１５）。その後、入力操作検出部３０はインタラクティブ操作を検知する（入力操作検出ステップ：ステップＳ１６）。次に、判定部３３により、入力操作検出部３０で検知された操作が操作者の操作であるか否かが判定される（ステップＳ１７）。検知したインタラクティブ操作が操作者のものである場合には、副画像に検知したインタラクティブ操作を反映させ（投影画像生成ステップ：ステップＳ１８）、投影画像生成部２８により、主画像に検知したインタラクティブ操作を反映させた投影画像が生成され投影面に投影される（投影画像生成ステップ：ステップＳ１９）。一方、検知したインタラクティブ操作が操作者のものでない場合には、副画像に検知したインタラクティブ操作を反映させず（ステップＳ２０）、主画像に検知したインタラクティブ操作を反映させない（ステップＳ２１）。

【0046】

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

【0047】

次に、上述したステップの各ステップに関して詳細に説明をする。

【0048】

＜＜ステップＳ１０～ステップＳ１２＞＞
先ず、ステップＳ１０～ステップＳ１２に関して説明する。ステップＳ１０では投影装置２０の電源が入れられる。投影装置２０の電源は、手動で入れられてもよいし、会議の出席者が会議室に入室したことを検知して自動的に電源が入れられてもよい。

【0049】

図４は、複数の人物が出席する会議において、投影装置２０により会議の資料を投影する例を説明する図である。

【0050】

会議室にはテーブルＴが設置されており、テーブルＴの回りに、会議の参加者である人物Ａ～人物Ｌが位置している。投影装置２０は、図１で説明したように天井Ｘに設置されており、テーブルＴを投影面として投影画像を投影する。人物Ａ～人物Ｌは、テーブルＴに投影される会議の資料を見ながら会議に参加する。

【0051】

ステップＳ１１及びステップＳ１２では、カメラ部２０Ｂにより会議の出席者の撮像が行われ、検知部３１により人物の数及び位置が検知される。

【0052】

図５は、カメラ部２０Ｂにより撮像された撮像画像を概念的に示す図である。

【0053】

図５に示された撮像画像Ｐは、カメラ部２０Ｂにより撮像される。撮像画像Ｐには全ての会議の出席者（人物Ａ～人物Ｌ）が写っている。カメラ部２０Ｂにより取得された撮像画像Ｐに基づいて、検知部３１は人物Ａ～人物Ｌを検知する。例えば、検知部３１は、カメラ部２０Ｂで撮像された撮像画像に画像処理を行うことにより、人物Ａ～人物Ｌを検知する。撮像画像Ｐにおける点線は、検知部３１で人物Ａ～人物Ｌの各々が検知されたことを示す。検知部３１は、人物Ａ～人物Ｌの各々の位置を検知する。

【0054】

ここで、インタラクティブ操作を行う場合に、操作者が副画像を必要とする場合に関して説明する。

【0055】

図６は、人物Ａが操作者であり、副画像を必要とする場合を説明する図である。

【0056】

人物Ａは領域ＭＩに表示されている主画像に対してインタラクティブ操作を行いたいと思っている。インタラクティブ操作を行う場合には、領域ＭＩに表示されている主画像に直接触れなければならない場合には、人物Ａの位置からは手が届かず人物Ａはそのままの位置では領域ＭＩに表示された主画像に対してインタラクティブ操作を行うことができない。このような場合に、人物Ａの目の前（手元）に、領域ＭＩに表示されている主画像と同じ内容の副画像を表示し、人物Ａの副画像へのインタラクティブ操作を領域ＭＩに反映させることにより、人物Ａはそのままの位置から、領域ＭＩに表示された主画像を操作することができる。

【0057】

＜＜ステップＳ１３～ステップＳ１５＞＞
次に、ステップＳ１３～ステップＳ１５に関して説明する。

【0058】

ステップＳ１３では、プロジェクタ部２０Ａにより主画像で構成された投影画像が投影される。主画像は、投影面であるテーブルＴの全域に表示されてもよいし、テーブルＴの一部分に表示されてもよい。

【0059】

ステップＳ１４では、検知部３１により操作者が検知される。具体的には、検知部３１は、カメラ部２０Ｂで取得された撮像画像に基づいて、所定の指示動作（ジェスチャ）を検知することにより操作者を検知する。

【0060】

図７は、副画像の表示要求の一例を示す図である。

【0061】

図７に示した場合では、人物Ａは、指で領域ＭＩを指し示すことにより、領域ＭＩに表示されている主画像に対応する副画像の表示の要求を行う。カメラ部２０Ｂにより、人物Ａの動きが常時撮像されており、人物Ａの副画像の表示要求を検知することにより、人物Ａが操作者であることを検知する。具体的には、検知部３１は、撮像画像を画像処理することにより、人物Ａが指を指したことを検知し、人物Ａが操作者であることを検知する。また、検知部３１は、撮像画像を画像処理することにより、人物Ａが指している方向において領域ＭＩが存在することを検知して、人物Ａが領域ＭＩの操作者であることを検知する。

【0062】

ステップＳ１５では、検知部３１の検知結果に基づいて、画像生成部により主画像と副画像とで構成される投影画像が生成され、その投影画像がテーブルＴに投影される。

【0063】

図８は、人物Ａに対応する位置に表示された副画像の表示例を示す図である。

【0064】

検知部３１により人物Ａが領域ＭＩに関しての副画像の表示要求をしたと検知され、投影画像生成部２８により人物Ａの手元に副画像ＭＳを有する投影画像が表示される。副画像ＭＳは、領域ＭＩに表示されている主画像と同様の内容を表示する。具体的には、領域ＭＩに表示されている「あいう」が副画像ＭＳにおいても表示されている。なお、副画像が表示される位置は、人物Ａがインタラクティブ操作を行う観点より、人物Ａの位置に対応して様々な位置が採用される。

【0065】

＜＜ステップＳ１６～ステップＳ２２＞＞
次に、ステップＳ１６～ステップＳ２２に関して説明する。

【0066】

ステップＳ１６では、入力操作検出部３０により、人物Ａのインタラクティブ操作が検知される。インタラクティブ操作は、人物Ａの指により行われても良いし、電子ペン等の指示体により行われてもよい。人物Ａの指でインタラクティブ操作を行う場合には、カメラ部２０Ｂで人物Ａを撮像することにより、インタラクティブ操作を検知する。例えば、人物Ａが文字を記載する場合には、カメラ部２０Ｂで人物Ａの指の軌跡を検知する。また例えば、人物Ａが電子ペン５１でインタラクティブ操作を行う場合には、電子ペン５１から人物Ａが記載した文字を認識し、その情報が投影装置２０に送られる。

【0067】

ステップＳ１７では、判定部３３により、検知したインタラクティブ操作が操作者（人物Ａ）の操作であるか、又は操作者ではない他の人物（人物Ｂや人物Ｌなど）の操作であるかを検知する。例えば判定部３３は、カメラ部２０Ｂで撮像された撮像画像により、人物Ａのインタラクティブ操作であるか、他の人物の操作であるかを判定する。

【0068】

図９は、判定部３３が操作者でない他の人物の操作と判定した場合について説明する図である。

【0069】

判定部３３は、カメラ部２０Ｂで撮像された撮像画像によって、人物Ａのインタラクティブ操作であるか否かを判定する。具体的には判定部３３は、撮像画像において、人物Ａを検知しており、人物Ａの身体での操作か又は他の人物（例えば人物Ｂ）の身体での操作かを判定する。判定部３３が、人物Ａのインタラクティブ操作ではないと判定した場合には、その操作は副画像及び主画像に反映されない（ステップＳ２０及びステップＳ２１）。

【0070】

図１０は、判定部３３により、操作者のインタラクティブ操作と判定された場合について説明する図である。

【0071】

判定部３３により、検知されたインタラクティブ操作が人物Ａの操作であることが判定された場合には、そのインタラクティブ操作は副画像及び主画像に反映される（ステップＳ１８及びステップＳ１９）。図１０に示した場合では、入力操作検出部３０により人物Ａの電子ペン５１によるインタラクティブ操作（文字「え」を入力）を検出し、投影画像生成部２８により、この入力された文字が副画像ＭＳ及び領域ＭＩの主画像にも反映された投影画像が生成され投影される。

【0072】

以上で説明したように、本実施形態では、検知部３１により、複数の人物から操作者が検知され、その操作者の手元に副画像が表示される。これにより、操作者は副画像にインタラクティブ操作を行うことによって、主画像にもその内容を反映させることができる。また本実施形態では、カメラ部２０Ｂが投影装置２０に備えられているので、会議の出席者を捉えた撮像画像から得られる情報を、検知部３１、入力操作検出部３０及び判定部３３は使用することができる。

【0073】

＜第２の実施形態＞
次に、第２の実施形態に関して説明する。

【0074】

図１１は、第２の実施形態の投影装置２０の機能構成例を示すブロック図である。なお、図２で既に説明を行った箇所は、同じ符号を付し説明を省略する。

【0075】

投影装置２０は、プロジェクタ部２０Ａと、制御部２６と、メモリ２７と、投影画像生成部２８と、入力操作検出部３０と、検知部３１と、判定部３３と、入力Ｉ／Ｆ(interface)２９と、指示受付部３５と、を備えている。

【0076】

本実施形態の投影装置２０は、第１の実施形態の投影装置２０とは異なりカメラ部２０Ｂを有していない。すなわち、本実施形態の投影装置２０は、カメラ部２０Ｂを構成する、撮像素子３８、ＡＤ(Analog-to-Digital)変換器３９、及びインターフェース回路４０を有していない。

【0077】

投影装置２０は、電子ペン（指示体）５１からの指示受付部３５を備える。指示受付部３５は、複数の人物のうち少なくとも１人が有し、操作指示の入力を行う電子ペン５１からの指示を受け付ける。

【0078】

入力操作検出部３０は、指示受付部３５が受け付けた指示に基づいて、プロジェクタ部２０Ａへのインタラクティブ操作を検出する。すなわち、電子ペン５１を介してのインタラクティブ操作は、入力操作検出部３０により検出される。

【0079】

検知部３１は、指示受付部３５が受け付けた指示に基づいて、インタラクティブ操作を行う操作者を検知する。具体的には、電子ペン５１は予め所持する人物が決められており、電子ペン５１から送信されてきた信号により、操作者を検知することができる。

【0080】

判定部３３は、指示受付部３５が受け付けた指示に基づいて、操作者と操作者ではない他の人物を判定する。具体的には、電子ペン５１は予め所持する人物が決められており、電子ペン５１から送信されてきた信号により、操作者と操作者ではない他の人物を判定する。

【0081】

図１２は、人物Ａ及び人物Ｂの各々が電子ペン５１によりインタラクティブ操作を行うことを示す図である。

【0082】

人物Ａは電子ペン５１Ａを有しており、人物Ｂは電子ペン５１Ｂを有している。電子ペン５１Ａは、予め人物Ａ（又は図１２中の人物Ａが位置する場所に居る人物）が所持することが設定されており、電子ペン５１Ｂは、予め人物Ｂが所持することが設定されている。従って、入力操作検出部３０は、電子ペン５１Ａからの指示は人物Ａのインタラクティブ操作として検出し、電子ペン５１Ｂからの指示は人物Ｂのインタラクティブ操作として検出する。また、電子ペン５１Ａ及び電子ペン５１Ｂの位置は予め決められており、副画像の配置は、電子ペン５１Ａ及び電子ペン５１Ｂを基準にして配置される。すなわち、人物Ａは、電子ペン５１Ａを介して副画像の表示要求を行い、電子ペン５１Ａの予め設定された位置に対応して副画像も配置される。

【0083】

また、各副画像と各電子ペンとは一対一に対応している。すなわち、人物Ａの電子ペン５１Ａは人物Ａの副画像ＭＳ－Ａに対してのみ操作を行うことが可能であり、人物Ｂの電子ペン５１Ｂは人物Ｂの副画像ＭＳ－Ｂに対してのみ操作を行うことが可能である。すなわち、判定部３３は、電子ペン５１Ａの副画像ＭＳ－Ａには電子ペン５１Ａを介しての指示を操作者のインタラクティブ操作であると判定し、電子ペン５１Ｂの副画像ＭＳ－Ｂには電子ペン５１Ｂを介しての指示を操作者のインタラクティブ操作であると判定する。なお、電子ペン５１Ａ及び５１Ｂは、投影装置２０に無線又は有線により接続されている。

【0084】

図１３は、本実施形態における投影方法を示したフローチャートである。

【0085】

先ず、会議の出席者が会議室に入室した後に、投影装置２０の電源が入れられる（ステップＳ３０）。その後、プロジェクタ部２０Ａにより、投影面に主画像が投影される（ステップＳ３１）。次に、検知部３１は、会議の出席者のうちで操作者を検知する（ステップＳ３２）。そして、検知部３１で操作者が検知された場合には、操作者に対応する位置に副画像を表示する（ステップＳ３３）。その後、入力操作検出部３０はインタラクティブ操作を検出する（ステップＳ３４）。次に、判定部３３により、入力操作検出部３０で検出された操作が操作者の操作であるか否かが判定される（ステップＳ３５）。検出したインタラクティブ操作が操作者のものである場合には、投影画像生成部２８により、副画像に検出したインタラクティブ操作を反映させ（ステップＳ３６）、主画像に検出したインタラクティブ操作を反映（ステップＳ３７）させた投影画像が生成される。一方、検知したインタラクティブ操作が操作者のものでない場合には、副画像に検知したインタラクティブ操作を反映させず（ステップＳ３８）、主画像に検知したインタラクティブ操作を反映させない（ステップＳ３９）。

【0086】

以上で説明したように、本実施形態では、検知部３１により複数の人物から操作者が検知され、その操作者の手元に副画像が表示される。これにより、操作者は副画像にインタラクティブ操作を行うことによって、主画像にもその内容を反映させることができる。また本実施形態では、電子ペン５１を使用してインタラクティブ操作が行われ、各電子ペン５１は各副画像に対応しているので、操作者ではない他の人物の電子ペン５１による誤ったインタラクティブ操作の検出を防ぐことができる。

【0087】

＜第１の変形例＞
次に、第１の変形例に関して説明する。本例においては、操作画面を使用して副画像を表示させる。

【0088】

検知部３１は、投影面の周囲に位置する複数の人物の操作画面の要求指示を検知する。そして、投影画像生成部２８は、入力操作検出部３０により検知された要求指示に応じて、操作画面と主画像とを含む投影画像を生成する。

【0089】

図１４は、操作画面の要求指示の例を示す図である。

【0090】

人物Ａは、指示動作（指を移動させる）ことにより、操作画面の要求指示を出す。入力操作検出部３０は、カメラ部２０Ｂを有する投影装置２０（図２を参照）である場合には、人物Ａの撮像画像に基づいて、人物Ａが操作画面の投影領域の端辺６１を指先で１往復移動させることを検出する。これにより、入力操作検出部３０は、操作画面の要求指示を検出する。投影画像生成部２８は、要求指示に基づいて、端辺６１から出現する操作画面を有する投影画像を生成する。

【0091】

図１５は、人物Ａが有する電子ペン５１Ａにより、操作画面の要求指示を行う場合について説明する図である。

【0092】

人物Ａは、指示体（電子ペン５１Ａ）により、操作画面の要求指示を出す。入力操作検出部３０は、電子ペン５１Ａが接続される指示受付部３５を有する投影装置２０（図１１を参照）である場合には、電子ペン５１Ａから操作画面の要求指示を検出する。具体的には、電子ペン５１Ａには、操作画面の表示ボタンが設けられており、表示ボタンが押下されることにより、操作画面が表示される。電子ペン５１Ａの位置は予め決められており、電子ペン５１Ａの位置を基準にして操作画面が表示される。

【0093】

図１６は、表示された操作画面の例を示す図である。入力操作検出部３０が操作画面の要求を検知した場合には、投影画像生成部２８は主画像と操作画面ＭＯとを含む投影画像を生成する。操作画面ＭＯは、投影面に投影される主画像への操作を行えるアイコンを有している。具体的には操作画面ＭＯは、「色変更」「太さ変更」「副画像表示」「一つ戻す」等のアイコンを有している。操作画面ＭＯのこれらのアイコンを指又は電子ペン５１Ａによりタッチすることにより、アイコンに応じたインタラクティブ操作を行うことができる。なお、図１６に示した場合では、操作画面ＭＯは矢印５５に示すようにテーブルＴの縁から出現する。

【0094】

以上で説明したように、本実施形態では、入力操作検出部３０が操作画面の要求指示を検出し、操作画面が表示される。そして、操作画面が有するアイコンを介してインタラクティブ操作を行うことができるので、ユーザに簡便なインタラクティブ操作を提供することができる。

【0095】

＜第２の変形例＞
次に、第２の変形例に関して説明する。本例では、検知部３１が操作者を検知する態様の他の例に関して説明する。

【0096】

図１７は、検知部３１が、人物が有する特徴部により操作者を検知する場合の例を示す図である。

【0097】

図１７に示す場合には、人物Ａは特徴部として色がついた指輪Ｒをしている。そして、投影装置２０がカメラ部２０Ｂを有する場合（図２を参照）には、人物Ａの指輪Ｒが写っている撮像画像が取得され、その撮像画像に基づいて人物Ａを操作者として検知する。なお、特徴部としては、色のついた指輪Ｒに限定されず、様々なものを特徴部として採用することができる。また、判定部３３は、指輪Ｒをしている人物を操作者と判定し、指輪Ｒしていない人物を操作者でないと判定することができる。

【0098】

このように、人物が身につけている特徴部（指輪）により、操作者を検知及び判定することにより、正確に操作者のインタラクティブ操作を反映させることができる。

【0099】

＜第３の変形例＞
次に、第３の変形例に関して説明する。本例では、検知部３１が操作者を検知する態様の他の例に関して説明する。

【0100】

図１８は、特定の位置に居る人物を、操作者として検知する場合の例を示す図である。

【0101】

図１８に示す場合には、人物Ｚは、全ての人物との距離が最も短い場所Ｓに位置している。検知部３１は、場所Ｓに位置した人物を操作者として検知することが決められおり、人物Ｚが場所Ｓに位置したことを検知すると、検知部３１は人物Ｚを操作者として検知する。投影装置２０がカメラ部２０Ｂを有する場合（図２を参照）には、人物Ｚが写っている撮像画像が取得され、検知部３１はその撮像画像に基づいて人物Ｚを操作者として検知し、判定部３３はその撮像画像に基づいて操作者を判定する。また、電子ペン５１と接続される指示受付部３５を有する投影装置２０である場合（図１１を参照）には、検知部３１は場所Ｓに設置される電子ペン５１からの指示に基づいて人物Ｚを操作者として検知し、判定部３３は場所Ｓに設置される電子ペン５１からの指示に基づいて操作者を判定する。

【0102】

このように、予め決められた場所に位置する人物を操作者として検知及び判定することにより、操作者が代表してインタラクティブ操作を行って投影画像を操作し、スムーズ会議の進行を行うことができる。

【0103】

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0104】

２０ ：投影装置
２０Ａ ：プロジェクタ部
２０Ｂ ：カメラ部
２６ ：制御部
２７ ：メモリ
２８ ：投影画像生成部
２９ ：入力Ｉ／Ｆ
３０ ：入力操作検出部
３１ ：検知部
３３ ：判定部
３５ ：指示受付部
３６ ：撮影レンズ
３７ ：レンズドライバ
３８ ：撮像素子
３９ ：ＡＤ変換器
４０ ：インターフェース回路
４２ ：表示用光学素子
４３ ：素子ドライバ
４４ ：ＬＥＤ光源
４５ ：光源ドライバ
４６ ：投影レンズ
４７ ：レンズドライバ
４９ ：データバス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】