特開 2024-155103 撮影投影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024155103

(43)【公開日】2024-10-31

(54)【発明の名称】撮影投影装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241024BHJP

   H04N 13/344 20180101ALI20241024BHJP

   H04N 13/261 20180101ALI20241024BHJP

   H04N 23/63 20230101ALI20241024BHJP

   H04N 23/60 20230101ALI20241024BHJP

   G02B 27/02 20060101ALI20241024BHJP

【ＦＩ】

H04N7/18 U

H04N7/18 N

H04N13/344

H04N13/261

H04N23/63

H04N23/60 500

G02B27/02 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023069529

(22)【出願日】2023-04-20

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】507200938

【氏名又は名称】株式会社タナカ技研

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(74)【代理人】

【識別番号】100166811

【弁理士】

【氏名又は名称】白鹿 剛

(72)【発明者】

【氏名】和田 穣二

(72)【発明者】

【氏名】石井 太

【テーマコード（参考）】

2H199

5C054

5C122

【Ｆターム（参考）】

2H199CA04

2H199CA42

2H199CA47

2H199CA48

2H199CA77

2H199CA92

5C054CA03

5C054CA04

5C054CA05

5C054CC02

5C054CD00

5C054EA05

5C054FA00

5C054FC01

5C054FC12

5C054FE13

5C054HA01

5C054HA05

5C122DA15

5C122DA16

5C122EA61

5C122FH09

5C122FH11

5C122FK23

5C122FK24

5C122FK41

5C122HB01

(57)【要約】

【課題】不可視光を撮影した結果について、これまでに利用されていない態様で活用することができれば有用である。
【解決手段】撮影投影装置１は、ユーザの頭部に装着されて用いられる。撮影投影装置１は、カメラを用いて、ユーザの視野に対応する対象領域からの不可視光である波長帯の電磁波を撮影画像として記録するように構成された撮像部１０と、撮影画像に基づいて、可視光画像である投影画像を取得する投影画像取得部２５と、投影画像の投影態様をユーザの視野に対応するように調整する調整部３０と、調整部３０の調整結果に基づいてユーザの目に投影画像を投影する投影部５０とを備える。撮影投影装置１により、不可視光の撮影結果に基づいて取得された投影画像を、適切な投影態様となるようにユーザの目に投影することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの頭部に装着されて用いられる撮影投影装置であって、
カメラを用いて、ユーザの視野に対応する対象領域からの不可視光である波長帯の電磁波を撮影画像として記録するように構成された撮像部と、
前記撮影画像に基づいて、可視光画像である投影画像を取得する投影画像取得部と、
前記投影画像の投影態様を前記ユーザの視野に対応するように調整する調整部と、
前記調整部の調整結果に基づいてユーザの目に前記投影画像を投影する投影部とを備える、撮影投影装置。

【請求項2】

前記投影画像の投影態様の調整に関する調整情報が格納される格納部を備え、
前記調整部は、前記調整情報に基づいて前記投影画像の投影態様を調整する、請求項１に記載の撮影投影装置。

【請求項3】

前記投影画像取得部は、通常時の投影画像とは異なる調整用画像を前記撮影画像に基づいて取得可能であり、
前記調整部は、前記調整用画像がユーザの目に投影されている状態において前記投影態様を調整するための調整操作を当該ユーザから受け付け可能である、請求項２に記載の撮影投影装置。

【請求項4】

前記調整用画像は、前記対象領域に配置されて前記撮像部により画像として記録された所定の識別用被写体の位置を目立つように表す画像である、請求項３に記載の撮影投影装置。

【請求項5】

前記ユーザの目に入射する光を検知するように構成された補正用情報検知部を備え、
前記調整部は、前記補正用情報検知部の検知結果に基づいて、前記投影画像の投影態様を調整する、請求項１に記載の撮影投影装置。

【請求項6】

前記撮像部は、波長帯が互いに異なる電磁波をそれぞれ記録対象とする２以上の撮影画像を撮影するように構成されており、
前記投影画像取得部は、前記２以上の撮影画像を用いて１つの前記投影画像を取得する、請求項１に記載の撮影投影装置。

【請求項7】

前記投影画像取得部は、前記２以上の撮影画像を用いて正規化植生指標を算出した結果に基づいて前記投影画像を取得する、請求項６に記載の撮影投影装置。

【請求項8】

前記投影画像取得部は、前記撮影画像に含まれる不可視化されている所定のマーキング画像を検出し、その検出結果に応じて前記投影画像を取得する、請求項１に記載の撮影投影装置。

【請求項9】

前記投影画像取得部は、前記撮影画像に基づいてテキスト情報を取得し、取得したテキスト情報を用いて前記投影画像を取得する、請求項１に記載の撮影投影装置。

【請求項10】

前記不可視光である波長帯の電磁波は、赤外線又は紫外線である、請求項１に記載の撮影投影装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ユーザの頭部に装着されて用いられ、カメラを用いて撮影された画像を用いてユーザの目に投影画像を投影することができる撮影投影装置に関する。

【背景技術】

【0002】

撮像した画像信号を基に画像処理を行うことで、撮像範囲内の特定の物体を検出する種々の技術が考えられている。このような技術は監視カメラや車載用カメラなどに用いられていた。可視光を検出して撮像する可視光カメラだけでなく、近赤外線カメラや、撮像対象の温度を検出する遠赤外線カメラなども使用されていた。

【0003】

従来、可視光カメラと遠赤外線カメラを並べて配置して画像処理を行う際に、２種類のカメラの光軸ズレを補正する目的で、視差補正を必要とする技術がある（例えば、特許文献１参照）。

【0004】

また、視差をなくす目的で、可視光カメラと近赤外線カメラを同一光軸に配置して高速度撮像を行う技術（例えば、特許文献２参照）がある。波長を選択する光学部品を用いて、第一波長の可視光カメラと、第二波長の赤外線カメラを同一光軸に配置する技術（例えば、特許文献３参照）がある。

【0005】

なお、同一光軸光学系に関する技術として、同一光軸レンズ光学系に関する技術（例えば、特許文献４参照）や、反射光学系に関する技術（例えば、特許文献５参照）が知られている。

【0006】

また、ＮＡＭ（非加算混合）回路を用いて、二つの元画像の同じ位置の各画素のうち、レベルの高い画素値を優先して出力し、合成画像を取得する技術が知られている（例えば、特許文献６参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１３－２４７４９２号公報

【特許文献2】特開２０１７－１５６７９６号公報

【特許文献3】特開２００２－２０９１２６号公報

【特許文献4】特開２０１１－２３２６０６号公報

【特許文献5】特開２０２３－０１７４８９号公報

【特許文献6】特許第６９０２１５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

不可視光を撮影した結果について、これまでに利用されていない態様で活用することができれば有用である。

【0009】

このような態様として、ユーザの頭部に装着される装置により、不可視光を撮影した結果を用いた投影画像をユーザの目に投影するものが考えられる。この場合、ユーザは、不可視光に基づく情報を含む投影画像を、肉眼による視野（便宜上、肉眼画像と呼ぶ）に重ねて確認することができる。

【0010】

ところで、このように投影画像をユーザの目に投影する場合、肉眼画像に対する投影画像の投影態様が適切な態様となるようにすることが好ましい。具体的には、例えば、ユーザの視野が変化したり投影画像が変化したりして投影画像と肉眼画像との間にずれが生じると、そのずれが、ユーザの体験に好ましくない影響を及ぼす可能性がある。このような場合において、投影画像と肉眼画像との間のずれを小さくすることができれば、ユーザにより良い体験を提供することができる可能性がある。

【0011】

この発明はそのような観点を鑑みてなされたものであり、不可視光の撮影結果に基づいて取得された投影画像を、適切な投影態様となるようにユーザの目に投影することができる撮影投影装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

本第一の発明の撮影投影装置は、ユーザの頭部に装着されて用いられる撮影投影装置であって、カメラを用いて、ユーザの視野に対応する対象領域からの不可視光である波長帯の電磁波を撮影画像として記録するように構成された撮像部と、撮影画像に基づいて、可視光画像である投影画像を取得する投影画像取得部と、投影画像の投影態様をユーザの視野に対応するように調整する調整部と、調整部の調整結果に基づいてユーザの目に投影画像を投影する投影部とを備える、撮影投影装置である。

【0013】

かかる構成により、不可視光の撮影結果に基づいて取得された投影画像を、ユーザの視野に対応する投影態様となるようにしてユーザの目に投影することができる。

【0014】

また、本第二の発明の撮影投影装置は、第一の発明に対して、投影画像の投影態様の調整に関する調整情報が格納される格納部を備え、調整部は、調整情報に基づいて投影画像の投影態様を調整する、撮影投影装置である。

【0015】

かかる構成により、容易に、投影画像を適切な投影態様に投影することができる。

【0016】

また、本第三の発明の撮影投影装置は、第二の発明に対して、投影画像取得部は、通常時の投影画像とは異なる調整用画像を撮影画像に基づいて取得可能であり、調整部は、調整用画像がユーザの目に投影されている状態において投影態様を調整するための調整操作をユーザから受け付け可能である、撮影投影装置である。

【0017】

かかる構成により、ユーザが、容易に、投影画像の投影態様の調整操作を行うことができる。

【0018】

また、本第四の発明の撮影投影装置は、第三の発明に対して、調整用画像は、対象領域に配置されて撮像部により画像として記録された所定の識別用被写体の位置を目立つように表す画像である、撮影投影装置である。

【0019】

かかる構成により、ユーザが、より容易に、投影画像の投影態様の調整操作を行うことができる。

【0020】

また、本第五の発明の撮影投影装置は、第一から四のいずれか一つの発明に対して、ユーザの目に入射する光を検知するように構成された補正用情報検知部を備え、調整部は、補正用情報検知部の検知結果に基づいて、投影画像の投影態様を調整する、撮影投影装置である。

【0021】

かかる構成により、自動的に、投影画像の投影態様を調整することができる。

【0022】

また、本第六の発明の撮影投影装置は、第一から五のいずれか一つの発明に対して、撮像部は、波長帯が互いに異なる電磁波をそれぞれ記録対象とする２以上の撮影画像を撮影するように構成されており、投影画像取得部は、２以上の撮影画像を用いて１つの投影画像を取得する、撮影投影装置である。

【0023】

かかる構成により、２以上の撮影画像を用いて得られる情報を、ユーザの視野に対応する投影態様となるようにしてユーザの目に投影することができる。

【0024】

また、本第七の発明の撮影投影装置は、第六の発明に対して、投影画像取得部は、２以上の撮影画像を用いて正規化植生指標を算出した結果に基づいて投影画像を取得する、撮影投影装置である。

【0025】

かかる構成により、対象領域の正規化植生指標に基づく情報を容易に認知することができる。

【0026】

また、本第八の発明の撮影投影装置は、第一から六のいずれか一つの発明に対して、投影画像取得部は、撮影画像に含まれる不可視化されている所定のマーキング画像を検出し、その検出結果に応じて投影画像を取得する、撮影投影装置である。

【0027】

かかる構成により、不可視化されたマーキング画像の検出結果とマーキング画像が付された物との対応関係をユーザが容易に認知することができる。

【0028】

また、本第九の発明の撮影投影装置は、第一から八のいずれか一つの発明に対して、投影画像取得部は、撮影画像に基づいてテキスト情報を取得し、取得したテキスト情報を用いて投影画像を取得する、撮影投影装置である。

【0029】

かかる構成により、肉眼では得られない不可視光に基づくテキスト情報を、ユーザの視野に対応する投影態様となるようにしてユーザの目に投影することができる。

【0030】

また、本第十の発明の撮影投影装置は、第一から九のいずれか一つの発明に対して、不可視光である波長帯の電磁波は、赤外線又は紫外線である、撮影投影装置である。

【0031】

かかる構成により、不可視光の撮影結果に基づいて取得された投影画像を、適切な投影態様となるようにユーザの目に投影することができる。

【発明の効果】

【0032】

本発明による撮影投影装置によれば、不可視光の撮影結果に基づいて取得された投影画像を、適切な投影態様となるようにユーザの目に投影することができる。

【図面の簡単な説明】

【0033】

【図1】本発明の実施の形態１に係る撮影投影装置の構成を示す図

【図2】同撮影投影装置の構成を表すブロック図

【図3】同撮影投影装置の動作の一例を示すフローチャート

【図4】同撮影投影装置が行う調整情報補正処理の一例を示すフローチャート

【図5】同撮影投影装置の投影画像の投影態様の調整について説明する図

【図6】同撮影投影装置の調整用画像の一例について説明する図

【図7】同撮影投影装置の第二の用途の一例について説明する図

【図8】同撮影投影装置の第二の用途の一例について説明する図

【図9】本発明の実施の形態２に係る撮影投影装置の構成を表すブロック図

【図10】本発明の実施の形態１の一変形例に係る撮影投影装置の構成を示す図

【発明を実施するための形態】

【0034】

以下、撮影投影装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

【0035】

なお、以下において用いる用語は、一般的には次のように定義される。なお、これらの用語の語義は常にここに示されるように解釈されるべきではなく、例えば以下において個別に説明されている場合にはその説明も踏まえて解釈されるべきである。

【0036】

ある事項について識別子とは、当該事項を一意に示す文字又は符号等である。識別子は、例えば、ＩＤであるが、対応する事項を識別しうる情報であれば種類は問わない。すなわち、識別子は、それが示すものそのものの名前であってもよいし、一意に対応するように符号を組み合わせたものであってもよい。

【0037】

画像とは、例えば、カメラにより撮影された静止画又は動画像であるが、これに限られない。例えば、カメラにより撮影された動画像から抽出された静止画などであってもよい。

【0038】

ユーザの視野とは、ユーザが肉眼で知覚可能な範囲である。ユーザが自らの視野で視認できる像を、肉眼画像と言ってもよい。ユーザの視野とは、ここでは、肉眼画像を意味すると言ってもよい。

【0039】

取得とは、ユーザ等により入力された事項を取得することを含んでいてもよいし、自装置又は他の装置に記憶されている情報（予め記憶されている情報であってもよいし当該装置において情報処理が行われることにより生成された情報であってもよい）を取得することを含んでいてもよい。

【0040】

情報の取得には、いわゆる機械学習の手法を利用するようにしてもよい。機械学習の手法の利用については、例えば次のようにすることができる。すなわち、特定の種類の入力情報を入力とし、取得したい種類の出力情報を出力とする学習器を、機械学習の手法を用いて構成する。例えば、予め、入力情報と出力情報との組を２以上用意し、当該２組以上の情報を機械学習の学習器を構成するためのモジュールに与えて学習器を構成し、構成した学習器を格納部に蓄積する。なお、学習器は分類器ということもできる。なお、機械学習の手法としては、例えば、深層学習、ランダムフォレスト、ＳＶＭ等、問わない。また、機械学習には、例えば、ｆａｓｔＴｅｘｔ、ｔｉｎｙＳＶＭ、ｒａｎｄｏｍ ｆｏｒｅｓｔ、ＴｅｎｓｏｒＦｌｏｗ等の各種の機械学習フレームワークにおける関数や、種々の既存のライブラリを用いることができる。

【0041】

また、学習器は、機械学習により得られるものに限られない。学習器は、例えば、入力情報等に基づく入力ベクトルと、出力情報との対応関係を示すテーブルであってもよい。この場合、入力情報に基づく特徴ベクトルに対応する出力情報をテーブル中から取得するようにしてもよいし、テーブル中の２以上の入力ベクトルと各入力ベクトルの重み付けなどを行うパラメータとを用いて入力情報に基づく特徴ベクトルに近似するベクトルを生成し、生成に用いた各入力ベクトルに対応する出力情報とパラメータとを用いて、最終的な出力情報を取得するようにしてもよい。また、学習器は、例えば、入力情報等に基づく入力ベクトルと、出力情報を生成するための情報との関係を表す関数などであってもよい。この場合、例えば、入力情報に基づく特徴ベクトルに対応する情報を関数により求めて、求めた情報を用いて出力情報を取得するなどしてもよい。

【0042】

情報を出力するとは、ディスプレイへの表示、プロジェクタを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。具体的には、例えば、情報のウェブページへの表示を可能とすることや、電子メール等として送信することや、印刷するための情報を出力することなどを含む。

【0043】

情報の受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、他の装置等から有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。

【0044】

撮影投影装置等に格納されている各種の情報について、更新とは、格納されている情報の変更のほか、格納されている情報に新たな情報が追加されることや、格納されている情報の一部又は全部が消去されることなどを含む概念である。

【0045】

（実施の形態１）

【0046】

本発明の１つの実施の形態１の概要は、以下の通りである。撮影投影装置は、ユーザの頭部に装着されて用いられる。撮影投影装置は、センサ（カメラ）を用いてユーザの視野に対応する対象領域において不可視光を検知して撮影を行うように構成された撮像部と、その撮影画像に基づいて可視光画像である投影画像を取得する投影画像取得部と、投影画像の投影態様を調整する調整部と、ユーザの目に投影画像を投影する投影部とを有する。撮影投影装置を用いることにより、ユーザは、肉眼での視野を確保しながら、投影画像を確認することができるようになっている。投影画像の位置等の投影態様が調整されるので、ユーザは、適切な投影態様の投影画像を肉眼での視野と合わせて確認することができる。

【0047】

本実施の形態において、調整部は、ユーザに対応付けられて設定された調整情報を用いて調整を行うように構成されていることが好ましい。この場合、例えば、撮影投影装置は、通常時の投影画像とは異なる調整用画像を撮影画像に基づいて取得し、調整用画像を投影している状態においてユーザによる調整操作を受け付けて、調整情報を設定可能に構成されていてもよい。調整用画像は、例えば、対象領域に配置された所定のマーカの位置を特徴的に表す画像であるが、これに限られない。

【0048】

また、撮像部は、２以上の波長帯が互いに異なる光にそれぞれ対応する２以上の撮影画像を撮影するように構成されており、投影画像取得部は、２以上の撮影画像を用いて１つの投影画像を取得するようにしてもよい。この場合、投影画像取得部が正規化植生指標（ＮＤＶＩ）を算出した結果に基づく投影画像を取得してもよい。また、投影画像取得部が撮影画像に含まれる不可視化されている所定のマーキングを検出し、検出結果に応じて投影画像を取得するようにしてもよい。また、投影画像取得部が撮影画像に基づいてテキスト情報を取得し、テキストを埋め込んだ投影画像を取得するなど、テキスト情報を用いて投影画像を取得してもよい。不可視光は、赤外線及び紫外線の少なくとも１つであることが好ましい。

【0049】

以下、このように構成された実施の形態１に係る撮影投影装置１について説明する。

【0050】

図１は、本発明の実施の形態１に係る撮影投影装置１の構成を示す図である。図２は、同撮影投影装置１の構成を表すブロック図である。

【0051】

図に示されるように、撮影投影装置１は、例えば眼鏡状の装置である。ユーザは、撮影投影装置１を眼鏡のように頭部に掛けて、撮影投影装置１を用いることができる。

【0052】

撮影投影装置１は、例えば、眼鏡状のフレーム２と、スクリーン５と、撮像部１０と、制御装置２０と、投影部５０とを備える。本実施の形態において、撮影投影装置１の各部は、フレーム２に取り付けられている。フレーム２に取り付けられているとは、フレーム２の内部に埋め込まれていることを含む。なお、撮影投影装置１の各部のうち、フレーム２とは離れた位置に配置されて用いられるものがあってもよい。

【0053】

スクリーン５は、フレーム２の眼鏡レンズ（図示せず）の近傍に設けられている。すなわち、スクリーン５は、ユーザの眼前に配置されている。スクリーン５は、可視光を透過可能に構成されている。ユーザの目Ｅには、スクリーン５及び眼鏡レンズを通過した可視光が入射可能である。なお、眼鏡レンズは設けられていなくてもよいし、度数等がない眼鏡レンズが用いられてもよい。

【0054】

撮像部１０は、後述するように、撮影投影装置１を装着したユーザの前にある、ユーザの視野に対応する対象領域を撮影範囲とするカメラを用いて構成されている。撮像部１０は、撮影画像を記録（撮影）し、撮影画像を出力する。撮像部１０は、例えば、フレーム２の一部に取り付けられており、対象領域を撮影可能に構成されているが、これに限られない。対象領域を変更可能に、フレーム２に対する取付位置や姿勢等が変更可能であってもよい。

【0055】

制御装置２０は、後述するように、撮像部１０及び投影部５０に接続されている。制御装置２０は、例えば、撮像部１０及び投影部５０との間で情報を送受可能に接続されているが、撮像部１０からの情報の受信や、投影部５０への情報の送信のみが可能となっていてもよい。制御装置２０は、撮像部１０により撮影された撮影画像を取得可能である。また、制御装置２０は、投影部５０の動作を制御可能である。

【0056】

制御装置２０は、例えば、フレーム２の一部に保持されている。なお、これに限られず、制御装置２０は、フレーム２とは分離可能なハードウェアにより構成されており、通信線等を介して撮像部１０や投影部５０に接続されていてもよい。フレーム２を装着したユーザによりフレーム２を頭部に装着することとは別の方法で制御装置２０が携帯されるようにしたり、制御装置２０が設置されている傍でフレーム２を装着したユーザが活動を行ったりすることで、撮影投影装置１が利用可能となっていてもよい。

【0057】

投影部５０は、ユーザの目Ｅに投影画像を投影する。例えば、投影部５０は、スクリーン５に投影画像を表示（投影と言ってもよい）させることにより、ユーザの目前に投影画像を出現させ、投影画像に基づく光がユーザの目Ｅに入射するようにする。スクリーン５は可視光が透過可能に構成されているため、投影部５０により投影画像が投影されている場合において、ユーザの目Ｅには、レンズを透過した可視光すなわち撮影投影装置１を介してユーザの視野から入る光（すなわち、肉眼画像）と、投影画像に基づく光とが入射する。これにより、ユーザは、撮影投影装置１の外の視野と投影画像とを重ねて、視覚により認識することができる。

【0058】

なお、本実施の形態において、スクリーン５が投影部５０に含まれると解釈するようにしてもよい。すなわち、この場合、投影部５０は、例えば、スクリーン５と、スクリーン５に対して投影画像を投影することによりユーザの目Ｅに投影画像を投影する投影部本体５０Ａとを有しているということができる。なお、投影部５０は、例えば、ディスプレイ素子を用いて構成されたスクリーン５を駆動することにより投影画像を投影するものであってもよいし、ハーフミラーやプリズム等であるスクリーン５にプロジェクタにより投影画像を投影するものであってもよい。また、投影部５０は、レーザ光を網膜にスキャンすることにより投影画像を目Ｅに投影可能に構成されていてもよく、この場合、スクリーン５が設けられていなくてもよい。

【0059】

なお、本実施の形態において、１つの撮影投影装置１は、１つの撮像部１０と、左右両眼のそれぞれについて１つずつ設けられた投影部５０とを有しているが、それぞれの数はこれに限られない。１つの撮像部１０と１つの投影部５０のみが用いられるようにしてもよいし、左右それぞれに対応する撮像部１０が用いられるようにしてもよい。

【0060】

撮影投影装置１の撮像部１０や制御装置２０のより具体的な構成は、例えば以下のようである。

【0061】

撮像部１０は、例えば、レンズ１１と、センサ１２とで構成されたカメラを有する。レンズ１１は、対象領域からの光（電磁波）を、センサ１２に入射させるように構成されている。センサ１２は、例えば、ＣＭＯＳやＣＣＤ等のイメージセンサである。なお、撮像部１０は他種の光学系やセンサ等を用いたカメラであってもよい。

【0062】

撮像部１０は、カメラを用いて、ユーザの視野に対応する対象領域からの電磁波（光線を含む）を、撮影画像として記録するように構成されている。すなわち、撮像部１０は、対象領域を撮影して撮影画像を取得するように構成されている。本実施の形態において、撮像部１０は、特に、不可視光である波長帯の電磁波を、撮影画像として記録可能に構成されている。不可視光である波長帯の電磁波は、例えば、赤外線又は紫外線である。ここで赤外線とは、例えば、近赤外線、中赤外線、遠赤外線の各波長帯に分類して把握されるもののいずれであってもよい。なお、電磁波としては、例えば、エックス線やマイクロ波など、上述に含まれない周波数帯のものであってもよい。撮影画像の波長帯は、例えば、撮影投影装置１の用途等に応じて設定されていればよい。

【0063】

なお、撮像部１０は、複数の波長帯の撮影画像を撮影可能であってもよい。この場合、少なくとも１つの波長帯が不可視光である波長帯であればよい。撮像部１０は、複数の波長帯のそれぞれの撮影画像を同時に撮影可能であってもよい。詳細は後述する。また、撮像部１０は、撮影可能な複数の波長帯のうち、ユーザの選択等に対応する波長帯を対象として、撮影画像を撮影可能であってもよい。

【0064】

制御装置２０は、例えば、格納部２１と、投影画像取得部２５と、調整部３０と、受付部３２とを有する。制御装置２０は、例えばプロセッサ及びメモリ、マイコン、ＦＰＧＡ又はＡＳＩＣ等を用いて構成可能である。制御装置２０は、後述のような各部を用いた処理の他に、撮影投影装置１の動作に関する種々の制御動作を実行するように構成されている。

【0065】

格納部２１には、例えば制御装置２０で用いられる情報など、各種の情報が格納される。格納部２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。これらには、取得された情報などが格納されるが、情報等が記憶される過程は限られない。例えば、記録媒体を介して情報等が記憶されるようになってもよく、通信回線等を介して送信された情報等が記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報等が記憶されるようになってもよい。

【0066】

格納部２１には、例えば、投影画像の投影態様の調整に関する調整情報が格納される。本実施の形態において、格納部２１には、例えば、ユーザを識別するユーザ識別子に対応付けて、当該ユーザについての調整情報が格納される。これにより、複数のユーザで撮影投影装置１が共用されうる場合においても、使用するユーザ識別子を特定可能な情報を撮影投影装置１が取得できるようにすることにより、当該ユーザの調整情報を用いることができ、撮影投影装置１の利便性が高くなる。

【0067】

調整情報には、例えば、投影する画像の位置、拡大率、斜め補正、歪み補正などを調整するためのパラメータについての設定値が含まれうる。調整情報には、これら以外のパラメータの設定値やその他の情報が含まれてもよいし、これらのパラメータのうちいずれかのみの設定値が含まれてもよい。その他の情報としては、例えば、後述のように投影画像の取得に用いられる情報が含まれるようにしてもよい。

【0068】

投影画像取得部２５は、撮影画像に基づいて、可視光画像である投影画像を取得するように構成されている。可視光画像とは、ユーザが肉眼により視認可能である画像であると言ってもよい。撮影画像は、上述のように不可視光の撮影結果であるところ、投影画像は、例えば、そのような撮影画像を可視領域の波長帯に対応する色域で示す画像であるといえる。また、投影画像は、撮影画像について１以上の画像処理や合成処理を行って得られる画像であってもよい。投影画像の態様は、目的等に応じて適宜設定可能である。

【0069】

例えば、投影画像取得部２５は、投影画像として、不可視光の強度が高いほど輝度が高い（又は低い）画像を取得するようにしてもよい。また、投影画像として、不可視光の強度に応じて色合いが異なる画像を取得するようにしてもよい。また、不可視光の強度に応じて、ユーザにより視認可能であるか否かが異なる画像が投影画像として取得されるようにしてもよい。

【0070】

例えば、遠赤外線の撮影画像が撮影される場合、対象領域において発熱している箇所や高温となっている箇所が、その他の部位よりも輝度の高い色で表されている投影画像が取得されうる。また、この場合、所定の温度よりも高い温度であることを示す領域のみが着色して示されるような投影画像が取得されるようにしてもよい。

【0071】

また、投影画像取得部２５は、例えば、撮影画像に含まれる不可視化されている所定のマーキング画像を検出可能に構成されていてもよい。この場合、マーキング画像の検出結果に応じて、投影画像を取得するようにすればよい。例えば、マーキング画像の検出結果に応じて、所定のマークを示す画像を当該マーキング画像の検出位置に対応する位置に表示したり、検出されたマーキング画像を検出位置に対応する位置に表示したりすることができる。このような投影画像の態様は、例えば、収穫された農産物の選果等の作業において利用可能である。

【0072】

また、投影画像取得部２５は、例えば、撮影画像に基づいてテキスト情報を取得し、取得したテキスト情報を用いて投影画像を取得するように構成されていてもよい。例えば、撮影画像に現れている文字をＯＣＲ等により取得したテキスト情報が用いられるようにしてもよい。また、撮影画像から検出された検出値等がテキスト情報として用いられるようにしてもよい。テキスト情報を用いて投影画像を取得するとは、例えば、テキスト情報に基づく文字情報が含まれる画像を取得することであってもよいし、テキスト情報に対応する図形等が含まれる画像を取得することであってもよい。

【0073】

なお、本実施の形態において、撮影投影装置１は、通常時の動作モードである使用モードに基づいて動作するほかに、補正モードに基づいて動作可能に構成されている。補正モードは、調整情報を補正するための動作モードである。補正モードにおいて、投影画像取得部２５は、通常時の投影画像とは異なる調整用画像を撮影画像に基づいて取得可能である。制御装置２０は、補正モードにおいて、調整用画像を用いた調整情報補正処理を行い、調整情報の補正を行うことができるように構成されている。

【0074】

調整用画像とは、例えば、対象領域に配置されて撮像部１０により画像として記録された所定の識別用被写体の位置を、所定の態様で目立つように表す画像である。目立つように表すとは、例えば、通常の投影画像において当該識別用被写体が現れる態様とは異なり、よりユーザの注意を惹きやすい態様で表すことをいう。例えば、周囲とは異なる色や明るさで表示したり、所定の色を用いて所定の図形を添えて表したりすることができるが、具体的な表示態様はこれらに限られない。

【0075】

なお、識別用被写体とは、例えば、所定の態様で光る光源を有する物であってもよいし、所定の態様である図形を撮影させる物であってもよいし、所定の色を有する物であってもよい。識別用被写体をマーカと言ってもよい。その他、肉眼画像と調整用画像すなわち投影画像との見え方の関係を把握するのに有用となるものを識別用被写体として利用することができる。

【0076】

調整部３０は、投影画像の投影態様を調整する。本実施の形態において、調整部３０は、投影画像が、ユーザの視野に対応するように投影されるように、投影画像の投影態様を調整する。調整部３０は、格納部２１に格納されている調整情報に基づいて投影画像の投影態様を調整する。この場合、例えば、撮影投影装置１を使用するユーザのユーザ識別子に対応する調整情報が用いられるようになっている。

【0077】

投影態様とは、例えば、投影する位置、拡大率、斜め補正、歪み補正などが施されて投影される態様であるが、投影態様に影響しうる要素はこれらに限られない。投影態様の調整は、例えば、調整部３０が、投影画像を出力するためのデータを調整することにより調整が行われるようにしてもよい。このような調整は、例えば、いわゆるデジタルズーム機能や画像スケーリング機能と呼ばれる公知の機能を用いて行われうる。また、このような調整は、例えば、実質的に投影画像として出力される画像の位置や形状等を、投影部５０により出力可能な領域内において調整する公知の機能などを用いて行われうる。なお、調整部３０による調整はこのような投影画像を出力するためのデータの調整に限られず、例えば、投影部５０において投影画像を出力する際に光学的な調整が実行されるように調整部３０が投影部５０を制御することにより行われるようにしてもよい。

【0078】

なお、本実施の形態において、調整部３０は、受付部３２によりユーザから受け付けられた投影態様を調整するための調整操作に応じて調整情報を更新する。本実施の形態においては、補正モードにおいて、上述のような調整用画像がユーザの目Ｅに投影されている状態において調整操作が受け付けられるので、ユーザは、より適切に調整情報の補正を行うことができる。なお、調整操作の受け付けに伴って、随時調整情報が更新され、調整用画像の投影態様がそれに応じて変化するようにすることが好ましい。これにより、ユーザは、調整用画像の投影態様を肉眼画像とともに確認しながら、適切に調整情報を補正することができる。

【0079】

なお、調整情報補正処理は、例えば、ユーザによる所定の指示が受付部３２により受け付けられた場合や、所定のタイミングが到来した場合などに実行されるようにすることができるが、これらに限られない。また、調整情報の補正が行われる場合、調整部３０は、調整情報の補正に関する情報を取得し、その情報を用いて格納部２１に格納されている当該ユーザの調整情報を更新するが、新たに当該ユーザの調整情報を格納部２１等に蓄積して、その調整情報が用いられるようにしてもよい。

【0080】

受付部３２は、ユーザによる各種の指示等を受け付ける。ここで、受け付けとは、通常、撮影投影装置１を操作するために用いられる操作ボタン（図示せず）等を用いて入力された情報の受け付けである。ただし、受け付けは、タッチパネルやキーボードやマウスなどの入力デバイス（図示せず）から入力された情報の受け付けや、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であってもよい。ユーザの指示の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でもよい。

【0081】

制御装置２０は、調整部３０により調整された投影態様で投影画像が投影されるように、投影画像を出力する。制御装置２０は、例えば、投影部５０に対して投影画像を出力する。

【0082】

このように制御装置２０により投影画像が出力されると、投影部５０により、調整部３０により調整された投影態様で投影画像がユーザの目Ｅに投影される。すなわち、投影部５０により、調整部３０の調整結果に基づいた投影態様でユーザの目Ｅに投影画像が投影される。

【0083】

このように構成された撮影投影装置１は、例えば、以下のようにして動作する。

【0084】

図３は、同撮影投影装置１の動作の一例を示すフローチャートである。

【0085】

図に示す処理は、例えば、制御装置２０による制御に基づいて、定期的に実行されうる。

【0086】

（ステップＳ１０１）制御装置２０は、調整情報補正処理を行うか否かを判断する。例えば、調整情報補正処理を行うか否かについてユーザによる指示を記録した情報（例えば、フラグ等）に基づいて、制御装置２０は、調整情報補正処理を行うか否かを判断することができる。調整情報補正処理を行うと判断した場合はステップＳ１０２に進み、そうでない場合にはステップＳ１０３に進む。

【0087】

（ステップＳ１０２）制御装置２０は、調整情報補正処理を行う。調整情報補正処理については、後述する。ステップＳ１０１に戻る。

【0088】

（ステップＳ１０３）制御装置２０は、撮像部１０により撮影された撮影画像を取得する。

【0089】

（ステップＳ１０４）制御装置２０は、撮影画像を用いて、投影画像を取得する。

【0090】

（ステップＳ１０５）制御装置２０は、投影態様の調整機能（以下、単に調整機能ということがある）を行うか否かを判断する。例えば、調整機能を行うか否かについてユーザによる指示を記録した情報（例えば、フラグ等）に基づいて、制御装置２０は、調整機能を行うか否かを判断することができる。調整機能を行うと判断した場合はステップＳ１０６に進み、そうでない場合にはステップＳ１０７に進む。

【0091】

なお、調整機能や調整情報補正処理を行うか否かの指示は、例えば、制御装置２０からユーザに対して問い合わせを行い、それに応じた回答として取得されるようにしてもよい。問合せは、例えば、前回の指示から所定期間経過後に撮影投影装置１が利用される場合など、所定の場合に行われるようにしてもよい。

【0092】

（ステップＳ１０６）制御装置２０は、調整情報を取得する。例えば、制御装置２０は、撮影投影装置１を利用するユーザのユーザ識別子を取得し、そのユーザ識別子に対応する調整情報を格納部２１から取得する。なお、ユーザにかかわらず、現在使われている調整情報が格納部２１から取得されるようにしてもよい。

【0093】

また、制御装置２０は、取得した調整情報を用いて、投影画像の投影態様の調整を行う。

【0094】

（ステップＳ１０７）制御装置２０は、投影画像を投影部５０に出力し、投影部５０によりユーザの目Ｅに投影させる。

【0095】

（ステップＳ１０８）制御装置２０は、撮影を継続するか否かを判断する。例えば、ユーザからの撮影を中止する指示が入力された場合などに、制御装置２０は、撮影を継続しないと判断する。撮影を継続すると判断した場合にはステップＳ１０１に戻り、そうでない場合は一連の処理を終了する。

【0096】

図４は、同撮影投影装置１が行う調整情報補正処理の一例を示すフローチャートである。

【0097】

（ステップＳ１２１）制御装置２０は、撮像部１０により撮影された撮影画像を取得する。

【0098】

（ステップＳ１２２）制御装置２０は、撮影画像を用いて、調整用画像を取得する。また、制御装置２０は、調整情報を取得して、取得した調整情報を用いて、調整用画像の投影態様を調整したで、調整用画像を投影部５０に出力する。

【0099】

（ステップＳ１２３）制御装置２０は、調整情報の補正値を取得する。例えば、制御装置２０は、ユーザにより行われた調整操作の受け付け結果に応じた補正値を取得する。なお、その他の方法で、調整情報の補正値が取得されるようにしてもよい。

【0100】

（ステップＳ１２４）制御装置２０は、補正値を適用した調整情報を取得する。すなわち、調整情報を、補正値を用いて補正する。

【0101】

（ステップＳ１２５）制御装置２０は、格納部２１に格納されている調整情報を更新し、取得した補正後の調整情報とする。

【0102】

（ステップＳ１２６）制御装置２０は、ユーザに対して、調整情報の補正を完了とするか否かを確認する。これにより、ユーザは、調整情報の補正を完了とするか否か（調整情報補正処理を行わないか否か）を指示することができる。

【0103】

ステップＳ１２６の処理が終了すると、上位の処理に戻る。

【0104】

なお、これらのフローチャートにおいて、各処理の順番は、可能な範囲で適宜前後しうる。

【0105】

以上説明したように、ユーザは、撮影投影装置１を用いて肉眼での視野を確保しながら、投影画像を確認することができるようになっている。ユーザは、脳の働きも得て肉眼画像と撮影画像とが重畳されているように認識することができる。これにより、肉眼では見えない波長領域の画像をあたかも肉眼で見ているように確認することができる。また、本実施の形態においては、投影画像の位置等の投影態様が調整されるので、ユーザは、適切な投影態様の投影画像を肉眼での視野と合わせて確認することができるので、肉眼画像と撮影画像とを互いに対応するように認識しやすくなる。このことについて、以下に説明する。

【0106】

図５は、同撮影投影装置１の投影画像の投影態様の調整について説明する図である。

【0107】

図に示される例においては、例えば、対象領域の被写体が撮影されて、投影画像がスクリーン５に投影されている状態が模式的に示されている。撮影投影装置１を使用する場合、ユーザの目には、肉眼で確認可能な視野からの光と、投影画像に基づく光が入射する。すなわち、ユーザは、肉眼画像と、投影画像とを重ねて見ることになる。

【0108】

この場合、図に示されるように、例えば、肉眼画像に対して投影画像の位置がずれること（位置ずれ）が発生しうる（Ｓ１１）。また、例えば、肉眼画像に対して投影画像の拡大率が異なって見えること（サイズずれ）が発生しうる（Ｓ１２）。このような位置ずれやサイズずれなどが発生すると、肉眼画像に対して投影画像が対応するものであることが把握しにくくなってしまう。

【0109】

これに対して、本実施の形態においては、投影画像の投影態様の調整、例えば、投影位置の調整や、投影サイズの調整を行うことにより、肉眼画像に対して投影画像の投影態様が比較的適合している状態にすることができる（Ｓ１３）。したがって、投影画像が示す内容の肉眼画像との関係を把握しやすくなり、ユーザが、より快適に撮影投影装置１を利用することができるようになる。

【0110】

図６は、同撮影投影装置１の調整用画像の一例について説明する図である。

【0111】

図に示される例においては、例えば、補正モードにおいて、対象領域に配置された識別用被写体Ｐ１が撮影されて、調整用画像がスクリーン５に投影されている状態が模式的に示されている。識別用被写体Ｐ１は、例えば、互いに離れた位置にある複数の所定の図形Ｐ２が表示された標識である。調整用画像としては、各図形Ｐ２が検知された位置に対応する位置に、マークＰ３を表示するように構成されたものが用いられている。ユーザは、例えば、調整用画像が投影されている状態で、目Ｅで見てマークＰ３と図形Ｐ２とが互いに重なるように、調整操作を行うことができる。このようにして調整情報を補正することにより、投影画像と肉眼画像とが適切な対応関係を維持した状態で視認できるように、投影画像の調整が行われるようにすることができる。

【0112】

なお、本実施の形態において、撮像部１０の構成は上述のものに限られるものではない。撮像部１０は、波長帯が互いに異なる電磁波をそれぞれ記録対象とする２以上の撮影画像を撮影するように構成されていてもよい。このような撮像部１０は、例えば、多波長分光カメラを用いて構成可能である。

【0113】

多波長分光カメラは、例えば、同一光軸で複数の各波長帯の電磁波を画像として記録可能なカメラである。多波長分光カメラは、例えば、紫外線、可視光、近赤外線、中赤外線、遠赤外線の各波長帯の光信号又は電磁波信号を、同一光軸で取得する光学系を有するものとすることができる。多波長分光カメラは、これらの各波長帯の光信号又は電磁波信号を同一光軸で取得する光学系を有している。なお、多波長分光カメラは、異なる光軸でそれぞれ画像を記録可能であってもよい。

【0114】

撮像部１０として多波長分光カメラが用いられる場合、例えば、紫外線から遠赤外線までの全波長のうち、２種類以上の波長帯のそれぞれの電磁波を、同一光軸光学系を通して画像として記録可能に構成することができる。多波長分光カメラは、例えば、公知の同一光軸光学系を用いて構成されうる。同一光軸光学系としては、例えば、上述の特許文献４に示されるような同一光軸レンズ光学系のものが挙げられる。また、例えば、上述の特許文献５に示されるような反射光学系のものが挙げられる。多波長分光カメラは、このような同一光軸光学系を用いて、２以上の各波長帯の電磁波をそれぞれ記録した撮影画像を取得可能である。このようにして得られる撮影画像は、同一光軸光学系により、同じ画角で、同一の被写体を撮影した画像となる。

【0115】

例えば、多波長分光カメラは、入射する電磁波を各波長帯に分離する部品とイメージセンサ等で構成され、各波長帯の電磁波についてカメラ信号処理を行うことができるように構成可能である。例えば遠赤外線については専用のセンサを用いて画像を記録し、他の波長帯については、例えば、紫外線から中赤外線を分離するプリズムを用いて対象となる波長帯の電磁波を、それぞれのセンサに入射させて画像を記録するように構成可能である。

【0116】

このような多波長分光カメラを用いて２以上の撮影画像が得られる場合、投影画像取得部２５は、２以上の撮影画像を用いて１つの投影画像を取得するようにしてもよい。例えば、各画像から別々に取得した情報を用いて、投影画像を構成するようにしてもよい。また、投影画像取得部２５は、２以上の画像を合成した合成画像を投影画像として取得してもよい。画像の合成方法は問わない。また、例えば、２以上の画像の背景差分を示す背景差分画像を投影画像として取得してもよい。このような背景差分画像について、合成画像に含まれると解釈するようにしてもよいし、合成画像とは異なる画像であると解釈するようにしてもよい。

【0117】

２以上の撮影画像を用いて１つの投影画像を取得する例としては、例えば、近赤外線の撮影画像と、可視光線の撮影画像とを用いて公知の方法により正規化植生指標（ＮＤＶＩ；正規化植生指数等と言ってもよい）を算出した結果に基づいて、投影画像を取得することが挙げられる。この場合の投影画像としては、例えば、正規化植生指標の分布をヒートマップ等で示したものを用いることができる。

【0118】

次に、本実施の形態に係る撮影投影装置１の用途の具体例について説明する。なお、用途は以下の具体例に限られない。

【0119】

第一の用途は、例えば、対象領域において局所的に高温となっている部位の可視化である。例えば火災の鎮火現場などにおいて、調査のために立ち入るユーザなどが撮影投影装置１を利用することにより、局所的に高温となっている部位を容易に認識して、適切な対応を取ることができるようになる。この場合、例えば、撮影画像として、遠赤外線を記録した画像を用いることができる。

【0120】

図７は、同撮影投影装置１の第一の用途の一例について説明する図である。

【0121】

図において、実線で囲まれた範囲は肉眼画像を模式的に示し、二点鎖線で囲まれた範囲は投影画像を模式的に示す。投影画像においては、例えば温度が所定値以上であることを示すことが検出された領域が、所定の色で着色されて示されている。また、投影画像においては、高温の部位であることを示すテキスト「異常加熱注意」と、検出された温度を示すテキスト「４８ｄｅｇ」とが文字情報として含まれる。

【0122】

このような投影画像が、肉眼画像に重ねて投影されることにより、ユーザは、温度が高い領域と、文字情報とを認知することができる。

【0123】

第二の用途は、例えば、みかん等の果物の選別場面など、収穫された農産物の選果等の作業における活用例である。例えば果物の選別においては、果物の糖度等を測定して等級付けを行い、その等級ごとに人手で選別することが行われる場合がある。このような場合に、対象物に不可視インクを用いて等級付け結果に関するマーキングを行い、その情報を、撮影投影装置１を用いて確認することができるようにすることで、ユーザが容易に選別作業を行うことができる。選果の目利きに関するユーザの熟練度等によらず、容易にかつ確実な選果作業を行うことができるようになる。

【0124】

図８は、同撮影投影装置１の第二の用途の一例について説明する図である。

【0125】

図において、作業ライン９１において、対象物Ｒ１，Ｒ２が搬送される搬送レーン９２と、搬送レーン９２上に配置された測定器９３とマーキング装置９４とが示されている。ユーザは、撮影投影装置１を装着して、マーキング装置９４の下流において、対象物Ｒ１，Ｒ２のランクに応じた選別作業を行うことができる。

【0126】

すなわち、搬送レーン９２に配置された対象物Ｒ１，Ｒ２は、まず、測定器９３において糖度測定が行われ、等級付けが行われる。そうすると、その下流側のマーキング装置９４において、対象物Ｒ１，Ｒ２に、等級付けられたランクに対応するマーキングが付される。マーキングは、例えば、紫外線を撮影した画像において確認可能なものである。

【0127】

ユーザは、撮影投影装置１を利用することにより、マーキングの検出結果を含む投影画像を、肉眼画像に重ねて視認することができる。搬送レーン９２上を搬送される対象物Ｒ１，Ｒ２について、容易にその等級を確認することができるので、熟練していないユーザであっても、容易にかつ正確な選別作業を行うことができる。

【0128】

（実施の形態２）

【0129】

次に、本発明の一例である実施の形態２について説明する。実施の形態２においては、調整部が、調整情報の補正を行うために設けられた専用センサの撮影結果を用いて、調整情報の補正が行われるように構成されている。

【0130】

図９は、本発明の実施の形態２に係る撮影投影装置２０１の構成を表すブロック図である。

【0131】

図に示されるように、実施の形態２に係る撮影投影装置２０１は、補正用情報検知部６０を有していることのほかは、上述の実施の形態１に係る撮影投影装置１と同様に構成されている。

【0132】

撮影投影装置２０１において、補正用情報検知部６０は、ハーフミラー６１と、補正用センサ６２とを備える。

【0133】

ハーフミラー６１は、例えば、ユーザの目Ｅの直前に位置している。ハーフミラー６１は、例えば、スクリーン５とユーザの目Ｅとの間に配置されている。ユーザの目Ｅに入射する光は、ハーフミラー６１を透過するか、ハーフミラー６１で反射されるように構成されている。なお、ハーフミラー６１に限られず、その他の方法でユーザの目Ｅに入射する光を分光するように構成された分光手段が用いられてもよい。

【0134】

補正用センサ６２は、ハーフミラー６１で分光された光の一方が入射するように配置されている。例えば、ハーフミラー６１を反射した光が、補正用センサ６２に入射するようになっている。補正用センサ６２は、例えば、ＣＭＯＳやＣＣＤ等のイメージセンサである。

【0135】

補正用情報検知部６０は、ハーフミラー６１で分光した光を補正用センサ６２で検出することにより、ユーザの目Ｅに入射する光を検知するように構成されている。補正用情報検知部６０は、例えば、補正用センサ６２で検出された画像を取得する。

【0136】

実施の形態２において、調整部３０は、補正用情報検知部６０で検出された検知結果に基づいて、投影画像の投影態様を調整するように構成されている。本実施の形態においては、調整部３０は、例えば、補正用センサ６２で検出された画像における肉眼画像と投影画像とのずれ等を検知し、その検知結果に応じて、投影情報の補正値を取得する。係る処理は、実施の形態１におけるステップＳ１２３の処理に代えて行われるようにすればよい。これにより、調整部３０は、補正値を適用した適切な投影情報に基づいて、投影情報の投影態様を調整することができる。

【0137】

なお、補正用情報検知部６０を用いた投影情報の更新は、上述の実施の形態１と同様に、調整用画像が投影されるようにして行われるようにしてもよい。この場合、調整用画像として、調整部３０において肉眼画像と調整用画像とのずれ等が確実に検知されるような態様のものを用いるようにすることにより、より正確に調整情報の補正値を求めることができる。

【0138】

実施の形態２においては、補正用情報検知部６０により自動的に調整情報が更新され、投影態様が適切に調整された投影画像が投影される。ユーザによる調整作業等の手間を省くことができ、より容易に撮影投影装置２０１を用いることができる。

【0139】

（その他）

【0140】

上記実施の形態において、一の装置に存在する２以上の構成要素は、物理的に一の媒体で実現されてもよい。

【0141】

上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、又は、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現されうる。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。

【0142】

また、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい（この場合、分散処理を行う複数の装置により構成されるシステム全体を１つの「装置」として把握することが可能である）。

【0143】

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、又は、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

【0144】

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、又は長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、又は、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、又は、図示しない読み出し部が行ってもよい。

【0145】

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、又は、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

【0146】

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものである。

【0147】

上述の実施の形態や変形例の構成要素を適宜組み合わせた実施の形態を構成してもよい。例えば、上述の実施の形態の構成そのものに限られず、上述の実施の形態や変形例のそれぞれの構成要素について、適宜、他の実施の形態等の構成要素と置換したり組み合わせたりしてもよい。また、上述の実施の形態や変形例のうち、一部の構成要素や機能が省略されていてもよい。

【0148】

なお、上述の実施の形態においては、撮影投影装置が眼鏡型に構成されている例が示されているが、装置の形態はこれに限られない。例えば、ヘルメット型、帽子型、ゴーグル型など、種々の様式の装置として構成可能である。

【0149】

図１０は、本発明の実施の形態１の一変形例に係る撮影投影装置３０１の構成を示す図である。

【0150】

図において、例えばヘルメット形に構成された撮影投影装置３０１の概要が示されている。撮影投影装置３０１は、例えば、ジェットヘルメット形の外殻を有し、両目前が風防で覆われるように構成されたフレーム３０２に、着脱可能な撮像部１０や、投影部５０等が取り付けられて構成されている。制御装置は図示されていないが、適宜フレーム３０２に設けたり、フレーム３０２とは別に携帯したりするようにすればよい。このように構成された撮影投影装置３０１においても、上述の実施の形態と同様に用いることができる。

【産業上の利用可能性】

【0151】

以上のように、本発明にかかる撮影投影装置は、不可視光の撮影結果に基づいて取得された投影画像を、適切な投影態様となるようにユーザの目に投影することができるという効果を有し、撮影投影装置等として有用である。

【符号の説明】

【0152】

１，２０１，３０１ 撮影投影装置
２，３０２ フレーム
５ スクリーン
１０ 撮像部
１１ レンズ
１２ センサ
２０ 制御装置
２１ 格納部
２５ 投影画像取得部
３０ 調整部
３２ 受付部
５０ 投影部
６０ 補正用情報検知部
６１ ハーフミラー
６２ 補正用センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】