(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075194
(43)【公開日】2024-06-03
(54)【発明の名称】撮像処理装置
(51)【国際特許分類】
H04N 23/45 20230101AFI20240527BHJP
G02B 7/40 20210101ALI20240527BHJP
G03B 13/36 20210101ALI20240527BHJP
G03B 11/00 20210101ALI20240527BHJP
G03B 17/14 20210101ALI20240527BHJP
G03B 15/05 20210101ALI20240527BHJP
H04N 23/56 20230101ALI20240527BHJP
H04N 23/55 20230101ALI20240527BHJP
H04N 23/60 20230101ALI20240527BHJP
G01C 3/06 20060101ALI20240527BHJP
【ＦＩ】
H04N23/45
G02B7/40
G03B13/36
G03B11/00
G03B17/14
G03B15/05
H04N23/56
H04N23/55
H04N23/60 500
G01C3/06 120Q
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022186455
(22)【出願日】2022-11-22
(71)【出願人】
【識別番号】000209751
【氏名又は名称】池上通信機株式会社
(74)【代理人】
【識別番号】100145470
【弁理士】
【氏名又は名称】藤井 健一
(72)【発明者】
【氏名】樫村 直樹
(72)【発明者】
【氏名】森本 衣舞
【テーマコード（参考）】
2F112
2H011
2H053
2H083
2H101
2H151
5C122
【Ｆターム（参考）】
2F112AD01
2F112BA11
2F112CA12
2F112DA02
2F112DA15
2F112DA21
2F112DA32
2F112FA07
2F112FA21
2F112FA35
2F112FA45
2H011BA41
2H053AA05
2H053CA41
2H083AA02
2H083AA04
2H083AA26
2H101EE08
2H151BA00
2H151BB27
2H151CB02
2H151CB13
2H151CB14
2H151CB22
2H151CB26
2H151CC02
2H151CE30
5C122DA16
5C122EA42
5C122EA61
5C122FB02
5C122FB13
5C122FB16
5C122FB20
5C122FC05
5C122FD05
5C122FE02
5C122FH09
5C122FH18
5C122GG04
(57)【要約】 （修正有）
【課題】同軸上のデータが得られ、被写体を撮ることで絶対位置を得られ、キャリブレーション作業が簡単になり、３Ｄ演算など距離情報と実写映像からクロマキーやＣＧ合成時の計算を容易にする撮像処理装置を提供する。
【解決手段】撮像処理装置１０は、被写体に、ＩＲ光を照射するＩＲ光照射部１２と、ズームレンズ１４に入射する入射光を透過／反射するハーフミラー１６と、ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルター１８と、ＩＲカットフィルターを通った入射光を光電変換する可視映像用センサ２０と、可視映像用センサと同軸上に位置し、ハーフミラーが反射した入射光のうちのＩＲ光を光電変換するＴＯＦセンサ２２と、ＴＯＦセンサの信号に基づき、被写体の距離情報を画素毎に算出／出力する距離情報算出部２４と、可視映像用センサの信号から映像信号を生成／出力する映像信号生成部２６と、を備える。
【選択図】図１
【解決手段】撮像処理装置１０は、被写体に、ＩＲ光を照射するＩＲ光照射部１２と、ズームレンズ１４に入射する入射光を透過／反射するハーフミラー１６と、ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルター１８と、ＩＲカットフィルターを通った入射光を光電変換する可視映像用センサ２０と、可視映像用センサと同軸上に位置し、ハーフミラーが反射した入射光のうちのＩＲ光を光電変換するＴＯＦセンサ２２と、ＴＯＦセンサの信号に基づき、被写体の距離情報を画素毎に算出／出力する距離情報算出部２４と、可視映像用センサの信号から映像信号を生成／出力する映像信号生成部２６と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体に対して、ＩＲ光を照射するＩＲ光照射部と、
マウントされたズームレンズに入射する前記被写体からの入射光を所定の比率で透過及び反射するハーフミラーと、
前記ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルターと、
前記ＩＲカットフィルターによりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記ハーフミラーにより反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部と、
を備えることを特徴とする撮像処理装置。
マウントされたズームレンズに入射する前記被写体からの入射光を所定の比率で透過及び反射するハーフミラーと、
前記ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルターと、
前記ＩＲカットフィルターによりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記ハーフミラーにより反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部と、
を備えることを特徴とする撮像処理装置。
【請求項2】
被写体に対して、ＩＲ光を照射するＩＲ光照射部と、
マウントされたズームレンズに入射する前記被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段と、
前記４色分解手段により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記４色分解手段により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部と、
を備えることを特徴とする撮像処理装置。
マウントされたズームレンズに入射する前記被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段と、
前記４色分解手段により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記４色分解手段により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部と、
を備えることを特徴とする撮像処理装置。
【請求項3】
被写体に対して、ＩＲ光を照射するＩＲ光照射部と、
マウントされたズームレンズに入射する前記被写体からの入射光を所定の比率で透過及び反射するハーフミラーと、
前記ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルターと、
前記ＩＲカットフィルターによりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記ハーフミラーにより反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成する映像信号生成部と、
前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部で生成された映像信号のうち、前記撮像面から所定距離の前記被写体の映像信号のみを抽出し、当該抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部と、
を備えることを特徴とする撮像処理装置。
マウントされたズームレンズに入射する前記被写体からの入射光を所定の比率で透過及び反射するハーフミラーと、
前記ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルターと、
前記ＩＲカットフィルターによりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記ハーフミラーにより反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成する映像信号生成部と、
前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部で生成された映像信号のうち、前記撮像面から所定距離の前記被写体の映像信号のみを抽出し、当該抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部と、
を備えることを特徴とする撮像処理装置。
【請求項4】
被写体に対して、ＩＲ光を照射するＩＲ光照射部と、
マウントされたズームレンズに入射する前記被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段と、
前記４色分解手段により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記４色分解手段により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成する映像信号生成部と、
前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部で生成された映像信号のうち、前記撮像面から所定距離の前記被写体の映像信号のみを抽出し、当該抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部と、
を備えることを特徴とする撮像処理装置。
マウントされたズームレンズに入射する前記被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段と、
前記４色分解手段により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサと、
前記可視映像用センサと同軸上に位置し、前記４色分解手段により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、
前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部と、
前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成する映像信号生成部と、
前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部で生成された映像信号のうち、前記撮像面から所定距離の前記被写体の映像信号のみを抽出し、当該抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部と、
を備えることを特徴とする撮像処理装置。
【請求項5】
前記距離情報算出部から出力される距離情報に基づき、前記映像信号生成部から出力される映像信号に対し、所定の映像信号を合成する処理を行う映像合成部が備えられていることを特徴とする請求項１又は２記載の撮像処理装置。
【請求項6】
前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部に生成された映像信号に対し所定の調整を行う映像信号調整部を備えることを特徴とする請求項１～４何れか１項記載の撮像処理装置。
【請求項7】
前記ＩＲ光照射部は、複数設けられていることを特徴とする請求項１～４何れか１項記載の撮像処理装置。
【請求項8】
前記ズームレンズにより得られるズーム情報に基づいて、前記距離情報算出部により画素毎に算出された距離情報を再計算することが可能となっていることを特徴とする請求項１～４何れか１項記載の撮像処理装置。
【請求項9】
前記ＴＯＦセンサは、前記可視映像用センサと同じ画素数を有するものであることを特徴とする請求項１～４何れか１項記載の撮像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮影し、その映像処理を行う撮像処理装置であって、特に、ＩＲ光を照射した被写体からの入射光に基づいて、被写体の画素毎の距離情報を算出することができ、特に、その距離情報により、所定の画像合成処理が可能となる撮像処理装置に関するものである。
【背景技術】
【0002】
従来から、ＴＯＦセンサを用い、光源から被写体を経て受光部にて受光される光の伝搬時間を算出することにより、被写体までの距離を算出する撮像装置が開発されてきている。
【0003】
例えば、特許文献１には、結像光学系と、被写体からの光を前記結像光学系を通して受光する受光素子と、前記被写体へ光を出射する光源と、を有する撮像素子と、前記光源から出射されて前記被写体で反射した光を前記受光素子で受光することにより前記受光素子から出力される信号を用いて前記被写体から前記撮像素子の撮像面までの距離をＴＯＦ法により演算する演算手段と、を備えることを特徴とする撮像装置が開示されている。この発明によれば、オートフォーカス用途として用いることができ、広い距離範囲の測距を高い精度で高速に行うことが可能であるとしている。
【0004】
また、バーチャルシステムの業界における撮影や、映像処理では、被写体との距離情報や、カメラそのものの絶対位置を得るために、カメラに外部装置を取り付け、撮影及び映像処理を行っていた。その他、例えば、ＣＧ合成処理や、クロマキー処理を行う場合、撮影スタジオに居る人間と外の風景を合成する際に、撮影スタジオの人間のバックにはグリーンバック等のスクリーンを置き、その他は、何も置かず、影が出来ない様に照明などにも気を遣いながら撮影及び映像処理を行っている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２０－１８１１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献１の開示技術は、光源が光学系内部にあるため、構成が複雑なものとなってしまい、また、レンズ系の影響を受けやすく、撮像装置などの構成について、改善が望まれてきていた。なお、例えば、ロボットカメラシステムなどでは正確な相対位置を獲得できるが、絶対位置を得るには何らかの手段が必要となっている。
【0007】
また、従来のＣＧ合成処理や、クロマキー処理では、グリーンバック等のスクリーンを準備しなければならないのはもちろんのこと、撮影自体にも神経を使う必要があり、より容易に且つ、簡易なシステムで、撮影及び処理ができるようになることが求められている。またさらに、バーチャルシステムにおいては、被写体との距離情報や、カメラそのものの絶対位置を得るために、カメラに外部装置を取り付ける必要があり、また、光学式の場合には、設置が大掛かりになり、運用場所が制限されるため、これらの点においても、改善が望まれている。
【0008】
本発明は、上述の課題を解決するためのもので、容易に同軸上のデータが得られ、また、基準となる被写体を撮ることにより一瞬で絶対位置を得ることが出来、キャリブレーション作業が著しく簡単になり、さらに、３Ｄ演算など距離情報と実写映像からクロマキーやＣＧ合成時の計算を容易にすることができる撮像処理装置を提供することにある。
【課題を解決するための手段】
【0009】
上述の課題に対応するため、本発明は、以下の技術的手段を講じている。
即ち、請求項１記載の発明は、被写体に対して、ＩＲ光を照射するＩＲ光照射部と、マウントされたズームレンズに入射する前記被写体からの入射光を所定の比率で透過及び反射するハーフミラーと、前記ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルターと、前記ＩＲカットフィルターによりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサと、前記可視映像用センサと同軸上に位置し、前記ハーフミラーにより反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部と、前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部とを備えることを特徴とする撮像処理装置である。
即ち、請求項１記載の発明は、被写体に対して、ＩＲ光を照射するＩＲ光照射部と、マウントされたズームレンズに入射する前記被写体からの入射光を所定の比率で透過及び反射するハーフミラーと、前記ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルターと、前記ＩＲカットフィルターによりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサと、前記可視映像用センサと同軸上に位置し、前記ハーフミラーにより反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部と、前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部とを備えることを特徴とする撮像処理装置である。
【0010】
また、請求項２記載の発明は、被写体に対して、ＩＲ光を照射するＩＲ光照射部と、マウントされたズームレンズに入射する前記被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段と、前記４色分解手段により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサと、前記可視映像用センサと同軸上に位置し、前記４色分解手段により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部と、前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部とを備えることを特徴とする撮像処理装置である。
【0011】
そして、請求項３記載の発明は、被写体に対して、ＩＲ光を照射するＩＲ光照射部と、マウントされたズームレンズに入射する前記被写体からの入射光を所定の比率で透過及び反射するハーフミラーと、前記ハーフミラーを透過した入射光から、ＩＲ光をカットするＩＲカットフィルターと、前記ＩＲカットフィルターによりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサと、前記可視映像用センサと同軸上に位置し、前記ハーフミラーにより反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部と、前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成する映像信号生成部と、を備え、前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部で生成された映像信号のうち、前記撮像面から所定距離の前記被写体の映像信号のみを抽出し、当該抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部とを備えることを特徴とする撮像処理装置である。
【0012】
さらに、請求項４記載の発明は、被写体に対して、ＩＲ光を照射するＩＲ光照射部と、マウントされたズームレンズに入射する前記被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段と、前記４色分解手段により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサと、前記可視映像用センサと同軸上に位置し、前記４色分解手段により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサと、前記ＴＯＦセンサによる光電変換で取得される電気信号に基づき、前記被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部と、前記可視映像用センサによる光電変換で取得される電気信号から映像信号を生成する映像信号生成部と、前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部で生成された映像信号のうち、前記撮像面から所定距離の前記被写体の映像信号のみを抽出し、当該抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部とを備えることを特徴とする撮像処理装置である。
【0013】
そして、請求項５記載の発明は、請求項１～４何れか１項記載の撮像処理装置であって、前記距離情報算出部から出力される距離情報に基づき、前記映像信号生成部から出力される映像信号に対し、所定の映像信号を合成する処理を行う映像合成部が備えられていることを特徴としている。また、請求項６記載の発明は、請求項１～４何れか１項記載の撮像処理装置であって、前記距離情報算出部により算出された距離情報に基づき、前記映像信号生成部に生成された映像信号に対し所定の調整を行う映像信号調整部を備えることを特徴としている。
【0014】
またさらに、請求項７記載の発明は、請求項１～４何れか１項記載の撮像処理装置であって、前記ＩＲ光照射部は、複数設けられていることを特徴としている。そして、請求項７記載の発明は、請求項１～４何れか１項記載の撮像処理装置であって、前記ズームレンズにより得られるズーム情報に基づいて、前記距離情報算出部により画素毎に算出された距離情報を再計算することが可能となっていることを特徴としている。次に、請求項８記載の発明は、請求項１～４何れか１項記載の撮像処理装置であって、前記ＴＯＦセンサは、前記可視映像用センサと同じ画素数を有するものであることを特徴としている。
【発明の効果】
【0015】
本発明によれば、光学系にＲＧＢの可視映像用センサとＩＲを通す系統にＴＯＦセンサを持つ撮像処理装置であるため、撮像処理装置からＩＲ光を照射し可視映像はＩＲをカットし、ＴＯＦセンサは可視映像と同軸の映像の画素ごとの距離情報を得ることができ、そして、この距離情報を用いることにより、オートフォーカス情報やバーチャルの被写体位置情報を「画素単位で」正確に可視映像と同時に取得する事が出来るようになる。
【0016】
また、クロマキー合成用の背景と実写の合成時には、被写体の中の映像情報と別のカメラや測定機器などから得られる距離情報を用いて計算して行われていたところ、本発明によれば、同軸上で画角も常に合っていて映像情報と画素単位で合致している位置情報を得ることができるため、トラッキングなどの段取り、及び、後処理の作業が大幅に改善される。また、可視映像用センサと距離を測定するＴＯＦセンサが同軸上にあるため、測定のためのキャリブレーションが必要無くなる。
【図面の簡単な説明】
【0017】
【図1】本発明に係る撮像装置の第１の実施形態を示した構成概略図である。
【図2】本発明に係る撮像装置の第２の実施形態を示した構成概略図である。
【図3】本発明に係る撮像装置の第３の実施形態を示した構成概略図である。
【図4】従来のグリーンバックを使用するクロマキー合成と、本発明に係る撮像装置を用いた場合のクロマキー合成の比較を示した簡略図である。
【図5】従来の撮像装置を用いた撮影と、本発明に係る撮像装置を用いた撮影との比較を示した簡略図である。
【図6】本発明に係る撮像装置により被写体の距離を測定する際のイメージ図である。
【発明を実施するための形態】
【0018】
本発明に係る撮像処理装置の第１の実施形態について図面を参照しながら説明する。図１は、本発明に係る撮像処理装置の実施形態を示した構成概略図である。
【0019】
なお、符号については、１０が撮像処理装置、１２がＩＲ光照射部、１４がズームレンズ、１６がハーフミラー、１８がＩＲカットフィルター、２０が可視映像用センサ、２２がＴＯＦセンサ、２４が距離情報算出部、２６が映像信号生成部、２８が、映像信号調整部、３０が映像信号合成部を示している。
【0020】
まず、本実施形態における撮像処理装置１０は、図１に示すように、被写体に対して、ＩＲ光を照射するＩＲ光照射部１２と、マウントされたズームレンズ１４に入射する被写体からの入射光を所定の比率で透過及び反射するハーフミラー１６と、ハーフミラー１６を透過した入射光から、ＩＲ光をカットするＩＲカットフィルター１８と、ＩＲカットフィルター１８によりＩＲ光がカットされた入射光を受光し、光電変換する可視映像用センサ２０を備えている。
【0021】
さらに、可視映像用センサ２０と同軸上に位置し、ハーフミラー１６により反射された入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサ２２と、ＴＯＦセンサ２２による光電変換で取得される電気信号に基づき、被写体から撮像面までの距離情報を画素毎に算出し、当該距離情報を出力する距離情報算出部２４と、可視映像用センサ２０による光電変換で取得される電気信号から映像信号を生成し、出力する映像信号生成部２６を備えている。
【0022】
なお、本実施形態では、距離情報算出部２４から出力される距離情報に基づき、映像信号生成部２６から出力される映像信号に対し、所定の映像信号を合成する処理を行う映像信号合成部３０が備えられている。また、本実施形態においては、距離情報算出部２４により画素毎に算出された距離情報に基づいて、映像信号生成部２６に生成された映像信号に対し、所定の調整を行う映像信号調整部２８が備えられている。
【0023】
続いて、本発明に係る撮像処理装置の第１の実施形態について説明する。本実施形態における撮像処理装置１０は、被写体を撮像するものであるとともに、被写体に対してＩＲ光照射部１２からＩＲ光を照射する構成となっている。これは、被写体から反射して入射してくるＩＲ光に基づいて、本実施形態におけるＴＯＦセンサ２２及び距離情報算出部２４により、被写体から撮像面までの距離情報を画素毎に算出するためである。なお、ＩＲ光照射部１２の代わりに、直進性と、それによる距離算出精度の向上の観点から、ＶＣＳＥＬを光源として用いても良い。また、ラフな距離が分かればよい場合には、レーザー光や、ＬＥＤ光を用いるのも良い。
【0024】
なお、ＩＲ光照射部１２は、撮像処理装置の前面であって、ズームレンズ１４の周囲に、一つ、あるいは、複数配置されるものである。次に、ハーフミラー１６によって、ズームレンズ１４に入射する被写体からの入射光を所定の比率で透過及び反射させる。透過する入射光は、ＩＲカットフィルター１８を通り、ＩＲ成分がカットされ、可視映像用センサ２０へと、一方、反射する入射光は、ＴＯＦセンサ２２へと到達し、それぞれ、光電変換され電気信号が生成される。
【0025】
可視映像用センサ２０により生成された電気信号に基づき、映像信号生成部２６によって映像信号が生成される。ここで、ＴＯＦセンサ２２及び距離情報算出部２４により算出された被写体から撮像面までの画素毎の距離情報は、本実施形態においては、映像信号生成部２６によって生成された映像信号に対し、映像信号調整部２８が所定の調整を行う際に用いられる。
【0026】
さらに、本実施形態においては、距離情報算出部２４から出力される距離情報に基づき、映像信号生成部２６から出力される映像信号に対し、映像信号合成部３０が、所定の映像信号を合成する処理を行う構成となっている。この映像信号の合成処理は、例えば、映像信号に対し、クロマキー処理（マスキング）を行うとともに、距離情報から奥行や閾値処理を行うことで、クロマキー合成を行うものである。また、距離情報をＣＧ合成用計算データとして用い、映像信号に対し、ＣＧ合成処理を行うように構成しても良い。
【0027】
またさらに、本実施形態における映像信号調整部２８では、例えば、距離情報から奥・手前、閾値処理をし、映像信号に対し、デフォーカス処理を行っても良い。また、距離情報に基づき、特定距離エリアの指定を行い、映像信号のレベル調整や色変換処理をするように構成しても良い。その他、距離情報から深度データ変換を行い、映像信号に対し、映像強調やぼかし処理を行っても良いし、距離情報から突起部や窪み部を検知することで、映像信号に対し画像強調の処理を行っても良い。なお、映像信号調整部２８による映像信号の調整は、例えば、撮像面からの所定距離範囲内にある被写体の映像信号のみを抽出するよう調整するものでも良い。
【0028】
また、ズームレンズ１４により得られるズーム情報に基づいて、被写体から撮像面までの画素毎の距離情報を再計算する構成としても良い。またさらに、ＴＯＦセンサ２２は、可視映像用センサ２０と同じ画素数を有するものを用いるのが好ましい。またさらに、ＴＯＦセンサ２２及び距離情報算出部２４により算出された被写体から撮像面までの画素毎の距離情報に基づき、ズームレンズ１４の調整を行うよう構成することも可能である。
【0029】
本実施形態における撮像処理装置によれば、基準となる被写体を撮影することにより一瞬にして必要とする箇所の絶対位置を得ることができることから、キャリブレーション作業が著しく簡単なものとなる効果が奏される。また、バーチャルシステムにおいては、被写体との距離情報や、カメラそのものの絶対位置を得るために、カメラに外部装置を取り付ける必要があったところ、本実施形態における撮像処理装置によれば、容易に同軸上のデータが得られる。
【0030】
そのため、オートフォーカスはある程度広い映像情報からの高域信号などから得ていたため、人間の鼻先等ピンポイントにフォーカスを合せるのは困難でありまた、ステージ暗転時等暗い中でフォーカスを合せる必要がある状況で正確に合わせるのは困難であったところ、図６に概略として示すように、本実施形態における撮像装置によれば、被写体のピンポイントに対して理想的にフォーカスを合わすことが可能となる。
【0031】
また、本実施形態における撮像処理装置によれば、図５（ｂ）に示すように、映像を撮像する可視映像用センサと、ＴＯＦセンサが、同軸上にあるのでそこを重心として動かせば距離情報と映像情報は必ず一致することになる。そして、外付けの距離センサを用いた場合、必ず誤差が出る図５（ａ）、（ｃ）。レンズ性能によっては、周辺誤差は簡単には補正できないといった課題も解決することができる。
【0032】
続いて、本発明に係る撮像処理装置の第２の実施形態について図面を参照しながら説明する。図２は、本発明に係る撮像処理装置の実施形態を示した構成概略図である。なお、符号については、３２が４色分解手段である以外は、図１に付したものと同様である。
【0033】
本実施形態における撮像処理装置１０は、図２に示すように、被写体に対して、ＩＲ光を照射するＩＲ光照射部１２と、マウントされたズームレンズ１４に入射する被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段３２と、４色分解手段３２により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサ２０を備えている。
【0034】
さらに、可視映像用センサ２０と同軸上に位置し、４色分解手段３２により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサ２２と、ＴＯＦセンサ２２による光電変換で取得される電気信号に基づき、被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部２４と、可視映像用センサ２４による光電変換で取得される電気信号から映像信号を生成する映像信号生成部２６を備えている。
【0035】
なお、本実施形態では、距離情報算出部２４から出力される距離情報に基づき、映像信号生成部２６から出力される映像信号に対し、所定の映像信号を合成する処理を行う映像信号合成部３０が備えられている。また、本実施形態においては、距離情報算出部２４により画素毎に算出された距離情報に基づいて、映像信号生成部２６に生成された映像信号に対し、所定の調整を行う映像信号調整部２８が備えられている。
【0036】
続いて、本発明に係る撮像処理装置の第２の実施形態について説明する。本実施形態における撮像処理装置１０は、被写体を撮像するものであるとともに、被写体に対してＩＲ光照射部１２からＩＲ光を照射する構成となっている。これは、被写体から反射して入射してくるＩＲ光に基づいて、本実施形態におけるＴＯＦセンサ２２及び距離情報算出部２４により、被写体から撮像面までの距離情報を画素毎に算出するためである。なお、ＩＲ光照射部１２の代わりに、直進性と、それによる距離算出精度の向上の観点から、ＶＣＳＥＬを光源として用いても良い。また、ラフな距離が分かればよい場合には、レーザー光や、ＬＥＤ光を用いるのも良い。
【0037】
なお、ＩＲ光照射部１２は、撮像処理装置の前面であって、ズームレンズ１４の周囲に、一つ、あるいは、複数配置されるものである。次に、４色分解手段３２によって、ズームレンズ１４に入射する被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分へと分解する。ＲＧＢ成分は、可視映像用センサ２０へと、一方、ＩＲ成分は、ＴＯＦセンサ２２へと到達し、それぞれ、光電変換され電気信号が生成される。
【0038】
可視映像用センサ２０により生成された電気信号に基づき、映像信号生成部２６によって映像信号が生成される。ここで、ＴＯＦセンサ２２及び距離情報算出部２４により算出された被写体から撮像面までの画素毎の距離情報は、本実施形態においては、映像信号生成部２６によって生成された映像信号に対し、映像信号調整部２８が所定の調整を行う際に用いられる。
【0039】
さらに、本実施形態においては、距離情報算出部２４から出力される距離情報に基づき、映像信号生成部２６から出力される映像信号に対し、映像信号合成部３０が、所定の映像信号を合成する処理を行う構成となっている。この映像信号の合成処理は、例えば、映像信号に対し、クロマキー処理（マスキング）を行うとともに、距離情報から奥行や閾値処理を行うことで、クロマキー合成を行うものである。また、距離情報をＣＧ合成用計算データとして用い、映像信号に対し、ＣＧ合成処理を行うように構成しても良い。
【0040】
またさらに、本実施形態における映像信号調整部２８では、例えば、距離情報から奥・手前、閾値処理をし、映像信号に対し、デフォーカス処理を行っても良い。また、距離情報に基づき、特定距離エリアの指定を行い、映像信号のレベル調整や色変換処理をするように構成しても良い。その他、距離情報から深度データ変換を行い、映像信号に対し、映像強調やぼかし処理を行っても良いし、距離情報から突起部や窪み部を検知することで、映像信号に対し画像強調の処理を行っても良い。なお、映像信号調整部２８による映像信号の調整は、例えば、撮像面からの所定距離範囲内にある被写体の映像信号のみを抽出するよう調整するものでも良い。
【0041】
また、ズームレンズ１４により得られるズーム情報に基づいて、被写体から撮像面までの画素毎の距離情報を再計算する構成としても良い。またさらに、ＴＯＦセンサ２２は、可視映像用センサ２０と同じ画素数を有するものを用いるのが好ましい。またさらに、ＴＯＦセンサ２２及び距離情報算出部２４により算出された被写体から撮像面までの画素毎の距離情報に基づき、ズームレンズ１４の調整を行うよう構成することも可能である。
【0042】
本実施形態における撮像装置によれば、基準となる被写体を撮影することにより一瞬にして必要とする箇所の絶対位置を得ることができることから、キャリブレーション作業が著しく簡単なものとなる効果が奏される。また、バーチャルシステムにおいては、被写体との距離情報や、カメラそのものの絶対位置を得るために、カメラに外部装置を取り付ける必要があったところ、本実施形態における撮像装置によれば、容易に同軸上のデータが得られる。
【0043】
そのため、オートフォーカスはある程度広い映像情報からの高域信号などから得ていたため、人間の鼻先等ピンポイントにフォーカスを合せるのは困難でありまた、ステージ暗転時等暗い中でフォーカスを合せる必要がある状況で正確に合わせるのは困難であったところ、図６に示すように、本実施形態における撮像装置によれば、被写体のピンポイントに対して理想的にフォーカスを合わすことが可能となる。
【0044】
また、本実施形態における撮像処理装置によれば、図５に示すように、映像を撮像する可視映像用センサと、ＴＯＦセンサが、同軸上にあるのでそこを重心として動かせば距離情報と映像情報は必ず一致することになる。そして、外付けの距離センサを用いた場合、必ず誤差が出る。レンズ性能によっては、周辺誤差は簡単には補正できないといった課題も解決することができる。
【0045】
続いて、本発明に係る撮像処理装置の第３の実施形態について図面を参照しながら説明する。図３は、本発明に係る撮像処理装置の実施形態を示した構成概略図である。なお、符号については、３４がクロマキー合成映像信号生成部である以外は、図２に付したものと同様である。
【0046】
本実施形態における撮像処理装置１０は、図３に示すように、被写体に対して、ＩＲ光を照射するＩＲ光照射部１２と、マウントされたズームレンズ１４に入射する被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分に、それぞれ分解する４色分解手段３２と、４色分解手段３２により分解されたＲ成分・Ｇ成分・Ｂ成分の各入射光を受光し、それぞれ光電変換する可視映像用センサ２０を備えている。なお、本実施形態では、４色分解手段を用いているが、これをハーフミラーを用いる構成としても良い。
【0047】
さらに、可視映像用センサ２０と同軸上に位置し、４色分解手段３２により分解されたＩＲ成分の入射光を受光し、且つ、当該入射光のうちのＩＲ光を光電変換するＴＯＦセンサ２２と、ＴＯＦセンサ２２による光電変換で取得される電気信号に基づき、被写体から撮像面までの距離情報を画素毎に算出する距離情報算出部２４と、可視映像用センサ２４による光電変換で取得される電気信号から映像信号を生成する映像信号生成部２６と、映像信号生成部２６により生成された映像信号に基づき映像を表示する映像表示部３０を備えている。
【0048】
なお、本実施形態においては、距離情報算出部２４により画素毎に算出された距離情報に基づいて、映像信号生成部２６に生成された映像信号のうち、撮像面から所定距離の被写体の映像信号のみを抽出し、この抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部３４が備えられている。
【0049】
続いて、本発明に係る撮像装置の第３の実施形態について説明する。本実施形態における撮像装置１０は、被写体を撮像するものであるとともに、被写体に対してＩＲ光照射部１２からＩＲ光を照射する構成となっている。これは、被写体から反射して入射してくるＩＲ光に基づいて、本実施形態におけるＴＯＦセンサ２２及び距離情報算出部２４により、被写体から撮像面までの距離情報を画素毎に算出するためである。なお、ＩＲ光照射部１２の代わりに、直進性と、それによる距離算出精度の向上の観点から、ＶＣＳＥＬを光源として用いても良い。また、ラフな距離が分かればよい場合には、レーザー光や、ＬＥＤ光を用いるのも良い。
【0050】
なお、ＩＲ光照射部１２は、撮像装置の前面であって、ズームレンズ１４の周囲に、一つ、あるいは、複数配置されるものである。次に、４色分解手段３２によって、ズームレンズ１４に入射する被写体からの入射光をＲ成分・Ｇ成分・Ｂ成分、及び、ＩＲ成分へと分解する。ＲＧＢ成分は、可視映像用センサ２０へと、一方、ＩＲ成分は、ＴＯＦセンサ２２へと到達し、それぞれ、光電変換され電気信号が生成される。
【0051】
可視映像用センサ２０により生成された電気信号に基づき、映像信号生成部２６によって映像信号が生成され、続いて、生成された映像信号に基づき、映像表示部３０が映像を表示する構成となっている。ここで、ＴＯＦセンサ２２及び距離情報算出部２４により算出された被写体から撮像面までの画素毎の距離情報は、本実施形態においては、映像信号生成部２６によって生成された映像信号のうち、撮像面から所定距離の被写体の映像信号のみを抽出し、この抽出した映像信号と、所定の背景用映像信号との合成処理を行い、クロマキー合成映像信号を生成するクロマキー合成映像信号生成部３４が備えられている。
【0052】
このような構成とすることで、従来のクロマキー合成の現場において、撮影時に必須であったグリーンバックが不要となる。つまり、これまで、例えば、スタジオに居る人間と外の風景を合成しようした場合、図４（ａ）に示すように、スタジオの人間のバックにはグリーンバック等のスクリーンを置き、その他は、何も置かず、影が出来ない様に照明などにも気を遣う必要があったところ、本実施形態によれば、画素単位で撮像面と被写体の距離を算出する事により、図４（ｂ）に示すように、アナウンサーの背後がいかに雑然としていても、アナウンサーのいる場所より背面の距離の映像を切り取ってしまう（生成された映像信号のうち、撮像面から所定距離の被写体の映像信号のみを抽出する。）事で簡単に合成できることになる。
【0053】
また、ズームレンズ１４により得られるズーム情報に基づいて、被写体から撮像面までの画素毎の距離情報を再計算する構成としても良い。またさらに、ＴＯＦセンサ２２は、可視映像用センサ２０と同じ画素数を有するものを用いるのが好ましい。また、ＴＯＦセンサ２２及び距離情報算出部２４により算出された被写体から撮像面までの画素毎の距離情報に基づき、ズームレンズ１４の調整を行うよう構成することも可能である。
【0054】
本実施形態における撮像処理装置によれば、基準となる被写体を撮影することにより一瞬にして必要とする箇所の絶対位置を得ることができることから、キャリブレーション作業が著しく簡単なものとなる効果が奏される。また、バーチャルシステムにおいては、被写体との距離情報や、カメラそのものの絶対位置を得るために、カメラに外部装置を取り付ける必要があったところ、本実施形態における撮像装置によれば、容易に同軸上のデータが得られる。
【0055】
そのため、オートフォーカスはある程度広い映像情報からの高域信号などから得ていたため、人間の鼻先等ピンポイントにフォーカスを合せるのは困難でありまた、ステージ暗転時等暗い中でフォーカスを合せる必要がある状況で正確に合わせるのは困難であったところ、図６に示すように、本実施形態における撮像処理装置によれば、被写体のピンポイントに対して理想的にフォーカスを合わすことが可能となる。
【0056】
また、本実施形態における撮像装置によれば、図６に示すように、映像を撮像する可視映像用センサと、ＴＯＦセンサが、同軸上にあるのでそこを重心として動かせば距離情報と映像情報は必ず一致することになる。そして、外付けの距離センサを用いた場合、必ず誤差が出る。レンズ性能によっては、周辺誤差は簡単には補正できないといった課題も解決することができる。
【産業上の利用可能性】
【0057】
本発明に係る撮像処理装置は、装置全体として複雑な構造を持たずに、可視映像と同軸の映像の画素毎の距離情報を得ることができ、そして、この距離情報を用いることにより、オートフォーカス情報やバーチャルの被写体位置情報を「画素単位で」正確に可視映像と同時に取得する事ができ、それを画像合成処理や、画像調整に用いることができる。
【符号の説明】
【0058】
１０ 撮像処理装置
１２ ＩＲ光照射部
１４ ズームレンズ
１６ ハーフミラー
１８ ＩＲカットフィルター
２０ 可視映像用センサ
２２ ＴＯＦセンサ
２４ 距離情報算出部
２６ 映像信号生成部
２８ 映像信号調整部
３０ 映像合成部
３２ ４色分解手段
３４ クロマキー合成映像信号生成部
１２ ＩＲ光照射部
１４ ズームレンズ
１６ ハーフミラー
１８ ＩＲカットフィルター
２０ 可視映像用センサ
２２ ＴＯＦセンサ
２４ 距離情報算出部
２６ 映像信号生成部
２８ 映像信号調整部
３０ 映像合成部
３２ ４色分解手段
３４ クロマキー合成映像信号生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】