知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023156211
(43)【公開日】2023-10-24
(54)【発明の名称】テレビドアホン
(51)【国際特許分類】
H04N 23/741 20230101AFI20231017BHJP
H04N 7/18 20060101ALI20231017BHJP
H04N 23/60 20230101ALI20231017BHJP
H04N 23/71 20230101ALI20231017BHJP
H04N 23/611 20230101ALI20231017BHJP
G03B 15/00 20210101ALI20231017BHJP
G03B 7/093 20210101ALI20231017BHJP
【ＦＩ】
H04N5/235 500
H04N7/18 H
H04N5/232 290
H04N5/235 100
H04N5/232 190
G03B15/00 H
G03B15/00 Q
G03B7/093
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022065956
(22)【出願日】2022-04-12
(71)【出願人】
【識別番号】501009849
【氏名又は名称】株式会社日立エルジーデータストレージ
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】春名 史雄
【テーマコード（参考）】
2H002
5C054
5C122
【Ｆターム（参考）】
2H002CC01
2H002DB25
2H002FB23
2H002GA04
2H002GA51
5C054CA04
5C054CC02
5C054EH01
5C054FC12
5C054HA22
5C122DA03
5C122DA18
5C122EA20
5C122EA47
5C122EA56
5C122FF19
5C122FF23
5C122FF26
5C122FH10
5C122FH14
5C122FH18
5C122FH24
5C122FK23
5C122FK24
5C122FK41
5C122GA24
5C122GA31
5C122HB01
5C122HB05
5C122HB06
(57)【要約】
【課題】簡易な構成で逆光状態でも視認しやすい映像を画面に表示できるテレビドアホンを提供する。
【解決手段】テレビドアホンは、画像撮像装置と画像表示装置とを含む。画像撮像装置は、来訪者を撮影する撮像部と、撮像部で撮影した映像を処理する第１映像制御部と、を有する。画像表示装置は、映像制御部から送られる映像を取得する第２映像制御部と、第２映像制御部の映像出力を表示する表示部と、を有する。第１映像制御部は、来訪者が居ないときには撮像部により背景画像に適した露光で撮影した背景映像を記録し、且つ来訪者が来たときには撮像部により来訪者に適した露光で来訪者を撮影しつつ当該撮影した映像から来訪者のみを抽出し、抽出した来訪者の映像と記録した背景映像を合成して第２映像制御部へ当該合成映像を出力するように構成されている。
【選択図】図３
【解決手段】テレビドアホンは、画像撮像装置と画像表示装置とを含む。画像撮像装置は、来訪者を撮影する撮像部と、撮像部で撮影した映像を処理する第１映像制御部と、を有する。画像表示装置は、映像制御部から送られる映像を取得する第２映像制御部と、第２映像制御部の映像出力を表示する表示部と、を有する。第１映像制御部は、来訪者が居ないときには撮像部により背景画像に適した露光で撮影した背景映像を記録し、且つ来訪者が来たときには撮像部により来訪者に適した露光で来訪者を撮影しつつ当該撮影した映像から来訪者のみを抽出し、抽出した来訪者の映像と記録した背景映像を合成して第２映像制御部へ当該合成映像を出力するように構成されている。
【選択図】図３
【特許請求の範囲】
【請求項1】
来訪者の映像を取得する画像撮像装置と前記画像撮像装置から取得する映像を表示する画像表示装置とを有するテレビドアホンであって、
前記画像撮像装置は、
前記来訪者を撮影する撮像部と、
前記撮像部で撮影した映像を処理する第１映像制御部と、
を有し、
前記画像表示装置は、
前記第１映像制御部から送られる映像を取得する第２映像制御部と、
前記第２映像制御部の映像出力を表示する表示部と、
を有し、
前記第１映像制御部は、
前記来訪者が居ないときには、前記撮像部により背景画像に適した露光で撮影した背景映像を記録し、
且つ前記来訪者が来たときには、前記撮像部により前記来訪者に適した露光で前記来訪者を撮影しつつ当該撮影した映像から前記来訪者のみを抽出し、
前記抽出した前記来訪者の映像と前記記録した背景映像とを合成して前記第２映像制御部へ合成映像を出力する、
ように構成された、
テレビドアホン。
前記画像撮像装置は、
前記来訪者を撮影する撮像部と、
前記撮像部で撮影した映像を処理する第１映像制御部と、
を有し、
前記画像表示装置は、
前記第１映像制御部から送られる映像を取得する第２映像制御部と、
前記第２映像制御部の映像出力を表示する表示部と、
を有し、
前記第１映像制御部は、
前記来訪者が居ないときには、前記撮像部により背景画像に適した露光で撮影した背景映像を記録し、
且つ前記来訪者が来たときには、前記撮像部により前記来訪者に適した露光で前記来訪者を撮影しつつ当該撮影した映像から前記来訪者のみを抽出し、
前記抽出した前記来訪者の映像と前記記録した背景映像とを合成して前記第２映像制御部へ合成映像を出力する、
ように構成された、
テレビドアホン。
【請求項2】
請求項１に記載のテレビドアホンにおいて、
前記画像撮像装置は、映像を格納可能な記憶部を有し、
前記第１映像制御部は、前記背景映像を前記記憶部に記録する、
ように構成された、
テレビドアホン。
前記画像撮像装置は、映像を格納可能な記憶部を有し、
前記第１映像制御部は、前記背景映像を前記記憶部に記録する、
ように構成された、
テレビドアホン。
【請求項3】
請求項１に記載のテレビドアホンにおいて、
前記第１映像制御部は、前記背景映像を記録する間隔を任意に調整できる、
ように構成されたテレビドアホン。
前記第１映像制御部は、前記背景映像を記録する間隔を任意に調整できる、
ように構成されたテレビドアホン。
【請求項4】
請求項１に記載のテレビドアホンにおいて、
前記第１映像制御部は、
前記来訪者が居ないときには、前記背景画像に適した露光で撮影するために撮影画面全体で測光し、且つ測光領域で撮影した映像のヒストグラムが均等になるように前記撮像部の露光を制御する、
ように構成されたテレビドアホン。
前記第１映像制御部は、
前記来訪者が居ないときには、前記背景画像に適した露光で撮影するために撮影画面全体で測光し、且つ測光領域で撮影した映像のヒストグラムが均等になるように前記撮像部の露光を制御する、
ように構成されたテレビドアホン。
【請求項5】
請求項１に記載のテレビドアホンにおいて、
前記第１映像制御部は、
前記来訪者が来たときには、前記来訪者に適した露光で撮影するために前記来訪者の顔領域で測光し、且つ測光領域で撮影した映像のヒストグラムが均等になるように前記撮像部の露光を制御する、
ように構成されたテレビドアホン。
前記第１映像制御部は、
前記来訪者が来たときには、前記来訪者に適した露光で撮影するために前記来訪者の顔領域で測光し、且つ測光領域で撮影した映像のヒストグラムが均等になるように前記撮像部の露光を制御する、
ように構成されたテレビドアホン。
【請求項6】
請求項１に記載のテレビドアホンにおいて、
前記第１映像制御部は、
前記撮像部により前記背景映像を撮影するときの露光値及び前記来訪者を撮影するときの露光値のそれぞれを、撮影する時刻に応じた最適な露光値に予め設定する、
ように構成されたテレビドアホン。
前記第１映像制御部は、
前記撮像部により前記背景映像を撮影するときの露光値及び前記来訪者を撮影するときの露光値のそれぞれを、撮影する時刻に応じた最適な露光値に予め設定する、
ように構成されたテレビドアホン。
【請求項7】
請求項６に記載のテレビドアホンにおいて、
前記第１映像制御部は、前記撮影する時刻に応じた最適な露光値を学習して記録する、
ように構成された、
テレビドアホン。
前記第１映像制御部は、前記撮影する時刻に応じた最適な露光値を学習して記録する、
ように構成された、
テレビドアホン。
【請求項8】
請求項１に記載のテレビドアホンにおいて、
前記第１映像制御部は、
予め設定される露光値を調整すること及び調整後においては調整後の露光値を必要な場合に更に調整することによって前記撮像部により前記背景画像に適した露光で前記背景映像を撮影し、
予め設定される露光値を調整すること及び調整後においては調整後の露光値を必要な場合に更に調整することによって前記撮像部により前記来訪者に適した露光で前記来訪者を撮影する、
ように構成され、
更に、前記第１映像制御部は、
複数の特定の時刻の何れかの時刻になったら前記撮像部により前記背景映像を撮影するときの前記予め設定される露光値及び前記来訪者を撮影するときの前記予め設定される露光値のそれぞれを、前記特定の時刻に対応する露光値に改めて設定する、
ように構成された、
テレビドアホン。
前記第１映像制御部は、
予め設定される露光値を調整すること及び調整後においては調整後の露光値を必要な場合に更に調整することによって前記撮像部により前記背景画像に適した露光で前記背景映像を撮影し、
予め設定される露光値を調整すること及び調整後においては調整後の露光値を必要な場合に更に調整することによって前記撮像部により前記来訪者に適した露光で前記来訪者を撮影する、
ように構成され、
更に、前記第１映像制御部は、
複数の特定の時刻の何れかの時刻になったら前記撮像部により前記背景映像を撮影するときの前記予め設定される露光値及び前記来訪者を撮影するときの前記予め設定される露光値のそれぞれを、前記特定の時刻に対応する露光値に改めて設定する、
ように構成された、
テレビドアホン。
【請求項9】
請求項８に記載のテレビドアホンにおいて、
前記第１映像制御部は、前記複数の特定の時刻のそれぞれを、１年を複数の期間に分割した場合の各期間に応じた時刻に設定する、
ように構成された、
テレビドアホン。
前記第１映像制御部は、前記複数の特定の時刻のそれぞれを、１年を複数の期間に分割した場合の各期間に応じた時刻に設定する、
ように構成された、
テレビドアホン。
【請求項10】
請求項１に記載のテレビドアホンにおいて、
前記第１映像制御部は、
前記背景画像の前記来訪者以外に変化した差異領域を当該撮影した映像から抽出し、
前記抽出した差異領域及び前記来訪者の映像と前記記録した背景映像とを合成して前記第２映像制御部へ当該合成映像を出力する、
ように構成された、
テレビドアホン。
前記第１映像制御部は、
前記背景画像の前記来訪者以外に変化した差異領域を当該撮影した映像から抽出し、
前記抽出した差異領域及び前記来訪者の映像と前記記録した背景映像とを合成して前記第２映像制御部へ当該合成映像を出力する、
ように構成された、
テレビドアホン。
【請求項11】
請求項１に記載のテレビドアホンにおいて、
前記第１映像制御部は、
前記背景画像の前記来訪者以外に変化した差異領域に適した露光で撮影しつつ当該撮影した映像から当該差異領域のみを抽出し、
前記抽出した差異領域及び前記来訪者の映像と前記記録した背景映像とを合成して前記第２映像制御部へ当該合成映像を出力する、
ように構成された、
テレビドアホン。
前記第１映像制御部は、
前記背景画像の前記来訪者以外に変化した差異領域に適した露光で撮影しつつ当該撮影した映像から当該差異領域のみを抽出し、
前記抽出した差異領域及び前記来訪者の映像と前記記録した背景映像とを合成して前記第２映像制御部へ当該合成映像を出力する、
ように構成された、
テレビドアホン。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、テレビドアホンに関し、詳しくはテレビドアホンの画面に表示される映像の視認性を向上させるテレビドアホンに関する。
【背景技術】
【0002】
近年、防犯意識の高まりで、街中での防犯カメラの設置が進んでいるだけでなく、一般家庭でも来訪者の顔が確認できるディスプレイ画面搭載のテレビドアホンが広く普及してきている。
【0003】
テレビドアホンは、屋外端末のカメラで撮影された来訪者の顔を屋内端末のディスプレイで見ながら通話できるため、利用者はドアを開けずに来訪者の素性を確認することができ、防犯的に大変優れたツールである。
【0004】
ただし、カメラで撮影した映像にはカメラ特有の弊害が生じる場合がある。たとえば、カメラで撮影している背景に太陽光が写り込んだり、あるいは背景の建造物などが太陽光で強く照らされたりする状態、いわゆる「逆光状態」にある場合、カメラの露光は背景の明るい領域に合わせて相対的に来訪者の映像は暗くなってしまう「黒つぶれ」の状態になるか、逆に来訪者の領域にカメラの露光を合わせて相対的に背景映像が明るくなりすぎる「白つぶれ」の状態になってしまう。
【0005】
本技術分野における先行技術文献として特許文献１がある。特許文献１には、露光時間の異なる少なくとも２つの映像を撮影し、異なる露光時間で撮影した背景部分と来訪者部分を合成して視認性を向上させることが記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００９－８１５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１ではリアルタイムで露光時間を少なくとも２回切り替えながら撮影し、それを合成する必要があることから、１コマの映像を作るのに通常の２倍の時間が掛かるためにフレームレートが低下するという課題が考えられる。また、リアルタイムで露光時間を交互に切り替えることができるカメラやそれを受信して処理できるＣＰＵ（Central Processing Unit）やＳｏＣ（System on Chip）は比較的高価であり、安価なカメラやＣＰＵ、ＳｏＣが使えないという課題もある。
【0008】
本発明は上記課題に鑑みなされた。即ち、本発明の目的の一つは、簡易な構成で逆光状態でも視認しやすい映像を画面に表示できるテレビドアホンを提供することである。
【課題を解決するための手段】
【0009】
本発明のテレビドアホンは、来訪者の映像を取得する画像撮像装置と前記画像撮像装置から取得する映像を表示する画像表示装置とを有するテレビドアホンであって、前記画像撮像装置は、前記来訪者を撮影する撮像部と、前記撮像部で撮影した映像を処理する第１映像制御部と、を有し、前記画像表示装置は、前記第１映像制御部から送られる映像を取得する第２映像制御部と、前記第２映像制御部の映像出力を表示する表示部と、を有し、前記第１映像制御部は、前記来訪者が居ないときには、前記撮像部により背景画像に適した露光で撮影した背景映像を記録し、且つ前記来訪者が来たときには、前記撮像部により前記来訪者に適した露光で前記来訪者を撮影しつつ当該撮影した映像から前記来訪者のみを抽出し、前記抽出した前記来訪者の映像と前記記録した背景映像とを合成して前記第２映像制御部へ合成映像を出力する、ように構成されている。
【発明の効果】
【0010】
本発明によれば、簡易な構成で逆光状態でも視認しやすい映像を画面に表示できる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明の実施例について、図面を用いて説明する。
【0013】
<<実施例１>>
図１Ａは、本実施例における画像撮像装置１と画像表示装置２を含むテレビドアホンのシステム全体の構成を示すブロック図である。
図１Ａは、本実施例における画像撮像装置１と画像表示装置２を含むテレビドアホンのシステム全体の構成を示すブロック図である。
【0014】
図１Ａにおいて、本システムは画像撮像装置１と画像表示装置２で構成され、その間は映像信号、音声信号、制御信号を送受信する信号線３で接続される。画像撮像装置１は制御装置１０とボタン１１とカメラ１２とマイク１３とスピーカー１４から構成される。画像表示装置２は制御装置２０とボタン２１とディスプレイ２２とマイク２３とスピーカー２４から構成される。なお、制御装置１０は、便宜上、「第１映像制御部」と称呼される場合がある。制御装置２０は、「第２映像制御部」とも称呼される場合がある。カメラ１２は、便宜上、「撮像部」とも称呼される場合がある。ディスプレイ２２は、便宜上、「表示部」とも称呼される場合がある。
【0015】
図１Ｂはたとえば一般的な家屋でのドアホンの設置例を示しており、家屋４の室内側に画像表示装置２、屋外のドアの横などに画像撮像装置１が設置され、その間は信号線３で接続される。画像撮像装置１と画像表示装置２間の接続は有線での信号線３の例を示したが、それに限らず429MHz帯又は900MHz帯の特定小電力無線や無線ＬＡＮ（Local Area Network）でもよい。また有線でも独自の複数線や有線ＬＡＮであってもよい。
【0016】
画像撮像装置１と画像表示装置２の動作を説明する。制御装置１０及び制御装置２０は図示しないＣＰＵやＳｏＣなどのプロセッサ、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)などの揮発性メモリ、ＨＤＤ（Hard Disk）やＳＳＤ（Solid State Drive）、フラッシュメモリなどの不揮発性記憶媒体などで構成されている。カメラ１２は画像撮像装置１近傍に居る来訪者を撮影する撮像部であって、撮影した映像情報を制御装置１０へ出力する。カメラ１２はカメラセンサ部に光を当てる露光時間を調整する機能を有するものとする。明るい日中では露光時間を短く、暗い夜間では露光時間を長くするなどして撮影画像の視認性を高めるためである。マイク１３は画像撮像装置１近傍に居る来訪者が発声する音声を取得する音声取得部であって、取得した音声データを制御装置１０へ出力する。マイク２３は画像表示装置２近傍に居る利用者が発声する音声を取得する音声取得部であって、取得した音声データを制御装置２０へ出力する。マイク１３及びマイク２３の種類としては大型のダイナミックマイク、コンデンサマイクや、小型のＭＥＭＳマイクなどがある。スピーカー１４は信号線３経由で画像表示装置２から送られる音声データを再生する。スピーカー２４は信号線３経由で画像撮像装置１から送られる音声データを再生する。ディスプレイ２２は信号線３経由で画像撮像装置１から送られる映像データを表示する。
【0017】
テレビドアホンの一般的な動作を説明する。家屋４へ来訪した来訪者は画像撮像装置１のボタン１１を押し、家屋４内の利用者へ画像表示装置２のスピーカー２４でチャイムなどの音声を再生させて来訪を知らせる。利用者は画像撮像装置１のカメラ１２で撮影され、信号線３経由で画像表示装置２のディスプレイ２２に表示された来訪者の映像を確認し、ボタン２１を押して来訪者との通話を開始する。利用者と来訪者の通話には画像撮像装置１側はマイク１３及びスピーカー１４、画像表示装置２側はマイク２３及びスピーカー２４を利用する。利用者が来訪者の要件を確認し終えたらボタン２１を再び押して通話を終了する。画像表示装置２の動作は前述のような一般的なテレビドアホンと同じであり、詳細な動作説明は省略する。
【0018】
次に図２から図８を用いて本実施例における画像撮像装置１の動作を詳細に説明する。図２は制御装置１０で実現する各機能をブロック図化した機能ブロック図である。ハードウェアとしては図示しない前述のＣＰＵ、揮発性メモリ、不揮発性記憶媒体などで構成され、ＣＰＵは不揮発性記憶媒体内に記憶されたプログラムを揮発性メモリに展開しながら実行する。図３は制御装置１０の処理フローチャートである。すなわち、制御装置１０の処理は、不揮発性記憶媒体内に記憶されたプログラムにより実行される。制御装置１０は顔検知部１０１、測光領域設定部１０２、露光時間制御部１０３、露光値計算部１０４、ヒストグラム処理部１０５、背景画面用メモリ部１０６、人物抽出部１０７及び人物背景合成部１０８で構成される。例えば、顔検知部１０１、測光領域設定部１０２、露光時間制御部１０３、露光値計算部１０４、ヒストグラム処理部１０５、背景画面用メモリ部１０６、人物抽出部１０７及び人物背景合成部１０８は、不揮発性記憶媒体（不揮発性メモリ）内に記憶されたプログラムにより構成され、背景画面用メモリ部１０６は、揮発性メモリ又は不揮発性記憶媒体（不揮発性メモリ）で構成される。なお、背景画面用メモリ部１０６は、便宜上、「記憶部」とも称呼される場合がある。
【0019】
【0020】
図３において、Ｓ１０１は、画像撮像装置１の電源が投入され、制御装置１０とカメラ１２が動作可能な状態である。
【0021】
Ｓ１０２は「初期露光値設定」処理である。露光時間制御部１０３に保存されている露光時間の初期値をカメラ１２へ送信する。
【0022】
Ｓ１０３は「設定露光値でのカメラ撮影」判別処理である。Ｓ１０２で設定された初期露光値によりカメラ１２で屋外を撮影する。又は後述するＳ１０８やＳ１１４で設定された露光値によりカメラ１２で屋外を撮影する。
【0023】
Ｓ１０４は「顔検知」処理である。顔検知部１０１はカメラ１２からの映像信号を入力し、その映像内に人間の顔が存在するか否かの判定を行う。「顔検知」のアルゴリズムは、映像内の顔と思われる物体を照合し、まゆ、目、鼻、口、輪郭などの位置関係を確認して顔か否かの判断を行う一般的なものであり、昨今のデジタルカメラなどにも備わっている機能である。顔を検出した場合はＳ１１１、検出しなかった場合はＳ１０５へ分岐する。来訪者が常に居ることは稀であり、通常は来訪者がいないためＳ１０５へ分岐することが大半である。
【0024】
Ｓ１０５は「全体領域で測光」処理である。図４Ａと図４Ｂは「全体領域で測光」処理の具体例を示す。カメラ１２で撮影する場合、映像信号のダイナミックレンジが広くなるように、明るい映像領域から暗い映像領域までが均等になるように露光時間を調整する必要がある。その際、測光領域設定部１０２は映像信号内の測光領域を指定する。Ｓ１０４で来訪者がいないと判断しているため、測光領域設定部１０２は図４Ａのように映像信号のほぼ全体を測光領域になるよう制御した例である。こうすることで、屋外の背景全体が均等に明るくなるように撮影できる。
【0025】
Ｓ１０６は「ヒストグラム」処理である。ヒストグラム処理部１０５はＳ１０５で設定された全体領域での測光領域内の映像データのヒストグラムを計算する。その結果が図４Ｂのグラフで表される。最適な露出の場合は実線のように暗から明に映像データが均等に分布するが、点線のように映像データが明るい方に偏る露出オーバー状態や、一点鎖線のように映像データが暗い方に偏る露出アンダー状態になる場合もある。
【0026】
Ｓ１０７は「最適ヒストグラム」処理である。ヒストグラム処理部１０５はＳ１０６に続き、計算した映像データのヒストグラム分布を解析し、最適な分布か否かを判別する。例えば、ヒストグラム処理部１０５は、明るさの下限閾値（例えば、３０％）以上上限閾値（例えば、７０％）以下の範囲内の画素数が、全体の画素数に対して所定の閾値百分率（例えば、７０％）以上である場合、最適な分布であると判定し、そうではない場合、最適な分布ではない（露出オーバー又は露出アンダー）であると判定する。処理は判定結果に応じて分岐し、最適な分布の場合はＳ１０８へ、最適な分布でない（露出オーバー又は露出アンダー）の場合はＳ１０９へ分岐する。
【0027】
Ｓ１０８は「露光時間計算/設定」処理である。露光値計算部１０４はヒストグラム処理部１０５から送られた現状の映像データのヒストグラム分布を解析し、露出オーバーなら露光時間を現状値より短く、露出アンダーなら露光時間を現状値より長く計算する。露光時間制御部１０３は露光値計算部１０４で計算された露光時間をカメラ１２で受信できるフォーマットに変換し、カメラ１２へ送信する。その後Ｓ１０３に戻り、最適なヒストグラムになるまで繰り返す。
【0028】
Ｓ１０９は「保存フラグ」処理である。ヒストグラム処理部１０５は最適なヒストグラムであると判断した場合、予め保存されているフラグデータを読み込み、これが「Ｈｉ」の場合はＳ１１０へ、「Ｌｏｗ」の場合はなにもせずにＳ１０３へ分岐する。即ち、保存フラグは、「Ｈｉ」に設定されている場合、「背景画像メモリへ保存」処理が実行されることを示し、「Ｌｏｗ」に設定されている場合、「背景画像メモリへ保存」処理が実行されないことを示す。このＳ１０９の効果は後述する。なお、この「保存フラグ」の設定は利用者がボタン１１又は２１の操作方法やマイク１３又は２３などでの音声操作で「Ｈｉ」「Ｌｏｗ」を切り替えることができる。ボタンによる操作はたとえば長押しする時間やその回数などで決めればよい。または、「Ｈｉ」と「Ｌｏｗ」を内部のタイマー機能で切り替えてもよい。「Ｈｉ」となる期間をボタン１１又は２１の操作で自由に設定できるようにし、例えば１秒ごとに一度だけ「Ｈｉ」にしてそれ以外は「Ｌｏｗ」にする。
【0029】
Ｓ１１０は「背景画像メモリへ保存」処理である。ヒストグラム処理部１０５で最適なヒストグラムであると判断した場合、現状の映像信号を背景画面用メモリ部１０６へ保存する。たとえば図４Ａのような来訪者が写っておらず、最適なヒストグラム分布の背景画面である。背景画面用メモリ部１０６は揮発性メモリ又は不揮発性メモリでよい。なお、常に背景画面用メモリ部１０６へ映像を保存することは可能であるが、その反面、消費電力が上昇する課題がある。また不揮発性メモリへ保存する場合、不揮発性メモリの書き込み回数が有限であるため、保存する回数はできる限り少ない方がよい。そこで、Ｓ１０９の「保存フラグ」処理にて保存する間隔を例えば１秒ごとになるように背景画面用メモリ部１０６内のタイマー機能で制御し、消費電力や不揮発性メモリへの保存回数を制限することができる。これが前述していたＳ１０９の効果である。なお背景画面用メモリ部１０６への保存する間隔はタイマー機能で任意に設定できるものとする。
【0030】
ここまでが、Ｓ１０４の「顔検知」処理で来訪者がいないと判断した時のループである。次にＳ１０４の「顔検知」処理で来訪者が居たと判断した時のループを説明する。図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図７、図８はその具体例を示す。
【0031】
Ｓ１１１は「顔領域で測光」処理である。測光領域設定部１０２は映像信号内の測光領域を指定する。人物領域の映像信号のダイナミックレンジが広くなるように、人物領域の明るさが均等になるように露光時間を調整する必要がある。Ｓ１０４で来訪者が居ると判断しているため、測光領域設定部１０２は図５Ａのように映像信号の顔の部分のみを測光領域になるよう制御した例である。
【0032】
Ｓ１１２は「ヒストグラム」処理である。ヒストグラム処理部１０５はＳ１１１で設定された顔領域での測光領域内の映像データのヒストグラムを計算する。その結果の例を図５Ｂに示す。図５Ｂでは露出アンダー状態のヒストグラムになっており、図５Ａの映像のように人物領域が黒つぶれしている例である。
【0033】
Ｓ１１３は「最適ヒストグラム」処理である。ヒストグラム処理部１０５はＳ１１２に続き、計算した映像データのヒストグラム分布を解析し、例えば、既に述べた手法により、最適な分布か否かを判別する。最適な分布の場合はＳ１１５、最適な分布でない（露出オーバー又は露出アンダー）の場合はＳ１１４に分岐する。
【0034】
Ｓ１１４は「露光時間計算/設定」処理である。露光値計算部１０４はヒストグラム処理部１０５から送られた現状の映像データのヒストグラム分布を解析し、露出オーバーなら露光時間を現状値より短く、露出アンダーなら露光時間を現状値より長く計算する。露光時間制御部１０３は露光値計算部１０４で計算された露光時間をカメラ１２で受信できるフォーマットに変換し、カメラ１２へ送信する。その後Ｓ１０３に戻り、最適なヒストグラムになるまで繰り返す。図６Ａ、図６Ｂは顔領域が最適なヒストグラムになった時の例である。図６Ｂのように、顔領域は最適なヒストグラムになっている反面、図６Ａのように背景領域が白とびしている。
【0035】
Ｓ１１５は「人物領域抽出」処理である。上記Ｓ１０３からＳ１１４でヒストグラムが最適化された人物領域を人物抽出部１０７で映像全体から抽出する。映像から人物を抽出するアルゴリズムは一般的なものであり、昨今のテレビ会議で使用されている、人物抽出を行って背景画面を変更するような機能である。たとえば、背景差分法で入力画像と背景画像の差分を計算することで移動物体を検知し、人物を抽出する手法などである。図７は映像全体から人物を抽出した映像の例である。
【0036】
Ｓ１１６は「背景画像と合成」処理である。人物背景合成部１０８はＳ１１５で抽出した人物画像とＳ１１０で背景画面用メモリ部１０６に保存されている背景画像を合成する。人物画像はＳ１１５で画像と共に全体映像内での座標も保存されており、合成する際は全体映像の中の当該座標のところに合成する。その合成結果が図８である。
【0037】
Ｓ１１７は「合成映像出力」処理である。人物背景合成部１０８はＳ１１６で合成した映像信号を信号線３へ出力する。
【0038】
以上が画像撮像装置１の動作であり、以後、画像撮像装置１の電源が切断されるまでＳ１０３からＳ１１７までが繰り返される。
【0039】
なお、カメラで撮影する時間帯により最適な露光値は変化することが考えられる。即ち日中に比べると早朝や夕刻、夜間は暗くなるため、露光時間を長くする必要がある。したがって、時間帯により背景画像と来訪者に対応する最適な露光値を予め露光値計算部１０４に設定しておく、もしくは背景画像と来訪者に対応する最適な露光値を学習して露光値計算部１０４が記録し、時間帯ごとの初期露光値を決めておけば、Ｓ１０７とＳ１１３の判定によるループ回数は限りなく少なくすることが期待でき、来訪者が来た時に最適な合成映像を作成するまでの時間を短くすることが可能である。
【0040】
以上のように、本構成によれば、露光時間を背景画像と来訪者とで最適になるようリアルタイムに交互に切り替える必要はないため、フレームレートが低下することはない。また安価なカメラやＣＰＵを使用することも可能である。
【0041】
以上説明したように、本発明の実施例１に係るテレビドアホンは、簡易な構成（安価な構成）で逆光状態でも視認しやすい映像を画面に表示できる。これにより、本発明の実施例１に係るテレビドアホンは、画面に表示する映像の視認性を向上できる。
【0042】
<<実施例２>>
本実施例では、背景に来訪者以外の物体、例えば通行人が割り込んだ場合の処理について説明する。
本実施例では、背景に来訪者以外の物体、例えば通行人が割り込んだ場合の処理について説明する。
【0043】
【0044】
図９Ａは背景に来訪者以外に通行人が割り込んだ場合の例である。実施例１の場合、来訪者が居る間は、背景画面用メモリ部１０６に保存された来訪者が来る前の背景画像が表示される。したがって、図９Ａのように来訪者が居る時に通行人が入っても、背景画像は来訪者が来る前の画像のままであり、通行人は表示されない。そこで、本実施例では来訪者が来た後でも通行人など背景画像に差異があった場合は、その差異のあった領域、例えば通行人を背景画像に来訪者と共に合成して表示するものである。また図９Ａのように測光領域を通行人に絞り、図９Ｂのように最適露出になるように撮影すれば、より最適な背景画像が表示可能である。
【0045】
【0046】
【0047】
Ｓ１１８は「背景画像差異」処理である。Ｓ１０４で来訪者を検知した後、Ｓ１１８の処理を追加し、通行人が合成された背景画像を背景画面用メモリ部１０６へ保存する。その詳細な処理内容を図１１に示す。
【0048】
Ｓ２０１は「背景画像差異」処理が開始された状態である。
【0049】
Ｓ２０２は「背景画像の差異」処理である。顔検知部１０１はカメラ１２からの映像信号を入力し、背景画面用メモリ部１０６に保存された背景画面と現在の来訪者以外の背景画像を比較し、差異がなければＳ２１１へ分岐し処理は終了となる。差異があればＳ２０３へ分岐する。
【0050】
Ｓ２０３は「設定露光値でのカメラ撮影」処理である。Ｓ１０３と同様の処理で、Ｓ１１４や後述するＳ２０７で設定された露光値によりカメラ１２で屋外を撮影する。
【0051】
Ｓ２０４は「差異領域で測光」処理である。図９Ａのように、測光領域設定部１０２はＳ２０２で検知した映像信号内の差異領域を指定する。
【0052】
Ｓ２０５は「ヒストグラム」処理である。Ｓ１０６と同様の処理で、ヒストグラム処理部１０５はＳ２０４で設定された差異領域での測光領域内の映像データのヒストグラムを計算する。その結果が図９Ｂのグラフで表される。最適な露出の場合は実線のように暗から明に映像データが均等に分布するが、点線のように映像データが明るい方に偏る露出オーバー状態や、一点鎖線のように映像データが暗い方に偏る露出アンダー状態になる場合もある。
【0053】
Ｓ２０６は「最適ヒストグラム」処理である。Ｓ１０７と同様の処理で、ヒストグラム処理部１０５はＳ２０５に続き、計算した映像データのヒストグラム分布を解析し、最適な分布か否かを判別する。最適な分布の場合はＳ２０８、最適な分布でない（露出オーバー又は露出アンダー）の場合はＳ２０７に分岐する。
【0054】
Ｓ２０７は「露光時間計算/設定」処理である。Ｓ１０８と同様の処理で、露光値計算部１０４はヒストグラム処理部１０５から送られた現状の映像データのヒストグラム分布を解析し、露出オーバーなら露光時間を現状値より短く、露出アンダーなら露光時間を現状値より長く計算する。露光時間制御部１０３は露光値計算部１０４で計算された露光時間をカメラ１２で受信できるフォーマットに変換し、カメラ１２へ送信する。その後Ｓ２０３に戻り、最適なヒストグラムになるまで繰り返す。
【0055】
Ｓ２０８は「差異領域抽出」処理である。上記Ｓ２０３からＳ２０７でヒストグラムが最適化された差異領域を人物抽出部１０７で映像全体から抽出する。映像から差異領域を抽出するアルゴリズムは人物抽出と同様である。
【0056】
Ｓ２０９は「背景画像と合成」処理である。Ｓ１１６と同様の処理で、人物背景合成部１０８はＳ２０８で抽出した差異画像とＳ１１０で背景画面用メモリ部１０６に保存されている背景画像を合成する。差異画像はＳ２０８で画像と共に全体映像内での座標も保存されており、合成する際は全体映像の中の当該座標のところに合成する。
【0057】
Ｓ２１０は「背景画像メモリへ保存」処理である。Ｓ２０９で合成された背景画像を背景画面用メモリ部１０６へ保存する。これにより、背景画像は通行人が合成された映像に上書きされ、最新の背景画像となる。
【0058】
Ｓ２１１は「終了」処理であり、Ｓ１１１へ続く。Ｓ１１１以降は実施例１と同様なので省略する。
【0059】
以上の処理により合成された結果が図１２である。これにより、来訪者だけでなく、通行人など差異のあった背景画像も最適な露出で表示することができる。また、Ｓ２０２の背景画像差異処理は通行人だけではなく、差異が検出できれば車や背景家屋のドアの開閉などの画像も合成することができるため、リアルタイムで変化する背景画像を最適な露出で表示することが可能である。
【0060】
<<変形例>>
本発明は上記各実施例に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。更に、上記各実施例は、本発明の範囲を逸脱しない限り、互いに組み合わせることが可能である。
本発明は上記各実施例に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。更に、上記各実施例は、本発明の範囲を逸脱しない限り、互いに組み合わせることが可能である。
【0061】
例えば、上記実施例１において、図３のＳ１０３のカメラ撮影の露光値を特定の時刻になったら特定の時刻に対応する露光値に改めて設定する（変える）ようにしてもよい。この場合、制御装置１０は、Ｓ１０３において、図１３にフローチャートにより示した処理を実行するようにしてもよい。Ｓ３０１から処理が開始される。Ｓ３０２にて、季節及び時刻が判定される。即ち、例えば、季節が夏、冬、秋及び春の何れの季節（１年を複数の期間に分割した場合の何れの期間）であるか否かが判定される。現在の時刻が、季節に応じた複数の特定の時刻のうちの何れの時刻であるか否かが判定される。本例において、季節が夏であり、夏に応じた複数の特定の時刻として、例えば、第１時刻（６：００）、第２時刻（１０：００）、第３時刻（１４：００）及び第４時刻（１８：００）が設定されている。なお、季節が冬の場合、冬に応じた特定の時刻として、例えば、第１時刻（７：００）、第２時刻（１０：００）、第３時刻（１４：００）及び第４時刻（１７：００）が設定される。同様に、季節が秋及び春の場合についても、それぞれの季節に応じた特定の時刻が設定される。
【0062】
現在の時刻が第１時刻（本例において、６：００）である場合、Ｓ３０３に進み、カメラ撮影の露光値が標準露光値に改めて設定され（変更され）、Ｓ３０７に進む。
【0063】
現在の時刻が第２時刻（本例において、１０：００）である場合、Ｓ３０４に進み、カメラ撮影の露光値が短時間露光値に改めて設定され（変更され）、Ｓ３０７に進む。
【0064】
現在の時刻が第３時刻（本例において、１４：００）である場合、Ｓ３０５に進み、カメラ撮影の露光値が標準露光値に改めて設定され（変更され）、Ｓ３０７に進む。
【0065】
現在の時刻が第４時刻（本例において、１８：００）である場合、Ｓ３０６に進み、カメラ撮影の露光値が長時間露光値に改めて設定され（変更され）、Ｓ３０７に進む。
【0066】
現在の時刻が第１時刻乃至第４時刻以外の時刻である場合、Ｓ３０７に直接進み、カメラ撮影の露光値が図３のＳ１０８又はＳ１１４で設定された露光値に設定される。
【0067】
なお、長時間露光値の露光時間は、標準露光値の露光時間より大きく（長く）、標準露光値の露光時間は、短時間露光値の露光時間より大きい（長い）。即ち、短時間露光値の露光時間＜標準露光値の露光時間＜長時間露光値の露光時間である。Ｓ３０７に進むと、設定された露光値でのカメラ撮影が行われた後、図３のＳ１０４に進む。この変形例によれば、季節に応じた時間帯ごとの初期露光値が適切に設定されるので、図３のＳ１０７とＳ１１３の判定によるループ回数は限りなく少なくすることができる。なお、この変形例の特徴は、実施例２に適用されてもよい。
【符号の説明】
【0068】
１…画像撮像装置、２…画像表示装置、３…信号線、４…家屋、１０…制御装置、１１…ボタン、１２…カメラ、１３…マイク、１４…スピーカー、２０…制御装置、２１…ボタン、２２…ディスプレイ、２３…マイク、２４…スピーカー、１０１…顔検知部、１０２…測光領域設定部、１０３…露光時間制御部、１０４…露光値計算部、１０５…ヒストグラム処理部、１０６…背景画面用メモリ部、１０７…人物抽出部、１０８…人物背景合成部
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】