特許 6246629 監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6246629

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20171204BHJP

   H04N 5/225 20060101ALI20171204BHJP

   H04N 5/235 20060101ALI20171204BHJP

   B61K 9/08 20060101ALI20171204BHJP

【ＦＩ】

   H04N7/18 D

   H04N5/225 800

   H04N5/235 500

   B61K9/08

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2014-52684(P2014-52684)

(22)【出願日】2014年3月14日

(65)【公開番号】特開2015-177371(P2015-177371A)

(43)【公開日】2015年10月5日

【審査請求日】2016年3月4日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】小林 広幸

(72)【発明者】

【氏名】浅香 沙織

(72)【発明者】

【氏名】中條 健

(72)【発明者】

【氏名】瀬戸 直人

(72)【発明者】

【氏名】平井 正昭

(72)【発明者】

【氏名】鈴木 光彰

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開平１１−０９８４１８（ＪＰ，Ａ）

【文献】 特開２００３−０６０９９３（ＪＰ，Ａ）

【文献】 特開２０１２−１０９８４９（ＪＰ，Ａ）

【文献】 特開２０１３−１５０１５３（ＪＰ，Ａ）

【文献】 特開２０１３−１３８５２２（ＪＰ，Ａ）

【文献】 国際公開第２００７／０００９９９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３５

Ｂ６１Ｋ ９／０８

(57)【特許請求の範囲】

【請求項1】

１つのレンズ部を通って分光された光を複数の撮像素子で明るさを異ならせて撮像可能な撮像部と、
前記複数の撮像素子の撮影タイミングが同期するよう制御する同期制御部と、
前記複数の撮像素子のうち一方で撮像された第１の画像データについて、明るさを表す第１の基準より明るい領域を切り出し、前記複数の撮像素子のうち他方で撮像された画像データであって、前記第１の画像データと比べて明るく撮影された第２の画像データについて、前記第１の基準より明るさが高い第２の基準より暗い領域を切り出す場合に、切り出される前記明るい領域と前記暗い領域とが、前記画像データ全面を覆えるよう、第１の基準及び第２の基準を調整する制御部と、
前記第１の画像データについて、前記制御部により調整された前記第１の基準より明るい領域を切り出し、前記第２の画像データについて、前記制御部により調整された前記第２の基準より暗い領域を切り出し、前記明るい領域と前記暗い領域とを合成した画像データを出力する出力部と、
を備える監視装置。

【請求項2】

前記第１の画像データのヒストグラム解析した結果に基づいて、黒つぶれしている領域が取り除かれるように、前記第１の基準を設定する第１の設定部と、
前記第２の画像データのヒストグラム解析した結果に基づいて、白とびしている領域が取り除かれるように、前記第２の基準を設定する第２の設定部と、
をさらに備える請求項１に記載の監視装置。

【請求項3】

前記撮像部は、さらに、前記複数の撮像素子のうちいずれか１つで撮像可能とし、
前記出力部は、前記複数の撮像素子のうちいずれか１つで撮像した場合に、前記いずれか１つで撮像された第３の画像データについて、明るさを表す第３の基準に従って、第２の明るい領域と第２の暗い領域とが特定され、当該第２の明るい領域の明るさが下げられ又は輪郭強調が行われ、当該第２の暗い領域について明るさを上げる調整が行われた後、当該第３の画像データを出力する、
請求項１又は２に記載の監視装置。

【請求項4】

前記出力部は、さらに、前記第３の基準より明るさが高い第４の基準より明るい領域が取り除かれた前記第３の画像データの明るさの平均値を前記第３の基準として用いて、前記明るい領域と前記暗い領域とを特定する、
請求項３に記載の監視装置。

【請求項5】

前記監視装置の位置を検出する検出部を、さらに備え、
前記出力部は、前記検出部が検出した前記位置に従って明るさを調整した、前記第３の画像データを出力する、
請求項３又は４に記載の監視装置。

【請求項6】

前記出力部は、前記撮像部により撮像された画像データに写っている線路間の明るさに基づいて、当該線路が視認できるように、前記第２の暗い領域の明るさが上げられた前記第３の画像データを出力する、
請求項３乃至５のいずれか１つに記載された監視装置。

【請求項7】

前記出力部は、前記撮像部により撮像された画像データに写っている空の明るさに基づいて、当該空に存在する架線が視認できるように、前記第２の明るい領域の明るさが下げられた前記第３の画像データを出力する、
請求項４乃至６のいずれか１つに記載された監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、監視装置に関する。

【背景技術】

【0002】

鉄道車両に撮影装置を搭載することで、鉄道車両が移動する際に、簡単な点検や監視を行う技術が提案されている。鉄道車両に搭載した撮像装置で撮像を行う場合に、撮像された画像データでは、空が占める領域が広いため、空の明るさ等を基準とした画質調整が行われることになる。この場合、空より暗い領域に存在する線路等の監視対象が鮮明に見えない場合がある。

【0003】

また、鉄道車両は様々な環境で移動するが、撮像装置のセンサでは検出可能な明るさの範囲が狭いため、明るさの差が激しい場所を撮像した画像データでは、確認しにくい箇所が生じる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−２６１８７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

明るさの範囲を広げるための技術として、ＨＤＲ（High Dynamic Range）機能が提案されているが、同一のシーンを複数回撮像する必要があるため、移動している車両に適用するのが難しい。

【課題を解決するための手段】

【0006】

実施形態の監視装置は、撮像部と、同期制御部と、制御部と、出力部と、を備える。撮像部は、１つのレンズ部を通って分光された光を複数の撮像素子で明るさを異ならせて撮像可能とする。同期制御部は、複数の撮像素子の撮影タイミングが同期するよう制御する。制御部は、複数の撮像素子のうち一方で撮像された第１の画像データについて、明るさを表す第１の基準より明るい領域を切り出し、複数の撮像素子のうち他方で撮像された画像データであって、第１の画像データと比べて明るく撮影された第２の画像データについて、第１の基準より明るさが高い第２の基準より暗い領域を切り出した場合に、切り出された明るい領域と暗い領域とが、画像データ全面を覆えるよう、第１の基準及び第２の基準を調整する。出力部は、複数の撮像素子のうち一方で撮像された第１の画像データについて、明るさを表す第１の基準より明るい領域を切り出し、複数の撮像素子のうち他方で撮像された画像データであって、第１の画像データと比べて明るく撮影された第２の画像データについて、第１の基準より明るさが高い第２の基準より暗い領域を切り出し、明るい領域と暗い領域とを合成した画像データを出力する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態の監視装置を搭載した鉄道車両の例を示した図である。

【図2】図２は、第１の実施形態の監視装置のブロック構成を示した図である。

【図3】図３は、第１の実施形態のカメラユニットの構成例を示した図である。

【図4】図４は、第１の実施形態の第１の撮像素子により撮像された画像データの例を示した図である。

【図5】図５は、第１の実施形態の第１のシーン判定部により作成された、明るい画像データにおける明るさの分布を表したヒストグラムの例を示した図である。

【図6】図６は、第２の撮像素子２１２により撮像された画像データの例を示した図である。

【図7】図７は、第１の実施形態の第２のシーン判定部により作成された、明るい画像データにおける明るさの分布を表したヒストグラムの例を示した図である。

【図8】図８は、第１の実施形態の画像合成部により合成された後の画像データの例を示した図である。

【図9】図９は、第１の実施形態にかかる鉄道車両の監視装置における、画像データを出力するまでの処理の手順を示すフローチャートである。

【図10】図１０は、第１の実施形態にかかる鉄道車両の監視装置における、画像の調整処理の手順を示すフローチャートである。

【図11】図１１は、第１の実施形態の変形例における監視装置の構成例を示した図である。

【図12】図１２は、第１の実施形態の変形例における監視装置のレンズ構成例を示した図である。

【図13】図１３は、第２の実施形態の監視装置及び符号化装置のブロック構成を示した図である。

【図14】図１４は、第２の実施形態の第２の撮像素子により撮像された画像データの第１の例を示した図である。

【図15】図１５は、第２の実施形態の第２の撮像素子により撮像された画像データの第２の例を示した図である。

【図16】図１６は、第２の実施形態の画質調整部により調整された画像データの例を示した図である。

【図17】図１７は、第２の実施形態の鉄道車両の監視装置における、画像データを出力するまでの処理の手順を示すフローチャートである。

【図18】図１８は、第２の実施形態の変形例にかかる鉄道車両の監視装置における、画像データを出力するまでの処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下に示す実施形態では、監視装置を搭載した鉄道車両について説明するが、監視装置の搭載先を鉄道車両に制限するものではなく、例えば乗用車等の移動可能な車両に搭載してもよい。

【0009】

（第１の実施形態）
図１は、第１の実施形態の監視装置を搭載した鉄道車両の例を示した図である。図１に示されるように鉄道車両１が線路に従って移動している間、監視装置１００が移動方向を撮影する。監視装置１００の撮影範囲１２０は、線路１１と架線１２が写るように設定されている。これにより、監視装置１００により撮影された画像データを確認することで、線路１１と架線１２の状況を確認できる。

【0010】

ところで、図１の撮影範囲１２０に示されるように、鉄道車両１の移動方向に障害物がない場合、撮影範囲１２０のうち空が映る範囲が多く含まれてしまう。この場合、従来の手法を用いて、空の明るさを基準に調整が行われると、架線１２は写るものの、線路１１が黒つぶれする可能性がある。一方、線路１１付近を明るさの基準として調整を行うと、線路１１が認識可能になるが、空が白とびして架線１２が写らなくなる可能性がある。これは画像素子で隣接する素子との輝度差があると、隣接素子への漏れが生じることに基づく。このように、周囲が明るい場合に原理的に生じるために、当該現象を抑止するのは難しい。

【0011】

さらには、撮影された画像データの明るさの範囲が狭いため、逆光や移動でビルの間や木漏れ日、トンネルなどの明るさの変化が激しい場所では、撮影された画像データ内に見えない場所が発生する可能性がある。これは撮像素子において、１回の撮影で表示可能な明るさの範囲を超えてしまうために生じる。このように、画像データに確認できない箇所が生じると、監視対象を確認しにくいという状況が生じる可能性がある。特に動画撮影の場合は、静止画撮影のように、シャッタ速度を変化させて取り込む明るさを調整することも難しいため、明るさ変動に強くすることが難しい。

【0012】

そこで、本実施形態では、監視装置１００のカメラユニットに複数の撮像素子を備え、当該複数の撮像素子に対して撮像対象の明るい場所と暗い場所のそれぞれに合わせた設定を行って、当該複数の撮像素子で同時に撮影し、ユーザが認識可能に表示されている範囲を切り出して合成することとした。これにより、撮影範囲１２０に暗い場所と明るい場所とが含まれていたとしても、各領域の状況を認識することが可能となる。これにより、周囲の環境の監視や、周囲の環境に基づいた操縦が容易になる。

【0013】

図２は、本実施形態の監視装置１００のブロック構成を示した図である。図２に示されるように、カメラユニット２０１には、第１の撮像素子２１１と、第２の撮像素子２１２と、が含まれている。第１の撮像素子２１１と、第２の撮像素子２１２と、は同一の撮影範囲を撮像する。

【0014】

そして、同期制御部２０２が、第１の撮像素子２１１と、第２の撮像素子２１２と、の撮影タイミングが常に同期するように制御する。これにより１秒間に６０フレームが同期して撮影される。

【0015】

図３は、カメラユニット２０１の構成例を示した図である。図３に示されるように、カメラユニット２０１は、レンズ部３０１と、分光部３０２と、第１の撮像素子２１１と、第２の撮像素子２１２と、を備えている。

【0016】

そして、カメラユニット２０１は、レンズ部３０１を通った光が分光部３０２で２つに分割され、一方の光が第１の撮像素子２１１に照射され、他方の光が第２の撮像素子２１２に照射されように構成されている。これにより、同じ撮影範囲１２０が、第１の撮像素子２１１と、第２の撮像素子２１２と、に分配されて撮影される。第１の撮像素子２１１と、第２の撮像素子２１２とは、それぞれ明るい撮影用と暗い撮影用の調整が行われている。調整手法としては、例えばゲインを調整する等が考えられる。このようにカメラユニット２０１は、複数の撮像素子で明るさを異ならせて撮像可能とする。

【0017】

第１の撮像素子２１１を用いた撮影では、撮影範囲内の明るい領域を検知し、明るい領域が表示されるように調整する。また、第２の撮像素子２１２を用いた撮影では、撮影範囲内の暗い領域（例えば、線路と線路の間）を検知し、暗い領域が表示されるように調整する。なお、本実施形態は、第１の撮像素子２１１及び第２の撮像素子２１２は、６０フレームで動画像として撮影を行う例について説明するが、周囲の状況を確認できれば良く、フレーム数や動画像又は静止画像であるかは問わない。

【0018】

本実施形態のように、１つのレンズ部３０１を通った光を分割することで、複数の撮像画像を同時に撮影しても視差が発生せず、合成等が容易となる。なお、分光部３０２は、光を２等分する構成であれば良く、プリズムやハーフミラー等を用いても良い。

【0019】

図２に戻り、本実施形態の監視装置１００について説明する。監視装置１００は、第１の撮像素子２１１、及び第２の撮像素子２１２で撮影される画像データを、異なる条件で撮影を行うための調整機能を備えており、撮影された複数の画像データを解析して、解析結果から明るい領域が綺麗に写っている部分と暗い領域が綺麗に写っている部分とをそれぞれ切り出して合成を行うことで、画像データの明るさ範囲を拡大できる。

【0020】

制御部２０３は、監視装置１００全体を制御するための構成であって、監視装置１００に含まれている各構成を制御する。制御部２０３は、各構成の調整機能や基準値の調整等を行う。例えば、制御部２０３は、画像データの調整エリア情報、絞り、ホワイトバランス、シャッタ速度、フレーム数を調整する。さらには、制御部２０３は、必要に応じて、第１のシーン判定部２２２、及び第２のシーン判定部２３２の画像を切り出すための基準値を調整する。さらには、制御部２０３は、周囲の状況に応じて、切り出された画像データ色調整や輪郭補正を調整する命令を行っても良い。さらには、画像データを合成する際の合成範囲や視差を調整しても良い。

【0021】

明るい画像用構成部２２０は、第１の撮像素子２１１で撮像された画像データを調整するための構成であり、第１の画像調整部２２１と、第１のシーン判定部２２２と、第１の画像切り出し部２２３と、で構成されている。

【0022】

第１の画像調整部２２１は、第１の撮像素子２１１により撮像された、明るい画像データに対して、明るい画像用の調整を行う。明るい画像用に行われる調整は、明るい画像に適した調整手法であれば、周知手法を含め、どのような調整を行っても良い。図４は、第１の撮像素子２１１により撮像された画像データの例を示している。図４に示される、明るい画像データでは、当該明るい画像データのうち、暗い領域に含まれている線路が明瞭に見えているのに対して、明るい領域に含まれている空及び架線が白とびしている。このため、明るい画像用構成部２２０は、明るい画像データのうち、線路等が含まれている領域を合成の対象となるように切り出す。

【0023】

第１の画像調整部２２１は、第１の撮像素子２１１から入力された画像データに調整を行った後、当該画像データの表示領域を、所定のサイズのブロック（例えば１６×１６）で区切り、ブロック毎の平均の明るさ（例えば輝度値）を算出する。

【0024】

第１のシーン判定部２２２は、第１の画像調整部２２１により算出されたブロック毎の平均の明るさに基づいて、切り出す基準値を設定する。切り出す基準値を導出するために、第１のシーン判定部２２２は、明るい画像データの明るさの分布を表したヒストグラムを作成する。図５は、第１のシーン判定部２２２により作成された、明るい画像データにおける明るさの分布を表したヒストグラムの例を示した図である。図５に示されるヒストグラムにより、白とびしているブロックを確認できる。そして、第１のシーン判定部２２２は、当該ヒストグラムに基づいて、合成対象となる領域を特定するための基準値を導き出す。本実施形態の第１のシーン判定部２２２は、図５に示されるヒストグラムを解析した結果に基づいて、白とび（明るさが飽和している領域）を除いた領域が取り除かれるように、基準値５０１を設定する。なお、ヒストグラム解析結果から基準値５０１を導出する手法は、周知の手法でも良いため説明を省略する。

【0025】

本実施形態では、第１のシーン判定部２２２は、明るい画像データに基づいてヒストグラムを作成し、当ヒストグラムの形状から、明るい場所と暗い場所の状態を認識し、基準値５０１を生成する。このようにヒストグラムの形状に基づいて、白とびしている領域が取り除かれるように、基準値５０１を設定することで、合成対象として適切に暗い領域を切り出すことができる。

【0026】

第１の画像切り出し部２２３は、明るい画像データのうち、第１のシーン判定部２２２で設定された基準値５０１より暗い領域を、合成対象として切り出す。そして、切り出した暗い領域の画像データを画質調整部２５１に出力する。

【0027】

暗い画像用構成部２３０は、第２の撮像素子２１２で撮像された画像データを調整するための構成であり、第２の画像調整部２３１と、第２のシーン判定部２３２と、第２の画像切り出し部２３３と、で構成されている。

【0028】

第２の画像調整部２３１は、第２の撮像素子２１２により撮像された画像データに対して、暗い画像用の調整を行う。暗い画像用に行われる調整は、暗い画像に適した調整手法であれば、周知手法を含め、どのような調整を行っても良い。図６は、第２の撮像素子２１２により撮像された画像データの例を示した図である。図６に示される、暗い画像データでは、当該暗い画像データのうち、明るい領域に含まれている空や架線が明瞭に見えているのに対して、暗い領域に含まれている線路が黒つぶれしている。このため、暗い画像用構成部２３０は、暗い画像データのうち、空や架線等が含まれている領域を合成の対象となるように抽出する。

【0029】

第２の画像調整部２３１は、第２の撮像素子２１２から入力された画像データに調整を行った後、撮像された画像データの表示領域を、所定のサイズ（例えば１６×１６）のブロックで区切り、ブロック毎の平均の明るさ（例えば輝度値）を算出する。

【0030】

第２のシーン判定部２３２は、第２の画像調整部２３１により算出されたブロック毎の平均の明るさに基づいて、切り出す基準値を設定する。切り出す基準値を導出するために、第２のシーン判定部２３２は、暗い画像データの明るさの分布を表したヒストグラムを作成する。図７は、第２のシーン判定部２３２により作成された、暗い画像データにおける明るさの分布を表したヒストグラムの例を示した図である。図７に示されるヒストグラムにより、黒つぶれしているブロックを確認できる。そして、第２のシーン判定部２３２は、当該ヒストグラムに基づいて、合成対象となる領域を特定するための基準値を導き出す。本実施形態では、第２のシーン判定部２３２は、図７に示されるヒストグラムを解析した結果に基づいて、黒つぶれを除いた領域が取り除かれるように、基準値７０１を設定する。なお、ヒストグラム解析結果から基準値７０１を導出する手法は、周知の手法でも良いため説明を省略する。

【0031】

第２の画像切り出し部２３３は、暗い画像データのうち、第２のシーン判定部２３２で設定された基準値７０１より明るい領域を、合成対象として切り出す。そして、切り出した明るい領域の画像データを画質調整部２５１に出力する。

【0032】

なお、図５及び図７に示されるように、第１のシーン判定部２２２により設定された基準値は、第２のシーン判定部２３２により設定された基準値よりも明るさが高くなるように設定される。さらに、制御部２０３は、切り出した暗い領域と、切り出した明るい領域と、で画像データ全面を覆えるように基準値を調整する。ただし、切り出した暗い領域と、切り出した明るい領域と、で重複する部分はあっても良い。

【0033】

画質調整部２５１は、第１の画像切り出し部２２３により明るい画像データから切り出された暗い領域と、第２の画像切り出し部２３３により暗い画像データから切り出された明るい領域と、を調整する。ところで、合成する画像の輝度範囲が離れている場合に合成した画像で、画像内の中間色に色の違いが発生する場合がある。そこで、本実施形態の画質調整部２５１は、第１の画像切り出し部２２３により切り出された暗い領域と、第２の画像切り出し部２３３により切り出された明るい領域と、の間で重なっている領域について、色ズレが生じないように、暗い領域と、明るい領域とのＲＧＢのそれぞれについてγ値を調整する。これにより、違和感のない画像データの出力が可能となる。

【0034】

また、画質調整部２５１は、外部からの情報に従って、画像データを調整しても良い。例えば、外部の情報として鉄道車両１の位置情報及び時刻情報に従って、画像データを調整することが考えられる。本実施形態においては、トンネルやビルの影などで明るさが異なる場所情報及び時刻情報と、調整手法と、を予め対応付けて記憶部に登録しておく。そして、外部から位置情報及び時刻情報が入力された際に、制御部１３０１が、入力された位置情報と時刻情報が、登録されていた場所情報及び時刻情報と一致したと判定した場合に、画質調整部２５１に、対応付けられた調整手法を指示する。そして、画質調整部２５１が、指示された調整手法に従って、画像データの画質の調整（例えば、トンネルの明るさ変化に対応できるように、画像データの明るさや白レベルを調整）する。

【0035】

画像合成部２５２は、画質調整部２５１により調整が行われた後の、第１の画像切り出し部２２３により切り出された暗い領域の画像データと、第２の画像切り出し部２３３により切り出された明るい領域の画像データと、を合成する。

【0036】

図８は、画像合成部２５２により合成された後の画像データの例を示した図である。図８に示されるように、明るい画像データの暗い領域と、暗い画像データの明るい領域と、を合成したため、線路、架線及び電線等が視覚で確認できる。

【0037】

出力部２５３は、画像合成部２５２により合成された画像データを出力する。出力先は、どこでもよいが例えば、監視センターや、運転席のモニター等とする。

【0038】

また、本実施形態では、画像の画像切り出し、画質調整は外部からの命令より設定することも可能とする。本実施形態の制御部２０３は、鉄道車両１の周囲状況や現在の場所、位置の検出結果や、ユーザ等からの命令に従って、各構成に対して、画像範囲や画質調整を行うように命令を出力する機能を備えている。

【0039】

画質の調整と画像の切り出しは外部からの命令により変更する機能を有している。画質調整や画像の切り出しは、周囲状況や場所、鉄道車両１の現在位置を位置の判定を行えるような装置や、画像の変化条件が判っている場合には外部からの命令により画像範囲や画質調整を行うことで画像の輝度範囲を拡大できる。

【0040】

例えば、位置情報により、トンネルの入り口に近づいている場合に、トンネルに入ることになる明るさ変化に対応した、明るさ調整を行うように、各構成（例えば、第１の撮像素子２１１、第２の撮像素子２１２、第１のシーン判定部２２２、第２のシーン判定部２３２や画質調整部２５１）に指示をすることで、鮮明な画像を得ることができる。

【0041】

また、本実施形態の制御部２０３は、明るい画像データと暗い画像データとの輝度範囲が近い場合には、第１のシーン判定部２２２及び第２のシーン判定部２３２に対して、ヒストグラムの中心を基準値として設定されるように指示する。

【0042】

これにより、明るい画像データと暗い画像データの輝度範囲が近い場合には、明るい画像データと暗い画像データのヒストグラムの中心から分割して合成処理のみで画像出力を行なうことができる。輝度範囲が近い場合には色ズレが発生しないため、γ値などの調整を行うことなく、合成処理を簡易に行うことができる。

【0043】

これにより例えば、雨が降っている場合や曇っている場合などは輝度範囲が近い場合が多くなるため、当該状況においては、処理負担及び処理時間を軽減できる。画像の輝度範囲が狭い場合に人間の目では変化が捉えにくいため、処理速度が短縮することで、より早く合成画像を提供できる、またフレーム速度を上げて発見をしやすくすることが可能になる。

【0044】

次に、本実施形態にかかる鉄道車両１の監視装置１００における、画像データを出力するまでの処理について説明する。図９は、本実施形態にかかる鉄道車両１の監視装置１００における上述した処理の手順を示すフローチャートである。

【0045】

まず、明るい画像用構成部２２０の第１の画像調整部２２１が、第１の撮像素子２１１から、明るい画像データを入力する（ステップＳ９０１）。その後、第１の画像調整部２２１は、入力された明るい画像データの画質を調整する。

【0046】

その後、第１の画像調整部２２１は、明るい画像データを所定のサイズのブロック単位で分割する（ステップＳ９０２）。そして、第１の画像調整部２２１は、ブロック単位で明るさの平均値を算出する（ステップＳ９０３）。

【0047】

次に、第１のシーン判定部２２２は、画像データを切り出すための明るさを表した第１の基準値を決定する（ステップＳ９０４）。その後、第１の画像切り出し部２２３が、第１の基準値より明るさの平均値が暗いブロックで構成された画像データ（暗い領域の画像データ）を切り出して、画質調整部２５１に出力する（ステップＳ９０５）。

【0048】

ステップＳ９０１〜９０５と並列して、暗い画像用構成部２３０の第２の画像調整部２３１が、第２の撮像素子２１２から、暗い画像データを入力する（ステップＳ９１１）。その後、第２の画像調整部２３１は、入力された暗い画像データの画質を調整する。

【0049】

その後、第２の画像調整部２３１は、暗い画像データを所定のサイズのブロック単位で分割する（ステップＳ９１２）。そして、第２の画像調整部２３１は、ブロック単位で明るさの平均値を算出する（ステップＳ９１３）。

【0050】

次に、第２のシーン判定部２３２は、画像データを切り出すための明るさを表した第２の基準値を決定する（ステップＳ９１４）。その後、第２の画像切り出し部２３３が、第２の基準値より明るさの平均値が明るいブロックで構成された画像データ（明るい領域の画像データ）を切り出して、画質調整部２５１に出力する（ステップＳ９１５）。

【0051】

そして、共通構成部２５０の画質調整部２５１が、切り出された２つの画像データを受け取った後、重複しているブロックについて画質を調整する（ステップＳ９２１）。本実施形態では、重複しているブロックに対して、２つの画像データを合成した後に違和感が生じなくなるように調整を行う。

【0052】

そして、共通構成部２５０の画像合成部２５２が、切り出されたブロックで構成される２つの画像データを合成する（ステップＳ９２２）。その後、出力部２５３が、合成した画像データを出力する(ステップＳ９２３)。

【0053】

上述した処理を行うことで、明るさの範囲が広い画像データを出力できる。なお、鉄道車両１は移動しているため、移動に応じて、周囲の明るさが変化する。静止画カメラでは、必要な明るさを得られるようにカメラのシャッタ速度を変化させることができるが、動画の撮影ではシャッタ速度を変化させることができないため、ゲインを調整することで、明るさを調整する必要がある。しかしながら、ゲインを上げると、撮影された画像データにノイズが発生する。監視や操縦を行う場合にノイズが含まれた画像データを用いるのは避ける方が好ましい。

【0054】

そこで、本実施形態のカメラユニット２０１は、シャッタ速度が限界値（フレーム速度と同等）になった場合に、画像データ内の暗い領域に含まれている輝度値の平均値が、ノイズが発生する輝度値となった場合に、絞りを調整し、画像データにノイズが混入しないように制御を行う。その際に、第２の画像調整部２３１が輪郭を強調する調整を行う。このように、絞りを調整することで、画像データの明るさが変化するが、輪郭を強調することにより暗い部分の物体を浮き立たせることで、鉄道車両１が暗い場所を移動している場合でも、鮮明な画像データを提供できる。

【0055】

次に、本実施形態にかかる鉄道車両１の監視装置１００における、画像の調整処理について説明する。図１０は、本実施形態にかかる鉄道車両１の監視装置１００における上述した処理の手順を示すフローチャートである。

【0056】

まず、制御部２０３は、明るい画像データを撮像する際のゲインが所定値以下か否かを判定する（ステップＳ１００１）。所定値以下ではない場合（ステップＳ１００１：Ｎｏ）に、通常の処置でゲインを調整すれば良いものとして処理を終了する。なお所定値は、撮像素子等の感度等に基づいて適切な値が設定されるものとする。

【0057】

一方、制御部２０３が、所定値以下と判定した場合（ステップＳ１００１：Ｙｅｓ）、明るい画像の暗い領域の輝度値が閾値以内であるか否かを判定する（ステップＳ１００２）。閾値以内と判定した場合（ステップＳ１００２：Ｙｅｓ）、通常の処理で良いため、処理を終了する。

【0058】

一方、制御部２０３が閾値より大きいと判定した場合（ステップＳ１００２：Ｎｏ）、輝度値が閾値以内に入るように、カメラユニット２０１のレンズ部３０１の絞りを調整する制御を行う（ステップＳ１００３）。さらには、制御部２０３は、第１の画像調整部２２１及び第２の画像調整部２３１に対して、撮影された画像データの輪郭を強調するように指示を行う（ステップＳ１００４）。

【0059】

上述した処理手順により、輝度値が閾値に以内に入るように調整が行われることになる。このように、画像データにノイズが混入しないように絞りを調整する機能を備えることで、生成される画像データの画質を向上させることができる。

【0060】

（第１の実施形態の変形例）
第１の実施形態では、分光部３０２で光を分割することで、撮像素子が取り込む光量が落ちている。そこで、変形例としては、光量が落ちないように、撮像素子毎にレンズを設ける例について説明する。図１１は、第１の実施形態の変形例における監視装置１１０１の構成例を示した図である。図１１に示されるように、第１の撮像素子１１０５を含む高輝度（明るい画像）用カメラ１１０２と、第２の撮像素子１１０４を含む低輝度（暗い画像）用カメラ１１０３と、画像合成部１１０６と、により構成されている。図１１に示す様に、撮像素子毎にレンズを設けることで、明るさの減少を抑えた撮影が可能になる。

【0061】

しかしながら、レンズを別々にするとレンズの距離分の視差が発生してしまう。本変形例では、監視装置１１０１の高輝度用カメラ１１０２と低輝度用カメラ１１０３のレンズを上下に配置し、左右視差を抑止することとした。図１２は、監視装置１１０１のレンズ構成例を示した図である。図１２で示されるようにレンズが上下に配置されていることが確認できる。これは、人は、上下視差よりも左右視差により違和感を覚えることに基づいている。そこで、本変形例では、上述した構成を備えることで、視差による違和感を少なくして明るい画像データの撮影が可能となる。

【0062】

なお、画像合成部１１０６で行われる処理は、第１の実施形態の監視装置１００で撮像してから、明るい領域と暗い領域とが合成された画像データを出力するまでの処理と同様のとして、説明を省略する。本変形例では、明るさの減少を抑止した撮影が可能となる。

【0063】

（第２の実施形態）
第１の実施形態では、複数の撮像素子で撮像された画像データを合成する例について説明した。しかしながら、監視等を行う際に、画像データを合成する手法に制限するものではない。例えば、明るい領域と暗い領域との明るさの差が小さい場合には、１つの撮像素子で撮像した画像データを調整しても良い。そこで、本実施形態では、１つの撮像素子で撮影を行う例について説明する。また、本実施形態では、複数の撮像素子を備えた場合に１つの撮像素子で撮像する場合について説明するが、監視装置がそもそも１つの撮像素子を備えた上で、後述する制御を行っても良い。

【0064】

図１３は、本実施形態の監視装置１３００及び符号化装置１３８０のブロック構成を示した図である。図１３に示される監視装置１３００は、第２の撮像素子２１２のみを用いて撮影を行う例について説明する。なお、監視装置１３００は、第１の撮像素子２１１も備えているが、本実施形態では使用しないため、説明を省略する。そして、本実施形態のカメラユニット２０１は、複数の撮像素子２１１、２１２のうちいずれか１つで撮像可能とする。

【0065】

カメラユニット２０１は、レンズ部３０１、分光部３０２、及び第２の撮像素子２１２で構成される。なお、第２の撮像素子２１２のみで撮像する場合には、分光部３０２を移動させる制御を行い、レンズ部３０１からの光が、分光部３０２を介さずに、直接第２の撮像素子２１２に入るようにしても良い。

【0066】

さらに、カメラユニット２０１は、距離センサ１３１１の情報に従って、レンズ部３０１のフォーカスを合わせる。そして、カメラユニット２０１で撮像された画像データは、画質調整部１３５１により調整が行われる。

【0067】

制御部１３０１は、第１の実施形態と同様に、監視装置１３００全体を制御するための構成とする。

【0068】

暗い画像用構成部１３３０は、第２の撮像素子２１２で撮像された画像データを調整するための構成であり、第２の画像調整部１３３１と、第２のシーン判定部１３３２と、第２の画像切り出し部１３３４と、で構成されている。

【0069】

第２の画像調整部１３３１、第２のシーン判定部１３３２、及び第２の画像切り出し部１３３４は、２つの撮像素子２１１、２１２で撮像している場合、第１の実施形態と同様の処理を行う。そして、第２の撮像素子２１２のみで撮像されている場合には、特に処理を行わずに第２の撮像素子２１２で撮像された画像データを、画質調整部１３５１に出力する。

【0070】

画質調整部１３５１は、複数の撮像素子のうちいずれか１つで撮像した場合に、いずれか１つで撮像された画像データについて、所定の明るさを基準として、明るい領域と暗い領域とを特定し、当該明るい領域について明るさを下げる（白レベルを下げても良い）又は輪郭強調を行い、暗い領域について明るさを上げる（白レベルを上げても良い）調整を行った後、調整した後の画像データを、画像合成部１３５２を介して、出力部１３５３に受け渡す。

【0071】

そして、出力部１３５３は、符号化装置１３８０に画像データを出力する。

【0072】

さらに、画質調整部１３５１は、距離センサ１３１１、位置センサ１３１２、状態確認センサ１３１３の情報に従って、画像データを調整する。状態確認センサとしては、例えば、ジャイロや加速度センサが考えられる。

【0073】

符号化装置１３８０は、入力処理部１３８２と、符号化部１３８１と、で構成される。入力処理部１３８２は、入力された画像データに対して、画質を判定し、画質調整部１３５１に対して、調整する内容を指示してもよい。符号化部１３８１は、入力処理部１３８２により入力された画像データに対して符号化する。

【0074】

監視装置１３００で撮影を行う際、空等の明るい場所の背景がある場合の撮影では、画質調整部１３５１が、撮像した画像の明るさの平均値より白レベルを算出し、白レベルを調整してもよい。

【0075】

図１４は、第２の撮像素子２１２により撮像された画像データの第１の例を示している。図１４に示す例では、晴天時の画像データの例であり、特に明るい領域１４０１と、平均値より明るい領域１４０２と、平均値より暗い領域１４０３と、で構成されている。特に明るい領域１４０２は、太陽などの光源等を含む領域とする。本実施形態の画質調整部１３５１は、画質調整を行う際に、当該領域の影響を除外した上で、換言すれば、平均値より明るい領域１４０２と、平均値より暗い領域１４０３と、に基づいて白レベル等や明るさなどの調整を行う。例えば、画質調整部１３５１は、特に明るい領域１４０１を特定し、当該特に明るい領域１４０１を除いた領域から、明るさの平均値を算出する。その後、平均値より明るい領域１４０２と、平均値より暗い領域１４０３と、を特定する。なお、特に明るい領域１４０２の判断基準はどのような判定基準を用いても良いが、例えば、白飛びした領域が所定の比率以上のブロックを特に明るい領域として判定する等が考えられる。

【0076】

本実施形態の画質調整部１３５１は、平均値より明るい領域１４０２と、平均値より暗い領域１４０３と、では異なる画質調整を行う。画質調整部１３５１は、平均値より明るい領域１４０２について架線が視認しやすくなるように明るさを下げる（白レベルを下げる）調整したりする。画質調整部１３５１は、平均値より暗い領域１４０３について線路が視認しやすくなるように明るさを上げる（白レベルを上げる）調整したりする。本実施形態では、特定の位置（例えば線路の間）の領域の明るさを基準として、暗い領域１４０３の画質を調整しても良い。

【0077】

本実施形態では、画像データの明るさを調整するためには、まずは第２の撮像素子２１２のゲインを調整するが、当該ゲインが所定の閾値以上になる場合に、ゲインの調整を抑止し、レンズ部３０１の絞りを調整することとした。しかしながら、絞りを調整すると、輪郭がぼやける場合もあるので、輪郭補正を行うこととした。このように、ゲインが所定の閾値に抑えられるため、ノイズの増加を抑えることができる。

【0078】

図１５は、第２の撮像素子２１２により撮像された画像データの第２の例を示している。図１５に示す例では、夕方や撮影方向に強い明かりがある場合の画像データの例であり、特に明るい領域１５０１と、光が反射している領域１５０２と、逆光によりつぶれている領域１５０３と、で構成されている。

【0079】

図１５に示されるように、撮影の方向に強い光源がある場合、周囲が逆光となり、撮影画像の対象物が逆光により黒くつぶれてしまう可能性がある。さらには、レール等に光が反射した場合に、当該光により撮像された画像データで当該レール等の光のため、第２の撮像素子２１２が撮像する際に、明るさ調整が適切で無い可能性がある。

【0080】

そこで、本実施形態の画質調整部１３５１は、図１６に示されるような調整を行う。つまり、画質調整部１３５１は、撮像された画像データに明るさの限界値（閾値）に入る領域（特に明るい領域）がある場合に、当該領域（例えば領域１６０１、１６０３）を特定（なお、特に明るい領域は複数領域あっても良い）し、当該領域を除外した上で、画像データの明るさの平均値を算出する。画質調整部１３５１が平均値を算出した後、図１４で示したように平均値より明るい領域と、平均値より暗い領域とをについて画質の調整を行うこととする。

【0081】

図１６に示す例では、画質調整部１３５１は、特に明るい領域１６０１、１６０３を除いた領域について、画質調整部１３５１は、平均値より暗い領域について、明るさ（白レベル）の調整と共に黒レベルの補正で、線路が視認できるように調整する。さらに線路が認識できるように輪郭強調を行う。

【0082】

さらに、本実施形態では、入力処理部１３８２が逆光でつぶれている領域１６０２を検出して、画質調整部１３５１が、当該領域について逆光による画像のつぶれを少しでも改善するように、明るさ（白レベル）調整すると共に、黒レベル調整、及び輪郭強調を行ってもよい。これにより、画像の明るさを平滑化して光の反射を抑えることが可能となる。

【0083】

さらに本実施形態の位置センサ１３１２の検出した位置情報に応じて、画質調整部１３５１が、撮像された画像データの画質を調整しても良い。例えば、トンネルや、ビル等の影等により明るさの変化が激しい場所がある。このような場所では、入力処理部１３８２が画像セータを解析した後、画質調整部１３５１が画像データの画質を調整しても間に合わない場合がある。さらには、このように、明るさが大きく変化する場合に、画質が大きく変化してしまい、符号量が増大する可能性がある。

【0084】

そこで、本実施形態では、トンネル等が存在する位置を予め登録しておき、位置センサ１３１２の検出した位置情報が登録された位置と一致した場合に、当該位置と対応付けた画質調整等を行う。本実施形態では、トンネルに入る又は出ることによる明るさの変化に対応するために、画質調整部１３５１は、当該位置に応じた明るさ調整を行う。本実施形態では明るさ調整手法として、レンズ部３０１の絞りを調整する。これによりノイズの増加を抑えることができる。これにより、トンネルやビルの影等でも、線路や架線が視認できる。

【0085】

ところで、操縦に用いるには人間の視点に近い方が良い、そのためレンズ部３０１に魚眼レンズを用いて左右の視界を広げてもよい。その場合に、魚眼レンズでは、画像データの周辺になるに従って歪みが大きくなるため、周囲の確認等を行うためには画像データの歪みを補正する必要がある。従来は、魚眼レンズで撮影された画像データでは中心から補正を行なっていた。しかしながら、鉄道車両１に用いる場合に、線路などの下側を監視したい場合が多い。そこで、本実施形態の画質調整部１３５１は、線路等を含む下側の情報ができる限り切れないように、補正を行うこととした。これにより、線路などの下側の監視が容易になる。

【0086】

次に、本実施形態にかかる鉄道車両１の監視装置１３００における、画像データを出力するまでの処理について説明する。図１７は、本実施形態にかかる鉄道車両１の監視装置１３００における上述した処理の手順を示すフローチャートである。

【0087】

まず、画質調整部１３５１は、距離センサ１３１１の距離情報が所定の範囲外で、画像データの白レベルが所定の閾値以上であるか否かを判定する（ステップＳ１７０１）。距離情報が所定の範囲内、又は白レベルが所定の閾値より小さい場合（ステップＳ１７０１：Ｎｏ）、画質調整部１３５１が、画像データの全体の白レベルを、画像データの平均値に基づいて調整する（ステップＳ１７０２）。そして、出力部１３５３は、調整された画像データを出力して、終了する（ステップＳ１７０３）。

【0088】

一方、画質調整部１３５１は、距離情報が所定の範囲外であって、白レベルが所定の閾値以上と判定した場合（ステップＳ１７０１：Ｙｅｓ）、白つぶれした領域が所定の割合（又はブロックの白レベルが所定の閾値以上でもよい。なお、閾値はステップＳ１７０１と異なる）以上のブロックを、特に明るい領域として特定する（ステップＳ１７０４）。なお、本実施形態では画像データを、１６×１６ドット毎に区切った領域をブロックとする。特に明るい領域については、画質調整対象から除くものとする。そして、画質調整部１３５１は、特に明るい領域を除いた画像データから、明るさの平均値を算出する。

【0089】

そして、画質調整部１３５１は、明るさが平均値より高いブロックの組み合わせを明るい領域として切り出す（ステップＳ１７０５）。そして、画質調整部１３５１は、明るい領域について、明るさを下げる（又は白レベルを下げる）調整するとともに、黒レベルを調整すると共に、輪郭強調を行う（ステップＳ１７０６）。

【0090】

そして、画質調整部１３５１は、それ以外の領域（換言すれば暗い領域）について、暗い領域に応じた明るさを上げる（又は白レベルを上げる）調整し、必要に応じて黒レベルを上げると共に、輪郭強調を行う（ステップＳ１７０７）。

【0091】

次に、出力部１３５３は、調整後の明るい領域と、調整後の暗い領域と、を含む画像データを出力する（ステップＳ１７０８）。

【0092】

（第２の実施形態の変形例）
なお、第２の実施形態は、図１７に示す処理手順に制限するものではなく他の手法で画質の調整を行っても良い。例えば黒レベルではなくγ補正を用いても良い。そこで、第２の実施形態の変形例にかかる鉄道車両１の監視装置１３００における、画像データを出力するまでの処理について説明する。図１８は、本変形例にかかる鉄道車両１の監視装置１３００における上述した処理の手順を示すフローチャートである。

【0093】

まず、画質調整部１３５１は、距離センサ１３１１の距離情報が所定の範囲外で、画像データの白レベルが所定の閾値以上であるか否かを判定する（ステップＳ１８０１）。距離情報が所定の範囲内、又は白レベル所定の閾値より小さい場合（ステップＳ１８０１：Ｎｏ）、画質調整部１３５１が、画像データの全体の白レベルを、画像データの平均値に基づいて調整する（ステップＳ１８０２）。そして、出力部１３５３は、調整された画像データを出力して、終了する（ステップＳ１８０３）。

【0094】

一方、画質調整部１３５１は、距離情報が所定の範囲外であって、白レベルが所定の閾値以上と判定した場合（ステップＳ１８０１：Ｙｅｓ）、白つぶれした領域が所定の割合（又はブロックの白レベルが所定の閾値以上でもよい。なお、閾値はステップＳ１７０１と異なる）以上のブロックを、特に明るい領域として特定する（ステップＳ１８０４）。特に明るい領域については、画質調整対象から除くものとする。そして、画質調整部１３５１は、特に明るい領域を除いた画像データから、明るさの平均値を算出する。

【0095】

そして、画質調整部１３５１は、明るさが平均値より高いブロックの組み合わせを明るい領域として切り出す（ステップＳ１８０５）。そして、画質調整部１３５１は、白レベルが所定の閾値より小さいが平均値より明るい領域について、明るい領域に応じて明るさを下げる（例えば白レベルを下げる）調整とともに、γ補正を行い、輪郭強調を行う（ステップＳ１８０６）。γ補正としては、黒つぶれしている箇所を明るくし、白とびしている箇所が暗くなるようにトーンカーブを調整する。

【0096】

そして、画質調整部１３５１は、それ以外の領域（換言すれば明るさが平均値より低い領域）について、暗い領域に応じて明るさを上げる調整（例えば白レベルを上げる）とともに、γ補正を行い、輪郭強調を行う（ステップＳ１８０７）。

【0097】

次に、出力部１３５３は、調整後の明るい領域と、調整後の暗い領域と、を含む画像データを出力する（ステップＳ１８０８）。

【0098】

上述した実施形態及び変形例については、白とびや黒つぶれが抑止された画像データを出力できるので、視認性を向上させることができる。これにより鉄道車両などの移動体の周辺の状況の監視や確認を容易にできる。

【0099】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0100】

１…鉄道車両、１００，１１０１，１３００…監視装置、２０１…カメラユニット、２０２…同期制御部、２０３，１３０１…制御部、２１１，１１０４…第１の撮像素子、２１２、１１０５…第２の撮像素子、２２０…明るい画像用構成部、２２１…第１の画像調整部、２２２…第１のシーン判定部、２２３…第１の画像切り出し部、２３０…暗い画像用構成部、２３１，１３３１…第２の画像調整部、２３２，１３３２…第２のシーン判定部、２３３，１３３４…第２の画像切り出し部、２５０…共通構成部、２５１、１３５１…画質調整部、２５２，１３５２…画像合成部、２５３，１３５３…出力部、３０１…レンズ部、３０２…分光部、１１０２…高輝度用カメラ、１１０３…低輝度用カメラ、１１０６…画像合成部、１３１１…距離センサ、１３１２…位置センサ、１３１３…状態確認センサ、１３８０…符号化装置、１３８１…符号化部、１３８２…入力処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】