特許 6349043 監視システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6349043

(24)【登録日】2018年6月8日

(45)【発行日】2018年6月27日

(54)【発明の名称】監視システム及び画像処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180618BHJP

   H04N 7/18 20060101ALI20180618BHJP

【ＦＩ】

   H04N5/232 290

   H04N7/18

【請求項の数】3

【全頁数】9

(21)【出願番号】特願2017-558927(P2017-558927)

(86)(22)【出願日】2016年12月15日

(86)【国際出願番号】JP2016087367

(87)【国際公開番号】WO2017115663

(87)【国際公開日】20170706

【審査請求日】2018年4月5日

(31)【優先権主張番号】特願2015-255977(P2015-255977)

(32)【優先日】2015年12月28日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】戸田 一浩

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０００−１０５１３７（ＪＰ，Ａ）

【文献】 特開２０００−２５１０５９（ＪＰ，Ａ）

【文献】 特開２００１−４３３８３（ＪＰ，Ａ）

【文献】 特開２００３−１４０５４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

監視対象物を撮影する撮像装置と、
前記撮像装置が撮影した画像データを記憶する記録装置と、
前記撮像装置が撮影した画像データと、前記記録装置から前記画像データと同じ画角の画像データを読み出して合成画像データを生成し、前記合成画像データの所定ポイントを起点に所定の閾値を超える輝度変化ポイントを接続してエッジ切り出し矩形画像データを生成する監視装置と、を備えることを特徴とする監視システム。

【請求項2】

請求項１に記載の監視システムであって、
前記監視装置は、前記合成画像データに撮影日時やコメントを付加情報として重畳させて前記記録装置に記憶させることを特徴とする監視システム。

【請求項3】

ライブ画像データと記憶画像データを合成して合成画像データを生成し、前記合成画像データの所定のポイントを起点に所定の閾値を超える輝度変化ポイントを接続してエッジ切り出し矩形画像データを生成することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システム及び画像処理方法に関するものである。

【背景技術】

【0002】

従来の溶岩ドームの隆起監視は、カメラ映像を監視している監視者の感覚に頼る部分が殆どである。不定期での手動によるカメラ映像のスナップショット画像を印刷などで保存しておき、画像比較が必要となった場合に目視での比較を行い、両画像の僅かなズレを見つけ出さなければならない難しさがあった。また、画像からの溶岩ドームの検出、山の稜線検出は、太陽光の強弱による変化や時間帯、天候、季節により輝度が毎回変わるため、画像変化を見誤る問題があった。

【0003】

先行技術文献としては、例えば、特許文献1に、撮影位置の緯度、経度、標高を計測する工程と撮影位置より撮影対象領域および該撮影対象領域の特定点およびスカイラインを含む写真画像を得る工程と該写真画像より写真画像スカイラインを得る工程と既知の地形標高データより該特定点を利用して該撮影位置から該撮影対象を見た地図上の地図上スカイライン得る工程と該写真画像スカイラインを該地図上スカイラインにマッチングさせることによって座標変換式を得る工程と該座標変換式を用いて撮影位置から撮影された写真画像を鉛直上方からみた地図（正射画像）に変換する工程を行う発明が開示されている。

【0004】

他の先行技術文献としては、例えば、特許文献２に、山体監視用のテレビカメラと、該テレビカメラからの映像信号を基に所定の画像処理を行なう画像処理手段とを具備し、前記画像処理手段は、前記テレビカメラからの映像信号を用いて、山体の形の変化前と変化後の平面的な変化量を測定し、かつＧＩＳ機能を搭載した地図情報を記憶手段に持ち、該記憶手段に記憶されているディジタル地図に前記テレビカメラで撮影した映像をオーバラップすることにより、立体的な崩落量を測定する発明が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−１３９５３２号公報

【特許文献2】特許登録第４２２０１４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来より、火山噴火、岩盤崩落、河川氾濫などの自然災害発生の予兆発見を目的としてカメラによるライブ映像監視や映像保存は行われている。しかし、定周期で保存した同一画角の画像をシステムとして容易に比較できる機能は備わっていない。
本発明の目的は、撮像画像を周期的に記憶し、溶岩ドーム、稜線、岩盤などの形状変化を照合して、自然災害の兆候を検出することである。

【課題を解決するための手段】

【0007】

本発明の監視システムは、監視対象物を撮影する撮像装置と、撮像装置が撮影した画像データを記憶する記録装置と、撮像装置が撮影した画像データと記録装置から画像データと同じ画角の画像データを読み出して合成画像データを生成し、合成画像データの所定ポイントを起点に所定の閾値を超える輝度変化ポイントを接続してエッジ切り出し矩形画像データを生成する監視装置とを備えることを特徴とする。

【0008】

また、本発明の監視システムは、上述の監視システムであって、監視装置は合成画像データに撮影日時やコメントを付加情報として重畳させて記録装置に記憶させることが好ましい。

【0009】

さらに、本発明の画像処理方法は、ライブ画像データと記憶画像データを合成して合成画像データを生成し、合成画像データの所定のポイントを起点に所定の閾値を超える輝度変化ポイントを接続してエッジ切り出し矩形画像データを生成することを特徴とする。

【発明の効果】

【0010】

本発明によれば、撮像画像を周期的に記憶し、溶岩ドーム、稜線、岩盤などの形状変化を照合して、自然災害の兆候を検出することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る監視装置の画像比較を説明するための図である。

【図2】本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し画像を説明するための図である。

【図3】本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し画像を説明するための図である。

【図4】本発明の一実施形態に係る監視装置のトレーサビリティを説明するための図である。

【図5】本発明の一実施形態に係る監視装置の測定用スケールを説明するための図である。

【図6】本発明の一実施形態に係る監視装置の測定用スケールを説明するための図である。

【図7】本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し処理を説明するための処理フロー図である。

【図8】本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し処理を画像上で説明するためのイメージ図である。

【図9】本発明の一実施形態に係る監視システムを説明するための図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照して詳細に説明する。
図９は本発明の一実施形態に係る監視システムを説明するための図である。
図９において、監視システム９０は、監視装置９１、ネットワーク９２、記録装置９３、撮像装置９４で構成されている。
監視装置９１は、画像処理が行えるＰＣ（Personal Computer）等であり、画像データを記憶する記録装置９３を内蔵していてもよい。
監視対象物９５は、例えば、山、溶岩ドーム、稜線、岩盤、河川等の自然災害が発生する可能性のものである。

【0013】

記録装置９３は、撮像装置９４が撮影した監視対象物９５の画像データをネットワーク９２を介して取得し、取得した画像データを記憶する。
監視装置９１は、撮像装置９４が撮影したライブ画像データと記録装置９３が記憶している画像データを比較処理する。または、記録装置９３が記憶している画像データ同士を比較処理する。

【0014】

次に、画像データを比較処理する一実施例について図１を用いて説明する。
図１は本発明の一実施形態に係る監視装置の画像比較を説明するための図である。
図１（Ａ）は監視装置９１が撮影しているライブ画像データ１１であり、図１（Ｂ）は記録装置９３が記憶している記憶画像データ１２であり、図１（Ｃ）は、ライブ画像データ１１と記憶画像データ１２の合成である合成画像データ１３である。

【0015】

監視装置９１は、監視者が容易に監視対象物９５の変化を確認できるようにするため、記録装置９３に記憶してある所定の同一画角で周期的に保存した監視対象物９５の記憶画像データ１２をスライドショーで表示した記憶画像データ１２と、現在のライブ画像データ１１を重ね合わせた合成画像１３データを表示し、記憶画像データ１２を徐々に透かせることでライブ画像データ１１との重畳表示により差分画像データを生成する。または、ライブ画像データ１１を徐々に透かせることで記憶画像データ１２との重畳表示により差分画像データを生成する。

【0016】

次に、監視装置９１が行う撮像装置９４で撮影した撮影画像データまたは記録装置９３に記憶した記憶画像データの画像処理について図２〜図６を用いて説明する。
図２は本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し画像を説明するための図である。
監視装置９１は、入力した山の撮影画像データ２１から輝度変化ポイントを基にエッジ切り出し矩形２３を生成する。
なお、基準点２２は、監視者が画像上の任意箇所に目印マーキングした点である。

【0017】

図３は本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し画像を説明するための図である。
監視装置９１は、入力した溶岩ドームの撮影画像データ３１から輝度変化ポイントを基にエッジ切り出し矩形３３を生成する。
なお、基準点３２は、監視者が画像上の任意箇所に目印マーキングした点である。

【0018】

図４は本発明の一実施形態に係る監視装置のトレーサビリティを説明するための図である。
監視装置９１は、撮像装置９４で撮影した撮影画像データまたは記録装置９３に記憶した記憶画像データに撮影日時やコメント等をコメント入力欄４３に付加情報として重畳させ、記録装置９３に記憶させる。これらの付加情報は、後からの検索や災害の発生前から発生までのトレーサビリティを担保するのに役立つ。

【0019】

図５は本発明の一実施形態に係る監視装置の測定用スケールを説明するための図である。
監視装置９１は、図３の画像データと同じ溶岩ドームの画像データ５１（図３では３１）に測定用スケール５４を重畳させる。測定用スケール５４は撮像装置９４の画角やズーム倍率、被写体までの距離等から求めることができる。
監視装置９１は、測定用スケール５４を基にエッジ切り出し矩形５３の大きさを測定することができる。
なお、基準点５２は図３の基準点５２と同じものである。

【0020】

図６は本発明の一実施形態に係る監視装置の測定用スケールを説明するための図である。
図６において、山頂噴火画像６１は撮像装置９４で撮影した撮影画像データである。
監視装置９１は、輝度変化ポイントを基に山頂噴火画像６１から噴火に関係したエッジ切り出し矩形６３を生成し、山頂噴火画像６１にエッジ切り出し矩形６３を重畳させ、さらに測定用スケール６４を重畳させる。測定用スケール６４は撮像装置９４の画角やズーム倍率、被写体までの距離等から求めることができる。
監視装置９１は、測定用スケール６４を基にエッジ切り出し矩形６３の大きさを測定することができる。
なお、基準点６２は、監視者が画像上の任意箇所に目印マーキングした点である。

【0021】

監視装置９１は、上記の画像処理における輝度変化ポイントを基にエッジ切り出し（図２、図３）では、監視者の意図しない箇所を切り出すことがある。例えば、撮影される対象は、太陽光の強弱による変化や時間帯、天候、季節により輝度に対する影響が毎回変わるため、輝度差を利用して自動的にエッジを切り出す場合には、毎回エッジ切り出し範囲が変わってしまう問題がある。

【0022】

次に、上記の問題を解決するための一実施例について図７と図８を用いて説明する。
図７は本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し処理を説明するための処理フロー図であり、図８は本発明の一実施形態に係る監視装置の輝度ポイントのエッジ切り出し処理を画像上で説明するためのイメージ図である。
なお、図７の処理フローは、ＰＡＤ（Problem Analysis Diagram）で表記したものである。

【0023】

監視装置９１は、監視者が指定した画像データの任意ポイントを基準点とし（７０１）、基準点を例えば、青色で表示する。
監視装置９１は、基準点の輝度レベルを取得する（７０２）。

【0024】

次に、監視装置９１は、７１０の処理において、基準点を起点として左水平方向へ１ドットずつ移動し、最左端に到達するか、又は基準点の輝度レベルが閾値を超えるまで繰り返す（７１１）。
監視装置９１は、７１１の処理において、基準点の輝度レベルとの差が閾値を超えたと判定した場合（７１２）には超過した地点でドットのカラーを例えば、赤色に変更し、記録装置９３に記憶させる（７１３）。なお、左水平方向への移動において、最左端に到達した場合にはドットのカラー色変更は行わない。

【0025】

次に、監視装置９１は、７２０の処理において、基準点を起点として右水平方向へ１ドットずつ移動し、最右端に到達するか、又は基準点の輝度レベルが閾値を超えるまで繰り返す（７２１）。
監視装置９１は、７２１の処理において、基準点の輝度レベルとの差が閾値を超えたと判定した場合（７２２）には超過した地点でドットのカラーを例えば、緑色に変更し、記録装置９３に記憶させる（７２３）。なお、右水平方向への移動において、最右端に到達した場合にはドットのカラー色変更は行わない。

【0026】

次に、監視装置９１は、基準点を起点として上方向へ１ドットずつ移動し、最上部に到達するまで繰り返す（７３０）。
監視装置９１は、７３０の処理において、７３１の処理と７３２の処理を行う。

【0027】

監視装置９１は、７３１の処理において、基準点を起点として左水平方向へ１ドットずつ移動し、最左端に到達するか、又は基準点の輝度レベルが閾値を超えるまで繰り返し（７３１１）、基準点の輝度レベルとの差が閾値を超えたと判定した場合（７３１２）には超過した地点でドットのカラーを例えば、マゼンタ色に変更し、記録装置９３に記憶させる（７３１３）。なお、左水平方向への移動において、最左端に到達した場合にはドットのカラー色変更は行わない。

【0028】

監視装置９１は、７３２の処理において、基準点を起点として右水平方向へ１ドットずつ移動し、最右端に到達するか、又は基準点の輝度レベルが閾値を超えるまで繰り返し（７３２１）、基準点の輝度レベルとの差が閾値を超えたと判定した場合（７３２２）には超過した地点でドットのカラーを例えば、シアン色に変更し、記録装置９３に記憶させる（７３２３）。なお、右水平方向への移動において、最右端に到達した場合にはドットのカラー色変更は行わない。

【0029】

次に、監視装置９１は、基準点を起点として下方向へ１ドットずつ移動し、最下部に到達するまで繰り返す（７４０）。
監視装置９１は、７４０の処理において、７４１の処理と７４２の処理を行う。

【0030】

監視装置９１は、７４１の処理において、基準点を起点として左水平方向へ１ドットずつ移動し、最左端に到達するか、又は基準点の輝度レベルが閾値を超えるまで繰り返し（７４１１）、基準点の輝度レベルとの差が閾値を超えたと判定した場合（７４１２）には超過した地点でドットのカラーを例えば、黄色に変更し、記録装置９３に記憶させる（７４１３）。なお、左水平方向への移動において、最左端に到達した場合にはドットのカラー色変更は行わない。

【0031】

監視装置９１は、７４２の処理において、基準点を起点として右水平方向へ１ドットずつ移動し、最右端に到達するか、又は基準点の輝度レベルが閾値を超えるまで繰り返し（７４２１）、基準点の輝度レベルとの差が閾値を超えたと判定した場合（７４２２）には超過した地点でドットのカラーを例えば、紫色に変更し、記録装置９３に記憶させる（７４２３）。なお、右水平方向への移動において、最右端に到達した場合にはドットのカラー色変更は行わない。
次に、監視装置９１は、記録装置９３に記憶させた全てのカラーのドット位置を接続して1つの矩形として記録装置９３に記憶させる。

【0032】

次に、監視装置９１が、毎日同時刻に撮影した記憶画像データを用いて、画像比較、或いはエッジ切出し（面積比較）を行う他の一実施例について説明する。
監視装置９１は、ステップ１として、撮影画角（パン、チルト、ズーム）、撮影時刻、及び、エッジ切出しを行う際の基準となる輝度値を与える基準点の指定を受け付ける。
監視装置９１は、ステップ２として、指定された撮影時刻に高精細静止画を記録装置９３に記憶させるため、記録装置９３に記録スケジュールを入力する。
監視装置９１は、ステップ３として、撮像装置９４がスケジュール通り撮影し、記録装置９３がスケジュール通り記憶することを監視する。このとき、監視装置９１は、時間的に近接する複数の画像を用いた超解像や陽炎補正を行い、結果画像を記録装置９３に記憶させてもよい。

【0033】

監視装置９１は、ステップ４として、監視者により画像比較、或いはエッジ切出しの機能を起動させる。
監視装置９１は、ステップ４−１として、記録装置９３に記憶させた複数の高精細静止画の間で、高精度画角合わせを行う。撮像装置９４がＰＴＺ（Pan、Tilt、Zoom）カメラでは、操作後に同じポジションに戻しても精度の問題で位置ずれ、ズーム倍率ずれが生じうるので、１つの画像（例えば時刻の最も早い画像）を基準に、そのずれを補償する。平行移動と倍率のずれを検出する方法としては、公知の位相限定相関法、或いは画像特徴点（コーナー等）を検知しその位置を追跡する手法が利用でき、検出結果に基づく補正にはヘルマート変換が利用できる。
監視装置９１は、ステップ４−２として、監視者の操作に従い、画像比較、或いはエッジ切出しを行う。処理の内容は上述の図７と同じである。

【0034】

本発明の実施形態である監視システムは、撮像装置の撮像画像を周期的に記憶し、溶岩ドーム、稜線、岩盤などの形状変化を照合して、自然災害の兆候を検出することができる。

【0035】

以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。

【産業上の利用可能性】

【0036】

２つの画像データを合成した合成画像データから輝度変化ポイントを基にエッジ切り出しを行うことによって、変化が生じた箇所を確認したい用途に適用できる。

【符号の説明】

【0037】

１１：ライブ画像データ、１２：記憶画像データ、１３：合成画像データ、２１：撮影画像データ、２２：基準点、２３：エッジ切り出し矩形、３１：岩盤画像、３２：基準点、３３：エッジ切り出し矩形４１：山画像、４２：目印マーキング範囲、４３：コメント入力欄、５１：岩盤画像、５２：基準点、５３：エッジ切り出し矩形、５４：測定用スケール、６１：山頂噴火画像、６２：基準点、６３：エッジ切り出し矩形、６４：測定用スケール、９０：監視システム、９１：監視装置、９２：ネットワーク、９３：記録装置、９４：撮像装置、９５：監視対象物。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】