特開 2023-156859 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023156859

(43)【公開日】2023-10-25

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231018BHJP

   H04N 5/77 20060101ALI20231018BHJP

   H04N 5/92 20060101ALI20231018BHJP

【ＦＩ】

H04N7/18 D

H04N5/77

H04N5/92 010

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022066484

(22)【出願日】2022-04-13

(71)【出願人】

【識別番号】500103199

【氏名又は名称】マクセルフロンティア株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】島 雄一郎

(72)【発明者】

【氏名】島軒 和真

【テーマコード（参考）】

5C053

5C054

【Ｆターム（参考）】

5C053FA14

5C053GB06

5C053JA21

5C053LA01

5C054CA04

5C054CC02

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC01

5C054FC12

5C054FE18

5C054FF07

5C054GB01

(57)【要約】

【課題】
カメラを用いた映像情報処理システムにおいて、既設の設備に設置するだけでインテリジェントな映像情報処理システムを構築可能であり、既設の設備を流用し導入コストの低減が可能な画像処理装置を提供する。
【解決手段】
カメラと該カメラで撮影した映像情報を録画する記録装置と表示するモニタ装置を有する映像情報処理システムに用いる画像処理装置であって、カメラで撮影した映像情報を入力映像として取り込む映像入力部と、入力映像を画像処理する処理演算装置と、処理演算装置により処理された映像を出力映像として出力する映像出力部を有し、処理演算装置は、入力映像と出力映像が同一仕様となるように画像処理し、カメラと記録装置およびモニタ装置の間にケーブルを介して設けられる構成とする。
【選択図】図４

【特許請求の範囲】

【請求項1】

カメラと該カメラで撮影した映像情報を録画する記録装置と表示するモニタ装置を有する映像情報処理システムに用いる画像処理装置であって、
前記カメラで撮影した映像情報を入力映像として取り込む映像入力部と、
前記入力映像を画像処理する処理演算装置と、
前記処理演算装置により処理された映像を出力映像として出力する映像出力部を有し、
前記処理演算装置は、前記入力映像と前記出力映像が同一仕様となるように画像処理し、
前記カメラと前記記録装置および前記モニタ装置の間にケーブルを介して設けられることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記処理演算装置は、前記入力映像の異常判定を行ない、異常を検出した場合にはアラートを出力することを特徴とする画像処理装置。

【請求項3】

請求項１に記載の画像処理装置において、
前記処理演算装置は、前記入力映像の高解像度化を行う機能と異常判定を行う機能を有し、前記異常判定で使用する画像を前記入力映像とするか前記入力映像を前記高解像度化した画像とするかを選択する第１のセレクタ機能を有することを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記処理演算装置は、前記出力映像を前記異常判定で異常と判定した画像のみとするか前記異常判定で使用する全ての画像とするかを選択する第２のセレクタ機能を有することを特徴とする画像処理装置。

【請求項5】

請求項４に記載の画像処理装置において、
前記処理演算装置は、第２のセレクタ機能により前記出力映像を前記異常判定で使用する全ての画像とする選択をした際に、前記出力映像を構成する各出力画像に前記異常判定で異常と判定した累積の異常シーン数を付加して出力することを特徴とする画像処理装置。

【請求項6】

請求項１に記載の画像処理装置において、
前記映像入力部は前記入力映像に対応した音声を入力音声として取込み、
前記処理演算装置は、前記入力映像と前記入力音声をマージしたマージ画像を生成し、前記マージ画像を用いて異常判定を行うことを特徴とする画像処理装置。

【請求項7】

請求項６に記載の画像処理装置において、
前記マージ画像は、マージ画像データとして画像データ領域と音声データ領域を有し、音声データ領域は、１次元の音声データが２次元データで格納される領域であることを特徴とする画像処理装置。

【請求項8】

請求項７に記載の画像処理装置において、
前記異常判定は、正常時の画像データと無音の音声データからなるテンプレートマージ画像と、対象のマージ画像データとの画像処理による差分比較を行った結果、音声データ部分に差分があった場合、または、画像データ部分に差分があった場合、または、画像データと音声データともに差分があった場合、それぞれを異常と判定することを特徴とする画像処理装置。

【請求項9】

請求項７に記載の画像処理装置において、
前記異常判定は、正常時の画像データと無音の音声データからなる学習データと、対象のマージ画像データとのＡＩによる比較処理を行ない、その処理結果として異常判定を行うことを特徴とする画像処理装置。

【請求項10】

請求項１に記載の画像処理装置において、
前記映像入力部は前記入力映像に対応した光、温度、湿度、圧力、距離、電流の何れかのデータを取込み、
前記処理演算装置は、前記入力映像と前記データをマージしたマージ画像を生成し、前記マージ画像を用いて異常判定を行うことを特徴とする画像処理装置。

【請求項11】

請求項１０に記載の画像処理装置において、
前記マージ画像は、マージ画像データとして画像データ領域とデータ領域を有し、前記画像データ領域には画像データ、前記データ領域には、温度、湿度、光のデータが格納されることを特徴とする画像処理装置。

【請求項12】

カメラと該カメラで撮影した撮像対象の画像データを処理する処理装置を有する検査システムに用いる画像処理装置であって、
前記カメラで撮影した画像データを入力映像として取り込む映像入力部と、
前記入力映像を画像処理する処理演算装置と、
前記処理演算装置により処理された映像を出力映像として出力する映像出力部を有し、
前記処理演算装置は、前記入力映像と前記出力映像が同一仕様となるように画像処理し、
前記カメラと前記処理装置の間にケーブルを介して設けられることを特徴とする画像処理装置。

【請求項13】

請求項１２に記載の画像処理装置において、
前記処理演算装置は、前記入力映像の異常判定を行う機能を有し、前記出力映像を前記異常判定で異常と判定した画像のみとして前記処理装置に転送することを特徴とする画像処理装置。

【請求項14】

請求項１２に記載の画像処理装置において、
前記画像処理装置は、前記カメラと前記処理装置の間にケーブルを介して設けることで中継装置として機能することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像情報を用いて監視や検査を行なう映像情報処理システムに使用する画像処理装置に関する。

【背景技術】

【0002】

映像情報処理システムの一つとして映像情報を用いて監視を行なう監視システムがある。監視システムの背景技術として、例えば、特許文献１、２がある。特許文献１では、アナログカメラで撮影した映像情報を記録装置で録画するとともに、映像情報をモニタ装置へ送信するカメラ監視システムが開示されている。また、特許文献２では、ＩＰカメラを用いて監視対象を撮影し、その映像データをインターネットやＬＡＮなどのＩＰネットワークを介して収集するカメラ監視システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－５６０２号公報

【特許文献2】特開２０１４－１７１１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のような、アナログカメラを用いた監視システムにおいては、異常ありなしをチェックする監視員が必要であり、さらに、大量に記録された映像から異常シーンを特定するのが困難である。また、カメラが低画質で不鮮明であるという課題があった。また、それを解消するために、特許文献２のような、ＩＰカメラを用いた監視システムにおいては、異常ありなしをパソコンの画像処理、ＡＩ処理などで自動判別化が可能であり、また、カメラの高画素化により鮮明な映像を取得可能であるという利点がある。

【0005】

しかしながら、アナログカメラを用いた監視システムからＩＰカメラを用いた監視システムへの移行時の問題点として、既設アナログ機器の総取り換えが必要であり、かつ天井裏の配線など大規模工事が必要で導入コストが大となる課題があった。これは、監視システムに限らず、カメラを用いた映像情報処理システムに共通の課題である。

【0006】

本発明の目的は、上記背景技術および課題に鑑み、カメラを用いた映像情報処理システムにおいて、既設の設備に設置するだけでインテリジェントな映像情報処理システムを構築可能であり、既設の設備を流用し導入コストの低減が可能な画像処理装置を提供することである。

【課題を解決するための手段】

【0007】

本発明は、その一例を挙げるならば、カメラと該カメラで撮影した映像情報を録画する記録装置と表示するモニタ装置を有する映像情報処理システムに用いる画像処理装置であって、カメラで撮影した映像情報を入力映像として取り込む映像入力部と、入力映像を画像処理する処理演算装置と、処理演算装置により処理された映像を出力映像として出力する映像出力部を有し、処理演算装置は、入力映像と出力映像が同一仕様となるように画像処理し、カメラと記録装置およびモニタ装置の間にケーブルを介して設けられる構成とする。

【発明の効果】

【0008】

本発明によれば、カメラを用いた映像情報処理システムにおいて、既設の設備に設置するだけでインテリジェントな監視システムを構築可能であり、既設の設備を流用し導入コストの低減が可能な画像処理装置を提供できる。

【図面の簡単な説明】

【0009】

【図1】従来のアナログカメラを用いた監視システムの概略構成図である。

【図2】従来のＩＰカメラを用いた監視システムの概略構成図である。

【図3】実施例１における監視システムの概略構成図である。

【図4】実施例１における監視システムに用いる画像処理装置の機能構成図である。

【図5】実施例１における画像処理装置の機能構成を説明するブロック図である。

【図6】実施例１における画像処理装置の出力映像の出力モード１の説明図である。

【図7】実施例１における画像処理装置の出力映像の出力モード２の説明図である。

【図8】実施例１における画像処理装置の出力映像の出力モード３の説明図である。

【図9】実施例１における画像音声マージ処理の必要性を説明する図である。

【図10】実施例１における画像処理装置の画像音声マージ処理の説明図である。

【図11】実施例１における画像音声マージ処理で生成したマージ画像データのイメージ図である。

【図12】実施例１における画像処理装置のマージ画像データを用いた画像処理による異常判定の説明図である。

【図13】実施例１における画像処理装置のマージ画像データを用いたＡＩによる異常判定の説明図である。

【図14】実施例２におけるマージ画像データのイメージ図である。

【図15】実施例２における監視システムに用いる画像処理装置の機能構成図である。

【図16】実施例２におけるマージ画像データの具体的イメージ図である。

【図17】従来の産業用画像検査システムの概略構成図である。

【図18】実施例３における画像処理装置を用いた産業用画像検査システムの概略構成図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施例について図面を用いて説明する。

【実施例0011】

本実施例では、カメラを用いた映像情報処理システムとして映像情報を用いて監視を行なう監視システムについて説明する。

【0012】

図１は、本実施例の前提となるアナログカメラを用いた監視システムの概略構成図である。図１に示すように、アナログカメラを用いた監視システムでは、アナログカメラ１０と録画用の記録装置２０やモニタ装置３０が天井裏１２などに敷設されたケーブル１３で繋がれている。アナログカメラ１０で撮影した映像情報は、記録装置２０で録画されるとともにモニタ装置３０へ送信される。監視員４０は、モニタ装置３０を監視し、異常ありなしをチェックする。一般的に、監視員は、大量に記録された映像から異常シーンを特定するのが困難であり、また、アナログカメラが低画質で不鮮明であるという課題があった。

【0013】

一方、図２は、本実施例の前提となるＩＰカメラを用いた監視システムの概略構成図である。ＩＰカメラを用いた監視システムでは、ＩＰカメラを用いて監視対象を撮影し、その映像データはインターネットやＬＡＮなどのＩＰネットワークを介して記録装置や情報処理装置に伝送され処理される。図２ではＬＡＮ接続の場合を示しており、ＩＰカメラ１１は、ＬＡＮケーブル１４を用いてＨＵＢ１５を介して記録装置２０や情報処理装置であるパソコン５０に接続されている。一般的には、ＩＰカメラ（またはネットワークカメラ）とは、アナログカメラ本体と情報処理装置が一体になっているインテリジェントなカメラであり、ＩＰアドレスを有し、ＩＰネットワークを介して遠隔地からパソコンなどの情報処理装置を通じて設置場所の状況確認ができる。一般的に、ＩＰカメラを用いた監視システムにおいては、異常ありなしを、接続されている情報処理装置の画像処理やＡＩ処理などで自動判別が可能であり、また、カメラの高画素化により鮮明な映像を取得可能であるという利点がある。

【0014】

しかしながら、アナログカメラを用いた監視システムからＩＰカメラを用いた監視システムへの移行時の問題点として、既設アナログ機器の総取り換えが必要であり、かつ天井裏の配線など大規模工事が必要で導入コストが大となる課題があった。

【0015】

そこで、本実施例では、アナログカメラを用いた監視システムにおいて、既設の設備に設置するだけでインテリジェントな監視システムを構築可能であり、既設の設備を流用し導入コストの低減が可能な画像処理装置について以下説明する。

【0016】

図３は、本実施例における監視システムの概略構成図である。図３において、図１と同じ構成は同じ符号を付し、その説明は省略する。図３において、図１と異なる点は、アナログカメラ１０と記録装置２０およびモニタ装置３０の間にケーブル１３を介して画像処理装置６０を設けた点である。

【0017】

図４は、本実施例における監視システムに用いる画像処理装置の機能構成図である。図４において、画像処理装置６０は、アナログカメラ１０で撮影した映像情報と音声情報が入力映像と入力音声として入力され、ビデオ/音声デコーダ６１によりデジタルデータに変換し、映像/音声入力部６２に取込まれる。そして、映像/音声入力部６２からのデータはプロセッサ（処理演算装置）７０により画像および音声の処理が行われる。プロセッサ７０は、ハードウエアとしてはＣＰＵおよび画像処理プロセッサ等で構成され、機能的な構成としては、画像処理やＡＩ（Artificial Intelligence）処理により画像の高解像度化７１、画像音声マージ処理７２、異常判定７３等のインテリジェントな機能を有する。

【0018】

プロセッサ７０は、ＣＰＵ等が図示しないメモリに記憶された動作プログラムを読み込み実行することによるソフトウェア処理で上記機能を実現する。また、画像メモリ６３は、上記機能を実現するためのバッファとしての機能、および処理後の画像データを記憶するために用いられる。

【0019】

プロセッサ７０により処理された映像は映像/音声出力部６４に出力され、ビデオ/音声エンコーダ６５において所定のフォーマットに変換後、出力映像と出力音声として外部の記録装置２０やモニタ装置３０に出力される。また、プロセッサ７０は、異常判定７３の処理により監視対象における異常を検出する。プロセッサ７０は、異常を検出した場合には、アラートを出力し、異常検出した画像を出力するように映像/音声出力部６４を制御するとともに、アラートインターフェース（以降インターフェースをＩ／Ｆと称する）６６を介して、外部のパソコンやスマートフォンへのメール送信３１やパトランプ３２を起動させる等の処理を行なう。

【0020】

なお、本実施例における画像処理装置は、図４に記載した全ての構成を備えるものに限定されるものではなく、例えば、画像処理に特化した構成としてもよい。

【0021】

図５は、本実施例における画像処理装置の機能構成を説明するブロック図である。なお、図５においては、画像処理に特化して説明している。図５において、図４と同じ機能は同じ符号を付し、その説明は省略する。図５において、セレクタ７４は、異常判定７３で使用する画像の選択を行い、（１）はカメラ画像、（２）はカメラ画像を高解像度化した高画質化画像を選択する。また、セレクタ７５は、映像/音声出力部６４に出力する画像の選択を行い、（３）は異常判定７３で異常と判定した画像のみ、（４）は異常判定７３で使用する全ての画像を選択する。なお、これらのセレクタ７４、７５の選択は、ユーザがその都度設定してもよいし、初期設定されていてもよい。また、画像処理装置６０は、既存の記録装置２０やモニタ装置３０に接続できることを前提とする為、入力映像と出力映像は同一仕様とする必要がある。

【0022】

次に、本実施例における画像処理装置の入力映像に対する出力映像の出力モードについて説明する。図６は、本実施例における画像処理装置の出力映像の出力モード１の説明図である。図６において、出力モード１は、全ての入力画像を出力するモードであり、図６に示すように、アナログカメラ１０で撮影した映像情報である時系列に並ぶ入力画像からなる入力映像に対して、出力映像は、全ての入力画像を出力する。その際、異常判定７３の処理により、例えば図６に示すようにシーン４、５、７に異常を検出した場合には、アラートをシーン４、５、７のタイミングで出力する。

【0023】

図７は、本実施例における画像処理装置の出力映像の出力モード２の説明図である。図７において、出力モード２は、異常画像のみを出力するモードであり、図６と同様の場合を示している。図７に示すように、出力映像は、異常画像であるシーン４、５、７のみを出力する。これにより、異常シーンのみの記録が可能であり、記録装置における記録容量の効率化が図れる。

【0024】

図８は、本実施例における画像処理装置の出力映像の出力モード３の説明図である。図８において、出力モード３は、全画像＋異常シーン数を出力するモードであり、図６と同様の場合を示している。図８に示すように、出力映像は、累積の異常シーン数を付加した全ての入力画像を出力する。すなわち、シーン４の出力画像には累積の異常シーン数１、シーン５の出力画像には累積の異常シーン数２、シーン７の出力画像には累積の異常シーン数３を付加して出力する。これにより、異常シーン特定の効率化が図れる。

【0025】

次に、本実施例における画像音声マージ処理について説明する。図９は、本実施例における画像音声マージ処理の必要性を説明する図である。図９において、例えば、窓からの侵入者を監視する場合、上段の図のように正常時には音はないが、異常時には、中段の図のように、例えば、窓から侵入するために窓を開ける動作として異常音が発生する。そして、下段の図のように、画像内に侵入者が登場する異常画像が発生する。このように、異常画像にいたる前に異常音が伴う場合がある。よって、画像データと音声データをマージして判定することで、異常の予兆を音声データから判定できる。

【0026】

図１０は、本実施例における画像処理装置の画像音声マージ処理の説明図である。図１０において、アナログカメラ１０で撮影した映像情報である時系列に並ぶ入力画像からなる入力映像と、入力映像に対応した入力音声が、画像処理装置６０のビデオ/音声デコーダ６１を介して映像/音声入力部６２に取込まれる。そして、画像処理装置６０内のプロセッサ７０の画像音声マージ処理７２において、入力映像と入力音声をマージしたマージ画像が生成される。ここで、図１０に示すように、入力映像に対してシーン４、５、８に異常があり、入力音声に対してシーン４、５、７、８に異常がある場合、マージ画像を用いて異常判定７３の処理を行うことにより、シーン７での異常音声により、シーン８での異常画像による異常検出に先行して異常を検出することが可能となり、異常の予兆を検知可能となる。

【0027】

図１１は、本実施例における画像音声マージ処理で生成したマージ画像データのイメージ図である。図１１に示すように、マージ画像データは、画像データ領域と音声データ領域を有し、音声データ領域は、１次元の音声データが２次元データで格納される領域である。

【0028】

図１２は、本実施例における画像処理装置のマージ画像データを用いた画像処理による異常判定の説明図である。図１２は、画像処理による差分比較での異常判定処理を示している。図１２に示すように、正常時の画像データと無音の音声データからなるテンプレートマージ画像と、対象のマージ画像データとを画像処理による差分比較を行なう。その結果、比較結果１として音声データ部分に差分があった場合、または、比較結果２として画像データと音声データともに差分があった場合、または、図示していないが画像データ部分のみに差分があった場合、それぞれを異常と判定する。このように、マージ画像データを用いることで、一般的な画像処理を使った異常判定アルゴリズムで音声データ含めた異常判定が可能となる。

【0029】

図１３は、本実施例における画像処理装置のマージ画像データを用いたＡＩによる異常判定の説明図である。図１３に示すように、正常時の画像データと無音の音声データからなる学習データと入力画像により、ＡＩによる比較処理を行ない、その処理結果として異常判定を行う。このように、マージ画像データを用いることで、一般的なＡＩを使った異常判定アルゴリズムで音声データ含めた異常判定が可能となる。

【0030】

以上説明したように、本実施例における画像処理装置を、アナログカメラ１０と記録装置２０およびモニタ装置３０の間にケーブル１３を介して設けることで、簡単にインテリジェントな監視システムを構築できる。また、既設のアナログカメラ１０、記録装置２０、モニタ装置３０、ケーブル１３は全て流用可能であり、かつ天井裏の配線などの大規模工事が不要で導入コストが低減できる。また、画像処理装置により異常ありなしを監視、通知することが可能であり、省人化が可能である。さらに、画像処理装置により異常シーンのみの記録が可能であり、また、カメラ映像の高画質化が可能である。

【0031】

以上のように、本実施例によれば、アナログカメラを用いた監視システムにおいて、既設の設備に設置するだけでインテリジェントな監視システムを構築可能であり、既設の設備を流用し導入コストの低減が可能な画像処理装置を提供することができる。

【実施例0032】

実施例１では、画像音声マージ処理として、入力映像と入力音声をマージしたマージ画像が生成される点について説明した。本実施例では入力映像と音声データに限定されないデータをマージする処理について説明する。

【0033】

図１４は、本実施例におけるマージ画像データのイメージ図である。図１４に示すように、本実施例では、マージ画像データは、画像データ領域と音声データに限定されないデータ領域を有する。データ領域は、光、温度、湿度、圧力、距離、電流などのデータが格納される領域である。

【0034】

図１５は、本実施例における監視システムに用いる画像処理装置の機能構成図である。図１５において、図４と同じ構成は同じ符号を付し、その説明は省略する。図１５において、図４と異なる点は、センサ１７、センサデコーダ６７、センサ入力部６８を有する点である。

【0035】

図１５において、アナログカメラ１０で撮影した入力映像に対応した、センサ１７からの光、温度、湿度、圧力、距離、電流などのデータが、画像処理装置６０のセンサデコーダ６７を介してセンサ入力部６８に取込まれる。そして、画像処理装置６０内のプロセッサ７０の画像音声マージ処理７２において、図１４に示すような、入力映像とデータをマージしたマージ画像が生成される。

【0036】

図１６は、本実施例におけるマージ画像データの具体的イメージ図である。図１６では、植物の発育を画像データ、温度、湿度、光のセンサデータで監視する場合を想定し、画像データ領域には植物の画像データ、データ領域には、温度、湿度、光のデータが格納される。このようなマージ画像データを用いて、実施例１で説明した画像処理装置６０のプロセッサ７０により、画像処理やＡＩによる監視を行なう。これにより、画像データに加え、それに対応した種々のデータを用いることで、それらの監視によるきめ細やかな制御が可能となる。

【0037】

以上のように、本実施例によれば、実施例１と同様の効果に加えて、入力映像とそれに対応した種々のデータを用いることで、きめ細やかな制御が可能となる監視システムを構築できる。