特開 2022-99140 監視システム、物体認識装置、監視方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022099140

(43)【公開日】2022-07-04

(54)【発明の名称】監視システム、物体認識装置、監視方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220627BHJP

   H04N 7/18 20060101ALI20220627BHJP

   B60R 11/02 20060101ALI20220627BHJP

【ＦＩ】

G06T7/00 660Z

H04N7/18 D

H04N7/18 K

B60R11/02 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020212922

(22)【出願日】2020-12-22

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】浅見 浩司

(72)【発明者】

【氏名】山田 和輝

(72)【発明者】

【氏名】中村 太一

【テーマコード（参考）】

3D020

5C054

5L096

【Ｆターム（参考）】

3D020BA20

3D020BB02

3D020BC04

3D020BD05

3D020BE03

5C054CE11

5C054FA07

5C054FC00

5C054FC12

5C054HA18

5C054HA26

5L096BA02

5L096CA04

5L096CA18

(57)【要約】

【課題】コストの増加等を抑制しつつ、監視領域の死角を減少させる。
【解決手段】本実施形態の監視システムは、所定の撮像領域の撮像画像を取得する撮像部と、撮像領域に配置され、光を反射させる反射部と、撮像画像のうち反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、撮像画像のうち反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、撮像領域に存在する物体に関する情報を生成する処理部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

所定の撮像領域の撮像画像を取得する撮像部と、
前記撮像領域に配置され、光を反射させる反射部と、
前記撮像画像のうち前記反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、前記撮像画像のうち前記反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、前記撮像領域に存在する物体に関する情報を生成する処理部と、
を備える監視システム。

【請求項2】

前記処理部は、前記実像画像から認識された物体と前記鏡像画像から認識された物体とが同一の物体であるか否かを判定する異同判定処理と、前記異同判定処理の結果に基づき、前記撮像領域に存在する物体の数を計測する計測処理とを行う、
請求項１に記載の監視システム。

【請求項3】

前記反射部は、電気信号に応じて画像を表示させるディスプレイであり、
前記鏡像画像は、前記画像が表示されていない状態の前記ディスプレイに反射された画像である、
請求項１又は２に記載の監視システム。

【請求項4】

前記撮像領域は、移動体の室内であり、
前記物体は、前記室内に存在する搭乗者である、
請求項１～３のいずれか１項に記載の監視システム。

【請求項5】

前記移動体は、公共交通機関である、
請求項４に記載の監視システム。

【請求項6】

撮像部から所定の撮像領域の撮像画像を取得する取得部と、
前記撮像画像のうち、前記撮像領域に配置され光を反射させる反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、前記撮像画像のうち前記反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、前記撮像領域に存在する物体に関する情報を生成する処理部と、
を備える物体認識装置。

【請求項7】

所定の撮像領域の撮像画像を取得する工程と、
前記撮像画像のうち、前記撮像領域に配置され光を反射させる反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、前記撮像画像のうち前記反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、前記撮像領域に存在する物体に関する情報を生成する工程と、
を含む監視方法。

【請求項8】

コンピュータに、
所定の撮像領域の撮像画像を取得する処理と、
前記撮像画像のうち、前記撮像領域に配置され光を反射させる反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、前記撮像画像のうち前記反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、前記撮像領域に存在する物体に関する情報を生成する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、監視システム、物体認識装置、監視方法、及びプログラムに関する。

【背景技術】

【0002】

近年、車両等の移動体の室内を撮像した撮像画像に基づき、移動体の室内の状況（例えば搭乗者の状態等）を監視するシステムが利用されている。例えば、監視領域の死角を減少させることを目的として、車室内に設置されたレールに沿ってカメラ移動させたり、車室内に複数のカメラを設置したりする構成が開示されている（特許文献１，２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１４２３７５号公報

【特許文献2】特開２０２０－１３６７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術のようにカメラを変位させたり、カメラの台数を増加させたりすることにより監視領域の死角を減少させることが可能である。しかしながら、このような手法によると、新たな設備の追加が必要となり、コストの増加等の問題が生じる。

【0005】

そこで、本発明の実施形態は、コストの増加等を抑制しつつ、監視領域の死角を減少させることが可能な監視システム、物体認識装置、監視方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態としての監視システムは、所定の撮像領域の撮像画像を取得する撮像部と、撮像領域に配置され、光を反射させる反射部と、撮像画像のうち反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、撮像画像のうち反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、撮像領域に存在する物体に関する情報を生成する処理部と、を備える。

【0007】

上記構成によれば、反射部に映る鏡像を利用して物体を検知できる。これにより、撮像部の変位、追加等を行うことなく、監視領域の死角を減少させることができる。

【0008】

また、処理部は、実像画像から認識された物体と鏡像画像から認識された物体とが同一の物体であるか否かを判定する異同判定処理と、異同判定処理の結果に基づき、撮像領域に存在する物体の数を計測する計測処理とを行ってもよい。

【0009】

これにより、撮像領域に存在する物体の数を正確に計測できる。

【0010】

また、反射部は、電気信号に応じて画像を表示させるディスプレイであり、鏡像画像は、画像が表示されていない状態の表示装置に反射された画像であってもよい。

【0011】

これにより、室内に設置されているディスプレイを反射部として利用できる。

【0012】

また、撮像領域は、移動体の室内であり、物体は、室内に存在する搭乗者であってもよい。

【0013】

これにより、車両等の移動体の搭乗員を監視できる。

【0014】

また、移動体は、公共交通機関であってもよい。

【0015】

上述した監視システムは、不特定多数又は特定の搭乗者が乗降するバス、電車、飛行機、船舶等の公共交通機関において特に好適に利用され得る。

【0016】

また、本発明の他の実施形態としての物体認識装置は、撮像部から所定の撮像領域の撮像画像を取得する取得部と、撮像画像のうち、撮像領域に配置され光を反射させる反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、撮像画像のうち反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、撮像領域に存在する物体に関する情報を生成する処理部と、を備える。

【0017】

また、本発明の他の実施形態としての監視方法は、所定の撮像領域の撮像画像を取得する工程と、撮像画像のうち、撮像領域に配置され光を反射させる反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、撮像画像のうち反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、撮像領域に存在する物体に関する情報を生成する工程と、を含む。

【0018】

また、本発明の他の実施形態としてのプログラムは、コンピュータに、所定の撮像領域の撮像画像を取得する処理と、撮像画像のうち、撮像領域に配置され光を反射させる反射部以外の領域に対応する実像画像に対する物体認識処理の結果と、撮像画像のうち反射部の設置領域に対応する鏡像画像に対する物体認識処理の結果とに基づき、撮像領域に存在する物体に関する情報を生成する処理と、を実行させる。

【図面の簡単な説明】

【0019】

【図1】図１は、実施形態に係る監視システムの構成の一例を示す図である。

【図2】図２は、実施形態に係るＥＣＵのハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係るＥＣＵの機能構成の一例を示す図である。

【図4】図４は、実施形態に係る撮像画像、実像画像、及び鏡像画像の一例を示す図である。

【図5】図５は、実施形態に係るカメラと仮想カメラとの関係の一例を示す図である。

【図6】図６は、実施形態に係る監視システムにおける処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や派生的な効果のうち、少なくとも一つを得ることが可能である。

【0021】

図１は、実施形態に係る監視システム１の構成の一例を示す図である。本実施形態に係る監視システム１は、不特定多数又は特定の搭乗者が乗降するバス、電車、飛行機、船舶等の公共交通機関（移動体）の室内Ｒを監視するものである。監視システム１は、カメラ１１（撮像部）、ディスプレイ１２（表示部）、及びＥＣＵ（Electronic Control Unit）１３（物体認識装置）を備える。

【0022】

カメラ１１は、室内Ｒを撮像可能な位置に設置され、室内Ｒの撮像画像を取得する機器である。カメラ１１は、例えばレンズ、イメージセンサ、マイクロプロセッサ等を利用して構成される。カメラ１１は、ＥＣＵ１３からの制御信号に応じて動作し、取得した画像データをＥＣＵ１３に出力する。カメラ１１は、例えば、室内Ｒの壁面、天井等に設置される。

【0023】

ディスプレイ１２は、所定の画像を表示させる機器であり、カメラ１１の撮像範囲に設置される。ディスプレイ１２は、電気信号（ＥＣＵ１３からの制御信号等）に応じて様々な画像を切り替えられるように構成され、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）、マイクロプロセッサ等を利用して構成される。ディスプレイ１２は、例えば、搭乗者Ｐへ向けた広告画像等を表示可能なデジタルサイネージ等であり得る。また、ディスプレイ１２は、室内Ｒの光を反射させる反射領域Ａｒとしても作用する。例えば、ディスプレイ１２は、画像が表示されていない非表示状態において黒色画面となり、この非表示状態において反射領域Ａｒとして作用する。

【0024】

ＥＣＵ１３は、監視システム１を制御するための各種処理を行う情報処理装置である。ＥＣＵ１３は、カメラ１１及びディスプレイ１２を制御する。ＥＣＵ１３は、カメラ１１により取得された撮像画像（画像データ）に基づき、室内Ｒの監視に関する各種処理を行う。ＥＣＵ１３は、例えば、撮像画像の記録、搭乗者Ｐの人数の算出、異常の検知等を行う。また、ＥＣＵ１３は、ディスプレイ１２に表示される画像を切り替える処理を行う。ＥＣＵ１３は、ディスプレイ１２を画像が表示されない非表示状態にすることができる。

【0025】

図２は、実施形態に係るＥＣＵ１３のハードウェア構成の一例を示す図である。ＥＣＵ１３は、カメラコントローラ５１、ディスプレイコントローラ６１、及び解析ユニット７１を備える。

【0026】

カメラコントローラ５１は、ＣＰＵ（Central Processing Unit）５５、ＲＯＭ（Read Only Memory）５６、ＲＡＭ（Random Access Memory）５７等を備える。カメラコントローラ５１は、適宜なインターフェース及びコンピュータネットワークを介してカメラ１１とデータ通信可能に接続している。また、カメラコントローラ５１は、バスを介してディスプレイコントローラ６１及び解析ユニット７１とデータ通信可能に接続している。ＣＰＵ５５は、ＲＯＭ５６等に記憶されたプログラムに従い、ＲＡＭ５７を作業領域として使用し、カメラ１１を制御するための各種演算処理を行う。カメラコントローラ５１は、カメラ１１により取得された撮像画像の記録等を実行する。なお、撮像画像等を含む画像データは、ＥＣＵ１３の内部又は外部に備えられた適宜な記憶装置に記憶される。

【0027】

ディスプレイコントローラ６１は、ＣＰＵ６５、ＲＯＭ６６、ＲＡＭ６７等を備える。ディスプレイコントローラ６１は、適宜なインターフェース及びコンピュータネットワークを介してディスプレイ１２とデータ通信可能に接続する。また、ディスプレイコントローラ６１は、バスを介してカメラコントローラ５１及び解析ユニット７１とデータ通信可能に接続している。ＣＰＵ６５は、ＲＯＭ６６等に記憶されたプログラムに従い、ＲＡＭ６７を作業領域として使用し、ディスプレイ１２を制御するための各種演算処理を行う。ディスプレイコントローラ６１は、ディスプレイ１２に表示される画像を切り替える処理等を実行する。

【0028】

解析ユニット７１は、ＣＰＵ７５、ＲＯＭ７６、ＲＡＭ７７等を備える。解析ユニット７１は、バスを介してカメラコントローラ５１及びディスプレイコントローラ６１とデータ通信可能に接続している。ＣＰＵ７５は、ＲＯＭ７６等に記憶されたプログラムに従い、ＲＡＭ７７を作業領域として使用し、カメラ１１により取得された撮像画像を解析し、室内Ｒの状況を示す監視情報を生成する。

【0029】

なお、図２に示すハードウェア構成は例示であり、ＥＣＵ１３の構成は上記に限定されるものではない。例えば、上記においては、カメラ１１を制御するユニット（カメラコントローラ５１）と、ディスプレイ１２を制御するユニット（ディスプレイコントローラ６１）と、撮像画像の解析を行うユニット（解析ユニット７１）とが分割された構成を例示したが、これらのユニットを統合してもよいし、更に分割してもよい。

【0030】

図３は、実施形態に係るＥＣＵ１３の機能構成の一例を示す図である。ＥＣＵ１３は、取得部１０１、表示制御部１０２、及び処理部１０３を備える。これらの機能的構成要素１０１～１０３は、例えば、図２に示すＥＣＵ１３を構成するハードウェア及びソフトウェアの協働により実現される。

【0031】

取得部１０１は、カメラ１１が室内Ｒを撮像して得られた撮像画像を取得する。本実施形態に係る取得部１０１は、後述する表示制御部１０２からディスプレイ１２が非表示状態になるタイミングを示す通知を受け取り、当該通知に基づきディスプレイ１２が非表示状態になっているときの撮像画像を取得する。

【0032】

表示制御部１０２は、ディスプレイ１２の表示を制御する。表示制御部１０２は、ディスプレイ１２に表示される画像を切り替えたり、ディスプレイ１２を画像が表示されていない非表示状態にしたりする。本実施形態に係る表示制御部１０２は、ディスプレイ１２が非表示状態になるタイミングを示す通知を取得部１０１に出力する。

【0033】

処理部１０３は、取得部１０１により取得された撮像画像に基づき室内Ｒの状況に関する監視情報を生成する。本実施形態に係る処理部１０３は、実像処理部１１１、鏡像処理部１１２、異同判定部１１３、及び計測部１１４を備える。

【0034】

実像処理部１１１は、撮像画像のうちディスプレイ１２の反射領域Ａｒ以外の領域に対応する画像（以下、実像画像と記載する）に対する物体認識処理を行う。

【0035】

鏡像処理部１１２は、撮像画像のうちディスプレイ１２の反射領域Ａｒに対応する画像（以下、鏡像画像と記載する）に対する物体認識処理を行う。

【0036】

図４は、実施形態に係る撮像画像２０１、実像画像２１１、及び鏡像画像２１２の一例を示す図である。図４に例示する撮像画像２０１には、室内Ｒに存在する搭乗者Ｐの実像Ｐｒと、反射領域Ａｒに映る搭乗者Ｐの鏡像Ｐｍとが含まれている。

【0037】

実像画像２１１は、撮像画像２０１のうち反射領域Ａｒ以外の領域に対応する画像である。実像画像２１１には、搭乗者Ｐの実像Ｐｒが含まれている。鏡像画像２１２は、撮像画像２０１のうち反射領域Ａｒに対応する画像である。鏡像画像２１２には、搭乗者Ｐの鏡像Ｐｍが含まれている。反射領域Ａｒは、カメラ１１とディスプレイとの３次元的位置関係に基づき幾何学的に求められる。なお、本例の鏡像画像２１２は、撮像画像２０１における反射領域Ａｒの位置に対して水平方向に反転しているが、鏡像画像２１２の形態はこれに限定されるものではない。

【0038】

実像処理部１１１は、上記のような実像画像２１１に対して、物体認識処理（搭乗者Ｐの存否を認識する処理等）を行う。鏡像処理部１１２は、上記のような鏡像画像２１２に対して物体認識処理を行う。本実施形態に係る実像処理部１１１及び鏡像処理部１１２は、人の頭部の存否、位置、形状的特徴等を検出する。

【0039】

図３に戻り、異同判定部１１３は、実像処理部１１１により認識された搭乗者（実像Ｐｒ）と、鏡像処理部１１２により認識された搭乗者（鏡像Ｐｍ）とが、同一の搭乗者Ｐであるか否かを判定する異同判定処理を行う。異同判定部１１３は、カメラ１１とディスプレイ１２（反射領域Ａｒ）との位置関係を示す位置関係情報、実像処理部１１１による処理結果、鏡像処理部１１２による処理結果等に基づき異同判定処理を行う。

【0040】

図５は、実施形態に係るカメラ１１と仮想カメラ１１ｉとの関係の一例を示す図である。図５において、カメラ１１と、ディスプレイ１２と、搭乗者Ｐと、仮想カメラ１１ｉとの関係が例示されている。カメラ１１は、搭乗者Ｐの姿がディスプレイ１２（反射領域Ａｒ）に反射された鏡像Ｐｍを含む鏡像画像２１２（図４参照）を実際に取得する実在のカメラである。仮想カメラ１１ｉは、ディスプレイ１２（反射領域Ａｒ）が存在しないと仮定した場合に鏡像画像２１２を取得可能な仮想のカメラである。仮想カメラ１１ｉのパラメータ（設置位置、姿勢等）の値は、ディスプレイ１２の位置を基準としてカメラ１１のパラメータに対して対称の値となる。このような仮想カメラ１１ｉを想定することにより、室内Ｒを複数のカメラ（本例では実在のカメラ１１及び仮想カメラ１１ｉ）で撮像している状況を疑似的に形成できる。

【0041】

異同判定部１１３は、カメラ１１及び仮想カメラｉｉ１の幾何学的制約（エビポーラ距離、サンプソン距離等）、実像処理部１１１及び鏡像処理部１１２による物体認識処理結果（頭部の位置、形状的特徴等）に基づき、実像Ｐｒと鏡像Ｐｍとに対する異同判定処理を行う。当該異同判定処理は、仮想カメラ１１ｉを想定することを除き、一般的なカメラ環境における物体マッチングと同等の既存技術を利用して実現され得る。

【0042】

計測部１１４は、異同判定部１１３による判定結果に基づき、室内Ｒに存在する搭乗者Ｐの人数を計測する。処理部１０３は、搭乗者Ｐの人数を含む監視情報を生成する。

【0043】

図６は、実施形態に係る監視システム１における処理の一例を示すフローチャートである。室内Ｒを監視する監視処理の実行中において、取得部１０１は、ディスプレイ１２が非表示状態か否かを判定する（Ｓ１０１）。当該判定は、例えば表示制御部１０２からの通知に基づき行われ得る。非表示状態でない場合（Ｓ１０１：Ｎｏ）、ステップＳ１０１に戻り、非表示状態である場合（Ｓ１０１：Ｙｅｓ）、取得部１０１は、カメラ１１から撮像画像２０１を取得する（Ｓ１０２）。

【0044】

取得部１０１により取得された撮像画像２０１は、処理部１０２により実像画像２１１と鏡像画像２１２とに分離される（Ｓ１０３）。実像処理部１１１は、実像画像２１１に対する物体認識処理を実行し（Ｓ１０４）、鏡像処理部１１２は、鏡像画像２１２に対する物体認識処理を実行する（Ｓ１０５）。異同判定部１１３は、実像処理部１１１により認識された搭乗者（実像Ｐｒ）と鏡像処理部１１２により認識された搭乗者（鏡像Ｐｍ）とが同一の搭乗者Ｐであるか否かを判定する異同判定処理を実行する（Ｓ１０６）。計測部１１４は、異同判定処理の結果に基づき室内Ｒに存在する搭乗者Ｐの人数を計測する計測処理を実行する（Ｓ１０７）。処理部１０２は、計測処理の結果を含む監視情報を生成する（Ｓ１０８）。

【0045】

上記実施形態によれば、ディスプレイ１２に映る鏡像を利用して室内Ｒに存在する物体（搭乗者Ｐ等）を検知できる。これにより、カメラ１１の変位、追加等を行うことなく（コストの増加等を抑制しつつ）、監視領域の死角を減少させることができる。

【0046】

なお、上記実施形態は一実施例であり、上記に限定されるものではない。上記実施形態においては、反射部の一例として、ディスプレイ１２（デジタルサイネージ）を利用する例を示したが、反射部はこれに限定されるものではない。例えば、鏡等の光を反射させることが可能な部材を適宜利用してもよい。

【0047】

また、別の用途として、搭乗者（乗客）の状態、例えば手摺の把持の有無をより正確に判定することもできる。この場合、実像画像２１１と鏡像画像２１２のそれぞれで搭乗者の手摺把持の有無を推定した後、異同判定処理の結果に基づいて実像と鏡像の判定結果を合成（例えば論理和）することで、状態推定に対する死角の影響を低減することができる。

【0048】

また、別の用途として、三次元での物体の位置・姿勢の推定がある。この場合、実像画像２１１と鏡像画像２１２のそれぞれで物体の特徴点（例えば搭乗者の骨格点）を検出した後、異同判定処理にて同一と判定された物体同士の対応する特徴点で三角測量を行うことで、単一のカメラでも物体の三次元的な位置と姿勢を推定できる。

【0049】

上記実施形態の機能を実現するためのプログラムは、ＥＣＵ１３に搭載されたプロセッサ（例えばカメラコントローラ５１、ディスプレイコントローラ６１、解析ユニット７１等）にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

【0050】

また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0051】

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0052】

１…監視システム、１１…カメラ（撮像部）、１１ｉ…仮想カメラ、１２…ディスプレイ（反射部）、１３…ＥＣＵ（物体認識装置）、５１…カメラコントローラ、６１…ディスプレイコントローラ、７１…解析ユニット、１０１…取得部、１０２…表示制御部、１０３…処理部、１１１…実像処理部、１１２…鏡像処理部、１１３…異同判定部、１１４…計測部、Ｐ…搭乗者、Ｐｍ…鏡像、Ｐｒ…実像、Ｒ…室内

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】