特開 2022-99139 監視システム、監視方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022099139

(43)【公開日】2022-07-04

(54)【発明の名称】監視システム、監視方法、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220627BHJP

   H04N 7/18 20060101ALI20220627BHJP

   B61L 25/02 20060101ALI20220627BHJP

   G06T 3/20 20060101ALI20220627BHJP

   G06T 7/00 20170101ALI20220627BHJP

【ＦＩ】

H04N5/232 290

H04N7/18 E

B61L25/02 Z

G06T3/20

G06T7/00 650Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020212921

(22)【出願日】2020-12-22

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】山田 和輝

(72)【発明者】

【氏名】中村 太一

(72)【発明者】

【氏名】浅見 浩司

【テーマコード（参考）】

5B057

5C054

5C122

5H161

5L096

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD01

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FE12

5C054GB01

5C054GB12

5C054HA26

5C122DA11

5C122DA14

5C122EA05

5C122FH04

5C122FH05

5C122FH11

5C122GE24

5C122GE26

5C122HB01

5H161AA01

5H161DD20

5H161GG04

5H161GG11

5H161GG22

5L096AA06

5L096BA02

5L096BA04

5L096BA18

5L096CA02

5L096FA25

5L096FA69

(57)【要約】

【課題】振動を発生させる移動体の室内を高い精度で監視可能にする。
【解決手段】本実施形態の監視システムは、移動体の室内を撮像する撮像部と、撮像部が室内に存在するマーカを撮像して得られたマーカ画像と、撮像部が正規位置にあるときにマーカを撮像して得られた基準画像との比較結果に基づき、撮像部が室内を撮像して得られた撮像画像を前記撮像部の位置ずれによる影響が低減されるように補正する補正部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

移動体の室内を撮像する撮像部と、
前記撮像部が前記室内に存在するマーカを撮像して得られたマーカ画像と、前記撮像部が正規位置にあるときに前記マーカを撮像して得られた基準画像との比較結果に基づき、前記撮像部の位置ずれによる影響が低減されるように、前記撮像部が前記室内を撮像して得られた撮像画像を補正する補正部と、
を備える監視システム。

【請求項2】

前記室内に設置され、所定の画像を表示させる表示部と、
所定のタイミングで前記マーカが表示されるように前記表示部を制御する表示制御部と、
を更に備える請求項１に記載の監視システム。

【請求項3】

前記所定のタイミングは、前記表示部に表示される広告画像が切り替わるときである、
請求項２に記載の監視システム。

【請求項4】

前記所定のタイミングは、前記室内に存在する搭乗者が前記表示部を見ていないと認められるときである、
請求項２又は３に記載の監視システム。

【請求項5】

前記所定のタイミングは、前記室内に搭乗者が存在しないときである、
請求項２～４のいずれか１項に記載の監視システム。

【請求項6】

前記補正部により補正された前記撮像画像に基づき、前記室内の状況に関する監視情報を生成する解析部、
を更に備える請求項１～５のいずれか１項に記載の監視システム。

【請求項7】

前記移動体は、公共交通機関である、
請求項１～６のいずれか１項に記載の監視システム。

【請求項8】

撮像部が移動体の室内に存在するマーカを撮像して得られたマーカ画像を取得する工程と、
前記マーカ画像と、前記撮像部が正規位置にあるときに前記マーカを撮像して得られた基準画像との比較結果に基づき、前記撮像部の位置ずれによる影響が軽減されるように、前記撮像部が前記室内を撮像して得られた撮像画像を補正する工程と、
を含む監視方法。

【請求項9】

コンピュータに、
撮像部が移動体の室内に存在するマーカを撮像して得られたマーカ画像を取得する処理と、
前記マーカ画像と、前記撮像部が正規位置にあるときに前記マーカを撮像して得られた基準画像との比較結果に基づき、前記撮像部の位置ずれによる影響が軽減されるように、前記撮像部が前記室内を撮像して得られた撮像画像を補正する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、監視システム、監視方法、及びプログラムに関する。

【背景技術】

【0002】

近年、車両等の移動体の室内を撮像した撮像画像に基づき、移動体の室内の状況（例えば搭乗者の状態等）を監視するシステムが利用されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１０４６８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

移動体の室内を撮像するカメラは、移動体の振動により位置ずれを起こす場合がある。このようなカメラの位置ずれは、撮像画像の劣化、監視処理の精度の低下等の原因となる。

【0005】

そこで、本発明の実施形態は、振動を発生させる移動体の室内を高い精度で監視可能な監視システム、監視方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態としての監視システムは、移動体の室内を撮像する撮像部と、撮像部が室内に存在するマーカを撮像して得られたマーカ画像と、撮像部が正規位置にあるときにマーカを撮像して得られた基準画像との比較結果に基づき、撮像部の位置ずれによる影響が低減されるように、撮像部が室内を撮像して得られた撮像画像を補正する補正部と、を備える。

【0007】

上記構成によれば、マーカ画像と基準画像との比較結果に基づき、撮像部の位置ずれによる影響が低減されるように補正処理（キャリブレーション）を実行できる。これにより、振動を発生させる移動体の室内を高い精度で監視できる。

【0008】

また、監視システムは、室内に設置され、所定の画像を表示させる表示部と、所定のタイミングでマーカが表示されるように表示部を制御する表示制御部と、を更に備えてもよい。

【0009】

上記構成によれば、室内に搭載された表示部を利用してマーカを適切なタイミングで表示できる。また、補正処理が不要なときにはマーカを表示させないようにすることができるため、移動体の内観を損ねたり、搭乗者に違和感を与えたりすることを回避できる。

【0010】

また、所定のタイミングは、表示部に表示される広告画像が切り替わるときであってもよい。

【0011】

例えば、表示部が広告画像を順次切り替えて表示させるような状況において、広告画像が切り替わるときにマーカを表示させることにより、内観への影響や搭乗者の違和感を低減できる。

【0012】

また、所定のタイミングは、室内に存在する搭乗者が表示部を見ていないと認められるときであってもよい。

【0013】

例えば、搭乗者の視線を認識する機能を有するシステムにおいては、このような機能を利用して搭乗者が表示部を見ているか否かを判定できる。このような場合、当該判定結果に基づき、搭乗者が表示部を見ていないと認められるときにマーカを表示させることにより、内観への影響や搭乗者の違和感を低減できる。

【0014】

また、所定のタイミングは、室内に搭乗者が存在しないときであってもよい。

【0015】

このように、室内に搭乗者が存在しない場合にマーカを表示させることにより、内観への影響や搭乗者の違和感を確実に回避できる。

【0016】

また、監視システムは、補正部により補正された撮像画像に基づき、室内の状況に関する監視情報を生成する解析部を更に備えてもよい。

【0017】

これにより、撮像部の位置ずれの影響が低減された撮像画像を利用して、精度の高い監視情報を生成できる。

【0018】

また、移動体は、公共交通機関であってもよい。

【0019】

上述した監視システムは、不特定多数又は特定の搭乗者が乗降するバス、電車、飛行機、船舶等の公共交通機関において特に好適に利用され得る。

【0020】

また、本発明の他の実施形態としての監視方法は、撮像部が移動体の室内に存在するマーカを撮像して得られたマーカ画像を取得する工程と、マーカ画像と、撮像部が正規位置にあるときにマーカを撮像して得られた基準画像との比較結果に基づき、撮像部の位置ずれによる影響が軽減されるように、撮像部が室内を撮像して得られた撮像画像を補正する工程と、を含むものである。

【0021】

また、本発明の他の実施形態は、コンピュータに、撮像部が移動体の室内に存在するマーカを撮像して得られたマーカ画像を取得する処理と、マーカ画像と、撮像部が正規位置にあるときにマーカを撮像して得られた基準画像との比較結果に基づき、撮像部の位置ずれによる影響が軽減されるように、撮像部が室内を撮像して得られた撮像画像を補正する処理と、を実行させるプログラムである。

【図面の簡単な説明】

【0022】

【図1】図１は、実施形態に係る監視システムの構成の一例を示す図である。

【図2】図２は、実施形態に係るＥＣＵのハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係るＥＣＵの機能構成の一例を示す図である。

【図4】図４は、実施形態に係る監視システムにおける処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や派生的な効果のうち、少なくとも一つを得ることが可能である。

【0024】

図１は、実施形態に係る監視システム１の構成の一例を示す図である。本実施形態に係る監視システム１は、不特定多数又は特定の搭乗者が乗降するバス、電車、飛行機、船舶等の公共交通機関（移動体）の室内Ｒを監視するものである。監視システム１は、カメラ１１（撮像部）、サイネージ１２（表示部）、及びＥＣＵ（Electronic Control Unit）１３を備える。

【0025】

カメラ１１は、室内Ｒを撮像可能な位置に設置され、室内Ｒの撮像画像を取得する機器である。カメラ１１は、例えばレンズ、イメージセンサ、マイクロプロセッサ等を利用して構成される。カメラ１１は、ＥＣＵ１３からの制御信号に応じて動作し、取得した画像データをＥＣＵ１３に出力する。カメラ１１は、室内Ｒの壁面、天井等に固定されてもよいし、撮像範囲の変更が可能となるようにカメラ１１を変位させる可動機構に連結されてもよい。

【0026】

サイネージ１２は、所定の画像を表示させる機器であり、カメラ１１の撮像範囲に設置される。サイネージ１２は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）、マイクロプロセッサ等を利用して構成される。サイネージ１２は、ＥＣＵ１３からの制御信号に応じて様々な画像を切り替えることが可能なものである。本実施形態に係るサイネージ１２は、広告画像、マーカＭ１等を適宜切り替えて表示する。マーカＭ１は、後述する補正処理に利用される画像である。なお、サイネージ１２は、広告画像及びマーカＭ１以外の画像（例えばバス等の運行状況を示す画像、搭乗者に注意を喚起するための画像等）を表示させてもよい。

【0027】

ＥＣＵ１３は、監視システム１を制御するための各種処理を行う情報処理装置である。ＥＣＵ１３は、カメラ１１により取得された撮像画像（画像データ）に基づき、室内Ｒの監視に関する各種処理を行う。ＥＣＵ１３は、例えば、撮像画像の記録、搭乗者数の算出、異常の検知等を行う。また、ＥＣＵ１３は、サイネージ１２に表示される画像を切り替える処理、カメラ１１により取得された撮像画像を補正する補正処理等を行う。

【0028】

また、本実施形態に係る室内Ｒには、マーカＭ２が設置されている。マーカＭ２は、サイネージ１２に表示されるマーカＭ１と同様に、補正処理に利用される画像である。マーカＭ２は、カメラ１１の撮像範囲に固定され、常時現出した状態となっている。マーカＭ２は、搭乗者に視認され難い形態であることが好ましい。マーカＭ２は、例えば、室内Ｒの比較的目立たない部分（天井付近等）に描画又は固定された画像等であり得る。なお、当該マーカＭ２は必ずしも必要なものではないが、何らかの理由によりサイネージ１２にマーカＭ１を表示できない場合等に有効なものである。以下、サイネージ１２に表示されるマーカＭ１と固定されたマーカＭ２とを区別する必要がない場合には、マーカＭと記載する場合がある。

【0029】

図２は、実施形態に係るＥＣＵ１３のハードウェア構成の一例を示す図である。ＥＣＵ１３は、カメラコントローラ５１、サイネージコントローラ６１、及び解析ユニット７１を備える。

【0030】

カメラコントローラ５１は、ＣＰＵ（Central Processing Unit）５５、ＲＯＭ（Read Only Memory）５６、ＲＡＭ（Random Access Memory）５７等を備える。カメラコントローラ５１は、適宜なインターフェース及びコンピュータネットワークを介してカメラ１１とデータ通信可能に接続している。また、カメラコントローラ５１は、バスを介してサイネージコントローラ６１及び解析ユニット７１とデータ通信可能に接続している。ＣＰＵ５５は、ＲＯＭ５６等に記憶されたプログラムに従い、ＲＡＭ５７を作業領域として使用し、カメラ１１を制御するための各種演算処理を行う。カメラコントローラ５１は、カメラ１１により取得された撮像画像の記録、マーカ画像に基づく補正処理等を実行する。なお、撮像画像、マーカ画像等を含む画像データは、ＥＣＵ１３の内部又は外部に備えられた適宜な記憶装置に記憶される。

【0031】

サイネージコントローラ６１は、ＣＰＵ６５、ＲＯＭ６６、ＲＡＭ６７等を備える。サイネージコントローラ６１は、適宜なインターフェース及びコンピュータネットワークを介してサイネージ１２とデータ通信可能に接続する。また、サイネージコントローラ６１は、バスを介してカメラコントローラ５１とデータ通信可能に接続している。ＣＰＵ６５は、ＲＯＭ６６等に記憶されたプログラムに従い、ＲＡＭ６７を作業領域として使用し、サイネージ１２を制御するための各種演算処理を行う。サイネージコントローラ６１は、サイネージ１２に表示される画像を切り替える処理等を実行する。

【0032】

解析ユニット７１は、ＣＰＵ７５、ＲＯＭ７６、ＲＡＭ７７等を備える。解析ユニット７１は、バスを介してカメラコントローラ５１とデータ通信可能に接続している。ＣＰＵ７５は、ＲＯＭ７６等に記憶されたプログラムに従い、ＲＡＭ７７を作業領域として使用し、カメラ１１により取得された撮像画像を解析し、室内Ｒの状況を示す監視情報を生成する。

【0033】

なお、図２に示すハードウェア構成は例示であり、ＥＣＵ１３の構成は上記に限定されるものではない。例えば、上記においては、カメラ１１を制御するユニット（カメラコントローラ５１）と、サイネージ１２を制御するユニット（サイネージコントローラ６１）と、撮像画像の解析を行うユニット（解析ユニット７１）とが分割された構成を例示したが、これらのユニットを統合してもよいし、更に分割してもよい。

【0034】

図３は、実施形態に係るＥＣＵ１３の機能構成の一例を示す図である。ＥＣＵ１３は、取得部１０１、表示制御部１０２、補正部１０３、及び解析部１０４を備える。これらの機能的構成要素１０１～１０４は、例えば、図２に示すＥＣＵ１３を構成するハードウェア及びソフトウェアの協働により実現される。

【0035】

取得部１０１は、カメラ１１が室内Ｒを撮像して得られた撮像画像と、カメラ１１がマーカＭを撮像して得られたマーカ画像とを取得する。サイネージ１２に表示されたマーカＭ１を撮像する場合、取得部１０１は、表示制御部１０２から通知されるマーカＭ１の表示タイミングに合わせて撮像処理を実行してもよい。また、取得部１０１は、室内Ｒを全体的又は局所的に撮像して得られた撮像画像からマーカ画像を抽出してもよい。

【0036】

表示制御部１０２は、サイネージ１２に表示される画像を切り替えるための処理を行う。表示制御部１０２は、所定のタイミングでマーカＭ１が表示されるようにサイネージ１２を制御する。所定のタイミングは、室内Ｒの内観への影響が小さいときや、搭乗者に違和感を与え難いときであることが好ましい。所定のタイミングは、例えば、サイネージ１２に表示される広告画像が切り替わるとき、搭乗者がサイネージ１２を見ていないと認められるとき、室内Ｒに搭乗者が存在しないとき等であり得る。マーカＭ１が表示されている時間の長さは特に限定されるべきものではないが、補正処理を実行可能な範囲内において、できるだけ短い期間（例えば１秒以内）であることが好ましい。なお、搭乗者がサイネージ１２を見ているか否かの判定は、例えば、搭乗者の映像を含む撮像画像から搭乗者の視線方向を推定する公知の画像認識処理を利用して行うことができる。

【0037】

補正部１０３は、カメラ１１がマーカＭを撮像して得られたマーカ画像と、カメラ１１が正規位置にあるときにマーカＭを撮像して得られた基準画像との比較結果に基づき、カメラ１１の位置ずれによる影響が低減されるように、カメラ１１が室内Ｒを撮像して得られた撮像画像を補正する補正処理（キャリブレーション）を行う。このとき、当該マーカ画像に対応するマーカＭ１又はＭ２と、当該基準画像に対応するマーカＭ１又はＭ２とは一致している必要がある。マーカＭ１に対応する基準画像及びマーカＭ２に対応する基準画像は、所定の記憶装置に予め記憶されてもよいし、監視処理の実行中に取得されてもよい。補正部１０３は、例えば、マーカ画像と基準画像との比較結果に基づき、カメラ１１の現在の設置位置の正規位置からのずれ量、カメラ１１の現在の撮像方向の正規の撮像方向からのずれ量等を算出し、これらのずれ量による影響が低減されるように撮像画像を補正する。補正処理が実行されるタイミングは特に限定されるべきものではないが、所定の補正実行条件が充足された場合に補正処理が実行されてもよい。補正実行条件は、例えば、前回補正処理が実行されてから所定期間が経過した場合、閾値以上の振動量が検出された場合等であり得る。

【0038】

解析部１０４は、撮像画像に基づき室内Ｒの状況に関する監視情報を生成する。監視情報の内容及び／又は利用方法は特に限定されるべきものではない。

【0039】

図４は、実施形態に係る監視システム１における処理の一例を示すフローチャートである。室内Ｒを監視する監視処理の実行中において、補正部１０３は、補正実行条件が充足されたか否かを判定する（Ｓ１０１）。補正実行条件が充足されていない場合（Ｓ１０１：Ｎｏ）、解析部１０４は、カメラ１１により取得された（補正されていない）撮像画像に基づき監視情報を生成する（Ｓ１０７）。

【0040】

補正実行条件が充足された場合（Ｓ１０１：Ｙｅｓ）、表示制御部１０２は、現在が所定のタイミングに該当するか否かを判定する（Ｓ１０２）。現在が所定のタイミングに該当する場合（Ｓ１０２：Ｙｅｓ）、表示制御部１０２はサイネージ１２にマーカＭ１を表示させ（Ｓ１０３）、取得部１０１はサイネージ１２に表示されたマーカＭ１のマーカ画像を取得する（Ｓ１０４）。そして、補正部１０３はマーカＭ１のマーカ画像とマーカＭ１の基準画像との誤差に基づき補正処理を実行し（Ｓ１０５）、解析部１０４は補正後の撮像画像に基づき監視情報を生成する（Ｓ１０６）。

【0041】

現在が所定のタイミングに該当しない場合（Ｓ１０２：Ｎｏ）、取得部１０１は、固定されたマーカＭ２のマーカ画像が取得された否かを判定する（Ｓ１０７）。固定されたマーカＭ２のマーカ画像が取得されていない場合（Ｓ１０７：Ｎｏ）、ステップＳ１０１に戻る。固定されたマーカＭ２のマーカ画像が取得された場合（Ｓ１０７：Ｙｅｓ）、補正部１０３はマーカＭ２のマーカ画像とマーカＭ２の基準画像との誤差に基づき補正処理を実行し（Ｓ１０５）、解析部１０４は補正後の撮像画像に基づき監視情報を生成する（Ｓ１０６）。

【0042】

上記実施形態によれば、マーカＭを撮像して得られたマーカ画像に基づきカメラ１１の位置ずれによる影響が低減されるように補正処理（キャリブレーション）が実行される。これにより、振動によるカメラ１１の位置ずれ等による問題を効果的に抑制でき、移動体の室内Ｒを高い精度で監視できる。また、上述したように、マーカＭ１がサイネージ１２に表示されるタイミングを適切に調整することにより、移動体の内観を損ねたり、搭乗者に違和感を与えたりすることなく、補正処理を実行できる。

【0043】

なお、上記実施形態の機能を実現するためのプログラムは、ＥＣＵ１３に搭載されたプロセッサ（例えばカメラコントローラ５１、サイネージコントローラ６１、解析ユニット７１等）にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

【0044】

また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0045】

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0046】

１…監視システム、１１…カメラ（撮像部）、１２…サイネージ（表示部）、１３…ＥＣＵ、５１…カメラコントローラ、６１…サイネージコントローラ、７１…解析ユニット、１０１…取得部、１０２…表示制御部、１０３…補正部、１０４…解析部、Ｍ１，Ｍ２…マーカ、Ｒ…室内

【図1】

【図2】

【図3】

【図4】