IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セコム株式会社の特許一覧

特開2025-105027画像処理装置及びコンピュータプログラム
<>
  • 特開-画像処理装置及びコンピュータプログラム 図1
  • 特開-画像処理装置及びコンピュータプログラム 図2
  • 特開-画像処理装置及びコンピュータプログラム 図3
  • 特開-画像処理装置及びコンピュータプログラム 図4
  • 特開-画像処理装置及びコンピュータプログラム 図5
  • 特開-画像処理装置及びコンピュータプログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025105027
(43)【公開日】2025-07-10
(54)【発明の名称】画像処理装置及びコンピュータプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20250703BHJP
【FI】
G06T7/00 660Z
G06T7/00 350B
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023223285
(22)【出願日】2023-12-28
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】澤井 庸平
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA02
5L096CA04
5L096DA03
5L096EA39
5L096FA52
5L096FA59
5L096FA67
5L096FA69
5L096GA30
5L096GA51
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
【課題】画像に写る検知対象の様態を検知する際に、対象物の周囲の混雑度による検知精度の低下を抑制する。
【解決手段】画像処理装置10は、カメラが撮影した入力画像を取得する画像取得部20と、入力画像に写る移動体の所定の様態を検知する様態検知部21と、移動体の周囲の混雑度を検知する混雑度検知部22と、混雑度検知部22により検知された混雑度とに基づいて、様態検知部21による所定の様態の検知結果の信頼性を判定する判定部23と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
カメラが撮影した入力画像を取得する画像取得部と、
前記入力画像に写る移動体による所定の様態を検知する様態検知部と、
前記移動体の周囲の混雑度を検知する混雑度検知部と、
前記混雑度検知部により検知された前記混雑度に基づいて、前記様態検知部による前記所定の様態の検知結果の信頼性を判定する判定部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記判定部は、前記混雑度が高い場合は低い場合よりも前記所定の様態を検知した場合の前記信頼性を低く判定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記様態検知部は、前記移動体による複数の様態種別を検知し、
前記判定部は、前記複数の様態種別のうち所定の様態種別が検知された場合に、前記混雑度に基づいて前記信頼性を判定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記移動体は人物であり、
前記所定の様態種別は、複数の前記人物が近くに存在することを条件として検知される危険行為を表す様態種別であることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記判定部は、前記検知された様態種別が第1の危険行為を表す第1の様態種別である場合と第2の危険行為を表す第2の様態種別である場合とで、前記信頼性の判定基準を異ならせることを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記移動体は人物であり、
前記様態検知部は、一又は複数の前記人物の関節情報に基づき、前記様態として人物の姿勢又は行動を検知することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記様態検知部は、画像データを入力とし画像データの画像内に写る前記移動体による所定の様態を出力データとする機械学習によって生成された学習モデルに、前記入力画像を入力して前記移動体による所定の様態を出力することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
カメラが撮影した入力画像を取得する画像取得処理と、
前記入力画像に写る移動体による所定の様態を検知する様態検知処理と、
前記移動体の周囲の混雑度を検知する混雑度検知処理と、
前記混雑度検知処理により検知された前記混雑度に基づいて、前記様態検知処理による前記所定の様態の検知結果の信頼性を判定する判定処理と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来より、画像に写る検知対象の様態を検知する技術が提案されている。例えば下記特許文献1には、検知対象である人物を撮影した画像データから人物の姿勢や行動などの様態を検知するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2023-30965号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、画像に写る検知対象の周囲の混雑度によって検知対象の様態の検知精度が低下する虞がある。例えば、検知対象の人物が怒り行動(怒っている場合の行動をいう、例えば破壊行動や喧嘩など)をしていないにもかかわらず、検知対象の人物の周囲が混雑している場合には、検知対象の人物の様態を怒り行動と誤検知する虞がある。
本発明は、画像に写る検知対象の様態を検知する際に、対象物の周囲の混雑度による検知精度の低下を抑制することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一形態による画像処理装置は、カメラが撮影した入力画像を取得する画像取得部と、入力画像に写る移動体による所定の様態を検知する様態検知部と、移動体の周囲の混雑度を検知する混雑度検知部と、混雑度検知部により検知された混雑度に基づいて、様態検知部による所定の様態の検知結果の信頼性を判定する判定部と、を備える。
【発明の効果】
【0006】
本発明によれば、画像に写る検知対象の様態を検知する際に、対象物の周囲の混雑度による検知精度の低下を抑制できる。
【図面の簡単な説明】
【0007】
図1】実施形態の画像処理装置の一例の概略構成図である。
図2】実施形態の画像処理装置の機能構成の一例を示すブロック図である。
図3】確信度閾値の設定例を示す図である。
図4】(a)は単方位型のカメラの光軸方向と画角の一例の模式図であり、(b)は単方位型のカメラの撮影画像における直下画像領域の模式図である。
図5】(a)は全方位カメラの光軸方向と画角の一例の模式図であり、(b)は全方位カメラの撮影画像における直下画像領域の模式図である。
図6】所要フレーム数閾値の設定例を示す図である。
【発明を実施するための形態】
【0008】
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0009】
図1は、実施形態の画像処理装置の一例の概略構成図である。画像処理装置10は、監視空間1内における検知対象の様態種別を検知する。本明細書では、監視空間1内に存在する検知対象として人物2の様態種別を検知する場合を例示する。
【0010】
画像処理装置10は、人物2の様態種別として、人物2の姿勢や行動を検知する。検知対象の様態種別には、人物2単独の姿勢や行動により検知するものと、複数の人物の姿勢や行動により検知するものがある。画像処理装置10は、監視空間1の監視者等に対して異常事態が発生したことを通知する人物2の様態である異常様態として、人物2の異常姿勢や異常行動を検知する。異常様態とする検知対象の姿勢や行動は、例えば、「威嚇(腕等を振りかぶっている人物)」、「喧嘩(他人に対して拳等を当てている人物)」、「破壊(腕等を振り下ろしている人物)」、「転倒(立位姿勢から倒れこみ横臥の姿勢に変化した人物)」、「ホールドアップ(脅迫される等により両手を上げ続けている人物)」、「突き付け(腕を他人に向けて伸ばしている人物(例えば、凶器等を他人に突き付けている人物))」、「屈み(膝や腰を曲げてしゃがみ続けている人物)」、「土下座(ひれ伏して他人に礼をする人物)」、「匍匐(腹ばいで全身している人物)」、「横臥(横になり寝続けている人物)」などである。さらに、異常様態以外の様態種別を検知してもよい。例えば「立位」、「直立」、「座位」などの姿勢や、「歩行」、「ランニング」などの行動を検知してよい。
なお、画像処理装置10は、人物2以外の検知対象の様態種別を検知してもよい。例えば、検知対象としてマニピュレータを有する機械や非人型のロボットの様態種別を検知してもよい。例えば画像処理装置10は、マニピュレータの向きや屈伸状態といった姿勢を様態種別として検知してもよく、これらの姿勢の変化である動作を様態種別として検知してもよい。
【0011】
画像処理装置10は、カメラ11と、入力部12と、記憶部13と、制御部14と、出力部15を備える。これらのうちの記憶部13及び制御部14を、いわゆるコンピュータで実現してよく、入力部12及び出力部15を、当該コンピュータの周辺機器として実現してよい。
カメラ11は、監視空間1内に存在する物体を撮影した画像を生成するために監視空間1内に配置される。カメラ11は、例えば水平画角や垂直画角が90度程度の単方位型のカメラであってよい。またカメラ11は、全方位(360度)を撮影領域(監視領域)とする全方位カメラであってもよい。なお、画像処理装置10はカメラ11を備えず、外部の撮影装置から映像を取得してもよい。
【0012】
入力部12は、利用者に操作されてデータの入力等に用いられるキーボード、マウス等のユーザーインターフェースを含む。入力部12は、制御部14に接続され、利用者の操作を操作信号に変換して制御部14に出力する。
また、入力部12はDVD(Digital Versatile Disc)ドライブ、USB(Universal Serial Bus)インターフェースを含んでもよい。入力部12は、データをファイルとして制御部14に入力し、およびデータをファイルとして制御部14から出力する。
記憶部13は、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部13は、制御部14と接続されて制御部14との間でこれらの情報を入出力する。
【0013】
制御部14は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置で構成される。制御部14は、記憶部13と接続され、記憶部13からコンピュータプログラムを読み出して実行することにより各種処理部として動作し、各種データを記憶部13に記憶させ、読み出す。以下に説明する画像処理装置10の機能は、記憶部13に記憶されたコンピュータプログラムを制御部14が実行することにより実現される。
【0014】
出力部15は、制御部14と接続され、制御部14による様態種別の検知結果を出力する。出力部15は、液晶ディスプレイ又はCRT(Cathode Ray Tube)ディスプレイ等のディスプレイ装置を含んでよい。出力部15は、スピーカ又はブザー等の音声信号出力装置を備えてもよい。出力部15は、有線通信又は無線通信により画像処理装置10と外部装置との間でデータの送受信を行うネットワークインターフェース等を備えてもよい。
【0015】
制御部14は、カメラ11が監視空間1内に存在する人物2を撮影して生成した撮影画像を取得し、撮影画像に写る人物2の様態種別を検知する。このとき図1に示すように多数の他の人物2a~2dが人物2の周囲に存在し、人物2の周囲が混雑していると、人物2の周囲の混雑度によって人物2の様態の検知精度が低下する虞がある。
【0016】
例えば、制御部14が検知する様態種別には、人物2の近くに他の人物が存在すること、つまり複数の人物が近くに存在することを条件に検知される種別がある。このような様態種別には、暴力行動(例えば破壊行動や喧嘩など)や、迷惑行為(土下座)や、威嚇行為(突き付け)があり、危険行為として表される。なお、混雑している中で土下座をしている場合、土下座をしている人物は他の人物に踏まれたり、他の人物は土下座をしている人物に引っ掛けて転んでしまったりするため、危険行為として捉えられる。以下の説明において、怒り行動や土下座や突き付けのように人物2の近く他の人物が存在することを条件に検知される様態種別を「所定様態種別」と表記することがある。
【0017】
人物2の周囲の混雑度が高いと、人物2の本当の様態種別が所定様態種別でなくても、人物2の様態種別として所定様態種別が誤検知される虞がある。そこで実施形態の画像処理装置10は、撮影画像3に写る人物2の様態種別を検知するとともに、人物2の周囲の混雑度を検知し、検知された様態種別と混雑度とに基づいて検知された様態種別の信頼性を判断する。
図2は、実施形態の画像処理装置10の機能構成の一例を示すブロック図である。画像処理装置10は、上述のカメラ11及び出力部15と、画像取得部20と、様態検知部21と、混雑度検知部22と、出力判定部23を備える。
【0018】
画像取得部20は、カメラ11が監視空間1内に存在する物体を撮影して生成した画像を入力画像として取得する。
様態検知部21は、画像取得部20が取得した入力画像に写る人物2の様態種別を検知する。例えば様態検知部21は、人物2の行動の種別を様態種別として検知してよい。この場合に様態検知部21は、まず入力画像に写る人物2の姿勢を検知する。
【0019】
例えば様態検知部21は、画像データを入力とし画像データの画像内に写る人物の姿勢を出力データとする機械学習によって生成された学習モデル(以下「姿勢検知AI(Artificial Intelligence)」と表記することがある)に入力画像を入力して人物2の姿勢を推定してよい。例えば姿勢検知AIは、入力画像に写る人物2の関節情報として関節点の位置を識別し、関節点の位置の特徴量に基づいて人物2の姿勢を推定してよい。なお、関節情報として、人物2の骨格情報(骨格の位置)に基づいて姿勢を推定してもよい。
【0020】
また例えば様態検知部21は、学習モデル以外の手段(例えばルールベース等)によって人物2の姿勢を検知してもよい。例えば様態検知部21は、背景差分法により人物2のシルエット像を抽出し、予め登録されている各々の姿勢のシルエット像と抽出されたシルエット像との類似性からスコアを求めて姿勢を検知したり、背景差分法により抽出した人物のシルエットから人物の関節点の位置を抽出し、予め登録されている各々の姿勢の関節点の位置と、抽出した人物の関節点の位置との類似性からスコアを求めて姿勢を検知してもよい。
次に様態検知部21は、検知した姿勢の時系列変化情報に基づいて人物2の行動を判定する。例えば、様態検知部21は、検知した姿勢の時系列変化情報に基づいてルールベースにより人物2の行動を判定してよい。例えば人物2の姿勢が、直立、倒れ込み、横臥の順序で変化した場合に、人物2の行動の種別が転倒行動であると判定してよい。様態検知部21は、検知した姿勢の正解確率である「確信度」を出力してもよい。例えば、転倒行動である確率が80%である等のように、検知した行動の種別とその確信度を出力してよい。
【0021】
また例えば様態検知部21は、入力画像の各フレームの各々について、対象フレームとそれ以前のフレームとの間の姿勢の時系列変化情報に基づいて行動を判定し、複数フレームの画像に存在する同一人物について各フレームで検知した姿勢の多数決によって人物2の行動の種別を検知してもよい。
また、様態検知部21は、動画や関節点の時系列情報を入力とし人物の行動を出力データとする機械学習によって生成された学習モデルを用いて人物2の行動の種別を検知してもよい。
【0022】
様態検知部21は、単一の様態の種別だけでなく、複数の様態の種別とその確信度を出力してもよい(例えば「直立立位」90%、「歩行」80%等)。
また例えば様態検知部21は、人物2の姿勢の種別を様態種別として検知してよい。この場合に様態検知部21は、姿勢検知AIに入力画像を入力して人物2の姿勢を推定してもよく、姿勢検知AI以外の手段(例えばルールベース等)によって人物2の姿勢を検知してもよい。
【0023】
混雑度検知部22は、入力画像に基づいて人物2の周囲の人の混雑度を検知する。例えば混雑度検知部22は、画像取得部20が取得した入力画像を、予め様々な密度にて人が存在する空間を撮影した密度画像を用いて密度ごとの特徴量を学習した密度推定器で走査することによって、人物2の周囲の領域における人の混雑度を推定してよい。また、例えば混雑度検知部22が出力する混雑度として複数の段階を定義してよい。また例えば混雑度検知部22は、人物2の周囲の領域における混雑度として人物2の周囲の人口密度そのもの(例えば2.5人/m等)を検知してもよい。また、混雑度の段階の定義は1mあたりの人数多寡以外の方法でもよく、人同士が重なって写っている画像領域の範囲が大きくなるほど高混雑度と定義してもよい。また、入力画像上における混雑度マップを作成し、人物2が存在する画像位置と混雑度マップとに基づき、当該人物2が存在する画像位置における混雑度を検知してもよい。なお、混雑度検知部22が様態検知部21の一部であってよく、様態検知部21が人物2の様態を検知するとともに、当該人物2の周囲の領域における人の混雑度を検知してもよい。
【0024】
以下の説明では、混雑度検知部22が人物2の周囲における人の混雑度として、人物2の周囲の領域が、3段階の混雑度の領域「低混雑領域」、「中混雑領域」又は「高混雑領域」のいずれかあるかを検知する場合について例示する。例えば「低混雑領域」は0.0人/m以上2.0人/m以下の領域であってよく、「中混雑領域」は2.0人/mより高く4.0人/m以下の領域であってよく、「高混雑領域」は4.0人/mよりも高い領域であってよい。
【0025】
出力判定部23は、様態検知部21により検知された様態種別と混雑度検知部22により検知された混雑度とに基づいて、様態検知部21が検知した様態種別の検知結果の信頼性を判定する。
上記のとおり、人物2の近傍に他の人物が存在することを条件に検知される様態種別は、人物2の周囲の混雑度が高い場合に誤検知される虞がある。
【0026】
そこで出力判定部23は、様態検知部21により検知された様態種別が所定様態種別である場合に、混雑度検知部22により検知された混雑度に基づいて、様態検知部21が検知した様態種別の信頼性を判定する。例えば混雑度が高いほど信頼性をより厳しく判定する。厳しく判定とは、人物2が混雑度の高い領域に居る場合において誤検知し易い様態種別について、様態検知部21の検知結果の信頼性を低く判定することを指す。信頼性を低く判定することで、人物2が検知し易い様態種別でないにも関わらずその様態種別であると判定してしまうことを抑制する。
【0027】
例えば出力判定部23は、様態検知部21が検知した様態種別の信頼性を判定する方法として、様態検知部21が検知した様態種別が誤検知であるか否か(様態種別を信頼できるか否か)を判定してよい。この場合例えば出力判定部23は、様態検知部21が様態種別を検知する際に出力する様態種別の確信度が、確信度閾値未満である場合に様態検知部21が検知した様態種別が誤検知である(様態種別が信頼できない)と判定し、確信度閾値以上である場合に様態検知部21が検知した様態種別が誤検知でない(様態種別が信頼できる)と判定してよい。なお、確信度閾値は特許請求の範囲に記載の「判定基準」の一例である。
【0028】
例えば出力判定部23は、様態検知部21が検知した様態種別が怒り行動や、土下座や、突き付けである場合の確信度閾値を、混雑度が高いほどより大きく設定してよい。
図3は、確信度閾値の設定例を示す図である。様態検知部21が検知した様態種別が怒り行動(喧嘩、破壊)である場合の確信度閾値は、人物2の周囲の領域が低混雑領域、中混雑領域、高混雑領域である場合にそれぞれ80%、90%、95%に設定されている。
【0029】
これにより、人物2の周囲の領域が低混雑領域である場合には確信度が80%以上であれば誤検知でないと判定されるのに対し、中混雑領域、高混雑領域である場合には、それぞれ90%以上、95%以上でないと誤検知と判定される。これにより、混雑度が高いほど信頼性がより厳しく判定される。つまり、様態検知部による所定の様態の検知結果の信頼性を低く判定している。
これに対して、様態検知部21が検知した様態種別が所定様態種別(怒り行動、土下座、突き付け)以外の様態種別である場合には、混雑度にかかわらず確信度閾値を80%に設定している。このため、様態検知部21が検知した様態種別が所定様態種別以外の様態種別である場合には、混雑度によって確信度閾値は変化しない。
【0030】
また、様態検知部21が検知した様態種別が土下座や突き付けである場合の確信度閾値も、混雑度が高いほどより高く設定されている。これにより、混雑度が高いほど信頼性がより厳しく判定される。
しかしながら、土下座の場合には人物2が座り込んでいたり蹲っているという特殊な条件が必要であるため、怒り行動に比べて誤検知の虞が小さい。突き付けの場合も、凶器の様な物体を持って相手にかざしている条件が必要なため、怒り行動に比べて誤検知の虞が小さい。したがって、土下座や突き付けの確信度閾値を、怒り行動の確信度閾値と同様の大きさに設定すると、信頼性の判定が過度に厳格になり土下座や突き付けの検知に失敗する虞がある。
【0031】
このため、様態検知部21が検知した様態種別が土下座や突き付けである場合の中混雑領域、高混雑領域における確信度閾値は、怒り行動の場合よりも小さな85%、88%に設定してよい。これにより、人物2の周囲の領域が低混雑領域である場合には確信度が80%以上であれば誤検知でないと判定されるのに対し、中混雑領域、高混雑領域である場合には、それぞれ85%以上、88%以上でないと誤検知と判定される。
このように確信度閾値を設定することにより、様態検知部21が検知した様態種別が土下座や突き付けである場合よりも、様態検知部21が検知した様態種別が怒り行動である場合に、様態検知部21が検知した様態種別の信頼性がより厳しく判定される。
なお、暴力行動は特許請求の範囲に記載の「第1の危険行為を表す第1の様態種別」の一例であり、土下座や突き付けは特許請求の範囲に記載の「第2の危険様態を表す第2の様態種別」の一例である。
【0032】
出力判定部23は、出力判定部23が判定した信頼性に応じて、様態検知部21が検知した様態種別のうちの異常様態について出力部15からの出力を決定する。
例えば出力判定部23は、検知した様態種別が異常様態であり、かつ様態種別の確信度が確信度閾値以上である場合には、出力部15から様態種別を出力し、確信度が確信度閾値未満である場合には様態種別の出力を禁止してもよい。
【0033】
また例えば出力判定部23は、判定した信頼性に応じて出力部15から様態種別を出力する出力先の装置を決定してもよい。例えば出力部15は、有線通信又は無線通信により画像処理装置10の外部装置に様態種別を出力してもよい。外部装置は、例えば監視空間1を監視する監視員が使用するセンタ端末又はローカル監視端末であってもよく、顧客携帯端末であってもよい。
【0034】
出力判定部23は、出力判定部23が判定した信頼性に応じて、これらの端末装置のうちいずれの装置に様態種別を出力するかを切り替えてもよい。例えば、様態種別の確信度が確信度閾値以上である場合にはセンタ端末やローカル監視端末に様態種別を出力し、様態種別の確信度が確信度閾値未満である場合には、顧客携帯端末に様態種別を出力してもよい。
【0035】
(変形例)
(1)人物2の画像位置によっては、様態検知部21による様態種別の検知精度が低下する虞がある。例えば、カメラ11の直下領域の近傍が写っている直下画像領域では様態検知部21による様態種別の検知精度が低下する虞がある。
【0036】
図4(a)は、カメラ11が単方位型のカメラである場合のカメラの光軸OA方向と画角θfの一例の模式図であり、図4(b)は単方位型のカメラ11の撮影画像3における直下画像領域3Dの模式図である。カメラ11が単方位型のカメラである場合、カメラ11の垂直画角θfは70度~90度程度であり、監視空間1の上方に設置されて、俯角θdを有するように光軸OA方向が設定される。このような単方位型のカメラ11の撮影画像3では、直下画像領域3Dが撮影画像3の下端に位置する。
【0037】
図5(a)は、カメラ11が全方位カメラである場合のカメラの光軸OA方向と撮影範囲の一例の模式図であり、図5(b)は全方位カメラ11の撮影画像4における直下画像領域4Dの模式図である。図5(a)においてハッチングを施した領域RFが全方位カメラ11の撮影範囲を示している。全方位カメラ11は、全方位(360度)を撮影領域とし、監視空間1の上方に設置されて光軸OA方向は真下に向けられている。
このような全方位カメラ11の撮影画像4では、全体として円形の像となっており直下画像領域4Dが撮影画像4の中央に位置する。
【0038】
人物2が直下画像領域3D、4Dに写っている場合には、人物2自身の体によって下半身が隠れてしまい人物2の姿勢が誤検知し易くなる。例えば姿勢検知AIを用いて各関節点の位置から人物の姿勢を検知する場合、姿勢検知AIは見えない関節点を推測し、推測した関節点も含めて姿勢を検知する。人物2が直下画像領域3D、4Dに写っている場合、下半身の関節点が曲がるように推測してしまうことが多く、土下座をしていないにもかかわらず土下座と誤検知してしまう。
【0039】
そこで、出力判定部23は、様態検知部21が検知した様態種別が所定様態種別であり、且つ人物2が直下画像領域3D、4D以外の領域に写っている場合には、混雑度検知部22により検知された混雑度に基づいて様態検知部21が検知した様態種別の信頼性を判定し、人物2が直下画像領域3D、4Dに写っている場合には、混雑度検知部22により検知された混雑度に基づいて、直下画像領域3D、4D以外に人物2が写っている場合よりもより厳しく検知部21が検知した様態種別の信頼性を判定してもよい。例えば、直下画像領域3D、4D以外に人物2が写っている場合の確信度閾値は、低混雑領域、中混雑領域、高混雑領域である場合にそれぞれ80%、90%、95%に対し、直下画像領域3D、4Dに人物2が写っている場合の確信度閾値は、低混雑領域、中混雑領域、高混雑領域である場合にそれぞれ82%、92%、97%とする。
【0040】
(2)出力判定部23は、様態検知部21が所定持続時間以上連続して同一の様態種別を検知できない場合に、様態検知部21が検知した様態種別が誤検知であると判定し、所定持続時間以上連続して同一の様態種別を検知できた場合に、様態検知部21が検知した様態種別が誤検知でないと判定してもよい。出力判定部23は、人物2の周囲の混雑度に応じて所定持続時間を設定してよい。
例えば、混雑度がより高いほど所定持続時間をより長く設定してよい。例えば、人物2の周囲の領域が低混雑領域、中混雑領域、高混雑領域である場合に、所定持続時間をそれぞれ2秒、5秒、10秒に設定してよい。
【0041】
同様に、出力判定部23は、所定長の期間において様態検知部21が同一の様態種別を検知した時間が占める割合が所定割合閾値未満であるか否かに応じて、様態検知部21が検知した様態種別が誤検知出力してよい。出力判定部23は、人物2の周囲の混雑度に応じて所定割合閾値を設定してよい。
例えば、混雑度がより高いほど所定割合閾値をより大きく設定してよい。所定持続時間や所定割合閾値は、特許請求の範囲に記載の「判定基準」の一例である。
【0042】
(3)出力判定部23は、様態検知部21が検知した様態種別の信頼性を判定する方法として、様態検知部21が検知した様態種別の確信度を補正してもよい。出力判定部23は、出力判定部23が補正した確信度を出力してもよく、出力判定部23が補正した確信度に応じて様態検知部21が検知した様態種別の出力先の装置を切り替えてもよい。また、様態検知部21が検知した様態種別が誤検知か否かを判定する確信度閾値を全ての様態種別で共通値とし、補正した確信度と閾値とを比較して誤検知か否かを判定してもよい。
【0043】
この場合に出力判定部23は、様態検知部21が出力した確信度を人物2の周囲の混雑度に応じて補正してもよい。例えば、混雑度がより高いほど、様態検知部21が出力する確信度がより小さくなるように補正してよい。様態検知部21が検知した様態種別の信頼性を出力判定部23が補正する補正値は、特許請求の範囲に記載の「判定基準」の一例である。
【0044】
(4)出力判定部23は、様態検知部21が求めたスコアを用いて、信頼性を判定してもよい。このとき、様態検知部21は求めたスコアを出力判定部23に出力する。例えば、混雑度が高いほどスコアの値を低くして信頼性を判定する閾値と比較したり、混雑度が高いほど信頼性を判定する閾値を高くして出力されたスコアと比較したりする。様態検知部21が様態検知のために求めた値を出力判定部23が補正する補正値は、特許請求の範囲に記載の「判定基準」の一例である。
【0045】
また、様態検知部21が、求めた特徴量やスコアの値を、混雑度に応じて補正してもよい。様態検知部21が混雑度を用いて様態を検知することは、特許請求の範囲に記載の「判定基準」の一例である。
【0046】
(5)様態検知部21は、様態検知部21が検知した様態種別について出力判定部23に出力する確信度を、人物2の周囲の混雑度に応じて補正して、様態検知部21が検知した様態種別の信頼性を判定してもよい。
例えば、混雑度がより高いほど、様態検知部21が出力する確信度がより小さくなるように補正してよい。出力判定部23は、補正後の確信度を用いて出力するか否かを判定するため、様態検知部21が補正する補正値は、特許請求の範囲に記載の「判定基準」の一例である。
【0047】
(6)様態検知部21は、入力画像中の複数フレームから様態種別を検知する際に、所定数の連続するフレームのうち閾値以上のフレーム数で検知した様態種別を、人物2の様態種別として検知して、様態検知部21が検知した様態種別の信頼性を判定してもよい。以下の説明において、所定数の連続するフレームのうち様態種別を検知するのに必要とするフレーム数の閾値を「所要フレーム数閾値」と表記することがある。
【0048】
例えば、様態検知部21が所定様態種別を検知する場合の所要フレーム数閾値を、人物2の周囲の混雑度に応じて設定してもよい。例えば混雑度がより高いほど、より大きな所要フレーム数閾値を設定してよい。
図6は、所要フレーム数閾値の設定例を示す図である。図6の設定は、連続する15フレームから様態種別を検出する場合(すなわち「所定数」が15である場合)の例を示している。怒り行動(喧嘩、破壊)を検知する場合の所要フレーム数閾値は、人物2の周囲の領域が低混雑領域、中混雑領域、高混雑領域である場合にそれぞれ10フレーム、12フレーム、14フレームに設定されている。
【0049】
これにより、人物2の周囲の領域が低混雑領域である場合には、様態検知部21は、連続する15フレーム中10フレーム以上で怒り行動を検知すれば、人物2の行動種別として怒り行動を出力判定部23に出力する。これに対し、中混雑領域、高混雑領域である場合には、それぞれ12フレーム以上、14フレーム%以上でないと怒り行動を人物2の行動種別として出力しない。これにより、混雑度が高いほど怒り行動を検知にくくなるように所要フレーム数閾値が設定されるので、混雑度が高い状況における怒り行動の誤検知を抑制できる。
【0050】
これに対して、所定様態種別(すなわち怒り行動、土下座、突き付け)以外の様態種別を検知する場合には、混雑度にかかわらず、所要フレーム数閾値を10フレームに設定している。このため、所定様態種別以外の様態種別を検知する場合には、混雑度によって所要フレーム数閾値は変化しない。
【0051】
また、土下座や突き付けを検知する場合の所要フレーム数閾値も、混雑度が高いほどより大きく設定されている。これにより、混雑度が高いほど土下座や突き付けを検知にくくなるように所要フレーム数閾値が設定されるので、混雑度が高い状況における土下座や突き付けの誤検知を抑制できる。
一方で、土下座や突き付けを検知する場合の所要フレーム数閾値を、怒り行動の場合の所要フレーム数閾値と同じ大きさにすると、土下座や突き付けを検知する判定基準が過度に厳格になり土下座や突き付けの検知に失敗する虞がある。そこで、土下座や突き付けの場合の中混雑領域、高混雑領域における所要フレーム数閾値を、怒り行動の場合よりも小さな11フレーム、12フレームに設定されている。
【0052】
この結果、人物2の周囲の領域が低混雑領域である場合には、様態検知部21は、連続する15フレーム中10フレーム以上で土下座や突き付けを検知すれば、人物2の行動種別としてこれらの行動を出力判定部23に出力する。これに対し、中混雑領域、高混雑領域である場合には、それぞれ11フレーム以上、12フレーム%以上でないと土下座や突き付けを人物2の行動種別として出力しない。混雑度に応じて様態種別の信頼性を判定した結果を用いて出力判定部23が出力するか否かを判定するため、様態検知部21が混雑度に応じて設定する所要フレーム数閾値は、特許請求の範囲に記載の「判定基準」の一例である。
【0053】
(7)様態検知部21は、姿勢検知AIによって検知した人物2の姿勢の信頼性を、人物2の周囲の混雑度に応じて判定してもよい。つまり、様態検知部21が出力判定部23の一部であってもよく、様態検知部21が人物の様態種別を検知するとともに混雑度に基づき検知した様態種別の信頼性を判定してもよい。
検知した姿勢の信頼性を判定する方法として、様態検知部21は、姿勢検知AIが検知した姿勢が正しいか否かを判定してもよい。検知した姿勢が正しい場合に様態検知部21は、姿勢検知AIが検知した姿勢の時系列変化情報に基づいて検知した行動を、人物2の様態種別として出力判定部23に出力してよい。出力判定部23へ出力する様態種別が姿勢である実施形態の場合には、姿勢検知AIが検知した姿勢を、人物2の様態種別として出力判定部23に出力してよい。
【0054】
検知した姿勢が正しくない場合には、姿勢検知AIが検知した姿勢を用いて人物2の行動を検知することや、姿勢検知AIが検知した姿勢を人物2の様態種別として出力することを禁止する。
このとき様態検知部21は、人物2の画像から認識した関節点(骨格)などの角度や移動量に応じて、姿勢検知AIによって検知した人物2の姿勢が正しいか否かを判定してもよい。
【0055】
例えば様態検知部21は、腕を振り下ろす回数が閾値以上である場合に、姿勢検知AIが検知した威嚇姿勢が正しいと判定してよい。例えば、様態検知部21は、混雑度が高いほど、腕を振り下ろす回数の閾値を大きく設定してよい。例えば、低混雑領域、中混雑領域、高混雑領域における閾値を、それぞれ2回、4回、8回に設定してよい。また、腿(腰)と膝を結ぶ線と膝と足を結ぶ線との角度が閾値以下である場合に、姿勢検知AIが検知した屈み(土下座)の姿勢が正しいと判定する場合、混雑度が高くなるほど閾値を小さく設定してもよい。角度を小さくすることで膝を曲げて床に座っている姿勢を正確に検知できる。
【0056】
また例えば様態検知部21は、姿勢検知AIが検知した姿勢の信頼性を判定する方法として、姿勢検知AIが検知した姿勢の確信度を判定してもよい。例えば、様態検知部21は、同じ高さの確信度を得るため要件を混雑度が高いほど厳しく設定してもよい。
例えば様態検知部21は、姿勢検知AIが検知した人物2の姿勢が威嚇姿勢である場合、腕を振り下ろす回数に応じて姿勢検知AIが検知した姿勢の確信度を判定してもよい。
【0057】
そして、低混雑領域、中混雑領域、高混雑領域において確信度が100%に到達するための回数を、例えばそれぞれ2回、4回、8回に設定してよい。このように確信度の算出方法を定めた場合、例えば腕を振り下ろす回数が2回であった場合は、低混雑領域では確信度は100%になり、中混雑領域では50%になり、高混雑領域では25%になる。
【0058】
(実施形態の効果)
(1)画像処理装置10は、カメラ11が撮影した入力画像を取得する画像取得部20と、入力画像に写る対象物の様態種別を検知する様態検知部21と、対象物の周囲の混雑度を検知する混雑度検知部22と、様態検知部21により検知された様態種別と混雑度検知部22により検知された混雑度とに基づいて、検知された様態種別の信頼性を判定する出力判定部23と、を備える。
これにより、対象物の周囲が混雑している場合に対象物の様態種別の検知精度が低下するのを抑制できる。
【0059】
(2)出力判定部23は、検知された様態種別が複数の様態種別のうち所定の様態種別である場合にのみ、混雑度に基づいて信頼性を判定してよい。
これにより、対象物の周囲が混雑している場合に所定の様態種別の検知精度が低下するのを抑制できる。
(3)出力判定部23は、混雑度に応じて予め定義した信頼性の判定基準に基づいて、検知された様態種別の信頼性を判定してもよい。これにより、対象物の周囲の混雑度の違いに応じた信頼性の判定が可能となり、混雑度により様態種別の検知精度が低下するのを抑制できる。
【0060】
(4)検知された様態種別が所定の様態種別である場合に、混雑度が高いほど信頼性をより厳しく判定するように判定基準を定義してよい。これにより、混雑度が高い場合において対象物の様態種別の検知精度が低下するのを抑制できる。
(5)画像処理装置10は、対象物として人物の様態種別を検知してよい。所定の様態種別は、対象物である人物の近くに他の人物が存在することを条件として検知される様態種別であってよい。これにより、対象物の近くに他の人物が存在することを条件として検知される様態種別の検知精度が、混雑度によって低下するのを抑制できる。
【0061】
(6)検知された様態種別が第1様態種別である場合と第2様態種別である場合の両方の場合において混雑度が高いほど信頼性をより厳しく判定し、第2様態種別である場合よりも第1様態種別である場合に信頼性をより厳しく判定するように判定基準が定義されていてもよい。これにより、混雑度が高いほど信頼性をより厳しく判定する複数の様態種別が存在する場合に、これら複数の様態種別の間に判定基準の緩急を設けることができる。
【0062】
(7)様態検知部21は、画像データを入力とし画像データの画像内に写る対象物の姿勢を出力データとする機械学習によって生成された学習モデルに、入力画像を入力して対象物の姿勢を推定する姿勢検知部と、検知された姿勢の変化に基づいて対象物の行動の種別を検知し、検知した行動の種別を様態種別として出力する行動検知部と、を備えてもよい。これにより、学習モデルを用いて対象物の姿勢を推定する場合に、対象物の周囲の混雑度に起因して対象物の様態種別の検知精度が低下するのを抑制できる。
【0063】
(8)様態検知部21は、対象物の関節位置に基づいて対象物の様態種別を検知してよい。これにより、対象物の関節位置に基づいて対象物の姿勢を推定する場合に、対象物の周囲の混雑度に起因して対象物の様態種別の検知精度が低下するのを抑制できる。
(9)様態検知部21は、混雑度検知部22により検知された混雑度に基づいて対象物の様態種別を検知するか、混雑度に基づいて対象物の様態種別の確信度を算出してよい。これにより、様態検知部21における様態種別の検知精度や確信度の算出精度を向上できる。
【0064】
本発明の一実施形態にかかる画像処理装置は、労働力人口減少などの社会課題の解決に貢献し得るものである。
【符号の説明】
【0065】
1…監視空間、2…人物(検知対象)、10…画像処理装置、11…カメラ、12…入力部、13…記憶部、14…制御部、15…出力部、20…画像取得部、21…様態検知部、22…混雑度検知部、23…判定部、23…出力判定部
図1
図2
図3
図4
図5
図6