特開 2025-105026 画像処理装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025105026

(43)【公開日】2025-07-10

(54)【発明の名称】画像処理装置及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250703BHJP

   G06T 7/70 20170101ALI20250703BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 350B

G06T7/70 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023223284

(22)【出願日】2023-12-28

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100114177

【弁理士】

【氏名又は名称】小林 龍

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(72)【発明者】

【氏名】澤井 庸平

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA04

5L096DA03

5L096FA67

5L096FA69

5L096GA30

5L096GA51

5L096JA03

5L096JA11

(57)【要約】

【課題】画像に写る検知対象の様態を検知する際に、対象物を撮影するカメラと検知対象との相対位置関係による検知精度の低下を抑制する。
【解決手段】画像処理装置１０は、カメラ１１が撮影した入力画像を取得する画像取得部２０と、入力画像に写る移動体の様態種別を検知する様態検知部２１と、移動体の入力画像上の位置である画像位置を検知する画像位置検知部２２と、画像位置検知部２２により検知された画像位置に基づいて、様態検知部２１による所定の様態の検知結果の信頼性を判定する判定部２３と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

カメラが撮影した入力画像を取得する画像取得部と、
前記入力画像に写る移動体による所定の様態を検知する様態検知部と、
前記移動体の前記入力画像上の位置である画像位置を検知する画像位置検知部と、
前記画像位置検知部により検知された前記画像位置に基づいて、前記様態検知部による前記所定の様態の検知結果の信頼性を判定する判定部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記判定部は、前記入力画像の複数の画像領域のうち所定の画像領域に前記移動体が位置する場合と、他の画像領域に前記移動体が位置する場合と、の間で前記所定の様態を検知した場合の前記信頼性の判定基準を異ならせることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記移動体は人物であり、
前記所定の画像領域は、前記カメラの直下の近傍が写された前記入力画像の一部の画像領域であり、
前記所定の様態は、前記人物の下半身を重視して検知する姿勢又は行動であり、
前記判定部は、前記所定の画像領域に前記移動体が位置する場合、前記他の画像領域に前記移動体が位置する場合よりも前記信頼性を低く判定することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記様態検知部は、前記移動体による複数の様態種別を検知し、
前記所定の画像領域の前記入力画像上の位置は、前記様態種別ごとに設定されていることを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記様態検知部は、前記移動体による複数の様態種別を検知し、
前記判定部は、前記所定の画像領域で第１の様態種別または第２の様態種別を検知したとき、前記第１の様態種別を検知した場合は前記他の画像領域より前記信頼性を低く判定し、前記第２の様態種別を検知した場合には前記他の画像領域より前記信頼性を高く判定する、ことを特徴とする請求項２に記載の画像処理装置。

【請求項6】

前記様態検知部は、前記移動体による複数の様態種別を検知し、
前記判定部は、前記複数の様態種別のうち所定の様態種別が検知された場合、前記画像位置に基づいて前記信頼性を判定することを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記判定部は、前記画像位置及び前記カメラの設置状況に基づいて前記所定の様態を検知した場合の前記信頼性の判定基準を異ならせることを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記移動体は人物であり、
前記様態検知部は、前記人物の関節情報に基づき、前記様態として人物の姿勢又は行動を検知することを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記様態検知部は、画像データを入力とし画像データの画像内に写る前記移動体による所定の様態を出力データとする機械学習によって生成された学習モデルに、前記入力画像を入力して前記移動体による所定の様態を出力することを特徴とする請求項１に記載の画像処理装置。

【請求項10】

カメラが撮影した入力画像を取得する画像取得処理と、
前記入力画像に写る移動体による所定の様態を検知する様態検知処理と、
前記移動体の前記入力画像上の位置である画像位置を検知する画像位置検知処理と、
前記画像位置検知処理において検知された前記画像位置に基づいて、前記様態検知処理による前記所定の様態の検知結果の信頼性を判定する判定処理と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びコンピュータプログラムに関する。

【背景技術】

【0002】

従来より、画像に写る検知対象の様態を検知する技術が提案されている。例えば下記特許文献１には、検知対象である人物を撮影した画像データから人物の姿勢や行動などの様態を検知するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２３－３０９６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、検知対象を撮影するカメラと検知対象との相対位置関係によっては、検知対象の様態の検知精度が低下する虞がある。例えば、検知対象である人物が怒っている行動である怒り行動（例えば破壊行動や喧嘩など）の検知に失敗したり、人物が直立しているにもかかわらず、人物が座っている座位行動（例えば屈み、蹲り、土下座など）などを誤って検知する虞がある。
本発明は、画像に写る検知対象の様態を検知する際に、対象物を撮影するカメラと検知対象との相対位置関係による検知精度の低下を抑制することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一形態による画像処理装置は、カメラが撮影した入力画像を取得する画像取得部と、入力画像に写る移動体の様態種別を検知する様態検知部と、移動体の入力画像上の位置である画像位置を検知する画像位置検知部と、画像位置検知部により検知された画像位置に基づいて、様態検知部による所定の様態の検知結果の信頼性を判定する判定部と、を備える。

【発明の効果】

【0006】

本発明によれば、画像に写る検知対象の様態を検知する際に、対象物を撮影するカメラと検知対象との相対位置関係による検知精度の低下を抑制できる。

【図面の簡単な説明】

【0007】

【図1】実施形態の画像処理装置の一例の概略構成図である。

【図2】検出対象の画像位置に起因して様態種別を誤検知する場合の一例の説明図である。

【図3】実施形態の画像処理装置の機能構成の一例を示すブロック図である。

【図4】（ａ）は単方位型のカメラの光軸方向と画角の一例の模式図であり、（ｂ）は単方位型のカメラの撮影画像における直下画像領域の模式図である。

【図5】（ａ）は全方位カメラの光軸方向と画角の一例の模式図であり、（ｂ）は全方位カメラの撮影画像における直下画像領域の模式図である。

【図6】確信度閾値の設定の一例を示す図である。

【図7】（ａ）は単方位型のカメラの撮影画像における遠方画像領域の模式図であり、（ｂ）は全方位カメラの撮影画像における遠方画像領域の模式図である。

【図8】確信度閾値の設定の他の例を示す図である。

【図9】（ａ）及び（ｂ）は確信度閾値の補正量の設定例を示す図である。

【発明を実施するための形態】

【0008】

以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

【0009】

図１は、実施形態の画像処理装置の一例の概略構成図である。画像処理装置１０は、監視空間１内における検知対象の様態種別を検知する。本明細書では、監視空間１内に存在する検知対象として人物２の様態種別を検知する場合を例示する。

【0010】

画像処理装置１０は、人物２の様態種別として、人物２の姿勢や行動を検知する。検知対象の様態種別には、人物２単独の姿勢や行動により検知するものと、複数の人物の姿勢や行動により検知するものがある。画像処理装置１０は、監視空間１の監視者等に対して異常事態が発生したことを通知する人物２の様態である異常様態として、人物２の異常姿勢や異常行動を検知する。異常様態とする検知対象の姿勢や行動は、例えば、「威嚇（腕等を振りかぶっている人物）」、「喧嘩（他人に対して拳等を当てている人物）」、「破壊（腕等を振り下ろしている人物）」、「転倒（立位姿勢から倒れこみ横臥の姿勢に変化した人物）」、「ホールドアップ（脅迫される等により両手を上げ続けている人物）」、「突き付け（腕を他人に向けて伸ばしている人物（例えば、凶器等を他人に突き付けている人物））」、「屈み（膝や腰を曲げてしゃがみ続けている人物）」、「土下座（ひれ伏して他人に礼をする人物）」、「匍匐（腹ばいで全身している人物）」、「横臥（横になり寝続けている人物）」などである。さらに、異常様態以外の様態種別を検知してもよい。例えば「立位」、「直立」、「座位」、などの姿勢や、「歩行」、「ランニング」などの行動を検知してよい。
なお、画像処理装置１０は、人物２以外の検知対象の様態種別を検知してもよい。例えば、検知対象としてマニピュレータを有する機械や非人型のロボットの様態種別を検知してもよい。例えば画像処理装置１０は、マニピュレータの向きや屈伸状態といった姿勢を様態種別として検知してもよく、これらの姿勢の変化である動作を様態種別として検知してもよい。

【0011】

画像処理装置１０は、カメラ１１と、入力部１２と、記憶部１３と、制御部１４と、出力部１５を備える。これらのうちの記憶部１３及び制御部１４を、いわゆるコンピュータで実現してよく、入力部１２及び出力部１５を、当該コンピュータの周辺機器として実現してよい。
カメラ１１は、監視空間１内に存在する物体を撮影した画像を生成するために監視空間１内に配置される。カメラ１１は、例えば水平画角や垂直画角が９０度程度の単方位型のカメラであってよい。またカメラ１１は、全方位（３６０度）を撮影領域（監視領域）とする全方位カメラであってもよい。なお、画像処理装置１０はカメラ１１を備えず、外部の撮影装置から映像を取得してもよい。

【0012】

入力部１２は、利用者に操作されてデータの入力等に用いられるキーボード、マウス等のユーザーインターフェースを含む。入力部１２は、制御部１４に接続され、利用者の操作を操作信号に変換して制御部１４に出力する。
また、入力部１２はＤＶＤ（Digital Versatile Disc）ドライブ、ＵＳＢ（Universal Serial Bus）インターフェースを含んでもよい。入力部１２は、データをファイルとして制御部１４に入力し、およびデータをファイルとして制御部１４から出力する。
記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部１３は、制御部１４と接続されて制御部１４との間でこれらの情報を入出力する。

【0013】

制御部１４は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。制御部１４は、記憶部１３と接続され、記憶部１３からコンピュータプログラムを読み出して実行することにより各種処理部として動作し、各種データを記憶部１３に記憶させ、読み出す。以下に説明する画像処理装置１０の機能は、記憶部１３に記憶されたコンピュータプログラムを制御部１４が実行することにより実現される。

【0014】

出力部１５は、制御部１４と接続され、制御部１４による様態種別の検知結果を出力する。出力部１５は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置を含んでよい。出力部１５は、スピーカ又はブザー等の音声信号出力装置を備えてもよい。出力部１５は、有線通信又は無線通信により画像処理装置１０と外部装置との間でデータの送受信を行うネットワークインターフェース等を備えてもよい。

【0015】

制御部１４は、カメラ１１が監視空間１内に存在する人物２を撮影して生成した撮影画像を取得し、撮影画像に写る人物２の様態種別を検知する。このとき、人物２が撮影画像に写る撮影画像上の位置（以下「画像位置」と表記する）は、カメラ１１と人物との相対位置関係に応じて定まる。人物２の画像位置によっては、人物２の様態種別の検知精度が低下する虞がある。
いま、図１に示すように、人物２がカメラ１１の直下領域の近傍に位置している場合を想定する。図２は、カメラ１１で人物２を撮影した撮影画像の模式図である。

【0016】

図２の撮影画像３の場合、カメラ１１の直下領域の近傍が写っている画像領域（以下の説明において「直下画像領域」と表記することがある）に、人物２が写っている。カメラ１１が単方位型のカメラである場合、カメラ１１の光軸よりも上側の被写体が写る撮影画像３の範囲を上側、光軸よりも下側の被写体が写る範囲を下側と定義すると、直下画像領域は、撮影画像３の下端付近の領域である。

【0017】

人物２が直下画像領域に写っている場合には、人物２自身の体によって下半身が隠れてしまい人物２の姿勢が誤検知し易くなる。また、人物２の各部位の動きが検知し難いために人物２の行動も誤検知し易くなる。
そこで実施形態の画像処理装置１０は、撮影画像３に写る人物２の様態種別を検知するとともに、人物２の撮影画像３上の位置である画像位置を検知し、検知された様態種別と画像位置とに基づいて、検知された様態種別の信頼性を判断する。

【0018】

図３は、実施形態の画像処理装置１０の機能構成の一例を示すブロック図である。画像処理装置１０は、上述のカメラ１１及び出力部１５と、画像取得部２０と、様態検知部２１と、画像位置検知部２２と、出力判定部２３を備える。
画像取得部２０は、カメラ１１が監視空間１内に存在する物体を撮影して生成した画像を入力画像として取得する。

【0019】

様態検知部２１は、画像取得部２０が取得した入力画像に写る人物２の様態種別を検知する。例えば様態検知部２１は、人物２の行動の種別を様態種別として検知してよい。この場合に様態検知部２１は、まず入力画像に写る人物２の姿勢を検知する。例えば様態検知部２１は、画像データを入力とし画像データの画像内に写る人物の姿勢を出力データとする機械学習によって生成された学習モデル（以下「姿勢検知ＡＩ（Artificial Intelligence）」と表記することがある）に入力画像を入力して人物２の姿勢を推定してよい。例えば姿勢検知ＡＩは、入力画像に写る人物２の関節点の位置を識別し、関節点の位置の特徴量に基づいて人物２の姿勢を推定してよい。

【0020】

また例えば様態検知部２１は、学習モデル以外の手段（例えばルールベース等）によって人物２の姿勢を検知してもよい。例えば様態検知部２１は、背景差分法により人物２のシルエット像を抽出し、予め登録されている各々の姿勢のシルエット像と抽出されたシルエット像との類似性からスコアを求めて姿勢を検知したり、背景差分法により抽出した人物のシルエットから人物の関節点の位置を抽出し、予め登録されている各々の姿勢の関節点の位置と、抽出した人物の関節点の位置との類似性からスコアを求めて姿勢を検知してもよい。
次に様態検知部２１は、検知した姿勢の時系列変化情報に基づいて人物２の行動を判定する。例えば、様態検知部２１は、検知した姿勢の時系列変化情報に基づいてルールベースにより人物２の行動を判定してよい。例えば人物２の姿勢が、直立、倒れ込み、横臥の順序で変化した場合に、人物２の行動の種別が転倒行動であると判定してよい。様態検知部２１は、検知した姿勢の正解確率である「確信度」を出力してもよい。例えば、転倒行動である確率が８０％である等のように、検知した行動の種別とその確信度を出力してよい。

【0021】

また例えば様態検知部２１は、入力画像の各フレームの各々について、対象フレームとそれ以前のフレームとの間の姿勢の時系列変化情報に基づいて行動を判定し、複数フレームの画像に存在する同一人物について各フレームで検知した姿勢の多数決によって人物２の行動の種別を検知してもよい。
また、様態検知部２１は、動画や関節点の時系列情報を入力とし人物の行動を出力データとする機械学習によって生成された学習モデルを用いて人物２の行動の種別を検知してもよい。

【0022】

様態検知部２１は、単一の様態の種別だけでなく、複数の様態の種別とその確信度を出力してもよい（例えば「直立立位」９０％、「歩行」８０％等）。
また例えば様態検知部２１は、人物２の姿勢の種別を様態種別として検知してよい。この場合に様態検知部２１は、姿勢検知ＡＩに入力画像を入力して人物２の姿勢を推定してもよく、姿勢検知ＡＩ以外の手段（例えばルールベース等）によって人物２の姿勢を検知してもよい。

【0023】

画像位置検知部２２は、人物２の入力画像上の位置である画像位置を検知する。なお、様態検知部２１が画像検知部２２の一部であってもよく、様態検知部２１が人物の様態を検知するとともに人物２の入力画像上の位置を検知してもよい。
出力判定部２３は、様態検知部２１により検知された様態種別と画像位置検知部２２により検知された画像位置とに基づいて、様態検知部２１が検知した様態種別の信頼性を判定する。
上記のとおり、人物２の画像位置によっては、様態検知部２１による様態種別の検知精度が低下する虞がある。例えば、カメラ１１の直下領域の近傍が写っている直下画像領域では様態検知部２１による様態種別の検知精度が低下する虞がある。

【0024】

図４（ａ）は、カメラ１１が単方位型のカメラである場合のカメラの光軸ＯＡ方向と画角θｆの一例の模式図であり、図４（ｂ）は単方位型のカメラ１１の撮影画像３における直下画像領域３Ｄの模式図である。カメラ１１が単方位型のカメラである場合、カメラ１１の垂直画角θｆは７０度～９０度程度であり、監視空間１の上方に設置されて、俯角θｄを有するように光軸ＯＡ方向が設定される。このような単方位型のカメラ１１の撮影画像３では、直下画像領域３Ｄが撮影画像３の下端に位置する。

【0025】

図５（ａ）は、カメラ１１が全方位カメラである場合のカメラの光軸ＯＡ方向と撮影範囲の一例の模式図であり、図５（ｂ）は全方位カメラ１１の撮影画像４における直下画像領域４Ｄの模式図である。図５（ａ）においてハッチングを施した領域ＲＦが全方位カメラ１１の撮影範囲を示している。全方位カメラ１１は、全方位（３６０度）を撮影領域とし、監視空間１の上方に設置されて光軸ＯＡ方向は真下に向けられている。
このような全方位カメラ１１の撮影画像４では、全体として円形の像となっており直下画像領域４Ｄが撮影画像４の中央に位置する。

【0026】

人物２が直下画像領域３Ｄ、４Ｄに写っている場合には、人物２自身の体によって下半身が隠れてしまい人物２の姿勢が誤検知し易くなる。例えば姿勢検知ＡＩを用いて各関節点の位置から人物の姿勢を検知する場合、姿勢検知ＡＩは見えない関節点を推測し、推測した関節点も含めて姿勢を検知する。人物２が直下画像領域３Ｄ、４Ｄに写っている場合、下半身の関節点が曲がるように推測してしまうことが多く、座位行動をしていないにもかかわらず座位行動と誤検知してしまう。つまり、様態種別のうち人物の下半身の関節情報を重視して検知する様態種別を誤検知し易くなる。具体的には、膝を曲げている様態種別又は膝を曲げて床に座っている様態種別を誤検知し易くなる。

【0027】

そこで出力判定部２３は、様態検知部２１が検知した様態種別が座位行動である場合には、人物２が直下画像領域３Ｄ、４Ｄに写っている場合には、直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合よりも様態検知部２１が検知した様態種別の信頼性を厳しく判定する。厳しく判定とは、所定の画像領域において誤検知し易い様態種別について、様態検知部２１の検知結果の信頼性を低く判定することを指す。信頼性を低く判定することで、人物２が検知し易い様態種別でないにも関わらずその様態種別であると判定してしまうことを抑制する。なお、座位行動は、特許請求の範囲に記載の「座位様態」の一例である。

【0028】

例えば出力判定部２３は、様態検知部２１が検知した様態種別の信頼性を判定する方法として、様態検知部２１が検知した様態種別が誤検知であるか否か（様態種別を信頼できるか否か）を判定してよい。この場合例えば出力判定部２３は、様態検知部２１が様態種別を検知する際に出力する様態種別の確信度が、確信度閾値未満である場合に様態検知部２１が検知した様態種別が誤検知である（様態種別が信頼できない）と判定し、確信度閾値以上である場合に様態検知部２１が検知した様態種別が誤検知でない（様態種別が信頼できる）と判定してよい。なお、確信度閾値は特許請求の範囲に記載の「判定基準」の一例である。

【0029】

例えば出力判定部２３は、様態検知部２１が検知した様態種別が座位行動である場合の確信度閾値を、人物２が直下画像領域３Ｄ、４Ｄに写っている場合には、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合よりも高く設定してよい。
図６は、確信度閾値の設定の一例を示す図である。様態検知部２１が検知した様態種別が座位行動である場合の確信度閾値を、人物２が直下画像領域３Ｄ、４Ｄに写っている場合に９５％に設定し、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合には８０％に設定している。

【0030】

これより、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合には確信度が９５％以上でなければ誤検知と判定されるのに対し、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合には確信度が８０％以上であれば誤検知でないと判定される。
一方で、様態検知部２１が検知した様態種別が座位行動や怒り行動以外の様態種別である場合には、人物２の画像位置が直下画像領域３Ｄ、４Ｄ内であるか否かにかかわらず、確信度閾値を８０％に設定している。このため、様態検知部２１が検知した様態種別が座位行動や怒り行動以外の様態種別である場合には、人物２の画像位置が直下画像領域３Ｄ、４Ｄ内であるか否かによって確信度閾値は変化しない。

【0031】

また、人物２が直下画像領域３Ｄ、４Ｄに写っている場合、人物２の腕の動きを検知し難く、腕を振っていても（殴る等の際の腕の振り）動きが小さく写ってしまい、喧嘩や破壊といった怒り行動が検知し難くなる。また、人物の腕の上下の位置を検知し難く、腕を振り上げているにも関わらず下ろしているように画像上では写ってしまい、ホールドアップや突きつけの行動が検知し難くなる。
そこで出力判定部２３は、様態検知部２１が検知した様態種別が怒り行動やホールドアップ、突きつけの行動である場合には、人物２が直下画像領域３Ｄ、４Ｄに写っている場合には、直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合よりも様態検知部２１が検知した様態種別の信頼性を緩やかに判定する。緩く判定とは、所定の画像領域において検知し難い様態種別について、様態検知部２１の検知結果の信頼性を高く判定することを指す。信頼性を高く判定することで、人物２が検知し難い様態種別である場合に、その様態種別でないと判定してしまうことを抑制する。

【0032】

例えば出力判定部２３は、様態検知部２１が検知した様態種別が怒り行動である場合の確信度閾値を、人物２が直下画像領域３Ｄ、４Ｄに写っている場合には、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合よりも低く設定してよい。
例えば様態検知部２１が検知した様態種別が怒り行動である場合の確信度閾値を、人物２が直下画像領域３Ｄ、４Ｄに写っている場合に７０％に設定し、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合には８０％に設定している。

【0033】

出力判定部２３は、出力判定部２３が判定した信頼性に応じて、様態検知部２１が検知した様態種別のうちの異常様態について出力部１５からの出力を決定する。
例えば出力判定部２３は、検知した様態種別が異常様態であり、かつ様態種別の確信度が確信度閾値以上である場合には、出力部１５から様態種別を出力し、確信度が確信度閾値未満である場合には様態種別の出力を禁止してもよい。

【0034】

また例えば出力判定部２３は、判定した信頼性に応じて出力部１５から様態種別を出力する出力先の装置を決定してもよい。例えば出力部１５は、有線通信又は無線通信により画像処理装置１０の外部装置に様態種別を出力してもよい。外部装置は、例えば監視空間１を監視する監視員が使用するセンタ端末又はローカル監視端末であってもよく、顧客携帯端末であってもよい。

【0035】

出力判定部２３は、出力判定部２３が判定した信頼性に応じて、これらの端末装置のうちいずれの装置に様態種別を出力するかを切り替えてもよい。例えば、様態種別の確信度が確信度閾値以上である場合にはセンタ端末やローカル監視端末に様態種別を出力し、様態種別の確信度が確信度閾値未満である場合には、顧客携帯端末に様態種別を出力してもよい。

【0036】

（変形例）
（１）直下画像領域３Ｄ、４Ｄ以外にも、人物２の様態種別の検知精度が低下する画像領域が存在する。例えば、カメラ１１から離れた遠方領域が写っている画像領域（以下の説明において「遠方画像領域」と表記することがある）においても、様態検知部２１による様態種別の検知精度が低下する虞がある。

【0037】

図７（ａ）は単方位型のカメラの撮影画像３における遠方画像領域３Ｆの模式図であり、図７（ｂ）は全方位カメラの撮影画像４における遠方画像領域４Ｆの模式図である。
単方位型のカメラの撮影画像３における遠方画像領域３Ｆは、撮影画像３の下端に位置する。一方で全方位カメラの撮影画像４における遠方画像領域４Ｆは、撮影画像４の画像端（周辺）に位置する。

【0038】

人物２が遠方画像領域３Ｆ、４Ｆに写っている場合には、人物２の像が小さくなるため、関節点の細かい動きを判定する必要がある怒り行動（喧嘩／破壊）が検知し難くなる。また、人物２が遠方画像領域３Ｆ、４Ｆに写っている場合には、カメラ１１から人物２を見る視線方向が水平方向に近くなる。このため、人物２がカメラ１１の視線方向に移動すると人物２の行動を検知し難くなる。例えば、人物２がカメラ１１の視線方向に倒れると、転倒行動（例えば「転倒」や「卒倒」）を検知し難くなる。

【0039】

そこで出力判定部２３は、様態検知部２１が検知した様態種別が怒り行動や転倒行動であるとき、人物２が遠方画像領域３Ｆ、４Ｆに写っている場合には、人物２が遠方画像領域３Ｆ、４Ｆ以外の領域に写っている場合よりも、様態検知部２１が検知した様態種別の信頼性を緩やかに判定する。

【0040】

図８は、確信度閾値の設定の他の例を示す図である。例えば出力判定部２３は、様態検知部２１が検知した様態種別が怒り行動や転倒行動である場合の確信度閾値を、人物２が遠方画像領域３Ｆ、４Ｆに写っている場合には、遠方画像領域３Ｆ、４Ｆ以外の領域に写っている場合よりも低く設定してよい。
例えば様態検知部２１が検知した様態種別が怒り行動や転倒行動である場合の確信度閾値を、人物２が遠方画像領域３Ｆ、４Ｆ以外の領域に写っている場合には８０％に設定し、遠方画像領域３Ｆ、４Ｆに写っている場合に７０％に設定している。

【0041】

一方で、様態検知部２１が検知した様態種別が怒り行動や転倒行動以外の様態種別である場合には、人物２の画像位置が遠方画像領域３Ｆ、４Ｆ内であるか否かにかかわらず、確信度閾値を８０％に設定している。このため、様態検知部２１が検知した様態種別が怒り行動や転倒行動以外の様態種別である場合には、人物２の画像位置が遠方画像領域３Ｆ、４Ｆ内であるか否かによって確信度閾値は変化しない。

【0042】

（２）出力判定部２３は、様態検知部２１が検知した様態種別の信頼性を判定するために使用する上記の確信度閾値を、カメラ１１が設置されている状況に基づいて設定してもよい。図９（ａ）及び図９（ｂ）は、カメラ１１の設置条件に応じた確信度閾値の補正量の設定例を示す図である。
カメラ１１が単方位型のカメラである場合、例えばカメラ１１の設置条件として、カメラ１１の光軸ＯＡの俯角θｄに応じて、人物２の画像位置が直下画像領域３Ｄ、４Ｄ内である場合の確信度閾値を補正してもよい。俯角θｄが大きくなるほど、座位行動を誤検知し易くなり、怒り行動を検知し難くなるためである。

【0043】

様態検知部２１が検知した様態種別が座位行動である場合には、人物２が直下画像領域３Ｄの領域に写っている場合に、俯角θｄが３０度、４０度、４５度であれば確信度閾値にそれぞれ例えば２％、３％、５％を加算する。また様態検知部２１が検知した様態種別が怒り行動である場合には、確信度閾値からそれぞれ例えば２％、３％、５％を減算する。

【0044】

またカメラ１１が単方位型のカメラである場合、例えばカメラ１１の設置条件として、カメラ１１の画角（例えば垂直画角θｆ）に応じて、人物２の画像位置が直下画像領域３Ｄ内である場合の確信度閾値を補正してもよい。画角が大きくなるほど、座位行動を誤検知し易くなり、怒り行動を検知し難くなるためである。

【0045】

様態検知部２１が検知した様態種別が座位行動である場合には、人物２が直下画像領域３Ｄの領域に写っている場合に、垂直画角θｆが７０度、８０度、９０度であれば確信度閾値にそれぞれ例えば２％、３％、５％を加算する。また様態検知部２１が検知した様態種別が怒り行動である場合には、確信度閾値からそれぞれ例えば２％、３％、５％を減算する。

【0046】

これにより例えば、俯角θｄが４５度であり垂直画角θｆが９０度である場合には、座位行動に対する確信度閾値の補正量は＋１０％となる。人物２が直下画像領域３Ｄ以外の領域に写っている場合の確信度閾値が８０％である場合には、人物２が直下画像領域３Ｄの領域に写っている場合の確信度閾値は８０＋１０＝９０％に設定される。

【0047】

また、確信度閾値を補正するのに加えて又は代えて、カメラ１１の設置条件に応じて直下画像領域３Ｄの大きさを補正してもよい。例えば俯角θｄ及び画角（例えば垂直画角θｆ）が大きいほど、より大きな直下画像領域３Ｄを設定してもよい。

【0048】

また、俯角θｄや垂直画角θｆが大きくなると、カメラの直下の近傍を撮影している画像領域が広がる。そのため、信頼性の判定基準を異ならせる一手法として、俯角θｄや垂直画角θｆが多きなるほど信頼性を判定する画像領域を広げても良い。

【0049】

また、カメラの設置高が高くなるほど、遠方画像領域において怒り行動や転倒行動を検出し難くなる。そのため、設置高が高くなるほど、確信度閾値を減算してもよい。

【0050】

（３）出力判定部２３は、様態検知部２１が所定持続時間以上連続して同一の様態種別を検知できない場合に、様態検知部２１が検知した様態種別が誤検出であると判定し、所定持続時間以上連続して同一の様態種別を検知できた場合に、様態検知部２１が検知した様態種別が誤検出でないと判定してもよい。出力判定部２３は、人物２の画像位置に応じて所定持続時間を設定してよい。

【0051】

この場合に、人物２が特定の画像領域（例えば直下画像領域３Ｄ、４Ｄや遠方画像領域３Ｆ、４Ｆ）に写っている場合には、特定の画像領域以外の領域に写っている場合よりも様態検知部２１が検知した様態種別の信頼性を厳しく判定する場合には所定持続時間をより長く設定し、緩やかに判定する場合にはより短く設定してよい。

【0052】

例えば、様態検知部２１が検知した様態種別が座位行動である場合には、人物２が直下画像領域３Ｄ、４Ｄに写っている場合の所定持続時間を、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合の所定持続時間よりも長く設定してよい。また、様態検知部２１が検知した様態種別が怒り行動である場合には、人物２が直下画像領域３Ｄ、４Ｄに写っている場合の所定持続時間を、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合の所定持続時間より短く設定してよい。
また、様態検知部２１が検知した様態種別が怒り行動や転倒行動である場合には、人物２が遠方画像領域３Ｆ、４Ｆに写っている場合の所定持続時間を、人物２が遠方画像領域３Ｆ、４Ｆ以外の領域に写っている場合の所定持続時間よりも、短く設定してよい。

【0053】

同様に、出力判定部２３は、所定長の期間において様態検知部２１が同一の様態種別を検知した時間が占める割合が所定割合閾値未満であるか否かに応じて、様態検知部２１が検知した様態種別が誤検出出力してよい。出力判定部２３は、人物２の画像位置に応じて所定割合閾値を設定してよい。
この場合に、人物２が特定の画像領域（例えば直下画像領域３Ｄ、４Ｄや遠方画像領域３Ｆ、４Ｆ）に写っている場合には、特定の画像領域以外の領域に写っている場合よりも様態検知部２１が検知した様態種別の信頼性を厳しく判定する場合には所定割合閾値をより大きく設定し、緩やかに判定する場合にはより小さく設定してよい。
所定持続時間や所定割合閾値は、特許請求の範囲に記載の「判定基準」の一例である。

【0054】

（４）出力判定部２３は、様態検知部２１が検知した様態種別の信頼性を判定する方法として、様態検知部２１が検知した様態種別の確信度を補正してもよい。出力判定部２３は、出力判定部２３が補正した確信度を出力してもよく、出力判定部２３が補正した確信度に応じて様態検知部２１が検知した様態種別の出力先の装置を切り替えてもよい。また、様態検知部２１が検知した様態種別が誤検知か否かを判定する確信度閾値を全ての様態種別で共通値とし、補正した確信度と閾値とを比較して誤検知か否かを判定してもよい。

【0055】

この場合に出力判定部２３は、様態検知部２１が出力した確信度を人物２の画像位置に応じて補正してもよい。
例えば人物２が特定の画像領域（例えば直下画像領域３Ｄ、４Ｄや遠方画像領域３Ｆ、４Ｆ）に写っている場合には、特定の画像領域以外の領域に写っている場合よりも、様態検知部２１が検知した様態種別の信頼性を厳しく判定する場合には、様態検知部２１が出力する確信度がより小さくなるように補正し、緩やかに判定する場合にはより大きくなるように補正してよい。
様態検知部２１が検知した様態種別の信頼性を出力判定部２３が補正する補正値は、特許請求の範囲に記載の「判定基準」の一例である。

【0056】

（５）出力判定部２３は、様態検知部２１が求めたスコアを用いて、信頼性を判定してもよい。このとき、様態検知部２１は求めたスコアを出力判定部２３に出力する。例えば、座位様態の人物２がカメラ直下領域に存在する場合は、他の画像領域よりもスコアの値を低くして信頼性を判定する閾値と比較したり、座位様態の人物２がカメラ直下領域に存在する場合は、他の画像領域よりも信頼性を判定する閾値を高くして様態検知部２１から出力されたスコアと比較したりする。様態検知部２１が様態検知のために求めた値を出力判定部２３が補正する補正値は、特許請求の範囲に記載の「判定基準」の一例である。

【0057】

（６）様態検知部２１は、様態検知部２１が検知した様態種別について出力判定部２３に出力する確信度を、人物２の画像位置に応じて補正して、様態検知部２１が検知した様態種別の信頼性を判定してもよい。
例えば人物２が特定の画像領域（例えば直下画像領域３Ｄ、４Ｄや遠方画像領域３Ｆ、４Ｆ）に写っている場合には、特定の画像領域以外の領域に写っている場合よりも、様態検知部２１が検知した様態種別の信頼性を厳しく判定する場合には確信度がより小さくなるように補正し、緩やかに判定する場合にはより大きくなるように補正してよい。出力判定部２３は、補正後の確信度を用いて出力判定部２３は出力１５に出力するか否かを判定するため、様態検知部２１が補正する補正値は、特許請求の範囲に記載の「判定基準」の一例である。

【0058】

（７）様態検知部２１は、入力画像中の複数フレームから様態種別を検知する際に、所定数の連続するフレームのうち閾値以上のフレーム数で検知した様態種別を、人物２の様態種別として検出して、様態検知部２１が検知した様態種別の信頼性を判定してよい。以下の説明において、所定数の連続するフレームのうち様態種別を検知するのに必要とするフレーム数の閾値を「所要フレーム数閾値」と表記することがある。
例えば、人物２が直下画像領域３Ｄ、４Ｄに写っている場合には、所定数の連続するフレーム（例えば１５フレーム）のうち所要フレーム数閾値以上（例えば１２フレーム以上）において座位行動を検知した場合に、人物２の様態種別として座位行動を出力判定部２３に出力してよい。一方で、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合は、座位行動を検知するための所要フレーム数に閾値を設けない。画像位置に応じて様態種別の信頼性を判定した結果を用いて出力判定部２３が出力１５に出力するか否かを判定するため、様態検知部２１が画像位置に応じて設ける所要フレーム数閾値は、特許請求の範囲に記載の「判定基準」の一例である。

【0059】

（８）様態検知部２１は、姿勢検知ＡＩによって検知した人物２の姿勢の信頼性を、人物２の画像位置に応じて判定してもよい。つまり、様態検知部２１が出力判定部２３の一部であってもよく、様態検知部２１が人物の様態種別を検知するとともに人物２の画像位置に基づき検知した様態種別の信頼性を判定してもよい。
検知した姿勢の信頼性を判定する方法として、様態検知部２１は、姿勢検知ＡＩが検知した姿勢が正しいか否かを判定してもよい。検知した姿勢が正しい場合に様態検知部２１は、姿勢検知ＡＩが検知した姿勢の時系列変化情報に基づいて検知した行動を、人物２の様態種別として出力判定部２３に出力してよい。出力判定部２３へ出力する様態種別が姿勢である実施形態の場合には、姿勢検知ＡＩが検知した姿勢を、人物２の様態種別として出力判定部２３に出力してよい。

【0060】

検知した姿勢が正しくない場合には、姿勢検知ＡＩが検知した姿勢を用いて人物２の行動を検知することや、姿勢検知ＡＩが検知した姿勢を人物２の様態種別として出力することを禁止する。
このとき様態検知部２１は、人物２の画像から認識した関節点（骨格）などの角度や移動量に応じて、姿勢検知ＡＩによって検知した人物２の姿勢が正しいか否かを判定してもよい。

【0061】

例えば様態検知部２１は、腿（腰）と膝を結ぶ線と膝と足を結ぶ線との角度が閾値以下である場合に、姿勢検知ＡＩが検知した座位姿勢が正しいと判定してよい。様態検知部２１は、人物２が直下画像領域３Ｄ、４Ｄに写っている場合の閾値を、直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合の閾値よりも小さく設定してよい。

【0062】

また例えば様態検知部２１は、肩と腕を結んだ線の移動量が閾値以上である場合や、肩と腕を結んだ線が人物２の周囲から離れてから戻る回数が閾値以上である場合に、姿勢検知ＡＩが検知した怒り姿勢が正しいと判定してよい。様態検知部２１は、人物２が直下画像領域３Ｄ、４Ｄや遠方画像領域３Ｆ、４Ｆに写っている場合の閾値を、これら以外の領域に写っている場合の閾値よりも小さく設定してよい。

【0063】

また例えば様態検知部２１は、姿勢検知ＡＩが検知した姿勢の信頼性を判定する方法として、姿勢検知ＡＩが検知した姿勢の確信度を判定してもよい。様態検知部２１は、姿勢検知ＡＩが検知した姿勢が座位姿勢である場合には、人物２が直下画像領域３Ｄ、４Ｄに写っている場合の確信度が、人物２が直下画像領域３Ｄ、４Ｄ以外の領域に写っている場合よりも小さくなるように補正してよい。
また、様態検知部２１は、姿勢検知ＡＩが検知した姿勢が怒り姿勢である場合には、人物２が直下画像領域３Ｄ、４Ｄや遠方画像領域３Ｆ、４Ｆに写っている場合の確信度が、これら以外の領域に写っている場合よりも大きくなるように補正してよい。

【0064】

（実施形態の効果）
（１）画像処理装置１０は、カメラ１１が撮影した入力画像を取得する画像取得部２０と、入力画像に写る対象物の様態種別を検知する様態検知部２１と、対象物の入力画像上の位置である画像位置を検知する画像位置検知部２２と、様態検知部２１により検知された様態種別と画像位置検知部２２により検知された画像位置とに基づいて、検知された様態種別の信頼性を判定する出力判定部２３と、を備える。
これにより、特定の画像領域において対象物の様態種別の検知精度が低下するのを抑制できる。

【0065】

（２）出力判定部２３は、入力画像の複数の画像領域のうち所定の画像領域内に対象物が写っている場合と、他の画像領域内に対象物が写っている場合と、の間で信頼性の判定基準を変更してよい。
これにより、所定の画像領域において対象物の様態種別の検知精度が低下するのを抑制できる。

【0066】

（３）様態種別毎に複数の画像領域の各々における判定基準を定義してよい。これにより、特定の画像領域に対象物が写っている場合に様態種別の違いに応じた信頼性の判定が可能となり、対象物の様態種別の検知精度が低下するのを抑制できる。
（４）カメラの設置条件に基づいて判定基準を定義してもよい。これにより、特定の画像領域に対象物が写っている場合にカメラの設置条件に応じて対象物の様態種別の検知精度が低下するのを抑制できる。

【0067】

（５）所定の画像領域は、カメラの直下領域の近傍が写っている直下画像領域であってよい。直下画像領域内に対象物が写っている場合は、他の画像領域内に対象物が写っている場合よりも信頼性をより厳しく判定するように判定基準を定義してもよい。これにより、直下画像領域において対象物の様態種別の検知精度が低下するのを抑制できる。

【0068】

（６）出力判定部２３は、検知された様態種別が、複数の様態種別のうち所定の様態種別である場合にのみ、画像位置に基づいて信頼性を判定してよい。
これにより、特定の様態種別において、特定の画像領域に対象物が写っている場合に様態の検知精度が低下するのを抑制できる。

【0069】

（７）所定の様態種別は、対象物である人物の姿勢が座位である座位様態であってよい。出力判定部２３は、入力画像の複数の画像領域のうち所定の画像領域内に対象物が写っている場合に、他の画像領域内に対象物が写っている場合よりも、信頼性を厳しく判定してよい。
これにより、様態検知部２１により検知された様態種別が座位様態である場合に、特定の画像領域に対象物が写っている場合の様態種別の検知精度が低下するのを抑制できる。

【0070】

（８）出力判定部２３は、検知された様態種別が第１様態種別である場合には、入力画像の複数の画像領域のうち所定の画像領域内に対象物が写っている場合に、他の画像領域内に対象物が写っている場合よりも、信頼性を厳しく判定し、検知された様態種別が第２様態種別である場合には、所定の画像領域内に対象物が写っている場合に、他の画像領域内に対象物が写っている場合よりも、信頼性を緩やかに判定してもよい。
これにより、特定の画像領域内に対象物が写っている場合に第１様態種別の誤検知を抑制できるとともに、第２様態種別の検知の失敗を抑制できる。

【0071】

（９）様態検知部２１は、画像データを入力とし画像データの画像内に写る対象物の姿勢を出力データとする機械学習によって生成された学習モデルに、入力画像を入力して対象物の姿勢を推定する姿勢検知部と、検知された姿勢の変化に基づいて対象物の行動の種別を検知し、検知した行動の種別を様態種別として出力する行動検知部と、を備えてもよい。
これにより、学習モデルを用いて対象物の姿勢を推定する場合に、対象物の画像位置に起因して対象物の様態種別の検知精度が低下するのを抑制できる。

【0072】

（１０）学習モデルは、対象物の関節位置に基づいて対象物の姿勢を推定してよい。これにより、対象物の関節位置に基づいて対象物の姿勢を推定する場合に、対象物の画像位置に起因して対象物の様態種別の検知精度が低下するのを抑制できる。
（１１）様態検知部２１は、画像位置検知部２２により検知された画像位置に基づいて対象物の様態種別を検知するか、画像位置に基づいて対象物の様態種別の確信度を算出してもよい。これにより、様態検知部２１における様態種別の検知精度や確信度の算出精度を向上できる。

【0073】

本発明の一実施形態にかかる画像処理装置は、労働力人口減少などの社会課題の解決に貢献し得るものである。

【符号の説明】

【0074】

１…監視空間、２…人物（検知対象）、１０…画像処理装置、１１…カメラ、１２…入力部、１３…記憶部、１４…制御部、１５…出力部、２０…画像取得部、２１…様態検知部、２２…画像位置検知部、２３…判定部、２３…出力判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】