特許 7601117 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241210BHJP

   H04N 7/18 20060101ALI20241210BHJP

【ＦＩ】

G06T7/00 660B

H04N7/18 D

H04N7/18 K

【請求項の数】 10

(21)【出願番号】P 2022577037

(86)(22)【出願日】2021-12-15

(86)【国際出願番号】 JP2021046212

(87)【国際公開番号】W WO2022158178

(87)【国際公開日】2022-07-28

【審査請求日】2023-06-28

(31)【優先権主張番号】P 2021006332

(32)【優先日】2021-01-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】藤井 俊彦

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１８－０９２２８７（ＪＰ，Ａ）

【文献】特開２０１０－２１８３９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段と、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段と、
を有し、
前記利用者切替検出手段は、
前記処理対象の画像内の前記利用者領域の画像から抽出された特徴データと、前記処理対象の画像より前に生成された比較対象の画像内の前記利用者領域の画像から抽出された特徴データとの比較結果に基づき、前記操作端末の利用者が切り替わったことを検出し、
前記処理対象の画像から抽出された前記特徴データと前記比較対象の画像から抽出された前記特徴データとの比較結果に基づき、前記処理対象の画像内の前記利用者領域の画像に含まれる人物と前記比較対象の画像内の前記利用者領域の画像に含まれる人物とが同一人物か否かを判定する処理を、複数の画像を順に前記処理対象の画像として繰り返し行い、
連続してＭ枚（Ｍは２以上の整数）以上の前記処理対象の画像において同一人物でないと判定された場合、前記操作端末の利用者が切り替わったと判定し、
前記連続したＭ枚の前記処理対象の画像の中の時系列順が最も早い前記処理対象の画像が生成されたタイミングを、前記操作端末の利用者が切り替わったタイミングと判定する画像処理装置。

【請求項2】

処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段と、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段と、
を有し、
前記利用者領域特定手段は、
前記処理対象の画像の中から人物領域を検出した第１の検出結果と、前記処理対象の画像の中から人物の骨格の特徴点を検出した第２の検出結果とに基づき、前記処理対象の画像の中から前記利用者領域を特定する画像処理装置。

【請求項3】

前記利用者領域特定手段は、
前記処理対象の画像の中から前記人物の骨格の特徴点が検出されていない場合、前記処理対象の画像より前に生成された参照対象の画像の中から検出された前記人物の骨格の特徴点に基づき、前記処理対象の画像の中から前記利用者領域を特定する請求項２に記載の画像処理装置。

【請求項4】

処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段と、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段と、
前記利用者領域の画像に基づき、前記操作端末の利用者が所定の姿勢を取っている確信度を算出する姿勢判定手段と、
を有し、
複数の画像が時系列順に前記処理対象の画像となり、
前記姿勢判定手段は、
前記処理対象の画像から前記所定の姿勢を検出する処理を、複数の前記処理対象の画像各々に対して行い、
前記所定の姿勢が連続して検出された回数に応じて前記確信度を決定し、
前記処理対象の画像の中から検出される人物の骨格の特徴点の中の着目特徴点に基づき、前記所定の姿勢を検出する処理を実行し、
前記所定の姿勢を検出する処理として、所定の状態となった前記着目特徴点を検出し、
前記処理対象の画像の中から前記所定の状態となっている前記着目特徴点が検出された場合、前記確信度を増加させ、
前記処理対象の画像の中から前記所定の状態となっていない前記着目特徴点が検出された場合、前記確信度を初期値にリセットし、
前記処理対象の画像の中から前記着目特徴点が検出されていない場合、前記確信度をそのまま維持する画像処理装置。

【請求項5】

コンピュータが、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定し、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出し、
前記操作端末の利用者が切り替わったことを検出する処理では、
前記処理対象の画像内の前記利用者領域の画像から抽出された特徴データと、前記処理対象の画像より前に生成された比較対象の画像内の前記利用者領域の画像から抽出された特徴データとの比較結果に基づき、前記操作端末の利用者が切り替わったことを検出し、
前記処理対象の画像から抽出された前記特徴データと前記比較対象の画像から抽出された前記特徴データとの比較結果に基づき、前記処理対象の画像内の前記利用者領域の画像に含まれる人物と前記比較対象の画像内の前記利用者領域の画像に含まれる人物とが同一人物か否かを判定する処理を、複数の画像を順に前記処理対象の画像として繰り返し行い、
連続してＭ枚（Ｍは２以上の整数）以上の前記処理対象の画像において同一人物でないと判定された場合、前記操作端末の利用者が切り替わったと判定し、
前記連続したＭ枚の前記処理対象の画像の中の時系列順が最も早い前記処理対象の画像が生成されたタイミングを、前記操作端末の利用者が切り替わったタイミングと判定する画像処理方法。

【請求項6】

コンピュータが、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定し、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出し、
前記利用者領域を特定する処理では、
前記処理対象の画像の中から人物領域を検出した第１の検出結果と、前記処理対象の画像の中から人物の骨格の特徴点を検出した第２の検出結果とに基づき、前記処理対象の画像の中から前記利用者領域を特定する画像処理方法。

【請求項7】

コンピュータが、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定し、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出し、
前記利用者領域の画像に基づき、前記操作端末の利用者が所定の姿勢を取っている確信度を算出し、
複数の画像が時系列順に前記処理対象の画像となり、
前記確信度を算出する処理では、
前記処理対象の画像から前記所定の姿勢を検出する処理を、複数の前記処理対象の画像各々に対して行い、
前記所定の姿勢が連続して検出された回数に応じて前記確信度を決定し、
前記処理対象の画像の中から検出される人物の骨格の特徴点の中の着目特徴点に基づき、前記所定の姿勢を検出する処理を実行し、
前記所定の姿勢を検出する処理として、所定の状態となった前記着目特徴点を検出し、
前記処理対象の画像の中から前記所定の状態となっている前記着目特徴点が検出された場合、前記確信度を増加させ、
前記処理対象の画像の中から前記所定の状態となっていない前記着目特徴点が検出された場合、前記確信度を初期値にリセットし、
前記処理対象の画像の中から前記着目特徴点が検出されていない場合、前記確信度をそのまま維持する画像処理方法。

【請求項8】

コンピュータを、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段、
として機能させ、
前記利用者切替検出手段は、
前記処理対象の画像内の前記利用者領域の画像から抽出された特徴データと、前記処理対象の画像より前に生成された比較対象の画像内の前記利用者領域の画像から抽出された特徴データとの比較結果に基づき、前記操作端末の利用者が切り替わったことを検出し、
前記処理対象の画像から抽出された前記特徴データと前記比較対象の画像から抽出された前記特徴データとの比較結果に基づき、前記処理対象の画像内の前記利用者領域の画像に含まれる人物と前記比較対象の画像内の前記利用者領域の画像に含まれる人物とが同一人物か否かを判定する処理を、複数の画像を順に前記処理対象の画像として繰り返し行い、
連続してＭ枚（Ｍは２以上の整数）以上の前記処理対象の画像において同一人物でないと判定された場合、前記操作端末の利用者が切り替わったと判定し、
前記連続したＭ枚の前記処理対象の画像の中の時系列順が最も早い前記処理対象の画像が生成されたタイミングを、前記操作端末の利用者が切り替わったタイミングと判定するプログラム。

【請求項9】

コンピュータを、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段、
として機能させ、
前記利用者領域特定手段は、
前記処理対象の画像の中から人物領域を検出した第１の検出結果と、前記処理対象の画像の中から人物の骨格の特徴点を検出した第２の検出結果とに基づき、前記処理対象の画像の中から前記利用者領域を特定するプログラム。

【請求項10】

コンピュータを、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段、
前記利用者領域の画像に基づき、前記操作端末の利用者が所定の姿勢を取っている確信度を算出する姿勢判定手段、
として機能させ、
複数の画像が時系列順に前記処理対象の画像となり、
前記姿勢判定手段は、
前記処理対象の画像から前記所定の姿勢を検出する処理を、複数の前記処理対象の画像各々に対して行い、
前記所定の姿勢が連続して検出された回数に応じて前記確信度を決定し、
前記処理対象の画像の中から検出される人物の骨格の特徴点の中の着目特徴点に基づき、前記所定の姿勢を検出する処理を実行し、
前記所定の姿勢を検出する処理として、所定の状態となった前記着目特徴点を検出し、
前記処理対象の画像の中から前記所定の状態となっている前記着目特徴点が検出された場合、前記確信度を増加させ、
前記処理対象の画像の中から前記所定の状態となっていない前記着目特徴点が検出された場合、前記確信度を初期値にリセットし、
前記処理対象の画像の中から前記着目特徴点が検出されていない場合、前記確信度をそのまま維持するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

振り込め詐欺被害を抑制する技術が望まれている。関連する技術が、特許文献１及び２に開示されている。特許文献１及び２は、ＡＴＭ（automated teller machine）等の操作端末に設置された監視カメラが生成した画像を解析して人物を特定し、特定した人物が携帯電話で通話しているか否かを判定する技術を開示している。また、特許文献１は、操作端末を長時間使用している人物を、振り込め詐欺にあっている又はその可能性があると判定する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２３８２０４号公報

【文献】特開２０１０－２１８３９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

振り込め詐欺等の詐欺被害者の操作端末操作時の行動傾向として、「携帯電話で通話しながら操作している」、「長時間利用している」等が知られている。特許文献１及び２に開示のように画像解析でこれらの行動を行っている人物を検出することで、詐欺被害を抑制することが可能となる。しかし、本発明者らは、当該技術において以下のような課題を新たに見出した。

【0005】

操作端末の利用者を撮影するために設置された監視カメラの中には、性能が低く（例：低フレームレート、低解像度等）、操作端末の利用者の顔の細部や行動を鮮明に記録できないものが存在し得る。また、上方や斜め上方から操作端末の利用者を撮影する位置及び向きで設置され、操作端末の利用者の顔の細部を顔認識技術で精度よく認識できる程度に記録できないものも存在し得る。操作端末の設置台数は膨大であるため、すべての監視カメラを高性能な監視カメラに取り換えたり、設置位置や向きを変更したりする作業の負担は大きい。

【0006】

本発明は、性能や設置位置に制限を有する監視カメラが生成した画像に基づき、詐欺被害者又はその可能性がある人物を高精度に検出する技術を提供することを課題とする。

【課題を解決するための手段】

【0007】

本発明によれば、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段と、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段と、
を有する画像処理装置が提供される。

【0008】

また、本発明によれば、
コンピュータが、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定し、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する画像処理方法が提供される。

【0009】

また、本発明によれば、
コンピュータを、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段、
として機能させるプログラムが提供される。

【発明の効果】

【0010】

本発明によれば、性能や設置位置に制限を有する監視カメラが生成した画像に基づき、詐欺被害者又はその可能性がある人物を高精度に検出する技術が実現される。

【図面の簡単な説明】

【0011】

【図1】本実施形態の監視カメラが生成する画像について説明するための図である。

【図2】本実施形態の監視カメラが生成する画像について説明するための図である。

【図3】本実施形態の監視カメラが生成する画像について説明するための図である。

【図4】本実施形態の画像処理装置の機能ブロック図の一例である。

【図5】人物領域を検出した結果の一例を示す図である。

【図6】本実施形態の利用者領域を特定する処理を説明するための図である。

【図7】本実施形態の利用者の切り替わりを検出する処理を説明するための図である。

【図8】本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。

【図9】本実施形態の画像処理装置のハードウエア構成の一例を示す図である。

【図10】本実施形態の画像処理装置の機能ブロック図の一例である。

【図11】本実施形態の通話姿勢検出処理を説明するための図である。

【図12】本実施形態の利用者が所定の姿勢を取っている確信度を算出する処理を説明するための図である。

【図13】本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。

【図14】本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。

【図15】本実施形態の画像処理装置の機能ブロック図の一例である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0013】

＜第１の実施形態＞
「監視カメラが生成する画像について」
本実施形態の画像処理装置は、ＡＴＭ等の操作端末の利用者を撮影するために設置された監視カメラが生成した画像を解析し、詐欺被害者又はその可能性がある人物を高精度に検出する。詐欺は、例えば振り込め詐欺等であるが、これに限定されない。

【0014】

ここで、監視カメラが生成する画像について説明する。監視カメラは、性能や設置位置に制限を有する。このため監視カメラは、操作端末の利用者の顔の細部や行動を鮮明に記録できない。

【0015】

例えば、性能が低い（例：低フレームレート、低解像度等）カメラが監視カメラとして利用される。この場合、監視カメラは、操作端末の利用者の顔の細部や行動を鮮明に記録できない。

【0016】

また、例えば、図１に示すように、監視カメラ１００は、上方や斜め上方から操作端末１０２の利用者１０１を撮影する位置及び向きで設置される。すなわち、監視カメラ１００は、操作端末１０２の利用者１０１の顔を正面から撮影できない位置及び向きで設置されてもよい。この場合、監視カメラ１００は、操作端末１０２の利用者１０１の顔の細部を顔認識技術で精度よく認識できる程度に記録できない。また、生成した画像の中には、利用者１０１以外の人物や物体が含まれ得る。例えば、図２及び図３に示すように、監視カメラ１００が生成した画像Ｆの中には、操作端末１０２の前にいる利用者１０１に加えて、操作端末１０２や、順番待ちをしている人や通行人等のその他の人物１０３や、壁や仕切り等のその他の物体１０４等が含まれ得る。

【0017】

「画像処理装置の概要」
次に、本実施形態の画像処理装置の概要を説明する。本実施形態の画像処理装置は、監視カメラが生成した画像に基づき詐欺被害者又はその可能性がある人物を高精度に検出するための処理を実行する。具体的には、本実施形態の画像処理装置は、監視カメラが生成した画像に基づき、「処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する処理」及び「利用者領域の画像に基づき、操作端末の利用者が切り替わったことを検出する処理」を実行する。

【0018】

本実施形態の画像処理装置の主たる特徴の１つは、「操作端末の利用者が切り替わったことを検出する処理」を実行する点である。この検出結果に基づき、各利用者の操作端末の利用時間を求めることができる。

【0019】

監視カメラが高性能（例：高フレームレート、高解像度等）である場合、また適切な位置及び向きで設置されている場合には、周知のトラッキング技術や、顔認識技術を利用して、画像内で検出された複数の利用者を高精度に互いに識別できる。このため、わざわざ操作端末の利用者が切り替わったことを検出する処理を実行する必要はない。実際、監視カメラが高性能であり、かつ適切な位置及び向きで設置されていることを前提としていると考えられる特許文献１及び２に記載の技術においては、「操作端末の利用者が切り替わったことを検出する処理」を実行していない。

【0020】

しかし、本実施形態のように監視カメラが低性能（例：低フレームレート、低解像度等）であったり、設置位置が適切でなかったりする場合には、画像内で検出された複数の利用者を周知のトラッキング技術や、顔認識技術を利用して高精度に互いに識別することが困難になる。結果、互いに異なる利用者を同一利用者と判断したり、複数の画像に跨って写る同一利用者を互いに異なる利用者と判断したりする恐れがある。その結果、各利用者の操作端末の利用時間の算出結果の精度が悪くなる。

【0021】

そこで、本実施形態の画像処理装置は、従来技術では実行していない「操作端末の利用者が切り替わったことを検出する処理」を実行し、その検出結果に基づき各利用者の操作端末の利用時間を算出する。結果、監視カメラが性能や設置位置に制限を有する場合でも、各利用者の操作端末の利用時間を精度よく算出することが可能となる。

【0022】

本実施形態の画像処理装置の主たる特徴の他の１つは、画像処理装置が実行する上記処理はいずれも、性能や設置位置に制限を有する監視カメラが生成した画像の処理に適した特徴的な内容になっている点である。このため、監視カメラが性能や設置位置に制限を有する場合でも、上記処理の精度が高くなる。結果、各利用者の操作端末の利用時間を精度よく算出することができる。

【0023】

「画像処理装置の機能構成」
次に、画像処理装置の機能構成を詳細に説明する。図４に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、利用者領域特定部１１と、利用者切替検出部１２と、出力部１３とを有する。

【0024】

利用者領域特定部１１は、処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する。

【0025】

「処理対象の画像」は、上述した監視カメラが生成した画像である。監視カメラは、操作端末の利用者を撮影する位置及び向きで設置され、動画像を生成する。この動画像に含まれる複数の画像が、時系列順に（撮影順に）、処理対象の画像となる。

【0026】

次に、処理対象の画像の中から利用者領域を特定する処理を説明する。利用者領域特定部１１は、処理対象の画像の中から人物領域を検出し、検出した１つ又は複数の人物領域の中の１つを利用者領域として特定する。以下、詳細に説明する。

【0027】

－処理対象の画像の中から人物領域を検出する処理－
処理対象の画像の中から人物領域を検出する処理は、周知のあらゆる人物検出技術を利用して実現することができる。例えば、機械学習で生成された人物を検出するモデルを利用して実現されてもよいし、その他の手段で実現されてもよい。周知の人物検出技術では、例えば人物を含む矩形領域が、人物領域として検出される。

【0028】

なお、上述の通り、監視カメラは、性能や設置位置に制限を有する。このため、当該人物領域を検出する処理の精度も不十分となる。結果、人物の一部や、人物以外のその他の物体１０４を誤って人物と認識してしまう可能性がある。また、上述の通り、監視カメラが上方又は斜め上方から撮影する場合、その他の人物１０３も含む画像を生成してしまう。結果、上記人物領域を検出する処理でその他の人物１０３をも検出してしまう可能性がある。その結果、処理対象の画像の中から人物領域を検出する処理では、図５に示すように、利用者１０１を含む人物領域Ｗ１に加えて、その他の人物１０３を含む人物領域Ｗ２や、人物の一部のみを含む人物領域Ｗ３や、その他の物体１０４を含む人物領域Ｗ４等が検出されてしまう可能性がある。そこで、利用者領域特定部１１は、以下で詳細を説明する「検出した１つ又は複数の人物領域の中の１つを利用者領域として特定する処理」を実行し、検出した人物領域の中から適切な利用者領域（利用者１０１を含む領域）を特定する。

【0029】

－検出した１つ又は複数の人物領域の中の１つを利用者領域として特定する処理－
利用者領域特定部１１は、当該処理において、処理対象の画像の中から人物領域を検出した第１の検出結果と、処理対象の画像の中から人物の骨格の特徴点を検出した第２の検出結果とを利用する。

【0030】

第１の検出結果は、検出された人物領域各々の大きさ、及び確信度を含む。人物領域の大きさは、人物領域が占めるエリアの大きさであり、例えばピクセル数等で表すことができる。確信度は、その人物領域が人物を含む領域である確信の度合いを示す値（結果がどの程度確実であるかを示す尺度）である。周知の人物検出技術において、このような確信度を算出する技術が広く知られている。

【0031】

第２の検出結果は、処理対象の画像から検出された人物の骨格の複数の特徴点各々の座標（画像内の位置を示す情報）を含む。人物の骨格の特徴点の検出は、ＯｐｅｎＰｏｓｅ等の周知の技術を利用して実現される。

【0032】

利用者領域特定部１１は、上記第１の検出結果と第２の検出結果とを利用して、検出した１つ又は複数の人物領域の中から最も操作端末の利用者を含むものとして適切な１つを特定する。具体的には、利用者領域特定部１１は、検出した１つ又は複数の人物領域各々を処理対象として図６で示す判断手法を適用し、各人物領域が利用者領域か否かを判定する。

【0033】

Ｓ１００では、利用者領域特定部１１は、処理対象の人物領域の大きさが予め設定された閾値より大きいか判断する。処理対象の人物領域の大きさが閾値より小さい場合（Ｓ１００の「小さい」）、利用者領域特定部１１は、その処理対象の人物領域は利用者領域でないと判定する（Ｓ１０２）。

【0034】

処理対象の人物領域の大きさが閾値より大きい場合（Ｓ１００の「大きい」）、利用者領域特定部１１は、その処理対象の人物領域を含む処理対象の画像の中から人物の骨格の特徴点が１つでも検出されているか判断する（Ｓ１０１）。検出されている場合（Ｓ１０１の「検出できている」）、利用者領域特定部１１は、検出した１つ又は複数の人物領域各々に包含される人物の骨格の特徴点の数に基づき、処理対象の人物領域の当該数が最も大きいか判断する（Ｓ１０３）。

【0035】

最も大きい場合（Ｓ１０３の「ＹＥＳ」）、利用者領域特定部１１は、その処理対象の人物領域は利用者領域であると判定する（Ｓ１１０）。一方、最も大きくない場合（Ｓ１０３の「ＮＯ」）、利用者領域特定部１１は、その処理対象の人物領域は利用者領域でないと判定する（Ｓ１０５）。

【0036】

なお、処理対象の人物領域を含む処理対象の画像の中から人物の骨格の特徴点が検出されていない場合（Ｓ１０１の「検出できていない」）、利用者領域特定部１１は、参照対象の画像の中から人物の骨格の特徴点が１つでも検出されているか判断する（Ｓ１０４）。

【0037】

「参照対象の画像」は、処理対象の人物領域を含む処理対象の画像より前に生成された画像であって、その処理対象の画像に含まれる操作端末の利用者を含む画像である。参照対象の画像は動的に変化する。参照対象の画像を決定する処理の一例は、以下で説明する。

【0038】

参照対象の画像の中から人物の骨格の特徴点が検出されている場合（Ｓ１０４の「ある」）、利用者領域特定部１１は、検出した１つ又は複数の人物領域各々の画像内で占める領域と、参照対象の画像の中から検出された人物の骨格の特徴点各々の画像内の座標とに基づき、処理対象の画像から検出された人物領域と参照対象の画像から検出された人物の骨格の特徴点との包含関係を判断する。そして、利用者領域特定部１１は、検出した１つ又は複数の人物領域の中で、包含する人物の骨格の特徴点の数が最も大きいのは処理対象の人物領域か判断する（Ｓ１０６）。

【0039】

最も大きい場合（Ｓ１０６の「ＹＥＳ」）、利用者領域特定部１１は、その処理対象の人物領域は利用者領域であると判定する（Ｓ１１０）。一方、最も大きくない場合（Ｓ１０６の「ＮＯ」）、利用者領域特定部１１は、その処理対象の人物領域は利用者領域でないと判定する（Ｓ１０７）。

【0040】

なお、参照対象の画像の中から人物の骨格の特徴点が検出されていない場合（Ｓ１０４の「ない」）、利用者領域特定部１１は、検出した１つ又は複数の人物領域の中で、確信度（第１の検出結果で示される確信度）が最も大きいのは処理対象の人物領域か判断する（Ｓ１０８）。

【0041】

最も大きい場合（Ｓ１０８の「ＹＥＳ」）、利用者領域特定部１１は、その処理対象の人物領域は利用者領域であると判定する（Ｓ１１０）。一方、最も大きくない場合（Ｓ１０８の「ＮＯ」）、利用者領域特定部１１は、その処理対象の人物領域は利用者領域でないと判定する（Ｓ１０９）。

【0042】

このように、利用者領域特定部１１は、処理対象の画像の中から人物領域を検出した第１の検出結果と、処理対象の画像の中から人物の骨格の特徴点を検出した第２の検出結果とに基づき、処理対象の画像の中から利用者領域を特定することができる。また、処理対象の画像の中から人物の骨格の特徴点が検出されていない場合、処理対象の画像より前に生成された参照対象の画像の中から検出された人物の骨格の特徴点に基づき、処理対象の画像の中から利用者領域を特定することができる。

【0043】

図４に戻り、利用者切替検出部１２は、利用者領域特定部１１により特定された利用者領域の画像に基づき、操作端末の利用者が切り替わったことを検出する。利用者切替検出部１２は、処理対象の画像内の利用者領域の画像から抽出された特徴データと、比較対象の画像内の利用者領域の画像から抽出された特徴データとの比較結果に基づき、操作端末の利用者が切り替わったこと（処理対象の画像内の利用者と比較対象の画像内の利用者が異なる人物であること）を検出する。

【0044】

「利用者領域の画像から抽出された特徴データ」は、画像が示す利用者の外観の特徴を示すデータである。一例として、例えば服装の特徴、髪型の特徴、顔の特徴、メガネや帽子などの有無やその特徴等が例示されるが、これらに限定されない。

【0045】

「比較対象の画像」は、処理対象の画像より前に生成された画像である。比較対象の画像は動的に変化する。比較対象の画像を決定する処理の一例は、以下で説明する。

【0046】

なお、上述した「参照対象の画像」と「比較対象の画像」は、いずれも「処理対象の画像より前に生成された画像」という点で共通する。しかし、「参照対象の画像」は上述した「利用者領域を判定する処理」で利用されるための画像であるのに対し、「比較対象の画像」は上述した「操作端末の利用者の切り替わりを検出する処理」で利用されるための画像である点で異なる。

【0047】

なお、上述の通り、監視カメラは、性能や設置位置に制限を有する。このため、上記特徴データの比較による同一人物か否かを判定する処理の精度も不十分となる。そこで、利用者切替検出部１２は、連続してＭ枚（Ｍは２以上の整数）以上の処理対象の画像において同一人物でないと判定された場合、操作端末の利用者が切り替わったと判定する。そして、その連続したＭ枚の処理対象の画像の中の時系列順が最も早い処理対象の画像が生成されたタイミングを、操作端末の利用者が切り替わったタイミングと判定する。

【0048】

以下、図７で示す具体例を用いて当該処理を説明する。また、上述した参照対象の画像及び比較対象の画像についても説明する。なお、Ｍは「１６」とする。

【0049】

まず、フレーム番号１の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されたものとする（人物検知「〇」）。画像処理装置１０は、その利用者領域に含まれる人物（操作端末の利用者）に人物ＩＤ（identifier）「１」を設定し、滞在フレーム数として「１」を設定する。また、フレーム番号１の画像を、参照対象の画像及び比較対象の画像として設定する。なお、それ以前のフレームは存在しないため、利用者切替検出部１２による処理は実行されない。

【0050】

次に、フレーム番号２の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されたものとする（人物検知「〇」）。すると、利用者切替検出部１２は、処理対象の画像内の利用者領域の画像から抽出された特徴データと、比較対象の画像内の利用者領域の画像から抽出された特徴データとを比較する。そして、類似度が基準値以上である場合、利用者切替検出部１２は、それら２つの画像に含まれる人物は同一人物と判定し、基準値未満である場合、同一人物でないと判定する。ここでは、同一人物と判定されたものとする（同一判定「〇」）。画像処理装置１０は、人物ＩＤを「１」のままとし、滞在フレーム数を「２」に更新する。そして、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号２の画像に更新する。

【0051】

次に、フレーム番号３の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されなかったものとする（人物検知「×」）。利用者領域が特定されない状況は、例えば閾値以上の大きさの利用者領域が検出されなかった場合等である（図６のＳ１００の「小さい」）。この場合、利用者切替検出部１２による処理は実行されない。画像処理装置１０は、人物ＩＤを「１」のままとし、滞在フレーム数を「２」のままとし、連続失敗数「１」を設定する。そして、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号２の画像のままとする。

【0052】

次に、フレーム番号４の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されなかったものとする（人物検知「×」）。この場合、利用者切替検出部１２による処理は実行されない。画像処理装置１０は、人物ＩＤを「１」のままとし、滞在フレーム数を「２」のままとし、連続失敗数を「２」に更新する。そして、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号２の画像のままとする。

【0053】

次に、フレーム番号５の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されたものとする（人物検知「〇」）。そして、利用者切替検出部１２は、フレーム番号２の画像の処理で説明した同一人物判定処理を実行する。ここでは、同一人物と判定されたものとする（同一判定「〇」）。画像処理装置１０は、人物ＩＤを「１」のままとし、滞在フレーム数を「５」に更新する。すなわち、人物検知に失敗したフレーム３及び４の間も滞在したものとみなす。そして、画像処理装置１０は、連続失敗数を「０」に更新する。また、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号５の画像に更新する。

【0054】

次に、フレーム番号６の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されたものとする（人物検知「〇」）。そして、利用者切替検出部１２は、フレーム番号２の画像の処理で説明した同一人物判定処理を実行する。ここでは、同一人物と判定されなかったものとする（同一判定「×」）。画像処理装置１０は、人物ＩＤを「１」のままとし、滞在フレーム数を「５」のままとし、連続失敗数を「１」に更新する。また、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号５の画像のままとする。

【0055】

次に、フレーム番号７の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されたものとする（人物検知「〇」）。そして、利用者切替検出部１２は、フレーム番号２の画像の処理で説明した同一人物判定処理を実行する。ここでは、同一人物と判定されなかったものとする（同一判定「×」）。画像処理装置１０は、人物ＩＤを「１」のままとし、滞在フレーム数を「５」のままとし、連続失敗数を「２」に更新する。また、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号５の画像のままとする。

【0056】

次に、フレーム番号８の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されなかったものとする（人物検知「×」）。この場合、利用者切替検出部１２による処理は実行されない。画像処理装置１０は、人物ＩＤを「１」のままとし、滞在フレーム数を「５」のままとし、連続失敗数を「３」に更新する。そして、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号５の画像のままとする。

【0057】

以降同様の処理が行われるが、フレーム番号９－２０の画像においては、いずれも、利用者領域が特定されたが（人物検知「〇」）、同一人物と判定されなかったものとする（同一判定「×」）。フレーム番号２０を処理対象とした処理が終了した時点で、人物ＩＤは「１」、滞在フレーム数は「５」、連続失敗数は「１５」、参照対象の画像及び比較対象の画像はフレーム番号５の画像となる。

【0058】

次に、フレーム番号２１の画像が処理対象の画像となり、利用者領域特定部１１による処理が実行される。ここでは、利用者領域が特定されたものとする（人物検知「〇」）。そして、利用者切替検出部１２は、フレーム番号２の画像の処理で説明した同一人物判定処理を実行する。ここでは、同一人物と判定されなかったものとする（同一判定「×」）。結果、連続失敗数が「１６（Ｍ以上）」となる。そこで、画像処理装置１０は、人物ＩＤを「２」に更新する。また、利用者が切り替わったタイミングは、この１６回の連続失敗の中の一番最初の失敗の時（フレーム番号６が生成されたタイミング）と判断されるため、画像処理装置１０は滞在フレーム数を「１６」に更新する。また、画像処理装置１０は、連続失敗数を「０」に更新する。また、画像処理装置１０は、参照対象の画像及び比較対象の画像を、フレーム番号２１の画像に更新する。

【0059】

以降、同様の処理が繰り返される。なお、上述の例の場合、参照対象の画像及び比較対象の画像は、利用者切替検出部１２による同一人物判定処理で同一人物と判定された画像の中の直近の画像である。

【0060】

図４に戻り、出力部１３は、利用者切替検出部１２による検出結果に関する情報を出力する。専用システム、メール、アプリ等を利用して、当該出力を実現できる。

【0061】

例えば、出力部１３は、利用者切替検出部１２による検出結果に基づき、各利用者の利用時間をリアルタイムに算出し、算出結果を出力してもよい。出力先は、監視員が閲覧するディスプレイ等である。

【0062】

他の例として、出力部１３は、利用者切替検出部１２による検出結果に基づき、各利用者の利用時間をリアルタイムに算出するとともに、利用時間が基準値を超えていないか監視してもよい。そして、利用時間が基準値を超えた場合、警告情報を出力してもよい。出力先は、例えばその操作端末またはその操作端末の近くに設置されたディスプレイやスピーカなどである。この場合の警告情報は、「振り込め詐欺に気を付けて下さい。」等の注意喚起するメッセージが考えられる。その他、出力先は、監視員やその操作端末の管理者等が視聴するディスプレイやスピーカ、その他、それらの人が所持する携帯端末等であってもよい。この場合の警告情報は、「３番の操作端末のお客様の利用時間が基準値を超えました。振り込め詐欺の可能性があります。確認してください。」等の注意喚起するメッセージが考えられる。

【0063】

他の例として、出力部１３は、利用者切替検出部１２による処理結果をそのまま出力してもよい。出力する処理結果には、利用者が切り替わったか否かの判定結果、及び切り替わったと判定した場合には操作端末の利用者が切り替わったタイミング（図７の例の場合、フレーム番号６の画像が生成された日時）が含まれる。なお、出力部１３は、利用者が切り替わったと判定した場合のみ、その旨及び操作端末の利用者が切り替わったタイミングを示す情報を出力してもよい。出力先は、所定の処理を実行する装置である。当該装置は、例えば入力された情報に基づき、各利用者の利用時間を監視し、利用時間に応じて警告処理を行う。

【0064】

次に、図８のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。なお、各処理の詳細は上述したので、ここでの説明は適宜省略する。リアルタイム処理で、監視カメラが生成した画像に対する以下の処理が実行される。

【0065】

まず、画像処理装置１０は、１つの画像を処理対象の画像として取得する（Ｓ１０）。そして、画像処理装置１０は、その処理対象の画像に対し、人物領域を検出する処理（Ｓ１１）、及び人物の骨格の特徴点を検出する処理（Ｓ１２）を実行する。

【0066】

次いで、画像処理装置１０は、人物領域を検出した第１の検出結果と、人物の骨格の特徴点を検出した第２の検出結果とに基づき、処理対象の画像の中から利用者領域を特定する（Ｓ１３）。

【0067】

次いで、画像処理装置１０は、処理対象の画像内の利用者領域の画像から抽出された特徴データと、比較対象の画像内の利用者領域の画像から抽出された特徴データとの比較結果に基づき、それら利用者領域に含まれる人物が同一人物か判定する（Ｓ１４）。なお、処理対象の画像より前に生成された画像がない場合、当該処理はスキップしてもよい。

【0068】

次いで、画像処理装置１０は、Ｓ１４の判定結果、およびこれまでの判定結果の履歴に基づき、操作端末の利用者が切り替わったか判定する（Ｓ１５）。なお、処理対象の画像より前に生成された画像がない場合、当該処理はスキップしてもよい。

【0069】

そして、画像処理装置１０は、Ｓ１５の判定結果を出力する（Ｓ１６）。

【0070】

「画像処理装置のハードウエア構成」
画像処理装置１０のハードウエア構成の一例を説明する。図９は、画像処理装置１０のハードウエア構成例を示す図である。画像処理装置１０が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0071】

図９に示すように、画像処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理装置１０は、周辺回路４Ａを有さなくてもよい。なお、画像処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び論理的に一体となった１つの装置で構成されてもよい。前者の場合、画像処理装置１０を構成する複数の装置各々が上記ハードウエア構成を備えることができる。

【0072】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0073】

「画像処理装置の作用効果」
以上説明したように、画像処理装置１０は、「操作端末の利用者が切り替わったことを検出する処理」を実行する。

【0074】

監視カメラが高性能（例：高フレームレート、高解像度等）である場合、また適切な位置及び向きで設置されている場合には、周知のトラッキング技術や、顔認識技術を利用して、画像内で検出された複数の利用者を高精度に互いに識別できる。このため、わざわざ操作端末の利用者が切り替わったことを検出する処理を実行する必要はない。実際、監視カメラが高性能であり、かつ適切な位置及び向きで設置されていることを前提としていると考えられる特許文献１及び２に記載の技術においては、「操作端末の利用者が切り替わったことを検出する処理」を実行していない。

【0075】

しかし、本実施形態のように監視カメラが低性能（例：低フレームレート、低解像度等）であったり、設置位置が適切でなかったりする場合には、画像内で検出された複数の利用者を周知のトラッキング技術や、顔認識技術を利用して高精度に互いに識別することが困難になる。結果、互いに異なる利用者を同一利用者と判断したり、複数の画像に跨って写る同一利用者を互いに異なる利用者と判断したりする恐れがある。その結果、各利用者の操作端末の利用時間の算出結果の精度が悪くなる。

【0076】

そこで、画像処理装置１０は、従来技術では実行していない「操作端末の利用者が切り替わったことを検出する処理」を実行し、その検出結果に基づき各利用者の操作端末の利用時間を算出する。結果、監視カメラが性能や設置位置に制限を有する場合でも、各利用者の操作端末の利用時間を精度よく算出することが可能となる。

【0077】

また、画像処理装置１０が実行する処理はいずれも、性能や設置位置に制限を有する監視カメラが生成した画像の処理に適した特徴的な内容になっている。このため、監視カメラが性能や設置位置に制限を有する場合でも、画像処理装置１０の処理の精度が高くなる。結果、各利用者の操作端末の利用時間を精度よく算出することができる。

【0078】

また、画像処理装置１０は、図７を用いて説明したように、人物検知もしくは同一判定が失敗した際に滞在フレーム数を加算しない。本実施形態のように監視カメラが低性能（例：低フレームレート、低解像度等）であったり、設置位置が適切でなかったりする場合には、人物検知もしくは同一判定が失敗する可能性が比較的高くなる。このため、人物検知もしくは同一判定が失敗した際に滞在フレーム数を加算すると、誤警報を出力する恐れがある。画像処理装置１０は、「人物検知もしくは同一判定が失敗した際に滞在フレーム数を加算しない」構成により、当該不都合を抑制することができる。

【0079】

＜第２の実施形態＞
「画像処理装置の概要」
本実施形態の画像処理装置１０は、監視カメラが生成した画像を解析して、操作端末の利用者が通話姿勢をとっていることを検出する。そして、本実施形態で利用される監視カメラも、第１の実施形態と同様に、性能や設置位置に制限を有する。このため、本実施形態の画像処理装置１０が実行する通話姿勢を検出する処理は、性能や設置位置に制限を有する監視カメラが生成した画像の処理に適した特徴的な内容になっている。このため、監視カメラが性能や設置位置に制限を有する場合でも、上記処理の精度が高くなる。

【0080】

「画像処理装置の機能構成」
図１０に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、利用者切替検出部１２に代えて姿勢判定部１４を有する点で、第１の実施形態の画像処理装置１０と異なる。

【0081】

利用者領域特定部１１の構成は、第１の実施形態と同様であるので、ここでの説明は省略する。

【0082】

姿勢判定部１４は、利用者領域の画像に基づき、操作端末の利用者が所定の姿勢を取っている確信度を算出する。所定の姿勢は、通話姿勢である。姿勢判定部１４は、利用者領域の画像内から検出された人物の骨格の特徴点に基づき、通話姿勢を検出する。具体的には、姿勢判定部１４は、人物の骨格の特徴点の中の一部である着目特徴点が所定の状態となっている場合、すなわち所定の状態となった着目特徴点が利用者領域の画像内で検出された場合、その操作端末の利用者は通話姿勢を取っていると判定する。

【0083】

ここで、所定の状態となった着目特徴点について説明する。例えば、図１１に示すように、手首、肘及び肩に対応する特徴点が、着目特徴点となる。そして、手首の特徴点、肘の特徴点及び肩の特徴点のなす角θが閾値以下である状態が、所定の状態である。なお、ここで例示した所定の状態となった着目特徴点はあくまで一例であり、これに限定されない。

【0084】

ところで、上述の通り、監視カメラは、性能や設置位置に制限を有する。このような監視カメラが生成した画像を処理して検出された所定の状態となった着目特徴点の検出精度は悪くなる。このため、所定の状態となった着目特徴点の検出に応じて、通話姿勢をとっていると判定すると、その判定の精度が悪くなる。そこで、姿勢判定部１４は、所定の状態となった着目特徴点の検出結果の履歴に基づき、操作端末の利用者が所定の姿勢を取っている確信度を算出する。そして、この確信度が基準値を超えると、操作端末の利用者が所定の姿勢を取っていると判定する。以下、当該確信度の算出方法を説明する。

【0085】

姿勢判定部１４は、時系列な複数の処理対象の画像各々に対して、時系列順に所定の状態となった着目特徴点を検出する処理（所定の姿勢を検出する処理）を実行する。そして、姿勢判定部１４は、所定の姿勢が連続して検出された回数に応じて確信度を決定する。連続して検出された回数が多いほど、確信度は高くなる。

【0086】

ここで、所定の姿勢が連続して検出された回数に応じて確信度を決定する処理の一例を説明する。当該例では、姿勢判定部１４は、以下のルールに基づき、確信度を更新する。

【0087】

（ルール１）処理対象の画像の中から所定の状態となっている着目特徴点が検出された場合、確信度を所定値増加させる。
（ルール２）処理対象の画像の中から所定の状態となっていない着目特徴点が検出された場合、確信度を初期値にリセットする。
（ルール３）処理対象の画像の中から着目特徴点が検出されていない場合、確信度をそのまま維持する。

【0088】

図１２を用いて、具体例を説明する。横軸は処理対象の画像の番号（フレーム番号）であり、縦軸は確信度を示す。

【0089】

検出結果（１）「通話姿勢検出」は、処理対象の画像の中から所定の状態となっている着目特徴点が検出された場合である。この場合、上記ルール１が適用される。
検出結果（２）「その他の姿勢検出」は、処理対象の画像の中から所定の状態となっていない着目特徴点が検出された場合である。この場合、上記ルール２が適用される。
検出結果（３）「着目特徴点が未検出」は、処理対象の画像の中から着目特徴点が検出されていない場合である。この場合、上記ルール３が適用される。

【0090】

図１２に示すように、フレーム１の検出結果は（１）である。このため、ルール１が適用され、確信度が所定値増加する。
次に、フレーム２の検出結果も（１）である。このため、ルール１が適用され、確信度がさらに所定値増加する。
次に、フレーム３の検出結果は（３）である。このため、ルール３が適用され、確信度はそのまま維持される。
次に、フレーム４の検出結果は（２）である。このため、ルール２が適用され、確信度が初期値にリセットされる。
次に、フレーム５の検出結果は（２）又は（３）である。このため、ルール２が適用され、確信度が初期値にリセットされるか、又は、ルール３が適用され、確信度が初期値のまま維持される。
次に、フレーム６乃至９の検出結果はいずれも（１）である。このため、ルール１が適用され、確信度が所定値ずつ増加する。

【0091】

図１０に戻り、出力部１３は、姿勢判定部１４により算出された確信度が基準値を超えた場合、警告情報を出力する。出力先は、例えばその操作端末もしくはその操作端末の近くに設置されたディスプレイやスピーカなどである。この場合の警告情報は、「振り込め詐欺に気を付けて下さい。」等の注意喚起するメッセージが考えられる。その他、出力先は、監視員やその操作端末の管理者等が視聴するディスプレイやスピーカ、その他、それらの人が所持する携帯端末等であってもよい。この場合の警告情報は、「３番の操作端末のお客様が通話しながら操作しています。振り込め詐欺の可能性があります。確認してください。」等の注意喚起するメッセージが考えられる。

【0092】

次に、図１３のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。なお、各処理の詳細は上述したので、ここでの説明は適宜省略する。リアルタイム処理で、監視カメラが生成した画像に対する以下の処理が実行される。

【0093】

まず、画像処理装置１０は、１つの画像を処理対象の画像として取得する（Ｓ２０）。そして、画像処理装置１０は、その処理対象の画像に対し、人物領域を検出する処理（Ｓ２１）、及び人物の骨格の特徴点を検出する処理（Ｓ２２）を実行する。

【0094】

次いで、画像処理装置１０は、人物領域を検出した第１の検出結果と、人物の骨格の特徴点を検出した第２の検出結果とに基づき、処理対象の画像の中から利用者領域を特定する（Ｓ２３）。

【0095】

次いで、画像処理装置１０は、利用者領域の画像の中から、所定の状態となった着目特徴点を検出する処理（所定の姿勢を検出する処理）を実行する（Ｓ２４）。そして、画像処理装置１０は、Ｓ２４の検出結果に基づき、操作端末の利用者が所定の姿勢を取っている確信度を更新する（Ｓ２５）。

【0096】

確信度が基準値を上回った場合（Ｓ２６のＹｅｓ）、画像処理装置１０は警告情報を出力する（Ｓ２７）。なお、確信度が基準値を上回っていない場合（Ｓ２６のＮｏ）、画像処理装置１０は警告情報を出力しない。

【0097】

「変形例」
ここで、本実施形態の画像処理装置１０の変形例を説明する。姿勢判定部１４は、処理対象の画像の中から検出された人物の骨格の特徴点の中の右半身の特徴点に基づき、人物の右半身で所定の姿勢がとられている確信度を算出する。また、姿勢判定部１４は、処理対象の画像の中から検出された人物の骨格の特徴点の中の左半身の特徴点に基づき、人物の左半身で所定の姿勢がとられている確信度を算出する。所定の姿勢や確信度の算出方法は、上述の通りである。

【0098】

そして、姿勢判定部１４は、人物の右半身で所定の姿勢がとられている確信度、及び、人物の左半身で所定の姿勢がとられている確信度の中の大きい方を、操作端末の利用者が所定の姿勢を取っている確信度として算出する。

【0099】

出力部１３は、上記のようにして決定された確信度（人物の右半身で所定の姿勢がとられている確信度、及び、人物の左半身で所定の姿勢がとられている確信度の中の大きい方）が基準値を超える場合、警告情報を出力する。

【0100】

次に、図１４のフローチャートを用いて、当該変形例における画像処理装置１０の処理の流れの一例を説明する。なお、各処理の詳細は上述したので、ここでの説明は適宜省略する。リアルタイム処理で、監視カメラが生成した画像に対する以下の処理が実行される。

【0101】

まず、画像処理装置１０は、１つの画像を処理対象の画像として取得する（Ｓ３０）。そして、画像処理装置１０は、その処理対象の画像に対し、人物領域を検出する処理（Ｓ３１）、及び人物の骨格の特徴点を検出する処理（Ｓ３２）を実行する。

【0102】

次いで、画像処理装置１０は、人物領域を検出した第１の検出結果と、人物の骨格の特徴点を検出した第２の検出結果とに基づき、処理対象の画像の中から利用者領域を特定する（Ｓ３３）。

【0103】

次いで、画像処理装置１０は、利用者領域の画像の中から検出された人物の骨格の特徴点の中の左半身の特徴点に基づき、所定の状態となった着目特徴点を検出する処理（所定の姿勢を検出する処理）を実行する（Ｓ３４）。そして、画像処理装置１０は、Ｓ３４の検出結果に基づき、操作端末の利用者が左半身で所定の姿勢を取っている確信度を更新する（Ｓ３５）。

【0104】

また、画像処理装置１０は、利用者領域の画像の中から検出された人物の骨格の特徴点の中の右半身の特徴点に基づき、所定の状態となった着目特徴点を検出する処理（所定の姿勢を検出する処理）を実行する（Ｓ３６）。そして、画像処理装置１０は、Ｓ３６の検出結果に基づき、操作端末の利用者が右半身で所定の姿勢を取っている確信度を更新する（Ｓ３７）。

【0105】

次いで、画像処理装置１０は、操作端末の利用者が左半身で所定の姿勢を取っている確信度、及び操作端末の利用者が右半身で所定の姿勢を取っている確信度の中の大きい方を選択する（Ｓ３８）。

【0106】

そして、選択した確信度が基準値を上回った場合（Ｓ３９のＹｅｓ）、画像処理装置１０は警告情報を出力する（Ｓ４０）。なお、選択した確信度が基準値を上回っていない場合（Ｓ３９のＮｏ）、画像処理装置１０は警告情報を出力しない。

【0107】

「画像処理装置のハードウエア構成」
画像処理装置１０のハードウエア構成は、第１の実施形態と同様である。

【0108】

「画像処理装置の作用効果」
本実施形態の画像処理装置１０は、監視カメラが生成した画像を解析して、操作端末の利用者が通話姿勢をとっていることを検出する。そして、本実施形態の画像処理装置１０が実行する通話姿勢を検出する処理は、性能や設置位置に制限を有する監視カメラが生成した画像の処理に適した特徴的な内容になっている。このため、監視カメラが性能や設置位置に制限を有する場合でも、上記処理の精度が高くなる。

【0109】

＜第３の実施形態＞
本実施形態の画像処理装置１０は、第１の実施形態で説明した機能と第２の実施形態で説明した機能を有する。

【0110】

図１５に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、利用者領域特定部１１と、利用者切替検出部１２と、出力部１３と、姿勢判定部１４とを有する。

【0111】

利用者領域特定部１１、利用者切替検出部１２及び姿勢判定部１４の機能構成は、第１及び第２の実施形態で説明した通りである。

【0112】

出力部１３は、第１の実施形態で説明した出力処理と、第２の実施形態で説明した出力処理の両方を有してもよい。すなわち、利用者切替検出部１２による検出結果、及び姿勢判定部１４による判定結果の各々に応じた出力処理を別個に行ってもよい。

【0113】

その他、出力部１３は、利用者切替検出部１２による検出結果、及び姿勢判定部１４による判定結果を統合した出力処理を行ってもよい。例えば、出力部１３は、利用者切替検出部１２の検出結果に基づき算出される操作端末の利用者の利用時間が基準値を超え、かつ姿勢判定部１４により算出された確信度が基準値を超えた場合に、警告情報を出力してもよい。

【0114】

出力先は、例えばその操作端末もしくはその操作端末の近くに設置されたディスプレイやスピーカなどである。この場合の警告情報は、「振り込め詐欺に気を付けて下さい。」等の注意喚起するメッセージが考えられる。その他、出力先は、監視員やその操作端末の管理者等が視聴するディスプレイやスピーカ、その他、それらの人が所持する携帯端末等であってもよい。この場合の警告情報は、「３番の操作端末のお客様の利用時間が基準値を超えました。さらにこのお客様は通話しながら操作しています。振り込め詐欺の可能性があります。確認してください。」等の注意喚起するメッセージが考えられる。

【0115】

画像処理装置１０のハードウエア構成は、第１の実施形態と同様である。

【0116】

本実施形態の画像処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。

【0117】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0118】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

【0119】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段と、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段と、
を有する画像処理装置。
２． 前記利用者切替検出手段は、前記処理対象の画像内の前記利用者領域の画像から抽出された特徴データと、前記処理対象の画像より前に生成された比較対象の画像内の前記利用者領域の画像から抽出された特徴データとの比較結果に基づき、前記操作端末の利用者が切り替わったことを検出する１に記載の画像処理装置。
３． 前記利用者切替検出手段は、
前記処理対象の画像から抽出された前記特徴データと前記比較対象の画像から抽出された前記特徴データとの比較結果に基づき、前記処理対象の画像内の前記利用者領域の画像に含まれる人物と前記比較対象の画像内の前記利用者領域の画像に含まれる人物とが同一人物か否かを判定する処理を、複数の画像を順に前記処理対象の画像として繰り返し行い、
連続してＭ枚（Ｍは２以上の整数）以上の前記処理対象の画像において同一人物でないと判定された場合、前記操作端末の利用者が切り替わったと判定し、
前記連続したＭ枚の前記処理対象の画像の中の時系列順が最も早い前記処理対象の画像が生成されたタイミングを、前記操作端末の利用者が切り替わったタイミングと判定する２に記載の画像処理装置。
４． 前記利用者領域特定手段は、
前記処理対象の画像の中から人物領域を検出した第１の検出結果と、前記処理対象の画像の中から人物の骨格の特徴点を検出した第２の検出結果とに基づき、前記処理対象の画像の中から前記利用者領域を特定する１から３のいずれかに記載の画像処理装置。
５． 前記利用者領域特定手段は、
前記第１の検出結果で示される複数の前記人物領域に関する、前記人物領域の大きさ、及び、前記人物の骨格の特徴点に基づき、前記操作端末の利用者が存在する前記人物領域を特定する４に記載の画像処理装置。
６． 前記利用者領域特定手段は、
前記処理対象の画像の中から前記人物の骨格の特徴点が検出されていない場合、前記処理対象の画像より前に生成された参照対象の画像の中から検出された前記人物の骨格の特徴点に基づき、前記処理対象の画像の中から前記利用者領域を特定する４又は５に記載の画像処理装置。
７． 前記利用者切替検出手段の検出結果に基づき算出される前記操作端末の利用者の利用時間が基準値を超えた場合に、警告情報を出力する出力手段をさらに有する１から６のいずれかに記載の画像処理装置。
８． 前記利用者領域の画像に基づき、前記操作端末の利用者が所定の姿勢を取っている確信度を算出する姿勢判定手段をさらに有する１から６のいずれかに記載の画像処理装置。
９． 前記利用者切替検出手段の検出結果に基づき算出される前記操作端末の利用者の利用時間が基準値を超え、かつ前記姿勢判定手段により算出された前記確信度が基準値を超えた場合、警告情報を出力する出力手段をさらに有する８に記載の画像処理装置。
１０． 複数の画像が時系列順に前記処理対象の画像となり、
前記姿勢判定手段は、
前記処理対象の画像から前記所定の姿勢を検出する処理を、複数の前記処理対象の画像各々に対して行い、
前記所定の姿勢が連続して検出された回数に応じて前記確信度を決定する８又は９に記載の画像処理装置。
１１． 前記姿勢判定手段は、
前記処理対象の画像の中から検出される人物の骨格の特徴点の中の着目特徴点に基づき、前記所定の姿勢を検出する処理を実行し、
前記所定の姿勢を検出する処理として、所定の状態となった前記着目特徴点を検出し、
前記処理対象の画像の中から前記所定の状態となっている前記着目特徴点が検出された場合、前記確信度を増加させ、
前記処理対象の画像の中から前記所定の状態となっていない前記着目特徴点が検出された場合、前記確信度を初期値にリセットし、
前記処理対象の画像の中から前記着目特徴点が検出されていない場合、前記確信度をそのまま維持する１０に記載の画像処理装置。
１２． 前記姿勢判定手段は、
前記処理対象の画像の中から検出された人物の骨格の特徴点の中の右半身の特徴点に基づき、前記人物の右半身で前記所定の姿勢がとられている確信度を算出し、
前記処理対象の画像の中から検出された人物の骨格の特徴点の中の左半身の特徴点に基づき、前記人物の左半身で前記所定の姿勢がとられている確信度を算出し、
前記人物の右半身で前記所定の姿勢がとられている確信度、及び、前記人物の左半身で前記所定の姿勢がとられている確信度の中の大きい方を、前記操作端末の利用者が前記所定の姿勢を取っている確信度として算出する８から１１のいずれかに記載の画像処理装置。
１３． コンピュータが、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定し、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する画像処理方法。
１４．
コンピュータを、
処理対象の画像の中から、操作端末の利用者が存在する領域である利用者領域を特定する利用者領域特定手段、
前記利用者領域の画像に基づき、前記操作端末の利用者が切り替わったことを検出する利用者切替検出手段、
として機能させるプログラム。

【0120】

この出願は、２０２１年１月１９日に出願された日本出願特願２０２１－００６３３２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0121】

１０ 画像処理装置
１１ 利用者領域特定部
１２ 利用者切替検出部
１３ 出力部
１４ 姿勢判定部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】