特許 7420261 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240116BHJP

   G06T 7/00 20170101ALI20240116BHJP

   G06V 20/58 20220101ALI20240116BHJP

   H04N 7/18 20060101ALI20240116BHJP

   G08B 25/04 20060101ALI20240116BHJP

   G08B 21/02 20060101ALI20240116BHJP

   G08B 25/00 20060101ALN20240116BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 660B

G06V20/58

H04N7/18 D

G08B25/04 K

G08B21/02

G08B25/00 510M

【請求項の数】 12

(21)【出願番号】P 2022539828

(86)(22)【出願日】2020-07-28

(86)【国際出願番号】 JP2020028861

(87)【国際公開番号】W WO2022024212

(87)【国際公開日】2022-02-03

【審査請求日】2023-01-18

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】川上 和也

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１０－１６５００３（ＪＰ，Ａ）

【文献】特開２００７－２７９８０８（ＪＰ，Ａ）

【文献】国際公開第２０１２／１７２６２９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５８

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／０４

Ｇ０８Ｂ ２１／０２

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理手段と、
前記画像処理手段の処理結果を用いて所定の情報を出力する判断手段と、
を備え、
前記画像処理手段は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断手段は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は前記第２の人であり、
前記第１基準は、前記第２の人が前記第１の人の同行者でないことを含む、画像処理装置。

【請求項2】

第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理手段と、
前記画像処理手段の処理結果を用いて所定の情報を出力する判断手段と、
を備え、
前記画像処理手段は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断手段は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は前記第２の人であり、
前記画像処理手段は、前記複数の画像それぞれにおいて、前記第１の人の位置及び前記第２の人の位置を検出しており、
前記第１基準は、前記変化の大きさが前記基準を満たす前、前記第１の人と前記第２の人の間隔が基準時間以上継続して基準距離以上離れていたことを含む、画像処理装置。

【請求項3】

第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理手段と、
前記画像処理手段の処理結果を用いて所定の情報を出力する判断手段と、
を備え、
前記画像処理手段は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断手段は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は車であり、
前記第１基準は、前記変化の大きさが前記基準を満たした後、前記第１の人がフレームアウトすることなく基準時間以内に検知できなくなったことである、画像処理装置。

【請求項4】

第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理手段と、
前記画像処理手段の処理結果を用いて所定の情報を出力する判断手段と、
を備え、
前記画像処理手段は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断手段は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記第１基準は、前記注意対象が存在し、かつ前記第１の人が子ども又は女性であるという基準を満たすことである、画像処理装置。

【請求項5】

コンピュータが、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理と、
前記画像処理の処理結果を用いて所定の情報を出力する判断処理と、
を行い
前記画像処理において、前記コンピュータは、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断処理において、前記コンピュータは、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は前記第２の人であり、
前記第１基準は、前記第２の人が前記第１の人の同行者でないことを含む、画像処理方法。

【請求項6】

コンピュータが、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理と、
前記画像処理の処理結果を用いて所定の情報を出力する判断処理と、
を行い
前記画像処理において、前記コンピュータは、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断処理において、前記コンピュータは、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は前記第２の人であり、
前記画像処理において、前記コンピュータは、前記複数の画像それぞれにおいて、前記第１の人の位置及び前記第２の人の位置を検出しており、
前記第１基準は、前記変化の大きさが前記基準を満たす前、前記第１の人と前記第２の人の間隔が基準時間以上継続して基準距離以上離れていたことを含む、画像処理方法。

【請求項7】

コンピュータが、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理と、
前記画像処理の処理結果を用いて所定の情報を出力する判断処理と、
を行い
前記画像処理において、前記コンピュータは、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断処理において、前記コンピュータは、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は車であり、
前記第１基準は、前記変化の大きさが前記基準を満たした後、前記第１の人がフレームアウトすることなく基準時間以内に検知できなくなったことである、画像処理方法。

【請求項8】

コンピュータが、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理と、
前記画像処理の処理結果を用いて所定の情報を出力する判断処理と、
を行い
前記画像処理において、前記コンピュータは、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断処理において、前記コンピュータは、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記第１基準は、前記注意対象が存在し、かつ前記第１の人が子ども又は女性であるという基準を満たすことである、画像処理方法。

【請求項9】

コンピュータに、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理機能と、
前記画像処理機能の処理結果を用いて所定の情報を出力する判断機能と、
を持たせ、
前記画像処理機能は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断機能は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は前記第２の人であり、
前記第１基準は、前記第２の人が前記第１の人の同行者でないことを含む、プログラム。

【請求項10】

コンピュータに、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理機能と、
前記画像処理機能の処理結果を用いて所定の情報を出力する判断機能と、
を持たせ、
前記画像処理機能は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断機能は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は前記第２の人であり、
前記画像処理機能は、前記複数の画像それぞれにおいて、前記第１の人の位置及び前記第２の人の位置を検出しており、
前記第１基準は、前記変化の大きさが前記基準を満たす前、前記第１の人と前記第２の人の間隔が基準時間以上継続して基準距離以上離れていたことを含む、プログラム。

【請求項11】

コンピュータに、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理機能と、
前記画像処理機能の処理結果を用いて所定の情報を出力する判断機能と、
を持たせ、
前記画像処理機能は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断機能は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記注意対象は車であり、
前記第１基準は、前記変化の大きさが前記基準を満たした後、前記第１の人がフレームアウトすることなく基準時間以内に検知できなくなったことである、プログラム。

【請求項12】

コンピュータに、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理機能と、
前記画像処理機能の処理結果を用いて所定の情報を出力する判断機能と、
を持たせ、
前記画像処理機能は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断機能は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力し、
前記第１基準は、前記注意対象が存在し、かつ前記第１の人が子ども又は女性であるという基準を満たすことである、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年は、安全性を確保することを目的として、画像処理が行われている。例えば特許文献１には、特定地域内の住居それぞれにドアホンなどの画像取得手段を設け、これら画像取得手段と、予め登録されている住人の画像とを用いて、住人以外の人が不審な行動をとったことを検知する、と記載されている。

【0003】

また特許文献２には、チケットを所持した状態で移動する領域（例えば遊園地、公園、映画館、コンサート会場等の娯楽施設、デパート、大型ショッピングモール等の施設の中）において、チケットに付与された識別情報を用いて同行者をグルーピングするとともに、退場時にチケットの識別情報を読み取ることにより、グルーピングした人以外の人と共に退場したか否かを判断する、と記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２２４２４９号公報

【文献】特開２０１０－２０４９１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

人には、その人自身は意図しない移動を強要されるなどのリスクが生じる恐れがある。本発明の目的の一例は、画像処理により、人にリスクが生じていることを検知することにある。

【課題を解決するための手段】

【0006】

本発明によれば、第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理手段と、
前記画像処理手段の処理結果を用いて所定の情報を出力する判断手段と、
を備え、
前記画像処理手段は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断手段は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力する画像処理装置が提供される。

【0007】

本発明によれば、コンピュータが、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理と、
前記画像処理の処理結果を用いて所定の情報を出力する判断処理と、
を行い
前記画像処理において、前記コンピュータは、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断処理において、前記コンピュータは、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力する画像処理方法が提供される。

【0008】

本発明によれば、コンピュータに、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理機能と、
前記画像処理機能の処理結果を用いて所定の情報を出力する判断機能と、
を持たせ、
前記画像処理機能は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断機能は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力するプログラムが提供される。

【発明の効果】

【0009】

本発明によれば、画像処理により、人にリスクが生じていることを検知できる。

【図面の簡単な説明】

【0010】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0011】

【図1】実施形態に係る画像処理装置の使用環境を説明するための図である。

【図2】画像処理装置の機能構成の一例を示す図である。

【図3】画像処理部が行う処理を説明するための図である。

【図4】記憶部が記憶している情報の一例を示す図である。

【図5】記憶部が記憶している解析結果の一例を示す図である。

【図6】画像処理装置のハードウェア構成例を示す図である。

【図7】画像処理装置が行う処理の一例を示すフローチャートである。

【図8】図７の変形例１に係るフローチャートである。

【図9】図７の変形例２に係るフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0013】

（実施形態）
図１は、実施形態に係る画像処理装置１０の使用環境を説明するための図である。画像処理装置１０は、少なくとも一つ（好ましくは複数）の撮像装置２０とともに使用される。

【0014】

撮像装置２０は、街（例えば道路）や屋内など、対象エリアに設置されており、例えば監視カメラとして用いられている。撮像装置２０は、所定の場所に設置されていてもよいし、対象エリアの中を移動する移動体（例えば監視員、警察官、及び車両の少なくとも一つ）に保持されていてもよい。対象エリアに複数の撮像装置２０が設置されている場合、これら複数の撮像装置２０は互いに離れた場所に設置されている。この場合、複数の撮像装置２０の撮像範囲によって対象エリアがカバーされているのが好ましい。そして少なくとも一つの撮像装置２０の撮像範囲の一部は、当該撮像装置２０の隣に位置する撮像装置２０の撮像範囲と重なっていてもよい。

【0015】

撮像装置２０が生成する画像のフレームレートは、例えば０．５フレーム／秒以上であるが、これ以下であってもよい。そして撮像装置２０は、生成した画像を、当該画像の生成時刻とともに、すぐに画像処理装置１０に送信する。撮像装置２０が複数設置されている場合、撮像装置２０は、画像とともに、当該撮像装置２０の識別情報も画像処理装置１０に送信する。ここで撮像装置２０が移動体に保持されている場合、撮像装置２０は、識別情報とともに、又は識別情報に変えて、当該撮像装置２０が当該画像を生成したときの位置を示す位置情報（例えばＧＰＳに基づいた情報）を画像処理装置１０に送信する。

【0016】

画像処理装置１０は、撮像装置２０から取得した画像を処理することにより、対象エリアにいる人にリスクが生じているか否かを判断する。リスクとしては、たとえば誘拐や連れ去りなど、その人が意図しない行動や移動を強要されていることが挙げられる。この場合、リスクが生じている人は、他人によって引っ張られている場合が多い。画像処理装置１０は、この状態を検知する。

【0017】

画像処理装置１０は、対象エリアにいる人にリスクが生じていると判断したときに、所定の情報を出力する。画像処理装置１０がディスプレイを有しているとき、所定の情報の出力先はこのディスプレイであってもよいし、画像処理装置１０とは異なる装置（以下、外部装置３０と記載）であってもよい。所定の情報は、対象エリアにいる人にリスクが生じていることを示しているが、さらに、例えばリスクが生じている人の位置を示す情報及び当該人の画像の少なくとも一方を含んでいるのが好ましい。

【0018】

外部装置３０はディスプレイであってもよいし、監視センターに設置されている端末であってもよいし、監視員センターにいる人や対象エリアにいる監視員又は警察官が所持している端末であってもよい。外部装置３０は、画像処理装置１０から所定の情報を取得したときに、所定の表示を行う。この所定の表示は、対象エリアにいる人にリスクが生じていることを示している。また、画像処理装置１０が出力する所定の情報が、リスクが生じている人の位置を示す情報及び当該人の画像の少なくとも一方を含んでいる場合、外部装置３０が行う所定の表示は、これらを含んでいるのが好ましい。

【0019】

なお、画像処理装置１０は監視センターに配置されていてもよいし、いわゆるクラウドサーバであってもよい。

【0020】

図２は、画像処理装置１０の機能構成の一例を示す図である。画像処理装置１０は、画像処理部１１０及び判断部１２０を備えている。

【0021】

画像処理部１１０は、撮像装置２０が生成した複数の画像（例えばフレーム画像）を取得する。画像処理部１１０が取得する複数の画像は、互いに異なるタイミングで生成されている。ここで画像処理部１１０は、複数の撮像装置２０のそれぞれが生成した画像を取得することもある。そして画像処理部１１０は、これら複数の画像のうち、同一の人（以下、第１の人と記載）を含んでいる画像を処理することにより、当該第１の人の体の角度の変化を検出する。この検出において、画像処理部１１０は、複数の撮像装置２０が生成した複数の画像を用いることもある。

【0022】

また画像処理部１１０は、少なくともこの変化の大きさが基準を満たしたときに、体が傾いている方向に存在している第２の人又は物体（以下、注意対象と記載）に関する情報を検出する。ここで検出される情報は、少なくとも、図１を用いて説明した注意対象の有無、及びその種類である。注意対象となり得る物体は、例えば自動車などの車両、又は建物である。

【0023】

ここで、第１の人の体の角度の変化が基準を満たし（例えば基準値以上になること）、かつ、注意対象として第２の人が存在している場合、第１の人は第２の人に引っ張られている可能性がある。また、第１の人の体の角度の変化が基準を満たし、かつ注意対象として車両や建物などの物体が存在している場合、第１の人は、当該物体の中にいる人に引っ張られている可能性がある。

【0024】

判断部１２０は、画像処理部１１０の処理結果を用いて所定の情報を出力する。一例として、判断部１２０は、上記した注意対象及び第１の人の少なくとも一方に関する第１基準が満たされたときに、所定の情報を出力する。第１基準の具体例については、フローチャートを用いて後述する。また所定の情報の具体例は、図１を用いて説明した通りである。

【0025】

なお、画像処理部１１０は、人の傾きを、例えば当該第１の人の複数の所定部位の相対位置を用いて特定する。複数の所定部位は、例えば図３に示すように頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、及び左足Ａ８２である。そして隣り合うキーポイントを結んだ線により、人の姿勢が表される。そして画像処理部１１０は、これら線を用いて人の傾きを示す指標を特定する。一例として画像処理部１１０は、首と右腰をつないだ線の傾き、及び首と左腰をつないだ線の傾きを、人の体の傾きを示す指標として用いる。

【0026】

図２に示す例において、画像処理装置１０はさらに記憶部１３０を備えている。記憶部１３０は、画像処理部１１０及び判断部１２０が処理を行う際に必要な情報を記憶しているとともに、画像処理部１１０による画像の解析結果、及び、撮像装置２０から当該画像とともに取得した情報を記憶している。

【0027】

なお、記憶部１３０が記憶している情報には、例えば機械学習によって生成されたモデルが含まれていてもよい。このモデルは、例えば画像又はその特徴量（例えば上記した人の所定部位の相対位置）を入力として、その画像に含まれる人の傾きを出力するものである。複数の撮像装置２０が対象エリアに設置されている場合、このモデルは複数の撮像装置２０別に生成されていてもよい。

【0028】

また、記憶部１３０が記憶している情報には、画像における人の位置（ｘｙ座標）を用いて、その人の実空間における位置を算出するための情報が含まれていてもよい。この情報は、撮像装置２０別に、例えば事前学習によって設定されている。

【0029】

図４は、記憶部１３０が記憶している情報の一例を示す図である。記憶部１３０は、撮像装置２０が生成した複数の画像それぞれを、当該画像の生成時刻、及び画像処理部１１０による画像の解析結果とともに記憶している。撮像装置２０が複数設置されている場合、記憶部１３０は、複数の撮像装置２０別に、当該撮像装置２０が生成した画像、その画像の生成時刻、及びその画像の解析結果を記憶している。一例として記憶部１３０は、上記した各情報を、当該画像を生成した撮像装置２０の識別情報に紐づけて記憶している。なお、撮像装置２０が移動体に保持されている場合、記憶部１３０は、さらに、画像毎に、当該画像を生成したときの撮像装置２０の位置情報を記憶している。

【0030】

図５は、記憶部１３０が記憶している解析結果の一例を示す図である。記憶部１３０は、画像毎に、本図に示す情報を記憶している。本図に示す例において記憶部１３０は、その画像に含まれる人の特徴量、当該人の位置、及び当該人の傾きを記憶している。ここで人の位置は、実空間における位置であるのが好ましい。ここで画像処理部１１０は、当該画像を生成した撮像装置２０の識別情報に対応して記憶部１３０に記憶されている上記した情報、及びその人の画像内の位置（ｘｙ座標）を用いて、その人の実空間における位置を算出する。なお、撮像装置２０が移動体に保持されている場合は、当該画像を生成した時の撮像装置の位置情報、当該撮像装置２０の向き及び画角、並びにその人の当該画像内における位置を用いて、その人の実空間における位置を算出する。そして画像処理部１１０は、あるタイミングで生成された画像に含まれている人と他のタイミングで生成された画像に含まれている人が同一人物であるか否かを、その人の特徴量を用いて判断する。また画像処理部１１０は、ある撮像装置２０が撮影した画像に含まれている人と、他の撮像装置２０が同じタイミングで撮影した画像に含まれている人が同一人物であるか否かを、その人の特徴量及び実空間における位置の少なくとも一方（好ましくは双方）を用いて判断する。

【0031】

そして画像処理部１１０は、記憶部１３０が記憶している過去の画像（例えば所定枚数前又は所定時間前の画像）におけるある人の傾きと、及び今回新たに取得した画像における当該人の傾きの差を用いて、人の傾きの変化を特定する。ここで用いられる過去の画像の生成タイミングと現在との時間差は、例えば１秒以上５秒以下である。

【0032】

図６は、画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0033】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0034】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0035】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0036】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（例えば画像処理部１１０及び判断部１２０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部１３０としても機能する。

【0037】

入出力インタフェース１０５０は、画像処理装置１０と各種入出力機器とを接続するためのインタフェースである。例えば画像処理装置１０は、入出力インタフェース１０５０を介して外部装置３０と通信する。

【0038】

ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置１０は、ネットワークインタフェース１０６０を介して撮像装置２０と通信する。また画像処理装置１０は、ネットワークインタフェース１０６０を介して外部装置３０と通信してもよい。

【0039】

図７は、画像処理装置１０が行う処理の一例を示すフローチャートである。画像処理装置１０は、撮像装置２０から画像を取得するたびに、本図に示す処理を行う。

【0040】

画像処理装置１０の画像処理部１１０は、撮像装置２０から新たな画像を取得する（ステップＳ１０）と、当該画像に含まれる人の特徴量及びその位置を検出するとともに、当該画像に含まれている物体及びその位置を検出する。ここで検出される物体は、少なくとも注意対象となり得る物体（例えば車両や建物）である。また画像処理部１１０は、当該画像に含まれる人の傾きを算出する。そして画像処理部１１０は、記憶部１３０に記憶されている過去の処理結果、及びステップＳ２０の処理結果を用いて、ステップＳ１０で取得した画像に含まれる人の傾きの変化を算出する（ステップＳ２０）。ここで一つの画像に複数の人が含まれている場合、画像処理部１１０は、複数の人それぞれについて、その人の傾きの変化を算出する。

【0041】

次いで画像処理装置１０の判断部１２０は、傾きの変化が基準を満たすか否か、例えば所定時間の間の傾きの変化が基準値以上であるか否かを判断する（ステップＳ３０）。基準が満たされていた場合（ステップＳ３０）、判断部１２０は、その人（第１の人）の周囲のうち当該人が傾いている方向に注意対象が存在しているか否かを判断する（ステップＳ４０）。この処理では、ステップＳ２０において検出された人及び物体の位置が用いられる。

【0042】

注意対象が存在していた場合（ステップＳ４０：Ｙｅｓ）、判断部１２０は、注意対象及び第１の人の少なくとも一方に関する第１基準が満たされているか否かを判断する（ステップＳ５０）。

【0043】

例えば注意対象が第２の人である場合、第１基準は、当該第２の人が第１の人の同行者でないことを含んでいる。

【0044】

例えば対象エリアの入り口に撮像装置２０が設置されている場合、画像処理部１１０は、この撮像装置２０が生成した画像において、複数の人の間隔が基準時間以上継続して基準距離以内であるときに、これら複数の人を一つのグループとして扱う。この際、画像処理部１１０は、手をつないでいる人同士を一つのグループとして扱ったり、顔が互いに向かい合う状態が繰り返されている（又は一定時間継続している場合）人同士を一つのグループとして扱ってもよい。そして画像処理部１１０は、同一のグループを構成する人の特徴量を、互いに紐づけて記憶部１３０に記憶させる。そして判断部１２０は、この情報を用いて、第２の人が第１の人と同じグループに属しているか否か、言い換えると第２の人が第１の人の同行者であるか否かを判断する。

【0045】

また判断部１２０は、第２の人が同行者であるか否かを、例えば、変化の大きさが基準を満たす前における、第１の人と第２の人の間隔を用いて判断してもよい。この場合、判断部１２０は、例えば記憶部１３０に記憶されている過去の処理結果を用いて、第１の人と第２の人の間隔が基準時間以上継続して基準距離以上離れていたときに、第２の人は第１の人の同行者ではないと判断する。基準時間は、例えば１０秒以上である。また基準距離は、例えば２ｍ以上である。ここで判断部１２０は、第２の人が検出されなかった場合も、基準距離以上離れていたと判断する。

【0046】

また注意対象が車両又は建物などの物体である場合、第１基準は、変化の大きさが基準を満たした後、当該第１の人が、ステップＳ２０において第１の人が検出された画像を生成した撮像装置２０からフレームアウトすることなく、基準時間以内に当該撮像装置２０が生成した画像から検知されなくなったことである。このような条件を設定したのは、この条件が満たされた場合、第１の人が、車両の中や建物の中に連れ込まれた（又は押し込められた）可能性が高いためである。

【0047】

なお、画像処理部１１０は、第１の人の特徴量から、第１の人の属性を推定することができる。そして判断部１２０は、第１の人の属性が基準を満たし、かつ注意対象が存在していることを、第１基準として用いることもある。ここで第１の人の属性が満たすべき基準は、第１の人が子供であること又は女性であることの少なくとも一方である。画像処理部１１０は、画像に含まれている人が子供であるか否かを、例えば第１の人の身長が基準値（例えば１２０ｃｍ以下の所定の値）以下であるか否かを用いて判断できる。また画像処理部１１０は、第１の人の特徴量を用いて、当該第１の人の性別を判断することができる。

【0048】

そして第１の基準が満たされていた場合（ステップＳ５０：Ｙｅｓ）、判断部１２０は、所定の情報を出力する（ステップＳ６０）。所定の情報の内容及び出力先は、図１を用いて説明した通りである。なお、注意対象が車両であり、画像処理部１１０による画像処理によって当該車両のナンバープレートのナンバーを推定又は特定できた場合、所定の情報は、このナンバーを含んでいてもよい。この際、所定の情報は、ステップＳ５０が満たされたときの車両の位置を含んでいてもよい。また注意対象が建物であった場合、所定の情報は、この建物の位置情報（例えば住所）や建物の名称を含んでいてもよい。判断部１２０は、この位置情報を、例えば当該画像を生成した撮像装置２０の識別情報、及び当該画像内における当該建物の位置を用いて特定する。なお、建物の位置情報や名称は、予め、撮像装置２０の識別情報、及び当該画像内における当該建物の位置に紐づけて記憶部１３０に記憶されていてもよい。

【0049】

その後、所定の情報又は当該所定の情報に基づいた警告表示は、外部装置３０又はこれに接続している大型のディスプレイに表示される。この表示は、例えば画面に表示された地図画像に重ねて表示されてもよい。この場合の表示位置は、例えば注意対象の位置に相当しているのが好ましい。

【0050】

そして外部装置３０が監視センターに配置されている場合、監視センターにいる人は、当該外部装置３０などに表示された所定の情報及びその他の情報を総合的に判断することにより、事件性の有無を決定し、決定結果を外部装置３０に入力する。なお、この処理は、外部装置３０が行ってもよい。この場合、外部装置３０は、機械学習によって生成されたモデルを用いてもよい。

【0051】

そして事件性があると判断された場合、画像処理装置１０又は外部装置３０は、注意対象の位置（すなわち事件が発生したと推定される位置）に最も早く到達できると予想される警察官又は警備員（以下、警察官と記載）を特定し、この警察官が所持している端末に、ステップＳ５０が満たされたときの注意対象の位置を送信してもよい。送信先となる端末は、例えば当該端末のその時の位置情報及び速度（移動方向を含む）を用いて選択される。なお、端末の位置（すなわち警察官の位置）は、例えばＧＰＳを用いて算出され、速度は、位置の履歴を用いて算出される。なお、速度を用いると、その警察官の移動手段（例えば徒歩、自転車、自動車、バイク）などを推定できる。画像処理装置１０又は外部装置３０は、警察官を選択する際には、速度の代わりにこの移動手段を用いてもよい。

【0052】

なお、外部装置３０などの画面には、周囲にいる警察官の位置及び移動手段を示すマークも併せて表示されてもよい。

【0053】

ここで端末に送信されて当該端末に表示される情報は、さらに、緊急度や想定される事件の種類、対処に必要な道具、対応ができるか否かを選択するための表示（例えば選択ボタン）、及びいつまでに到着すべきかを示す情報（以下、対応可能時間と表示）を含んでいてもよい。この場合、端末を所持している警察官は、表示された情報を用いて自身が対応可能か否かを判断し、判断結果に従って端末を操作する。端末は、捜査結果すなわち選択結果を画像処理装置１０又は外部装置３０に送信する。

【0054】

ここでその警察官が対応可能であることを選択した場合、画像処理装置１０又は外部装置３０は、当該端末の現在位置から、事件が発生したと推定される位置までの移動経路（例えば最短経路）を示す情報を生成し、端末に送信して表示させる。この際、画像処理装置１０又は外部装置３０は、現在の時刻及び移動経路における混雑度を用いて到着予想時刻を算出し、端末に送信して表示させてもよい。

【0055】

一方、その警察官が対応不可であることを選択した場合、画像処理装置１０又は外部装置３０は、当該警察官の次に注意対象の位置に到達できると予想される警察官が所持している端末に対して、上記した処理を行う。

【0056】

なお、対応可能であることが選択された場合、画像処理装置１０又は外部装置３０は、さらに、以下の情報を端末に送信してもよい。
・注意対象（例えば車両）の画像及び詳細情報（例えば所有者など）
・ステップＳ５０における注意対象の周囲で録音された音声データ
・ヒアリングすべき人（例えば重要参考人）のリスト

【0057】

なお、警察官が所持している端末は、ヒアリングすべき人（例えば重要参考人）のリストを受信した場合、リストに含まれる人毎に、ヒアリング未実施、ヒアリング中、又はヒアリング完了であることを表示してもよい。この場合、最初はすべての人に対して「ヒアリング未実施」が表示される。そして警察官は、ヒアリングの進行に応じて端末を操作して、「ヒアリング未実施」を「ヒアリング中」に変更し、また「ヒアリング中」を「ヒアリング完了」に変更する。そして端末は、この変更を示す情報を、画像処理装置１０又は外部装置３０に送信する

【0058】

なお、警察官がカメラやマイクなどのセンサを装着している場合、端末は、ヒアリング中にセンサによって検出されたデータを保存してもよいし、画像処理装置１０又は外部装置３０に送信してもよい。データを保存する場合、端末は、音声データをテキストデータに変換し、当該テキストデータから必要な情報を抽出して保存してもよい。

【0059】

以上、本実施形態によれば、画像処理装置１０は、撮像装置２０が生成した画像を処理することにより、対象エリアに存在する人の傾きの変化を算出する。そして傾きの変化が基準を満たし、体が傾いている方向に存在している第２の人又は物体である注意対象が存在し、かつ注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、その人にリスクが生じている可能性が高いため、所定の情報を出力する。従って、画像処理により、人にリスクが生じていることを検知することができる。

【0060】

なお判断部１２０は、図７のステップＳ５０を省略してもよい。この場合、判断部１２０は、第１の人の傾きの変化が基準を満たし、かつ注意対象が存在した場合に、第１条件を満たすか否かを判断せずに、所定の情報を出力する。

【0061】

（変形例１）
図８は、図７の変形例１に係るフローチャートである。本変形例において、画像処理装置１０の判断部１２０は、第１基準が満たされた後（ステップＳ５０：Ｙｅｓ）、第２基準すなわち例外条件が満たされないこと（ステップＳ５２：Ｙｅｓ）を、ステップＳ６０で示した処理を行うための条件としている。例外条件としては、例えば所定時間が経過した後に第1の人と注意対象の距離が離れることが挙げられる。

【0062】

本変形例によれば、例外条件である第２条件が満たされた場合、判断部１２０は、第１条件が満たされたとしても、所定の情報を出力しない。従って、人にリスクが生じていることの検知精度は高くなる。なお、本変形例において、第２基準すなわち例外条件が満たされた場合、注意対象（例えば第２の人や車両）を示す画像を記憶部１３０に記憶させてもよい。これは、このときの第２の人や車両が将来的に他の人にリスクを生じさせる可能性があるためである。

【0063】

（変形例２）
図９は、図７の変形例２に係るフローチャートである。本変形例において、少なくとも一つの撮像装置２０は、対象エリアの入り口に設置されている。そして画像処理装置１０の画像処理部１１０は、この撮像装置２０が生成した画像を処理することにより、監視対象者を選択し、この監視対象者の特徴量を記憶部１３０に記憶させておく。ここで監視対象者は、例えば子供、女性、及び高齢者の少なくとも一つである。また、画像処理部１１０は、監視対象者の同行者の特徴量も記憶部１３０に記憶させておく。ここで同行者であることの判断基準は、実施形態で説明したとおりである。

【0064】

そして画像処理装置１０は、他の撮像装置２０が生成した画像を処理することにより、監視対象者について、変形例１に示した処理を実行する。

【0065】

具体的には、画像処理装置１０の画像処理部１１０は、撮像装置２０から新たな画像を取得する（ステップＳ１０）と、当該画像に含まれる人の特徴量及びその位置を検出するとともに、当該画像に含まれている物体及びその位置を検出する。ここで検出される物体は、少なくとも注意対象となり得る物体（例えば車両や建物）である。また画像処理部１１０は、当該画像に含まれる人の特徴量を検出し、記憶部１３０に記憶されている監視対象者の特徴量に一致するか否かを判断する。これにより、画像処理部１１０は、監視対象者を検出する（ステップＳ１２）。そして画像処理部１１０及び判断部１２０は、ステップＳ１２で検出した監視対象者に対して、ステップＳ２０以降の処理を行う。

【0066】

なお、本変形例において、監視対象者（例えば子供）が同行者（例えば親）から一定距離以上離れたことを第１基準として用いてもよい。この場合、第２基準として、所定時間以内に、監視対象者と同行者の距離が一定距離未満になることが用いられる。

【0067】

また本変形例において、判断部１２０は、監視対象者ではなく同行者の体線が基準値以上傾き（例えば横たわるなど）、その後監視対象者と同行者の距離が基準値以上離れた場合、所定の情報を出力してもよい。この際、監視対象者及び同行者の推移に位置していた人の特徴量を、要注意人物の特徴量として記憶部１３０に記憶させてもよい。その後、画像処理装置１０は、複数の撮像装置２０が生成した画像を処理することにより、要注意人物のトラッキングを行ってもよい。

【0068】

なお、対象エリアが空港やショッピングモールなどの施設内である場合、少なくとも一つの撮像装置２０が施設への入り口に設置されているとともに、少なくとも一つの撮像装置２０が施設からの出口に設置される。ここで入り口と出口が同じである場合、少なくとも一つの撮像装置２０がこの出入り口に設置されている。そして判断部１２０は、監視対象者が同行者以外の人と共に施設から出た場合や、一定時間経過しても出口において監視対象者を検出できなかった場合（例えば鞄の中に押し込められた場合などが想定される）、所定の情報を出力してもよい。特に監視対象者が同行者以外の人と共に施設から出た場合、所定の情報の出力先は、出口に設置されたゲートや出口にいる警備員（又は警察官）であってもよい。

【0069】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0070】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0071】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理手段と、
前記画像処理手段の処理結果を用いて所定の情報を出力する判断手段と、
を備え、
前記画像処理手段は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断手段は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力する画像処理装置。
２．上記１に記載の画像処理装置において、
前記注意対象は前記第２の人であり、
前記第１基準は、前記第２の人が前記第１の人の同行者でないことを含む、画像処理装置。
３．上記１に記載の画像処理装置において、
前記注意対象は前記第２の人であり、
前記画像処理手段は、前記複数の画像それぞれにおいて、前記第１の人の位置及び前記第２の人の位置を検出しており、
前記第１基準は、前記変化の大きさが前記基準を満たす前、前記第１の人と前記第２の人の間隔が基準時間以上継続して基準距離以上離れていたことを含む、画像処理装置。
４．上記１に記載の画像処理装置において、
前記注意対象は車であり、
前記第１基準は、前記変化の大きさが前記基準を満たした後、前記第１の人がフレームアウトすることなく基準時間以内に検知できなくなったことである、画像処理装置。
５．上記１に記載の画像処理装置において、
前記第１基準は、前記注意対象が存在し、かつ前記第１の人の属性が基準を満たすことである、画像処理装置。
６．コンピュータが、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理と、
前記画像処理の処理結果を用いて所定の情報を出力する判断処理と、
を行い
前記画像処理において、前記コンピュータは、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断処理において、前記コンピュータは、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力する画像処理方法。

７．上記６に記載の画像処理方法において、
前記注意対象は前記第２の人であり、
前記第１基準は、前記第２の人が前記第１の人の同行者でないことを含む、画像処理方法。
８．上記６に記載の画像処理方法において、
前記注意対象は前記第２の人であり、
前記画像処理において、前記コンピュータは、前記複数の画像それぞれにおいて、前記第１の人の位置及び前記第２の人の位置を検出しており、
前記第１基準は、前記変化の大きさが前記基準を満たす前、前記第１の人と前記第２の人の間隔が基準時間以上継続して基準距離以上離れていたことを含む、画像処理方法。
９．上記６に記載の画像処理方法において、
前記注意対象は車であり、
前記第１基準は、前記変化の大きさが前記基準を満たした後、前記第１の人がフレームアウトすることなく基準時間以内に検知できなくなったことである、画像処理方法。
１０．上記６に記載の画像処理方法において、
前記第１基準は、前記注意対象が存在し、かつ前記第１の人の属性が基準を満たすことである、画像処理方法。
１１．コンピュータに、
第１の人を含んでいて互いに異なるタイミングで生成された複数の画像を処理する画像処理機能と、
前記画像処理機能の処理結果を用いて所定の情報を出力する判断機能と、
を持たせ、
前記画像処理機能は、
前記複数の画像を処理することにより、前記第１の人の体の角度の変化を検出し、
少なくとも前記変化の大きさが基準を満たしたときに、前記体が傾いている方向に存在している第２の人又は物体である注意対象に関する情報を検出し、
前記判断機能は、前記注意対象及び前記第１の人の少なくとも一方に関する第１基準が満たされたときに、前記所定の情報を出力するプログラム。
１２．上記１１に記載のプログラムにおいて、
前記注意対象は前記第２の人であり、
前記第１基準は、前記第２の人が前記第１の人の同行者でないことを含む、プログラム。
１３．上記１１に記載のプログラムにおいて、
前記注意対象は前記第２の人であり、
前記画像処理機能は、前記複数の画像それぞれにおいて、前記第１の人の位置及び前記第２の人の位置を検出しており、
前記第１基準は、前記変化の大きさが前記基準を満たす前、前記第１の人と前記第２の人の間隔が基準時間以上継続して基準距離以上離れていたことを含む、プログラム。
１４．上記１１に記載のプログラムにおいて、
前記注意対象は車であり、
前記第１基準は、前記変化の大きさが前記基準を満たした後、前記第１の人がフレームアウトすることなく基準時間以内に検知できなくなったことである、プログラム。
１５．上記１１に記載のプログラムにおいて、
前記第１基準は、前記注意対象が存在し、かつ前記第１の人の属性が基準を満たすことである、プログラム。

【符号の説明】

【0072】

１０ 画像処理装置
２０ 撮像装置
３０ 外部装置
１１０ 画像処理部
１２０ 判断部
１３０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】