特許 7452644 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240312BHJP

   G08B 25/00 20060101ALI20240312BHJP

   G08B 25/04 20060101ALI20240312BHJP

   G16H 50/80 20180101ALI20240312BHJP

【ＦＩ】

G06T7/00 660B

G08B25/00 510M

G08B25/04 K

G16H50/80

【請求項の数】 12

(21)【出願番号】P 2022528440

(86)(22)【出願日】2021-03-08

(86)【国際出願番号】 JP2021008882

(87)【国際公開番号】W WO2021246010

(87)【国際公開日】2021-12-09

【審査請求日】2022-12-01

(31)【優先権主張番号】P 2020098403

(32)【優先日】2020-06-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】中野 学

(72)【発明者】

【氏名】西村 祥治

(72)【発明者】

【氏名】日下田 美孝

(72)【発明者】

【氏名】野田 陽太郎

(72)【発明者】

【氏名】篠田 茂樹

(72)【発明者】

【氏名】仙田 裕三

(72)【発明者】

【氏名】冨永 慎

(72)【発明者】

【氏名】石川 真澄

(72)【発明者】

【氏名】生藤 大典

(72)【発明者】

【氏名】瀧澤 香菜

(72)【発明者】

【氏名】石井 健一

(72)【発明者】

【氏名】佐藤 義之

(72)【発明者】

【氏名】有田 英司

(72)【発明者】

【氏名】山本 翔大

(72)【発明者】

【氏名】山崎 晋哉

(72)【発明者】

【氏名】納富 功充

(72)【発明者】

【氏名】中村 有紀

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１９／２３９８１３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｂ ２５／００－２５／１０

Ｇ１６Ｈ ５０／８０

(57)【特許請求の範囲】

【請求項1】

画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段と、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段と、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段と、
を備え、
前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の距離が閾値以下である状態の継続時間に基づき、前記第１の人の同伴者を特定する画像処理装置。

【請求項2】

画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段と、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段と、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段と、
を備え、
前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の視線方向に基づき、前記第１の人の同伴者を特定する画像処理装置。

【請求項3】

前記同伴者特定手段は、前記第１の人と前記他の人の視線方向が互いに向いている視線状態の継続時間、及び、所定時間内に前記視線状態が起きる頻度の少なくとも一方に基づき、前記第１の人の同伴者を特定する請求項２に記載の画像処理装置。

【請求項4】

画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段と、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段と、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段と、
を備え、
前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の身体の接触状況に基づき、前記第１の人の同伴者を特定する画像処理装置。

【請求項5】

前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の属性に基づき、前記第１の人の同伴者を特定する請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記距離算出手段は、前記人毎に、同伴者以外の中で２番目に近い前記人までの距離である第２距離を算出し、
前記リスク情報生成手段は、さらに前記第２距離を用いて前記感染リスク情報を生成する請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

コンピュータが、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定し、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出し、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成し、
前記同伴者を特定する処理では、複数の前記人の中の第１の人と他の人の距離が閾値以下である状態の継続時間に基づき、前記第１の人の同伴者を特定する画像処理方法。

【請求項8】

コンピュータが、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定し、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出し、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成し、
前記同伴者を特定する処理では、複数の前記人の中の第１の人と他の人の視線方向に基づき、前記第１の人の同伴者を特定する画像処理方法。

【請求項9】

コンピュータが、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定し、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出し、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成し、
前記同伴者を特定する処理では、複数の前記人の中の第１の人と他の人の身体の接触状況に基づき、前記第１の人の同伴者を特定する画像処理方法。

【請求項10】

コンピュータを、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段、
として機能させ、
前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の距離が閾値以下である状態の継続時間に基づき、前記第１の人の同伴者を特定するプログラム。

【請求項11】

コンピュータを、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段、
として機能させ、
前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の視線方向に基づき、前記第１の人の同伴者を特定するプログラム。

【請求項12】

コンピュータを、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段、
として機能させ、
前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の身体の接触状況に基づき、前記第１の人の同伴者を特定するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年は様々な目的で画像処理が用いられている。例えば特許文献１には、空間内の環境を調整して第１対象者からの飛沫の到達範囲が第２対象者の呼吸域から外れるようにするシステムにおいて、第１対象者及び第２対象者の顔の位置及び向きを画像処理によって決定することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２０／０４４８２６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

感染症の拡大を抑制するためには、人が集まる場所（店舗、施設、設備等）において、例えば、「座席の間隔をあける」、「入場者数を制限する」、「列に並んだ人の間隔をあけさせる」等のような、人と人との間隔を保つ措置が適切に行われることが好ましい。このような措置が適切に行われてない場所を把握できれば、「その場所を避ける」、「その場所に改善を促す」、「その場所の営業を停止する」等の感染症の拡大を抑制するための各種対応をとることができる。

【0005】

一方で、各場所の管理者の権限において、家族、恋人同士等のようなグループに対しても間隔を保たせる措置を徹底することは難しい。このため、同伴者間の間隔が保たれていないことに基づき、その場所で感染症の拡大を抑制する措置が適切に行われていないと評価することは妥当でない。

【0006】

上述のような事情から、各場所において感染症の拡大を抑制する措置が適切に行われているか否かを把握することは難しい。本発明の目的の一つは、各場所で感染症の拡大を抑制する措置が適切に行われているか否かを把握しやすくすることにある。

【課題を解決するための手段】

【0007】

本発明によれば、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段と、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段と、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段と、
を備える画像処理装置が提供される。

【0008】

また、本発明によれば、
コンピュータが、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定し、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出し、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成する画像処理方法が提供される。

【0009】

また、本発明によれば、
コンピュータを、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段、
として機能させるプログラムが提供される。

【発明の効果】

【0010】

本発明によれば、各場所で感染症の拡大を抑制する措置が適切に行われているか否かを把握しやすくなる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る画像処理装置の使用環境を説明するための図である。

【図2】画像処理装置の機能構成の一例を示す図である。

【図3】記憶部が記憶している情報の一例を示す図である。

【図4】画像処理装置のハードウェア構成例を示す図である。

【図5】画像処理装置が行う処理の一例を示すフローチャートである。

【図6】図５のステップＳ２０で行われる第１距離の算出方法の一例を示す図である。

【図7】図５のステップＳ４０において表示部に表示される画像の一例を示す図である。

【図8】図５のステップＳ４０において表示部に表示される画像の一例を示す図である。

【図9】画像処理装置が行う処理の一例を示すフローチャートである。

【図10】画像処理装置が行う処理の一例を示すフローチャートである。

【図11】図５のステップＳ４０において表示される画像の一例を示す図である。

【図12】図５のステップＳ４０において表示される画像の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0013】

図１は、実施形態に係る画像処理装置１０の使用環境を説明するための図である。画像処理装置１０は撮像装置２０とともに使用される。

【0014】

撮像装置２０は例えば固定カメラであり、複数の人、例えば不特定多数の人が往来する領域（以下、対象領域と記載）を繰り返し撮影する。このため、撮像装置２０が生成する画像は複数の人を含んでいる。撮像装置２０は、例えば店舗、施設、設備等に設置された監視カメラであってもよい。撮像装置２０が生成する画像のフレームレートは任意であるが、例えば動画を構成するようなフレームレートであってもよい。一例として、撮像装置２０は、画像処理装置１０と通信可能に接続し、生成した画像を画像処理装置１０に送信することができる。

【0015】

画像処理装置１０は、撮像装置２０が生成した画像を処理することにより、対象領域にいる人の間隔、すなわちある人（以下、基準となる人と記載）と、その人に最も近い人の距離（以下、第１距離と記載）を算出する。そして画像処理装置１０は、この第１距離を用いて、対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報（以下、感染リスク情報）を生成する。感染リスク情報は、その対象領域において感染症の拡大を抑制する措置が適切に行われているか否かの指標となる。

【0016】

図１に示す例において、画像処理装置１０は一つの撮像装置２０に接続している。ただし画像処理装置１０は複数の撮像装置２０に接続していてもよい。この場合、複数の撮像装置２０は互いに異なる対象領域を撮像している。また、複数の撮像装置２０のそれぞれは、当該撮像装置２０を識別する情報（以下、撮像装置識別情報と記載）に紐づけて画像を外部に送信する。このようにすると、複数、例えば１００か所以上の多数の対象領域のそれぞれについて、感染リスク情報を容易に生成することができる。

【0017】

図２は、画像処理装置１０の機能構成の一例を示す図である。本図に示す画像処理装置１０は、画像取得部１１と、同伴者特定部１２と、距離算出部１３と、リスク情報生成部１４と、出力部１５と、記憶部１６とを備えている。なお、画像処理装置１０は、記憶部１６を備えなくてもよい。この場合、画像処理装置１０と通信可能に構成された外部装置が記憶部１６を備える。

【0018】

画像取得部１１は、撮像装置２０が生成した複数の人を含む画像を取得する。画像取得部１１は、取得した画像を記憶部１６に記憶させる。画像処理装置１０と撮像装置２０とが通信可能に接続されている場合、画像取得部１１は、撮像装置２０から画像を受信することができる。その他、撮像装置２０が生成した画像が任意の記憶装置に格納されてもよい。そして、任意のタイミングで画像取得部１１は、その記憶装置に記憶されている画像を取得してもよい。

【0019】

画像取得部１１は、撮像装置２０が生成した画像をバッチ処理で取得してもよいし、リアルタイム処理で取得してもよい。バッチ処理で画像の取得及び解析を行う場合、所定時間分（例：１時間分、１日分、１週間分等）の画像に基づき、各対象領域において感染症の拡大を抑制する措置が適切に行われているか否かを総合的に評価することができる。一方、リアルタイム処理で画像の取得及び解析を行う場合、最新の画像が取得されたタイミングで、各対象領域において感染症の拡大を抑制する措置が適切に行われているか否かを評価することができる。

【0020】

同伴者特定部１２は、画像取得部１１が取得した画像を処理することにより、画像から検出された複数の人各々の同伴者を特定する。画像から人を検出する技術は広く知られているので、ここでの説明は省略する。以下、各人の同伴者を特定する方法の一例を説明する。

【0021】

（第１の例）
同伴者特定部１２は、検出された複数の人の中の任意の人（以下、第１の人と記載）と他の人の距離が閾値以下である状態の継続時間に基づき、第１の人の同伴者を特定する。具体的には、同伴者特定部１２は、当該継続時間が閾値以上である他の人を、第１の人の同伴者と判断する。画像に基づく距離の算出方法の具体例については、後述する。

【0022】

（第２の例）
同伴者特定部１２は、検出された複数の人の中の第１の人と他の人の視線方向に基づき、第１の人の同伴者を特定する。具体的には、同伴者特定部１２は、第１の人と他の人の視線方向が互いに向いている（互いを見ている）視線状態の継続時間、及び、所定時間内に当該視線状態が起きる頻度の少なくとも一方に基づき、第１の人の同伴者を特定する。当該頻度は、「回数」、「所定時間に対する当該視線状態となっている時間の割合」等である。

【0023】

より具体的には、同伴者特定部１２は、第１の人と他の人の視線方向が互いに向いている（互いを見ている）視線状態の継続時間が閾値以上である他の人を、第１の人の同伴者と判断する。また、同伴者特定部１２は、所定時間内に第１の人との間で当該視線状態が起きる頻度が閾値以上である他の人を、第１の人の同伴者と判断する。

【0024】

（第３の例）
同伴者特定部１２は、検出された複数の人の中の第１の人と他の人の身体の接触状況に基づき、第１の人の同伴者を特定する。例えば、同伴者特定部１２は、以下の条件の中の１つ、又は、任意の複数を満たす他の人を、第１の人の同伴者と判断してもよい。

【0025】

・第１の人と身体の接触があった。
・第１の人と身体の接触があった頻度が閾値以上。当該頻度は、「回数」、「所定時間に対する身体が接触している時間の割合」等である。
・第１の人と身体が接触した状態の継続時間が閾値以上。
・第１の人と予め定義された所定パターンの身体の接触があった。所定パターンは、「手をつなぐ」、「肩を組む」、「腰に手を回す」、「だっこ」、「肩車」、「おんぶ」等、同伴者間で起き得るもの。

【0026】

（第４の例）
同伴者特定部１２は、第１乃至第３の例の判断基準に加えて、検出された複数の人の中の第１の人と他の人の属性に基づき、第１の人の同伴者を特定する。属性は、画像から推定可能なものであり、例えば「大人、子供、老人の種別」、「年齢」、「性別」等である。同伴者特定部１２は、第１乃至第３の例の判断基準を満たし、かつ、第１の人との間で、属性の関係が条件を満たす他の人を、第１の人の同伴者と判断する。例えば、第１の人が「大人」である場合、同伴者の条件は「子供」である。

【0027】

（第５の例）
同伴者特定部１２は、第１乃至第４の例の判断基準の中の任意の複数の判断基準を満たす他の人を、第１の人の同伴者と判断する。

【0028】

距離算出部１３は、検出された人ごとに、同伴者以外の中で最も近い人までの距離である第１距離を算出する。第１距離の算出方法の具体例については後述する。

【0029】

リスク情報生成部１４は、第１距離を用いて、撮像装置２０の撮影対象となっている対象領域における感染リスク情報を生成する。一例として、リスク情報生成部１４は、第１距離が基準値以下であるか否かを判断し、当該判断結果を用いて感染リスク情報を生成する。この基準値は、いわゆる社会的距離に基づいて定められる。社会的距離は、感染症の感染を防ぐために、隣り合う人の間で保たれるべき物理的距離である。そして基準値の大きさは、対象としている感染症の主な感染経路に基づいて設定される。例えば飛沫感染が主となる感染症に対し、基準値には１．５ｍ以上６ｍ以下の値が用いられる。また、接触感染が主となる感染症については、基準値には５０ｃｍ以上１．５ｍ以下の値が用いられる。リスク情報生成部１４は、生成した感染リスク情報を、各対象領域を示す情報に紐付けて記憶部１６に記憶させることができる。記憶部１６は、さらに、各対象領域と、各対象領域を含む場所（店舗、施設、設備等）を識別する情報とを紐付けて記憶してもよい。

【0030】

なお、感染リスク情報は、例えば対象領域において感染症にかかるリスク又は感染症にかからない安全率そのものを示している。このような感染リスク情報は、その対象領域において感染症の拡大を抑制する措置が適切に行われているか否かの指標となる。上記した判断結果から感染リスク情報を生成する方法としては、例えば以下の方法がある。

【0031】

（方法１）
リスク情報生成部１４は、第１距離が基準値以下になった人の組み合わせの数を画像毎に算出し、この数が多くなるにつれて感染リスク情報が示すリスクを高める。この方法を用いると、リスク情報生成部１４は、画像毎に感染リスク情報を生成することができる。すなわち、各画像が表す内容に基づき、各画像が生成された時点において、感染症の拡大を抑制する措置が適切に行われているか否かを評価することができる。

【0032】

（方法２）
リスク情報生成部１４は、単位時間分の画像群毎に、第１距離が基準値以下になった人の組み合わせの数を求め、その統計値（平均値、最大値、最小値、最頻値、中央値等）が多くなるにつれて感染リスク情報が示すリスクを高める。この方法を用いると、所定の時間（例：３０分、１時間、１日、１週間等）に渡って生成された複数の画像全体に基づき、各対象領域において感染症の拡大を抑制する措置が適切に行われているか否かを総合的に評価することができる。

【0033】

（方法３）
リスク情報生成部１４は、単位時間分の画像群毎に、第１距離が基準値以下になった人の組み合わせの数を求め、直近の単位時間あたりの数が多くなるにつれて感染リスク情報が示すリスクを高める。この方法を用いると、直近の所定数の画像が表す内容に基づき、その画像群が生成された時点において、感染症の拡大を抑制する措置が適切に行われているか否かを評価することができる。

【0034】

（方法４）
リスク情報生成部１４は、方法２において、「第１距離が基準値以下になった人の組み合わせの数」に代えて、「第１距離が基準値以下である状態が基準時間以上継続している人の組み合わせの数」を求める。そして、その他は、方法２と同様とする。この方法を用いると、所定の時間（例：３０分、１時間、１日、１週間等）に渡って生成された複数の画像全体に基づき、各対象領域において感染症の拡大を抑制する措置が適切に行われているか否かを総合的に評価することができる。

【0035】

（方法５）
リスク情報生成部１４は、方法３において、「第１距離が基準値以下になった人の組み合わせの数」に代えて、「第１距離が基準値以下である状態が基準時間以上継続している人の組み合わせの数」を求める。そして、その他は、方法３と同様とする。この方法を用いると、直近の所定数の画像が表す内容に基づき、その画像群が生成された時点において、感染症の拡大を抑制する措置が適切に行われているか否かを評価することができる。

【0036】

（方法６）
方法２乃至５において、リスク情報生成部１４は、単位時間あたりかつ単位面積あたりの上記組み合わせの数を算出し、この数が多くなるにつれて感染リスク情報が示すリスクを高める。

【0037】

なお、方法２乃至６において、リスク情報生成部１４は、異なるタイミングで生成された複数の画像の処理結果を用いる。また、人の外観の特徴量（顔情報等）や位置情報を用いて異なる画像に重複して存在する同一人物を特定し、既に検出していた人の組み合わせと新たに検出した人の組み合わせとを識別することができる。

【0038】

なお、リスク情報生成部１４は、第１距離が基準値以下になったことそのものを、感染リスク情報として用いてもよい。

【0039】

出力部１５は、記憶部１６に記憶されている各種情報を出力する。出力部１５は、ディスプレイ、投影装置等の表示装置に感染リスク情報を表示してもよい。その他、出力部１５は、当該感染リスク情報を所定のウェブサーバに格納し、インターネット等の通信ネットワークを介して不特定多数の人がアクセス可能な状態にしてもよい。出力部１５が出力する情報の他の一例は、後述する。

【0040】

図３は、記憶部１６が記憶している情報の一例を示す図である。本図に示す例において、記憶部１６は、撮像装置２０が生成した画像（図３においては画像データと記載）を、その画像が生成された日時を特定する情報（例えば日時そのもの又はフレーム番号）に紐づけて記憶している。また記憶部１６は、撮像装置２０が生成した画像を、その画像を処理することによって得られた情報（図３においては解析結果と記載）とともに記憶している。なお、この解析結果は感染リスク情報を含んでいてもよい。

【0041】

図４は、画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0042】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0043】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0044】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0045】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（例えば画像取得部１１、同伴者特定部１２、距離算出部１３、リスク情報生成部１４及び出力部１５）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部１６としても機能する。

【0046】

入出力インタフェース１０５０は、画像処理装置１０と各種入出力機器とを接続するためのインタフェースである。

【0047】

ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置１０は、ネットワークインタフェース１０６０を介して撮像装置２０と通信してもよい。

【0048】

図５は、画像処理装置１０が行う処理の第１例を示すフローチャートである。以下、バッチ処理で画像の取得及び解析を行う場合と、リアルタイム処理で画像の取得及び解析を行う場合とに分けて、説明する。

【0049】

（バッチ処理）
まず画像取得部１１は、処理対象となる所定時間分（例：３０分、１時間、１日、１週間等）の複数の画像を取得する（Ｓ１０）。次に、同伴者特定部１２は、所定時間分の複数の画像を解析し、画像内に含まれる人を検出するとともに、人毎に同伴者を特定する（Ｓ２０）。そして、同伴者特定部１２は、検出した人各々に紐付けて、同伴者を示す情報を登録する。同伴者特定部１２は、例えば、人の外観の特徴量や位置情報を用いて、異なる画像に重複して存在する同一人物を特定することができる。そして、同伴者特定部１２は、例えば外観の特徴量を用いて、検出された複数の人を互いに識別することができる。また、同伴者特定部１２は、例えば上述した第１乃至第５の例のいずれかに基づき、各人の同伴者を特定することができる。

【0050】

同伴者特定部１２が所定時間分の複数の画像すべての解析を終了すると、距離算出部１３は、所定時間分の複数の画像各々を解析し、人毎に、同伴者以外の中で最も近い人までの距離（第１距離）を算出する（Ｓ３０）。距離算出部１３は、Ｓ２０における特定結果に基づき、各人の同伴者を認識することができる。Ｓ３０の算出において、距離算出部１３は、画像内における、距離の算出対象となっている人の高さ、位置、及びその画像を生成した撮像装置２０の上下方向の向きを用いて、第１距離を算出する。この際、詳細を後述するように、距離算出部１３は、人の身長としてあらかじめ設定されている値（以下、基準身長と記載）を用いる。

【0051】

距離算出部１３が所定時間分の複数の画像すべての解析を終了すると、リスク情報生成部１４は、Ｓ３０で生成された第１距離を用いて、感染リスク情報を生成する。リスク情報生成部１４は、例えば上述した方法１乃至６のいずれかに基づき感染リスク情報を生成する。バッチ処理である当該例の場合、例えば、リスク情報生成部１４は、方法２、４及び６のいずれかを採用し、所定時間に渡って生成された複数の画像全体に基づき、各対象領域において感染症の拡大を抑制する措置が適切に行われているか否かを総合的に評価してもよい。なお、リスク情報生成部１４は、方法１、３、５及び６のいずれかを採用し、その時々の状況を評価してもよい。

【0052】

その後、出力部１５は、Ｓ４０で生成された感染リスク情報を出力する（Ｓ５０）。この場合、出力部１５は、感染リスク情報で示される感染症にかかるリスクが所定レベルよりも高い対象領域（安全性が所定レベルよりも低い対象領域）を特定し、特定した対象領域を示す情報（特定した対象領域のリストなど）を出力してもよい。また、出力部１５は、特定した対象領域を含む場所を示す情報（特定した場所のリストなど）を出力してもよい。上述の通り、各撮像装置２０が撮像する対象領域と、各対象領域を含む場所（店舗、施設、設備等）を識別する情報とを紐付けておき、当該情報を用いることで、特定した対象領域を含む場所を特定することができる。

【0053】

（リアルタイム処理）
まず画像取得部１１は、処理対象となる１つの画像を取得する（Ｓ１０）。次に、同伴者特定部１２は、新たに取得された画像内に含まれる人を検出するとともに、その画像又はそれまでに取得された画像に基づき、人毎に同伴者を特定する（Ｓ２０）。そして、同伴者特定部１２は、検出した人各々に紐付けて、同伴者を示す情報を登録する。同伴者特定部１２は、例えば、人の外観の特徴量や位置情報を用いて、異なる画像に重複して存在する同一人物を特定することができる。そして、同伴者特定部１２は、例えば外観の特徴量を用いて、検出された複数の人を互いに識別することができる。また、同伴者特定部１２は、例えば上述した第１乃至第５の例のいずれかに基づき、各人の同伴者を特定することができる。

【0054】

次いで、距離算出部１３は、新たに取得された画像を解析し、人毎に、同伴者以外の中で最も近い人までの距離（第１距離）を算出する（Ｓ３０）。距離算出部１３は、その時点までにＳ２０で特定された結果に基づき、各人の同伴者を認識することができる。Ｓ３０の算出において、距離算出部１３は、画像内における、距離の算出対象となっている人の高さ、位置、及びその画像を生成した撮像装置２０の上下方向の向きを用いて、第１距離を算出する。この際、詳細を後述するように、距離算出部１３は、人の身長としてあらかじめ設定されている値（以下、基準身長と記載）を用いる。

【0055】

次いでリスク情報生成部１４は、Ｓ３０で生成された第１距離を用いて、感染リスク情報を生成する。リスク情報生成部１４は、例えば上述した方法１乃至６のいずれかに基づき感染リスク情報を生成する。リアルタイム処理である当該例の場合、リスク情報生成部１４は、方法１、３、５及び６のいずれかを採用し、その時々の状況を評価してもよい。なお、リスク情報生成部１４は、方法２、４及び６のいずれかを採用し、それ以前に所定時間に渡って生成された複数の画像全体に基づき、各対象領域において感染症の拡大を抑制する措置が適切に行われているか否かを総合的に評価してもよい。

【0056】

その後、出力部１５は、Ｓ４０で生成された感染リスク情報を出力する（Ｓ５０）。そして、以降、画像処理装置１０はＳ１０乃至Ｓ５０の処理を繰り返す。

【0057】

図６は、図５のステップＳ３０で行われる第１距離の算出方法の一例を示す図である。距離算出部１３は、基準となる人を特定する。そして、その人の周囲に位置する人のそれぞれに対して、本図に示す処理を行う。

【0058】

まず距離算出部１３は、基準となる人、又はその人の周囲に位置する人の画像内における高さｔを算出する。ここでは、例えば画素数で表される。次いで距離算出部１３は、基準となる人から周囲に位置する人までの画像内における距離ｄを算出する。ここでｄは、ｔと同じ単位（例えば画素数）で表される。次いで距離算出部１３は、ｄ／ｔを算出し、この値に上記した基準身長を乗ずることにより、基準となる人とその周囲に位置する人の距離を算出する。

【0059】

基準となる人の周囲に他の人が一人しかいない場合、その人について算出された距離が第１距離になる。またほかの人が複数いた場合、これら複数の人それぞれについて上記した距離を算出し、その距離の最小値が第１距離になる。

【0060】

なお、上記したように、基準身長は予め設定されている。撮像装置２０が設置されている場所（例えば国）によって、この基準身長を変えてもよい。例えば基準身長は、対象となっている撮像装置２０が設置されている国の成人の平均身長が用いられる。具体的な処理の例として、記憶部１６は、基準身長を特定する情報を撮像装置識別情報別に記憶している。そして距離算出部１３は、処理対象となっている画像を生成した撮像装置２０の撮像装置識別情報を取得し、この撮像装置識別情報に対応する基準身長を記憶部１６から読み出して使用する。

【0061】

また距離算出部１３は、画像処理によって高さｔの算出対象となった人の属性（例えば性別及び年齢層の少なくとも一方）が推定できた場合、この属性によって基準身長を変更してもよい。

【0062】

なお、ほとんどの画像には、その画像を生成した撮像装置２０に固有の歪が生じている。距離算出部１３は、第１距離を算出する際、この歪を補正する処理を行うのが好ましい。距離算出部１３は、画像内における人の位置に応じたひずみ補正処理を行う。一般的に、画像の歪は、例えば撮像装置２０が有する光学系（例えばレンズ）、及びその撮像装置２０の上下方向の向き（例えば水平面に対する角度）に起因している。そこで画像内における人の位置に応じたひずみ補正処理の内容は、撮像装置２０が有する光学系（例えばレンズ）、及びその撮像装置２０の上下方向の向きに応じて設定される。

【0063】

なお、本図を用いて説明した処理において、大きさがある程度規格化されている物体が画像に含まれていた場合、距離算出部１３は、人の身長の代わりにこの物体の大きさを用いて第１距離を算出してもよい。

【0064】

図７は、図５のステップＳ４０において表示される画像の一例を示す図である。当該出力は、各画像が生成された時点における状況を示すのに好適である。当該例において、出力部１５は、感染リスク情報とともに、感染リスク情報を生成するときに用いた画像（動画の場合もある）をディスプレイ等の出力装置に表示させる。この際、出力部１５は、第１距離が基準値以下である人の組み合わせを認識させるための表示を画像に重ねたうえで、その表示及び画像を表示させる。

【0065】

本図に示す例において、出力部１５は、第１距離の算出対象となった人の組み合わせを示すマークを表示させている。そして出力部１５は、このマークの態様を、第１距離が基準値以下であるか否かで変えている。より詳細には、本図に示す例において、人の組み合わせを構成する二人は、円又は楕円で囲まれている。そしてこの円又は楕円の表示色や線の態様（実線、点線、及び一点鎖線など）が、第１距離が基準値以下であるか否かで変わっている。

【0066】

なお、表示される画像が動画の場合、図７及び図８に示すように、時間が経過するにつれて、第１距離の算出対象となる人の組み合わせが変わる。例えば図７のタイミングにおいて、人Ｐ_２にとって、人Ｐ_１が第１距離を算出するときの相手になっているが、それより後の図８のタイミングでは、人Ｐ_４が第１距離を算出するときの相手になっている。

【0067】

図１１及び図１２は、図５のステップＳ４０において出力装置に表示される画像の一例を示す図である。これらの図において、出力部１５は、人ごとに、当該人を中心とした社会的距離の推奨値（例えば上記した基準値）の範囲を示すマークを表示させる。そしてある人に対応するマークとその近くの人に対応するマークとが重なった場合、すなわちある人とその近くの人の距離が社会的距離の推奨値以下になった場合（例えば、図１１および図１２の人Ｐ_１、Ｐ_２）、これら２人それぞれに対応するマークを、他の人に対応するマーク（例えば、図１１および図１２の人Ｐ_３、Ｐ_４、Ｐ_５、Ｐ_６）とは異なる態様で表示させる。態様の異ならせ方は、例えば表示色を変えたり、マークを構成する線の態様（実線、点線、及び一点鎖線など）を異ならせるなどである。出力部１５は、表示色を変える場合、例えば通常の状態のマークを青色で表示し、２つのマークが重なっている場合はこれら２つのマークを赤色で表示させる。

【0068】

図１１に示す例では、出力部１５は、感染リスク情報を生成するときに用いた画像（動画の場合もある）に、上記したマークを重ねている。一方、図１２に示す例では、人の配置を平面図で示したうえで、当該平面図に上記したマークを重ねている。出力部１５は、図１１に示す表示及び図１２に示す表示を、同時に出力装置に表示させてもよい。

【0069】

図７、図８、図１１及び図１２に示す表示は、リアルタイムの動画や画像を用いて行われてもよい。この場合、図７、図８、図１１及び図１２に示した表示は、例えば対象領域の近くに設置されたディスプレイ等の出力装置に対して行われてもよいし、インターネットや放送のコンテンツとして用いられてもよい。

【0070】

図９は、画像処理装置１０が行う処理の第２例を示すフローチャートである。本図に示す例は、Ｓ３０において、距離算出部１３が、人毎に、第１距離に加えて、同伴者以外の中で２番目に近い人までの距離である第２距離を算出する。そして、Ｓ４０において、リスク情報生成部１４は、第１距離及び第２距離を用いて感染リスク情報を生成する。この点を除いて、図５に示す例と同様である。

【0071】

第２距離は、基準となる人と、その人から２番目に近い人までの距離である。第２距離の算出方法は、１番目ではなく２番目に近い人までの距離を選択する点を除いて、第１距離の算出方法と同様である。そしてリスク情報生成部１４は、感染リスク情報を生成する際に、第２距離が近くなるにつれて、リスクが高まる（安全率が下がる）ようにする。なお、距離算出部１３は、基準となる人と、その人から３番目に近い人までの距離（第３距離）をさらに生成してもよい。この場合、リスク情報生成部１４は、さらに第３距離を用いて感染リスク情報を生成する。

【0072】

図１０は、画像処理装置１０が行う処理の第３例を示すフローチャートである。本図に示す例は、リスク情報生成部１４が、感染リスク情報を生成する際に、人と人の間の距離以外の情報をさらに用いる点を除いて、図５又は図９に示した例と同様である。

【0073】

具体的には、Ｓ１０乃至Ｓ３０は、図５（又は図９）に示した例と同様である。なお、Ｓ３０では、人別に第１距離及び第２距離を算出してもよい。そして、リスク情報生成部１４は、画像を処理することにより、感染リスク情報を生成するために必要な、追加の情報を生成する（Ｓ３４）。ここで生成される情報は、人の顔の向きの特定結果、顔への装着物の有無及びその種類の特定結果、並びに人の口の動きの特定結果の少なくとも一つである。

【0074】

「人の顔の向き」は、少なくとも、基準となる人の顔の向きと、その人に最も近い人の顔の向きと、の少なくとも一方を含んでいる。そしてリスク情報生成部１４は、人の顔が相手に対向する方向に近づくにつれて、感染リスク情報が示すリスクを高める（安全率を下げる）。ここでリスク情報生成部１４は、第２距離や第３距離を用いる場合、さらに第２距離を算出するときの相手となる人の顔の向きや、第３距離を算出するときの相手となる人の顔の向きを用いてもよい。

【0075】

「顔への装着物の有無」は、少なくとも、基準となる人における装着物の有無と、その人に最も近い人における装着物の有無と、の少なくとも一方を含んでいる。そしてリスク情報生成部１４は、特定の種類の装着物が検知された場合、それ以外の場合と比較して、感染リスク情報が示すリスクを下げる（安全率を上げる）。ここで特定の種類の装着物は、口及び鼻の少なくとも一方（好ましくは双方）を覆うもの、例えばマスクやマフラーである。ここでリスク情報生成部１４は、第２距離や第３距離を用いる場合、さらに第２距離を算出するときの相手となる人や、第３距離を算出するときの相手となる人に対して、同様のことを行ってもよい。

【0076】

「口の動き」は、少なくとも口が動いていることである。口が動いている場合、その人は話している可能性が高い。そこでリスク情報生成部１４は、基準となる人と、その人に最も近い人と、の少なくとも一方において口が動いている場合、それ以外の場合と比較して、感染リスク情報が示すリスクを高める（安全率を下げる）。ここでリスク情報生成部１４は、第２距離や第３距離を用いる場合、さらに第２距離を算出するときの相手となる人の口の動きや、第３距離を算出するときの相手となる人の口の動きを用いてもよい。

【0077】

以上、本実施形態によれば、画像処理装置１０は、撮像装置２０が生成した画像、すなわち複数の人を含む画像を取得して処理することにより、複数の人の少なくとも一部の人について、当該人に最も近い人までの距離（第１距離）を算出する。画像処理装置１０は、第１距離を用いて、撮像装置２０の撮影対象となっている対象領域における感染リスク情報を生成する。このため、対象領域において感染症の拡大を抑制する措置が適切に行われているか否かを把握することができる。

【0078】

ところで、各場所の管理者の権限において、家族、恋人同士等のようなグループに対しても間隔を保たせる措置を徹底することは難しい。このため、同伴者間の間隔が保たれていないことに基づき、その場所で感染症の拡大を抑制する措置が適切に行われていないと評価することは妥当でない。これに対し、画像処理装置１０は、画像を解析して同伴者を特定し、同伴者間の間隔が保たれていないことは考慮せずに、各対象領域における感染リスク情報を生成することができる。結果、上記不都合を抑制し、各場所で感染症の拡大を抑制する措置が適切に行われているかいなかを適切に評価することができる。

【0079】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0080】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0081】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段と、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段と、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段と、
を備える画像処理装置。
２． 前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の距離が閾値以下である状態の継続時間に基づき、前記第１の人の同伴者を特定する１に記載の画像処理装置。
３． 前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の視線方向に基づき、前記第１の人の同伴者を特定する１又は２に記載の画像処理装置。
４． 前記同伴者特定手段は、前記第１の人と前記他の人の視線方向が互いに向いている視線状態の継続時間、及び、所定時間内に前記視線状態が起きる頻度の少なくとも一方に基づき、前記第１の人の同伴者を特定する３に記載の画像処理装置。
５． 前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の身体の接触状況に基づき、前記第１の人の同伴者を特定する１から４のいずれかに記載の画像処理装置。
６． 前記同伴者特定手段は、複数の前記人の中の第１の人と他の人の属性に基づき、前記第１の人の同伴者を特定する２から５のいずれかに記載の画像処理装置。
７． 前記距離算出手段は、前記人毎に、同伴者以外の中で２番目に近い前記人までの距離である第２距離を算出し、
前記リスク情報生成手段は、さらに前記第２距離を用いて前記感染リスク情報を生成する１から６のいずれかに記載の画像処理装置。
８． コンピュータが、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定し、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出し、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成する画像処理方法。
９． コンピュータを、
画像から検出された複数の人各々の同伴者を前記画像に基づき特定する同伴者特定手段、
前記人毎に、同伴者以外の中で最も近い前記人までの距離である第１距離を算出する距離算出手段、
前記第１距離を用いて、前記画像に含まれる領域である対象領域において感染症にかかるリスク又は感染症にかからない安全率に関する情報である感染リスク情報を生成するリスク情報生成手段、
として機能させるプログラム。

【0082】

この出願は、２０２０年６月５日に出願された日本出願特願２０２０－０９８４０３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0083】

１０ 画像処理装置
１１ 画像取得部
１２ 同伴者特定部
１３ 距離算出部
１４ リスク情報生成部
１５ 出力部
１６ 記憶部
２０ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】