特許 7458303 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-21

(45)【発行日】2024-03-29

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240322BHJP

   G06T 7/00 20170101ALI20240322BHJP

   G06T 7/70 20170101ALI20240322BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06T7/00 660A

G06T7/70 Z

G06T7/00 P

【請求項の数】 16

(21)【出願番号】P 2020192597

(22)【出願日】2020-11-19

(65)【公開番号】P2022081200

(43)【公開日】2022-05-31

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小林 大祐

(72)【発明者】

【氏名】山地 雄土

(72)【発明者】

【氏名】柴田 智行

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０２０／０４４８２６（ＷＯ，Ａ１）

【文献】特開２０２０－０６７９３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

複数の人物が存在する空間を撮像した画像データを取得する取得部と、
前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と、
を備え、
前記算出部は、
前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい
情報処理装置。

【請求項2】

前記算出部は、前記１または複数の他人物のそれぞれについての前記個別密接度を合成して前記密接評価値を算出する
請求項１に記載の情報処理装置。

【請求項3】

前記密接評価値に応じた情報を、表示装置に表示させる出力部をさらに備える
請求項２に記載の情報処理装置。

【請求項4】

前記出力部は、評価オブジェクトを前記評価対象人物の頭部の位置に重畳した前記画像データを、前記表示装置に表示させ、
前記評価オブジェクトは、前記密接評価値に応じて表示内容が変化する画像である
請求項３に記載の情報処理装置。

【請求項5】

前記出力部は、前記評価対象人物の頭部の位置に、範囲オブジェクトを重畳した前記画像データを前記表示装置に表示させ、
前記範囲オブジェクトは、頭部から所定距離の範囲を表す画像である
請求項４に記載の情報処理装置。

【請求項6】

前記出力部は、前記評価対象人物の頭部の位置に、方向オブジェクトを重畳した前記画像データを前記表示装置に表示させ、
前記方向オブジェクトは、頭部の向きを表す画像である
請求項４または５に記載の情報処理装置。

【請求項7】

前記算出部は、前記評価対象人物の頭部と、対応する他人物の頭部との間の距離が短い程、前記個別密接度を大きくする
請求項１から６の何れか１項に記載の情報処理装置。

【請求項8】

前記検出部は、前記複数の人物のそれぞれについて、マスクを着用しているか否かをさらに検出し、
前記算出部は、対応する他人物が前記マスクを着用していない場合、前記個別密接度を大きくする
請求項１から７の何れか１項に記載の情報処理装置。

【請求項9】

前記検出部は、前記複数の人物のそれぞれについて、声を出しているか否かをさらに検出し、
前記算出部は、対応する他人物が声を出している場合、前記個別密接度を大きくする
請求項１から８の何れか１項に記載の情報処理装置。

【請求項10】

前記検出部は、前記画像データに含まれる、口からの飛沫を遮蔽する遮蔽物の位置を、さらに検出し、
前記算出部は、対応する他人物の頭部の位置と、前記評価対象人物の頭部の位置との間に前記遮蔽物が存在する場合、前記個別密接度を小さくする
請求項１から９の何れか１項に記載の情報処理装置。

【請求項11】

前記算出部は、密接状態の継続時間が長い程、前記個別密接度を大きくし、
前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
請求項１から１０の何れか１項に記載の情報処理装置。

【請求項12】

複数の人物が存在する空間を撮像した画像データを取得する取得部と、
前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と、
を備え、
前記算出部は、
前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
前記個別密接度は、密接状態の継続時間が長い程、大きく、
前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
情報処理装置。

【請求項13】

情報処理装置により実行される情報処理方法であって、
前記情報処理装置が、
複数の人物が存在する空間を撮像した画像データを取得し、
前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出し、
前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出し、
前記密接評価値の算出において、前記情報処理装置が、
前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい
情報処理方法。

【請求項14】

情報処理装置により実行される情報処理方法であって、
前記情報処理装置が、
複数の人物が存在する空間を撮像した画像データを取得し、
前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出し、
前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出し、
前記密接評価値の算出において、前記情報処理装置が、
前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
前記個別密接度は、密接状態の継続時間が長い程、大きく、
前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
情報処理方法。

【請求項15】

情報処理装置により実行されるプログラムであって、
前記情報処理装置を、
複数の人物が存在する空間を撮像した画像データを取得する取得部と、
前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と
して機能させ、
前記算出部は、
前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい
プログラム。

【請求項16】

情報処理装置により実行されるプログラムであって、
前記情報処理装置を、
複数の人物が存在する空間を撮像した画像データを取得する取得部と、
前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と、
して機能させ、
前記算出部は、
前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
前記個別密接度は、密接状態の継続時間が長い程、大きく、
前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

ウイルス感染の拡大を防ぐためには、人と人との物理的距離を確保することが重要である。ウイルス感染のリスクを軽減するために、店舗内の監視カメラにより撮像された画像データから、人と人との密接状態を検知する技術が要求されている。

【0003】

従来、画像中から人物の頭部の位置を検出し、単位面積当たりの頭部密度に基づき人物の密集度を算出する技術が知られている。また、カメラのキャリブレーションによって得られた俯瞰図から人物間距離を算出することで、物理的距離が確保されているかを監視する技術も知られている。

【0004】

しかし、人物同士の距離が近い場合であっても、互いに後ろを向いている場合と、互いに正面を向いている場合とでは、飛沫感染によるリスクは変わる。このため、従来の技術では、飛沫感染のリスクに相当する評価値を精度良く提示することはできなかった。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－７６３１６号公報

【非特許文献】

【0006】

【文献】Dongfang Yang, et al. “A Vision-based Social Distancing and Critical Density Detection System for COVID-19”, 2020年7月, arXiv:2007.03578.

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、密接の度合いを精度良く算出する情報処理装置、情報処理方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0008】

実施形態に係る情報処理装置は、取得部と、検出部と、算出部とを備える。前記取得部は、複数の人物が存在する空間を撮像した画像データを取得する。前記検出部は、前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する。前記算出部は、前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する。前記算出部は、前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出する。前記算出部は、前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出する。前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの構成を示す図。

【図2】密接検知装置の構成を示す図。

【図3】第１実施形態に係る密接検知装置の処理の流れを示すフローチャート。

【図4】角度パラメータを算出するためのベクトルを示す図。

【図5】表示装置に表示される画像の一例を示す図。

【図6】第２実施形態に係る密接検知装置の処理の流れを示すフローチャート。

【図7】第３実施形態に係る密接検知装置の処理の流れを示すフローチャート。

【図8】密接検知装置のハードウェア構成を示す図。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら実施形態に係る情報処理システム１０について説明する。情報処理システム１０は、評価対象人物に対する１または複数の他人物の密接の度合いを表す密接評価値を算出する。そして、情報処理システム１０は、密接評価値に応じた情報を表示させることにより、口から出た飛沫によるウイルス感染リスクを可視化する。

【0011】

（第１実施形態）
図１は、情報処理システム１０の構成を示す図である。情報処理システム１０は、カメラ１２と、表示装置１４と、密接検知装置２０とを備える。

【0012】

カメラ１２は、複数の人物（複数の特定物）が存在する空間を撮像する。例えば、カメラ１２は、店舗、学校、公共設備または駅等の空間を、上方の俯瞰した位置から撮像する。カメラ１２は、一定時間間隔毎に画像を撮像する。

【0013】

表示装置１４は、画像データを表示する。例えば、表示装置１４は、情報処理システム１０の管理者等により監視される。また、表示装置１４は、密接検知装置２０とネットワークで接続された遠隔の装置であってもよい。

【0014】

密接検知装置２０は、カメラ１２から画像データを取得する。密接検知装置２０は、取得した画像データに基づき、空間に存在する複数の人物のうちの何れかまたは全てを評価対象人物と特定し、特定したそれぞれの評価対象人物（評価対象物）について密接評価値を算出する。

【0015】

密接評価値は、評価対象人物に対する、１または複数の他人物（１または複数の他特定物）との密接の度合いを表す。例えば、密接評価値は、評価対象人物の頭部の顔側の面に対する、１または複数の他人物のそれぞれの頭部の顔側の面の密接の度合いを表す。この場合、密接評価値は、１または複数の他人物のそれぞれの口から出る飛沫により、評価対象人物がウイルス感染するリスクに相当する。

【0016】

密接検知装置２０は、カメラ１２により撮像された画像データにおける複数の人物のそれぞれに対応する位置に、対応する密接評価値を表す情報を重畳する。密接評価値を表す情報は、例えば、密接評価値に大きさに応じて表示内容が変化する画像である。例えば、この密接評価値を表す情報は、対応する密接評価値に応じて、色、濃度または形状が変化する画像であってもよい。そして、密接検知装置２０は、密接評価値を表す情報を重畳した画像データを表示装置１４に表示させる。

【0017】

このような情報処理システム１０は、表示装置１４を監視する監視者に対して、空間に存在する複数の人物のうちの、飛沫によりウイルス感染するリスクが高い人物を視覚的に提示することができる。

【0018】

図２は、密接検知装置２０の構成を示す図である。密接検知装置２０は、例えば、情報処理装置が密接検知用アプリケーションプログラムを実行することにより実現される。

【0019】

密接検知装置２０は、取得部２２と、検出部２４と、算出部２６と、出力部２８とを備える。

【0020】

取得部２２は、複数の人物が存在する空間を撮像した画像データをカメラ１２から取得する。画像データは、カラーであっても、モノクローム画像であってもよい。画像データは、ステレオ画像であってもよい。

【0021】

検出部２４は、画像データに含まれる複数の人物のそれぞれを検出する。例えば、検出部２４は、パターンマッチングまたはニューラルネットワークを用いた物体検出方法により、画像データに含まれる人物を検出する。本実施形態においては、検出部２４は、複数の人物のそれぞれの頭部を検出する。例えば、検出部２４は、人物の骨格の特徴点を推定し、推定した特徴点を用いて頭部を検出する。

【0022】

さらに、検出部２４は、検出した複数の人物のそれぞれにおける、空間における位置および向きを検出する。本実施形態において、検出部２４は、検出した複数の人物のそれぞれにおける、頭部の位置、および、頭部の向き（例えば顔が向いている方向）を検出する。例えば、検出部２４は、頭部の位置の俯瞰図上の座標を検出する。具体的には、検出部２４は、画像データの頭部の画素位置を、俯瞰図上に変換することにより、頭部の位置を検出する。さらに、検出部２４は、俯瞰図上における、頭部の向きを検出する。具体的には、検出部２４は、頭部における２つの目を結んだ直線の法線ベクトルおよび２つの肩の特徴点を結んだ法線ベクトル等を用いることにより、頭部の向きを検出する。また、例えば、検出部２４は、頭部の位置の３次元空間の座標を検出し、３次元空間における、頭部の向きを検出してもよい。

【0023】

算出部２６は、検出した複数の人物のうちの何れかまたは全てを評価対象人物として特定する。算出部２６は、それぞれの評価対象人物について、複数の人物のそれぞれの位置および向きに基づき、評価対象人物に対する、複数の人物のうちの評価対象人物以外の１または複数の他人物の密接の度合いを表す密接評価値を算出する。例えば、算出部２６は、それぞれの評価対象人物について、複数の人物のそれぞれの頭部の位置および向きに基づき密接評価値を算出する。

【0024】

出力部２８は、取得部２２から画像データを受け取る。また、出力部２８は、検出部２４により検出された複数の人物のそれぞれの頭部の俯瞰図上における位置および向きを受け取る。さらに、出力部２８は、算出部２６により算出された、それぞれの評価対象人物についての密接評価値を取得する。

【0025】

出力部２８は、画像データとともに、それぞれの評価対象人物についての密接評価値に応じた情報を、表示装置１４に表示させる。例えば、出力部２８は、密接評価値に応じて表示内容が変化する画像である評価オブジェクトを生成する。例えば、出力部２８は、密接評価値に応じて色、濃度または形状が変化する評価オブジェクトを生成する。出力部２８は、カメラ１２から取得した画像データにおける対応する評価対象人物の頭部の位置に、生成した評価オブジェクトを重畳する。そして、出力部２８は、評価オブジェクトを重畳した画像データを表示装置１４に表示させる。

【0026】

また、出力部２８は、それぞれの評価対象人物について、頭部から所定距離の範囲を表す画像である範囲オブジェクトを生成する。例えば、所定距離は、口から飛沫が届く範囲である。出力部２８は、評価対象人物の頭部の位置に、俯瞰図上における距離範囲を表すように変換された範囲オブジェクトを生成する。そして、出力部２８は、生成した範囲オブジェクトを重畳した画像データを表示装置１４に表示させる。

【0027】

また、出力部２８は、それぞれの評価対象人物について、頭部の向きを表す画像である方向オブジェクトを生成する。例えば、頭部の向きは、口からの飛沫が最も多く飛ぶと推定される方向である。そして、出力部２８は、評価対象人物の頭部の位置に、空間における向きを表すように変換された方向オブジェクトを重畳した画像データを表示装置１４に表示させる。例えば、出力部２８は、俯瞰図上により表される所定距離の範囲を、カメラ１２により撮像された画像データの２次元座標に変換することにより、範囲オブジェクトを画像データに重畳する。

【0028】

図３は、第１実施形態に係る密接検知装置２０の処理の流れを示すフローチャートである。図４は、角度パラメータを算出するためのベクトルを示す図である。

【0029】

まず、Ｓ１１において、密接検知装置２０は、複数の人物が存在する空間を撮像した画像データをカメラ１２から取得する。続いて、Ｓ１２において、密接検知装置２０は、画像データに含まれる複数の人物のそれぞれを検出する。

【0030】

続いて、Ｓ１３において、密接検知装置２０は、検出した複数の人物のそれぞれにおける、空間における位置および向きを検出する。本実施形態において、密接検知装置２０は、検出した複数の人物のそれぞれにおける、頭部の位置、および、頭部の向き（例えば顔が向いている方向）を検出する。

【0031】

続いて、密接検知装置２０は、評価対象人物毎に、Ｓ１５～Ｓ２０の処理を実行する（Ｓ１４とＳ２１との間のループ処理）。密接検知装置２０は、例えば、画像データに含まれる複数の人物のそれぞれを、順次に評価対象人物として選択してもよい。また、密接検知装置２０は、例えば、画像データに含まれる複数の人物のうちの、特定の１または複数の人物のそれぞれを評価対象人物として選択してもよい。

【0032】

Ｓ１４とＳ２１との間のループ処理内において、密接検知装置２０は、他人物毎に、Ｓ１６～Ｓ１８の処理を実行する（Ｓ１５とＳ１９との間のループ処理）。他人物は、画像データに含まれる複数の人物のうちの評価対象人物以外である。

【0033】

Ｓ１６において、密接検知装置２０は、評価対象人物の頭部と、対応する他人物の頭部との間の距離を算出する。例えば、密接検知装置２０は、俯瞰図上における評価対象人物の頭部の位置と、俯瞰図上における対応する他人物の頭部の位置とに基づき、距離を算出する。

【0034】

続いて、Ｓ１７において、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対する、対応する他人物の頭部の向きの角度を算出する。例えば、評価対象人物の頭部の向きは、例えば、顔が向いている方向である。従って、角度は、評価対象人物の顔と他人物の顔とが向き合っている場合に小さくなり、互いに逆に向くほど大きくなる。

【0035】

続いて、Ｓ１８において、密接検知装置２０は、算出した距離および角度に基づき、評価対象人物の頭部と、対応する他人物との密接の度合いを表す個別密接度を算出する。

【0036】

ここで、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、個別密接度を大きくする。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、個別密接度を大きくする。

【0037】

例えば、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、値が大きくなる距離パラメータを算出する。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、値が大きくなる角度パラメータを算出する。そして、密接検知装置２０は、式（１）に示すように、距離パラメータと角度パラメータとを乗算または加算することにより、個別密接度を算出する。
個別密接度＝距離パラメータ×角度パラメータ…（１）

【0038】

例えば、距離パラメータは、原点から評価対象人物の座標へのベクトルＡと原点から他人物の座標へのベクトルＢとのユークリッド距離と、距離の閾値Ｔ_{ｄｉｓｔａｎｃｅ}を用いて、式（２）のように表される。

【数1】

【0039】

また、角度パラメータは、図４に示すように、評価対象人物から他人物へのベクトルＡＢと評価対象人物の頭部向きのベクトルＡＣとのなす角と、他人物から評価対象人物へのベクトルＢＡと他人物の頭部向きのベクトルＢＤとのなす角が小さいほど大きくなるパラメータである。例えば、角度パラメータは、コサイン類似度と閾値Ｔ_{ｄｅｇｒｅｅ}とを用いて、式（３）のように表される。

【数2】

【0040】

なお、密接検知装置２０は、式（１）の算出方法に限らず、他の方法で個別密接度を算出してもよい。

【0041】

続いて、Ｓ１９において、密接検知装置２０は、全ての他人物についてＳ１６～Ｓ１８の処理を終えると、処理をＳ２０に進める。

【0042】

Ｓ２０において、密接検知装置２０は、１または複数の他人物のそれぞれについて算出した個別密接度を合成して、評価対象人物についての密接評価値を算出する。例えば、密接検知装置２０は、１または複数の他人物のそれぞれについて算出した個別密接度を全て加算することにより、密接評価値を算出する。

【0043】

続いて、Ｓ２１において、密接検知装置２０は、全ての評価対象人物についてＳ１５～Ｓ２０の処理を終えると、処理をＳ２２に進める。

【0044】

続いて、Ｓ２２において、密接検知装置２０は、全ての評価対象人物のそれぞれについて、算出した密接評価値を出力する。例えば、密接検知装置２０は、カメラ１２により撮像された画像データにおける複数の人物のそれぞれに対応する位置に、対応する密接評価値を表す評価オブジェクトを重畳する。そして、密接検知装置２０は、複数の人物のそれぞれに対応する位置に評価オブジェクトを重畳した画像データを、表示装置１４に表示させる。

【0045】

密接検知装置２０は、Ｓ２２の処理を終了した場合、本フローを終了する。なお、密接検知装置２０は、例えば、一定時間毎に、Ｓ１１からＳ２２の処理を実行し、一定時間毎に表示を更新する。

【0046】

このような密接評価値を算出することにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを提供することができる。

【0047】

図５は、表示装置１４に表示される画像の一例を示す図である。密接検知装置２０は、例えば、図５に示すように、カメラ１２から出力された画像データを表示装置１４に表示させる。

【0048】

さらに、密接検知装置２０は、１または複数の評価対象人物のそれぞれに対応する範囲オブジェクト４２および方向オブジェクト４４を表示装置１４に表示させる。より具体的には、密接検知装置２０は、評価対象人物の頭部の位置に、範囲オブジェクト４２および方向オブジェクト４４を重畳した画像データを表示装置１４に表示させる。

【0049】

範囲オブジェクト４２は、画像データにおける評価対象人物の頭部の位置を中心とし、頭部から所定距離の範囲を表す画像である。このような範囲オブジェクト４２を表示させることにより、密接検知装置２０は、例えば、監視者に対して、評価対象人物の口から出た飛沫が飛ぶ範囲を視覚的に提供することができる。

【0050】

方向オブジェクト４４は、評価対象人物の頭部の向きを表す画像である。このような方向オブジェクト４４を表示させることにより、密接検知装置２０は、例えば、監視者に対して、評価対象人物の口から出た飛沫が飛ぶ方向を視覚的に提供することができる。

【0051】

さらに、密接検知装置２０は、１または複数の評価対象人物のそれぞれに対応する評価オブジェクト４６を表示装置１４に表示させる。より具体的には、密接検知装置２０は、評価オブジェクト４６を評価対象人物の頭部の位置に重畳した画像データを、表示装置１４に表示させる。

【0052】

評価オブジェクト４６は、対応する密接評価値に応じて表示内容が変化する画像である。図５の例において、評価オブジェクト４６は、範囲オブジェクト４２の内側の部分の画像である。評価オブジェクト４６は、対応する密接評価値に応じて、例えば、色または色の濃度が変化する画像である。例えば、評価オブジェクト４６は、密接評価値が大きい程、濃度が濃くなる画像であってもよい。また、例えば、評価オブジェクト４６は、密接評価値が大きい程、赤に近くなり、密接評価値が小さいほど、青に近くなるような、色が変化する画像であってもよい。このような評価オブジェクト４６を表示させることにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを視覚的に提供することができる。

【0053】

（第２実施形態）
つぎに、第２実施形態に係る情報処理システム１０について説明する。第２実施形態に係る情報処理システム１０は、図１から図５を参照して説明した第１実施形態と略同一の機能および構成を有する。従って、第２実施形態の説明においては、第１実施形態で説明した同一の機能および構成を有する部材および機能ブロックについては、同一の符号を付けて、相違点を除き詳細な説明を省略する。

【0054】

図６は、第２実施形態に係る密接検知装置２０の処理の流れを示すフローチャートである。

【0055】

第２実施形態に係る密接検知装置２０は、Ｓ１３の後に、処理をＳ３１に進める。Ｓ３１において、密接検知装置２０は、検出した複数の人物のそれぞれについて、マスクを着用しているか否かをさらに検出する。例えば、密接検知装置２０は、パターンマッチングまたはニューラルネットワークを用いた方法により、マスクを着用しているか否かを検出する。密接検知装置２０は、Ｓ３１の後に、処理をＳ３２に進める。

【0056】

続いて、Ｓ３２において、密接検知装置２０は、検出した複数の人物のそれぞれについて、声を出しているか否かをさらに検出する。例えば、密接検知装置２０は、会話をしているか否かを検出してもよい。例えば、密接検知装置２０は、パターンマッチングまたはニューラルネットワークを用いた方法により、声を出しているか否かを検出する。

【0057】

密接検知装置２０は、Ｓ３２に続いて、Ｓ１４～Ｓ２１のループ処理を実行する。

【0058】

ここで、Ｓ１８において、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、個別密接度を大きくする。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、個別密接度を大きくする。

【0059】

さらに、Ｓ１８において、密接検知装置２０は、対応する他人物がマスクを着用していない場合、対応する他人物がマスクを着用している場合と比較して、個別密接度を大きくする。また、さらに、Ｓ１８において、密接検知装置２０は、対応する他人物が声を出している場合、対応する他人物が声を出していない場合と比較して、個別密接度を大きくする。これにより、密接検知装置２０は、口から出る飛沫によるウイルス感染のリスクが高い状況の場合に、個別密接度を大きくすることがきる。

【0060】

例えば、密接検知装置２０は、対応する他人物がマスクを着用していない場合に、対応する他人物がマスクを着用している場合と比較して、値が大きくなるマスクパラメータを算出する。さらに、例えば、密接検知装置２０は、対応する他人物が声を出している場合に、対応する他人物が声を出していない場合と比較して、値が大きくなる発声パラメータを算出する。そして、密接検知装置２０は、式（４）に示すように、距離パラメータと角度パラメータとマスクパラメータと発声パラメータとを乗算または加算することにより、個別密接度を算出する。
個別密接度＝距離パラメータ×角度パラメータ×マスクパラメータ×発声パラメータ…（４）

【0061】

例えば、マスクパラメータは、パターンマッチングまたはニューラルネットワークを用いた方法により推定した確信度Ｓ_ｍａｓｋと閾値Ｔ_ｍａｓｋとを用いて、以下のように表される。

【数3】

【0062】

例えば、発声パラメータは、パターンマッチングまたはニューラルネットワークを用いた方法により推定した確信度Ｓ_{ｖｏｉｃｅ}と閾値Ｔ_{ｖｏｉｃｅ}と用いて、以下のように表される。

【数4】

【0063】

なお、密接検知装置２０は、式（４）の算出方法に限らず、他の方法で個別密接度を算出してもよい。

【0064】

このような密接評価値を算出することにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを提供することができる。

【0065】

（第３実施形態）
つぎに、第３実施形態に係る情報処理システム１０について説明する。第３実施形態に係る情報処理システム１０は、図６を参照して説明した第２実施形態と略同一の機能および構成を有する。従って、第３実施形態の説明においては、第２実施形態で説明した同一の機能および構成を有する部材および機能ブロックについては、同一の符号を付けて、相違点を除き詳細な説明を省略する。

【0066】

図７は、第３実施形態に係る密接検知装置２０の処理の流れを示すフローチャートである。

【0067】

第３実施形態に係る密接検知装置２０は、Ｓ３２の後に、処理をＳ４１に進める。Ｓ４１において、密接検知装置２０は、画像データに含まれる、口からの飛沫を遮蔽する遮蔽物の位置を検出する。遮蔽物は、例えば、垂直方向に立てられた透明な板等である。このような遮蔽物は、人物の口から出た飛沫を遮蔽して、他人物へと届かないようにすることができる。例えば、密接検知装置２０は、パターンマッチングまたはニューラルネットワークを用いた物体検出方法により、画像データから遮蔽物の位置を検出する。密接検知装置２０は、Ｓ４１に続いて、Ｓ１４～Ｓ２１のループ処理を実行する。

【0068】

また、第３実施形態に係る密接検知装置２０は、Ｓ１７の後に、処理をＳ４２に進める。Ｓ４２において、密接検知装置２０は、対応する他人物の頭部の位置と、評価対象人物の頭部の位置との間の遮蔽物の有無を算出する。例えば、密接検知装置２０は、俯瞰図上における、他人物の頭部の位置と、評価対象人物の頭部の位置との間を結ぶ直線上に、Ｓ４１において検出した遮蔽物が存在するか否かを算出する。

【0069】

続いて、Ｓ４３において、密接検知装置２０は、現時点における、密接状態の継続時間を算出する。密接状態は、対応する他人物の頭部の位置が評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である。すなわち、密接状態は、対応する他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクが高い状態である。例えば、密接検知装置２０は、過去における密接状態であるか否かの判定結果、および、現時点における密接状態であるか否かの判定結果に基づき、密接状態の継続時間を算出する。

【0070】

密接検知装置２０は、Ｓ４３に続いて、処理をＳ１８に進める。

【0071】

Ｓ１８において、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、個別密接度を大きくする。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、個別密接度を大きくする。さらに、密接検知装置２０は、対応する他人物がマスクを着用していない場合、対応する他人物がマスクを着用している場合と比較して、個別密接度を大きくする。また、さらに、密接検知装置２０は、対応する他人物が声を出している場合、対応する他人物が声を出していない場合と比較して、個別密接度を大きくする。

【0072】

さらに、Ｓ１８において、密接検知装置２０は、密接状態の経過時間が長い程、個別密接度を大きくする。また、さらに、密接検知装置２０は、対応する他人物の頭部の位置と、評価対象人物の頭部の位置との間に遮蔽物が存在する場合、遮蔽物が存在しない場合よりも、個別密接度を小さくする。これにより、密接検知装置２０は、発声による口から出る飛沫によるウイルス感染のリスクが高い状況の場合に、個別密接度を大きくし、遮蔽物が存在することによりウイルス感染のリスクが高い状況の場合に、個別密接度を小さくすることができる。

【0073】

例えば、密接検知装置２０は、密接状態の経過時間が長い程、値が大きくなる時間パラメータを算出する。さらに、密接検知装置２０は、対応する他人物の頭部の位置と評価対象人物の頭部の位置との間に遮蔽物が存在する場合、値が小さくなり、遮蔽物が存在しない場合に、値が大きくなる遮蔽物パラメータを算出する。そして、密接検知装置２０は、式（７）に示すように、距離パラメータと角度パラメータとマスクパラメータと発声パラメータとを乗算または加算することにより、個別密接度を算出する。
個別密接度＝距離パラメータ×角度パラメータ×マスクパラメータ×発声パラメータ×時間パラメータ×遮蔽物パラメータ…（７）

【0074】

例えば、時間パラメータは、過去の経過時間の個別密接度Ｓ_{ｃｒｏｗｄ}の平均が閾値Ｔ_{ｃｒｏｗｄ}を超える場合に経過時間Ｔ_{ｅｌａｐｓｅｄ}と倍率Ｍ_ｔｉｍｅを用いて、以下のように表される。

【数5】

【0075】

例えば、遮蔽物パラメータは、他人物の頭部の位置と、評価対象人物の頭部の位置との間を結ぶ直線上に、Ｓ４１において検出した遮蔽物が存在するかどうかを表す確信度Ｓ_{ｓｈｉｅｄ}と閾値Ｔ_{ｓｈｉｅｄ}とを用いて、以下のように表される。

【数6】

【0076】

なお、密接検知装置２０は、式（７）の算出方法に限らず、他の方法で個別密接度を算出してもよい。

【0077】

このような密接評価値を算出することにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを提供することができる。

【0078】

以上のように、本実施形態に係る密接検知装置２０によれば、評価対象人物に対する１または複数の他人物の密接の度合いを表す密接評価値を精度良く算出することができる。さらに、密接検知装置２０によれば、密接評価値に応じた情報を表示させることにより、口から出た飛沫によるウイルス感染リスクを精度良く可視化することができる。

【0079】

（ハードウェア構成）
図８は、実施形態に係る密接検知装置２０のハードウェア構成の一例を示す図である。本実施形態に係る密接検知装置２０は、例えば図８に示すようなハードウェア構成の情報処理装置により実現される。密接検知装置２０は、ＣＰＵ（Central Processing Unit）２０１と、ＲＡＭ（Random Access Memory）２０２と、ＲＯＭ（Read Only Memory）２０３と、操作入力装置２０４と、記憶装置２０６と、通信装置２０７とを備える。そして、これらの各部は、バスにより接続される。

【0080】

ＣＰＵ２０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ２０１は、ＲＡＭ２０２の所定領域を作業領域として、ＲＯＭ２０３および記憶装置２０６等に記憶されたプログラムとの協働により各種処理を実行する。

【0081】

ＲＡＭ２０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として機能する。ＲＯＭ２０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

【0082】

操作入力装置２０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置２０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ２０１に出力する。

【0083】

記憶装置２０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置２０６は、ＣＰＵ２０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置２０７は、ＣＰＵ２０１からの制御に応じて外部の機器とネットワークを介して通信する。

【0084】

本実施形態の密接検知装置２０で実行されるプログラムは、取得モジュールと、検出モジュールと、算出モジュールと、出漁モジュールと、を含む。このプログラムは、ＣＰＵ２０１（プロセッサ）によりＲＡＭ２０２上に展開して実行されることにより、情報処理装置を取得部２２、検出部２４、算出部２６および出力部２８として機能させる。なお、密接検知装置２０は、取得部２２、検出部２４、算出部２６および出力部２８の少なくとも一部をハードウェア回路（例えば半導体集積回路）により実現した構成であってもよい。

【0085】

また、本実施形態の密接検知装置２０で実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0086】

また、本実施形態の密接検知装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の密接検知装置２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、密接検知装置２０で実行されるプログラムを、ＲＯＭ２０３等に予め組み込んで提供するように構成してもよい。

【0087】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0088】

１０ 情報処理システム
１２ カメラ
１４ 表示装置
２０ 密接検知装置
２２ 取得部
２４ 検出部
２６ 算出部
２８ 出力部
４２ 範囲オブジェクト
４４ 方向オブジェクト
４６ 評価オブジェクト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】