(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-19
(45)【発行日】2024-04-30
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20240422BHJP
G06T 7/00 20170101ALI20240422BHJP
G08B 21/24 20060101ALI20240422BHJP
G08B 25/00 20060101ALI20240422BHJP
H04N 7/18 20060101ALI20240422BHJP
【FI】
G06T7/60 180B
G06T7/00 660Z
G08B21/24
G08B25/00 510M
H04N7/18 D
H04N7/18 K
(21)【出願番号】P 2020147156
(22)【出願日】2020-09-01
【審査請求日】2023-08-31
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】大矢 崇
【審査官】山田 辰美
(56)【参考文献】
【文献】特開2015-87841(JP,A)
【文献】特開2019ー200718(JP,A)
【文献】特開2020-86994(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
G08B 21/24
G08B 25/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
撮像された画像に含まれる人物を検出する検出手段と、
前記検出手段により検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する判定手段と、
前記画像において前記検出手段により検出された人物間の距離を前記判定手段による判定結果に応じて補正する補正手段と、
前記補正手段により補正された前記人物間の距離に応じて、所定の情報を出力する出力制御手段とを有することを特徴とする情報処理装置。
【請求項2】
前記出力制御手段は、前記補正手段により補正された前記人物間の距離と、閾値とを比較した結果に応じて、前記所定の情報を出力することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記出力制御手段は、前記補正手段により補正された前記人物間の距離が前記閾値未満である場合、前記所定の情報を出力することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記補正手段は、前記検出された人物がマスク着用有の場合、前記人物間の距離が大きくなるよう前記人物間の距離を補正することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
【請求項5】
前記補正手段は、前記検出された人物が所定年齢以上である場合、前記人物間の距離が小さくなるよう前記人物間の距離を補正することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
【請求項6】
前記検出手段は、待ち行列を撮像する撮像手段により得られた前記画像に含まれる前記待ち行列における前記人物を検出し、
前記補正手段は、前記判定手段による判定結果に基づき、前記待ち行列における前記人物間の距離を補正することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
【請求項7】
前記人物間の距離は、前記待ち行列の前後に並ぶ人物同士の距離の平均値であり、前記補正手段は、前記待ち行列に並ぶ人物の数に対するマスクを着用している人物の数、及び、前記待ち行列に並ぶ人物の数に対する所定年齢未満の人物の数、の少なくともいずれか一方に基づき、前記人物間の距離を補正することを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記補正手段は、前記マスクを着用している数が多いほど、又は、前記所定年齢未満の人物の数が多いほど、前記人物間の距離が大きくなるよう、当該人物間の距離を補正することを特徴とする請求項7に記載の情報処理装置。
【請求項9】
画像に含まれる人物を検出する検出手段と、
前記検出手段により検出された人物のマスク着用の有無を判定する判定手段と、
所定の情報を出力するかを判定するために用いる閾値を、前記判定手段による判定結果に応じて補正する補正手段と、
前記検出手段により検出された人物間の距離と、前記補正手段により補正された閾値とに基づき、前記所定の情報を出力する出力制御手段を有することを特徴とする情報処理装置。
【請求項10】
前記出力制御手段は、前記検出手段により検出された人物間の距離が、前記補正手段により補正された閾値を下回る場合、前記所定の情報を出力することを特徴とする請求項9に記載の情報処理装置。
【請求項11】
前記補正手段は、前記検出手段により検出された人物がマスク着用している場合、前記閾値が小さくなるよう前記閾値を補正することを特徴とする請求項9又は10に記載の情報処理装置。
【請求項12】
前記人物間の距離は、前記検出手段により検出された第1人物と第2人物との間の距離であり、
前記補正手段は、前記第1人物および前記第2人物がマスク着用していると判定された場合の閾値が、前記第1人物および前記第2人物のいずれか一方がマスク着用していると判定された場合の閾値よりも小さくなるよう、前記閾値を補正することを特徴とする請求項11に記載の情報処理装置。
【請求項13】
撮像された画像に含まれる人物を検出する検出工程と、
前記検出工程において検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する判定工程と、
前記画像において前記検出工程において検出された人物間の距離を前記判定工程における判定結果に応じて補正する補正工程と、
前記補正工程において補正された前記人物間の距離に応じて、所定の情報を出力する出力制御工程とを有することを特徴とする情報処理方法。
【請求項14】
画像に含まれる人物を検出する検出工程と、
前記検出工程において検出された人物のマスク着用の有無を判定する判定工程と、
所定の情報を出力するかを判定するために用いる閾値を、前記判定工程における判定結果に応じて補正する補正工程と、
前記検出工程において検出された人物間の距離と、前記補正工程において補正された閾値とに基づき、前記所定の情報を出力する出力制御工程とを有することを特徴とする情報処理方法。
【請求項15】
コンピュータを、請求項1乃至12のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理技術に関する。
【背景技術】
【0002】
撮像装置に撮像された画像に含まれる人物間の距離と閾値とを比較し、当該距離が閾値未満である場合、当該距離は注意すべき距離としてアラートをユーザに通知する技術がある。特許文献1では、少数グループに属する人物と多数グループに属する人物との距離が、予め設定された閾値未満である場合、警告を出力する旨の方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1では、人物間の距離が注意すべき距離かを判定するために用いる閾値が一律固定であるため、当該人物の特徴によっては本来アラートを通知しなくてよい場合であってもユーザにアラートを通知してしまうことがある。
【0005】
そこで本発明は、人物間の距離が注意すべき距離かを適切にユーザへ提示できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、例えば、本発明に係る画像処理装置は、以下の構成を備える。すなわち、撮像された画像に含まれる人物を検出する検出手段と、前記検出手段により検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する判定手段と、前記画像において前記検出手段により検出された人物間の距離を前記判定手段による判定結果に応じて補正する補正手段と、前記補正手段により補正された前記人物間の距離に応じて、所定の情報を出力する出力制御手段とを有する。
【発明の効果】
【0007】
本発明によれば、人物間の距離が注意すべき距離かを適切にユーザへ提示することができる。
【図面の簡単な説明】
【0008】
【
図2】情報処理装置の機能ブロックを示す図である。
【
図4】人物間の距離が注意すべき距離かを判定する処理を説明するための図である。
【
図5】人物間の距離が注意すべき距離かを判定する処理の流れを示すフローチャートである。
【
図7】人物間の距離が注意すべき距離かを判定する処理を説明するための図である。
【
図8】人物間の距離を補正する処理を説明するための図である。
【
図9】各装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
【0010】
(実施形態1)
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置100、撮像装置110、記録装置120、およびディスプレイ130を有している。
【0011】
情報処理装置100、撮像装置110、および記録装置120は、ネットワーク140を介して相互に接続されている。ネットワーク140は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
【0012】
なお、ネットワーク140は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
【0013】
情報処理装置100は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置110は、画像を撮像する装置であり、撮像手段として機能する。撮像装置110は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置110を識別する情報である識別情報とを関連付けて、ネットワーク140を介し、情報処理装置100や記録装置120等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置110は1つとするが、複数であってもよい。すなわち、複数の撮像装置110が、ネットワーク140を介して、情報処理装置100や記録装置120と接続されてもよい。この場合、情報処理装置100および記録装置120は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置110のうちどの撮像装置110により撮像されたかを判断する。
【0014】
記録装置120は、撮像装置110が撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置110を識別する識別情報とを関連付けて記録する。そして、情報処理装置100からの要求に従って、記録装置120は、記録したデータ(画像、識別情報など)を情報処理装置100へ送信する。
【0015】
ディスプレイ130は、LCD(Liquid Crystal Display)等により構成されており、撮像装置110が撮像した画像などを表示する。ディスプレイ130は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して情報処理装置100と接続されている。なお、ディスプレイ130、情報処理装置100、および記録装置120の少なくともいずれか2つ又は全ては、単一の筐体に設けられてもよい。
【0016】
なお、撮像装置110により撮像された画像は、情報処理装置100にディスプレイケーブルを介して接続されたディスプレイ130に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク140を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。
【0017】
次に、
図2に示す本実施形態に係る情報処理装置100の機能ブロックを参照して、本実施形態に係る情報処理装置100の情報処理について説明する。なお、
図2に示す各機能は、本実施形態の場合、
図9を参照して後述するROM(Read Only Memory)920とRAM(Random Access Memory)910とCPU(Central Processing Unit)900とを用いて、次のようにして実現されるものとする。すなわち、
図2に示す各機能は、情報処理装置100のROM920に格納されたコンピュータプログラムを情報処理装置100のCPU900がRAM910に展開して実行することにより実現される。
【0018】
取得部101は、撮像装置110に撮像された動画像を構成する各フレームの画像を順次取得する。なお、取得部101は、撮像装置110から送信された動画像を取得してもよいし、記録装置120から送信された動画像を取得してもよい。
【0019】
記憶部201は、
図9を参照して後述するRAM(Random Access Memory)900やHDD(Hard Disk Drive)930等によって実現でき、例えば、取得部200が取得した画像の画像データを記憶(保持)する。操作受付部202は、キーボードやマウス等の入力装置(不図示)を介して、ユーザが行った操作を受け付ける。
【0020】
検出部203は、取得部200が取得した画像に含まれる人物を検出する処理を実行する。なお本実施形態における検出部203は、照合パターン(辞書)を使用したパターンマッチング処理を行うことで、画像における人物を検出する。なお、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。なお、照合パターンとして、斜め方向からや上方向からなど他の角度から特定の物体を見た場合の照合パターンを用意しておいてもよい。また、人物を検出するにあたって、必ずしも全身の特徴を示す照合パターン(辞書)を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、本実施形態における検出部203は、画像から人物を検出する方法として、パターンマッチング処理を用いるが、他の従来技術を用いて画像から人物を検出してもよい。
【0021】
追尾部204は、検出部203により検出された人物を追尾する。本実施形態における追尾部204は、検出部203が着目フレームよりも1つ以上前のフレームの画像から検出した人物と同じ人物を着目フレームの画像から検出した場合、それぞれのフレームにおける人物同士を対応づける。すなわち、時間的に近い複数のフレームについて画像間で人物を追尾する。
【0022】
追尾部204が複数のフレームの画像にわたって同じ人物であると判断する方法として、例えば、検出された人物の移動ベクトルを用いて人物の移動予測位置と検出した人物位置が一定距離内であれば同一人物であるとする。また、追尾部204は、人物の色、形状、大きさ(画素数)等を用いて、複数のフレームの画像間で相関の高い人物を対応付けてもよい。このように、追尾部204は、複数のフレームの画像にわたって同じ人物であると判断し追尾する処理を実行できればよく、特定の方法に限定されるものではない。なお、追尾部204は、追尾する対象となる人物ごとに固有のIDを付与する。例えば、追尾部204は、着目フレームよりも1つ以上前のフレームの画像から検出部203が検出した人物に対してID“a”を付与したとする。そして、検出部203が着目フレームからも当該人物を検出した場合、追尾部204は、当該人物にも同一のID“a”を付与する。なお、追尾部204は、着目フレームにおいて新規に検出された人物が存在する場合、当該人物に対して新規に固有のIDを付与する。
【0023】
判定部205は、検出部203により画像から検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する。なお、画像から検出された人物がマスクを着用しているか否かの判定の処理は、マスク着用の有無を判定する公知技術を用いてよい。具体的には、判定部205は、例えば、マスクを着用した人物の顔の画像を学習データとして機械学習により学習された識別器を用いて、次のような処理を実行する。すなわち、判定部205は、検出部203により画像から検出された人物の顔の画像を当該識別器に入力することで、当該人物がマスクを着用しているか否かの情報を出力として取得する。また、画像から検出された人物の年齢の判定の処理は、公知技術を用いてよい。例えば、判定部205は、年齢が異なる人物の顔の画像を学習データとして機械学習により学習された識別器に対し、検出部203により画像から検出された人物の顔の画像を入力することで、当該人物の年齢の情報を出力として取得する。
【0024】
算出部206は、画像に含まれる人物間の距離を算出する。また、算出部206は、算出した人物間の距離と、閾値とを比較する。なお、算出部206による処理の詳細については後述する。出力制御部207は、算出部206により算出された人物間の距離と、判定部205によるマスク着用の有無および年齢の少なくともいずれか一方の判定結果とに基づき、所定の情報を出力する。
【0025】
次に、
図3および
図4を参照して、本実施形態における情報処理装置100による情報処理について説明する。
図3は、行列に並ぶ人物が撮像装置110により撮像される様子を示す図である。なお、本実施形態では、ガイドポール等によって列が規制され、入口と出口のある行列を想定する。利用者は、行列の入口である行列入口301から待ち行列に入場し、ガイド300に沿って進み、行列の出口である行列出口302から退場する。すなわち、待ち行列は、行列出口302を先頭に、ガイド300に沿って、入口301に向かって形成される。本実施形態における撮像装置110は、ガイド300において形成される行列を撮像するように設置されているものとする。本実施形態における情報処理装置100は、撮像装置110に撮像された行列に含まれる人物を検出し、検出した人物の数をカウントすることで、行列に並ぶ人数を取得する。なお、
図2に示す例では、撮像装置110は1つであるが、複数の撮像装置110を用いて待ち行列を複数の部分に分けて撮像してもよい。この場合、検出部203は、待ち行列を分割した複数の部分各々を撮像することで得られた複数の画像各々に対し人物を検出し、算出部206は、検出された人物の数の合計を算出することで、行列人数を求めるようにしてもよい。
【0026】
次に、
図4を参照して、本実施形態における情報処理装置100による情報処理について説明する。行列において、前後の人物との間隔(人物間の距離)が短いほど、人物間でウイルスの感染が広まる可能性(以下、感染可能性)が高まることがある。そこで、本実施形態における情報処理装置100は、人物間の距離に応じて、ユーザに対しアラート(所定の情報)を通知する。
【0027】
図4に示す例において、本実施形態における検出部203は、
図4に示す行列を撮像した画像から、当該行列に含まれる人物を検出する。そして、算出部206は、画像における人物の検出結果に基づき、式(1)を用いて、行列における前後の人物の距離の平均Davrを算出する。
【0028】
Davr=L/(N-1)・・・式(1)
Lは行列長、Nは行列人数
式(1)において、「行列人数」とは行列に並ぶ人数の合計である。本実施形態において、検出部203は、撮像装置110に撮像された行列に含まれる人物を検出し、算出部206は、検出した人物の数をカウントすることで、行列人数を取得する。この場合、算出部206は、例えば、画像において設定された領域R1(領域411)から領域R5(領域415)の各々において検出部203により検出された人物の数の総和を算出し、算出した総和を行列人数Nとして取得する。なお、情報処理装置100は、例えば、次のような処理を実行することで行列人数を取得してもよい。すなわち、情報処理装置100は、行列入口301を通過した通過人数Ninから行列出口302を通過した通過人数Noutの差Nin-Noutにより行列人数を算出するようにしてよい。このとき、算出部206は、例えば、追尾部204により追尾される人物が行列入口301を通過したかを判定し、通過したと判定された人物の数を通過人数Ninとして取得する。同様に、追尾部204により追尾される人物が行列出口302を通過したかを判定し、通過したと判定された人物の数を通過人数Noutとして取得する。そして、算出部206は、取得したNinからNoutを差し引くことで、行列人数Nを取得する。
【0029】
また式(1)において、「行列長」とは行列の先頭から末尾までの距離を経路に沿って求めたものである。
図4において、本実施形態における情報処理装置100は、画像に映る行列の経路上に領域R1から領域R5を設定し、各々の領域について行列の経路に沿った距離を保持する。例えば、ユーザ操作に従って画像上に領域Rnを設定するととともに、当該領域Rnの実空間における行列の経路に沿った距離の情報を取得する。次に、検出部203は、画像における各領域内で人物を検出する処理を実行し、算出部206は、静止している人物が存在する領域Rnのうちnが最大の領域Rendを特定する。そして、算出部206は、R1からRendまで順に経路に沿った距離を加算すると全体の行列長を求めることができる。なお行列長を求める方法としては、他にも行列待ち中の人物間の位置を個別に計測して距離を算出する手法など、他の公知技術を用いてもよい。
【0030】
算出部206は、更に、式(1)を求めて算出した人物間の距離の平均Davrと、閾値とを比較する。そして、出力制御部207は、平均Davrが閾値未満である場合、感染可能性が高く人物間の距離は注意すべき距離であるとして、所定の情報をユーザに通知する。一方、出力制御部207は、平均Davrが閾値以上である場合、感染可能性が低く人物間の距離は注意すべき距離でないとして、所定の情報をユーザに通知しない。なお、出力制御部207は、所定の情報として警告を示すメッセージやマークなどをディスプレイ130に表示させるようにしてもよい。また、出力制御部207は、所定の情報をユーザに通知する方法として、警告を示す音声がスピーカ(不図示)から流れるようにしてもよい。
【0031】
なお、本実施形態における算出部206は、式(1)を用いて所定時間ごとに最新の平均Davrを算出し、算出した最新の平均Davrと閾値とを比較するようにしてもよい。そして、平均Davrが所定回数連続して閾値未満である場合、出力制御部207は、所定の情報をユーザに通知するようにしてもよい。例えば出力制御部207は、平均Davrが3回連続して閾値未満である場合、所定の情報として警告を示すメッセージをディスプレイ130に表示させる。一方、出力制御部207は、平均Davrが3回連続して閾値未満でなかった場合、警告を示すメッセージをディスプレイ130に表示させないようにしてもよい。
【0032】
また、本実施形態における算出部206は、マスク着用の有無に応じて、平均Davrを補正してもよい。具体的には、本実施形態における算出部206は、人物がマスク着用をしている場合、ウイルスの感染可能性が低減されるとして、算出した平均Davrの値が大きくなるよう補正する。算出部206は、例えば、式(2)を用いて、平均davrを補正した値である補正平均Davr’を算出する。
【0033】
Davr’=(1+Cm)Davr・・・式(2)
但し、0≦Cm≦1
なお、式(2)におけるCmは、行列における人物のうちマスクを着用している者の割合「マスク着用率」を示す。本実施形態における判定部205は、
図4に示す行列入口301から行列出口302まで経路に沿って位置する人物の各々について、マスクを着用しているかを判定する。そして、算出部206は、判定部205によりマスクを着用していると判定された人数を行列人数Nで割ることでマスク着用率Cmを算出する。式(2)に示すように、本実施形態における算出部206は、マスク着用率が高いほど、算出した人物間の距離の平均Davrの値が大きくなるよう補正することで、補正平均Davr’を算出する。そして、算出部206は、補正平均Davr’と閾値とを比較する。出力制御部207は、補正平均Davr’が閾値未満である場合、感染可能性が高く注意すべき距離であるとして、所定の情報として警告を示すメッセージをユーザに通知する。そして、出力制御部207は、補正平均Davr’が閾値以上である場合、感染可能性が低く注意すべき距離ではないとして、警告を示すメッセージをユーザに通知しない。このように、本実施形態における情報処理装置100は、人物間の距離の平均Davrをマスク着用率に応じて補正平均Davr’と閾値とを比較した結果に応じてユーザに所定の情報(アラート)を通知するようにしてもよい。このようにすることで、マスク着用率が高く本来ユーザにアラートを通知する必要がない場合、ユーザにアラートを通知してしまうことを低減することができる。言い換えれば、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0034】
また、本実施形態における算出部206は、人物の年齢に応じて、平均Davrを補正してもよい。本実施形態において、人物の年齢が高いと、ウイルスに感染したときに重症化の可能性が高いと想定する。そこで、本実施形態における算出部206は、高齢者の数が多いほど、ユーザにアラートの通知が行われやすいよう、算出した平均Davrの値が小さくなるよう補正する。具体的には、算出部206は、例えば、式(3)を用いて、平均Davrを補正した値である補正平均Davr’を算出する。
【0035】
Davr’=(1-Ck/2)Davr・・・式(3)
但し、0≦Ck≦1
なお、式(3)におけるCkは、行列における人物のうち高齢者の割合「高齢者率」を示す。本実施形態における判定部205は、
図4に示す行列入口301から行列出口302まで経路に沿った行列に並ぶ人物の各々について、年齢を判定し、判定した年齢に基づき、高齢者かを判定する。このとき、判定部205は、例えば、行列に並ぶ人物の各々について年齢を判定し、所定年齢以上の人物を高齢者と判定し、所定年齢未満の人物を高齢者ではないと判定する。なお、本実施形態において、所定年齢を70歳とするが、65歳や75歳など他の基準に従ってもよい。そして、算出部206は、判定部205により高齢者と判定された人数を行列人数Nで割ることで高齢者率Ckを算出する。式(3)に示すように、本実施形態における算出部206は、高齢者率Ckが高いほど、算出した人物間の距離の平均Davrの値が小さくなるよう補正することで、補正平均Davr’を算出する。そして、算出部206は、補正平均Davr’と閾値とを比較する。出力制御部207は、補正平均Davr’が閾値未満である場合、注意すべき距離であるとして、所定の情報をユーザに通知する。そして、出力制御部207は、補正平均Davr’が閾値以上である場合、注意すべき距離ではないとして、所定の情報をユーザに通知しない。このように、本実施形態における情報処理装置100は、人物間の距離の平均Davrを人物の年齢に応じて補正平均Davr’と閾値とを比較した結果に応じてユーザにアラートを通知するようにしてもよい。このようにすることで、人物の年齢が高いために本来ユーザにアラートを通知すべきときに、ユーザにアラートを通知されないことを低減することができる。言い換えれば、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0036】
なお、本実施形態における算出部206は、マスク着用の有無と人物の年齢とに応じて、平均Davrを補正してもよい。このとき、算出部206は、例えば、式(4)を用いて、算出した平均Davrを補正した補正平均Davr’を取得してもよい。
Davr’=(1+Cm)(1-Ck/2)Davr・・・式(4) 式(4)の例において、マスク着用率が高いほど平均Davrが大きくなるよう補正され、また、高齢者率が高いほど平均Davrが小さくなるよう補正される。
【0037】
続いて
図5を参照して、本実施形態における情報処理装置100による情報処理について説明する。なお、
図5に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、
図5に示すフローチャートの処理は、例えば、情報処理装置100のROM920に格納されたコンピュータプログラムを情報処理装置100のCPU900が実行して実現される
図2に示す機能ブロックにより実行されるものとする。
【0038】
まず、S501にて、取得部200は、撮像装置120に撮像された画像を取得する。このとき、取得部200は、撮像装置110に撮像された動画像を構成する複数のフレームの画像のうち、1つのフレームの画像を処理対象の画像(以下、処理対象画像)として取得する。次に、S502にて、検出部203は、処理対象画像に含まれる人物を検出する。このとき、検出部203は、例えば人物の照合パターンを用いたパターンマッチング処理により、処理対象画像に含まれる人物を検出する。次に、S503にて、追尾部204は、検出部203により検出された人物を追尾する。追尾部204は、処理対象画像よりも1つ以上前のフレームの画像から検出部203により検出された人物と同じ人物が検出部203により処理対象画像から検出された場合、それぞれのフレームにおける人物同士を対応付けることで、当該人物の追尾を行う。なお、追尾部204は、追尾する対象となる人物ごとに固有のIDを付与する。例えば、追尾部204は、処理対象画像よりも1つ以上前のフレームの画像から検出部203が検出した人物に対してID“a”を付与したとする。そして、検出部203が処理対象画像からも当該人物を検出した場合、追尾部204は、当該人物にも同一のID“a”を付与する。なお、処理対象画像において新規に検出された人物が存在する場合、追尾部204は、当該人物に対して新規に固有のIDを付与する。また、記憶部201は、現在行列に並ぶ人物に対して追尾部204により付与されたIDを、
図6に示す人物情報600に記憶する。なお、
図6に示す人物情報600は、現在行列に並ぶ人物に関する情報が記憶(保持)される。具体的には、人物情報600において、追尾部204により付与された人物のID601と、当該人物の年齢の情報である年齢情報602と、当該人物のマスク着用の有無の情報であるマスク情報603とを関連付けて記録(保持)される。なお、人物情報600は、
図6に示す例に限らず、例えば、ID601が付与された人物各々について、フレームごとの当該人物のサイズおよび位置の情報を含むようにしてもよい。S503にて、新規に検出された人物に対し固有のIDが付与された場合、記憶部201は、人物情報600のID601に新規に付与されたIDを新たに格納する。なお、本実施形態における追尾部204により追尾される人物が行列出口302を通過して行列から退場した場合、記憶部201は、当該人物に関する情報(ID601、年齢情報602、マスク情報603)を人物情報600から削除する。
【0039】
次に、S504にて、判定部205は、追尾部204により追尾される人物について、マスク着用の有無を判定する。なお、S504にて、本実施形態における判定部205は、まだマスク着用の有無が判定されてない人物に対してのみ、マスク着用の有無を判定するようにしてもよい。本実施形態において、
図6に示す人物情報600にて、ID601が“c”の人物のマスク情報603がブランクとなっており、ID601“c”の人物に対して未だマスク着用の有無が判定されていないことを示している。これは、当該人物の正面顔の顔画像が取得されていない場合など、適切にマスク着用の有無の判定がなされていない場合に起こり得る。S504にて、判定部205は、マスク有無の判定がなされていない人物ID“c”の人物について、マスク着用の有無の判定を行うようにしてもよい。またこの場合、判定部205は、既にマスク着用の有無の判定がなされたID601“a,b,d”の人物についてはマスク着用の有無の判定は行わない。ここで、判定部205による判定に従って人物ID“c”についてマスク着用の有無の情報が得られた場合、記憶部201は、当該マスク着用の有無の情報をマスク情報603に格納する。
【0040】
次に、S505にて、判定部205は、追尾部204により追尾される人物について、年齢を判定する。なお、S505にて、本実施形態における判定部205は、まだ年齢が判定されてない人物に対してのみ、年齢を判定するようにしてもよい。
図6に示す人物情報600にて、ID601が“d”の人物の年齢情報602がブランクとなっており、ID601“d”の人物に対して未だ年齢が判定されていないことを示している。これは、当該人物の正面顔の顔画像が取得されていない場合など、適切に年齢の判定がなされていない場合に起こり得る。S505にて、判定部205は、年齢の判定がなされていない人物ID“d”の人物について、年齢の判定を行い、既に年齢の判定がなされたID601“a,b,c”の人物については年齢の判定は行わないようにしてもよい。ここで、判定部205による判定に従って人物ID“d”について年齢の情報が得られた場合、当該年齢の情報を年齢情報602に格納する。
【0041】
次に、S506にて、算出部206は、行列に並ぶ人数である行列人数Nを算出する。例えば、算出部206は、行列入口301を通過した通過人数Ninから行列出口302を通過した通過人数Noutの差Nin-Noutにより求めることができる。
【0042】
次に、S507にて、算出部206は、行列の先頭から末尾までの行列の経路に沿った距離である行列長を特定する。本実施形態における算出部206は、例えば、
図4に示す例において、静止している人物が存在する領域Rnのうちnが最大の領域Rmaxを特定する。そして、領域R1~R5の各々について予め保持していた、行列の経路に沿った距離の情報に基づき、算出部206は、R1からRmaxまで順に距離を加算すると全体の行列長を求めることができる。
【0043】
次に、S508にて、算出部206は、人物間の距離の平均Davrを算出する。本実施形態における算出部206は、式(1)を用いて、平均Davrを算出するものとするが、他の方法を用いて、人物間の距離の平均Davrを算出してもよい。
【0044】
次に、S509にて、平均Davrの補正を行うか否かを判定する。例えば、平均Davrの補正を行う指示がユーザに予めされていた場合(S509にてYes)、S510へ遷移し、平均Davrの補正を行う指示がユーザにされていない場合(S509にてNo)、S511へ遷移する。S510にて、算出部206は、人物のマスク着用の有無、および、人物の年齢、の少なくともいずれか一方に基づき、平均Davrの補正を行う。ここで例えば、算出部206は、式(2)~式(4)のいずれかを用いて、平均Davrの補正を行うことで、補正平均Davr’を取得する。
【0045】
S511にて、算出部206は、算出した平均Davr、または、平均Davrを補正した補正平均Davr’と、閾値とを比較する比較処理を実行する。なお、S510における平均Davrの補正が行われなかった場合(S509からS511へ遷移した場合)、S511にて、算出部206は、算出した平均Davrと閾値とを比較する。一方、S510における平均Davrの補正が行われた場合(S509からS510へ遷移した場合)、S511にて、算出部206は、平均Davrを補正して得られた平均Davr’と閾値とを比較する。なお、ここでの閾値は、ユーザによって予め設定されているものであり、適宜変更可能なパラメータであるものとする。
【0046】
平均Davr(または補正平均Davr’)が閾値未満である場合(S512にてYes)、S513へ遷移し、S513にて、出力制御部207は、所定の情報として警告を示すメッセージをユーザに通知する。一方、平均Davr(または補正平均Davr’)が閾値以上である場合(S512にてNo)、S514へ遷移する。S514にて、ユーザにより終了の指示がされている場合(S514にてYes)、
図5に示すフローの処理を終了する。一方、ユーザにより終了の指示がされていない場合、(S514にてNO)、S501へ遷移し、取得部200は、次に処理対象とする画像を新たに取得する。
【0047】
以上説明したように、本実施形態における情報処理装置100は、人物間の距離の平均Davrを算出し、人物のマスク着用の有無、および、人物の年齢、の少なくともいずれか一方に基づき、算出した平均Davrを補正する。そして、情報処理装置100は、平均Davrを補正することで得た補正平均Davr’と閾値とを比較し、比較結果に応じて、所定の情報として警告を示すメッセージをユーザに通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0048】
なお、上述の説明では、情報処理装置100は、人物間の距離の平均Davrを用いて、閾値との比較結果に応じた所定の情報のユーザへの通知を実行したが、これに限らない。例えば、人物間の距離の平均ではなく、或る2人の人物間の距離だけを用いてもよい。具体的には、算出部206は、
図4に示す例において、行列に並ぶ人物のうち、第1人物と、当該第1人物の前または後ろに位置する第2人物との距離Dを算出する。このとき、算出部206は、例えば、画像から検出された第1人物の位置と第2人物の位置とを特定し、画像上の第1人物の位置から第2人物の位置までの画像上の距離を距離Dとする。なお、算出部206は、画像上の第1人物の位置から第2人物までの画像上の距離を、実空間上の距離に変換し、当該実空間上の距離を距離Dとしてもよい。なお、画像上の距離を、実空間上の距離に変換する処理は、公知の技術を用いて実行するものとする。更に、判定部205は、第1人物および第2人物の各々について、マスク着用の有無、および、年齢の少なくともいずれか一方を判定する。そして、算出部206は、マスク着用の有無、および、年齢の少なくともいずれか一方に基づき、第1人物と第2人物との間の距離Dを補正する。このとき、例えば、算出部206は、式(5)を用いて、距離Dの補正を行う。
【0049】
D’=(1+M×Rm)(1-K×Rk)D・・・式(5)
ここで、Mは、第1人物および第2人物のうちマスクを着用している人物の割合を示し、例えば、2人ともマスクを着用していれば1、1人だけがマスクを着用していれば1/2、マスク着用者がいない場合は0となる。また、Kは、第1人物および第2人物のうち高齢者の割合を示し、例えば、2人とも高齢者であれば1、1人だけが高齢者であれば1/2、高齢者がいない場合は0となる。また、RmおよびRkは、それぞれ所定の係数を示す。ここで、例えば、RmがゼロでありRkが所定の値である場合、Kが高いほど、第1人物と第2人物との距離Dは小さくなるよう補正され、アラートが通知されやすくなる。また、Rmが所定の値でありRkがゼロである場合、Mが高いほど、第1人物と第2人物との距離Dは大きくなるよう補正され、アラートが通知されにくくなる。そして、出力制御部207は、第1人物と第2人物との距離Dを補正した距離D’が閾値未満である場合、所定の情報として警告を示すメッセージをユーザに通知し、距離D’が閾値以上である場合、当該メッセージを通知しないようにする。このように、本実施形態における情報処理装置100は、或る人物(第1人物)と他の人物(第2人物)との間の距離を、マスク着用の有無および年齢の少なくともいずれか一方の判定結果に基づき、補正する。そして、情報処理装置100は、第1人物および第2人物の間の距離を補正した補正距離と閾値との比較結果に応じて、所定の情報をユーザに通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0050】
(実施形態2)
実施形態1における情報処理装置100では、マスク着用率や人物の年齢に応じて人物間の距離を補正し、補正後の人物間の距離と閾値とを比較したが、実施形態2では、人物間の距離の比較対象となる閾値を補正する。すなわち、実施形態2における情報処理装置100は、人物のマスク着用率や人物の年齢に応じて閾値を補正し、補正した閾値と人物間の距離とを比較し、比較した結果に応じて、所定の情報として警告を示すメッセージをユーザに通知する。なお、実施形態1と異なる部分を主に説明し、実施形態1と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
【0051】
図4に示す例において、本実施形態における算出部206は、式(1)を用いて、行列における前後の人物の距離の平均Davrを算出する。なお、平均Davrを算出する処理は、実施形態1と同様であるため説明を省略する。そして、本実施形態における算出部206は、式(6)を用いて閾値rの補正することで、閾値r’を取得する。
【0052】
閾値r’=r-Cm*Rm+Ck*Rk・・・式(6)
なお、式(5)と同様、Cmはマスク着用率、Ckは高齢者率を示し、また、RmおよびRkはそれぞれ所定の係数を示す。ここで、例えば、RmがゼロでありRkが所定の値である場合、高齢者率Ckが高いほど、閾値rは大きくなるよう補正される。つまり、高齢者率Ckが高いほど、閾値rが大きくなるため、アラートがユーザに通知されやすくなる。また、Rmが所定の値でありRkがゼロである場合、マスク着用率Cmが高いほど、閾値rは小さくなるよう補正される。言い換えれば、マスク着用率が高いほど、閾値rが小さくなるよう補正されるため、アラートがユーザに通知されにくくなる。なお、RmおよびRkのそれぞれが所定の値を有するようにしてもよい。すなわち、マスク着用率および高齢者率の両方に閾値r’が依存するようにしてもよい。
【0053】
算出部206は、人物間の距離の平均Davrと、補正後の閾値r’とを比較する。このとき、出力制御部207は、人物間の距離の平均Davrが、補正後の閾値r’未満である場合、警告を示すメッセージをアラートとしてユーザに通知する。一方、出力制御部207は、人物間の距離の平均Davrが、補正後の閾値r’以上である場合、警告を示すメッセージをユーザに通知しない。
【0054】
なお、上述の例では、人物間の距離の平均Davrと補正後の閾値r’とを比較したが、これに限らない。例えば、本実施形態における算出部206は、或る人物(第1人物)と他の人物(第2人物)との距離Dと、補正後の閾値r’とを比較するようにしてもよい。このとき、出力制御部207は、第1人物と第2人物との間の距離Dが、補正後の閾値r’未満である場合、警告を示すメッセージをアラートとしてユーザに通知する。一方、出力制御部207は、第1人物と第2人物との間の距離Dが、補正後の閾値r’以上である場合、警告を示すメッセージをユーザに通知しない。
【0055】
このように本実施形態における情報処理装置100は、人物の年齢および人物のマスク着用の有無、の少なくともいずれか一方に基づき補正した閾値と、人物間の距離(平均Davrや距離D)とを比較し、当該比較の結果に応じて、ユーザにアラートを通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0056】
(実施形態3)
実施形態3における情報処理装置100は、行列長や待ち人数の情報に加え、待ち時間の情報を用いて、人物間の距離は注意すべき距離かを示す指標である注意度を算定する方法について説明する。なお、注意度が低いほど、人物間の距離は注意すべき距離ではなく、注意度が高いほど、人物間の距離は注意すべき距離となる。例えば、行列において、前後の人物との間隔が短いほど、また、待ち時間が長いほど、感染可能性が高まる場合が考えられるため、注意度が高くなる。なお、上述の各実施形態と異なる部分を主に説明し、上述の各実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
【0057】
本実施形態における算出部206は、式(7)を用いて、注意度Rを算出する。
【0058】
R=C1×Tavr/Davr・・・式(7)
式(7)において、人物間の距離の平均Davrは式(1)により求める。また、Tavrは、待ち行列の待ち時間を推定した結果である「推定待ち時間」を示し、
図4に示す例において、或る人物が行列入口301から行列に入場してから行列出口302から退場するまでの時間を推定した結果に対応する。また、定数C1は、注意度Rを所定の範囲におさめるための正規化係数である。
【0059】
ここで、
図4を参照して、推定待ち時間Tavrを算出する方法について説明する。
図4に示す例において、本実施形態における算出部206は、或る所定時間内に行列出口302を通過して行列から退場した人物の数を取得する。そして、算出部206は、取得した人物の数を所定時間で割ることで、単位時間当たりに行列から退場する人物の数を算出する。このとき、単位時間当たりに行列から退場する人物の数を退場頻度とする。そして算出部206は、行列入口301から行列出口302まで経路に沿って形成される行列に並ぶ人物の数である行列人数Nを取得する。行列人数Nの算出方法については、実施形態1と同様であるため説明を省略する。算出部206は、行列人数Nを退場頻度で割ることで、推定待ち時間Tavrを算出する。
【0060】
なお、推定待ち時間Tavrを算出する方法は、他の公知技術を用いてもよい。例えば、追尾部204は、行列入口301から行列出口302まで人物を追尾し、算出部206は、当該人物が行列入口301から行列出口302まで移動するのに要した移動時間を取得する。そして、算出部206は、複数の人物の各々について取得した移動時間の平均値を算出し、当該平均値を推定待ち時間Tavrとして取得してもよい。
【0061】
そして、本実施形態における算出部206は、式(7)を用いて算出した注意度Rと、閾値とを比較する比較処理を実行する。出力制御部207は、注意度Rが閾値未満である場合、人物間の距離は注意すべき距離でないとして、警告を示すメッセージをアラートとしてユーザに通知しない。一方、出力制御部207は、注意度Rが閾値以上である場合、人物間の距離は注意すべき距離であるとして、警告を示すメッセージをアラートとしてユーザに通知する。なお、本実施形態における算出部206は、式(7)を用いて、所定時間ごとに最新の注意度Rを算出し、算出した最新の注意度Rと閾値とを比較するようにしてもよい。そして、注意度Rが所定回数連続して閾値以上である場合、出力制御部207は、警告を示すメッセージをアラートとしてユーザに通知するようにしてもよい。例えば出力制御部207は、注意度Rが3回連続して閾値以上である場合、警告を示すメッセージをディスプレイ130に表示させる。一方、出力制御部207は、注意度Rが3回連続して閾値以上でなかった場合、警告を示すメッセージをディスプレイ130に表示させない。
【0062】
また、本実施形態における算出部206は、マスク着用の有無に応じて注意度Rを補正してもよい。具体的には、本実施形態における算出部206は、人物がマスク着用をしている場合、ウイルスの感染可能性が低減されるとして、算出した注意度Rの値が小さくなるよう補正する。算出部206は、例えば、式(8)を用いて、注意度Rを補正した値である補正注意度R’を算出する。
【0063】
R’=R/(1+Cm)・・・式(8)
実施形態1と同様、Cmは行列に並ぶ人物のマスク着用率を示す。また式(8)の例では、行列に並ぶ全ての人物がマスクを着用した場合、行列の注意度Rが半分となる場合を想定している。
【0064】
また、本実施形態における算出部206は、人物の年齢に応じて、注意度Rを補正するようにしてもよい。ここで、行列に並ぶ人物が高齢者である場合、ウイルスに感染すると重症化の可能性が比較的高いと想定する。そこで、本実施形態における算出部206は、高齢者の数が多いほど、ユーザにアラートの通知が行われやすいよう、算出した注意度Rの値が大きくなるよう補正する。具体的には、算出部206は、例えば、式(9)を用いて、注意度Rを補正した値である補正注意度R’を算出する。
【0065】
R’=R*(1+Ck/2)・・・式(9)
なお、Ckは実施形態1と同様、行列に並ぶ人物のうち高齢者の割合である高齢者率を示す。
【0066】
また、本実施形態における算出部206は、人物のマスク着用の有無および人物の年齢に基づき、注意度Rを補正するようにしてもよい。このとき、算出部206は、例えば、式(10)を用いて、注意度Rを補正した補正注意度を算出する。
【0067】
R’=R*(1-Cm/2+Ck/2)・・・式(10)
式(10)の例では、行列に並ぶ人物のマスク着用率が高いほど注意度は低くなり、また、行列に並ぶ人物のうち高齢者の数が多いほど注意度は大きくなる。
【0068】
以上説明したように、算出部206は、人物のマスク着用の有無、および人物の年齢、の少なくともいずれか一方に基づき、算出した注意度Rを補正することで補正注意度R’を算出する。そして、算出部206は、注意度Rを補正することで取得した補正注意度R’と閾値とを比較する比較処理を実行する。出力制御部207は、補正注意度R’が閾値未満である場合、人物間の距離は注意すべき距離でないとして、警告を示すメッセージをアラートとしてユーザに通知しない。一方、出力制御部207は、補正注意度R’が閾値以上である場合、人物間の距離は注意すべき距離であるとして、警告を示すメッセージをアラートとしてユーザに通知する。このように、本実施形態における情報処理装置100は、人物のマスク着用の有無、および、人物の年齢の少なくともいずれか一方に基づき注意度Rを補正し、補正して得られた補正注意度R’と閾値との比較の結果に応じて、ユーザにアラートを通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0069】
(実施形態4)
実施形態4における情報処理装置100は、行列中の人物の各々について、当該人物の周辺の人物との距離を算出し、算出した距離に基づき、行列の密集度を算出する。そして、情報処理装置100は、算出した密集度と閾値とを比較した結果に応じて、ユーザにアラートを通知する。なお、上述の各実施形態と異なる部分を主に説明し、上述の各実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
【0070】
図8は、本実施形態における人物間の距離の算出方法を説明するための図である。行列において先頭に位置する人物P1(人物711)から順に並んでいるものとする。ここでi番目の人物の位置をPi(x,y)とすると、i番目の人物とj番目の人物の距離はDij=|Pi―Pj|である。なお、人物の位置は画面上の位置でもよいし、実空間上に変換した位置でもよい。つぎに、人物iについて、周囲の人物との距離が所定の値Dth未満の人数を、Ni人と定義すると、
Ni=COUNTIF(Dij<Dth),(j≠i、j=1、2、・・・n) ... 式(11)
と表記できる。なお、nは、待ち行列に並ぶ人物の数を示すものとする。また所定の値Dthは、例えば1.8mなど予めユーザに指定された数値とする。ここで行列の密集度Denを、周囲の人物との距離がDth未満の延べ人数とすると、
Den=ΣNi,(i=1、2、・・・n) 式(12)
である。そして、算出部206は、算出した密集度Denと閾値とを比較し、密集度Denが閾値以上である場合、行列における人物間の距離は注意すべき距離であると判定する。そして、出力制御部207は、ユーザにアラートを通知する。一方、算出部206は、算出した密集度Denが閾値未満である場合、行列における人物間の距離は注意すべき距離ではないと判定する。そして、出力制御部207は、ユーザにアラートを通知する。
【0071】
また、本実施形態における算出部206は、i番目の人物とj番目の人物との距離Dijを算出し、更に、マスク着用の有無および年齢の少なくともいずれか一方に基づき、算出したDijを補正してもよい。具体的には、算出部206は、式(13)を用いて、距離Dijを補正することで補正距離Dij’を算出するようにしてもよい。
【0072】
Dij’=(1+Mij×Rm)(1-Kij×Rk)Dij・・・・式(13)
なお、ここでのMijは、i番目およびj番目の2人の人物のうちマスクを着用している人物の割合を示し、例えば、2人ともマスクを着用していれば1、1人だけがマスクを着用していれば1/2、マスク着用者がいない場合は0となる。また、Kijは、i番目およびj番目の2人の人物のうち高齢者の割合を示し、例えば、2人とも高齢者であれば1、1人だけが高齢者であれば1/2、高齢者がいない場合は0となる。また、RmおよびRkはそれぞれ所定の係数を示す。ここで、例えば、RmがゼロでありRkが所定の値である場合、高齢者率Kijが高いほど、i番目の人物とj番目の人物との距離Dijは小さくなるよう補正される。すなわち、高齢者率Kijが高いほど、アラートがユーザに通知されやすいようにする。また、Rmが所定の値でありRkがゼロである場合、マスク着用率Mijが高いほど、i番目の人物とj番目の人物との距離Dijは大きくなるよう補正される。言い換えれば、マスク着用率Mijが高いほど、アラートがユーザに通知されにくくなる。
【0073】
つぎに、i番目の人物について、補正距離Dij’が所定の値Dth未満の人数を、Ni’人と定義すると、
Ni’=COUNTIF(Dij’<Dth),(j≠i、j=1、2、・・・n) ... 式(14)
と表記できる。ここで行列の密集度Den’を、補正距離Dij’がDth未満の延べ人数とすると、
Den’=ΣNi’(i=1、2、・・・n) 式(15)
である。そして、算出部206は、補正距離Dij’に基づき算出した密集度Den’と閾値とを比較し、密集度Den’が閾値以上である場合、行列における人物間の距離は注意すべき距離であると判定する。そして、出力制御部207は、ユーザにアラートを通知する。一方、算出部206は、算出した密集度Den’が閾値未満である場合、行列における人物間の距離は注意すべき距離ではないと判定する。そして、出力制御部207は、ユーザにアラートを通知しない。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0074】
(変形例)
以下、実施形態4の変形例として、補正距離Dij’を算出する他の方法について説明する。本変形例に係る算出部206は、i番目の人物およびj番目の人物の各々の顔の向きに基づき、行列におけるi番目の人物とj番目の人物との間の距離Dijを補正する。なお、本実施形態における判定部205は、画像から検出部203により検出された人物の顔の向きを判定するものとする。なお、顔の向きの判定は公知技術を用いてよい。例えば、情報処理装置100は、例えば、顔の向きが異なる顔画像を学習データとして機械学習により学習させた識別器を予め作成する。そして、判定部205は、例えば、検出部203により画像から検出された人物の顔画像を当該識別機に入力し、当該人物の顔の向きの情報を出力として得る。ここで、待ち行列に並ぶ人物について通常みられるような同一の向きを基準として、人物同士が互いに向き合っている場合は距離Dijが小さくなるように、逆に背中合わせの場合は距離Dijが大きくなるように補正する。
【0075】
ここで
図8を参照して距離Dijを補正する処理について説明する。
図8に示す例において、i番目の人物801の顔領域の中心位置からj番目の人物802の顔領域の中心位置に向けて引いた直線に対して反時計回りを正方向とする。このとき、当該直線をx軸とする単位円において、i番目の人物801の顔領域の中心を原点とした人物801の顔向きを当該直線に対する弧度Θi、j番目の人物802の顔領域の中心を原点とした人物802の顔向きを当該直線に対する弧度Θjとする。このとき、本変形例における算出部206は、式(16)を用いて、距離Dijを補正することで補正距離D’ijを算出する。
【0076】
D’ij={sin((Θi-Θj)/2.0)/2.0+1.0}*Dij・・・式(16)
なお、補正距離D’ijを用いて、実施形態4にて説明した式(14)および式(15)を用いて、算出部206は、密集度Den’を算出する。そして、本実施形態における出力制御部207は、密集度Den’が閾値以上である場合、行列における人物間の距離は注意すべき距離であるとして、ユーザにアラートを通知する。一方、出力制御部207は、算出した密集度Den’が閾値未満である場合、行列における人物間の距離は注意すべき距離ではないとして、ユーザにアラートを通知しない。人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
【0077】
(その他の実施形態)
次に
図9を参照して、各実施形態の各機能を実現するための情報処理装置100のハードウェア構成を説明する。なお、以降の説明において情報処理装置100のハードウェア構成について説明するが、記録装置120および撮像装置110も同様のハードウェア構成によって実現されるものとする。
【0078】
本実施形態における情報処理装置100は、CPU900と、RAM910と、ROM920、HDD930と、I/F940と、を有している。
【0079】
CPU900は情報処理装置100を統括制御する中央処理装置である。RAM910は、CPU900が実行するコンピュータプログラムを一時的に記憶する。また、RAM910は、CPU900が処理を実行する際に用いるワークエリアを提供する。また、RAM910は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
【0080】
ROM920は、CPU900が情報処理装置100を制御するためのプログラムなどを記憶する。HDD930は、画像データ等を記録する記憶装置である。
【0081】
I/F910は、ネットワーク140を介して、TCP/IPやHTTPなどに従って、外部装置との通信を行う。
【0082】
なお、上述した各実施形態の説明では、CPU900が処理を実行する例について説明するが、CPU900の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ130にGUI(GRAPHICAL USER INTERFACE)や画像データを表示する処理は、GPU(GRAPHICS PROCESSING UNIT)で実行してもよい。また、ROM920からプログラムコードを読み出してRAM910に展開する処理は、転送装置として機能するDMA(DIRECT MEMORY ACCESS)によって実行してもよい。
【0083】
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、情報処理装置100の各部は、
図9に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
【0084】
なお、上述した各実施形態に係る情報処理装置100の1以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置100の1以上の機能を撮像装置110が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
【0085】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。
【符号の説明】
【0086】
100 情報処理装置
120 行列入口
130 行列出口
200 取得部
201 記憶部
202 操作受付部
203 検出部
204 追尾部
205 判定部
206 算出部
207 出力制御部