(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025001497
(43)【公開日】2025-01-08
(54)【発明の名称】情報処理システムおよび情報処理方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20241225BHJP
【FI】
G06T7/20
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023101120
(22)【出願日】2023-06-20
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小野 瑞城
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096CA04
5L096GA51
5L096HA02
(57)【要約】
【課題】情報処理の負荷を低減する。
【解決手段】情報処理システムは、サーバ装置と、複数の端末装置と、を含む。複数の端末装置は、第1演算部、送信部および設定部を備える。第1演算部は、撮像部により取得された画像の変化の検出を含む第1演算処理を実行する。送信部は、検出された画像の変化を示す送信情報をサーバ装置に送信する送信処理を実行する。設定部は、第1演算処理および送信処理の少なくとも一方を実行する周期を、一定期間での画像の変化の検出頻度に基づいて設定する。サーバ装置は、受信部と第2演算部を備える。受信部は、送信情報を複数の端末装置それぞれから受信する。第2演算部は、受信した送信情報を用いた第2演算処理を実行する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
サーバ装置と、複数の端末装置と、を含む情報処理システムであって、
複数の前記端末装置のそれぞれは、
撮像部により取得された画像の変化の検出を含む第1演算処理を実行する第1演算部と、
検出された前記画像の変化を示す送信情報を前記サーバ装置に送信する送信処理を実行する送信部と、
前記第1演算処理および前記送信処理の少なくとも一方を実行する周期を、一定期間での前記画像の変化の検出頻度に基づいて設定する設定部と、を備え、
前記サーバ装置は、
前記送信情報を複数の前記端末装置それぞれから受信する受信部と、
受信した前記送信情報を用いた第2演算処理を実行する第2演算部と、を備える、
情報処理システム。
【請求項2】
前記設定部は、前記検出頻度が高いほど値が小さくなるように前記周期を設定する、
請求項1に記載の情報処理システム。
【請求項3】
前記設定部は、
前記検出頻度が第1閾値より大きい場合に、前記周期を第1値に設定し、前記検出頻度が前記第1閾値以下の場合に、前記周期を前記第1値より大きい第2値に設定し、
前記周期が前記第2値に設定されており、かつ、前記変化が検出された場合に、前記周期を前記第1値に設定する、
請求項1に記載の情報処理システム。
【請求項4】
複数の前記端末装置に含まれる第1端末装置の前記送信部は、
前記周期が前記第2値に設定されており、かつ、前記変化が検出された場合に、複数の前記端末装置に含まれる前記第1端末装置以外の複数の前記端末装置のうち、前記第1端末装置からの距離が閾値以下である第2端末装置に対して、前記周期を前記第1値に設定する要求を送信する、
請求項3に記載の情報処理システム。
【請求項5】
前記設定部は、前記第2端末装置で前記画像の変化が検出される時刻を予測し、
前記送信部は、予測された前記時刻に前記周期を前記第1値に設定する要求を送信する、
請求項4に記載の情報処理システム。
【請求項6】
前記設定部は、
前記周期が前記第1値に設定されており、かつ、特定の時間に渡って前記変化が検出されない場合に、前記周期を前記第2値に設定する、
請求項3に記載の情報処理システム。
【請求項7】
予め定められた特定領域に設置された複数の前記端末装置に含まれる第1端末装置の前記設定部は、
前記周期が前記第2値に設定されており、かつ、前記特定領域に設置された前記第1端末装置以外の1つ以上の前記端末装置に対して、前記周期が前記第2値に設定された場合に、前記第1端末装置の前記周期を前記第1値に設定する、
請求項3に記載の情報処理システム。
【請求項8】
前記第1端末装置は、前記第1端末装置以外の1つ以上の前記端末装置より優先して前記周期を前記第1値に設定する装置として予め定められる、
請求項7に記載の情報処理システム。
【請求項9】
前記特定領域に設置された前記第1端末装置以外の1つ以上の前記端末装置は、
前記検出頻度が第2閾値より小さいと予測される期間に、前記第1演算処理および前記送信処理を停止させる制御部をさらに備える、
請求項7に記載の情報処理システム。
【請求項10】
複数の前記端末装置のうち一部は、
前記検出頻度が第2閾値より小さいと予測される期間に、前記第1演算処理および前記送信処理を停止させる制御部をさらに備える、
請求項1に記載の情報処理システム。
【請求項11】
前記送信部は、
他の前記端末装置に対して、設定された前記周期を示す情報を送信する、
請求項1に記載の情報処理システム。
【請求項12】
サーバ装置と、複数の端末装置と、を含む情報処理システムで実行される情報処理方法であって、
複数の前記端末装置が、撮像部により取得された画像の変化の検出を含む第1演算処理を実行する第1演算ステップと、
複数の前記端末装置が、検出された前記画像の変化を示す送信情報を前記サーバ装置に送信する送信処理を実行する送信ステップと、
複数の前記端末装置が、前記第1演算処理および前記送信処理の少なくとも一方を実行する周期を、一定期間での前記画像の変化の検出頻度に基づいて設定する設定ステップと、
前記サーバ装置が、前記送信情報を複数の前記端末装置それぞれから受信する受信ステップと、
前記サーバ装置が、受信した前記送信情報を用いた第2演算処理を実行する第2演算ステップと、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理システムおよび情報処理方法に関する。
【背景技術】
【0002】
画像を取得可能な複数のエッジ端末(端末装置、エッジデバイス)を有し、広い範囲における人流の解析を行う人流解析システムが提案されている。このようなシステムでは、人の多いところでは検出対象が検出される頻度(確率)が高く、人の少ないところでは検出対象が検出される頻度が低いと考えられる。このような事情を考慮しないと演算処理および通信処理などの情報処理の負荷が過剰に重くなりうる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001-326903号公報
【特許文献2】特開2007-272733号公報
【特許文献3】特開2012-004720号公報
【特許文献4】特開2015-002553号公報
【特許文献5】特許第7074244号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、情報処理の負荷を低減することができる情報処理システムおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
実施形態の情報処理システムは、サーバ装置と、複数の端末装置と、を含む。複数の端末装置は、第1演算部、送信部および設定部を備える。第1演算部は、撮像部により取得された画像の変化の検出を含む第1演算処理を実行する。送信部は、検出された画像の変化を示す送信情報をサーバ装置に送信する送信処理を実行する。設定部は、第1演算処理および送信処理の少なくとも一方を実行する周期を、一定期間での画像の変化の検出頻度に基づいて設定する。サーバ装置は、受信部と第2演算部を備える。受信部は、送信情報を複数の端末装置それぞれから受信する。第2演算部は、受信した送信情報を用いた第2演算処理を実行する。
【図面の簡単な説明】
【0006】
【
図4】実施形態における周期設定処理のフローチャート。
【
図10】変形例5での動作の一例を模式的に示す図。
【発明を実施するための形態】
【0007】
以下に添付図面を参照して、この発明にかかる情報処理システムの好適な実施形態を詳細に説明する。
【0008】
以下では、情報処理システムの例として、複数のエッジ端末(端末装置の一例)、および、サーバ装置を含むシステムであって、複数のエッジ端末で取得(撮像)された画像を用いて、人流を解析する人流解析システムを用いた例を説明する。適用可能なシステムは人流解析システムに限られず、その他のどのようなシステムであってもよい。例えば、検出対象は人流に限られず、車両などの他の物体、または、特定の人物であってもよい。すなわち、以下の実施形態は、物体を追跡するシステムに適用されてもよい。
【0009】
上記のように、人流解析システムでは、検出対象(人)が検出される頻度(以下、検出頻度)が変動しうるが、このような変動を考慮しないと情報処理の負荷が過剰に重くなる可能性がある。検出頻度は、例えば、一定期間内における検出対象を検出した回数、または、この回数を一定期間内の検出処理の総数で除算した値(検出確率)である。情報処理は、例えば、各エッジ端末で実行される演算処理、各エッジ端末とサーバ装置との間の通信処理(情報の送信処理を含む)、および、サーバ装置で実行される演算処理を含む。
【0010】
例えば、検出頻度が低い(検出対象が検出されていない場合を含む)エッジ端末も、検出頻度が高いエッジ端末も、得られた画像に対する演算処理を同様に行うように構成されているとする。このような構成では、極端な例として、人の全く存在しない領域で撮像された画像に対して人流を検出するための演算処理を実行し、さらに、演算処理の結果(演算結果ともいう)をサーバ装置に送信する送信処理が実行される。このような状況は、演算処理の観点からも通信の観点からも無駄であり、そのような無駄の帰結として情報処理(演算処理、通信処理)の負荷が過剰に重くなる。また、負荷の増加の結果として、システム全体での消費電力量の増加、および、発熱量の増加が生じうる。
【0011】
撮像画像を用いた移動物体追跡システムの負荷を低減する技術として、各カメラ位置に対する追跡対象物体の到達予想時刻を確認し、到達が予測されるカメラから物体の画像を返信することにより、追跡対象カメラなどを限定し、処理負荷を低減する技術(比較例)が提案されている。このような技術では、見逃しを防止するためには相当の余裕を考慮して早い時刻から送信を行う必要があり、その結果として情報処理の負荷の低減は軽微に留まる。
【0012】
実施形態の情報処理システムは、演算処理および送信処理の少なくとも一方である情報処理の動作周期を、一定期間での画像の変化の検出頻度に基づいて設定する。これにより、演算処理または送信処理(通信処理)の少なくとも一方の負荷が低減され、その結果としてシステムの消費電力量または発熱量を低減させることができる。
【0013】
図1は、実施形態の人流解析システム10の構成の一例を示すブロック図である。
図1に示すように、人流解析システム10は、サーバ装置100と、複数のエッジ端末200a、200bと、制御装置300と、がネットワーク400を介して接続された構成となっている。
【0014】
エッジ端末200a、200bは、人流の解析のための情報を得る演算処理、および、演算結果を含む送信情報のサーバ装置100への送信処理などを実行する装置である。エッジ端末200a、200bは同様の機能を備えるため、区別する必要がない場合は単にエッジ端末200という。エッジ端末200は、2つに限られず、3つ以上であってもよい。
【0015】
サーバ装置100は、複数のエッジ端末200から送信された情報を用いて、人流を解析する演算処理を実行する装置である。
【0016】
制御装置300は、サーバ装置100と通信可能であり、ユーザ(管理者など)の指示に応じてサーバ装置100の動作を制御するための装置である。制御装置300は、ネットワーク400以外の接続手段(他のネットワーク、または、通信線など)によりサーバ装置100に接続されてもよい。
【0017】
制御装置300は、例えば、パーソナルコンピュータ、および、サーバ装置100とは異なるサーバ装置として構成することができる。制御装置300は、ユーザ(管理者など)の操作に応じて、サーバ装置100に対する指示を送信してもよいし、制御プログラムによりサーバ装置100に対して指示を送信してもよい。制御装置300は、サーバ装置100による演算処理の結果を送信する指示をサーバ装置100に送信してもよい。サーバ装置100は、この指示に応じて、または、指示によらずに(例えば定期的に)演算処理の結果を制御装置300に送信する。
【0018】
ネットワーク400は、どのような形態のネットワークであってもよいが、例えば、インターネットおよびローカルエリアネットワーク(LAN)などにより構成される。ネットワーク400は、有線ネットワーク、無線ネットワーク、および、有線ネットワークと無線ネットワークとが混在したネットワークのいずれであってもよい。
【0019】
図2は、エッジ端末200の機能構成の一例を示すブロック図である。
図2に示すように、エッジ端末200は、演算部201(第1演算部)と、送信部202と、受信部203と、設定部204と、制御部205と、記憶部221と、撮像部222と、を備える。
【0020】
記憶部221は、エッジ端末200で用いられる各種情報を記憶する。例えば記憶部221は、演算部201による演算処理の動作周期(以下、単に周期という)を示す情報、および、演算部201による演算処理の結果を記憶する。記憶部221は、フラッシュメモリ、メモリカード、RAM(Random Access Memory)、HDD(Hard Disk Drive)、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【0021】
撮像部222は、画像を撮像(取得)する要素であり、例えば、CCD(Charge Coupled Device)およびCIS(CMOS image sensor)などの撮像素子により構成することができる。なお、エッジ端末200は、内部に撮像部222を備えず、例えばエッジ端末200の外部に備えられた撮像部222から、当該撮像部222により撮像された画像を取得するように構成されてもよい。
【0022】
本実施形態では、複数のエッジ端末200それぞれが有する撮像部222により、広い範囲における人流を解析することが可能となる。
【0023】
演算部201は、撮像部222により撮像された画像に対する演算処理OP_A(第1演算処理)を実行する。演算処理OP_Aは、どのような処理であってもよいが、例えば、撮像された画像の変化の検出を含む処理である。演算部201は、サーバ装置100、または、他のエッジ端末200から受信した情報を用いた演算処理OP_Aを実行してもよい。
【0024】
演算処理OP_Aは、例えば設定された周期に従い、周期的(間欠)に実行される。例えば演算部201は、設定された周期により決定される特定の時刻TAに撮像部222により得られた画像と、他の時刻TBにおける画像との差を求めることにより、画像の変化すなわち対象の動きを検出する演算処理OP_Aを実行する。他の時刻TBは、例えば、時刻TAの直前または直後の時刻である。
【0025】
演算部201は、周期的な実行とは別に、受信部203により受信されたサーバ装置100からの指示に従って演算処理OP_Aを実行してもよい。
【0026】
上記のように、演算処理OP_Aの周期を示す情報は、例えば記憶部221に記憶される。演算部201は、必要に応じて、記憶部221に記憶された情報を参照して、演算処理OP_Aを動作させる周期を決定する。
【0027】
演算部201による演算結果は、すぐにサーバ装置100または他のエッジ端末200に送信されてもよいし、すぐには送信されずに記憶部221に記憶されてもよい。
【0028】
送信部202は、サーバ装置100および他のエッジ端末200などの外部装置に対して各種情報を送信する。例えば送信部202は、演算部201により検出された画像の変化を示す送信情報をサーバ装置100に送信する送信処理を実行する。
【0029】
送信部202は、演算部201と同様に、設定された周期に従い、送信情報を送信してもよい。周期は、演算部201に設定された周期と同じであってもよい。すなわち、演算部201と送信部202とで、共通の周期が設定されてもよい。例えば、演算処理OP_Aの結果をすぐにサーバ装置100に送信する場合は、共通の周期が設定されてもよい。送信処理の周期は、演算部201に設定された周期と異なる値であってもよい。例えば、記憶部221に記憶された1つ以上の演算結果を含む送信情報を送信するような場合は、送信処理の周期は、演算部201(演算処理OP_A)の周期より大きく設定されてもよい。
【0030】
送信部202は、サーバ装置100からの指示に応じた制御部205による制御に従い、送信情報を送信してもよい。送信部202は、他のエッジ端末200に対して、自装置に設定された周期を示す情報を送信してもよい。
【0031】
受信部203は、ネットワーク400を介して、サーバ装置100および他のエッジ端末200などの外部装置から各種情報を受信する。例えば受信部203は、他のエッジ端末200の演算結果、および、他のエッジ端末200による演算処理OP_Aの周期などを受信する。また、受信部203は、サーバ装置100からの指示を受信する。
【0032】
設定部204は、演算処理OP_Aおよび送信処理の周期を設定する。例えば設定部204は、演算処理OP_Aおよび送信処理の少なくとも一方の周期を、一定期間での画像の変化の検出頻度に基づいて設定する。以下では、送信処理と演算処理OP_Aとで共通の周期を設定する場合を例に説明する。また、この周期を、情報処理の周期という場合がある。
【0033】
設定部204は、他のエッジ端末200による情報処理の周期、および、サーバ装置100からの指示の少なくとも一方を用いて、自装置の情報処理の周期を設定してもよい。
【0034】
検出頻度を用いた周期の設定方法の例について以下に説明する。まず設定部204は、画像の変化を検出した頻度を表す検出頻度を算出する。検出頻度は、例えば、一定期間内における検出対象(画像の変化)を検出した回数、または、この回数を一定期間内の検出処理の総数で除算した値(検出確率)である。一定期間は、例えば、現在時刻から過去に一定の時間遡った期間である。
【0035】
設定部204は、算出された検出頻度に応じて、情報処理の周期を算出する。例えば、検出頻度の高いエッジ端末200においては、対象の動きの検出漏れを防ぐために、演算処理OP_Aまたは送信処理は、より頻繁に実行されることが望ましい。そこで、設定部204は、検出頻度が高いほど周期を短く設定する。すなわち、設定部204は、検出頻度が高いほど値が小さくなるように周期を設定する。
【0036】
一方、検出頻度が低いエッジ端末200においては、情報処理の周期を短く設定する必要はない。むしろ過剰に短い周期を設定すると、情報処理の負荷が過剰に重くなる可能性がある。従って、設定部204は、検出頻度が低いほど周期を長く設定する。このような処理により、検出漏れを回避しつつ、情報処理の負荷を低減することができる。
【0037】
例えば、設定部204は、検出頻度と閾値TH_A(第1閾値)とを比較し、検出頻度が閾値TH_Aより大きい場合に、周期を値VA(第1値)に設定し、検出頻度が閾値TH_A以下の場合に、周期を値VAより大きい値VB(第2値)に設定する。
【0038】
値VAおよび値VBは、撮像部222の撮像範囲の広さなどに依存するが、例えば、検出頻度の高いエッジ端末200に対して設定する値VAとして数10ミリ秒程度、検出頻度の低いエッジ端末200に対して設定する値VBとして数100ミリ秒から数秒程度の値とする。なお、これらの値は例であり、これらに限られるものではない。
【0039】
また、検出頻度に応じた周期の設定方法は上記に限られず、その他のどのような方法であってもよい。例えば設定部204は、n個(nは2以上の整数)の閾値TH_Aと、検出頻度との比較結果に応じて、(n+1)個の値のいずれかに周期を設定してもよい。また、設定部204は、検出頻度から周期を算出する算出式、または、検出頻度と周期とを対応づけた対応情報(テーブルなど)を用いて、検出頻度に応じた周期を算出してもよい。
【0040】
設定部204は、算出された周期を、情報処理の周期として設定する。これにより、例えば、検出頻度が低い場合(例えば人が全く存在しない場合など)には、周期を大きく設定することができ、この結果、情報処理の負荷を低減することができる。なお演算処理OP_Aおよび送信処理の両方の周期ではなく、演算処理OP_Aの周期、または、送信処理の周期のいずれかのみを設定する場合であっても、少なくとも周期の設定対象となる処理については負荷を低減可能となる。
【0041】
制御部205は、エッジ端末200による各種処理の全体を制御する。例えば制御部205は、設定された周期で演算処理OP_Aを実行するように、演算部201を制御する。制御部205は、サーバ装置100からの指示に従い、各種処理を制御してもよい。例えばサーバ装置100から、他のエッジ端末200への演算結果の送信が指示された場合、制御部205は、自装置の演算部201による演算結果を、指示された他のエッジ端末200に送信するように、送信部202を制御する。
【0042】
撮像部222は、パン、チルト、および、ズームなどの操作が可能であってもよい。このような撮像部222が用いられる場合、制御部205は、所望の撮像領域を撮像できるように、撮像部222のパン、チルト、および、ズームを制御してもよい。
【0043】
上記各部(演算部201、送信部202、受信部203、設定部204、および、制御部205)は、例えば、1または複数のプロセッサにより実現される。例えば上記各部は、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit)などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のIC(Integrated Circuit)などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、上記各部は、複数のプロセッサのいずれで実現されてもよい。
【0044】
図3は、サーバ装置100の機能構成の一例を示すブロック図である。
図3に示すように、サーバ装置100は、演算部101(第2演算部)と、送信部102と、受信部103と、制御部104と、記憶部121と、を備える。
【0045】
記憶部121は、サーバ装置100で用いられる各種情報を記憶する。例えば記憶部121は、演算部101が演算処理を実行する時刻を示す情報、および、エッジ端末200から受信された送信情報を記憶する。送信情報は、送信元のエッジ端末200を識別する情報が付加されていてもよい。記憶部121は、フラッシュメモリ、メモリカード、RAM、HDD、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【0046】
受信部103は、エッジ端末200および制御装置300などの外部装置から各種情報を受信する。例えば受信部103は、ネットワーク400を介してエッジ端末200から送信された送信情報を受信する。受信部103は、エッジ端末200による演算処理OP_A等の周期を示す情報を、エッジ端末200から受信してもよい。なお、受信部103により受信される情報は上記に限られるものではない。
【0047】
演算部101は、受信された送信情報を用いた演算処理OP_B(第2演算処理)を実行する。演算処理OP_Bはどのような処理であってもよいが、例えば、人流の時間的推移を求める処理、および、時刻または場所に対する人流の依存性の系統的な整理を行う処理、などである。
【0048】
演算部101は、定期的に演算処理OP_Bを実行してもよいし、制御装置300から受信した指示に基づいて演算処理OP_Bを実行してもよい。演算部101は、記憶部121に記憶された、演算処理を実行する時刻を示す情報を参照して演算処理OP_Bを実行してもよい。
【0049】
演算部101による演算結果は、すぐにエッジ端末200または制御装置300に送信されてもよいし、すぐには送信されずに記憶部121に記憶されてもよい。
【0050】
送信部102は、エッジ端末200および制御装置300などの外部装置に対して各種情報を送信する。例えば送信部102は、演算処理OP_Bの結果、および、記憶部121に記憶されている情報などを、エッジ端末200、または、制御装置300に送信する。
【0051】
送信部102は、制御装置300から受信した指示等の情報を、エッジ端末200に送信してもよいし、あるエッジ端末200から受信した情報を他のエッジ端末200に送信してもよい。
【0052】
制御部104は、サーバ装置100による各種処理の全体を制御する。例えば制御部104は、設定された時刻に演算処理OP_Bを実行するように、演算部101を制御する。制御部104は、制御装置300からの指示に従い、各種処理を制御してもよい。制御部104は、演算処理の結果を送信する指示をエッジ端末200に送信するように、送信部102を制御してもよい。
【0053】
上記各部(演算部101、送信部102、受信部103、および、制御部104)は、例えば、1または複数のプロセッサにより実現される。例えば上記各部は、CPUおよびGPUなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のICなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、上記各部は、複数のプロセッサのいずれで実現されてもよい。
【0054】
またサーバ装置100は、物理的に1つの装置によって構成されてもよいし、物理的に複数の装置によって構成されてもよい。例えばサーバ装置100は、クラウド環境上で構築されてもよい。
【0055】
次に、実施形態の人流解析システム10による周期設定処理について説明する。
図4は、実施形態における周期設定処理の一例を示すフローチャートである。
【0056】
周期設定処理は、情報処理の周期を設定するための処理であり、各エッジ端末200の設定部204により実行される。上記のように、演算部201は、設定された周期ごとに、撮像部222により得られた時刻TAの画像と時刻TBの画像との差を求めることにより、撮像部222の撮像範囲における画像の変化(対象の動き)を検出する。周期設定処理は、一定期間に演算部201より得られた検出結果(蓄積された経験値)を用いて実行される。
【0057】
すなわち、設定部204は、一定期間内での画像の変化を検出した検出頻度を算出する(ステップS101)。設定部204は、算出した検出頻度に応じた周期を算出する(ステップS102)。設定部204は、算出した周期を、情報処理(演算処理OP_A、および、送信処理の少なくとも一方)の周期として設定する(ステップS103)。
【0058】
周期設定処理は、どのようなタイミングで実行されてもよいが、例えば、ユーザ(管理者など)により指示されたとき、または、定期的に実行される。
【0059】
例えば時間の経過とともに、各エッジ端末200での検出頻度は変動しうる。周期設定処理を定期的に実行するように構成すれば、変動した検出頻度に応じて、設定する周期を更新することが可能となる。
【0060】
次に、実施形態の人流解析システム10による解析処理について説明する。
図5は、実施形態における解析処理の一例を示すシーケンス図である。
【0061】
エッジ端末200の撮像部222は、撮像範囲の画像を撮像する(ステップS201)。演算部201は、撮像された画像を用いて、画像の変化を検出する処理を含む演算処理OP_Aを実行する(ステップS202)。演算処理OP_Aは、周期設定処理により設定された周期で実行される。画像の変化が検出された場合、送信部202は、画像の変化を示す送信情報を、サーバ装置100に送信する(ステップS203)。
【0062】
なお、エッジ端末200は、ステップS201~ステップS203の処理を繰り返し実行する。また、
図5では、1つのエッジ端末200のみが示されているが、人流解析システム10に含まれる複数のエッジ端末200それぞれで、
図5に示す処理が実行される。
【0063】
サーバ装置100の受信部103は、エッジ端末200から送信された送信情報を受信する(ステップS204)。演算部101は、受信された送信情報を用いた演算処理OP_Bを実行する(ステップS205)。なお、サーバ装置100は、ステップS204~ステップS205の処理を繰り返し実行する。
【0064】
以上のような処理により、例えば、周期が過剰に短く設定されることに起因して情報処理(演算処理OP_A、送信処理)の負荷が過剰に重くなることが抑制されるとともに、周期が過剰に長く設定されることに起因して対象の動きの検出漏れが生じることも抑制される。また、周期設定処理を適当なタイミングで実行することにより、検出頻度に変動があった場合でも、周期を適切に更新することができる。
【0065】
(変形例1)
上記実施形態では、各エッジ端末200の情報処理の周期は、検出対象(画像の変化)の検出頻度に基づいて定められる。これにより情報処理の負荷の低減が図られる。ただし、得られた検出頻度の低いエッジ端末200の撮像部222の撮像範囲においても対象の動きすなわち画像の変化は生じうる。従って、検出頻度の低いエッジ端末200においては情報処理の周期を長く設定したままだと、対象の動きの検出漏れが生じうる。なお、検出漏れが生じると、例えば人流解析のために必要な情報が得られないという状況が生じうる。
【0066】
そこで、変形例1では、設定部204は、周期が長い値(例えば値VB)に設定されており、かつ、画像の変化が検出された場合に、周期を短い値(例えば値VA)に設定する。これにより、撮像部222の撮像範囲における対象の動きの検出漏れは抑制される。
【0067】
検出頻度の低いエッジ端末200においては、画像の変化すなわち撮像部222の撮像範囲における対象の動きが検出されたとしても、少し時間が経つと対象の動きすなわち画像の変化は検出されなくなるということが有りうる。そこで、本変形例では、画像の変化が検出されない状態が特定の時間に渡って続いたら、情報処理の周期が再び長く設定し直される。すなわち、設定部204は、周期が短い値(例えば値VA)に設定されており、かつ、画像の変化が検出されない状態が特定の時間に渡って続いたら情報処理の周期を再び長い値(例えば値VB)に設定する。これにより、情報処理の負荷をさらに低減させることができる。
【0068】
特定の時間は、撮像部222の撮像範囲の広さなどに依存するが、例えば、数秒から数10秒とすることができる。なお、これらの値は例であり、これらに限られるものではない。
【0069】
図6は、本変形例での動作の一例を模式的に示す図である。ここでは、3つの時刻に対応する状態601~603での、1つのエッジ端末200aの動作の例が説明される。なお、
図6では、エッジ端末200aの撮像部222のみが示されている。
【0070】
まず、状態601に示されるように、検出頻度の低いエッジ端末200aが画像の変化すなわち対象(人物P01)の動きを検出したとする。なお、
図6では、人物P01は、矢印に示す右方向に移動することが示されている。この場合、エッジ端末200aの設定部204は、周期を短く設定しなおす。
【0071】
この結果、状態602では、対象(人物P01)の動きを詳細に捉えることが可能となる。そして状態603に示すように、対象(人物P01)がエッジ端末200aの撮像部222の撮像範囲から外れ、対象の動きが検出されない状態が特定の時間に渡って続いた場合、エッジ端末200aの設定部204は、周期を再び長く設定し直す。
【0072】
(変形例2)
変形例1では、画像の変化が検出されたエッジ端末200の情報処理の周期が設定し直される例を説明した。変形例2では、その他のエッジ端末200の情報処理の周期も設定し直される。
【0073】
いずれかのエッジ端末200において画像の変化が検出されたことは、そのエッジ端末200の撮像部222の撮像範囲において対象の動きが検出されたということである。このため、そのエッジ端末200に近接する他のエッジ端末200の撮像部222の撮像範囲においても、少し時間が経つと画像の変化が検出されると予想される。
【0074】
従って、本変形例では、いずれかのエッジ端末200において画像の変化が検出された場合には、そのエッジ端末200に近接するエッジ端末200の情報処理の周期を短く設定する。
【0075】
例えば、画像の変化が検出されたエッジ端末200(第1端末装置)の送信部202は、周期に長い値(例えば値VB)が設定されており、かつ、変化が検出された場合に、他のエッジ端末200のうち、自装置からの距離が閾値(距離の閾値)以下であるエッジ端末200(第2端末装置)に対して、周期を短い値(例えば値VA)に設定する要求を送信する。なお、要求を受信したエッジ端末200の設定部204は、要求に従い、自装置の情報処理の周期を短い値に設定する。
【0076】
これにより、画像の変化の検出されたエッジ端末200に近接するエッジ端末200の撮像部222の撮像範囲における対象の動きの検出漏れを抑制することができる。これは、エッジ端末200が1つのみの場合には得られない利点である。
【0077】
以下に、近接するエッジ端末200の決定方法の例を説明する。例えば、道または通路のような細長い領域が撮像部222の撮像範囲であり、かつ、複数のエッジ端末200の撮像部222の撮像範囲がほぼ一列に並んでいる状況を想定する。このような状況では、近接するエッジ端末200は、画像の変化の検出されたエッジ端末200に隣接するエッジ端末200として決定することができる。
【0078】
また、例えば広場または部屋のような細長い領域以外の領域が撮像部222の撮像範囲であり、かつ、エッジ端末200の撮像部222の撮像範囲が点在している状況を想定する。このような状況では、近接するエッジ端末200は、画像の変化の検出されたエッジ端末200から特定の距離以内に撮像部222の撮像範囲を有するエッジ端末200として決定することができる。
【0079】
画像から、対象の動きの向きを示す情報が得られる場合は、複数のエッジ端末200のうち、対象の動きの向きと同じ方向に設置されたエッジ端末200が、近接するエッジ端末200として決定されてもよい。
【0080】
特定の距離は、撮像部222の撮像範囲の広さなどに依存するが、例えば数メートルから十数メートルとすることができる。なお、これらの値は例であり、これらに限られるものではない。
【0081】
図7は、本変形例での動作の一例を模式的に示す図である。ここでは、一列に並んで設置される5つのエッジ端末200a~200eの動作の例が説明される。なお、
図7では、各エッジ端末200の撮像部222のみが示されている。エッジ端末200の個数は5個に限られるものではない。
【0082】
中央のエッジ端末200cが、画像の変化すなわち対象(人物P01)の動きを検出したとする。この場合、設定対象701に含まれる3つのエッジ端末200b、200c、200dの周期が短く設定し直される。すなわち、エッジ端末200cの送信部202は、エッジ端末200cに近接するエッジ端末200b、200dに対して、周期を短い値に設定する要求を送信する。
【0083】
なお、設定対象701に含まれるエッジ端末200は、
図7に示す3つに限られるものではない。例えば、
図7の両端のエッジ端末200a、200eのいずれかが、周期を短く設定する対象に含まれてもよい。
【0084】
(変形例3)
変形例2では、画像の変化の検出されたエッジ端末200に近接するエッジ端末200、すなわち少し時間が経つと撮像部222により得られた画像の変化が検出されると予想されるエッジ端末200の情報処理の周期を短く設定した。
【0085】
例えば、画像の変化の検出されたエッジ端末200が、近接するエッジ端末200に対して、周期を短い値に設定する要求を直ちに送信したとすると、近接するエッジ端末200の周期が過剰に早く設定される可能性がある。すなわち、無駄に情報処理が行われる可能性がある。
【0086】
そこで、変形例3では、いずれかのエッジ端末200において画像の変化が検出された場合には、その変化の内容を考慮して他のエッジ端末200の撮像部222の撮像範囲に対象が到達する時刻が予測される。そして、予測された時刻に従って、他のエッジ端末200の情報処理の周期が設定される。変化の内容は、例えば、対象の動きの向き、および、対象の動きの速さの少なくとも一方である。
【0087】
例えば本変形例では、設定部204は、近接するエッジ端末200(例えば、自装置からの距離が閾値以下であるエッジ端末200)で画像の変化が検出される時刻を予測する。また、送信部202は、予測された時刻に周期を短い値(例えば値VA)に設定する要求を送信する。
【0088】
これにより、過剰に早く周期が短く設定されることは抑制される。すなわち情報処理の負荷が過剰になることが抑制される。これは、エッジ端末200が1つのみの場合には得られない利点である。
【0089】
到達時刻の予測方法はどのような方法でもよいが、例えば、画像の変化とともに検出される対象の動きの向き、および、対象の動きの速さの少なくとも一方である変化の内容を考慮する方法が適用できる。例えば設定部204は、対象の動きの向きを用いて、近接するエッジ端末200のうち、対象が到達すると予測されるエッジ端末200を決定する。また、設定部204は、対象の動きの速さ、および、決定されたエッジ端末200までの距離を用いて、決定されたエッジ端末200に対象が到達するまでの時間を算出する。設定部204は、現在の時刻に、算出された時間を加算した値を、対象が到達する時刻の予測値として算出する。
【0090】
予測には誤差が生じうるため、設定部204は、誤差(余裕)を考慮して、予測された時刻より少し前の時刻を、最終的な時刻の予測値として出力してもよい。この場合、過剰に早く周期を短く設定することを完全に無くすことはできないが、抑制することができる。すなわち、情報処理の負荷を最小限まで低減することはできないが、それに近い値まで低減することができる。
【0091】
なお、上記の比較例のような技術では、例えば、追跡対象物体の到達が予測されるカメラは、停止された状態から動作させる状態に切り替えられる。このため、動作開始に必要な時間の余裕をより大きくする必要がある。これに対して、本変形例では、各エッジ端末200は停止された状態ではなく、少なくとも長い周期では動作している。このため、周期を切り替えるための時間の余裕は、比較例のような技術と比較して、小さい値とすることができる。
【0092】
ここで、誤差(余裕)を考慮して早める時間は、撮像部222の撮像範囲または到達する時刻の予測の精度などに依存するが、例えば数秒から十数秒とすることができる。なお、これらの値は例であり、これらに限られるものではない。
【0093】
図8は、本変形例での動作の一例を模式的に示す図である。ここでは、一列に並んで設置される3つのエッジ端末200a~200cの動作の例が説明される。なお、
図8では、各エッジ端末200の撮像部222のみが示されている。エッジ端末200の個数は3個に限られるものではない。
【0094】
中央に設置されたエッジ端末200bが画像の変化すなわち対象(人物P01)の動きを検出し、対象は
図8の右の方向に移動していたとする。このような状況であれば、対象は少し時間が経つとエッジ端末200cの撮像部222の撮像範囲に入ると予想される。そこで、エッジ端末200bの設定部204は、その時刻を予測し、送信部202は、予測された時刻に周期を短く設定する要求を、エッジ端末200cに送信する。
【0095】
(変形例4)
上記の実施形態および各変形例では、周期の長く設定されたエッジ端末200と短く設定されたエッジ端末200とが混在する状況が生じうる。さらに、特殊な状況として、予め定められた特定領域(以下、領域RA)に撮像部222の撮像範囲を有する複数のエッジ端末200のすべてに対して、情報処理の周期が長く設定されるという状況が生じうる。
【0096】
このような特殊な状況では、領域RAでの対象の動きの検出が遅れ、結果として対象の動きの検出漏れが起こる可能性がある。従って、このような特殊な状況の発生を抑制することが望ましい。
【0097】
ここで、上記のように、複数のエッジ端末200は、情報処理の周期を示す情報を、相互に送受信するように構成することができる。すなわち、エッジ端末200は、他のエッジ端末200の周期を把握することができる。従って、上記のような特殊な状況が生じた場合には、領域RA内のいずれかのエッジ端末200が、自装置の情報処理の周期を短く設定し直すことが可能である。
【0098】
例えば、予め定められた領域RAに設置された複数のエッジ端末200のうち、特定のエッジ端末200-S(第1端末装置)の設定部204は、自装置の周期が長い値(例えば値VB)に設定されており、かつ、領域RAに設置されたエッジ端末200-S以外の1つ以上のエッジ端末200に対して、周期が長い値(例えば値VB)に設定された場合に、自装置の周期を短い値(例えば値VA)に設定する。
【0099】
エッジ端末200-Sは、どのように特定されてもよいが、例えば、領域RAに設置されたエッジ端末200のうち、他のエッジ端末200より優先して周期を短く設定する装置として予め定められる。
【0100】
このような処理により、上記のような特殊な状況の発生を回避することができる。従って、領域RAでの対象の動きの検出漏れは回避または抑制することができる。これは、エッジ端末200が1つのみの場合には得られない利点である。
【0101】
上記のような特殊な状況が生ずるのは、ある時間に渡って領域RAに対象の動きが検出されない場合、すなわち、人流が検出されない場合である。周期を短く設定するエッジ端末200-Sは、その後、対象の動きがより早く検出されると予想される場所を撮像部222の撮像範囲に有するエッジ端末200であることが望ましい。このようにエッジ端末200-Sを定めておけば、領域RA内における人流をより早く検出することができる。
【0102】
対象の動きがより早く検出されると予想される場所は、どのように定められてもよいが、例えば以下のように定められる。
・領域RAが道路の場合、分岐点に相当する場所(枝道のある場所)
・領域RAが通路の場合、当該通路の両端に相当する場所、当該通路に面した部屋の出入り口に相当する場所、当該通路に通ずる他の構造物(階段、エレベーター、エスカレーターなど)に相当する場所、または、分岐点に相当する場所
・領域RAが例えば部屋の場合、出入口のある場所
【0103】
図9は、本変形例での動作の一例を模式的に示す図である。ここでは、領域RAが通路911であり、通路911に一列に並んで設置される5つのエッジ端末200a~200eの動作の例が説明される。なお、
図9では、各エッジ端末200の撮像部222のみが示されている。エッジ端末200の個数は5個に限られるものではない。
【0104】
また、
図9に示す5つのエッジ端末200の全てにおいて、周期は長い値(例えば値VB)に設定されているものとする。通路911は、分岐点912を含む。
【0105】
エッジ端末200bの撮像部222の撮像領域は、分岐点912に近い。このような場合には、エッジ端末200bの周期が短く設定し直される。すなわち、対象の動きがより早く検出されると予想される場所である分岐点912に近いため、エッジ端末200bが、エッジ端末200-Sとして定められる。そして、エッジ端末200bの設定部204は、自装置の周期が長い値(例えば値VB)に設定されており、かつ、領域RAに設置された他のエッジ端末200a、200c~200eに対して周期が長い値(例えば値VB)に設定されているため、自装置の周期を短い値(例えば値VA)に設定する。
【0106】
なお、周期を短く設定し直すエッジ端末200-Sは1つに限るものではなく、2つ以上であってもよい。
図9の例では、エッジ端末200bの両隣であるエッジ端末200a、200cのうち一方または両方の周期についても、エッジ端末200bの周期とともに短く設定し直されてもよい。
【0107】
(変形例5)
人流を検出する領域に依っては、例えば特定の曜日の特定の時間帯は検出頻度が極めて低いということがありうる。検出頻度が極めて低いとは、例えば、検出頻度が閾値TH_B(第2閾値)より小さいことである。特定の曜日の特定の時間帯は、検出頻度が閾値TH_Bより小さいと予測される期間に相当する。
【0108】
特定の曜日の特定の時間帯としては、例えば休日の早朝、平日の昼間、および、曜日を問わず夜間などが挙げられる。これらは一例であり、検出頻度が極めて低い曜日または時間帯はこれらに限られるものではない。
【0109】
本変形例では、このように検出頻度が極めて低いと想定される状況となったときに、エッジ端末200の内のいずれかについて、周期的な動作も含めて情報処理を停止させる。すなわち、動作させるエッジ端末200が間引かれる。
【0110】
例えば、エッジ端末200のうち少なくとも一部の制御部205は、検出頻度が閾値TH_Bより小さいと予測される期間に、演算処理OP_Aおよび送信処理を停止させる。
【0111】
これにより、停止させずに長い周期で情報処理を行う構成と比較して、情報処理の負荷をさらに低減させることができる。これは、エッジ端末200が1つのみの場合には得られない利点である。
【0112】
ただし、変形例4で説明したような、領域RA内で対象の動きがより早く検出されると予想される場所を撮像部222の撮像範囲に有するエッジ端末200の動作が停止されると、領域RA内で人流の検出が遅れる可能性がある。
【0113】
そこで、停止の対象とするエッジ端末200は、領域RA内で対象の動きがより早く検出されると予想される場所を撮像部222の撮像範囲に有するエッジ端末200以外のエッジ端末200であることが好ましい。言い換えると、停止の対象とするエッジ端末200は、領域RA内で対象の動きが相対的に遅く検出されると予想される場所を撮像部222の撮像範囲に有するエッジ端末200であることが好ましい。
【0114】
例えば、停止の対象として予め定められたエッジ端末200の制御部205は、検出頻度が閾値TH_Bより小さいと予測される期間に、演算処理OP_Aおよび送信処理を停止させる。
【0115】
これにより、停止させずに長い周期で情報処理を行う構成と比較して、情報処理の負荷をさらに低減させることができるとともに、人流の検出は遅滞なく行われる。これは、エッジ端末200が1つのみの場合には得られない利点である。
【0116】
図10は、本変形例での動作の一例を模式的に示す図である。ここでは、
図9と同様に、領域RAが通路911であり、通路911に一列に並んで設置される5つのエッジ端末200a~200eの動作の例が説明される。なお、
図10では、各エッジ端末200の撮像部222のみが示されている。エッジ端末200の個数は5個に限られるものではない。
【0117】
また、
図10は、画像の変化すなわち対象の動きの検出頻度が極めて低い曜日または時間帯であるとする。エッジ端末200bの撮像部222の撮像範囲は分岐点912を含む。また、エッジ端末200bの両隣のエッジ端末200a、200cの撮像部222の撮像範囲は分岐点912に近い。
【0118】
そこで、これらのエッジ端末200a、200b、200cの制御部205は、情報処理の動作を停止させない。一方、停止対象1001に含まれる2つのエッジ端末200、すなわち、撮像部222の撮像範囲が分岐点912から離れている2つのエッジ端末200d、200eの制御部205は、情報処理の動作を停止させる。
【0119】
図10では、停止対象1001がエッジ端末200d、200eを含む例を説明したが、停止対象はこれに限られない。例えば、停止対象1001は、分岐点912の正面に撮像部222の撮像領域を有するエッジ端末200b以外のエッジ端末200a、200c、200d、200eを含んでもよい。停止対象1001は、
図10において分岐点912から最も離れたエッジ端末200eのみを含んでもよい。
【0120】
なお、上記の実施形態および各変形例において、複数のエッジ端末200間の、情報処理の周期を示す情報等の相互の送受信は、サーバ装置100を介した通信により行うことも可能であるし、サーバ装置100を介さない直接の通信により行うことも可能である。サーバ装置100を介さない複数のエッジ端末200間での直接の通信とする構成では、人流解析システム10の全体としての通信負荷をより抑制することができる。
【0121】
以上のように、実施形態および変形例によれば、情報処理の負荷を低減することができる。
【0122】
次に、実施形態の装置(サーバ装置、エッジ端末、制御装置)のハードウェア構成について
図11を用いて説明する。
図11は、実施形態の装置のハードウェア構成例を示す説明図である。
【0123】
実施形態の装置は、CPU51などの制御装置と、ROM(Read Only Memory)52やRAM53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
【0124】
実施形態の装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
【0125】
実施形態の装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【0126】
さらに、実施形態の装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態の装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0127】
実施形態の装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【0128】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0129】
10 人流解析システム
100 サーバ装置
200a、200b、200c、200d、200e エッジ端末
300 制御装置
400 ネットワーク
101、201 演算部
102、202 送信部
103、203 受信部
104、205 制御部
121、221 記憶部
204 設定部
222 撮像部