特開 2022-77873 情報処理システム、情報処理装置、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022077873

(43)【公開日】2022-05-24

(54)【発明の名称】情報処理システム、情報処理装置、および情報処理プログラム

(51)【国際特許分類】

   G06F 9/50 20060101AFI20220517BHJP

   G06T 7/60 20170101ALI20220517BHJP

【ＦＩ】

G06F9/50 150D

G06T7/60 110

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020188930

(22)【出願日】2020-11-12

(71)【出願人】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】加藤 圭

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA05

5L096FA52

5L096GA51

(57)【要約】

【課題】リアルタイム性を損なうことなく画像に対する検出処理を実行する。
【解決手段】本開示の第１態様にかかる情報処理システムは、複数の撮像装置からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部を含む対象検出装置と、対象検出装置に通信可能に接続された情報処理装置であって、検出部により検出された検出対象の数を取得し、当該検出対象の数に応じて、複数の撮像装置から、検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する設定部と、設定部による設定の結果に応じて、非対象画像に対する検出処理の実行がスキップされるように、検出部による検出処理の実行を制御する制御部と、を含む情報処理装置と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の撮像装置からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部を含む対象検出装置と、
前記対象検出装置に通信可能に接続された情報処理装置であって、前記検出部により検出された前記検出対象の数を取得し、当該検出対象の数に応じて、前記複数の撮像装置から、前記検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する設定部と、前記設定部による設定の結果に応じて、前記非対象画像に対する前記検出処理の実行がスキップされるように、前記検出部による前記検出処理の実行を制御する制御部と、を含む情報処理装置と、
を備える、情報処理システム。

【請求項2】

前記設定部は、前記検出部により検出された前記検出対象の数を繰り返し取得し、当該検出対象の数を取得するごとに、前記検出対象の数と閾値との比較に基づいて、前記複数の撮像装置から前記非対象装置を設定する、
請求項１に記載の情報処理システム。

【請求項3】

前記設定部は、
前記複数の撮像装置のうち前記検出対象の数が第１閾値を上回る画像が得られる撮像装置を、前記非対象装置として設定し、
前記複数の撮像装置のうち前記検出対象の数が前記第１閾値よりも小さい第２閾値を下回る画像が得られる撮像装置を、前記検出処理の対象とすべき対象画像が得られる対象装置として設定し、
前記複数の撮像装置のうち前記検出対象の数が前記第１閾値と前記第２閾値との間の画像が得られる撮像装置を、前記非対象装置として前回設定されている場合は前記非対象装置として設定し、前記対象装置として前回設定されている場合は前記対象装置として設定する、
請求項２に記載の情報処理システム。

【請求項4】

前記設定部は、前記複数の撮像装置に優先度が設定されている場合、当該優先度が１番目からＮ番目までの撮像装置からそれぞれ得られる画像について前記検出部により検出された前記検出対象の数を合算した結果としての合算値を算出し、当該合算値と所定値との比較に基づいて、前記優先度がＮ番目の撮像装置を前記非対象装置として設定するか否かを決定する、
請求項１～３のうちいずれか１項に記載の情報処理システム。

【請求項5】

前記設定部は、
前記合算値が第１所定値を上回る場合、前記優先度がＮ番目以降の撮像装置を前記非対象装置として設定するとともに、前記優先度が１番目からＮ－１番目までの撮像装置を、前記検出処理の対象とすべき対象画像が得られる対象装置として設定し、
前記合算値が前記第１所定値よりも小さい第２所定値を下回る場合、前記優先度がＮ＋２番目以降の撮像装置を前記非対象装置として設定するとともに、前記優先度が１番目からＮ＋１番目までの撮像装置を前記対象装置として設定し、
前記合算値が前記第１所定値と前記第２所定値との間である場合、前記非対象装置および前記対象装置の設定を維持する、
請求項４に記載の情報処理システム。

【請求項6】

前記情報処理装置は、少なくとも前記設定部および前記制御部を実現するハードウェアとしてのプロセッサを含み、
前記設定部は、前記プロセッサの負荷を取得し、前記プロセッサの負荷が第１負荷を上回る場合、前記非対象装置の数を増やし、前記プロセッサの負荷が前記第１負荷よりも小さい第２負荷を下回る場合、前記非対象装置の数を減らし、前記プロセッサの負荷が前記第１負荷と前記第２負荷との間である場合、前記非対象装置の数を維持する、
請求項１～５のうちいずれか１項に記載の情報処理システム。

【請求項7】

前記設定部は、
前記プロセッサの負荷を繰り返し取得し、
前記プロセッサの負荷が第１負荷を上回る場合、前記プロセッサの負荷を示す負荷フラグを第１値に設定し、
前記プロセッサの負荷が前記第１負荷よりも小さい前記第２負荷を下回る場合、前記負荷フラグを前記第１値とは異なる第２値に設定し、
前記プロセッサの負荷が前記第１負荷と前記第２負荷との間である場合、前記負荷フラグの前回の設定を維持し、
前記負荷フラグが前記第１値に設定されている場合は、前記検出対象の数に応じた前記非対象装置の数の減少を回避する、
請求項６に記載の情報処理システム。

【請求項8】

複数の撮像装置からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部を含む対象検出装置に通信可能に接続された情報処理装置であって、
前記検出部により検出された前記検出対象の数を取得し、当該検出対象の数に応じて、前記複数の撮像装置から、前記検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する設定部と、
前記設定部による設定の結果に応じて、前記非対象画像に対する前記検出処理の実行がスキップされるように、前記検出部による前記検出処理の実行を制御する制御部と、
を備える、情報処理装置。

【請求項9】

複数の撮像装置からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部を含む対象検出装置に通信可能に接続された情報処理装置を構成するコンピュータに、
前記検出部により検出された前記検出対象の数を取得し、当該検出対象の数に応じて、前記複数の撮像装置から、前記検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する設定ステップと、
前記設定ステップによる設定の結果に応じて、前記非対象画像に対する前記検出処理の実行がスキップされるように、前記検出部による前記検出処理の実行を制御する制御ステップと、
を実行させるための、情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理装置、および情報処理プログラムに関する。

【背景技術】

【0002】

従来、機械学習などに基づいて構成された推論器などを用いて、撮像装置から得られる画像に対して、たとえば当該画像に含まれる検出対象の数の検出、および当該検出対象に関する情報の検出などを含む検出処理を実行する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１４２１３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような従来の技術において、撮像装置が複数設けられている場合、複数の撮像装置からそれぞれ得られる複数の画像の全てに対して一律で検出処理を実行すると、システム全体の負荷が増大し、検出処理のリアルタイム性が損なわれることがある。

【0005】

そこで、本開示の課題の一つは、リアルタイム性を損なうことなく画像に対する検出処理を実行することが可能な情報処理システム、情報処理装置、および情報処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示の第１態様にかかる情報処理システムは、複数の撮像装置からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部を含む対象検出装置と、対象検出装置に通信可能に接続された情報処理装置であって、検出部により検出された検出対象の数を取得し、当該検出対象の数に応じて、複数の撮像装置から、検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する設定部と、設定部による設定の結果に応じて、非対象画像に対する検出処理の実行がスキップされるように、検出部による検出処理の実行を制御する制御部と、を含む情報処理装置と、を備える。

【0007】

本開示の第２態様にかかる情報処理装置は、複数の撮像装置からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部を含む対象検出装置に通信可能に接続された情報処理装置であって、検出部により検出された検出対象の数を取得し、当該検出対象の数に応じて、複数の撮像装置から、検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する設定部と、設定部による設定の結果に応じて、非対象画像に対する検出処理の実行がスキップされるように、検出部による検出処理の実行を制御する制御部と、を備える。

【0008】

本開示の第３態様にかかる情報処理プログラムは、複数の撮像装置からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部を含む対象検出装置に通信可能に接続された情報処理装置を構成するコンピュータに、検出部により検出された検出対象の数を取得し、当該検出対象の数に応じて、複数の撮像装置から、検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する設定ステップと、設定ステップによる設定の結果に応じて、非対象画像に対する検出処理の実行がスキップされるように、検出部による検出処理の実行を制御する制御ステップと、を実行させるためのプログラムである。

【発明の効果】

【0009】

本開示の情報処理システム、情報処理装置、および情報処理プログラムによれば、リアルタイム性を損なうことなく画像から検出対象を検出することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態にかかる情報処理システムの機能的構成を示した例示的かつ模式的なブロック図である。

【図2】図２は、実施形態にかかる情報処理装置を構成するコンピュータのハードウェア構成を示した例示的かつ模式的なブロック図である。

【図3】図３は、実施形態にかかる管理テーブルを示した例示的かつ模式的な図である。

【図4】図４は、実施形態にかかる情報処理装置が対象検出装置に検出処理を実行またはスキップさせる際に実行する一連の処理を示した例示的かつ模式的なフローチャートである。

【図5】図５は、実施形態にかかる情報処理装置が検出処理の結果に基づいて管理テーブルを設定する際に実行する一連の処理を示した例示的かつ模式的なフローチャートである。

【図6】図６は、実施形態にかかる情報処理装置が実行する検出数に基づくスキップ情報の設定の詳細を示した例示的かつ模式的なフローチャートである。

【図7】図７は、実施形態にかかる情報処理装置が実行する検出数の合算値に基づくスキップポインタの設定の詳細を示した例示的かつ模式的なフローチャートである。

【図8】図８は、実施形態にかかる情報処理装置が実行するスキップポインタに基づくスキップ情報の設定の詳細を示した例示的かつ模式的なフローチャートである。

【図9】図９は、実施形態にかかる情報処理装置がプロセッサの負荷に基づいて管理テーブルを設定する際に実行する一連の処理を示した例示的かつ模式的なフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0012】

図１は、実施形態にかかる情報処理システムの機能的構成を示した例示的かつ模式的なブロック図である。

【0013】

図１に示されるように、実施形態にかかる情報処理システムは、複数の撮像装置１０に接続された情報処理装置１１０と、当該情報処理装置１１０に通信可能に接続された対象検出装置１２０と、を備えている。図１に示される例では、簡単化のため、情報処理装置１１０と対象検出装置１２０とが１対１の関係で設けられているが、実施形態では、情報処理装置１１０と対象検出装置１２０とが１対多の関係で設けられていてもよい。

【0014】

撮像装置１０は、店舗などの各種の施設内の領域の撮像を行い、当該撮像の結果として得られる画像を情報処理装置１１０に出力する監視カメラである。

【0015】

情報処理装置１１０および対象検出装置１２０は、いわゆるエッジコンピュータとして構成される。情報処理装置１１０は、サブボードとして構成された対象検出装置１２０の処理の結果を管理するメインボードとして構成される。なお、実施形態では、情報処理装置１１０と対象検出装置１２０との間に、両者間の通信を中継するブリッジコントローラとしての中継装置が設けられうる。

【0016】

図１に示されるように、対象検出装置１２０は、通信部１２１と、検出部１２２と、を備えている。通信部１２１は、情報処理装置１１０との通信を制御する。また、検出部１２２は、推論器１２２Ａを用いて、撮像装置１０により取得された（そして情報処理装置１１０により転送された）画像に対して、当該画像に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行する。なお、推論器１２２Ａとは、たとえば、画像の入力に応じて当該画像に含まれる検出対象の数および当該検出対象に関する情報を出力するように機械学習により予めトレーニングされたニューラルネットワークである。

【0017】

また、情報処理装置１１０は、画像取得部１１１と、通信部１１２と、出力部１１３と、設定部１１４と、制御部１１５と、を備えている。これにより、情報処理装置１１０は、撮像装置１０から出力された画像を対象検出装置１２０に転送し、当該画像に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を対象検出装置１２０に実行させることが可能である。そして、情報処理装置１１０は、検出処理の結果を対象検出装置１２０から取得し、検出処理の結果に基づく各種の情報をディスプレイ（不図示）などに出力することが可能である。

【0018】

実施形態において、情報処理装置１１０は、上記の機能モジュール群を実現するために、次の図２に示されるようなハードウェア構成を有するコンピュータ２００として構成される。

【0019】

図２は、実施形態にかかる情報処理装置１１０を構成するコンピュータ２００のハードウェア構成を示した例示的かつ模式的なブロック図である。

【0020】

図２に示されるように、実施形態にかかる情報処理装置１１０を構成するコンピュータ２００は、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェース（Ｉ／Ｆ）２４０と、通信インターフェース（Ｉ／Ｆ）２５０と、を備えている。これらのハードウェアは、バス２６０に接続されている。

【0021】

プロセッサ２１０は、たとえばＣＰＵ（Central Processing Unit）として構成され、コンピュータ２００の各部の動作を統括的に制御する。

【0022】

メモリ２２０は、たとえばＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含み、プロセッサ２１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ２１０がプログラムを実行するための作業領域の提供などを実現する。

【0023】

ストレージ２３０は、たとえばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）を含み、各種のデータを不揮発的に記憶する。

【0024】

入出力インターフェース２４０は、たとえばキーボードおよびマウス（いずれも不図示）のような入力デバイスからコンピュータ２００へのデータの入力と、たとえばコンピュータ６００からディスプレイおよびスピーカ（いずれも不図示）のような出力デバイスへのデータの出力と、を制御する。

【0025】

通信インターフェース２５０は、コンピュータ２００が他の装置と通信を実行することを可能にする。

【0026】

実施形態において、図１に示される機能モジュール群は、プロセッサ２１０がメモリ２２０またはストレージ２３０などに記憶された情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュールとして実現される。ただし、実施形態では、図１に示される機能モジュール群のうち少なくとも一部が、専用のハードウェア（回路：circuitry）のみによって実現されてもよい。

【0027】

なお、上述した情報処理プログラムは、必ずしもメモリ２２０またはストレージ２３０に予め記憶されている必要はない。たとえば、上述した情報処理プログラムは、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Digital Versatile Disk）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

【0028】

また、上述した情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述した情報処理プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

【0029】

図１に戻り、画像取得部１１１は、複数の撮像装置１０によりそれぞれ得られる複数の画像を取得する。また、通信部１１２は、対象検出装置１２０との通信を制御する。たとえば、通信部１１２は、撮像装置１０から取得された画像の対象検出装置１２０への転送、および対象検出装置１２０による検出処理の結果の受信などを実行する。また、出力部１１３は、通信部１１２によりから受信された検出処理の結果に基づいて、たとえば店舗内に存在する不審者の通知などのような各種の情報を出力する。

【0030】

ところで、撮像装置１０が複数設けられた上記のような構成においては、当該複数の撮像装置１０からそれぞれ得られる複数の画像の全てに対して一律で検出処理を実行すると、システム全体の負荷が増大し、検出処理のリアルタイム性が損なわれることがある。

【0031】

そこで、実施形態では、リアルタイム性を損なうことなく画像に対する検出処理を実行することを実現するための構成として、設定部１１４および制御部１１５が設けられている。

【0032】

設定部１１４は、検出部１２２により検出された検出対象の数を取得し、複数の撮像装置１０から、検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する。そして、制御部１１５は、設定部１１４による設定の結果に応じて、非対象画像に対する検出処理の実行がスキップされるように、検出部１２２による検出処理の実行を制御する。

【0033】

より具体的に、設定部１１４は、次の図３に示されるような管理テーブル１１４Ａを用いて、各撮像装置１０を、検出処理の対象から除外すべき非対象画像が得られる非対象装置として設定するか、検出処理の対象とすべき対象画像が得られる対象装置として設定するかを管理する。

【0034】

図３は、実施形態にかかる管理テーブル１１４Ａを示した例示的かつ模式的な図である。

【0035】

図３に示されるように、管理テーブル１１４Ａには、カメラＩＤと、検出数と、スキップ情報と、検出優先度と、が管理されている。

【0036】

カメラＩＤとは、各撮像装置１０に割り当てられた識別情報である。また、検出数とは、対応するカメラＩＤの撮像装置１０から得られた画像に対する検出処理により検出された検出対象の数である。

【0037】

また、スキップ情報とは、対応するカメラＩＤの撮像装置１０が対象装置として設定されているか非対象装置として設定されているかを示す情報である。「ｎｏ」というスキップ情報は、対応するカメラＩＤの撮像装置１０が非対象装置として設定されていることを示し、「ｙｅｓ」というスキップ情報は、対応するカメラＩＤの撮像装置１０が対象装置として設定されていることを示す。

【0038】

また、検出優先度とは、どの撮像装置１０から得られる画像から順に検出処理を優先的に実行するかを示す情報である。検出優先度は、各撮像装置１０に対して予め設定されている。たとえば、撮像装置１０から得られる画像が店舗内の画像である場合、不審者が発生する可能性が高い領域を撮像する撮像装置１０ほど高い優先度が予め設定される。管理テーブル１１４Ａには、検出優先度の順に、たとえば図３に示される例では左から右に向かって検出優先度が低くなるように、カメラＩＤ、検出数、およびスキップ情報といった各種の情報が管理されている。

【0039】

さらに、管理テーブル１１４Ａには、スキップポインタが対応付けられている。スキップポインタとは、検出優先度の順に各種の情報が管理された管理テーブル１１４Ａにおけるスキップ情報の「ｎｏ」と「ｙｅｓ」との境界を示す情報である。詳細は後述するが、スキップポインタは、スキップ情報が「ｎｏ」に設定された撮像装置１０の数を減らす方向（図３に示されるｄｏｗｎ方向）と、スキップ情報が「ｙｅｓ」に設定された撮像装置１０の数を増やす方向（図３に示されるｕｐ方向）と、に移動可能に構成されている。

【0040】

設定部１１４は、プロセッサ２１０の負荷（たとえばＣＰＵ使用率）または検出処理の結果（特に検出数）に応じて、上記のスキップ情報を「ｙｅｓ」または「ｎｏ」に適宜設定する。そして、制御部１１５は、管理テーブル１１４Ａを参照し、スキップ情報が「ｎｏ」に設定された撮像装置１０から得られる画像（対象画像）のみに対して検出処理が実行され、スキップ情報が「ｙｅｓ」に設定された撮像装置１０から得られる画像（非対象画像）に対しては検出処理の実行がスキップされるように、たとえば対象検出装置１２０に画像を転送するか否かなどを制御することで、検出部１２２による検出処理の実行を制御する。

【0041】

以下、図４～図９を参照して、実施形態にかかる情報処理装置１１０が上記の構成に基づいて実行する処理についてより詳細に説明する。

【0042】

図４は、実施形態にかかる情報処理装置１１０が対象検出装置１２０に検出処理を実行またはスキップさせる際に実行する一連の処理を示した例示的かつ模式的なフローチャートである。

【0043】

図４に示される処理フローでは、まず、Ｓ４０１において、画像取得部１１１は、各撮像装置１０から画像を取得する。

【0044】

そして、Ｓ４０２において、制御部１１５は、設定部１１４が管理している管理テーブル１１４Ａを参照し、当該管理テーブル１１４Ａから各撮像装置１０のスキップ情報を取得する。

【0045】

そして、Ｓ４０３において、制御部１１５は、Ｓ４０２で取得された各撮像装置１０のスキップ情報が「ｙｅｓ」に該当するか否か、つまり各撮像装置１０が上記の非対象装置に該当するか対象装置に該当するかを判定する。

【0046】

Ｓ４０３において、スキップ情報が「ｙｅｓ」に該当する、つまり非対象装置に該当すると判定された撮像装置１０については、Ｓ４０４において、制御部１１５は、検出部１２２に検出処理の実行をスキップさせる。つまり、Ｓ４０４において、制御部１１５は、非対象装置から得られる非対象画像が検出部１２２による検出処理の対象から除外されるように、非対象装置から得られる非対象画像の通信部１１２を介した対象検出装置１２０への転送の停止などを実行する。そして、Ｓ４０１に処理が戻る。

【0047】

一方、Ｓ４０３において、スキップ情報が「ｎｏ」に該当する、つまり対象装置に該当すると判定された撮像装置１０については、Ｓ４０５において、制御部１１５は、検出部１２２に検出処理を実行させる。つまり、Ｓ４０５において、制御部１１５は、対象装置から得られる対象画像が検出部１２２による検出処理の対象となるように、対象装置から得られる対象画像の通信部１１２を介した対象検出装置１２０への転送を実行する。そして、Ｓ４０１に処理が戻る。

【0048】

このように、実施形態では、管理テーブル１１４Ａに設定されたスキップ情報に応じて、対象検出装置１２０が検出処理を実行するかスキップするかが決定される。管理テーブル１１４Ａの設定は、以下の図５～図９に示されるような流れで実行される。

【0049】

まず、図５～図８を参照して、検出処理の対象となった画像に含まれる検出対象の数を示す検出数を主として考慮して管理テーブル１１４Ａを設定する際に実行される処理の流れについて説明する。

【0050】

図５は、実施形態にかかる情報処理装置１１０が検出処理の結果に基づいて管理テーブル１１４Ａを設定する際に実行する一連の処理を示した例示的かつ模式的なフローチャートである。

【0051】

図５に示される処理フローでは、まず、Ｓ５０１において、情報処理装置１１０の設定部１１４は、通信部１１２を介して、検出部１２２による検出処理の結果を対象検出装置１２０から取得する。

【0052】

そして、Ｓ５０２において、設定部１１４は、Ｓ５０１で取得された情報から、検出処理の対象となった画像に含まれる検出対象の数を示す検出数を取得する。

【0053】

そして、Ｓ５０３において、設定部１１４は、Ｓ５０２で取得された検出数を管理テーブル１１４Ａに設定する。

【0054】

そして、Ｓ５０４において、設定部１１４は、プロセッサ２１０の負荷の度合を示す負荷フラグを取得する。詳細は後述するが、負荷フラグは、非対象装置の数を減らすことが必要な程度にプロセッサ２１０の負荷が大きい場合に１という数値に設定され、非対象装置の数を増やしても問題無い程度にプロセッサ２１０の負荷が小さい場合に０という数値に設定される情報である。

【0055】

そして、Ｓ５０５において、設定部１１４は、次の図６に示されるような一連の処理により、検出数に基づくスキップ情報の設定を実行する。

【0056】

図６は、実施形態にかかる情報処理装置１１０が実行する検出数に基づくスキップ情報の設定の詳細を示した例示的かつ模式的なフローチャートである。

【0057】

図６に示される処理フローでは、まず、Ｓ６０１において、設定部１１４は、上記のＳ５０２（図５参照）で管理テーブル１１４Ａに設定された検出数が第１閾値を上回るか否かを判定する。

【0058】

Ｓ６０１において、管理テーブル１１４Ａに設定された検出数が第１閾値を上回ると判定された場合、Ｓ６０２に処理が進む。そして、Ｓ６０２において、設定部１１４は、管理テーブル１１４Ａのうち第１閾値を上回る検出数に対応したスキップ情報を「ｙｅｓ」に設定する。そして、処理が終了する。

【0059】

一方、Ｓ６０１において、検出数が第１閾値以下であると判定された場合、Ｓ６０３に処理が進む。そして、Ｓ６０３において、設定部１１４は、上記のＳ５０４（図５参照）で取得された負荷フラグが１であるか否かを判定する。

【0060】

Ｓ６０３において、負荷フラグが１であると判定された場合、処理が終了する。しかしながら、Ｓ６０３において、負荷フラグが０であると判定された場合、次のＳ６０４に処理が進む。

【0061】

そして、Ｓ６０４において、設定部１１４は、管理テーブル１１４Ａに設定された検出数が上記の第１閾値よりも小さい第２閾値を下回るか否かを判定する。Ｓ６０４において、検出数が第２閾値以上であると判定された場合、処理が終了する。

【0062】

一方、Ｓ６０４において、検出数が第２閾値を下回ると判定された場合、Ｓ６０５に処理が進む。そして、Ｓ６０５において、設定部１１４は、管理テーブル１１４Ａのうち第２閾値を下回る検出数に対応したスキップ情報を「ｎｏ」に設定する。そして、処理が終了する。

【0063】

図６に示される処理フローが終了すると、図５に示されるＳ５０５の後に処理が戻る。したがって、この場合、設定部１１４は、Ｓ５０５の次のＳ５０６において、次の図７に示されるような一連の処理により、検出数の合算値に基づくスキップポインタの設定を実行する。

【0064】

図７は、実施形態にかかる情報処理装置１１０が実行する検出数の合算値に基づくスキップポインタの設定の詳細を示した例示的かつ模式的なフローチャートである。

【0065】

図７に示される処理フローでは、まず、Ｓ７０１において、設定部１１４は、管理テーブル１１４Ａに対応したスキップポインタの位置を取得する。

【0066】

そして、Ｓ７０２において、設定部１１４は、管理テーブル１１４Ａに設定された検出数を、検出優先度が最も高いものからスキップポインタの位置（の手前）にあるものまで合算した合算値を算出する。

【0067】

そして、Ｓ７０３において、設定部１１４は、Ｓ７０２で算出された合算値が第１所定値を上回るか否かを判定する。

【0068】

Ｓ７０３において、合算値が第１所定値を上回ると判定された場合、Ｓ７０４に処理が進む。そして、Ｓ７０４において、設定部１１４は、スキップポインタをｄｏｗｎ方向に１つ移動させる。そして、処理が終了する。

【0069】

一方、Ｓ７０３において、合算値が第１所定値以下であると判定された場合、Ｓ７０５に処理が進む。そして、Ｓ７０５において、設定部１１４は、上記のＳ５０４（図５参照）で取得された負荷フラグが１であるか否かを判定する。

【0070】

Ｓ７０５において、負荷フラグが１であると判定された場合、処理が終了する。しかしながら、Ｓ７０５において、負荷フラグが０であると判定された場合、Ｓ７０６に処理が進む。そして、Ｓ７０６において、設定部１１４は、Ｓ７０２で算出された合算値が上記の第１所定値よりも小さい第２所定値を下回るか否かを判定する。

【0071】

Ｓ７０６において、合算値が第２所定値以上であると判定された場合、処理が終了する。一方、Ｓ７０６において、合算値が第２所定値を下回ると判定された場合、Ｓ７０７に処理が進む。

【0072】

そして、Ｓ７０７において、設定部１１４は、スキップポインタをｕｐ方向に１つ移動させる。そして、処理が終了する。

【0073】

図７に示される処理フローが終了すると、図５に示されるＳ５０６の後に処理が戻る。したがって、この場合、設定部１１４は、Ｓ５０６の次のＳ５０７において、次の図８に示されるような一連の処理により、スキップポインタに基づくスキップ情報の設定を実行する。

【0074】

図８は、実施形態にかかる情報処理装置１１０が実行するスキップポインタに基づくスキップ情報の設定の詳細を示した例示的かつ模式的なフローチャートである。

【0075】

図８に示される処理フローでは、まず、Ｓ８０１において、設定部１１４は、直近の処理によりスキップポインタがｄｏｗｎ方向に移動したか否かを判定する。

【0076】

Ｓ８０１において、スキップポインタがｄｏｗｎ方向に移動したと判定された場合、Ｓ８０２に処理が進む。そして、Ｓ８０２において、設定部１１４は、スキップポインタが通過したスキップ情報を「ｙｅｓ」に設定する。そして、処理が終了する。

【0077】

一方、Ｓ８０１において、スキップポインタがｕｐ方向に移動したと判定された場合、Ｓ８０３に処理が進む。そして、Ｓ８０３において、設定部１１４は、上記のＳ５０４（図５参照）で取得された負荷フラグが１であるか否かを判定する。

【0078】

Ｓ８０３において、負荷フラグが１であると判定された場合、処理が終了する。しかしながら、Ｓ８０３において負荷フラグが０であると判定された場合、Ｓ８０４に処理が進む。

【0079】

そして、Ｓ８０４において、設定部１１４は、スキップポインタが通過した検出数が上記のＳ６０１（図６参照）で使用した第１閾値を上回るか否かを判定する。

【0080】

Ｓ８０４において、検出数が第１閾値を上回ると判定された場合、処理が終了する。一方、Ｓ８０４において、検出数が第１閾値以下であると判定された場合、Ｓ８０５に処理が進む。

【0081】

そして、Ｓ８０５において、設定部１１４は、スキップポインタが通過したスキップ情報を「ｎｏ」に設定する。そして、処理が終了する。

【0082】

図８に示される処理フローが終了すると、図５に示されるＳ５０７の後に処理が戻る。したがって、この場合、Ｓ５０１に処理が戻る。

【0083】

次に、図９を参照して、プロセッサ２１０の負荷を主として考慮して管理テーブル１１４Ａを設定する際に実行される処理の流れについて説明する。

【0084】

図９は、実施形態にかかる情報処理装置１１０がプロセッサ２１０の負荷に基づいて管理テーブル１１４Ａを設定する際に実行する一連の処理を示した例示的かつ模式的なフローチャートである。

【0085】

図９に示される処理フローでは、まず、Ｓ９０１において、設定部１１４は、プロセッサ２１０の負荷を取得する。

【0086】

そして、Ｓ９０２において、設定部１１４は、Ｓ９０１で取得された負荷が第１負荷を上回るか否かを判定する。

【0087】

Ｓ９０２において、負荷が第１負荷を上回ると判定された場合、Ｓ９０３に処理が進む。そして、Ｓ９０３において、設定部１１４は、スキップポインタをｄｏｗｎ方向に１つ移動させる。そして、Ｓ９０４において、設定部１１４は、負荷フラグを１に設定する。

【0088】

そして、Ｓ９０５において、設定部１１４は、図８を参照して既に説明したスキップポインタに基づくスキップ情報の設定を実行する。そして、Ｓ９０１に処理が戻る。

【0089】

一方、Ｓ９０２において、負荷が第１負荷以下であると判定された場合、Ｓ９０６に処理が進む。そして、Ｓ９０６において、設定部１１４は、負荷が第１負荷よりも小さい第２負荷を下回るか否かを判定する。

【0090】

Ｓ９０６において、負荷が第２負荷以上であると判定された場合、Ｓ９０５を経て、Ｓ９０１に処理が戻る。しかしながら、Ｓ９０６において、負荷が第２閾値を下回ると判定された場合、Ｓ９０７に処理が進む。

【0091】

そして、Ｓ９０７において、設定部１１４は、スキップポインタをｕｐ方向に１つ移動させる。そして、Ｓ９０８において、設定部１１４は、負荷フラグを０に設定する。そして、Ｓ９０５を経て、Ｓ９０１に処理が戻る。

【0092】

以上説明したように、実施形態にかかる声掛けシステムは、対象検出装置１２０と、情報処理装置１１０と、を備えている。対象検出装置１２０は、複数の撮像装置１０からそれぞれ得られる複数の画像に対して、当該複数の画像の各々に含まれる検出対象の数の検出と、当該検出対象に関する情報の検出と、を含む検出処理を実行可能な検出部１２２を含む。また、情報処理装置１１０は、設定部１１４と、制御部１１５と、を備えている。設定部１１４は、検出部１２２により検出された検出対象の数を取得し、当該検出対象の数に応じて、複数の撮像装置１０から、検出処理の対象から除外すべき非対象画像が得られる非対象装置を設定する。そして、制御部１１５は、設定部１１４による設定の結果に応じて、非対象画像に対する検出処理の実行がスキップされるように、検出部１２２による検出処理の実行を制御する。

【0093】

上記のような構成によれば、システム全体の負荷と関連する検出対象の数を考慮して非対象装置を設定することで、複数の撮像装置１０からそれぞれ得られる複数の画像の全てに対して一律で検出処理が実行されるのを抑制することができる。その結果、システム全体の負荷が減るので、リアルタイム性を損なうことなく画像に対する検出処理を実行することができる。

【0094】

また、実施形態において、設定部１１４は、検出部１２２により検出された検出対象の数を繰り返し取得し、当該検出対象の数を取得するごとに、検出対象の数と閾値との比較に基づいて、複数の撮像装置１０から非対象装置を設定する（図６参照）。このような構成によれば、閾値を用いた簡単な処理により、検出対象を取得するごとに非対象装置を容易に設定することができる。

【0095】

より具体的に、実施形態において、設定部１１４は、複数の撮像装置１０のうち検出対象の数が第１閾値を上回る画像が得られる撮像装置１０を、非対象装置として設定する（図６のＳ６０１がＹｅｓの場合の処理の流れ参照）。また、設定部１１４は、複数の撮像装置１０のうち検出対象の数が第１閾値よりも小さい第２閾値を下回る画像が得られる撮像装置１０を、検出処理の対象とすべき対象画像が得られる対象装置として設定する（図６のＳ６０４がＹｅｓの場合の処理の流れ参照）。また、設定部１１４は、複数の撮像装置１０のうち検出対象の数が第１閾値と第２閾値との間の画像が得られる撮像装置１０を、非対象装置として前回設定されている場合は非対象装置として設定し、対象装置として前回設定されている場合は対象装置として設定する（図６のＳ６０１がＮｏの場合の処理の流れ参照）。このような構成によれば、互いに異なる第１閾値および第２閾値を利用して、対象装置と非対象装置とが頻繁に切り替わるのを抑制することができる。

【0096】

また、実施形態では、複数の撮像装置１０に検出優先度が設定されている。この場合、設定部１１４は、検出優先度が１番目からＮ番目まで（つまりスキップポインタの手前まで）の撮像装置１０からそれぞれ得られる画像について検出部１２２により検出された検出対象の数を合算した結果としての合算値を算出する。そして、設定部１１４は、合算値と所定値との比較に基づいて、検出優先度がＮ番目の撮像装置１０を非対象装置として設定するか否かを決定する（図７参照）。このような構成によれば、Ｎ枚の画像に対する検出処理にかかる全体的な負荷を合算値に基づいて考慮することで、非対象装置を適切に設定することができる。

【0097】

より具体的に、実施形態において、設定部１１４は、上記の合算値が第１所定値を上回る場合、検出優先度がＮ番目以降の撮像装置１０を非対象装置として設定するとともに、検出優先度が１番目からＮ－１番目までの撮像装置１０を、検出処理の対象とすべき対象画像が得られる対象装置として設定する（図７のＳ７０３がＹｅｓの場合の処理の流れ参照）。また、設定部１１４は、合算値が第１所定値よりも小さい第２所定値を下回る場合、検出優先度がＮ＋２番目以降の撮像装置１０を非対象装置として設定するとともに、検出優先度が１番目からＮ＋１番目までの撮像装置１０を対象装置として設定する（図７のＳ７０６がＹｅｓの場合の処理の流れ参照）。また、設定部１１４は、合算値が第１所定値と第２所定値との間である場合、非対象装置および対象装置の設定を維持する（図７のＳ７０３がＮｏの場合の処理の流れ参照）。このような構成によれば、互いに異なる第１所定値および第２所定値を利用して、対象装置と非対象装置とが頻繁に切り替わるのを抑制することができる。

【0098】

ここで、実施形態において、情報処理装置１１０は、少なくとも設定部１１４および制御部１１５を実現するハードウェアとしてのプロセッサ２１０を含んでいる。そして、設定部１１４は、プロセッサ２１０の負荷を取得し、プロセッサ２１０の負荷が第１負荷を上回る場合、非対象装置の数を増やし、プロセッサ２１０の負荷が第１負荷よりも小さい第２負荷を下回る場合、非対象装置の数を減らし、プロセッサ２１０の負荷が第１負荷と第２負荷との間である場合、非対象装置の数を維持する（図９参照）。このような構成によれば、プロセッサ２１０の負荷を考慮して非対象装置の数を増減することで、システム全体の負荷の増大を抑制することができる。

【0099】

より具体的に、実施形態において、設定部１１４は、プロセッサ２１０の負荷を繰り返し取得する。そして、設定部１１４は、プロセッサ２１０の負荷が第１負荷を上回る場合、プロセッサ２１０の負荷を示す負荷フラグを第１値に設定する（図９のＳ９０２がＹｅｓの場合の処理の流れ参照）。また、設定部１１４は、プロセッサ２１０の負荷が第１負荷よりも小さい第２負荷を下回る場合、負荷フラグを第１値とは異なる第２値に設定する（図９のＳ９０６がＹｅｓの場合の処理の流れ参照）。また、設定部１１４は、プロセッサ２１０の負荷が第１負荷と第２負荷との間である場合、負荷フラグの前回の設定を維持する（図９のＳ９０６がＮｏの場合の処理の流れ参照）。そして、設定部１１４は、負荷フラグが第１値に設定されている場合は、検出数に応じた非対象装置の数の減少を回避する（図６のＳ６０３、図７のＳ７０５、および図８のＳ８０３参照）。このような構成によれば、プロセッサ２１０の負荷が高い場合に非対象装置の数が減少することでプロセッサ２１０の負荷がさらに高まるのを回避することができる。

【0100】

なお、上述した実施形態では、検出優先度が撮像装置１０毎に設定された構成が例示されている。しかしながら、対象検出装置１２０が複数存在する場合、対象検出装置１２０毎に優先度を設定しても、上述した実施形態と同様の発想で同様の効果を得ることができる。

【0101】

以上、本開示の実施形態を説明したが、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0102】

１０ 撮像装置
１１０ 情報処理装置
１１４ 設定部
１１５ 制御部
１２０ 対象検出装置
１２２ 検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】