特許 7494130 情報処理システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-24

(45)【発行日】2024-06-03

(54)【発明の名称】情報処理システム、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240527BHJP

【ＦＩ】

G06T7/20

【請求項の数】 18

(21)【出願番号】P 2021006183

(22)【出願日】2021-01-19

(65)【公開番号】P2022110648

(43)【公開日】2022-07-29

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】柏本 雄士朗

(72)【発明者】

【氏名】山地 雄土

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１３－０４５３５１（ＪＰ，Ａ）

【文献】特開２００６－０７１４７１（ＪＰ，Ａ）

【文献】特開２０１６－００９４４８（ＪＰ，Ａ）

【文献】特開２０１６－０５７９９８（ＪＰ，Ａ）

【文献】特許第６４４４５７３（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる１つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記移動領域情報は、前記移動領域の移動方向および移動量のうち１つ以上を示す、
情報処理システム。

【請求項2】

前記物体情報に応じて、移動体の存否を判定するための判定領域を設定する領域設定部をさらに備え、
前記判定部は、前記移動領域情報が示す前記移動領域のうち、前記判定領域に含まれる前記移動領域を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項１に記載の情報処理システム。

【請求項3】

前記判定部は、前記特定の物体の移動方向と前記移動領域の移動方向との間の差、および、前記特定の物体の移動量と前記移動領域の移動量との間の差、の少なくとも一方に基づくスコアと、閾値と、の比較結果に基づいて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項２に記載の情報処理システム。

【請求項4】

前記判定部は、前記移動領域の面積に基づくスコアと、閾値と、の比較結果に基づいて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項２に記載の情報処理システム。

【請求項5】

前記判定部は、前記移動領域情報が示す前記移動領域のうち、前記特定の物体が存在する領域を除く前記判定領域に含まれる前記移動領域を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項２に記載の情報処理システム。

【請求項6】

前記特定の物体の個体を一意に識別し、識別結果を出力する識別部をさらに備え、
前記判定部は、前記物体情報、前記移動領域情報および前記識別結果を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項１に記載の情報処理システム。

【請求項7】

前記領域算出部は、背景差分、または、オプティカルフローを用いて前記移動領域を算出する、
請求項１に記載の情報処理システム。

【請求項8】

前記特定の物体は、貨物の運搬装置および人物の少なくとも一方であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する貨物である前記移動体の存否を判定する、
請求項１に記載の情報処理システム。

【請求項9】

前記特定の物体は、人物であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記人物が搭乗して移動する前記移動体の存否を判定する、
請求項１に記載の情報処理システム。

【請求項10】

複数の前記画像データに対して検出された複数の前記特定の物体を対応づける追従処理を行う追従部をさらに備え、
前記判定部は、前記追従処理の処理結果を含む前記物体情報、および、前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
請求項１に記載の情報処理システム。

【請求項11】

前記判定部による判定結果を、表示装置および記憶装置の少なくとも一方に出力する処理を制御する出力制御部をさらに備える、
請求項１に記載の情報処理システム。

【請求項12】

前記物体検出部による検出処理を定めるパラメータ、前記領域算出部による算出処理を定めるパラメータ、および、前記判定部による判定処理を定めるパラメータ、の少なくとも一部を設定する設定部をさらに備える、
請求項１に記載の情報処理システム。

【請求項13】

撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる１つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記判定部は、前記特定の物体の移動方向と前記移動領域の移動方向との間の差、および、前記特定の物体の移動量と前記移動領域の移動量との間の差、の少なくとも一方に基づくスコアと、閾値と、の比較結果に基づいて、前記特定の物体と連動して移動する移動体の存否を判定する、
を備える情報処理システム。

【請求項14】

撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる１つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記特定の物体は、貨物の運搬装置および人物の少なくとも一方であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する貨物である前記移動体の存否を判定する、
情報処理システム。

【請求項15】

撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる１つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、を備え、
前記特定の物体は、人物であり、
前記判定部は、前記物体情報および前記移動領域情報を用いて、前記人物が搭乗して移動する前記移動体の存否を判定する、
情報処理システム。

【請求項16】

撮像時刻が異なる複数の画像データを受け付ける受付部と、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出部と、
複数の前記画像データを用いて、前記画像データに含まれる１つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出部と、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定部と、
複数の前記画像データに対して検出された複数の前記特定の物体を対応づける追従処理を行う追従部と、を備え、
前記判定部は、前記追従処理の処理結果を含む前記物体情報、および、前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する、
情報処理システム。

【請求項17】

情報処理システムが実行する情報処理方法であって、
撮像時刻が異なる複数の画像データを受け付ける受付ステップと、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出ステップと、
複数の前記画像データを用いて、前記画像データに含まれる１つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出ステップと、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定ステップと、を含み、
前記移動領域情報は、前記移動領域の移動方向および移動量のうち１つ以上を示す、
情報処理方法。

【請求項18】

コンピュータに、
撮像時刻が異なる複数の画像データを受け付ける受付ステップと、
前記画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する物体検出ステップと、
複数の前記画像データを用いて、前記画像データに含まれる１つ以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する領域算出ステップと、
前記物体情報および前記移動領域情報を用いて、前記特定の物体と連動して移動する移動体の存否を判定する判定ステップと、を実行させ、
前記移動領域情報は、前記移動領域の移動方向および移動量のうち１つ以上を示す、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

カメラにより撮像された画像データなどを用いて、物体を検出する技術、および、作業者の作業内容を認識する技術が提案されている。例えば、人物の体の部位、および、他の物体を画像データから検出し、部位と物体の検出情報とを関連付けることにより、人物の作業を認識する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６４４４５７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、検出または認識の精度が低下する場合があった。例えば、人物以外の物体として、人物が運搬する貨物を対象とするような場合、場面ごとに見た目および形状が異なるため、貨物であることを検出することが困難となる場合があった。また、画像データ内の人物の周辺に複数の物体が存在する場合、部位と物体の検出情報とに基づいた関連付けが失敗する可能性があった。

【課題を解決するための手段】

【0005】

実施形態の情報処理システムは、受付部と、物体検出部と、領域算出部と、判定部と、を備える。受付部は、撮像時刻が異なる複数の画像データを受け付ける。物体検出部は、画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する。領域算出部は、複数の画像データを用いて、画像データに含まれる１以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する。判定部は、物体情報および移動領域情報を用いて、特定の物体と連動して移動する移動体の存否を判定する。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態にかかる情報処理システムのブロック図。

【図2】第１の実施形態における検出処理のフローチャート。

【図3】第１の実施形態における算出処理のフローチャート。

【図4】第１の実施形態における判定処理のフローチャート。

【図5】判定結果を含む表示画面の例を示す図。

【図6】設定画面の一例を示す図。

【図7】貨物の運搬状況を判定するシステムへの適用例を説明するための図。

【図8】乗り物への搭乗状況を判定するシステムへの適用例を説明するための図。

【図9】第２の実施形態にかかる情報処理システムのブロック図。

【図10】第２の実施形態における検出処理のフローチャート。

【図11】第２の実施形態における判定処理のフローチャート。

【図12】変形例にかかる情報処理システムのブロック図。

【図13】実施形態にかかる装置のハードウェア構成図。

【発明を実施するための形態】

【0007】

以下に添付図面を参照して、この発明にかかる情報処理システムの好適な実施形態を詳細に説明する。

【0008】

（第１の実施形態）
第１の実施形態にかかる情報処理システムは、画像データから検出された物体（人物など）の周囲の移動領域を用いて、物体と連動して動作する他の物体（以下、動体という）の存否を判定する。これにより、例えば形状等が異なり得る動体であっても、より高精度に検出することが可能となる。また、移動領域を用いることで誤った関連付けも抑制することができる。

【0009】

図１は、第１の実施形態にかかる情報処理システムとしての情報処理装置１００の構成の一例を示すブロック図である。図１に示すように、情報処理装置１００は、撮像部１５１と、表示部１５２と、記憶部１５３と、受付部１０１と、物体検出部１１０と、領域算出部１２０と、判定部１３０と、出力制御部１０２と、設定部１０３と、を備えている。

【0010】

撮像部１５１は、画像データを撮像するカメラなどの撮像装置である。例えば撮像部１５１は、物体および動体を検出する対象として定められた撮像領域を撮像し、異なる撮像時刻に撮像される時系列の画像データを逐次出力する。時系列の画像データは、一定のフレームレートで出力される動画像データであってもよい。なお情報処理装置１００は、複数の撮像部１５１を備えてもよい。

【0011】

表示部１５２は、情報処理装置１００で用いられる各種情報を表示する液晶ディスプレイなどの表示装置である。

【0012】

記憶部１５３は、情報処理装置１００で用いられる各種情報を記憶する記憶装置である。例えば記憶部１５３は、撮像部１５１により撮像された画像データ、および、後述する各部による処理結果を記憶する。記憶部１５３は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

【0013】

受付部１０１は、撮像部１５１から時系列の画像データ（撮像時刻が異なる複数の画像データ）の入力を受け付ける。受付部１０１は、受け付けた画像データを物体検出部１１０および領域算出部１２０へ出力する。

【0014】

物体検出部１１０は、受け取った画像データを解析することで、画像データ内に撮像された特定の物体を検出し、検出結果を示す物体情報を出力する。特定の物体はどのように定められてもよいが、例えば、人物、または、動体を運搬するための機器（運搬装置）などである。

【0015】

例えば物体検出部１１０は、画像データ内の特定の物体を、座標、矩形または領域を示す画素群として検出し、検出した特定の物体の種別、および、検出の信頼度を求める。物体検出部１１０による物体検出手法はどのような手法であってもよいが、例えば以下のような手法を適用できる。
・ニューラルネットワークを用いた学習ベースの物体検出手法
・ＨＯＧ（Histograms of Oriented Gradients）特徴などの特徴量を用いた物体検出手法

【0016】

図１に示すように、物体検出部１１０は、追従部１１１を備えてもよい。追従部１１１は、複数の画像データに対して検出された複数の特定の物体を対応づける追従処理を行う。例えば追従部１１１は、現在の時刻に撮像された画像データ（フレーム）から検出された物体と、過去の時刻に撮像された画像データから検出された物体とを照合して対応づけることにより、フレーム間での物体の追従を行う。物体検出部１１０は、追従処理の処理結果（追従結果）を含む物体情報を出力する。

【0017】

フレーム間での物体の対応づけは、どのような方法で実行されてもよい。例えば物体検出部１１０は、位置の近さ、物体領域の重なり率、移動方向の類似度、移動方向と変位の関係、形状、色、テクスチャ、および、動作のうち１つ以上により、フレーム間で物体を対応づける方法を適用することができる。追従処理を行わない場合は、物体検出部１１０は、追従部１１１を備えなくてもよい。

【0018】

領域算出部１２０は、受け取った複数の画像データを解析することで、画像データに含まれる１以上の画素の移動の状況を示す移動領域を算出し、算出結果を示す移動領域情報を出力する。例えば移動領域情報は、画像データ内の各画素または複数の画素の集合からなる領域に対して、移動の有無、移動方向、および、移動の大きさ（移動量）のうち１つ以上を示す情報である。領域算出部１２０は、例えば、背景差分、および、オプティカルフローによって移動領域を算出する。

【0019】

判定部１３０は、物体情報および移動領域情報を用いて、特定の物体と連動して移動する移動体（動体）の存否を判定する。判定部１３０は、領域設定部１３１を備えている。

【0020】

領域設定部１３１は、物体情報に応じて、動体の存否を判定するための判定領域を設定する。例えば領域設定部１３１は、以下のような設定方法に従い判定領域を設定する。
・物体情報が示す物体のサイズが大きいほど判定領域のサイズを大きくする。
・物体情報が示す物体の位置を基準として、その位置の周囲に判定領域を設定する。
・物体情報が示す物体の位置、および、追従結果などが示す物体の移動方向に基づいて物体に対する判定領域の位置を決定する。

【0021】

判定部１３０は、領域設定部１３１により設定された判定領域の内部における動体の存否を判定する。例えば判定部１３０は、移動領域情報が示す移動領域のうち、判定領域に含まれる移動領域を用いて、動体の存否を判定する。

【0022】

判定部１３０は、以下のような判定方法に従い動体の存否を判定する。まず判定部１３０は、移動領域情報を用いて、特定の物体と連動して動作することの確からしさを示すスコアを算出する。次に判定部１３０は、スコアと閾値との比較結果に応じて、特定の物体と連動する動体が存在するか否かを判定する。

【0023】

スコアの値が大きいほど確からしさが大きいようなスコアを用いる場合は、判定部１３０は、スコアが閾値より大きい場合に、特定の物体と連動する動体が存在すると判定する。スコアの値が小さいほど確からしさが大きいようなスコアを用いる場合は、判定部１３０は、スコアが閾値以下の場合に、特定の物体と連動する動体が存在すると判定する。

【0024】

スコアはどのように算出されてもよいが、例えば以下のような指標をスコアとすることができる。
（Ｓ１）判定領域内の移動領域情報が示す移動領域の面積
（Ｓ２）判定領域内の移動領域情報が示す移動方向と、物体情報（追従結果）が示す特定の物体の移動方向との差
（Ｓ３）判定領域内の移動領域情報が示す移動量と、物体情報（追従結果）が示す特定の物体の移動量との差
（Ｓ４）複数の指標（例えば（Ｓ１）の面積、および、（Ｓ２）の差の逆数など）を組み合わせた値

【0025】

動体の存否の判定方法は上記のようなスコアを用いる方法に限られない。例えば判定部１３０は、物体情報と、判定領域内の移動領域情報とを入力とし、動体の存否を出力とする学習器（学習モデル）を用いて判定を行ってもよい。学習器は、例えばニューラルネットワーク、および、Ａｄａｂｏｏｓｔなどである。

【0026】

判定部１３０は、判定領域を設定せずに動体の存否を判定してもよい。この場合、判定部１３０は領域設定部１３１を備えなくてもよい。例えば物体情報が示す物体の位置から遠い物体は、特定の物体と連動する動体であると判定しないように学習された学習器を用いれば、物体の位置の周囲などに判定領域を設定しなくても、特定の物体と連動する動体の存否を判定することができる。

【0027】

出力制御部１０２は、各種情報の出力を制御する。例えば出力制御部１０２は、判定部１３０による判定結果を、表示部１５２および記憶部１５３の少なくとも一方に出力する処理を制御する。

【0028】

設定部１０３は、上記各部による処理を定めるパラメータを設定する。例えば設定部１０３は、ユーザからの指示に応じて、物体検出部１１０による検出処理を定めるパラメータ、領域算出部１２０による算出処理を定めるパラメータ、および、判定部１３０による判定処理を定めるパラメータ、の少なくとも一部を設定する。パラメータは、ユーザの指示に応じて決定される必要はなく、例えば機械学習モデルを用いて決定されてもよい。

【0029】

パラメータは、例えば以下のような情報である。
（Ｐ１）検出処理を定めるパラメータ
・物体を検出するための閾値（信頼度と比較する閾値など）
・適用する物体検出手法
・追従処理の適用有無
（Ｐ２）算出処理を定めるパラメータ
・適用する手法（背景差分を用いるか、オプティカルフローを用いるか、など）
（Ｐ３）判定処理を定めるパラメータ
・判定領域の設定方法
・スコアと比較する閾値
・適用する手法（スコアと閾値とを比較する手法か、学習器を用いる手法か、など）

【0030】

上記各部（受付部１０１、物体検出部１１０、領域算出部１２０、判定部１３０、出力制御部１０２、および、設定部１０３）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0031】

次に、このように構成された第１の実施形態にかかる情報処理装置１００による情報処理について、図２～図４を用いて説明する。情報処理は、物体検出部１１０による検出処理（図２）、領域算出部１２０による算出処理（図３）、および、判定部１３０による判定処理（図４）を含む。

【0032】

なお検出処理および算出処理は、並列に実行されてもよいし、一方が先に実行され他方が後に実行されてもよい。判定処理は、検出処理および算出処理が実行された後に実行される。

【0033】

図２は、第１の実施形態における検出処理の一例を示すフローチャートである。

【0034】

物体検出部１１０は、入力データとして画像データを受付部１０１から入力する（ステップＳ１０１）。物体検出部１１０は、画像データを解析することで、画像データ内の予め定められた特定の物体を検出し、検出結果を示す物体情報を出力する（ステップＳ１０２）。追従部１１１が備えられる場合、追従部１１１は、現在のフレームから検出された物体に対して過去のフレームの検出結果と照合して対応づける追従処理を実行する（ステップＳ１０３）。物体検出部１１０は、追従結果などを含む物体情報を出力し（ステップＳ１０４）、検出処理を終了する。物体情報は、判定部１３０へ送られる。

【0035】

図３は、第１の実施形態における算出処理の一例を示すフローチャートである。

【0036】

領域算出部１２０は、入力データとして複数の画像データを受付部１０１から入力する（ステップＳ２０１）。領域算出部１２０は、複数の画像データを解析し、画像データ内の移動領域を示す移動領域を算出する（ステップＳ２０２）。領域算出部１２０は、算出結果である移動領域情報を出力し（ステップＳ２０３）、算出処理を終了する。移動領域情報は、判定部１３０へ送られる。

【0037】

図４は、第１の実施形態における判定処理の一例を示すフローチャートである。

【0038】

判定部１３０は、物体検出部１１０から物体情報を受け取り、領域算出部１２０から移動領域情報を受け取る（ステップＳ３０１）。領域設定部１３１は、物体情報に基づいて判定領域を設定する（ステップＳ３０２）。判定部１３０は、判定領域内の物体情報および移動領域情報に基づいて、検出された物体と連動する動体の存否を判定する（ステップＳ３０３）。

【0039】

判定部１３０は、物体の領域と、移動領域との関係に応じて、移動領域情報を修正し、修正した移動領域情報を用いて判定を行ってもよい。例えば、物体の領域に動体が存在しえない場合には、判定部１３０は、物体の領域と重複する移動領域を除外するように修正する、または、物体の領域と重複する移動領域に対応する移動量を低減するように修正する。低減する量は、例えば、物体の移動量であってもよい。

【0040】

出力制御部１０２は、判定部１３０による判定結果を、表示部１５２および記憶部１５３の少なくとも一方に出力する（ステップＳ３０４）。図５は、表示部１５２に出力される、判定結果を含む表示画面の例を示す図である。図５の表示画面は、特定の物体として人物を検出し、人物が運搬する貨物を動体として存否を判定する場合の画面の例である。

【0041】

図５に示すように、表示画面は、入力データである画像データ５０１と、画像データ５０１に基づく判定結果５０２と、を含む。画像データ５０１には、物体検出部１１０により検出された人物Ａ～Ｃそれぞれの周囲に対して、領域設定部１３１により設定された判定領域５１１～５１３と、判定部１３０により存在すると判定された動体を示す画像５２１とが、重ねて表示される。判定結果５０２は、検出された人物Ａ、Ｂに対する判定処理の結果を含む。判定結果５０２は、判定処理の結果と併せて、物体情報、または、移動領域情報、あるいは、物体情報および移動領域情報の両方を含み、表示画面に表示されてもよい。出力制御部１０２は、画像データ５０１と重ねて判定結果５０２を表示してもよい。図５の表示画面の判定結果５０２では、省略して人物Ａと人物Ｂの判定処理の結果を示しているが、画面操作（スクロール）等で人物Ｃの判定処理の結果を表示することが可能であり、これに限らず３人以上の判定処理の結果を一度に表示するようにしてもよい。判定部１３０で貨物運搬中と判定された人物のみ（図５の人物Ｂ）、および、一部のみを判定結果５０２として表示してもよい。さらに、判定結果５０２は、画像データ５０１全体の判定処理の結果、例えば「人物が３人検出されており、その内貨物運搬中の人物は１人である」を含んで表示画面に表示されてもよい。

【0042】

判定結果を記憶部１５３に出力する場合、出力制御部１０２は、例えば、検出された物体ごとの判定部１３０による判定結果を記憶部１５３に記憶する。出力制御部１０２は、検出された時間帯、その時間帯における入力データ、および、各部の出力結果のうち１つ以上をさらに記憶部１５３に記憶してもよい。

【0043】

上記のように、本実施形態では、必要に応じて各部のパラメータを設定する設定部１０３が備えられる。図６は、設定部１０３によるパラメータの設定に用いられる設定画面の一例を示す図である。

【0044】

図６の設定画面は、図５と同様の画像データ５０１と、パラメータ設定欄６０２と、を含む。なお図６では、検出時に算出された信頼度（０．７、０．６、０．５）が各人物に対応づけられて表示される例が示されている。パラメータ設定欄６０２では、ユーザ等の操作により、各処理で用いるパラメータが設定可能となっている。

【0045】

例えば、既に設定されているパラメータを用いて各部の処理が実行された後、ユーザは、図６のような設定画面によりパラメータの一部または全部を変更する。各部は、変更されたパラメータを用いて、画像データ５０１に対する処理を再度実行する。出力制御部１０２は、再実行の結果を反映するように更新した設定画面を表示する。

【0046】

逐次撮像される画像データに対する処理と並行して、リアルタイムでパラメータを変更可能としてもよい。例えば各部は、パラメータが変更された場合、以降に入力される画像データに対しては、変更後のパラメータを用いた各処理を実行する。

【0047】

次に、本実施形態を適用可能なシステムの具体例を説明する。上記のように、本実施形態の情報処理システムは、画像データ内の特定の物体を検出するとともに、移動領域を算出し、移動領域情報を用いて特定の物体と連動する動体の存否を判定する。

【0048】

本実施形態の情報処理システムは、人物または運搬装置による貨物の運搬状況を判定するシステムに適用できる。図７は、このようなシステムへの適用例を説明するための図である。図７のシステムは、特定の物体として人物７０１を検出し、人物７０１に連動する動体である貨物７０２の存否を判定する。図７のシステムは、特定の物体として運搬装置７０３を検出し、運搬装置７０３に連動する動体である貨物７０４の存否を判定することも可能である。

【0049】

本実施形態の情報処理システムは、人物の乗り物（人物が搭乗して移動する移動体）への搭乗状況を判定するシステムに適用することもできる。図８は、このようなシステムへの適用例を説明するための図である。図８のシステムは、特定の物体として人物８０１を検出し、人物８０１に連動する動体として乗り物８０２の存否を判定する。

【0050】

このように、第１の実施形態にかかる情報処理システムでは、人物などの特定の物体と連動して移動する物体（動体）を、より高精度に検出することができる。

【0051】

（第２の実施形態）
第１の実施形態では、例えば物体が人物であることは検出できるが、人物を個別に識別すること（個人を識別すること）はできない場合がある。同様に、第１の実施形態では、例えば物体が運搬装置であることは検出できるが、運搬装置の個体（機種など）を識別することはできない場合がある。第２の実施形態にかかる情報処理システムは、検出された特定の物体を、さらに個別に識別し、識別結果も用いて動体の存否を判定する。

【0052】

図９は、第２の実施形態にかかる情報処理システムとしての情報処理装置１００－２の構成の一例を示すブロック図である。図９に示すように、情報処理装置１００－２は、撮像部１５１と、表示部１５２と、記憶部１５３と、受付部１０１と、物体検出部１１０と、領域算出部１２０と、判定部１３０－２と、識別部１４０－２と、出力制御部１０２と、設定部１０３と、を備えている。

【0053】

第２の実施形態では、識別部１４０－２を追加したこと、および、判定部１３０－２（領域設定部１３１－２）の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる情報処理装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

【0054】

識別部１４０－２は、物体検出部１１０により検出された特定の物体の個体を一意に識別し、識別結果を出力する。例えば識別部１４０－２は、物体検出部１１０により検出された物体に対して、形状、色、テクスチャ、および、動作などの見た目の情報のうち１つ以上に基づいて個体情報を抽出する。識別部１４０－２は、個体情報と、予め登録した既知の個体情報、または、過去のフレームで撮像された物体に対して得られた既知の個体情報と、を照合することで、物体を一意に識別する。

【0055】

例えば特定の物体が人物の場合、個人ごとの個体情報を記憶部１５３などに予め記憶しておき、識別部１４０－２は、記憶された個体情報と照合することにより、検出された物体を識別する。識別部１４０－２による識別結果は、判定部１３０－２に出力される。

【0056】

判定部１３０－２は、物体情報および移動領域情報に加えて、識別部１４０－２による識別結果を用いて、特定の物体と連動して移動する動体の存否を判定する。例えば判定部１３０－２内の領域設定部１３１－２は、物体に対して判定領域を設定する位置、および、判定領域のサイズを、識別結果に応じて変更する。判定部１３０－２は、判定処理を定めるパラメータを識別結果に応じて変更してもよい。

【0057】

例えば、特定の物体が人物の場合、個人ごとに、移動速度（歩く速度など）、および、貨物の運搬方法（体に対してどちらの方向に貨物を置くか、など）が異なる場合がある。領域設定部１３１－２は、例えば、移動速度が相対的に速い個人に対して、相対的に遅い個人よりも大きい判定領域を設定する。

【0058】

また、特定の物体が運搬装置の場合、運搬装置の個体（機種）ごとに、移動速度、および、貨物の運搬方法（貨物の搭載位置など）が異なる場合がある。領域設定部１３１－２は、例えば、移動速度が相対的に速い運搬装置に対して、相対的に遅い運搬装置よりも大きい判定領域を設定する。

【0059】

なお、移動速度などの情報は、例えば記憶部１５３に記憶しておけばよい。このように、本実施形態によれば、個人の識別結果に応じて判定部１３０－２による判定処理を実行できるため、より高精度な判定が可能となる。

【0060】

次に、このように構成された第２の実施形態にかかる情報処理装置１００－２による検出処理について説明する。図１０は、第２の実施形態における検出処理の一例を示すフローチャートである。

【0061】

ステップＳ４０１からステップＳ４０３までは、第１の実施形態にかかる情報処理装置１００におけるステップＳ１０１からステップＳ１０３までと同様の処理なので、その説明を省略する。

【0062】

識別部１４０－２は、物体検出部１１０により検出された物体について識別処理を実行し、識別結果を出力する（ステップＳ４０４）。物体検出部１１０が物体情報を出力するとともに、識別部１４０－２は、識別結果を出力する（ステップＳ４０５）。

【0063】

次に、第２の実施形態にかかる情報処理装置１００－２による判定処理について説明する。図１１は、第２の実施形態における判定処理の一例を示すフローチャートである。

【0064】

判定部１３０－２は、物体検出部１１０から物体情報を受け取り、識別部１４０－２から識別結果を受け取り、領域算出部１２０から移動領域情報を受け取る（ステップＳ５０１）。領域設定部１３１－２は、物体情報および識別情報に基づいて判定領域を設定する（ステップＳ５０２）。判定部１３０－２は、判定領域内の物体情報、識別結果および移動領域情報に基づいて、検出された物体と連動する動体の存否を判定する（ステップＳ５０３）。出力制御部１０２は、判定部１３０－２による判定結果を、表示部１５２および記憶部１５３の少なくとも一方に出力する（ステップＳ５０４）。

【0065】

このように、第２の実施形態では、検出された物体の個体をさらに識別し、識別結果に応じて判定処理を実行することができる。これにより、動体の判定をさらに高精度に実行可能となる。

【0066】

（変形例）
第１および第２の実施形態の情報処理装置は、例えば、論理的または物理的に１つの装置により実現される情報処理システムの一例と解釈することができる。情報処理システムの各機能は、論理的または物理的に異なる複数の装置により実現されてもよい。

【0067】

図１２は、複数の装置により実現される変形例にかかる情報処理システムの構成の一例を示すブロック図である。図１２に示すように、変形例の情報処理システムは、撮像装置３００－３と、クライアント装置２００－３と、サーバ装置１００－３と、がネットワーク４００－３により接続された構成となっている。なお、図１と同じ構成については同一の符号を付し、詳細な説明は省略する。

【0068】

ネットワーク４００－３は、例えばインターネットであるが、その他のどのような形態のネットワークであってもよい。ネットワーク４００－３は、有線ネットワーク、無線ネットワーク、および、有線ネットワークと無線ネットワークとが混在するネットワークのいずれであってもよい。

【0069】

撮像装置３００－３は、撮像部１５１と、通信制御部３０１－３と、を備えている。

【0070】

通信制御部３０１－３は、サーバ装置１００－３などの外部装置との間の情報の通信を制御する。例えば通信制御部３０１－３は、撮像部１５１により撮像された画像データをサーバ装置１００－３に送信する。

【0071】

クライアント装置２００－３は、通信制御部２０１－３と、出力制御部１０２と、表示部１５２と、記憶部１５３と、を備えている。

【0072】

通信制御部２０１－３は、サーバ装置１００－３などの外部装置との間の情報の通信を制御する。例えば通信制御部２０１－３は、判定部１３０による判定結果をサーバ装置１００－３から受信する。なお出力制御部１０２は、例えば通信制御部２０１－３により受信された判定結果を、表示部１５２および記憶部１５３の少なくとも一方に出力する処理を制御する。

【0073】

サーバ装置１００－３は、受付部１０１と、物体検出部１１０と、領域算出部１２０と、判定部１３０と、通信制御部１０４－３と、設定部１０３と、を備えている。

【0074】

通信制御部１０４－３は、撮像装置３００－３およびクライアント装置２００－３などの外部装置との間の情報の通信を制御する。例えば通信制御部１０４－３は、撮像装置３００－３から画像データを受信し、受付部１０１に渡す。また通信制御部１０４－３は、判定部１３０による判定結果を、クライアント装置２００－３に送信する。

【0075】

サーバ装置１００－３は、例えばクラウド環境上に構築されるサーバ装置として実現してもよい。

【0076】

なお、図１２に示す機能の分散方法は一例であり、これに限られるものではない。例えば物体検出部１１０の機能の全部、または、物体検出部１１０の機能の一部（例えば特徴量の抽出までの機能など）を、撮像装置３００－３が備えるように構成してもよい。例えば、ここでは設定部１０３はサーバ装置１００－３に備えて構成しているが、クライアント装置２００－３に備えていてもよい。また、図１２では情報処理システムの機能を３つの装置に分散して実現する例を示すが、２つまたは４つ以上の装置に分散するように構成されてもよい。

【0077】

以上説明したとおり、第１から第２の実施形態によれば、特定の物体と連動して動作する物体（動体）の存否をより高精度に判定することができる。

【0078】

次に、第１または第２の実施形態にかかる装置（情報処理装置、クライアント装置、サーバ装置）のハードウェア構成について図１３を用いて説明する。図１３は、第１または第２の実施形態にかかる装置のハードウェア構成例を示す説明図である。

【0079】

第１または第２の実施形態にかかる装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

【0080】

第１または第２の実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

【0081】

第１または第２の実施形態にかかる装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

【0082】

さらに、第１または第２の実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0083】

第１または第２の実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

【0084】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0085】

１００、１００－２ 情報処理装置
１０１ 受付部
１０２ 出力制御部
１０３ 設定部
１１０ 物体検出部
１１１ 追従部
１２０ 領域算出部
１３０、１３０－２ 判定部
１３１、１３１－２ 領域設定部
１４０－２ 識別部
１５１ 撮像部
１５２ 表示部
１５３ 記憶部
１００－３ サーバ装置
１０４－３ 通信制御部
２００－３ クライアント装置
２０１－３ 通信制御部
３００－３ 撮像装置
３０１－３ 通信制御部
４００－３ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】