(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022191289
(43)【公開日】2022-12-27
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221220BHJP
G06T 7/60 20170101ALI20221220BHJP
G06T 7/00 20170101ALI20221220BHJP
G06T 7/20 20170101ALI20221220BHJP
【FI】
G06Q50/10
G06T7/60 110
G06T7/00 660Z
G06T7/20 300Z
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022154461
(22)【出願日】2022-09-28
(62)【分割の表示】P 2020566072の分割
【原出願日】2019-01-18
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】小野里 宗明
(72)【発明者】
【氏名】寺澤 哲
(72)【発明者】
【氏名】篠崎 祐司
(72)【発明者】
【氏名】池田 浩雄
(72)【発明者】
【氏名】中川 淳子
(57)【要約】 (修正有)
【課題】対象場所の撮影画像に関連する処理を制御する情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置100は、カメラで撮影した撮影画像を受け付け、撮影画像の内容を検出する検出手段110と、検出手段110による撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段120と、判定手段120により判定した処理モードに対応した撮影画像に関連する処理を実行する実行手段130と、を備える。
【選択図】
図11
【特許請求の範囲】
【請求項1】
撮影画像の内容を検出する検出手段と、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段と、
前記処理モードに対応した前記撮影画像に関連する処理を実行する実行手段と、
を備えた情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記検出手段は、前記撮影画像内の人物の状況を検出し、
前記判定手段は、前記撮影画像内の人物の状況に基づいて前記処理モードを判定する、
情報処理装置。
【請求項3】
請求項1又は2に記載の情報処理装置であって、
前記判定手段は、前記撮影画像の内容の検出結果に基づいて、前記処理モードとして前記撮影画像に対する解析処理の内容を表す解析処理モードを判定し、
前記実行手段は、前記撮影画像に対して前記解析処理モードに対応した解析処理を実行する、
情報処理装置。
【請求項4】
請求項3に記載の情報処理装置であって、
前記検出手段は、前記撮影画像内の人物の数又は密度を検出し、
前記判定手段は、前記撮影画像内の人物の数又は密度の検出結果に基づいて前記解析処理モードを判定する、
情報処理装置。
【請求項5】
請求項3又は4に記載の情報処理装置であって、
前記検出手段は、前記撮影画像内の人物の行動を検出し、
前記判定手段は、前記撮影画像内の人物の行動の検出結果に基づいて前記解析処理モードを判定する、
情報処理装置。
【請求項6】
請求項1乃至5のいずれかに記載の情報処理装置であって、
前記判定手段は、前記撮影画像の内容の検出結果に基づいて、前記処理モードとして、前記撮影画像に対する解析処理の内容を表す解析処理モードを判定すると共に、当該解析処理モードに対応する前記撮影画像を撮影するための撮影装置に対する制御処理を判定する、
情報処理装置。
【請求項7】
請求項1乃至6のいずれかに記載の情報処理装置であって、
前記判定手段は、前記処理モードとして、前記撮影画像内の人物に対する、群衆検知処理、行動検知処理、又は、顔認証処理のいずれかを判定する、
情報処理装置。
【請求項8】
請求項1乃至7のいずれかに記載の情報処理装置であって、
前記判定手段は、前記処理モードとして、前記撮影画像を撮影するための撮影装置に対する制御処理を判定する、
情報処理装置。
【請求項9】
請求項1乃至8のいずれかに記載の情報処理装置であって、
前記判定手段は、前記撮影画像の内容の検出結果と、前記撮影画像を撮影した場所に関連して出力される情報と、に基づいて、前記処理モードを判定する、
情報処理装置。
【請求項10】
請求項9に記載の情報処理装置であって、
前記判定手段は、前記撮影画像を撮影している場所で行われている事象の進行状況を表す情報に基づいて、前記処理モードを判定する、
情報処理装置。
【請求項11】
請求項9又は10に記載の情報処理装置であって、
前記判定手段は、前記撮影画像を撮影している場所の気象情報に基づいて、前記処理モードを判定する、
情報処理装置。
【請求項12】
請求項1乃至11のいずれかに記載の情報処理装置であって、
前記処理モードを外部に通知する通知手段を備えた、
情報処理装置。
【請求項13】
情報処理装置に、
撮影画像の内容を検出する検出手段と、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段と、
前記処理モードに対応した前記撮影画像に関連する処理を実行する実行手段と、
を実現させるためのプログラム。
【請求項14】
撮影画像の内容を検出し、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定し、
前記処理モードに対応した前記撮影画像に関連する処理を実行する、
情報処理方法。
【請求項15】
請求項14に記載の情報処理方法であって、
前記撮影画像の内容として、当該撮影画像内の人物の状況を検出し、
前記撮影画像内の人物の状況に基づいて前記処理モードを判定する、
情報処理方法。
【請求項16】
請求項14又は15に記載の情報処理方法であって、
前記撮影画像の内容の検出結果に基づいて、前記処理モードとして前記撮影画像に対する解析処理の内容を表す解析処理モードを判定し、
前記撮影画像に対して前記解析処理モードに対応した解析処理を実行する、
情報処理方法。
【請求項17】
請求項14乃至16のいずれかに記載の情報処理方法であって、
前記処理モードとして、前記撮影画像を撮影するための撮影装置に対する制御処理を判定する、
情報処理方法。
【請求項18】
請求項14乃至17のいずれかに記載の情報処理方法であって、
前記撮影画像の内容の検出結果と、前記撮影画像を撮影している場所に関連して出力される情報と、に基づいて、前記処理モードを判定する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象場所の撮影画像に関連する処理を制御する情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【0002】
空港や駅、店舗、イベント会場など、不特定多数の人物が集まる場所には、人物の行動や人物自体を検出するための監視カメラが設置されている。そして、監視カメラにて撮影された撮影画像から、多数の人物からなる群衆の移動状況を検知したり、顔認証により予め登録された人物を検出するなどの処理を行っている。
【0003】
一例として、特許文献1には、カメラで撮影された入力画像から対象物を検出したり特徴量を抽出することが記載されている。特に、特許文献1には、時間毎の入力画像に対する検出方式や抽出方式を評価して選択する、ことが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2014/155639号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した特許文献1の技術では、時間毎に入力画像に対する処理を切り換えることしか行っていない。このため、入力画像に対して効率よく、かつ、適切に処理を行うことができない。その結果、入力画像を撮影するために設置した撮影装置の効率的な利用を図ることができない、という問題が生じる。
【0006】
このため、本発明の目的は、上述した課題である、撮影装置の効率的な利用を図ることができない、という問題を解決することにある。
【課題を解決するための手段】
【0007】
本発明の一形態である情報処理装置は、
撮影画像の内容を検出する検出手段と、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段と、
前記処理モードに対応した前記撮影画像に関連する処理を実行する実行手段と、
を備えた、
という構成をとる。
【0008】
また、本発明の一形態であるプログラムは、
情報処理装置に、
撮影画像の内容を検出する検出手段と、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段と、
前記処理モードに対応した前記撮影画像に関連する処理を実行する実行手段と、
を実現させる、
という構成をとる。
【0009】
また、本発明の一形態である情報処理方法は、
撮影画像の内容を検出し、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定し、
前記処理モードに対応した前記撮影画像に関連する処理を実行する、
という構成をとる。
【発明の効果】
【0010】
本発明は、以上のように構成されることにより、撮影装置の効率的な利用を図ることができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施形態1における情報処理システムの全体構成を示す図である。
【
図2】本発明の実施形態1における情報処理システムの全体構成を示す図である。
【
図3A】
図1に開示した監視装置の構成を示すブロック図である。
【
図3B】
図3Aに開示した監視装置の判定基準記憶部に記憶される情報の一例を示す図である。
【
図4】
図1に開示した監視装置による制御処理の様子を示す図である。
【
図5】
図1に開示した監視装置による制御処理の様子を示す図である。
【
図6】
図1に開示した監視装置による制御処理の様子を示す図である。
【
図7】
図1に開示した監視装置による制御処理の様子を示す図である。
【
図8】
図1に開示した監視装置による処理動作を示すフローチャートである。
【
図9】
図1に開示した監視装置による撮影画像の監視時の様子を示す図である。
【
図10】
図1に開示した監視装置による撮影画像の監視時の様子を示す図である。
【
図11】本発明の実施形態2における情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【0012】
<実施形態1>
本発明の第1の実施形態を、
図1乃至
図10を参照して説明する。
図1乃至7は、情報処理システムの構成を説明するための図であり、
図8乃至
図10は、情報処理システムの処理動作を説明するための図である。
【0013】
[構成]
本発明における情報処理システムは、屋内や屋外などの対象場所に設置された撮影装置であるカメラC及び撮影画像の処理を制御するためのシステムである。本実施形態では、対象場所であるスポーツやコンサートなどのイベントを行うスタジアムSに設置された複数のカメラCを備えた情報処理システムを一例に挙げて説明する。但し、本発明における情報処理システムは、いかなる場所で利用されてもよい。
【0014】
図1に示すように、情報処理システムを構成するカメラCは、対象場所となるスタジアムSの内部つまりグラウンドなどのイベント実行場所や観客席を撮影する内部カメラと、スタジアムSの外部つまり入退場ゲート付近やスタジアムの周囲を撮影する外部カメラと、により構成されている。なお、
図2では、入退場ゲートG付近を撮影するカメラCを例示している。但し、カメラCの設置場所は、上述した場所であることに限定されない。
【0015】
そして、本実施形態における情報処理システムは、
図1及び
図2に示すように、カメラCに接続された監視装置10と、当該監視装置10に接続された出力装置20及び情報提供装置30と、を備えて構成されている。上記監視装置10は、カメラCにて撮影された撮影画像に対する解析処理や、カメラCの制御処理を実行するものである。上記出力装置20は、撮影画像自体を出力すると共に、監視装置10にて行われた処理結果を出力するものである。上記情報提供装置30は、スタジアムSで行われているイベントの進行状況やスタジアムS付近の気象情報などの各種情報を提供するものである。以下、各構成について詳述する。
【0016】
上記監視装置10は、演算装置と記憶装置とを備えた1台又は複数台の情報処理装置にて構成される。そして、監視装置10は、
図3Aに示すように、演算装置がプログラムを実行することで構築された、映像検出部11、情報取得部12、処理モード判定部13、制御部14を備える。また、監視装置10は、記憶装置に形成された判定基準記憶部15を備える。
【0017】
上記映像検出部11(検出手段)は、まず、カメラCにて撮影された撮影画像を一定の時間間隔で受け付ける。例えば、
図2に示すように、入退場ゲートG付近に設置されたカメラCから、当該カメラCで撮影した撮影画像を受け付ける。そして、映像検出部11は、撮影画像内に映る物体の形状や色、動きなどから、撮影画像内の内容、特に本実施形態では撮影画像内の人物Pの状況を検出する(
図8のステップS1)。一例として、映像検出部11は、撮影画像から検出した人物Pの人数や密度、移動方向を検出する。そして、映像検出部11は、検出した人物Pの状況を、処理モード判定部13に通知する。
【0018】
上記情報取得部12は、監視装置10にネットワークを介して接続された情報提供装置30から、スタジアムSで行われているイベント(事象)の進行状況やスタジアムS付近の気象情報などの各種情報を取得する(
図8のステップS2)。具体的に、情報取得部12は、スタジアムSで行われているゲーム(試合)の進行状況として、ゲーム開始前、ゲーム中、ゲーム終了後、などの情報を取得したり、スタジアムS付近の現在の気象情報として、晴れ、雨、気温などの気象情報を取得する。そして、情報取得部12は、取得した情報を処理モード判定部13に通知する。
【0019】
なお、上述したゲームの進行状況や気象情報などは、映像検出部11がカメラCにて撮影した撮影画像の内容に基づいて検出し、当該映像検出部11が処理モード判定部13に通知してもよい。例えば、映像検出部11は、スタジアムS内のカメラCから撮影された撮影画像に基づいて、グラウンド内の人物Pの人数や審判員の有無、動きなどを検出し、この検出した内容から、ゲームの進行状況がゲーム開始前、ゲーム中、ゲーム終了後、であるかを検出する。また、映像検出部11は、撮影画像内の観客である人物Pが傘を差しているかということや、雨による画像の乱れ、などを検出して、この検出した内容から天気などの気象情報を検出する。なお、映像検出部11は、映像画像からいかなる方法で、上述した進行状況や気象情報などのスタジアムSの各種情報を検出してもよい。
【0020】
上記処理モード判定部13(判定手段)は、映像検出部11から通知された撮影画像の内容の検出結果と、情報取得部12から通知された情報と、に基づいて、撮影画像に関連して実行する処理モードを判定する(
図8のステップS3)。なお、撮影画像の内容の検出結果と情報取得部12から受け取った情報とに基づいて、どのような処理モードと判定するかを定めた判定基準が、監視装置10の判定基準記憶部15に記憶されている。このため、処理モード判定部13は、かかる判定基準を用いて処理モードを判定する。
【0021】
ここで、撮影モードに関連して実行する処理モードには、撮影画像に対する解析処理と、撮影画像を撮影するためのカメラCに対する制御処理と、がある。さらに、具体的に、撮影画像に対する解析処理には、撮影画像内の人物に対する群衆検知処理、行動検知処理、顔認証処理がある。また、カメラCに対する制御処理には、カメラの稼働/停止、ズーム、画角切換、移動、などの制御処理がある。
【0022】
なお、上述した判定基準は、例えば
図3Bに示すように、処理モードと対応付けられて記憶されている。
図3Bの例では、撮影画像や取得した情報に対する判定基準と、判定する処理モードの対象となるエリア(カメラ)と、判定する処理モード(解析処理及び制御処理)と、が対応付けられている。
【0023】
ここで、処理モード判定部13による判定処理の具体例を説明する。この例では、
図3Bに示すNo.1の判定基準が適用される場合を説明する。処理モード判定部13は、入退場ゲートG付近のカメラCから、撮影画像の内容として撮影画像内の人物Pの人数や密度を表す情報を受け取った場合に、人数や密度が群衆と判断できる閾値を超えているか否かを調べる。そして、
図4に示すように、人数や密度が閾値を超えていた場合には、入退場ゲートG付近のカメラCから撮影した撮影画像に対する処理モードを「群衆検知処理」の解析処理と判定する(
図8のステップS4でYes,ステップS5)。なお、群衆検知処理は、カメラCにて撮影した撮影画像内の人物によって群衆が生じているか、群衆の移動方向・移動速度、などを検出する処理であり、監視装置10に接続された解析エンジンEによって実行される。また、処理モード判定部13は、人数や密度が閾値を超えていて群衆検知処理の解析処理と判定される場合には、併せて入退場ゲートG付近のカメラCに対するズームの制御処理を行うと判定する(
図8のステップS6でYes,ステップS7)。つまり、この場合は、撮影画像に対して群衆検知処理を行いやすいように、引きの画像を撮影できるようズームダウン制御を行うと判定する。
【0024】
また、一例として、
図3Bに示すNo.2の判定基準が適用される場合を説明する。処理モード判定部13は、上記とは逆に、
図5に示すように、入退場ゲートG付近のカメラCから受け取った撮影画像内の人物Pの人数や密度が閾値以下である場合には、当該カメラCに対する処理モードを「顔認証処理」の解析処理と判定する。なお、顔認証処理は、撮影画像内の人物の顔画像から特徴量を抽出し、予め登録された顔画像と一致するか否かを調べる認証処理であり、監視装置10に接続された解析エンジンEによって実行される。また、処理モード判定部13は、人数や密度が閾値以下であり顔認証処理の解析処理と判定される場合には、併せて入退場ゲートG付近のカメラCに対するズームの制御処理を行うと判定する。つまり、この場合は、撮影画像に対して人物の顔画像を取得しやすいように、寄り画像を撮影できるようズームアップ制御を行うと判定する。
【0025】
また、一例として、
図3Bに示すNo.3,4,5の判定基準が適用される場合を説明する。処理モード判定部13は、情報取得部12からスタジアムSのイベントの進行状況を表す情報を受け取った場合に、その進行状況の内容を調べる。そして、イベントの進行状況に応じて、処理モードを判定する。例えば、進行状況が「ゲーム開始前」である場合には、入退場ゲートG付近のカメラCから撮影した撮影画像に対する処理モードを「顔認証処理」と判定し、併せてかかるカメラCに対する処理モードを「ズームアップ制御」と判定する。また、進行状況が「ゲーム中」である場合には、入退場ゲートG付近のカメラCから撮影した撮影画像に対する処理モードを「行動検知処理」と判定し、併せてかかるカメラCに対する処理モードを「ズームダウン制御」と判定する。また、進行状況が「ゲーム終了後」である場合には、入退場ゲートG付近のカメラCから撮影した撮影画像に対する処理モードを「群衆検知処理」と判定し、併せてかかるカメラCに対する処理モードを「ズームダウン制御」と判定する。なお、上述した「行動検知処理」は、撮影画像内の人物Pの動線や動作から、不審行動やふらつき動作などの特定の行動をとっている人物を検出する解析処理であり、監視装置10に接続された解析エンジンEによって実行される。
【0026】
また、一例として、処理モード判定部13は、撮影画像の内容と対象場所の情報との両方に基づいて処理モードを判定する場合を説明する。この場合、判定基準として、「進行状況:ゲーム開始前」及び「カメラ1撮影画像:人数/密度≦閾値」が設定されており、これに対する処理モードとして、「顔認証処理」及び「ズームアップ」が設定されていることとする。すると、進行状況がゲーム開始前であり、入退場ゲートG付近のカメラCから撮影した撮影画像内の人物Pの人数や密度が閾値以下である場合には、当該カメラCから撮影した撮影画像に対する処理モードを「顔認証処理」の解析処理と判定し、カメラCに対する処理モードを「ズームアップ制御」と判定する。また、別の例として、進行状況がゲーム開始前であり、入退場ゲートG付近のカメラCから撮影した撮影画像内の人物Pの人数や密度が閾値を超えていた場合には、当該カメラCから撮影した撮影画像に対する処理モードを「群衆検知処理」の解析処理と判定し、カメラCに対する処理モードを「ズームダウン制御」と判定する。
【0027】
また、一例として、
図3Bに示すNo.6の判定基準が適用される場合を説明する。処理モード判定部13は、スタジアムSのイベントの進行状況から、スタジアムSでイベントが行われているか否かを調べる。例えば、処理モード判定部13は、タイムスケジュール、イベント開始からの経過時間、撮影画像から解析した観客の動き(退席、着席)、などのイベントの進行状況に関する情報を収集して、イベントが未実施あるいは終了、その他の進行状況(開催中、休憩など)を調べる。そして、処理モード判定部13は、イベントが行われていないことを検出した場合には、カメラC自体や解析エンジンの稼働/停止を制御する処理モードを判定する。例えば、
図6のバツ印で示すように、入退場ゲートG付近のカメラCに対する処理モードを「停止」と判定し、撮影自体を停止する。また、
図6のバツ印で示すように、スタジアムS内を撮影する一部のカメラCに対する処理モードを「停止」と判定し、残りのカメラCに対する処理モードを「行動検知処理」と判定し、併せてかかるカメラCに対する処理モードを「ズームダウン制御」と判定する。これにより、稼働カメラの台数を抑制しつつ、スタジアムS内への不法な侵入者の検知を行うことができる。
【0028】
また、一例として、
図3Bに示すNo.7の判定基準が適用される場合を説明する。処理モード判定部13は、情報取得部12からスタジアムS付近の気象情報を受け取った場合に、その気象の内容を調べる。そして、処理モード判定部13は、気象状況に応じて、処理モードを判定する。例えば、スタジアムS付近の天気が「晴れ」である場合には、スタジアムS内のカメラCから撮影した撮影画像に対する処理モードを「行動検知処理」と判定し、併せてかかるカメラCに対する処理モードを「ズームダウン制御」と判定する。一方、別の判断基準が適用される例として、スタジアムS付近の天気が「雨」である場合には、
図7に示すように、スタジアムS内を撮影する一部のカメラCのみに対する処理モードを「停止」と判定し、撮影画像に対する解析処理を停止する。これは、雨により傘を差す観客が増えることが予想されるため、行動検知処理の処理精度が低くなることから、撮影や解析処理を停止する。また、別の判断基準が適用される例として、スタジアムS付近の気温が高く閾値以上である場合には、スタジアムS内のカメラCから撮影した撮影画像に対する処理モードを「行動検知処理」と判定し、併せてかかるカメラCに対する処理モードを「ズームアップ制御」と判定する。これにより、スタジアムS内の観客がふらつくなどの体調不良の検知を行うことができる。
【0029】
なお、上述したように映像検出部11が撮影画像の内容からイベントの進行状況やスタジアムS付近の気象情報などを検出した場合には、処理モード判定部13は、映像検出部11から通知されたイベントの進行状況や気象情報に基づいて、処理モードを判定してもよい。
【0030】
なお、上記では、処理モード判定部13は、1つのエリア(カメラ)の撮影画像に対して1つの解析処理を行うこととして判定しているが、1つのエリア(カメラ)の撮影画像に対して複数の解析処理を行うよう判定してもよい。つまり、
図3BのNo.8に示すように、判定基準「人数/密度≦閾値2」に対して、エリア1(カメラ1)に複数の解析処理である「顔認証処理」及び「群衆検知処理」が対応付けられていてもよい。この場合、エリア1(カメラ1)の撮影画像に対して、「顔認証処理」と「群衆検知処理」の両方の解析処理が行われることとなる。なお、
図3BのNo.8に示すように、一方の解析処理「顔認証処理」が「優先」と設定されている場合には、処理モード判定部13は、「顔認証処理」を「群衆検知処理」よりも優先して実行されるよう判定する。この場合、「群衆検知処理」に対して「顔認証処理」は、解析エンジンEにより先の順番で処理されたり、解析エンジンEのCPUなどのリソースが多く割り当てられて処理されたり、当該リソースが少ない場合には「顔認証処理」のみが実行されたりする。また、「群衆検知処理」に対して「顔認証処理」は、撮影画像のフレーム数が多く使用されたり、高画質で処理されるようにしてもよい。このように、処理モード判定部13は、処理モードの処理レベルを判定してもよい。
【0031】
また、上記では、処理モード判定部13は、エリア(カメラ)毎に処理モードを判定しているが、エリアつまりカメラCによる撮影画像を複数領域に分割した分割領域毎に、処理モードを判定してもよい。例えば、撮影画像の左半分の領域は、判定基準「人数/密度≦閾値」を満たしているため、処理モードを「顔認証処理」と判定し、撮影画像の右半分の領域は、判定基準「人数/密度>閾値」を満たしているため、処理モードを「群衆検知処理」と判定してもよい。また、このとき、撮影画像の左半分の領域は、処理モードを「顔認証処理」と判定し、撮影画像の右半分の領域は、いずれの処理モードも判定しなくてもよく、この場合、左半分の領域の「顔認証処理」に対応してカメラCに対する処理モードを「ズームアップ制御」と判定してもよい。さらに、処理モードを「顔認証処理」と判定した撮影画像の左半分の領域に映る人物が移動した場合には、かかる人物の移動に応じて「顔認証処理」と処理モードを判定した領域を移動させて設定してもよい。このように、撮影画像の領域毎に、判定基準を満たすか否かを調べ、処理モードを判定してもよい。
【0032】
ここで、上記では、処理モード判定部13が、撮影画像の内容として、当該撮影画像に映る人物の「人数又は密度」を検出して、処理モードを判定する場合を説明したが、以下に示すような撮影画像の内容を検出して処理モードを判定してもよい。例えば、撮影画像に映る人物の移動方向を検知し、当該人物がカメラに向かっている場合は顔認証処理、遠ざかっている場合は全身認証処理、と処理モードを判定してもよい。なお、全身認証処理とは、例えば、人物の衣服、髪型、シルエット、所持品等を含む全身画像による人物認証処理である。また、例えば、撮影画像に映る人物の顔領域を検知し、顔の大きさが所定値を超えていれば顔認証処理、所定値以下であれば全身認証処理、と処理モードを判定してもよい。また、例えば、撮影画像に映る人物の行動を検知し、特定の行動(ものを振り回す、人同士がもみ合う、転倒するなど)が検知された場合に、カメラをズームアップする制御処理と判定してもよい。但し、処理モード判定部13が処理モードを判定する際に用いる撮影画像の内容は、上述した内容であることに限定されない。
【0033】
なお、上述した
図3Bの情報を用いた例では、処理モード判定部13は、撮影画像の内容、イベント進行状況、気象情報のうち、1種類の情報が判定基準を満たしているか否かによって処理モードを判定しているが、複数種類の情報が判定基準を満たしている場合に、かかる判定基準に対応付けられた処理モードを判定してもよい。つまり、撮影画像の内容、イベント進行状況、及び、気象情報のうち1種類の情報、あるいは、これらのうち2種類又は3種類の情報が判定基準を満たしている場合に、かかる判定基準に対応付けられた処理モードを判定してもよい。具体的には、撮影画像の内容とイベント進行状況、撮影画像の内容と気象情報、イベント進行状況と気象情報、撮影画像の内容とイベント進行情報と気象情報、が判定基準を満たしている場合に、かかる判定基準に対応付けられた処理モードを判定してもよい。さらに、このとき、1種類中の複数の情報が判定基準を満たすか否かによって処理モードを判定してもよい。例えば、撮影画像の内容のうち、人数/密度と、人物の移動方向と、が判定基準を満たす場合に、かかる判定基準に対応付けられた処理モードを判定してもよい。また、上述した
図3Bの例では、判定する処理モードとして、「解析処理」のみの場合と、「解析処理」及び「カメラ制御処理」の場合、を挙げているが、「カメラ制御処理」のみを判定してもよい。
【0034】
上記制御部14(通知手段、実行手段)は、まず、上述したように判定した処理モードを出力装置20から出力することで、外部に通知する。また、制御部14は、判定した処理モードに対応した撮影画像に関連する処理を実行する(
図8のステップS8)。つまり、判定した処理モードに従い、カメラCの稼働・停止の制御やズームの制御を行ったり、撮影画像に対する各種の解析処理を各解析エンジンEで実行するよう制御する。さらに、制御部14は、実行された解析処理の処理結果を出力装置20から出力する。これにより、スタジアムSの監視者は、実行される処理モードを認識できると共に、処理結果も認識できる。
【0035】
ここで、上述した制御部14が、出力装置20から撮影画像に対する解析処理の様子を出力したときの一例を、
図9乃至
図10に示す。まず、
図9に示すように、出力装置20には、撮影画像を表示する画像表示領域21と、画像表示領域21に表示する撮影画像を撮影しているカメラ名を表示するカメラ名表示領域22と、撮影画像に対して行っている解析処理名を表示する解析処理名表示領域23と、切り換える予定の解析処理名を表示する予告解析処理名表示領域24と、中止ボタン25と、が表示出力される。
【0036】
そして、
図9の例では、「ゲートカメラ1」のカメラCで撮影した撮影画像に対して「顔認証処理」が実行されているときの様子を示している。このとき、画像表示領域21には、領域全体に撮影画像全体を出力してもよいが、この例では、右上に縮小した撮影画像21a全体を表示し、当該撮影画像21a内の一部22bを、画像表示領域21全体に拡大して表示している。この拡大した画像22bは、撮影画像21aに対して行った顔認証処理の処理結果を示す表示であり、特に、顔認証により予め登録された人物(例えば、要注意人物として登録された人物)と一致した人物が存在している領域を拡大した画像である。このとき、拡大した画像21aには、顔認証処理により登録人物と一致した人物の顔部分を強調して表示する。例えば、登録人物と一致した人物を黒塗り表示し、かかる人物の顔部分を四角形の枠で囲って表示する。なお、顔認証処理を行い、登録人物と一致する人物が存在しない場合には、
図10に示すように、撮影画像全体を画像表示領域21に表示した状態となる。
【0037】
そして、上述したように撮影画像に対して顔認証処理を行っている間には、処理モード判定部13が新たな処理モードの判定を行う。つまり、処理モード判定部13は、撮影画像の内容やイベント進行状況、気象情報が別の判定基準を満たす場合に、当該別の判定基準に対応付けられた別の処理モードを判定する。すると、制御部14は、新たに判定した別の処理モードを予告解析処理名表示領域24に表示出力し、一定時間経過後に新たな処理モードに切り換える。例えば、
図10の例では、撮影画像内の人物の人数が増加し、人数/密度が閾値を超えたため、処理モードのうち解析処理を「群衆検知処理」と判定し、かかる表示を予告解析処理名表示領域24に行う。このとき、出力装置20を操作している操作者は、「群衆検知処理」に切り換えたくない場合には、中止ボタン25を押す。これにより、制御部14は、撮影画像に対する解析処理を「群衆検知処理」に切り換えず、「顔認証処理」を継続して実行する。なお、「群衆検知処理」の表示を予告解析処理名表示領域24に行った後に、中止ボタン25が押されずに一定時間が経過すると、制御部14は、撮影画像に対する解析処理を「群衆検知処理」に切り換える。
【0038】
ここで、操作者は、撮影画像に対して所望の処理モード(解析処理)を設定したい場合には、解析処理名表示領域23のプルダウンメニューから、所望の解析処理を選択することができる。すると、制御部14は、選択された解析処理に切り換える。これにより、例えば解析処理が切り替わった場合であっても、切換前の解析処理に戻して実行させるなど、所望の解析処理を実行させることができる。
【0039】
また、制御部14は、上述したように操作者によって中止ボタン25が押されたり、解析処理名表示領域23のプルダウンメニューから所望の解析処理が選択された際には、そのときの撮影画像の内容やイベント進行状況、気象状況の情報を取得する。そして、取得した情報と、切り換え前の処理モードである解析処理や選択された解析処理と、を関連付けるよう学習する。つまり、取得した撮影画像の内容やイベント進行状況、気象状況の情報を判定基準とし、かかる判定基準に切り換え前の解析処理や選択された解析処理を対応付けて、新たな判定基準情報を生成してもよい。
【0040】
なお、
図9,10の例では、1つのカメラCにて撮影した撮影画像自体及び撮影画像に対する解析処理結果を画像表示領域21に大きく表示しているが、複数のカメラCにて撮影した複数の撮影画像自体及び解析処理結果を、画像表示領域21に表示してもよい。
【0041】
以上のように、本発明の情報処理システムによると、スタジアムSなどの対象場所に設置されたカメラCによる撮影状況や撮影画像に対する解析処理を、対象場所の状況に応じて制御することができる。このため、監視者は、状況に応じて実行される処理モードと処理結果を認識でき、処理結果に応じた迅速な対応を取ることができる。その結果、対象場所に設置されたカメラCの効率的な利用を図ることができる。
【0042】
なお、上記では、撮影画像の内容として、撮影画像内の人物の状況を検出して、かかる人物の状況に基づいて撮影画像に関する処理モードを判定しているが、撮影画像内のいかなる内容の検出結果に基づいて処理モードを判定してもよい。例えば、撮影画像内で人による物の置き去りといった行動を検知した場合や動物を検知した場合に、処理モードとして、カメラCのズームアップといった制御処理と、物体検知処理といった解析処理と、を行うよう判定してもよい。また、上記では、対象場所の気象情報やイベントの進行状況に基づいて撮影画像に関する処理モードを判定しているが、対象場所のいかなる情報に基づいて処理モードを判定してもよい。さらに、上記では、判定する処理モードとして、撮影画像に対する解析処理の内容や、撮影装置に対する制御処理の内容を判定しているが、撮影画像に関する処理であれば他の処理モードを判定してもよい。
【0043】
<実施形態2>
次に、本発明の第2の実施形態を、
図9を参照して説明する。
図9は、実施形態2における情報処理装置の構成を示すブロック図である。なお、本実施形態では、実施形態1で説明した監視装置の構成の概略を示している。
【0044】
図9に示すように、本実施形態おける情報処理装置100は、
撮影画像の内容を検出する検出手段110と、
撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段120と、
処理モードに対応した撮影画像に関連する処理を実行する実行手段130と、
を備える。
【0045】
なお、上述した検出手段110と判定手段120と実行手段130とは、情報処理装置100が装備する演算装置がプログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。
【0046】
そして、上記構成の情報処理装置100は、
撮影画像の内容を検出し、
撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定し、
処理モードに対応した撮影画像に関連する処理を実行する、
という処理を実行するよう作動する。
【0047】
上記発明によると、対象場所に設置された撮影装置による撮影画像の内容に応じて、撮影画像に関連する処理モードを判定して、かかる処理モードに対応した撮影画像に関連する処理を実行している。このため、対象場所の状況に応じて撮影画像に関連する処理を実行することができ、対象場所に設置された撮影装置の効率的な利用を図ることができる。
【0048】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置、情報処理方法、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
【0049】
(付記1)
撮影画像の内容を検出する検出手段と、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段と、
前記処理モードに対応した前記撮影画像に関連する処理を実行する実行手段と、
を備えた情報処理装置。
【0050】
(付記2)
付記1に記載の情報処理装置であって、
前記検出手段は、前記撮影画像内の人物の状況を検出し、
前記判定手段は、前記撮影画像内の人物の状況に基づいて前記処理モードを判定する、
情報処理装置。
【0051】
(付記3)
付記1又は2に記載の情報処理装置であって、
前記判定手段は、前記撮影画像の内容の検出結果に基づいて、前記処理モードとして前記撮影画像に対する解析処理の内容を表す解析処理モードを判定し、
前記実行手段は、前記撮影画像に対して前記解析処理モードに対応した解析処理を実行する、
情報処理装置。
【0052】
(付記4)
付記3に記載の情報処理装置であって、
前記検出手段は、前記撮影画像内の人物の数又は密度を検出し、
前記判定手段は、前記撮影画像内の人物の数又は密度の検出結果に基づいて前記解析処理モードを判定する、
情報処理装置。
【0053】
(付記5)
付記3又は4に記載の情報処理装置であって、
前記検出手段は、前記撮影画像内の人物の行動を検出し、
前記判定手段は、前記撮影画像内の人物の行動の検出結果に基づいて前記解析処理モードを判定する、
情報処理装置。
【0054】
(付記6)
付記1乃至5のいずれかに記載の情報処理装置であって、
前記判定手段は、前記撮影画像の内容の検出結果に基づいて、前記処理モードとして、前記撮影画像に対する解析処理の内容を表す解析処理モードを判定すると共に、当該解析処理モードに対応する前記撮影画像を撮影するための撮影装置に対する制御処理を判定する、
情報処理装置。
【0055】
(付記7)
付記1乃至6のいずれかに記載の情報処理装置であって、
前記判定手段は、前記処理モードとして、前記撮影画像内の人物に対する、群衆検知処理、行動検知処理、又は、顔認証処理のいずれかを判定する、
情報処理装置。
【0056】
(付記8)
付記1乃至7のいずれかに記載の情報処理装置であって、
前記判定手段は、前記処理モードとして、前記撮影画像を撮影するための撮影装置に対する制御処理を判定する、
情報処理装置。
【0057】
(付記9)
付記1乃至8のいずれかに記載の情報処理装置であって、
前記判定手段は、前記撮影画像の内容の検出結果と、前記撮影画像を撮影している場所に関連して出力される情報と、に基づいて、前記処理モードを判定する、
情報処理装置。
【0058】
(付記10)
付記9に記載の情報処理装置であって、
前記判定手段は、前記撮影画像を撮影している場所で行われている事象の進行状況を表す情報に基づいて、前記処理モードを判定する、
情報処理装置。
【0059】
(付記11)
付記9又は10に記載の情報処理装置であって、
前記判定手段は、前記撮影画像を撮影している場所の気象情報に基づいて、前記処理モードを判定する、
情報処理装置。
【0060】
(付記12)
付記1乃至11のいずれかに記載の情報処理装置であって、
前記処理モードを外部に通知する通知手段を備えた、
情報処理装置。
【0061】
(付記13)
情報処理装置に、
撮影画像の内容を検出する検出手段と、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定する判定手段と、
前記処理モードに対応した前記撮影画像に関連する処理を実行する実行手段と、
を実現させるためのプログラム。
【0062】
(付記14)
撮影画像の内容を検出し、
前記撮影画像の内容の検出結果に基づいて当該撮影画像に関連する処理モードを判定し、
前記処理モードに対応した前記撮影画像に関連する処理を実行する、
情報処理方法。
【0063】
(付記15)
付記14に記載の情報処理方法であって、
前記撮影画像の内容として、当該撮影画像内の人物の状況を検出し、
前記撮影画像内の人物の状況に基づいて前記処理モードを判定する、
情報処理方法。
【0064】
(付記16)
付記14又は15に記載の情報処理方法であって、
前記撮影画像の内容の検出結果に基づいて、前記処理モードとして前記撮影画像に対する解析処理の内容を表す解析処理モードを判定し、
前記撮影画像に対して前記解析処理モードに対応した解析処理を実行する、
情報処理方法。
【0065】
(付記17)
付記14乃至16のいずれかに記載の情報処理方法であって、
前記処理モードとして、前記撮影画像を撮影するための撮影装置に対する制御処理を判定する、
情報処理方法。
【0066】
(付記18)
付記14乃至17のいずれかに記載の情報処理方法であって、
前記撮影画像の内容の検出結果と、前記撮影画像を撮影している場所に関連して出力される情報と、に基づいて、前記処理モードを判定する、
情報処理方法。
【0067】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0068】
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【0069】
10 監視装置
11 映像検出部
12 情報取得部
13 処理モード判定部
14 制御部
15 判定基準記憶部
20 出力装置
30 情報提供装置
100 情報処理装置
110 検出手段
120 判定手段
130 実行手段
C カメラ
E 解析エンジン
G 入退場ゲート
P 人物
S スタジアム
【手続補正書】
【提出日】2022-10-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
撮影画像を取得し、
前記撮影画像から気象情報を取得し、
前記気象情報に基づいて処理モードを決定する、
情報処理方法。
【請求項2】
請求項1に記載の情報処理方法であって、
前記処理モードは、前記撮影画像に対する解析処理を含む、
情報処理方法。
【請求項3】
請求項2に記載の情報処理方法であって、
前記解析処理は、少なくとも前記撮影画像内の人物に対する群衆検知処理、行動検知処理、顔認証処理のいずれかを含む、
情報処理方法。
【請求項4】
請求項1乃至3のいずれかに記載の情報処理方法であって、
前記処理モードは、撮影装置の制御処理を含む、
情報処理方法。
【請求項5】
請求項4に記載の情報処理方法であって、
前記制御処理は、撮影装置の稼働または停止、ズーム、画角切換、移動のいずれかの処理を含む、
情報処理方法。
【請求項6】
請求項1乃至5のいずれかに記載の情報処理方法であって、
前記気象情報に基づいて、前記撮影画像を取得した撮影装置とは異なる撮影装置の前記処理モードを決定する、
情報処理方法。
【請求項7】
請求項6に記載の情報処理方法であって、
撮影装置とは異なる撮影装置は、撮影装置の位置に基づいて決定される、
情報処理方法。
【請求項8】
請求項1乃至7のいずれかに記載の情報処理方法であって、
前記撮影画像に写る物体または画像の乱れに基づいて、前記気象情報を取得する、
情報処理方法。
【請求項9】
撮影画像を取得する手段と
前記撮影画像から気象情報を取得する手段と、
前記気象情報に基づいて処理モードを決定する手段と、
を備えた情報処理装置。
【請求項10】
撮影画像を取得し、
前記撮影画像から気象情報を取得し、
前記気象情報に基づいて処理モードを決定する、
処理をコンピュータに実行させるためのプログラム。