知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085840
(43)【公開日】2024-06-27
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240620BHJP
G06V 10/20 20220101ALI20240620BHJP
H04N 7/18 20060101ALI20240620BHJP
【ＦＩ】
G06T7/70 A
G06V10/20
H04N7/18 D
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022200602
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】吉村 恭介
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FC15
5C054FD07
5C054HA19
5L096BA02
5L096CA04
5L096EA03
5L096FA52
5L096FA59
5L096GA51
(57)【要約】
【課題】画像からの物体検出において検出精度とスループットとのバランスを適切にすることのできる技術を提供する。
【解決手段】情報処理装置（１）は、撮影装置が撮影した画像を取得する取得部（１１）と、取得部（１１）が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報に基づき、取得部（１１）が取得した対象画像の解像度を決定する決定部（１２）と、上記対象画像のデータサイズを、決定部（１２）が決定した解像度に応じて変更する変更部（１３）と、上記データサイズが変更された対象画像から物体を検出する検出部（１４）と、上記対象画像からの検出部（１４）による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶部に記憶する登録部（１５）とを備える。
【選択図】図１
【解決手段】情報処理装置（１）は、撮影装置が撮影した画像を取得する取得部（１１）と、取得部（１１）が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報に基づき、取得部（１１）が取得した対象画像の解像度を決定する決定部（１２）と、上記対象画像のデータサイズを、決定部（１２）が決定した解像度に応じて変更する変更部（１３）と、上記データサイズが変更された対象画像から物体を検出する検出部（１４）と、上記対象画像からの検出部（１４）による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶部に記憶する登録部（１５）とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮影装置が撮影した画像を取得する取得手段と、
前記取得手段が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得手段が取得した物体検出処理の対象である対象画像の解像度を決定する決定手段と、
前記対象画像のデータサイズを、前記決定手段が決定した解像度に応じて変更する変更手段と、
前記データサイズが変更された対象画像から物体を検出する検出手段と、
前記対象画像からの前記検出手段による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する登録手段と、
を備えることを特徴とする情報処理装置。
前記取得手段が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得手段が取得した物体検出処理の対象である対象画像の解像度を決定する決定手段と、
前記対象画像のデータサイズを、前記決定手段が決定した解像度に応じて変更する変更手段と、
前記データサイズが変更された対象画像から物体を検出する検出手段と、
前記対象画像からの前記検出手段による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する登録手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記参照情報は、前記検出手段が前記対象画像から検出した物体の数及び大きさの少なくともいずれかを示す情報を含む、
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記参照情報は、前記検出手段が検出した物体の数を示す情報を含み、
前記決定手段は、前記参照情報の示す物体の数が閾値以上である場合、当該物体の数が閾値未満である場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
前記決定手段は、前記参照情報の示す物体の数が閾値以上である場合、当該物体の数が閾値未満である場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記検出手段は、前記対象画像から検出した物体を時系列方向に同定し、
前記参照情報は、前記検出手段による処理結果を示す情報を含み、
前記決定手段は、前記参照情報が画像に含まれる物体の数が時間の経過に伴って増加した旨を示す場合、増加した旨を示さない場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
前記参照情報は、前記検出手段による処理結果を示す情報を含み、
前記決定手段は、前記参照情報が画像に含まれる物体の数が時間の経過に伴って増加した旨を示す場合、増加した旨を示さない場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項5】
前記参照情報は、前記検出手段が検出した物体の大きさを示す情報を含み、
前記決定手段は、前記参照情報の示す物体の大きさが閾値未満である場合、当該大きさが閾値以上である場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
前記決定手段は、前記参照情報の示す物体の大きさが閾値未満である場合、当該大きさが閾値以上である場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項6】
前記検出手段は、前記対象画像から検出した物体を時系列方向に同定し、
前記参照情報は、前記検出手段による処理結果を示す情報を含み、
前記決定手段は、前記参照情報が画像に含まれる物体の大きさが時間の経過に伴って小さくなった旨を示す場合、小さくなった旨を示さない場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
前記参照情報は、前記検出手段による処理結果を示す情報を含み、
前記決定手段は、前記参照情報が画像に含まれる物体の大きさが時間の経過に伴って小さくなった旨を示す場合、小さくなった旨を示さない場合よりも大きい解像度を決定する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項7】
前記検出手段は、前記対象画像を、画像を入力とし物体の検出結果を出力とする学習済モデルに入力することにより前記物体を検出する、
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項8】
前記参照情報は、前記画像の撮影ズーム率を示す情報を含み、
前記決定手段は、前記参照情報の示す撮影ズーム率が変化した場合、当該撮影ズーム率が変化していない場合よりも大きい解像度を決定する、
ことを特徴とする請求項１に記載の情報処理装置。
前記決定手段は、前記参照情報の示す撮影ズーム率が変化した場合、当該撮影ズーム率が変化していない場合よりも大きい解像度を決定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項9】
少なくとも１つのプロセッサが、
撮影装置が撮影した画像を取得することと、
過去に取得された画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する工程において取得された、物体検出処理の対象である対象画像の解像度を決定することと、
前記対象画像のデータサイズを、前記決定する工程において決定された解像度に応じて変更することと、
前記データサイズが変更された対象画像から物体を検出することと、
前記対象画像からの前記物体の検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶することと、
を含むことを特徴とする情報処理方法。
撮影装置が撮影した画像を取得することと、
過去に取得された画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する工程において取得された、物体検出処理の対象である対象画像の解像度を決定することと、
前記対象画像のデータサイズを、前記決定する工程において決定された解像度に応じて変更することと、
前記データサイズが変更された対象画像から物体を検出することと、
前記対象画像からの前記物体の検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶することと、
を含むことを特徴とする情報処理方法。
【請求項10】
コンピュータに、
撮影装置が撮影した画像を取得する処理と、
前記取得する処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する処理と、
前記対象画像のデータサイズを、前記決定する処理において決定した解像度に応じて変更する処理と、
前記データサイズが変更された対象画像から物体を検出する処理と、
前記対象画像からの前記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する処理と、
を実行させるためのプログラム。
撮影装置が撮影した画像を取得する処理と、
前記取得する処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する処理と、
前記対象画像のデータサイズを、前記決定する処理において決定した解像度に応じて変更する処理と、
前記データサイズが変更された対象画像から物体を検出する処理と、
前記対象画像からの前記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する処理と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像から物体を検出する技術に関する。
【背景技術】
【0002】
画像から物体を検出する技術が提案されている。例えば非特許文献１には、ニューラルネットワークを用いて画像から物体を検出する技術が記載されている。また、特許文献１には、監視範囲内における監視対象が要注意状態であることを検知する技術として、ある監視カメラ装置の撮像部の解像度を他の監視カメラ装置の撮像部の解像度よりも高くし、監視範囲に人物が進入したと判定される場合に、解像度がより高い監視カメラ装置が撮影した映像データに対し映像認識処理を行うことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１８／１４３３４１号
【非特許文献】
【0004】
【非特許文献1】Zheng Ge, et.al, "YOLOX: Exceeding YOLO Series in 2021," 2021
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、ニューラルネットワークを用いる従来の物体検出手法では、ニューラルネットワークへの入力画像を一定サイズに正規化することが一般的である。しかしながら、入力画像を一定サイズに正規化する場合、詳細な解析が不要なタイミングであっても常に同じ解像度で解析するために計算量が不要に大きくなってしまったり、また、詳細な解析が必要なタイミングであっても一定のサイズに画像を縮小して情報量を落として解析するために解析精度が悪くなってしまったりする、といった問題がある。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、画像からの物体検出において検出精度とスループットとのバランスを適切にすることのできる技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理装置は、撮影装置が撮影した画像を取得する取得手段と、前記取得手段が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得手段が取得した物体検出処理の対象である対象画像の解像度を決定する決定手段と、前記対象画像のデータサイズを、前記決定手段が決定した解像度に応じて変更する変更手段と、前記データサイズが変更された対象画像から物体を検出する検出手段と、前記対象画像からの前記検出手段による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する登録手段と、を備える。
【0008】
本発明の一態様に係る情報処理方法は、少なくとも１つのプロセッサが、撮影装置が撮影した画像を取得することと、過去に取得された画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する工程において取得された、物体検出処理の対象である対象画像の解像度を決定することと、前記対象画像のデータサイズを、前記する工程において決定された解像度に応じて変更することと、前記データサイズが変更された対象画像から物体を検出することと、前記対象画像からの前記物体の検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶することと、を含む。
【0009】
本発明の一態様に係るプログラムは、撮影装置が撮影した画像を取得する処理と、前記取得する処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する処理と、前記対象画像のデータサイズを、前記決定する処理において決定した解像度に応じて変更する処理と、前記データサイズが変更された対象画像から物体を検出する処理と、前記対象画像からの前記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する処理と、をコンピュータに実行させる。
【発明の効果】
【0010】
本発明の一態様によれば、画像からの物体検出において検出精度とスループットとのバランスを適切にすることができる。
【図面の簡単な説明】
【0011】
【図1】例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】例示的実施形態１に係る情報処理方法の流れを示すフロー図である。
【図3】例示的実施形態２に係る情報処理装置が行う処理の概要を示す図である。
【図4】例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図5】例示的実施形態２に係る情報処理装置の機能構成及び処理の流れの一例を示すブロック図である。
【図6】例示的実施形態２に係る解像度判定部が実行する処理の流れの一例を示すフロー図である。
【図7】例示的実施形態２に係る解像度判定部が実行する処理を説明するための図である。
【図8】例示的実施形態２に係る解像度判定部が実行する処理を説明するための図である。
【図9】例示的実施形態３に係る情報処理システムの機能構成の一例を示す図である。
【図10】各例示的実施形態に係る情報処理装置として機能するコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
（情報処理装置の構成）
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、取得部１１（取得手段）、決定部１２（決定手段）、変更部１３（変更手段）、検出部１４（検出手段）、及び登録部１５（登録手段）を備える。
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、取得部１１（取得手段）、決定部１２（決定手段）、変更部１３（変更手段）、検出部１４（検出手段）、及び登録部１５（登録手段）を備える。
【0014】
取得部１１は、撮影装置が撮影した画像を取得する。決定部１２は、取得部１１が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報を記憶部から読み出し、読み出した参照情報に基づき、取得部１１が取得した物体検出処理の対象である対象画像の解像度を決定する。
【0015】
変更部１３は、上記対象画像のデータサイズを、決定部１２が決定した解像度に応じて変更する。検出部１４は、上記データサイズが変更された対象画像から物体を検出する。登録部１５は、上記対象画像からの検出部１４による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶部に記憶する。
【0016】
以上のように、本例示的実施形態に係る情報処理装置１においては、撮影装置が撮影した画像を取得する取得部１１と、取得部１１が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報を記憶部から読み出し、読み出した参照情報に基づき、取得部１１が取得した物体検出処理の対象である対象画像の解像度を決定する決定部１２と、上記対象画像のデータサイズを、決定部１２が決定した解像度に応じて変更する変更部１３と、上記データサイズが変更された対象画像から物体を検出する検出部１４と、上記対象画像からの検出部１４による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶部に記憶する登録部１５と、を備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、画像からの物体検出において検出精度とスループットとのバランスを適切にすることができるという効果が得られる。
【0017】
（プログラム）
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、撮影装置が撮影した画像を取得する処理と、上記取得する処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、上記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する処理と、上記対象画像のデータサイズを、上記決定する処理において決定した解像度に応じて変更する処理と、上記データサイズが変更された対象画像から物体を検出する処理と、上記対象画像からの上記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶手段に記憶する処理と、を実行させるためのプログラムである。
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係るプログラムは、コンピュータに、撮影装置が撮影した画像を取得する処理と、上記取得する処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、上記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する処理と、上記対象画像のデータサイズを、上記決定する処理において決定した解像度に応じて変更する処理と、上記データサイズが変更された対象画像から物体を検出する処理と、上記対象画像からの上記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶手段に記憶する処理と、を実行させるためのプログラムである。
【0018】
（情報処理方法の流れ）
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１の流れを示すフロー図である。なお、情報処理方法Ｓ１における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１の流れを示すフロー図である。なお、情報処理方法Ｓ１における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよい。
【0019】
Ｓ１１では、少なくとも１つのプロセッサが、撮影装置が撮影した画像を取得する。Ｓ１２では、少なくとも１つのプロセッサが、過去に取得された画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶部から読み出し、読み出した参照情報に基づき、ステップＳ１１において取得された物体検出処理の対象である対象画像の解像度を決定する。
【0020】
Ｓ１３では、少なくとも１つのプロセッサが、上記対象画像のデータサイズを、ステップＳ１２で決定された解像度に応じて変更する。Ｓ１４では、上記データサイズが変更された対象画像から物体を検出する。Ｓ１５では、上記対象画像からの上記物体の検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶部に記憶する。
【0021】
以上のように、本例示的実施形態に係る情報処理方法Ｓ１は、少なくとも１つのプロセッサが、撮影装置が撮影した画像を取得することと、過去に取得された画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶部から読み出し、読み出した参照情報に基づき、上記取得する工程において取得された、物体検出処理の対象である対象画像の解像度を決定することと、上記対象画像のデータサイズを、上記決定する工程において決定された解像度に応じて変更することと、上記データサイズが変更された対象画像から物体を検出することと、上記対象画像からの上記物体の検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、上記参照情報として上記記憶部に記憶することと、を含む構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、画像からの物体検出において検出精度とスループットとのバランスを適切にすることができるという効果が得られる。
【0022】
〔例示的実施形態２〕
（情報処理装置の概要）
本発明の例示的実施形態２について図面を参照して詳細に説明する。図３は、例示的実施形態２に係る情報処理装置１Ａが行う処理の概要を示す図である。情報処理装置１Ａは、撮影装置が撮影した画像から物体を検出し、検出した物体の動作等を解析する。情報処理装置１Ａは特に、映像から小さな物体を検出したり、大量の撮影装置の映像を解析したりする用途に用いることができる。図３に示すように、情報処理装置１Ａは、検出ステップＳ１００、追跡ステップＳ２００、及び行動解析ステップＳ３００を実行する。
（情報処理装置の概要）
本発明の例示的実施形態２について図面を参照して詳細に説明する。図３は、例示的実施形態２に係る情報処理装置１Ａが行う処理の概要を示す図である。情報処理装置１Ａは、撮影装置が撮影した画像から物体を検出し、検出した物体の動作等を解析する。情報処理装置１Ａは特に、映像から小さな物体を検出したり、大量の撮影装置の映像を解析したりする用途に用いることができる。図３に示すように、情報処理装置１Ａは、検出ステップＳ１００、追跡ステップＳ２００、及び行動解析ステップＳ３００を実行する。
【0023】
検出ステップＳ１００において、情報処理装置１Ａは、撮影装置が撮影した動画を構成する各フレームｆｔ－１、ｆｔ、…において物体を検出する。情報処理装置１Ａが画像から検出する物体としては、例えば人物、又は商品が挙げられる。ただし、情報処理装置１Ａが画像から検出する物体は上述した例に限定されない。
【0024】
追跡ステップＳ２００において、情報処理装置１Ａは、検出した物体を時系列に同定して各物体に追跡ＩＤを付与する。図３の例では、情報処理装置１Ａは、検出した３つの物体に１～３の追跡ＩＤを付与する。また、行動解析ステップＳ３００において、情報処理装置１Ａは、各物体の追跡結果に基づき、人物の行動解析、商品認識等の解析処理を行う。
【0025】
また、情報処理装置１Ａは、上述の検出ステップＳ１００において、過去のフレームでの物体の検出結果又は撮影装置の撮影ズーム率等に基づき画像の解像度を決定し、決定した解像度に応じて画像のデータサイズを変更し、変更後の画像から物体を検出する。情報処理装置１Ａは例えば、直前のフレームで検出された物体の数が多いほど解像度を高くする一方、直前のフレームで物体が検出されなかった場合に解像度を低くする、といった制御を行う。また、他の例として、情報処理装置１Ａは例えば、直前のフレームで検出された物体の大きさが小さいほど解像度を高くする、といった制御を行う。
【0026】
１台の撮影装置が撮影した連続したフレームに含まれる物体は、大きく変化しないと仮定することができる。そのため、例えば前のフレームで検出対象が映らなかった場合、次のフレームにも検出対象が映らない可能性が高いといえる。また、例えば前のフレームで検出対象が映った場合、次のフレームにも検出対象が映っている可能性が高い。本例示的実施形態に係る情報処理装置１Ａは、過去のフレームの解析結果に基づきフレームの解像度を決定するため、例えば過去の解析結果等から詳細な解析が不要だと思われるタイミングでは解像度を小さくして解析することにより、省エネ及び解析スループットの向上を図るとともに、詳細な解析が必要なタイミングでは画像を縮小せずに解析することで、認識精度を向上させることができる。
【0027】
（情報処理装置の構成）
図４は、情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、制御部１０Ａ、記憶部２０Ａ、通信部３０Ａ及び入出力部４０Ａを備える。
図４は、情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、制御部１０Ａ、記憶部２０Ａ、通信部３０Ａ及び入出力部４０Ａを備える。
【0028】
通信部３０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部３０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
【0029】
入出力部４０Ａには、キーボード、マウス、ディスプレイ、プリンタ、タッチパネル等の入出力機器が接続される。入出力部４０Ａは、接続された入力機器から情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部４０Ａは、制御部１０Ａの制御の下、接続された出力機器に各種の情報を出力する。入出力部４０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。
【0030】
制御部１０Ａは、情報処理装置１Ａの各部を統括して制御する。制御部１０Ａは、画像取得部１１Ａ、解像度判定部１２Ａ、画像サイズ変更部１３Ａ、検出部１４Ａ、時系列処理部１５Ａ、登録部１６Ａ、及び出力部１７Ａを備える。画像取得部１１Ａ、解像度判定部１２Ａ、画像サイズ変更部１３Ａ及び登録部１６Ａはそれぞれ、本明細書に係る取得手段、決定手段、変更手段及び登録手段の一例である。また、検出部１４Ａ及び時系列処理部１５Ａはそれぞれ、本明細書に係る検出手段の一例である。
【0031】
図５は、情報処理装置１Ａの機能構成及び処理の流れの一例を示すブロック図である。なお、図５における一方向性の矢印はある信号（データ）の流れの方向を端的に示したものであり、双方向性を排除するものではない。
【0032】
画像取得部１１Ａは、撮影装置２が撮影した画像を表す画像データを取得する。画像取得部１１Ａは、入出力部４０Ａを介して入力される画像データを取得してもよいし、情報処理装置１Ａのユーザが指定した格納先（情報処理装置１Ａの記憶装置内であってもよいし、情報処理装置１Ａ外の記憶装置内であってもよい）から画像データを取得してもよい。また、画像取得部１１Ａは、通信部３０Ａを介して他の装置から画像データを受信することにより画像データを取得してもよい。
【0033】
以下では、説明の便宜上、画像取得部１１Ａが取得した画像データであって、物体検出処理の対象である画像データを「対象画像」ともいう。また、過去に物体検出処理が行われた画像データを「過去画像」ともいう。
【0034】
解像度判定部１２Ａは、画像取得部１１Ａが取得した対象画像をどの解像度で時系列処理部１５Ａに解析させるかを決定する。このとき、解像度判定部１２Ａは、解像度を判定するための参照情報ＲＩを記憶部２０Ａから読み出し、読み出した参照情報ＲＩに基づき、対象画像の解像度を決定する。
【0035】
参照情報ＲＩは、過去画像における検出部１４Ａの検出結果、過去画像に対する時系列処理部１５Ａの処理結果、及び過去画像の撮影ズーム率、の少なくともいずれかを示す情報を含む。参照情報ＲＩは一例として、検出部１４Ａが対象画像から検出した物体の数及び大きさの少なくともいずれかを示す情報を含む。
【0036】
解像度判定部１２Ａは例えば、過去のＮ個のフレーム（ＮはＮ≧１を満たす整数）において物体の検出数が連続してゼロだった場合に小さい解像度を決定し、そうでない場合に大きい解像度を決定する。ただし、解像度判定部１２Ａが解像度を決定する手法は上述した例に限定されない。解像度判定部１２Ａが行う解像度の決定処理については後述する。
【0037】
画像サイズ変更部１３Ａは、対象画像のデータサイズを、解像度判定部１２Ａが決定した解像度に応じて変更する。検出部１４Ａは、画像サイズ変更部１３Ａがデータサイズを変更した対象画像から物体を検出する。検出部１４Ａは一例として、上記対象画像を、画像を入力とし物体の検出結果を出力とする学習済モデルＬＭに入力することにより上記物体を検出する。
【0038】
学習済モデルＬＭは機械学習により生成されるモデルである。学習済モデルＬＭの機械学習の手法は限定されず、一例として、決定木ベース、線形回帰、又はニューラルネットワークの手法が用いられてもよく、また、これらのうちの２以上の手法が用いられてもよい。学習済モデルＬＭとしては、例えばＹＯＬＯ（You Only Look Once）、ＶｉＴ（Vision Transformer）、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Regions with CNN features）、ＳＳＤ（Single Shot MultiBox Detector）等の既存の学習済モデルを、入力された解像度のまま推論するように改造したものを用いることができる。学習済モデルＬＭの入力は、一例として画像データを含み、学習済モデルＬＭの出力は、一例として物体（商品等）の識別結果、画像の分類結果、等を示す情報を含む。
【0039】
時系列処理部１５Ａは検出部１４Ａが対象画像から検出した物体について解析処理を行う。時系列処理部１５Ａは特に、検出部１４Ａが対象画像から検出した物体を追跡することにより、検出した物体をフレーム間で時系列方向に同定する。
【0040】
登録部１６Ａは、対象画像からの検出部１４Ａによる検出結果、時系列処理部１５Ａによる解析結果、及び当該対象画像の撮影ズーム率、の少なくともいずれかを示す情報を、参照情報ＲＩとして記憶部２０Ａの内部メモリ２１Ａに記憶する。参照情報ＲＩは、上述したように、検出部１４Ａが検出した物体の大きさを示す情報等を含む。
【0041】
出力部１７Ａは、時系列処理部１５Ａによる解析結果を示すデータ出力する。出力部１７Ａは、解析結果を示すデータを入出力部４０Ａに接続された出力装置に出力してもよいし、通信部３０Ａを介して接続された他の装置に上記データを送信してもよい。また、出力部１７Ａは、上記データを情報処理装置１Ａのユーザが指定した格納先（情報処理装置１Ａの記憶装置内であってもよいし、情報処理装置１Ａ外の記憶装置であってもよい）に書き込むことにより上記データを出力してもよい。
【0042】
記憶部２０Ａは、情報処理装置１Ａが使用する各種データを記憶する。記憶部２０Ａには特に、参照情報ＲＩが記憶される。また、記憶部２０Ａには、検出部１４Ａが物体の検出に用いる学習済モデルＬＭが記憶される。ここで、記憶部２０Ａに学習済モデルＬＭが記憶されるとは、学習済モデルＬＭを定めるモデルパラメータが記憶部２０Ａに記憶されることをいう。
【0043】
（解像度判定処理の具体例１～５）
解像度判定部１２Ａが行う解像度の決定処理の具体例について図面を参照しつつ説明する。解像度判定部１２Ａは、上述したように、過去の解析結果等によって画像サイズ変更部１３Ａに指示する解像度を適応的に変更する。
解像度判定部１２Ａが行う解像度の決定処理の具体例について図面を参照しつつ説明する。解像度判定部１２Ａは、上述したように、過去の解析結果等によって画像サイズ変更部１３Ａに指示する解像度を適応的に変更する。
【0044】
（具体例１：物体検出数に応じて解像度を決定）
具体例１では、解像度判定部１２Ａは過去画像での物体の検出数を用いて解像度を決定する。この場合、一例として、参照情報ＲＩは、検出部１４Ａが検出した物体の数を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩの示す物体の数が閾値以上である場合、当該物体の数が閾値未満である場合よりも大きい解像度を決定する。
具体例１では、解像度判定部１２Ａは過去画像での物体の検出数を用いて解像度を決定する。この場合、一例として、参照情報ＲＩは、検出部１４Ａが検出した物体の数を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩの示す物体の数が閾値以上である場合、当該物体の数が閾値未満である場合よりも大きい解像度を決定する。
【0045】
例えば、検出対象がめったに検出されないことが事前に分かっている場合、情報処理装置１Ａは、普段は小さな解像度で解析し、一定数以上の物体が検出されればそれ以降は解像度を上げて高精度に検出する。その後、検出人数が一定数以下になれば小さな解像度に戻す、といった制御を情報処理装置１Ａが行う。この例で、普段は小さな解像度で解析することにより処理負荷を下げて省エネを実現できるとともに、一定数以上の物体が検出された場合に解像度を上げることにより、詳細な解析が必要な状況において解析精度を高くすることができる。
【0046】
図６は、具体例１における解像度判定部１２Ａが行う処理の流れの一例を示すフロー図である。図６の例で、解像度判定部１２Ａは、フレームがある限り繰り返しステップＳ１０２～Ｓ１０７の処理を実行する。以下の説明では、処理対象のフレームを「フレームｆｔ」とし、フレームｆｔの直前のフレームをフレームｆｔ－１とする。
【0047】
ステップＳ１０２において、解像度判定部１２Ａは、フレームｆｔ－１における物体の検出数をＮｐｒｅとする。ステップＳ１０３において、解像度判定部１２Ａは、検出数Ｎｐｒｅが第１の閾値Ｎ１未満であるかを判定する。検出数Ｎｐｒｅが第１の閾値Ｎ１未満である場合（ステップＳ１０３にてＹＥＳ）、解像度判定部１２ＡはステップＳ１０４の処理に進む。一方、検出数Ｎｐｒｅが第１の閾値Ｎ１以上である場合（ステップＳ１０３にてＮＯ）、解像度判定部１２ＡはステップＳ１０５の処理に進む。
【0048】
ステップＳ１０４において、解像度判定部１２Ａは、対象画像の解像度を（Ｓ×Ｓ）と決定する。ステップＳ１０５において、解像度判定部１２Ａは、検出数Ｎｐｒｅが第２の閾値Ｎ２未満であるかを判定する。検出数Ｎｐｒｅが第２の閾値Ｎ２未満である場合（ステップＳ１０５にてＹＥＳ）、解像度判定部１２ＡはステップＳ１０６の処理に進む。一方、検出数Ｎｐｒｅが第２の閾値Ｎ２以上である場合（ステップＳ１０５にてＮＯ）、解像度判定部１２ＡはステップＳ１０７の処理に進む。
【0049】
ステップＳ１０６において、解像度判定部１２Ａは、対象画像の解像度を（Ｍ×Ｍ）と決定する。ここで、Ｍは、Ｍ＞Ｓを満たす整数である。また、ステップＳ１０７において、解像度判定部１２Ａは、対象画像の解像度を（Ｌ×Ｌ）と決定する。ここで、Ｌは、Ｌ＞Ｍを満たす整数である。
【0050】
なお、図６の例では、解像度のバリエーションが３つ（Ｓ×Ｓ、Ｍ×Ｍ、Ｌ×Ｌ）である場合を説明したが、解像度のバリエーションの数は３に限られず、３より多くても少なくてもよい。
【0051】
また、図６の例では、解像度判定部１２Ａは、直前のフレームにおける検出数Ｎｐｒｅを用いて解像度を決定したが、解像度の決定に用いる情報は検出数Ｎｐｒｅに限定されず、他の情報であってもよい。解像度判定部１２Ａは例えば、過去のｋ個のフレーム（ｋはｋ≧２を満たす整数）の検出数の統計結果（平均値、合計値、等）を用いて解像度を決定してもよい。また、他の例として、解像度判定部１２Ａは例えば、過去ｍ日（ｍはｍ≧１を満たす整数）の同時刻のｋ個のフレームの検出数の統計結果（平均値、合計値、等）を用いて解像度を決定してもよい。
【0052】
また、解像度判定部１２Ａは、対象画像を複数の領域に分割した場合における所定の領域における物体の検出数（混雑度）を用いて解像度を決定してもよい。混雑度が大きくなると、物体同士の重なりが発生するため、検出難易度が上がる。所定数以上の物体が検出された場合に解像度を上げて検出することにより、より正確な検出を行うことができ、検出精度を向上させることができる。
【0053】
（具体例２：物体検出数の変化の態様に応じて解像度を決定）
具体例２では、解像度判定部１２Ａは、物体の検出数の変化の態様に応じて解像度を決定する。この場合、一例として、参照情報ＲＩは、時系列処理部１５Ａによる処理結果を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩが画像に含まれる物体の数が時間の経過に伴って増加した旨を示す場合、増加した旨を示さない場合よりも大きい解像度を決定する。
具体例２では、解像度判定部１２Ａは、物体の検出数の変化の態様に応じて解像度を決定する。この場合、一例として、参照情報ＲＩは、時系列処理部１５Ａによる処理結果を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩが画像に含まれる物体の数が時間の経過に伴って増加した旨を示す場合、増加した旨を示さない場合よりも大きい解像度を決定する。
【0054】
（具体例３：検出された物体の大きさに応じて解像度を決定）
具体例３では、解像度判定部１２Ａは物体の大きさに応じて解像度を決定する。この場合、一例として、参照情報ＲＩは、検出部１４Ａが検出した物体の大きさを示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩの示す物体の大きさが閾値未満である場合、当該大きさが閾値以上である場合よりも大きい解像度を決定する。
具体例３では、解像度判定部１２Ａは物体の大きさに応じて解像度を決定する。この場合、一例として、参照情報ＲＩは、検出部１４Ａが検出した物体の大きさを示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩの示す物体の大きさが閾値未満である場合、当該大きさが閾値以上である場合よりも大きい解像度を決定する。
【0055】
（具体例４：検出された物体の大きさの変化の態様に応じて解像度を決定）
具体例４では、解像度判定部１２Ａは、検出部１４Ａが検出した物体の大きさの変化の態様に応じて解像度を決定する。ここで、物体の大きさの変化の態様は、一例として、過去のｋ個のフレームでの物体の検出サイズの縮小率、又は、過去のｋ個のフレームでの物体の検出サイズの縮小速度である。
具体例４では、解像度判定部１２Ａは、検出部１４Ａが検出した物体の大きさの変化の態様に応じて解像度を決定する。ここで、物体の大きさの変化の態様は、一例として、過去のｋ個のフレームでの物体の検出サイズの縮小率、又は、過去のｋ個のフレームでの物体の検出サイズの縮小速度である。
【0056】
解像度判定部１２Ａは一例として、検出部１４Ａが検出した物体の大きさが小さくなった場合に、解像度を大きくする。この例で、参照情報ＲＩは、時系列処理部１５Ａによる処理結果を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩが画像に含まれる物体の大きさが時間の経過に伴って小さくなった旨を示す場合、小さくなった旨を示さない場合よりも大きい解像度を決定する。ここで、参照情報ＲＩは一例として、過去のｋ個のフレームでの物体の検出サイズの縮小率、又は、過去のｋ個のフレームでの物体の検出サイズの縮小速度を含む。
【0057】
図７は、具体例４において解像度判定部１２Ａが実行する処理を説明するための図である。図７の例では、フレームｆ７ｔ－２、フレームｆ７ｔ－１、フレームｆ７ｔ、の３つのフレームにおいて、検出部１４Ａが検出した物体が時間の経過に伴って小さくなっている。この物体を検出し続けるために、解像度判定部１２Ａは高い解像度を決定する。
【0058】
（具体例５：ズーム率に応じて解像度を決定）
具体例５は、撮影装置２が撮影した際のズーム率に応じて解像度判定部１２Ａが解像度を決定する手法である。この例で、撮影装置２は一例として、ＰＴＺカメラ（Panoramac Tilt Zoom）カメラである。解像度判定部１２Ａは、撮影装置２においてズーム率が変更された旨の情報を受け取り、受け取った情報に基づき解像度を決定する。
具体例５は、撮影装置２が撮影した際のズーム率に応じて解像度判定部１２Ａが解像度を決定する手法である。この例で、撮影装置２は一例として、ＰＴＺカメラ（Panoramac Tilt Zoom）カメラである。解像度判定部１２Ａは、撮影装置２においてズーム率が変更された旨の情報を受け取り、受け取った情報に基づき解像度を決定する。
【0059】
解像度判定部１２Ａは一例として、参照情報ＲＩの示すズーム率が変化した場合、当該撮影ズーム率が変化しない場合よりも大きい解像度を決定する。ズーム率が変更された場合、ユーザが注目している対象が映ることが期待される。そのため、解像度を上げることにより、ユーザが注目しているタイミングにおいて物体の検出精度を向上させることができる。
【0060】
また、他の例として、解像度判定部１２Ａは例えば、参照情報ＲＩの示す過去画像のズーム率が所定の閾値以下である場合に、それ以外の場合よりも大きい解像度を決定する。また、他の例として、解像度判定部１２Ａは例えば、参照情報ＲＩの示すズーム率が大きくなった場合、当該ズーム率が大きくなっていない場合よりも大きい解像度を決定する。また、他の例として、解像度判定部１２Ａは例えば、参照情報ＲＩの示すズーム率が小さく場合、当該ズーム率が小さくなっていない場合よりも大きい解像度を決定する。
【0061】
図８は、解像度判定部１２Ａが実行する処理を説明するための図である。図８の例において、フレームｆ８ｔ－２ではズーム率が小さいため、解像度判定部１２は大きい解像度を決定する。また、フレームｆ８ｔ－１ではズーム率が中程度であり、解像度判定部１２は中程度の解像度を決定する。また、フレームｆ８ｔではズーム率が大きいため、解像度判定部１２は小さい解像度を決定する。
【0062】
また、他の例として、ズーム率と解像度との対応関係を事前に統計的に解析しておいた解析結果に基づき、解像度判定部１２Ａがズーム率に対して適切な解像度を決定してもよい。このようにすることで、検出精度とスループットとのバランスを適応的に取ることができる。
【0063】
解像度判定部１２Ａが行う解像度の決定処理は上述した例に限定されるものではなく、解像度判定部１２Ａは他の手法により解像度を決定してもよい。また、解像度判定部１２Ａは、上述の具体例１～５のうちの２つ以上を組み合わせて解像度を決定してもよい。
【0064】
（情報処理装置の効果）
以上説明したように本例示的実施形態に係る情報処理装置１Ａは、過去画像の解析結果により正規化する画像サイズを変更する。すなわち、過去の解析結果から不要だと思われるタイミングでは解像度を小さく解析することで省エネ、解析スループットを向上させることができる。また、取得した画像を必要なタイミングでは縮小せずに解析することで認識精度を向上させることができる。このように、本例示的実施形態によれば、処理速度と解析精度とのバランスを適切にすることができる。
以上説明したように本例示的実施形態に係る情報処理装置１Ａは、過去画像の解析結果により正規化する画像サイズを変更する。すなわち、過去の解析結果から不要だと思われるタイミングでは解像度を小さく解析することで省エネ、解析スループットを向上させることができる。また、取得した画像を必要なタイミングでは縮小せずに解析することで認識精度を向上させることができる。このように、本例示的実施形態によれば、処理速度と解析精度とのバランスを適切にすることができる。
【0065】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、参照情報ＲＩは、検出部１４Ａが上記対象画像から検出した物体の数及び大きさの少なくともいずれかを示す情報を含む構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、過去に検出された物体の数及び／又は大きさに応じて検出精度とスループットとのバランスを調節することができるという効果が得られる。
【0066】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、参照情報ＲＩは、検出部１４Ａが検出した物体の数を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩの示す物体の数が閾値以上である場合、当該物体の数が閾値未満である場合よりも大きい解像度を決定する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、物体の検出数が少ない場合は解像度を下げて処理負荷を下げるとともに、物体の検出数が多い場合は解像度を上げて検出精度を上げることができる。すなわち、情報処理装置１Ａによれば、物体の検出数に応じて検出精度とスループットとのバランスを調節することができる。
【0067】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、検出部１４Ａは、対象画像から検出した物体を時系列方向に同定し、参照情報ＲＩは、検出部１４Ａによる処理結果を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩが画像に含まれる物体の数が時間の経過に伴って増加した旨を示す場合、増加した旨を示さない場合よりも大きい解像度を決定する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、物体の検出数が少なくなっている場合は解像度を下げて処理負荷を下げるとともに、物体の検出数が多くなっている場合は解像度を上げて検出精度を上げることができる。すなわち、情報処理装置１Ａによれば、物体の検出数の変化に応じて検出精度とスループットとのバランスを調節することができる。
【0068】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、参照情報ＲＩは、検出部１４Ａが検出した物体の大きさを示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩの示す物体の大きさが閾値未満である場合、当該大きさが閾値以上である場合よりも大きい解像度を決定する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、検出された物体が大きい場合は解像度を下げて処理負荷を下げるとともに、物体が小さい場合は解像度を上げて検出精度を上げることができる。すなわち、情報処理装置１Ａによれば、物体の大きさに応じて検出精度とスループットとのバランスを調節することができる。
【0069】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、検出部１４Ａは、上記対象画像から検出した物体を時系列方向に同定し、参照情報ＲＩは、検出部１４Ａによる処理結果を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩが画像に含まれる物体の大きさが時間の経過に伴って小さくなった旨を示す場合、小さくなった旨を示さない場合よりも大きい解像度を決定する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、物体の大きさが大きくなっている場合は解像度を下げて処理負荷を下げるとともに、物体の大きさが小さくなっている場合は解像度を上げて検出精度を上げることができる。すなわち、情報処理装置１Ａによれば、物体の大きさの変化に応じて検出精度とスループットとのバランスを調節することができ、特に、物体の奥行方向の移動への頑健性を向上させることができる。
【0070】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、検出部１４Ａは、上記対象画像を、画像を入力とし物体の検出結果を出力とする学習済モデルＬＭに入力することにより上記物体を検出する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、学習済モデルＬＭを用いた物体検出において検出精度とスループットとのバランスを過去の物体の検出結果等に応じて調節することができる。
【0071】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、参照情報ＲＩは、画像の撮影ズーム率を示す情報を含み、解像度判定部１２Ａは、参照情報ＲＩの示す撮影ズーム率が変化した場合、当該撮影ズーム率が変化していない場合よりも大きい解像度を決定する。このため、本例示的実施形態に係る情報処理装置１Ａによれば、撮影ズーム率が変化していない場合は解像度を下げて処理負荷を下げるとともに、撮影ズーム率が変化した場合は解像度を上げて検出精度を上げることができる。
【0072】
ズーム率が変更された場合、ユーザが注目している対象が映ることが期待される。そのため、解像度を上げることにより、ユーザが注目しているタイミングにおいて物体の検出精度を向上させることができる。すなわち、情報処理装置１Ａによれば、撮影ズーム率の変化に応じて検出精度とスループットとのバランスを調節することができる。
【0073】
〔例示的実施形態３〕
本発明の例示的実施形態３について、図面を参照して詳細に説明する。図９は、例示的実施形態３に係る情報処理システム１Ｂの機能構成の一例を示す図である。情報処理システム１Ｂは、複数の撮影装置２Ｂ、２Ｃの撮影画像を共通の検出部１４Ｂで解析する。図９における一方向性の矢印はある信号（データ）の流れの方向を端的に示したものであり、双方向性を排除するものではない。
本発明の例示的実施形態３について、図面を参照して詳細に説明する。図９は、例示的実施形態３に係る情報処理システム１Ｂの機能構成の一例を示す図である。情報処理システム１Ｂは、複数の撮影装置２Ｂ、２Ｃの撮影画像を共通の検出部１４Ｂで解析する。図９における一方向性の矢印はある信号（データ）の流れの方向を端的に示したものであり、双方向性を排除するものではない。
【0074】
情報処理システム１Ｂは、撮影装置２Ｂが撮影した画像の解析処理等を行う解析部１８Ｂと、撮影装置２Ｃが撮影した画像の解析処理等を行う解析部１８Ｃと、検出部１４Ｂとを備える。解析部１８Ｂ、解析部１８Ｃ、及び検出部１４Ｂは、それぞれ異なる装置に実装されていてもよく、また、１台の装置に実装されていてもよい。
【0075】
解析部１８Ｂは、画像取得部１１Ｂ、解像度判定部１２Ｂ、画像サイズ変更部１３Ｂ、時系列処理部１５Ｂ、登録部１６Ｂ、及び出力部１７Ｂを備える。画像取得部１１Ｂは撮影装置２Ｂが撮影した画像を表す画像データを取得する。解像度判定部１２Ｂは、画像取得部１１Ｂが取得した対象画像の解像度を、内部メモリ２１Ｂに記憶された参照情報ＲＩに基づき決定する。画像サイズ変更部１３Ｂは、解像度判定部１２Ｂが決定した解像度に応じて対象画像のデータサイズを変更する。画像サイズ変更部１３Ｂは、データサイズを変更した対象画像を検出部１４Ｂに供給する。
【0076】
検出部１４Ｂは、画像サイズ変更部１３Ｂから供給される対象画像、及び、画像サイズ変更部１３Ｃから供給される対象画像から物体を検出する。検出部１４Ｂが行う検出処理の詳細は、上述の例示的実施形態２に係る検出部１４Ａと同様である。
【0077】
時系列処理部１５Ｂは、検出部１４Ｂが対象画像から検出した物体を追跡することにより、検出した物体をフレーム間で時系列方向に同定する。登録部１６Ｂは、対象画像からの検出部１４Ｂによる検出結果、時系列処理部１５Ｂによる解析結果、及び当該対象画像の撮影ズーム率等を示す情報を、参照情報ＲＩとして内部メモリ２１Ｂに記憶するとともに、解析部１８Ｃに供給する。解析部１８Ｃは、登録部１６Ｂから供給された参照情報ＲＩを内部メモリ２１Ｃに記憶する。出力部１７Ｂは、時系列処理部１５Ｂによる解析結果を出力する。
【0078】
解析部１８Ｃは、画像取得部１１Ｃ、解像度判定部１２Ｃ、画像サイズ変更部１３Ｃ、時系列処理部１５Ｃ、登録部１６Ｃ、及び出力部１７Ｃを備える。画像取得部１１Ｃは撮影装置２Ｃが撮影した画像を表す画像データを取得する。解像度判定部１２Ｃは、画像取得部１１Ｃが取得した対象画像の解像度を、内部メモリ２１Ｃに記憶された参照情報ＲＩに基づき決定する。画像サイズ変更部１３Ｃは、解像度判定部１２Ｃが決定した解像度に応じて対象画像のデータサイズを変更する。画像サイズ変更部１３Ｃは、データサイズを変更した対象画像を検出部１４Ｂに供給する。
【0079】
時系列処理部１５Ｃは、検出部１４Ｂが対象画像から検出した物体を追跡することにより、検出した物体をフレーム間で時系列方向に同定する。登録部１６Ｃは、対象画像からの検出部１４Ｂによる検出結果、時系列処理部１５Ｃによる解析結果、及び当該対象画像の撮影ズーム率等を示す情報を、参照情報ＲＩとして内部メモリ２１Ｃに記憶するとともに、解析部１８Ｂに供給する。解析部１８Ｂは、登録部１６Ｃから供給された参照情報ＲＩを内部メモリ２１Ｂに記憶する。出力部１７Ｃは、時系列処理部１５Ｃによる解析結果を出力する。
【0080】
本例示的実施形態において、解像度判定部１２Ｂは、撮影装置２Ｂが撮影した画像に対する解析結果だけでなく、撮影装置２Ｃが撮影した画像に対する解析結果及び／又は解析状況に基づき、対象画像の解像度を決定する。また、解像度判定部１２Ｃは、撮影装置２Ｃが撮影した画像に対する解析結果だけでなく、撮影装置２Ｂが撮影した画像に対する解析結果及び／又は解析状況に基づき、対象画像の解像度を決定する。
【0081】
換言すると、解像度判定部１２Ｂ及び解像度判定部１２Ｃは、解析対象である撮影装置以外の撮影装置が撮影した画像に対する解析結果及び／又は解析状況に基づき、対象画像の解像度を決定する。ここで、他の撮影装置が撮影した画像に対する解析状況は、一例として、他の撮影装置の処理プロセスのハードウェア占有率を含む。この場合、解像度判定部１２Ｂ及び解像度判定部１２Ｃは一例として、他の撮影装置の撮影画像に対する解析処理に係るハードウェア占有率が高い場合に、負荷を下げるために解像度を下げる、といった制御を行う。
【0082】
また、他の例として、解像度判定部１２Ｂ及び解像度判定部１２Ｃは例えば、他の撮影装置による物体の検出数を用いて解像度を決定してもよい。他の撮影装置が撮影した画像における物体の検出数が多い場合、並列実行される時系列処理の計算量が多いことが予想される。そのため、解像度判定部１２Ａは一例として、他の撮影装置による物体の検出数が多い場合に、計算量を下げるために解像度を下げる、といった制御を行ってもよい。より具体的には、例えば、撮影装置２Ｂが撮影した過去Ｎフレーム内に物体の検出がない場合に解像度判定部１２Ｂが対象画像の解像度を低くすることで、検出部１４Ｂのスループットを向上させることができる。
【0083】
また、例えば、全ての撮影装置に映る物体の数の総数が予めわかっている場合において、他の撮影装置で検出された物体の数の合計値が上記総数に達している場合、解像度判定部１２Ｂ及び解像度判定部１２Ｃが低い解像度を決定する、といった制御を行ってもよい。
【0084】
〔ソフトウェアによる実現例〕
情報処理装置１、１Ａ、及び情報処理システム１Ｂ（以下「情報処理装置１等」という）の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１、１Ａ、及び情報処理システム１Ｂ（以下「情報処理装置１等」という）の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0085】
後者の場合、情報処理装置１等は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１等として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１等の各機能が実現される。
【0086】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0087】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0088】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0089】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0090】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
（付記１）
撮影装置が撮影した画像を取得する取得手段と、前記取得手段が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得手段が取得した物体検出処理の対象である対象画像の解像度を決定する決定手段と、前記対象画像のデータサイズを、前記決定手段が決定した解像度に応じて変更する変更手段と、前記データサイズが変更された対象画像から物体を検出する検出手段と、前記対象画像からの前記検出手段による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する登録手段と、を備えることを特徴とする情報処理装置。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
（付記１）
撮影装置が撮影した画像を取得する取得手段と、前記取得手段が過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得手段が取得した物体検出処理の対象である対象画像の解像度を決定する決定手段と、前記対象画像のデータサイズを、前記決定手段が決定した解像度に応じて変更する変更手段と、前記データサイズが変更された対象画像から物体を検出する検出手段と、前記対象画像からの前記検出手段による検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する登録手段と、を備えることを特徴とする情報処理装置。
【0091】
（付記２）
前記参照情報は、前記検出手段が前記対象画像から検出した物体の数及び大きさの少なくともいずれかを示す情報を含む、ことを特徴とする付記１に記載の情報処理装置。
前記参照情報は、前記検出手段が前記対象画像から検出した物体の数及び大きさの少なくともいずれかを示す情報を含む、ことを特徴とする付記１に記載の情報処理装置。
【0092】
（付記３）
前記参照情報は、前記検出手段が検出した物体の数を示す情報を含み、前記決定手段は、前記参照情報の示す物体の数が閾値以上である場合、当該物体の数が閾値未満である場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
前記参照情報は、前記検出手段が検出した物体の数を示す情報を含み、前記決定手段は、前記参照情報の示す物体の数が閾値以上である場合、当該物体の数が閾値未満である場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
【0093】
（付記４）
前記検出手段は、前記対象画像から検出した物体を時系列方向に同定し、前記参照情報は、前記検出手段による処理結果を示す情報を含み、前記決定手段は、前記参照情報が画像に含まれる物体の数が時間の経過に伴って増加した旨を示す場合、増加した旨を示さない場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
前記検出手段は、前記対象画像から検出した物体を時系列方向に同定し、前記参照情報は、前記検出手段による処理結果を示す情報を含み、前記決定手段は、前記参照情報が画像に含まれる物体の数が時間の経過に伴って増加した旨を示す場合、増加した旨を示さない場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
【0094】
（付記５）
前記参照情報は、前記検出手段が検出した物体の大きさを示す情報を含み、前記決定手段は、前記参照情報の示す物体の大きさが閾値未満である場合、当該大きさが閾値以上である場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
前記参照情報は、前記検出手段が検出した物体の大きさを示す情報を含み、前記決定手段は、前記参照情報の示す物体の大きさが閾値未満である場合、当該大きさが閾値以上である場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
【0095】
（付記６）
前記検出手段は、前記対象画像から検出した物体を時系列方向に同定し、前記参照情報は、前記検出手段による処理結果を示す情報を含み、前記決定手段は、前記参照情報が画像に含まれる物体の大きさが時間の経過に伴って小さくなった旨を示す場合、小さくなった旨を示さない場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
前記検出手段は、前記対象画像から検出した物体を時系列方向に同定し、前記参照情報は、前記検出手段による処理結果を示す情報を含み、前記決定手段は、前記参照情報が画像に含まれる物体の大きさが時間の経過に伴って小さくなった旨を示す場合、小さくなった旨を示さない場合よりも大きい解像度を決定する、ことを特徴とする付記２に記載の情報処理装置。
【0096】
（付記７）
前記検出手段は、前記対象画像を、画像を入力とし物体の検出結果を出力とする学習済モデルに入力することにより前記物体を検出する、ことを特徴とする付記１から６のいずれか１つに記載の情報処理装置。
前記検出手段は、前記対象画像を、画像を入力とし物体の検出結果を出力とする学習済モデルに入力することにより前記物体を検出する、ことを特徴とする付記１から６のいずれか１つに記載の情報処理装置。
【0097】
（付記８）
前記参照情報は、前記画像の撮影ズーム率を示す情報を含み、前記決定手段は、前記参照情報の示す撮影ズーム率が変化した場合、当該撮影ズーム率が変化していない場合よりも大きい解像度を決定する、ことを特徴とする付記１から７のいずれか１つに記載の情報処理装置。
前記参照情報は、前記画像の撮影ズーム率を示す情報を含み、前記決定手段は、前記参照情報の示す撮影ズーム率が変化した場合、当該撮影ズーム率が変化していない場合よりも大きい解像度を決定する、ことを特徴とする付記１から７のいずれか１つに記載の情報処理装置。
【0098】
（付記９）
少なくとも１つのプロセッサが、撮影装置が撮影した画像を取得することと、過去に取得された画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する工程において取得された、物体検出処理の対象である対象画像の解像度を決定することと、前記対象画像のデータサイズを、前記決定する工程において決定された解像度に応じて変更することと、前記データサイズが変更された対象画像から物体を検出することと、前記対象画像からの前記物体の検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶することと、を含むことを特徴とする情報処理方法。
少なくとも１つのプロセッサが、撮影装置が撮影した画像を取得することと、過去に取得された画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する工程において取得された、物体検出処理の対象である対象画像の解像度を決定することと、前記対象画像のデータサイズを、前記決定する工程において決定された解像度に応じて変更することと、前記データサイズが変更された対象画像から物体を検出することと、前記対象画像からの前記物体の検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶することと、を含むことを特徴とする情報処理方法。
【0099】
（付記１０）
コンピュータに、撮影装置が撮影した画像を取得する処理と、前記取得する処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する処理と、前記対象画像のデータサイズを、前記決定する処理において決定した解像度に応じて変更する処理と、前記データサイズが変更された対象画像から物体を検出する処理と、前記対象画像からの前記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する処理と、を実行させるためのプログラム。
コンピュータに、撮影装置が撮影した画像を取得する処理と、前記取得する処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する処理と、前記対象画像のデータサイズを、前記決定する処理において決定した解像度に応じて変更する処理と、前記データサイズが変更された対象画像から物体を検出する処理と、前記対象画像からの前記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する処理と、を実行させるためのプログラム。
【0100】
（付記１１）
少なくとも１つのプロセッサを備え、前記プロセッサは、撮影装置が撮影した画像を取得する取得処理と、前記取得処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する決定処理と、前記対象画像のデータサイズを、前記決定する処理において決定した解像度に応じて変更する変更処理と、前記データサイズが変更された対象画像から物体を検出する検出処理と、前記対象画像からの前記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する登録処理とを実行する情報処理装置。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記決定処理と、前記変更処理と、前記検出処理と、前記登録処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
少なくとも１つのプロセッサを備え、前記プロセッサは、撮影装置が撮影した画像を取得する取得処理と、前記取得処理において過去に取得した画像からの物体の検出結果及び当該画像の撮影ズーム率、の少なくともいずれかを示す参照情報を記憶手段から読み出し、読み出した参照情報に基づき、前記取得する処理において取得した物体検出処理の対象である対象画像の解像度を決定する決定処理と、前記対象画像のデータサイズを、前記決定する処理において決定した解像度に応じて変更する変更処理と、前記データサイズが変更された対象画像から物体を検出する検出処理と、前記対象画像からの前記検出する処理における検出結果及び当該対象画像の撮影ズーム率の少なくともいずれかを示す情報を、前記参照情報として前記記憶手段に記憶する登録処理とを実行する情報処理装置。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記決定処理と、前記変更処理と、前記検出処理と、前記登録処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0101】
１、１Ａ 情報処理装置
１１ 取得部
１１Ａ 画像取得部
１２、１２Ａ 解像度判定部
１２ 決定部
１３ 変更部
１３Ａ 画像サイズ変更部
１４、１４Ａ、１４Ｂ 検出部
１５、１６Ａ 登録部
１５Ａ 時系列処理部
１７Ａ 出力部
ＬＭ 学習済モデル
Ｓ１ 情報処理方法
１１ 取得部
１１Ａ 画像取得部
１２、１２Ａ 解像度判定部
１２ 決定部
１３ 変更部
１３Ａ 画像サイズ変更部
１４、１４Ａ、１４Ｂ 検出部
１５、１６Ａ 登録部
１５Ａ 時系列処理部
１７Ａ 出力部
ＬＭ 学習済モデル
Ｓ１ 情報処理方法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】