特開 2024-118659 検知装置、検知方法および検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118659

(43)【公開日】2024-09-02

(54)【発明の名称】検知装置、検知方法および検知プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240826BHJP

   G06N 3/08 20230101ALI20240826BHJP

   G06N 3/045 20230101ALI20240826BHJP

【ＦＩ】

G06T7/00 350C

G06N3/08

G06N3/045

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023025056

(22)【出願日】2023-02-21

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】史 旭

(72)【発明者】

【氏名】榎本 昇平

(72)【発明者】

【氏名】坂本 啓

(72)【発明者】

【氏名】江田 毅晴

(72)【発明者】

【氏名】森永 一路

(72)【発明者】

【氏名】渡辺 裕

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096DA01

5L096FA16

5L096GA51

5L096HA11

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】２層推論による検知において、１層目のモデルをエッジデバイスに実装する際にも、メモリバンクを活用して検知精度を向上させる。
【解決手段】取得部１５ａが、処理対象の所定期間のデータを取得する。抽出部１５ｂは、取得されたデータを１層目モデル１４ａに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出し、抽出したクラスごとの特徴量を、補完用特徴量としてメモリバンク１４ｃに記憶させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

処理対象の所定期間のデータを取得する取得部と、
取得された前記データをモデルに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出して記憶部に記憶させる抽出部と、
を有することを特徴とする検知装置。

【請求項2】

前記モデルは、軽量な物体検出ＤＮＮ（Deep Neural Network）であることを特徴とする請求項１に記載の検知装置。

【請求項3】

抽出された前記特徴量を用いて前記モデルを学習する学習部を、さらに有することを特徴とする請求項１に記載の検知装置。

【請求項4】

検知装置が実行する検知方法であって、
前記検知装置は、記憶部を有し、
処理対象の所定期間のデータを取得する取得工程と、
取得された前記データをモデルに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出して前記記憶部に記憶させる抽出工程と、
を含んだことを特徴とする検知方法。

【請求項5】

処理対象の所定期間のデータを取得する取得ステップと、
取得された前記データをモデルに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出して記憶部に記憶させる抽出ステップと、
をコンピュータに実行させるための検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検知装置、検知方法および検知プログラムに関する。

【背景技術】

【0002】

従来、物体や人物の検知において、２層推論技術が知られている。２層推論技術は、１層目のモデルによる検知結果に基づいて検知対象のエリア（ＲＯＩ，Region Of Interesting）を絞り、ＲＯＩ内の状況に応じて、精度の異なる２層目のモデルのうち、適切な精度クラスのモデルを選定して詳細な分析を行う。

【0003】

また、メモリバンクを活用して検知精度を向上させる技術が開示されている（非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Sara Beery, Guanhang Wu, Vivek Rathod, Ronny Votel, Jonathan Huang, “Context R-CNN: Long Term Temporal Context for Per-Camera Object Detection”, arXiv:1912.03538v3, 2020年4月22日

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術によれば、２層推論による検知において、１層目のモデルをエッジデバイスに実装する際に、メモリバンクを活用して検知精度を向上させる技術を導入することが困難な場合がある。例えば、従来、メモリバンクを活用して検知精度を向上させるためには、計算リソースやメモリに余裕のあるクラウド側で処理を行うことが想定されているため、採用されているベースＮＷ（NetWork）が重い。また、検知精度を保証するための高品質な補完用特徴量をメモリバンクに予め格納しておくため、メモリバンクが肥大化する。そのため、一般にメモリサイズの小さいエッジデバイスに適用することが困難である。

【0006】

本発明は、上記に鑑みてなされたものであって、２層推論による検知において、１層目のモデルをエッジデバイスに実装する際にも、メモリバンクを活用して検知精度を向上可能とすることを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る検知装置は、処理対象の所定期間のデータを取得する取得部と、取得された前記データをモデルに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出して記憶部に記憶させる抽出部と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、２層推論による検知において、１層目のモデルをエッジデバイスに実装する際にも、メモリバンクを活用して検知精度を向上させることが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態の検知装置の概要を説明するための図である。

【図2】図２は、本実施形態の検知装置の概要を説明するための図である。

【図3】図３は、本実施形態の検知装置の概略構成を例示する模式図である。

【図4】図４は、検知処理手順を示すフローチャートである。

【図5】図５は、検知処理手順を示すフローチャートである。

【図6】図６は、実施例を説明するための図である。

【図7】図７は、検知プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0011】

［検知装置の概要］
図１および図２は、本実施形態の検知装置の概要を説明するための図である。まず、２層推論による検知では、１層目モデルで分析対象の人物や物体のエリア（ＲＯＩ，Region Of Interesting）を絞り込む。次に、各ＲＯＩ内のタスクの難易度の状況に応じて、２層目モデルを選定し、選定した２層目モデルで詳細な分析を行う。例えば、精度が高く計算量の多いモデル、精度が中程度で計算量が中程度のモデル、精度が低く計算量が小さいモデルの３つの中から、ＲＯＩ内の推論の難易度に応じて２層目モデルが選定される。

【0012】

このように、１層目では、図１に例示するように、モデルによる検知結果（（ａ）参照）に基づいて、ＢＢＯＸ（Bounding BOX）からＲＯＩを生成し（（ｂ）参照）、各ＲＯＩ内の推論の難易度を判定する。この１層目モデルでは、必ずしも正確なＢＢＯＸを生成する必要はないが、人物や物体の大まかな位置および数を正確に把握することが望ましい。また、１層目は計算リソースやメモリに制限があるエッジデバイスへの実装も想定されるため、１層目モデルは軽量（低レイテンシ）かつ高精度であることが望ましい。

【0013】

そこで、本実施形態の検知装置は、エッジデバイスである場合を想定し、軽量な物体検出ＤＮＮ(Deep Neural Network)をベースＮＷとする。例えば、１層目モデルのベースＮＷを、Faster RCNN（Region based Convolutional Neural Networks）-MobileNetV3、Faster RCNN-VGG16、Faster RCNN-Resnet18等とする。

【0014】

また、検知装置では、１層目モデルにメモリバンクを活用した検知精度の向上技術を適用する。ここで、メモリバンクを活用した検知精度の向上技術では、図２に例示するように、本番運用に先立ち、一定期間の本番用のデータから高品質な特徴量を補完用特徴量として取得して、メモリバンク（Memory Bank）に保存しておく。この補完用特徴量を用いてAttention Blockの学習を行うことにより、検知精度を向上させる。

【0015】

この場合に、メモリバンクに保存する補完用特徴量は、数が多いほど検知精度の向上に効果的である。一方、物体検知のクラスのそれぞれに物体が均等に映っていない場合や、クラス数が多い場合には、検知精度を保証するためには、クラスごとに高品質な補完用特徴量が必要であり、メモリバンクが肥大化してしまう。また、メモリバンクに保存する補完用特徴量の数が多いと、Attention Blockでの計算時間が増加するため、推論時間が増加する。

【0016】

そこで、検知装置は、一定期間内の総フレームにおいて、クラスごとに、所定の閾値以上の特徴量を対象に、確信度がＴＯＰ Ｋの特徴量を補完用特徴量として抽出し、メモリバンクに保存する。これにより、検知精度を保証しつつ、メモリバンクのメモリ量を削減し、推論時間の増加を抑止することが可能となる。

【0017】

［検知装置の構成］
図３は、本実施形態の検知装置の概略構成を例示する模式図である。図３に例示するように、本実施形態の検知装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。なお、検知装置１０は、エッジデバイスに実装されてもよい。

【0018】

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する検知処理の結果が表示される。

【0019】

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、後述する検知処理の処理対象のデータや各種情報を管理する管理装置等と制御部１５との通信を制御する。

【0020】

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、検知装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

【0021】

本実施形態において、記憶部１４は、後述する検知処理に用いられる、１層目モデル１４ａ、２層目モデル１４ｂを記憶する。また、記憶部１４は、後述する検知処理に用いられるメモリバンク１４ｃとして機能する。

【0022】

ここで、１層目モデル１４ａは、物体の存在するエリア（ＲＯＩ）の検知に用いるモデルである。具体的には、１層目モデル１４ａは、軽量な物体検出ＤＮＮである。例えば、１層目モデル１４ａは、Faster RCNN-MobileNetV3、Faster RCNN-VGG16、Faster RCNN-Resnet18等をベースＮＷとする。

【0023】

また、２層目モデル１４ｂは、エリア内の状況に応じた物体の分析に用いる、状況のクラスごとのモデルである。具体的には、２層目モデル１４ｂは、１層目モデル１４ａが絞り込んだ分析対象の人物や物体のエリア（ＲＯＩ）内のタスクの難易度の状況に対応して設定される。例えば、２層目モデル１４ｂは、精度が高く計算量の多いモデル、精度が中程度で計算量が中程度のモデル、精度が低く計算量が小さいモデルというように、タスクの難易度に対応して設定される。

【0024】

制御部１５は、ＣＰＵ（Central Processing Unit）やＮＰ（Network Processor）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図３に例示するように、取得部１５ａ、抽出部１５ｂ、および学習部１５ｃとして機能して、検知処理を実行する。

【0025】

なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。

【0026】

取得部１５ａは、処理対象の所定期間のデータを取得する。たとえば、取得部１５ａは、入力部１１あるいは通信制御部１３を介して、検知処理の処理対象のデータを管理する管理装置等から、処理対象の所定期間のデータを取得する。取得部１５ａは、取得したデータを記憶部１４に記憶させてもよい。

【0027】

抽出部１５ｂは、取得されたデータを１層目モデル１４ａに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出する。また、抽出部１５ｂは、抽出したクラスごとの特徴量を、補完用特徴量としてメモリバンク１４ｃに記憶させる。

【0028】

具体的には、抽出部１５ｂは、処理対象の所定期間内のデータの総フレームについて、人、車、バイクというような物体検知のクラスごとに、補完用特徴量を抽出する。

【0029】

抽出部１５ｂは、補完用特徴量として、１層目モデル１４ａの出力の確信度が所定の閾値以上である品質の高い特徴量を抽出する。例えば、抽出部１５ｂは、処理対象の本番用のデータを１層目モデル１４ａに入力した場合に出力される所定の閾値以上の特徴量を対象に、クラスごとに、確信度がＴＯＰ Ｋの特徴量を補完用特徴量として抽出する。抽出部１５ｂは、抽出したクラスごとの補完用特徴量を、メモリバンク１４ｃに記憶させる。これにより、効果的に補完用特徴量を抽出できるので、メモリバンク１４ｃのメモリ量の増加を抑え、推論時間の増加を抑えて１層目モデル１４ａの精度を向上させることが可能となる。

【0030】

学習部１５ｃは、抽出された補完用特徴量を用いて１層目モデル１４ａを学習する。具体的には、学習部１５ｃは、メモリバンク１４ｃのクラスごとの補完用特徴量を用いて、図２に例示したAttention Blockの学習を行う。これにより、１層目モデル１４ａの精度が向上する。

【0031】

［検知処理］
次に、図４および図５を参照して、本実施形態に係る検知装置１０による検知処理について説明する。図４および図５は、検知処理手順を示すフローチャートである。本実施形態の検知処理は、補完処理および学習処理を含む。

【0032】

まず、図４に例示する補完処理のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

【0033】

最初に、取得部１５ａが、処理対象の所定期間のデータを取得する（ステップＳ１）。

【0034】

次に、抽出部１５ｂが、取得されたデータを１層目モデル１４ａに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出する（ステップＳ２）。具体的には、抽出部１５ｂは、処理対象の所定期間内のデータの総フレームについて、想定される物体検知のクラスごとに、補完用特徴量を抽出する。

【0035】

抽出部１５ｂは、補完用特徴量として、１層目モデル１４ａの出力の確信度が所定の閾値以上である品質の高い特徴量を抽出する。例えば、抽出部１５ｂは、処理対象の本番用のデータを１層目モデル１４ａに入力した場合に出力される所定の閾値以上の特徴量を対象に、クラスごとに、確信度がＴＯＰ Ｋの特徴量を補完用特徴量として抽出する。

【0036】

また、抽出部１５ｂは、抽出したクラスごとの補完用特徴量を、メモリバンク１４ｃに記憶させる（ステップＳ３）。これにより、一連の補完処理が終了する。

【0037】

次に、図５に例示する学習処理のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。そして、学習部１５ｃが、抽出されたクラスごとの補完用特徴量を用いて１層目モデル１４ａを学習する（ステップＳ１１）。これにより、一連の学習処理が終了する。

【0038】

［効果］
以上、説明したように、本実施形態の検知装置１０において、取得部１５ａが、処理対象の所定期間のデータを取得する。抽出部１５ｂは、取得されたデータを１層目モデル１４ａに入力した場合の出力の確信度が所定の閾値以上である特徴量を、物体検知のクラスごとに抽出する。また、抽出部１５ｂは、抽出したクラスごとの特徴量を、補完用特徴量としてメモリバンク１４ｃに記憶させる。

【0039】

具体的には、１層目モデル１４ａは、軽量すなわち低レイテンシな物体検出ＤＮＮである。

【0040】

これにより、効果的に補完用特徴量を抽出できるので、メモリバンク１４ｃのメモリ量の増加を抑止し、推論時間の増加を抑止して１層目モデル１４ａの精度を保証することが可能となる。また、１層目モデル１４ａをエッジデバイスに実装することが可能となる。このように、検知装置１０によれば、２層推論による検知において、１層目のモデルをエッジデバイスに実装する際にも、メモリバンク１４ｃを活用して検知精度を向上させることが可能となる。

【0041】

また、学習部１５ｃが、抽出された補完用特徴量を用いて１層目モデル１４ａを学習する。これにより、１層目モデル１４ａの精度が向上する。

【0042】

［実施例］
図６は、実施例を説明するための図である。本実施例では、評価用データセットとして、ＣｉｔｙＣｏｍ（１０クラス、１７カメラ）を用いた。図６には、従来手法（Conventional method）と本願手法（Proposed method）とについて、メモリバンク１４ｃの補完用特徴量の数と検知精度の指標ｍＡＰとの関係が示されている。図６の縦軸のｍＡＰは、多クラス物体検知精度の指標であり、精度がよいほど高い値となる。

【0043】

図６に示すように、メモリバンク１４ｃの補完特徴量の数が同程度であれば、本願手法の方が、検知精度が高いことが確認された。また、本願手法によれば、従来手法の約３分の１程度の補完特徴量数で同程度の精度を達成することが確認された。

【0044】

ここで、補完特徴量のサイズが７×７×２０４８の場合に、１特徴量あたり０．４ＭＢとなる。したがって従来手法の６６００個の補完特徴量のメモリ量は２．５ＧＢとなる。これに対し、本願手法によれば、同程度の精度を達成するために、２２００個の補完特徴量で足りるため、メモリ量は０．８ＧＢに削減することが可能となることがわかった。

【0045】

また、補完特徴量１００個の推論時間は、０．１１４２０８ｓ／ｉｍｇであり、補完特徴量２００個の推論時間は０．２２６２４７ｓ／ｉｍｇであった。このように、補完特徴量数の増加に従って、推論時間はリニアに増加する傾向にあることが確認された。したがって、本願手法によれば、従来手法の３分の１程度まで推論時間を短縮して、同程度の精度を達成することが可能となることがわかった。

【0046】

［プログラム］
上記実施形態に係る検知装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、検知装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の検知処理を実行する検知プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の検知プログラムを情報処理装置に実行させることにより、情報処理装置を検知装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）などのスレート端末などがその範疇に含まれる。また、検知装置１０の機能を、クラウドサーバに実装してもよい。

【0047】

図７は、検知プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

【0048】

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

【0049】

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

【0050】

また、検知プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した検知装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

【0051】

また、検知プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

【0052】

なお、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0053】

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

【符号の説明】

【0054】

１０ 検知装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１４ａ １層目モデル
１４ｂ ２層目モデル
１４ｃ メモリバンク
１５ 制御部
１５ａ 取得部
１５ｂ 抽出部
１５ｃ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】