特開 2024-76159 物体検出システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076159

(43)【公開日】2024-06-05

(54)【発明の名称】物体検出システム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240529BHJP

【ＦＩ】

G06T7/00 300F

G06T7/00 350C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022187576

(22)【出願日】2022-11-24

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】山田 幸二

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA03

5L096BA02

5L096EA03

5L096FA77

5L096GA55

5L096HA11

5L096JA18

5L096LA03

(57)【要約】

【課題】エッジコンピュータで画像から特徴量を抽出する処理の負荷を低減する。
【解決手段】画像から物体を検出するために予め機械学習により生成された物体検出モデルがエッジ１０とサーバ２０とに分割配置された物体検出システム１であって、縮小部１２が、入力画像を重複領域のサイズ及び分割特徴量のサイズに応じて定まる所定サイズに縮小し、抽出部１４が、縮小画像から特徴量を抽出し、分割部１６が、縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像に対応させて特徴量を分割した分割特徴量であって、物体検出モデルの分割位置に応じたサイズの分割特徴量に分割し、圧縮部１８が、分割特徴量を圧縮してサーバ２０へ送信し、復号部２２が、圧縮された分割特徴量を復号し、検出部２４が、分割特徴量毎に物体検出を行う。
【選択図】図９

【特許請求の範囲】

【請求項1】

画像から物体を検出するために予め機械学習により生成された物体検出モデルがエッジコンピュータとサーバとに分割配置され、前記エッジコンピュータは、画像から抽出した特徴量を圧縮して前記サーバへ送信し、前記サーバは、復号した特徴量に基づいて物体検出を行う物体検出システムであって、
前記エッジコンピュータは、入力画像を所定サイズに縮小した縮小画像から特徴量を抽出し、
前記サーバは、前記縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像に対応させて前記特徴量を分割した分割特徴量であって、前記物体検出モデルの分割位置に応じたサイズの前記分割特徴量毎に物体検出を行い、
前記所定サイズは、前記重複領域のサイズ及び前記分割特徴量のサイズに応じて定まる
物体検出システム。

【請求項2】

前記エッジコンピュータは、前記縮小画像から抽出した特徴量を前記分割特徴量に分割し、前記分割特徴量の各々を圧縮して前記サーバへ送信し、
前記サーバは、圧縮された前記分割特徴量の各々を復号し、復号した前記分割特徴量の各々に基づいて物体検出を行う
請求項１に記載の物体検出システム。

【請求項3】

前記エッジコンピュータは、前記縮小画像から抽出した特徴量を圧縮して前記サーバへ送信し、
前記サーバは、圧縮された前記特徴量を復号し、復号した前記特徴量を前記分割特徴量に分割し、分割した前記分割特徴量の各々に基づいて物体検出を行う
請求項１に記載の物体検出システム。

【請求項4】

前記物体検出モデルは、複数の中間層を持つディープニューラルネットワークであり、
前記分割特徴量のサイズは、前記エッジコンピュータと前記サーバとに分割配置された前記物体検出モデルの分割位置後の中間層へ入力する特徴量のサイズである
請求項１～請求項３のいずれか１項に記載の物体検出システム。

【請求項5】

前記エッジコンピュータは、前記物体検出モデルのうち、画像に対するフィルタ処理を行う中間層の部分を用いて、前記縮小画像から前記特徴量を抽出する請求項４に記載の物体検出システム。

【請求項6】

前記画像に対するフィルタ処理を行う中間層間のいずれかの位置で分割した前記物体検出モデルの前段を前記エッジコンピュータに配置し、前記物体検出モデルの後段を前記サーバに配置する請求項４に記載の物体検出システム。

【請求項7】

画像から物体を検出するために予め機械学習により生成された物体検出モデルがエッジコンピュータとサーバとに分割配置され、前記エッジコンピュータは、画像から抽出した特徴量を圧縮して前記サーバへ送信し、前記サーバは、復号した特徴量に基づいて物体検出を行う物体検出システムにおける物体検出方法であって、
前記エッジコンピュータは、入力画像を所定サイズに縮小した縮小画像から特徴量を抽出し、
前記サーバは、前記縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像に対応させて前記特徴量を分割した分割特徴量であって、前記物体検出モデルの分割位置に応じたサイズの前記分割特徴量毎に物体検出を行い、
前記所定サイズは、前記重複領域のサイズ及び前記分割特徴量のサイズに応じて定まる
物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、物体検出システム及び物体検出方法に関する。

【背景技術】

【0002】

多量の画像データを用いて深層学習により生成した物体検出モデルによる物体検出が、人が作成した特徴量を用いた物体検出と比較して、高い検出精度を実現可能となっている。深層学習による物体検出は、例えば、監視カメラで撮影された画像から不審者等を検知する映像監視システム等に応用され始めている。また、ＨＤや４Ｋ等、カメラの解像度が向上しており、上記の映像監視システム等の深層学習による物体検出においても、高解像度のカメラが採用され始めている。そのため、高解像度の画像に対して深層学習による物体検出を行うようになってきている。

【0003】

深層学習による物体検出で高解像度画像を用いる場合、特に、画像中の小さな物体を検出するために、高解像度画像を分割した分割画像や、高解像度画像を縮小した縮小画像から物体検出を行う方式がある。

【0004】

例えば、デジタル画像から被写体の瞳領域を検出する瞳領域検出装置が提案されている。この装置は、デジタル画像を縮小デジタル画像に縮小処理し、縮小デジタル画像の特徴量を算出し、算出された縮小デジタル画像の特徴量に基づいて、デジタル画像の瞳領域を検出する。

【0005】

また、例えば、入力画像を分割して複数の分割画像を出力し、分割画像の各々を物体検出モデルに入力として与えることで物体検出モデルの演算を行う画像処理装置が提案されている。この装置は、分割画像各々に含まれる物体の属性値と物体を囲う四角枠とを含む属性情報の集合を、分割画像のメタデータとして取得する。また、この装置は、入力画像を縮小した全体画像を出力し、全体画像を物体検出モデルに入力として与えて物体検出モデルの演算を行う。そして、この装置は、全体画像に含まれる物体の属性値と四角枠とを含む属性情報の集合を、全体画像のメタデータとして取得する。さらに、この装置は、分割画像のメタデータの属性情報の集合と、全体画像のメタデータと分割画像のメタデータとで共通しない属性情報の集合とを合わせて、入力画像のメタデータを生成する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００６－３５０４２６号公報

【特許文献2】国際特開第２０２１／１６１５１３号

【発明の概要】

【発明が解決しようとする課題】

【0007】

高解像度画像を分割した分割画像から物体検出を行う場合、分割の境界部分での未検出や誤検出が発生することを回避するために、分割の境界部分に重複領域を設ける場合がある。この場合、重複領域を付加した分だけ分割画像のサイズが増加するため、分割画像から特徴量を抽出する処理の負荷が増加するという問題がある。また、エッジコンピュータとサーバとに物体検出モデルを分割配置し、エッジコンピュータにおいて画像から特徴量を抽出する場合がある。エッジコンピュータは、サーバと比較して処理能力が低いため、分割画像から特徴量を抽出する処理負荷の増加が、物体検出の処理全体のフレームレート低下につながる。

【0008】

一つの側面として、開示の技術は、エッジコンピュータで画像から特徴量を抽出する処理の負荷を低減することを目的とする。

【課題を解決するための手段】

【0009】

一つの態様として、開示の技術は、画像から物体を検出するために予め機械学習により生成された物体検出モデルがエッジコンピュータとサーバとに分割配置された物体検出システムに関する。前記エッジコンピュータは、画像から抽出した特徴量を圧縮して前記サーバへ送信し、前記サーバは、復号した特徴量に基づいて物体検出を行う。前記エッジコンピュータは、入力画像を所定サイズに縮小した縮小画像から特徴量を抽出する。また、前記サーバは、前記縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像に対応させて前記特徴量を分割した分割特徴量であって、前記物体検出モデルの分割位置に応じたサイズの前記分割特徴量毎に物体検出を行う。前記所定サイズは、前記重複領域のサイズ及び前記分割特徴量のサイズに応じて定まる。

【発明の効果】

【0010】

一つの側面として、エッジコンピュータで画像から特徴量を抽出する処理の負荷を低減することができる、という効果を有する。

【図面の簡単な説明】

【0011】

【図1】ＹＯＬＯｖ３のネットワーク構造の一例を示す図である。

【図2】ＹＯＬＯｖ３における、縮小画像からの物体検出を説明するための図である。

【図3】ＹＯＬＯｖ３における、分割画像からの物体検出を説明するための図である。

【図4】分割画像からの物体検出の問題点を説明するための図である。

【図5】画像特徴量圧縮伝送技術を説明するための図である。

【図6】参考例の構成を示すブロック図である。

【図7】第１実施形態に係る物体検出システムの機能ブロック図である。

【図8】物体検出モデルの分割位置を説明するための図である。

【図9】第１実施形態の処理を説明するための図である。

【図10】エッジとして機能するコンピュータの概略構成を示すブロック図である。

【図11】サーバとして機能するコンピュータの概略構成を示すブロック図である。

【図12】第１実施形態に係る抽出処理の一例を示すフローチャートである。

【図13】第１実施形態に係る検出処理の一例を示すフローチャートである。

【図14】第２実施形態に係る物体検出システムの機能ブロック図である。

【図15】第２実施形態の処理を説明するための図である。

【図16】第２実施形態に係る抽出処理の一例を示すフローチャートである。

【図17】第２実施形態に係る検出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

【0013】

まず、本実施形態の詳細を説明する前に、本実施形態の前提となる技術及びその課題について説明する。

【0014】

本実施形態は、例えば、Ｒ－ＣＮＮ（Region-based Convolutional Neural Network）、ＹＯＬＯ（You Only Look Onse）、ＳＳＤ（Single Shot MultiBox Detector）等の深層学習による物体検出を前提とする。特に、本実施形態は、画像中の小さな物体を検出するために、高解像度画像を分割して物体検出を行う方式に関する。

【0015】

例えば、ＹＯＬＯｖ３では、縦及び横の長さが３２０～６０８画素かつ３２の倍数［３２０，３５２，３８４，４１６，４４８，４８０，５１２，５４４，５７６，６０８］であり、縦横比が１：１の画像が入力画像となる。そして、ＹＯＬＯｖ３では、検出した物体の種類、信頼度スコア、及び、検出した物体を囲むバウンディングボックスの左上及び右下の座標等の、画像内での物体の位置が検出結果として得られる。

【0016】

図１に、ＹＯＬＯｖ３のネットワーク構造の一例を示す。ＹＯＬＯｖ３は、図１の破線部に示すように、入力画像を１３×１３画素、２６×２６画素、及び５２×５２画素の３つのサイズに分割して検出処理を行うことにより、大きさの異なる物体を検出可能にしている。したがって、ＹＯＬＯｖ３の機械学習に適用した３種類のサイズより大きい物体又は小さい物体を検出できない可能性がある。

【0017】

また、上述したように、ＹＯＬＯｖ３への入力画像の解像度は、３２０×３２０画素～６０８×６０８画素であるため、ＨＤや４Ｋ等の高解像度画像で画像全体の物体検出を行う場合、図２に示すように、画像を縮小して物体検出を行う。図２の例では、１９２０×１０８０画素の高解像度画像を４１６×４１６画素に縮小しており、面積比で約１／１２に縮小された縮小画像がＹＯＬＯｖ３に入力される。縮小画像から物体検出を行う場合、画像中の小さな物体は、縮小処理により、さらに小さくなり、ＹＯＬＯで検出できなくなる可能性がある。

【0018】

そこで、物体が小さくなり過ぎることを回避するために、図３に示すように、高解像度画像を分割した分割画像毎に物体検出を行う。図３の例では、１９２０×１０８０画素の画像を９６０×５４０画素の４つに分割した画像を、４１６×４１６画素に縮小しており、面積比で約１／３に縮小された４つの縮小画像がＹＯＬＯｖ３に入力される。

【0019】

入力画像を分割する場合において、図４の上段の図に示すように、検出対象の物体が分割画像の境界にある場合（図４の上段の図中の破線部）、分割画像からその物体を検出できない可能性がある。そこで、分割画像の境界に物体がある場合でも検出できるように、分割境界付近の領域を重複させて画像を分割する方式がある。図４の中段及び下段の図では、１９２０×１０８０画素の画像を４つに分割する場合に、重複領域の幅を１００画素とし、１０６０×６４０画素の４つの分割画像に分割している。このように分割境界付近に重複領域を設けることで、図４の下段の図中の破線部に示すように、物体が境界にまたがることを回避し、分割画像から物体を検出可能になる。

【0020】

また、本実施形態では、画像特徴量圧縮伝送技術を前提としている。図５に示すように、画像特徴量圧縮伝送技術は、ＹＯＬＯｖ３等の物体検出モデルを、前段と後段とに分割する。前段は、画像から特徴量を抽出する抽出部、後段は、特徴量に基づいて物体を検出する検出部である。画像特徴量圧縮伝送技術のより詳細な構成は、図５に示すように、エッジコンピュータ（以下、単に「エッジ」ともいう）に抽出部及び圧縮部を配置し、サーバに復号部及び検出部を配置する。そして、エッジにおいて、入力画像を抽出部に入力して得られる特徴量を圧縮部で圧縮してサーバへ伝送する。サーバでは、圧縮された特徴量を受信して復号部により復号した後に、検出部で物体検出を行い、物体検出結果を出力する。これにより、物体検出モデルによる物体検出精度の劣化を一定値に抑えながら、エッジから圧縮画像を送信し、サーバで物体検出を行う方式を大きく超える高圧縮を実現する。

【0021】

図６に、上記の分割画像から物体検出を行う方式を画像特徴量圧縮伝送技術に適用した例（以下、「参考例」という）を示す。図６に示すように、参考例のエッジは、分割部、縮小部、抽出部、及び圧縮部を含み、参考例のサーバは、復号部及び検出部を含む。

【0022】

図６の例では、１９２０×１０８０画素の入力画像が入力されると、分割部が、入力画像を４つの分割画像に分割する。分割の際に重複領域を設けない場合には、分割画像のサイズは９６０×５４０であり、例えば１００画素の重複領域を設けた場合には、分割画像のサイズは１０６０×６４０画素である。そして、縮小部が各分割画像を、抽出部、すなわちＹＯＬＯｖ３の前段に対する入力サイズ（例えば、４１６×４１６画素）に縮小する。抽出部は、各分割画像から、例えば、２０８×２０８サイズの特徴量を抽出する。そして、圧縮部が、各分割画像から抽出された特徴量を圧縮して、サーバへ送信する。サーバでは、復号部が、圧縮された特徴量を受信し、２０８×２０８サイズの４つの特徴量を復号し、検出部が、復号された、各分割画像から抽出された特徴量の各々から物体検出を行い、各分割画像についての検出結果を統合して、入力画像についての物体検出結果として出力する。

【0023】

参考例では、高解像度画像を分割する際に、分割境界に重複領域を設けて画像を分割することで、分割境界にまたがる物体の検出率を増加させることができる。しかし、重複領域を付加した分だけ、分割画像のサイズが増加するため、分割画像から特徴量を抽出する処理の負荷が増大する。エッジはサーバと比較して処理能力が低いため、処理負荷の増加が物体検出処理全体のフレームレートの低下につながる。

【0024】

そこで、以下の各実施形態では、物体を検出する対象の入力画像全体のサイズを変えることなく、入力画像を分割する際に重複領域を設けつつ、エッジで画像から特徴量を抽出する処理の負荷を低減する方法を提案する。以下、各実施形態について詳述する。

【0025】

＜第１実施形態＞
図７に示すように、第１実施形態に係る物体検出システム１は、エッジ１０と、サーバ２０とを含む。物体検出システム１においても、上記の参考例と同様に、複数の中間層を持つディープニューラルネットワーク（例えば、ＹＯＬＯ等）である物体検出モデルの前段がエッジ１０に配置され、物体検出モデルの後段がサーバ２０に配置される。ここで、本実施形態では、物体検出モデルの前段と後段との分割位置を、全結合層、連結層等の、画像サイズに依存しない処理が実行される中間層の後とする。このような中間層の処理は、単なるフィルタ処理であるため、フィルタ係数を変更することなく、入力される画像のサイズ変更に対応可能である。図８に、物体検出モデルがＹＯＬＯｖ３の場合のネットワーク構造の一例を示す。この場合、図８中のＡの範囲で、ＹＯＬＯｖ３を前段と後段とに分割すればよい。例えば、図８中のＢの位置で分割した場合、Ｂより前の中間層が前段（図８中のＣ）、Ｂより後の中間層が後段（図８中のＤ）となる。

【0026】

上記のように分割した場合のＹＯＬＯｖ３の前段の出力である特徴量は、入力画像のサイズに依存しない。すなわち、入力画像を分割して各分割画像を処理した結果と、入力画像をそのまま処理した結果とは等しい。なお、厳密には周辺画素は異なるが、結果への影響はない。したがって、異なるサイズの入力画像に対応した物体検出モデルを生成するために、入力画像のサイズ毎に物体検出モデルの機械学習を行うことが不要である。そのため、既存のフィルタ係数等のネットワークパラメータを用いて、物体検出モデルの前段に入力される画像のサイズに対応するように画素拡張を行うことで、サイズが異なる入力画像に対応可能な物体検出モデルを生成することができる。

【0027】

エッジ１０は、機能的には、図７に示すように、縮小部１２と、抽出部１４と、分割部１６と、圧縮部１８とを含む。

【0028】

縮小部１２は、入力画像を所定サイズに縮小した縮小画像を生成する。所定サイズは、重複領域のサイズ及び分割特徴量（詳細は後述）のサイズに応じて定まる。例えば、図９に示すように、入力画像を４つに分割する場合において、重複領域として１００画素の幅を設定し、分割特徴量のサイズが２０８×２０８であり、後述する抽出部１４における縦及び横の縮小率が１／２であるとする。この場合、縮小部１２は、入力画像を７３２×７３２画素の縮小画像に縮小する。すなわち、図９下図に示すように、入力画像は、サイズ２０８×２０８の４つの分割特徴量に対応する分割画像として、幅１００画素の重複領域を含めて４１６×４１６画素の分割画像が４つ確保されたサイズに縮小される。縮小部１２は、生成した縮小画像を抽出部１４へ受け渡す。

【0029】

抽出部１４は、縮小画像のサイズに対応可能に画素拡張された、物体検出モデルの前段のネットワークに縮小画像を入力して、縮小画像から特徴量を抽出する。本実施形態では、参考例とは異なり、入力画像を分割した分割画像の各々から特徴量を抽出するのではなく、縮小画像全体から特徴量を抽出する。上述したように、縮小画像は、後述する分割特徴量の各々に対応する分割画像を、重複領域を持たせて重ね合わせた画像に相当する。したがって、抽出部１４は、重複領域について、特徴抽出の処理を重複して実行することなく、各分割画像から特徴量を抽出する場合と同様の特徴量を抽出することができる。抽出部１４は、抽出した特徴量を分割部１６へ受け渡す。

【0030】

分割部１６は、抽出部１４から受け渡された特徴量を分割特徴量に分割する。分割特徴量は、縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像から抽出される特徴量に相当する。各分割特徴量のサイズは、物体検出モデルの分割位置に応じたサイズ、すなわち、物体検出モデルの後段である検出部２４に入力可能なサイズである。分割部１６は、分割した各分割特徴量を圧縮部１８へ受け渡す。

【0031】

圧縮部１８は、分割特徴量の各々を圧縮する。圧縮部１８は、分割特徴量を、後段の検出部２４の処理で必要な情報を保持して圧縮するように機械学習により生成されたオートエンコーダのエンコーダである。圧縮部１８は、圧縮した各分割特徴量をサーバ２０へ送信する。

【0032】

サーバ２０は、機能的には、図７に示すように、復号部２２と、検出部２４とを含む。

【0033】

復号部２２は、エッジ１０から送信された、圧縮された各分割特徴量を受信し、圧縮された各分割特徴量を復号する。復号部２２は、圧縮部１８と対になる、オートエンコーダのデコーダである。復号部２２は、復号した各分割特徴量を検出部２４へ受け渡す。

【0034】

検出部２４は、復号された各分割特徴量を、物体検出モデルの後段のネットワークに入力して、各分割特徴量に対応する分割画像に相当する入力画像の領域から物体検出を行う。検出部２４は、分割特徴量毎に得られた検出結果を統合して、入力画像についての物体検出結果として出力する。

【0035】

エッジ１０は、例えば図１０に示すコンピュータ４０で実現されてよい。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、ＧＰＵ（Graphic Processing Unit）４８と、一時記憶領域としてのメモリ４２と、不揮発性の記憶装置４３とを備える。また、コンピュータ４０は、入力装置、表示装置等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）装置４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶装置４３、入出力装置４４、Ｒ／Ｗ装置４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

【0036】

記憶装置４３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等である。記憶媒体としての記憶装置４３には、コンピュータ４０を、エッジ１０として機能させるための抽出プログラム５０が記憶される。抽出プログラム５０は、縮小プロセス制御命令５２と、抽出プロセス制御命令５４と、分割プロセス制御命令５６と、圧縮プロセス制御命令５８とを有する。

【0037】

ＣＰＵ４１は、抽出プログラム５０を記憶装置４３から読み出してメモリ４２に展開し、抽出プログラム５０が有する制御命令を順次実行する。ＣＰＵ４１は、縮小プロセス制御命令５２を実行することで、図７に示す縮小部１２として動作する。また、ＣＰＵ４１は、抽出プロセス制御命令５４を実行することで、図７に示す抽出部１４として動作する。また、ＣＰＵ４１は、分割プロセス制御命令５６を実行することで、図７に示す分割部１６として動作する。また、ＣＰＵ４１は、圧縮プロセス制御命令５８を実行することで、図７に示す圧縮部１８として動作する。これにより、抽出プログラム５０を実行したコンピュータ４０が、エッジ１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。また、ＣＰＵ４１で行う処理の一部をＧＰＵ４８で実行してもよい。

【0038】

サーバ２０は、例えば図１１に示すコンピュータ６０で実現されてよい。コンピュータ６０は、ＣＰＵ６１と、ＧＰＵ６８と、メモリ６２と、記憶装置６３と、入出力装置６４と、Ｒ／Ｗ装置６５と、通信Ｉ／Ｆ６６とを備える。ＣＰＵ６１、メモリ６２、記憶装置６３、入出力装置６４、Ｒ／Ｗ装置６５、及び通信Ｉ／Ｆ６６は、バス６７を介して互いに接続される。

【0039】

記憶媒体としての記憶装置６３には、コンピュータ６０を、サーバ２０として機能させるための検出プログラム７０が記憶される。検出プログラム７０は、復号プロセス制御命令７２と、検出プロセス制御命令７４とを有する。

【0040】

ＣＰＵ６１は、検出プログラム７０を記憶装置６３から読み出してメモリ６２に展開し、検出プログラム７０が有する制御命令を順次実行する。ＣＰＵ６１は、復号プロセス制御命令７２を実行することで、図７に示す復号部２２として動作する。また、ＣＰＵ６１は、検出プロセス制御命令７４を実行することで、図７に示す検出部２４として動作する。これにより、検出プログラム７０を実行したコンピュータ６０が、サーバ２０として機能することになる。なお、プログラムを実行するＣＰＵ６１はハードウェアである。

【0041】

なお、抽出プログラム５０及び検出プログラム７０の各々により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等で実現されてもよい。また、ＣＰＵ４１、６１で行う処理の一部をＧＰＵ４８、６８で実行してもよい。

【0042】

次に、第１実施形態に係る物体検出システム１の動作について説明する。エッジ１０に入力画像が入力されると、エッジ１０において、図１２に示す抽出処理が実行され、サーバ２０において、図１３に示す検出処理が実行される。なお、抽出処理及び検出処理は、開示の技術の物体検出方法の一例である。

【0043】

まず、図１２に示す抽出処理について説明する。

【0044】

ステップＳ１０で、縮小部１２が、入力画像を取得する。次に、ステップＳ１２で、縮小部１２が、入力画像を、重複領域のサイズ及び分割特徴量のサイズに応じて定まる所定サイズに縮小した縮小画像を生成する。次に、ステップＳ１４で、抽出部１４が、縮小画像のサイズに対応可能に画素拡張された、物体検出モデルの前段のネットワークに縮小画像を入力して、縮小画像から特徴量を抽出する。

【0045】

次に、ステップＳ１６で、分割部１６が、縮小画像から抽出された特徴量を、縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像から抽出される特徴量に相当する分割特徴量に分割する。次に、ステップＳ１８で、圧縮部１８が、オートエンコーダのエンコーダにより、分割特徴量の各々を圧縮する。そして、圧縮部１８が、圧縮した各分割特徴量をサーバ２０へ送信し、抽出処理は終了する。

【0046】

次に、図１３に示す検出処理について説明する。

【0047】

ステップＳ２０で、復号部２２が、圧縮された各分割特徴量をエッジ１０から受信し、圧縮された各分割特徴量を、オートエンコーダのデコーダにより復号する。次に、ステップＳ２２で、検出部２４が、復号された各分割特徴量を、物体検出モデルの後段のネットワークに入力して、各分割特徴量に対応する分割画像に相当する入力画像の領域から物体検出を行う。次に、ステップＳ２４で、検出部２４が、分割特徴量毎に得られた検出結果を統合して、入力画像についての物体検出結果として出力し、検出処理は終了する。

【0048】

以上説明したように、第１実施形態に係る物体検出システムは、画像から物体を検出するために予め機械学習により生成された物体検出モデルがエッジコンピュータとサーバとに分割配置されている。エッジコンピュータは、画像から抽出した特徴量を圧縮してサーバへ送信し、サーバは、復号した特徴量に基づいて物体検出を行う。エッジコンピュータは、入力画像を、重複領域のサイズ及び分割特徴量のサイズに応じて定まる所定サイズに縮小した縮小画像から特徴量を抽出する。そして、エッジコンピュータは、縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像に対応させて特徴量を分割特徴量に分割し、各分割特徴量を圧縮してサーバへ送信する。サーバは、物体検出モデルの分割位置に応じたサイズの分割特徴量毎に物体検出を行い、物体検出結果を出力する。

【0049】

このように、本実施形態に係る物体検出システムでは、物体検出モデルで特徴量を抽出する処理は入力画像のサイズに依存しないという特性を利用し、重複領域のある各分割画像から特徴量を抽出する場合に、入力画像を縮小した縮小画像から特徴量を抽出する。縮小画像は、分割画像の重複領域を重ねた画像であるため、分割画像の重複領域について、特徴量の抽出を重複して行うことを避けることができる。すなわち、縮小画像の画素数は、重複領域のある分割画像全体の画素数よりも少なくなるため、エッジコンピュータにおける特徴量の抽出の処理負荷を低減することができる。その結果、物体検出処理の高速化、低遅延化、処理フレームレートの向上を実現することができる。

【0050】

例えば、図６に示す参考例の場合、抽出部の処理対象の画素数は、４１６×４１６画素×４＝６９２，２２４画素である。一方、本実施形態の抽出部１４の処理対象の画素数は、図６の参考例と同サイズの入力画像に対して、図９に示すように、７３２×７３２＝５３５，８２４である。したがって、本実施形態では、処理負荷を約２３％削減することができる。

【0051】

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る物体検出システムにおいて、第１実施形態に係る物体検出システム１と同様の構成については、同一符号を付して詳細な説明を省略する。

【0052】

図１４に示すように、第２実施形態に係る物体検出システム２は、エッジ２１０と、サーバ２２０とを含む。

【0053】

エッジ２１０は、機能的には、図１４に示すように、縮小部１２と、抽出部１４と、圧縮部２１８とを含む。

【0054】

圧縮部２１８は、図１５に示すように、抽出部１４において、縮小画像から抽出された特徴量を圧縮して、サーバ２２０へ送信する。圧縮部２１８は、特徴量の圧縮に、抽出部１４から出力される特徴量のサイズに対応するように画素拡張を行ったオートエンコーダのエンコーダを用いる。

【0055】

サーバ２２０は、機能的には、図１４に示すように、復号部２２２と、分割部２２６と、検出部２４とを含む。

【0056】

復号部２２２は、エッジ２１０から送信された、圧縮された特徴量を受信し、圧縮された特徴量を復号する。復号部２２２は、特徴量の復号に、圧縮された特徴量のサイズに対応するように画素拡張を行ったオートエンコーダのデコーダを用いる。復号部２２２は、復号した特徴量を分割部２２６へ受け渡す。

【0057】

分割部２２６は、第１実施形態のエッジ１０に含まれる分割部１６と同様の処理により、復号部２２２から受け渡された特徴量を分割特徴量に分割する。分割部２２６は、分割した各分割特徴量を検出部２４へ受け渡す。

【0058】

エッジ２１０は、例えば図１０に示すコンピュータ４０で実現されてよい。コンピュータ４０の記憶装置４３には、コンピュータ４０を、エッジ２１０として機能させるための抽出プログラム２５０が記憶される。抽出プログラム２５０は、縮小プロセス制御命令５２と、抽出プロセス制御命令５４と、圧縮プロセス制御命令２５８とを有する。

【0059】

ＣＰＵ４１は、抽出プログラム２５０を記憶装置４３から読み出してメモリ４２に展開し、抽出プログラム２５０が有する制御命令を順次実行する。ＣＰＵ４１は、圧縮プロセス制御命令２５８を実行することで、図１４に示す圧縮部２１８として動作する。他の制御命令については、第１実施形態に係る抽出プログラム５０と同様である。これにより、抽出プログラム２５０を実行したコンピュータ４０が、エッジ２１０として機能することになる。また、ＣＰＵ４１で行う処理の一部をＧＰＵ４８で実行してもよい。

【0060】

サーバ２０は、例えば図１１に示すコンピュータ６０で実現されてよい。コンピュータ６０の記憶装置６３には、コンピュータ６０を、サーバ２２０として機能させるための検出プログラム２７０が記憶される。検出プログラム７０は、復号プロセス制御命令２７２と、分割プロセス制御命令２７６と、検出プロセス制御命令７４とを有する。

【0061】

ＣＰＵ６１は、検出プログラム２７０を記憶装置６３から読み出してメモリ６２に展開し、検出プログラム２７０が有する制御命令を順次実行する。ＣＰＵ６１は、復号プロセス制御命令２７２を実行することで、図１４に示す復号部２２２として動作する。また、ＣＰＵ６１は、分割プロセス制御命令２７６を実行することで、図１４に示す分割部２２６として動作する。また、ＣＰＵ６１は、検出プロセス制御命令７４を実行することで、図１４に示す検出部２４として動作する。これにより、検出プログラム２７０を実行したコンピュータ６０が、サーバ２２０として機能することになる。また、ＣＰＵ６１で行う処理の一部をＧＰＵ６８で実行してもよい。

【0062】

なお、抽出プログラム２５０及び検出プログラム２７０の各々により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ、ＦＰＧＡ等で実現されてもよい。また、ＣＰＵ４１、６１で行う処理の一部をＧＰＵ４８、６８で実行してもよい。

【0063】

次に、第２実施形態に係る物体検出システム２の動作について説明する。エッジ２１０に入力画像が入力されると、エッジ２１０において、図１６に示す抽出処理が実行され、サーバ２２０において、図１７に示す検出処理が実行される。なお、第２実施形態に係る抽出処理及び検出処理において、第１実施形態に係る抽出処理及び検出処理と同様の処理については、同一のステップ番号を付して詳細な説明を省略する。

【0064】

まず、図１６に示す抽出処理について説明する。

【0065】

ステップＳ１０～Ｓ１４を経て、次に、ステップＳ２１８で、圧縮部２１８が、抽出部１４から出力される特徴量のサイズに対応するように画素拡張を行ったオートエンコーダのエンコーダにより、上記ステップＳ１４で抽出された特徴量を圧縮する。そして、圧縮部２１８が、圧縮した特徴量をサーバ２２０へ送信し、抽出処理は終了する。

【0066】

次に、図１７に示す検出処理について説明する。

【0067】

ステップＳ２２０で、復号部２２２が、圧縮された特徴量をエッジ２１０から受信し、圧縮された特徴量を、オートエンコーダのデコーダにより復号する。次に、ステップＳ２２１で、分割部２２６が、復号された特徴量を分割特徴量に分割する。そして、ステップＳ２２及びＳ２４を経て、検出処理は終了する。

【0068】

以上説明したように、第２実施形態に係る物体検出システムにおいて、エッジコンピュータは、入力画像を、重複領域のサイズ及び分割特徴量のサイズに応じて定まる所定サイズに縮小した縮小画像から特徴量を抽出し、圧縮してサーバへ送信する。そして、サーバは、圧縮された特徴量を復号し、特徴量を分割特徴量に分割し、分割特徴量毎に物体検出を行い、物体検出結果を出力する。このように、エッジ側で特徴量の分割処理を行わないことで、エッジ側での処理負荷をより低減することができる。また、重複領域が重複して分割された複数の分割特徴量の各々を圧縮した場合に比べ、縮小画像の特徴量を圧縮した場合の方が、データ量が小さいため、エッジとサーバ間のネットワーク帯域も削減される。さらに、圧縮部及び復号部での処理対象の特徴量も削減されるため、圧縮部及び復号部の処理負荷を低減することができる。

【0069】

なお、上記各実施形態では、物体検出モデルが、主にＹＯＬＯｖ３である場合を例に説明したが、これに限定されない。物体検出モデルは、前段の中間層が、単にフィルタ処理を行う中間層のように、入力画像のサイズに依存しない中間層を備えた深層学習によるネットワークであればよい。

【0070】

また、上記各実施形態では、抽出プログラム及び検出プログラムが記憶装置に予め記憶（インストール）されているが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。

【0071】

以上の各実施形態に関し、さらに以下の付記を開示する。

【0072】

（付記１）
画像から物体を検出するために予め機械学習により生成された物体検出モデルがエッジコンピュータとサーバとに分割配置され、前記エッジコンピュータは、画像から抽出した特徴量を圧縮して前記サーバへ送信し、前記サーバは、復号した特徴量に基づいて物体検出を行う物体検出システムであって、
前記エッジコンピュータは、入力画像を所定サイズに縮小した縮小画像から特徴量を抽出し、
前記サーバは、前記縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像に対応させて前記特徴量を分割した分割特徴量であって、前記物体検出モデルの分割位置に応じたサイズの前記分割特徴量毎に物体検出を行い、
前記所定サイズは、前記重複領域のサイズ及び前記分割特徴量のサイズに応じて定まる
物体検出システム。

【0073】

（付記２）
前記エッジコンピュータは、前記縮小画像から抽出した特徴量を前記分割特徴量に分割し、前記分割特徴量の各々を圧縮して前記サーバへ送信し、
前記サーバは、圧縮された前記分割特徴量の各々を復号し、復号した前記分割特徴量の各々に基づいて物体検出を行う
付記１に記載の物体検出システム。

【0074】

（付記３）
前記エッジコンピュータは、前記縮小画像から抽出した特徴量を圧縮して前記サーバへ送信し、
前記サーバは、圧縮された前記特徴量を復号し、復号した前記特徴量を前記分割特徴量に分割し、分割した前記分割特徴量の各々に基づいて物体検出を行う
付記１に記載の物体検出システム。

【0075】

（付記４）
前記物体検出モデルは、複数の中間層を持つディープニューラルネットワークであり、
前記分割特徴量のサイズは、前記エッジコンピュータと前記サーバとに分割配置された前記物体検出モデルの分割位置後の中間層へ入力する特徴量のサイズである
付記１～付記３のいずれか１項に記載の物体検出システム。

【0076】

（付記５）
前記エッジコンピュータは、前記物体検出モデルのうち、画像に対するフィルタ処理を行う中間層の部分を用いて、前記縮小画像から前記特徴量を抽出する付記４に記載の物体検出システム。

【0077】

（付記６）
前記画像に対するフィルタ処理を行う中間層間のいずれかの位置で分割した前記物体検出モデルの前段を前記エッジコンピュータに配置し、前記物体検出モデルの後段を前記サーバに配置する付記４又は付記５に記載の物体検出システム。

【0078】

（付記７）
画像から物体を検出するために予め機械学習により生成された物体検出モデルがエッジコンピュータとサーバとに分割配置され、前記エッジコンピュータは、画像から抽出した特徴量を圧縮して前記サーバへ送信し、前記サーバは、復号した特徴量に基づいて物体検出を行う物体検出システムにおける物体検出方法であって、
前記エッジコンピュータは、入力画像を所定サイズに縮小した縮小画像から特徴量を抽出し、
前記サーバは、前記縮小画像を予め定めたサイズの重複領域を持たせて分割した場合の各分割画像に対応させて前記特徴量を分割した分割特徴量であって、前記物体検出モデルの分割位置に応じたサイズの前記分割特徴量毎に物体検出を行い、
前記所定サイズは、前記重複領域のサイズ及び前記分割特徴量のサイズに応じて定まる
物体検出方法。

【0079】

（付記８）
前記エッジコンピュータは、前記縮小画像から抽出した特徴量を前記分割特徴量に分割し、前記分割特徴量の各々を圧縮して前記サーバへ送信し、
前記サーバは、圧縮された前記分割特徴量の各々を復号し、復号した前記分割特徴量の各々に基づいて物体検出を行う
付記７に記載の物体検出方法。

【0080】

（付記９）
前記エッジコンピュータは、前記縮小画像から抽出した特徴量を圧縮して前記サーバへ送信し、
前記サーバは、圧縮された前記特徴量を復号し、復号した前記特徴量を前記分割特徴量に分割し、分割した前記分割特徴量の各々に基づいて物体検出を行う
付記７に記載の物体検出方法。

【0081】

（付記１０）
前記物体検出モデルは、複数の中間層を持つディープニューラルネットワークであり、
前記分割特徴量のサイズは、前記エッジコンピュータと前記サーバとに分割配置された前記物体検出モデルの分割位置後の中間層へ入力する特徴量のサイズである
付記７～付記９のいずれか１項に記載の物体検出方法。

【0082】

（付記１１）
前記エッジコンピュータは、前記物体検出モデルのうち、画像に対するフィルタ処理を行う中間層の部分を用いて、前記縮小画像から前記特徴量を抽出する付記１０に記載の物体検出方法。

【0083】

（付記１２）
前記画像に対するフィルタ処理を行う中間層間のいずれかの位置で分割した前記物体検出モデルの前段を前記エッジコンピュータに配置し、前記物体検出モデルの後段を前記サーバに配置する付記１０又は付記１１に記載の物体検出方法。

【符号の説明】

【0084】

１、２ 物体検出システム
１０、２１０ エッジ
１２ 縮小部
１４ 抽出部
１６ 分割部
１８、２１８ 圧縮部
２０、２２０ サーバ
２２、２２２ 復号部
２４ 検出部
２２６ 分割部
４０、６０ コンピュータ
４１、６１ ＣＰＵ
４２、６２ メモリ
４３、６３ 記憶装置
４４、６４ 入出力装置
４５、６５ Ｒ／Ｗ装置
４６、６６ 通信Ｉ／Ｆ
４７、６７ バス
４９ 記憶媒体
５０、２５０ 抽出プログラム
５２ 縮小プロセス制御命令
５４ 抽出プロセス制御命令
５６ 分割プロセス制御命令
５８、２５８ 圧縮プロセス制御命令
７０、２７０ 検出プログラム
７２、２７２ 復号プロセス制御命令
７４ 検出プロセス制御命令
２５０ 抽出プログラム
２５８ 圧縮プロセス制御命令
２７６ 分割プロセス制御命令

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】