特開 2024-175358 物体検出装置、物体検出システム、物体検出方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175358

(43)【公開日】2024-12-18

(54)【発明の名称】物体検出装置、物体検出システム、物体検出方法およびプログラム

(51)【国際特許分類】

   G06V 10/70 20220101AFI20241211BHJP

   G06T 7/00 20170101ALI20241211BHJP

【ＦＩ】

G06V10/70

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023093083

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000004330

【氏名又は名称】日本無線株式会社

(74)【代理人】

【識別番号】100126561

【弁理士】

【氏名又は名称】原嶋 成時郎

(72)【発明者】

【氏名】貝瀬 未央

(72)【発明者】

【氏名】若林 那旺

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA18

5L096CA02

5L096DA02

5L096EA43

5L096FA16

5L096FA52

5L096FA62

5L096FA69

5L096GA30

5L096GA51

5L096HA11

(57)【要約】

【課題】例えば機械学習がされていない物体のような、識別不可能な物体を検出することを可能とする。
【解決手段】物体検出システム１００の物体検出装置１は、その機能として、受け付けた画像である画像データから、画像内に撮影された物体を検出し、検出した検出結果を符号で示す検出信号を出力する検出部５２と、検出した物体のうち、識別可能な物体を判定し、検出信号に対して判定結果を反映させる判定部５３と、検出信号の符号を反転させた反転信号を出力する出力部５４と、を備える。判定部５３は、識別可能な物体であること、または識別不可能な物体であることを判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像内に撮影された物体を検出し、検出結果を符号で示す検出信号を出力する検出部と、
検出された前記物体のうち、識別可能な物体を判定し、前記検出信号に対して判定結果を反映させる判定部と、
前記判定結果が反映された前記検出信号の符号を反転させた反転信号を出力する出力部と、を備え、
前記判定部は、検出された前記物体が、前記識別可能な物体であること、または識別不可能な物体であることを判定する、
ことを特徴とする物体検出装置。

【請求項2】

前記判定部は、前記識別可能な物体として記憶されている情報に基づき、前記物体が前記識別可能な物体であること、または識別不可能な物体であることを判定する、
ことを特徴とする請求項１に記載の物体検出装置。

【請求項3】

前記判定部は、前記識別可能な物体を学習した機械学習モデルに基づき、前記識別可能な物体であること、または識別不可能な物体であることを判定する、
ことを特徴とする請求項２に記載の物体検出装置。

【請求項4】

前記判定部は、前記物体が前記識別可能な物体である確からしさを示す尤度を算出し、前記尤度が所定の閾値以上であるときに前記物体が前記識別可能な物体であると判定する、
ことを特徴とする請求項１から３のいずれか１項に記載の物体検出装置。

【請求項5】

前記判定部は、前記識別可能な物体を検出し、前記識別不可能な物体を検出しない物体検出アルゴリズムにより実行される、
ことを特徴とする請求項１に記載の物体検出装置。

【請求項6】

前記検出部は、前記識別可能な物体を遮るように前記識別不可能な物体が配置された画像から、前記物体を検出する、
ことを特徴とする請求項１に記載の物体検出装置。

【請求項7】

前記検出部は、複数の前記物体が撮影された画像から、前記物体の数量を検出し、
前記判定部は、検出された前記物体及び前記物体の数量から、前記識別可能な物体の数量を判定し、
前記識別可能な物体の数量が所定の数量以下である場合、報知情報を出力する報知出力部をさらに備える、
ことを特徴とする請求項１に記載の物体検出装置。

【請求項8】

請求項１に記載の物体検出装置と、
前記識別可能な物体、または前記識別不可能な物体を撮影する撮影部と、を備える、
ことを特徴とする物体検出システム。

【請求項9】

プロセッサと、メモリとを備えるコンピュータにより実行されるための物体検出方法であって、
前記プロセッサが、
画像内に撮影された物体を検出し、検出結果を符号で示す検出信号を出力する検出ステップと、
検出された前記物体のうち、識別可能な物体を判定し、前記検出信号に対して判定結果を反映させる判定ステップと、
前記判定結果が反映された前記検出信号の符号を反転させた反転信号を出力する出力ステップと、を実行し、
前記判定ステップにおいて、検出された前記物体が、前記識別可能な物体であること、または識別不可能な物体であることを判定する、
ことを特徴とする物体検出方法。

【請求項10】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、
前記プロセッサに、
画像内に撮影された物体を検出し、検出結果を符号で示す検出信号を出力する検出ステップと、
検出された前記物体のうち、識別可能な物体を判定し、前記検出信号に対して判定結果を反映させる判定ステップと、
前記判定結果が反映された前記検出信号の符号を反転させた反転信号を出力する出力ステップと、を実行させ、
前記判定ステップにおいて、検出された前記物体が、前記識別可能な物体であること、または識別不可能な物体であることを判定する、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、識別不可能な物体を検出する技術に関する。

【背景技術】

【0002】

従来、カメラ等によって撮影された画像から、画像内に撮影された所定の物体を検出する技術が知られている。このとき、所定の物体を検出するため、パターン認識技術や機械学習技術を用いた物体検出モデルにより、所定の物体の形状を撮影画像から学習することで実現していることも知られている。

【0003】

物体検出モデルを学習させるためには、所定の物体が撮影された画像を教師データとして大量に用意する必要があるが、教師データを大量に用意するのは容易ではない。そのため、複数のニューラルネットワークを用いて、撮影画像から物体の位置、属性をそれぞれ識別する物体検出装置が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０４６７０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、このような物体検出を行うためにはコンピュータによる大量の処理が必要であり、そのためには高スペックなコンピュータが必要となる。このような高スペックなコンピュータは高額であるため、コストが掛かっていた。また、例えば、多品種小ロット生産の工場、様々な梱包の物品が出入りする受入検査場では、いつも同じ対象物の物体検出をするとは限らない。このような現場では、物体検出モデルの学習の手間は、自動で物体検出を行える、という効果に見合わない、という課題があった。

【0006】

そこでこの発明は、例えば機械学習がされていない物体のような、識別不可能な物体を検出することが可能な、物体検出装置、物体検出システム、物体検出方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述の課題を解決するために、この発明に係る物体検出装置は、画像内に撮影された物体を検出し、検出結果を符号で示す検出信号を出力する検出部と、検出された前記物体のうち、識別可能な物体を判定し、前記検出信号に対して判定結果を反映させる判定部と、前記判定結果が反映された前記検出信号の符号を反転させた反転信号を出力する出力部と、を備え、前記判定部は、検出された前記物体が、前記識別可能な物体であること、または識別不可能な物体であることを判定する、ことを特徴とする。

【0008】

この発明に係る物体検出装置は、前記判定部が、前記識別可能な物体として記憶されている情報に基づき、前記物体が前記識別可能な物体であること、または識別不可能な物体であることを判定する、ようにしてもよい。

【0009】

この発明に係る物体検出装置は、前記判定部が、前記識別可能な物体を学習した機械学習モデルに基づき、前記識別可能な物体であること、または識別不可能な物体であることを判定する、ようにしてもよい。

【0010】

この発明に係る物体検出装置は、前記判定部が、前記物体が前記識別可能な物体である確からしさを示す尤度を算出し、前記尤度が所定の閾値以上であるときに前記物体が前記識別可能な物体であると判定する、ようにしてもよい。

【0011】

この発明に係る物体検出装置は、前記判定部が、前記識別可能な物体を検出し、前記識別不可能な物体を検出しない物体検出アルゴリズムにより実行される、ようにしてもよい。

【0012】

この発明に係る物体検出装置は、前記検出部が、前記識別可能な物体を遮るように前記識別不可能な物体が配置された画像から、前記物体を検出する、ようにしてもよい。

【0013】

この発明に係る物体検出装置は、前記検出部が、複数の前記物体が撮影された画像から、前記物体の数量を検出し、前記判定部が、検出された前記物体及び前記物体の数量から、前記識別可能な物体の数量を判定し、前記識別可能な物体の数量が所定の数量以下であることを検出すると、報知情報を出力する報知出力部をさらに備える、ようにしてもよい。

【0014】

この発明に係る物体検出システムは、上記の物体検出装置と、前記識別可能な物体、または前記識別不可能な物体を撮影する撮影部と、を備える、ようにしてもよい。

【0015】

この発明に係る物体検出方法は、プロセッサと、メモリとを備えるコンピュータにより実行されるための物体検出方法であって、前記プロセッサが、画像内に撮影された物体を検出し、検出結果を符号で示す検出信号を出力する検出ステップと、検出された前記物体のうち、識別可能な物体を判定し、前記検出信号に対して判定結果を反映させる判定ステップと、前記判定結果が反映された前記検出信号の符号を反転させた反転信号を出力する出力ステップと、を実行し、前記判定ステップにおいて、検出された前記物体が、前記識別可能な物体であること、または識別不可能な物体であることを判定する、ことを特徴とする。

【0016】

また、この発明に係るプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プロセッサに、画像内に撮影された物体を検出し、検出結果を符号で示す検出信号を出力する検出ステップと、検出された前記物体のうち、識別可能な物体を判定し、前記検出信号に対して判定結果を反映させる判定ステップと、前記判定結果が反映された前記検出信号の符号を反転させた反転信号を出力する出力ステップと、を実行させ、前記判定ステップにおいて、検出された前記物体が、前記識別可能な物体であること、または識別不可能な物体であることを判定する、ことを特徴とする。

【発明の効果】

【0017】

この発明に係る物体検出装置、物体検出システム、物体検出方法およびプログラムによれば、画像内に撮影された物体を検出し、検出された物体のうち識別可能な物体を判定し、判定結果を符号で示す検出信号を出力し、検出信号の符号を反転させた反転信号を出力する。このとき、検出された物体が、識別可能な物体であること、または識別不可能な物体であることを判定する。そのため、識別可能な物体、または識別不可能な物体が撮影された画像から、識別可能な物体を検出した検出信号の符号を反転させて出力するので、識別不可能な物体が検出されたことを認識することが可能である。これにより、識別不可能な物体について新たな機械学習を行うことなく、識別不可能な物体が検出されたことを認識することが可能になる。

【0018】

この発明に係る物体検出装置によれば、識別可能な物体として記憶されている情報に基づき、物体が識別可能な物体であること、または識別不可能な物体であることを判定する。そのため、識別可能な物体を確実に検出するので、識別不可能な物体も確実に認識することが可能である。

【0019】

この発明に係る物体検出装置によれば、判定部は、識別可能な物体を学習した機械学習モデルに基づいて実行されてもよい。このとき、物体が識別可能な物体である確からしさを示す尤度を算出し、尤度が所定の閾値以上であるときに物体が識別可能な物体であると判定してもよく、識別可能な物体を検出し、識別不可能な物体を検出しない物体検出アルゴリズムにより実行されてもよい。そのため、識別不可能な物体を検出しない検出信号の符号が反転されることにより、識別不可能な物体を検出した信号（反転信号）を出力する。これにより、識別不可能な物体について新たな機械学習を行うことなく、識別不可能な物体が検出されたことを認識することが可能になる。さらに、既存の技術を応用するため、開発コストの削減が可能である。

【0020】

この発明に係る物体検出装置によれば、識別可能な物体を遮るように識別不可能な物体が配置された画像から、識別可能な物体を検出する。そのため、識別可能な物体を検出している状態から、識別可能な物体を遮るように識別不可能な物体が配置されるので、遮られた識別可能な物体を検出しなくなることにより、識別不可能な物体が配置されたことを認識することが可能である。

【0021】

この発明に係る物体検出装置によれば、複数の識別可能な物体が撮影された画像から、物体の数量を検出し、検出された物体及び物体の数量から、識別可能な物体の数量を判定し、識別可能な物体の数量が所定の数量以下であることを検出すると、報知情報を出力する。そのため、識別可能な物体の数量を検出している状態から、識別可能な物体を遮るように識別不可能な物体が配置されるので、遮られた識別可能な物体を検出しなくなることにより、識別不可能な物体が配置されたことを認識することが可能である。これにより、識別不可能な物体が所定の数量以上存在することを認識することが可能である。

【図面の簡単な説明】

【0022】

【図1】実施の形態１に係る物体検出システム１００の全体構成を示す概略図である。

【図2】図１の物体検出装置１を示す機能ブロック図である。

【図3】図２の検出部５２による、識別可能な物体Ｘを検出する例を示す図である。

【図4】図２の報知出力部５５による、識別可能な物体Ｘの個数を検出する例を示す図である。

【図5】図２の報知出力部５５による、識別可能な物体Ｘの個数を検出する他の例を示す図である。

【図6】図１の物体検出装置１による物体検出処理を示すフローチャートである。

【図7】実施の形態２に係るコンピュータ７００を示す機能ブロック構成図である。

【発明を実施するための形態】

【0023】

以下、本発明を図示の実施の形態に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。以下の説明では、同一の構成には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0024】

なお、以下の説明では、同一の構成には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0025】

（実施の形態１）
＜１． 物体検出システム１００の全体構成＞
図１は、実施の形態１に係る物体検出システム１００の全体構成を示す概略図である。

【0026】

物体検出システム１００は、図１に示すように、物体検出装置１と、カメラ（撮影部）２とを有している。物体検出装置１と、カメラ２とは、通信ケーブル３を介して相互に接続される。通信ケーブル３は、画像信号の送受信を行うための有線の通信線であり、ＵＳＢ（Universal Serial Bus）ケーブル、ＬＡＮ（Local Area Network）ケーブル、光ケーブル等の有線インタフェースにより構成されている。なお、物体検出装置１と、カメラ２とは、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インタフェースにより通信可能に接続されてもよく、インターネット、イントラネット、ＷＡＮ（Wide Area Network）、ワイヤレスＬＡＮ（Wireless LAN：ＷＬＡＮ）、ワイヤレスＷＡＮ（Wireless WAN：ＷＷＡＮ）、仮想プライベートネットワーク（Virtual Private Network：ＶＰＮ）等を含む通信網を介して通信可能に接続されてもよい。物体検出装置１及びカメラ２は、例えば、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した通信デバイスを備え、相互に通信が行われる。

【0027】

なお、物体検出システム１００は、物体検出装置１とカメラ２とが一体となった装置として構成してもよい。

【0028】

物体検出装置１は、カメラ２で撮影された画像から識別可能な物体を検出し、検出結果を示す検出信号を反転させることにより、識別不可能な物体を検出する装置である。また、物体検出装置１は、識別可能な物体の数量を検出し、識別可能な物体の数量が所定の数量以下であることを検出すると、報知情報を出力する。この物体検出装置１は、例えば通信ケーブル３に接続されたコンピュータであり、各種サービスを提供するコンピュータ（デスクトップ、ラップトップ、タブレット等）や、サーバ装置等により構成されている。なお、サーバ装置は単体で動作するサーバ装置に限られず、ネットワークを介して通信を行うことで協調動作する分散型サーバシステムや、クラウドサーバでもよい。

【0029】

カメラ２は、受光素子により光を受光して撮影を行い、撮影した画像として画像データを生成するためのデバイスであり、例えば、デジタルカメラ、ビデオカメラ、監視カメラ等により構成されている。カメラ２は、例えば、レンズ、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサ、撮影した画像をデジタル信号からなる画像データに変換するＡ／Ｄ変換装置、映像処理回路等を備えている。カメラ２は、例えば通信ケーブル３に接続され、撮影した画像である画像データを物体検出装置１へ送信するように構成されている。

【0030】

図１に示すように、カメラ２は、例えば検出対象となる物体Ａを撮影する。カメラ２は、撮影した物体Ａを含む画像データを生成し、通信ケーブル３を介して物体検出装置１へ送信する。物体検出装置１は、画像データを受信すると、物体Ａが既知である（学習済データと一致する）場合、識別可能な物体として検出し、物体Ａが未知である（学習済データと一致しない）場合、識別不可能な物体として検出を行わない。その後、物体検出装置１は、検出結果を示す検出信号を反転させることにより、識別不可能な物体を検出する。

【0031】

＜１．１ 物体検出装置１の構成＞
図２は、図１の物体検出装置１を示す機能ブロック図である。図２に示すように、物体検出装置１は、通信部１０と、操作部２０と、表示部３０と、記憶部４０と、制御部５０としての機能を発揮する。

【0032】

通信部１０は、通信ケーブル３、各種インタフェース、または通信網を介してカメラ２と有線または無線で通信を行うための通信インタフェースであり、互いの通信が実行出来るのであればどのような通信プロトコルを用いてもよい。この通信部１０は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等の通信プロトコルにより通信が行われる。

【0033】

操作部２０は、物体検出システム１００のユーザからの入力操作を受け付けるための機構を有する。具体的には、操作部２０は、キーボード及びマウス等を含む。キーボードは、文字入力を行う装置であり、入力された文字情報を入力信号として制御部５０へ出力する。マウスは、表示部３０に表示されている表示物を選択等するためのポインティングデバイスであり、画面上で選択された位置情報と、ボタン押下されていることを示す情報とを入力信号として制御部５０へ出力する。

【0034】

表示部３０は、制御部５０からの出力信号による制御に応じて、画像、動画、テキストなどのデータを表示する。具体的には、表示部３０は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、または有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。なお、操作部２０及び表示部３０は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出するタッチスクリーンとして構成してもよい。なお、表示部３０は、ＬＥＤ（Light-Emitting Diode）等により構成され、制御部５０からの制御信号により点灯／消灯するインジケータとしてもよい。

【0035】

記憶部４０は、各種制御処理や制御部５０内の各機能を実行するためのプログラムや入力データ等を記憶するものであり、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含むメモリや、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＤＲＡＭ（Dynamic Random Access Memory）等を含むストレージから構成される。また、記憶部４０は、識別物体データベース４１を記憶する。さらに、記憶部４０は、カメラ２との間で通信を行った際のデータや、後述する各処理にて生成されたデータを一時的に記憶する。

【0036】

識別物体データベース４１には、物体検出装置１が識別可能な物体（既知である物体）の情報が格納されている。識別可能な物体の情報とは、当該物体の外観を示す画像データでもよく、当該物体の画像データから分析された結果である形状、大きさ、色彩等の要素に分類されたデータでもよく、当該物体の特徴量を示すデータでもよい。また、識別物体データベース４１には、物体の画像データ等のデータ解析を行い、物体検出という目的に応じた出力を行うための機械学習が行われた結果である、学習モデルが格納されてもよい。

【0037】

なお、識別物体データベース４１にそれぞれ格納される各要素は、物理的に同一のデータベースに格納される必要はなく、各要素の情報がそれぞれ固有の識別情報によって識別され、各要素がそれぞれ識別情報に紐づけて格納されていればよい。

【0038】

制御部５０は、記憶部４０に記憶されているプログラムを実行することにより、物体検出装置１の全体の動作を制御するものである。制御部５０の機能として、画像受付部５１と、検出部５２と、判定部５３と、出力部５４と、報知出力部５５とを備えている。この画像受付部５１、検出部５２、判定部５３、出力部５４、及び報知出力部５５は、記憶部４０に記憶されているプログラムにより起動されて物体検出装置１にて実行される。

【0039】

画像受付部５１は、カメラ２が撮影した画像である画像データが、カメラ２から通信ケーブル３、各種インタフェース、または通信網を介して送信されるので、送信された画像データを受け付ける処理を制御する。画像受付部５１は、例えば識別可能な物体、または識別不可能な物体が撮影された画像データを受け付ける。画像受付部５１が受け付ける画像データは、ｊｐｅｇ、ｐｎｇ、ｂｍｐ、ｔｉｆｆ、ｇｉｆ、ｅｐｓ、ｓｖｇ等の任意のデータフォーマットでよい。

【0040】

検出部５２は、画像受付部５１が受け付けた画像である画像データから、画像内に撮影された物体を検出する処理を制御する。

【0041】

検出部５２は、画像内に撮影された物体を遮るように識別不可能な物体が配置された場合、物体を検出するように制御してもよい。検出部５２は、画像内に撮影された物体の一部がなんらかの物体に遮られた場合、その物体のうち遮られていない残りの画像から物体を検出するように制御してもよい。

【0042】

また、検出部５２は、物体を検出した検出結果を、符号で示す検出信号を出力する。検出部５２は、例えば、なんらかの物体を検出したバウンディングボックスＢごとに、物体を検出した場合に符号「１」を、物体を検出しなかった場合に符号「０」を、検出信号として出力する。換言すると、検出部５２は、検出結果を二値化した符号で出力する。

【0043】

さらに、検出部５２は、画像内に撮影された物体が複数ある場合、物体の数量（例えば、物体の個数）を検出する。検出部５２は、例えば、物体を検出した個数を数える。

【0044】

判定部５３は、検出部５２が検出した物体のうち、識別可能な物体を判定する処理を制御する。判定部５３は、例えば、検出部５２が検出した物体が、識別物体データベース４１に格納されている識別可能な物体の情報に該当するかを、識別物体データベース４１を読み込んで格納されている識別可能な物体の情報と照合することで、識別可能な物体であること、または識別不可能な物体であることを判定する。すなわち、判定部５３は、検出部５２が検出した物体が識別物体データベース４１に格納されている物体の情報に該当する場合、識別可能な物体と判定し、該当しない場合、識別不可能な物体と判定する。

【0045】

このとき、判定部５３は、検出された物体が識別可能な物体であることの確からしさを示す尤度を算出してもよい。そして、判定部５３は、尤度が所定の閾値以上であるときに物体が識別可能な物体であると判定してもよい。具体的には、判定部５３は、検出部５２が検出した物体について、識別物体データベース４１に格納されている識別可能な物体の情報（例えば、特徴量を示す情報）と照合し、検出された物体について、尤度を０％～１００％の数値として算出する。そして、判定部５３は、算出した尤度が所定の閾値、例えば７５％以上であるときに、物体が識別可能な物体であると判定する。

【0046】

検出部５２及び判定部５３は、具体的には、画像内に撮影され、検出部５２が検出した物体のうち、識別可能な物体を検出し、識別不可能な物体を検出しない物体検出アルゴリズムにより構成してもよく、識別可能な物体を学習した機械学習モデル（識別物体データベース４１に格納されている）に基づき、検出する／しないを制御してもよい。物体検出アルゴリズムは、具体的には、領域ベースの畳み込みニューラルネットワーク（Region Based Convolutional Neural Networks：Ｒ－ＣＮＮ）、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multibox Detector）により構成してもよい。なお、Ｒ－ＣＮＮには、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮを含んでもよい。

【0047】

図３を参照しながら、検出部５２及び判定部５３による識別可能な物体検出の一例について説明する。図３は、図２の検出部５２及び判定部５３による、識別可能な物体Ｘを検出する例を示す図である。なお、検出部５２及び判定部５３による物体検出のアルゴリズムの例として、ＹＯＬＯ（You Only Look Once）を用いて説明する。

【0048】

図３に示すように、カメラ２が撮影した画像Ｇには、物体Ｘが撮影されている。この物体Ｘは、識別物体データベース４１に格納されており、既知であるものとする。検出部５２は、画像Ｇに撮影されているなんらかの物体を検出すると、画像Ｇ（物体検出装置１の内部での処理として）内に撮影されているなんらかの物体に対して、図３に示すような長方形のバウンディングボックス（Bounding Box）Ｂを設定する。バウンディングボックスＢは、画像Ｇ内に撮影されているなんらかの物体を囲んだ部分領域であり、画像Ｇ内におけるなんらかの物体の位置推定、分析のために設定されるものである。検出部５２は、画像ＧにおけるバウンディングボックスＢの中心となる座標と、高さ、幅を取得する。

【0049】

次に、判定部５３は、バウンディングボックスＢ内に撮影されているなんらかの物体について分析を行い、識別物体データベース４１に格納されている識別可能な物体の情報と照合することで、既知であるか否かを判定する。この場合、バウンディングボックスＢ内に撮影されている物体Ｘは識別物体データベース４１に格納されているため、判定部５３は、物体Ｘを既知であるとして検出する。この時の分析は、例えば、物体Ｘの特徴量抽出により行われる。

【0050】

ここで、検出部５２及び判定部５３の物体検出アルゴリズムであるＹＯＬＯでは、画像Ｇ内のすべての領域に対して小さいバウンディングボックスＢをセル状に設定し、各セル（バウンディングボックスＢ）について、背景であるか、特定の物体であるか、を示すクラス分けを行う。そして、識別可能な物体の情報と一致しないセルについて削除し、一致するセルのみを抽出することにより、物体検出を行う。ＹＯＬＯは、このような処理をすることにより、処理速度を高速化している。

【0051】

また、判定部５３は、検出部５２が出力した検出信号に対して、判定結果を反映させる。判定部５３は、例えば、物体を検出したバウンディングボックスＢごとに、識別可能な物体と判定した場合に符号「１」を、識別不可能な物体と判定した場合に符号「０」を、検出信号として出力する。換言すると、判定部５３は、検出結果について判定結果を反映させた信号を、二値化した符号で出力する。

【0052】

さらに、判定部５３は、検出部５２が検出した物体が複数ある場合において、識別可能な物体の数量（例えば、識別可能な物体の個数）を判定する。判定部５３は、例えば、判定結果が識別可能な物体である物体の個数を数える。

【0053】

出力部５４は、検出部５２が出力し、判定部５３による判定結果が反映された検出信号の符号を反転させた反転信号を出力する処理を制御する。出力部５４は、具体的には、判定結果が反映済の検出信号である二値化した符号を反転させる。上記の例の場合、出力部５４は、検出信号である符号が「１」の場合には反転信号として符号「０」を、検出信号である符号が「０」の場合には反転信号として符号「１」を、出力する。

【0054】

出力部５４がこのような処理を行うことにより、検出部５２が検出し、判定部５３が判定した物体が既知である（学習済データと一致する）場合、検出信号は識別可能な物体として検出する。検出部５２が検出した物体が未知である（学習済データと一致しない）場合、検出信号は識別不可能な物体として検出する。そして、これらの検出信号が出力部５４の処理により反転することにより、識別可能な物体を検出した場合には識別不可能であった（符号が「０」）と出力し、識別不可能な物体を検出した場合には識別可能であった（符号が「１」）と出力する。これにより、識別不可能な物体を検出することを可能にしている。

【0055】

報知出力部５５は、検出部５２が物体の数量（例えば、物体の個数）を検出し、判定部５３が識別可能な物体の数量（例えば、識別可能な物体の個数）を判定した場合、その判定結果の数量が所定の数量以下である場合、そのことを示す報知情報を出力する処理を制御する。報知出力部５５は、具体的には、識別可能な物体の数量が６個であった状態から、所定の数量である３個以下になった場合、報知情報を出力する。報知出力部５５は、報知信号を、例えば表示部３０に表示することにより出力する。報知出力部５５は、例えば、上記のような判定結果の場合に、報知情報を表示部３０へ出力し、表示部３０の構成例であるインジケータを点灯／消灯させてもよい。

【0056】

＜１．２ 数量検出の具体例＞
図４及び図５を参照しながら、報知出力部５５による数量検出の一例について説明する。図４は、図２の報知出力部５５による、識別可能な物体Ｘの個数を検出する例を示す図である。また、図５は、図２の報知出力部５５による、識別可能な物体Ｘの個数を検出する他の例を示す図である。

【0057】

図４に示すように、カメラ２が撮影した画像Ｇには、６個の物体Ｘ１～Ｘ６が撮影されている。この物体Ｘ１～Ｘ６は、識別物体データベース４１に格納されており、既知であるものとする。検出部５２は、画像Ｇに撮影されている物体Ｘ１～Ｘ６を検出すると、画像Ｇ内に撮影されている物体Ｘ１～Ｘ６に対して、図４に示すような長方形のバウンディングボックスＢ１～Ｂ６を設定する。また、判定部５３は、画像Ｇ内に撮影された物体のうち、物体Ｘ１～Ｘ６を識別可能な物体として判定し、識別可能な物体の数量として６個と判定する。

【0058】

このとき、検出部５２は、物体Ｘ１～Ｘ６の検出信号を以下のように出力する。なお、判定部５３は、物体Ｘ１～Ｘ６がすべて既知であるため、判定結果は以下のままとする。
物体Ｘ１：検出信号「１」
物体Ｘ２：検出信号「１」
物体Ｘ３：検出信号「１」
物体Ｘ４：検出信号「１」
物体Ｘ５：検出信号「１」
物体Ｘ６：検出信号「１」

【0059】

出力部５４は、物体Ｘ１～Ｘ６の検出信号である二値化した符号を反転させ、反転信号として出力する。このとき、出力部５４は、物体Ｘ１～Ｘ６の反転信号を以下のように出力する。
物体Ｘ１：反転信号「０」
物体Ｘ２：反転信号「０」
物体Ｘ３：反転信号「０」
物体Ｘ４：反転信号「０」
物体Ｘ５：反転信号「０」
物体Ｘ６：反転信号「０」

【0060】

図４に示す状態から、図５に示すように、カメラ２が撮影した画像Ｇには、３個の物体Ｙ１，Ｙ３，Ｙ６が、それぞれ物体Ｘ１，Ｘ３，Ｘ６を遮るように載置された状態が撮影されたものとする。この物体Ｙ１，Ｙ３，Ｙ６は、識別物体データベース４１に格納されておらず、未知であるものとする。判定部５３は、画像Ｇに撮影されている物体Ｘ１～Ｘ６のうち、物体Ｙ１，Ｙ３，Ｙ６に遮られた物体Ｘ１，Ｘ３，Ｘ６を、既知の物体として判定出来なくなる。そのため、判定部５３は、画像Ｇ内に撮影された物体のうち、物体Ｘ２，Ｘ４，Ｘ５を識別可能な物体として判定し、識別可能な物体の数量として３個と判定する。

【0061】

このとき、判定部５３は、物体Ｘ１～Ｘ６の検出信号を以下のように反映して出力する。
物体Ｘ１：検出信号「０」
物体Ｘ２：検出信号「１」
物体Ｘ３：検出信号「０」
物体Ｘ４：検出信号「１」
物体Ｘ５：検出信号「１」
物体Ｘ６：検出信号「０」

【0062】

また、出力部５４は、物体Ｘ１～Ｘ６の反転信号を以下のように出力する。
物体Ｘ１：反転信号「１」
物体Ｘ２：反転信号「０」
物体Ｘ３：反転信号「１」
物体Ｘ４：反転信号「０」
物体Ｘ５：反転信号「０」
物体Ｘ６：反転信号「１」

【0063】

報知出力部５５は、検出部５２が識別可能な物体の数量が所定の数量が例えば３個以下である場合、図５に示す状態になると、識別可能な物体の数量が３個以下になったことを報知する報知情報を出力する。

【0064】

図４及び図５に示す例は、例えば、既知の物体Ｘ１～Ｘ６が荷物の載置台であり、未知の物体Ｙ１，Ｙ３，Ｙ６が任意の荷物である場合を示す例であり、ある施設において、荷物が一定以上滞留すると荷物に対する所定の処理（例えば、配送に回す、等）をする場合の例である。荷物の載置台である物体Ｘ１～Ｘ６は、ある施設に配置されたものであるため既知であるが、物体Ｙ１，Ｙ３，Ｙ６は、任意の荷物であり、その都度形状は異なるため未知である。

【0065】

このような状態で、任意の荷物である物体Ｙ１，Ｙ３，Ｙ６について機械学習等により形状を記憶するのは、手間が掛かる上に荷物の形状はその都度異なるため現実的ではない。このような物体Ｙ１，Ｙ３，Ｙ６が一定以上滞留したことを、報知出力部５５が報知することにより、荷物に対する所定の処理を報知することを可能にしている。

【0066】

なお、例えば、既知の物体Ｘ１～Ｘ６を実際の物体ではなく、撮影された物体の画像、描画された物体等を壁面や床面等に表示し、未知の物体Ｙ１，Ｙ３，Ｙ６によって遮られることで上記の構成を実現してもよい。

【0067】

＜２． 処理の流れ＞
図６を参照しながら、物体検出システム１００が実行する物体検出処理（物体検出方法）の流れの一例について説明する。図６は、図１の物体検出装置１による物体検出処理を示すフローチャートである。

【0068】

ステップＳ１０１の処理として、物体検出装置１の画像受付部５１では、カメラ２が撮影した画像である画像データがカメラ２から送信されるので、送信された画像データを受け付ける。

【0069】

ステップＳ１０２の処理として、物体検出装置１の検出部５２では、ステップＳ１０１で受け付けた画像である画像データから、画像内に撮影された物体を検出する。

【0070】

ステップＳ１０３の処理として、物体検出装置１の検出部５２では、ステップＳ１０２で物体を検出した（または検出しなかった）検出結果を、符号で示す検出信号を出力する。検出部５２では、例えば、物体を検出した場合に符号「１」を、物体を検出しなかった場合に符号「０」を、検出信号として出力する。

【0071】

ステップＳ１０４の処理として、物体検出装置１の判定部５３では、ステップＳ１０２で検出した物体のうち、識別可能な物体を判定する。判定部５３では、例えば、ステップＳ１０２で検出した物体が、識別物体データベース４１に格納されている識別可能な物体の情報に該当する場合、識別可能な物体として検出する。

【0072】

また、ステップＳ１０４の処理として、物体検出装置１の判定部５３では、ステップＳ１０３で出力した検出信号に対して、判定結果を反映させる。判定部５３では、例えば、識別可能な物体と判定した場合に符号「１」を、識別不可能な物体と判定した場合に符号「０」を、検出信号として出力する。

【0073】

ステップＳ１０５の処理として、物体検出装置１の出力部５４では、ステップＳ１０３で出力された（ステップＳ１０４で判定結果が反映された）検出信号の符号を反転させた反転信号を生成する。出力部５４では、例えば、検出信号である符号が「１」の場合には反転信号として符号「０」を、検出信号である符号が「０」の場合には反転信号として符号「１」を生成する。

【0074】

ステップＳ１０６の処理として、物体検出装置１の出力部５４では、ステップＳ１０５で生成した反転信号を出力する。

【0075】

＜３． 効果＞
実施の形態１に係る物体検出システム１００及び物体検出装置１によれば、カメラ２が撮影した画像である画像データから、画像内に撮影された物体を検出し、検出した物体のうち識別可能な物体を判定し、判定結果が反映された検出結果を符号で示す検出信号を出力する。また、検出信号の符号を反転させた反転信号を出力する。そのため、識別可能な物体、または識別不可能な物体が撮影された画像から、識別可能な物体を検出した検出信号の符号を反転させて出力するので、識別不可能な物体が検出されたことを認識することが可能である。これにより、識別不可能な物体について新たな機械学習を行うことなく、識別不可能な物体が検出されたことを認識することが可能になる。

【0076】

また、物体検出装置１は、画像内に撮影された物体のうち、識別可能な物体が複数ある場合に識別可能な物体の数量（例えば、識別可能な物体の個数）を検出、すなわちカウントする。そして、識別可能な物体の数量を検出した場合、その数量が所定の数量以下である場合に、そのことを示す報知情報を出力する。そのため、識別可能な物体の数量を検出している状態から、識別可能な物体を遮るように識別不可能な物体が配置されるような場合、遮られた識別可能な物体を検出しなくなることにより、識別不可能な物体が配置されたことを認識することが可能である。これにより、識別不可能な物体が所定の数量以上存在することを認識することが可能である。

【0077】

さらに、物体検出装置１は、物体検出アルゴリズムにより、画像内に撮影された物体のうち識別可能な物体を検出し、識別不可能な物体を検出しない。このとき、物体が識別可能な物体である確からしさを示す尤度を算出し、尤度が所定の閾値以上であるときに物体が識別可能な物体であると判定し、識別可能な物体を学習した機械学習モデルに基づき、検出する／しないを制御する。そのため、識別不可能な物体を検出しない検出信号の符号が反転されることにより、識別不可能な物体を検出した信号（反転信号）を出力する。これにより、識別不可能な物体について新たな機械学習を行うことなく、識別不可能な物体が検出されたことを認識することが可能になる。さらに、既存の技術を応用するため、開発コストの削減が可能である。

【0078】

（実施の形態２（プログラム））
図７は、実施の形態２に係るコンピュータ（電子計算機）７００を示す機能ブロック構成図である。コンピュータ７００は、制御装置７０１、主記憶装置７０２、補助記憶装置７０３、インタフェース７０４を備える。

【0079】

ここで、実施の形態１に係る画像受付部５１と、検出部５２と、判定部５３と、出力部５４と、報知出力部５５とを構成する各機能を実現するためのプログラムの詳細について説明する。これらの機能ブロックは、コンピュータ７００に実装される。そして、これらの各構成要素の動作は、プログラムの形式で補助記憶装置７０３に記憶されている。制御装置７０１は、プログラムを補助記憶装置７０３から読み出して主記憶装置７０２に展開し、当該プログラムに従って上述の処理を実行する。また、制御装置７０１は、プログラムにしたがって、上述した記憶部に対応する記憶領域を主記憶装置７０２に確保する。

【0080】

当該プログラムは、具体的には、コンピュータ７００において、画像内に撮影された物体を検出し、検出結果を符号で示す検出信号を出力する検出ステップと、検出された前記物体のうち、識別可能な物体を判定し、前記検出信号に対して判定結果を反映させる判定ステップと、前記判定結果が反映された前記検出信号の符号を反転させた反転信号を出力する出力ステップと、をコンピュータによって実現するプログラムである。

【0081】

制御装置７０１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。制御装置７０１は、少なくとも１以上のプロセッサにより構成され、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロプロセッサ（Microprocessor）、プロセッサコア（Processor core）、マルチプロセッサ（Multiprocessor）を含む他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。

【0082】

主記憶装置７０２は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等のメモリである。主記憶装置７０２は、１以上のメモリであり、典型的には主記憶デバイスにより構成されてよく、少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。

【0083】

補助記憶装置７０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース７０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ７００に配信される場合、配信を受けたコンピュータ７００が当該プログラムを主記憶装置７０２に展開し、上述の処理を実行してもよい。

【0084】

また、当該プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、上述した機能を補助記憶装置７０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0085】

以上、この発明の実施の形態について説明したが、具体的な構成は、上述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があっても、この発明に含まれる。

【符号の説明】

【0086】

１ ：物体検出装置
２ ：カメラ
３ ：通信ケーブル
１０ ：通信部
２０ ：操作部
３０ ：表示部
４０ ：記憶部
４１ ：識別物体データベース
５０ ：制御部
５１ ：画像受付部
５２ ：検出部
５３ ：判定部
５４ ：出力部
５５ ：報知出力部
１００ ：物体検出システム
７００ ：コンピュータ
７０１ ：制御装置
７０２ ：主記憶装置
７０３ ：補助記憶装置
７０４ ：インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】