特許 7176719 検出装置、検出システム、検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】検出装置、検出システム、検出方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221115BHJP

   G06T 7/246 20170101ALI20221115BHJP

   H04N 7/18 20060101ALI20221115BHJP

【ＦＩ】

G06T7/00 300F

G06T7/246

H04N7/18 D

H04N7/18 K

【請求項の数】 9

(21)【出願番号】P 2018110930

(22)【出願日】2018-06-11

(65)【公開番号】P2019215605

(43)【公開日】2019-12-19

【審査請求日】2021-05-07

(73)【特許権者】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(74)【代理人】

【識別番号】100119415

【弁理士】

【氏名又は名称】青木 充

(74)【代理人】

【識別番号】100168310

【弁理士】

【氏名又は名称】▲高▼橋 幹夫

(72)【発明者】

【氏名】横田 大輝

(72)【発明者】

【氏名】高岡 真則

(72)【発明者】

【氏名】青木 教之

(72)【発明者】

【氏名】斉藤 善彦

(72)【発明者】

【氏名】渡辺 正泰

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２００３－０２２４４２（ＪＰ，Ａ）

【文献】特開２００６－２５２５０４（ＪＰ，Ａ）

【文献】特開平１０－１４３６５９（ＪＰ，Ａ）

【文献】特開２０１１－０５５２７０（ＪＰ，Ａ）

【文献】特開２０１２－０５９１９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２４６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を、予測モデルとして記憶する、モデル記憶部と、
撮影画像を取得し、
前記撮影画像から、所定のウィンドウサイズの子領域を切り出し、前記子領域と前記予測モデルとを照合し、当該子領域に前記予測モデルのテクスチャが含まれる場合、前記検出対象物ありと判別する検出を行い、検出結果を当該子領域に対応づけて保存することを、前記撮影画像の全領域について繰り返す検出制御部と、を備え、
前記検出制御部は、前記検出対象物ありと判別された前記子領域を他の前記子領域と識別可能な態様とした前記検出結果を、ユーザが使用する端末に送信し、当該ユーザの操作に基づいて、前記ウィンドウサイズを更新する、検出装置。

【請求項2】

前記予測モデルは、前記検出対象物のテクスチャのうち、前記局所領域のテクスチャに関して、機械学習を用いて生成された特徴量を含む、請求項１に記載の検出装置。

【請求項3】

前記検出制御部は、カメラを可動範囲内で回転、又はズーム率を変更させて撮影された、動画像を取得し、前記動画像から静止画像を、前記撮影画像として抽出する、請求項１又は２に記載の検出装置。

【請求項4】

パン、チルト可能なカメラを備える監視装置と、
検出対象物の有無を判断する検出装置と、
を含んで構成され、
前記検出装置は、
前記検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を、予測モデルとして記憶する、モデル記憶部と、
前記監視装置から撮影画像を取得し、
前記撮影画像から、所定のウィンドウサイズの子領域を切り出し、前記子領域と前記予測モデルとを照合し、当該子領域に前記予測モデルのテクスチャが含まれる場合、前記検出対象物ありと判別する検出を行い、検出結果を当該子領域に対応づけて保存することを、前記撮影画像の全領域について繰り返す検出制御部と、を備え、
前記検出制御部は、前記検出対象物ありと判別された前記子領域を他の前記子領域と識別可能な態様とした前記検出結果を、ユーザが使用する端末に送信し、当該ユーザの操作に基づいて、前記ウィンドウサイズを更新する、検出システム。

【請求項5】

前記監視装置は、前記カメラを可動範囲内で回転させて、前記カメラが撮影した複数の前記撮影画像を、前記検出装置に送信する、請求項４に記載の検出システム。

【請求項6】

移動体に前記監視装置を搭載し、
前記監視装置は、前記移動体が移動している際に、前記カメラが撮影した画像を、前記撮影画像として、前記検出装置に送信する、請求項４又は５に記載の検出システム。

【請求項7】

前記監視装置は、距離画像センサをさらに備え、
前記検出制御部は、前記検出対象物のテクスチャに対応する前記子領域が、前記撮影画像に存在する場合、前記距離画像センサの出力に基づいて、前記検出対象物の高さを計測する、請求項４乃至６のいずれか一に記載の検出システム。

【請求項8】

記憶部を備えるコンピュータが、
検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を、予測モデルとして、前記記憶部に記憶する工程と、
撮影画像を取得する工程と、
前記撮影画像から、所定のウィンドウサイズの子領域を切り出す工程と、
前記子領域と前記予測モデルとを照合し、当該子領域に前記予測モデルのテクスチャが含まれる場合、前記検出対象物ありと判別する検出を行い、検出結果を当該子領域に対応づけて保存することを、前記撮影画像の全領域について繰り返す工程と、
前記検出対象物ありと判別された前記子領域を他の前記子領域と識別可能な態様とした前記検出結果を、ユーザが使用する端末に送信する工程と、
当該ユーザの操作に基づいて、前記ウィンドウサイズを更新する工程と、
を含む検出方法。

【請求項9】

記憶部を備えるコンピュータに、
検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を、予測モデルとして、前記記憶部に記憶する処理と、
撮影画像を取得する処理と、
前記撮影画像から、所定のウィンドウサイズの子領域を切り出す処理と、
前記子領域と前記予測モデルとを照合し、当該子領域に前記予測モデルのテクスチャが含まれる場合、前記検出対象物ありと判別する検出を行い、検出結果を当該子領域に対応づけて保存することを、前記撮影画像の全領域について繰り返す処理と、
前記検出対象物ありと判別された前記子領域を他の前記子領域と識別可能な態様とした前記検出結果を、ユーザが使用する端末に送信する工程と、
当該ユーザの操作に基づいて、前記ウィンドウサイズを更新する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出装置、検出システム、検出方法及びプログラムに関する。

【背景技術】

【0002】

ベルトコンベア等、搬送装置を使用して搬送を行う場合、搬送中に搬送物が落下して堆積することがある。その場合、人が目視で、堆積物を発見して清掃することがある。しかし、作業の効率化を図るためには、自動的に堆積物を検出することが望ましい。堆積物を自動的に検出する方法の一つとして、カメラで監視し、撮影画像から、検出対象物（即ち、堆積物）を検出する方法が考えられる。特許文献１、２においては、撮影画像から検出対象物を検出する技術が記載されている。

【0003】

特許文献１に記載された技術においては、検出対象物（即ち、人）の特徴を示す、複数の辞書情報を記憶し、撮像された画像と、複数の辞書情報とに基づいて、人を検出する技術が記載されている。

【0004】

特許文献２においては、１つの検出対象物を複数のテンプレートに分割してテンプレートマッチングを行うことで、検出対象物を検出する技術が記載されている。具体的には、特許文献２に記載された技術においては、歩行者を検出対象物とする場合、歩行者の上部（頭部と肩部を含む）に対応するテンプレートと、歩行者の中部（腰部を含む）に対応するテンプレートと、歩行者の下部（脚部を含む）に対応するテンプレートとを予め用意する。そして、特許文献２に記載された技術においては、各テンプレートのマッチング率に基づいて、検出対象物（即ち、歩行者）を検出する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１７１５２６号公報

【文献】特開２０１０－１２８９１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。

【0007】

上記の通り、作業の効率化を図るためには、自動的に堆積物を検出することが望ましい。ここで、特許文献１に記載された技術では、検出対象物（即ち、人）の状態のパターンを、予め想定できることが求められる。また、特許文献２に記載された技術では、検出対象物の高さと幅の比率が、所定の範囲内であることが必要である。しかし、搬送中に搬送物が落下した場合、堆積物の形状、大きさを、予め想定することは困難である。そのため、特許文献１、２に記載された技術を利用して、撮影画像から堆積物を検出することは困難である。

【0008】

そこで、本発明は、検出対象物の形状変化に柔軟に対応しつつ、容易に検出対象物を検出することに貢献する検出装置、検出システム、検出方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の視点によれば、検出装置が提供される。前記検出装置は、検出対象物のテクスチャのうち局所領域の特徴量を、予測モデルとして記憶する、モデル記憶部を備える。
さらに、前記検出装置は、撮影画像を取得し、前記撮影画像から、所定のウィンドウサイズの子領域を切り出し、前記子領域と前記予測モデルとに基づいて、前記検出対象物の有無を判断する、検出制御部を備える。

【0010】

第２の視点によれば、検出システムが提供される。前記検出システムは、パン、チルト可能なカメラを備える監視装置と、検出対象物の有無を判断する検出装置と、を含んで構成される。
前記検出装置は、前記検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を、予測モデルとして記憶する、モデル記憶部を備える。
さらに、前記検出装置は、前記監視装置から前記撮影画像を取得し、前記撮影画像から、所定のウィンドウサイズの子領域を切り出し、前記子領域と前記予測モデルとに基づいて、前記検出対象物の有無を判断する、検出制御部を備える。

【0011】

第３の視点によれば、検出方法が提供される。前記検出方法は、記憶部を備えるコンピュータが、検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を、予測モデルとして、前記記憶部に記憶する工程を含む。
さらに、前記検出方法は、前記コンピュータが、撮影画像を取得する工程を含む。
さらに、前記検出方法は、前記コンピュータが、前記撮影画像から、所定のウィンドウサイズの子領域を切り出す工程を含む。
さらに、前記検出方法は、前記コンピュータが、前記子領域と前記予測モデルとに基づいて、前記検出対象物の有無を判断する工程を含む。
なお、本方法は、検出対象物の有無を判断する検出装置という、特定の機械に結び付けられている。

【0012】

第４の視点によれば、プログラムが提供される。前記プログラムは、記憶部を備えるコンピュータに、検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を、予測モデルとして、前記記憶部に記憶する処理を実行させる。
さらに、前記プログラムは、前記コンピュータに、撮影画像を取得する処理を実行させる。
さらに、前記プログラムは、前記コンピュータに、前記撮影画像から、所定のウィンドウサイズの子領域を切り出す処理を実行させる。
さらに、前記プログラムは、前記コンピュータに、前記子領域と前記予測モデルとに基づいて、前記検出対象物の有無を判断する処理を実行させる。
なお、これらのプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

【発明の効果】

【0013】

本発明によれば、検出対象物の形状変化に柔軟に対応しつつ、容易に検出対象物を検出することに貢献する検出装置、検出システム、検出方法及びプログラムが提供される。

【図面の簡単な説明】

【0014】

【図1】一実施形態の概要を説明するための図である。

【図2】検出システム１００の全体構成の一例を示すブロック図である。

【図3】カメラ４０１～４０３を回転させない場合に、カメラ４０１～４０３が撮影可能な領域の一例を示す図である。

【図4】カメラ１１を回転させる場合に、カメラ１１が撮影可能な領域の一例を示す図である。

【図5】検出システム１００の動作の一例を示すフローチャートである。

【図6】局所領域のテクスチャ及び検出結果の一例を示す図である。

【図7】背景差分法の問題点の一例を示す図である。

【図8】検出装置２０のハードウェアの一例を示すブロック図である。

【発明を実施するための形態】

【0015】

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各ブロック図のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。

【0016】

上記の通り、検出対象物の形状変化に柔軟に対応しつつ、容易に検出対象物を検出することに貢献する検出装置が望まれる。

【0017】

そこで、一例として、図１に示す検出装置１０００が提供される。検出装置１０００は、モデル記憶部１００１と、検出制御部１００２とを備える。モデル記憶部１００１は、検出対象物のテクスチャのうち局所領域の特徴量を、予測モデルとして記憶する。検出制御部１００２は、撮影画像を取得し、撮影画像から、所定のウィンドウサイズの子領域を切り出す。そして、検出制御部１００２は、撮影画像から切り出した子領域と予測モデルとを照合し、検出対象物の有無を判断する。

【0018】

そのため、検出装置１０００は、検出対象物の形状、大きさに関する情報を利用せずに、検出対象物の有無を判断する。従って、検出装置１０００は、検出対象物の形状、大きさを、予め想定できない場合であっても、検出対象物のテクスチャのうち、局所領域のテクスチャを利用することで、検出対象物の有無を容易に判断できる。よって、検出装置１０００は、検出対象物の形状変化に柔軟に対応しつつ、容易に検出対象物を検出することに貢献する。

【0019】

［第１の実施形態］
第１の実施形態について、図面を用いて詳細に説明する。なお、以下の説明では、検出対象物として、堆積物を例示して説明する。ただし、これは、本実施形態に係る検出システム１００において、検出対象物を、堆積物に限定する趣旨ではない。

【0020】

図２は、本実施形態に係る検出システム１００の全体構成の一例を示すブロック図である。検出システム１００は、監視装置１０と、検出装置２０と、端末３０とを含んで構成される。なお、図２においては、監視装置１０、端末３０を、それぞれ、一つ示す。しかし、これは、検出システム１００が、監視装置１０、端末３０を、それぞれ、一つ含むことに限定する趣旨ではない。また、図２は、監視装置１０、検出装置２０、端末３０の構成の一例である。また、図２は、監視装置１０、検出装置２０、端末３０の構成を、図２に示す構成に限定する趣旨ではない。

【0021】

監視装置１０は、監視対象エリアを撮影し、撮影画像を検出装置２０に送信する情報処理装置（コンピュータ）である。監視装置１０は、パン（横振り）、チルト（縦振り）、ズーム可能なカメラ１１を備えるものとする。監視装置１０は、カメラ１１を可動範囲内で回転させて、カメラ１１が撮影した複数の撮影画像を、検出装置２０に送信する。また、監視装置１０は、カメラ１１を可動範囲内でズーム率を変更させて、カメラ１１が撮影した複数の撮影画像を、検出装置２０に送信する。

【0022】

検出装置２０は、撮影画像から、検出対象物（例えば、堆積物）の有無を判断する情報処理装置（コンピュータ）である。検出装置２０は、ネットワークを介して監視装置１０、端末３０に接続する。

【0023】

端末３０は、堆積物の有無、堆積物の位置、撮影画像等を、検出装置２０から受信し、出力する情報処理装置（コンピュータ）である。

【0024】

［監視装置の構成］
次に、監視装置１０について詳細に説明する。監視装置１０は、カメラ１１と、監視装置通信部１２と、監視制御部１３とを含んで構成される。

【0025】

カメラ１１は、画像を撮影する。上記の通り、カメラ１１は、所謂、パン、チルトすることが可能であるものとする。さらに、カメラ１１は、ズーム率を変更することが可能であるものとする。

【0026】

図３は、垂直軸周り、水平軸周りにカメラ４０１～４０３を回転しない場合に、カメラ４０１～４０３が撮影可能な領域の一例を示す図である。破線で囲まれた領域Ｒ１１、Ｒ１２、Ｒ１３内に、堆積物Ｂ１１、Ｂ１２、Ｂ１３が存在するとする。そして、カメラ４０１、４０２、４０３が撮影可能な領域が、それぞれ、領域Ｒ１１、Ｒ１２、Ｒ１３であるとする。その場合、堆積物Ｂ１１、Ｂ１２、Ｂ１３を撮影するためには、複数のカメラ（カメラ４０１～４０３）を設置する必要がある。

【0027】

一方、図４は、垂直軸周り、水平軸周りにカメラ１１が回転可能（所謂、パン、チルトが可能）である場合に、カメラ１１が撮影可能な領域の一例を示す図である。破線で囲まれた領域Ｒ２１内に、堆積物Ｂ２１、Ｂ２２、Ｂ２３が存在するとする。その場合、一つのカメラ１１を設置することで、堆積物Ｂ２１、Ｂ２２、Ｂ２３を撮影可能である。そのため、カメラ１１を回転させることで、カメラ４０１～４０３を回転しない場合（図３）に比べ、広い範囲を撮影することが可能になる。

【0028】

監視装置通信部１２は、検出装置２０との通信を制御する。

【0029】

監視制御部１３は、カメラ１１を制御する。例えば、監視制御部１３は、カメラ１１の回転角、ズーム率を制御し、撮影領域を制御する。

【0030】

監視制御部１３は、垂直軸周りに、カメラ１１を回転させることが可能である。同様に、監視制御部１３は、水平軸周りに、カメラ１１を回転させることが可能である。監視制御部１３は、カメラ１１の角度を変更するたびに（つまり、撮影領域を変更するたびに）、カメラ１１に撮影画像を生成させる。さらに、監視制御部１３は、カメラ１１のズーム率を変更してもよい。監視制御部１３は、カメラ１１のズーム率を変更するたびに、カメラ１１に撮影画像を生成してもよい。監視制御部１３は、撮影画像を生成すると、生成した撮影画像を、監視装置通信部１２を介して、検出装置２０に送信する。

【0031】

そのため、監視装置１０は、カメラ１１の可動範囲内の空間に関して、撮影画像を生成し、生成した撮影画像を検出装置２０に送信することになる。これにより、検出装置２０は、カメラ１１を回転しない場合に比べ、広い範囲に関して、撮影画像を取得することが可能になる。

【0032】

監視制御部１３は、カメラ１１を上下左右に振り（即ち、カメラ１１をパン、チルトし）、カメラ１１の可動範囲内の空間に関して、カメラ１１に撮影画像を生成させる。そして、監視制御部１３は、生成された複数（２以上）の撮影画像を検出装置２０に送信する。監視制御部１３は、カメラ１１の可動範囲内の空間に関して、カメラ１１に撮影画像を生成させ、生成された複数（２以上）の撮影画像を検出装置２０に送信する処理を、所定の時間毎に繰り返す。以下の説明では、カメラ１１を上下左右に振り（即ち、カメラ１１をパン、チルトし）、カメラ１１の可動範囲内の空間に関して、カメラ１１に撮影画像を生成させる、一連の処理を、「一回の撮影処理」と呼ぶ。

【0033】

［検出装置の構成］
次に、検出装置２０について詳細に説明する。検出装置２０は、検出装置通信部２１と、画像記憶部２２と、モデル記憶部２３と、検出制御部２４とを含んで構成される。

【0034】

検出装置通信部２１は、監視装置１０及び端末３０との通信を制御する。検出装置通信部２１が監視装置１０から撮影画像を受信した場合、検出制御部２４は、検出装置通信部２１が受信した撮影画像を、画像記憶部２２に保存する。

【0035】

画像記憶部２２は、カメラ１１が生成（撮影）した、撮影画像を記憶する。

【0036】

モデル記憶部２３は、堆積物のテクスチャのうち、局所領域の特徴量を、予測モデルとして記憶する。局所領域のテクスチャは、周期的なパターンのテクスチャであってもよい。特徴量とは、テクスチャの色、明るさ、模様等に関する情報であってもよい。

【0037】

ここで、予測モデルは、堆積物のテクスチャのうち、局所領域のテクスチャに関して、機械学習を用いて生成された特徴量を含むものとする。例えば、予測モデルは、ニューラルネット等、深層学習（Deep Learning）を用いて学習された、局所領域のテクスチャの特徴量であってもよい。

【0038】

検出制御部２４は、撮影画像を取得し、撮影画像から、所定のウィンドウサイズの子領域を切り出す。そして、検出制御部２４は、切り出した子領域と、モデル記憶部２３に予め記憶された予測モデルとに基づいて、堆積物の有無を判断する。具体的には、検出制御部２４は、堆積物のテクスチャに対応する子領域が、撮影画像に存在するか否かに基づいて、堆積物の有無を判断する。

【0039】

そして、検出制御部２４は、撮影画像の所定の範囲に対して、複数の子領域を切り出し、複数の子領域に関して、予測モデルとの照合（マッチング）を行い、予測モデルとのマッチングの結果を出力する。検出制御部２４は、切り出した子領域と予測モデルとのマッチングの結果を、ユーザが使用する端末３０に送信してもよい。

【0040】

撮影環境、カメラの台数（監視箇所の数）、検出対象物（堆積物）等に応じて、適切な局所領域のテクスチャは異なる。ここで、「適切な局所領域のテクスチャ」とは、堆積物の有無を判断するために、必要十分な特徴量を含む、テクスチャを意味する。

【0041】

そこで、本実施形態に係る検出システム１００においては、ユーザの操作に基づいて、ウィンドウサイズが決定されてもよい。ユーザは、検出装置２０の出力（予測モデルとのマッチングの結果）を見ながら、ウィンドウサイズを調整してもよい。例えば、撮影画像における堆積物の領域全体に対して、所定の割合（例えば１％）のウィンドウサイズを基準として、ユーザがウィンドウサイズを調整することで、ウィンドウサイズが決定されてもよい。換言すると、検出制御部２４は、ユーザの操作に基づいて、ウィンドウサイズを更新してもよい。

【0042】

また、フェンスや柱等がカメラ１１の前方に設置されており、フェンスや柱等の奥に、堆積物が存在する場合、堆積物の一部が、フェンスや柱等により隠される（即ち、オクルージョンが発生する）可能性がある。しかし、本実施形態に係る検出システム１００においては、フェンスや柱等の隙間から見える堆積物よりも、ウィンドウサイズが小さくなるように、ユーザがウィンドウサイズを調整することで、オクルージョンの影響を回避して、堆積物の有無を判断できる。

【0043】

［端末の構成］
次に、端末３０について詳細に説明する。端末３０は、端末通信部３１と、端末制御部３２と、出力部３３とを含んで構成される。

【0044】

端末通信部３１は、検出装置２０との通信を制御する。端末通信部３１が検出結果（堆積物の有無、検出された堆積物の位置）、撮影画像等を、検出装置２０から受信した場合、端末制御部３２は、受信した検出結果、撮影画像等を、出力部３３に出力させる。出力部３３は、検出結果（堆積物の有無、検出された堆積物の位置）、撮影画像等を、ファイルや画面に出力する。

【0045】

［検出システムの動作］
次に、検出システム１００の動作について詳細に説明する。

【0046】

図５は、本実施形態に係る検出システム１００の動作の一例を示すフローチャートである。

【0047】

ステップＳ１において、検出制御部２４は、モデル記憶部２３から予測モデルを読み出す。

【0048】

検出制御部２４は、撮影画像を取得すると（ステップＳ２）、取得した撮影画像から、所定のウィンドウサイズの子領域を切り出す（ステップＳ３）。そして、切り出した子領域に、堆積物のテクスチャが含まれるか否かを、検出制御部２４は判断する（ステップＳ４）。

【0049】

切り出した子領域に堆積物のテクスチャが含まれない場合（ステップＳ４のＮｏ分岐）には、ステップＳ６に遷移する。一方、切り出した子領域に堆積物のテクスチャが含まれる場合（ステップＳ４のＹｅｓ分岐）には、検出制御部２４は、検出結果を保存する（ステップＳ５）。

【0050】

図６は、局所領域のテクスチャ及び検出結果の一例を示す図である。図６（ａ）は、局所領域のテクスチャの一例を示す図である。図６（ａ）に示す矩形領域ｗ１～ｗ３は、予測モデルに対応する局所領域の一例である。図６（ｂ）は、検出結果の一例を示す図である。

【0051】

例えば、モデル記憶部２３には、矩形領域ｗ１～ｗ３のテクスチャに関する特徴量が、予め、予測モデルとして格納されるものとする。その場合、検出装置２０は、判断対象の撮影画像を取得した場合、当該撮影画像から切り出した子領域と、予測モデル（矩形領域ｗ１～ｗ３のテクスチャに関する特徴量）とを比較し、切り出した子領域に予測モデルのテクスチャが含まれるか否かを判断する。そして、検出装置２０は、検出結果（例えば、図６（ｂ）に示す画像）を、端末３０に送信する。

【0052】

ステップＳ６において、撮影画像の全体を走査したか否かを、検出制御部２４は判断する。つまり、撮影画像の全体に関して、子領域を切り出し、堆積物のテクスチャの有無を判断したか否かを、検出制御部２４は判断する。

【0053】

撮影画像の全体を走査していない場合（ステップＳ６のＮｏ分岐）には、ステップＳ３に戻り、処理を継続する。つまり、検出制御部２４は、撮影画像のうち、走査していない領域から、所定のウィンドウサイズの子領域を切り出す。そして、検出制御部２４は、新たに切り出した子領域に、堆積物のテクスチャが含まれるか否かを判断する処理を行う。このようにして、撮影画像に、堆積物のテクスチャが含まれるか否かを判断する。

【0054】

撮影画像の全体を走査した場合（ステップＳ６のＹｅｓ分岐）には、検出制御部２４は、検出結果を端末３０に通知する（ステップＳ７）。

【0055】

端末３０は、検出結果をディスプレイに表示する処理等を行い、ユーザに検出結果を提示する。ユーザは、提示された検出結果を見て、ウィンドウサイズを調整（変更）してもよい。具体的には、ユーザは、新たなウィンドウサイズを端末３０又は検出装置２０に入力してもよい。なお、ユーザが、新たなウィンドウサイズを端末３０に入力した場合、端末３０は、入力されたウィンドウサイズを、検出装置２０に通知することは勿論である。

【0056】

次に、図７を参照しながら、背景差分法を用いて堆積物を検出する場合と、本実施形態に係る検出システム１００との相違点について説明する。例えば、図７（ａ）に示す画像ＢＧ３１を、予め背景画像として用意しておくとする。図７（ａ）に示す、破線で囲まれた領域Ｒ３１には、植物を含むとする。

【0057】

仮に、カメラ１１が、画像ＢＧ３１を撮影後に、図７（ｂ）に示す画像ＩＭＧ３２を撮影したとする。その場合、画像処理を実行可能な装置（コンピュータ）が、画像ＢＧ３１と、画像ＩＭＧ３２との差分をとることで、画像ＩＭＧ３２に含まれる堆積物Ｂ３１を検出可能である。

【0058】

しかし、カメラ１１が、画像ＢＧ３１を撮影後に、図７（ｃ）に示す画像ＩＭＧ３３を撮影したとする。ここで、画像ＩＭＧ３３内において、破線で囲まれた領域Ｒ３２には、ＢＧ３１の撮影時から成長した植物を含むとする。つまり、植物が成長することで、ＢＧ３１の撮影時とは異なる外観（形状、大きさ、色等）になっているとする。その場合、画像処理を実行可能な装置（コンピュータ）が、画像ＢＧ３１と、画像ＩＭＧ３３との差分をとることで、領域Ｒ３２に含まれる植物と、堆積物Ｂ３２とを検出することになる。そのため、検出対象物とは異なる物体が、背景画像の撮影時とは異なる外観になる可能性がある場合には、背景差分法を用いると、検出対象物とは異なる物体も検出してしまう可能性がある。

【0059】

一方、本実施形態に係る検出システム１００においては、検出装置２０は、検出対象物のテクスチャのうち、局所領域のテクスチャに基づいて、撮影画像内における検出対象物の有無を判断する。そのため、本実施形態に係る検出システム１００においては、検出対象物とは異なる物体の外観が変化した場合であっても、検出対象物を適切に検出できる。

【0060】

以上のように、本実施形態に係る検出システム１００においては、検出対象物のテクスチャのうち、局所領域のテクスチャを利用する。それにより、本実施形態に係る検出システム１００においては、撮影画像内における検出対象物の形状、大きさ等が変化した場合であっても、検出装置２０は、検出対象物を適切に検出できる。従って、本実施形態に係る検出システム１００は、検出対象物の形状変化に柔軟に対応しつつ、容易に検出対象物を検出することに貢献する。

【0061】

本実施形態に係る検出システム１００においては、検出対象物のテクスチャのうち、局所領域のテクスチャを利用することで、カメラ１１を動かしながら、検出対象物を検出することができる。従って、本実施形態に係る検出システム１００においては、カメラの数を低減しつつ、適切かつ容易に検出対象物を検出することに貢献する。

【0062】

また、本実施形態に係る検出システム１００は、検出対象物のテクスチャのうち、局所領域のテクスチャを利用することで、周辺環境（植物の成長、天候による明るさの変化等）の影響を抑制することに貢献する。

【0063】

また、本実施形態に係る検出システム１００においては、検出対象物のテクスチャのうち、局所領域のテクスチャを利用することで、検出装置２０は、撮影画像中の検出対象物の位置に依存せず、検出対象物を検出できる。従って、本実施形態に係る検出システム１００は、監視位置（カメラ１１の設置位置）の自由度を向上させつつ、適切に検出対象物を検出することに貢献する。

【0064】

また、本実施形態に係る検出システム１００においては、検出対象物のテクスチャのうち、局所領域のテクスチャの特徴量を利用することで、モデル（予測モデル）を生成するために必要な画像の数を低減することに貢献する。

【0065】

次に、検出装置２０のハードウェアについて説明する。

【0066】

図８は、検出装置２０のハードウェアの一例を示すブロック図である。検出装置２０は、コンピュータにより構成可能であり、図８に例示する構成を備える。例えば、検出装置２０は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）１、通信インターフェイス２、メモリ３、補助記憶装置４等を備える。

【0067】

検出装置２０の機能は、ＣＰＵ１が、補助記憶装置４に記憶された撮影画像及び予測モデルを読み出し、メモリ３に格納されたプログラムを実行することで実現される。なお、監視装置１０、端末３０の構成も図８に示す検出装置２０のハードウェア構成と同様とすることができるので、詳細な説明を省略する。なお、監視装置１０は、さらに、カメラ１１を備えることで実現できる。また、端末３０は、さらに、ディスプレイを備えることで実現できる。

【0068】

なお、上記においては、監視装置１０、検出装置２０、端末３０を、それぞれ、異なる装置として説明した。しかし、検出装置２０が、監視装置１０と端末３０との機能を含んで構成されてもよいことは勿論である。

【0069】

また、上記においては、予測モデルが、機械学習を用いて生成された特徴量を含むことを例示して説明した。しかし、これは、予測モデルを限定する趣旨ではない。予測モデルは、機械学習とは異なる方法で生成された特徴量を含んでもよいことは勿論である。

【0070】

また、カメラ１１は、可動範囲内で回転、又はズーム率を変更させて撮影された、動画像を撮影してもよい。その場合、監視装置１０は、カメラ１１が撮影した動画像を、検出装置２０に送信する。例えば、監視制御部１３は、所定の時間間隔で、カメラ１１を上下左右に振り（即ち、カメラ１１をパン、チルトし）、カメラ１１の可動範囲内の空間に関して、カメラ１１に動画像を生成（撮影）させてもよい。その場合、検出制御部２４は、カメラ１１を可動範囲内で回転、又はズーム率を変更させて撮影された、動画像を取得し、取得した動画像から静止画像を、撮影画像として抽出する。そして、検出制御部２４は、動画像から抽出された複数の撮影画像に関して、堆積物の有無を判断する。

【0071】

また、上記においては、カメラ１１を回転させることで、撮影領域を変更する形態について説明した。しかし、これは、カメラ１１を回転させることで、撮影領域を変更することで限定する趣旨ではない。

【0072】

また、移動体（車両、移動可能なロボット等）に監視装置１０を搭載してもよい。その場合、監視装置１０は、当該移動体が移動している際に、カメラ１１が撮影した画像を、撮影画像として、検出装置２０に送信してもよい。つまり、当該移動体が移動することで、検出装置２０は、堆積物の検出範囲を変更してもよい。

【0073】

また、例えば、搬送装置（ベルトコンベア等）から、搬送物が落下して生成された堆積物を検出する場合、搬送装置の側面を撮影できる位置にカメラ１１を設置してもよい。その場合、検出装置２０は、撮影画像内の搬送装置の位置と、検出した堆積物の最上部の位置とを比較することで、搬送装置に対する堆積物の高さを判断してもよい。撮影画像内の搬送装置の位置については、例えば、予め、端末３０のユーザ等が、検出装置２０に入力しておいてもよい。

【0074】

また、監視装置１０は、距離画像センサを備えてもよい。距離画像センサは、ステレオカメラ、ＴｏＦ（Time of Flight）カメラ、Ｌｉｄａｒ（Light Detection and Ranging）であってもよい。そして、監視装置１０は、距離画像センサが生成した情報（画像）と、カメラ１１が生成した撮影画像とを、検出装置２０に送信してもよい。その場合、検出制御部２４は、カメラ１１が生成した撮影画像に基づいて、堆積物の有無を判断する。検出制御部２４は、堆積物のテクスチャに対応する子領域が、撮影画像に存在する場合、距離画像センサの出力に基づいて、検出対象物の高さを計測する。例えば、検出装置２０は、撮影画像中に、堆積物のテクスチャを検出した場合、距離画像センサが生成した情報（画像）に基づいて、検出した堆積物の最上部の位置を、堆積物の高さとして推定してもよい。

【0075】

なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。本発明で、アルゴリズム、ソフトウエア、ないしフローチャート或いは自動化されたプロセスステップが示された場合、コンピュータが用いられることは自明であり、またコンピュータにはプロセッサ及びメモリないし記憶装置が付設されることも自明である。よってその明示を欠く場合にも、本願には、これらの要素が当然記載されているものと解される。

【符号の説明】

【0076】

１ ＣＰＵ
２ 通信インターフェイス
３ メモリ
４ 補助記憶装置
１０ 監視装置
１１、４０１～４０３ カメラ
１２ 監視装置通信部
１３ 監視制御部
２０、１０００ 検出装置
２１ 検出装置通信部
２２ 画像記憶部
２３、１００１ モデル記憶部
２４、１００２ 検出制御部
３０ 端末
３１ 端末通信部
３２ 端末制御部
３３ 出力部
１００ 検出システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】