特開 2025-2191 設置異常検出方法、設置異常検出プログラム、及び設置異常検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025002191

(43)【公開日】2025-01-09

(54)【発明の名称】設置異常検出方法、設置異常検出プログラム、及び設置異常検出装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241226BHJP

   H04N 7/18 20060101ALI20241226BHJP

【ＦＩ】

G06T7/70 Z

H04N7/18 D

H04N7/18 K

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023102185

(22)【出願日】2023-06-22

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】片山 雄喜

(72)【発明者】

【氏名】飯野 賢吾

(72)【発明者】

【氏名】加藤 拓

(72)【発明者】

【氏名】清水 翔太

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054FC15

5C054FE28

5C054HA19

5L096AA06

5L096CA02

5L096DA02

5L096DA03

5L096EA39

5L096FA16

5L096FA32

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】ジャイロセンサ等のデバイスを必要とすることなくカメラの位置ずれを検出することができる技術を提供する。
【解決手段】例示的な設置異常検出方法は、カメラの位置ずれを検出する設置異常検出方法であって、前記カメラで撮影された画像に含まれる物体画像における第１特定箇所と第２特定箇所の位置関係を示す位置関係指標値を算出し、算出した前記位置関係指標値と、前記物体画像の物体に対して設定された前記第１特定箇所と前記第２特定箇所に対する標準指標値とを比較し、前記位置関係指標値と前記標準指標値との比較結果に基づき、前記カメラの位置ずれを検出する。
【選択図】図５

【特許請求の範囲】

【請求項1】

カメラの位置ずれを検出する設置異常検出方法であって、
前記カメラで撮影された画像に含まれる物体画像における第１特定箇所と第２特定箇所の位置関係を示す位置関係指標値を算出し、
算出した前記位置関係指標値と、前記物体画像の物体に対して設定された前記第１特定箇所と前記第２特定箇所に対する標準指標値とを比較し、
前記位置関係指標値と前記標準指標値との比較結果に基づき、前記カメラの位置ずれを検出する、設置異常検出方法。

【請求項2】

前記物体の前記画像上の位置に応じた補正係数を用いて前記位置関係指標値を算出する、請求項１に記載の設置異常検出方法。

【請求項3】

前記標準指標値は、物体の物体種別に特有の値であり、
前記カメラで撮影された複数の画像における、同じ物体種別の物体に対して前記位置関係指標値を算出し、
算出した複数の前記位置関係指標値に対して平均処理を行って平均化指標値を算出し、
算出した平均化指標値を前記位置関係指標値と見なして、前記標準指標値との比較を行う、請求項１に記載の設置異常検出方法。

【請求項4】

前記第１特定箇所は人の全身の中心位置であり、前記第２特定箇所は人の頭部の中心位置である、請求項１に記載の設置異常検出方法。

【請求項5】

前記第１特定箇所は前記物体画像における物体全体のバウンディングボックスの位置を示す全体バウンディングボックス座標であり、
前記第２特定箇所は前記物体画像における物体特定部位のバウンディングボックスの位置を示す特定部位バウンディングボックス座標であり、
前記位置関係指標値は、前記全体バウンディングボックス座標と前記特定部位バウンディングボックス座標との間の距離である、請求項１に記載の設置異常検出方法。

【請求項6】

同一物体に含まれる第１特定箇所と第２特定箇所の前記画像上の位置関係を示す前記位置関係指標値の算出は、
前記物体画像における物体全体のバウンディングボックスの大きさと、前記物体画像における物体特定部位のバウンディングボックスの大きさとにより算出する、請求項１～４のいずれか一項に記載の設置異常検出方法。

【請求項7】

コンピュータにより実行され、カメラで撮影された画像に含まれる物体画像における第１特定箇所と第２特定箇所の位置関係を示す位置関係指標値を算出し、
算出した前記位置関係指標値と、前記物体画像の物体に対して設定された前記第１特定箇所と前記第２特定箇所に対する標準指標値とを比較し、
前記位置関係指標値と前記標準指標値との比較結果に基づき、前記カメラの位置ずれを検出する、設置異常検出プログラム。

【請求項8】

カメラで撮影された画像に含まれる物体画像における第１特定箇所と第２特定箇所の位置関係を示す位置関係指標値を算出し、
算出した前記位置関係指標値と、前記物体画像の物体に対して設定された前記第１特定箇所と前記第２特定箇所に対する標準指標値とを比較し、
前記位置関係指標値と前記標準指標値との比較結果に基づき、前記カメラの位置ずれを検出する、設置異常検出装置。

【請求項9】

前記カメラの位置ずれを検出すると、前記カメラの位置ずれを検出したことを周囲に報知する、請求項８に記載の設置異常検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの位置ずれを検出する技術に関する。

【背景技術】

【0002】

Deep Neural Network（ＤＮＮ）等を用いた物体検出手法では、一般的に、学習データと異なる環境（ドメイン）で取得した検出データに対して検出精度が低下する問題がある。この検出精度低下は、環境の相違によってデータ分布が異なることに起因している。

【0003】

例えば、固定されたカメラで撮影された画像を用いた物体検出モデルでは、カメラの設置状況が学習データと検出データとで異なる場合に、検出精度が低下する問題がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－４６９２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１で提案されている技術では、カメラの設置状況に応じて物体検出モデルを更新することができる。

【0006】

しかし、カメラの設置状況の変化すなわちカメラの位置ずれを検出するためにジャイロセンサ等のデバイスをカメラに設けると、カメラのコストアップにつながる。

【0007】

本発明は、上記の点に鑑み、ジャイロセンサ等のデバイスを必要とすることなくカメラの位置ずれを検出することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

例示的な本発明の設置異常検出方法は、カメラの位置ずれを検出する設置異常検出方法であって、前記カメラで撮影された画像に含まれる物体画像における第１特定箇所と第２特定箇所の位置関係を示す位置関係指標値を算出し、算出した前記位置関係指標値と、前記物体画像の物体に対して設定された前記第１特定箇所と前記第２特定箇所に対する標準指標値とを比較し、前記位置関係指標値と前記標準指標値との比較結果に基づき、前記カメラの位置ずれを検出する。

【発明の効果】

【0009】

例示的な本発明によれば、ジャイロセンサ等のデバイスを必要とすることなくカメラの位置ずれを検出することができる。

【図面の簡単な説明】

【0010】

【図1A】物体検出システムの概要を示す図

【図1B】カメラずれ検出装置の構成を示すブロック図

【図2】撮影状態と撮影画像との関係を示す図

【図3】カメラで撮影された画像を模式的に示す図

【図4】係数テーブルの一例を模式的に示す図

【図5】カメラずれ検出方法の一例を示すフローチャート

【図6】物体検出結果を含む画像を模式的に示す図

【発明を実施するための形態】

【0011】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0012】

＜１．システムの概要＞
図１Ａは、本発明の実施形態に係る物体検出システム１００の概要を示す図である。物体検出システム１００は、カメラ１と、物体検出装置２と、カメラずれ検出装置３と、を備える。

【0013】

カメラ１は、例えば信号機、歩道橋等の構造物４に固定される。カメラ１は、画角θ１で地面５を俯瞰する撮影を行う。カメラ１は、時間的に連続して画像を撮影可能である。つまり、カメラ１は、所謂、動画を撮影可能である。カメラ１で撮影された画像は、カメラ１から物体検出装置２に送信される。

【0014】

物体検出装置２は、コンピュータ装置によって構成される。物体検出装置２は、物理コンピュータ装置であっても、クラウドコンピュータ装置であってもよい。

【0015】

物体検出装置２は、カメラ１で撮影された画像に写っている物体を検出する。物体検出装置２は、カメラ１で撮影された画像に写っている人を検出することができる。より詳細には、物体検出装置２は、カメラ１で撮影された画像に写っている人の全身と頭部とを検出することができる。

【0016】

物体検出装置２は、人工知能が学習を行って構築される物体検出モデルを用いて物体を検出してもよく、人工知能が学習を行って構築される物体検出モデルを用いずに例えばパターンマッチングによって物体を検出してもよい。

【0017】

カメラずれ検出装置３は、コンピュータ装置によって構成される。カメラずれ検出装置３は、物理コンピュータ装置であっても、クラウドコンピュータ装置であってもよい。物体検出装置２とカメラずれ検出装置３とは、同一のコンピュータ装置によって構成されてもよく、別々のコンピュータ装置によって構成されてもよい。

【0018】

カメラずれ検出装置３は、物体検出装置２での検出結果を利用してカメラ１の位置ずれを検出する設置異常検出装置である。カメラ１の位置ずれとは、カメラ１の構造物４に対する固定状態の変化（物体の衝突や、強風等による力の印加等によるカメラブラケット等の固定位置ずれ）、構造物４の変形（物体の衝突や、強風等による力の印加等によるカメラ支柱等の固定位置ずれ）等によって、カメラ１と地面５との位置関係がカメラ１の設置初期からずれることを意味する。

【0019】

＜２．カメラずれ検出装置の詳細＞
［２－１．カメラずれ検出装置の構成］
図１Ｂは、カメラずれ検出装置３の構成を示すブロック図である。図１Ｂに示すように、カメラずれ検出装置３は、コントローラ３１を備える。カメラずれ検出装置３は、メモリ部３２及び通信部３３をさらに備える。なお、カメラずれ検出装置３は、キーボード等の入力装置及びディスプレイ等の出力装置の少なくとも一方、または両方を備える構成であってもよい。

【0020】

コントローラ３１は、演算処理を行う演算回路を含んで構成される。コントローラ３１は、詳細には演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を含んで構成される。コントローラ３１は、１つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続される。

【0021】

メモリ部３２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、又は、ハードディスドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラム及びデータが格納される。なお、本実施形態においては、メモリ部３２には、カメラずれ検出プログラム３２１、係数テーブル３２２、及び標準指標値３２３が格納される。

【0022】

通信部３３は、物体検出装置２等と通信を行うためのインターフェース回路を有する通信インターフェースとして構成される。

【0023】

コントローラ３１は、その機能として、画像取得部３１１と、算出部３１２と、比較部３１３と、を備える。本実施形態においては、コントローラ３１の機能は、メモリ部３２に記憶されるカメラずれ検出プログラム３２１にしたがった演算処理をプロセッサが実行することによって実現される。

【0024】

カメラずれ検出プログラム３２１は、カメラの位置ずれを検出する設置異常検出プログラムである。カメラずれ検出プログラム３２１は、単一のプログラムで構成されてもよく、複数のプログラムで構成されてもよい。つまり、画像取得部３１１、算出部３１２、及び比較部３１３は、１つのプログラムにより実現されてもよいが、例えば機能部ごとに別々のプログラムにより実現される等、複数のプログラムにより実現されてもよい。また、画像取得部３１１、算出部３１２、及び比較部３１３が別々の装置として実現されてもよい。また、画像取得部３１１、算出部３１２、及び比較部３１３それぞれは、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。画像取得部３１１、算出部３１２、及び比較部３１３それぞれは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、画像取得部３１１、算出部３１２、及び比較部３１３それぞれは、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、画像取得部３１１、算出部３１２、及び比較部３１３それぞれは、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、画像取得部３１１、算出部３１２、及び比較部３１３は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

【0025】

［２－２．カメラずれ検出装置の初期設定］
カメラ１が設置されると、通信部３３、入力装置等を経由したデータ入力によって、係数テーブル３２２及び標準指標値３２３がカメラ１の設置状況（初期設置状況）に応じた内容に設定される。つまり、カメラ１が設置されると、通信部３３、入力装置等を経由したデータ入力によって、カメラ１の設置状況（初期設置状況）に応じた内容の係数テーブル３２２及び標準指標値３２３がメモリ部３２に書き込まれる。標準指標値３２３は、物体の物体種別に特有の値であり、本実施形態では人に特有の値である。

【0026】

図２は、撮影状態と撮影画像との関係を示す図である。図２では、人の全身中心ＢＣ１がカメラ１の画角中心と一致した状態で人が撮影されたときの撮影状態と撮影画像６が示されている。

【0027】

カメラ１の設置状態が正常状態であるときに、人の全身中心ＢＣ１とカメラ１とは距離Ｄ１となり、撮影画像６において人の全身中心ＢＣ１と人の頭部中心ＨＣ１とは距離ｄ１となる。カメラ１の設置状態が異常状態（カメラずれ発生状態）であるときに、人の全身中心ＢＣ１とカメラ１とは距離Ｄ１とは異なる距離Ｄ２となる。図２に示す例のように、距離Ｄ２が距離Ｄ１より大きい場合、カメラずれによって被写体が小さく写ることになりため、撮影画像６において人の全身中心ＢＣ１と人の頭部中心ＨＣ１とは距離ｄ１より小さい距離ｄ２となる。つまり、カメラ１の設置状態は、撮影画像６における物体（例えば人）の第１特定箇所（例えば全身中心ＢＣ１）と第２特定箇所（例えば頭部中心ＨＣ１）との距離に影響を及ぼす。このような関係を利用して、カメラずれ検出装置３は、撮影画像６における物体（例えば人）の第１特定箇所（例えば全身中心ＢＣ１）と第２特定箇所（例えば頭部中心ＨＣ１）との距離から、カメラ１の位置ずれを検出する。

【0028】

図３は、カメラ１で撮影された画像を模式的に示す図である。図３に示す画像は、カメラ１の設置状況（初期設置状況）に応じて３つの領域Ｒ１～Ｒ３に区分される。領域Ｒ１～Ｒ３と画像の座標との対応関係はメモリ部３２に記憶される。なお、図３に示す区分は一例であり、領域の個数は３未満であってもよく、４以上であってもよい。また、縦方向に領域を分割だけでなく、カメラの設置場所や角度、カメラの特性に応じて横方向や縦横方向に領域を分けてもよい。そして、各領域におけるカメラ１から物体までの目安距離（おおよその距離）Ｌも、カメラ１の設置条件等により適宜設定されることになる。

【0029】

領域Ｒ１は、物体の画像上の位置が領域Ｒ１内である場合に、カメラ１から物体までの目安距離（おおよその距離）Ｌが２００[cm]になる領域である。領域Ｒ２は、物体の画像上の位置が領域Ｒ２内である場合に、カメラ１から物体までの目安距離Ｌが４００[cm]になる領域である。領域Ｒ３は、物体の画像上の位置が領域Ｒ３内である場合に、カメラ１から物体までの目安距離Ｌが５００[cm]になる領域である。

【0030】

物体の画像上の位置がどの領域にあるかの判定において、物体の画像上の位置の定義は、例えば物体の中心（物体が人である場合には全身の中心）であってもよく、例えば物体の鉛直方向上端（物体が人である場合には頭頂や頭部の中心）であってもよく、例えば物体の鉛直方向下端（物体が人である場合には足先）であってもよい。物体の画像上の位置がどの領域にあるかの判定において、物体の画像上の位置の定義を例えば物体の中心にすれば、具体的な処理としては、物体検出手法において広く用いられているバウンディングボックスを用いて、物体検出装置２により検出された物体（人の全身）を囲った矩形図（バウンディングボックスＢ１，Ｂ２）の中心を物体の中心とする。図３に示す画像に写っている物体Ｔ１では物体の中心ＣＮ１は画像上の位置は領域Ｒ３内になり、図３に示す画像に写っている物体Ｔ２では物体の中心ＣＮ２は画像上の位置は領域Ｒ２内になる。

【0031】

図４は、係数テーブル３３２の一例を模式的に示す図である。係数テーブル３３２には、領域データＴｅ、目安距離Ｗｏ、補正係数Ａと、重み付け係数Ｂとが、記憶される。

【0032】

領域データＴｅは、画像上の領域を示すデータである。そして、領域データＴｅは、係数テーブル３３２における主キーとなっており、領域データＴｅのデータ毎（領域毎）にデータレコードが形成され、当該データレコードに対応する目安距離Ｗｏと補正係数Ａと重み付け係数Ｂとが記憶されることになる。目安距離Ｗｏは、該当の領域に存在する物体に対する目安距離のデータである。補正係数Ａは、該当の領域に存在する物体に対する演算処理で使用される補正係数のデータである。重み付け係数Ｂは、該当の領域に存在する物体に対する演算処理で使用される重み付け係数のデータである。つまり、図４に示したデータ例では、領域Ｒ１に位置する物体に対しては、カメラから物体までの目安距離Ｗｏとして２００ｃｍが適用され、補正係数Ａとして０．７５が適用され、そして重み付け係数Ｂとしては０．８が適用されることになる。

【0033】

同一の物体に含まれる第１特定箇所と第２特定箇所の画像上の位置関係は、物体が同一であっても物体とカメラの距離に応じて変化する。つまり、カメラ１から物体までの目安距離Ｌが短い場合、カメラ１で撮影された画像において物体は大きく写る。それに対して、カメラ１から物体までの目安距離Ｌが長い場合、カメラ１で撮影された画像において物体は小さく写るため、同一の物体に含まれる第１特定箇所と第２特定箇所の画像上の位置関係はカメラ１から物体までの距離が遠い程互いに近くなる。補正係数Ａは、この特徴を均等化するための係数である。本例では、画像上の領域毎に補正係数Ａを設定している。同一の物体に含まれる第１特定箇所と第２特定箇所の画像上の位置関係に対して補正係数Ａを用いた補正を実行すると、物体の位置に応じた第１特定箇所と第２特定箇所の画像上相対距離が均等化するように補正係数Ａの値が設定される。

【0034】

重み付け係数Ｂは、カメラずれ検出装置３がカメラ１の位置ずれを検出するときに、画像上の位置がどの領域内にある物体を重視するかを定めるための係数である。図４に示す例では、カメラずれ検出装置３がカメラ１の位置ずれを検出するときに、画像上の位置が領域Ｒ３内になる物体が最も重視され（重み付け係数Ｂ＝１．３）、画像上の位置が領域Ｒ１内になる物体が最も軽視される（重み付け係数Ｂ＝０．８）。例えば、図４に示す例とは逆に、カメラずれ検出装置３がカメラ１の位置ずれを検出するときに、画像上の位置が領域Ｒ３内になる物体が最も軽視され、画像上の位置が領域Ｒ１内になる物体が最も重視されてもよい。例えば、カメラと物体との距離が近いにも関わらず、遠い領域（Ｒ３）と判断されるといった、イレギュラーな状況がカメラ１の設置位置や角度によって発生することがある。領域によってこのようなイレギュラーな状況の発生頻度が変化する場合、その発生頻度に応じて重視する領域を変更することもできる。つまり、係数テーブル３３２の各データは、カメラの設置条件等に応じて、物体検出システム１００の設計開発者、カメラ１の設置作業者等が設定することになる。

【0035】

［２－３．カメラずれ検出装置の通常動作］
図５は、カメラずれ検出装置３によって実行されるカメラずれ検出方法の一例を示すフローチャートである。カメラずれ検出方法は、カメラの位置ずれを検出する設置異常検出方法である。物体検出システム１００の稼働中において、カメラずれ検出装置３は、図５に示すカメラずれ検出方法を繰り返して実行するが、処理の繰り返し頻度はカメラずれの確認に適切な間隔（カメラ撮影画像の使用用途により変わるが、例えば１日間隔）、タイミングは撮影環境が良好な時間帯（例えば、日中の人通り密度が適当な時間帯）が好ましい。

【0036】

カメラずれ検出装置３は、物体検出装置２から送られてくる各フレームの画像に対して、図５に示すカメラずれ検出方法を実行してもよく、物体検出装置２から送られてくる画像に対して、数フレームおきに図５に示すカメラずれ検出方法を実行してもよい。なお、この画像サンプリング間隔は、同じ物体が２回撮影されない（撮影範囲を通過する）間隔、例えば１０秒（撮影範囲や、物体の移動速度に異なる）が好ましい。

【0037】

ステップＳ１では、画像取得部３１１（コントローラ３１）が、画像サンプリングのタイミングが到来しているか否かを判定する。画像サンプリングのタイミングが到来すると、次のステップＳ２に処理が進められる。

【0038】

ステップＳ２では、画像取得部３１１（コントローラ３１）が、物体検出装置２からカメラずれ検出装置３に送信される物体検出結果を含む画像（データ）を取得する。物体検出結果は、例えば画像のメタデータに含まれる。なお、物体検出結果が検出無しである場合には、ステップＳ６での位置関係指標値の算出が行えないため、カメラずれ検出装置３はステップＳ３～Ｓ９の処理をスキップすればよい。

【0039】

図６は、物体検出結果を含む画像を模式的に示す図である。物体検出装置２は、人を検出することができ、より詳細には人の全身と頭部とを検出することができる。そのため、図６に示すような人の全身像が写っている画像では、人の全身の位置を示す第１バウンディングボックスＢＢＸ１及び人の頭部の位置を示す第２バウンディングボックスＢＢＸ２が形成される。

【0040】

なお、物体検出方法（バウンディングボックス生成方法）は公知の各種画像認識方法（バウンディングボックス生成方法）を用いることができる。例えば、人物の画像データに基づく学習データ（入力データ（人物画像データ）と、正解データ（当該画像が人物であるか否かのデータと、当該画像における人物の全体位置を示すデータと、当該画像における人物の頭部位置を示すデータ）とから構成されるデータ）で学習済みのＡＩ（人工知能）モデルにより物体検出装置２を実現できる。

【0041】

例えば、物体検出結果は、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１、第１バウンディングボックスＢＢＸ１の横方向の長さ、第１バウンディングボックスＢＢＸ１の縦方向の長さ、第２バウンディングボックスＢＢＸ２の中心座標Ｃ２、第２バウンディングボックスＢＢＸ２の横方向の長さ、及び第２バウンディングボックスＢＢＸ２の縦方向の長さを含む。また、物体検出結果が第１バウンディングボックスＢＢＸ１の中心座標Ｃ１及び第２バウンディングボックスＢＢＸ２の中心座標Ｃ２を含まず、カメラずれ検出装置３が物体検出結果（バウンディングボックスが表示された画像の解析、あるいはバウンディングボックスにおける四隅の各座標）に基づいて第１バウンディングボックスＢＢＸ１の中心座標Ｃ１及び第２バウンディングボックスＢＢＸ２の中心座標Ｃ２を算出してもよい。

【0042】

物体検出結果を含む画像データの取得が完了すると、次のステップＳ３に処理が進められる。

【0043】

ステップＳ３では、算出部３１２（コントローラ３１）は、画像（データ）に含まれる物体検出結果に基づいて、人の全身の位置を示す第１バウンディングボックスＢＢＸ１を生成する。ステップＳ３に続くステップＳ４では、算出部３１２（コントローラ３１）は、画像（データ）に含まれる物体検出結果に基づいて、人の頭部の位置を示す第２バウンディングボックスＢＢＸ２を生成する。

【0044】

ステップＳ４に続くステップＳ５では、算出部３１２（コントローラ３１）は、第１バウンディングボックスＢＢＸ１及び第２バウンディングボックスＢＢＸ２の位置を判定する。例えば、算出部３１２（コントローラ３１）は、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１及び第２バウンディングボックスＢＢＸ２の中心座標Ｃ２を認識する。

【0045】

ステップＳ５に続くステップＳ６では、算出部３１２（コントローラ３１）は、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１と第２バウンディングボックスＢＢＸ２の中心座標Ｃ２との間のユークリッド距離ｄを算出する。

【0046】

ステップＳ６に続くステップＳ７では、算出部３１２（コントローラ３１）は、物体の画像上の位置がどの領域にあるかを判定する。詳細には、算出部３１２（コントローラ３１）は、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１がカメラ１の設置状態に応じて区分された領域（Ｒ１、Ｒ２、Ｒ３）のいずれの領域にあるかを判断する。また、複数の物体が検出されている場合には、夫々の物体で上記判断が実行される。ステップＳ７に続くステップＳ８では、算出部３１２（コントローラ３１）は、ステップＳ７での判定結果と係数テーブル３３２とを用いて、各物体に対応する補正係数Ａ及び重み付け係数Ｂを検索する。ステップＳ８に続くステップＳ９では、算出部３１２（コントローラ３１）は、物体毎にステップＳ６で算出したユークリッド距離ｄとステップＳ７で検索した補正係数Ａ及び重み付け係数Ｂとを関連付けてメモリ部３２に記憶させる。

【0047】

ステップＳ９に続くステップＳ１０では、算出部３１２（コントローラ３１）は、画像データ収集期間が完了しているか、すなわち図５に示すフロー動作の開始から画像データ収集期間が経過しているかを判定する。画像データ収集期間が完了していなければ、ステップＳ１に処理が戻される。一方、画像データ収集期間が完了していれば、ステップＳ１１に処理が進められる。画像データ収集期間は、ステップＳ２での画像取得が１回になるように設定されてもよく、ステップＳ２での画像取得が複数回になるように設定されてもよい。

【0048】

カメラ１で撮影された画像において検出される同一の物体に含まれる第１特定箇所と第２特定箇所の画像上の位置関係を示す位置関係指標値を算出する。より詳細には、算出部３１２（コントローラ３１）は、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１と第２バウンディングボックスＢＢＸ２の中心座標Ｃ２との間のユークリッド距離ｄと、物体（人）の画像上の位置に応じた補正係数Ａとの乗算値である位置関係指標値Ｗを算出する。そして、算出部３１２（コントローラ３１）は、算出した複数の位置関係指標値Ｗに対して物体（人）の画像上の位置に応じた重み付け係数Ｂを用いた平均処理を行って平均化指標値ＡＷを算出し、算出した平均化指標値ＡＷを位置関係指標値Ｗと見なす。平均化指標値ＡＷの算出には、下記の式が用いられる。なお、Ｎは、ステップＳ１～Ｓ１０の処理が実行されてステップＳ２において取得された１枚又は複数枚の画像において検出された物体（人）の個数である。

【数1】

【0049】

上記のように補正係数Ａを用いて位置関係指標値Ｗが算出されると、カメラ１から物体までの目安距離を統一して位置関係指標値Ｗを算出する必要がなくなる。したがって、位置関係指標値Ｗの算出に利用できる物体（人）が増えることになり、位置関係指標値Ｗが算出できない確率（上記Ｎが０になる確率）を減らすことができる。

【0050】

また、上記のように重み付け係数Ｂを用いた平均処理（重み付け平均処理）によって位置関係指標値Ｗが算出されると、カメラずれ検出装置３がカメラ１の位置ずれを検出するときに、画像上の位置がどの領域内にある物体を重視するかを定めることができる。したがって、例えばカメラ１の位置ずれが発生し易い方向があり、その位置ずれが発生し易い方向にカメラ１の位置がずれた場合に、そのずれによる位置関係指標値Ｗの変化が顕著に発生する領域内にある物体を重視することで、カメラ１の位置ずれの検出精度を向上させることができる。

【0051】

平均化指標値ＡＷの算出が完了すると、次のステップＳ１２に処理が進められる。

【0052】

ステップＳ１２では、比較部３１３は、物体（人）に対応する標準指標値３２３をメモリ部３２から読み出す（抽出する）。ステップＳ１２に続くステップＳ１３では、比較部３１３は、位置関係指標値Ｗと標準指標値３２３とを比較する。ステップＳ１３に続くステップＳ１４では、比較部３１３は、比較結果をメモリ部３２に記憶させる。そして、ステップＳ１５において、比較部３１３は、位置関係指標値Ｗと標準指標値３２３とが一定期間不一致であるか否かを判定する。この一定期間は、例えば、時間経過とともに順次複数回実行された図５に示すフローにおいて、位置関係指標値Ｗと標準指標値３２３とが不一致になる状態が一定回数続いた場合が該当する。具体的には、位置関係指標値Ｗと標準指標値３２３との不一致か否かを判定し、不一致であると判定された場合、不一致回数のカウントを１加算し、一致していると判定された場合は、不一致回数のカウントをリセット（０）とする。その後、一定期間の不一致の判定は不一致回数のカウント数が一定回数を超過しているか否かを判定し、一定期間不一致であるか否かを判定する。また、比較部３１３は、位置関係指標値Ｗと標準指標値３２３との差が許容誤差以内である場合には、位置関係指標値Ｗと標準指標値３２３とが一致するとして、上記の判定処理を行う。

【0053】

比較部３１３は、位置関係指標値Ｗと標準指標値３２３とが一定期間不一致であると判定すれば、通信部３３、出力装置等を用いて、カメラずれ検出装置３の周囲に対して、カメラ１の位置ずれを検出したことを報知し（ステップＳ１６）、その後図５のフローを終了する。これにより、カメラずれ検出装置３の外部においてカメラ１の位置ずれに対する対策を講じることが可能となる。一方、比較部３１３は、位置関係指標値Ｗと標準指標値３２３とが一定期間不一致であると判定しなければ、上記の報知を行うことなく、図５のフローを終了する。

【0054】

カメラずれ検出装置３は、カメラ１の位置ずれが発生したときに位置関係指標値Ｗが変化することを利用し、位置関係指標値Ｗの変化を捉えることでカメラ１の位置ずれを検出する。つまり、カメラずれ検出装置３は、ジャイロセンサ等のデバイスを必要とすることなくカメラ１の位置ずれを検出することができる。また、位置関係指標値Ｗに関連する物体が検出されている限り、カメラずれ検出装置３は、リアルタイムでカメラ１の位置ずれを検出することができる。

【0055】

本実施形態では、物体検出装置２によって検出される物体の第１特定箇所として人の全身が採用され、物体検出装置２によって検出される物体の第２特定箇所として人の頭部が採用される。人の頭部の可動範囲は人の手足の可動範囲に比べて狭く、人の動きによる人の全身と人の頭部との位置関係の変化が少ない。したがって、人の全身及び人の頭部が採用されると、標準指標値３２３が設定し易くなるためである。例えば、人の全身と人の腕の付け根との位置関係も人の動きによる変化が少ない。しかしながら、人の腕の付け根は、人の頭部よりも画像上での特徴が出にくいため、人の頭部よりも物体検出が難しい。つまり、物体検出装置２によって検出される物体の第１特定箇所として人の全身が採用され、物体検出装置２によって検出される物体の第２特定箇所として人の頭部が採用されることで、物体検出の容易性及び標準指標値３２３の設定容易性を満たすことができる。

【0056】

また、本実施形態では、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１と第２バウンディングボックスＢＢＸ２の中心座標Ｃ２との間のユークリッド距離ｄを用いて位置関係指標値Ｗが算出される。物体検出結果のフォーマットとして、バウンディングボックスの中心座標を含むフォーマットは比較的汎用であるため、本実施形態では、位置関係指標値Ｗの算出を簡素化することができる。

【0057】

なお、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１と第２バウンディングボックスＢＢＸ２の中心座標Ｃ２との間のユークリッド距離ｄの代わりに、第１バウンディングボックスＢＢＸ１の大きさと第２バウンディングボックスＢＢＸ２の大きさとの関係が用いられてもよい。

【0058】

第１バウンディングボックスＢＢＸ１の大きさと第２バウンディングボックスＢＢＸ２の大きさとの関係としては、例えば第２バウンディングボックスＢＢＸ２の縦方向の長さに対する第１バウンディングボックスＢＢＸ１の縦方向の長さの比であってもよく、例えば第２バウンディングボックスＢＢＸ２の面積に対する第１バウンディングボックスＢＢＸ１の面積の比であってもよい。例えば、図６に示すように、第２バウンディングボックスＢＢＸ２が第１バウンディングボックスＢＢＸ１の内部に位置していれば、第１バウンディングボックスＢＢＸ１の中心座標Ｃ１と第２バウンディングボックスＢＢＸ２の中心座標Ｃ２との間のユークリッド距離ｄと、第１バウンディングボックスＢＢＸ１の大きさと第２バウンディングボックスＢＢＸ２の大きさとの関係との間に高い相関があるためである。

【0059】

物体検出結果のフォーマットとして、バウンディングボックスの大きさを含むフォーマットは比較的汎用であるため、バウンディングボックスの大きさを用いた場合もバウンディングボックスの中心座標を用いた場合と同様に、位置関係指標値Ｗの算出を簡素化することができる。

【0060】

カメラずれ検出装置３は、カメラ１の位置ずれを検出したことを報知する場合、周囲への報知方法としては、予め登録された物体検出システム１００の管理者へネットワークを介してメッセージの送信を行う。また、位置関係指標値Ｗと標準指標値３２３との差の一定期間における平均値を算出し、その算出した平均値から位置ずれ後のカメラ１の設置状況（例えば構造物４に対するカメラ１の取付角度等）を推定し、その推定結果をも報知するようにしてもよい。その他の報知方法としては、物体検出システム１００に取り付けられたディスプレイやスピーカーの表示や音により報知しても良い。

【0061】

位置ずれ後のカメラ１の設置状況の推定結果の利用例としては、以下のものが考えられる。物体検出装置２は、異なる環境（ドメイン）で撮影された画像を用いた学習データセットを利用し、異なる環境（ドメイン）毎に異なる学習データセットとし、人工知能が学習データセットを用いて学習を行って構築される異なる環境（ドメイン）毎に複数の物体検出モデルを備える構成である。

【0062】

物体検出装置２は、位置ずれ後のカメラ１の設置状況の推定結果をカメラずれ検出装置３から受け取ると、その後、位置ずれ後のカメラ１の設置状況の推定結果に近い環境（ドメイン）に対応する物体検出モデルを用いて物体検出を行う。これにより、カメラ１の位置ずれが起こっている状態であっても、物体検出装置２における物体検出の精度低下を抑制することができる。

【0063】

＜３．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。

【0064】

例えば、上述した実施形態では、物体検出装置２によって検出される物体は人であり、物体に含まれる第１特定箇所が人の全身であり、物体に含まれる第２特定箇所が人の頭部であったが、物体検出装置２によって検出される物体は人以外の物体、例えば車両、自転車等であってもよい。車両に含まれる第１特定箇所、第２特定箇所としては例えばドアミラー、タイヤ、ナンバープレート、ヘッドライト等が考えられる。自転車に含まれる第１特定箇所、第２特定箇所としては例えば前輪、後輪、ハンドルバー、ペダル等が考えられる。例えば、算出部３１２（コントローラ３１）が車両に関する位置関係指標値を算出する場合、メモリ部３２は物体（車両）に対応する標準指標値３２３を格納すればよい。また例えば、算出部３１２（コントローラ３１）が自転車に関する位置関係指標値を算出する場合、メモリ部３２は物体（自転車）に対応する標準指標値３２３を格納すればよい。

【符号の説明】

【0065】

１・・・カメラ
２・・・物体検出装置
３・・・カメラずれ検出装置
４・・・構造物
５・・・地面
６・・・撮影画像
３１・・・コントローラ
３２・・・メモリ部
３３・・・通信部
１００・・・物体検出システム

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】