特開 2023-42199 目標検出装置、目標検出方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023042199

(43)【公開日】2023-03-27

(54)【発明の名称】目標検出装置、目標検出方法、およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230317BHJP

   F42B 15/01 20060101ALI20230317BHJP

【ＦＩ】

G06T7/70 A

F42B15/01

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021149384

(22)【出願日】2021-09-14

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】福井 雄大

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA04

5L096EA15

5L096EA43

5L096FA06

5L096FA26

5L096FA67

5L096FA69

5L096GA08

(57)【要約】

【課題】 背景によらず目標を確実に検出可能な目標検出装置を提供すること。
【解決手段】 実施形態の目標検出装置は、飛しょう体に搭載可能な目標検出装置である。この目標検出装置は、情報取得部と、撮像範囲算出部と、撮像装置と、推定画像生成部と、特徴マップ生成部と、判定部とを具備する。情報取得部は、飛しょう中の飛しょう体の位置情報および姿勢角情報を取得する。撮像範囲算出部は、位置情報と姿勢角情報とに基づいて撮像範囲を算出する。撮像装置は、撮像範囲を撮像してフレーム画像を逐次生成する。推定画像生成部は、撮像範囲とフレーム画像との変位量に基づいて次のフレーム画像を予測して予測フレーム画像を生成する。特徴マップ生成部は、最新のフレーム画像と予測フレーム画像との差分を計算して、最新のフレーム画像から背景成分をキャンセルする。判定部は、背景成分をキャンセルされたフレーム画像から目標を判定する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

飛しょう体に搭載可能な目標検出装置において、
飛しょう中の前記飛しょう体の位置情報および姿勢角情報を取得する情報取得部と、
前記位置情報と前記姿勢角情報とに基づいて撮像範囲を算出する撮像範囲算出部と、
前記撮像範囲を撮像してフレーム画像を逐次生成する撮像装置と、
前記撮像範囲と前記フレーム画像との変位量に基づいて次のフレーム画像を予測して予測フレーム画像を生成する推定画像生成部と、
最新のフレーム画像と前記予測フレーム画像との差分を計算して、前記最新のフレーム画像から背景成分をキャンセルする特徴マップ生成部と、
前記背景成分をキャンセルされたフレーム画像から目標を判定する判定部とを具備する、目標検出装置。

【請求項2】

前記撮像範囲算出部は、前記位置情報および姿勢角情報に基づいて、前記フレーム画像を地表面と仮定し、当該フレーム画像の各画素ごとに基準座標系における撮像位置座標を算出する、請求項１に記載の目標検出装置。

【請求項3】

前記撮像範囲算出部は、前記撮像位置座標を時系列的に算出し、撮像位置座標における任意の時系列間の結像画素座標の変位量を算出する、請求項２に記載の目標検出装置。

【請求項4】

前記推定画像生成部は、前記撮像装置において過去に撮像された画像フレームを前記撮像位置座標の変位量に基づいて画像処理変換して、前記予測フレーム画像を生成する、請求項２に記載の目標検出装置。

【請求項5】

前記特徴マップ生成部は、前記最新のフレーム画像と前記予測フレーム画像との差分を計算して、前記最新のフレーム画像から背景成分をキャンセルし目標成分を残存させた差分マップを生成する、請求項１に記載の目標検出装置。

【請求項6】

前記特徴マップ生成部は、
プラス成分の画素を抽出したプラス成分マップと、マイナス成分の画素を抽出し画素値の絶対値をマッピングしたマイナス成分マップとに前記差分マップを分割し、
前記マイナス成分マップを逆変換して目標の画素座標を戻し、
当該逆変換されたマイナス成分マップと前記プラス成分マップとの和を計算して、前記目標成分の強度を強調させた特徴マップを生成する、請求項５に記載の目標検出装置。

【請求項7】

飛しょう体に搭載可能な目標検出装置による目標検出方法であって、
前記目標検出装置が、飛しょう中の前記飛しょう体の位置情報および姿勢角情報を取得することと、
目標検出装置が、前記位置情報と前記姿勢角情報とに基づいて撮像範囲を算出することと、
目標検出装置が、撮像装置により、前記撮像範囲を撮像してフレーム画像を逐次生成することと、
目標検出装置が、前記撮像範囲と前記フレーム画像との変位量に基づいて次のフレーム画像を予測して予測フレーム画像を生成することと、
目標検出装置が、最新のフレーム画像と前記予測フレーム画像との差分を計算して、前記最新のフレーム画像から背景成分をキャンセルすることと、
目標検出装置が、前記背景成分をキャンセルされたフレーム画像から目標を判定することとを具備する、目標検出方法。

【請求項8】

飛しょう体に搭載可能なコンピュータにより実行可能なプログラムであって、
前記コンピュータに、飛しょう中の前記飛しょう体の位置情報および姿勢角情報を取得させるための命令と、
前記コンピュータに、前記位置情報と前記姿勢角情報とに基づいて撮像範囲を算出させるための命令と、
前記コンピュータに、撮像装置に前記撮像範囲を撮像してフレーム画像を逐次生成させるための命令と、
前記コンピュータに、前記撮像範囲と前記フレーム画像との変位量に基づいて次のフレーム画像を予測して予測フレーム画像を生成させるための命令と、
前記コンピュータに、最新のフレーム画像と前記予測フレーム画像との差分を計算して、前記最新のフレーム画像から背景成分をキャンセルさせるための命令と、
前記コンピュータに、前記背景成分をキャンセルされたフレーム画像から目標を判定させるための命令とを含む、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、目標検出装置、目標検出方法、およびプログラムに関する。

【背景技術】

【0002】

地上から射出されたのち、目標に向かって飛しょうする誘導飛しょう体が知られている。この種の飛しょう体には、自身が飛しょう中に、飛来してくる目標を検出可能な目標検出装置を備えるものがある。目標検出装置は、赤外線カメラ等の撮像機器で取得した画像データを画像処理し、輝度値や形状等の特徴量を抽出して目標を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５７１３９３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

目標が低空から飛来する場合、その目標よりも高高度から目標を見下ろす状況が発生し得る。この状況で飛しょう体から目標を撮像しようとすると、地表面に起因する複雑な背景が撮像画像の大部分を占めることとなる。このようなケースでは、目標より輝度値が大きい背景や、大きさや形状が目標と類似する背景が撮像されてしまい、背景を目標として誤検出する可能性が高くなる。
そこで、目的は、背景によらず目標を確実に検出することの可能な目標検出装置、目標検出方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0005】

実施形態の目標検出装置は、飛しょう体に搭載可能な目標検出装置である。この目標検出装置は、情報取得部と、撮像範囲算出部と、撮像装置と、推定画像生成部と、特徴マップ生成部と、判定部とを具備する。情報取得部は、飛しょう中の飛しょう体の位置情報および姿勢角情報を取得する。撮像範囲算出部は、位置情報と姿勢角情報とに基づいて撮像範囲を算出する。撮像装置は、撮像範囲を撮像してフレーム画像を逐次生成する。推定画像生成部は、撮像範囲とフレーム画像との変位量に基づいて次のフレーム画像を予測して予測フレーム画像を生成する。特徴マップ生成部は、最新のフレーム画像と予測フレーム画像との差分を計算して、最新のフレーム画像から背景成分をキャンセルする。判定部は、背景成分をキャンセルされたフレーム画像から目標を判定する。

【図面の簡単な説明】

【0006】

【図1】図１は、実施形態に係わる目標検出システムの一例を示す機能ブロック図である。

【図2】図２は、図１に示されるプロセッサ３２の一例を示す機能ブロック図である。

【図3】図３は、撮像範囲算出部３２ｂにより算出される領域の一例を示す図である。

【図4】図４は、予測フレーム画像の生成について説明するための図である。

【図5】図５は、特徴マップ生成部３２ｄの処理について説明するための図である。

【図6】図６は、目標検出装置３０の処理手順の一例を示すフローチャートである

【発明を実施するための形態】

【0007】

以下、実施形態について添付図面を参照して説明する。
図１は、実施形態に係わる目標検出システムの一例を示す機能ブロック図である。図１に示される目標検出システム１は、例えば誘導飛しょう体に搭載されることが可能である。
目標検出システム１は、撮像装置１０と、慣性装置２０と、目標検出装置３０とを備える。目標検出システム１は、撮像装置１０により取得された画像データに画像処理を施して目標を検出する。画像処理では、慣性装置２０で取得した目標検出システム１の位置情報および姿勢角情報から撮像装置１０の撮像範囲を求め、この撮像範囲の地表面の位置座標が使用される。

【0008】

撮像装置１０は、撮像した画像データを目標検出装置３０へ出力する。撮像装置１０は、例えば、目標を含むシーンの画像を時系列的に撮像するカメラである。撮像装置１０は、例えば、赤外線領域に感度を持つ撮像素子を備えた、赤外線カメラであってもよい。あるいは、撮像装置１０は、可視光領域に感度を持つ撮像素子を備えたカメラであってもよい。

【0009】

慣性装置２０は、目標検出装置３０を搭載する飛しょう体の位置、および姿勢角を取得するセンサである。慣性装置２０は、例えば、加速度計と角速度計から位置と回転を算出する慣性センサであってもよい。慣性装置２０は、例えば、衛星からの測位信号を使用して位置を算出するＧＰＳ（Global Positioning System）であってもよい。

【0010】

目標検出装置３０は、入力装置３１と、プロセッサ３２と、メモリ３３と、記憶装置３４と出力装置３５とを備える。すなわち目標検出装置３０は、コンピュータである。

【0011】

入力装置３１は、撮像装置１０で逐次取得された画像データをプロセッサ３２へ入力するための、インターフェース装置である。入力装置３１は、慣性装置２０で逐次取得された、目標検出システム１の位置・姿勢角をプロセッサ３２へ入力するためのインタフェース装置である。

【0012】

プロセッサ３２は、記憶装置に記憶された目標検出プログラム３４ａを実行することによって、入力装置３１を介して取得された撮像画像、位置、および姿勢角情報から、撮像画像内における目標を検出する。プロセッサ３２は、例えばＣＰＵ（Central Processing Unit）である。プロセッサ３２は、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等であってもよい。プロセッサ３２は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

【0013】

メモリ３３は、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を含む。ＲＯＭは、目標検出装置３０の起動プログラム、および目標検出装置３０の動作に必要な各種のパラメータを記憶する。ＲＡＭは、プロセッサ３２による各種の処理における作業メモリとして用いられる。例えば、ＲＡＭは、入力装置３１を介して取得された撮像画像を複数枚保存しておくために用いられる。

【0014】

記憶装置３４は、目標検出プログラム３４ａを記憶する記憶装置である。記憶装置３４は、フラッシュメモリ等であってもよい。

【0015】

出力装置３５は、プロセッサ３２で検出された目標の情報を外部に出力するためのインターフェース装置である。

【0016】

図２は、図１のプロセッサ３２の一例を示す機能ブロック図である。プロセッサ３２は、その処理機能として撮像制御部３２ａと、撮像範囲算出部３２ｂと、推定画像生成部３２ｃと、特徴マップ生成部３２ｄと、目標判定部３２ｅと、出力制御部３２ｆとを備える。例えば、プロセッサ３２は、目標検出プログラム３４ａを実行することによって、撮像制御部３２ａ、撮像範囲算出部３２ｂ、推定画像生成部３２ｃ、特徴マップ生成部３２ｄ、目標判定部３２ｅ、および、出力制御部３２ｆとして機能する。

【0017】

撮像制御部３２ａは、撮像装置１０の動作を制御する。撮像制御部３２ａは、撮像装置１０に対して、例えば撮像方向の指向角を制御する。

【0018】

撮像範囲算出部３２ｂは、撮像装置１０で撮像される基準座標系における地表面の座標を、画素ごとに逐次算出する。撮像範囲算出部３２ｂは、時系列間の画素ごとの撮像範囲の変位量を算出する。

【0019】

図３は、撮像範囲算出部３２ｂにより算出される領域の一例を示す図である。図３において、基準座標系５０１は慣性座標系であり、その原点を、例えば飛しょう体の射点、または過去フレームの飛しょう体の位置５０２ａに設定する。過去フレーム時点での目視線方向及び撮像範囲を点線で示し、最新フレーム時点での目視線方向及び撮像範囲を実線で示す。

【0020】

撮像制御部３２ａから撮像装置１０に指示された撮像装置１０の指向角と、慣性装置２０で取得された目標検出システム１の位置および姿勢角とに基づいて、撮像範囲算出部３２ｂは、基準座標系５０１における過去フレームの目視線方向５０３ａと最新フレームの目視線方向５０３ｂとを算出する。

【0021】

撮像範囲算出部３２ｂは、算出した目視線方向と、慣性装置２０で取得した目標検出システム１の位置情報とに基づいて、基準座標系５０１における過去フレーム撮像範囲５０４ａ、および最新フレーム撮像範囲５０４ｂを算出する。撮像変位量５０５は、過去フレーム撮像範囲５０４ａ、および最新フレーム撮像範囲５０４ｂの各画素ごとに差分として算出される。

【0022】

再び図２に戻って説明を続ける。
推定画像生成部３２ｃは、撮像変位量５０５に基づいて、過去フレームで撮像した画像を画像変換することにより、最新フレームで撮像されるはずの画像（予測フレーム画像）を生成する。すなわち推定画像生成部３２ｃは、算出された撮像範囲と過去フレーム画像との変位量に基づいて次のフレーム画像を予測することにより、予測フレーム画像を生成する。

【0023】

図４は、予測フレーム画像の生成について説明するための図である。図４は、撮像変位量５０５が撮像画像の縦方向、および横方向の平行移動であった場合での、最新フレームに撮像される画像を生成する方法を示す。
図４において、最新フレーム撮像範囲６０２は、過去フレーム画像６０１に対して撮像変位量５０５の分だけ、右方向および下方向にシフトした領域になる。これをもとに、推定画像生成部３２ｃは、過去フレーム画像６０１の画素座標をそれぞれ撮像変位量５０５の分だけ平行移動（移行）して、最新フレームの予測フレーム画像６０５を生成する。このとき、過去フレーム画像６０１において移行先が存在しない無効領域６０４ａと、予測フレーム画像６０５において移行元が存在しない無効領域６０４ｂとが発生する。この無効領域６０４ａ、６０４ｂには画像が存在しないので、撮像変位量５０５の分だけ有効視野が狭くなる。

【0024】

図４においては、全ての画素の撮像変位量５０５が、画像の縦方向および横方向に同じだけ平行移動するケースを例示した。一方、実システムにおいては、撮像背景が拡大する方向への変位量、回転の変位量、画素毎の変位量が異なること等が考えられる。この場合には、ホモグラフィ変換を適用する。

【0025】

すなわち、過去フレーム画像６０１と最新フレーム撮像範囲６０２とからホモグラフィ行列を求め、過去フレーム画像６０１の有効領域６０３ａに対して、ホモグラフィ変換を実施することで、予測フレーム画像６０５を生成することができる。

【0026】

再び図２に戻って説明を続ける。
特徴マップ生成部３２ｄは、撮像装置１０から取得した最新フレームの撮像画像と、推定画像生成部３２ｃで生成した予測フレーム画像６０５との差分を取ることで、撮像画像から背景成分をキャンセルする。これにより、検出すべき目標成分が強調される。

【0027】

図５は、特徴マップ生成部３２ｄの処理について説明するための図である。図５において、まず、最新フレーム画像７０１と予測フレーム画像６０５の差分マップ７０２を算出する。

【0028】

予測フレーム画像６０５の変位量は、撮像範囲全体を地表面背景として算出される。一方、飛しょう目標は地表面よりも高い高度を飛しょうしているので、撮像装置１０で撮像した画像内における、背景成分と目標成分との運動視差が異なる。よって、画像内において地表面を仮定し、背景の位置合わせを行った予測フレーム画像６０５と最新フレーム画像７０１との差分をとることにより、背景成分をキャンセルできる。さらに、運動視差の異なる目標成分はキャンセルされず残存する。

【0029】

このとき、差分マップ７０２において残存した目標成分は、プラス成分の画素とマイナス成分の画素が発生するので、これをプラス成分マップ７０３とマイナス成分マップ７０４とに分割する。プラス成分マップ７０３に結像する目標は、最新フレーム画像７０１の目標成分であるので、目標の結像する位置は最新の目標位置である。一方、マイナス成分マップ７０４に結像する目標は、過去フレーム画像６０１から背景成分の変位量分を変換した位置であるので、最新の目標位置を示していない。

【0030】

そこで、推定画像生成部３２ｃにより、マイナス成分マップ７０４を逆変換してマイナス成分マップ（逆変換）を生成する。具体的には、過去フレーム画像６０１から予測フレーム画像６０５を生成する変換とは逆の変換をマイナス成分マップ７０４に施し、目標の結像位置を過去フレーム画像６０１の位置へ戻す処理を実施し、絶対値を取ることでマイナス成分マップ（逆変換）を生成する。最後に、プラス成分マップ７０３とマイナス成分マップ（逆変換）７０５の和をとることで、背景成分がキャンセルされる。これにより、目標画素が強調された、特徴マップ７０６が生成される。

【0031】

すなわち、特徴マップ生成部３２ｄは、プラス成分の画素を抽出したプラス成分マップ７０３と、マイナス成分の画素を抽出し画素値の絶対値をマッピングしたマイナス成分マップ７０４とに差分マップ７０２を分割する。また、特徴マップ生成部３２ｄは、マイナス成分マップ７０４を逆変換して目標の画素座標を戻す。さらに、特徴マップ生成部３２ｄは、マイナス成分マップ（逆変換）７０５とプラス成分マップ７０３との和を計算して、目標成分の強度を強調させた特徴マップを生成する。

【0032】

再び図２に戻って説明を続ける。
目標判定部３２ｅは、特徴マップ生成部３２ｄから最新フレームにおける特徴マップを取得する。そして、目標判定部３２ｅは、特徴マップから、画像における最終的な目標の座標を決定する。例えば、画像輝度値が最大の画素を目標とする。また、特徴マップに対して、さらに二値化処理、エッジ検出等の既知の画像処理を施し、その結果に基づいて目標座標を決定してもよい。

【0033】

出力制御部３２ｆは、目標判定部３２ｅで決定された目標の画素座標から誤差角を算出する。出力制御部３２ｆは、誤差角情報を外部へ出力するための制御をする。例えば、出力制御部３２ｆは、目標の誤差角情報を出力装置３５を介して、誘導飛しょう体の制御システム（推進系、操舵機構など）へ出力する。

【0034】

図６は、目標検出装置３０の処理手順の一例を示すフローチャートである。図６の処理は、例えばプロセッサ３２で実行される。
ステップＳ１０１において、プロセッサ３２は、撮像装置１０から撮像方向を取得し、慣性装置２０から目標検出システム１の位置および姿勢角を取得する。

【0035】

ステップＳ１０２において、プロセッサ３２は、取得した撮像方向、位置、および姿勢角から撮像範囲を算出する。
ステップＳ１０３において、プロセッサ３２は、撮像装置１０から最新フレームの撮像画像を取得し、メモリ３３から過去フレームの撮像画像を取得する。

【0036】

ステップＳ１０４において、プロセッサ３２は、算出した撮像範囲と取得した過去フレームの撮像画像から、最新フレームで撮像されると推定する画像（予測フレーム画像６０５）を生成する。
ステップＳ１０５において、プロセッサ３２は、生成した予測フレーム画像６０５と、取得した最新フレームの撮像画像から背景をキャンセルし、目標を強調させた特徴マップを生成する。

【0037】

ステップＳ１０６において、プロセッサ３２は、生成された特徴マップから目標画素座標を決定する。例えば、最も高い値を有する画素を目標画素座標として決定する。
ステップＳ１０７において、プロセッサ３２は、決定した目標画素座標から誤差角を算出し、出力装置３５を介して外部へ出力する。

【0038】

以上述べたように、実施形態によれば、最新フレームの撮像画像から背景をキャンセルし、目標を強調させた特徴マップを生成することができる。これにより、地表面に起因する複雑な背景があったとしても、目標を精度よく検出することができる。

【0039】

従って実施形態によれば、地表面に起因する複雑な背景が撮像されても、目標を精度よく検出することが可能になる。すなわち、背景によらず目標を確実に検出することの可能な目標検出装置、目標検出方法、およびプログラムを提供することが可能になる。

【0040】

なお、この発明は上記実施の形態に限定されるものではない。例えば図２に示される撮像制御部３２ａ、撮像範囲算出部３２ｂ、推定画像生成部３２ｃ、特徴マップ生成部３２ｄ、目標判定部３２ｅ、および出力制御部３２ｆの少なくともいずれか１つは、専用のハードウェア等によって構成されてもよい。

【0041】

実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0042】

１…目標検出システム、１０…撮像装置、２０…慣性装置、３０…目標検出装置、３１…入力装置、３２…プロセッサ、３２ａ…撮像制御部、３２ｂ…撮像範囲算出部、３２ｃ…推定画像生成部、３２ｄ…特徴マップ生成部、３２ｅ…目標判定部、３２ｆ…出力制御部、３３…メモリ、３４…記憶装置、３４ａ…目標検出プログラム、３５…出力装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】