特開 2024-70133 目標認識方法、プログラム及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070133

(43)【公開日】2024-05-22

(54)【発明の名称】目標認識方法、プログラム及び装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240515BHJP

【ＦＩ】

G06T7/70 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022180545

(22)【出願日】2022-11-10

(71)【出願人】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100154003

【弁理士】

【氏名又は名称】片岡 憲一郎

(72)【発明者】

【氏名】田中 将希

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA09

5L096FA67

5L096FA69

5L096HA07

5L096JA11

(57)【要約】

【課題】目標を簡便に認識できる目標認識方法、プログラム及び装置を提供する。
【解決手段】目標認識方法は、現実空間内でカメラ１ａによって目標の画像を取得する目標撮影ステップＳ２と、画像に基づいて、現実空間内でのカメラ１ａの位置を含むカメラ状態に対応するマップ内でのカメラ状態を特定するカメラ状態特定ステップＳ３と、マップ内でのカメラ状態に基づいて、画像内での目標の位置を含む目標状態に対応する現実空間内での目標状態を特定する目標状態特定ステップＳ４とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

現実空間内でカメラによって目標の画像を取得する目標撮影ステップと、
前記画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態に基づいて、前記画像内での前記目標の位置を含む目標状態に対応する前記現実空間内での前記目標状態を特定する目標状態特定ステップとを有する、目標認識方法。

【請求項2】

前記カメラ状態特定ステップは、前記画像に含まれる前記現実空間内の特徴点群と、当該特徴点群に対応する前記マップ内での前記特徴点群とを比較することで、前記マップ内での前記カメラ状態を特定する、請求項１に記載の目標認識方法。

【請求項3】

前記マップ内での前記特徴点群を構築するために、前記現実空間内で前記カメラを移動させながら前記現実空間内の前記特徴点群を撮影する特徴点群撮影ステップを有する、請求項２に記載の目標認識方法。

【請求項4】

前記カメラ状態は前記カメラの前記位置と向きを含み、
前記目標状態は前記目標の前記位置と向きを含む、請求項１に記載の目標認識方法。

【請求項5】

前記現実空間内での前記目標状態又は当該目標状態に基づいて特定した情報を報知する報知ステップを有する、請求項１に記載の目標認識方法。

【請求項6】

前記現実空間は、GPS測定ができない空間である、請求項１に記載の目標認識方法。

【請求項7】

現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態に基づいて、前記画像内での前記目標の位置を含む目標状態に対応する前記現実空間内での前記目標状態を特定する目標状態特定ステップとをコンピュータに実行させる、目標認識プログラム。

【請求項8】

カメラと、
現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定し、前記マップ内での前記カメラ状態に基づいて、前記画像内での前記目標の位置を含む目標状態に対応する前記現実空間内での前記目標状態を特定する処理装置とを有する、目標認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は目標認識方法、プログラム及び装置に関する。

【背景技術】

【0002】

所定領域内の様々な場所に設置した位置測位センサによって滞在者の位置を特定する滞在者認識方法が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／１２９０５５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

所望の目標を認識するために、所定領域内の様々な場所にセンサを設置することは煩雑である。

【0005】

そこで本発明の目的は、目標を簡便に認識できる目標認識方法、プログラム及び装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様は以下のとおりである。

【0007】

［１］
現実空間内でカメラによって目標の画像を取得する目標撮影ステップと、
前記画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記目標の位置を含む目標状態である画像内目標状態とに基づいて、前記現実空間内での前記目標状態を特定する目標状態特定ステップとを有する、目標認識方法。

【0008】

［２］
前記カメラ状態特定ステップは、前記画像に含まれる前記現実空間内の特徴点群と、当該特徴点群に対応する前記マップ内での前記特徴点群とを比較することで、前記マップ内での前記カメラ状態を特定する、［１］に記載の目標認識方法。

【0009】

［３］
前記マップ内での前記特徴点群を構築するために、前記現実空間内で前記カメラを移動させながら前記現実空間内の前記特徴点群を撮影する特徴点群撮影ステップを有する、［２］に記載の目標認識方法。

【0010】

［４］
前記カメラ状態は前記カメラの前記位置と向きを含み、
前記目標状態は前記目標の前記位置と向きを含む、［１］～［３］の何れか１項に記載の目標認識方法。

【0011】

［５］
前記現実空間内での前記目標状態又は当該目標状態に基づいて特定した情報を報知する報知ステップを有する、［１］～［４］の何れか１項に記載の目標認識方法。

【0012】

［６］
前記現実空間は、GPS測定ができない空間である、［１］～［５］の何れか１項に記載の作業認識方法。

【0013】

［７］
現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定するカメラ状態特定ステップと、
前記マップ内での前記カメラ状態と、前記画像内での前記目標の位置を含む目標状態である画像内目標状態とに基づいて、前記現実空間内での前記目標状態を特定する目標状態特定ステップとをコンピュータに実行させる、目標認識プログラム。

【0014】

［８］
カメラと、
現実空間内でカメラによって取得された目標の画像に基づいて、前記現実空間内での前記カメラの位置を含むカメラ状態に対応するマップ内での前記カメラ状態を特定し、前記マップ内での前記カメラ状態と、前記画像内での前記目標の位置を含む目標状態である画像内目標状態とに基づいて、前記現実空間内での前記目標状態を特定する処理装置とを有する、目標認識装置。

【発明の効果】

【0015】

本発明によれば、目標を簡便に認識できる目標認識方法、プログラム及び装置を提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態の目標認識方法を示すフロー図である。

【図2】図１に示す目標認識方法を行うための目標認識装置の一例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しつつ本発明の実施形態を例示説明する。

【0018】

図１に示すように、本発明の一実施形態において、目標認識方法は、現実空間内でカメラ１ａ（図２参照）によって目標の画像を取得する目標撮影ステップＳ２と、画像に基づいて、現実空間内でのカメラ１ａの位置を含むカメラ状態に対応するマップ内でのカメラ状態を特定するカメラ状態特定ステップＳ３と、マップ内でのカメラ状態と、画像内での目標の位置を含む目標状態である画像内目標状態とに基づいて、現実空間内での目標状態を特定する目標状態特定ステップＳ４とを有する。

【0019】

このような構成によれば、まずカメラ状態特定ステップＳ３により、現実空間内での画像を取得した時のカメラ１ａの位置の推定結果を、マップ内でのカメラ１ａの位置として認識し、次に目標状態特定ステップＳ４により、当該カメラ１ａの位置と当該画像内での目標の位置の推定結果とに基づいて、現実空間内での目標の位置認識できる。このように、上記構成によれば、カメラ１ａによって取得された画像に基づいて目標を認識できるので、様々な場所にセンサを設置する煩雑な作業等の必要性を低減できる。また上記構成によれば、GPS（Global Positioning System）測定ができない空間においても、目標の位置を認識できる。

【0020】

画像は単眼画像でよいが、例えば、ステレオ画像などであってもよい。画像は、目標を連続して撮影して得られた動画を構成する１コマであってもよいし、目標を断続して撮影して得られた複数の静止画像の１つであってもよい。

【0021】

カメラ状態特定ステップＳ３は、画像に含まれる現実空間内の特徴点群（周囲の構造物の稜線など、位置を知るための目印となる特徴点の集合）と、当該特徴点群に対応するマップ内での特徴点群とを比較することで、マップ内でのカメラ状態を特定する。このような構成によれば、カメラ状態特定ステップＳ３において、カメラ１ａの急な移動等による現実空間内でのカメラ１ａの位置の推定誤差（すなわち、現実空間内でのカメラ１ａの位置とマップ内でのカメラ１ａの位置との間のずれ）の発生とその蓄積を抑制でき、その結果、現実空間内での目標の位置の推定精度を高めることができる。しかし、カメラ状態特定ステップＳ３の構成はこれに限らない。

【0022】

目標認識方法は、マップ内での特徴点群を構築するために、現実空間内でカメラ１ａを移動させながら現実空間内の特徴点群を撮影する特徴点群撮影ステップＳ１を有する。このような構成によれば、マップ内での特徴点群をカメラ１ａによって簡単に構築できる。しかし、マップ内での特徴点群の構築方法はこれに限らない。

【0023】

特徴点群撮影ステップＳ１、目標撮影ステップＳ２及びカメラ状態特定ステップＳ３は、例えば、Visual SLAM（Visual Simultaneous Localization and Mapping）技術を用いて実行することができる。

【0024】

カメラ状態はカメラ１ａの位置と向きを含み、目標状態は目標の位置と向きを含む。このような構成によれば、カメラ１ａによって取得された画像に基づいて、目標の位置に加えて目標の向きも認識できる。しかし、カメラ状態の構成はこれに限らない。

【0025】

目標状態特定ステップＳ４は、目標に付され画像に含まれる大きさが既知のマーカーによって画像内での目標状態を特定する。このような構成によれば、画像内での目標手段の目標状態の推定精度を高めることができる。しかし、目標状態特定ステップＳ４はこれに限らず、例えば、視差（単眼画像の時間視差、ステレオ画像視差など）や遠近法などによって画像内での目標状態を特定する構成としてもよい。

【0026】

目標は特に限定されず、例えば、案内地図である。この場合、カメラ１ａによって取得された画像に基づいて経路案内を簡単に実現できる。またこの場合、カメラ１ａは特に限定されないが、例えば、ウェアラブルカメラや、スマートグラスなどのウェアラブル端末に内蔵されたカメラなどを用いることが好ましい。

【0027】

目標は、例えば、銃器、戦車などの兵器であってもよい。この場合、カメラ１ａによって取得された画像に基づいて索敵を簡単に実現できる。またこの場合、カメラ１ａは特に限定されないが、例えば、ウェアラブルカメラや、スマートグラスなどのウェアラブル端末に内蔵されたカメラや、兵器に搭載されたカメラなどを用いることが好ましい。

【0028】

目標は、例えば、橋梁工事、宅地造成、ゴルフコース造成工事等における地形などの測量対象であってもよい。この場合、カメラ１ａによって取得された画像に基づいて測量を簡単に実現できる。またこの場合、カメラ１ａは特に限定されないが、例えば、航空機やドローンなどの測量手段に搭載されたカメラなどを用いることが好ましい。

【0029】

目標認識方法は、図１に示すように、現実空間内での目標状態又は当該目標状態に基づいて特定した情報を報知する報知ステップＳ５を有する。このような構成によれば、カメラ１ａによって取得された画像に基づいて推定した目標状態又は当該目標状態に基づいて推定した情報を関係者などに報知し、適切な対応を促すことができる。しかし、報知ステップＳ５を設けない構成としてもよい。報知の方式は特に限定されないが、現実世界に仮想世界を重ね合わせて表示する拡張現実方式が好ましい。

【0030】

目標認識方法は、カメラ状態特定ステップＳ３、目標状態特定ステップＳ４及び報知ステップＳ５をコンピュータに実行させる目標認識プログラムを用いて実行される。しかし、目標認識方法の構成はこれに限らない。

【0031】

目標認識方法は、図２に示すような、カメラ１ａ、処理装置１ｂ及び報知装置１ｃを有する目標認識装置１を用いて実行される。処理装置１ｂはコンピュータによって構成され、目標認識プログラムによってカメラ状態特定ステップＳ３及び目標状態特定ステップＳ４を実行する。また処理装置１ｂは目標認識プログラムと報知装置１ｃによって報知ステップＳ５を実行する。しかし、目標認識方法の構成はこれに限らない。

【0032】

報知装置１ｃは特に限定されないが、ディスプレイによって構成することが好ましい。ディスプレイは特に限定されず例えば、スマートグラスなどのウェアラブル端末や、スマートフォン、タブレット、ノートパソコンなどの携帯端末や、デスクトップパソコンなどの固定端末などの、任意の端末に設けられる。

【0033】

本発明は前述した実施形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

【符号の説明】

【0034】

１ 目標認識装置
１ａ カメラ
１ｂ 処理装置
１ｃ 報知装置
Ｓ１ 特徴点群撮影ステップ
Ｓ２ 目標撮影ステップ
Ｓ３ カメラ状態特定ステップ
Ｓ４ 目標状態特定ステップ
Ｓ５ 報知ステップ

【図1】

【図2】