(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035530
(43)【公開日】2024-03-14
(54)【発明の名称】測位方法、測位処理装置、および測位システム
(51)【国際特許分類】
G01C 15/00 20060101AFI20240307BHJP
【FI】
G01C15/00 101
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022140044
(22)【出願日】2022-09-02
(71)【出願人】
【識別番号】000232221
【氏名又は名称】日本電気航空宇宙システム株式会社
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】小林 由和
(72)【発明者】
【氏名】熊谷 太一
(72)【発明者】
【氏名】安田 真也
(57)【要約】
【課題】測位装置で全領域をカバーすることができない場合でも同一の測位座標系に変換することができる測位方法、測位処理装置、および測位システム提供する。
【解決手段】測位方法は、移動体を撮影した画像における移動体の位置を示す画像内座標を判定し、第1の測位装置から、実空間における移動体の位置を示す第1の実空間座標を取得し、画像内座標と第1の実空間座標とに基づいて、移動体の画像内座標を移動体の第1の実空間座標に変換し、第2の測位装置から、実空間における移動体の位置を示す第2の実空間座標を取得し、画像内座標と第2の実空間座標とに基づいて、移動体の画像内座標を移動体の第2の実空間座標に変換し、第1の実空間座標と第2の実空間座標に基づいて、第2の実空間座標を第1の実空間座標に変換する関数を推定し、推定した関数を用いて第2の実空間座標を第1の実空間座標に変換する。
【選択図】
図12
【特許請求の範囲】
【請求項1】
移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、
第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、
前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、
第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、
前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、
前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、
推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、
測位方法。
【請求項2】
前記第1の測位装置は、前記移動体を撮影する複数の撮影装置のうち、少なくとも一つの前記撮影装置の撮影範囲と前記第1の測位装置の測位範囲が重なる領域に配置され、
前記第2の測位装置は、前記第1の測位装置が測定に使用した前記撮影装置の撮影範囲と、前記第2の測位装置の測位範囲との少なくとも一部が重なる位置に配置される、
請求項1に記載の測位方法。
【請求項3】
前記第1の測位装置が測定に使用した前記撮影装置の撮影範囲と、前記第2の測位装置の測位範囲とが重なる領域が複数の場合、前記領域毎に測位する、
請求項2に記載の測位方法。
【請求項4】
前記第1の測位装置は、前記第1の測位装置の測位範囲にある撮影装置それぞれが撮影した画像を用いて、前記移動体の座標を前記第1の実空間座標に変換し、
前記第2の測位装置は、前記第2の測位装置の測位範囲にある前記撮影装置それぞれが撮影した画像を用いて、前記移動体の座標を前記第2の実空間座標に変換する、
請求項1または請求項2に記載の測位方法。
【請求項5】
前記関数は、幾何変換である、
請求項1または請求項2に記載の測位方法。
【請求項6】
前記実空間座標を判定した時刻情報に対応する、前記画像内座標と前記実空間座標に基づいて、前記画像内座標と前記実空間座標との変換規則情報を特定する、
請求項1または請求項2に記載の測位方法。
【請求項7】
前記変換規則情報は、前記実空間座標と前記画像内座標との対応関係に基づいて、前記移動体が移動する二次元平面の座標系における座標に射影変換する変換式のパラメータを含む、
請求項6に記載の測位方法。
【請求項8】
前記移動体を撮影する複数の撮影装置から取得した複数の前記画像を用いて、前記複数の撮影装置それぞれの変換規則情報を算出する、
請求項6に記載の測位方法。
【請求項9】
移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、
第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、
前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、
第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、
前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、
前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、
推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、
測位処理装置。
【請求項10】
移動体を撮影する撮影装置と、
実空間における前記移動体の位置を特定する第1の測位装置と第2の測位装置と、に通信接続し、
前記移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、
第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、
前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、
第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、
前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、
前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、
推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、
測位システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測位方法、測位処理装置、および測位システムに関する。
【背景技術】
【0002】
複数の撮影装置が移動体を撮影した画像それぞれに基づいて、移動体の位置を特定することが行われている。例えば複数個所に撮影装置を設置し、異なる位置で移動体を撮影する。移動体が映る撮影画像を出力した撮影装置の位置や、撮影画像の撮影範囲等に基づいて、移動体の位置を検出することができる。
【0003】
関連する技術が特許文献1、特許文献2に開示されている。特許文献1には、撮影した位置や姿勢と被写体の三次元位置とを測定する位置測定技術において、撮影シーンの変化や撮影装置の変動による誤差を低減する技術が開示されている。特許文献2には、撮影画像において対象物体の一部が見切れても、見切れに対してロバストに物体の識別精度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010-14450号公報
【特許文献2】国際公開第2019/087581号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、広い場所または死角の多い場所では、測位装置で全領域をカバーすることができず同一の測位座標系に変換することが困難である。
【0006】
そこでこの発明は、上述の課題を解決する測位方法、測位処理装置、および測位システムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の第1の態様の測位方法は、移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、測位方法である。
【0008】
本発明の第2の態様の測位処理装置は、移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、測位処理装置である。
【0009】
本発明の第3の態様の測位システムは、移動体を撮影する撮影装置と、実空間における前記移動体の位置を特定する第1の測位装置と第2の測位装置と、に通信接続し、前記移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、測位システムである。
【発明の効果】
【0010】
本発明によれば、測位装置で全領域をカバーすることができない場合でも同一の測位座標系に変換することができる。
【図面の簡単な説明】
【0011】
【
図1】実施形態による測位システムの概略構成図である。
【
図2】実施形態による測位処理装置の構成例を示す図である。
【
図4】実施形態による測位装置の処理フローを示す第一の図である。
【
図5】実施形態による測位装置の処理フローを示す第二の図である。
【
図7】新たに測位装置を設置する場合の例を説明するための図である。
【
図9】第1の測位装置の配置を説明するための図である。
【
図10】第2の測位装置の配置を説明するための図である。
【
図11】第1の測位装置と第2の測位装置を配置した例を示す図である。
【
図12】実施形態に係る測位の処理手順例のフローチャートである。
【
図13】実施形態による測位処理装置のハードウェア構成図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態による測位処理装置、測位システムおよび測位方法を図面を参照して説明する。
【0013】
[測位システムの概要]
図1は本実施形態による測位システムの概略構成図である。
図1で示すように、測位システム100は、例えば、測位処理装置1と、撮影装置2と、測位装置3と、移動体4を備える。測位処理装置1は、撮影装置2、測位装置3と無線または有線で通信接続する。また、測位装置3は、複数であり、例えば第1の測位装置3-1と第2の測位装置3-2を備える。
【0014】
測位処理装置1は、例えばコンピュータである。測位処理装置1は、撮影装置2が移動体4を撮影した画像と、測位装置3の特定した情報に基づいて、移動体4の実空間における位置を特定する。測位処理装置1は、撮影装置2から撮影画像を取得する。測位処理装置1は、測位装置3が検出した移動体4の実空間座標などの測位装置3が検出した測量情報を取得する。測位処理装置1は、測位装置3が検出した測量情報を、時間の経過に伴って繰り返し取得する。なお、撮影装置が移動体4を撮影した画像と、測位装置3の特定した情報に基づいて、測位処理装置1が移動体4の実空間における位置を特定する方法については、後述する。
【0015】
撮影装置2は、例えば、移動体4の移動可能なフィールド内を撮影する装置である。撮影装置2は、移動体4の走行する走行面7を撮影し撮影画像を生成する。撮影装置2は撮影画像とその撮影画像を生成した時刻を含む撮影情報を測位処理装置1へ送信する。
なお、本実施形態においては、測位システム100は、複数の撮影装置2を備える。それぞれの撮影装置2が、撮影情報を測位処理装置1へ送信する。撮影装置2それぞれは走行面7の異なる撮影範囲を撮影する。複数の撮影装置2の生成した撮影画像の何れかには、移動体4が走行する走行面7の何れかの範囲が写る。各撮影装置2の撮影範囲は他の撮影装置2の撮影範囲と重なり合っていてもよいし、重なり合っていなくてもよい。これにより各撮影装置2の撮影範囲を結合した場合は、移動体4の撮影範囲を含むものとなる。
【0016】
測位装置3は、実空間における対象物体である移動体4の位置を特定する。測位装置3は、例えばトータルステーションである。測位装置3は、例えば3次元レーザースキャナなどの3次元測量装置であればよい。測位装置3は、一例として、レーザ光を発光したタイミングと移動体4において反射したそのレーザ光の反射光の受光タイミングとに基づいて移動体4までの距離を測定する。また測位装置3は、移動体4のレーザ光の照射方向の変化に基づいて旋回角度を測定する。測位装置3は、それらの測定した情報に基づいて、測位装置3を原点とする移動体4の実空間座標を算出する。測位装置3は、移動体4の実空間座標を検出した時刻を検出する。測位装置3は、移動体4の実空間座標とその座標を検出した時刻を含む測量情報を、測位へ送信する。本実施形態において測位装置3は、移動体4を追尾する追尾機能を備えるものとする。
【0017】
移動体4は、例えば、車両やロボットや搬送車である。移動体4は走行面7を移動する。移動体4は、例えば、通信接続する遠隔制御装置からの制御に基づいて、走行面7を移動してよい。移動体4は、例えば、走行面7に貼られた磁気テープ(誘導テープ)を読み取って移動しても良いし、移動体4が移動するエリアに設置されたマーカを検知して移動しても良い。または移動体4はリモートコントローラから受信した指示信号に基づいて移動しても良い。
【0018】
[測位処理装置の構成例]
ここで、測位処理装置1の構成例を説明する。
図2は、本実施形態による測位処理装置1の構成例を示す図である。
図2のように、測位処理装置1は、例えば、撮影画像取得部11と、測量情報取得部12と、変換規則算出部13と、測位部14を備える。
測位処理装置1は、電源が投入されると起動し、例えば予め記憶する測位プログラムを実行する。これにより測位処理装置1は、撮影画像取得部11、測量情報取得部12、変換規則算出部13、測位部14の各機能を発揮する。
【0019】
測位処理装置1は、撮影画像における移動体4の位置を示す画像内座標を判定し、測量情報に基づいて実空間における移動体4の位置を示す実空間座標を取得する。測位処理装置1は、移動体4の画像内座標と実空間座標を判定した時刻情報に基づく画像内座標と実空間座標の対応関係に基づいて、画像内座標から実空間座標へ変換する変換規則を示す変換規則情報を算出する。本実施形態において変換規則情報は、画像内座標から実空間座標へ変換するための射影変換式を構成する射影変換パラメータである。測位処理装置1は、変換規則情報に基づいて、移動体4の画像内座標を移動体4の実空間座標に変換する。
【0020】
[測定方法]
ここで、測位処理装置1が移動体4の実空間における位置を特定する方法について説明する。
図3は、射影変換を説明する図である。
図3において、撮影装置2が焦点距離fで撮影した撮影画像に写る平面41と、実空間の走行面7とを示す。平面41における画像内座標410を(x、y、z)で示す。また走行面7における実空間座標70を(x’、y’、z’)で示す。平面41における画像内座標410を走行面7の実空間座標70に射影変換する式を、次式(1)で示す。
【0021】
【0022】
式(1)において、射影変換パラメータは、(a0、a1、a2、b0、b1、b2、c0、c1、c2)で示される。なお射影変換パラメータにおけるc0は定数であり、c0=1と設定する。測位処理装置1は、同時刻の移動体4の状態を示す撮影画像と実空間座標との対応関係を3つ以上特定し、それらの対応関係と式(1)とを用いて、射影変換パラメータのa0、a1、a2、b0、b1、b2、c1、c2を算出する。
【0023】
次に、測位処理装置1の学習処理の処理フローについて順を追って説明する。
図4は、本実施形態による測位装置の処理フローを示す第一の図である。
【0024】
移動体4が走行面7を移動している間、撮影装置2は、例えば毎秒30枚程度の所定間隔で撮影範囲を撮影し、撮影画像を生成する。撮影装置2は生成した撮影画像と撮影時刻とを含む撮影情報を測位処理装置1へ送信する。
測位装置3は、移動体4が走行面7を移動している間、所定の間隔で移動体4を追尾して移動体4の実空間座標を測定する。測位装置3は、測定した移動体4の実空間座標と測定時刻とを含む測量情報を測位処理装置1へ送信する。
【0025】
測位処理装置1において、撮影画像取得部11は、撮影装置2から撮影情報を取得する(ステップS101)。撮影画像取得部11は、撮影情報に含まれる撮影画像と撮影時刻と、撮影情報を送信した撮影装置2のIDとを紐づけて記憶部104の撮影画像テーブルに順次記録する(ステップS102)。撮影画像取得部11は、撮影時刻の代わりに測位処理装置1が撮影情報を受信した受信時刻と撮影画像と撮影装置2のIDとを紐づけて撮影画像テーブルに順次記録してもよい。
【0026】
測量情報取得部12は、測位装置3から測量情報を取得する(ステップS103)。測量情報取得部12は、測量情報に含まれる移動体4の実空間座標と測定時刻とを紐づけて記憶部104の座標テーブルに記録する(ステップS104)。測量情報取得部12は、測定時刻の代わりに測位処理装置1が測量情報を受信した受信時刻を移動体4の実空間座標に紐づけて座標テーブルに記録してもよい。
【0027】
測位処理装置1の変換規則算出部13は、撮影情報と測量情報とを所定量受信すると、変換規則情報の算出を開始する(ステップS105)。変換規則算出部13は、同時刻、または同時刻と推定される程度の時刻差の各時刻に紐づいて撮影画像テーブルに記録されているある撮影装置IDを処理対象として特定し、その撮影装置IDに関連する撮影画像と、座標テーブルに記録されている実空間座標とを取得する。変換規則算出部13は、取得した撮影画像と実空間座標を同時刻の移動体の状態を示す撮影画像と実空間座標とを対応関係と特定する。変換規則算出部13は、処理対象の撮影装置2のIDに関連する撮影画像と、実空間座標との時刻に基づく対応関係を少なくとも3つ特定する。
【0028】
変換規則算出部13は、対応関係に含まれる撮影画像に写る移動体4をパターン認識などにより検出する。変換規則算出部13は、撮影画像に写る移動体4の画像内座標を検出する。変換規則算出部13は、処理対象の撮影装置2のIDに関連する撮影画像と、実空間座標との時刻に基づく対応関係に基づいて、同時刻における移動体4の画像内座標と実空間座標との対応関係を特定する。変換規則算出部13は、同時刻における移動体4の画像内座標と実空間座標との対応関係を3つ特定する(ステップS106)。
具体的には、変換規則算出部13は、各対応関係が示す画像内座標と実空間座標と、式(1)を用いて、射影変換パラメータa0、a1、a2、b0、b1、b2、c1、c2を算出する。また変換規則算出部13は、処理対象の撮影装置2が撮影した他の撮影画像と、実空間座標との対応関係を順次特定し、同様の、射影変換パラメータa0、a1、a2、b0、b1、b2、c1、c2の算出を繰り返す。そして、変換規則算出部13は、多くの射影変換パラメータa0、a1、a2、b0、b1、b2、c1、c2と、最小二乗法などの学習手法や、他の機械学習の手法等を用いて、1つの射影変換パラメータa0、a1、a2、b0、b1、b2、c1、c2を特定する(ステップS107)。なお、パラメータの決定方法は、例えば参考文献1参照。
【0029】
参考文献1;安田真也、熊谷太一、他、“ステレオカメラを用いたロボット測位の射影変換による高精度化”、電子情報通信学会技術研究報告、Volume 119, Number 267、電子情報通信学会、2019、p33-38
【0030】
変換規則算出部13は、測位システム100に複数の撮影装置2が備わるため、順次処理対象と特定した各撮影装置2のIDに関連する撮影画像と実空間座標との関係に基づいて、同様に、射影変換パラメータa0、a1、a2、b0、b1、b2、c1、c2を算出する。これにより変換規則算出部13は、各撮影装置2に対応する射影変換パラメータa0、a1、a2、b0、b1、b2、c1、c2をそれぞれ代入した、射影変換式を撮影装置2ごとに算出することができる。変換規則算出部13は、撮影装置2のIDと、射影変換パラメータa0、a1、a2、b0、b1、b2、c1、c2を紐づけて、記憶部104のパラメータテーブルに記録する(ステップS108)。なお、変換規則算出部13は、移動体4を撮影する複数の撮影装置2から取得した複数の画像を用いて、複数の撮影装置2それぞれの変換規則情報を算出する。
【0031】
以上の処理により、撮影装置2の撮影画像における画像内座標を、測位装置3の座標を基準とした走行面7の実空間座標に変換する射影変換式を、撮影装置2ごとに特定することができる。そして、移動体4の位置を測量する際には、測位装置3が無くとも、射影変換式を用いて、撮影装置2の撮影画像における画像内座標を、測位装置3の座標を基準とした走行面7の実空間座標に変換することができる。
【0032】
図5は、本実施形態による測位装置の処理フローを示す第二の図である。
図5を参照して、測位処理装置1の射影変換式算出後の測位処理の処理フローについて順を追って説明する。
【0033】
移動体4が走行面7を移動している間、各撮影装置2は撮影画像を、例えば毎秒30枚程度の所定の短い間隔で生成し、撮影画像と撮影時刻とを含む撮影情報を測位処理装置1へ送信する。撮影画像取得部11は、撮影情報を取得する(ステップS201)。
撮影画像取得部11は、撮影情報に含まれる撮影画像と撮影時刻と、その撮影画像を送信した撮影装置2のIDとを紐づけて記憶部104に記録する(ステップS202)。測位システム100に備わる各撮影装置2は同様に、撮影画像を測位処理装置1へ送信し、撮影画像取得部11は、短い間隔で順次、撮影画像を撮影装置2のIDに紐づけて記憶部104に記録する。
【0034】
測位部14は、現在の移動体4の測位を行うにあたり、測位対象時刻に近い時刻に紐づく撮影画像を、各撮影装置2のIDに紐づく撮影画像の中から1つずつ取得する(ステップS203)。測位部14は取得した撮影画像のうち、移動体4が写る撮影画像をパターン認識等により特定する(ステップS204)。測位部14は、他の手法により移動体4が写る撮影画像を特定してもよい。例えば移動体4に所定のマーカが付されており、測位部14が当該マーカを撮影画像において認識することにより、移動体4が写る撮影画像を特定してもよい。測位部14は、移動体4が写る撮影画像から、その移動体4の画像内座標を検出する(ステップS205)。
【0035】
測位部14は、画像内座標を検出した撮影画像に基づいて、その撮影画像を撮影した撮影装置2のIDを特定する(ステップS206)。測位部14は、その撮影装置2のIDに紐づいて記憶部104のパラメータテーブルに記録される射影変換パラメータを取得する(ステップS207)。測位部14は、その射影変換パラメータに基づく射影変換式に画像内座標(x、y)を入力し、実空間座標(x’、y’)を算出する(ステップS208)。これにより測位部14は、測位対象時刻における移動体4の実空間座標を測位することができる。なお、変換された実空間座標の位置が、移動体4の位置である。
【0036】
上記では、測位装置3を固定して配置することで複数の撮影装置から同一の測位座標に変換している。しかしながら、例えば、広い場所または死角の多い場所では、1台の測位装置3で全領域をカバーすることができず同一の測位座標系に変換することが困難な場合がある。また、撮影装置2を追加、一部交換した場合は、新しく測位装置3を設置することになるため、既存の撮影装置2から変換した座標系と同一の座標系に変換することが困難である。
【0037】
このため、本実施形態では、上述した測位手法を用い、さらに異なる測位装置による測位座標間を相互に変換する関数を推定する。なお、後述するように、本実施形態では、変換する関数に幾何変換を用いて座標系を相互に変換する。なお、幾何変換は、例えば、アフィン変換、ホモグラフィー変換、射影変換等のうちのいずれか1つである。
【0038】
[測位範囲]
図6は、測位装置の測定範囲の例を示す図である。
図6において、符号g1は移動体4の移動方向を示し、符号g2は第1の測位装置3-1の測位範囲を示し、符号g3は第2の測位装置3-2の測位範囲を示す。また、符号g4は、例えば壁等の障害物または遮蔽物等である。
図6のように1つの測位装置3では死角があるため、本実施形態では、複数の測位装置3を用いて測位する。そして、本実施形態では、
図6のように、測位範囲の一部が重なるように測位装置3を配置する。
【0039】
[測位システムの処理の概要]
本実施形態では、撮影装置2によって撮影された画像から、測位座標系への変換ができる環境が存在するものとする。また、以下の説明では、このような環境を既存環境と言う。
【0040】
図7は、新たに測位装置を設置する場合の例を説明するための図である。
図7において、既存環境は、撮影装置2と、撮影装置2の撮影領域g11である。そして、符号g12は、新規に測位するための測位装置3の測位領域である。
【0041】
本実施形態では、
図7のように既存環境における撮影装置2の撮影領域g11と、新規に測位するための測位装置3の測位領域の一部が重なるように測位装置3を設置する。そして、本実施形態では、重なりあう領域g13で移動体4を移動させ既存環境の撮影装置2と、新規の測位装置3の両方で測位座標を出力する。
【0042】
なお、撮影装置2と測位装置3の2つから出力される移動体の軌跡は、アフィン変換によって相互に変換可能であるはずである。この理由は、測位座標が、移動体4の3次元の軌跡を水平面上に射影した2次元座標系であると考えられる。このため、同一の移動体4を同時に観測した異なる測位座標系は、理論的に回転と併進によって相互に変換可能となる。
【0043】
その後、本実施形態では、上述の2つの座標系を相互に変換するアフィン変換のパラメータを推定する。本実施形態では、例えば、出力された二つの軌跡(2次元座標の集合)を入力として、最も誤差が少なくなるようなアフィン変換のパラメータを推定する。推定には、ロバスト性を考慮して、例えばRANSAC(RANdom SAmple Consensus)アルゴリズム等を用いるものとする。なお、RANSACアルゴリズムは、ロバスト推定のアルゴリズムであり、外れ値を含むデータから外れ値の影響を除外して数学モデルのパラメータを学習する手法である。なお、例えば測位処理装置1の変換規則算出部13が、パラメータの推定、アフィン変換を行う。
【0044】
さらに、本実施形態では、再度新規の測位装置3を用いて測定する。本実施形態によれば、この結果に上で推定したアフィン変換を行うことで、既存の測位座標に変換可能となる。これにより、本実施形態によれば、以上の結果から異なる二つの測位座標系を統合することができる。
【0045】
[処理例]
図8は、環境例を示す図である。符号g21は、撮影装置2の視界を遮る物(例えば壁)である。撮影装置2-1~2-6が、環境に設置されているとする。この環境においては、1つの測位装置3では、各撮影装置2の撮影範囲が遮られているため、領域全体をカバーできない。
【0046】
まず、
図9のように、第1の測位装置3-1を、第4の撮影装置2-4の周囲に配置する。符号g31、g32は、第1の測位範囲を示す。
図9は、第1の測位装置の配置を説明するための図である。
第1の測位装置3-1は、第1の撮影装置2-1、第4の撮影装置、第5の撮影装置2-5、第6の撮影装置2-6それぞれが撮影した画像を用いて測定を行う。測位処理装置1は、第1の撮影装置2-1、第4の撮影装置、第5の撮影装置2-5、第6の撮影装置2-6それぞれが撮影した画像から、第1の測位装置3-1の測位座標に変換する。
【0047】
次に、
図10のように、第3の撮影装置2-3の周囲に第2の測位装置3-2を配置する。
図10は、第2の測位装置の配置を説明するための図である。
第2の測位装置3-2の配置位置は、測定済みの撮影装置2の撮影領域と、第2の測位装置3-2の撮影領域とが重なるように配置する。符号g41、g42が重なっている領域である。
【0048】
なお、第1の測位装置3-1と第2の測位装置3-2は、別の装置であってもよい。または、第1の測位装置3-1と第2の測位装置3-2は、同一の装置であってもよい。
【0049】
測位処理装置1は、重なっている領域g41、g42で、移動体4を移動させて、測定済の撮影装置2から第1の測位座標(第1の測位装置3-1の測位座標)を算出するとともに第2の測位装置3-2で測位することで第2の測位座標(第1の測位装置3-2の測位座標)を得る。
【0050】
なお、
図10の例のように、重なる領域が複数ある場合は、それらすべてで測位することが精度向上の観点から望ましい。測位処理装置1は、得た第1の測位座標と第2の測位座標を入力としてアフィン変換パラメータAを推定する。パラメータの推定は、例えばオープンソースのOpenCVライブラリを利用して行うようにしても良い。
【0051】
次に、測位装置3がカバーする測位範囲において測定を実施する。その結果、この例では、第2の測位装置3-2の測位範囲において、第2の撮影装置2-2、第3の撮影装置2-3の画像から第2の測位装置3-2の測位座標に変換することが可能となる。その後、さらに求めたアフィン変換パラメータAで変換することにより、第1の測位装置3-1の測位座標系に変換する。
以上の手法によって、本実施形態によれば、すべての撮影装置2が出力する画像から測位装置3の測位座標系に変換することが可能となる。
【0052】
これにより、本実施形態によれば、撮影装置2が出力する画像から測位座標系へと変換する際、広い場所または死角の多い場所においても統一的な測位座標系に変換することができる。また、本実施形態によれば、部分的に入れ替えた撮影装置2における測位を既存の座標系に統合することができる。
【0053】
図11は、第1の測位装置と第2の測位装置を配置した例を示す図である。
図11の例は、
図9と
図10を重ねた状態を示す図であり、第1の測位装置3-1が第4の撮影装置2-4の周囲に配置され、第2の測位装置3-2が第3の撮影装置2-3の周囲に配置される。そして、第1の測位装置3-1は、移動体4を撮影する複数の撮影装置2のうち、第1の撮影装置2(例えば2-1)の撮影範囲と第2の撮影装置2(例えば2-4)の撮影範囲が重なる領域に配置される。また、第2の測位装置3-2は、第1の測位装置3-1が測定に使用した撮影装置2(例えば2-1、2-4、2-5、2-6)の撮影範囲と、第2の測位装置3-2の測位範囲とが重なる領域に配置される。
【0054】
[処理手順例]
図12は、本実施形態に係る測位の処理手順例のフローチャートである。
【0055】
(ステップS301)まず、測定を行う利用者は、既存環境における撮影装置2のカバー領域と、新規に測位するための測位装置3のカバー領域が重なるように、測位装置3を設置する。測位処理装置1は、重なりあう領域で移動体4を移動させたときの既存環境の撮影装置2と、第1の測位装置3-1の両方で測位座標を取得する。
【0056】
(ステップS302)測位処理装置1は、既存環境における撮影装置2が撮影した画像から、第1の測位装置3-1の実空間座標である第1の測位座標に変換する。なお、測位処理装置1は、第1の測位装置3-1の実空間座標の変換等の処理を、
図5、
図6の手法を用いて行う。
【0057】
(ステップS303)測定を行う利用者は、測定済みの撮影装置2の撮影領域と新規に測位するための第2の測位装置3-2の測位領域が重なるように、第2の測位装置3-2を設置する。測位処理装置1は、測定済みの撮影装置2の撮影領域と新規に測位するための第2の測位装置3-2の測位領域が重なりあう領域で移動体4を移動させ、撮影装置2と第2の測位装置3-2から測位座標を取得する。
【0058】
(ステップS304)測位処理装置1は、撮影装置2が撮影した画像から、第2の測位装置3-2の実空間座標である第2の測位座標に変換する。
【0059】
(ステップS305)測位処理装置1は、第1の測位座標と第2の測位座標を入力として、例えば最も誤差が少なくなるようなアフィン変換のパラメータを推定する。
【0060】
(ステップS306)測位処理装置1は、推定したパラメータを用いて、第2の測位座標をアフィン変換して第1の測位装置3-1の測位座標系に変換する。
【0061】
図13は、本実施形態による測位処理装置のハードウェア構成図である。
図13で示すように、測位処理装置1は、演算処理部101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶部104、通信モジュール105等の各ハードウェアを備えたコンピュータサーバである。演算処理部101は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等である。記憶部104は、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、またはメモリカード等である。また、記憶部104は、RAMやROM等のメモリであってもよい。通信モジュール105は、外部の装置との間でデータを送受信する。本実施形態において、通信モジュール105は、撮影装置2、測位装置3と有線通信路または無線通信路を介して通信接続する。
【0062】
上述の測位処理装置1は、内部にコンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0063】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0064】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0065】
(付記1)
移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、
第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、
前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、
第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、
前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、
前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、
推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、
測位方法。
【0066】
(付記2)
前記第1の測位装置は、前記移動体を撮影する複数の撮影装置のうち、少なくとも一つの前記撮影装置の撮影範囲と前記第1の測位装置の測位範囲が重なる領域に配置され、
前記第2の測位装置は、前記第1の測位装置が測定に使用した前記撮影装置の撮影範囲と、前記第2の測位装置の測位範囲との少なくとも一部が重なる位置に配置される、
(付記1)に記載の測位方法。
【0067】
(付記3)
前記第1の測位装置が測定に使用した前記撮影装置の撮影範囲と、前記第2の測位装置の測位範囲とが重なる領域が複数の場合、前記領域毎に測位する、
(付記2)に記載の測位方法。
【0068】
(付記4)
前記第1の測位装置は、前記第1の測位装置の測位範囲にある撮影装置それぞれが撮影した画像を用いて、前記移動体の座標を前記第1の実空間座標に変換し、
前記第2の測位装置は、前記第2の測位装置の測位範囲にある前記撮影装置それぞれが撮影した画像を用いて、前記移動体の座標を前記第2の実空間座標に変換する、
(付記1)から(付記3)のうちのいずれか1つに記載の測位方法。
【0069】
(付記5)
前記関数は、幾何変換である、
(付記1)から(付記4)のうちのいずれか1つに記載の測位方法。
【0070】
(付記6)
前記実空間座標を判定した時刻情報に対応する、前記画像内座標と前記実空間座標に基づいて、前記画像内座標と前記実空間座標との変換規則情報を特定する、
(付記1)から(付記5)のうちのいずれか1つに記載の測位方法。
【0071】
(付記7)
前記変換規則情報は、前記実空間座標と前記画像内座標との対応関係に基づいて、前記移動体が移動する二次元平面の座標系における座標に射影変換する変換式のパラメータを含む、
(付記6)に記載の測位方法。
【0072】
(付記8)
前記移動体を撮影する複数の撮影装置から取得した複数の前記画像を用いて、前記複数の撮影装置それぞれの変換規則情報を算出する、
(付記6)または(付記7)に記載の測位方法。
【0073】
(付記9)
移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、
第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、
前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、
第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、
前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、
前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、
推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、
測位処理装置。
【0074】
(付記10)
移動体を撮影する撮影装置と、
実空間における前記移動体の位置を特定する第1の測位装置と第2の測位装置と、に通信接続し、
前記移動体を撮影した画像における前記移動体の位置を示す画像内座標を判定し、
第1の測位装置から、実空間における前記移動体の位置を示す第1の実空間座標を取得し、
前記画像内座標と前記第1の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第1の実空間座標に変換し、
第2の測位装置から、実空間における前記移動体の位置を示す第2の実空間座標を取得し、
前記画像内座標と前記第2の実空間座標とに基づいて、前記移動体の前記画像内座標を前記移動体の前記第2の実空間座標に変換し、
前記第1の実空間座標と、前記第2の実空間座標に基づいて、前記第2の実空間座標を前記第1の実空間座標に変換する関数を推定し、
推定した前記関数を用いて前記第2の実空間座標を前記第1の実空間座標に変換する、
測位システム。
【符号の説明】
【0075】
100…測位システム、
1…測位処理装置、
2,2-1,2-2-2-3,2-4,2-5,2-6…撮影装置、
3,3-1,3-2…測位装置、
4…移動体、
11…撮影画像取得部、
12…測量情報取得部、
13…変換規則算出部、
14…測位部