特開 2022-175768 位置測定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175768

(43)【公開日】2022-11-25

(54)【発明の名称】位置測定システム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20221117BHJP

   G06T 7/70 20170101ALI20221117BHJP

   G08G 1/00 20060101ALI20221117BHJP

【ＦＩ】

G01B11/00 H

G06T7/70 Z

G08G1/00 X

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021082447

(22)【出願日】2021-05-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】笹谷 聡

(72)【発明者】

【氏名】北村 毅

【テーマコード（参考）】

2F065

5H181

5L096

【Ｆターム（参考）】

2F065AA04

2F065BB15

2F065CC11

2F065CC16

2F065DD03

2F065DD12

2F065FF05

2F065FF11

2F065FF67

2F065GG04

2F065HH04

2F065JJ01

2F065JJ03

2F065JJ05

2F065MM02

2F065MM06

2F065PP25

2F065QQ03

2F065QQ24

2F065QQ25

2F065QQ28

2F065QQ31

2F065QQ41

2F065UU05

5H181AA21

5H181AA27

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF10

5H181FF22

5H181FF33

5H181LL04

5H181LL07

5L096BA05

5L096CA05

5L096DA02

5L096FA67

5L096FA69

5L096GA19

5L096HA02

(57)【要約】

【課題】複数の計測対象物が存在するエリアにおいて、夫々の計測対象物の位置を高精度に計測することができる位置測定システムを提供する
【解決手段】自位置検出部を備える自位置検出計測対象物、及び自位置検出部を備えない他の計測対象物を撮影する複数の撮像手段と、自位置検出部からの自位置情報に基づいて自位置検出計測対象物の自位置を求める自位置測定手段と、複数の撮像手段の撮像画像毎に自位置検出計測対象物と他の計測対象物の位置を推定する画像解析手段と、自位置測定手段で測定された自位置検出計測対象物の自位置と画像解析手段で求められた撮像画像毎の自位置検出計測対象物の推定位置とを比較し、この比較結果に応じて撮像画像毎の他の計測対象物の推定位置の１つを選択して決定する位置決定手段を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像画像から計測対象物の位置を測定する位置測定手段を備える位置測定システムにおいて、
前記位置測定手段は、
自位置検出部を備える自位置検出計測対象物、及び自位置検出部を備えない他の計測対象物を撮影する複数の撮像手段と、
前記自位置検出部からの自位置情報に基づいて前記自位置検出計測対象物の自位置を求める自位置測定手段と、
前記複数の撮像手段の撮像画像毎に前記自位置検出計測対象物と前記他の計測対象物の推定位置を求める画像解析手段と、
前記自位置測定手段で測定された前記自位置検出計測対象物の前記自位置と前記画像解析手段で求められた前記撮像画像毎の前記自位置検出計測対象物の前記推定位置とを比較し、この比較結果に応じて前記撮像画像毎の前記他の計測対象物の前記推定位置の１つを選択して決定する位置決定手段とを備える
ことを特徴とする位置測定システム。

【請求項2】

請求項１に記載の位置測定システムにおいて、
前記位置決定手段は、前記自位置測定手段で求めた前記自位置検出計測対象物の前記自位置と前記画像解析手段で求めた前記自位置検出計測対象物の前記推定位置を比較して、前記撮像画像の自位置計測誤差を算出する自位置計測誤差推定手段を備えている
ことを特徴とする位置測定システム。

【請求項3】

請求項２に記載の位置測定システムにおいて、
前記位置決定手段は、前記自位置計測誤差推定手段で求めた前記自位置計測誤差の情報と、前記他の計測対象物と前記撮像手段の間の距離の情報を用いて、前記他の計測対象物の計測誤差を推定する計測対象物計測誤差推定手段を備えている
ことを特徴とする位置測定システム。

【請求項4】

請求項３に記載の位置測定システムにおいて、
前記位置決定手段は、前記計測対象物計測誤差推定手段で求めた、複数の前記撮像画像の前記他の計測対象物の前記計測誤差の内で、最も誤差が小さい前記他の計測対象物を選択して、前記他の計測対象物の前記推定位置を決定する位置情報選択決定手段を備えている
ことを特徴とする位置測定システム。

【請求項5】

請求項４に記載の位置測定システムにおいて、
前記位置測定手段は、
作業エリアを複数の分割領域に分割して作業エリア面に表示するマップ表示手段と、
前記自位置検出計測対象物の前記自位置と前記他の計測対象物の前記推定位置に基づいて、前記自位置検出計測対象物と前記他の計測対象物が作業可能な前記分割領域を作業可能エリアとして前記マップ表示手段に与えて前記作業エリア面に表示する作業エリア提示手段を備える
ことを特徴とする位置測定システム。

【請求項6】

請求項５に記載の位置測定システムにおいて、
前記位置測定手段は、更に、前記作業可能エリアに前記自位置検出計測対象物、或いは前記計測対象物が存在するか否かを判定し、この判定結果を前記位置情報選択決定手段にフィードバックする作業エリア内外判定手段を備えている
ことを特徴とする位置測定システム。

【請求項7】

請求項６に記載の位置測定システムにおいて、
前記位置測定手段は、
少なくとも、前記作業エリア内外判定手段の判定情報を用いて、前記自位置検出計測対象物、前記マップ表示手段、及び前記撮像手段の間の校正精度を判定する校正精度判定手段と、
校正精度が不十分である場合に再校正を実行する校正実行手段を備える
ことを特徴とする位置測定システム。

【請求項8】

請求項１に記載の位置測定システムにおいて、
前記自位置検出計測対象物は、現在の位置と向きを示す自位置情報を検出するセンサと、前記自位置検出計測対象物の周辺の構造物や障害物の形状情報を検出するセンサを備える
ことを特徴とする位置測定システム。

【請求項9】

請求項１に記載の位置測定システムにおいて、
前記画像解析手段は、前記撮像画像の前記自位置検出計測対象物、及び前記他の計測対象物を検出して検知枠を設定し、前記検知枠の位置から前記自位置検出計測対象物、及び前記他の計測対象物の前記推定位置を求める
ことを特徴とする位置測定システム。

【請求項10】

請求項１に記載の位置測定システムにおいて、
更に前記位置決定手段は、撮像時間情報、太陽と前記撮像手段の位置関係の情報、前記他の計測対象物の姿勢の情報、前記他の計測対象物の周囲の密集度の情報、前記他の計測対象物に対する障害物による遮蔽情報の１つ以上の情報を用いて、前記他の計測対象物の前記推定位置を選択する
ことを特徴とする位置測定システム。

【請求項11】

撮像画像から計測対象物の位置を測定する位置測定手段を備える位置測定システムにおいて、
前記位置測定手段は、
自位置検出部を備えた自位置検出計測対象物、及び自位置検出部を備えない他の計測対象物を撮影する複数の撮像手段と、
前記自位置検出部からの自位置情報に基づいて前記自位置検出計測対象物の自位置を求める自位置測定手段と、
夫々の前記撮像手段で撮像された前記撮像画像から前記自位置検出計測対象物と前記他の計測対象物の推定位置を求める計測対象物位置推定手段と、
前記自位置測定手段で測定された前記自位置検出計測対象物の前記自位置と前記計測対象物位置推定手段で推定された前記自位置検出計測対象物の前記推定位置とを比較して計測誤差を求め、この計測誤差に基づいて前記他の計測対象物の計測誤差を推定する計測誤差推定手段と、
前記計測誤差推定手段で推定された計測誤差が小さい前記他の計測対象物を選択して前記他の計測対象物の前記推定位置を決定する位置決定手段を備える
ことを特徴とする位置測定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は移動する計測対象物の位置測定システムに係り、特に撮像手段によって計測対象物の位置を測定する位置測定システムに関する。

【背景技術】

【0002】

近年では労働人口の減少に伴い、人手不足の解消や生産性の向上を目的とした作業システムの自動化や自律化への期待が高まっている。例えば、工場のような作業者や自律移動する車両、ロボット等といった移動する計測対象物が混在する作業エリアにおいて、計測対象物の位置を計測し、例えば、プロジェクションマッピングのような手法を用いて、計測対象物が安全に移動できる移動可能範囲（作業可能エリア、安全エリア等）を提示してやることで、安全性と生産性を両立した作業システムの構築が可能となる。

【0003】

このようなシステムを円滑に管理するためには、計測対象物の位置を常に高精度に計測する必要がある。例えば、自律移動する計測対象物（車両、ロボット等）が存在する場合、安全に計測対象物を移動させるためには、計測対象物にカメラやＬｉＤＡＲ（Light Detection and Ranging）のようなセンサ類を搭載して、計測対象物の周囲の構造物、或いは障害物（例えば、作業機械、柱、壁面、什器等）の検出や、構造物や障害物との位置関係を計測することが一般的に行われている。

【0004】

しかしながら、計測対象物に搭載したセンサだけでは、構造物や障害物による死角等が生じて、作業エリア内の多くの構造物や障害物を計測するのは困難である。そのため、作業エリアの周囲にもカメラやＬｉＤＡＲ等の固定センサ類を配置して作業エリアを計測し、計測対象物に搭載されたセンサ類の計測結果と統合することで、高精度に多くの構造物や障害物の位置を計測できるようになる。

【0005】

しかしながら、多様な形態の作業現場においては、様々な外乱（例えば、光学系の外乱）により多くのセンサ類の計測結果が正確であるとは限らず、作業現場の環境状況に応じて、各センサにより検出された計測データを取捨選択する必要がある。例えば、特開２０２０－５２６００号公報（特許文献1）においては、以下のことが示されている。

【0006】

特許文献１においては、オブジェクト（撮影対象物）を複数の異なる視点で撮影したカメラ映像を取得して各オブジェクトの位置を推定し、各カメラの視点及び各オブジェクトの位置に基づいてオブジェクト同士の遮蔽度をカメラ毎に計算し、この遮蔽度に基づいて各オブジェクトの識別に用いるカメラを選定し、オブジェクト毎に選定したカメラのカメラ映像に基づいて各オブジェクトを識別する、ことが示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２０－５２６００号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、上述したように位置測定システムの分野では、計測対象物の位置を常に高精度に計測することが強く要請されている。しかしながら、特許文献１においては、遮蔽度によってカメラ画像を選択するものであり、カメラ画像を用いてオブジェクトの位置の計測精度を高めることについては考慮されていない。

【0009】

本発明の目的は、複数の計測対象物が存在するエリアにおいて、夫々の計測対象物の位置を高精度に計測することができる位置測定システムを提供することにある。

【課題を解決するための手段】

【0010】

本発明の第１の特徴は、自位置検出部を備える自位置検出計測対象物、及び自位置検出部を備えない他の計測対象物を撮影する複数の撮像手段と、自位置検出部からの自位置情報に基づいて自位置検出計測対象物の自位置を求める自位置測定手段と、複数の撮像手段の撮像画像毎に自位置検出計測対象物と他の計測対象物の位置を推定する画像解析手段と、自位置測定手段で測定された自位置検出計測対象物の自位置と画像解析手段で求められた撮像画像毎の自位置検出計測対象物の推定位置とを比較し、この比較結果に応じて撮像画像毎の他の計測対象物の推定位置の１つを選択して決定する位置決定手段を備える、ところにある。

【0011】

本発明の第２の特徴は、自位置検出部を備えた自位置検出計測対象物、及び自位置検出部を備えない他の計測対象物を撮影する複数の撮像手段と、自位置検出部からの自位置情報に基づいて自位置検出計測対象物の自位置を求める自位置測定手段と、夫々の撮像手段で撮像された撮像画像から自位置検出計測対象物と他の計測対象物の位置を推定する計測対象物位置推定手段と、自位置測定手段で測定された自位置検出計測対象物の自位置と計測対象物位置推定手段で推定された自位置検出計測対象物の推定位置とを比較して計測誤差を求め、この計測誤差に基づいて他の計測対象物の計測誤差を推定する計測誤差推定手段と、計測誤差推定手段で推定された計測誤差が小さい他の計測対象物を選択して他の計測対象物の推定位置を決定する位置決定手段を備えた、ところにある。

【発明の効果】

【0012】

本発明によれば、自位置検出部を備えない他の計測対象物の位置を正確に求められるので、位置推定精度を向上させることができるようになる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態になる位置測定システムの機能を示す機能ブロック図である。

【図2】図１に示す車両情報取得部の構成図である。

【図3】自己位置情報取得部の機能を説明する説明図である。

【図4】図１に示す画像解析部の構成を説明する構成図である。

【図5】図４に示す物体検出部と位置計測部の機能を説明する説明図である。

【図6】図４に示す計測誤差推定部の構成図である。

【図7A】図６の車両計測誤差算出部と作業者計測誤差推定部を説明する説明図である。

【図7B】図６の車両計測誤差算出部と作業者計測誤差推定部による計測誤差の例を説明する説明図である。

【図8】図１に示す作業エリア提示部を説明する説明図である。

【図9】図１に示す作業エリア内外判定部の構成図である。

【図10】本発明の第２の実施形態になる位置測定システムの機能を示す機能ブロック図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態について図面を用いて詳細に説明するが、本発明は以下の実施形態に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含むものである。

【実施例0015】

図１は、本発明の第１の実施形態の機能を示す機能ブロック図である。本実施形態では、複数のカメラを位置推定手段として使用した場合について説明するが、位置推定手段はこれに限定されるものではなく、ステレオカメラやＬｉＤＡＲのような距離センサ等の他のセンサを使用することもでき、更には複数の異種センサを組み合わせることも可能である。

【0016】

図１に示す位置測定システム１は、自位置情報が取得可能な車両（請求項にける自位置検出計測対象物）２ｂと作業者（請求項における他の計測対象物）２ａが混在する作業エリアにおいて、複数のカメラ（請求項にける撮像手段/以下、インフラカメラと表記する）３ａ、３ｂを設置して、車両２ｂや作業者２ａの位置を計測するものである。尚、インフラカメラは２個に限られない。また、以下の説明では、車両２ｂや作業者２ａに加えて計測対象物という表現を使用することもある。

【0017】

ここで、自位置情報が取得可能な車両２ｂは、自位置検出部、例えばＧＰＳセンサ位置検出機能や画像パターン認識機能によって自位置を正確に求めることができる。また、作業者２ａ等の自位置情報が取得できない他の計測対象物は、インフラカメラ３ａ、３ｂの撮像画像に基づいて位置を推定されている。もちろん、自位置検出計測対象物においても、インフラカメラ３ａ、３ｂの撮像画像に基づいて位置を推定されている。これは、後述する計測誤差を求めるために使用される。

【0018】

この位置測定システム１で推定された夫々の計測対象物の位置を利用して、作業エリアに、作業可能エリア（安全エリア、危険エリア等の特定エリア）をマップ表示装置４によりプロジェクションマッピング手法によって提示することができる。このため、計測対象物の位置情報は正確であることが要請されている。尚、プロジェクションマッピングは一例であり、これ以外の作業システムにも適用することができる。

【0019】

ところで、自位置情報が取得可能な計測対象物（車両２ｂ）は、基本的には正確な位置を求めることができるが、自位置情報が取得できない他の計測対象物（作業者２ａ）は、インフラカメラ３ａ、３ｂの撮像画像によって位置を推定するため、インフラカメラ３ａ、３ｂの何れの撮像画像に基づいて位置を推定するかによって計測誤差が異なってくる。そして、本実施形態では、計測誤差が小さい撮像画像を選択することで、自位置情報が取得できない他の計測対象物（作業者２ａ）の位置を決定することを特徴としている。

【0020】

図１において、位置測定システム１は、車両情報取得部５、画像解析部６、計測誤差推定部７、位置情報選択決定部８、作業エリア提示部９、作業エリア内外判定部１０等の機能ブロックから構成されている。尚、計測誤差推定部７と位置情報選択決定部８を合わせて位置決定部１８を構成している。各機能ブロックは、演算装置、主記憶装置、外部記憶装置を有するコンピュータにおいて実現される。次に図１に示す各機能ブロックの概要を説明する。

【0021】

車両情報取得部５は、車両２の自位置情報と、外界センサが搭載されている場合はセンサの計測情報を取得する機能を備えている。画像解析部６は、インフラカメラ３ａ、３ｂから取得した夫々の撮像画像を解析することで、作業者（他の計測対象物）２ａ、車両（自位置検出計測対象物）２ｂの位置を計測する機能を備えている。

【0022】

計測誤差推定部７は、車両情報取得部５から取得した車両（自位置検出計測対象物）２ｂの自位置と画像解析部６から取得した車両（自位置検出計測対象物）２ｂの推定位置を比較して、インフラカメラ３ａ、３ｂによる車両（自位置検出計測対象物）２ｂの計測誤差を推定する機能を備えている。

【0023】

位置情報選択決定部８は、推定した計測誤差を用いて、画像解析部６により取得した作業者（他の計測対象物）２ａの推定位置の内、最終的に位置測定システム１で使用する推定位置を選択、決定する機能を備えている。

【0024】

作業エリア提示部９は、位置情報選択決定部８によって取得した車両（自位置検出計測対象物）２ｂ、作業者（他の計測対象物）２ａの位置情報を解析し、車両（自位置検出計測対象物）２ｂ、作業者（他の計測対象物）２ａの移動可能範囲（作業可能エリア，安全エリア等の特定エリア）をマップ表示装置４により、作業エリアに提示する機能を備えている。作業エリア内外判定部１０は、提示された特定エリア上に車両（自位置検出計測対象物）２ｂ、作業者（他の計測対象物）２ａが存在するか否かを判定して、位置情報選択決定部８にフィードバッグする機能を備えている。

【0025】

次に、車両情報取得部５、画像解析部６、計測誤差推定部７、位置情報選択決定部８、作業エリア提示部９、作業エリア内外判定部１０等の機能ブロックの各機能の詳細について説明する。

【0026】

図２は車両情報取得部５の機能ブロックを示している。車両情報取得部５は、車両２に設置したＧＰＳセンサ等により自位置情報を取得する自位置情報取得部１１と、車両２に搭載した外界センサの計測情報を取得する外界センサ情報取得部１２を備えている。以下、自位置情報取得部１１、外界センサ情報取得部１２の機能について説明する。

【0027】

図３を用いて、自己位置情報取得部１１について説明する。図３において、位置測定システム１が適用される作業エリアマップ１５に対して、位置測定システム１で使用する車両２、インフラカメラ３ａ、３ｂ、マップ表示装置４の位置情報等は予めキャリブレーションを実施しておき、位置情報を「Ｏｇ」を原点とする共通座標系１６にて取り扱うこととする。

【0028】

自位置情報取得部１１で取得する自位置情報としては、図３に示す共通座標系１６における、車両座標系１７の原点「Ｏｍ」の位置情報と、車両の向きを示す共通座標系１６に対する車両座標系１７の傾き「θ」とする。

【0029】

これらの情報はＧＰＳセンサにより取得する方法や、ＬｉＤＡＲやカメラを車両２ｂに設置して、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術により取得する方法があるが、高精度に車両２ｂの自位置情報を取得できる方法であれば、特に限定されない。

【0030】

外界センサ情報取得部１２は、車両２ｂにカメラやＬｉＤＡＲ等の外界センサを搭載している場合に、外界センサによる車両２ｂの周辺の構造物の形状情報を取得することができる。例えば、カメラを搭載している場合は、インフラカメラ３ａ、３ｂの画像解析部６と同様に、カメラの撮像画像を解析して周辺の形状情報を求めて位置情報を取得することができる。尚、画像解析部６による位置計測手法は後で説明する。また、ＬｉＤＡＲのような距離センサを搭載している場合は、計測した３次元点群情報を解析して、一定以上の高さを持つ構造物の位置情報を取得することができる。

【0031】

尚、外界センサによる位置情報が図３に示す「Ｏｍ」を原点とした車両座標系１７の位置情報である場合は、自位置情報を用いて共通座標系１６上の位置情報に変換することができる。また、外界センサを搭載しない場合は、本機能ブロックを備えていない構成でも良い。更に、外界センサを搭載する場合は、車両２ｂの周囲に存在する構造物の位置情報を計測できるものであれば、センサの種類や計測アルゴリズムについて、特に限定されない。

【0032】

図４は画像解析部６の機能ブロックを示している。画像解析部６は、インフラカメラ３ａ、３ｂからの撮像画像を取得する画像取得部２０と、夫々の撮像画像に画像認識アルゴリズム等を適用することで、撮像画像内に存在する位置測定システム１における計測対象物の領域を抽出する物体検出部２１と、抽出した画像中の計測対象物の領域情報を元に、計測対象物の位置情報を取得する位置計測部２２を備える。以下、物体検出部２１、位置計測部２２について詳細に説明する。

【0033】

図５を用いて、物体検出部２１と位置計測部２２について説明する。図５において、撮像画像３０は、画像取得部２０から取得した撮像画像である。画像座標系３１は、画像左上の「Ｏｉ」を原点とする座標系である。計測対象物である作業者３２aと車両３２ｂは、物体検出部２１によって画像中から計測対象物を含む領域を推定した検知枠３３a、３３bに囲まれている。

【0034】

検知枠３３ａ、３３ｂの下端中央には、検知枠３３ａ、３３ｂの画像座標３４ａ、３４ｂが設定されている。カメラパラメータ３５は、撮像画像を取得するのに使用したインフラカメラ３ａ、３ｂのカメラパラメータである。世界座標系３６は、位置計測部２２により画像座標系３１とカメラパラメータ３５を用いて変換された「Ｏｗ」を原点とする座標系である。

【0035】

世界座標３７ａ、３７ｂは、画像座標３４ａ、３４ｂに対応する世界座標である。座標３８ａ、３８ｂは、世界座標３７ａ、３７ｂを共通座標系１６の座標値に変換して作業エリアマップ１５にプロットしたものである。位置情報３９は、位置計測部２２から出力される位置情報を示している。

【0036】

物体検出部２１では、予め学習データから機械学習などにより生成した画像中から計測対象物（作業者２ａや車両２ｂ）を検出可能な辞書を活用（パターンマッチング）することで、撮像画像中に存在する計測対象物（作業者２ａや車両２ｂ）を区別して検出する。辞書を生成する際のアルゴリズムについては、畳み込みニューラルネットワークやＡｄａＢｏｏｓｔなど一般的なもので良く、特に限定されない。また、本例以外にも撮像画像中から計測対象物を区別して検出でき、その外接矩形（バウンディングボックス）を推定できる方法であれば、特に限定されない。

【0037】

位置計測部２２では、物体検出部２１により取得した計測対象物の検知枠３３ａ、３３ｂの画像座標３４ａ、３４ｂを元に、計測対象物の世界座標系３６及び共通座標系１６における位置情報に変換する。画像座標から世界座標への変換はカメラパラメータ３５を用いる一般的な方法を利用する。

【0038】

尚、カメラパラメータ３５の導出方法としては、一般的なカメラキャリブレーションを使用すれば良く、予め画像座標３１に対応する世界座標３６を手動で与える方法などにより、カメラパラメータ３５を推定できる。世界座標３７ａ、３７ｂから共通座標３８ａ、３８ｂに変換する方法としては、予めインフラカメラ３ａ、３ｂと作業エリアマップ１５との間で、キャリブレーションを実施しておき、透視変換行列により変換するなどの一般的な方法であればよく、特に限定されない。

【0039】

位置計測部２２では、上述した方法によって計測対象物（作業者２ａや車両２ｂ）の位置情報３９を取得する。位置情報としては、夫々の計測対象物３２ａ、３２ｂのクラス情報、スコア、位置の３つの情報が取得される。クラス情報は、物体検出部２１による計測対象物（作業者２ａや車両２ｂ）の識別結果、スコアは、検知枠３３ａ、３３ｂの矩形内に計測対象物（作業者２ａや車両２ｂ）が存在する確率を示す指標、位置は共通座標系１６における計測対象物（作業者２ａや車両２ｂ）の２次元座標値である。

【0040】

図６は計測誤差推定部７の機能ブロックを示している。計測誤差推定部７は、車両情報取得部５から取得した車両２ｂの自位置の情報と、画像解析部６により推定した車両２ｂの推定位置の情報を比較して、推定された車両２ｂの計測誤差を算出する車両計測誤差算出部４０と、算出した車両計測誤差の情報を元に、画像解析部６により推定した作業者２ａの推定位置の計測誤差を推定する作業者計測誤差推定部４１を備えている。以下、車両計測誤差算出部４０と作業者計測誤差推定部４１について、詳細に説明する。

【0041】

図７Ａ、図７Ｂを用いて、車両計測誤差算出部４０と作業者計測推定算出部４１について説明する。図７Ａにおいて、車両２ｂの自位置５０は、自位置測定手段によって測定された、共通座標系１６における車両２ｂの自位置座標（ｘ^３ｇ、ｙ^３ｇ）である。車両２ｂの推定位置５１は、画像解析部６により推定した車両２ｂの推定位置座標（ｘ^２ｇ、ｙ^２ｇ）である。

【0042】

計測誤差（σ_２）５２は、車両の自位置５０と画像解析部６による推定位置５１を比較して算出した計測誤差である。図７Ａでは、計測誤差の領域は破線で示している。また、作業者２ａの推定位置５３は、画像解析部６により推定した作業者２ａの位置情報（ｘ^１ｇ、ｙ^１ｇ）である。計測誤差（σ_１）５４は、車両２ｂの計測誤差５２から推定した作業者２ａの計測誤差である。図７Ａでは、計測誤差の領域は破線で示している。出力情報５５は、図７Ｂにあるように、最終的に計測誤差推定部７から出力される。

【0043】

車両計測誤差算出部４０では、画像解析部６により出力された車両２ｂの推定位置５１の誤差領域に、車両２ｂの自位置５０が存在するか否かを判定する。判定方法としては、車両２ｂの推定位置５１と自位置５０の座標同士のユークリッド距離を使用する等の方法があり、特に限定されない。

【0044】

そして、画像解析部６による車両２ｂの推定位置５１が存在しない場合は、計測誤差を計測不能として位置情報選択決定部８の機能を実行する。一方、画像解析部６による車両２ｂの推定位置５１が存在する場合は、車両２ｂの自位置情報５０とのユークリッド距離を半径とした円領域を、計測誤差５２として決定する。

【0045】

計測誤差５２が求まると、次に作業者計測誤差推定部４１では、計測誤差５２と画像解析部６によって推定された作業者２ａの推定位置５３から、作業者位置計測誤差５４を推定する。推定方法としては、インフラカメラ３ａ、３ｂと夫々の計測対象物との位置関係の情報を利用する方法がある。

【0046】

通常、カメラによる位置計測手法では、カメラより離れた位置に存在する計測対象物の計測精度は、低下する傾向がある。このため、予め共通座標系１６におけるインフラカメラ３ａ、３ｂの位置を算出しておき、インフラカメラ３ａ、３ｂの位置と夫々の計測対象物（作業者２ａ、車両２ｂ）の推定位置５１、５３のユークリッド距離に応じて、計測誤差５２を線形的に増減させるという方法により、計測誤差５４の円領域を推定できる。

【0047】

また、計測誤差の円領域を推定する際に、本実施形態のように、インフラカメラ３ａ、３ｂの位置と計測対象物（作業者２ａ、車両２ｂ）毎の共通座標系１６におけるユークリッド距離を使用するのではなく、画像座標系３１によるｙ座標値を活用する方法や、画角と解像度の情報から画像座標系３１のｙ座標値の１ピクセル毎の距離推定誤差を推定し、計測誤差５２の増減幅に活用するなどの方法を使用しても良い。また、計測誤差の円領域を推定する際に、クラス情報を考慮し、計測対象物の大きさに応じて計測誤差の増減を補正する等の処理を追加しても良い。

【0048】

そして、計測誤差推定部７では、上述の方法により求めた計測誤差５２、５４の情報を、「σ_２」、「σ_１」として、画像解析部６から出力される位置情報に付与し、更に自位置情報（ｘ^３ｇ、ｙ^３ｇ）を加えることで、出力情報５５に示す情報を後段の位置情報選択決定部８に入力する。

【0049】

位置情報選択決定部８では、夫々のインフラカメラ３ａ、３ｂの撮像画像を入力として、画像解析部６と計測誤差推定部７から出力される計測対象物（作業者２）毎の推定位置と計測誤差から、最終的に位置測定システム１で使用する計測対象物（作業者２）の推定位置を決定する。

【0050】

次のその決定方法について説明する。尚、計測誤差は上述した通りの方法で求めることができる。

【0051】

まず、異なる２台のインフラカメラ３ａ、３ｂにより計測した共通座標系１６上の計測対象物（この場合は作業者２ａ）の推定位置を抽出する。次に、２つの推定位置から相互のユークリッド距離を算出し、算出されたユークリッド距離が所定の距離閾値以下で、かつクラスが同一である場合には、計測対象物を同一対象（この場合は作業者２ａ）として判定する。

【0052】

そして、インフラカメラ３ａ、３ｂ毎に求めた、同一対象と判定した計測対象物（作業者２ａ）の推定位置の計測誤差（σ_１）を比較し、計測誤差（σ１）が小さいものを信頼度の高い推定位置として選択する。これらの処理を全てのインフラカメラ３ａ、３ｂの撮像画像の計測対象物（作業者２ａ）に対して実行することで、最終的に選択定された推定位置が、信頼度の高い推定位置として出力される。

【0053】

尚、本実施形態では、車両２ｂの自位置情報を常に「真」として取り扱い、これから計測誤差を推定して、作業者２ａの最終的な推定位置を選択することとしたが、車両２ｂの自位置情報の信頼度を推定し、信頼度が低い場合は、２つの推定位置から相互のユークリッド距離を算出し、算出されたユークリッド距離が所定の距離閾値以下で、かつクラスが同一である場合には、計測誤差の平均値を使用するようにしても良い。

【0054】

ここで、車両の自位置情報の信頼度を算出する方法としては、例えばＧＰＳセンサの位置情報を使用している場合は、撮像画像の解析や作業エリアマップに予め構造物の情報を埋め込むことにより、車両２が屋根の下や種々の構造物の付近を移動している場合は、ＧＰＳセンサの検出感度が低下するので信頼度を低く見積もるという方法がある。

【0055】

また、共通座標系１６におけるインフラカメラ３ａ、３ｂの位置を予め求めておき、インフラカメラ３ａ、３ｂに近い計測対象物の推定位置は、信頼度が高いと判定して、計測対象物に近いインフラカメラの推定位置を選定する方法を使用しても良い。

【0056】

また、車両２ｂの自位置情報から推定した計測誤差以外の情報も併用することで、最終的な推定位置を選択しても良い。例えば、日光などにより計測対象物の影が発生する状況において、画像解析部６の物体検出による検知枠３３ａ、３３ｂに影が含まれる場合、計測精度が低下する。そのため、撮影時間の情報や太陽とインフラカメラ３ａ、３ｂの位置関係等の情報を考慮し、計測誤差が少なく、且つ影の影響が少ないと予想されるインフラカメラ３ａ、３ｂの撮像画像の推定位置を選択する方法を使用しても良い。

【0057】

また、画像解析部６による共通座標系１６における計測対象物毎の推定位置から推定した計測対象物の間の密集度の情報、共通座標系１６における計測対象物の位置情報を時系列に解析することで、計測対象物の軌跡情報を取得して推定した計測対象物の遮蔽情報、撮像画像に対して画像処理アルゴリズムを適用して認識した計測対象物の姿勢の情報や行動の情報を考慮して最終的な位置情報を選定するなどの方法を使用しても良い。

【0058】

更には、本例以外にも、計測対象物の推定位置の精度に影響すると考えられ、且つ共通座標系１６における計測対象物毎の推定位置や撮像画像を解析することで取得可能な情報を活用しても良い。

【0059】

次に、図８を用いて作業エリア提示部９について説明する。図８において、作業エリアマップ１５には、全体を予め一定の大きさに分割した分割領域６０が形成されている。そして、マップ表示装置４により実際の作業エリア面には、作業者２ａに対する作業可能エリア６１が表示され、また、マップ表示装置４により実際の作業エリア面には、車両２ｂに対する作業可能エリア６２が表示される。これらの作業可能エリア６１，６２は、作業者２ａや車両２ｂの推定位置を基に決定されている。

【0060】

作業エリア提示部９では、位置情報選択決定部８から出力される推定位置の情報等を元に、作業エリア内の作業者２ａや車両２ｂといった計測対象物が混在する状況下において、作業者２ａや車両２ｂの作業可能エリアを表示するために、実際の作業エリア面に対して、作業可能エリアをマップ表示装置４により表示（プロジェクションマッピング）する。

【0061】

尚、作業者２ａが作業可能エリアを逸脱すると、警報を報知することができ、また、車両２ｂが作業可能エリアを逸脱すると、停止指示を送信することができる。次に具体的な処理について説明する。

【0062】

はじめに、作業エリア全体を「１ｍ×１ｍ」等の小さな分割領域６０に分割する。次に、計測対象物（作業者２ａ、車両２ｂ）の位置（１点）を含む分割領域６０を選定し、計測対象物（作業者２ａ、車両２ｂ）のクラス情報の大きさに応じて、選定した分割領域６０及びこれの周辺の分割領域６０を作業可能エリアの一部として判定する。

【0063】

そして、計測対象物（作業者２ａ、車両２ｂ）毎に過去に計測された推定位置との比較により、今後の計測対象物（作業者２ａ、車両２ｂ）の移動方向や速度情報を推定し、移動方向に応じて作業可能エリアを拡大する方向、速度情報に応じて作業エリアを拡大する分割領域６０の数を決定する。最後に予め共通座標系１６との校正を行ったマップ表示装置４により、決定した作業可能エリアを実際の作業エリア面に表示する。

【0064】

尚、作業可能エリアの決定方法としては、本例に限らず、計測対象物（作業者２ａ、車両２ｂ）の行動予測が可能なアルゴリズムであれば特に限定されない。また、本実施形態ではマップ表示装置４を使用しているが、マップ表示装置４に限定されるものではなく、作業エリア面に予め埋め込まれたディスプレイやライトなどの発光体を用いて作業可能エリアを表示しても良い。また、作業者２ａにディスプレイ装置を携帯させ、ディスプレイ装置に作業可能エリアを表示しても良い。

【0065】

更には、作業者２ａにヘッドマウントディスプレイ（いわゆるＶＲゴーグル）を装着させ、ディスプレイに仮想の作業可能エリアを表示しても良い。このような、周辺の環境に作業可能エリアを重畳表示させるような拡張現実の機能を有するヘッドマウントディスプレイを用いれば、作業エリア面に何も表示せずとも、作業エリア面に表示したものと同等の情報を同じような感覚で取得可能となる。これによって、作業者２ａに携帯型のディスプレイ装置に表示させるよりも作業効率の低下を抑制することが可能となる。

【0066】

図９は作業エリア内外判定部１０の機能ブロックを示している。作業エリア内外判定部１０は、夫々のインフラカメラ３ａ、３ｂの撮像画像を解析することで、撮像画像中からマップ表示装置４により提示された、作業可能エリアを認識する作業可能エリア認識部７０と、夫々のインフラカメラ３ａ、３ｂの撮像画像と予め保持した背景画像との差分により、計測対象物（作業者２ａ、車両２ｂ）が含まれる物体領域を抽出する物体領域抽出部７１と、物体領域が作業可能エリア内に存在するか否かを判定する物体領域判定部７２を備えている。以下、作業可能エリア認識部７０、物体領域抽出部７１、物体領域判定部７２について説明する。

【0067】

作業可能エリア認識部７０は、撮像画像から作業可能エリアの領域を認識する。認識方法としては、予めマップ表示装置４により提示される分割領域の色情報を元に撮像画像から抽出する方法や、作業エリア提示部９により決定した作業可能エリアの位置や大きさの情報を元に撮像画像上の作業可能エリアの位置を大まかに推定した後、色情報なども活用して抽出する方法等がある。

【0068】

物体領域抽出部７１では、インフラカメラ３ａ、３ｂにおいて予め撮像した背景画像を保持しておき、入力された新規の撮像画像との差分をとって２値化処理することにより、計測対象物（作業者２ａ、車両２ｂ）が存在する矩形状の物体領域を取得する。そして、画像解析部６により出力される、インフラカメラ３ａ、３ｂによる計測対象物の位置情報や検知枠３３ａ、３３ｂの矩形情報を元に、計測対象物（作業者２ａ、車両２ｂ）がどの物体領域に含まれるかを認識する。

【0069】

尚、物体領域を抽出する際、背景画像を取得する方法以外にも、フレーム間差分処理などを使用しても良く、撮像画像から計測対象物が含まれる領域を抽出可能な方法であれば、特に限定されない。

【0070】

物体判定部７２では、インフラカメラ３ａ、３ｂの撮像画像において抽出した物体領域の下端部分が、作業可能エリア領域内に含まれる場合は「１」、含まれない場合は「０」として算出する。そして、全ての撮像画像において「１」が算出された場合には、作業可能エリア内に物体領域が含まれると判定した後、その結果を位置情報選択決定部８にフィードバックする。位置情報選択決定部８ではフィードバッグされた判定結果を保持することで、次のフレーム以降において最終的に位置情報を決定する際に、この判定結果を利用する。

【0071】

例えば、ある計測対象物（作業者２ａ、車両２ｂ）に対して、同じインフラカメラによる推定位置が、連続して最終の推定位置と選定されている状況において、作業エリア内外判定部１０によって該当の計測対象物（作業者２ａ、車両２ｂ）が作業可能エリア内に存在しない状況であれば、該当のインフラカメラ３ａ、３ｂの次に計測誤差が少ないインフラカメラ３ａ，３ｂによる推定位置を最終の推定位置として使用する等の方法がある。

【0072】

また、物体判定部７２において、物体領域の下端部分が作業可能エリア領域内に含まれない場合に「０」を算出する際に、物体領域の下端部分が作業可能エリア領域からどの程度はみ出しているか等の情報を算出し、補正量として位置情報選択決定部８にフィードバッグしても良い。

【0073】

そして、この補正量をフィードバッグされた位置情報選択決定部８では、次のフレーム以降に、該当のインフラカメラ３ａ、３ｂによる推定位置を最終の推定位置として使用する際に、上述の補正量により補正した推定位置を出力する方法や、位置情報選択決定部８に入力される、夫々のインフラカメラ３ａ、３ｂの推定位置に対して、数フレームの間で上述の補正量を使って推定位置を補正した後、どの推定位置を最終の推定位置として使用するか選択する等の方法を使用しても良い。

【0074】

本実施形態の位置測定システムによれば、自位置検出部を備える自位置検出計測対象物、及び自位置検出部を備えない他の計測対象物を撮影する複数の撮像手段と、自位置検出部からの自位置情報に基づいて自位置検出計測対象物の自位置を求める自位置測定手段と、複数の撮像手段の撮像画像毎に自位置検出計測対象物と他の計測対象物の位置を推定する画像解析手段と、自位置測定手段で測定された自位置検出計測対象物の自位置と画像解析手段で求められた撮像画像毎の自位置検出計測対象物の推定位置とを比較し、この比較結果に応じて撮像画像毎の他の計測対象物の推定位置の１つを選択して決定する位置決定手段を備える構成とした。

【0075】

これによれば、自位置検出部を備えない計測対象物の位置を正確に求められるので、位置推定精度を向上させることができるようになる。

【0076】

更には、本実施形態では上述した説明から明らかなように、日光による影や構造物の遮蔽による影響、カメラパラメータや共通座標系との校正情報等の影響により、インフラカメラの計測精度が低下した場合でも、インフラカメラの撮像画像を選択することで、高精度な位置情報を効率的に選定することができる。また、位置情報決定部から出力された推定位置の計測誤差を、マップ表示装置の作業可能エリアの情報を用いて補正することも可能である。

【0077】

尚、本実施形態では、計測対象物の推定位置を求めるのにインフラカメラを利用した場合について説明したが、例えばＬｉＤＡＲを利用することもできる。

【実施例0078】

次に本発明の第２の実施形態について説明する。図１０は第２の実施形態の機能ブロックを示している。

【0079】

図１０に示す位置測定システム８０は、第１の実施形態を基礎にして、新たな補正機能を付加したもので、車両２ｂに搭載されたセンサ類、或いは作業可能エリアを表示するマップ表示装置４によって得られた情報を用いて、夫々のインフラカメラにおける推定位置の中から高精度な推定位置を選定すると共に、必要に応じて車両、インフラカメラ、マップ表示装置の間の校正情報を補正することを特徴としている。

【0080】

図１０において、車両情報取得部５、画像解析部６、計測誤差推定部７、位置情報選択決定部８、作業エリア提示部９、作業エリア内外判定部１０は第１の実施形態と同じ機能である。

【0081】

更に、本実施形態では新たに、校正精度判定部８１、構成実行部８２を追加している。校正精度判定部８１は、作業エリア内外判定部１０から出力される計測対象物が作業可能エリア内に存在するか否かの情報（上述の作業エリア内外判定部１０の「１」、「０」の情報）を一定時間格納し、車両２ｂ、インフラカメラ３ａ、３ｂ、マップ表示装置４の何れかの校正精度が十分か否かを判定する機能を備えている。また、校正実行部８２は校正精度判定部８１により校正精度が不十分と判断された場合に、再度校正を実行させる機能を備えている。以下、校正精度判定部８１、校正実行部８２について説明する。

【0082】

校正精度判定部８１による校正精度が十分か否かの判定方法としては、例えば車両２ｂの周囲に構造物などが無く、ＧＰＳセンサによる自位置情報の信頼度が高い状況下において、車両２ｂが常に作業可能エリア内に存在しない場合は、マップ表示装置４と共通座標系１６との校正情報の精度が不十分と判定することができる。

【0083】

また、同様に車両２ｂの自位置情報の信頼度が高い状況下において、車両２ｂが作業可能エリア内に存在すると判定されるにも関わらず、作業者２ａが常に作業可能エリア内に存在しない場合は、インフラカメラ３ａ、３ｂと共通座標系１６との校正情報の精度が不十分と判定することができる。

【0084】

更に、同様の方法を採用することで、車両２ｂに搭載した外界センサと共通座標系１６との校正情報の精度を判定することも可能となる。

【0085】

尚、校正精度判定部８１にて、校正精度を判定する際に、マップ表示装置４による作業エリア情報を使用せずに、車両２ｂの自位置情報の信頼度が高い状況下において、自位置とインフラカメラ３ａ，３ｂによる車両２ｂの推定位置との計測誤差が常に発生している場合は、インフラカメラ３ａ、３ｂと共通座標系１６との校正精度が不十分と判定する方法を採用しても良い。

【0086】

次に、校正実行部８２は、校正精度判定部８１により校正精度が不十分と判定された場合に、自動で校正情報の補正を実行する、或いはユーザに再校正するよう通知する。自動校正方法としては、自位置情報を取得可能な車両２ｂを、自位置情報の信頼度が低下しない範囲で作業エリア内を走行する状態を撮像し、位置測定システムの校正を実行することができる。

【0087】

例えば、インフラカメラ３ａ、３ｂと共通座標系１６との自動校正を実施する場合は、車両２ｂの自位置の情報と同時刻のインフラカメラ３ａ、３ｂによる推定位置の情報を格納し、共通座標系１６における位置情報の誤差が最小となるようなカメラパラメータを推定し、校正を実施するなどの方法がある。

【0088】

また、マップ表示装置４と共通座標系１６との自動校正を実施する場合は、車両２ｂの作業可能エリアの内外判定を実行する際に、車両２ｂの物体領域の下端位置が作業可能エリアの分割領域の中点に収まるようなマップ表示装置４の画角や歪のパラメータを推定し、校正を実施する方法がある。

【0089】

本実施形態では、車両に搭載されたセンサ類、或いは作業可能エリアを表示するマップ表示装置によって得られた情報を用いて、夫々のインフラカメラにおける推定位置の中から高精度な推定位置を選定すると共に、必要に応じて車両、インフラカメラ、マップ表示装置の間の校正情報を補正することができる。

【0090】

尚、本発明は上記したいくつかの実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、ある実施例の構成に他の実施例の構成を加えることも可能である。各実施例の構成について、他の構成の追加、削除、置換をすることも可能である。