特開 2024-170840 センサ情報統合装置及びセンサ情報統合方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024170840

(43)【公開日】2024-12-11

(54)【発明の名称】センサ情報統合装置及びセンサ情報統合方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241204BHJP

   G08G 1/09 20060101ALI20241204BHJP

【ＦＩ】

G08G1/16 D

G08G1/09 F

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023087576

(22)【出願日】2023-05-29

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】山田 弘幸

(72)【発明者】

【氏名】北村 毅

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC30

5H181FF03

5H181FF04

5H181FF05

5H181FF07

5H181FF13

5H181FF27

5H181LL15

(57)【要約】

【課題】検知対象の座標に由来する検知精度の低下の影響を防止し、複数のセンサの情報を統合して物標位置等を認識するセンサ情報統合装置を提供する。
【解決手段】本発明の複数の位置を検知するセンサの検知結果に基づいて移動体の位置を求めるセンサ情報統合装置１は、センサの検知結果に対応し検知結果毎の異なる信頼度を格納する信頼度マップ（８）を参照して、前記センサ毎に取得した検知結果の信頼度を推定する信頼度推定部１３と、センサで検知した移動体のそれぞれで、センサの検知結果と検知結果の信頼度とを統合して移動体の位置の統合結果を求めて移動体の位置とする統合予測部１２と、を備えるようにした。
【選択図】 図３

【特許請求の範囲】

【請求項1】

複数の位置を検知するセンサの検知結果に基づいて移動体の位置を求めるセンサ情報統合装置であって、
センサの検知結果に対応し検知結果毎の異なる信頼度を格納する信頼度マップを参照して、前記センサ毎に取得した検知結果の信頼度を推定する信頼度推定部と、
前記センサで検知した移動体のそれぞれで、前記センサの検知結果と前記検知結果の信頼度とを統合して前記移動体の位置の統合結果を求めて移動体の位置とする統合予測部と、
を備えるセンサ情報統合装置。

【請求項2】

請求項１に記載のセンサ情報統合装置において、
前記統合予測部は、複数の過去の移動体の位置の統合結果から検知結果を予測して推定／予測結果とし、
前記信頼度推定部は、前記推定／予測結果に対応する信頼度を推定する、
センサ情報統合装置。

【請求項3】

請求項１に記載のセンサ情報統合装置において、さらに、
一定数分の前記センサの検知結果と前記統合予測部の統合結果とから信頼度を計算して前記信頼度マップを更新する信頼度更新部
を備えるセンサ情報統合装置。

【請求項4】

請求項１に記載のセンサ情報統合装置において、
前記信頼度マップは、前記センサが検知する２次元座標位置又は３次元座標位置に対応した検知結果の信頼度として構成する、
センサ情報統合装置。

【請求項5】

請求項１に記載のセンサ情報統合装置において、
前記信頼度は、検知結果の誤差の平均又は誤差分散であり、
前記統合予測部は、前記信頼度を重みに変換して検知結果の重み付け平均を算出して移動体の位置の統合結果を得る、
センサ情報統合装置。

【請求項6】

複数の位置を検知するセンサの検知結果に基づいて移動体の位置を推定するセンサ情報統合装置のセンサ情報統合方法であって、
前記センサの検知結果を取得するステップと、
前記検知結果に基づき移動体を識別するステップと、
センサの検知結果に対応し検知結果毎の異なる信頼度を格納する信頼度マップを参照して、前記センサ毎に取得した検知結果に対応する信頼度を推定するステップと、
識別した移動体毎に、前記移動体に関する複数センサの検知結果と前記検知結果の信頼度とを統合して前記移動体の位置の統合結果を求めて移動体の位置とするステップと、
を含むセンサ情報統合方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、センサ情報統合装置及びセンサ情報統合方法に関する。

【背景技術】

【0002】

自律移動を行うモビリティ（自動運転車両・自動搬送車両）は周囲の状況を把握し、他車両や人などの移動体に衝突しないよう自身の移動を制御している。このモビリティ自身に備わるセンサのみで周囲の状況を把握する場合には、環境によってはモビリティが検知できない死角が多数発生することがある。このため、モビリティは、検知できない死角の領域から移動体が飛び出すことを考慮し、移動速度を落とすなどの制御を行う場合がある。

【0003】

この死角を低減する方法として、環境にセンサを設置し、このセンサの情報をモビリティに通知することでモビリティの視野を間接的に広げ、死角を減らす方法がある。この場合、複数のセンサの検知結果を統合する処理が必要になるが、一部のセンサの検知精度が低いと統合結果の精度に影響する可能性がある。

【0004】

このため、検知結果の統合時に、各センサの検知精度の信頼度を推定し、推定した信頼度を用いて統合処理を行う技術がある（特許文献１を参照）。詳しくは、特許文献１には、複数のセンサによる検知結果を統合して物標の位置を認識する物標認識装置において、一部のセンサの検知精度が低下しても物標位置を高精度に認識できるようにする物標認識装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１-１８９０３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

センサの検知精度に影響する要因の一つとして、センサからの距離や環境の地形など、検知対象の座標に由来するものがある。例えば単眼カメラで移動体の位置を検知したとすると、カメラから距離が離れるほど検知精度が悪化したり、坂道など地面が水平でない場所で検知精度が悪化したりする場合がある。このように、センサにより検知された移動体の位置情報は精度が低下し正しい座標を示さない場合がある。特許文献１の技術では、このようなセンサの検知精度の低下には対応できない。

【0007】

本発明の目的は、検知対象の座標に由来する検知精度の低下の影響を防止し、複数のセンサの情報を統合して物標位置等を認識するセンサ情報統合装置を提供することにある。

【課題を解決するための手段】

【0008】

前記課題を解決するため、本発明のセンサ情報統合装置は、複数の位置を検知するセンサの検知結果に基づいて移動体の位置を求めるセンサ情報統合装置であって、センサの検知結果に対応し検知結果毎の異なる信頼度を格納する信頼度マップを参照して、前記センサ毎に取得した検知結果の信頼度を推定する信頼度推定部と、前記センサで検知した移動体のそれぞれで、前記センサの検知結果と前記検知結果の信頼度とを統合して前記移動体の位置の統合結果を求めて移動体の位置とする統合予測部と、を備えるようにした。

【発明の効果】

【0009】

本発明によれば、複数のセンサの検知結果を統合し、高精度に移動体の位置を推定することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態のセンサ情報統合装置の使用環境の例を示した図である。

【図2】センサ情報統合装置及びセンサ装置の構成図である。

【図3】センサ情報統合装置及びセンサ装置の機能を説明する機能ブロック図である。

【図4】図１のセンサ情報統合装置の使用環境における信頼度マップを説明する図である。

【図5】センサ情報統合装置の動作を説明するフロー図である。

【発明を実施するための形態】

【0011】

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更及び修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

【0012】

図１は、実施形態のセンサ情報統合装置１の使用環境の例を示した図である。センサ情報統合装置１の使用環境には、センサ装置２が複数設置され、各センサ装置２は人や車両などの移動体、建物、設置物を検出する。

【0013】

詳しくは、センサ装置２ａ、２ｂは、路側に備わる固定式の撮像装置であり、交差点を通過する車両や歩行者の有無や位置を検出するように、交差点の対角に設置されている。また、交差点の紙面の左下の道路は、交差点の高度が高い坂道になっている。このため、センサ装置２ａで検出した画像は、他の平地（水平な場所）のセンサ装置２ｂの画像と異なる。図１は市街地のような場所を示しているが、工場や物流施設や遊園地など、場所は限定されない。

【0014】

センサ情報統合装置１は、センサ装置２ａ、２ｂが撮像画像から検出した移動体、建物、設置物の位置情報を取得し、それらを統合した情報をモビリティ１０に通知する。モビリティ１０は、自車の車載センサの情報とセンサ情報統合装置１から通知された位置情報に基づいて自動運転制御を行う。

【0015】

センサ情報統合装置１は、センサ装置２ａ、２ｂが監視する交差点を通過又は近接している他のモビリティ１０の車載センサの情報を取得し、センサ装置２ａ、２ｂの情報と統合して、統合した情報をモビリティ１０に通知してもよい。

【0016】

図２は、センサ情報統合装置１及びセンサ装置２の構成図である。

【0017】

センサ装置２は、カメラやレーザセンサなどの撮像又は位置を測定するセンサ３と、センサ３の測定データを処理して移動体の位置情報として検出するコントローラ４、及びセンサ情報統合装置１に検出した位置情報を通知する通信ＩＦ（５）を有する。複数のセンサ装置２は、それぞれ、センサ３とコントローラ４と通信ＩＦ（５）とを有して構成するが、それぞれが、所定周期でセンサ情報統合装置１に位置情報を通知する。

【0018】

センサ情報統合装置１は、各センサ装置２と通信する通信部６、複数のセンサ装置２から得られる検知結果を統合する処理を実行する統合処理部７、信頼度マップを保持する信頼度マップＤＢ（８）を有している。

【0019】

通信部６は、有線通信又は無線通信により、センサ装置２とセンサ情報統合装置１との間の通信を行う。有線通信であれば低遅延でのデータ伝送が可能となり、無線通信であればセンサ装置２を設置する際の自由度が増す。
また、通信部６は、統合処理部７で統合したセンサ装置２の情報をモビリティ１０に通知するとともに、場合よってはモビリティ１０の車載センサの情報を取得する。

【0020】

具体的には、センサ情報統合装置１は、プロセッサと記憶部と通信Ｉ／Ｆと入出力部を備えたコンピュータ（情報処理装置）により実現する。この場合、統合処理部７は、記憶部のプログラムをプロセッサが実行することにより実現し、信頼度マップＤＢ（８）は、記憶部に構成する。また、センサ情報統合装置１は、クラウドサーバに構成してもよい。

【0021】

図３は、センサ情報統合装置１及びセンサ装置２の機能を説明する機能ブロック図である。
詳しくは、センサデータ取得部２１と移動体検知部２２とセンサ情報取得部２３は、センサ装置２のコントローラ４（図２参照）を構成し、移動体識別部１１と統合予測部１２と信頼度推定部１３と信頼度更新部１５は、センサ情報統合装置１の統合処理部７（図２参照）を構成する。

【0022】

センサ装置２では、センサデータ取得部２１がセンサ３（図２参照）からセンサの測定データを取得し、移動体検知部２２がセンサデータ取得部２１で取得したセンサ３の測定データから移動体の位置を検出する。また、センサ情報取得部２３は、少なくともセンサ３の識別子を含むセンサ情報を取得する。これら移動体検知部２２の検知結果である移動体の位置情報とセンサ情報取得部２３の取得したセンサ情報は、通信ＩＦ（５）を介してセンサ情報統合装置１の通信部６に通知される。

【0023】

センサ情報統合装置１では、まず、移動体識別部１１は、センサ装置２から通知された検知結果（移動体の位置情報）が環境内のどの移動体の検知結果かを識別する。この際に、移動体識別部１１は、統合予測部１２により位置が推定された移動体が存在する場合、その位置関係によって検知結果を推定済み移動体の識別子（一意に設定された番号など）に割り当てる。また、どの移動体にも割り当てが適切でないと判断した場合には、新規に移動体の識別子を生成し、これに検知結果を割り当てる。統合予測部１２による推定済み移動体が存在しない場合にも、新規に移動体の識別子を生成し、これに検知結果を割り当てる。

【0024】

統合予測部１２は、移動体識別部１１によって割り当てられた移動体の識別子、センサ装置２の検知結果（移動体の位置情報）、及び、詳細を後述する信頼度推定部１３から得られる信頼度を用いて、複数のセンサ装置２で検出した同一の移動体の検知結果を統合し、移動体の位置の統合結果を得る。さらに、統合予測部１２は、過去の移動体の位置の統合結果やそれに関する情報を統合処理部７内の記憶領域に保持しておき、過去から現在までの統合結果を用いて将来のある時刻における移動体の検知結果を予測し、推定／予測結果として信頼度推定部１３に通知する。

【0025】

詳しくは、統合予測部１２は、複数のセンサ装置２で検出した同一の移動体の検知結果を、後述するセンサ装置２の検知結果の信頼度を重みに変換して重み付き平均を算出し、移動体の位置の推定や予測を行う。また、統合予測部１２は、カルマンフィルタやパーティクルフィルタを用い、信頼度を観測値の誤差分散として観測尤度の計算に与える方法により、信頼度を反映させた複数検知結果の統合を行ってもよい。特に、将来の移動体の状態の予測には、カルマンフィルタやパーティクルフィルタを用いてプロセスモデルに従う遷移を行うことで得る方法が有効である。

【0026】

つぎに、図４により、信頼度マップＤＢ（８）の信頼度マップについて説明する。信頼度マップは、センサ装置２毎に、センサ情報に対応して信頼度マップＤＢ（８）に格納されている。
図４は、図１のセンサ情報統合装置１の使用環境における、センサ装置２ａの信頼度マップを説明する図である。

【0027】

ここで、信頼度は、センサ装置２ａが検出した移動体の位置情報の確からしさを示す値であり、センサ装置２ａの検知結果の誤差の平均や、ばらつき（分散）を用いる。信頼度マップは、センサ装置２ａの撮像又は測定エリア９ａを所定サイズのグリッドに区切り、グリッド毎の信頼度を保持するように構成する。このため、信頼度マップは、図４に示すように、信頼度の等高線図にように示される。

【0028】

図４の信頼度マップは、センサ装置２ａの設置位置２ａｐに対して、距離が大きいほど信頼度が低く（設置位置２ａｐから離れるほど信頼度が低く）、さらに地形が水平でない領域９ｂ（坂道部分）では信頼度が低くなるように信頼度が設定されている。このように、信頼度マップは、センサ装置２が検知する範囲の２次元座標位置に対応した信頼度として構成され、現実空間の平面位置に応じて信頼度が異なることと一致している。信頼度マップは、センサ装置２が検知する２次元座標位置に限らず、３次元座標位置に対応した信頼度として構成してもよい。

【0029】

センサ装置２ａが設置された場所によっては、センサ装置２ａの検出結果に、日差しの変化等の環境の影響による誤差やバラツキが生じる場合がある。このため、センサ装置２ａの信頼度マップを、日時、天候毎に設けるようにしてもよい。これにより、信頼度の精度を向上することができる。

【0030】

図３に戻り、信頼度推定部１３は、信頼度マップにおいて、検知結果に対応するグリッド、又は、統合予測部１２から得られる移動体の推定／予測結果（位置）に対応するグリッドを特定し、そのグリッドに対応する信頼度を抽出して、検知結果の信頼度を推定する。

【0031】

詳しくは、信頼度推定部１３は、信頼度マップＤＢ（８）に格納されている信頼度マップのうち、センサ情報取得部２３から得られたセンサ装置２のセンサ情報に対応する信頼度マップを取得する。取得した信頼度マップから、移動体識別部１１で識別した移動体に関する検知結果又は推定／予測結果（位置）の信頼度を抽出し、識別した移動体に関するセンサ装置２ａの検知結果の信頼度とする。

【0032】

信頼度更新部１５は、センサ装置２の検知結果と統合予測部１２の位置の統合結果とのセットを一時記憶しておき、一定数分の検知結果と統合結果から信頼度を計算し、信頼度マップＤＢ（８）の信頼度マップの値を更新する。

【0033】

信頼度更新部１５は、信頼度マップ上のあるグリッドに対応する位置の統合結果と検知結果の差の平均（平均誤差）を信頼度とし、該当グリッドの値を更新する方法や、検知結果のばらつき（分散）を信頼度とし、該当グリッドの値を更新する方法を、信頼度の計算方法とする。信頼度更新部１５は、信頼度マップＤＢ（８）の信頼度マップを逐次更新し、現場の実際の検知精度が反映されるようにする。

【0034】

信頼度マップＤＢ（８）の信頼度マップの初期値は、現地における処理に適用する前の一定数のセンサ装置２の検知結果に基づいて求めてもよいし、類似する環境の信頼度マップを複写してもよい。

【0035】

つぎに、図５のフロー図により、センサ情報統合装置１の動作を説明する。
ステップＳ４１で、センサ情報統合装置１は、センサ装置２のセンサ３の検知結果とセンサ装置２の設置位置や種別を特定する識別情報等のセンサ情報を読込む。
ステップＳ４２で、センサ情報統合装置１の移動体識別部１１は、センサ装置２の検知結果について対応する移動体を識別する。

【0036】

ステップＳ４３で、センサ情報統合装置１の信頼度推定部１３は、信頼度マップＤＢ（８）を参照して、ステップＳ４１で読込んだ検知結果の信頼度を推定する。この際、信頼度推定部１３は、記憶部に一時保持された、後述するステップＳ４５で統合して得られる移動体の位置の統合結果、又は、ステップＳ４６で得られる移動体の位置の予測結果の前回の処理時の値をも参照して信頼度を推定する。

【0037】

センサ情報統合装置１の計算処理が十分短い周期で実行され、センサ装置２から得られる検知結果の更新周期も十分短ければ、信頼度推定部１３の前回の推定状態と現時刻での移動体の真の状態の誤差は小さいと考えられるので、ステップＳ４５で統合して得られた統合結果を用いる。

【0038】

しかし、センサ情報統合装置１の処理周期が長かったり、センサ装置２から得られる検知結果の読込みに遅延が発生するなどして、ある移動体に対する最も新しい検知結果が、現在時点の移動体の位置と大きく異なる場合などでは、ステップＳ４６で得られる移動体の位置の予測結果の中から現在時点に最も近い予測結果を選択し用いることが望ましい。

【0039】

ステップＳ４４で、センサ情報統合装置１は、使用環境における全てのセンサ装置２の処理の一周期分の検知結果とセンサ情報を読込み済であるか否かを判定する。言い換えれば、センサ情報統合装置１は、読込むべき他のセンサ装置２の検知結果の有無を判定し、有る場合には（Ｓ４４のＹｅｓ）、ステップＳ４１に戻り、無い場合には（Ｓ４４のＮｏ）、ステップＳ４５に進む。つまり、複数のセンサ装置２の検知結果の読込みと信頼度推定を行う。

【0040】

ステップＳ４５で、統合予測部１２は、ステップＳ４１で読込んだセンサ情報で特定される複数のセンサ装置２の検知結果に基づいてステップＳ４２で識別された移動体のそれぞれについて、複数のセンサ装置２の検知結果とステップＳ４３で推定した信頼度とにより重み付き平均を算出して統合し、移動体の位置の統合結果を得る。

【0041】

ステップＳ４６で、さらに、統合予測部１２は、複数の統合した移動体の時系列の位置に基づいて、移動体の未来の状態（位置）を予測し、位置の予測結果とする。予測は、現在時点から複数処理周期先の複数の未来の状態を予測しておくことが望ましい。これは、センサ装置２から得られる検知結果の取得タイミングが、センサ情報統合装置１の処理周期と同期していなかったり、無線通信などによる通信遅延が発生したりする場合に対応するためである。

【0042】

ステップＳ４７で、信頼度更新部１５は、信頼度の更新を行うかどうかを判定し、更新を行う場合に、信頼度マップ上のあるグリッドに対応する統合結果又は検知結果に基づいて信頼度を計算し、信頼度マップＤＢ（８）の信頼度マップの該当項目の値を更新する。

【0043】

信頼度更新部１５は、更新を行うかどうかの条件としては、信頼度マップのあるグリッドに対応する統合結果と検知結果のデータを保持しておき、その数が閾値以上になったら更新を行うようにする。

【0044】

センサ情報統合装置１は、ステップＳ４５の統合処理により、移動体の位置を推定できるが、ステップＳ４６の予測処理とステップＳ４７の信頼度更新処理を行い、これらの処理結果を用いてステップＳ４３の信頼度推定を行い、推定した信頼度を用いてステップＳ４５の統合処理を行うことで、一部のセンサ装置２の低精度な検知結果による推定精度の悪化を防止することができる。

【0045】

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。本発明は、工場や倉庫（物流施設）や遊園地など、あらゆる場所の移動体に適用することができる。

【符号の説明】

【0046】

１ センサ情報統合装置
２、２ａ、２ｂ センサ装置
８ 信頼度マップＤＢ
１１ 移動体識別部
１２ 統合予測部
１３ 信頼度推定部
１５ 信頼度更新部
２１ センサデータ取得部
２２ 移動体検知部
２３ センサ情報取得部

【図1】

【図2】

【図3】

【図4】

【図5】