特開 2024-20812 移動経路予測システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020812

(43)【公開日】2024-02-15

(54)【発明の名称】移動経路予測システム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20240207BHJP

   G06T 7/73 20170101ALI20240207BHJP

【ＦＩ】

G06T7/246

G06T7/73

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2022123278

(22)【出願日】2022-08-02

(71)【出願人】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】生富 直孝

(72)【発明者】

【氏名】米山 一幸

(72)【発明者】

【氏名】氷室 福

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096CA04

5L096DA01

5L096DA02

5L096DA03

5L096FA02

5L096FA26

5L096FA69

5L096HA05

5L096JA11

(57)【要約】

【課題】移動経路の予測に汎用的に適用することができる移動経路予測システムを提供する。
【解決手段】前記領域内の画像を取得する画像取得手段１２と、取得した前記画像内に含まれる前記移動体を検出する移動体検出手段１４と、前記画像内における前記移動体の位置座標を、前記領域内を表す２次元地図上の位置座標に投影変換して、前記移動体を前記２次元地図上に位置付けた平面地図を生成する地図生成手段１６と、時系列的に連続した前記画像である連続画像群における前記移動体の特徴量に基づいて、前記平面地図上の前記移動体を追跡し、前記移動体の進行方向を予測する進行方向予測手段１８とを備えるようにする。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の領域内に所在する移動体の移動経路を予測する移動経路予測システムであって、
前記領域内の画像を取得する画像取得手段と、取得した前記画像内に含まれる前記移動体を検出する移動体検出手段と、前記画像内における前記移動体の位置座標を、前記領域内を表す２次元地図上の位置座標に投影変換して、前記移動体を前記２次元地図上に位置付けた平面地図を生成する地図生成手段と、時系列的に連続した前記画像である連続画像群における前記移動体の特徴量に基づいて、前記平面地図上の前記移動体を追跡し、前記移動体の進行方向を予測する進行方向予測手段とを備えることを特徴とする移動経路予測システム。

【請求項2】

予測結果に基づいて、危険を報知する報知手段をさらに備えることを特徴とする請求項１に記載の移動経路予測システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動経路予測システムに関するものである。

【背景技術】

【0002】

従来、工場や空港などの領域内を移動する移動体（人や車両など）の経路を予測する移動経路予測システムが知られている（例えば、特許文献１を参照）。この特許文献１の移動経路予測システムでは、領域内の出発地から目的地までの経路を移動する移動体に対して適用される。

【0003】

一方、セキュリティ意識の高まりから監視カメラを設置する街頭・施設、道路のレーンマーカ検知・速度表示などの道路標識の認識・歩行者検知のためのドライブレコーダーを搭載する車両等が増えている。カメラで撮影した画像から位置を推定する技術として、例えば特許文献２に記載のものが知られている。この特許文献２では、単眼カメラで撮影した１枚の画像から、画像認識技術等を介して対象物とその高さを認識することで、画像処理技術との組み合わせによりその物体の位置を算出することを可能にしており、画像内で重なり合う対象物を個別に検出し、平面座標上の位置を推定できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１２３１２８号公報

【特許文献2】特開２０２０－１７３６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記の特許文献１の移動経路予測システムでは、出発地と目的地があらかじめ明らかになっている必要があり、出発地と目的地が明らかでない移動体には適用できない。また、上記の特許文献２の位置推定技術では、位置を推定した対象物がその後どのように動くのかを把握することはできない。このため、事前に行動を予測した危険予知などに応用するのには限界があった。

【0006】

本発明は、上記に鑑みてなされたものであって、移動経路の予測に汎用的に適用することができる移動経路予測システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記した課題を解決し、目的を達成するために、本発明に係る移動経路予測システムは、所定の領域内に所在する移動体の移動経路を予測する移動経路予測システムであって、前記領域内の画像を取得する画像取得手段と、取得した前記画像内に含まれる前記移動体を検出する移動体検出手段と、前記画像内における前記移動体の位置座標を、前記領域内を表す２次元地図上の位置座標に投影変換して、前記移動体を前記２次元地図上に位置付けた平面地図を生成する地図生成手段と、時系列的に連続した前記画像である連続画像群における前記移動体の特徴量に基づいて、前記平面地図上の前記移動体を追跡し、前記移動体の進行方向を予測する進行方向予測手段とを備えることを特徴とする。

【0008】

また、本発明に係る他の移動経路予測システムは、上述した発明において、予測結果に基づいて、危険を報知する報知手段をさらに備えることを特徴とする。

【発明の効果】

【0009】

本発明に係る移動経路予測システムによれば、所定の領域内に所在する移動体の移動経路を予測する移動経路予測システムであって、前記領域内の画像を取得する画像取得手段と、取得した前記画像内に含まれる前記移動体を検出する移動体検出手段と、前記画像内における前記移動体の位置座標を、前記領域内を表す２次元地図上の位置座標に投影変換して、前記移動体を前記２次元地図上に位置付けた平面地図を生成する地図生成手段と、時系列的に連続した前記画像である連続画像群における前記移動体の特徴量に基づいて、前記平面地図上の前記移動体を追跡し、前記移動体の進行方向を予測する進行方向予測手段とを備えるので、移動経路の予測に汎用的に適用することができるという効果を奏する。

【0010】

また、本発明に係る他の移動経路予測システムによれば、予測結果に基づいて、危険を報知する報知手段をさらに備えるので、移動体の接触リスクの低減に貢献することができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明に係る移動経路予測システムの実施の形態を示す概略構成図である。

【図2】図２は、本実施の形態の物体検出、投影変換の説明図である。

【図3】図３は、本実施の形態の動線予測の説明図である。

【図4】図４は、本実施の形態の危険報知の説明図である。

【発明を実施するための形態】

【0012】

以下に、本発明に係る移動経路予測システムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

【0013】

図１に示すように、本発明の実施の形態に係る移動経路予測システム１０は、画像取得手段１２と、移動体検出手段１４と、地図生成手段１６と、進行方向予測手段１８とを備える。本システム１０は、図２に示すように、物体検出と座標変換を用いてカメラ画像Ｇ内の対象物（移動体Ｐ）の座標を現実空間Ａ（領域）に対応する平面地図Ｍに投影し、動画像の各フレーム間の特徴量を継承させることで、平面地図Ｍ上で対象物（移動体Ｐ）の動線（移動経路）の予測を可能にするシステムである。

【0014】

対象とする現実空間Ａの領域は、例えば複数の人や車両が行き交う工事現場などを想定しているが、本発明はこれに限るものではない。また、移動体Ｐである対象物は、人を想定しているが、本発明はこれに限るものではなく、車両、ロボットなどの移動体であってもよい。また、人、車両、ロボットなどの異なる種類の移動体が領域内に複数混在してもよい。車両やロボットは自動運転型や自律走行型でもよい。

【0015】

画像取得手段１２は、現実空間Ａ内を撮影して画像Ｇを取得するものであり、例えば現実空間Ａ内建物Ｂの上側などに設置され、現実空間Ａを斜め上方または側方から撮影する監視カメラなどで構成することができる。この画像取得手段１２は、所定の時間間隔（例えば、１～６０フレーム／秒の時間間隔）で現実空間Ａ内の画像Ｇを撮影する。これにより、時系列的に連続した画像Ｇである連続画像群（動画像）が得られる。撮影した画像Ｇは図示しない記録装置に記録される。

【0016】

移動体検出手段１４は、取得した画像Ｇ内に含まれる移動体Ｐを検出するものである。画像Ｇ内に含まれる移動体Ｐを検出する方法としては、例えばYOLOのような人物・車両を高精度で検出できる物体検出アルゴリズムなど周知の画像認識技術を適用することができる。なお、YOLOを適用すれば、各フレームの画像Ｇから移動体Ｐとして認識された領域が矩形のバウンディングボックスで検出される。移動体検出手段１４は、検出された移動体Ｐの領域の画像の特徴量（例えば特徴ベクトル）を計算する。そして、移動体Ｐの画像上の位置と特徴量から、周知のオブジェクトトラッキング手法を用いて各フレームで同じ移動体Ｐと推定される領域に同じ識別子を付与する。これにより、各フレームで識別子付きの移動体Ｐを検出することができる。なお、移動体Ｐの画像上の位置と特徴量、識別子などの情報は、図示しない記録装置に記録される。

【0017】

地図生成手段１６は、画像Ｇ内における移動体Ｐの位置座標を、現実空間Ａ内を表す２次元地図上の位置座標に投影変換して、移動体Ｐを２次元地図上に位置付けた平面地図Ｍを生成するものである。具体的には、移動体検出手段１４により検出された移動体Ｐの画像座標系における位置座標を移動体Ｐの位置とみなして、事前に準備した２次元地図上の位置座標に投影変換する。そして、２次元地図上の対応する位置に移動体Ｐを投影した平面地図Ｍを生成する。画像座標系における位置座標は、例えば、バウンディングボックスの下辺の中点の座標を用いてもよい。この場合、各フレームで得られる識別子付きの移動体Ｐを投影変換し、２次元地図上に移動体Ｐをマッピングした平面地図Ｍを生成してもよい。なお、生成した平面地図Ｍなどの情報は、図示しない記録装置に記録されるとともに、図示しないディスプレイなどの出力装置に出力可能である。

【0018】

進行方向予測手段１８は、連続画像群（動画像）における移動体Ｐの特徴量に基づいて、平面地図Ｍ上の移動体Ｐの動きを追跡し、移動体Ｐの進行方向を予測するものである。例えば、図３に示すように、現実空間Ａに対する画像Ｇおよび平面地図Ｍが、各時刻（ｔ＝０（ｓ）、ｔ＝１（ｓ）、・・・、ｔ＝ｎ（ｓ））においてフレームとして得られたものとする。各フレームで移動体検出手段１４により検出された移動体Ｐの特徴量は、識別子を介して画像間で継承される。

【0019】

進行方向予測手段１８は、図示しない記録装置から、平面地図Ｍの各フレームにおける同一識別子の移動体Ｐの位置座標を随時読み込み、その位置座標から平面地図Ｍ上の移動体Ｐの動き（移動経路Ｒ）を追跡する。また、追跡した動線（例えば、動線の向き、角度など）に応じて、所定時間後の移動体Ｐの進行方向および動線を予測する。追跡した動線や予測した進行方向などの情報は、平面地図上に描画する。なお、これらの情報は、図示しない記録装置に記録されるとともに、図示しないディスプレイなどの出力装置に出力可能である。図４に出力例を示す。図の例では、人物を示す移動体ＰがそれぞれＰ０から移動経路Ｒに沿って移動した例を示している。また、一部の移動体Ｐについて予測した進行方向および動線Ｓを示している。

【0020】

本実施の形態によれば、カメラ画像Ｇ内の移動体Ｐの位置座標を取得することで、移動体Ｐの動線の追跡と、進行方向および動線の予測が可能になる。また、移動経路の予測に汎用的に適用することができる。

【0021】

なお、上記の実施の形態において、予測結果に基づいて、危険を報知する報知手段をさらに備えてもよい。予測結果を用いて、敷地内を走行する人や車両、ロボットに対して死角などから接近する別の移動体があることを事前に報知することにより、接触などによる事故発生リスクを大きく低減することができる。例えば、図４に示すように、移動体Ｐについて予測した進行方向および動線Ｓが、車両のような別の移動体Ｐ１の進行方向（動線Ｓ１）に重なる場合には、歩行者側にはスピーカ２０（報知手段）から音声で、車両には無線通信装置（報知手段）からの直接通信により接触リスクを伝達する。このようにすれば、移動体の接触リスクの低減に貢献することができる。

【0022】

以上説明したように、本発明に係る移動経路予測システムによれば、所定の領域内に所在する移動体の移動経路を予測する移動経路予測システムであって、前記領域内の画像を取得する画像取得手段と、取得した前記画像内に含まれる前記移動体を検出する移動体検出手段と、前記画像内における前記移動体の位置座標を、前記領域内を表す２次元地図上の位置座標に投影変換して、前記移動体を前記２次元地図上に位置付けた平面地図を生成する地図生成手段と、時系列的に連続した前記画像である連続画像群における前記移動体の特徴量に基づいて、前記平面地図上の前記移動体を追跡し、前記移動体の進行方向を予測する進行方向予測手段とを備えるので、移動経路の予測に汎用的に適用することができる。

【0023】

また、本発明に係る他の移動経路予測システムによれば、予測結果に基づいて、危険を報知する報知手段をさらに備えるので、移動体の接触リスクの低減に貢献することができる。

【産業上の利用可能性】

【0024】

以上のように、本発明に係る移動経路予測システムは、移動体の移動経路を予測するのに有用であり、特に、移動経路の予測に汎用的に適用するのに適している。

【符号の説明】

【0025】

１０ 移動経路予測システム
１２ 画像取得手段
１４ 移動体検出手段
１６ 地図生成手段
１８ 進行方向予測手段
Ａ 現実空間（領域）
Ｇ 画像
Ｍ 平面地図
Ｐ 移動体
Ｒ 移動経路

【図1】

【図2】

【図3】

【図4】