(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-06
(45)【発行日】2023-12-14
(54)【発明の名称】写真画像を用いた移動体軌跡生成装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20231207BHJP
【FI】
G06T1/00 330B
(21)【出願番号】P 2019208643
(22)【出願日】2019-11-19
【審査請求日】2022-10-28
(73)【特許権者】
【識別番号】591074161
【氏名又は名称】アジア航測株式会社
(74)【代理人】
【識別番号】100097559
【氏名又は名称】水野 浩司
(74)【代理人】
【識別番号】100123674
【氏名又は名称】松下 亮
(74)【代理人】
【識別番号】100173680
【氏名又は名称】納口 慶太
(72)【発明者】
【氏名】野中 秀樹
(72)【発明者】
【氏名】新名 恭仁
(72)【発明者】
【氏名】中澤 明寛
(72)【発明者】
【氏名】尾崎 朋子
(72)【発明者】
【氏名】森 一夫
【審査官】村松 貴士
(56)【参考文献】
【文献】特開2017-208813(JP,A)
【文献】特開2006-023958(JP,A)
【文献】特表2018-536236(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
飛行体が所定の速度で移動しながら所定の露光タイミングでR、G、Bラインセンサで取得したライン毎撮影画像に基づいて前記撮影エリアの移動体軌跡を生成する写真画像を用いた移動体軌跡生成装置であって、
所定期間にわたる、前記R、G、Bラインセンサ毎の色成分毎撮影画像を記憶した色成分毎画像用記憶部と、パンシャープン画像用記憶部と、RGB強調画像用記憶部と、カラー合成画像用記憶部と、パンクロマチック画像用記憶部と、移動体軌跡画像用記憶部とを備え、さらに、
前記露
光タイミング毎のR、G、Bラインセンサ毎の色成分毎撮影画像同士を重ね合わせた露光毎カラー合成画像を生成し、これを前記カラー合成画像用記憶部に記憶する手段と、
前記露光タイミング毎のR、G、Bラインセンサ毎のライン毎撮影画像の内で、R成分、G成分又はB成分のライン画像と同一波長成分の画像を抽出し、この抽出画像と、該抽出画像と同一波長成分のR成分、G成分又はB成分のライン画像と重ね合成して露光毎パンクロマチック画像を生成し、これを前記パンクロマチック画像用記憶部に記憶する手段と、
前記露光毎カラー合成画像と前記露光毎パンクロマチック画像とを重ね合成した露光毎パンシャープン画像を生成し、これを前記パンシャープン画像用記憶部に記憶する手段と、
この露光毎パンシャープン画像毎に、この画像の内で、R、G、Bが連続する塊のメッシュ群
を移動体とし、このメッシュ群を構成するR色のメッシュ、G色のメッシュ、B
色のメッシュの各々の色値を予め設定されている最大値にした画像をRGB強調画像として前記RGB強調画像用記憶部に記憶する手段と、
前記RGB強調画像同士を重ね合わせて、得れた白値の連続軌跡を前記移動体軌
跡として前記移動体軌跡画像用記憶部に記憶する手段と
を有することを特徴とする写真画像を用いた移動体軌跡生成装置。
【請求項2】
道路ネットワークを記憶した道路ネットワークデータベースを備え、前記道路ネットワークと前記移動体軌跡との比較で道路の増減を検出する道路変化検出部を有することを特徴とする請求項
1記載の移動体軌跡生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、写真画像を用いた移動体軌跡生成装置に関する。
【背景技術】
【0002】
一般に、道路の車線(道路の中心線)は、ノードとリンク等よりなる道路ネットワークで構成されている。
また、道路は新たに構築されたり、或いは車線が増減されたりする。このため、道路ネットワークは定期的に見直しが必要である。一方、近年は、人工衛星によって撮影した衛星画像が提供されている。
【0003】
例えば、特許文献1は、露光時点の衛星画像のR成分画像と、G成分画像と、B成分画像と合成したカラー合成画像を生成し、このカラー画像にモノクロ画像を重ねたパンシャープン画像を生成して、道路上を移動する車両の移動量を色表示している。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1は車両毎の移動量は分かるが、移動体の移動軌跡を知ることができない。例えば、道路の増減、新築、車線の増減等を検出することができない。
また、移動体軌跡が検出できないので、例えば、道路の増減に伴う道路ネットワークを構築することができない。
【0006】
また、道路の増減、車線の増減によって、今後生じる変化を検出してはいない。
本発明は、以上の課題を解決するためになされたもので、飛行体が取得した写真画像を用いて移動体の新たな移動軌跡又は変更があった移動軌跡等を検出できる移動体軌跡生成装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る移動体軌跡生成装置は、飛行体が所定の速度で移動しながら所定の露光タイミングでR、G、Bラインセンサで取得したライン毎撮影画像に基づいて前記撮影エリアの移動体軌跡を生成する写真画像を用いた移動体軌跡生成装置であって、
所定期間にわたる、前記R、G、Bラインセンサ毎の色成分毎撮影画像を記憶した色成分毎画像用記憶部と、パンシャープン画像用記憶部と、RGB強調画像用記憶部と、カラー合成画像用記憶部と、パンクロマチック画像用記憶部と、移動体軌跡画像用記憶部とを備え、さらに、
前記露光タイミング毎のR、G、Bラインセンサ毎の色成分毎撮影画像同士を重ね合わせた露光毎カラー合成画像を生成し、これを前記カラー合成画像用記憶部に記憶する手段と、
前記露光タイミング毎のR、G、Bラインセンサ毎のライン毎撮影画像の内で、R成分、G成分又はB成分のライン画像と同一波長成分の画像を抽出し、この抽出画像と、該抽出画像と同一波長成分のR成分、G成分又はB成分のライン画像と重ね合成して露光毎パンクロマチック画像を生成し、これを前記パンクロマチック画像用記憶部に記憶する手段と、
前記露光毎カラー合成画像と前記露光毎パンクロマチック画像とを重ね合成した露光毎パンシャープン画像を生成し、これを前記パンシャープン画像用記憶部に記憶する手段と、
この露光毎パンシャープン画像毎に、この画像の内で、R、G、Bが連続する塊のメッシュ群を移動体とし、このメッシュ群を構成するR色のメッシュ、G色のメッシュ、B色のメッシュの各々の色値を予め設定されている最大値にした画像をRGB強調画像として前記RGB強調画像用記憶部に記憶する手段と、
前記RGB強調画像同士を重ね合わせて、得れた白値の連続軌跡を前記移動体軌跡として前記移動体軌跡画像用記憶部に記憶する手段とを備えたことを要旨とする。
【発明の効果】
【0008】
以上のように本発明によれば、移動体の移動軌跡が略移動体幅の連続した帯状軌跡を得ることができる。
従って、この連続した帯状軌跡と移動体の移動軌跡ネットワーク(道路ネットワーク)とを比較することで、新たな移動軌跡又は変更があった移動軌跡等を検出できる。
さらに、連続した帯状軌跡に基づいてノード、リンク等よりなる移動軌跡ネットワーク(道路ネットワーク)を容易に生成できることになる。
さらに、AIを組み込めば、移動体の移動軌跡が略移動体幅の連続した帯状軌跡、移動軌跡ネットワーク(道路ネットワーク)、周囲の情報に基づいて、今後予測される移動体への影響等を予測できる。
【図面の簡単な説明】
【0009】
【
図1】本実施の形態1の写真画像を用いた道路変化検出システムの概略構成図である。
【
図2】本実施の形態1による得られた道路上車両速度軌跡Lai付の車両移動軌跡検出画像CDiの説明図である。
【
図3】車両移動軌跡検出画像CDiの生成手順の説明図である。
【
図4】移動体軌跡生成部60の処理を説明する説明図である。
【
図5】色強調前パンシャープン画像CP1iの説明図である。
【
図7】色強調前パンシャープン画像CP1i及び色強調後パンシャープン画像CP2iの説明図である。
【
図8】移動体のR1、G、B成分の変化を説明する説明図である。
【
図9】R1と、Gと、Bと、R2の関係を説明する説明図である。。
【
図10】停止中の車両TsのRGB表示の説明図である。
【
図11】低速走行中の車両TmaのRGB表示の説明図である。
【
図12】高速走行中の車両TmbのRGB表示の説明図である。
【
図13】色強調前パンシャープン画像CP1iのRGB値を色強調後パンシャープン画像CP2iのRGB値にする場合の説明図である。
【
図14】車両移動と3ラインセンサの移動の関係の説明図である。
【
図15】画像重ね合わせの説明図(1/3)である。
【
図16】画像重ね合わせの説明図(2/3)である。
【
図17】画像重ね合わせの説明図(3/3)である。
【
図18】実施の形態2の写真画像を用いた道路変化検出システムの概略構成図である。
【
図19】実施の形態3の写真画像を用いた道路変化検出システムの概略構成図である。
【発明を実施するための形態】
【0010】
以下に示す本実施の形態は、発明の技術的思想(構造、配置)を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記のものに特定されるものではない。本発明の技術的思想は、特許請求の範囲に記載された事項の範囲内において、種々の変更を加えることができる。また、図面は模式的なものであり、装置やシステムの構成などは現実のものとは異なることに留意すべきである。
【0011】
本実施の形態の移動体軌跡生成装置は、移動体は車両、船舶、航空機でもよいが、車両として説明する。本実施の形態の移動体軌跡生成装置(システム)は、上空から撮影した所定期間(数日、数年又は数時間の期間)のエリアEiの露光タイミング時のR、G、B成分毎の色成分毎画像Gqi(R、G、B)を順次、読込み、この読込毎にR、G、B成分の色成分毎画像Gqi同士を重ね合わせて露光毎カラー合成画像を生成し、この露光毎カラー合成画像の内で、同一波長同士の画像を重ね合わせて露光毎パンクロマチック画像を生成する。
【0012】
そして、露光毎カラー合成画像と露光毎パンクロマチック画像とを重ね合成した露光毎パンシャープン画像CP1iを生成し、この露光毎パンシャープン画像CP1i(CP11、CP12、・・)を生成し、移動体とするメッシュの色を強調させて、道路上の移動体(車両、航空機、船舶等)の移動量(速度に関係する)を色(以下、移動量色Ji(RGB)という)で現したRGB強調パンシャープン画像CP2i(CP21、CP22、・・)を生成する。
【0013】
そして、これらのRGB強調パンシャープン画像CP2i(CP21、CP22、・・)をさらに重ね合わせて道路上を一本の軌跡で表わした車両移動軌跡検出画像CDiを生成する(
図2参照)。
【0014】
図2は上り2斜線(2レーンともいう)、下り3車線(3レーンともいう)の高速道路の例であり、各々のレーンが一本の線で示している。
本実施の形態で用いるライン毎撮影画像aqiは、衛星画像、航空機(ドローン含む)で取得した航空機撮影画像等の写真画像であっても構わないが、人工衛星(図示せず)に搭載された3ラインセンサを備えたカメラ装置(図示せず)からの露光タイミング毎のライン毎撮影画像aqi(R、G,B)を用いて生成している。また、移動体は、車両(自動車、オートバイ、自転車)として説明する。
【0015】
また、ライン毎撮影画像aqiは、数キロ~数十キロの画像を得るエリアセンサ又は、Rライン、Gライン、Bラインよりなる3ラインセンサ或いはマルチラインイメージセンサに基づく画像であっても構わないが、本実施の形態では物理的離隔距離BDが 例えば10μmの3ラインセンサを備えたカメラ装置で取得したライン毎撮影画像aqi(ari(R)、agi(G)、abi(B))として説明する。
【0016】
<実施の形態1>
図1は本実施の形態1の写真画像を用いた移動体検出装置の概略構成図である。
図1に示すように、本実施の形態は、衛星画像記憶制御部10と、画像抽出部20と、画像重ね合せ部30と、色強調部55と、移動体軌跡生成部60と、同一エリア読込部90と、道路変化検出部100等のプログラムを備えた、コンピュータシステムである。
【0017】
衛星画像記憶制御部10は、人口衛星の3ラインセンサ(図示せす)を備えたカメラ装置(図示せず)からの撮影毎(例えば、2023年10月10日10時10分10秒、2023年10月10日10時10分11秒、・・・:露光ともいう)の送信情報Fi(F1、F2、・・)を受信する。
【0018】
この受信毎に、この送信情報Fi(F1、F2、・・)に含まれているライン毎撮影車両移動軌跡検出画像用メモリ70aqi(R、G、B)をRライン用画像(R1)、Gライン用画像(G)、Bライン用画像(B)に分けて、該当のライン種(バンド種ともいう)の衛星画像受信用メモリ12i(R1画像用、G画像用、B画像用)に順次記憶している。
【0019】
なお、露光時間としては、一般的に、人工衛星1が1ライン走査分を移動する時間( 例えば、空間分解能が1メートルの衛星であれば、衛星が1メートルの距離を飛行するのに要する時間)に設定される。
【0020】
ライン毎撮影画像aqiの内でRラインの画像データをR1ライン受信衛星画像ari(ar1、ar2、・・)と称し、Gラインの画像データをGライン受信衛星画像agi(ag1、ag2、・・)と称し、Bラインの画像データをBライン受信衛星画像abi(ab1、ab2、・・)と称する。
【0021】
これらのライン毎撮影画像aqiは、Rライン受信衛星画像ari(ar1、ar2、・・)、Gライン受信衛星画像agi(ag1、ag2、・・)、Bライン受信衛星画像abi(ab1、ab2、・・)の各々のライン間隔である物理的離隔距離BDが、例えば数μm~十数μm 程度であるので、同一地点の物標(車両、船舶、航空機、鉄道等)に対しては若干の時間的ずれ(露光タイミング差)を持つことになる。
【0022】
このため、露光時のRライン受信衛星画像ari(ar1、ar2、・・)、Gライン受信衛星画像agi(ag1、ag2、・・)、Bライン受信衛星画像abi(ab1、ab2、・・)は、各々がずれている。ずれは、車両の移動速度や移動方向などに対応し、動きの速い車両ほど大きくなる。
【0023】
なお、Rライン受信衛星画像ari(ar1、ar2、・・)は、R成分衛星画像受信用メモリ12aに記憶し、Gライン受信衛星画像agi(ag1、ag2、・・)は、G成分衛星画像受信用メモリ12bに記憶し、Bライン受信衛星画像abi(ab1、ab2、・・)は、B成分衛星画像受信用メモリ12cに記憶する。
【0024】
そして、衛星画像記憶制御部10は、ライン毎撮影画像aqi(ari(R1)、agi(G)、abi(B))が衛星画像受信用メモリ12i(R1ライン用、Gライン用、Bライン用)に記憶される毎に、ラインディレイ補正、平面直角座標変換、またはオルソ補正などの処理を施した後、モザイク処理を施して、ライン毎モザイク処理画像用メモリ11i(例えば、11a、11b、・・:R1、G、B)にライン毎モザイク処理画像Cqi(R1、G、B)として記憶する。
【0025】
R画像のライン毎モザイク処理画像Cqiは、R用ライン毎モザイク処理画像Cri(Cr1(R1)、Cr2(R11).・・・)と称し、G画像のライン毎モザイク処理画像Cqiは、G用ライン毎モザイク処理画像Cgi(Cg1、Cg2.・・・)と称し、B画像のライン毎モザイク処理画像Cqiは、B用ライン毎モザイク処理画像Cbi(Cb1、Cb2.・・・)と称する。
【0026】
R用ライン毎モザイク処理画像Cri(Cr1、Cr2.・・・:R用ライン毎画像ともいう)は、R成分衛星画像用メモリ11aに記憶し、G用ライン毎モザイク処理画像Cgi(Cg1、Cg2.・・・:G用ライン毎画像ともい)はG成分衛星画像用メモリ11bに記憶し、B用ライン毎モザイク処理画像Cbi(Cb1、Cb2.・・・:B用ライン毎画像ともいう)はB成分衛星画像用メモリ11cに記憶する。
【0027】
前述のライン毎撮影画像Gqi(R1、G、B)について説明する。人工衛星1は、例えば、地球の約400km(キロメートル)~約700kmの高度の上空を、ほぼ一定の速度で飛行する人工衛星1によって取得された画像であり、例えば、1日単位で取得されているのが好ましい。
【0028】
ラインセンサは、地表部分の画像を約2.5m(メートル)×50kmの幅で取得する。人工衛星1に搭載されたカメラ装置は、このライン毎撮影画像Gqi(R1、G、B)に後述するヘッダ情報EHi等を付加して前述の送信情報Fiとして地上局(図示せず)に送信している。
【0029】
ヘッダ情報EHiとは、例えば、C&DH(CommandandDataHandling)系などにより3ライン毎撮影画像Gqi(R1、G、B)に付加される撮影時のメタ(meta)データである。
【0030】
ヘッダ情報EHiには、例えば、衛星を識別するための情報(ID)、撮影時の緯度、経度、高度、姿勢などの情報、空間分解能、撮影日や撮影時刻、撮影開始時刻( Collection Start Time) 及び終了時刻(CollectionEndTime)に関する情報、バンドの種別(色種)に関する情報、画素の位置を示すCCDのピクセル座標Pzai(i,j)、送信先情報などが含まれる。
【0031】
画像抽出部20は、オペレータによって入力されたエリアEi(地名、住所等)と、解析期間Wi(所定範囲ともいう)等を読込む。この解析期間Wiは、例えば2023年10月10日~2019年10月10日と入力される。
【0032】
なお、エリアEiはライン毎モザイク処理画像用メモリ11i(例えば、11a、11b、・・:R1、G、B)のライン毎モザイク処理画像Cqi(R用ライン毎モザイク処理画像Cri、G用ライン毎モザイク処理画像Cgi、B用ライン毎モザイク処理画像Cbi)の所定範囲を図示しない表示部の画面に表示させてエリアを指定させる。又は、地図をの画面上に予め表示させた状態において、エリアEWiの指定を行わせるようにしてもよい。
【0033】
そして、画像抽出部20は、この解析期間Wi及びエリアEiに該当するライン毎モザイク処理画像用メモリ11i(例えば、11a、11b、・・:R、G、B)の全てのライン毎モザイク処理画像Cqi(R用ライン毎モザイク処理画像Cri、G用ライン毎モザイク処理画像Cgi、B用ライン毎モザイク処理画像Cbi)を抽出(検索ともいう)して、該当のバンド種の抽出エリア画像用メモリ22i(色成分毎画像用記憶部ともいう)に記憶する。
【0034】
このバンド種の抽出エリア画像用メモリ22iは、抽出エリアR画像用メモリ22aと、抽出エリアG画像用メモリ22bと、抽出エリアB画像用メモリ22cとよりなる。
抽出エリアR画像用メモリ22aには例えば、2023年10月10日~2019年10月10日での間の一日単位のエリアEiに該当するR用ライン毎モザイク処理画像Criの集合を抽出エリアR1衛星画像Gdri(Gdr1、Gdr2、・・:色成分毎画像)として記憶する。
【0035】
そして、抽出エリアG画像用メモリ22bには、2023年10月10日~2019年10月10日での間の一日単位のエリアEiに該当するG用ライン毎モザイク処理画像Cgiの集合を抽出エリアG衛星画像Gdgi(Gdg1、Gdg2、・・・:色成分毎撮影画像)として記憶する。
【0036】
そして、抽出エリアB画像用メモリ22cには、2023年10月10日~2019年10月10日での間の一日単位のエリアEiに該当するB用ライン毎モザイク処理画像Cbiの集合を抽出エリアB衛星画像Gdbi(Gdb1、Gdb2、・・・:色成分毎撮影画像)として記憶する。抽出エリアR1衛星画像Gdri、抽出エリアG衛星画像Gdgi、抽出エリアB衛星画像Gdbiを総称して露光毎カラー合成画像とも称する。
そして、同一波長画像生成部40を起動する。
【0037】
同一波長画像生成部40は、オペレータによって入力されたバンド種(R1成分又はG成分若しくはB成分)を読み込む。本実施の形態ではR1成分とする。
そして、このR成分の抽出エリアR画像用メモリ22aの解析期間Wi(例えば、2023年10月10日~2019年10月10日:一日単位)のエリアEiの抽出エリアR1衛星画像Gdri(Gdr1、Gdr2、・・)を同一波長画像生成用メモリ42に複写する(以下、複写画像R2iと称する)。
【0038】
つまり、オペレータによって入力されたバンド種と同一波長の画像を抽出エリア画像用メモリ22iより複写している。そして、重ね合せ部30を起動する。
画像重ね合せ部30は、同一波長画像生成用メモリ42の複写画像R2i(R21、R22、・・・)と、この複写画像R2i(R21、R22、・・・)と同じ時刻情報を有する抽出エリアR画像用メモリ22aの抽出エリアR1衛星画像Gdri(Gdr1、Gdr2、・・)と重ね合わせたパンクロマチック画像Ri´(R1´、R2´、・・・:白黒合成画像(2値化)ともいう)を生成してパンクロ画像用メモリ23(パンクロマチック画像用記憶部とも称する)に記憶する。
【0039】
そして、これらのパンクロマチック画像Ri´(R1´、R2´、・・・)に付加されている時刻情報を有する抽出エリアR画像用メモリ22aの抽出エリアR1衛星画像Gdri(Gdr1、Gdr2、・・)を順次抽出すると共に、抽出エリアG画像用メモリ22bの抽出エリアR1衛星画像Gdgi(Gdg1、Gdg2、・・・)を順次抽出し、かつ抽出エリアB画像用メモリ22cの抽出エリアB衛星画像Gdbi(Gdb1、Gdb2、・・・)を順次抽出する(抽出画像ともいう)。
【0040】
そして、抽出毎にこれの抽出エリアR1衛星画像Gdri(Gdr1又はGdr2、・・)と、抽出エリアR1衛星画像Gdgi(Gdg1又はGdg2、・・・)と、抽出エリアB衛星画像Gdbi(Gdb1又はGdb2、・・・)と、パンクロマチック画像Ri´(R1´、R2´、・・・)とを重ね合わせたパンシャープン画像(露光毎パンシャープン画像CP1i)を生成して、パンシャープン画像用メモリ50(パンシャープン画像用記憶部ともいう)に記憶する。
【0041】
このパンシャープン画像を色強調前パンシャープン画像CP1iとも処する。色強調後は色強調後パンシャープン画像CP2iと称する。この色強調後パンシャープン画像CP2iは、後述する色強調部55によって色強調後パンシャープン画像用メモリ58(RGB強調画像用記憶部ともいう)に記憶される。
【0042】
図5に色強調前パンシャープン画像CP1i(
図5においては単にCPiと記載している)を示す。
図5に示す色強調前パンシャープン画像CP1iは、走行中の車両( 移動体)Tmiの移動量(速度に基づく)のみが色ずれを伴うカラー画像(R1 、G 、B)により強調表示され、それ以外の、停止中の車両Tsや道路または建物などを含む背景( 静止物体) がモノクロ画像として表示して例である。
図5においては、カラー画像を強調して車両Tmiの上に示している。
【0043】
なお、
図5は、高速道路のインターチェンジ(IC)付近を撮影した際のものであって、実際に走行中の車両Tmiを強調表示したものである。
【0044】
また、色強調前パンシャープン画像CP1iと、色強調後パンシャープン画像CP2i(RGB強調後画像)とを総称して単にパンシャープン画像CPiと称する。
色強調部55は、パンシャープイン画像用メモリ50の色強調前パンシャープン画像CP1iの車両の移動体の速度に応じた移動量(変化量ともいう)の色現性を強調させた前述の色強調後パンシャープン画像CP2iをメモリ58に得るためのものである(詳細は後述する)。
【0045】
移動体軌跡生成部60は、メモリ58に生成された色強調後パンシャープン画像CP2i(CP21、CP22、・・)を重ね合わせて車両移動軌跡検出画像CDiを生成して道路上車両移動軌跡Laiを得る。そして、同一エリア読込部90より出力された道路ネットワークデータDiの軌跡(以下、道路ネットワーク軌跡daiという)を色強調後パンシャープン画像用メモリ58(二次元平面)に定義して、この道路上車両移動軌跡Laiの道路ネットワークデータDiを図示しないメモリに記憶する。
以下に車両移動軌跡検出画像CDiの生成手順を説明する。
【0046】
図3(a)に色強調後パンシャープン画像CP2i(CP21、CP22、・・)を示す。但し、
図3(a)においては、一車線の道路として記載している。
図3(a)は、例えば2023年10月10日の色強調後パンシャープン画像CP21、2023年10月9日の色強調後パンシャープン画像CP22、・・・・、2019年10月10日の色強調後パンシャープン画像CP2nが蓄積された例を示している。
【0047】
また、色強調後パンシャープン画像CP21(2023年10月10日)には、3台の車両Tmi(Tm1、Tm2、Tm5)を示し、その移動量をR1、G、Bの長さで示している。
また、色強調後パンシャープン画像CP22(2023年10月9日)には、1台の車両Tmi(Tm50)を示し、その移動量をR1、G、Bの長さで示している。
【0048】
色強調後パンシャープン画像CP2n(2019年10月10日)には、2第の車両Tm(Tm100、Tm101)を示し、その移動量をR1、G、Bの長さで示し、Tm5は存在していない例を示している。
そして、移動体軌跡生成部60は、これらの色強調後パンシャープン画像CP2i(2023年10月10日~2019年10月10日)をさらに重ね合わせた車両移動軌跡検出画像CDi(
図3(b)参照)を生成し、これを車両移動軌跡検出画像用メモリ70に記憶する。
【0049】
すなわち、
図3(b)に示すように、2023年10月10日~2019年10月10日の色強調後パンシャープン画像CP2iを重ね合わせしたので、この間の車両Tmiの移動量を示すR1、G、B成分が合成されることになる。このため、一本の白画像となる。
従って、例えば、2023年10月10日~2020年10月10日の間に、Tm5のように他の車両が通ったすれば、
図3(b)に示すように、新規道路として検出できることになる(斜線の増減、斜線変更、交差点変更等を含む)。
【0050】
なお、R、G、B画像を合成したカラー画像はマルチスペクトル画像とも称する。パンシャープン画像とは、マルチスペクトル画像とパンクロマチック画像とを合成処理(パンシャープン処理)した画像である。
【0051】
そして、移動体軌跡生成部60は、
図4(a)に示すように、道路ネットワーク軌跡daiから
図4(b)に示す車両移動軌跡検出画像CDiの道路上車両移動軌跡Laiに対して垂線を引いて、道路上車両移動軌跡Lai上におけるメッシュMiを指定する。
【0052】
そして、このメッシュMi(例えば、2m、2.5m、3m)に割り付けられている色値が例えば、白(0)の場合は、このメッシュMiを中心にして、一定範囲(例えば、10m、20m、)の円を定義し、この円内において、同じ白(0)で連続しているメッシュMi群を解析範囲Wiにおける車両の一定範囲毎移動速度色軌跡とする処理を行う。
【0053】
そして、次のメッシュMiを指定し、このメッシュMiに対して前述の一定範囲毎移動速度色軌跡の処理を実施して、エリアEiにおける道路上車両移動軌跡Laiを得る。
図4(b)においては、新規に繋げられた道路上を移動した車両の道路上車両移動軌跡Lai´を示している。なお、道路上車両移動軌跡Lai(Lai´含む)は、ベクトル化しても構わない。つまり、道路ネッワークデータDi´(ベクタ)にする。
【0054】
色強調部55は、パンシャープイン画像用メモリ50の色強調前パンシャープン画像CP1iの車両の移動体の速度に応じた移動量(変化量ともいう)の色現性を強調させた前述の色強調後パンシャープン画像CP2iをメモリ58に得るためのものである(詳細は後述する)。
【0055】
道路ネットワーク用メモリ80は、道路ネットワークデータを記憶している。道路ネットワークデータは、道路に関する様々な情報を属性として持っており、道路の特徴点を表す「ノード」と、ノードを結んで道路の形状を表す「リンク」によって表現されている。道路の特徴点が「ノード」で、ノードは、交差点・ 曲り角・ 行き止まり等である。
【0056】
これらのノード(点)を接続する線が「リンク」で道路区間になる。この他に、規制速度、道路の幅、平日の12時間交通量、旅行速度(ある区間について、区間の距離を走行に要した時間で割ったもので、所要時間には、信号や渋滞などによる停止も含む速度)や車線数等が関連付けられて記憶されている。
【0057】
同一エリア読込部90は、オペレータにより入力されたエリアEiに該当する道路ネットワークデータDi(ベクター)を移動体軌跡生成部60及び後述する道路変化検出部100に出力する。
道路変化検出部100は、道路構造の変化等を監視するAI(Artificial Intelligence)ソフトである。
【0058】
道路変化検出部100は、同一エリア読込部90より出力された道路ネットワーク軌跡daiと、車両移動軌跡検出画像用メモリ70の道路上車両移動軌跡Lai(Lai´含む)とを読込み、レーン減少道路、道路上の工事、事故負荷率、イベント等を予測し、これらから新規道路において推定される変化を予測して出力する。
【0059】
(衛星画像上より車両速度を色識別できる理由)
以下に二時期の衛星画像上より車両速度を色識別できる理由を説明する。
パンシャープ画像CPiは、
図5に示すように、走行中の車両( 移動体)Tmiの移動量(速度に基づく)のみが色ずれを伴うカラー画像(R1 、G 、B)により強調表示され、それ以外の、停止中の車両Tsや道路または建物などを含む背景( 静止物体) がモノクロ画像として表示されたものとなる。
図5においては、カラー画像を強調して車両Tmiの上に示している。
【0060】
なお、
図5は、高速道路のインターチェンジ(IC)付近を撮影した際のものであって、実際に走行中の車両Tmiを強調表示したものである。
【0061】
次に、色強調部55について
図6のフローチャートを用いて説明する。
図6に示すように、まず、色強調部55は、パンシャープイン画像用メモリ50 に記憶された色強調前パンシャープン画像CP1i(CP11、CP12、・・)を順次指定し、この指定毎に色強調前パンシャープン画像CP1i(C P 11又はCP12、・・)のメッシュMi(以下、ピクセル座標Pzai(i,j)という)を指定(例えば、角)する(S05)。
【0062】
そして、指定したピクセル座標Pzai(i,j)の画素データ(1ピクセル内のR(R1又はR2)、G 、Bの成分:各ピクセル値)を読込む(S06)。そして、読込んだ画素データの各ピクセル値が全て同じかどうかを判断する(S07)。
【0063】
ステップS07では、各々のピクセル値が全て同じでない場合(R1≠G≠B)、(マルチスペクトル画像:カラー合成画像)の画像データと判定する。つまり、全てのピクセル値が等しくない場合に、そのピクセルは、移動体(例えば、Tm2)のものであると判定される。
【0064】
また、例えば
図13(a)に示すように、全てのピクセル値が等しい場合に、その画素は、背景の白黒画像(一例として、R=G=B=108ならば黒PK、R=G=B=200ならば白PW)のものであると判定する(ただし、256階調の場合)。
【0065】
ステップS07で、マルチスペクトラム画像(カラー合成画像)の画素データと判定した場合(NO)は、指定したピクセル座標Pzai(i,j)に対応する画素の色種を決定する(S08)。
【0066】
例えば、各ピクセル値がR1=R2=G≠B(ただし、B>R1=R2=G)の場合は、「青」と判断する。また、各ピクセル値がR1=R2=B≠G(ただし、G>R1=R2=B)の場合は、「緑」と判断する。さらに、各ピクセル値がB=G≠(R1=R2)(ただし、R1=R2>G=B)の場合は、「赤」と判断する。
【0067】
一例として、256階調の場合において、例えば
図13(a)に示すように、R=178で、G=B=129ならば赤(PR1)、G=178で、R=B=100ならば緑(PG)、B=178で、R=G=102ならば青(PB)と判断される。
【0068】
そして、ステップS08で決定した色種を読込み、この色種を強調する(S10)。
【0069】
例えば、各ピクセル値がB=G<Rの場合は、Rのピクセル値だけを最大値にし、赤(PR1)を強調させる。また、各ピクセル値がR=B<Gの場合は、Gのピクセル値だけを最大値にし、緑(PG)を強調させる。
【0070】
さらに、各ピクセル値がR=G<Bの場合は、Bのピクセル値だけを最大値にし、青(PB)を強調させる。最大値というのは、例えば、240~255の範囲を含むとする(256階調の場合)。また、例えば
図13(b)に示すように、最大値にするピクセル値以外の各ピクセル値は「0」にするようにしても良く、その色種をより強調させることができる。
【0071】
すなわち、色強調部55においては、例えば
図13(b)に示すように、最高の階調度が赤(PR1)ならば、R=255(G=B=0)、緑(PG)ならば、G=255(R=B=0)、青(PB)ならば、B=255(R=G=0)となるように、ステップS08で決定された色種のみが最大値に近似して補正(強調)される。
【0072】
以上のような色強調処理によって、色強調前のパンシャープン画像CP1iが色強調後のパンシャープン画像CP2i(
図7(b)参照)として、色強調後パンシャープン画像用メモリ58に順次記憶する。
例えば、所定の速度以上の速度で移動する移動体は、R1、G、Bの色ずれを伴うカラー画像(マルチスペクトル画像)として強調されることになる。
【0073】
次いで、色強調部55は、ピクセル座標Pzai(i,j)が他にあるかどうかを判断する(S12)。
【0074】
ステップS12で、ピクセル座標Pzai(i,j)が他にあると判断した場合(YES)は、ピクセル座標Pzai(i,j)を更新して、処理をステップS06に戻す(S13)。
【0075】
一方、ステップS07で、各ピクセル値がほぼ同じ(R1=G=B)と判定した場合(YES)は、モノクロ画像の画素と判定し、処理をステップS12に移す。
【0076】
また、ステップS12で、ピクセル座標Pzai(i,j)が他にないと判断した場合(NO)、ピクセル座標Pzai(i,j)を順次指定し(S14、S15)、「j」の値がマックス値( 例えば、max=768)になるまで、ステップS06~を繰り返す。
【0077】
こうして、各画素が、例えば、「青」、「緑」、または「赤」を示している場合は、移
動体を示すカラー画像と判断することができる(
図13(b)参照) 。
【0078】
「j」の値が最大値の場合(S14:YES)には、この色強調後のパンシャープン画像CP2iを車両移動軌跡検出画像CDiとして車両移動軌跡検出画像用メモリ70に書き込む(S16)。
【0079】
図7は、走行中の車両(移動体)を例に、画像CP2iの一例を示すものである。なお、
図7(a)は、色強調処理を施す前のパンシャープン画像CP1iであり、
図7(b)は、色強調処理を施した後のパンシャープン画像CP2iである。
【0080】
色強調後パンシャープン画像CP2iにおいては、例えば
図7(b)に示すように、停止中の車両や道路または建物などを含む背景(静止物体)はモノクロ画像として、走行中の車両のみがTm1(B、G、R1)またはTm2(R1、G、B)のようにカラー画像としてされるとともに、
図7(a)の色強調前パンシャープン画像CP1iの場合よりも、表示のカラー画像がより強調されている。
【0081】
なお、カラー画像における色種の順番(R1、G、BまたはB、G、R1)の異なりは
、走行中の車両Tm1、Tm2の移動方向の違いによる。
【0082】
また、走行中の車両Tm1、T m2の近傍に進行方向(移動方向)を示す矢印を表示させたり、移動速度を示す数値(時速)などを表示させたりするようにしても良い。
【0083】
図8(a)、(b)は、移動体のR1、G、B特性を示すものである。
【0084】
すなわち、一定速度以上のスピードで走行中の車両Tmiの場合は、幾何学的に重なり合うように位置合わせして得た各バンドのカラー画像を同一サイズで重ね合わせたとしても、車両Tmの画素間の移動が、その移動速度に応じて数ピクセルから十数ピクセルにおよぶため、
図8(a)に示すように、R1、G、Bの各々の成分特性(色)のずれが大きくなる。
【0085】
これに対し、停止中の車両Tsの場合は、簡単なラインディレイ補正などにより、各バンドのカラー画像がほぼ重なり合うので、
図8(b)に示すように、R1、G、Bの成分特性(色)のずれは小さくなる。つまり、停止中の車両Tsは、道路または建物などを含む背景(静止物体)と同様にモノクロ画像として表示される。
【0086】
図9は、R1と、Gと、Bと、R2の関係を模式的に示すものである。
【0087】
図10(a)、(b)は、停止中の車両Tsとその表示例とを示すもので、停止中の車両Tsの場合、カラー表示にR1、G、Bの色ずれは殆んど発生しない。
【0088】
図11(a)、(b)は、低速走行中の車両Tmaとその表示例とを示すもので、低速走行中の車両Tmaが図示実線の位置から図示破線の位置まで移動するのに伴って、カラー表示のR1、G、Bに若干の色ずれが発生する。
【0089】
図12(a)、(b)は、高速走行中の車両Tmbとその表示例とを示すもので、高速走行中の車両Tmbが図示実線の位置から図示破線の位置まで移動するのに伴って、カラー表示にR1、G、Bの大きな色ずれが発生する。
【0090】
したがって、カラー表示の色ずれの程度に応じて、走行中の車両Tmiが高速走行中の車両Tmbか、低速走行中の車両Tmaかを簡単に判別することが可能である。
【0091】
これにより、静止物体はグレースケールによって、移動体は色付きの画像として、移動体検出画像上にそれぞれ表示できるようになるため、移動体検出画像上に走行中の車両だけをカラー表示させることが可能となる。
【0092】
しかも、走行中の車両をより強調させて表示させることが可能となるため、走行中の車両を確実に検出できるようになるとともに、検出された走行中の車両の速度や移動方向または個数などをも容易に算出できるようになる。
【0093】
ここで、移動体の移動方向とその色ずれの関係について説明する。
【0094】
図14(a)は、走行中の車両Tmiの移動方向(MD)と人工衛星1の移動方向(SD)との関係を例示するものである。
【0095】
また、
図14(b)は、地表面上における車両Tmiの移動方向を東側方向とし、
図14(c)は、地表面上における車両Tmiの移動方向を西側方向とし、
図14(d)は、地表面上における車両Tmiの移動方向を北側方向とし、
図14(e)は、地表面上における車両Tmiの移動方向を南側方向とした場合の例である。
【0096】
走行中の車両Tmiは、
図14(b)~
図14(e)に示すように、その移動の方向にかかわらず、常に、移動方向に対するB、G、R1の順番となる(カラー表示にR2は特に関係しないので、図示省略) 。
【0097】
すなわち、走行中の車両Tmiの場合、人工衛星1の移動方向(SD)に対する、各画像成分のラインセンサの配列の順番に依存して、B、G、R1順の色ずれを生じる。したがって、この色ずれを検出することにより、走行中の車両Tmiは勿論のこと、車両Tmiの移動の方向(MD)をも特定可能となる。
【0098】
また、色ずれは、走行中の車両Tmiの速度にほぼ比例するため、そのずれ量から、走行中の車両Tmiの速度も容易に推定(算出)可能である。
【0099】
図15(a)~
図15(c)は、高速道路のIC付近を実際に撮影して得た移動体の変化量をカラー表示した場合を例示したものである。これにより、例えば
図15(a)に示すようなマルチスペクトル画像(エリアWiのカラー合成画像)と、また、例えば
図15(b)に示すようなパンクロマチック画像(エリアWiの白黒合成画像)とを、幾何学的に重なり合うように位置合わせして、色強調前のパンシャープン画像CP1iとなる、
図15(c)に示すような画像が得られる。
【0100】
また、
図16(a)~
図16(c)は、高速道路のICと一般道とをつなぐ接続道路付近を実際に撮影した場合を例示したものである。なお、
図16(a)は、接続道路付近のマルチスペクトル画像( エリア Wiのカラー合成画像)であり、
図16(b)は、接続道路付近のパンクロマチック画像(エリアWiの白黒合成画像)であり、
図16(c)は、接続道路付近の移動体検出画像(色強調前)としての色強調前パンシャープン画像CP1iである。
【0101】
図17は、
図16(c)に示した接続道路付近の色強調前パンシャープン画像CP1iを拡大して示すものある。
【0102】
この色強調前パンシャープン画像CP1iからも明らかなように、接続道路DO上を走行中の複数の車両Tmoは、いずれもIC方向より交差点方向に近づくにつれて、赤信号により停止すべく徐々に減速し、それに伴って色ずれの大きいカラー表示から色ずれの小さいモノクロ表示へと変化する。
【0103】
逆に、IC方向に向かう車両Tmiは徐々に加速し、速度が増加するにつれて、色ずれの大きいカラー表示へと変化する。
【0104】
なお、このパンシャープン画像CP1iは色強調前であって、走行中の車両Tmo 、Tmi に対して、上述の色強調処理を施すことにより、走行中の車両Tmo 、Tmiの表示がより鮮明となる。
【0105】
すなわち、例えば、当該色強調前パンシャープン画像CP1iの各画素が走行中の車両Tmiのものか否かが、そのピクセル値に基づいて判定される。例えば、各画素の色種別の階調度を示すピクセル値のいずれかが「0」でない場合、その画素は走行中の車両Tmiのものと判定され、逆に、各画素の色種別の階調度を示すピクセル値の全てが「0」の場合、その画素は静止物体のものと判定される。
【0106】
そして、走行中の車両Tmiのものと判定された各画素の色種別の階調度を示すピクセル値が、最大値( 例えば、240~255) に変更される。
【0107】
こうして、色種別の階調度を示すピクセル値の全てが「0」でない画素の階調度がそれ
ぞれ最大値に変更された色強調後パンシャープン画像CP2iが生成されることになる。
【0108】
<実施の形態2>
図18は実施の形態2の概略構成図である。
図18においては、衛星画像記憶制御部10、画像抽出部20、画像重ね合せ部30、色強調部55、移動体軌跡生成部60、同一エリア読込部90、道路変化検出部100、抽出エリア画像用メモリ22i、パンクロ画像用メモリ23、メモリ55、メモリ58は図示しない。
【0109】
また、
図1と同一符号のものは説明を省略する。
図18に示すように、プローブ情報用メモリ110と、ニュース情報用メモリ120を備えている。
プローブ情報用メモリ110のプローブ情報は、実際に車両が走行した位置や車速、ワイパーの状態等の情報であり、車番、カーナビ番号、年月日時刻、車種、ドアの状況、窓の状況等が含まれている。
【0110】
ニュース情報用メモリ120に記憶されるニューズ情報は、過去、現時点の道路及び道路近隣におけるニュース情報であり、テキストファイルで記憶されている。
【0111】
同一エリア読込部90は、エリアEiに該当する道路ネットワークデータDi(B)及びこのエリアEiに存在する車両Tmiのプローブ情報(C)並びにエリアEiにおけるニュース情報(D)を道路変化検出部100に出力する。
【0112】
道路変化検出部は100は、車両移動軌跡検出画像用メモリ70の車両移動軌跡検出画像CDiにおける道路上車両移動軌跡Lai(A)と、道路ネットワークデータDi(B)と、プローブ情報(C)と、ニュース情報(D)とに基づいて今後変化する情報を推定して出力する。例えば、新規道路が接続されたことによって、エリアEiの道路状況が混雑する。又はプローブ情報(C)の状況より新規道路には、数年で凹凸ができる等を推定する。
【0113】
<実施の形態3>
図19は実施の形態3の概略構成図である。
図19において、
図1と同一符号のものは説明を省略する。
【0114】
5mDEM用メモリ220を備えている。
道路変化検出部100は、道路ネットワークと、パンシャープイン画像用メモリ50の軌跡と、5mDEM用メモリ220の5mDEMとを比較し、この標高値が基準値を超えた場合又は以下の場合に、道路ネットワークに以上箇所を知らせるフラグを関連付けて、これを変化検出結果情報として変化検出結果用メモリ240に記憶する。
【0115】
これによって、道路上等に新たに存在する凸部等がわかる。
すなわち、走行中の車両Tmiを自動的に検出できると共に、地図上にない道路の新設及び道路上の新たな凹凸等を道路マップに反映できる。
【0116】
なお、色強調部55は、入力された道路の範囲を読込み、この範囲内の色強調前パンシャープン画像CP1iに対して色強調を行って、移動体軌跡生成部60が、色強調後の色強調後パンシャープン画像CP2i(CP21、CP22、・・)を重ね合わせて車両移動軌跡検出画像CDiを生成して道路上車両移動軌跡Laiを得ても構わない。
【符号の説明】
【0117】
10 衛星画像記憶制御部
20 画像抽出部
30 画像重ね合せ部
55 色強調部
60 移動体軌跡生成部
90 同一エリア読込部
100 道路変化検出部