知財求人 - 知財ポータルサイト「IP Force」
特許7520073鉄道アプリケーションの衝突回避において物体および障害物を検出し分類するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-11
(45)【発行日】2024-07-22
(54)【発明の名称】鉄道アプリケーションの衝突回避において物体および障害物を検出し分類するためのシステムおよび方法
(51)【国際特許分類】
B61L 23/00 20060101AFI20240712BHJP
G01S 17/931 20200101ALI20240712BHJP
G06T 7/00 20170101ALI20240712BHJP
G06V 20/56 20220101ALI20240712BHJP
【ＦＩ】
B61L23/00 A
G01S17/931
G06T7/00 350C
G06T7/00 650Z
G06V20/56
【請求項の数】
7
【外国語出願】
(21)【出願番号】P 2022092310
(22)【出願日】2022-06-07
(62)【分割の表示】P 2019520876の分割
【原出願日】2017-10-19
(65)【公開番号】P2022153351
(43)【公開日】2022-10-12
【審査請求日】2022-07-07
(31)【優先権主張番号】62/410,403
(32)【優先日】2016-10-20
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】516291125
【氏名又は名称】レール ビジョン リミテッド
【氏名又は名称原語表記】ＲＡＩＬ ＶＩＳＩＯＮ ＬＴＤ
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100185269
【弁理士】
【氏名又は名称】小菅 一弘
(72)【発明者】
【氏名】ハニア シャハール
(72)【発明者】
【氏名】グイシン アヴラハム ラム
(72)【発明者】
【氏名】バソン シャロン
【審査官】岩田 健一
(56)【参考文献】
【文献】特開２０１５－１７９５０９（ＪＰ，Ａ）
【文献】特開２０１１－１２１３９８（ＪＰ，Ａ）
【文献】特開２００５－０４４２２４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６１Ｌ ２３／００
Ｇ０１Ｓ １７／９３１
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ２０／５６
(57)【特許請求の範囲】
【請求項1】
線路の障害物を検出し回避するためのシステムであって、前記システムは、前記線路に沿って進行方向に向けられるように構成された少なくとも２つの映像装置であって、前記少なくとも２つの映像装置の少なくとも１つは、非線形ボロメータ・タイプの画像化ユニットを備える、映像装置と、
制御装置であって、
前記少なくとも２つの映像装置から複数の画像を受信し、
受信した画像に基づいて、
画像ベースの線路マッピングを実行し、
前記画像ベースの線路マッピングと、実質的に場面全体にわたる線路の画像の温度の均一性と、に基づいて、非線形ボロメータ・タイプの前記画像化ユニットを較正し、
物体検出および物体分類を実行し、
前記画像ベースの線路マッピング、前記物体検出および前記物体分類に基づいて、前記受信した画像が、前記線路の付近において脅威を与える、または潜在的な障害となる物体を含むか否かを検出する、
ように構成される制御装置と、
を含む、システム。
【請求項2】
前記制御装置は、前記線路の付近において脅威を与える、または潜在的な障害となる物体が検出されたときに、警報信号を提供するように構成される、請求項１に記載のシステム。
【請求項3】
前記制御装置は、前記受信した画像において前記線路を空間的に検出することと、
前記線路の位置および向きが変化するにつれて、検出された前記線路を経時的に追跡することと、
によって前記画像ベースの線路マッピングを実行するように構成される、請求項１に記載のシステム。
【請求項4】
前記制御装置は、前記受信した画像において物体を空間的に検出することと、
前記物体の位置が変化するにつれて、検出された前記物体を経時的に追跡することと、
によって前記物体検出を実行するように構成される、請求項１に記載のシステム。
【請求項5】
前記制御装置は、物体のシルエット分析によって前記物体分類を実行するように構成され、前記シルエットは、前記受信した画像において前記物体の外側の境界の形状である、請求項１に記載のシステム。
【請求項6】
前記制御装置は、前記シルエットを隣接する部分に分解することと、
前記シルエットの前記隣接する部分に基づいて前記物体を分類することと、
によって前記物体の前記シルエットを分析するように構成される、請求項５に記載のシステム。
【請求項7】
互いに異なる波長範囲で動作する少なくとも２つの映像装置をさらに含む、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に、鉄道アプリケーションの衝突回避において、自動的または半自動的に物体および障害物を検出し分類するためのコンピュータ支援画像化技術に関する。
【背景技術】
【0002】
典型的な電気光学的（Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃ：ＥＯ）コンピュータ支援画像化技術において、画像を分析しそこから所望のデータを抽出するために、ある領域または場面の画像が生成され処理される。
【0003】
たとえば、鉄道安全および衝突回避アプリケーションにおいて、（ａ）線路沿いのセンサ、および（ｂ）列車搭載（たとえば、機関車）センサを含む、様々なＥＯセンサを使用して鉄道の諸場面を調査し監視する。こうした列車搭載の前方視界センサを使用して、鉄道場面を即時に調査し、それにより線路上または線路近傍の静止または移動物体および障害物を検出し分類することができる。こうした検出、分類および警報は、運転手が運転する列車ならびに自動運転列車において使用することができる。
【0004】
こうした物体および障害物のＥＯ検出としては、たとえば、人間、動物、車両および様々な人工物ならびに自然の残がい（たとえば、倒木）があげられる。
【0005】
こうした日夜にわたる鉄道場面における物体および障害物のＥＯ画像ベースの検出および分類は、あり得る衝突に適時に対応する際の（たとえば、警報を生成する、列車の速度を落とす、列車を適時に停車させる）、こうした検知および画像分析に必要な範囲が広いことおよび様々な気象条件が原因で難易度が高い。
【発明の概要】
【課題を解決するための手段】
【0006】
線路検出および追跡プロセスの実行、物体および障害物検出の実行、物体および障害物分類の実行、ならびに、表示、ユーザ・インタフェースおよび警報モジュール（ｄｉｓｐｌａｙ ｕｓｅｒ－ｉｎｔｅｒｆａｃｅ ａｎｄ ａｌａｒｍ ｍｏｄｕｌｅ：ＤＵＡＭ）表示装置、ユーザ・インタフェースおよび警報信号による提供を含む、線路障害物検出および回避のための方法が開示される。線路検出および追跡プロセスは、空間的な線路検出、時間的な線路追跡および画像ベースの線路マッピングを含む。物体および障害物検出は、空間的な物体および障害物検出ならびに時間的な物体および障害物追跡を含む。物体および障害物分類は、物体および障害物のシルエット分析、ならびに物体および障害物の分類を含む。
【0007】
いくつかの実施形態では、この方法は、線路検出および追跡プロセス段階において、線路ベースのレンジングの実行をさらに含む。
【0008】
いくつかの実施形態では、この方法は、線路検出および追跡プロセス段階において、地理的位置情報の受信、線路に近接した地域の３Ｄモデリングの実行、および地理的ベースの線路マッピングの実行をさらに含む。
【0009】
いくつかの実施形態では、この方法は、ニューラル・ネット・コンピューティングを使用した物体および障害物分析の実行をさらに含む。
【0010】
いくつかの実施形態では、この方法は、地理的位置および線路に近接した地域の３ＤモデリングをＤＵＡＭに提供することをさらに含む。
【0011】
さらに別の実施形態では、この方法は、線路の視界を短距離映像装置と関連付けられた第１のセグメント、および第１のセグメントを超えて延びかつ長距離映像装置と関連付けられた第２のセグメントに分ける、分離線を設定するための前方距離を決定することをさらに含む。
【0012】
追加の実施形態によれば、この方法は、２台以上の映像装置から進行する車両の前方の線路の画像を入手することをさらに含み、２台以上の映像装置のうちの少なくとも１台は、少なくとも１台の別の映像装置の波長範囲とは異なる波長範囲の画像を入手するように構成されている。
【0013】
さらなる追加の実施形態では、この方法は、２台以上の映像装置から進行する車両の前方の線路の画像を入手することをさらに含み、２台以上の映像装置のうちの少なくとも１台は、少なくとも１台の別の映像装置の視界よりも狭い視界を有するように構成されている。
【0014】
追加の実施形態によれば、線路ベースのレンジングは、既知の線路の軌間に基づいて線路に沿った距離の計算を含む。
【0015】
線路に沿って進行方向に向けられた少なくとも２台の映像装置と、少なくとも２台の映像装置から複数の画像を受信し、その画像を処理して、画像中の線路を識別および検出し、線路の近傍で脅威をもたらし従って障害物となり得る物体を識別および検出し、脅威をもたらす物体が検出されると警報信号を提供する制御装置と、列車の運転手に少なくとも２台の映像装置から受信された画像を提供し、画像中に検出された処理された線路および物体を提供する運転手モニタと、障害物が検出されると警報を発生させる警報ユニットとを含む、線路障害物を検出し回避するためのシステムが開示される。この少なくとも２台の映像装置は、相互に異なる検知範囲を有する。
【0016】
追加の実施形態によれば、このシステムは、少なくとも２台の映像装置から受信された画像を記憶し、処理された画像を記憶し、制御装置によって実行されたときに障害物検出および回避を行うプログラムを記憶する記憶ユニットをさらに含む。
【0017】
追加の実施形態によれば、少なくとも２台の映像装置のうちの少なくとも１台は、少なくともこの２台の映像装置のうちの少なくとも１台の別の映像装置とは異なる波長範囲で動作する。
【0018】
さらなる追加の実施形態によれば、このシステムは、線路の近くの天候を検知し、線路上を進行する列車に位置表示を提供するように構成された、環境および位置検知ユニットをさらに含む。
【0019】
さらなる実施形態では、このシステムは、警報信号およびシステム位置を外部ユニットに通信することを可能とする通信ユニットを含む。
【0020】
追加の実施形態によれば、障害物の検出および識別は、線路の位置ベースのマッピングおよびその近くの環境に基づいて、少なくとも２台の映像装置からの画像を処理することを含む。
【0021】
追加の実施形態によれば、制御装置は、少なくとも２台の映像装置からの画像をニューラル・ネット分析するように構成されている。
【0022】
本発明を理解し、実際にはそれがいかに実行されるか知るために、制限のないほんの一例として、添付の図面を参照しながら諸実施形態を次に説明する。
【図面の簡単な説明】
【0023】
【図1】鉄道場面を画像化した車上の典型的な前方視界、およびいくつかの実施形態により生成された、それぞれの視界処理ベースの線路地図を表す図である。
【図2】いくつかの実施形態による、長距離線路検出および物体／障害物検出のための狭い視界画像化センサ、ならびに、改良された長距離線路検出および物体／障害物検出のための狭い視界画像化センサと関連付けることができる、短距離線路検出のための広い視界画像化センサを表す図である。
【図3】いくつかの実施形態による、広地域短距離カバレージ分析と改良された物体／障害物検出および衝突回避のための狭地域長距離カバレージとを結合するユーティリティを示す、２つの広い／狭い視界場面を表す図である。
【図4】本開示のいくつかの実施形態において提供される、車載画像化センサ上の前方視界が、列車がこうした線路転轍、スリップおよび轍叉を超えて進行するそれぞれの線路を自動的に決定することになるときのこうした画像化状況の複雑性を示す、様々な線路転轍、スリップおよび轍叉の例を示す図である。
【図5】現時点で記載された実施形態に従って通常発生する可能性がある、線路が、わずかに線路が曲がった（非常に大きな湾曲の半径）狭いカバレージ地域においてみられる状況を示す、線路（緑）およびそれぞれの断続的な接線区間（実線）および１ｋｍ離れた狭い地域画像化カバレージ（破線）の例示的な地図を示す図である。
【図6】現時点で記載された実施形態に従って通常発生する可能性がある、線路が、急角度で線路が曲がった（小さな湾曲の半径）狭いカバレージ地域において見られない状況を示す、鉄道（緑）およびそれぞれの断続的な接線区間（実線）および１ｋｍ離れた狭い地域画像化カバレージ（破線）の例示的な地図を示す図である。
【図7-1】好ましい実施形態に従った、湾曲の様々な線路半径において改良された線路カバレージを容易にする、視界画像化センサの広い地域および狭い地域の結合されたカバレージの例示的な描写を示す図である。
【図7-2】好ましい実施形態に従った、湾曲の様々な線路半径において改良された線路カバレージを容易にする、視界画像化センサの広い地域および狭い地域の結合されたカバレージの例示的な描写を示す図である。
【図7-3】好ましい実施形態に従った、湾曲の様々な線路半径において改良された線路カバレージを容易にする、視界画像化センサの広い地域および狭い地域の結合されたカバレージの例示的な描写を示す図である。
【図7-4】好ましい実施形態に従った、湾曲の様々な線路半径において改良された線路カバレージを容易にする、視界画像化センサの広い地域および狭い地域の結合されたカバレージの例示的な描写を示す図である。
【図8】地理的位置検知および地理的情報ならびにレンダリングで強化されたビデオ／視界処理に基づく、自動化された物体および障害物検出、追跡ならびに分類プロセスを含む、本開示の実施形態を示すブロック図である。
【図9】地理的位置検知および地理的情報ならびにレンダリングで強化されたビデオ／視界処理に基づく、自動化された物体および障害物検出、追跡ならびに分類プロセスを含む、本開示の実施形態の詳細ブロック図である。
【図10】例示的な線路検出および追跡プロセスを含む、本開示の実施形態の詳細ブロック図である。
【図10A】典型的な列車の線路に沿った熱的分布を示す図である。
【図11】本開示の実施形態による、線路ベースのレンジングと検出された線路の近傍における物体検出を結合する例示の線路検出および追跡プロセスを示す図である。
【図12】本開示の実施形態による、例示的な１組の人間物体シルエット、およびそのシルエットを前記人間物体を分類するために使用することができる隣接する部分に分解するモフォロジー処理の結果を示す図である。
【図13】本開示の実施形態による、例示的な１組の人間および動物（ロバ）のシルエット例、およびそのシルエットを前記人間物体を分類するために使用することができる隣接する部分に分解するモフォロジー処理の結果を示す図である。
【図14】本開示の実施形態による、物体が車両と検出された線路の近傍における人間とを含む線路の検出および物体の検出、ならびに検出されたシルエットを前記物体を識別し、分類するために使用することができる隣接する部分に分解するモフォロジー処理の結果の一例を示す図である。
【図15】本開示の実施形態による、歩いている人間が検出された線路を横断する線路の検出および物体の検出、ならびに、線路ベースのレンジングと人間物体を識別し分類するために使用することができる隣接する部分に検出されたシルエットを分解するモフォロジー処理との結果の一例を示す図である。
【図16】本開示の実施形態による、線路が部分的に検出され、計算された線路地図を使用して遠く離れた先の線路の近傍に位置する小さな物体を検出する、例示の線路場面を示す図である。
【図17】本開示の実施形態による、線路検出、線路ベースの地図および線路ベースのレンジングによって導かれた、分類目的のための物体および障害物検出ならびにシルエット分割の一例を示し、これにより、プロセスが全画像に適用され、その結果、所望の範囲で線路の近傍において局所化されたウインドウから抽出される一例を示す図である。
【図18】本開示の実施形態による、線路検出、線路ベースの地図および線路ベースのレンジングによって導かれた、分類目的のための物体および障害物検出ならびにシルエット分割の一例を示し、これにより、プロセスが所望の範囲で線路の近傍において局所化されたウインドウ内に適用される一例を示す図である。
【図19】本開示の実施形態による、線路検出、線路ベースの地図および線路ベースのレンジングによって導かれた、分類目的のための物体および障害物検出ならびにシルエット分割の別の例を示し、これにより、プロセスが所望の範囲で線路の近傍において局所化されたウインドウ内に適用される別の例を示す図である。
【図20】本開示の実施形態による、線路検出、線路ベースの地図および線路ベースのレンジングによって導かれた物体および障害物検出の別の例を示し、これにより、線路地図が、サイズベースの基準を満たさない検出候補を廃棄するように使用されている状況で、プロセスが、指定された画像ベースの線路地図内に適用される別の例を示す図である。
【図21-1】本開示の実施形態による、それぞれ地理的ベースの線路地図と比較した、線路検出、線路ベースの地図および線路ベースのレンジング、および、様々な閉塞状況において、線路を検出し、追跡し、マッピングするための機能を強化する際に２つの地図を相関させる一例を示す図である。
【図21-2】本開示の実施形態による、それぞれ地理的ベースの線路地図と比較した、線路検出、線路ベースの地図および線路ベースのレンジング、および、様々な閉塞状況において、線路を検出し、追跡し、マッピングするための機能を強化する際に２つの地図を相関させる一例を示す図である。
【図21-3】本開示の実施形態による、それぞれ地理的ベースの線路地図と比較した、線路検出、線路ベースの地図および線路ベースのレンジング、および、様々な閉塞状況において、線路を検出し、追跡し、マッピングするための機能を強化する際に２つの地図を相関させる一例を示す図である。
【図22】本開示による、鉄道障害物回避システム（Ｒａｉｌｗａｙ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ Ｓｙｓｔｅｍ：ＲＯＡＳ）の好ましいブロック図の処理構成を示す図である。
【図23】本開示による、較正において使用するためのボロメータ検知カーブを示す図である。
【図24】本開示による、超高感度画像センサのための機能性多重統合案を示す図である。
【図25】本開示による、ニューラル・ネット物体（ロバ）分類ソリューションの例示的な結果を示す図である。
【発明を実施するための形態】
【0024】
本出願は一般に、コンピュータ支援の画像および視覚システム、ならびに、鉄道アプリケーションにおける物体および障害物検出ならびに分類に有用な技術に関する。
【0025】
こうした鉄道安全および障害物／衝突回避アプリケーションにおいて、様々な列車搭載（たとえば、機関車）ＥＯセンサ（たとえば、熱赤外線画像センサおよび可視帯画像センサ）を使用して、鉄道場面を即時に調査し監視し、これにより、線路上またはその近傍で静止または移動している物体および障害物を検出し分類する。こうした検出、分類および警報は、運転手が運転する列車ならびに自動運転列車において使用することができる。
【0026】
こうした物体および障害物のＥＯ検出としては、たとえば、人、動物、車両および様々な人工物ならびに自然の残がい（たとえば、倒木）および様々な線路の故障があげられる。変化する日／夜の状態、範囲および天候状況における不都合な状況により、こうしたあり得る衝突に適時に対応する際に（たとえば、警報を生成する、列車の速度を落とす、列車を適時に停車させる）、どのようなものであれこうした検知および画像分析の難易度が高まる。
【0027】
そこで、現開示の一態様にしたがって、線路に沿った物体および障害物を検出し、分類する鉄道障害物回避システム（ＲＯＡＳ）のための車載前方視界画像化方法および装置が提供される。これにより、こうした（ａ）静止物体が、線路間、線路上および線路の近傍で位置決定され得、ならびにこうした（ｂ）進行している列車と差し迫った衝突を引き起こす可能性がある経路を有する移動物体。
【0028】
本明細書で提供される新しいＲＯＡＳによれば、これだけには限らないが好ましくは遠赤外線（Ｌｏｎｇ Ｗａｖｅ Ｉｎｆｒａ Ｒｅｄ：ＬＷＩＲ）映像装置および可視帯映像装置（ｖｉｓｉｂｌｅ ｂａｎｄ ｉｍａｇｅｒ：ＶＩＳ）といった前方視界画像化センサを組み込み、好ましくは即時に分析される即時の画像を提供する際に、こうした前方視界映像装置を結合して一体となった方法および装置がある。これにより、こうした分析は、一般的に４つの主処理機能モジュール、すなわち（ａ）線路検出および追跡モジュール（Ｒａｉｌ Ｄｅｔｅｃｔ ａｎｄ Ｔｒａｃｋ Ｍｏｄｕｌｅ：ＲＤＴＭ）、（ｂ）物体および障害物検出モジュール（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔ Ｍｏｄｕｌｅ：ＯＯＤＭ）、（ｃ）物体および障害物分類モジュール（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｃｌａａｓｓｆｙ Ｍｏｄｕｌｅ：ＯＯＣＭ）、および（ｄ）表示、ユーザ・インタフェースおよび警報モジュール（Ｄｉｓｐｌａｙ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ａｎｄ Ａｌａｒｍ Ｍｏｄｕｌｅ：ＤＵＡＭ）に適用する画像処理および視界処理アルゴリズムに基づく。最初の３つの主モジュールは、ＬＷＩＲおよびＶＩＳ画像化センサに別々に適用することができ、または代替として、こうしたＬＷＩＲおよびＶＩＳ画像／ビデオ出力は、画像融合プロセスを受けることがあり、この場合、３つのモジュールは、融合された画像ビデオ・ストリームに適用することができる。一般に、３つのモジュールは、別々のプロセスにおいても上記の融合された実施例においても、すべてＤＵＡＭに提供される。融合は、ユーザ表示装置のマン・マシン・インタフェース（ＭＭＩ）のための融合画像を有するよりは、主として決定機関をサポートするものである。
【0029】
ＲＯＡＳは、様々な状況により良く応答してＲＯＡＳを手助けする地理的情報で強化するのが好ましい。こうした地理的情報は、地理的位置モジュール（Ｇｅｏｇｒａｐｈｉｃａｌ Ｌｏｃａｔｉｏｎ Ｍｏｄｕｌｅ：ＧＬＭ）（たとえば、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ ：ＧＰＳ）装置、慣性ナビゲーション・システム（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ：ＩＮＳ）装置等を含む）、地理的情報モジュール（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｕｌｅ：ＧＩＭ）および３Ｄモジュール（３ＤＭ）から抽出することができ、これらすべてはＲＯＡＳソリューションに重要な即時データを提供する。ＧＬＭは、様々な列車安全基準を監視するために極めて重要な、即時の位置（および導出された速度）情報を提供することができる。ＧＬＭはＧＩＭ情報と共に、線路配置および３Ｄ地形データ、線路沿いのインフラ設備（たとえば、信号機、電気設備、線路転轍およびスイッチ）、轍叉等に関する即時の３Ｄ地理的情報を提供する。これらは、前記３Ｄ情報のカメラ視点を生成する際に３ＤＭに提供され、様々な典型的な列車運転状況に対して堅牢なソリューションを提供する際、および改良されたＲＯＡＳ性能を達成する際に、画像ベースの線路地図（Ｉｍａｇｅ Ｂａｓｅｄ Ｒａｉｌ Ｍａｐ：ＩＢＲＭ）と結合可能な地理的ベースの線路地図（Ｇｅｏ Ｂａｓｅｄ Ｒａｉｌ Ｍａｐ：ＧＢＲＭ）で使用される。
【0030】
ＲＤＴＭの好ましい実施形態は一般に、空間的線路検出（Ｓｐａｔｉａｌ Ｒａｉｌ Ｄｅｔｅｃｔ：ＳＲＤ）機能、時間的線路追跡（Ｔｅｍｐｏｒａｌ Ｒａｉｌ Ｔｒａｃｋ：ＴＲＴ）機能、線路ベースのレンジング（Ｒａｉｌ Ｂａｓｅｄ Ｒａｎｇｉｎｇ：ＲＢＲ）機能、およびＧＢＲＭ機能で強化されるのが好ましい画像ベースの線路地図（ＩＢＲＭ）機能を含む。ＳＲＤは、後続の個々の画像において空間的に線路を検出し、ＴＲＴは、検出された線路が、線路の形状および湾曲の半径の変化、線路の切り替え等に応じて、位置的および方向的に変化するのにしたがって経時的にその検出された線路を追跡する。追跡された線路から、絶えず更新されたＩＢＲＭが生成される。ＳＲＤは、画像化センサから検出された線路の各部分までの距離を決定するＲＢＲ機能に提供され、それにより、既知の（すなわち、標準的な）軌間（線路間）距離および画像化センサの光学的分解能（画素サイズおよび焦点距離）に基づいて距離が決定される。
【0031】
ＩＢＲＭは、様々な複雑な線路状況を扱うので特に重要である。線路は、列車が選択的に一方向に進むことができるが同時には進めない単線、または、両方向に同時に進むことができる複線によって、しばしば特徴付けられる。線路は、個々の線路の切り替えを可能とする複数の轍叉、転轍およびスリップによっても特徴付けられる。ＲＤＴＭは、各画像化センサに現に見えている線路セグメントを絶えず決定し、後続のＯＯＤＭ処理によって検出されることになる潜在的な障害物を含む可能性がある画像領域の輪郭を描くＩＢＲＭを生成する。
【0032】
ＩＢＲＭ出力は、たとえば、２本の実際の線路を含む線路サブ・セグメント（Ｒａｉｌ Ｓｕｂ Ｓｅｇｍｅｎｔ：ＲＳＳ）、それぞれの線路間の区域を含む内部線路セグメント（Ｉｎｔｅｒｎａｌ Ｒａｉｌ Ｓｅｇｍｅｎｔ：ＩＲＳ）、および外部線路セグメント（Ｅｘｔｅｒｎａｌ Ｒａｉｌ Ｓｅｇｍｅｎｔ：ＥＲＳ）を含む、いくつかのサブ・セグメントを含むのが好ましい。ＩＢＲＭのこうした分割は好ましく、それにより各サブ・セグメントに対して異なる処理、検出基準および感度が可能となる。
【0033】
ＩＢＲＭは、ＧＢＲＭによって強化され、および／または、ＧＢＲＭと融合するのが好ましく、それにより、湾曲した線路状況における線路閉塞、線路が急な地形高度の低下によって見えなくなる３Ｄ地形変化、線路のコントラスト、線路沿いのインフラ等における断続的な変化を表す近づきつつある線路轍叉といった問題に対処し、克服することができる。
【0034】
ＯＯＤＭの好ましい実施形態は通常、空間的物体および障害物検出（Ｓｐａｔｉａｌ Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔ：ＳＯＯＤ）機能、時間的物体および障害物追跡（Ｔｅｍｐｏｒａｌ Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｔｒａｃｋ：ＴＯＯＴ）機能、入力画像の受信、ならびにＩＢＲＭおよびＲＢＲ出力を含む。対象の物体および障害物は、ＩＢＲＭサブ・セグメントにおいて空間的に検出されるのが好ましい。こうした物体および他の物体は、静止していても移動していてもよく、どちらの場合も車載画像化センサが動くため、すべての物体（静止および非静止）は、画像化センサによって生成された画像シーケンスにおいて何らかの動きを示すことになる。ＲＢＲは、（範囲に依存する）空間的検出フィルタの形状および寸法を決定するために使用される。物体の異なる種類に対して、画像の動きは、こうした個々の画像位置における距離決定および導出された距離に基づいて輪郭を定めることができる。ＲＢＲは、電車または線路沿いの機器およびインフラの他の知られた寸法においてカテナリー使用した場合、カテナリー・ポスト・ベースのレンジング（Ｃａｔｅｎａｒｙ Ｐｏｓｔ Ｂａｓｅｄ Ｒａｎｇｉｎｇ：ＣＰＢＲ）に拡張することができる。カテナリー・ポストは通常、５０～７０メートルの間隔を有し、高さは５．８メートルである。このレンジングは、軌道が塞がれまたは閉塞されたとき（たとえば、雪または地形の変化により明白なＬＯＳを欠くことにより）に使用することができる。
【0035】
ＯＯＣＭの好ましい実施形態は通常、物体および障害物分類（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｃｌａｓｓｉｆｙ：ＯＯＣ）機能を含み、少なくとも、物体および障害物シルエット分析（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｓｉｌｈｏｕｅｔｔｅ Ａｎａｌｙｓｉｓ：ＯＯＳＡ）、および／または、物体および障害物ニューラル・ネット分析（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｎｅｕｒａｌ Ｎｅｔ Ａｎａｌｙｓｉｓ：ＯＯＮＮＡ）から出力を受信するのが好ましい。こうした分析および分類は、物体および障害物がＯＯＤＭによって検出され、追跡される局所化された領域でのみ実行されるのが好ましい。ここではまた、ＲＢＲは、分析および分類機能のうちのいくつかの少なくともスケーリング機能を制御する際に有益である。
【0036】
ＤＵＡＭは通常、外部のインタフェース、処理モジュールの有益なすべての出力を表示し、および／またはインタフェースをとるのに役立ち、様々なユーザ・インタフェースをサポートし、様々な警報、安全および通信機能を生成する。ＤＵＡＭはまた、ＧＬＭ、ＧＩＭおよび３ＤＭユニットから様々な入力を受信する。
【0037】
本明細書に記載の実施形態のいくつかの例示的なアプリケーションが、ここに以下で議論される。
【0038】
アプリケーション＃１ 運転手運転アプリケーション用の列車搭載前方視界ＥＯ検知および視覚システム
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置、ならびに分割画面ユーザ表示装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した運転手の作業負荷削減。
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置、ならびに分割画面ユーザ表示装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した運転手の作業負荷削減。
【0039】
アプリケーション＃２ 自動運転列車アプリケーション用の列車搭載前方視界ＥＯ検知および視覚システム
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した、列車のブレーキ・システムとのインタフェース、指令室との緊密な通信リンク。
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した、列車のブレーキ・システムとのインタフェース、指令室との緊密な通信リンク。
【0040】
アプリケーション＃３ 線路轍叉、鉄道駅および線路障害物アプリケーション用の線路沿いのＥＯ検知および視覚システム
（ａ）ＬＷＩＲおよびＶＩＳセンサまたは任意の他のセンサ（すなわち、レーザレーダ、レーダ・ベース等）といった様々な映像装置を使用した、連続的な日／夜の静止画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した、列車および指令室への通信リンクとのインタフェース。
（ａ）ＬＷＩＲおよびＶＩＳセンサまたは任意の他のセンサ（すなわち、レーザレーダ、レーダ・ベース等）といった様々な映像装置を使用した、連続的な日／夜の静止画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した、列車および指令室への通信リンクとのインタフェース。
【0041】
アプリケーション＃４ 線路インフラ予防保守アプリケーション用の列車搭載の上方／下方／前方視界ＥＯ検知および視覚システム
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）追跡、カテナリー、電気設備等に関する本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した、改善された予防保守。
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）追跡、カテナリー、電気設備等に関する本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類のための、自動化されたビデオ／視覚処理を使用した、改善された予防保守。
【0042】
アプリケーション＃５ 線路緊急（「ブラック・ボックス」）アプリケーション用の列車搭載のＥＯ検知および視覚システム
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類を使用した、事故、衝突、脱線および損害評価を含む改良された記録および警報対応、
（ｃ）真正な警報および誤認警報をロギングし、ＦＩＦＯ機構により、列車の位置に応じてアップロードし、適切でない場合には廃棄するために、高性能記憶ユニットが選択的に使用される。
列車としては、市街電車、都市電車、高速列車、貨物列車等があげられ、実施例は以下の原則に基づく。
（ａ）ＬＷＩＲおよびＶＩＳセンサといった様々な映像装置を使用した、連続的な日／夜の前方視界画像化および視覚処理、
（ｂ）本出願のいくつかの実施形態に基づく、物体および障害物検出、追跡ならびに分類を使用した、事故、衝突、脱線および損害評価を含む改良された記録および警報対応、
（ｃ）真正な警報および誤認警報をロギングし、ＦＩＦＯ機構により、列車の位置に応じてアップロードし、適切でない場合には廃棄するために、高性能記憶ユニットが選択的に使用される。
【0043】
上記の例示的なアプリケーションに照らして、本出願の主題は、物体および障害物検出、追跡ならびに分類を可能とし、それにより、各警報ならびに別の列車および鉄道アプリケーションへの応答を生成する一般化されたシステムおよび方法を提供する。こうした方法はまた、鉄道場面において、こうした離れた物体およびあり得る障害物を認識し、運転手の能力を向上させ、様々な運転状況を検出し、分類し、対処する運転手の知覚プロセスを加速するために使用することができる。こうした運転手専用アプリケーションの別の改良により、こうした運転手専用の運転の作業負荷が大幅に削減される。
【0044】
したがって、本開示の可能な実施形態によれば、鉄道アプリケーションおよび鉄道場面の監視およびモニタリングのための画像化システムが提供される。このシステムは一般に以下を含む。（ａ）画像装置（たとえば、昼光ビデオカメラ－ＣＣＤ、ＣＭＯＳ）、超微光装置（すなわち、極めて低い読み出しノイズを有するＣＭＯＳ映像装置）、暗視カメラ－冷却または非冷却の熱画像装置、ＦＬＩＲを含む画像化装置。（ｂ）鉄道の近傍で物体および障害物を検出し追跡するための画像／ビデオ／視覚処理ユニットは、コンピュータ、制御装置、ＤＳＰ、および処理ユニットによって実行するように設計されたソフトウェア・モジュール、または専用ハードウェア・モジュール（たとえば、ＩＣ、ＡＳＩＣ、ＦＰＧＡ）といった、１つまたは複数の処理ユニットを含むことができる。（ｃ）ユーザ・インタフェースおよび表示モニタ（タッチ・スクリーン・インタフェースを有するまたは有しない）を含む、制御および表示ユニット。したがって、本開示の可能な実施形態は、コンピュータ制御マシンならびに／またはハードウェア・モジュールおよびユニット、もしくはそれらの組み合わせによって実行されるソフトウェア・モジュール／プログラムによって実施され得る。
【0045】
検出システムの性能は通常、いくつかの主たるパラメータ、すなわち、検出の確率（Ｐｒｏｂａｂｉｌｉｔｙ ｏｆ Ｄｅｔｅｃｔｉｏｎ：ＰＤ）、分類の確率（Ｐｒｏｂａｂｉｌｉｔｙ ｏｆ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ：ＰＣ）、誤検出率（Ｆａｌｓｅ Ｄｅｔｅｃｔｉｏｎ Ｒａｔｅ：ＦＤＲ）、誤分類率（Ｆａｌｓｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｒａｔｅ：ＦＣＲ）によって定義される。鉄道アプリケーションおよび鉄道場面の特殊な性格により、ここでは別の重要なパラメータすなわちシステムの応答時間（ｒｅｓｐｏｎｓｅ ｔｉｍｅ：ＲＴ）が役割を果たしている。
【0046】
様々な物体が、進行している列車に様々な問題および決断を迫る。静止および移動している人間、動物および車両は、進行している列車内で様々な決断および反応を必要としている。泥、水、水たまり、雪、葉および群葉、ならびに天候および大気条件などの自然の影響は、任意の検知および分析プロセス、ならびに個々の意思決定プロセスに問題を引き起こす可能性がある。線路の不調は、線路の切断および線路の一部の欠落を含むことがある。湾曲した線路による線路閉塞といった線路沿いの影響、および線路の近傍の背景場面（たとえば、橋、柱など）、これらは誤検出および誤分類をもたらす可能性がある。
【0047】
したがって、本開示のいくつかの実施形態において、こうした物体特性の多様性を説明するために、異なる処理スキーム（たとえば、スクリプトまたはスレッド）が様々な対象物体に対して同時に並行して使用される。
【0048】
ＰＤ、ＰＣ、ＦＤＲ、ＦＣＲおよびＲＴが組み合わさって行われることにより、様々な対象物体および線路状況を取り扱うことに関して、線路検出および分類システムに柔軟性がもたらされ、一方、性能要求にも適合する。
【0049】
所要のスタンドオフ範囲において、物体検出および分類に続いて、車載ＲＯＡＳソリューションは通常、アルゴリズムを正しくチューニングする様々な短期および長期のマシン・ラーニング・プロセスを可能とする、こうした検出され、分類された物体に取り組む。たとえば、短期マシン・ラーニング適合の場合、スタンドオフ範囲における物体分類は、列車の速度を減速させることを求める場合があるが、こうした決定は、列車がこうした物体に接近したときに同一の物体が再分類されたすぐ後に、取り消されまたは変更される可能性がある。長期のマシン・ラーニング・プロセスはこのような誤りのある決定が改善および調整されるように処理アルゴリズムを更新し得る。こうしたプロセスはまた、物体がより明瞭になり、より多くの画素を占め、それによってより多くの情報を提供するので組み込みテスト（Ｂｕｉｌｔ Ｉｎ Ｔｅｓｔ：ＢＩＴ）と考えることができ、ただし、近接した範囲での活動行動は、運転の視点からは必ずしも適切であるとは言えないものの、検出および分類アルゴリズムのその後の改良および向上に極めて重要になり得る。
【0050】
次に図１を参照すると、典型的な前方視界、車載鉄道場面画像５０、およびいくつかの実施形態にしたがって生成された個々の視覚処理ベース線路地図５４が示されている。ビュー５０は、鉄道場面ビュー５２を提供する車載画像化ユニット上の前方視界を使用して、本明細書に提供された典型的なＲＯＡＳアプリケーション、および経時的に生成され更新された個々の視覚処理ベースのＩＢＲＭビュー５４を示す。ＩＢＲＭは、様々に複雑な鉄道状況を扱っているので特に重要である。鉄道はしばしば、列車が、選択的に同時にではなく一方向に進むことができる単線、または、両方向に同時に進むことができる複線によって特徴付けられる。鉄道はまた、それぞれの線路切り替えを可能とする、複数轍叉、転轍およびスリップによって特徴付けられる。ＲＤＴＭは、各画像化センサに現に見えている鉄道セグメントを絶えず決定し、後続のＯＯＤＭ処理によって検出されることになる、あり得る障害物を含む可能性がある画像領域の概要を示すＩＢＲＭを生成する。
【0051】
ＩＢＲＭ出力ビュー５４は、たとえば、2本の実際の線路５５ａ（左線路）および５５ｂ（右線路）を含む線路サブ・セグメント（Ｒａｉｌ Ｓｕｂ Ｓｅｇｍｅｎｔ：ＲＳＳ）、各線路間の領域を含む内部線路セグメント（Ｉｎｔｅｒｎａｌ Ｒａｉｌ Ｓｅｇｍｅｎｔ：ＩＲＳ）部分５６、および、３つのサブ・セグメント、すなわち左外部サブ・セグメント・ユニット５７ａ、右外部サブ・セグメント・ユニット５７ｂ、および遠隔サブ・セグメント・ユニット５７ｃにさらに区分することができる、外部線路セグメント（Ｅｘｔｅｒｎａｌ Ｒａｉｌ Ｓｅｇｍｅｎｔ：ＥＲＳ）部分５７を含む、いくつかのサブ・セグメントを含むのが好ましい。ＩＢＲＭのこうした区分は多くの場合好ましく、それにより各サブ・セグメントに対する様々な処理、検出基準および感度が可能となる。
【0052】
ＲＯＡＳは通常、十分に長い距離での障害物検出および警報を必要とし、それにより、高速で進行している列車を停止させるようにし、または、少なくとも速度を緩めて、障害物を避けるため、または少なくとも被害を最小化するための別の対応手段を可能にし、（運転手運転列車で）運転手がしかるべく応答できるようにする。画像化センサ・アプリケーションにおいて、通常は強化された光学分解能（すなわち、狭い視界センサ（Ｎａｒｒｏｗ Ｆｉｅｌｄ ｏｆ ｖｉｅｗ Ｓｅｎｓｏｒ：ＮＦＳ））が求められる。物体および障害物検出および分類のためには十分な分解能が提供されるが、ＮＦＳの狭い視界はまた、それが列車の正面中心部（ｆｒｏｎｔａｌ ａｘｉｓ）に取り付けられた場合、典型的な湾曲線路状況において限界をもたらし、それにより延長された範囲の線路部分は、ＮＦＳの狭い視界の外に零れ落ちる可能性がある。さらに、鉄道はしばしば複数の隣接し交差する線路を含み、その結果、ＮＦＳは進行している列車のそれぞれの線路について混同する場合があり、それにより、その線路に関する特別の障害物を指摘する能力が制限される（たとえば、差し迫った衝突を引き起こさない隣接した線路上を接近してくる列車）。ＮＦＳと広視界センサ（Ｗｉｄｅ Ｆｉｅｌｄ ｏｆ ｖｉｅｗ Ｓｅｎｓｏｒ：ＷＦＳ）との間で十分なオーバーラップ範囲を有するＷＦＳなどの別の画像化センサは、こうした状況において十分な助けとなり、これにより、ＷＦＳはより短い範囲で各線路および線路地図の検出を容易にし、ＷＦＳ画像中の遠方へこうした線路の追跡を可能とし、どこおよびどちらがその列車のそれぞれの線路であるかを示すＮＦＳ画像への円滑な引き継ぎが容易となり、結果として、物体／障害物の検出および指摘を正しく実行することが可能となる。
【0053】
次に図２を参照すると、いくつかの実施形態による、長距離線路検出および物体／障害物検出用の狭い視界画像化センサ（ＮＦＳ）１０６、ならびに、改善された長距離線路検出および物体／障害物検出のために、狭い視界画像化センサと関連付けることができる短距離線路検出用の広い視界画像化センサ（ＷＦＳ）１０９が示されており、それらのそれぞれの視界は線路を超えている。ビュー１００は、本明細書で提供される実施形態による、長距離線路検出および物体／障害物検出用のＮＦＳ画像化状況、ならびに、改良された長距離線路検出および物体／障害物検出のために、狭い視界画像化センサと関連付けることができる短距離線路検出用ＷＦＳ画像化状況を示す。
【0054】
先に述べたように、どの前方視界ＲＯＡＳソリューションの場合においても、画像化された線路のうちのどちらが各列車と関連付けられるかを正しく決定することが極めて重要である。ビュー１０２およびビュー１０４は、どの線路が議論の列車とそれぞれ関連付けられるかについて曖昧さを示す、２つの例示的なＮＦＳ画像化状況を表している。曖昧さは通常、ＮＦＳが広い範囲を画像化するためには、その視線（Ｌｉｎｅ Ｏｆ Ｓｉｇｈｔ：ＬＯＳ）を十分に上げなければならず、結果としてビュー１０６Ａに示すように死角１０７が広くなる（たとえば、通常１００～２００メートル）という事実から生ずる。こうした死角内で、線路の湾曲および転轍が発生することがあり、その結果、列車の前方に延びる正確な線路を曖昧に選択することになる。こうした曖昧さおよび広い死角は、ビュー１０９Ａに示すようにＷＦＳ１０９を加えることによって解決し、ここでは死角はかなり狭くなる（たとえば、通常は数メートル）。ビュー１０８はＷＦＳ画像を示し、ここでは画像分析によりこのような展開中の湾曲および転轍が検出され、その結果、ＷＦＳ内の線路を正確に追跡し、それらをＮＦＳ内で検出された線路と関連付けることができる。
【0055】
図３を参照すると、いくつかの実施形態による、改善された物体／障害物検出および衝突回避のために、ＷＦＳ短距離範囲分析とＮＦＳ長距離範囲分析を結合した効果を表す、２つのそれぞれ広い視界場面および狭い視界場面が示されている。ビュー１１２は、ＷＦＳの湾曲した線路の例を表し、ビュー１１４は、ビュー１１２中の破線の長方形によって輪郭を描かれた個々のＮＦＳ場面である。線路に隣接する画像および線路間の画像の構造のために、ＮＦＳのみを使用した場合、正確な線路を選択することは非常に困難である。さらに、ＮＦＳにおいて、接近してくる（または静止している）列車は見ることができるが、それが隣接する線路を使用しているのか（この場合は安全である）、またはこちらと同じ線路を使用しているのか（この場合は衝突が差し迫っている）が不明瞭である。ビュー１１６は、真っ直ぐな線路を示す別のＷＦＳの場面であるが、個々のＮＦＳビュー１１８で見るように、線路領域が雑然としており、列車の正確な線路を決定するのに困難をもたらしている。
【0056】
図４を参照すると、本開示のいくつかの実施形態において提供される、前方視界車載画像化センサが、列車が転轍、スリップおよび轍叉を超えて進行する個々の線路の自動的な決定をサポートするときの、こうした画像化状況の複雑性を表す、様々な線路の転轍、スリップおよび轍叉の例が示されている。様々な線路の転轍、スリップおよび轍叉の例示的なビュー１２３～ビュー１２８は、本発明のいくつかの実施形態において提供される、前方視界車載画像化センサが、列車がこうした転轍、スリップおよび轍叉を超えて進行する個々の線路を自動的に決定するときの、こうした画像化状況の複雑性を表す。たとえば、ＷＦＳがこうした転轍、スリップおよび轍叉を検出すると、列車の隣の近接した領域を辿る線路を決定し、列車の前方への移動を継続する線路を提示する、専門の機能を起動することができる。
【0057】
図５を参照すると、鉄道１３１Ａの例示の地図ユニット１３１、個々の断続的な接線１３４および接線１３４に沿って１キロメートル離れた狭い地域の画像化範囲区域１３２が表され、現時点で記載された実施形態にしたがって通常起こる、わずかに線路が曲がった地点（非常に大きな湾曲半径）において、線路がほとんど狭い範囲の視界から見ることができない状況が示されている。次に参照する図６は、鉄道１３３Ａの例示的な地図ビュー１３３およびいくつかの個々の断続的な接線１３４Ａ、１３６Ａおよび１３８Ａ、ならびに１キロメートル離れた場所の個々の狭い地域画像化範囲ビュー１３４，１３６，１３８が表され、現時点で記載された実施形態にしたがって通常起こる、線路の曲がり度合いが急な場所（湾曲の小さな半径）において、線路が狭い範囲地域で見ることができない状況が示されている。結合されたＷＦＳおよびＮＦＳソリューションの別の重要な効用は、線路の検出および追跡が可能となり、更新されたＩＢＲＭが生成されることにより、線路がＷＦＳによりＮＦＳ範囲から幾何学的に変位されるように決定された場合、ＮＦＳ分析による誤った線路検出を回避することに加えて、ＷＦＳが個々の線路が位置決定されることになるオーバーラップ領域が原因でＮＦＳに指定されることである。
【0058】
次に図７－１～図７－４を参照すると、好ましい実施形態による、様々な湾曲の線路半径における改良された線路範囲を容易にする、広い視界および狭い視界を有する画像化センサの結合された範囲を例示的に示している。ＷＦＳおよびＮＦＳ映像装置の結合された範囲の例示の上面図１４２および側面図１４４描写は、様々な湾曲の線路半径（Ｒａｉｌ Ｒａｄｉｕｓ Ｏｆ Ｃｕｒｖａｔｕｒｅ：ＲＲＯＣ）発生において、改良された線路範囲を容易にすることを示している。この説明例において、ＷＦＳ ＦＯＶ（ＷＦＯＶ）は２βであり、ＮＦＳ ＦＯＶ（ＮＦＯＶ）は２αである。垂直軸と個々のＲＲＯＣにおいてＷＦＯＶおよびＮＦＯＶ角境界と交差する線との間に広がる角円弧θは、それぞれ、θＷ＝２β、およびθＮ＝２αで与えられる。円弧が交差する点は、列車からの距離Ｍおよび水平軸（または列車ＬＯＳ）からのオフセットＯを表す：ＭＷ＝ＲＲＯＣＸＳｉｎ２βおよびＯＷ＝ＲＲＯＣＸ（１－Ｃｏｓ２β）、ＭＮ＝ＲＲＯＣＳｉｎ２αおよびＯＮ＝ＲＲＯＣ（１－Ｃｏｓ２α）。ＷＦＳ範囲（ＷＦＳＣ）は、ＷＦＳＣ＝２ＲＳｉｎβで与えられ、およびＮＦＳ範囲（ＮＦＳＣ）は、ＮＦＳＣ＝２ＲＳｉｎαで与えられる。
【0059】
特定の動作点に対して定義されたパラメータ設定の例
（ａ）１７ｕｍのＬＷＩＲ ＮＦＳ画素サイズの場合、１９０ｍｍのＮＦＳ焦点距離は０．０９ｍｒの瞬間視界（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｆｉｅｌｄ ＯＦ Ｖｉｅｗ：ＩＦＯＶ）となる。１０００メートルでこれは約９ｃｍのピクセル・フットプリントとなる。すなわち人の頭の直径当り約２画素である。その結果、ＮＦＯＶ＝３．３度、および、１０００メートルの範囲では、ＮＦＳＣ＝５８メートルである。
（ｂ）１７ｕｍのＬＷＩＲ ＷＦＳ画素サイズの場合、１９ｍｍのＷＦＳ焦点距離は０．９ｍｒの瞬間視界（ＩＦＯＶ）となる。５００メートルでこれは約４５ｃｍのピクセル・フットプリントとなる。すなわちこうした５００メートルの距離では約３画素の線路軌間である。その結果、ＷＦＯＶ＝３３度、および、５００メートルの範囲ではＷＦＳＣ＝５９２メートルである。
（ａ）１７ｕｍのＬＷＩＲ ＮＦＳ画素サイズの場合、１９０ｍｍのＮＦＳ焦点距離は０．０９ｍｒの瞬間視界（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｆｉｅｌｄ ＯＦ Ｖｉｅｗ：ＩＦＯＶ）となる。１０００メートルでこれは約９ｃｍのピクセル・フットプリントとなる。すなわち人の頭の直径当り約２画素である。その結果、ＮＦＯＶ＝３．３度、および、１０００メートルの範囲では、ＮＦＳＣ＝５８メートルである。
（ｂ）１７ｕｍのＬＷＩＲ ＷＦＳ画素サイズの場合、１９ｍｍのＷＦＳ焦点距離は０．９ｍｒの瞬間視界（ＩＦＯＶ）となる。５００メートルでこれは約４５ｃｍのピクセル・フットプリントとなる。すなわちこうした５００メートルの距離では約３画素の線路軌間である。その結果、ＷＦＯＶ＝３３度、および、５００メートルの範囲ではＷＦＳＣ＝５９２メートルである。
【0060】
先に述べたように、選択された垂直仰角状況では、ＮＦＳ最大画像化範囲＝１０００メートル、およびＷＦＳ最大画像化範囲＝８００メートル、その結果、ＮＦＳ死角は約１５７メートルおよびその範囲でＮＦＳＣ＝９メートル、ならびにＷＦＳ死角は約９メートルおよびその範囲でＷＦＳＣ＝５メートルである。こうした仰角において、ＮＦＳとＷＦＳとの間にはかなりの範囲の重複があることに留意されたい。
【0061】
以下の表ではＲＲＯＣは許容できる列車速度と密接に関連している。
【表1】
【0062】
以下はＲＲＯＣに基づくいくつかの計算数値である。
【表2】
【0063】
上記からわかるように、ＬＷＩＲ ＮＦＳに対して長距離で十分な分解能を可能としても、得られるＮＦＯＶは非常に小さく、線路湾曲の場合に不十分である。たとえば、時速２００～２５０ｋｍで運転する列車の場合、約２０００メートルの最小ＲＲＯＣが可能となり、ＮＦＳを超える場合は、ＮＦＳ範囲が線路から離れる前に約１１６メートルという比較的短距離になる。この制限を克服するための好ましい実施形態によれば、ＮＦＳ装置は、ビュー１６２に示すように動作をパンニングするように構成することができる。ＷＦＳは、個々の線路の一般的な角位置を決定し、ＮＦＳは、所望の範囲で、たとえば外部パンニング・ミラーまたは全ＮＦＳの機械的パンニング・ユニットを使用して、ＦＯＶ中に線路を含むように角度的に指図される。
【0064】
ビュー１７２によって示された別の好ましい実施形態によれば、ＮＦＳはズーム機能を含み、それによりＮＦＯＶは、湾曲のきつい線路状況の場合により広い角範囲を可能とするために増大し、またはより長い距離を得るために縮小する。増大したＮＦＯＶは分解能を下げることにより得られるが、これは通常、対象の範囲は一般に、たとえばＬＯＳ妨害により湾曲した線路状況において短縮化されるという事実によって埋め合わされている。
【0065】
別の好ましい実施形態がビュー１８２に示されており、ここでは互い違いに配された複数のＮＦＳ映像装置が、ＦＯＶの可変焦点距離および幅を組み込んでおり、それにより、いかなる可動部品を備えることなく広い角参照地域（Ｆｉｅｌｄ Ｏｆ Ｒｅｇａｒｄ：ＦＯＲ）をカバーし、信頼性を高めている。使用されるＮＦＳ映像装置の数は、５つのＮＦＳ映像装置を使用することにより得られる範囲を示すビュー１８４、および３つだけのＮＦＳ映像装置を使用することにより得られる範囲を示すビュー１８６に表されるように、必要条件およびシステム要件に応じて変わり得る。複数のＮＦＳ映像装置とＷＦＳ映像装置の組合せも可能である。
【0066】
ＷＦＳおよびＮＦＳ映像装置の結合された使用法が、概して、指定された停止距離によって決まる高速列車用の検出距離が増加するのにしたがって求められる。たとえば都市の市街電車および低速の都市電車の場合、列車の速度が低下するので、検出距離および停止距離が大幅に減少するため、1台のＷＦＳで十分である。それゆえにＷＦＳおよびＮＦＳ映像装置の結合された使用法はモジュール式であり、それによりＷＦＳおよびＮＦＳ映像装置の構成は、総称的なＲＯＡＳが設計されるように追加方式で設計されており、モジュールの追加が可能であり、そのため様々な低速および高速で進行している列車をサポートすることができる。
【0067】
次に図８を参照すると、本発明の実施形態による、車載前方視界画像化ユニットを含む機器によって実行されるＲＯＡＳのための方法のブロック図が示されている。この方法は、線路沿いの物体および障害物を検出し、分類し、それにより、ａ）こうした静止物体が、線路間、線路上および線路の近傍で位置決定され得、ｂ）進行している列車と差し迫った衝突を引き起こす可能性がある経路を有する移動物体。このプロセスは、好ましくは地理的位置検知および地理的情報ならびにレンダリングにより強化されたビデオ／視覚分析処理により、自動的な物体および障害物検出、追跡ならびに分類を提供する。
【0068】
図８に示すように、前方視界画像化センサ、これだけには限らないが、好ましくは、遠赤外線（Ｌｏｎｇ Ｗａｖｅ Ｉｎｆｒａ Ｒｅｄ：ＬＷＩＲ）映像装置および可視帯映像装置（ＶＩＳ）を組み込み、さらに好ましくは、即時に分析される即時の画像を提供する際に、こうした前方視界映像装置を結合したＲＯＡＳ、方法および装置２００が提示される。装置２００は、位置測定値を提供するためのＧＥＯ位置モジュール（ＧＬＭ）２０２、ＧＥＯ測定値を処理するためのＧＥＯ情報モジュール（ＧＩＭ）２０４、および３Ｄ ＧＥＯ情報を処理し提供するための３Ｄモジュール（３ＤＭ）２０６を含む。
【0069】
入手された画像情報の分析は、一般的に４つの主処理機能モジュール、すなわち線路検出および追跡モジュール（Ｒａｉｌ Ｄｅｔｅｃｔ ａｎｄ Ｔｒａｃｋ Ｍｏｄｕｌｅ：ＲＤＴＭ）モジュール２１０、物体および障害物検出モジュール（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔ Ｍｏｄｕｌｅ：ＯＯＤＭ）モジュール２２０、物体および障害物分類モジュール（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｃｌａｓｓｉｆｙ Ｍｏｄｕｌｅ：ＯＯＣＭ）モジュール２３０、および表示、ユーザ・インタフェースおよび警報モジュール（Ｄｉｓｐｌａｙ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ａｎｄ Ａｌａｒｍ Ｍｏｄｕｌｅ：ＤＵＡＭ）モジュール２４０に適用する画像処理および視界処理アルゴリズムに基づく。最初の３つのモジュール２１０、２２０および２３０は、ＬＷＩＲおよびＶＩＳ画像化センサから別々に適用することができる。代替として、こうしたＬＷＩＲおよびＶＩＳ画像／ビデオ出力は、画像融合プロセスを受けることがあり、この場合、最初の３つのモジュールは、融合された画像ビデオ・ストリームに適用することができる。一般に、最初の３つのモジュールはすべて、別々のプロセスにおいても上記の融合されたビデオ・ストリーム実施例においても、すべてＤＵＡＭモジュール２３０に提供される。
【0070】
ＲＤＴＭ（Ｒａｉｌ Ｄｅｔｅｃｔ ａｎｄ Ｔｒａｃｋ Ｍｏｄｕｌｅ：線路検出および追跡モジュール）の主要機能が、列車と関連付けられた個々の線路を検出し、追跡し、マッピングし、指定するように構成され、それにより、後続の決定された線路地図内で物体および障害物を選択的に検出することを可能とする、モジュール２１１によって示されている。ユニット２２１は、線路地図領域内でのＯＯＤＭの機能を示す。物体および障害物が線路地図区域内で検出され、引き続きユニット２３１で示すように分類される。
【0071】
ＲＯＡＳの処理された画像出力は、様々な状況により良く応答するようにＲＯＡＳを助ける地理的情報で強化されるのが好ましい。こうした地理的情報は、ＧＬＭモジュール２０２（たとえばＧＰＳ、ＩＮＳなどを含む）、ＧＩＭモジュール２０４および３ＤＭモジュール２０６から導出可能であり、これらすべてが、ＲＯＡＳソリューション処理のための重要な即時の補助的データを提供する。ＧＬＭモジュール２０２は、様々な列車安全基準を監視するために極めて重要な、即時の位置（および導出された速度）情報を提供することができる。ＧＬＭモジュール２０２は、ＧＩＭ情報と共に、線路配置および３Ｄ地形データ、線路沿いのインフラ設備（たとえば、信号機、電気設備、線路転轍およびスイッチ）、踏切等に関する即時の３Ｄ地理的情報を提供することができる。ＧＩＭモジュール２０４の生成物は、３Ｄ情報のカメラ視点を生成するために３ＤＭモジュール２０６に提供され、様々な典型的な列車運転状況に対して堅牢なソリューションを提供する際、および改良されたＲＯＡＳ性能を達成する際に、ＩＢＲＭ（画像ベースの線路地図：Ｉｍａｇｅ Ｂａｓｅｄ Ｒａｉｌ Ｍａｐ）と結合可能なＧＢＲＭ（地理的ベースの線路地図：Ｇｅｏ Ｂａｓｅｄ Ｒａｉｌ Ｍａｐ）で使用される。
【0072】
次に図９を参照すると、本発明の実施形態による、地理的位置検知および地理的情報を使用することによって強化されることが好ましい、ビデオ／視覚分析処理に基づく自動的な物体および障害物検出、追跡および分類プロセスの詳細なブロック図２４２が示されている。
【0073】
好ましい実施形態によれば、ＲＤＴＭモジュール２１０は、空間的な線路検出（ＳＲＤ）機能モジュール２１２、時間的な線路追跡（ＴＲＴ）機能モジュール２１４、距離ベースのレンジング（ＲＢＲ）機能モジュール２１５、および地理的ベースの線路地図（ＧＢＲＭ）機能モジュール２１７によって強化されるのが好ましい画像ベースの線路地図（ＩＢＲＭ）機能モジュール２１６を含むことができる。ＳＲＤモジュール２１２は、後続の個々の画像において空間的に線路を検出するように構成され、ＴＲＴモジュール２１４は、変化する線路の形状および湾曲の半径、線路切り替え等に応じて、検出された線路が、画像フレーム位置内で場所を変える（「パン」）、および／または、画像の向きがフレームからフレームに変化する（「回転する」）場合に、その検出された線路を経時的に追跡するように構成される。その追跡された線路から、絶えず更新されたＩＢＲＭが生成される。ＳＲＤモジュール２１２は、画像化センサから検出された線路の各部分／セクションまでの距離を決定するように構成されたＲＢＲ機能モジュール２１５に提供され、それにより、たとえば、既知の（すなわち、標準的な）軌間（線路間）距離および画像化センサの光学的分解能（画素サイズおよび焦点距離）に基づいて距離を決定することができる。
【0074】
上の、たとえば図１に示され説明されたＩＢＲＭは、様々な複雑な線路検出状況を扱うので特に重要である。線路は、列車が選択的に一方向に進むことができるが同時には進めない単線、または、両方向に同時に進むことができる複線によって、しばしば特徴付けられる。線路は、個々の線路の切り替えを可能とする複数の轍叉、転轍およびスリップによっても特徴付けられる。ＲＤＴＭは、各画像化センサに現に見えている線路セグメントを絶えず決定し、後続のＯＯＤＭ処理によって検出されることになる潜在的な障害物を含む可能性がある画像領域の輪郭を描くＩＢＲＭを生成するように構成される。
【0075】
ＩＢＲＭは、ＧＢＲＭによって強化され、および／または、ＧＢＲＭと融合するのが好ましく、それにより、ＧＢＲＭモジュール２１７からのデータが、湾曲した線路状況における線路閉塞、線路の画像が急な地形高度の低下によって見えなくなる３Ｄ地形変化、線路のコントラスト、線路沿いのインフラ等における断続的な変化を表す近づきつつある線路轍叉といった問題に対処し、克服することができる。
【0076】
好ましい実施形態において、ＯＯＤＭユニット２２０は、空間的物体および障害物検出（ＳＯＯＤ）機能モジュール２２２、入力画像を受信するように構成された、時間的な物体および障害物追跡（ＴＯＯＴ）機能モジュール２２４、ならびにＩＢＲＭモジュール２１６およびＲＢＲモジュール２１５出力を含む。対象の物体および障害物は、個々のＩＢＲＭサブモジュールにおいて空間的に検出されるのが好ましい。こうした物体および他の物体は、静止していても移動していてもよく、どちらの場合も車載画像化センサが動くため、すべての物体（静止および非静止）は、画像化センサによって生成された画像フレーム・シーケンスにおいて何らかの動きを示すことになる。ＲＢＲモジュール２１５は、距離に依存する空間的検出フィルタの形状および寸法を決定するように構成される。物体の異なる種類に対して、画像の動きは、こうした個々の画像位置におけるサイズの決定、および関連した導出された距離に基づいて輪郭を定めることができる。
【0077】
好ましい実施形態において、ＯＯＣＭ（Ｏｂｊｅｃｔ ａｎｄ Ｏｂｓｔａｃｌｅ Ｃｌａｓｓｉｆｙ Ｍｏｄｕｌｅ：物体および障害物分類モジュール）２３０は一般に、少なくとも、物体および障害物シルエット分析（ＯＯＳＡ）モジュール２３２、および／または、物体および障害物ニューラル・ネット分析（ＯＯＮＮＡ）モジュール２３４から出力を受信するように構成するのが好ましい、分類物体および障害物分類（ＯＯＣ）機能モジュール２３６を含むことができる。こうした分析および分類は、物体および障害物がＯＯＤＭモジュール２２０によって検出され、追跡された局所化された領域でのみ実行されるのが好ましい。ＲＢＲモジュール２１５も、分析および分類機能のうちの少なくともスケーリング機能を制御する際に有益である。ＯＯＣＭモジュール２３０は、機械学習プロセスとすることができ、これにより、ＯＯＳＡモジュール２３２およびＯＯＮＮＡモジュール２３４の両方が、様々な物体および障害物画像上で訓練され、選択された検出区域に局所的に適用される。ＯＯＮＮＡモジュール２３４は、モジュール２２０の代わりに独自の検出プロセスを組み込むことができる。
【0078】
ＤＵＡＭ（Ｄｉｓｐｌａｙ， Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ａｎｄ Ａｌａｒｍ Ｍｏｄｕｌｅ：表示、ユーザ・インタフェースおよび警報モジュール）２４０は通常、処理モジュールの有益な出力を表示し、様々なユーザ・インタフェースをサポートし、様々な警報、安全および通信機能を生成する働きをする。ＤＵＡＭモジュール２４０はまた、ＧＬＭモジュール２０２、ＧＩＭモジュール２０４および３ＤＭモジュール２０６から様々な入力を受信する。
【0079】
次に図１０を参照すると、例示的なＲＤＴＭ（Ｒａｉｌ Ｄｅｔｅｃｔ ａｎｄ Ｔｒａｃｋ Ｍｏｄｕｌｅ：線路検出および追跡モジュール）を含む、本開示の一実施形態の詳細ブロック図２５０が示されている。ＲＤＴＭは、ＷＦＳ映像装置およびＮＦＳ映像装置双方のために設計されており、それによって、パラメータを変更することにより、個々のこうした映像装置を最適化することが可能である。さらに、ハンドオーバー機構を付加することにより、２台の映像装置間でのハンドシェーク・オペレーションが容易になり、その結果、ＷＦＳ映像装置は、ＮＦＳ映像装置入手場面中に予期される線路位置を容易に指摘することができる。モジュール２５０は、ＲＤＴＭプロセスの好ましい実施形態を提供し、それにより、映像装置から受信された入手画像をステップ２５１において少なくとも２つのセグメント、すなわち短距離をカバーする第１の（より低い）セグメントＳ１、および短距離およびより長い距離の両方をカバーする第２の（より大きな）セグメントＳ２に分割することができる。
【0080】
Ｓ１およびＳ２の選択的な使用は、図１０Ａに示したように、線路のはっきりとした物理的な熱的効果を利用しようとするものであり、これについても次に参照する。ユニット２８０は、レール・ヘッド２８０Ａ、レール・ウェブ２８０Ｂおよびレール・フット２８０Ｃを含む鋼鉄製の線路を示す。レール・ヘッド２８０Ａは通常、丸い角を有する平坦な上面であり、通過する列車の車輪により絶えず磨かれるため一般に線路に沿って非常に反射率が高く、それにより、セグメント２８０Ａは、天空放射（矢印２８１Ａで示す）を反射し、地面および大気の温度よりも一般的にかなり低い。これに反して、ウェブ・セグメント２８０Ｂおよびフット・セグメント２８０Ｃは、地面から吸収される熱によりレール・ヘッド・セグメント２８０Ａよりも比較的熱い。ＬＷＩＲ映像装置の事前セットされた白熱の表示画面において、空は黒く見え、十分な地上分解能で観察すると、レール・ヘッドは、地面および他の線路部分（たとえば、ウェブおよびフット・セグメント）と比較すると黒く見える。画像化距離が伸びるにつれて、地上分解能が低下し、狭い反射セクションが放射レール・セクション（たとえばレール・ヘッドの磨かれない部分、レール・ウェブおよびレール・フット）と共に映像装置の画素によって平均化され、それにより、線路の放射行動は、表面の凹凸および様々な表面のさびのレベルにより一般的に拡散しやすい。一般的に、線路は、地面および他の線路に関連するインフラよりもより多い流量を放射する。相対的な放射行動は、降水量、雪等を含む、様々な気温、天候条件により変化する。類似の反射率効果は、ＶＩＳ映像装置の可視帯において表され、それにより、天空／太陽反射率は一般に地面および線路インフラよりも高い。
【0081】
たとえばセグメントＳ１といった短距離における反射率効果は重要であり、ＲＤＴＭが、効果的かつ堅牢に、入手された画像内で列車の個々の線路を識別し連続追跡することを可能とし、さらに、天空反射率から放射までの明確な移転を使用することにより、画像セグメントＳ２において、長距離における線路の検出を改善するために使用される。線路の結合された反射率／放射効果を有利に使用すること、およびその検出および追跡は、本開示および発明の主要な要素である。
【0082】
上記はブロック図２５０でより詳細に記載されており、ステージ２５２～２６２では、セグメントＳ１における線路の識別が行われ、ステージ２６３～２７０では、セグメントＳ２における線路の識別が行われる。最後に、ステージ２７１で、セグメントＳ１およびセグメントＳ２で識別された線路の結合が行われ、２つのプロセス間のハンドシェークに基づいて、適切な連続性が保証される。
【0083】
ステージ２５２において、システム構成パラメータおよび初期設定に基づいて、Ｓ１の大きさが決定される。ステージ２５３において、線路構造を検出するように設計された検出フィルタが適用される。１つの好ましい実施例は、２つの中心が囲まれたメジアン・フィルタ（ＭＦ）間の差の畳み込みであり、これによりフィルタの大きさは、個々のＷＦＳおよびＮＦＳ ＩＦＯＶおよび線路が検出される選択された距離に基づく。検出フィルタ（ＤＦ）の例示的な設定は以下を含む。
ＤＦ＝ＭＦ［５Ｘ５］－ＭＦ［２１Ｘ５］
ここで、個々の大きさは［Ｈｏｒｉｚｏｎｔａｌ×Ｖｅｒｔｉｃａｌ］であり、次いで、ＤＦ出力が個々のセグメント内でＤＦヒストグラム統計情報を使用して、以下のように閾値にかけられる。
（ａ）ＬＷＩＲ映像装置／白熱設定：負の閾値Ｔ１＝－ｋ１σ反射率検出用および正の閾値Ｔ２＝ｋ２σ放射検出用、および
（ｂ）ＶＩＳ映像装置：正の閾値Ｔ３＝ｋ３σ鏡面反射率検出用および負の閾値Ｔ４＝－ｋ４σ拡散反射率検出用。
ＤＦ＝ＭＦ［５Ｘ５］－ＭＦ［２１Ｘ５］
ここで、個々の大きさは［Ｈｏｒｉｚｏｎｔａｌ×Ｖｅｒｔｉｃａｌ］であり、次いで、ＤＦ出力が個々のセグメント内でＤＦヒストグラム統計情報を使用して、以下のように閾値にかけられる。
（ａ）ＬＷＩＲ映像装置／白熱設定：負の閾値Ｔ１＝－ｋ１σ反射率検出用および正の閾値Ｔ２＝ｋ２σ放射検出用、および
（ｂ）ＶＩＳ映像装置：正の閾値Ｔ３＝ｋ３σ鏡面反射率検出用および負の閾値Ｔ４＝－ｋ４σ拡散反射率検出用。
【0084】
ステージ２５４において、図形分野の領域を検出するためにブロブ分析が適用される。ステージ２５５において、細線化プロセスが適用され（たとえば、ブロブ区域内の各行の水平極値画素を概要化または平均化する）、候補線となり、候補線は、次いでステージ２５６で局所的に結合される。このプロセスは線路ペアを捜し出すこと、好ましくは線路マッチングが目的なため、ステージ２５７を適用して、前もってセットされた（標準）横方向距離においていかなるマッチング線路を有しない線路を除去する。ステージ２５８において、時間的な加算およびスコアリング機能が適用され、これにより、空間的に経時的に近傍に現れる線はスコアが徐々に増加していき、一方、所与のフレーム内で断続的に消失または検出されない線は、スコアが徐々に減少していく。時間的なスコアリングは、ステージ２５９において閾値にかけられ、閾値を超える線は、ステージ２６０で線追跡機能プロセスに提供され、ここで線のシフトおよび方位確定に応じた、経時的なそれぞれの線の追跡が行われる。ステージ２６１において、セグメントＳ１に対する指定された線路地図セグメント・セクション５６（図１）が更新され、対象の不等辺四辺形（ｔｒａｐｅｚｅ ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＴＲＯＩ）領域内で、ＤＦ出力標準偏差σがステージ２６２、２６２Ａで再計算される。次いで、ＴＲＯＩσ値は、ステージ２６３において線路放射（白熱ＬＷＩＲ中の明るい画素）を検出する際に、より大きなセグメントＳ２の正の閾値ｋσを決定するために使用し、および、ステージ２６４においてＤＦ出力を用いて、空間的検出フィルタ閾値を更新するために使用することができる。ステージ２６５～２７０において、セグメントＳ２における線路の検出が、セグメントＳ１に適用されたプロセスと類似の方法で行われる。最後に、ステージ２７１において、個々の反射（暗い）および放射（明るい）検出線が空間的および時間的に関連付けられ、一意の線で描かれた線路となる。
【0085】
次に図１１を参照すると、本開示の実施形態による、改良された線路検出、線路ベースのレンジング、および検出された線路の近傍における物体検出を結合する、例示的な線路検出および追跡結果シーケンスが示されている。線路の所与のセグメントがビュー３０２に示されている。車両が左側の線路に配置され、人間が２つの線路の間に立っていると仮定する。通常、線路は、フレーム中で概ね垂直ないくつかの部分を有し、一方、湾曲に沿って、線路はフレームのへりに対して斜めに向き、遠位端部分に向かって線路は概ね水平に向きを変え得る。こうした状況において、ＤＦの中心を囲まれた幾何学的形状は、画像中の線路の様々な向きに対するその応答を改善するように構成することができる。ビュー３１０において線路のセグメントの上に配置されたセグメント３０５～３０７は、ユニット３１０に示したように、画像中に存在する線路の向きに一致することができるこうした変更された幾何学的向きを示す。実行可能なアプローチは、３つの別々のＤＦの向きを動作させて、個々の画素の位置でフィルタが線路の向きと最も一致したときに、フィルタの最大の応答を選択することである。ビュー３２０は、線路の近傍における線路および物体の予備的な検出を示し、すべて白い背景上で黒く見える。この特別の例において、線路領域はさらに、（方向および線路ベースのレンジングに基づいて）3つのサブ領域にセグメント化される。すなわち、
（ａ）ビュー３３０に示される最初の（近接した）線路領域、
（ｂ）ビュー３４０に示される２次的（最初の線路領域の隣接した左側）線路領域、および
（ｃ）ビュー３５０に示されたように、２つの線路が実質的に合体した1本の線のように見え、区別することができない領域。ビュー３６０において、画像内で最初の線路経路を決定する際の、第１および第３のサブ領域の組合せが論理的に描かれている。同様に、ビュー３７０に示すように、個々の線路上、線路間および線路の隣接地で検出された物体が、線路の一部なのか他の要素なのかを決定できるようにするために、３つのすべてのサブ領域が論理的に結合され、その結果、異物体を検出すると、適切な応答を可能とするために、それぞれの信号を発行することができる。線路の処理された画像とは切り離された、検出された物体がビュー３８０に示されている。
（ａ）ビュー３３０に示される最初の（近接した）線路領域、
（ｂ）ビュー３４０に示される２次的（最初の線路領域の隣接した左側）線路領域、および
（ｃ）ビュー３５０に示されたように、２つの線路が実質的に合体した1本の線のように見え、区別することができない領域。ビュー３６０において、画像内で最初の線路経路を決定する際の、第１および第３のサブ領域の組合せが論理的に描かれている。同様に、ビュー３７０に示すように、個々の線路上、線路間および線路の隣接地で検出された物体が、線路の一部なのか他の要素なのかを決定できるようにするために、３つのすべてのサブ領域が論理的に結合され、その結果、異物体を検出すると、適切な応答を可能とするために、それぞれの信号を発行することができる。線路の処理された画像とは切り離された、検出された物体がビュー３８０に示されている。
【0086】
次に図１２を参照すると、本発明の実施形態による、例示的な1組の人間物体シルエット、およびシルエットを人間物体に分類するために使用することができる隣接する部分に分解する形態学的処理の個々の結果が示されている。図９のブロック図２４２、特にモジュール２３２、２３４、２３５および２３６によって示したように、物体および障害物分類は、たとえば、シルエット分析およびニューラル・ネット分析を含む、様々な分類アプローチを組み合わせて提供するのが好ましい。
【0087】
この開示をとおして検出および分類に言及するとき、改良され、堅牢な性能を提供するために、複数の、相補的な映像装置（たとえば、ＬＷＩＲ、ＶＩＳ）を使用するのが好ましいことが意図されている。物体検出に関して、熱映像装置（たとえば、ＬＷＩＲ）は、（反射効果よりも）物体の放射シグニチャにより多く依存し、周囲および指向性の照明に依存することの少ない放射効果を検知する能力により、改良された物体検出を提供する。したがって、熱シグニチャは通常、人間または動物も、たとえば人間の衣服および身に着けて携行する装飾品によりいくつかの限界はあるものの、人間または動物といったより安定的な放射物体のシルエットを提供する。しかし、熱シグニチャおよびシルエットは変化する可能性がある。こうした理由から、２台以上の映像装置を使用するのが好ましく、相互に補足する異なるスペクトル帯を使用するのが好ましい。
【0088】
シルエットが、人間、動物および人工物間を分類ならびに区別するための可視的アプローチとすると、そのために、図１２および図１３で提供されるシルエット分析アプローチを発達させる必要がある。通常、人間および動物は特別の構造および熱シグニチャを示し、一般に、
（ａ）増大された熱質量（立っている人間に対して垂直に拡大され長く伸ばされ、立っている動物に対して水平に拡大され長く伸ばされた）、および
（ｂ）主熱質量シグニチャに取り付けられ、それに対して位置決めされた極値の感熱ヘッドおよび手足シグニチャ、
によって特徴付けられる。人間と動物のシルエットのこうした区別は、それらの検出、ならびに相互間の分類および区別の基礎を提供し得る。ＲＯＡＳアプリケーションにとって、人間と動物を区分する機能は、効果的な安全手段および制御を提供する際に重要であり、したがって、本発明の開示の主要な要素である。
（ａ）増大された熱質量（立っている人間に対して垂直に拡大され長く伸ばされ、立っている動物に対して水平に拡大され長く伸ばされた）、および
（ｂ）主熱質量シグニチャに取り付けられ、それに対して位置決めされた極値の感熱ヘッドおよび手足シグニチャ、
によって特徴付けられる。人間と動物のシルエットのこうした区別は、それらの検出、ならびに相互間の分類および区別の基礎を提供し得る。ＲＯＡＳアプリケーションにとって、人間と動物を区分する機能は、効果的な安全手段および制御を提供する際に重要であり、したがって、本発明の開示の主要な要素である。
【0089】
図１２に示すように、ビュー４０２は、所与の分解能で、多少滑らかに（「柔らかに」）された1組のシルエット例を表し、ビュー４０４は、ビュー４０２のシルエットに作用した単純な閾値操作の２進数化結果を表す。ビュー４０６，４０８，４１０および４１２は、ビュー４０４の「2進数化された」シルエットに関して、1組の形態学的、算術的および論理的操作をほどこした、それぞれの中間および最終的な例示結果を表し、頭および手足（腕および脚）といった外部の身体要素から身体の中心主要部を区別し、分割する機能を示す。
【0090】
物体の分割プロセスは、ビュー４０４の２進化されたシルエットを利用することによって開始する。ビュー４０６は、黒いシルエット画素のみを選択し、その上に何回かの反復繰り返しで例示的な３Ｘ３または５Ｘ５ＭＦ（メジアン・フィルタ）を適用し、それにより、身体の末端（たとえば、頭、両腕、両脚、突出した両肩および両ひじ）を取り除いた結果を示す。非２進化出力を生成するＭＦは、別のゼロ閾値を必要とする。ビュー４０８は、ビュー４０６（ビュー４０４の画像から受信された）の画像を取り去り、表示目的でオフセットされた定数１２８レベル（中央値）を加算した結果を示す（すなわち、画像中のグレイ・レベル１２８は減算された値ゼロである）。ビュー４１０は、エッジ・スプリアス効果を除去した、ノイズを低減させた３Ｘ３ＭＦを適用した結果を表し、ビュー４１２に示した画像は、ビュー４０６に示した画像間での論理ＡＮＤ操作の結果であり、ビュー４１０のそれぞれの画像の反転画像（ＩＮＶ）である。ビュー４１２で表された結果として得られた描写は、３段階のグレイ・レベルを有する。ブロブと結合された黒は身体の主要部を表していると考えられ、ブロブと結合された白は身体の末端部および黒い身体の主要部に隣接した部位を表していると考えられ、灰色は背景を表している。隣接するブロブ間の幾何学的な関係は、物体を分類するために使用される。
【0091】
図１３のビュー４３０は、より高い分解能における1組の人間のシルエット例を示し、シルエット分割プロセスの結果がビュー４３５に示されている。ビュー４３０の処理された画像はビュー４３５で表され、再度、手足および頭の部分（白い染色として表される）を身体の中心的な主要部（黒いブロブで表される）から正確に区分する機能を例証している。ビュー４４０は、様々な態様および位置の1組のロバのシルエットを示し、ビュー４４５は、上記のプロセスの分割結果を表し、身体の中心的な主要部を末端部（たとえば、口、両耳、両手足）から区別する機能を示している。この処理スクリプト、および特にこうした演算子の規模は、前記物体への見積もり距離に密接に依存する。したがって、線路を検出し、線路ベースのレンジングを抽出する機能は、このシルエット分割プロセスの重要な特徴である。
【0092】
図１４は、図１１の例に適用された、線路検出および物体検出の特徴を示す。本開示の実施形態によると、その例において、場面には、検出された線路４７０Ｃの近傍に、車両４７０Ａおよび人間４７０Ｂを含む物体が含まれ、物体を分割する処理によりビュー４７０の画像に分類を適用した結果、検出されたシルエットを、後に前記物体を識別し分類するために使用される隣接する部分に分解する。ビュー４８０は、車両と関連付けられたブロブ４８０Ａ、および人間と関連付けられたブロブ４８０Ｂのみを表し、ここでは線路は除去され、潜在的な障害物と線路を区別する機能を例証している。ビュー４９０は、線路４９０Ｃ、車両４９０Ａおよび人間４９０Ｂを示す合成されたビューを表し、ここでは、様々な物体が相互に明確に区別されている。
【0093】
次に図１５を参照すると、本開示の実施形態による、徒歩の人間が、検出された線路を渡るというシナリオにおける線路検出および物体検出、ならびに、検出されたシルエットを、後に前記物体を識別し分類するために使用される隣接する部分に分解する、物体を分割する処理を使用した上記の分類プロセスの結果を表す、例示のビュー５１０、５２０および５３０が示されている。ビュー５１０は、システムによって使用される映像装置から受信することができる画像を表す。ビュー５１０は、線路５１０Ａおよび線路の隣の人間５１０Ｂの画像を含む。物体を分割する処理により分類のプロセスをビュー５１０の画像に適用することにより、本開示の実施形態にしたがって、検出されたシルエットを、後に前記物体を識別し分類するために使用される隣接する部分に分解する。ビュー５２０は、人間の画像５１０Ｂと関連付けられたブロブ５２０Ｂのみを表し、ここでは線路は除去され、潜在的な障害物と線路を区別する機能を例証している。ビュー５３０は、線路５３０Ａ、および人間５３０Ｂを示す合成されたビューを表し、ここでは、線路からの人間の横方向距離５３０Ｂ’が、この距離を既知の数である線路軌間５３０Ａ’と比較することに基づいて計算することができる。
【0094】
次に図１６を参照すると、例示的な線路セット６００の場面が示されており、ここでは、本開示の実施形態により、線路が部分的に検出され、計算された線路地図を使用して遠く離れた先の線路の近傍に位置する小さな物体を検出する。ＬＷＩＲ画像中の一部のみの線路検出は、雨および雪といった悪天候の結果として発生することがあり、これにより熱コントラストが低下する（たとえば熱コントラスト「ウオッシュアウト」）。ビュー６１０に示すように、線路のセグメント６１０Ａは、線路インフラ・コントラストのかなり増大した他のセグメント６１０Ｂに比べると、低下した線路コントラストを有する。ＬＷＩＲ映像装置が白熱設定の状態で、概ね１０００メートルの距離で線路の間に立っている遠隔の牛のコントラストの熱ブロブ６１０Ｃ。ビュー６２０は、上記のプロセスにより近距離の検出された線路反射コンポーネント６２０Ｂを示し、これにより、線路反射コンポーネントは多少とも検出可能なままであり、画像セグメント６２０Ａは、低い熱シグニチャを有する線路セグメント６１０Ａと関連付けられることに留意する。ビュー６３０は、線路の放射コンポーネント検出を示し、ここでは明らかに、線路放射はセグメント６３０Ａにおいて比較的洗い流されている、しかし、線路インフラは隣接する地面背景（線路間および線路外）と比較するとより目立つようになってきた。しかし、結合された反射および放射検出は、ビュー６４０に示すように線路地図ＩＢＲＭを生成するのに十分であり、黒で満たされた領域はセグメント化されたＩＢＲＭであり、結合された破線６４０Ａは、物体を検出するための線路の近隣であると考えられるＩＢＲＭの完全な横方向の範囲を予測する。ビュー６５０は、例示的な物体検出フィルタ（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｆｉｌｔｅｒ：ＯＤＦ）の出力を示し、これは、ビュー６６０において破線６６０Ａによって例示されるように、ＩＢＲＭ図形から局所化されたフィルタリング方向を抽出する指向性の高域フィルタまたは帯域通過フィルタに基づき、これによりビュー６７０に示すように、線路自体からの外乱または誤検出を最少にした状態で線路の近傍において検出感度を向上させる。
【0095】
次に図１７を参照すると、本開示の実施形態による、平面交差で線路７３０Ｃを渡る牛７１０Ａおよび人間７１０Ｂ、ならびに、ＲＤＴＭ、ＩＢＲＭ、ＲＢＲおよびＯＯＣＭによって提供されビュー７２０で示される、分類目的のための物体および障害物検出ならびにシルエット分割プロセスの例示的なシナリオ・ビュー７１０が示されている。これにより、このプロセスが全画像に適用され、その後、牛および人間のそれぞれのブロブが、所望の範囲で線路の近傍においてそれぞれ７３０Ａおよび７３０Ｂで印を付けられるビュー７３０において、局所化されたウインドウ７３２（画像のサブセクション）から抽出される。
【0096】
次に図１８を参照すると、本開示の実施形態による、平面交差に立っている犬８１０Ａおよび近くの人間８１０Ｂ、動的レンジ圧縮（Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ：ＤＲＣ）操作を使用して予め処理された画像ビュー８２０、および犬８３０Ａおよび二人の人物８３０Ｂと関連付けられたブロブを含むビュー８３０によって示されたＲＤＴＭ、ＩＢＲＭ、ＲＢＲおよびＯＯＣＭによって提供され分類目的のための物体および障害物検出ならびにシルエット分割プロセスの例示的なシナリオ・ビュー８１０が示されている。これにより、このプロセスは、所望の範囲で線路の近傍において局所化されたウインドウ８４２内に局所的に、ならびに物体分割基準ビュー８４０に対応する犬および人間のさらに選択されたブロブ８４０Ａ、８４０Ｂに適用される。
【0097】
次に図１９を参照すると、本開示の実施形態による、平面交差に立っているロバ９１０Ａおよび近くの人間９１０Ｂ、およびビュー９２０によって示されたＲＤＴＭ、ＩＢＲＭ、ＲＢＲおよびＯＯＣＭによって提供され分類目的のための物体および障害物検出ならびにシルエット分割プロセスの例示的なシナリオ・ビュー９１０が示されている。これにより、このプロセスは、所望の範囲で線路の近傍において局所化されたウインドウに局所的に、ならびに物体分割基準ビュー９３０に対応するさらに選択されたブロブに適用される。
【0098】
次に図２０を参照すると、図１６のビューに関して適用された類似の条件および処理アプローチでビュー１０１０に提示された別の例が示されており、ここで画像化された物体１０１０Ａは、線路の平面交差１０１０Ｂを渡って遠方（約１０００メートル）に立っており、非常に低いコントラストを有する車両である。ビュー１０２０はＩＢＲＭ内の例示的なＯＤＦを示し、ビュー１０３０は、ＩＢＲＭの頂上の狭い部分における検出された車両のブロブ１０３０Ａ、およびより近い距離における他の検出されたブロブ１０３０Ｃを示す。ビュー１０４０は、サイズ基準に合わない（この場合はブロブ１０３０Ｃが小さいため）検出物を廃棄する際に、ＲＢＲ（線路ベースのレンジング）を使用する利点を示す。というのは、ＲＢＲ処理を信頼しないことはあまりにも少なく列車に対する脅威とならないためである。
【0099】
次に図２１を参照すると、図１１および図１４に記載された例を再度検討することになり、これによりビュー１１００の検出された第２の線路１１０１（第１の線路１１０２の左側）は、
（ａ）ＩＢＲＭの連続性、および
（ｂ）ＩＢＲＭと対応するＧＢＲＭ間のマッチング、
に関して、より注意深く分析することができる。
線路を渡っているまたは線路に隣接している物体は、当然、線路を妨害しており、線路検出機能を適用するとき線路が歪むこととなる。ビュー１１００は、２つの物体、すなわち車両１１１２および立っている人間１１１４によって部分的に妨害されたときの鉄道線路図を示している。線路図はわずかに歪むことになり、それにより、想定される線路計画から考えられる、期待される継続的な基準から逸脱することに留意されたい。ビュー１１２０は、たとえば、スプラインまたは他の幾何学的な適合手法を使用して、検出された線路の補間版を示す。ビュー１１３０に示すように、実際の線路図および滑らかにされた（補間された）版を上書きするとき、様々な誤差（または距離）関数は、こうした線路異常を自動的に検出するために計算することができる。これは、線路の近くまたは線路上の物体の改良された検出のため、および、たとえば予防保守アプリケーションにおいて、線路機能不全および線路故障を決定するためにも使用することができる。さらに、ビュー１１４０は、本開示で説明したように、ＩＢＲＭビュー１１４２（実線）とＧＢＲＭビュー１１４４（破線）の間のオーバーレイを示す。両者の間にいくつかの動的な逸脱が予想されるが、一般にそれらの組合せにより、たとえば、地形の変化、ならびに湾曲した線路状況における近くの柱および線路に隣接した構造物から生ずるＬＯＳ妨害により、線路が消失するといった、典型的な画像化状況における多くの曖昧さが解決されるであろう。２つの地図を相互に関連させることにより、様々な閉塞状況において線路を検出し、追跡し、マッピングするための改良された機能が達成される。
（ａ）ＩＢＲＭの連続性、および
（ｂ）ＩＢＲＭと対応するＧＢＲＭ間のマッチング、
に関して、より注意深く分析することができる。
線路を渡っているまたは線路に隣接している物体は、当然、線路を妨害しており、線路検出機能を適用するとき線路が歪むこととなる。ビュー１１００は、２つの物体、すなわち車両１１１２および立っている人間１１１４によって部分的に妨害されたときの鉄道線路図を示している。線路図はわずかに歪むことになり、それにより、想定される線路計画から考えられる、期待される継続的な基準から逸脱することに留意されたい。ビュー１１２０は、たとえば、スプラインまたは他の幾何学的な適合手法を使用して、検出された線路の補間版を示す。ビュー１１３０に示すように、実際の線路図および滑らかにされた（補間された）版を上書きするとき、様々な誤差（または距離）関数は、こうした線路異常を自動的に検出するために計算することができる。これは、線路の近くまたは線路上の物体の改良された検出のため、および、たとえば予防保守アプリケーションにおいて、線路機能不全および線路故障を決定するためにも使用することができる。さらに、ビュー１１４０は、本開示で説明したように、ＩＢＲＭビュー１１４２（実線）とＧＢＲＭビュー１１４４（破線）の間のオーバーレイを示す。両者の間にいくつかの動的な逸脱が予想されるが、一般にそれらの組合せにより、たとえば、地形の変化、ならびに湾曲した線路状況における近くの柱および線路に隣接した構造物から生ずるＬＯＳ妨害により、線路が消失するといった、典型的な画像化状況における多くの曖昧さが解決されるであろう。２つの地図を相互に関連させることにより、様々な閉塞状況において線路を検出し、追跡し、マッピングするための改良された機能が達成される。
【0100】
次に図２２を参照すると、本開示によるＲＯＡＳ処理構成の好ましいブロック図１２００が示されている。ＬＷＩＲ映像装置の実装は、ＲＯＡＳアプリケーション用に著しく改良されている。通信ユニット１２２０は、たとえば、運行関連情報を受信および送信するため、ならびに警報データを外部のユニットに送信するために、通信を外部のユニットに提供するように構成された、アンテナ・モジュールおよび送信／受信モジュールを含むことができる。システム１２００はさらに、メイン・ユニット／メイン・ボード制御装置／プロセッサ１２３０を含み、周辺天候検知および位置検知ユニット１２４０、動きセンタ・ユニット１２５０、ＩＲ映像装置管理ユニット１２６０、可視光映像装置ユニット１２７０、記憶ユニット１２８０、およびオペレータ／エンジン・ドライバＩ／Ｏユニット１２９０と運用接続している。非冷却ＬＷＩＲ熱映像装置の場合、点ソースと比べて広がったソースの放射利得に関して特別の関心がある。利得は大きなＦ／＃に対して同様に振舞う。こうした種類の熱ボロメータ・システムに対して、Ｆ／＃は、ボロメータの応答性が低いため比較的小さい。本開示で提供されるＲＯＡＳにおいて、このシステムは、スタンドオフ距離で最大の検出性能となるように設計されており、それにより、多くの場合、物体は点ソースであると考えることができる。一般的に均一のクラッタは、広がったソースと考えることができる。制御装置／プロセッサ１２３０は、実行されたときに本説明に記載されたプロセスおよび方法を実行する実行可能プログラムを記憶するように構成された、非一時的なメモリ・ユニット（図示せず）を含む。
【0101】
Ｆ／＃を減少させることにより、より多くのフラックスを収集し、コントラストを増大させるだけでなく、広がったソースと点ソース間の利得を変化させる。
例：Ｆ／２映像装置、［ＧＥＸＴ＝１７、ＧＰＳ＝４］について、およびＦ／０．８映像装置、［ＧＥＸＴ＝３．５６、ＧＰＳ＝０．６４］について、それぞれ比ＧＥＸＴ／ＧＰＳ＝４．２５、５．５６（１が漸近線）となる。知られているように、検出器に対する広がった区域のソースからの放射照度は、検出器の区域によって転送されるフラックスを除算することによって得られる。
例：Ｆ／２映像装置、［ＧＥＸＴ＝１７、ＧＰＳ＝４］について、およびＦ／０．８映像装置、［ＧＥＸＴ＝３．５６、ＧＰＳ＝０．６４］について、それぞれ比ＧＥＸＴ／ＧＰＳ＝４．２５、５．５６（１が漸近線）となる。知られているように、検出器に対する広がった区域のソースからの放射照度は、検出器の区域によって転送されるフラックスを除算することによって得られる。
【0102】
【数1】
【0103】
【数2】
【0104】
熱映像装置に関する別の改良は、画像中の構造化ノイズを抑制する不均一性補正（Ｎｏｎ Ｕｎｉｆｏｒｍｉｔｙ Ｃｏｒｒｅｃｔｉｏｎ：ＮＵＣ）タイプのソリューションである。場面ベースのＮＵＣに対する多くの知られたアプローチがあるが、ＲＯＡＳアプリケーションの本ケースに対して、線路ベースのＮＵＣ（Ｒａｉｌ Ｂａｓｅｄ ＮＵＣ：ＲＢＮＵＣ）が提案される。ボロメータ検出器は、抵抗変化検知に基づく。フラックスはセンサの画素中に吸収され、細い脚を通して排出される。そのため、吸収されたフラックスのゆっくりとした放出が起こる。連続するフラックスまたはホットスポットは、いくつかの場合には何日間（！）にもわたって、画素の飽和状態を引き起こし、そのため、アルゴリズムによって取り扱われるべきである。次に参照される図２３は、ボロメータ・タイプの映像装置センサの非線形特質を表す、典型的なフラックス入力／画素出力グラフ１３２０を示す。温度測定の相対的な特質から、絶対値を回復するためにセンサの較正が必要である。本発明の実施形態によれば、絶対的な測定値、ＮＵＣおよびホットスポット訂正のための動的参照として使用される利点は、実質的に全場面をとおして線路画素の温度が均一であるということから得られる。オープンフレームのＬＷＩＲエンジンが、こうしたアルゴリズム実装のための便利なプロットフォーム（たとえば、ＲＢＮＵＣ、ＤＲＣ等）を提供できるのが好ましい。
【0105】
改良された超高感度可視帯映像装置実装はまた、ＲＯＡＳ操作および性能のかなりの向上をもたらすことができる。しかし、超感度を有する可視極微光ＣＭＯＳ映像装置の使用により、強い光源にさらされると、こうした装置の操作性が低下することがある。これは、複数統合スキームを使用するシステム１４００のブロック図を表す図２４に示すように、克服することが可能であり、これにより、映像装置は、高いフレーム・レート（すなわち２００Ｈｚ以上）で動作することができ、画素飽和基準に基づいて、画素ごとに即時に実行し、もしくは好ましい統合領域の選択を実行することができ、または好ましくは大幅に拡大された画像動的範囲を獲得する際に、画素ごとに複数の統合サンプルを結合することができる。これはまた、任意のこうした照明干渉を解析する際の助けとなることができる。システム１４００は、映像装置１４１２、湾曲の半径（ｒａｄｉｕｓ ｏｆ ｃｕｒｖａｔｕｒｅ：ＲＯＣ）ブロック１４１４、画像分析ブロック１４１６、表示分析ブロック１４２０、および制御／フィードバック／スタビライザ・ユニット１４１６を含むことができる。
【0106】
図２５を参照すると、図９のユニット２３４、ＯＯＮＮＡに関して説明した、ニューラル・ネット物体分類ソリューションの例示的な結果を示す図が示されている。この例では、概ね１０００メートル離れた平面交差で、線路１５２０の間に立っているロバ１５１０が検出され、しかるべく正しく分類されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7-1】
【図7-2】
【図7-3】
【図7-4】
【図8】
【図9】
【図10】
【図10A】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21-1】
【図21-2】
【図21-3】
【図22】
【図23】
【図24】
【図25】