特開 2024-78391 車両に対して静止物体を警告する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078391

(43)【公開日】2024-06-10

(54)【発明の名称】車両に対して静止物体を警告する方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240603BHJP

【ＦＩ】

G08G1/16 C

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023130635

(22)【出願日】2023-08-10

(31)【優先権主張番号】111145724

(32)【優先日】2022-11-29

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】507416610

【氏名又は名称】メタル インダストリーズ リサーチ アンド ディベロップメント センター

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】ツォン ハン リー

(72)【発明者】

【氏名】ジン－フォン ジャン

(72)【発明者】

【氏名】シー－チュン シュー

(72)【発明者】

【氏名】ツ－クン チャン

(72)【発明者】

【氏名】チェン－タイ レイ

(72)【発明者】

【氏名】ハン－ユアン ウェイ

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC02

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF27

5H181FF32

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

(57)【要約】      （修正有）

【課題】本開示は、車両に対して静止物体を警告する方法を提供する。
【解決手段】車両が第１速度で移動するとき、光走査装置、赤外線画像抽出装置、および画像抽出装置は、車両の片側の周辺の第１光走査画像、第１赤外線画像、および第１周辺画像を抽出する。融合アルゴリズムおよびオプティカルフロー法に応じて、第１画像における第１障害物の第１障害物情報が与えられる。第１障害物の位置情報に応じて、車両コンピュータは相対距離が距離閾値よりも小さく、障害物体積が体積閾値よりも大きい場合に、警告メッセージを判定して生成する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

車両に対して静止物体を警告する方法であって、
前記方法は、車両に適用可能であり、
前記車両は、車両コンピュータ、光走査装置、赤外線画像抽出装置、および画像抽出装置を含み、
前記車両コンピュータは、前記光走査装置、前記赤外線画像抽出装置、および前記画像抽出装置と電気的に接続され、
前記車両コンピュータは、
前記車両が移動するとき、前記光走査装置、前記赤外線画像抽出装置、および前記画像抽出装置が、前記車両の片側の周辺における、第１光走査画像、第１赤外線画像、および第１周辺画像を抽出する工程と、
前記車両コンピュータが、第１画像を与える融合アルゴリズムに応じて、前記第１光走査画像、前記第１赤外線画像、および前記第１周辺画像を、受信して結合する工程と、
前記車両コンピュータが、イメージオプティカルフロー法に応じて、前記第１画像における第１障害物の第１障害物情報を分析して取得する工程であって、前記第１障害物情報が、前記車両との相対距離、および前記第１障害物の障害物体積を含む工程と、
前記相対距離が距離閾値よりも小さく、かつ、前記障害物体積が体積閾値よりも大きいとき、前記車両コンピュータが、実際の障害物を前記車両コンピュータの表示ユニット上にラベル付けし、警告メッセージを生成する工程と、
を実行する、方法。

【請求項2】

前記車両コンピュータが、前記第１画像を与える前記融合アルゴリズムに応じて、前記第１光走査画像、前記第１赤外線画像、および前記第１周辺画像を、受信して結合する前記工程において、
前記車両コンピュータは、処理ユニットを含み、
前記処理ユニットは、画像処理プログラムを含み、
前記画像処理プログラムは、前記融合アルゴリズムおよび前記イメージオプティカルフロー法を実行するために使用される、請求項１に記載の車両に対して静止物体を警告する方法。

【請求項3】

前記車両コンピュータが、イメージオプティカルフロー法に応じて、前記第１画像における第１障害物の第１障害物情報を分析して取得する前記工程において、
前記第１障害物情報は、前記第１画像における、前記車両との相対距離、および前記第１障害物の障害物体積を含み、
前記車両コンピュータは、
前記車両が前記障害物体積に応じて前記実際の障害物を分類する工程と、
前記障害物体積が前記体積閾値より小さいとき、前記車両コンピュータは、前記実際の障害物が無効な障害物であると判定する工程とをさらに実行する、請求項１に記載の車両に対して静止物体を警告する方法。

【請求項4】

前記警告メッセージは、音声メッセージおよび／または画像メッセージである、請求項１に記載の車両に対して静止物体を警告する方法。

【請求項5】

前記相対距離が距離閾値よりも小さく、かつ、前記障害物体積が体積閾値よりも大きいとき、前記車両コンピュータは、実際の障害物を前記車両コンピュータの表示ユニット上にラベル付けし、警告メッセージを生成する前記工程において、
前記体積閾値が４００平方センチメートルよりも小さい、請求項１に記載の車両に対して静止物体を警告する方法。

【請求項6】

前記相対距離が距離閾値よりも小さく、かつ、前記障害物体積が体積閾値よりも大きいとき、前記車両コンピュータは、実際の障害物を前記車両コンピュータの表示ユニット上にラベル付けし、警告メッセージを生成する前記工程において、
前記距離閾値が２００メートルよりも小さい、請求項１に記載の車両に対して静止物体を警告する方法。

【発明の詳細な説明】

【背景技術】

【0001】

先進運転支援システム（advanced driver assistance systems，ＡＤＡＳ）は運転者を支援するために開発され、３つの主要部分、すなわち、車両センサ、車両プロセッサ、およびアクチュエータに分けられることができる。ＡＤＡＳは、車両外部の信号を感知するために車両センサを使用する。ミリ波レーダおよびライダー（Lidar）に加えて、車両センサは、熱センサおよび圧力センサも含む。車両センサは、センシングデータを車両プロセッサ、例えば、電子制御ユニット（Electronic Control Unit，ＥＣＵ）に送信する。次に、後者は危険を回避するために、センシングデータに従い運転者のための警告情報を生成することができる。

【0002】

さらに、運転者が反応できないとき、車両センサは、運転者の運転行動に介入し、アクチュエータが車両を減速させ、緊急ブレーキをかけ、または運転者を保護するために車両の方向を変更することを可能にする。

【0003】

加えて、運転者を保護するために、車両の周辺を検出するためのレーダ検出技術が開発されている。残念ながら、そのレーダは、車両の周辺の物体が、固定された障害物か、または移動する物体かを通知することができない。車両に影響を与えない物体が近接しているとき、警告ユニットは、警告メッセージを頻繁に発するように、しばし作動させられる。これらの頻繁な警告は、運転者を不快にさせる。

【0004】

監視のための車両の周辺の障害物の検出は、大幅に改善されている。しかしながら、車両の移動中では、他の車両によって引き起こされる危険に加えて、当該車両の安全性に影響を及ぼす事柄が依然として存在している。例えば、歩行者、動物、および移動物体は、車両の障害物とみなすことができる。これらは全て、車両が移動しているときに緊急事態を誘発する。この影響は、都市の混雑した街路で最も顕著である。

【0005】

緊急時には、カラー画像を記録するためのダッシュカムが存在する。しかし、不測の事態が発生し、その後に判断を下すことを許容することは、十分な解決策ではない。より良い解決策は、運転手が事前に緊急事態を回避できるようにすることである。しばしば、最新のダッシュカムは、車両の前方と後方とに設置されている。側面にはまだ死角がある。そのため、運転手が側方の死角を避けることを支援するために、側方の記録および検出技術を統合することが必要とされる。さらに、側方の死角の検出によって、潜在的な危険を予測し、保護するために、運転者に通知することが要求される。

【0006】

現在の車両は例えば、交差点での運転中、または駐車中でさえ、潜在的な危険を検出することができる。

【0007】

残念ながら、現在の検出方法は主に、交差道路、隣接車線、および駐車シナリオに適用されている。安全地帯または駐車自動二輪車などの静止障害物の代わりに、車両に対する移動物体を検出することに限定される。その結果、車両が移動しているとき、静止障害物の誤判定による事故が発生する可能性がある。

【0008】

したがって、障害物を伴う些細な事故を回避するために静止障害物を正確かつ適切に判定する方法が、現場における主要な課題となっている。

【発明の概要】

【0009】

本開示の目的は、車両に対して静止物体を警告する方法を提供することである。車両の片側の物体をスキャンし、対応する物体画像を取得し、物体画像をフィルタリングし、車両に影響を及ぼすフィルタリングされた画像を取得する。対応する物体と車両との速度およびそれらの間の距離に応じて、ユーザが危険を回避するための予防措置を事前に行うことができるように、ユーザへの警告メッセージを生成する。

【0010】

上記目的を達成するために、本開示は、車両に対して静止物体を警告する方法を提供する。前記方法は、車両に適用可能である。前記車両は、車両コンピュータ、光走査装置、赤外線画像抽出装置、および画像抽出装置を含む。前記車両コンピュータは、前記光走査装置、前記赤外線画像抽出装置、および前記画像抽出装置と電気的に接続されている。前記車両コンピュータは、前記車両が移動するとき、前記光走査装置、前記赤外線画像抽出装置、および前記画像抽出装置が、前記車両の片側の周辺における、第１光走査画像、第１赤外線画像、および第１周辺画像を抽出する工程と、前記車両コンピュータが、第１画像を与える融合アルゴリズムに応じて、前記第１光走査画像、前記第１赤外線画像、および前記第１周辺画像を、受信して結合する工程と、前記車両コンピュータが、イメージオプティカルフロー法に応じて、前記第１画像における第１障害物の第１障害物情報を分析して取得する工程であって、前記第１障害物情報が、前記車両との相対距離、および前記第１障害物の障害物体積を含む工程と、前記相対距離が距離閾値よりも小さく、かつ、前記障害物体積が体積閾値よりも大きいとき、前記車両コンピュータが、実際の障害物を前記車両コンピュータの表示ユニット上にラベル付けし、警告メッセージを生成する工程と、を実行する。

【0011】

本開示の一実施形態によれば、前記車両コンピュータが、前記第１画像を与える前記融合アルゴリズムに応じて、前記第１光走査画像、前記第１赤外線画像、および前記第１周辺画像を、受信して結合する前記工程において、前記車両コンピュータは、処理ユニットを含み、前記処理ユニットは、画像処理プログラムを含み、前記画像処理プログラムは、前記融合アルゴリズムおよび前記イメージオプティカルフロー法を実行するために使用される。

【0012】

本開示の一実施形態によれば、前記車両コンピュータが、イメージオプティカルフロー法に応じて、前記第１画像における第１障害物の第１障害物情報を分析して取得する前記工程において、前記第１障害物情報は、前記第１画像における、前記車両との相対距離、および前記第１障害物の障害物体積を含み、前記車両コンピュータは、前記車両が前記障害物体積に応じて前記実際の障害物を分類する工程と、前記障害物体積が前記体積閾値より小さいとき、前記車両コンピュータは、前記実際の障害物が無効な障害物であると判定する工程とをさらに実行する。

【0013】

本開示の一実施形態によれば、前記警告メッセージは、音声メッセージおよび／または画像メッセージである。

【0014】

本開示の一実施形態によれば、前記相対距離が距離閾値よりも小さく、かつ、前記障害物体積が体積閾値よりも大きいとき、前記車両コンピュータは、実際の障害物を前記車両コンピュータの表示ユニット上にラベル付けし、警告メッセージを生成する前記工程において、前記体積閾値が４００平方センチメートルよりも小さい。

【0015】

本開示の一実施形態によれば、前記相対距離が距離閾値よりも小さく、かつ、前記障害物体積が体積閾値よりも大きいとき、前記車両コンピュータは、実際の障害物を前記車両コンピュータの表示ユニット上にラベル付けし、警告メッセージを生成する前記工程において、前記距離閾値が２００メートルよりも小さい。

【図面の簡単な説明】

【0016】

【図1A】本開示の一実施形態に係る、静止物体を警告する方法の工程を示す。

【図1B】本開示の一実施形態に係る、無効な障害物を判定する工程を示す。

【図2A】本開示の一実施形態に係る、静止物体を警告する方法における画像抽出の概略図を示す。

【図2B】本開示の一実施形態に係る、静止物体を警告する方法における画像処理の概略図を示す。

【図2C】本開示の一実施形態に係る、静止物体を警告する方法における障害物を選択する概略図を示す。

【図2D】本開示の一実施形態に係る、静止物体を警告する方法における実際の障害物警告の概略図を示す。

【発明を実施するための形態】

【0017】

本開示の構成および特性ならびに有効性をさらに理解し認識するために、本開示の詳細な説明は、実施形態および添付の図面とともに以下のように提供される。

【0018】

従来技術による検出方法は、交差道路、隣接車線、および駐車シナリオに主に適用されており、それらは、安全地帯または駐車自動二輪車などの静止障害物の代わりに、車両に対する移動物体を検出することに限定されている。その結果、車両が移動しているとき、静止障害物の誤判定による事故が発生する可能性がある。

【0019】

従来技術によって静止障害物を警告することができないという問題を解決するために、本開示は、車両に対して静止物体を警告する方法を提供する。この方法は、車両の片側の物体をスキャンし、対応する物体画像を取得し、物体画像をフィルタリングし、車両に影響を及ぼすフィルタリングされた画像を取得する。対応する物体と車両との速度およびそれらの間の距離に応じて、本方法はユーザが危険を回避するための予防措置を事前に行うことができるように、ユーザへの警告メッセージを生成する。

【0020】

以下の説明では、本開示を詳細に説明するための図を用いて、本開示の様々な実施形態を説明する。それにもかかわらず、本開示の概念は、様々な形態によって具現化することができる。これらの実施形態は、本開示の範囲および範囲を限定するために使用されない。

【0021】

まず、図１Ａおよび図２Ａを参照する。図１Ａは本開示の一実施形態に係る、静止物体を警告する方法の工程を示し、図２Ａは、本開示の一実施形態に係る、静止物体を警告する方法における画像抽出の概略図を示す。図に示すように、本実施形態は、車両１に適用される。車両１は、車両コンピュータ１２と、光走査装置１４と、赤外線画像抽出装置１６と、画像抽出装置１８とを備える。車両コンピュータ１２は、光走査装置１４、赤外線画像抽出装置１６、および画像抽出装置１８と電気的に接続されている。車両コンピュータ１２は、以下の工程を実行する。

【0022】

工程Ｓ１０：車両が移動すると、光走査装置、赤外線画像抽出装置、および画像抽出装置は、車両の片側の周辺の第１光走査画像、第１赤外線画像、および第１周辺画像を抽出する。

【0023】

工程Ｓ２０：車両コンピュータは、第１画像を与える融合アルゴリズムに応じて、第１光走査画像、第１赤外線画像、および第１周辺画像を受信して結合する。

【0024】

工程Ｓ３０：車両コンピュータは、イメージオプティカルフロー法に応じて、第１画像における第１障害物の第１障害物情報を分析して取得する。

【0025】

工程Ｓ４０：相対距離が距離閾値よりも小さく、かつ、障害物体積が体積閾値よりも大きいとき、車両コンピュータは、実際の障害物を前記車両コンピュータの表示ユニット上にラベル付けし、警告メッセージを生成する。

【0026】

本実施形態の工程Ｓ１０において、車両１が移動すると、光走査装置１４、赤外線画像抽出装置１６、および画像抽出装置１８は、車両１の片側の周辺９０の、第１光走査画像１４１、第１赤外線画像１６１、および第１周辺画像１８１を抽出する。

【0027】

本実施形態では、車両コンピュータ１２は、処理ユニット１２１を備える。処理ユニット１２１は、サーバ、ノートブックコンピュータ、タブレットコンピュータ、または画像処理能力を有する任意の電子デバイスであってよい。車両コンピュータ１２の処理ユニット１２は、画像処理プログラム１２３を実行する。画像処理プログラム１２３は、光走査装置１４、赤外線画像抽出装置１６、画像抽出装置１８で生成されたデータを受信し、その後の画像処理を行うために使用される。

【0028】

本実施形態に係る光走査装置１４は、ライダー、またはレーザスキャナである。本実施形態に係る画像抽出装置１８は、カラー画像抽出ユニットであり、例えば、自動車用ＣＭＯＳセンサである。本実施形態に係る赤外線画像抽出装置１６は、赤外線カメラである。本実施形態によれば、赤外線画像抽出装置１６を使用する理由は、近赤外線は、可視光に比べて、ガラス、プラスチック、高分子の生体的な外皮に対してより高い透過性を有するためである。可視光は上述の材質を透過できないので、画像は不透明に見える。反対に、近赤外線撮像の場合、物体の表面層は近赤外線を遮断できないので、画像は透明に見える。これにより、近赤外線は、物体の表面下を透過して画像を露光することができる。本実施形態によれば、光走査装置１４および画像抽出装置１８によって形成された立体画像と、赤外線画像抽出装置１６によって与えられたＩＲ画像とを比較することにより、より正確な車両外側の周辺モデルを与えることができる。

【0029】

本実施形態に係る車両コンピュータ１２は、車両１に設けられている。光走査装置１４、赤外線画像抽出装置１６、および画像抽出装置１８は、車両１の片側に配置されている。車両コンピュータ１２は、光走査装置１４、赤外線画像抽出装置１６および画像抽出装置１８と電気的に接続されている。赤外線画像抽出装置１６および画像抽出装置１８の画像抽出角度は、１２０°から１７０°までである。これは、２００メートル以内における車両１の周辺または前方の画像を抽出するためである。当該画像は、例えば、安全地帯、駐車自動二輪車または樹木であるが、これらに限定されない。

【0030】

次に、図２Ｂを参照する。図２Ｂは、本実施形態の工程Ｓ２０において、本開示の一実施形態に係る、静止物体を警告する方法における画像処理の概略図を示す。当該図に示されるように、車両コンピュータ１は、融合アルゴリズムに応じて、第１光走査画像１４１、第１赤外線画像１６１、および第１周辺画像１８１を受信し結合して、第１画像１２３１を与える。

【0031】

本実施形態によれば、上述した融合アルゴリズムは、式（１）で表される特性関数ｆ（ｘ，ｙ）を用いるものである。ｘおよびｙがある事象を満たすとき、特性関数の値は１に等しい。

【数1】

【0032】

可観測量のその対応する隠れ状態は、コンテキスト（観測または状態）によって決定される。特性関数は、周辺特性（観測または状態の組み合わせ）を選択するために導かれる。言い換えると、その特性（観測の組み合わせ）は、世代モデルＨＭＭ（隠れマルコフモデル）のナイーブベイズに対する独立仮定において、制約（制限）を回避するための観測を置き換えるために使用される。

【0033】

大きさＴを有する訓練データＤ＝｛（ｘ^（１），ｙ^（１）），（ｘ^（２），ｙ^（２）），・・・，（ｘ^（Ｎ），ｙ^（Ｎ））｝、（式（２）に示す）経験期待値、および（式（３）に示す）モデル期待値により、最大エントロピーモデルの学習は、制約の最適化と等価である。

【数2】

【数3】

【0034】

経験期待値がモデル期待値に等しいと仮定すると、以下の式（４）で表されるように、任意の特性関数ｆｉに対する制約を満たす複数の集合Ｃが存在する。

【数4】

【0035】

最大エントロピー原理は、不完全な情報（例えば、限られた数の訓練データ）から導かれる唯一の合理的な確率分布が、制約を与えられた最大エントロピーを満たすべきであることを表す。すなわち、最大エントロピー分布は、制約条件が与えられたときの最適な分布である。これにより、下記の通り、最大エントロピー関数モデルは、凸関数に対する制約最適化問題となる。

【数5】

【数6】

【数7】

【0036】

通常、ラグランジュ双対性原理は、元の方程式を変換して、制約のない最大値を解くために用いられる。

【数8】

【数9】

【0037】

ｐに関してラグランジュ関数を偏微分し、それをゼロに等しくする。方程式を解くことにより、次式が得られる。

【数10】

【数11】

【0038】

最大エントロピーマルコフモデル（Maximum Entropy Markov Model，ＭＥＭＭ）は、次の通りである。

【数12】

【0039】

分布

【数13】

を使用して、ＨＭＭにおける２つの条件付き確率分布を置き換える。このことは、可観測量に応じて、以前の状態から現在の状態に到達する確率を意味する。つまり、現在の状態は、以前の状態と現在の観測に応じて与えられる。分布関数

【数14】

のそれぞれは、最大エントロピーを有する指数関数である。

【0040】

離散確率分布｛ｐ_１，ｐ_２，・・・，ｐ_ｎ｝における点と、最大情報エントロピーとが見出されることを仮定する。最小確率分布｛ｐ_１，ｐ_２，・・・，ｐ_ｎ｝を見出す。最大エントロピー方程式は、

【数15】

である。

【0041】

これは確率分布であるため、それぞれのｘ_ｉにおけるｐ_ｉの合計は、１に等しくなければならず、

【数16】

となる。

【0042】

ラグランジュ乗数の使用は、最大エントロピー角度を与える。

【数17】

は、すべての離散確率の｛ｘ_１，ｘ_２，・・・，ｘ_ｎ｝をカバーする。つまり、

【数18】

である。

【0043】

このことは、ｋ＝１，・・・，ｎについて、

【数19】

となるシステム方程式

【数20】

を与える。

【0044】

これらの

【数21】

個の方程式を展開すると、次式が得られる。

【数22】

【0045】

この方程式はλのみに依存するため、すべての

【数23】

が等しいことを意味する。制約するために次式を用いる。

【数24】

【数25】

【0046】

このことは、次式を与える。

【数26】

【0047】

これにより、一様分布は、下記の最大エントロピー

【数27】

を有する分布となる。

【0048】

上記式（２０）を用いて、最大エントロピー分布を与える。図２Ｂに示されるように、画像融合プロセスにおいて、第１光走査画像１４１、第１赤外線画像１６１、および第１周辺画像１８１の画像重複領域が除去され、第１画像１２３１が生成される。

【0049】

次に、図２Ｃを参照されたい。図２Ｃは、本開示の一実施形態に係る静止物体を警告する方法における障害物を選択する概略図を示す。同図に示すように、本実施形態の工程Ｓ３０において、車両コンピュータ１２は、第１画像１２３１における第１障害物１２３１Ａの第１障害物情報１２５をイメージオプティカルフロー法により分析して取得する。第１障害物情報１２５は、車両１との相対距離１２２１と、第１障害物１２３１Ａの障害物体積１２２５とを含む。

【0050】

また、本実施形態によれば、障害物が静止しているか否かを判定することができる。再び図２Ａ～図２Ｃを参照すると、光走査装置１４、赤外線画像抽出装置１６、および画像抽出装置１８はさらに、別の時点において、第２光走査画像１４３、第２赤外線画像１６３、および第２周辺画像１８３を抽出することができる。これらの画像を使用することによって、車両コンピュータ１２は、第２画像１２３３を取得することができる。車両コンピュータ１２はオプティカルフロー法を使用して、第２画像１２３３における第２障害物１２３３Ａを分析し、第２障害物情報１２７を与える。第１障害物１２３１Ａは、第２障害物１２３３Ａと同一である。車両１が移動しているので、第１障害物１２３１Ａと第２障害物１２３３Ａとの差異は、相対距離のみである。

【0051】

したがって、第１障害物１２３１Ａと第２障害物１２３３Ａとの相対距離と、車両１の速度との差異を用いて、第１画像１２３１における第１障害物１２３１の有無を判定することができる。

【0052】

上記のオプティカルフロー法は、ルーカス－カナデ（Lucas-Kanade）オプティカルフローアルゴリズムを使用して、第１障害物１２３１Ａおよび第２障害物１２３３Ａの位置情報を計算することを目的としている。

【0053】

まず、画像偏微分法を用いる。テイラーの公式を用いて制約式を展開し、次式を得る。

【数28】

【0054】

ここで、Ｈ．Ｏ．Ｔ．は高次項を表し、変位が小さいときは無視することができる。この式によれば、

【数29】

または、

【数30】

という式を得る。そして、次式を得る。

【数31】

【0055】

Ｖｘ，Ｖｙ，Ｖｚは、Ｉ（ｘ，ｙ，ｚ，ｔ）のオプティカルフローベクトルのｘ，ｙ，ｚ成分である。

【数32】

、

【数33】

、

【数34】

、および

【数35】

は、画像の点（ｘ，ｙ，ｚ，ｔ）における、対応する方向に関する偏導関数である。これにより、式（２４）を下記の式に変換することができる。

【数36】

【0056】

また、式（２５）を次の通り書き換える。

【数37】

【0057】

式（２４）は、３つの未知数（Ｖｘ，Ｖｙ，Ｖｚ）を含むので、未知数を解くために、後のアルゴリズムが使用される。

【0058】

まず、オプティカルフロー（Ｖｘ，Ｖｙ，Ｖｚ）が、サイズｍ＊ｍ＊ｍ（ｍ＞１）の小さい立方体において一定であると仮定する。ボクセル１・・・ｎ，ｎ＝ｍ３から、次式のセットが得られる。

【数38】

【0059】

上記の方程式は全て３つの未知数を含み、過決定された方程式セットを形成する。言い換えれば、方程式には冗長性がある。方程式セットは、次式で表すことができる。

【数39】

【0060】

上記の式を、次の通り表記する。

【数40】

【0061】

過決定された方程式の冗長性問題を解くために、方程式（２９）は、次式

【数41】

または、

【数42】

を与えるために最小二乗法を適用する。
そして、次式が得られる。

【数43】

【0062】

式（３２）の結果を式（２４）に代入すると、第１障害物１２３１Ａの第１障害物情報１２５と第２障害物１２３３Ａの第２障害物情報１２７とを推定することができる。第１障害物情報１２５および第２障害物情報１２７を用いることにより、第１障害物１２３１Ａと車両１との相対距離１２２１が与えられうる。

【0063】

最後に、図２Ｄを参照されたい。図２Ｄは、本開示の一実施形態に係る静止物体を警告する方法における実際の障害物警告の概略図を示す。同図に示すように、本実施形態の工程Ｓ４０において、第１障害物１２３１Ａの相対距離１２２１が距離閾値よりも小さく、かつ、障害物体積１２２５が体積閾値よりも大きい場合、車両コンピュータ１２は第１障害物１２３１Ａを車両コンピュータ１２の表示ユニット１２９の表示画像１２９１に表示し、警告メッセージ１２９５を生成する。

【0064】

工程Ｓ４０において、図１Ｂを参照されたい。図１Ｂは、本開示の一実施形態に係る無効な障害物を判定する工程を示す。同図に示されるように、工程は、以下の工程をさらに含む。

【0065】

工程Ｓ４１：車両は、障害物体積に応じて実際の障害物を分類する。

【0066】

工程Ｓ４３：障害物体積が体積閾値より小さい場合、車両コンピュータは、実際の障害物を無効な障害物と判定する。

【0067】

工程Ｓ４１～Ｓ４３において、車両コンピュータ１２は、第１障害物１２３１Ａを分類する。第１障害物１２３１Ａの体積が体積閾値よりも小さい場合、車両コンピュータ１２は、第１障害物１２３１Ａが無効な障害物であると判定する。第１障害物１２３１Ａが無効な障害物である場合、車両コンピュータ１２は、第１障害物１２３１Ａを注目対象としてリストアップしない。

【0068】

工程４０において、警告メッセージ１２９５は、音声メッセージまたは／および画像メッセージである。距離閾値は２００メートルである。速度閾値はゼロ以下である。体積閾値は４００平方センチメートルである。

【0069】

例えば、警告メッセージは、第１障害物１２３１Ａを表示ユニット１２９上に表示していてもよい。さらに、アラーム音を含めてもよい。

【0070】

言い換えれば、第１障害物１２３１Ａと車両１との間の距離が２００メートル未満であるとき、警告メッセージ１２９５は、車両コンピュータ１２の表示ユニット１２９上に第１障害物１２３１Ａをラベル付けする。

【0071】

距離が１００メートルよりも小さい場合、車両コンピュータ１２の表示ユニット１２９上の第１障害物１２３１Ａにラベルを付けることに加えて、警告メッセージ１２９５は車両１の運転者に注意を促すための警告音（例えば、短いビープ音）をさらに提供する。

【0072】

さらに、第１障害物１２３１Ａと車両１との間の距離が５０メートル未満である場合、車両コンピュータ１２の表示ユニット１２９上に第１障害物１２３１Ａをラベリングすることに加えて、車両コンピュータ１２は断続的な警告音（例えば、複数回のビープ音）も提供する。

【0073】

最後に、第１障害物１２３１Ａと車両１との間の距離が５０メートル未満である場合、車両コンピュータ１２の表示ユニット１２９上に第１障害物１２３１Ａをラベル付けすることに加えて、車両コンピュータ１２は運転者に注意を促すための連続的な警告音（例えば、４回連続のビープ音）を発する。

【0074】

本実施形態の利点は、ライダー（光走査装置１４、赤外線画像抽出装置１６、画像抽出装置１８）を用いて、車両１の周辺２００ｍ以内の３次元周辺情報を利用することである。３Ｄ周辺情報、車両１の２００メートル以内の様々な物体の動的挙動、ならびに、それらの速度、加速度、サイズ、および方向を用いることによって、運転者が当該物体を回避することができるように事前に取得することができる。加えて、１０メートル以内において、車両１の外部の全方位情報、および、より正確な周辺モデルを取得するために、画像および詳細な情報がさらに提供される。

【0075】

前述の実施形態に示すように、本開示は、車両に対して静止物体を警告する方法を提供する。この方法は車両の片側の物体を走査して、対応する物体画像を取得し、物体画像をフィルタリングして、車両に影響を及ぼすフィルタリングされた画像を取得する。対応する物体および車両の速度、およびそれらの間の距離に応じて、該方法はユーザが危険を回避するための予防措置を事前に行うことができるように、ユーザへの警告メッセージを生成する。

【0076】

したがって、本開示はその新規性、非自明性、および有用性のために、法的要件に適合する。しかしながら、上記の説明は、本開示の実施形態に過ぎず、本開示の範囲を限定するために使用されるものではない。本開示の特許請求の範囲に記載された形状、構成、特徴、または意図に基づいてなされた、同等の変更または修正は、本開示の特許請求の範囲に含まれる。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】