▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特表2023-547647マスキングするための方法、コンピュータプログラム、記憶媒体及び電子制御ユニット
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-13
(54)【発明の名称】マスキングするための方法、コンピュータプログラム、記憶媒体及び電子制御ユニット
(51)【国際特許分類】
G06T 1/00 20060101AFI20231106BHJP
【ＦＩ】
G06T1/00 330B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023526351
(86)(22)【出願日】2021-10-21
(85)【翻訳文提出日】2023-04-28
(86)【国際出願番号】 EP2021079173
(87)【国際公開番号】W WO2022090046
(87)【国際公開日】2022-05-05
(31)【優先権主張番号】102020213597.5
(32)【優先日】2020-10-29
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アザルディン サイド
(72)【発明者】
【氏名】イゴール カルリンスキイ
(72)【発明者】
【氏名】ミヒャエル ブスラー
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057AA06
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD05
5B057DB02
5B057DB09
5B057DC08
5B057DC16
(57)【要約】
入力画像（５）内の車両、特にオフロード車両の静的区画（３）をマスキングするための方法に関する。入力画像（５）は、車両、特にオフロード車両の少なくとも１つの区画と、車両環境（６）とを含み、入力画像（５）に基づいて、原型マスキング（７）が選択及び／又は画定され、原型マスキング（７）は、車両、特にオフロード車両の少なくとも１つの静的区画（３）をマスキングし、入力画像（５）は、ノード（１２）、縁部（１１）及びセル（１０）を有するグリッド（９）に区切られ、セル（１０）は、３つの縁部（１１，Ｅ）によって画定され、１つの縁部（１１，Ｅ）は、少なくとも第１及び第２のノード（１２，Ｎ）を有し、少なくとも１つのノード（１２，Ｎ）が原型マスキング（７）内に存在し、さらに全てのノード（１２，Ｎ）が原型マスキング（７）内に存在しない縁部（１３）を有するセル（１０）として環境セル（１４）が選択され、各環境セル（１４）は、それぞれ４つの環境部分セル（１５）に分割され、分割のために環境セル（１４）の３つの縁部（１１，Ｅ）の各々にさらなるノード（Ｎ）が導入され、環境セル（１４）の導入されたノード（Ｎ）は、導入された縁部（Ｅ）を用いて接続される。
【特許請求の範囲】
【請求項1】
入力画像（５）内の車両、特にオフロード車両の静的区画（３）をマスキングするための方法であって、前記入力画像（５）が、前記車両、特に前記オフロード車両の少なくとも１つの区画と、車両環境（６）とを含み、
前記入力画像（５）に基づいて、原型マスキング（７）が選択及び／又は画定され、
前記原型マスキング（７）は、前記車両、特にオフロード車両の少なくとも１つの静的区画（３）をマスキングし、
前記入力画像（５）は、ノード（１２）、縁部（１１）及びセル（１０）を有するグリッド（９）に区切られ、
前記セル（１０）は、３つの縁部（１１，Ｅ）によって画定され、１つの縁部（１１，Ｅ）は、少なくとも第１及び第２のノード（１２，Ｎ）を有し、
少なくとも１つのノード（１２，Ｎ）が前記原型マスキング（７）内に存在し、さらに全てのノード（１２，Ｎ）が前記原型マスキング（７）内に存在しない縁部（１３）を有するセル（１０）として環境セル（１４）が選択され、
各環境セル（１４）は、それぞれ４つの環境部分セル（１５）に分割され、
当該分割のために前記環境セル（１４）の３つの縁部（１１，Ｅ）の各々にさらなるノード（Ｎ）が導入され、前記環境セル（１４）の導入された当該ノード（Ｎ）は、導入された縁部（Ｅ）を用いて接続される、方法。
【請求項2】
選択された前記環境セル（１４）のノード（１２）が、環境ノードとして選択され、前記環境ノードに隣接するセル（１０）が、ノード環境セルとして選択され、前記ノード環境セルの各々は、それぞれ４つの環境部分セル（１５）に分割され、前記ノード環境セルの３つの縁部（１１，Ｅ）の各々への分割のために、さらなるノード（Ｎ）が導入され、導入された当該ノード（Ｎ）が、導入された縁部（Ｅ）と接続される、請求項１に記載の方法。
【請求項3】
前記原型マスキング（７）との重なりを有する環境部分セル（１５）が、原型マスキング（７）として設定され、前記原型マスキング（７）との重なり無しの環境部分セル（１５）は、グリッド（９）として設定される、請求項１又は２に記載の方法。
【請求項4】
前記環境セル（１４）の選択、前記ノード環境セルの選択、前記環境部分セル（１５）への分割、前記環境部分セル（１５）のグリッド（９）としての設定、及び／又は、前記環境部分セル（１５）の原型マスキング（７）としての設定は、繰り返される、請求項３に記載の方法。
【請求項5】
導入された前記ノード（Ｎ）の少なくとも１つ又は全てが、属する前記縁部（１１）を１／２に分割する、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
前記環境セル（１４）の分割の少なくとも１つについて、さらなるノード（Ｎ）として、属する縁部（Ｅ）と前記原型マスキング（７）の輪郭との交点が選択される、請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
境界環境セルが選択され、前記境界環境セルは、それぞれ共通縁部（１７）を介して前記環境セル（１４）の１つに接続され、前記境界環境セルは、境界環境部分セル（２０ａ，２０ｂ）に分割され、当該分割のために、１つの縁部（１１）が、前記境界環境セルのノード（１２）と共通縁部（Ｅ）の導入されたノード（Ｎ）との接続によって挿入される、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
隣接する２つのセルが、それぞれ頂点としての４つのノード（Ｎ）を有する四角形（２１）を形成し、２つのセル（１０ａ，１０ｂ）の共通縁部（１７）が、前記四角形（２１）の対角線（Ｄ）を形成して前記頂点のうちの２つを接続し、隅部四角形の隅部領域における四角形（２１）が選択され、選択された当該隅部四角形について、前記四角形（２１）の原型対角線（Ｄ）が、他の２つの頂点の接続によってその配向で新しい対角線（Ｄ＊）に変更される、請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
前記原型マスキング（７）において厳密に２つのノード（Ｎ）を有し、これらのノード（Ｎ）に属する縁部が原型配向を有するセル（１０）が、四角形（２１）の形成のためのセル（１０）として選択される、請求項８に記載の方法。
【請求項10】
前記セル（１０）として、前記原型マスキング（７）内の厳密に１つのノード（Ｎ）と、当該ノード（Ｎ）から隣接する２つのセル（１０ａ，１０ｂ）の２つのノード（Ｎ）までの２つの縁部（Ｅ）とを有し、前記縁部（１１）が相互に直交する場合、四角形（２１）を形成するセルとして選択される、請求項９に記載の方法。
【請求項11】
前記入力画像（５）は、前記車両、特に前記オフロード車両及び当該車両の環境（２）の上面図を形成する、請求項１乃至１０のいずれか一項に記載の方法。
【請求項12】
コンピュータプログラムであって、当該プログラムが計算機及び／又はプロセッサ及び／又は電子制御ユニットによって実行されるときに、これらの計算機及び／又はプロセッサ及び／又は電子制御ユニットに、請求項１乃至１１のいずれか一項に記載の方法を実施及び／又は適用させるための命令を含むコンピュータプログラム。
【請求項13】
請求項１２に記載のコンピュータプログラムが記憶されている機械可読記憶媒体。
【請求項14】
電子制御ユニット、特に請求項１乃至１１のいずれか一項に記載の方法を実施するための電子制御ユニットであって、前記電子制御ユニットに車両環境（６）を有する入力画像（５）が提供され、
前記電子制御ユニットは、前記入力画像（５）のための原型マスキング（７）を画定するように構成及び／又は調整され、
前記電子制御ユニットは、前記入力画像（５）を、グリッド（９）を用いて分割するように構成され、
前記電子制御ユニットは、環境セル（１４）を前記セル（１０）から選択し、選択された当該環境セル（１４）を環境部分セル（１５）に分割するように構成されている、
電子制御ユニット。
【発明の詳細な説明】
【技術分野】
【0001】
従来技術
本発明は、入力画像内の車両、特にオフロード車両の静的区画をマスキングするための方法に関する。
本発明は、入力画像内の車両、特にオフロード車両の静的区画をマスキングするための方法に関する。
【背景技術】
【0002】
画像の複数の区画をマスキングすることは、様々な技術分野において利用されている。ここでは、マスキングに対して、グラフ理論及び／又はグリッドを用いた手法が公知である。
【0003】
例えば、Randolph E. Bank, Andrew H. Sherman und Alan Weiser著による刊行物「Refinement algorithms and data structures for regular local mesh refinement」（Scientific computing (Montreal, Que-bec, １９８２年、IMACS Transactions on Scientific Computation, I, IMACS, New Brunswick, NJ, １９８３年、第３－１７頁)）は、グリッドを細分化させるためのアルゴリズムについての記述であり、ここでのグリッドは、特に三角グリッドを形成している。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Randolph E. Bank, Andrew H. Sherman und Alan Weiser著による刊行物「Refinement algorithms and data structures for regular local mesh refinement」（Scientific computing (Montreal, Que-bec, １９８２年、IMACS Transactions on Scientific Computation, I, IMACS, New Brunswick, NJ, １９８３年、第３－１７頁)）
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明の開示
請求項１の特徴を有する、入力画像内の車両、特にオフロード車両の静的区画をマスキングするための方法が提案される。さらに、コンピュータプログラム、機械可読記憶媒体及び電子制御ユニットが提案される。好適な及び／又は有利な実施形態は、従属請求項、以下の説明及び添付の図面から明らかとなる。
請求項１の特徴を有する、入力画像内の車両、特にオフロード車両の静的区画をマスキングするための方法が提案される。さらに、コンピュータプログラム、機械可読記憶媒体及び電子制御ユニットが提案される。好適な及び／又は有利な実施形態は、従属請求項、以下の説明及び添付の図面から明らかとなる。
【課題を解決するための手段】
【0006】
入力画像内の区画をマスキングするための方法が提案される。マスキングとは、特に、原型マスク及び／又は既存のマスクの調整及び微細化とも理解されたい。さらに、マスクとマスキングとは、実質的に同義に使用される。特に、静的区画をマスキングするための方法が構成され、この場合、静的区画とは、好適には、車両区画、車両、特にオフロード車両の１つの区画、及び／又は、複雑な形状の静的区画である。例えば、本方法によれば、例えばカメラ、特に車両カメラによって撮影された画像内において、例えば、車両、オフロード車両、及び／又は、それに接続された区画に属するために静的状態である区画はマスキングされるべきである。マスキングにより、例えば、そのような区画は、隠され、覆われ、及び／又は、簡略化されて表示されるものとしてよく、及び／又は、そのようにされるべきである。オフロード車両とは、例えば、フロアコンベア車両、特に、フォークリフトと理解されたい。さらに、オフロード車両とは、例えば、掘削機、クレーン、輸送車両又は建設機械などの建設車両と理解されたい。単純な自動車（自家用車）と異なって、オフロード車両は、例えば、フォークリフトのフォーク、掘削ショベル、クレーン区画、及び／又は、その他の静的区画など、非常に複雑な構造及び／又は幾何学形状を有している。
【0007】
入力画像は、少なくとも１つの静的区画、好適には車両、特にオフロード車両の区画と、車両環境とを含み及び／又は示す。例えば、入力画像は、車両カメラの記録に基づいており、及び／又は、車両カメラの記録として形成されており、ここで、車両カメラは、車両環境や車両、特にオフロード車両、又は、器具の区画を撮像する。入力画像に基づいて、原型マスキングが選択及び／又は決定される若しくはされている。例えば、ユーザ又は人により原型マスキングは、入力画像において又は入力画像に基づいて、グラフィカルに又は英数字で選択及び／又は画定され得る。特に、原型マスキングは、例えば、オブジェクト認識アルゴリズムによって選択及び／又は画定され得る。原型マスキングは、入力画像の静的区画、例えば、入力画像に記録され、及び／又は、含まれている車両、特にオフロード車両の静的区画をマスキングし、画定し、及び／又は、記述する。原型マスキングは、特に二次元の面であり、この場合、この面は、部分面として連続的又は非連続的に形成されるものとしてよい。原型マスキングは、特に、輪郭、例えば外縁及び／又は原型マスキングを車両環境から画する縁部領域を有する。
【0008】
入力画像は、グリッドによって、グリッドを用いて及び／又はグリッドに、区画化、分割、及び／又は、分解される。グリッドは、ノード、縁部及びセルを含む。グリッドは、好適には、三角形化されたグリッドであり、ここで、セルは、三角形を形成する。グリッドは、さらに、メトリックを有し得るものであり、順序立て得るものであり、及び／又は、規則的に形成され得るものである。セルは、最初に確定されたグリッドについて、好適には、正三角形であり、及び／又は、規則的に配置され、ここで、最初は特に、セルは、まだ本方法によってさらに分割されていないことを理解されたい。セルは、ノード及び縁部を含み、及び／又は、ノード及び縁部によって画定される。ノードは、例えば、点として理解することができ、ここで、三角形セルについては、３つのノードが、隅部として存在している。縁部は、例えば、線として理解することができ、ここで、三角形セルは、３つの縁部によって画定される。これらの縁部は、特に、頂点を形成するセルのノードを接続する。特に、頂点として形成された２つのノードの間の縁部上にさらなるノードが挿入されるものとしてよく及び／又は挿入され、ここで、そのように導入されたノードは、例えば、付加的ノードと称される。２つの隣接するセルは、特に、共通縁部を介して接続される。三角形セルについては、ノード、特に頂点は、６の価数を有し、この場合、このことは、ノードにとって、それが６つのセルに属し、及び／又は、６つのセルに隣接していることを意味する。特に、本方法を実施するために、ノード対隣接するセルテーブル及びノード対縁部のテーブルを作成及び／又は使用することができる。ノード対隣接するセルテーブルは、例えば、ノードの価数６を起点として、各ノードに対して６つまでの属するセル及び／又は隣接するセルを記憶する。ノード対縁部テーブルは、既知の縁部に対して、２つの属するセル及び／又は隣接するセルと、特に縁部が分割された縁部を形成する場合、ノード識別子（Ｉｄ）とを格納する。ノード対縁部テーブルは、例えば、順序の考慮なしでインデックスを決定する関数ｇｅｔｉｎｄｅｘ（）を介して取得することが可能である。
【0009】
本方法は、環境セルの選択を想定するものである。環境セルとして、少なくとも１つのノードが原型マスキング内に存在する縁部を有するグリッドのセルが選択され、さらに縁部の全てのノードではないことが当てはまる縁部を有するグリッドのセルが選択される。したがって、この種の縁部は、例えば、原型マスキング内に部分的な経過を有する縁部である。特に、この種のセルは、原型マスキングの輪郭と交差する１つ又は２つの縁部を有する。グリッドのセルからの環境セルの選択は、例えば、本方法が入力画像に最初に適用される場合、特にグリッドの全てのセルから行われる。例えば、選択は、実施及び／又は適用が繰り返される場合、本方法の反復時及び／又は本方法若しくは本方法ステップの繰り返し時に、以前に分割された、及び／又は、原型グリッドによって設定されなかったグリッドのセルからのみ行われる。
【0010】
本方法は、選択された環境セルが分割されることを想定するものである。この環境セルは、ここでは、特に、それぞれ４つの環境部分セルに分割される。選択された環境セルから分割によって４つの環境部分セルが得られ、ここで、４つの環境部分セルは、特に、それらが由来する分割された環境セルを置き換える。例えば、分割された環境セルは、グリッド内の４つの環境部分セルに置き換えられる。環境セル、特に環境セルの各々を分割するために、環境セルの縁部の各々、特に３つの縁部上にそれぞれさらなるノードが導入される。導入されたノードは、それぞれの縁部の分割のために用いられる。２つのノードによって画定されていた縁部は、次いで、例えば３つのノードを含み、ここで、１つの原型縁部が、ここで、特に共通のノードを有する２つの新たな縁部として把握することができるようになる。環境セルを４つの環境部分セルに分割するために、３つの縁部が導入され、ここで、これらの３つの導入された縁部は、導入されたノードの接続によって決定され及び／又は取得される。
【0011】
したがって、原型マスキングとの重なりを有する選択された環境セルを分割することにより、原型マスキングの環境は、より小さくより微細なセルに分割される。それにより、非常に大きい計算コストやメモリコストにつながりかねないグリッドの全てのセルが分割されることになるのではなく、危急とみなされるセルだけが分割される。オフロード車両及び／又はその静的区画の輪郭や幾何学形状は非常に複雑であるため、そのマスキングも非常に複雑である。オフロード車両用のマスクを入力画像に適用し調整するためには、より正確な観察が必要であり、問題のある区画内のグリッドの分割も頻繁である。特に原型マスキングの環境から選択されるセルの分割により、画像において、例えばオフロード車両の複雑な幾何学形状のマスキングを可能にする、特に計算効率が高くてメモリを節約することができるアルゴリズムが使用可能となる。特に、自家用車に合わせたマスキング方法は、自家用車が、突起、縁部、及び／又は、作業区画などの問題箇所を持たない非常に単純で多くの場合矩形の形状を有するため適用することができず、それをオフロード車両に適用した場合、不十分な結果を招くことになる。
【0012】
したがって、本方法によれば、複雑な幾何学形状に適し、不要な計算能力を要求しないグリッドの特に効率的な調整を可能にさせる。それによって、特に、危急な領域は、より高解像度で微細化し、危急でない領域は、節約することができるため、本手法は、埋め込みシステムにも適用可能である。さらに、本方法は、マスキングと環境との間の遷移領域におけるアーティファクトをわずかにさせる。特に、本方法によれば、例えば、マスク及び／又は環境に対するセル（ここでは、環境部分セル）のさらなる分類及び／又は割り当てを行うことができ、例えば、マスキングに重なる分割された環境部分セルは、マスキングに対してカウントされ、重ならない環境部分セルは、原型車両環境に対してカウントされる。
【0013】
特に好適には、選択された環境セルについて、セルに属するノードが環境ノードとして選択される。したがって、選択された環境セルについて、特に、３つの画定すべきノード（隅部）が環境ノードとして選択される。特に、環境セルが、画定すべきノード（隅部）の間に導入されたノードを有する場合、これらのノードも環境ノードとして選択されることが想定されるものとしてよい。選択された環境ノードについて、ノード環境セルが選択され、ここで、ノード環境セルは、環境ノードに属するセルである。例えば、価数が６の場合については、特に、厳密に６つまでのノード環境セルが選択される。ノード環境セルの選択は、例えば、ノード対隣接面テーブルに基づいて行われる。
【0014】
ノード環境セルは、それぞれ４つのノード環境部分セルに分割され、ここで、ノード環境部分セルは、特に環境部分セルを形成し及び／又はそのように設定される。ノード環境セルの分割のために、特に、環境セルを環境部分セルに分割するのと同様の手法により、ノード環境セルの３つの縁部の各々にさらなるノードが導入される。導入されたノードは、縁部の導入によって接続され、それによって、ノード環境セルがそれぞれ４つのノード環境部分セル又は環境部分セルに分解される。この場合、４つの環境部分セルは、特に、原型ノード環境セルに置き換わる。この実施形態は、環境セルの環境部分セルへの分割の他に、即ち、原型マスキングから環境への移行の調整の他に、グリッド及び／又はそれに隣接する領域における区切りも調整するという考察に基づいている。この実施形態により、特に効率的で、計算能力を節約し、メモリスペースに優しい隣接領域の調整を実施することができる。
【0015】
任意選択的に、環境部分セル、特に方法又は反復ステップにおいて得られた環境部分セルが、原型マスキングとの重なり及び／又は既に空のない交差量を有するかどうかが検査されることが想定される。特に、原型マスキングとの重なり及び／又は原型マスキングとの空のない交差を有する環境部分セルが、原型マスキングとして設定され、及び／又は、原型マスキングに割り当てられ、そのため、新しい原型マスキングは、引き続きこの環境部分セルを含む。それによって、特に、原型マスキングの調整及び／又は微細化が行われ、ここで、この調整及び／又は微細化された原型マスキングは、特に、方法又は方法の一部の新たな実施のための基礎、特に環境セルの新たな選択及びその分割のための基礎を形成することができる。原型マスキングとの重なり及び／又は空の交差量を有さない環境部分セルは、原型マスキングに対してカウント及び／又は設定されるのではなく、特にグリッド及び／又は車両環境に割り当てられる。本方法のこの実施形態によって、原型マスキングが調整され、微細化される。例えば、分割されていないセルと比較して以前は大きかったセルは、マスク及び／又は原型マスキングのより正確な記述のために、分割された形態で用いることができる。原型マスキングという用語は、特に、本方法のこの種の実施形態において、実際の原型マスキングについても、新たな原型マスキングを含む実際の原型マスキングに加えて追加された環境部分セルについても、説明を簡略化するためのものと理解されたい。
【0016】
特に、原型マスキングによるさらなる微細化及びより良好なマスキングのために、ノード環境セル、環境セルの選択、ノード環境セル及び環境セルの分割、グリッドとしての及び／又は原型マスキングとしての環境部分セルの設定が繰り返し実施されることが想定される。選択は、ここでは、例えば、環境部分セルを形成するセルからも行われる。例えば、環境部分セルは、原型マスキングとの重なり無しで、グリッドのセルとして設定されている。本方法及び／又は本方法ステップの繰り返しは、例えば、確定された及び／又は確定可能な繰り返し数によって定められるものとしてよい。代替的及び／又は付加的に、繰り返し数は、原型マスキングと、既知の目標幾何学形状、例えば車両幾何学形状との偏差の比較及び／又は決定によって、決定されるものとしてよい。
【0017】
特に好適には、縁部の少なくとも１つの分割又は全ての分割については、ノードが縁部を１／２に分割するように、例えば、導入されたノードが分割すべき縁部の原型ノードに対して点対称を形成するようにノードが導入される。代替的に、縁部の分割は、他の割合で、例えばランダムに、又は、ユーザが決めて行うことができる。この実施形態は、セル及び／又は縁部を分割する計算技術的に及び／又はプログラミング技術的に簡単な実施形態を提供するという考察に基づいたものであり、ここで、例えば、分割後の原型グリッドの対称性及び／又は幾何学的特性は、実質的に維持され続ける。
【0018】
本発明の代替的実施形態は、さらなるノードの導入による縁部の少なくとも１つの分割について、分割すべき縁部と原型マスキングとの交差の検査に基づかせることを想定するものである。例えば、分割すべき縁部について、原型マスキングの輪郭との交点を有するかどうかが検査され、ここで、交点が存在する場合、この交点は、導入すべきノードの位置を形成する。この実施形態は、環境セルを分割するためのさらなるノードの導入は、原型マスキングの複雑な幾何学形状を考慮して最適に行われるという考察に基づいている。なぜなら、環境部分セルによる環境セルのこのような分割は、実質的に原型マスキングとの交差を分離させることができるからである。
【0019】
本発明の一実施形態は、境界環境セルが、特にグリッドのセルから選択されることを想定するものである。境界環境セルは、少なくとも１つの共通縁部を介して環境セル、特に、選択された環境セルに接続及び／又は隣接しているグリッドのセルである。換言すれば、境界環境セル及び隣接する環境セルは、共通縁部において分かれている。境界環境セルは、境界環境部分セルに分割される。境界環境セルを境界環境部分セルに分割するために、縁部が挿入及び／又は導入され、ここで、この縁部は、境界環境セルのノード、特に隅部を、共通縁部の導入されたノードに接続する。共通縁部は、導入されたノードを有する。なぜなら、それは、本方法に従って分割された環境セルだからである。境界環境セルにおいては、共通縁部の導入されたノードが境界環境セルのノード又は隅部に接続されるため、この縁部の導入によって、境界環境セルが分割され、特に２分割される。導入されたノードは、特に、導入されたノードを有する縁部に対向する境界セルのノードに接続される。
【0020】
特に、グリッドが、２つの隣接する三角形セルが４つのノードを有する四角形に相互補完するように形成されることが想定される。特に、四角形に相互補完されるセルは、２つのノードを有する縁部において分かれ、ここで、共通の縁部は、四角形のための対角線を形成する。例えば、四角形が選択されること、及び／又は、四角形にグループ化されることが想定される。特に、四角形及び／又はそれに属するセルは、それらが原型マスキングの隅部領域に配置されるように選択及び／又はグループ化される。隅部領域は、例えば、鋭角及び／又は直角を有する原型マスキング及び／又はその輪郭の領域である。選択された四角形及び／又は基礎となるセルについて、２つのセルの共通又は分割縁部を形成する原型対角線の配向が変更され、ここで、原型対角線及び／又は共通縁部が除去され、ここで、元々接続されていない他の２つのノード又は頂点が新たな縁部によって接続される。このように新たに生じたセルは、特に、新たな異なる配向の共通縁部を有する。このように生じた新たなセルは、グリッドのセルとして設定され、及び／又は、環境セル及び／又は環境部分セルとして設定される。対角線の配向の変更又は結果として生じるグリッドの新たなセルによって、隅部領域、特に原型マスキングの鋭角がより良好に細分化及び調整され得る。例えば、そのようにして、反復ステップ及び／又は分割ステップの節約が可能となる。
【0021】
特に、原型マスキング内にそれぞれ２つのノードを有すると同時にノードに属する縁部がその配向を変更されておらず、例えば原型グリッドの配向に対応するセル特性としてそれらが有するように、隅部領域が決定され、及び／又は、隅部領域内の四角形が選択されることが想定される。例えば、原型配向を有する原型マスキング内に２つのノードを有する各セルは、その縁部を介して隣接するセルとともに四角形にグループ化される。
【0022】
代替的及び／又は補完的に、四角形のグループ化及び／又は選択のためのセルとして、原型マスキング内に厳密に１つのノードを有し、このノードからグリッドの配向を示す２つの隣接するセルに延びる２つの縁部を有するセルが用いられることが想定される。
【0023】
代替的及び／又は付加的に、４つの隅部にグループ化するためのセルとして、又は、隅部領域として、特性が当てはまるセルが選択される。セルの縁部について、厳密に１つのノードが原型マスキング内に存在し、当該ノードに対して隣接するセルの厳密に２つのさらなるノードも原型マスキング内に存在し、これによって拡張された隅部は、グリッドの原型配向に対して直角である。特に、この隅部によって囲まれたセルは、四角形にグループ化される。
【0024】
特に好適には、入力画像は、車両、特にオフロード車両の上面図を形成及び／又は表示する。例えば、入力画像は、例えばフロントカメラ、リアカメラ、左右のサイドカメラなど１つ以上の車両カメラからのカメラ撮像に基づいている。入力画像は、例えば、車両カメラの撮像及び／又は撮像の射影に基づいて形成される。車両、特にオフロード車両は、上面図（top view）において原型マスキングによってフェードアウト及び／又は隠され、特に車両、特にオフロード車両のモデルによって環境に埋め込まれる。
【0025】
本発明のさらなる対象は、計算機、プロセッサ、及び／又は、電子制御ユニット上において実行するためのコンピュータプログラムを形成する。このコンピュータプログラムは、計算機、プロセッサ、及び／又は、電子制御ユニット上において実行されるときに、前述したような本方法及び／又は本方法の個々の方法ステップを実施及び／又は適用するために構成及び／又は調整されている。
【0026】
本発明のさらなる対象は、機械可読記憶媒体、例えば、ＣＤ、ＤＶＤ、又は、ハードディスクストレージである。この機械可読記憶媒体上にコンピュータプログラムが記憶されている。
【0027】
本発明のさらなる対象は、電子制御ユニットを形成し、ここで、前述したような入力画像が電子制御ユニットに提供される。電子制御ユニットは、特に、前述した方法を実施するように構成及び／又は調整されている。電子制御ユニットは、入力画像のための原型マスキングを確定するように及び／又はユーザによって確定されるように構成及び／又は調整されている。電子制御ユニットは、入力画像、特に車両環境及び／又は原型マスキングを、グリッドを用いて分割するように構成されており、ここで、グリッドは、特に三角形グリッドを形成する。このグリッドは、上述したように構成される。電子制御ユニットは、少なくとも１つのノードが原型マスキング内に存在するセルから環境セルを選択するように構成されている。特に、電子制御ユニットにより、縁部の１つのノードが原型マスキング内に存在し、他のノードは原型マスキング内に存在しないという特性を有する縁部が存在するセルが、環境セルとして選択される。電子制御ユニットは、選択された環境セルを環境部分セルに分割するように構成され、ここで、制御ユニットは、環境セルの縁部の各々にノードを導入するように構成され、導入されたノードは、新たな縁部によって接続される。
【0028】
本発明のさらなる利点、効果及び実施形態は、添付の図面及びその説明から明らかとなる。
【図面の簡単な説明】
【0029】
【図1】原型マスキングの例示的な選択を示した図である。
【図2】入力画像の可能な区画化を示した図である。
【図4】環境セルの分割を示した図である。
【図5】境界環境セルへの付加的縁部の例示的な導入を示した図である。
【図6a】本方法の適用前後の原型マスキングを示した図である。
【図6b】本方法の適用前後の原型マスキングを示した図である。
【図7】縁部が１／２に分割されない実施例を示した図である。
【図8】四角形の対角線の配向変更を示した図である。
【発明を実施するための形態】
【0030】
図１は、車両、特にオフロード車両、ここではフォークリフトの車両カメラによって撮像された４つのカメラ画像１を例示的に示している。これらのカメラ画像１は、フロントカメラ画像１ａ、リアカメラ画像１ｂ、左方側面画像１ｃ、右方側面画像１ｄを含む。これらのカメラ画像１は、ここでは、魚眼レンズを備えたカメラの画像１ａ，１ｂ，１ｃ，１ｄとして形成されている。これらのカメラ画像１には、可変でかつ動的に形成される車両の環境２が示されている。さらに、これらのカメラ画像１には、静的区画３が示されており、ここで、これらの静的区画３は、車両の一部の撮像によって形成されている。これらのカメラ画像１は、入力画像５を作成するために、例えば、車両の環境２の上面図を得るために使用される。例えば、入力画像５において、車両環境は、例えば上面図として示されるべきであり、ここで、静的区画３及び／又は車両自体は、上面図において簡略化されて示されるか、あるいはマスキングされるべきである。
【0031】
マスキングステップ１００においては、ユーザにより、カメラの画像１ａ，１ｂ，１ｃ，１ｄにおいて、例えば、スクリーン及び／又はコンピュータ上で画像内のグラフィカルな選択によりマスク選択４が実施される。このマスク選択４は、カメラの画像１ａ，１ｂ，１ｃ，１ｄ内における静的区画３の確定、選択、及び／又は、画定を示し、ここで、これらは、例えば、入力画像５における原型マスキングの生成のために使用及び／又は射影される。射影ステップ２００においては、入力画像５が生成され、ここで、カメラの画像１ａ，１ｂ，１ｃ，１ｄ及びマスク選択４に基づいて、車両環境６及び原型マスキング７を含む上面図が作成される。車両環境６は、特に、車両周囲の動的な領域、特にカメラ画像１内の動的な領域によって形成される。原型マスキング７は、マスキング選択４に、即ち、カメラ画像内の静的区画に基づいている。さらに、原型マスキング７は、例えば、車両の既知の幾何学形状及び／又は対象認識アルゴリズムに基づかせることができ及び／又はそれらに基づいて補足することができる。原型マスキング７は、上面図において実質的に車両に対応する面区画を示す。原型マスキング７は、面又は原型マスキング７を車両環境６に対して画定する輪郭８を有する。入力画像５は、本方法の一実施例の実施のために以下において区画化される。
【0032】
図２は、車両環境６、原型マスキング７及び輪郭８を有する図１からの入力画像５を示す。区画化ステップ３００においては、入力画像５は、グリッド９によってセル１０に分割される。特に、この区画化ステップ３００においては、入力画像５の詳細を簡略化すること及び／又は見合わせることが想定されるものとしてよく、それにより、例えば、グリッド９において、原型マスキング７と輪郭８と車両環境６との間の区別のみがなされ、このことは、例えば、プロセッサ負荷のさらなる軽減につながる。
【0033】
グリッド９は、規則的に、特に、グリッド９作成時に規則的に構築される。本方法の適用時、本方法の適用後、及び／又は、本方法ステップの反復時に、グリッド９の一部が変更されて不規則性をもたらすことがある。グリッド９は、ここでは、原型グリッドとして示されている。セル１０は、グリッド９が三角形分割を示すように三角形セルである。セル１０は、それぞれ３つの縁部１１及び３つのノード１２を有する。セル１０の縁部１１は、それぞれ２つのノード１２の接続部として形成されている。各縁部１１は、隣接する２つのセル１０の一部である。特に、各セル１０は、３つの縁部１１によって、隣接する３つのセルに対して配置されている。グリッド内の各ノード１２は、６つのセル１０に対して一部であり、及び／又は、それらに隣接している。これらのセル１０については、縁部１１及びノード１２は、それぞれ、それらが車両環境６、環境マスキング７の領域内又は輪郭８上に存在しているかどうかを検査することが可能である。
【0034】
図３は、区画化された入力画像５からの部分図を示す。この部分図には、グリッド９、原型マスキング７及び車両環境６が示されている。例示的に、いくつかの選択された縁部１３及び選択されたセル１４が示されている。これらの選択されたセル１４は、環境セルを形成する。これらの環境セル１４は、ここでは、グリッド９の全てのセル１０が選択特性の存在について検査されるように選択され、この場合、本方法の実施又は反復の実施が繰り返されるときには、例えば、以前の方法又は反復ステップで分割されたセル１０のみがただ検査及び／又は調査されるだけである。
【0035】
セル１０が環境セル１４を形成するという選択特性は、これらのセル１０が、一方のノード１２は原型マスキング７内に存在するが、他方のノードは原型マスキング７内に存在するのではなく車両環境６内に存在するという縁部１３を有することである。ここでは、他方の縁部１１もこの特性を有するかどうかに関係なく、セルがこの特性を有する縁部、例えば縁部１３を有することで十分である。この選択特性を有する全てのセル１０は、環境セル１４として選択される。それに続いて、環境セル１４は、例えば図４に示されているように環境部分セルに分割される。
【0036】
図４は、環境セル１４を例示的に示す。環境セル１４は、３つのノード１２、ここでは、ノードＮ０，Ｎ１，Ｎ２を含む。さらに、環境セル１４は、３つの縁部Ｅ０，Ｅ１，Ｅ２を含む。これらの縁部Ｅ０，Ｅ１，Ｅ２によって面Ｆ０が囲まれる。面Ｆ０を有する環境セル１４は、４つの環境部分セル１５ａ，１５ｂ，１５ｃ，１５ｄに分割される。このため、環境セル１４の縁部Ｅ０，Ｅ１，Ｅ２の各々にノードＮ３，Ｎ４，Ｎ５が導入される。この実施形態例においては、導入されたノードＮ３，Ｎ４，Ｎ５は、属する縁部Ｅ０，Ｅ１，Ｅ２をそれぞれ１／２に分割している。したがって、原型縁部Ｅ０は、縁部Ｅ３及びＥ４に分解され、原型縁部Ｅ１は、縁部Ｅ５及びＥ６に分解され、ここで、原型縁部Ｅ２は、縁部Ｅ７及びＥ８に分解される。さらに、導入されたノードＮ３，Ｎ４，Ｎ５は、それぞれ縁部Ｅ９，Ｅ１０，Ｅ１１によって相互に接続される。それにより、環境セル１４は、面Ｆ１，Ｆ２，Ｆ３，Ｆ４を有する４つの環境部分セル１５ａ乃至１５ｄに分解される。それに続いて、原型環境セル１４が環境部分セル１５ａ乃至１５ｄに置き換えられ、これによって、環境セル１４の領域においては、グリッド９が微細化される。
【0037】
図５は、境界環境セルを分割する実施例を示す。境界環境セルは、分割された環境セル１４との共通縁部１７を有するセル１０である。したがって、共通縁部１７上には、付加的ノード１８が導入され、新たに存在している。この付加的ノード１８は、境界環境セル１６において、縁部２０を用いて環境部分セルの対向ノード１９に接続され、それによって、境界環境セル１６は、境界環境部分セル２０ａ及び２０ｂに分解される。
【0038】
図６ａ及び図６ｂは、車両環境６及び原型マスキング７を有する例示的な入力画像５を示す。図６ａは、環境セルの選択及びそれらの分割を１回実施した後の入力画像５を示し、ここでは、環境部分セルの一部が原型マスキング７に割り当てられている。図６ｂは、４つの選択ステップ及びそれらの分割を実施した後の図６ａの入力画像５を示し、ここでは、境界環境の一部がセル１０を分割して原型マスキング７に割り当てられ、それによって、原型マスキング７が微細化されている。図６ｂの原型マスキング７は、車両の実際の形状を上面図においてより良好に再現している。
【0039】
図７は、ノードＮ３，Ｎ４，Ｎ５の導入によって環境セル１４を環境部分セル１５に分割する実施例を示す。ただし、ここでは、導入されたノードＮ３，Ｎ４は、対応する縁部Ｅ１，Ｅ０を１／２に分割するのではなく、原型マスキング７に基づいて確定されている。ここでは、縁部Ｅ０，Ｅ１と原型マスキング７との交点Ｓ３及びＳ４が決定される。交点Ｓ３又はＳ４の箇所には、ノードＮ３又はＮ４が配置される。縁部、ここでは、例えばＥ２が原型マスキング７との交点を持たない場合、当該縁部は、ここでは、例えばノードＮ５によって１／２に分割される。このようにノード、特にノードＮ３及びＮ４を確定することによって、環境セル１４の改善された分割が行われる。なぜなら、原型マスキング７が考慮されるからである。
【0040】
図８は、四角形２１の対角線Ｄの配向を変更する例を示し、ここで、この四角形２１は、２つの三角形セル１０ａ及びｌ０ｂを含む。セル１０ａは、ノードＮ０，Ｎ１，Ｎ２及びそれらに属する縁部Ｅ０，Ｅ１，Ｅ２によって画定される。セル１０ｂは、ノードＮ０，Ｎ２，Ｎ３及び縁部Ｅ３，Ｅ４，Ｅ５によって画定される。縁部Ｅ２及びＥ３は、両方のセル１０ａ及び１０ｂの一部であり、四角形２１のための対角線Ｄを形成する。特に隅部領域及び／又は鋭角を伴う領域において、グリッド及びマスキングをより良好に調整するために、配向変更ステップ４００においては、対角線Ｄがその配向を変更される。この目的のために、原型対角線Ｄは、原型対向ノードＮ０及びＮ２の代わりに、これまで接続されていない他のノードＮ１及びＮ３を相互に接続する対角線Ｄ＊によって置き換えられ、ここで、対角線Ｄ＊は、新たな縁部Ｅ２及びＥ３を形成する。新たなセル１０ａ及び新たなセル１０ｂは、ここで、既存のノードＮ０乃至Ｎ３の他の組合せによって画定され、それによって、マスキングの問題のある領域の輪郭により強力に対応することができるようになる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【手続補正書】
【提出日】2023-06-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
入力画像（５）内の車両、特にオフロード車両の静的区画（３）をマスキングするための方法であって、前記入力画像（５）が、前記車両、特に前記オフロード車両の少なくとも１つの区画と、車両環境（６）とを含み、
前記入力画像（５）に基づいて、原型マスキング（７）が選択及び／又は画定され、
前記原型マスキング（７）は、前記車両、特にオフロード車両の少なくとも１つの静的区画（３）をマスキングし、
前記入力画像（５）は、ノード（１２）、縁部（１１）及びセル（１０）を有するグリッド（９）に区切られ、
前記セル（１０）は、３つの縁部（１１，Ｅ）によって画定され、１つの縁部（１１，Ｅ）は、少なくとも第１及び第２のノード（１２，Ｎ）を有し、
少なくとも１つのノード（１２，Ｎ）が前記原型マスキング（７）内に存在し、さらに全てのノード（１２，Ｎ）が前記原型マスキング（７）内に存在しない縁部（１３）を有するセル（１０）として環境セル（１４）が選択され、
各環境セル（１４）は、それぞれ４つの環境部分セル（１５）に分割され、
当該分割のために前記環境セル（１４）の３つの縁部（１１，Ｅ）の各々にさらなるノード（Ｎ）が導入され、前記環境セル（１４）の導入された当該ノード（Ｎ）は、導入された縁部（Ｅ）を用いて接続される、方法。
【請求項2】
選択された前記環境セル（１４）のノード（１２）が、環境ノードとして選択され、前記環境ノードに隣接するセル（１０）が、ノード環境セルとして選択され、前記ノード環境セルの各々は、それぞれ４つの環境部分セル（１５）に分割され、前記ノード環境セルの３つの縁部（１１，Ｅ）の各々への分割のために、さらなるノード（Ｎ）が導入され、導入された当該ノード（Ｎ）が、導入された縁部（Ｅ）と接続される、請求項１に記載の方法。
【請求項3】
前記原型マスキング（７）との重なりを有する環境部分セル（１５）が、原型マスキング（７）として設定され、前記原型マスキング（７）との重なり無しの環境部分セル（１５）は、グリッド（９）として設定される、請求項１又は２に記載の方法。
【請求項4】
前記環境セル（１４）の選択、前記ノード環境セルの選択、前記環境部分セル（１５）への分割、前記環境部分セル（１５）のグリッド（９）としての設定、及び／又は、前記環境部分セル（１５）の原型マスキング（７）としての設定は、繰り返される、請求項３に記載の方法。
【請求項5】
導入された前記ノード（Ｎ）の少なくとも１つ又は全てが、属する前記縁部（１１）を１／２に分割する、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
前記環境セル（１４）の分割の少なくとも１つについて、さらなるノード（Ｎ）として、属する縁部（Ｅ）と前記原型マスキング（７）の輪郭との交点が選択される、請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
境界環境セルが選択され、前記境界環境セルは、それぞれ共通縁部（１７）を介して前記環境セル（１４）の１つに接続され、前記境界環境セルは、境界環境部分セル（２０ａ，２０ｂ）に分割され、当該分割のために、１つの縁部（１１）が、前記境界環境セルのノード（１２）と共通縁部（Ｅ）の導入されたノード（Ｎ）との接続によって挿入される、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
隣接する２つのセルが、それぞれ頂点としての４つのノード（Ｎ）を有する四角形（２１）を形成し、２つのセル（１０ａ，１０ｂ）の共通縁部（１７）が、前記四角形（２１）の対角線（Ｄ）を形成して前記頂点のうちの２つを接続し、隅部四角形の隅部領域における四角形（２１）が選択され、選択された当該隅部四角形について、前記四角形（２１）の原型対角線（Ｄ）が、他の２つの頂点の接続によってその配向で新しい対角線（Ｄ＊）に変更される、請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
前記原型マスキング（７）において２つのノード（Ｎ）を有し、これらのノード（Ｎ）に属する縁部が原型配向を有するセル（１０）が、四角形（２１）の形成のためのセル（１０）として選択される、請求項８に記載の方法。
【請求項10】
前記セル（１０）として、前記原型マスキング（７）内の１つのノード（Ｎ）と、当該ノード（Ｎ）から隣接する２つのセル（１０ａ，１０ｂ）の２つのノード（Ｎ）までの２つの縁部（Ｅ）とを有し、前記縁部（１１）が相互に直交する場合、四角形（２１）を形成するセルとして選択される、請求項９に記載の方法。
【請求項11】
前記入力画像（５）は、前記車両、特に前記オフロード車両及び当該車両の環境（２）の上面図を形成する、請求項１乃至１０のいずれか一項に記載の方法。
【請求項12】
コンピュータプログラムであって、当該コンピュータプログラムが計算機及び／又はプロセッサ及び／又は電子制御ユニットによって実行されるときに、これらの計算機及び／又はプロセッサ及び／又は電子制御ユニットに、請求項１乃至１１のいずれか一項に記載の方法を実施させるための命令を含むコンピュータプログラム。
【請求項13】
請求項１２に記載のコンピュータプログラムが記憶されている機械可読記憶媒体。
【請求項14】
電子制御ユニット、特に請求項１乃至１１のいずれか一項に記載の方法を実施するための電子制御ユニットであって、前記電子制御ユニットに車両環境（６）を有する入力画像（５）が提供され、
前記電子制御ユニットは、前記入力画像（５）のための原型マスキング（７）を画定するように構成及び／又は調整され、
前記電子制御ユニットは、前記入力画像（５）を、グリッド（９）を用いて分割するように構成され、
前記電子制御ユニットは、環境セル（１４）を前記セル（１０）から選択し、選択された当該環境セル（１４）を環境部分セル（１５）に分割するように構成されている、
電子制御ユニット。
【国際調査報告】