ホーム > 特許ランキング > 財團法人工業技術研究院
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-95668(P2020-95668A)
(43)【公開日】2020年6月18日
(54)【発明の名称】道路画像再構成及び車両測位のための方法及びシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20200522BHJP
G06T 7/246 20170101ALI20200522BHJP
G01C 21/28 20060101ALI20200522BHJP
G01S 19/48 20100101ALI20200522BHJP
G06T 1/00 20060101ALI20200522BHJP
【ＦＩ】
G06T7/00 650A
G06T7/246
G01C21/28
G01S19/48
G06T1/00 330A
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
【外国語出願】
【全頁数】12
(21)【出願番号】特願2019-98294(P2019-98294)
(22)【出願日】2019年5月27日
(31)【優先権主張番号】107145184
(32)【優先日】2018年12月14日
(33)【優先権主張国】TW
(71)【出願人】
【識別番号】390023582
【氏名又は名称】財團法人工業技術研究院
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【弁理士】
【氏名又は名称】吉澤 雄郎
(72)【発明者】
【氏名】林 哲聰
【テーマコード（参考）】
2F129
5B057
5J062
5L096
【Ｆターム（参考）】
2F129AA03
2F129BB03
2F129BB15
2F129BB33
2F129BB63
2F129CC19
2F129CC31
2F129CC33
2F129GG17
2F129HH12
5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD20
5B057CE08
5B057CE10
5B057DA07
5B057DA16
5B057DA17
5B057DB02
5B057DB09
5B057DC32
5J062CC07
5J062FF01
5J062FF02
5L096BA04
5L096CA04
5L096FA02
5L096FA14
5L096FA66
5L096HA02
5L096JA11
(57)【要約】 （修正有）
【課題】道路画像再構成のための方法及びそのシステムを提供する。【解決手段】道路画像再構成のための方法は、時刻ｔ−ｎにおける画像及び時刻ｔにおける画像を捕捉する捕捉ステップであって、時刻ｔ−ｎにおける画像及び時刻ｔにおける画像は同一の路面画素及び異なる路面画素を含む捕捉ステップと、時刻ｔ−ｎにおける画像及び時刻ｔにおける画像を分析して複数の特徴一致を得る分析ステップと、時刻ｔ−ｎにおける画像と時刻ｔにおける画像との幾何学的関係を特徴一致から推定する推定ステップと、特徴一致の幾何学的関係並びに時刻ｔ−ｎにおける画像及び時刻ｔにおける画像中の同一の路面画素と異なる路面画素との間の距離に応じて、時刻ｔ−ｎにおける画像と時刻ｔにおける画像とをつなぎ合わせて完全な道路画像にするつなぎ合わせステップと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉ステップであって、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと
を含む道路画像再構成方法。
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと
を含む道路画像再構成方法。
【請求項2】
前記分析ステップの前に、前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtのセグメンテーションを行って、前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtの進行可能領域の路面画素が、他の画素の視覚的特性とは異なる視覚的特性を有するようにするセグメンテーション・ステップをさらに含む、請求項１に記載の道路画像再構成方法。
【請求項3】
前記分析ステップの前に、前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtをバードビュー画像に変換する変換ステップをさらに含む、請求項１に記載の道路画像再構成方法。
【請求項4】
前記分析ステップが、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の複数の特徴を見出すことと、
前記特徴を、前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の前記特徴一致と比較することと
を含む、請求項１に記載の道路画像再構成方法。
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の複数の特徴を見出すことと、
前記特徴を、前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の前記特徴一致と比較することと
を含む、請求項１に記載の道路画像再構成方法。
【請求項5】
前記推定ステップが、
前記時刻ｔ−ｎにおける画像Ｉt-n中の前記時刻ｔ−ｎにおける特徴一致の各々の座標値をｘとして定義することと、
前記時刻ｔにおける画像Ｉt中の前記時刻ｔにおける特徴一致の各々の座標値をｘ’として定義することと、
ｘ’＝Ｈｘを定義することであって、ここにＨは３×３行列であり、前記座標値を同次座標値として表すことと、
前記特徴一致の既知の座標値によって、前記３×３行列Ｈを解くことと
を含む、請求項１に記載の道路画像再構成方法。
前記時刻ｔ−ｎにおける画像Ｉt-n中の前記時刻ｔ−ｎにおける特徴一致の各々の座標値をｘとして定義することと、
前記時刻ｔにおける画像Ｉt中の前記時刻ｔにおける特徴一致の各々の座標値をｘ’として定義することと、
ｘ’＝Ｈｘを定義することであって、ここにＨは３×３行列であり、前記座標値を同次座標値として表すことと、
前記特徴一致の既知の座標値によって、前記３×３行列Ｈを解くことと
を含む、請求項１に記載の道路画像再構成方法。
【請求項6】
前記つなぎ合わせステップが、
前記時刻ｔ−ｎにおける画像Ｉt-nの下部境界座標をＬt-n,btmとして定義することと、
前記時刻ｔにおける画像Ｉtの上部境界座標をＬt,topとして定義することと、
つなぎ合わせの重みαをα＝(ｙ−Ｌt,top)／(Ｌt-n,btm−Ｌt,top)として定義し、ｙはＹ方向の路面画素の各々の座標を表すことと、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記下部境界座標をＬt,topと前記上部境界座標をＬt,topとの間に位置する路面画素を、前記つなぎ合わせの重みαによる線形の方法でつなぎ合わせて前記完全な画像Ｉt-n,tを生成し、前記時刻ｔ−ｎにおける画像Ｉt-n、前記時刻ｔにおける画像Ｉt、及び前記完全な画像Ｉt-n,tの間の関係はＩt-n,t＝αＩt-n＋(１−α)Ｉtによって定義されることと
を含む、請求項１に記載の道路画像再構成方法。
前記時刻ｔ−ｎにおける画像Ｉt-nの下部境界座標をＬt-n,btmとして定義することと、
前記時刻ｔにおける画像Ｉtの上部境界座標をＬt,topとして定義することと、
つなぎ合わせの重みαをα＝(ｙ−Ｌt,top)／(Ｌt-n,btm−Ｌt,top)として定義し、ｙはＹ方向の路面画素の各々の座標を表すことと、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記下部境界座標をＬt,topと前記上部境界座標をＬt,topとの間に位置する路面画素を、前記つなぎ合わせの重みαによる線形の方法でつなぎ合わせて前記完全な画像Ｉt-n,tを生成し、前記時刻ｔ−ｎにおける画像Ｉt-n、前記時刻ｔにおける画像Ｉt、及び前記完全な画像Ｉt-n,tの間の関係はＩt-n,t＝αＩt-n＋(１−α)Ｉtによって定義されることと
を含む、請求項１に記載の道路画像再構成方法。
【請求項7】
画像捕捉装置を備えた車両を測位する車両測位方法であって、該車両測位方法は、
時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉ステップであって、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと、
前記完全な道路画像Ｉt-n,t中の路面標識を検出して識別する識別ステップと、
前記路面標識から前記車両までの距離を推定する測定ステップと、
前記完全な道路画像Ｉt-n,t中の前記路面標識を地図ファイル内の路面標識情報と比較する比較ステップと、
前記測定ステップにおいて得られた前記距離、前記比較ステップにおいて得られた前記路面標識の比較結果、及び全地球測位システムによって提供される前記車両の見込み位置に応じて、前記地図ファイル内の正確な前記車両の位置を推定する測位ステップと
を含む、車両測位方法。
時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉ステップであって、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと、
前記完全な道路画像Ｉt-n,t中の路面標識を検出して識別する識別ステップと、
前記路面標識から前記車両までの距離を推定する測定ステップと、
前記完全な道路画像Ｉt-n,t中の前記路面標識を地図ファイル内の路面標識情報と比較する比較ステップと、
前記測定ステップにおいて得られた前記距離、前記比較ステップにおいて得られた前記路面標識の比較結果、及び全地球測位システムによって提供される前記車両の見込み位置に応じて、前記地図ファイル内の正確な前記車両の位置を推定する測位ステップと
を含む、車両測位方法。
【請求項8】
時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉装置であって、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉装置と、
処理装置とを含む道路画像再構成システムであって、
該処理装置は、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと
を含むステップを実行する道路画像再構成システム。
処理装置とを含む道路画像再構成システムであって、
該処理装置は、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと
を含むステップを実行する道路画像再構成システム。
【請求項9】
車両を測位する車両測位システムであって、
前記車両の見込み位置を提供する全地球測位システムと、
路面標識情報を含む地図ファイルを有する地図システムと、
前記車両上に装備されて、時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉装置であって、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉装置と、
処理装置とを含む車両測位システムであって、
該処理装置は、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと、
前記完全な道路画像Ｉt-n,t中の路面標識を検出して識別する識別ステップと、
前記路面標識から前記車両までの距離を推定する測定ステップと、
前記完全な道路画像Ｉt-n,t中の前記路面標識を地図ファイル内の路面標識情報と比較する比較ステップと、
前記測定ステップにおいて得られた前記距離、前記比較ステップにおいて得られた前記路面標識の比較結果、及び全地球測位システムによって提供される前記車両の見込み位置に応じて、前記地図ファイル内の正確な前記車両の位置を推定する測位ステップと
を含むステップを実行する車両測位システム。
前記車両の見込み位置を提供する全地球測位システムと、
路面標識情報を含む地図ファイルを有する地図システムと、
前記車両上に装備されて、時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉装置であって、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉装置と、
処理装置とを含む車両測位システムであって、
該処理装置は、
前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと、
前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとの幾何学的関係を前記特徴一致から推定する推定ステップと、
前記推定ステップにおいて得られた前記幾何学的関係、及び前記時刻ｔ−ｎにおける画像Ｉt-n及び前記時刻ｔにおける画像Ｉt中の、前記同一の路面画素と前記異なる路面画素との間の距離に応じて、前記時刻ｔ−ｎにおける画像Ｉt-nと前記時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な路面画像Ｉt-n,tにするつなぎ合わせステップと、
前記完全な道路画像Ｉt-n,t中の路面標識を検出して識別する識別ステップと、
前記路面標識から前記車両までの距離を推定する測定ステップと、
前記完全な道路画像Ｉt-n,t中の前記路面標識を地図ファイル内の路面標識情報と比較する比較ステップと、
前記測定ステップにおいて得られた前記距離、前記比較ステップにおいて得られた前記路面標識の比較結果、及び全地球測位システムによって提供される前記車両の見込み位置に応じて、前記地図ファイル内の正確な前記車両の位置を推定する測位ステップと
を含むステップを実行する車両測位システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像再構成及び測位のための方法及びシステムに関するものであり、より具体的には、道路画像再構成及び車両測位のための方法及びシステムに関するものである。
【背景技術】
【0002】
理論的には、自動運転車両は様々な気象条件においてスムーズ（順調）に走行することができる。しかし、全地球測位システム（ＧＰＳ：global positioning system）信号はたやすく妨げられ得る。従って、その測位精度は相応の影響を受けて、自動運転車両にとって不正確な測位を生じさせる。（路面交通標識または路面境界線のような）路面標識は、自動運転車両がそれ自身の位置を小さい範囲内で再確認するために提供される測位情報の重要な情報源として用いることができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
路面標識も他の車両または物体によって塞がれることがあり、路面標識を識別することを困難にし、車両の測位と自動運転車両のナビゲーションとの間に偏差を生じさせる。本発明は、道路画像再構成のための方法及びシステムを提供し、これにより、路面標識が他の物体によって塞がれていない完全な道路画像をその後の路面標識識別用に提供する。
【課題を解決するための手段】
【0004】
本発明の１つの好適例によれば、道路画像再構成方法が提供され、この方法は：時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉ステップであって、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉ステップと；時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと；時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとの幾何学的関係をこれらの特徴一致から推定する推定ステップと；この幾何学的関係、及び時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtにおける、同一の路面画素を異なる路面画素と比較した路面画素間の距離に応じて、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な道路画像Ｉt-n,tにするつなぎ合わせ（ステッチ）ステップとを含む。
【0005】
本発明の他の好適例によれば、道路画像再構成システムが提供され、この道路画像再構成システムは画像捕捉装置及び処理装置を含む。画像捕捉装置は画像を捕捉し、処理装置は、上記道路画像再構成方法における画像捕捉以外のステップを実行する。
【0006】
本発明は、車両測位のための方法及びシステムも提供し、これにより、複数の情報源により地図（マップ）ファイル内の車両の正確な位置を推定し、これらの情報源は、完全な道路画像中に識別される路面標識、地図システム内の地図ファイル、及び全地球測位システムの座標を含む。
【0007】
本発明のさらに他の好適例によれば、画像捕捉装置を有する車両を測位するための車両測位方法が提供され、この車両測位方法は：時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを捕捉する捕捉ステップであって、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む捕捉ステップと；時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtを分析して複数の特徴一致を得る分析ステップと；時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとの幾何学的関係をこれらの特徴一致から推定する推定ステップと；この幾何学的関係、及び時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtにおける、同一の路面画素と異なる路面画素との間の距離に応じて、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な道路画像Ｉt-n,tにするつなぎ合わせステップと；完全な道路画像Ｉt-n,t中の路面標識を検出して識別する識別ステップと；路面標識から車両までの距離を推定する測定ステップと；完全な道路画像Ｉt-n,t中の路面標識を地図ファイル内の路面標識情報と比較する比較ステップと；測定ステップにおいて得られた距離、比較ステップにおいて得られた路面標識の比較結果、及び全地球測位システムによって提供される車両の見込み位置に応じて、地図ファイル内の正確な車両の位置を推定する測位ステップとを含む。
【0008】
本発明の１つの好適例によれば、車両を測位するための車両測位システムが提供される。このシステムは、全地球測位システム、地図システム、画像捕捉装置、及び処理装置を含む。全地球測位システムは車両の見込み位置を提供する。地図システムは、路面標識情報を含む地図ファイルを含む。画像捕捉装置は画像を捕捉する。処理装置は、上記車両測位方法における画像捕捉以外のステップを実行する。
【発明の効果】
【0009】
以上に基づけば、本発明の道路画像再構成により、路面標識が他の物体によって塞がれていない完全な道路画像が生成され、車両の正確な測位を、地図システム及び全地球測位システムの関連情報の利用により実現することができる。
【0010】
本発明の以上の特徴及び利点をより理解し易くするために、図面を伴ういくつかの実施形態を以下に詳細に説明する。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態による道路画像再構成方法及び車両測位方法のフローチャートである。
【図2】本発明の一実施形態による道路画像再構成システム及び車両測位システムのブロック図である。
【図3A】本発明の一実施形態による画像捕捉装置によって捕捉した時刻ｔ−ｎにおける前景画像の概略図である。
【図3B】本発明の一実施形態による画像捕捉装置によって捕捉した時刻ｔにおける前景画像の概略図である。
【図4】部分(A)は本発明の一実施形態による処理装置によって処理した時刻ｔ−ｎにおけるバードビュー画像の概略図であり、部分(B)は本発明の一実施形態による処理装置によって処理した時刻ｔにおけるバードビュー画像の概略図であり、部分(C)は本発明の一実施形態による処理装置によって再構成した完全な道路画像である。
【発明を実施するための形態】
【0012】
以下、本発明を十分に説明するために、実施形態及び図面を伴う記述を提供する。しかし、本発明はさらに他の多数の異なる形式で実現することができ、以下に説明する実施形態に限定されるものとして解釈するべきでない。説明を容易にするために、以下の同じ装置には同じ参照番号を与える。図面は明確にする目的であるが、種々の構成要素及びそれぞれの大きさは現寸に比例して描いていない。
【0013】
図１、図２、図３Ａと図３Ｂ、及び図４を一緒に参照されたい。図１は、本発明の一実施形態による道路画像再構成方法及び車両測位方法のフローチャートである。図２は、本発明の一実施形態による道路画像再構成システム及び車両測位システムのブロック図である。図３Ａは、本発明の一実施形態による画像捕捉装置によって捕捉した時刻ｔ−ｎにおける前景画像である。図３Ｂは、本発明の一実施形態による画像捕捉装置によって捕捉した時刻ｔにおける前景画像である。図４の部分(A)は、本発明の一実施形態による処理装置によって処理した時刻ｔ−ｎにおけるバードビュー（鳥瞰図）画像の概略図である。図４の部分(B)は、本発明の一実施形態による処理装置によって処理した時刻ｔにおけるバードビュー画像の概略図である。図４の部分(C)は、本発明の一実施形態による処理装置によって再構成した完全な道路画像である。
【0014】
本発明の一実施形態によれば、道路画像再構成システム１は、主として画像捕捉装置１０及び測位装置２０を含む。道路画像再構成システム１は、道路画像再構成ステップＳ１００（詳細なステップＳ１０１〜Ｓ１０６を有する）を実行するように構成され、このステップは以下に説明する。
【0015】
まず最初に、ステップＳ１０１では、画像捕捉装置１０が複数の異なる画像を隣接した時刻に、時刻ｔ−ｎにおける画像Ｉt-n、時刻ｔにおける画像Ｉtのように、同じ視角から捕捉する。代表的な駆動シナリオでは、車両または歩行者のような他の移動物体が、画像捕捉装置１０を備えた車両（以下の段落では「車体」と称する）の前方に存在し得る。従って、異なる時刻に捕捉した画像中では、路面標識が異なる様式で塞がれ得る。換言すれば、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む。図３Ａによって示すように、時刻ｔ−ｎにおける前景画像では、前方の車両３が車体に近い（前方の車両３が画像中の比較的大きい空間を占める）ので、車体が存在する車線に対して左側の車線境界線４及び右側の車線境界線５は前方の車両３によって塞がれ、道路上の路面標識６も部分的に前方の車両３によって塞がれ、従って路面標識６が示す指示を特定することはできない。図３Ｂによって示すように、時刻ｔにおける前景画像では、前方の車両３が車体から遠い（前方の車両３は画像中の比較的小さい空間を占める）ので、車体が存在する車線に対して左側の車線境界線４及び右側の車線境界線５は前方の車両３によって塞がれず、道路上の路面標識６も前方の車両３によって塞がれず、従って、路面標識６が直進することを指示していることを知ることができ；換言すれば、時刻ｔ−ｎにおける前景画像中の路面標識６と時刻ｔにおける前景画像中の路面標識６とは、異なる時刻における画像中の異なる路面画素で構成される。
【0016】
次に、ステップＳ１０２では、時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉtに対して画像セグメンテーション（画像区分）を実行することができ、これにより、時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉt中の進行可能領域の路面画素は、他の画素の視覚的特性とは異なる視覚的特性を有する。図３Ａ及び図３Ｂによって示すように、進行可能領域の路面画素と、前方の車両３及び樹木９のような物体の画素とは異なる色の層によって覆われ、これにより、進行可能領域の路面画素を非進行可能領域の他の画素と分離する。画像セグメンテーションのアルゴリズムは、各画像中の進行可能領域の路面画素を他の画素と分離することができる限り、ＦＣＮ（Fully Convoluted Network：全層畳み込みネットワーク）、ＳｅｇＮｅｔ（登録商標）、等のような深層学習系モデルを採用することができ、ＳＳ（Selective Search：セレクティブ・サーチ（選択的検索法））のような非深層学習系モデルを採用することもできる。画像セグメンテーションにより、時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉt中の非路面画素を除外することができ、進行可能領域の路面画素はその後の完全な道路画像の再構成のために保持することができる。こうした画像セグメンテーション・ステップは、その後の処理性能を向上させることができる。他の実施形態では、道路画像再構成方法がステップＳ１０２を含まないことができる。この場合、異なる時刻に捕捉した画像が路面画素を含む限り、その後の完全な道路画像の再構成を実行することができる。
【0017】
次に、ステップＳ１０３では、図４の部分(A)〜図４の部分(C)によって示すように、異なる時刻における画像をバードビュー画像に変換することができる。バードビュー画像中では、路面標識が尺度（スケール）不変性を有し、このことは後続する画像分析のためのプロセスを簡略化するために有益である。他の実施形態では、道路画像再構成方法がステップＳ１０３を含まないことができる。例えば、捕捉した画像が既にバードビュー画像であることができ、あるいは路面標識の尺度不変性を、その後の画像分析のためのプロセス中に他の技術的手段によって実現することができる。
【0018】
次に、ステップＳ１０４では、隣接する時点における画像を分析して、これらの画像間の特徴一致を得る。ここで、図４の部分(A)及び図４の部分(B)に示すように、異なる時刻に、中央車線内の路面標識が他の車両８によって異なる様式で塞がれているので、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとは同一の路面画素及び異なる路面画素を含む。ステップＳ１０４を以下に詳細に説明する。まず、複数の、隣接した時点における画像対（図４の部分(A)によって示す時刻ｔ−ｎにおける画像Ｉt-n及び図４の部分(B)によって示す時刻ｔにおける画像Ｉt）における各画像対中に複数の特徴（例えば、コーナー（隅部）点、エッジまたはブロック）を見出す。次に、これらの特徴を、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとの間で比較して、図４の部分(A)及び図４の部分(B)に示す最も左の車線上の左折矢印の最上部のコーナー点７のような、これらの画像中の特徴一致を確認する。例えば、これらの特徴一致は、スケール不変特徴変換（ＳＩＦＴ：Scale-Invariant Feature Transform）アルゴリズム、頑健な特徴量の高速化（ＳＵＲＦ：Speeded Up Robust Feature）アルゴリズム、あるいは２つの画像間の特徴一致を得るために用いることができる他のアルゴリズムを採用することによって分析することができる。
【0019】
次に、ステップＳ１０５では、前のステップＳ１０４において得られた特徴一致により、画像間の幾何学的関係を推定し、こうした推定に関する詳細は以下に提供する。まず、時刻ｔ−ｎにおける画像Ｉt-n中の時刻ｔ−ｎにおける特徴一致の各々の座標値をｘとして定義し、時刻ｔにおける画像Ｉt中の時刻ｔにおける特徴一致の各々の座標値をｘ’として定義する。ここで、これらの座標値は同次座標値として表し、上記変換前後の両者間の関係をｘ’＝Ｈｘとして定義し、ここにＨは３×３行列であり、この行列を用いて時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとの幾何学的関係を記述する。この３×３行列Ｈは、既知の特徴一致のいくつかの集合からの座標値によって解くことができる。具体的には、この行列Ｈ内の９つの要素を推定するためには、既知の特徴一致の４つ以上の集合を必要とする。次に、既知の特徴一致を、例えば直接線形変換（ＤＬＴ：Direct Linear Transformation）アルゴリズム及びランダムサンプル・コンセンサス（ＲＡＮＳＡＣ：Random Sample Consensus）アルゴリズムと一緒に用いることによって、この３×３行列の最適解を推定することができる。一旦、３×３行列Ｈを決定すると、時刻ｔにおける画像Ｉt中の（特徴一致を含む）任意画素の座標値を、時刻ｔ−ｎにおける画像Ｉt-nから変換して得ることができる。
【0020】
次に、ステップＳ１０６では、ステップＳ１０５において得られた時刻ｔにおける画像Ｉt中の任意画素の座標値により、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとをつなぎ合わせて完全な道路画像Ｉt-n,tにし、この画像中では路面標識が塞がれていない。ここで、本実施形態では、つなぎ合わせた完全な道路画像Ｉt-n,tをより自然に見えるようにするために、時刻ｔ−ｎにおける画像Ｉt-nと時刻ｔにおける画像Ｉtとを、つなぎ合わせの重みαによる線形の方法でつなぎ合わせる。図４の部分(A)〜図４の部分(C)によって示すように、時刻ｔ−ｎにおける画像Ｉt-nの下部境界座標をＬt-n,btmとして定義し、時刻ｔにおける画像Ｉtの上部境界座標をＬt,topとして定義すれば、つなぎ合わせの重みαは(ｙ−Ｌt,top)／(Ｌt-n,btm−Ｌt,top)として定義され、ここにｙはＹ方向の任意の路面画素の座標を表す。下部境界座標Ｌt-n,btmと上部境界座標をＬt,topとの間のすべての路面画素は、次の線形つなぎ合わせ（ステッチ）関数：Ｉt-n,t＝αＩt-n＋(１−α)Ｉtによりつなぎ合わせられる。つなぎ合わせの重みα及びつなぎ合わせ関数の定義からわかるように、最良の画像つなぎ合わせの結果を得るためには、つなぎ合わせた画像は、時刻ｔ−ｎにおける画像Ｉt-n及び時刻ｔにおける画像Ｉt中の、同一の路面画素と異なる路面画素との間の距離を考慮に入れる必要がある。換言すれば、下部境界座標Ｌt-n,btmにより近い路面画素は主に時刻ｔ−ｎにおける画像Ｉt-n中に提示されるものであるのに対し、上部境界座標Ｌt,topにより近い路面画素は主に時刻ｔにおける画像Ｉt中に提示されるものである。１つの特定時刻における画像中のいずれかの路面画素が欠けている場合には、他の時刻における画像中に存在する対応する路面画素を代わりに用いる。このステップＳ１０６までに、完全な道路画像Ｉt-n,tの再構成が完了する。
【0021】
前述した方法で得られた完全な道路画像Ｉt-n,tは、画像捕捉装置１０を備えた車両（以下の段落でも引き続き「車体」と称する）を測位するためにさらに用いることができる。以下に、道路画像再構成ステップＳ１００、図１中の車両測位ステップ３００、及び図２中の車両測位システム２を参照しながら、簡単な説明を提供する。本実施形態では、車両測位システム２は、画像捕捉装置１０、処理装置２０、地図システム３０、及び全地球測位システム（ＧＰＳ）４０を含むことができる。車両測位システム２内の処理装置２０は、路面標識が塞がれていない完全な道路画像Ｉt-n,tについての路面標識の検出及び識別を（例えば、深層学習に基づく物体検出アルゴリズムによって）実行することができ（ステップＳ３０１）；次に、車体から路面標識までの距離を逆配景写像（逆パースペクティブ・マッピング）モデルにより推定することができ（ステップＳ３０２）、次に、完全な道路画像Ｉt-n,tから識別した路面標識を、地図システム３０によって提供される地図ファイル内の路面標識情報と比較することができる（ステップＳ３０３）。ステップＳ３０２において得られた距離、ステップＳ３０３において得られた路面標識の比較結果、及び全地球測位システム４０によって提供される車体の見込み位置に応じて、地図ファイル内の車体の正確な位置を推定して、ユーザが見るその後の走行経路計画の参考として、車体が備える表示装置５０上に提示することができる。換言すれば、本実施形態の車両測位方法によれば、上記見込み位置、及び路面標識に対応する地図ファイル内の路面標識情報が共に既知である際に、車体の位置を全地球測位システム（ＧＰＳ）の測位精度よりも高いレベルで測位することができる。（例えば、多数の建物に囲まれた狭い路地で、あるいは天気が悪い際に）ＧＰＳの測位精度が低下しているか無効である際には、本実施形態の道路画像再構成を用いて、不正確なＧＰＳ測位によって生じる影響を低減しつつ、地図ファイル内で車体の位置を正確に測位することができる。
【0022】
ここで、本開示中に記載する道路画像再構成方法の用途は車両の測位に限定されず、例えば、すべての路面標識についての地図データベースを作成するために用いることもできる。
【0023】
要約すれば、本発明によれば、隣接する時点における画像から取得した特徴一致により、これらの画像をつなぎ合わせて、路面標識が塞がれていない完全な道路画像を生成することができる。さらに、本発明の実施形態により再構成した道路画像中では、路面標識が塞がれていないので、路面標識の検出及び識別を実行して、その後に測位または他の可能な用途に役立てることができる。
【0024】
本発明は以上の実施形態を参照しながら説明してきたが、本発明の精神から逸脱することなしに、説明した実施形態に変更を加えることができることは、通常の当業者にとって明らかである。従って、本発明の範囲は、以上の詳細な説明ではなく、添付した特許請求の範囲によって規定される。
【産業上の利用可能性】
【0025】
上記の道路画像再構成及び車両測位のための方法及びシステムは、車両測位、地図データベースの作成、あるいは他の可能な用途に応用することができる。
【符号の説明】
【0026】
Ｓ１００〜Ｓ１０６：ステップＳ３００〜Ｓ３０４：ステップ
【外国語明細書】