知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178673
(43)【公開日】2024-12-25
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20241218BHJP
G01S 17/86 20200101ALI20241218BHJP
G01S 7/497 20060101ALI20241218BHJP
G01S 17/89 20200101ALI20241218BHJP
G01S 17/931 20200101ALI20241218BHJP
G06T 7/00 20170101ALI20241218BHJP
G08G 1/16 20060101ALN20241218BHJP
【ＦＩ】
G06T7/55
G01S17/86
G01S7/497
G01S17/89
G01S17/931
G06T7/00 650A
G08G1/16 C
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023096995
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】花澤 周平
【テーマコード（参考）】
5H181
5J084
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181CC24
5H181FF04
5H181FF05
5H181FF14
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
5J084AA05
5J084AA07
5J084AA10
5J084AC02
5J084AD01
5J084BA03
5J084BA31
5J084EA20
5J084EA22
5L096AA09
5L096BA04
5L096CA02
5L096CA18
5L096DA01
5L096DA02
5L096FA64
5L096FA67
5L096FA69
5L096GA51
(57)【要約】 （修正有）
【課題】点群データにおける外れ値を迅速に検出することができる情報処理装置、情報処理方法および情報処理プログラムを提供する。
【解決手段】情報処理装置１００は、取得部１３１と、重畳部１３２と、判定部１３３とを具備する。取得部１３１は、３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得する。重畳部１３２は、点群データを画像データ上に重畳した重畳画像を生成する。判定部１３３は、点群データのうち、重畳画像上の横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、重畳画像上の縦軸座標の値が一方は第１の値であり他方は第２の値であり、第１の値に対応する３Ｄカメラの第１の高さ情報と第２の値に対応する３Ｄカメラの第２の高さ情報との差分が所定以上の場合、２つのポイントのうち一方を偽透過点と判定する。
【選択図】図４
【解決手段】情報処理装置１００は、取得部１３１と、重畳部１３２と、判定部１３３とを具備する。取得部１３１は、３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得する。重畳部１３２は、点群データを画像データ上に重畳した重畳画像を生成する。判定部１３３は、点群データのうち、重畳画像上の横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、重畳画像上の縦軸座標の値が一方は第１の値であり他方は第２の値であり、第１の値に対応する３Ｄカメラの第１の高さ情報と第２の値に対応する３Ｄカメラの第２の高さ情報との差分が所定以上の場合、２つのポイントのうち一方を偽透過点と判定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得する取得部と、
前記点群データを前記画像データ上に重畳した重畳画像を生成する重畳部と、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する判定部と
を具備する情報処理装置。
前記点群データを前記画像データ上に重畳した重畳画像を生成する重畳部と、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する判定部と
を具備する情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
前記偽透過点を除去し、除去した偽透過点を除く前記点群データを前記画像データ上に重畳した前記重畳画像を生成する生成部をさらに具備する
情報処理装置。
前記偽透過点を除去し、除去した偽透過点を除く前記点群データを前記画像データ上に重畳した前記重畳画像を生成する生成部をさらに具備する
情報処理装置。
【請求項3】
請求項１に記載の情報処理装置であって、
前記２つのポイントは、前記縦軸座標において隣接する
情報処理装置。
前記２つのポイントは、前記縦軸座標において隣接する
情報処理装置。
【請求項4】
請求項１に記載の情報処理装置であって、
前記判定部は、前記第１の高さ情報と前記第２の高さ情報の差分が所定以上の場合、前記２つのポイントのうち、前記縦軸座標の値が小さい方を偽透過点と判定する
情報処理装置。
前記判定部は、前記第１の高さ情報と前記第２の高さ情報の差分が所定以上の場合、前記２つのポイントのうち、前記縦軸座標の値が小さい方を偽透過点と判定する
情報処理装置。
【請求項5】
請求項１に記載の情報処理装置であって、
前記情報処理装置は、車両に搭載される
情報処理装置。
前記情報処理装置は、車両に搭載される
情報処理装置。
【請求項6】
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得し、
前記点群データを前記画像データ上に重畳した重畳画像を生成し、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する
情報処理方法。
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得し、
前記点群データを前記画像データ上に重畳した重畳画像を生成し、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する
情報処理方法。
【請求項7】
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得するステップと、
前記点群データを前記画像データ上に重畳した重畳画像を生成するステップと、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定するステップと
を実行させる情報処理プログラム。
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得するステップと、
前記点群データを前記画像データ上に重畳した重畳画像を生成するステップと、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定するステップと
を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法及び情報処理プログラムに関する。詳しくは、自動車等の移動体が備えるカメラによって撮像された画像に適用される画像処理に関する。
【背景技術】
【0002】
自動運転に関連する技術の一つとして、自動車が備える複数のセンサを併用することで物体検出の精度を向上させる技術が提案されている。
【0003】
例えば、レーザを用いたセンサであるＬｉＤＡＲ（Light Detection and Ranging）を複数使用することで、測定された点群データのうち適切でない点（外れ値）を除去する技術が知られている。
【0004】
その外れ値を除去する技術として特許文献１には、経路に沿った第１測定地点におけるセンサと測定対象物との距離を示す第１点群データを取得する第１取得部と、第１測定地点とは異なる第２測定地点におけるセンサと測定対象物との距離を示す第２点群データを取得する第２取得部と、第１点群データと第２点群データとを含む点群データを１以上のセグメントに分割する分割部と、セグメント内の点群データについての分布を算出する分布算出部と、分布に基づいて、セグメント内の点群データから外れ値を除去する除去部と、を備える情報処理装置について記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第２０２２／１５３４２６号
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１では異なる時刻で取得したデータを要することから外れ値の検出に時間がかかるという問題があった。
【0007】
以上のような事情に鑑み、本技術の目的は、点群データにおける外れ値を迅速に検出することができる情報処理装置、情報処理方法および情報処理プログラムを提供することにある。
【課題を解決するための手段】
【0008】
本技術の一形態に係る情報処理装置は、取得部と、重畳部と、判定部とを具備する。
上記取得部は、３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され上記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得する。
上記重畳部は、上記点群データを上記画像データ上に重畳した重畳画像を生成する。
上記判定部は、上記画像データに重畳された点群データのうち、上記重畳画像上の上記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、上記重畳画像上の上記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は上記第１の値とは異なる第２の値であり、上記第１の値に対応する上記３Ｄカメラの第１の高さ情報と上記第２の値に対応する上記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、上記２つのポイントのうち一方を偽透過点と判定する。
上記取得部は、３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され上記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得する。
上記重畳部は、上記点群データを上記画像データ上に重畳した重畳画像を生成する。
上記判定部は、上記画像データに重畳された点群データのうち、上記重畳画像上の上記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、上記重畳画像上の上記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は上記第１の値とは異なる第２の値であり、上記第１の値に対応する上記３Ｄカメラの第１の高さ情報と上記第２の値に対応する上記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、上記２つのポイントのうち一方を偽透過点と判定する。
【0009】
本実施形態によれば、点群データが画像データに重畳された場合の点群データのうち２つのポイントのＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値であり、２つのポイントのＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は第１の値とは異なる第２の値であり、第１の値に対応する３Ｄカメラの第１の高さ情報と第２の値に対応する３Ｄカメラの第２の高さ情報との差分が所定以上の場合、２つのポイントのうち一方を偽透過点と判定する。つまり、点群データにおける外れ値である偽透過点の判定を異なる時刻のセンシングデータを用いることなく、言い換えれば、１つの画像データから偽透過点を迅速（リアルタイム）に判定することができる。
【0010】
上記偽透過点を除去し、除去した偽透過点を除く上記点群データを上記画像データ上に重畳した上記重畳画像を生成する生成部をさらに備えてもよい。
【0011】
上記２つのポイントは、上記縦軸座標において隣接してもよい。
【0012】
上記判定部は、上記第１の高さ情報と上記第２の高さ情報との差分が所定以上の場合、上記２つのポイントのうち、上記縦軸座標の値の小さい方を偽透過点と判定してもよい。
【0013】
上記情報処理装置は、車両に搭載されてもよい。
【0014】
本技術の一形態に係る判情報処理方法は、
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され上記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得し、
上記点群データを上記画像データ上に重畳した重畳画像を生成し、
上記画像データに重畳された点群データのうち、上記重畳画像上の上記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、上記重畳画像上の上記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は上記第１の値とは異なる第２の値であり、上記第１の値に対応する上記３Ｄカメラの第１の高さ情報と上記第２の値に対応する上記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、上記２つのポイントのうち一方を偽透過点と判定する。
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され上記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得し、
上記点群データを上記画像データ上に重畳した重畳画像を生成し、
上記画像データに重畳された点群データのうち、上記重畳画像上の上記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、上記重畳画像上の上記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は上記第１の値とは異なる第２の値であり、上記第１の値に対応する上記３Ｄカメラの第１の高さ情報と上記第２の値に対応する上記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、上記２つのポイントのうち一方を偽透過点と判定する。
【0015】
本技術の一形態に係る情報処理プログラムは、
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され上記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得するステップと、
上記点群データを上記画像データ上に重畳した重畳画像を生成するステップと、
上記画像データに重畳された点群データのうち、上記重畳画像上の上記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、上記重畳画像上の上記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は上記第１の値とは異なる第２の値であり、上記第１の値に対応する前記３Ｄカメラの第１の高さ情報と上記第２の値に対応する上記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、上記２つのポイントのうち一方を偽透過点と判定するステップと
を実行させる。
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され上記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得するステップと、
上記点群データを上記画像データ上に重畳した重畳画像を生成するステップと、
上記画像データに重畳された点群データのうち、上記重畳画像上の上記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、上記重畳画像上の上記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は上記第１の値とは異なる第２の値であり、上記第１の値に対応する前記３Ｄカメラの第１の高さ情報と上記第２の値に対応する上記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、上記２つのポイントのうち一方を偽透過点と判定するステップと
を実行させる。
【図面の簡単な説明】
【0016】
【図1】本技術の本実施形態に係る情報処理の概要を説明するための第１の図である。
【図2】本技術の本実施形態に係る情報処理の概要を説明するための第２の図である。
【図3】本技術の本実施形態に係る情報処理の概要を説明するための第３の図である。
【図4】本技術の本実施形態に係る情報処理装置の構成を説明するための図である。
【図5】本技術の本実施形態に係る画像データに点群データが重畳された重畳画像であり、（Ａ）は、点群削除前の重畳画像であり、（Ｂ）は点群削除後の重畳画像である。
【図6】点群データでの各ポイント間での変化量を示す図である。
【図7】本技術の実施形態に係る処理の流れを示すフローチャートである。
【図8】本技術が適用される移動装置制御システムの一例である車両制御システムの構成例を示すブロック図である。
【発明を実施するための形態】
【0017】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0018】
＜本実施形態＞
（情報処理の概要）
図１は、本技術の本実施形態に係る情報処理の概要を説明するための第１の図である。本実施形態における情報処理は、図１に示す車両１に搭載された情報処理装置１００によって実行される。また各図において、Ｘ軸、Ｙ軸およびＺ軸は相互に直交するカメラ画像（後述）の３軸方向を示しており、Ｕ軸およびＶ軸は相互に直交するＬｉＤＡＲ１５０による点群データを立面図化した際の２軸方向を示している。また、Ｘ軸方向は、カメラ画像における水平方向、Ｙ軸方向は、カメラ画像における高さ方向、Ｚ軸方向は、カメラ画像における奥行き方向である。またＵ軸方向は、上記立面図化した際の水平方向であり、Ｖ軸方向は、上記立面図化した際の高さ方向である。
（情報処理の概要）
図１は、本技術の本実施形態に係る情報処理の概要を説明するための第１の図である。本実施形態における情報処理は、図１に示す車両１に搭載された情報処理装置１００によって実行される。また各図において、Ｘ軸、Ｙ軸およびＺ軸は相互に直交するカメラ画像（後述）の３軸方向を示しており、Ｕ軸およびＶ軸は相互に直交するＬｉＤＡＲ１５０による点群データを立面図化した際の２軸方向を示している。また、Ｘ軸方向は、カメラ画像における水平方向、Ｙ軸方向は、カメラ画像における高さ方向、Ｚ軸方向は、カメラ画像における奥行き方向である。またＵ軸方向は、上記立面図化した際の水平方向であり、Ｖ軸方向は、上記立面図化した際の高さ方向である。
【0019】
情報処理装置１００は、後述する各種機能部を動作することにより、実施形態に係る画像処理（ＬｉＤＡＲを用いた点群データの取得、および、画像への点群データの重畳処理等）を実行する。
【0020】
車両１は、例えば四輪自動車であり、自動運転に係る技術を搭載した車両である。例えば、車両１は、車両１に搭載された情報処理装置１００が行う物体検出機能を用いて、所定の駐車区画に自動で駐車を行ったり、物体を回避する挙動を制御したり、適切な経路を選択したりする。
【0021】
車両１のような自動運転を行う移動体が行う物体検出では、各種センサにより外部状況が検知され、検知した情報から、物体が実際に所在しているか否か等の検出が実行される。
【0022】
センサの例としては、レーザを用いて物体の位置や物体までの距離を測定するＬｉＤＡＲや、カメラに搭載されるイメージセンサや、ミリ波等の電波の反射を利用したミリ波レーダ（レーダセンサ）等がある。物体検出の一例は、カメラ（イメージセンサ）によって撮像された画像を入力とし、検出器で画像認識することにより、画像内に物体として判定されるものがあるか否かを判定する手法である。他の一例は、ＬｉＤＡＲによって得られた点群データ（物体から反射される情報によって得られる深度情報等）を検出器への入力として物体検出を行う手法である。近年では、画像認識精度の飛躍的な向上に伴い、カメラ（イメージセンサ）による画像認識および物体検出が主に利用される。
【0023】
さらに、物体検出では、複数のセンサを併用することも行われる。例えば、ＬｉＤＡＲとカメラ等を併用（センサフュージョン）することで、複数のセンサから得られた特徴情報を検出器であるニューラルネットワークへの入力とし、物体検出結果という出力を得る検出器を生成しうる。複数センサを利用した検出は、単独のセンサを利用した検出と比較して、物体を正確に検出できるという利点がある。
【0024】
また、センサによる検知（センシング）により得られた情報に基づいて検出器等の学習を行うこともできる。学習の一例では、カメラが撮像した画像上に、ＬｉＤＡＲから得られた点群データを重畳し、画像に含まれる各々のオブジェクトの深度情報を利用して、個々のオブジェクトまでの距離を正確に測定する。そして、画像に撮像されたオブジェクトと、深度情報とを正解データとして、画像上の個々のオブジェクトと距離との関係性を学習することで、精度の高い距離推定モデルを学習することができる。
【0025】
しかしながら、かかる手法において、複数のセンサの設置位置が異なることや道路状況などにより、点群データを適切に取り扱うことのできない場合がある。例えば、上述したＬｉＤＡＲとカメラは、車両１に設置される場所が異なる。かかる状況では、ＬｉＤＡＲが照射された物体と、カメラが捉えた物体とに齟齬が生じる可能性がある。この場合、点群データを画像に描画した際、カメラが捉えた物体よりも遠方に当たっている点群が、当該物体に当たっているように誤認された画像が生成される。かかる画像を正解データとして学習が行われると、精度の高い学習を行うことのできないおそれがある。
【0026】
以下、図１を用いて、上述した誤認された画像が生成される状況に対する情報処理について説明する。まず、図１を用いて、車両１が備えるＬｉＤＡＲ１５０の照射範囲と、（３Ｄ）カメラ１６０の撮像範囲との相違について説明する。図１に示すように、車両１は、ＬｉＤＡＲ１５０と、前方を撮像するためのカメラ１６０とを備える。なお、図１での図示は省略するが、車両１は、さらに多くのＬｉＤＡＲ１５０やカメラ１６０を備えていてもよい。
【0027】
車両１は、走行中、ＬｉＤＡＲ１５０やカメラ１６０による検知を継続的に行う。図１には、ＬｉＤＡＲ１５０が照射したレーザが、前方の壁３００に当たった点を示す点Ａ１や、前方の壁３００の点Ａ１の上方（Ｙ軸方向において点Ａ１の負方向）に当たったことを示す点Ｂ１を示す。図１においてＹ座標の値が０となる点はカメラ１６０により撮影された画像の左端（上空側）である（つまりＹ座標の値は地面側へいくほど大きくなる）。
【0028】
カメラ１６０は、車両１よりも前方にある壁３００を含む撮像範囲を撮像する。例えば、カメラ１６０は、撮像により、撮像範囲に点Ａ１を含む画像を撮像する。このとき、カメラ１６０が撮像する画像には、撮像範囲に壁３００が含まれ、その先の対象物を遮ることから、点Ｂ１が含まれない。一方で、カメラ１６０が撮像する画像（カメラ画像）に点Ｂ１に対応するデータを重畳した場合、延長線上に点Ｂ１が存在するような点Ｂ１'を含む。すなわち、点Ｂ１'とは、実際にはＬｉＤＡＲ１５０が照射したレーザが当たっていないにもかかわらず、カメラ画像に点群データを重畳した場合に、その重畳画像での見かけ上、壁３００にレーザが当たったとみなされる点（外れ値または偽透過点）である。
【0029】
このとき、点Ａ１は実際にＬｉＤＡＲ１５０から照射されたレーザが壁３００に当たったことを示す点であり、そのレーザの照射情報である俯角（伏角）は、ＬｉＤＡＲ１５０と点Ａ１を結ぶ線分（ＬｉｎｅＡ）から得られる。一方、偽透過点である点Ｂ１'は、実際には点Ｂ１が得られる俯角でＬｉＤＡＲ１５０から照射されたレーザに基づく点であるため、画像上では点Ａ１よりも縦軸上で上に位置するにも関わらず、点Ａ１よりも深い俯角で照射されたレーザに基づき得られた点となる。
【0030】
このように、点Ｂ１'は、実際には点Ｂ１'にレーザが当たっていないにも関わらず、カメラ画像に重畳されると、点Ｂ１'に当たったように観測される。このため、カメラ画像と点Ｂ１'が含む深度情報等を学習データとして利用しようとすると、壁３００までの距離と、点Ｂ１'が含む深度情報とに矛盾が生じるため、正解データとしての信頼度が低くなる。
【0031】
そこで、以下の方法により情報処理装置１００は、偽透過点（オクルージョンポイント）である点Ｂ１'を特定し、特定した偽透過点を除去する処理を実行することが考えられる。
【0032】
ＬｉＤＡＲ１５０は、レーザを照射する際に、その照射する高さの角度を示す「elevation」、すなわち仰俯角情報と、車両１との水平方向の角度を示す「azimuth」、すなわち方位角情報とを含む照射情報を取得可能である。また、ＬｉＤＡＲ１５０は、照射情報として、それぞれの照射についての識別情報（照射ＩＤ）を取得可能である。情報処理装置１００は、点群データとともに、これらの照射情報を取得する。すなわち、情報処理装置１００は、ＬｉＤＡＲ１５０から得られた点群データの各々について、照射ＩＤに基づいて、レーザが照射された際の仰俯角情報および方位角情報を特定可能である。また、情報処理装置１００は、カメラ１６０が撮像した画像に対して、画像における高さ（Ｙ軸）情報や水平位置（Ｘ軸）を特定可能である。
【0033】
かかる情報に基づいて、情報処理装置１００は、偽透過点を特定する。まず、情報処理装置１００は、カメラ１６０によって撮像された画像に重畳される点群データのうち、処理対象とする点を一つ選択する。例えば、情報処理装置１００は、点Ａ１を選択するものとする。続いて、情報処理装置１００は、同一または略同一のＸ軸上にある他の一つの点を選択する。ここでは、情報処理装置１００は、同一または略同一のＸ軸上にある他の点である点Ｂ１'を選択する。
【0034】
そして、情報処理装置１００は、２点の照射ＩＤに基づいて、照射情報を対照する。具体的には、情報処理装置１００は、２点の仰俯角情報を比較する。そして、情報処理装置１００は、同一のＸ軸上の点であるにもかかわらず、仰俯角に矛盾が生じている場合、矛盾が生じた点を偽透過点として特定する。具体的には、情報処理装置１００は、俯角がより浅い角度で照射されたために、点Ａ１よりもカメラ画像のＹ軸において高い位置に重畳されるはずの点Ｂ１'が、カメラ画像において点Ａ１よりも低い位置に重畳されている場合に、点Ｂ１'を偽透過点として特定する。あるいは、情報処理装置１００は、点群データの照射情報が「（elevation, azimuth）」で特定される場合、点Ａ１の方がカメラ画像において点Ｂ１'よりも下に描画されるのに対して、点Ａ１の「elevation」の値が点Ｂ１'の「elevation」の値よりも大きい場合に、点Ｂ１'を偽透過点として特定する。また、仮に点Ａ１の「elevation」の値が点Ｂ１'の「elevation」の値よりも小さい場合には、情報処理装置１００は、点Ａ１も点Ｂ１'も偽透過点ではないと判定し、次の処理対象とする点との照射情報を比較し、順に偽透過点を特定していく。
【0035】
情報処理装置１００は、特定した偽透過点を削除し、カメラ画像に重畳させないものとする。情報処理装置１００は、カメラ画像のすべての点群データにかかる処理を施すことで、カメラ画像に含まれるすべての偽透過点を特定することができる。
【0036】
なお、情報処理装置１００は、仰俯角情報のみならず、方位角情報を用いて偽透過点を特定してもよい。すなわち、ＬｉＤＡＲ１５０とカメラ１６０の設置位置の関係によっては、上述したような高さ方向（elevation）に基づく設置位置の相違によって物体の先のレーザが偽透過点として検出される状況のみならず、物体の横から回り込むようにレーザが物体の先に照射されることで偽透過点と検出される場合もありうるからである。
【0037】
この場合、情報処理装置１００は、点Ｂ１'を除去し、残りの点群データをカメラ画像に重畳した画像を生成する。これにより、情報処理装置１００は、画像上の物体に対応した正確な深度情報を有する点群データのみを重畳した画像を得ることができる。
【0038】
【0039】
図２は、走行する車両１の前に下り坂である道路Ｄ１がある図である。またＬｉＤＡＲ１５０から照射されたレーザＬＡは、道路Ｄ１の点Ａにあたっている。同様に、ＬｉＤＡＲ１５０から照射されたレーザＬＢは、道路Ｄ１の点Ｂにあたり、ＬｉＤＡＲ１５０から照射されたレーザＬＣは、道路Ｄ１の点Ｃにあたっている。
【0040】
図２に示すように、ＬｉＤＡＲ１５０の点群データのうちの複数の点Ａ、Ｂ、Ｃを立面図化（投影）した際の（Ｕ、Ｖ）座標（ピクセル座標）において、Ｖ座標を大きい順に見ると矢印Ｌｖの方向となる（つまり、点Ａ、点Ｂ、点Ｃの順でＶ座標の値が小さくなる）。しかしながら、カメラ１６０で撮像された撮像範囲の（Ｘ、Ｙ、Ｚ（不図示））座標（カメラ座標）において、Ｙ座標を大きい順に見ると矢印Ｃｙの方向となる（つまり、点Ｃ、点Ｂ、点Ａの順でＹ座標の値が小さくなる）。
【0041】
この図２の場合、上記した情報処理を行うと、点Ｃと、点Ｂとを比較した場合、点Ｃよりも点Ｂの方が俯角は深いが、点Ｂ、Ｃがカメラ画像（画像データ）に重畳した場合、点Ｃは、点Ｂよりもカメラ画像のＹ軸方向において低い位置に重畳されることになる。つまり、上記した情報処理の方法では、矛盾が生じたとして点Ｃが偽透過点として除去されてしまうこととなる。
【0042】
しかしながら、図２で示される道路Ｄ１は、坂道（下り坂）であり、実際には点Ｃは偽透過点ではない。したがって、上記した情報処理の方法では、偽透過点でない点が偽透過点として除去されてしまうおそれがある。
【0043】
また図３の場合、図２と同様に点Ｃ'が除去される。図３は、走行する車両１の前に下り坂である道路Ｄ２があり、その道路Ｄ２の途中に水たまりＰが存在している図である。ＬｉＤＡＲ１５０から照射されたレーザＬＡ'は、道路Ｄ２の点Ａ'にあたっている。ＬｉＤＡＲ１５０から照射されたレーザＬＢ'は、道路Ｄ２の点Ｂ'にあたり、ＬｉＤＡＲ１５０から照射されたレーザＬＣ'は、道路Ｄ２の水たまりＰにあたっている。
【0044】
ここで図３に示すように点Ｃ'は、ＬｉＤＡＲ１５０から照射されたレーザＬＣ'が水たまりＰに入射し、屈折により点Ｃ'という地点にレーザＬＣ'が当たったかのようにみえる点（偽透過点）である。
【0045】
この図３の場合、上記した情報処理の方法では、図２と同様に点Ｃ'は除去される。つまり、上記処理の場合、図２と図３とは、坂道（下り坂）であることによって各点が偽透過点とみなされてしまい、実際に偽透過点かどうかを判定することが困難であった。
【0046】
そこで、本実施形態に係る情報処理装置１００は、以下の処理を実行する。すなわち、情報処理装置１００は、（３Ｄ）カメラ１６０で撮像して生成された画像データと、ＬｉＤＡＲ１５０で生成され画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データＧと、を取得し、点群データＧを画像データ上に重畳した重畳画像Ｔ１を生成し、画像データに重畳された点群データＧのうち、重畳画像Ｔ１上のＬｉＤＡＲ１５０の照射における方位角方向（Ｕ軸方向）に対応する横軸（Ｘ'座標）座標の値がともに所定の値Ｐを有する２つのポイントを特定するとともに、重畳画像Ｔ１上のＬｉＤＡＲ１５０の照射における仰俯角方向（Ｖ軸方向）に対応する縦軸（Ｙ'座標）座標の値が一方は第１の値であり他方は第１の値とは異なる第２の値であり、第１の値に対応する（３Ｄ）カメラ１６０の第１の高さ情報と第２の値に対応する（３Ｄ）カメラ１６０の第２の高さ情報との差分が所定以上の場合、２つのポイントのうち一方を偽透過点と判定する。そして、情報処理装置１００は、偽透過点を除去し、除去した偽透過点を除く点群データＧ'を画像データ上に重畳した重畳画像Ｔ２を生成する。
【0047】
情報処理装置１００の構成を、図４と図５を用いて説明する。図４は、本技術の本実施形態に係る情報処理装置１００の構成を説明するための図である。図５は、画像データに点群データが重畳された重畳画像であり、（Ａ）は、点群削除前の重畳画像Ｔ１であり、（Ｂ）は点群削除後の重畳画像Ｔ２である。図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、検知部１４０とを有する。なお、図４に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置１００の機能は、複数の物理的に分離された装置に分散して実装されてもよい。
【0048】
通信部１１０は、例えば、ネットワークインタフェースコントローラ（Network Interface Controller）やＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ＵＳＢ（Universal Serial Bus）ホストコントローラ、ＵＳＢポート等により構成されるＵＳＢインターフェイスであってもよい。また、通信部１１０は、有線インターフェイスであってもよいし、無線インターフェイスであってもよい。例えば、通信部１１０は、無線ＬＡＮ方式やセルラー通信方式の無線通信インターフェイスであってもよい。通信部１１０は、情報処理装置１００の通信手段或いは送信手段として機能する。例えば、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介してクラウドサーバ等の外部装置等、他の情報処理端末等との間で情報の送受信を行う。ネットワークＮは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、インターネット、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）、ＬＰＷＡ（Low Power Wide Area）、ＥＬＴＲＥＳ（登録商標）等の無線通信規格もしくは方式で実現される。
【0049】
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、各種データを記憶する。例えば、記憶部１２０は、ＬｉＤＡＲ１５０がレーザを照射した際の照射情報や、カメラ１６０が撮像した画像データ等を記憶する。記憶部１２０は、物体検出のために学習された学習器（物体検出モデル）や、学習に用いられる画像データ等を記憶してもよい。また、記憶部１２０は、自動運転を実行するための地図データ等を記憶してもよい。なお、本開示では、記憶部１２０が情報処理装置１００（すなわち車両１）に搭載される例を示しているが、記憶部１２０に記憶されるデータは、クラウドサーバなどの外部装置上に記憶されてもよい。
【0050】
検知部１４０は、車両１および情報処理装置１００に関する各種情報を検知する。具体的には、検知部１４０は、車両１の周囲の環境や、車両１の所在する位置情報や、車両１に搭載された情報処理装置１００と接続されている他の機器に関する情報等を検知する。検知部１４０は、各種の情報を検知するセンサと読み替えてもよい。
【0051】
例えば、検知部１４０は、センサとして、ＬｉＤＡＲ１５０やカメラ１６０を有する。ＬｉＤＡＲ１５０は、車両１の周辺環境の三次元的な構造を読み取るセンサであり、ＬｉＤＡＲ１５０の照射範囲は、後述する画像データの画角と少なくとも一部が重複する。具体的には、ＬｉＤＡＲ１５０は、赤外線レーザ等のレーザ光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、物体までの距離や相対速度を検知する。
【0052】
カメラ１６０は、車両１の周囲を撮像する機能を有するセンサであり、ＬｉＤＡＲ１５０によるレーザの照射範囲内にカメラ１６０の撮像範囲が含まれるように撮像される。本実施形態では、カメラ１６０は、２つのレンズを含む３Ｄ（３次元）カメラであるが、ステレオカメラや単眼カメラ、レンズレスカメラ等、どのような形態であってもよい。また、カメラ１６０は、ＲＧＢカメラのような可視光カメラに限らず、ＴｏＦ（Time of Flight）センサを備える深度センサ付きカメラ等であってもよい。また、カメラ１６０は、物体の検出や認識処理が可能なＡＩ付きイメージセンサを備えてもよい。
【0053】
また、検知部１４０は、ＬｉＤＡＲ１５０やカメラ１６０以外にも、種々のセンサを有していてもよい。例えば、検知部１４０は、ミリ波レーダを使った測距システムを含んでもよい。また、検知部１４０は、高さ情報を取得するためのデプスセンサを含んでもよい。また、検知部１４０は、音波によって周辺環境を探索するソナー（sonar）であってもよい。また、検知部１４０は、車両１の周囲の音を収集するマイクロフォンや、車両１の周囲の照度を検知する照度センサや、車両１の周囲の湿度を検知する湿度センサや、車両１の所在位置における磁場を検知する地磁気センサ等を含んでもよい。
【0054】
また、図４での図示は省略するが、情報処理装置１００は、各種情報を表示する表示部を備えてもよい。表示部は、各種情報を出力するための機構であり、例えば液晶ディスプレイ等である。例えば、表示部は、検知部１４０によって撮像された画像を表示したり、画像内で情報処理装置１００が検出した物体を表示したりしてもよい。また、表示部は、情報処理装置１００を利用するユーザ等から各種操作を受け付けるための処理部を兼ねてもよい。例えば、表示部は、キー操作やタッチパネル等を介して、各種情報の入力を受け付けてもよい。
【0055】
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部に記憶されたプログラム（例えば、本実施形態に係る画像処理プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
【0056】
図４に示すように、制御部１３０は、取得部１３１と、重畳部１３２と、判定部１３３と、生成部１３４とを有する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0057】
取得部１３１は、各種情報を取得し、第１の取得部１３１Ａと、第２の取得部１３１Ｂと、を有する。第１の取得部１３１Ａは、レーザを用いたセンサであるＬｉＤＡＲ１５０から、周囲の対象物を検出したことを示す点群データを取得する。
【0058】
また、第１の取得部１３１Ａは、ＬｉＤＡＲ１５０で生成されカメラ１６０（３Ｄカメラ）によるカメラ画像（画像データ）の画角と少なくとも一部が重複し複数のポイントを含む点群データＧとともに、かかる点群データが得られた際のレーザの照射情報を取得する。例えば、第１の取得部１３１Ａは、点群データとして、複数のポイント（例えば図２の点Ａ、Ｂ、Ｃ参照）と、照射情報として、レーザが照射された仰俯角情報および方位角情報とを取得する。言い換えれば、第１の取得部１３１Ａは、照射情報として、レーザが照射された際の高さ方向を示す数値（elevation）および水平方向を示す数値（azimuth）を取得する。
【0059】
第２の取得部１３１Ｂは、ＬｉＤＡＲ１５０によるレーザの照射範囲を撮像範囲に含んだ上記カメラ座標系である三次元画像を取得する。具体的には、第２の取得部１３１Ｂは、カメラ１６０により車両１の周囲を撮像して生成された画像データを取得する。
【0060】
重畳部１３２は、点群データＧを画像データに重畳した重畳画像Ｔ１を生成する（図５（Ａ）参照）。重畳部１３２は、ＬｉＤＡＲ１５０による点群データＧをキャリブレーションし、設置位置が異なるＬｉＤＡＲ１５０の座標系をカメラ１６０の座標系に変換する。そして変換されたＬｉＤＡＲ１５０による座標系を画像データに重畳させる。ここで点群データＧを画像データに重畳させる際、ＬｉＤＡＲ１５０の照射における方位角方向（Ｕ軸方向）は、重畳画像Ｔ１の横軸（Ｘ'軸）座標に対応し、ＬｉＤＡＲ１５０の照射における仰俯角方向（Ｖ軸方向）は、重畳画像Ｔ１の縦軸（Ｙ'軸）座標に対応する。
【0061】
判定部１３３は、重畳部１３２によって画像データに重畳された点群データＧのうち、重畳画像Ｔ１上のＬｉＤＡＲ１５０の照射における方位角方向（Ｕ軸方向）に対応する横軸（Ｘ'軸）座標の値がともに所定の値を有する２つのポイントを特定するとともに、重畳画像Ｔ１上のＬｉＤＡＲ１５０の照射における仰俯角方向（Ｖ軸方向）に対応する縦軸（Ｙ'）座標の値が一方は第１の値であり他方は第１の値とは異なる第２の値であり、第１の値に対応する（３Ｄ）カメラ１６０の第１の高さ情報と第２の値に対応する（３Ｄ）カメラ１６０の第２の高さ情報との差分が所定以上の場合、２つのポイントのうち一方を偽透過点と判定する。
【0062】
具体的には、判定部１３３は、点群データＧを重畳した際、重畳画像Ｔ１の第１の特徴点に対応する第１のポイントＳ１（点群データＧを構成する複数のポイントのうちの１つ）の座標（Ｘ'、Ｙ'）＝（Ｐ、Ｑ１）と、縦軸（Ｙ'軸）座標において隣接し点群データＧを重畳した際重畳画像Ｔ１の第２の特徴点に対応する第２のポイントＳ２（点群データＧを構成する複数のポイントのうちの１つ）の座標（Ｘ'、Ｙ'）＝（Ｐ、Ｑ２）とを抽出する。そして、判定部１３３は、抽出された２つのポイントのＹ'座標に対応する（３Ｄ）カメラ１６０の高さ情報の値の差分をとってその差分が所定の値Ｒ以上である場合、２つのポイントのうち一方を偽透過点と判定する。
【0063】
ここで、隣接するとは、点群データＧのうちあるポイント（例えば第１のポイントＳ１）とＹ'座標においてそのあるポイントの次に大きいまたは小さい値を有するポイント（例えば、第２のポイントＳ２）との関係のことをいう。
【0064】
またここで、（３Ｄ）カメラ１６０の高さ情報とは、（３Ｄ）カメラ１６０のＹ座標の値である。つまり、判定部１３３は、第１のポイントＳ１の第１の値（Ｙ'座標の値）Ｑ１に対応する第１の高さ情報（（３Ｄ）カメラ１６０のＹ座標の値）と、第２のポイントＳ２の第２の値（Ｙ'座標の値）Ｑ２に対応する第２の高さ情報（（３Ｄ）カメラ１６０のＹ座標の値）との差分が所定の値Ｒ以上の場合、２つのポイントのうち一方を偽透過点と判定する。
【0065】
ここで重畳画像の原点は、図５（Ａ）、（Ｂ）に示されるように重畳画像の左上を基準にされている。つまり、より具体的には判定部１３３は、点群データのうち、地面（図５（Ａ）においてはＹ'座標の値が大きくなる）側にある第１のポイントＳ１のＹ'座標の値に対応する第１の高さ情報と、その第１のポイントＳ１の座標のＸ'座標は同一であるが、Ｙ'座標の値が第１のポイントＳ１の次に小さい値を有する第２のポイントＳ２のＹ'座標の値に対応する第２の高さ情報との差分が所定の値Ｒ以上の場合、第２のポイントＳ２を偽透過点と判定する。つまり、本実施形態では判定部１３３は、第１のポイントＳ１の第１の高さ情報と第２のポイントＳ２の第２の高さ情報との差分が所定の値Ｒ以上の場合、第１のポイントＳ１と第２のポイントＳ２のうち、縦軸（Ｙ'軸）座標の値の小さい方を偽透過点と判定する。もちろん、Ｙ'座標の値が０となる基準のとりかたは、これに限られず、Ｙ'座標の値が０となるラインをカメラ画像の右下や左下などを基準にしてもよい。
【0066】
判定部１３３は、重畳画像Ｔ１のＸ'座標の値を定めてＹ'座標を走査することで（例えば図５（Ａ）の縦長の黒枠内をＹ'軸方向に沿って走査しそれをＸ'座標の値ごとに行うことで）、上記偽透過点を判定する。具体的には、判定部１３３は、重畳画像Ｔ１のＹ'座標の値が大きい値から小さい値にいくように順に走査される。つまり、重畳画像Ｔの場合、重畳画像Ｔ１の下から順に点群データＧのポイントを走査していき第１のポイントＳ１が特定され、次に第２のポイントＳ２が特定された場合、上記判定処理が行われる。ここで本実施形態では、判定部１３３は、重畳画像Ｔ１の複数ピクセル（例えば、１０ピクセル）まとめてＹ座標を走査する。これにより、迅速に偽透過点を判定することができる。もちろん、これに限られず、１ピクセルごとにＹ座標を走査させて偽透過点を判定してもよい。
【0067】
判定部１３３は、図２の場合、点群データのうち点Ｃのカメラ画像に対応するＹ座標（高さ情報）と、点Ｂのカメラ画像に対応する座標（高さ情報）と、を比較する。このとき、重畳画像における横軸（Ｘ'軸）座標の値は同一である。この場合、点Ｂと点Ｃとの高さ情報の値の差はＨ２（＜Ｒ）である。本実施形態では差分Ｈ２は、所定の値Ｒ未満であるため、点Ｃは、偽透過点と判定されない。また点Ｂと点Ａとを比較する場合も同様にその高さ情報の値の差分Ｈ１（＜Ｒ）は、本実施形態では所定の値Ｒ未満であるため、点Ｂは、偽透過点と判定されない。
【0068】
判定部１３３は、図３の場合、図２と同様に点群データのうち点Ｂ'のカメラ画像に対応するＹ座標（高さ情報）と、点Ａ'のカメラ画像に対応するＹ座標（高さ情報）と、を比較する。このとき、図２と同様にその高さ情報の値の差分Ｈ１'（＜Ｒ）は、本実施形態では所定の値Ｒ未満であるため、点Ｂ'は、偽透過点と判定されない。しかしながら、点群データのうち点Ｃ'のカメラ画像に対応するＹ座標（高さ情報）と、点Ｂ'のカメラ画像に対応するＹ座標（高さ情報）と、を比較する場合、その高さ情報の値の差分Ｈ２'（＞Ｒ）は、本実施形態では所定の値Ｒ以上であるため、点Ｃ'は、偽透過点と判定される。なお点Ｃ'は、点Ｂ'よりもＹ'座標の値が小さい。
【0069】
本実施形態において、所定の値Ｒとは図６に示すように、画像上部、または画像下部にいくにしたがって所定の値Ｒはおおきくなる。図６は、点群データでの各ポイント間での変化量Ｈを示す図である。つまり、所定の値Ｒとは、Ｙ座標の値の絶対値が大きくなればなるほど、その所定の値は大きくなる。ここで画像上部とは、本実施形態では、空側であり、画像下部とは、本実施形態では、地面側である。本実施形態では、所定の値は直線的に変化している。また判定部１３３は、図６で示される所定の値Ｒを超える範囲Ｗにある複数のポイントを偽透過点と判定する。
【0070】
生成部１３４は、図５（Ａ）、（Ｂ）に示すように、判定部１３３によって判定された偽透過点を除去し（図５（Ａ）、（Ｂ）の右下の枠内を参照）、除去した偽透過点を除く点群データＧ'を重畳した重畳画像Ｔ２を生成する。また図３の場合、点Ｃ'を除去した点Ａ'、Ｂ'が重畳された画像が生成される。
【0071】
【0072】
図７に示すように、情報処理装置１００の第１の取得部１３１Ａは、ＬｉＤＡＲ１５０から点群データを取得する（ステップＳ１０１）。また情報処理装置１００の第２の取得部１３１Ｂは、（３Ｄ）カメラ１６０によって撮像されたカメラ画像（画像データ）を取得する（ステップＳ１０２）。ここで、上述したように、点群データは、カメラ画像の画角と少なくとも一部が重複する画角を有する。
【0073】
次に、情報処理装置１００の重畳部１３２は、取得した点群データＧをカメラ画像に重畳した重畳画像Ｔ１を生成する（図５（Ａ）参照）（ステップＳ１０３）。そして、情報処理装置１００は、重畳された点群データＧから、処理対象の２点（本実施形態では第１のポイントＳ１、第２のポイントＳ２）を抽出する（ステップＳ１０４）。
【0074】
そして、情報処理装置１００は、抽出した２点の関係について、上述した判定処理を実行し、抽出した２点間で所定の値Ｒ以上の差が存在するかを判定する（ステップＳ１０５）。所定の値Ｒ以上の差が存在する場合（ステップＳ１０５；Ｙｅｓ）、情報処理装置１００は、上述した判定処理を実行し偽透過点を削除する（ステップＳ１０６）。
【0075】
一方、抽出した２点間で所定の値以上の差が存在しない場合（ステップＳ１０５；Ｎｏ）、情報処理装置１００は、その時点において、すべての点群データの処理が終了したか否かを判定する（ステップＳ１０７）。処理すべき点群データが残っている場合（ステップＳ１０７；Ｎｏ）、情報処理装置１００は、次の２点を抽出し、偽透過点を判定する処理を繰り返す。
【0076】
一方、すべての点群データの処理が終了した場合（ステップＳ１０７；Ｙｅｓ）、情報処理装置１００は、偽透過点を削除したのちの残りの点群データＧ'を重畳した重畳画像Ｔ２を生成する（ステップＳ１０８）。
【0077】
上述したように、情報処理装置１００は、点群データのうち偽透過点を判定する。これにより、情報処理装置１００は、実際に対象物に照射された点のみを後段の処理に活用することができるので、センシングによって得られる点群データを適切に活用することができる。
【0078】
また、情報処理装置１００は、特定した偽透過点を除去し、除去した偽透過点を除く点群データを重畳した重畳画像を生成する生成部１３３をさらに備える。これにより、情報処理装置１００は、偽透過点を除去したのちの点群データを重畳した重畳画像を生成することが可能となる。したがって、情報処理装置１００は、かかる画像を検出処理や学習処理における正解データとして利用することができるので、より精度の高い処理を実行することができる。
【0079】
また情報処理装置１００は、点群データから偽透過点を１フレーム（一つの画像データ）で判定することが可能となる。これにより、迅速（リアルタイム）に偽透過点を判定することができる。
【0080】
＜変形例１＞
上述した実施形態では、ＬｉＤＡＲ１５０およびカメラ１６０を備える自動運転車である車両１が、実施形態に係る画像処理を実行する例を示した。しかし、実施形態に係る画像処理は、自動運転車（いわゆる自動車）に限らず、様々な移動体によって実行されてもよい。
上述した実施形態では、ＬｉＤＡＲ１５０およびカメラ１６０を備える自動運転車である車両１が、実施形態に係る画像処理を実行する例を示した。しかし、実施形態に係る画像処理は、自動運転車（いわゆる自動車）に限らず、様々な移動体によって実行されてもよい。
【0081】
例えば、実施形態に係る画像処理を実行する移動体は、自動二輪車や自動三輪車等の小型車両や、バスやトラック等の大型車両、あるいは、ロボットやドローン等の自律型移動体であってもよい。また、画像処理装置１００は、必ずしも車両１などの移動体と一体ではなく、移動体からネットワークを介して情報を取得し、取得した情報に基づいて画像処理を行うクラウドサーバ等であってもよい。
【0082】
＜その他変形例＞
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。例えば、上記実施形態では、道路は下り坂であったが、もちろん、これに限られず、上り坂であっても、上り下りが入りまじった道路であっても偽透過点を判定することができる。
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。例えば、上記実施形態では、道路は下り坂であったが、もちろん、これに限られず、上り坂であっても、上り下りが入りまじった道路であっても偽透過点を判定することができる。
【0083】
＜＜１．車両制御システムの構成例＞＞
図８は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
図８は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。
【0084】
車両制御システム１１は、車両１に設けられ、車両１の運転自動化に関わる処理を行う。この運転自動化には、レベル１乃至レベル５の運転自動化、及び、遠隔運転者による車両１の遠隔運転及び遠隔支援が含まれる。
【0085】
車両制御システム１１は、車両制御ＥＣＵ（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、運転自動化制御部２９、ＤＭＳ（Driver Monitoring System）３０、ＨＭＩ（Human Machine Interface）３１、及び、車両制御部３２を備える。
【0086】
車両制御ＥＣＵ２１、通信部２２、地図情報蓄積部２３、位置情報取得部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記憶部２８、運転自動化制御部２９、ＤＭＳ３０、ＨＭＩ３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near Field Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
【0087】
なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、車両制御ＥＣＵ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単に車両制御ＥＣＵ２１と通信部２２とが通信を行うと記載する。
【0088】
車両制御ＥＣＵ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ２１は、車両制御システム１１全体又は一部の機能の制御を行う。
【0089】
通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。
【0090】
通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
【0091】
また例えば、通信部２２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
【0092】
通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over The Air)。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
【0093】
例えば、通信部２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
【0094】
通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＭＨＬ（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
【0095】
ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の車内の利用者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
【0096】
地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
【0097】
高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、運転自動化に適合させた地図である。
【0098】
ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ５１、レーダ５２、ＬｉＤＡＲ５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
【0099】
位置情報取得部２４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両１の位置情報を取得する。取得した位置情報は、運転自動化制御部２９に供給される。なお、位置情報取得部２４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
【0100】
外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。
【0101】
例えば、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。
【0102】
なお、カメラ５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ５１に適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
【0103】
また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
【0104】
さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
【0105】
車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
【0106】
例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、利用者の各種の生体情報を検出する。
【0107】
車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な種類や数であれば特に限定されない。
【0108】
例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
【0109】
記憶部２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部２８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部２８は、ＥＤＲ（Event Data Recorder）やＤＳＳＡＤ（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報や車内センサ２６によって取得された情報を記憶する。
【0110】
運転自動化制御部２９は、車両１の運転自動化機能の制御を行う。例えば、運転自動化制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。
【0111】
分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。
【0112】
自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。
【0113】
ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。
【0114】
なお、自己位置推定部７１は、位置情報取得部２４により取得される位置情報、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。
【0115】
センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、複合、統合、融合、連合等がある。
【0116】
認識部７３は、車両１の外部の状況の検出を行う検出処理、及び、車両１の外部の状況の認識を行う認識処理を実行する。
【0117】
例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。
【0118】
具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
【0119】
例えば、認識部７３は、レーダ５２又はＬｉＤＡＲ５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。
【0120】
例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
【0121】
例えば、認識部７３は、カメラ５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１の周囲の物体の種類を認識してもよい。
【0122】
例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
【0123】
例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
【0124】
行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
【0125】
なお、経路計画は、広域的パスプランニング（Global path planning）及び局所的パスプランニング（Local path planning）を含む。広域的パスプランニングは、スタートからゴールまでの大まかな経路を計画する処理を含む。局所的パスプランニングは、軌道計画とも言われ、計画した経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成を行う処理を含む。
【0126】
経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。
【0127】
動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。
【0128】
例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、横方向車両運動制御及び縦方向車両運動制御を行う。例えば、動作制御部６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等の運転者支援機能や、運転者又は遠隔運転者の操作によらない走行等の運転自動化を目的とした制御を行う。
【0129】
ＤＭＳ３０は、車内センサ２６からのセンサデータ、及び、後述するＨＭＩ３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
【0130】
なお、ＤＭＳ３０が、運転者以外の利用者の認証処理、及び、当該利用者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
【0131】
ＨＭＩ３１は、各種のデータや指示等の入力と、各種のデータの利用者への提示を行う。
【0132】
ＨＭＩ３１によるデータの入力について、概略的に説明する。ＨＭＩ３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。ＨＭＩ３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
【0133】
ＨＭＩ３１によるデータの提示について、概略的に説明する。ＨＭＩ３１は、利用者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ３１は、触覚情報として、例えば、力、振動、動き等により利用者の触覚に与えられる情報を生成及び出力する。
【0134】
ＨＭＩ３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）機能を備えるウエアラブルデバイスといった、利用者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera Monitoring System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
【0135】
ＨＭＩ３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
【0136】
ＨＭＩ３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、利用者が接触する部分に設けられる。
【0137】
車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。
【0138】
ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
【0139】
ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
【0140】
駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
【0141】
ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
【0142】
ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
【0143】
ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
【0144】
図９は、図８の外部認識センサ２５のカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図９において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。
【0145】
センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。
【0146】
センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。
【0147】
センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。
【0148】
センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。
【0149】
センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。
【0150】
センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
【0151】
センシング領域１０４は、ＬｉＤＡＲ５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。
【0152】
センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
【0153】
センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。
【0154】
センシング領域１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。
【0155】
なお、外部認識センサ２５が含むカメラ５１、レーダ５２、ＬｉＤＡＲ５３、及び、超音波センサ５４の各センサのセンシング領域は、図９以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、ＬｉＤＡＲ５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
【0156】
上述の車載制御システム１１において、本開示の情報処理装置１００は、外部認識センサ２５のレーダ５２に適用し得る。本開示における情報処理装置１００において、偽透過点の有無を判定し、偽透過点があると判定した場合、情報処理装置１００が適切に動作しない可能性がある旨を車両１のユーザへ通知しても良い。または、偽透過点があると判定した場合、車載制御システム１１は、情報処理装置１００のセンシング結果に基づいて動作する運転自動化機能の一部または全てを制限しても良い。
本開示は、以下の各構成を有してもよい。
本開示は、以下の各構成を有してもよい。
【0157】
（１）
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得する取得部と、
前記点群データを前記画像データ上に重畳した重畳画像を生成する重畳部と、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する判定部と
を具備する情報処理装置。
（２）
前記偽透過点を除去し、除去した偽透過点を除く前記点群データを前記画像データ上に重畳した前記重畳画像を生成する生成部をさらに具備する
上記（１）に記載の情報処理装置。
（３）
前記２つのポイントは、前記縦軸座標において隣接する
上記（１）又は（２）に記載の情報処理装置。
（４）
前記判定部は、前記第１の高さ情報と前記第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち、前記縦軸座標の値の小さい方を偽透過点と判定する
上記（１）乃至（３）の何れ一項に記載の情報処理装置。
（５）
前記情報処理装置は、車両に搭載される
上記（１）乃至（４）の何れか一項に記載の情報処理装置。
（６）
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得し、
前記点群データを前記画像データ上に重畳した重畳画像を生成し、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する
情報処理方法。
（７）
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得するステップと、
前記点群データを前記画像データ上に重畳した重畳画像を生成するステップと、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定するステップと
を実行させる情報処理プログラム。
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得する取得部と、
前記点群データを前記画像データ上に重畳した重畳画像を生成する重畳部と、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する判定部と
を具備する情報処理装置。
（２）
前記偽透過点を除去し、除去した偽透過点を除く前記点群データを前記画像データ上に重畳した前記重畳画像を生成する生成部をさらに具備する
上記（１）に記載の情報処理装置。
（３）
前記２つのポイントは、前記縦軸座標において隣接する
上記（１）又は（２）に記載の情報処理装置。
（４）
前記判定部は、前記第１の高さ情報と前記第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち、前記縦軸座標の値の小さい方を偽透過点と判定する
上記（１）乃至（３）の何れ一項に記載の情報処理装置。
（５）
前記情報処理装置は、車両に搭載される
上記（１）乃至（４）の何れか一項に記載の情報処理装置。
（６）
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得し、
前記点群データを前記画像データ上に重畳した重畳画像を生成し、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定する
情報処理方法。
（７）
コンピュータが、
３Ｄカメラで撮像して生成された画像データと、ＬｉＤＡＲで生成され前記画像データの画角と少なくとも一部が重複し複数のポイントを含む点群データと、を取得するステップと、
前記点群データを前記画像データ上に重畳した重畳画像を生成するステップと、
前記画像データに重畳された点群データのうち、前記重畳画像上の前記ＬｉＤＡＲの照射における方位角方向に対応する横軸座標の値がともに所定の値を有する２つのポイントを特定するとともに、前記重畳画像上の前記ＬｉＤＡＲの照射における仰俯角方向に対応する縦軸座標の値が一方は第１の値であり他方は前記第１の値とは異なる第２の値であり、前記第１の値に対応する前記３Ｄカメラの第１の高さ情報と前記第２の値に対応する前記３Ｄカメラの第２の高さ情報との差分が所定以上の場合、前記２つのポイントのうち一方を偽透過点と判定するステップと
を実行させる情報処理プログラム。
【0158】
本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【0159】
１…車両
１００…情報処理装置
１１０…通信部
１２０…記憶部
１３０…制御部
１３１…取得部
１３２…判定部
１３３…生成部
１４０…検知部
１５０…ＬｉＤＡＲ
１６０…カメラ
１００…情報処理装置
１１０…通信部
１２０…記憶部
１３０…制御部
１３１…取得部
１３２…判定部
１３３…生成部
１４０…検知部
１５０…ＬｉＤＡＲ
１６０…カメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】