(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-23
(45)【発行日】2023-07-03
(54)【発明の名称】３次元データ分析装置および３次元データ分析方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230626BHJP
B60L 15/20 20060101ALI20230626BHJP
【ＦＩ】
G06T7/00 C
B60L15/20 J
【請求項の数】
4
(21)【出願番号】P 2019131245
(22)【出願日】2019-07-16
(65)【公開番号】P2021015558
(43)【公開日】2021-02-12
【審査請求日】2022-06-17
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(72)【発明者】
【氏名】増子 薫
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開２０１０－２８７０２９（ＪＰ，Ａ）
【文献】特開２０１４－１９４７２９（ＪＰ，Ａ）
【文献】特開２０１７－１８４３５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｂ６０Ｌ １５／２０
(57)【特許請求の範囲】
【請求項1】
地面よりも高い位置を基点として放射状に広がる範囲に含まれる現実空間を測距の対象とする３次元測距センサの検出値に基づく３次元データを分析する３次元データ分析装置であって、
前記３次元データに含まれる前記地面の表面の像から、距離が測定されていないまとまった領域である空白領域を検出する空白領域検出部と、
前記空白領域検出部により検出された前記空白領域の奥側の縁から、前記地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する穴判定部とを備え、
前記穴判定部は、
前記下方延在像が存在すると判定した場合、前記下方延在像の上下方向の長さが閾値以上か否かを判定し、前記閾値以上のとき、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する一方、
現実空間における前記空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において前記基点に対向する領域のうち、前記３次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した前記理論値に基づいて前記閾値を設定する
ことを特徴とする３次元データ分析装置。
【請求項2】
前記穴判定部は、現実空間において前記基点から前記地面に下ろした垂線、および、前記垂線と前記地面との交点から、現実空間において前記空白領域に対応する領域の手前側の縁まで延ばした第１の線が直角に交わる直角三角形と、
現実空間において前記測距対象部分に沿って延びる第２の線、および、現実空間において前記空白領域に対応する領域の手前側の縁から奥側の縁まで伸びる、前記第１の線と同一直線上の線である第３の線が直角に交わる直角三角形とが相似であることを利用して、
前記垂線、前記第１の線および前記第３の線のそれぞれの長さを、前記３次元データおよび前記３次元測距センサの設置位置情報に基づいて取得し、取得した各線の長さに基づいて前記第２の線の長さを算出し、これを前記理論値とする
ことを特徴とする請求項１に記載の３次元データ分析装置。
【請求項3】
前記３次元測距センサは、歩道を走行する移動支援自動車に設けられていることを特徴とする請求項１または２に記載の３次元データ分析装置。
【請求項4】
地面よりも高い位置を基点として放射状に広がる範囲に含まれる現実空間を測距の対象とする３次元測距センサの検出値に基づく３次元データを分析する３次元データ分析装置による３次元データ分析方法であって、前記３次元データ分析装置の空白領域検出部が、前記３次元データに含まれる前記地面の表面の像から、距離が測定されていないまとまった領域である空白領域を検出する第１ステップと、
前記３次元データ分析装置の穴判定部が、前記空白領域検出部により検出された前記空白領域の奥側の縁から、前記地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する第２ステップとを含み、
前記第２ステップにおいて前記穴判定部は、
前記下方延在像が存在すると判定した場合、前記下方延在像の上下方向の長さが閾値以上か否かを判定し、前記閾値以上のとき、現実空間において前記空白領域に対応する領域に穴が形成されていると判定する一方、
現実空間における前記空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において前記基点に対向する領域のうち、前記３次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した前記理論値に基づいて前記閾値を設定する
ことを特徴とする３次元データ分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元データ分析装置および３次元データ分析方法に関し、特に、３次元測距センサが出力する３次元データを分析する３次元データ分析装置および３次元データ分析方法に用いて好適なものである。
【背景技術】
【0002】
従来、測距センサを利用して、測距の対象となる空間の状況を分析する装置が知られている。例えば、特許文献１には、電動カート１０に設けられた第１超音波センサ１１から路面８０に向けて超音波を送信すると共にその反射波を受信し、反射波を受信するまでに要した時間を分析することによって、電動カート１０の前方の所定の位置に路面８０が存在するか否かを判定し、存在する場合としない場合とで異なる態様の制御を実行する制御装置３０が記載されている。
【0003】
また、従来、ステレオカメラや、ＴＯＦカメラ等の光学式の３次元測距センサの検出値に基づく３次元データを分析する３次元データ分析装置が存在する。３次元データは、例えば、距離が測定された画素が３次元直交座標系に配置された点群データである。理想的には、３次元データにより、測距の対象となる空間内の各物体の表面が３次元直交座標系における点の集合として表現される。３次元データ分析装置は、３次元データを分析することによって、障害物の有無を検出する等、測距の対象となる空間の状況を分析する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１８４３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した３次元測距センサを地面よりも高い位置に設け、地面よりも高い位置を基点として放射状に広がる範囲に含まれる現実空間をこのセンサにより測距する場合がある。例えば、電動車イスやシニアカーといった移動支援自動車に３次元測距センサを設ける場合である。従来、この場合において３次元データ分析装置により３次元データを分析するときに以下の課題があった。
【0006】
すなわち、３次元データに含まれる地面の表面の像に、距離が測定されていないまとまった領域である空白領域が形成される場合がある。空白領域は、現実空間において空白領域に対応する領域に地面が存在するのにもかかわらず、ノイズや、測定誤差、欠測等に起因して形成される場合もあれば、現実空間において空白領域に対応する領域に穴が形成されており、この穴に起因して形成される場合もある。しかしながら、従来の３次元データ分析装置では、地面の表面の像に空白領域が形成されている場合、現実空間において空白領域に対応する領域に穴が形成さていると一律に判定しているため、穴が形成されていない状況でノイズ等に起因して空白領域が形成されている場合に、空白領域に対応する領域に穴が形成されていると誤って判定してしまう場合があった。
【0007】
本発明は、このような問題を解決するために成されたものであり、３次元データに含まれる地面の表面の像の中に形成された空白領域について、現実空間において空白領域に対応する領域に穴が形成されていないにもかかわらず、穴が形成されていると誤って判定されることを抑制することを目的とする。
【課題を解決するための手段】
【0008】
上記した課題を解決するために、本発明では、３次元データに含まれる地面の表面の像に、距離が測定されていないまとまった領域である空白領域が存在する場合、空白領域の奥側の縁から、地面の表面に相当する面よりも下方に向かって延在する下方延在像が存在するか否かを判定し、存在する場合、現実空間において空白領域に対応する領域に穴が形成されていると判定するようにしている。また本発明は、下方延在像が存在すると判定した場合、下方延在像の上下方向の長さが閾値以上か否かを判定し、閾値以上のとき、現実空間において空白領域に対応する領域に穴が形成されていると判定する一方、現実空間における空白領域に対応する領域に穴が形成されていたとした場合に、その穴の内側の面において基点に対向する領域のうち、３次元測距センサにより測距可能な測距対象部分の上下方向の長さの理論値を算出し、算出した理論値に基づいて閾値を設定するようにしている。
【発明の効果】
【0009】
現実空間において地面に穴が形成されている場合、その穴の内側の面において、３次元測距センサの基点に対向する領域の一部については３次元測距センサによる測距の対象となり、この部分の像が３次元データに含まれることになるという特徴がある。この部分の像は、３次元データにおいて、空白領域の奥側の縁から、地面の表面に相当する面よりも下方に向かって延在した状態となる。
【0010】
以上を踏まえ、上記のように構成した本発明によれば、空白領域が存在する場合に、現実空間において空白領域に対応する領域に穴が形成されていると一律に判定されるのではなく、空白領域の奥側の縁から延在する下方延在像が存在する場合にのみ、穴が形成されていると判定される。このため、上述した特徴を好適に利用して、現実空間において空白領域に対応する領域に穴が形成されていないにもかかわらず、穴が形成されていると誤って判定されることを抑制できる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る３次元データ分析装置を含む警告システムの機能構成例を示すブロック図である。
【図2】３次元測距センサが移動支援自動車に設けられた様子を示す図である。
【図3】３次元データに基づいて３次元直交座標系に展開された像の例を示す図である。
【図4】カメラ、測距範囲および地面の現実空間における配置関係を示す図である。
【図5】空白領域をｚ軸方向のマイナス側に向かって見た様子を示す図である。
【図6】空白領域および下方延在像を示す図である。
【図9】穴が形成されている地面にカメラが配置された様子を示す図である。
【図10】本発明の一実施形態に係る３次元データ分析装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る３次元データ分析装置１を含む警告システム２の機能構成例を示すブロック図である。図１に示すように、警告システム２は、３次元測距センサ３と、３次元データ生成装置４と、３次元データ分析装置１と、警告装置５とを含んで構成されている。本実施形態に係る３次元データ分析装置１は、移動支援自動車６（図２）に設けられ、３次元測距センサ３の検出値に基づいて生成される３次元データを分析する装置である。移動支援自動車６とは、電動車イスやシニアカー等の人間が搭乗した状態で歩道を走行する自動車である。
【0013】
図２は、３次元測距センサ３の設置位置、その測定軸７およびその測距範囲８を説明するために３次元測距センサ３が移動支援自動車６に設けられた様子を単純化して模式的に示す図である。３次元測距センサ３は、空間を３次元的に測距するセンサであり、特に本実施形態に係る３次元測距センサ３は、ステレオカメラ方式の測距センサである。図２では、３次元測距センサ３のステレオカメラを構成する２台のカメラ９、９のうちの一方のカメラ９を図示している。以下の説明において、上または上方とは鉛直方向における上向きを意味し、下または下方とは鉛直方向における下向きを意味する。また、前または前方とは移動支援自動車６が前進する向きを意味し、後または後方とは移動支援自動車が後進する向きを意味する。また、左または左方とは前方に向かって左向きを意味し、右または右方とは前方に向かって右向きを意味する。
【0014】
図２に示すように、カメラ９は、移動支援自動車６の前端部の、移動支援自動車６が載置された地面１０よりも高い位置に設けられている。カメラ９の地面１０からの高さは、一例として５０ｃｍ程度である。図２に示すように、カメラ９は、その測定軸７（光軸）が地面１０と平行なまま前方に向かって伸びるように移動支援自動車６に設けられている。測距範囲８は、カメラ９の基点１１から測定軸７に沿って、前方に向かうに従って広がるように放射状に広がっており、この測距範囲８に含まれる現実空間が３次元測距センサ３による測距の対象となる。以下、測距範囲８に含まれ、測距の対象となる現実空間を「測距対象空間」という。なお、ステレオカメラ方式の測距センサにおいては、一方のカメラ９の撮影範囲と測距範囲８とは厳密には一致しないものの、これらは近似しているため、説明の便宜を考慮して、本実施形態ではカメラ９の撮影範囲がそのまま測距範囲８であるものとする。
【0015】
本実施形態では、移動支援自動車６の動力源のスイッチがオンされると、警告システム２の各装置への電力供給が開始され、これら装置の電源が自動でオンされる。３次元測距センサ３は、電源がオンされている間（＝移動支援自動車６が走行する可能性のある期間）、２台のカメラ９、９により所定周期で継続して撮影を実行し、２台のカメラ９、９の撮影画像（検出値）を３次元データ生成装置４に出力する。
【0016】
３次元データ生成装置４は、所定周期で入力する２台のカメラ９、９の撮影画像について既存の技術に基づくマッチングを行い、３次元データを生成する。本実施形態において、３次元データは、３次元測距センサ３により距離が測定された画素が３次元直交座標系に配置された点群データ（＝３次元直交座標系において距離が測定された各画素の座標を保持する点群データ）である。理想的には、３次元データにより、測距対象空間内の各物体（地面１０を含む）の基点１１に対向する表面（カメラ９、９により撮影される表面）が３次元直交座標系における点の集合として表現される。
【0017】
３次元データ生成装置４は、所定周期で継続して３次元データを生成し、３次元データ分析装置１に出力する。
【0018】
図１に示すように、３次元データ分析装置１は、機能構成として、３次元データ取得部１３、空白領域検出部１４および穴判定部１５を備えている。上記各機能ブロック１３～１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１３～１５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【0019】
３次元データ取得部１３は、３次元データ生成装置４が所定周期で出力する３次元データを入力して取得する。３次元データ取得部１３は、３次元データを取得する度に、ＲＡＭ等のワークエリアに形成されたバッファ１６に３次元データを格納すると共に、格納したことを空白領域検出部１４に通知する。
【0020】
空白領域検出部１４は、３次元データに含まれる地面１０の表面の像から、距離が測定されていないまとまった領域である空白領域１７（図３、５、６）を検出する。以下、空白領域検出部１４の処理について詳述する。
【0021】
空白領域検出部１４は、３次元データ取得部１３から３次元データがバッファ１６に格納されたことの通知を受け付ける度に、バッファ１６に格納された３次元データを対象として以下の処理を実行する。すなわち、まず、空白領域検出部１４は、３次元データから地面１０の表面の像１８（図３）を特定する。以下、地面１０の表面の像１８を「地面表面像１８」という。
【0022】
図３は、図１で説明した態様で移動支援自動車６に設けられた３次元測距センサ３の検出値に基づいて生成された３次元データに基づいて３次元直交座標系に展開された像の例を示す図である。図３および後述の図７、８では、黒色の背景に、白色の画素が配置されている。以下の説明において、３次元直交座標系のｘ軸方向は、現実空間における前後方向に対応し、ｘ軸方向のプラス側に向かう向きは前方に対応し、ｘ軸方向のマイナス側に向かう向きは後方に対応するものとする。また、３次元直交座標系のｙ軸方向は、現実空間における左右方向に対応するものとする。また、３次元直交座標のｚ軸方向は、現実空間における上下方向に対応し、ｚ軸方向のプラス側に向かう向きは上方に対応し、ｚ軸方向のマイナス側に向かう向きは下方に対応するものとする。
【0023】
図３で例示した像では、枠Ｗ１で囲まれた部分の像が、地面表面像１８に相当する。なお、図３において、枠Ｗ１で囲まれた地面表面像１８よりもｘ軸方向のプラス側の像は、地面１０に立設した壁の像である。地面表面像１８について詳しく説明すると、地面表面像１８は、図３に示すように、ｘ軸方向のプラス側に向かうに従ってｙ軸方向に広がっていく。これは、測距範囲８が基点１１から測定軸７に沿って前方に向かって放射状に広がっていくことに起因するものである。
【0024】
また、地面表面像１８は、ｘ軸方向のプラス側に向かうに従って、徐々に画素が安定せず、かつ、画素が粗くなっている。これは、３次元測距センサ３から物体の位置が離れるほど、測距の精度が低下すると共に、３次元測距センサ３が物体を捉えられる画素の密度が小さくなるという３次元測距センサ３の性質に起因するものである。また、図３に示すように、地面表面像１８は、基本的には、交差するｘ軸とｙ軸とを含む平面に平行な平面に沿って延在する。ただし、地面表面像１８は完全な平面とはならず多少の凹凸が出現する。
【0025】
３次元直交座標系において、地面表面像１８を構成する画素群が配置され得る範囲は、３次元測距センサ３のスペック、配置位置および測定軸７の方向によって定まる。これらによって、地面１０に対する測距範囲８の状態が規定されるからである。本実施形態では、３次元測距センサ３のスペック、配置位置および測定軸７の方向を踏まえて、３次元直交座標系において地面表面像１８を構成する画素群が配置され得る範囲（以下、「地面表面像範囲」という）が事前に定められている。地面表面像範囲は、平面の領域ではなく、ｚ軸方向にある程度の幅を持った３次元的な領域として定義される。
【0026】
そして、空白領域検出部１４は、地面表面像範囲に属する画素群を地面表面像１８として特定する。なお、図３の例のように壁や歩行者、その他の障害物が地面１０に立っている場合、障害物が存在する範囲や、障害物よりもｘ軸方向のプラス側の範囲は、地面表面像範囲に属する画素群が抽出できない。空白領域検出部１４は、このように障害物の像に起因して地面表面像範囲に属する画素群として画素群が抽出できない範囲は、地面表面像１８から除外し、このような範囲を、後に詳述する空白領域１７と明確に区別する。
【0027】
地面表面像１８を特定した後、空白領域検出部１４は、地面表面像１８のうち、分析対象範囲を特定する。分析対象範囲とは、画素の精度の高さを一定以上、担保できる領域である。上述したように、地面表面像１８は、ｘ軸方向のプラス側へ向かうほど、画素が安定せず粗くなっていき、画素の精度が低くなる。本実施形態において、ある画素の精度とは、その画素の３次元直交座標系における座標が、現実空間における物体の表面の位置を正しく反映している度合の強さのことをいい、画素の精度が高いほど、反映の度合が強い。本実施形態では、分析対象範囲が予め定められている。図３の例では、例えば、弧Ｋ１よりもｘ軸方向のマイナス側の範囲が分析対象範囲とされる。
【0028】
地面表面像１８における分析対象範囲を特定した後、空白領域検出部１４は、分析対象範囲内を分析し、この範囲内に空白領域１７が存在するか否かを判定する。空白領域１７とは、地面表面像１８の中で、画素が存在しない所定サイズ以上の大きさのまとまった領域である。換言すれば、空白領域１７とは、地面表面像１８内で、３次元測距センサ３により距離が測定されていないまとまった領域である。空白領域１７に該当するか否かの判定の基準となる所定サイズは、現実空間において仮に当該所定サイズに対応するサイズ以上の穴１９（図４（Ａ）、図９）が地面１０に形成されていた場合、移動支援自動車６の搭乗者に警告を与える必要があるという観点、換言すれば、現実空間において仮に当該所定サイズに対応するサイズよりも小さい穴１９が地面１０に形成されていたとしても、移動支援自動車６の走行に影響がなく、当該搭乗者に警告を与える必要がないという観点に基づいて事前に定められている。図３では、枠Ｗ２で囲まれた黒色の領域（＝画素がない領域）が空白領域１７である。
【0029】
地面表面像１８内に空白領域１７が形成される原因としては以下の２つがある。図４は、空白領域１７が形成される原因の説明のため、３次元測距センサ３のカメラ９、測距範囲８および地面１０の現実空間における配置関係を単純化して示す図である。図４（Ａ）のように、現実空間において地面１０に穴１９が形成されている場合、地面表面像１８内に空白領域１７が形成される。地面１０に沿った面において、穴１９の部分については、３次元測距センサ３により距離が測定されず、３次元データにおいて画素が形成されないからである。
【0030】
一方、図４（Ｂ）に示すように、現実空間において、地面１０に穴１９が形成されていない場合であっても、ノイズや、測定誤差、欠測等に影響を受けて、３次元データの地面表面像１８に空白領域１７が形成されることがある。なお、欠測とは以下を意味する。すなわち、３次元測距センサ３は、測距対象空間内の物体の表面を測距する際、当センサの分解能に従って離散した複数の測定点を測距する。そして、欠測とは、測定点と測定点との間の部分について、距離の測定の対象とならない（距離が測距できない）ことを意味する。
【0031】
本実施形態では、図２を用いて説明したように、３次元測距センサ３の測定軸７は、地面１０と平行に延びている。このような態様で３次元測距センサ３が移動支援自動車６に設けられている場合、測定軸７と平行に延在する地面１０は、測定軸７に対して垂直に延在する物体と比較して、３次元測距センサ３が物体を捉えられる画素の密度（＝物体の表面に理論上展開される測定点の密度）が小さく、ノイズ、測定誤差および欠測の影響を受けやすい。このため、地面表面像１８には、空白領域１７が形成されやすい傾向がある。特に、基点１１からの距離が遠いほど、ノイズ、測定誤差および欠測の影響を受けやすくなるため、空白領域１７が形成されやすい。
【0032】
さて、空白領域検出部１４は、空白領域１７が存在すると判定した場合、３次元直交座標系における空白領域１７の範囲を示す情報（以下「空白領域範囲情報」という）を穴判定部１５に出力する。空白領域範囲情報は、例えば、空白領域１７の外縁を、３次元直交座標系における異なる複数の点の座標により表した情報である。一方、空白領域検出部１４は、空白領域１７が存在しないと判定した場合、空白領域範囲情報を穴判定部１５に出力せず、当周期における処理を終了する。この場合、当周期において後述する穴判定部１５による処理は実行されない。
【0033】
なお、空白領域１７は、複数存在する場合もある。この場合、空白領域検出部１４は、複数の空白領域１７のそれぞれに係る空白領域範囲情報を穴判定部１５に出力する。以下の説明では、説明の便宜を考慮して、空白領域検出部１４から空白領域範囲情報が穴判定部１５に出力される場合、１つの空白領域１７に係る１つの空白領域範囲情報が出力されるものとする。ただし、複数の空白領域１７に係る複数の空白領域範囲情報が出力される場合には、それぞれの空白領域範囲情報に基づいて、以下で説明する処理が実行される。
【0034】
穴判定部１５は、空白領域検出部１４により検出された空白領域１７の奥側の縁から、地面１０の表面に相当する面よりも下方に向かって延在する下方延在像２０（図６、７、８）が存在するか否かを判定し、存在する場合、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する。以下、穴判定部１５の処理について詳述する。なお、本実施形態において「奥側」とは、３次元測距センサ３の基点１１から離れる側を意味し、３次元直交座標系においてはｘ軸方向のプラス側を意味する。また、本実施形態において「手前側」とは、３次元測距センサ３の基点１１に近づく側を意味し、３次元直交座標系においてはｘ軸方向のマイナス側を意味する。
【0035】
穴判定部１５は、空白領域検出部１４から空白領域範囲情報を入力した場合、以下の処理を実行する。すなわち、穴判定部１５は、バッファ１６に格納された３次元データを参照し、入力した空白領域範囲情報に基づいて、３次元データに基づく像が展開される３次元直交座標系における空白領域１７を特定する。
【0036】
次いで、穴判定部１５は、空白領域１７の奥側の縁を特定する。図５（Ａ）、（Ｂ）は、空白領域１７を、ｚ軸方向のマイナス側に向かって見た様子を示す図である。図５（Ａ）、（Ｂ）では、空白領域１７を、その外縁の全域に沿った線により表している。例えば、穴判定部１５は、図５（Ａ）で例示する空白領域１７について、枠Ｗ３で囲まれた部位を空白領域１７の奥側の縁として特定する。また例えば、穴判定部１５は、図５（Ｂ）で例示する空白領域１７について、枠Ｗ４で囲まれた部位を空白領域１７の奥側の縁として特定する。
【0037】
次いで、穴判定部１５は、空白領域１７の奥側の縁から、ｚ軸方向のマイナス側へ向かって延在する像である下方延在像２０が存在するか否かを判定する。以下、下方延在像２０について図４（Ａ）を用いて説明する。ここで、現実空間において、空白領域１７に対応する領域に実際に穴１９が形成されている場合、その穴１９の内側の面において、３次元測距センサ３の基点１１に対向する領域の一部の部分については３次元測距センサ３による測距の対象となる。例えば、図４（Ａ）では、領域ＡＲ１は、３次元測距センサ３による測距の対象となる。本実施形態に係る３次元測距センサ３はステレオカメラ式の測距センサであるが、領域ＡＲ１と基点１１とを遮るものがなく、この領域ＡＲ１は、カメラ９、９によって撮影されるからである。以下、穴１９の内側の面において、３次元測距センサ３による測距の対象となる部分のことを「測距対象部分」という。
【0038】
測距対象部分は、３次元測距センサ３による測距の対象となるため、３次元測距センサ３の検出値に基づいて生成される３次元データには、この測距対象部分の像が形成される。測距対象部分の像とは、測距対象部分の基点１１に対向する表面を表す画素群のことである。この測距対象部分の像が下方延在像２０である。この下方延在像２０は、測距対象部分の上述した性質上、３次元直交座標系において空白領域１７の奥側の縁から、ｚ軸方向のマイナス側へ向かって（＝地面１０の表面に相当する面よりも下方に向かって）延在した状態となる。
【0039】
図６は、外縁が円形である空白領域１７およびこの空白領域１７に対応して形成される下方延在像２０を単純化して模式的に示す図である。図６では、現実空間における穴１９の内周および底に相当する部分を実線で表している。図６において斜線を用いて表した部分の像が下方延在像２０である。図６で示すように、空白領域１７の外縁が円形の場合、基点１１に対向し、３次元測距センサ３により測距可能に露出した部分に下方延在像２０が形成される。図７は、図３の像を、ｙ軸方向のプラス側からマイナス側へ向かって見た図である。図７では、枠Ｗ５で囲まれた像が下方延在像２０である。図８は、図３の像をｘ軸方向のマイナス側からプラス側へ向かって見た図である。図８では、枠Ｗ６で囲まれた像が下方延在像２０である。
【0040】
穴判定部１５は、下方延在像２０が存在しないと判定した場合、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する。上述したように、空白領域１７に対応する領域に穴１９が形成されている場合、これに付随して下方延在像２０が形成されているはずだからである。この場合、空白領域１７は、ノイズや、測定誤差、欠測等に起因して生じていることになる。
【0041】
一方、穴判定部１５は、下方延在像２０が存在すると判定した場合、下方延在像２０の上下方向（ｚ軸方向）の長さを測定する。本実施形態では、穴判定部１５は、以下の方法で下方延在像２０の上下方向の長さを測定する。すなわち、穴判定部１５は、下方延在像２０を構成する画素のうち、最もｚ軸方向マイナス側に位置する画素を特定する。次いで、穴判定部１５は、特定した画素から、現実空間の地面１０に相当する仮想面まで垂線を下ろし、垂線と仮想面との交点を最奥点２１（図６）として特定する。次いで、穴判定部１５は、特定した画素から最奥点２１までの距離を、下方延在像２０の上下方向の長さとして測定する。最奥点２１は、理想的には、空白領域１７の外縁上で、基点１１から最も遠い位置の点である。
【0042】
図６の例では、穴判定部１５は、線分ＬＬの長さを下方延在像２０の上下方向の長さとして測定する。説明の便宜のため、測定された長さは、センチメートルやミリメートル等の単位で表される現実空間の長さに換算された値であるものとする。
【0043】
次いで、穴判定部１５は、測距対象部分の長さの理論値（以下「長さ理論値」という）を算出する。以下、長さ理論値を算出するときの穴判定部１５の処理について詳述する。図９（Ａ）は、穴判定部１５の処理を説明するため、図４（Ａ）と同様に、穴１９が形成されている地面１０にカメラ９が配置された様子を示す図である。図９（Ｂ）は、図９（Ａ）の環境を上方から下方へ向かって見た様子を示す図である。図９（Ａ）と図９（Ｂ）とでは、前後方向の位置を対応させている。
【0044】
図９（Ａ）において、「３次元測距センサ３の基点１１と、穴１９の手前側の縁にある点Ｐ１（詳細は後述）とを通る直線Ｓ１」と、「最奥点２１に対応する点Ｐ２（詳細は後述）を通り、鉛直方向に延びる直線Ｓ２」との交点を点Ｐ３とする。測距対象部分の理論的な長さは、理論的に算出される「点Ｐ２から点Ｐ３まで延びる線分Ｘ１の長さ」に相当する。穴判定部１５は、この線分Ｘ１の理論的な長さを長さ理論値として算出する。なお、線分Ｘ１は、特許請求の範囲の「現実空間において測距対象部分に沿って延びる第２の線」に相当する。
【0045】
長さ理論値の算出に際し、まず、穴判定部１５は、現実空間において、地面１０に沿って延在するまっ平らな仮想的な面２２（図９（Ａ））を定義する。以下、面２２を「仮想地面２２」という。上述した点Ｐ１、Ｐ２、後述する点Ｐ４、後述する線分Ｌ２、Ｌ３、Ｌ４は、この仮想地面２２上に配置される。
【0046】
次いで、穴判定部１５は、空白領域検出部１４から入力した空白領域範囲情報に基づいて、現実空間における、空白領域１７に対応する領域の外縁２３（図９（Ｂ））の配置位置を算出する。本実施形態では、外縁２３の配置位置とは、外縁２３を「仮想地面２２上の点の集合」として捉えたときの、各点の基点１１からの相対的な位置のことである。ここで、現実空間において基点１１から仮想地面２２に垂線を下ろした場合に、この垂線と仮想地面２２との交点を点Ｐ４（図９（Ａ）、（Ｂ））とする。穴判定部１５は、基点１１から点Ｐ４までの線分Ｌ１の長さを取得する。線分Ｌ１の長さは、３次元測距センサ３の設置位置により定まる。本実施形態では、基点１１の仮想地面２２からの高さ（＝線分Ｌ１の長さ）を示す情報を含む設置位置情報が図示しないメモリに予め記憶されており、穴判定部１５は、この設置位置情報に基づいて線分Ｌ１の長さを取得する。
【0047】
次いで、穴判定部１５は、３次元直交座標系における最奥点２１の座標に基づいて、現実空間において最奥点２１に対応する点Ｐ２（図９（Ａ）、（Ｂ））の位置を算出する。穴判定部１５は、点Ｐ２の位置を、現実空間における基点１１からの相対的な位置として算出する。次いで、穴判定部１５は、線分Ｌ１と仮想地面２２との交点である点Ｐ４から、点Ｐ２まで延ばした線分Ｌ２（図９（Ａ）、（Ｂ））を算出する。更に、穴判定部１５は、線分Ｌ２と、空白領域１７に対応する領域の外縁２３との交点Ｐ１（図９（Ａ）、（Ｂ））を算出する。
【0048】
次いで、穴判定部１５は、点Ｐ４から点Ｐ１まで延びる線分Ｌ３の長さを算出すると共に、点Ｐ１から点Ｐ２まで延びる線分Ｌ４の長さを算出する。点Ｐ１は、現実空間において空白領域１７に対応する領域の手前側の縁に位置する点である。また、点Ｐ２は、現実空間において空白領域１７の奥側の縁に位置する点である。これを踏まえ、線分Ｌ３は、特許請求の範囲の「基点から地面１０に下ろした垂線と地面１０との交点から、現実空間において空白領域１７に対応する領域の手前側の縁まで延ばした第１の線」に相当する。また、線分Ｌ４は、特許請求の範囲の「現実空間において空白領域１７に対応する領域の手前側の縁から奥側の縁まで伸びる、第１の線と同一直線上の線である第３の線」に相当する。
【0049】
ここで、基点１１、点Ｐ４、点Ｐ１を頂点とする直角三角形と、点Ｐ３、点Ｐ２、点Ｐ１を頂点とする直角三角形は、相似の関係にあり、式Ｓ１「線分Ｌ１の長さ：線分Ｌ３の長さ＝線分Ｘ１の長さ：線分Ｌ４の長さ」が成り立つ。穴判定部１５は、既に求めた線分Ｌ１、Ｌ３、Ｌ４の長さを式Ｓ１に適用し、線分Ｘ１の長さを算出し、算出した値を長さ理論値とする。
【0050】
以上のようにして長さ理論値を算出した後、穴判定部１５は、長さ理論値から予め定められたマージンを減算した値を閾値Ｔ１として設定する。マージンの意義については後述する。次いで、穴判定部１５は、下方延在像２０の上下方向の長さが閾値Ｔ１以上か否かを判定する。下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する。一方、下方延在像２０の上下方向の長さが閾値Ｔ１以上ではない場合、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する。
【0051】
穴判定部１５がこのような判定を行うことの理由は以下である。すなわち、閾値Ｔ１は、測距対象部分の長さの理論値からマージンを引いた値である。従って、閾値Ｔ１は、現実空間に穴１９が形成されている場合に、３次元測距センサ３の配置位置や、基点１１に対する穴１９の相対的な位置を勘案すると、３次元測距センサ３の検出値に基づいて形成される下方延在像２０の長さはこうなるはずだという、現実空間に穴１９が形成されている場合の下方延在像２０の上下方向の長さの予測値と考えることができる。そして、下方延在像２０の上下方向の長さが閾値Ｔ１以上ということは、下方延在像２０の上下方向の長さが、穴１９が存在するとした仮定したときに理論的に導かれる予測値と同等以上ということであり、この場合、現実空間に実際に穴１９が存在しているとみなすことができる。以上を踏まえ、穴判定部１５は、下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する一方、下方延在像２０の上下方向の長さが閾値Ｔ１以上ではない場合、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する。
【0052】
なお、マージンは、現実空間に穴１９が形成されている状況において、ノイズや、測定誤差等の影響で、下方延在像２０の上下方向の長さが、ノイズ等の影響を受けないときの長さよりも短くなった場合であっても、下方延在像２０の上下方向の長さが閾値Ｔ１以上となるようにすることを考慮して与えられるものである。
【0053】
本実施形態の構成によれば、全ての空白領域１７について、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定するのではなく、空白領域１７の奥側の縁から延在する下方延在像２０が存在することを、穴１９が形成されていると判定することの条件としている。このため、現実空間に穴１９が存在する場合には、この穴１９に対応する空白領域１７に付随して下方延在像２０が形成されるという特徴を好適に利用して、現実空間において空白領域１７に対応する領域に穴１９が形成されていると誤って分析されてしまうことを抑制できる。
【0054】
また、本実施形態では、下方延在像２０が存在するというだけで、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定するのではなく、下方延在像２０の上下方向の長さが閾値以上の場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する。この構成のため、現実空間の穴１９に由来しない空白領域１７に付随して、ノイズや、測定誤差、欠測等により偶発的に下方延在像２０が形成された場合に、このような空白領域１７について、現実空間の対応する領域に穴１９が形成されていると誤って判定される可能性を低減できる。
【0055】
さて、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定した場合は、そのことを警告装置５に通知する。この結果、穴判定部１５により現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定されている期間、所定周期で継続して穴判定部１５から警告装置５へ通知が出力される。
【0056】
警告装置５は、穴判定部１５から通知を入力している期間、移動支援自動車６の前方に穴１９が存在することを搭乗者に伝えるための警告を行う。警告は、例えば、図示しないスピーカにより特定の電子音が音声出力され、また例えば、スピーカにより特定の文言（例えば「前方に穴１９があります。気をつけて下さい」という文言）が音声出力され、また例えば、特定のＬＥＤが特定の態様で発光することにより行われる。
【0057】
次に、本発明の一実施形態に係る３次元データ分析装置１の動作についてフローチャートを用いて説明する。図１０は、３次元データ生成装置４が３次元データを出力した後の３次元データ分析装置１の動作を示すフローチャートである。
【0058】
図１０に示すように、３次元データ取得部１３は、３次元データ生成装置４が所定周期で出力する３次元データを入力して取得する（ステップＳＡ１）。次いで、３次元データ取得部１３は、バッファ１６に３次元データを格納すると共に、格納したことを空白領域検出部１４に通知する（ステップＳＡ２）。
【0059】
空白領域検出部１４は、３次元データ取得部１３からの通知に応じて、３次元データから地面表面像１８を特定する（ステップＳＡ３）。次いで、空白領域検出部１４は、地面表面像１８のうち、分析対象範囲を特定する（ステップＳＡ４）。次いで、空白領域検出部１４は、分析対象範囲内を分析し、この範囲内に空白領域１７が存在するか否かを判定する（ステップＳＡ５）。空白領域１７が存在する場合（ステップＳＡ５：ＹＥＳ）、空白領域検出部１４は、空白領域範囲情報を穴判定部１５に出力する（ステップＳＡ６）。空白領域１７が存在しない場合（ステップＳＡ５：ＮＯ）、図１０のフローチャートは終了する。
【0060】
穴判定部１５は、空白領域検出部１４から空白領域範囲情報を入力すると、この空白領域範囲情報に基づいて、３次元データに基づく像が展開される３次元直交座標系における空白領域１７を特定する（ステップＳＡ７）。次いで、穴判定部１５は、空白領域１７の奥側の縁を特定する（ステップＳＡ８）。次いで、穴判定部１５は、空白領域１７の奥側の縁から、ｚ軸方向のマイナス側へ向かって延在する像である下方延在像２０が存在するか否かを判定する（ステップＳＡ９）。
【0061】
下方延在像２０が存在しない場合（ステップＳＡ９：ＮＯ）、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する（ステップＳＡ１０）。ステップＳＡ１０の処理後、図１０のフローチャートは終了する。下方延在像２０が存在する場合（ステップＳＡ９：ＹＥＳ）、穴判定部１５は、下方延在像２０の上下方向（ｚ軸方向）の長さを測定する（ステップＳＡ１１）。次いで、穴判定部１５は、測距対象部分の長さの理論値である長さ理論値を算出する（ステップＳＡ１２）。
【0062】
次いで、穴判定部１５は、穴判定部１５は、長さ理論値から予め定められたマージンを減算した値を閾値Ｔ１として設定する（ステップＳＡ１３）。次いで、穴判定部１５は、下方延在像２０の上下方向の長さが閾値Ｔ１以上か否かを判定する（ステップＳＡ１４）。下方延在像２０の上下方向の長さが閾値Ｔ１以上ではない場合（ステップＳＡ１４：ＮＯ）、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていないと判定する（ステップＳＡ１５）。ステップＳＡ１５の処理後、図１０のフローチャートは終了する。
【0063】
下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合（ステップＳＡ１４：ＹＥＳ）、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する（ステップＳＡ１６）。次いで、穴判定部１５は、現実空間において空白領域１７に対応する領域に穴１９が形成されていることを警告装置５に通知する（ステップＳＡ１７）。
【0064】
以上、本発明の一実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0065】
例えば、上記実施形態では、穴判定部１５は、下方延在像２０が存在し、かつ、下方延在像２０の上下方向の長さが閾値Ｔ１以上の場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定した。この点について、穴判定部１５が、下方延在像２０が存在する場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する構成でもよい。ただし、この場合、実際は穴１９が形成されておらず、ノイズや、測定誤差、欠測等により偶発的に下方延在像２０が形成された場合にも、穴１９が形成されていると判定されるケースが生じ得るため、上記実施形態と比較して、穴１９の存在に関する判定が誤って行われる可能性が上昇する。
【0066】
また、上記点について、穴判定部１５が、下方延在像２０が存在し、かつ、下方延在像２０の上下方向の長さが予め定められた固定値の閾値Ｔ２以上の場合に、現実空間において空白領域１７に対応する領域に穴１９が形成されていると判定する構成でもよい。なお、ノイズ等により偶発的に下方延在像２０が形成された場合、その上下方向の長さは相当に短くなると想定される。このことを踏まえ、閾値Ｔ２は、偶発的に形成された短い下方延在像２０を排除できるような値に設定される。この場合、閾値Ｔ２は、測定対象部分の上下方向の長さの理論値と関係ない値となるため、上記実施形態と比較して、穴１９の存在に関する判定が誤って行われる可能性が上昇する。
【0067】
また、上記実施形態では、３次元測距センサ３はステレオカメラ式の測距センサであったが、３次元測距センサ３は、３次元データを生成するための検出値を出力する測距センサであればよく、例示したタイプのものに限られない。一例として、パターン画像を投影するプロジェクタとカメラとを含んで構成されるタイプの測距センサでもよく、ＴＯＦカメラを含んで構成されるタイプの測距センサでもよい。
【0068】
また、上記実施形態では、測定軸７は、地面１０と平行に延在した。しかしながら、測定軸７が前方に向かうほど地面１０に近づくようにある程度傾いていてもよい。この場合、空白領域検出部１４および穴判定部１５は、測定軸７の傾きを反映して、３次元データの分析を含む各種処理を実行する。また、測定軸７が向かう方向は、移動支援自動車６の前方に限られず、その後方や、側方であってもよい。
【0069】
また、上記実施形態では、穴判定部１５の判定結果を、移動支援自動車６の搭乗者への警告のトリガとして用いていた。一方で、穴判定部１５の判定結果を他の態様で用いる構成でもよい。一例として、移動支援自動車６が歩道を自動運転で走行するものである場合において、移動支援自動車６の前方に自動運転により回避すべき穴１９があるか否かを判定するにあたっての有益な情報として穴判定部１５の判定結果を利用する構成でもよい。
【0070】
また、上記実施形態では、３次元測距センサ３は、移動支援自動車６に設けられていたが、３次元測距センサ３が設けられる対象は移動支援自動車６に限られない。一例として、車道を通行する自動車に設けられてもよい。
【0071】
また、３次元データ分析装置１が実行すると説明した処理の一部を、３次元データ分析装置１と外部装置とが協働して、または、３次元データ分析装置１が単独で実行する構成としてもよい。この場合、３次元データ分析装置１と外部装置とが協働して特許請求の範囲の「３次元データ分析装置」として機能する。一例として、３次元データ分析装置１の穴判定部１５の処理の一部または全部を、３次元データ分析装置１とネットワークを介して通信可能なクラウドサーバが実行する構成としてもよい。
【符号の説明】
【0072】
１ ３次元データ分析装置
３ ３次元測距センサ
６ 移動支援自動車
１０ 地面
１１ 基点
１４ 空白領域検出部
１５ 穴判定部
１７ 空白領域
１８ 地面表面像（地面の表面の像）
１９ 穴
２０ 下方延在像
３ ３次元測距センサ
６ 移動支援自動車
１０ 地面
１１ 基点
１４ 空白領域検出部
１５ 穴判定部
１７ 空白領域
１８ 地面表面像（地面の表面の像）
１９ 穴
２０ 下方延在像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
