特許 7557447 物体検出装置及び物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】物体検出装置及び物体検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240919BHJP

【ＦＩ】

G06T7/00 C

【請求項の数】 4

(21)【出願番号】P 2021154418

(22)【出願日】2021-09-22

(65)【公開番号】P2023045830

(43)【公開日】2023-04-03

【審査請求日】2023-09-08

(73)【特許権者】

【識別番号】000173784

【氏名又は名称】公益財団法人鉄道総合技術研究所

(74)【代理人】

【識別番号】110000121

【氏名又は名称】ＩＡＴ弁理士法人

(72)【発明者】

【氏名】影山 椋

(72)【発明者】

【氏名】長峯 望

(72)【発明者】

【氏名】向嶋 宏記

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０２１－０９９６９８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７９０６５（ＷＯ，Ａ１）

【文献】高橋 正裕、外３名，“ステレオカメラによるＹＯＬＯと３次元点群を利用した人物検出”， 第２５回 画像センシングシンポジウム ＳＳＩＩ２０１９，日本，画像センシング技術研究会，2019年06月12日，pp.1-3

【文献】Joseph Redmon et al.，"You Only Look Once: Unified, Real-Time Object Detection"，arXiv，米国，CORNELL UNIVERSITY，2016年05月09日，pp.1-10，https://arxiv.org/abs/1506.02640

【文献】Georgios Georgakis et al.，"RGB-D Multi-View Object Detection with Object Proposals and Shape Context"，2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)，米国，IEEE，2016年10月09日，pp.4125-4130

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

撮像手段の撮像結果得られた撮像画像から、物体検出範囲毎に、物体存在確率と物体分類確率を算出し、物体存在確率あるいは物体存在確率と物体分類確率の積が所定の値以上である場合、物体検出範囲には、物体分類確率が最も高い分類の物体が存在するとする物体検出部と、
前記撮像手段の撮像範囲を含む検出範囲とし、前記検出範囲に存在する物体の少なくとも奥行き方向の距離の情報を含む点群データを生成する３次元センサと
を備え、
前記物体検出部は、前記物体検出範囲に、点群データに基づく点群を割り当て、前記物体検出範囲の物体存在確率と、割り当てられた点群の物体検出範囲の点群占有率を比較し、点群占有率が前記物体存在確率より大きい場合は、点群占有率を前記物体検出範囲の前記物体存在確率とする
物体検出装置。

【請求項2】

請求項１の物体検出装置において、
前記物体検出部は、前記物体の分類に応じて、物体検出範囲の大きさで物体検出範囲を分類するとともに、大きい物体検出範囲には前記３次元センサからの距離が近い点群を割り当て、小さい物体検出範囲には前記３次元センサからの距離が遠い点群を割り当てる
物体検出装置。

【請求項3】

物体検出部と点群データ入力部を備える物体検出装置の物体検出方法であって、
前記物体検出部は、撮像手段の撮像結果得られた撮像画像から、物体検出範囲毎に、物体存在確率と物体分類確率を算出し、物体存在確率が所定の値以上である場合、物体検出範囲には、物体分類確率が最も高い分類の物体が存在するとする物体検出ステップを有し、
前記点群データ入力部は、前記撮像手段の撮像範囲を含む検出範囲とし、前記検出範囲に存在する物体の少なくとも奥行き方向の距離の情報を含む点群データを生成する３次元センサから、前記点群データを入力する入力ステップを有し、
前記物体検出ステップでは、前記物体検出範囲に、点群データに基づく点群を割り当て、前記物体検出範囲の物体存在確率と、割り当てられた点群の物体検出範囲の点群占有率を比較し、点群占有率が前記物体存在確率より大きい場合は、点群占有率を前記物体検出範囲の前記物体存在確率とする
物体検出方法。

【請求項4】

請求項３の物体検出方法において、
前記物体検出ステップは、前記物体の分類に応じて、物体検出範囲の大きさで物体検出範囲を分類するとともに、大きい物体検出範囲には前記３次元センサからの距離が近い点群を割り当て、小さい物体検出範囲には前記３次元センサからの距離が遠い点群を割り当てる
物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出装置及び物体検出方法に関する。

【背景技術】

【0002】

画像から物体検出を行うための手法として、非特許文献１や非特許文献２に示す手法がある。非特許文献１に示す手法では、可視光ビデオカメラの画像から深層学習により物体領域や分類の予測が行われる。また、非特許文献２に示す手法では、遠赤外線ビデオカメラの画像を用いて、夜間の人物や車などが検出されている。

【先行技術文献】

【特許文献】

【0003】

【文献】A. Bochkovskiy, C. Y. Wang and H. Y. Mark Liao: YOLOv4: Optimal Speed and Accuracy of Object Detection, arXiv:2004.10934, 2020

【文献】青木正喜：赤外線画像の人間検出への応用、情報処理学会研究報告コンピュータビジョンとイメージメディア、2004-CVIM-147、 pp.105～113、2005

【発明の概要】

【発明が解決しようとする課題】

【0004】

可視光ビデオカメラの画像のみから物体を検出する手法では、画像中における物体の特徴をもとに検出を行うため、周辺の照度が低く背景と物体の見分けがつきにくい場合は検出精度が低下する。一方、赤外線ビデオカメラの画像から物体を検出する手法の場合、温度情報を画像化するため照度には依存しないが、検出対象物は熱を持つ物体に限られる。

【0005】

そこで、本発明は上記問題点に鑑み、周辺の照度が低く背景と物体の見分けがつきにくい場合であっても物体を検出することができる物体検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

この技術的課題を解決するための本発明の技術的手段は、以下に示す点を特徴とする。
物体検出装置は、撮像手段の撮像結果得られた撮像画像から、物体検出範囲毎に、物体存在確率と物体分類確率を算出し、物体存在確率が所定の値以上である場合、物体検出範囲には、物体分類確率が最も高い分類の物体が存在するとする物体検出部と、前記撮像手段の撮像範囲を含む検出範囲とし、前記検出範囲に存在する物体の少なくとも奥行き方向の距離の情報を含む点群データを生成する３次元センサと、備え、前記物体検出部は、前記物体検出範囲に、点群データに基づく点群を割り当て、前記物体検出範囲の物体存在確率と、割り当てられた点群の物体検出範囲の点群占有率を比較し、点群占有率が前記物体存在確率データより大きい場合は、点群占有率を前記物体検出範囲の前記物体存在確率とする。

【発明の効果】

【0007】

本発明によれば、周辺の照度が低い場合であっても物体を検出することができる。

【図面の簡単な説明】

【0008】

【図1】図１は本発明の一実施例である物体検出システム１の機能構成を示す機能ブロック図である。

【図2】図２は低照度時物体検出処理を説明するフローチャートである。

【図3】図３は、物体存在確率および物体分類確率の算出処理のイメージを示す図である。

【図4】図４は、図２のステップＳ２の詳細を示すフローチャートである。

【図5】図５は、物体検出範囲の分類結果のイメージを示す図である。

【図6】図６は、物体検出範囲への点群割り当て処理のイメージを示す図である。

【0009】

図１は本実施形態に係る物体検出システム１の構成を示す図である。

【0010】

物体検出システム１は、鉄道車両の走行において障害物となり得る物体を検出するシステムである。例えば、走行する線路上およびその周辺に存在する人、車両などの移動物体、線路上に落下した木々などの静止物体である。

【0011】

物体検出システム１は、ビデオカメラ１１、３次元センサ１２、および物体検出装置１３を備える。

【0012】

ビデオカメラ１１は、鉄道車両の前方方向の所定の範囲を撮像できるように設置され、撮影によって得られた撮影画像を物体検出装置１３に出力する。

【0013】

３次元センサ１２は、例えばLiDAR（Laser Imaging Detection and Ranging）センサ、３次元ミリ波センサなど、物体の３次元空間における位置を検出するセンサである。３次元空間を規定する空間座標系は、鉄道車両の範囲内の所定位置（例えば３次元センサ１２の設置位置）を原点とする直交３次元座標系、又は極座標系である。３次元センサ１２は、ビデオカメラ１１の撮像範囲を含む検出範囲を走査可能となるように鉄道車両に設置され、検出範囲の走査によって得られた検出信号を物体検出装置１３に出力する。

【0014】

３次元センサ１２は、レーザ光源、走査ユニット、受光素子、および検出回路を備える。
レーザ光源は、例えば一方向に列状に並んだ複数のレーザ発光部を備え、それぞれのレーザ発光部からパルス状のレーザ光を出射する。

【0015】

走査ユニットは、各レーザ光を走査するユニットである。走査ユニットは、光学素子と、走査アクチュエータと、を備える。光学素子は、所定の照射方向に各レーザ光を向ける反射鏡などの素子である。走査アクチュエータは、各レーザ光の配列方向と直交する方向に光学素子を所定の走査速度で正逆回転させる装置である。３次元センサ１２は、各レーザ光の並び方向、及び走査方向を、鉄道車両の高さ方向、及び当該高さ方向に直交する方向（車幅方向）にそれぞれ合わせた姿勢で鉄道車両に設置される。

【0016】

受光素子は、各レーザ光のパルスが物体によって反射されて返ってくる反射光を受光する素子である。検出回路は、受光素子による反射光の受光結果に基づいて、各レーザ光が反射された物体の表面上の反射点の位置を検出し、点群データとして物体検出装置１３に出力する。

【0017】

点群データは、鉄道車両を基準とした空間座標における各反射点の方向、及び、各反射点の距離に係る情報を含むデータである。検出回路は、反射点の方向を、当該反射光の受光方向（すなわち当該反射光の元となったレーザ光の照射方向）に基づいて求める。また検出回路は、反射点の距離を、レーザ光の照射から反射光を受光するまでの時間に基づいて求める。これら反射点の方向、及び距離によって、空間座標における反射点の位置（座標点）が一意に特定される。

【0018】

物体検出装置１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサ、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリデバイス（主記憶装置とも呼ばれる）、ＨＤＤ（hard disk drive）やＳＳＤ（Solid State Drive）などのストレージ装置（補助記憶装置とも呼ばれる）、及びセンサ類や周辺機器などを接続するためのインターフェース回路を備えたコンピュータを備える。物体検出装置１３において、メモリデバイス又はストレージ装置に記憶されているコンピュータプログラムをプロセッサが実行することで、物体を検出するための各種の機能的構成が実現される。

【0019】

物体検出装置１３は、画像入力部２１、点群データ入力部２２、物体検出部２３、及び出力制御部２４を備える。画像入力部２１は、ビデオカメラ１１から撮影画像を取得し、物体検出部２３に出力する。点群データ入力部２２は、３次元センサ１２から点群データを取得し、物体検出部２３に出力する。

【0020】

物体検出部２３は、ビデオカメラ１１からの撮影画像、及び、３次元センサ１２から点群データに基づいて物体を検出し、検出結果を、出力制御部２４を介して外部の装置に出力する。具体的には、物体検出部２３は、記憶部３１に記憶されている、予め物体を機械学習によって学習したデータ（以下、学習済データと称する）を用いて、物体検出範囲に物体が存在する確率（以下、物体存在確率と称する）とその物体の所定の分類である確率（以下、物体分類確率と称する）を算出する。物体検出部２３は、物体存在確率、あるいは物体存在確率と物体分類確率の積が通常時判定基準値より大きい場合、その検出範囲には物体が存在し、その物体は物体分類確率の最も高い分類（例えば、人、車、信号機）であるとする。以下、この処理を、ＡＩ（artificial intelligence）物体検出処理と称する。物体検出部２３は、鉄道車両が夜間走行する際など、周辺の照度が低く、ＡＩ物体検出処理では背景と物体の見分けがつきにくい場合、後述するように、物体検出範囲の点群の占有率（以下、点群占有率と称する）を物体存在確率として利用し、物体検出を行う。以下、この処理を、低照度時物体検出処理と称する。

【0021】

なお、物体検出部２３は、機械学習を用いずに障害物を検出してもよい。例えば物体検出部２３は、公知、又は周知の画像認識手法を用いて撮影画像に基づいて物体存在確率と物体分類確率を算出することもできる。

【0022】

物体検出部２３の低照度時物体検出処理を、図２のフローチャートを参照して説明する。

【0023】

ステップＳ１において、物体検出装置１３の物体検出部２３は、画像入力部２１を介して入力されたビデオカメラ１１の撮影画像に基づいて物体存在確率および物体分類確率を算出する。図３は、物体存在確率および物体分類確率の算出処理のイメージを示す図である。図３（Ａ）に示す画像が入力されると、物体検出部２３は、図３（Ｂ）に示すように、画像中に様々なサイズの物体検出範囲（図中、四角形の枠）を均等あるいはランダムに設定し、各物体検出範囲に対して物体存在確率と物体分類確率を算出する。

【0024】

次にステップＳ２において、物体検出部２３は、点群データ入力部２２を介して入力された点群データを利用して、算出した物体存在確率の置き換えを行う。この処理の詳細は後述する。

【0025】

ステップＳ３において、物体検出部２３は、各物体検出範囲に対して物体存在確率と物体分類確率に基づく物体検出結果を出力する。通常時判定基準値以上の物体存在確率、あるいは物体存在確率と物体分類確率の積を有する物体検出範囲が存在する場合、物体検出部２３は、その物体検出範囲に物体が存在し、その物体は、物体検出範囲の物体分類確率が最も高い分類（例えば、人）の物体が存在する旨を、検出結果として出力する。

【0026】

図４は、図２のステップＳ２の詳細を示すフローチャートである。物体検出範囲毎に以下の処理が行われる。

【0027】

ステップＳ１１において、物体検出部２３は、物体分類確率に基づいて、物体検出範囲に存在すると推定される物体を分類する。物体検出範囲において、複数のカテゴリにその確率が付与される（例えば、人＝０．９９、信号機＝０．０１、犬＝０等）ことから、その中で最もその確率が高い分類が、物体検出範囲に存在すると推定される物体の分類として特定される。

【0028】

ステップＳ１２において、物体検出部２３は、ステップＳ１１での物体の分類に応じて、物体検出範囲の大きさで物体検出範囲を分類する。例えば、物体の分類が「人」である場合、大きさが50px×100px以上の物体検出範囲を物体検出範囲（大）に、大きさが30px×60px～50px×100pxの物体検出範囲を、物体検出範囲（中）に、そして大きさが30px×60pxより小さい物体検出範囲を物体検出範囲（小）にそれぞれ分類される。また物体の分類が「トラック」である場合、大きさが260px×120px以上の物体検出範囲を物体検出範囲（大）に、大きさが160px×75px～260px×120pxの物体検出範囲を、物体検出範囲（中）に、そして大きさが160px×75pxより小さい物体検出範囲を物体検出範囲（小）にそれぞれ分類される。

【0029】

図５は、物体検出範囲の分類結果のイメージを示す図である。図中、二点鎖線の物体検出範囲は物体検出範囲（大）に、一点鎖線の物体検出範囲は物体検出範囲（中）に、そして実線の物体検出範囲は物体検出範囲（小）に、それぞれ分類される。なお図５における二点鎖線、一点鎖線等は、物体検出範囲の分類を示すために図示したものである。

【0030】

図４に戻りステップＳ１３において、物体検出部２３は、ステップＳ１３での物体検出範囲の分類に応じて、物体検出範囲に点群を割り当てる。物体の分類が「人」である場合、例えば、物体検出範囲（大）と分類された物体検出範囲には３次元センサ１２からの距離（以下、奥行と称する）が100m未満の点群が、物体検出範囲（中）と分類された物体検出範囲には奥行が100m以上200m未満の点群が、物体検出範囲（小）と分類された物体検出範囲には奥行200m以上の点群がそれぞれ割り当てられる。

【0031】

図６は、物体検出範囲への点群割り当て処理のイメージを示す図である。図６は、物体の分類が「人」である場合の例であり、物体検出範囲（大）に分類された物体検出範Ｗ１に、奥行が50mmの点群Ｇ１が割り当てられ、物体検出範囲（中）に分類された物体検出範囲Ｗ２に、奥行が150mmの点群Ｇ２が割り当てられ、そして物体検出範囲（小）に分類された物体検出範Ｗ３に、奥行が250mmの点群Ｇ３が割り当てられている。

【0032】

なお点群Ｇ２の一部は、物体検出範囲Ｗ２と物体検出範囲Ｗ４の両方の領域に存在する。この例の場合、点群Ｇ２の奥行が150mmであるので、点群Ｇ２は物体検出範囲（中）に分類される物体検出範囲Ｗ２に割り当てられる。すなわち点群の一部が複数の物体検出範囲に存在する場合、点群の距離に対応した物体検出範囲に割り当てられる。

【0033】

図４に戻りステップＳ１４において、物体検出部２３は、物体検出範囲に割り当てた点群の物体検出範囲の点群占有率を算出する。具体的には、点群のドット数／物体検出範囲内の画素数が、点群占有率として算出される。

【0034】

次に、ステップＳ１５において、物体検出部２３は、物体検出範囲の物体存在確率と、割り当てられた点群の点群占有率を比較し、点群占有率が物体存在確率より大きいか否かを判定し、点群占有率が物体存在確率より大きいと判合した場合、ステップＳ１６において、点群占有率を物体検出範囲の物体存在確率に置き換える。

【0035】

ステップＳ１６で、点群占有率が物体検出範囲の物体存在確率に置き換えられ場合、またはステップＳ１５で、点群占有率が物体存在確率より大きくないと判定されたとき場合、処理は、図２のステップＳ３に戻る。ステップＳ３において、物体検出部２３は、通常時判定基準値以上の物体存在確率を有する物体検出範囲が存在する場合、“その物体検出範囲に物体が存在し、その物体は、物体検出範囲の物体分類確率が最も高い分類（例えば、人）の物体が存在する旨”を、検出結果として出力する。

【0036】

（効果）
ビデオカメラ１１の撮像結果得られた撮像画像から、物体検出範囲毎に、物体存在確率と物体分類確率を算出し、物体存在確率あるいは物体存在確率と物体分類確率の積が所定の値以上である場合、物体検出範囲には、物体分類確率が最も高い分類の物体が存在するとする物体検出部２３と、ビデオカメラ１１の撮像範囲を含む検出範囲とし、検出範囲に存在する物体の少なくとも奥行き方向の距離の情報を含む点群データを生成する３次元センサ１２とを備え、物体検出部２３は、物体検出範囲に、点群データに基づく点群を割り当てる割り当て（図４のステップＳ１３，図６）、物体検出範囲の物体存在確率と、割り当てられた点群の物体検出範囲の点群占有率を比較し、点群占有率が物体存在確率データより大きい場合は、点群占有率を物体検出範囲の物体存在確率とする（ステップＳ１６）を有する。
したがって例えば夕方になり照度が低くなると、ＡＩ物体検出処理では物体が存在するにもかかわらず物体存在確率が通常時判定基準値より小さくなり、物体が検出されないことがある。しかしながら、まわりの照度に影響されない３次元センサ１２による点群を物体検出範囲に割り当て、点群占有率が物体存在確率より大きい場合は、点群占有率を物体検出範囲の物体存在確率とするようにしたので、より正確な物体存在確率を設定することができ、その結果物体を適切に検出することができる。

【0037】

物体検出部２３は、物体の分類に応じて、物体検出範囲の大きさで物体検出範囲を分類するとともに（ステップＳ１２）、大きい物体検出範囲には３次元センサ１２からの距離が近い点群を割り当て、小さい物体検出範囲には３次元センサ１２からの距離が遠い点群を割り当てる（ステップＳ１３）。
すなわち、３次元センサ１２からの距離の大きさに対応した物体検出範囲への点群の割り当てがなされる。したがって、点群の奥行に応じて物体検出範囲に点群を割り当てることができる。誤検知、過検知を防止できる効果が見込まれる。

【0038】

また近くの小さい物体（例えば人）と遠くの大きい物体（例えばトラック）の物体検出範囲の大きさは同程度になるため、物体検出範囲に対して予測された物体の分類をもとに行うようにしたので、より正確に物体検出範囲への点群の割り当てを行うことができる。

【符号の説明】

【0039】

１１・・・ビデオカメラ
１２・・・３次元センサ
１３・・・物体検出装置
２１・・・画像入力部
２２・・・点群データ入力部
２３・・・物体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】