特開 2025-18512 識別システム、識別方法および作業車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025018512

(43)【公開日】2025-02-06

(54)【発明の名称】識別システム、識別方法および作業車両

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250130BHJP

   G06T 7/70 20170101ALI20250130BHJP

   B66F 9/24 20060101ALI20250130BHJP

【ＦＩ】

G06T7/00 C

G06T7/70 Z

B66F9/24 L

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023122271

(22)【出願日】2023-07-27

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】岩永 圭弘

【テーマコード（参考）】

3F333

5L096

【Ｆターム（参考）】

3F333AA01

3F333FD11

3F333FE04

3F333FE05

5L096AA06

5L096BA08

5L096CA02

5L096CA18

5L096DA02

5L096EA35

5L096EA43

5L096FA66

5L096FA67

5L096FA69

5L096HA09

(57)【要約】

【課題】計算負荷を抑えて、カメラによって撮影した撮影画像から対象を識別可能な識別システム、識別方法および作業車両を提供すること。
【解決手段】識別システム１は、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出する３次元センサ１１と、作業車両に取り付けられ、作業車両の周辺を撮影するカメラ１２と、コントローラ２０と、を備える。コントローラ２０は、３次元センサ１１から物体検出データである点群データ、および、カメラ１２が撮影した撮影画像の画像データを取得し、点群データに基づいて対象を識別し、点群データに基づく識別結果を用いて撮影画像を変換し、変換画像に基づいて対象を識別する。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業車両の周辺に存在する物体から対象を識別するための識別システムであって、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサと、
前記作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラと、
コントローラと、
を備え、
前記コントローラは、
前記物体検出センサから物体検出データである点群データ、および、前記カメラが撮影した撮影画像の画像データを取得し、
前記点群データに基づいて対象を識別し、
前記点群データに基づく識別結果を用いて前記撮影画像を変換し、
変換画像に基づいて前記対象を識別する、
識別システム。

【請求項2】

前記変換画像は、前記点群データに基づく識別結果を用いて前記撮影画像を所定方向から見たように視点変換した画像である、
請求項１に記載の識別システム。

【請求項3】

前記コントローラは、
前記点群データに基づいて識別された対象の位置及び姿勢と、前記物体検出センサと前記カメラとの相対的な位置関係とに基づいて、前記撮影画像を視点変換する、
請求項２に記載の識別システム。

【請求項4】

前記所定方向は、作業車両が対象に対して作業を行う際の正面から見た方向である、
請求項２または３に記載の識別システム。

【請求項5】

前記コントローラは、
前記点群データから対象の外形の少なくとも一部を構成する平面を推定し、
推定した前記平面上に位置する点群を抽出して二値画像を生成し、
前記二値画像から前記対象を識別し、
推定した前記平面上に位置する複数の点を前記撮影画像に投影し、
前記撮影画像に投影した前記複数の点を基準にして視点変換を行う、
請求項２または３に記載の識別システム。

【請求項6】

前記コントローラは、
前記点群データに基づいて識別した前記対象と、前記変換画像に基づいて識別した前記対象との整合性を確認する、
請求項１に記載の識別システム。

【請求項7】

作業車両の周辺に存在する物体から対象を識別するための識別方法であって、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサから、物体検出データである点群データを取得し、
前記作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラから、撮影画像の画像データを取得し、
前記点群データに基づいて対象を識別し、
前記点群データに基づく識別結果を用いて前記撮影画像を変換し、
変換画像に基づいて前記対象を識別する、
識別方法。

【請求項8】

作業車両であって、
車体と、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサと、
前記作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラと、
コントローラと、
を備え、
前記コントローラは、
前記物体検出センサから物体検出データである点群データ、および、前記カメラが撮影した撮影画像の画像データを取得し、
前記点群データに基づいて対象を識別し、
前記点群データに基づく識別結果を用いて前記撮影画像を変換し、
変換画像に基づいて前記対象を識別する、
作業車両。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、識別システム、識別方法および作業車両に関する。

【背景技術】

【0002】

例えば、ダンプトラック、ホイールローダ、ショベル、フォークリフトなどの作業車両により正確な作業を行うためには、作業車両による作業対象の識別性能を向上させる必要がある。特許文献１に開示されているような、対象であるパレットまでの距離を検出するレーザセンサと、レーザセンサの検出データに基づいて、パレットの前面の平面方程式を算出する平面方程式算出部と、平面方程式算出部により算出されたパレットの前面の平面方程式を用いて、パレットの位置及び姿勢を推定する推定演算部とを備え、推定演算部は、パレットの姿勢としてパレットのヨー角、ピッチ角及びロール角を計算する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－４２０７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、ダンプトラック、ホイールローダ、ショベル、フォークリフトなどの作業車両による作業対象の位置及び姿勢を高精度に推定するためには、測距精度の高いＬｉＤＡＲのような３次元センサを用いて対象を識別することが有効である。ところが、３次元センサの測定データである点群では、例えば、対象の色情報がないこと、または、分解能が低いことなどが原因となり、対象を誤って識別することがある。識別性能を高めるためには、カメラによって撮影した撮影画像を用いることが有効であるが、計算負荷が高くなるおそれがある。

【0005】

本開示の態様は、計算負荷を抑えて、カメラによって撮影した撮影画像から対象を識別可能な識別システム、識別方法および作業車両を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の態様に従えば、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出するための物体検出センサと、作業車両に取り付けられ、作業車両の周辺を撮影するためのカメラと、コントローラと、を備える、作業車両の周辺に存在する物体から対象を識別するための識別システムが提供される。コントローラは、物体検出センサから物体検出データである点群データ、および、カメラが撮影した撮影画像の画像データを取得し、点群データに基づいて対象を識別し、点群データに基づく識別結果を用いて撮影画像を変換し、変換画像に基づいて対象を識別する。

【0007】

本開示の態様に従えば、作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出するための物体検出センサから、物体検出データである点群データを取得するステップと、作業車両に取り付けられ、前記作業車両の周辺を撮影するためのカメラから、撮影画像の画像データを取得するステップと、点群データに基づいて対象を識別するステップと、前記点群データに基づく識別結果を用いて前記撮影画像を変換するステップと、変換画像に基づいて前記対象を識別するステップと、を備える、作業車両の周辺に存在する物体から対象を識別するための識別方法が提供される。

【0008】

本開示の態様に従えば、車体と、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出する物体検出センサと、作業車両に取り付けられ、作業車両の周辺を撮影するカメラと、コントローラと、を備える、作業車両が提供される。コントローラは、物体検出センサから物体検出データである点群データ、および、カメラが撮影した撮影画像の画像データを取得し、点群データに基づいて対象を識別し、点群データに基づく識別結果を用いて撮影画像を変換し、変換画像に基づいて対象を識別する。

【発明の効果】

【0009】

本開示の態様によれば、計算負荷を抑えて、カメラによって撮影した撮影画像から対象を識別可能な識別システム、識別方法および作業車両が提供される。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る作業車両を示す側面図である。

【図2】図２は、実施形態に係る識別システムを示す機能ブロック図である。

【図3】図３は、実施形態に係るコンピュータシステムを示すブロック図である。

【図4】図４は、実施形態に係る作業車両の動作を示す模式図である。

【図5】図５は、対象を示す点群の一例を示す図である。

【図6】図６は、対象の識別処理の一例を説明する模式図である。

【図7】図７は、対象の二値画像の一例を示す図である。

【図8】図８は、対象の特徴パターンの一例を示す図である。

【図9】図９は、３次元センサ、カメラおよび対象の位置関係を示す模式図である。

【図10】図１０は、対象を撮影した撮影画像の一例を説明する図である。

【図11】図１１は、図１０に示す撮影画像を視点変換した変換画像の一例を説明する図である。

【図12】図１２は、点群による対象の識別方法の処理の一例を示すフローチャートである。

【図13】図１３は、実施形態に係る対象の識別方法の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0012】

［実施形態］
＜作業車両＞
作業車両は、作業現場において、作業車両の周辺に存在する物体から対象を識別する。実施形態においては、作業車両は、例えば、ホイールローダやフォークリフトなどである。

【0013】

図１は、実施形態に係る作業車両を示す側面図である。実施形態では、作業車両１００は、ホイールローダである。作業車両１００は、運転者の運転操作によって稼働する有人車両でもよいし、無人で稼働する無人車両でもよい。ホイールローダ１００は、作業機１１０によって取り上げた運搬物を積み込む積込作業を行う。

【0014】

実施形態では、ホイールローダ１００が識別する対象は、ダンプトラックである。対象は、ダンプトラックには限定されず、運搬物であってもよい。運搬物は、例えば、パレット、スキッド、または、コンテナである。運搬物は、一対のフォーク挿し込み穴を有する。

【0015】

以下の説明においては、上下方向、車幅方向、及び前後方向という用語を用いて各部の位置関係について説明する。上下方向とは、地面ＲＳと接触するタイヤ１０６の接地面と直交する方向をいう。車幅方向とは、車輪１０５の回転軸と平行な方向をいう。前後方向とは、上下方向及び車幅方向と直交する方向をいう。

【0016】

「上」とは、上下方向の一方向をいい、タイヤ１０６の接地面を基準として運転室１０３Ｒが存在する方向をいう。「下」とは、上下方向において「上」の反対方向をいう。「左」とは、車幅方向の一方向をいう。「右」とは、車幅方向において「左」の反対方向をいう。「前」とは、前後方向の一方向をいい、運転室１０３Ｒを基準として作業機１１０が存在する方向をいう。「後」とは、前後方向において「前」の反対方向をいう。

【0017】

図１に示すように、ホイールローダ１００は、車体１０２と、走行装置１０４と、作業機１１０とを備える。

【0018】

車体１０２は、車体前部１０２Ｆと、車体前部１０２Ｆよりも後方に配置される車体後部１０２Ｒとを含む。車体前部１０２Ｆと車体後部１０２Ｒとは、関節機構１０９を介して屈曲可能に連結される。

【0019】

走行装置１０４は、車体１０２を支持して地面ＲＳを走行する。走行装置１０４は、動力源１０４Ａと、操舵装置１０４Ｂと、車輪１０６と、動力伝達装置１０８とを有する。

【0020】

動力源１０４Ａは、ホイールローダ１００を駆動するための動力を発生する。動力源１０４Ａは、例えば、電動モータである。

【0021】

操舵装置１０４Ｂは、ホイールローダ１００を操舵するために、関節機構１０９に設けられる。操舵装置１０４Ｂが作動することにより、車体後部１０２Ｒに対して車体前部１０２Ｆが屈曲する。車体後部１０２Ｒに対して車体前部１０２Ｆが屈曲することにより、ホイールローダ１００の走行方向が調整される。操舵装置１０４Ｂは、例えば、油圧シリンダである。

【0022】

車輪１０６は、車体前部１０２Ｆに回転可能に支持される２つの前輪１０６Ｆと、車体後部１０２Ｒに回転可能に支持される２つの後輪１０６Ｒとを含む。

【0023】

実施形態において、左右方向は、ホイールローダ１００が直進状態で走行するときの前輪１０６Ｆ及び後輪１０６Ｒの回転軸に平行な方向である。上下方向は、前輪１０６Ｆ及び後輪１０６Ｒの接地面に直交する方向である。前後方向は、左右方向及び上下方向のそれぞれに直交する方向である。

【0024】

動力伝達装置１０８は、動力源１０４Ａの駆動力を車輪１０６に伝達する。動力伝達装置１０８は、動力源１０４Ａからの出力を変更させることにより、ホイールローダ１００は加速又は減速する。動力伝達装置１０８は、車輪１０６の回転方向を切り換えることにより、ホイールローダ１００は前進又は後進する。

【0025】

作業機１１０は、車体前部１０２Ｆに支持される。作業機１１０の少なくとも一部は、車体前部１０２Ｆよりも前方に配置される。作業機１１０は、ブーム１１１と、バケット１１２と、ベルクランク１１３と、リンク１１４と、ブームシリンダ１１５と、バケットシリンダ１１６とを有する。

【0026】

ブーム１１１は、車体前部１０２Ｆに回動可能に連結される。ベルクランク１１３は、リンク１１４を介してバケット１１２に連結される。バケット１１２は、ブーム１１１の先端部に回動可能に連結される。バケット１１２は、刃先を含む先端部１１２Ｂを有する作業部材である。バケット１１２は、前タイヤ１０６Ｆよりも前方に配置される。

【0027】

ブームシリンダ１１５は、ブーム１１１を作動させる動力を発生する油圧シリンダである。ブームシリンダ１１５が伸縮することにより、ブーム１１１は上げ動作又は下げ動作する。

【0028】

バケットシリンダ１１６は、バケット１１２を作動させる動力を発生する油圧シリンダである。バケットシリンダ１１６が伸縮することにより、バケット１１２はダンプ動作又はチルト動作する。バケット１１２がチルト動作することにより、バケット１１２は掘削物をすくい取る。バケット１１２がダンプ動作することにより、バケット１１２に保持されている掘削物がバケット１１２から排出される。

【0029】

＜作業車両の識別システム＞
図２は、第１実施形態に係る識別システムを示す機能ブロック図である。ホイールローダ１００の識別システム１は、３次元センサ（物体検出センサ）１１、カメラ１２と、出力部１９、及びコントローラ２０を備える。３次元センサ１１、カメラ１２、出力部１９及びコントローラ２０は、無線又は有線によりデータを通信可能に接続されている。

【0030】

実施形態では、３次元センサ１１及びカメラ１２は、１組としてホイールローダ１００に取り付けられている。３次元センサ５１及びカメラ５２の数は特に限定されるものではなく、例えば、ホイールローダ１００に複数の３次元センサ１１及びカメラ１２が配置されていてもよい。

【0031】

３次元センサ１１は、ホイールローダ１００に取り付けられている。実施形態では、３次元センサ１１は、ホイールローダ１００の前部に取り付けられている。３次元センサ１１の数は特に限定されるものではなく、例えば、ホイールローダ１００に複数の３次元センサ１１が配置されていてもよい。３次元センサ１１は、ホイールローダ１００の周辺に存在する物体を検出する物体検出センサである。実施形態では、３次元センサ１１は、ホイールローダ１００の前方に存在する物体を検出する物体検出センサである。３次元センサ１１は、例えば、数１０［ｍ］程度の範囲を検出可能である。３次元センサ１１は、検出した物体検出データをコントローラ２０へ送信する。

【0032】

３次元センサ１１は、物体の３次元データを取得する。物体の３次元データは、物体の表面に規定される複数の検出点からなる点群を含む。点群は、３次元センサ１１と物体の表面に規定される複数の検出点のそれぞれとの相対距離及び相対位置を示す。３次元センサ１１として、レーザ光を射出することにより物体を検出するレーザセンサ（ＬｉＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元センサ１１は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）などの他の非接触センサでもよい。

【0033】

カメラ１２は、ホイールローダ１００に取り付けられている。カメラ１２は、ホイールローダ１００の周辺の画像を撮像可能である。実施形態では、カメラ１２は、ホイールローダ１００の前方に存在する物体を撮影するカメラである。カメラ１２は、例えば、数１０［ｍ］程度の範囲を撮像可能である。カメラ１２は、対象を撮影可能な位置に配置されている。カメラ１２は、撮像した撮影画像の画像データをコントローラ２０へ送信する。

【0034】

出力部１９は、識別結果を出力する。出力部１９は、例えば、モニタ、ランプ、ブザーなどである。出力部１９は、出力制御部２９の制御によって識別結果を出力する。

【0035】

＜コントローラ＞
コントローラ２０は、ホイールローダ１００の周辺の物体を識別する。コントローラ２０は、物体検出センサとしての３次元センサ１１から物体検出データである点群データ、および、カメラ１２が撮影した撮影画像の画像データを取得可能である。コントローラ２０は、ＣＰＵ（Central Processing Unit）のような数値演算装置（プロセッサ）を含む。

【0036】

図３は、第１実施形態に係るコンピュータシステムを示すブロック図である。コントローラ２０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵのようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のコントローラ２０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0037】

実施形態では、コントローラ２０は、点群識別部２１と、画像処理部２２と、出力制御部２９とを備える。

【0038】

点群識別部２１は、３次元センサ１１から物体検出データを取得する。点群識別部２１は、物体検出データに基づいて対象を識別する。点群識別部２１は、物体検出データから、対象の位置及び姿勢を識別する。なお、点群識別部２１における識別する方法は限定されない。

【0039】

点群識別部２１における識別方法の一例について説明する。点群識別部２１は、３次元センサ１１の物体検出データである点群データに基づいて対象を識別する。より詳しくは、点群識別部２１は、取得した点群データから対象の外形の少なくとも一部を構成する平面を推定する。点群識別部２１は、点群データを投影面に投影し、投影面上において点群密度が高い部分を３次元に復元して対象の平面を推定する。そして、点群識別部２１は、推定した平面上に位置する点群を抽出して二値画像を生成する。そして、点群識別部２１は、生成した二値画像の中から、あらかじめ記憶された対象の外形のなかで平面部分の形状を示す特徴パターンの二値画像と似ている形状を検出して、対象を識別する。

【0040】

点群識別部２１のより詳しい構成の一例について説明する。点群識別部２１は、センサデータ取得部２１１と、記憶部２１２と、識別部２２３とを備える。

【0041】

センサデータ取得部２１１は、３次元センサ１１から物体検出データを取得する。センサデータ取得部２１１が取得した物体検出データは、例えば、複数の検出点からなる点群である。以下、物体検出データを点群データという。

【0042】

記憶部２１２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及びハードディスクドライブの少なくとも一つを含む。記憶部２１２は、コントローラ２０の処理で使用するデータ等を記憶する。

【0043】

記憶部２１２は、対象が存在すると推測される範囲である探索範囲を記憶する。記憶部２１２は、対象を識別するための対象の特徴パターンを記憶する。

【0044】

探索範囲は、物体検出データである点群データから対象を識別する処理に用いる平面抽出用点群を抽出する範囲である。点群データは、３次元センサ１１の測定距離及び視野角の点群を含む。

【0045】

対象の特徴パターンは、対象の外形のなかで平面部分の形状を示す画像である。本実施形態では、特徴パターンは、ダンプトラックのベッセルの側面の二値画像である。

【0046】

識別部２２３は、３次元センサ１１の物体検出データから対象を識別する。より詳しくは、識別部２２３は、センサデータ取得部２１１が取得した点群データから対象の外形の少なくとも一部を構成する平面を推定し、推定した平面上に位置する点群を抽出して二値画像を生成し、二値画像から対象を識別する。

【0047】

識別部２２３は、点群データを投影面に投影し、投影面上において点群密度が高い部分を３次元に復元して前記対象の平面を推定する。

【0048】

識別部２２３は、生成した二値画像の中から、あらかじめ記憶された対象の外形のなかで平面部分の形状を示す特徴パターンの二値画像と似ている形状を検出して、対象を識別する。

【0049】

図４は、第１実施形態に係る作業車両の動作を示す模式図である。ホイールローダ１００は、作業機１１０によって取り上げた運搬物を積み込むために、積込対象となるダンプトラック２００を識別する。ホイールローダ１００は、３次元センサ１１から取得した物体検出データに基づいて、ダンプトラック２００のベッセルＢＥを識別する。

【0050】

図５ないし図８を用いて、識別部２２３による対象の識別処理について説明する。図５は、対象を示す点群の一例を示す図である。図６は、対象の識別処理の一例を説明する模式図である。図７は、対象の二値画像の一例を示す図である。図８は、対象の特徴パターンの一例を示す図である。点群は、図５に示すように、物体の表面に規定される複数の検出点で構成されている。まず、識別部２２３は、図６に示すように、点群データから対象を構成する平面を推定する。図６（ａ１）に示すように、点群データから、探索範囲内の点群を抽出して、対象の点群を取得する。そして、図６（ａ２）に示すように、識別部２２３は、平面抽出用点群をｚ軸が地面平面と直交する座標系のｘｙ平面に射影する。図６（ａ３）は、ｘｙ平面に射影された点群を示す。ｘｙ平面上の破線で囲んだ点群は、ダンプトラックの破線で囲んだ、ｘｙ平面と直交する側面上の点群に対応する。ダンプトラックのｘｙ平面と直交する平面上にあった点群は、一本の線分上に集約されて高密度になる。そして、図６（ａ４）に示すように、識別部２２３は、ｘｙ平面上で点群密度が高くなっている破線で囲んだ部分を残して、元の３次元位置に変換する。このようにして、識別部２２３は、対象を構成する平面上の点群である平面上点群を抽出することにより、対象を構成する平面を推定する。この例では、平面上点群は、ベッセル側面上の点群である。

【0051】

図７に示すように、識別部２２３は、抽出した平面上点群をもとに、二値画像を生成する。識別部２２３は、推定した平面周辺の点群である平面周辺点群を二値画像生成用の点群としてクロップして、二値画像を生成する。識別部２２３は、生成した二値画像の中に、図８に示す、ベッセルの形状を示す特徴パターンと似ている形状を検出する。似ている形状が検索された場合、識別部２２３は、検出位置及び特徴パターンのベッセルの形状を基準にして、ダンプトラックの全体の形状を識別する。

【0052】

画像処理部２２は、カメラ１２が撮影した撮影画像から対象を識別する。より詳しくは、画像処理部２２は、点群データに基づく識別結果を用いて撮影画像を所定方向から見たように視点変換した変換画像に基づいて対象を識別する。画像処理部２２は、視点変換部２３と、特徴量抽出部２４と、画像分類部２５と、整合性確認部２６とを備える。

【0053】

実施形態では、視点変換部２３によって視点変換処理が実行される前に、３次元センサ１１とカメラ１２との相対的な位置関係がキャリブレーションされている。

【0054】

視点変換部２３は、カメラ１２が撮影した撮影画像を所定方向から見た変換画像に視点変換する。より詳しくは、視点変換部２３は、点群データに基づいて識別された対象の位置及び姿勢と、３次元センサ１１とカメラ１２との相対的な位置関係とに基づいて、撮影画像を視点変換する。

【0055】

所定方向とは、例えば、画像分類によって対象を分類しやすい方向である。所定方向とは、例えば、ホイールローダ１００が対象に対して作業を行う際に正面から見た方向である。所定方向とは、例えば、対象に対してホイールローダ１００が正対する方向である。対象がダンプトラックである場合、所定方向は、ダンプトラックの側面を正面から見た方向である。対象が運搬物である場合、所定方向は、ホイールローダ１００がフォーク挿し込み穴に正対する方向である。

【0056】

図９は、３次元センサ、カメラおよび対象の位置関係を示す模式図である。図９では、ダンプトラック２００が対象であるものとする。３次元センサ１１とカメラ１２とは取り付け位置が異なるため、３次元センサ１１の座標系とカメラ１２の座標系とは、ずれが生じる。ダンプトラック２００のベッセル側面の四隅の点を点Ｐ１、点Ｐ２、点Ｐ３及び点Ｐ４とする。点Ｐ１、点Ｐ２、点Ｐ３及び点Ｐ４の位置は、３次元センサ１１の座標系で表す場合と、カメラ１２の座標系で表す場合とで異なる。

【0057】

視点変換方法について詳しく説明する。まず、視点変換部２３は、点群識別部２１において推定した平面上に位置する４つ以上の点の位置を撮影画像に投影する。実施形態では、点群識別部２１は、推定した平面の四隅の位置を撮影画像に投影する。点群識別部２１は、対象が箱形状のパレットである場合、推定したパレットの１面の四隅の位置を撮影画像に投影する。点群識別部２１は、対象がダンプトラックである場合、推定したダンプトラックのベッセルの四隅の位置を撮影画像に投影する。

【0058】

そして、視点変換部２３は、撮影画像に投影した複数の点を基準にして視点変換を行う。実施形態では、視点変換部２３は、撮影画像に投影した複数の点によって外形が規定される形状を、所定方向から見た撮影画像に変換する。視点変換部２３は、例えば、複数の点によって規定される外形が、あらかじめ記憶部に記憶された正面視における形状となるように、視点変換を行う。視点変換部２３は、視点変換後の変換画像の変換画像データを特徴量抽出部２４へ出力する。

【0059】

図１０、図１１を用いて、ダンプトラック２００の画像を用いて視点変換について説明する。図１０は、対象を撮影した撮影画像の一例を説明する図である。図１１は、図１０に示す撮影画像を視点変換した変換画像の一例を説明する図である。図１０は、点群識別部２１が推定したダンプトラック２００のベッセル側面の四隅の点Ｐ１、点Ｐ２、点Ｐ３及び点Ｐ４を、撮影画像に投影した図である。図１１は、ベッセル側面の四隅の点Ｐ１、点Ｐ２、点Ｐ３及び点Ｐ４を、ベッセルに正対する方向であるダンプトラックの側方から見たように視点変換した変換画像である。

【0060】

特徴量抽出部２４は、視点変換後の変換画像から特徴量して抽出する。特徴量抽出部２４が抽出した特徴量の特徴量データを画像分類部２５に出力する。

【0061】

特徴量は、例えば、画像におけるエッジ（色の境界）を数値化したものである。

【0062】

画像分類部２５は、特徴量データを用いて、変換画像から対象の画像であるか否かを機械学習によって画像分類する。画像分類部２５は、特徴量抽出部２４が抽出した特徴量と、図示しない記憶部に記憶された機械学習モデルの学習済みパラメータとに基づいて、変換画像を画像分類する。

【0063】

変換画像に基づいて対象を識別する方法は上記に限定されない。対象の識別方法は、例えば、パターンマッチングを用いてもよい。

【0064】

整合性確認部２６は、対象の識別結果の整合性を確認する。整合性確認部２６は、点群データに基づいて識別された対象の整合性を確認する。整合性確認部２６は、点群識別部２１による識別結果と、画像分類部２５による分類結果である識別結果との整合性を確認する。整合性確認部２６は、点群データに基づいて識別した対象と、変換画像に基づいて識別した対象との整合性を確認する。整合性確認部２６は、点群識別部２１によって識別された対象が、画像分類部２５によって同じ対象として分類された場合、対象の識別結果に整合性があるとする。整合性確認部２６は、点群識別部２１によって識別された対象が、画像分類部２５によって同じ対象として分類されない場合、対象の識別結果に整合性がないとする。なお、整合性確認部２６は、点群識別部２１による識別結果と、画像分類部２５による分類結果である識別結果とが異なる場合、点群識別部２１による識別結果を優先してもよい。

【0065】

出力制御部２９は、点群識別部２１による識別結果を、出力部１９を介して出力するよう制御する。出力制御部２９は、例えば、対象が識別された場合、識別された対象を示す映像をモニタに表示させる映像信号を出力する。出力制御部２９は、例えば、対象が識別された場合、ランプを点灯させる制御信号を出力する。出力制御部２９は、例えば、対象が識別された場合、でブザーを鳴動させる制御信号を出力する。

【0066】

＜コントローラによる処理＞
ホイールローダ１００の起動中に、対象の識別処理が開始されると、図１２、図１３に示す処理が実行される。図１２は、点群による対象の識別方法の処理の一例を示すフローチャートである。図１２に示すフローチャートの処理は、点群による対象の識別処理である。なお、ステップＳＴ１９からステップＳＴ２１までの処理は、必須の処理ではない。

【0067】

コントローラ２０は、点群を取得する（ステップＳＴ１１）。より詳しくは、コントローラ２０は、センサデータ取得部２１１によって、３次元センサ１１から点群データを受信する。コントローラ２０は、ステップＳＴ１２へ進む。

【0068】

コントローラ２０は、平面抽出用点群をクロップする（ステップＳＴ１２）。より詳しくは、コントローラ２０は、識別部２２３によって、点群データから対象が存在すると推定される探索範囲に含まれる点群を平面抽出用点群として抽出する。コントローラ２０は、ステップＳＴ１３へ進む。

【0069】

コントローラ２０は、平面抽出用点群をダウンサンプルする（ステップＳＴ１３）。より詳しくは、コントローラ２０は、識別部２２３によって、点群データのダウンサンプリング手法の一例であるボクセルダウンサンプリングを用いて、平面抽出用点群をダウンサンプルする。コントローラ２０は、ステップＳＴ１４へ進む。

【0070】

コントローラ２０は、平面上点群を抽出し、平面を推定する（ステップＳＴ１４）。より詳しくは、コントローラ２０は、識別部２２３によって、ダウンサンプルされた平面抽出用点群から、ベッセル側面上の点群である平面上点群を抽出して、平面であるベッセル側面を推定する。コントローラ２０は、ステップＳＴ１５へ進む。

【0071】

コントローラ２０は、二値画像生成用の点群をクロップする。（ステップＳＴ１５）。より詳しくは、コントローラ２０は、識別部２２３によって、推定した平面周辺の点群である平面周辺点群を二値画像生成用の点群としてクロップする。コントローラ２０は、ステップＳＴ１６へ進む。

【0072】

コントローラ２０は、平面周辺点群の二値画像を生成する（ステップＳＴ１６）。より詳しくは、コントローラ２０は、識別部２２３によって、クロップした平面周辺点群をもとに、推定した平面の法線ベクトルがｘ軸の方向と一致する座標系のｙｚ平面で二値画像化する。ｙｚ平面は、推定した平面を含む平面である。コントローラ２０は、ステップＳＴ１７へ進む。

【0073】

コントローラ２０は、二値画像から対象の特徴を検出する（ステップＳＴ１７）。より詳しくは、コントローラ２０は、識別部２２３によって、二値画像の中に、特徴パターンと似ている形状を検出する。コントローラ２０は、ステップＳＴ１８へ進む。

【0074】

コントローラ２０は、３次元位置へ復元する（ステップＳＴ１８）。より詳しくは、コントローラ２０は、識別部２２３によって、二値画像中の検出位置及び特徴パターンのベッセルの形状を基準にして、ダンプトラックの全体の位置、姿勢及び形状を識別する。コントローラ２０は、ステップＳＴ１９へ進む。

【0075】

コントローラ２０は、センサの有効視野内か確認する（ステップＳＴ１９）。より詳しくは、コントローラ２０は、識別部２２３によって、ダンプトラックの全体の位置が、３次元センサ１１の有効視野内であるかを確認する。３次元センサ１１の視野の境界周辺は、識別性能が低下するため、識別性能が保証されることを確認するためである。

【0076】

コントローラ２０は、予測値との整合性を確認する（ステップＳＴ２０）。より詳しくは、コントローラ２０は、識別部２２３によって、前回の推定結果から予測される対象の予測位置と、今回推測した対象の位置とを比較して、差分が閾値以下であるかを確認する。

【0077】

コントローラ２０は、点群識別の分散、尤度を計算する（ステップＳＴ２１）。

【0078】

このようにして、コントローラ２０は、点群データから、対象であるダンプトラックのベッセルを識別する。

【0079】

上記の点群データに基づく対象の識別処理に続いて、図１３に示す処理が実行される。図１３は、実施形態に係る対象の識別方法の処理の一例を示すフローチャートである。図１３に示すフローチャートの処理は、学習済みパラメータを用いた画像分類による対象の識別処理である。なお、ステップＳＴ５５の処理は、必須の処理ではない。

【0080】

コントローラ２０は、点群に基づく識別結果を取得する（ステップＳＴ５１）。より詳しくは、コントローラ２０は、点群識別部２１によって、３次元センサ１１から物体検出データである、複数の検出点からなる点群データを取得して、点群データから対象を識別する。ステップＳＴ５１における処理を具体的に示したのが、上述した、図１１に示したフローチャートの処理である。コントローラ２０は、ステップＳＴ５２へ進む。

【0081】

コントローラ２０は、画像を視点変換する（ステップＳＴ５２）。より詳しくは、コントローラ２０は、視点変換部２３によって、カメラ１２が撮影した撮影画像を所定方向から見た撮影画像に視点変換する。コントローラ２０は、ステップＳＴ５３へ進む。

【0082】

コントローラ２０は、特徴量を抽出する（ステップＳＴ５３）。より詳しくは、コントローラ２０は、特徴量抽出部２４によって、視点変換後の変換画像から特徴量して抽出する。特徴量抽出部２４が抽出した特徴量の特徴量データを画像分類部２５に出力する。コントローラ２０は、ステップＳＴ５４へ進む。

【0083】

コントローラ２０は、画像を分類する（ステップＳＴ５４）。より詳しくは、コントローラ２０は、画像分類部２５によって、特徴量抽出部２４が抽出した特徴量と、図示しない記憶部に記憶された機械学習モデルの学習済みパラメータとに基づいて、変換画像を画像分類する。コントローラ２０は、ステップＳＴ５５へ進む。

【0084】

コントローラ２０は、整合性を確認する（ステップＳＴ５５）。より詳しくは、コントローラ２０は、整合性確認部２６によって、点群識別部２１による識別結果と、画像分類部２５による分類結果である識別結果との整合性を確認する。

【0085】

このようにして、計算負荷を抑えて、カメラ１２が撮影した撮影画像から対象が識別される。

【0086】

＜効果＞
以上説明したように、実施形態では、点群データに基づく識別結果を用いて撮影画像を視点変換し、視点変換した変換画像に基づいて対象を識別する。実施形態によれば、ディープラーニングのような計算負荷の高い処理を行わないことにより計算負荷を抑えて、カメラ１２によって撮影した撮影画像から対象を識別できる。

【0087】

実施形態では、視点変換した変換画像に基づいて対象を識別するので、高い精度で識別できる。

【0088】

実施形態では、点群データに基づいて識別された対象の位置及び姿勢と、３次元センサ１１とカメラ１２との相対的な位置関係とに基づいて、撮影画像を視点変換する。実施形態では、点群データに基づく識別結果を用いることにより、より適切に撮影画像を視点変換できる。

【0089】

実施形態では、ホイールローダ１００が対象に対して作業を行う際の正面から見た方向から見たように視点変換する。実施形態によれば、対象を識別しやすい方向から見たように視点変換した変換画像に基づいて対象を識別できる。実施形態は、高い精度で識別できる。

【0090】

実施形態では、点群データから推定された平面上に位置する複数の点を撮影画像に投影して、その複数の点を基準にして視点変換を行う。実施形態によれば、計算負荷を抑えて視点変換を行うことができる。

【符号の説明】

【0091】

１…識別システム、１１…３次元センサ（物体検出センサ）、１２…カメラ、１９…出力部、２０…コントローラ、２１…点群識別部、２１１…センサデータ取得部、２１２…記憶部、２１３…識別部、２２…画像処理部、２２１…視点変換部、２２２…特徴量抽出部、２２３…画像分類部、２２４…整合性確認部、２９…出力制御部、１００…ホイールローダ（作業車両）、１０２…車体、１０２Ｆ…車体前部、１０２Ｒ…車体後部、１０３…運転台、１０３Ｒ…運転室、１０４…走行装置、１０４Ａ…エンジン、１０４Ｂ…ブレーキ、１０４Ｃ…ステアリングシリンダ、１０５…車輪、１０５Ｆ…前輪、１０５Ｒ…後輪、１０６…タイヤ、１０６Ｆ…前タイヤ、１０６Ｒ…後タイヤ、１０７…変速機、１０８…パーキングブレーキ、１０９…関節機構、１１０…作業機、１１１…ブーム、１１２…バケット、１１２Ｂ…先端部、１１３…ベルクランク、１１４…リンク、１１５…ブームシリンダ、１１６…バケットシリンダ、０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】