特開 2025-18511 識別システム、識別方法および作業車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025018511

(43)【公開日】2025-02-06

(54)【発明の名称】識別システム、識別方法および作業車両

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250130BHJP

   G06V 10/74 20220101ALI20250130BHJP

   B66F 9/24 20060101ALI20250130BHJP

【ＦＩ】

G06T7/00 C

G06V10/74

G06T7/00 300D

B66F9/24 L

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023122270

(22)【出願日】2023-07-27

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】岩永 圭弘

【テーマコード（参考）】

3F333

5L096

【Ｆターム（参考）】

3F333AA02

3F333AB13

3F333AE02

3F333FA27

3F333FD11

3F333FE04

3F333FE05

5L096BA08

5L096CA18

5L096DA02

5L096EA03

5L096EA05

5L096EA35

5L096EA43

5L096FA66

5L096FA69

5L096GA08

5L096GA30

5L096GA51

5L096HA09

(57)【要約】

【課題】３次元データである点群データから対象を適切に識別可能な識別システム、識別方法および作業車両を提供すること。
【解決手段】識別システム１は、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出する３次元センサ１１と、コントローラ２０とを備える。コントローラ２０は、３次元センサ１１から物体検出データである点群データを取得し、点群データから対象の外形の少なくとも一部を構成する平面を推定し、推定した平面上に位置する点群を抽出して二値画像を生成し、二値画像から対象を識別する。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業車両の周辺に存在する物体から対象を識別するための識別システムであって、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出する物体検出センサと、
コントローラと、
を備え、
前記コントローラは、
前記物体検出センサから物体検出データである点群データを取得し、
前記点群データから対象の外形の少なくとも一部を構成する平面を推定し、
前記推定した平面上に位置する点群を抽出して二値画像を生成し、
前記二値画像から前記対象を識別する、
識別システム。

【請求項2】

前記コントローラは、
生成した前記二値画像の中から、あらかじめ記憶された前記対象の外形のなかで平面部分の形状を示す特徴パターンの二値画像と似ている形状を検出して、前記対象を識別する、
請求項１に記載の識別システム。

【請求項3】

前記対象は、ダンプトラックのベッセルであり、
前記平面は、前記ベッセルの側面であり、
前記特徴パターンは、前記ベッセルの側面の形状を示す、
請求項２に記載の識別システム。

【請求項4】

前記対象は、運搬物のフォーク挿し込み穴であり、
前記平面は、前記運搬物の前面であり、
前記特徴パターンは、前記フォーク挿し込み穴の形状を示し、
前記コントローラは、
前記運搬物の前面を通過した通過点群を、各点を前記物体検出センサと結んだ直線上であって、前記運搬物の前面との交点へ移動し、移動した前記通過点群から、前記通過点群の二値画像を生成する、
請求項２に記載の識別システム。

【請求項5】

作業車両の周辺に存在する物体から対象を識別するための識別方法であって、
前記作業車両に取り付けられ、前記作業車両の周辺に存在する物体を検出する物体検出センサから、物体検出データである点群データを取得し、
前記点群データから対象の外形の少なくとも一部を構成する平面を推定し、
前記推定した平面上に位置する点群を抽出して二値画像を生成し、
前記二値画像から前記対象を識別する、
識別方法。

【請求項6】

作業車両であって、
車体と、
前記車体に取り付けられ、前記作業車両の周辺に存在する物体を検出する物体検出センサと、
コントローラと、
を備え、
前記コントローラは、
前記物体検出センサから物体検出データである点群データを取得し、
前記点群データから対象の外形の少なくとも一部を構成する平面を推定し、
前記推定した平面上に位置する点群を抽出して二値画像を生成し、
前記二値画像から前記対象を識別する、
作業車両。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、識別システム、識別方法および作業車両に関する。

【背景技術】

【0002】

例えば、ダンプトラック、ホイールローダ、ショベル、フォークリフトなどの作業車両により正確な荷取り作業を行うためには、作業車両による作業対象の識別性能を向上させる必要がある。特許文献１に開示されているような、掘削対象物を掘削し、掘削物を積み込み対象に積み込む一連の処理を自動的に行う自動掘削機に関する技術が知られている。特許文献１に記載の技術では、ステレオカメラが撮影した画像を用いて、掘削機に対する積み込み対象の相対位置及び積み込み対象に対する掘削機の相対姿勢を演算する。特許文献２に開示されているような、３次元距離データから観測点群を抽出し、抽出された観測点群に荷役対象の前面を表す特徴が含まれている場合に、特徴を抽出して、荷役対象の位置、方向及び幅を特定する荷役車両に関する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０－０８８６２５号公報

【特許文献2】特開２０１６－２１０５８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像を用いて対象の識別処理を行う場合、画像の撮影時の明るさなどの撮影条件によっては、対象を識別しにくいことがある。３次元センサによって検出された物体の３次元データを用いて、対象の識別処理を行う場合、処理負荷が大きくなり、実時間での計算が困難になるおそれがある。

【0005】

本開示の態様は、３次元データである点群データから対象を適切に識別可能な識別システム、識別方法および作業車両を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の態様に従えば、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出する物体検出センサと、コントローラとを備える、作業車両の周辺に存在する物体から対象を識別するための識別システムが提供される。コントローラは、物体検出センサから物体検出データである点群データを取得し、点群データから対象の外形の少なくとも一部を構成する平面を推定し、推定した平面上に位置する点群を抽出して二値画像を生成し、二値画像から対象を識別する。

【0007】

本開示の態様に従えば、作業車両に取り付けられ、作業車両の周辺に存在する物体を検出する物体検出センサから、物体検出データである点群データを取得するステップと、点群データから対象の外形の少なくとも一部を構成する平面を推定するステップと、推定した平面上に位置する点群を抽出して二値画像を生成するステップと、二値画像から対象を識別するするステップと、を備える、作業車両の周辺に存在する物体から対象を識別するための識別方法が提供される。

【0008】

本開示の態様に従えば、車体と、車体に取り付けられ、前記作業車両の周辺に存在する物体を検出する物体検出センサと、コントローラと、を備える、作業車両が提供される。コントローラは、物体検出センサから物体検出データである点群データを取得し、点群データから対象の外形の少なくとも一部を構成する平面を推定し、推定した平面上に位置する点群を抽出して二値画像を生成し、二値画像から対象を識別する。

【発明の効果】

【0009】

本開示の態様によれば、３次元データである点群データから対象を適切に識別可能な識別システムおよび作業車両が提供される。

【図面の簡単な説明】

【0010】

【図1】図１は、第１実施形態に係る作業車両を示す側面図である。

【図2】図２は、第１実施形態に係る識別システムを示す機能ブロック図である。

【図3】図３は、第１実施形態に係るコンピュータシステムを示すブロック図である。

【図4】図４は、第１実施形態に係る作業車両の動作を示す模式図である。

【図5】図５は、対象を示す点群の一例を示す図である。

【図6】図６は、対象の識別処理の一例を説明する模式図である。

【図7】図７は、対象の二値画像の一例を示す図である。

【図8】図８は、対象の特徴パターンの一例を示す図である。

【図9】図９は、第１実施形態に係る対象の識別方法の処理の一例を示すフローチャートである。

【図10】図１０は、第２実施形態に係る作業車両を示す斜視図である。

【図11】図１１は、第２実施形態に係る作業車両の動作を示す模式図である。

【図12】図１２は、対象の識別処理の他の例を説明する模式図であり、斜視図である。

【図13】図１３は、対象の識別処理の他の例を説明する模式図であり、平面図である。

【図14】図１４は、対象の識別処理の他の例を説明する図である。

【図15】図１５は、対象の二値画像の他の例を示す図である。

【図16】図１６は、対象の特徴パターンの一例を示す図である。

【図17】図１７は、第２実施形態に係る対象の識別方法の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0012】

［第１実施形態］
＜作業車両＞
作業車両は、作業現場において、作業車両の周辺に存在する物体から対象を識別する。作業車両は、例えば、ホイールローダやフォークリフトなどである。

【0013】

図１は、第１実施形態に係る作業車両を示す側面図である。本実施形態では、作業車両１００は、ホイールローダである。作業車両１００は、運転者の運転操作によって稼働する有人車両でもよいし、無人で稼働する無人車両でもよい。ホイールローダ１００は、作業機１１０によって取り上げた運搬物を積み込む積込作業を行う。

【0014】

本実施形態では、ホイールローダ１００が識別する対象は、ダンプトラックのベッセルである。

【0015】

図１に示すように、ホイールローダ１００は、車体１０２と、走行装置１０４と、作業機１１０とを備える。

【0016】

車体１０２は、車体前部１０２Ｆと、車体前部１０２Ｆよりも後方に配置される車体後部１０２Ｒとを含む。車体前部１０２Ｆと車体後部１０２Ｒとは、関節機構１０９を介して屈曲可能に連結される。

【0017】

走行装置１０４は、車体１０２を支持して地面ＲＳを走行する。走行装置１０４は、動力源１０４Ａと、操舵装置１０４Ｂと、車輪１０６と、動力伝達装置１０８とを有する。

【0018】

動力源１０４Ａは、ホイールローダ１００を駆動するための動力を発生する。動力源１０４Ａは、例えば、電動モータである。

【0019】

操舵装置１０４Ｂは、ホイールローダ１００を操舵するために、関節機構１０９に設けられる。操舵装置１０４Ｂが作動することにより、車体後部１０２Ｒに対して車体前部１０２Ｆが屈曲する。車体後部１０２Ｒに対して車体前部１０２Ｆが屈曲することにより、ホイールローダ１００の走行方向が調整される。操舵装置１０４Ｂは、例えば、油圧シリンダである。

【0020】

車輪１０６は、車体前部１０２Ｆに回転可能に支持される２つの前輪１０６Ｆと、車体後部１０２Ｒに回転可能に支持される２つの後輪１０６Ｒとを含む。

【0021】

実施形態において、左右方向は、ホイールローダ１００が直進状態で走行するときの前輪１０６Ｆ及び後輪１０６Ｒの回転軸に平行な方向である。上下方向は、前輪１０６Ｆ及び後輪１０６Ｒの接地面に直交する方向である。前後方向は、左右方向及び上下方向のそれぞれに直交する方向である。

【0022】

動力伝達装置１０８は、動力源１０４Ａの駆動力を車輪１０６に伝達する。動力伝達装置１０８は、動力源１０４Ａからの出力を変更させることにより、ホイールローダ１００は加速又は減速する。動力伝達装置１０８は、車輪１０６の回転方向を切り換えることにより、ホイールローダ１００は前進又は後進する。

【0023】

作業機１１０は、車体前部１０２Ｆに支持される。作業機１１０の少なくとも一部は、車体前部１０２Ｆよりも前方に配置される。作業機１１０は、ブーム１１１と、バケット１１２と、ベルクランク１１３と、リンク１１４と、ブームシリンダ１１５と、バケットシリンダ１１６とを有する。

【0024】

ブーム１１１は、車体前部１０２Ｆに回動可能に連結される。ベルクランク１１３は、リンク１１４を介してバケット１１２に連結される。バケット１１２は、ブーム１１１の先端部に回動可能に連結される。バケット１１２は、刃先を含む先端部１１２Ｂを有する作業部材である。バケット１１２は、前タイヤ１０６Ｆよりも前方に配置される。

【0025】

ブームシリンダ１１５は、ブーム１１１を作動させる動力を発生する油圧シリンダである。ブームシリンダ１１５が伸縮することにより、ブーム１１１は上げ動作又は下げ動作する。

【0026】

バケットシリンダ１１６は、バケット１１２を作動させる動力を発生する油圧シリンダである。バケットシリンダ１１６が伸縮することにより、バケット１１２はダンプ動作又はチルト動作する。バケット１１２がチルト動作することにより、バケット１１２は掘削物をすくい取る。バケット１１２がダンプ動作することにより、バケット１１２に保持されている掘削物がバケット１１２から排出される。

【0027】

＜作業車両の識別システム＞
図２は、第１実施形態に係る識別システムを示す機能ブロック図である。ホイールローダ１００の識別システム１は、３次元センサ（物体検出センサ）１１、出力部１９、及びコントローラ２０を備える。３次元センサ１１、出力部１９及びコントローラ２０は、無線又は有線によりデータを通信可能に接続されている。

【0028】

３次元センサ１１は、ホイールローダ１００に取り付けられている。実施形態では、３次元センサ１１は、ホイールローダ１００の前部に取り付けられている。３次元センサ１１の数は特に限定されるものではなく、例えば、ホイールローダ１００に複数の３次元センサ１１が配置されていてもよい。３次元センサ１１は、ホイールローダ１００の周辺に存在する物体を検出する物体検出センサである。実施形態では、３次元センサ１１は、ホイールローダ１００の前方に存在する物体を検出する物体検出センサである。３次元センサ１１は、例えば、数１０［ｍ］程度の範囲を検出可能である。３次元センサ１１は、検出した物体検出データをコントローラ２０へ送信する。

【0029】

３次元センサ１１は、物体の３次元データを取得する。物体の３次元データは、物体の表面に規定される複数の検出点からなる点群を含む。点群は、３次元センサ１１と物体の表面に規定される複数の検出点のそれぞれとの相対距離及び相対位置を示す。３次元センサ１１として、レーザ光を射出することにより物体を検出するレーザセンサ（ＬｉＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元センサ１１は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）などの他の非接触センサでもよい。

【0030】

出力部１９は、識別結果を出力する。出力部１９は、例えば、モニタ、ランプ、ブザーなどである。出力部１９は、出力制御部２９の制御によって識別結果を出力する。

【0031】

＜コントローラ＞
コントローラ２０は、ホイールローダ１００の周辺の物体を識別する。コントローラ２０は、物体検出センサとしての３次元センサ１１から物体検出データを取得可能である。コントローラ２０は、ＣＰＵ（Central Processing Unit）のような数値演算装置（プロセッサ）を含む。

【0032】

図３は、第１実施形態に係るコンピュータシステムを示すブロック図である。コントローラ２０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵのようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のコントローラ２０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0033】

実施形態では、コントローラ２０は、センサデータ取得部２１と、記憶部２２と、識別部２５と、出力制御部２９とを備える。

【0034】

センサデータ取得部２１は、３次元センサ１１から物体検出データを取得する。センサデータ取得部２１が取得した物体検出データは、例えば、複数の検出点からなる点群である。以下、物体検出データを点群データという。

【0035】

記憶部２２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及びハードディスクドライブの少なくとも一つを含む。記憶部２２は、コントローラ２０の処理で使用するデータ等を記憶する。

【0036】

記憶部２２は、対象が存在すると推測される範囲である探索範囲を記憶する。記憶部２２は、対象を識別するための対象の特徴パターンを記憶する。

【0037】

探索範囲は、物体検出データである点群データから対象を識別する処理に用いる平面抽出用点群を抽出する範囲である。点群データは、３次元センサ１１の測定距離及び視野角の点群を含む。

【0038】

対象の特徴パターンは、対象の外形のなかで平面部分の形状を示す画像である。本実施形態では、特徴パターンは、ダンプトラックのベッセルの側面の二値画像である。

【0039】

識別部２５は、３次元センサ１１の物体検出データから対象を識別する。より詳しくは、識別部２５は、センサデータ取得部２１が取得した点群データから対象の外形の少なくとも一部を構成する平面を推定し、推定した平面上に位置する点群を抽出して二値画像を生成し、二値画像から対象を識別する。

【0040】

識別部２５は、点群データを投影面に投影し、投影面上において点群密度が高い部分を３次元に復元して前記対象の平面を推定する。

【0041】

識別部２５は、生成した二値画像の中から、あらかじめ記憶された対象の外形のなかで平面部分の形状を示す特徴パターンの二値画像と似ている形状を検出して、対象を識別する。

【0042】

図４は、第１実施形態に係る作業車両の動作を示す模式図である。ホイールローダ１００は、作業機１１０によって取り上げた運搬物を積み込むために、積込対象となるダンプトラック２００を識別する。ホイールローダ１００は、３次元センサ１１から取得した物体検出データに基づいて、ダンプトラック２００のベッセルＢＥを識別する。

【0043】

図５ないし図８を用いて、識別部２５による対象の識別処理について説明する。図５は、対象を示す点群の一例を示す図である。図６は、対象の識別処理の一例を説明する模式図である。図７は、対象の二値画像の一例を示す図である。図８は、対象の特徴パターンの一例を示す図である。点群は、図５に示すように、物体の表面に規定される複数の検出点で構成されている。まず、識別部２５は、図６に示すように、点群データから対象を構成する平面を推定する。図６（ａ１）に示すように、識別部２５は、点群データから、探索範囲内の点群を抽出して、識別対象の点群を取得する。そして、図６（ａ２）に示すように、識別部２５は、平面抽出用点群をｚ軸が地面平面と直交する座標系のｘｙ平面に射影する。図６（ａ３）は、ｘｙ平面に射影された点群を示す。ｘｙ平面上の破線で囲んだ点群は、ダンプトラックの破線で囲んだ、ｘｙ平面と直交する側面上の点群に対応する。ダンプトラックのｘｙ平面と直交する平面上にあった点群は、一本の線分上に集約されて高密度になる。そして、図６（ａ４）に示すように、識別部２５は、ｘｙ平面上で点群密度が高くなっている破線で囲んだ部分を残して、元の３次元位置に変換する。このようにして、識別部２５は、対象を構成する平面上の点群である平面上点群を抽出することにより、対象を構成する平面を推定する。この例では、平面上点群は、ベッセル側面上の点群である。

【0044】

図７に示すように、識別部２５は、抽出した平面上点群をもとに、二値画像を生成する。識別部２５は、推定した平面周辺の点群である平面周辺点群を二値画像生成用の点群としてクロップして、二値画像を生成する。識別部２５は、生成した二値画像の中に、図８に示す、ベッセルの形状を示す特徴パターンと似ている形状を検出する。似ている形状が検索された場合、識別部２５は、検出位置及び特徴パターンのベッセルの形状を基準にして、ダンプトラックの全体の形状を識別する。

【0045】

出力制御部２９は、識別部２５による識別結果を、出力部１９を介して出力するよう制御する。出力制御部２９は、例えば、対象が識別された場合、識別された対象を示す映像をモニタに表示させる映像信号を出力する。出力制御部２９は、例えば、対象が識別された場合、ランプを点灯させる制御信号を出力する。出力制御部２９は、例えば、対象が識別された場合、でブザーを鳴動させる制御信号を出力する。

【0046】

＜コントローラによる処理＞
ホイールローダ１００の起動中に、対象の識別処理が開始されると、図９に示す処理が実行される。図９は、第１実施形態に係る対象の識別方法の処理の一例を示すフローチャートである。図９に示すフローチャートの処理は、対象の識別処理である。なお、ステップＳＴ１９からステップＳＴ２１までの処理は、必須の処理ではない。

【0047】

コントローラ２０は、点群を取得する（ステップＳＴ１１）。より詳しくは、コントローラ２０は、センサデータ取得部２１によって、３次元センサ１１から点群データを受信する。コントローラ２０は、ステップＳＴ１２へ進む。

【0048】

コントローラ２０は、平面抽出用点群をクロップする（ステップＳＴ１２）。より詳しくは、コントローラ２０は、識別部２５によって、点群データから対象が存在すると推定される探索範囲に含まれる点群を平面抽出用点群として抽出する。コントローラ２０は、ステップＳＴ１３へ進む。

【0049】

コントローラ２０は、平面抽出用点群をダウンサンプルする（ステップＳＴ１３）。より詳しくは、コントローラ２０は、識別部２５によって、点群データのダウンサンプリング手法の一例であるボクセルダウンサンプリングを用いて、平面抽出用点群をダウンサンプルする。コントローラ２０は、ステップＳＴ１４へ進む。

【0050】

コントローラ２０は、平面上点群を抽出し、平面を推定する（ステップＳＴ１４）。より詳しくは、コントローラ２０は、識別部２５によって、ダウンサンプルされた平面抽出用点群から、ベッセル側面上の点群である平面上点群を抽出して、平面であるベッセル側面を推定する。コントローラ２０は、ステップＳＴ１５へ進む。

【0051】

コントローラ２０は、二値画像生成用の点群をクロップする。（ステップＳＴ１５）。より詳しくは、コントローラ２０は、識別部２５によって、推定した平面周辺の点群である平面周辺点群を二値画像生成用の点群としてクロップする。コントローラ２０は、ステップＳＴ１６へ進む。

【0052】

コントローラ２０は、平面周辺点群の二値画像を生成する（ステップＳＴ１６）。より詳しくは、コントローラ２０は、識別部２５によって、クロップした平面周辺点群をもとに、推定した平面の法線ベクトルがｘ軸の方向と一致する座標系のｙｚ平面で二値画像化する。ｙｚ平面は、推定した平面を含む平面である。コントローラ２０は、ステップＳＴ１７へ進む。

【0053】

コントローラ２０は、二値画像から対象の特徴を検出する（ステップＳＴ１７）。より詳しくは、コントローラ２０は、識別部２５によって、二値画像の中に、特徴パターンと似ている形状を検出する。コントローラ２０は、ステップＳＴ１８へ進む。

【0054】

コントローラ２０は、３次元位置へ復元する（ステップＳＴ１８）。より詳しくは、コントローラ２０は、識別部２５によって、二値画像中の検出位置及び特徴パターンのベッセルの形状を基準にして、ダンプトラックの全体の位置、姿勢及び形状を識別する。コントローラ２０は、ステップＳＴ１９へ進む。

【0055】

コントローラ２０は、センサの有効視野内か確認する（ステップＳＴ１９）。より詳しくは、コントローラ２０は、識別部２５によって、ダンプトラックの全体の位置が、３次元センサ１１の有効視野内であるかを確認する。３次元センサ１１の視野の境界周辺は、識別性能が低下するため、識別性能が保証されることを確認するためである。

【0056】

コントローラ２０は、予測値との整合性を確認する（ステップＳＴ２０）。より詳しくは、コントローラ２０は、識別部２５によって、前回の推定結果から予測される対象の予測位置と、今回推測した対象の位置とを比較して、差分が閾値以下であるかを確認する。

【0057】

コントローラ２０は、点群識別の分散、尤度を計算する（ステップＳＴ２１）。

【0058】

このようにして、コントローラ２０は、点群データから、対象であるダンプトラックのベッセルを識別する。

【0059】

＜効果＞
以上説明したように、本実施形態では、点群データから対象の外形の平面を推定し、推定した平面上に位置する点群を抽出して二値画像を生成し、二値画像から対象を識別する。これらにより、本実施形態は、点群データをそのまま識別処理に用いる場合に比べて、処理負荷を軽減できる。本実施形態は、処理負荷が軽減されるので、識別処理の遅延など、識別性能が低下することを抑えることができる。このように、本実施形態によれば、３次元データである点群データから対象を適切に識別できる。

【0060】

本実施形態では、点群データを投影面に投影し、投影面上において点群密度が高い部分を３次元に復元して対象の平面を推定する。本実施形態によれば、点群データのノイズを除去して、平面を高精度に推定できる。

【0061】

本実施形態では、生成した二値画像の中から、あらかじめ記憶された特徴パターンの二値画像と似ている形状を検出して、対象を識別する。本実施形態によれば、二値画像を用いることにより、処理負荷を軽減できる。

【0062】

このようにして、本実施形態によれば、ダンプトラックのベッセルを適切に識別できる。

【0063】

［第２実施形態］
図１０ないし図１７を用いて、第２実施形態について説明する。図１０は、第２実施形態に係る作業車両を示す斜視図である。第２実施形態では、作業車両１００は、荷役車両の一種であるフォークリフトである。コントローラ２０の識別部２５における処理が、第１実施形態と異なる。第１実施形態と同様の構成には、同一の又は対応する符号を付して説明を省略する。

【0064】

＜作業車両＞
フォークリフト１００は、荷役作業を行う。荷役作業は、所定の保管位置に置かれている運搬物を取り上げる荷取り作業を含む。本実施形態では、作業車両が識別する対象は、運搬物である。運搬物は、荷物を積載する荷役台や容器である。運搬物は、例えば、パレットやスキッド、コンテナである。運搬物は、一対のフォーク挿し込み穴を有する。本実施形態では、作業車両が識別する対象は、例えば、箱形状のパレットである。

【0065】

本実施形態では、特徴パターンは、パレットの前面のフォーク挿し込み穴の二値画像である。

【0066】

図１０に示すように、フォークリフト１００は、車体１０２と、車体１０２の前方に配置される作業機１０４と、車体１０２を支持する車輪１０５と、３次元センサ１１と、カメラ１２とを備える。

【0067】

車体１０２は、カウンタウエイト１２０と、フェンダ１０８とを含む。カウンタウエイト１２０は、車体１０２の後部に配置される。カウンタウエイト１２０は、フォークリフト１００が運搬物を取り上げた際に、フォークリフト１００の前後方向の重量バランスをとるために車体１０２の後部に取り付けられる。フェンダ１０８は、車体１０２の前部に配置される。フェンダ１０８は、車体１０２の左側及び右側のそれぞれに配置される。

【0068】

作業機１０４は、荷役作業の少なくとも一部を行う。作業機１０４は、車体１０２の前方に配置される。作業機１０４は、車体１０２に支持される。作業機１０４は、マスト１４１と、ブラケット１４２と、フォーク１４３とを有する。

【0069】

マスト１４１は、車体１０２の前部に傾動可能に支持される。マスト１４１は、上下方向に長い。ブラケット１４２は、フォーク１４３を支持する。ブラケット１４２は、マスト１４１に支持される。ブラケット１４２は、マスト１４１に沿って上下方向に移動可能である。フォーク１４３は、運搬物を支持する。フォーク１４３は、ブラケット１４２を介してマスト１４１に支持される。

【0070】

フォーク１４３は、一対設けられる。フォーク１４３は、第１のフォーク１４３Ａと、第１のフォーク１４３Ａよりも右側に配置される第２のフォーク１４３Ｂとを含む。ブラケット１４２は、第１のフォーク１４３Ａと第２のフォーク１４３Ｂとを支持する。

【0071】

車輪１０５は、車体１０２を支持する。車輪１０５の少なくとも一部は、車体１０２よりも下方に配置される。車輪１０５は、前輪１０５Ｆと後輪１０５Ｒとを有する。前輪１０５Ｆは、後輪１０５Ｒよりも前方に配置される。前輪１０５Ｆは、車体１０２の左側及び右側のそれぞれに配置される。後輪１０５Ｒは、車体１０２の左側及び右側のそれぞれに配置される。前輪１０５Ｆ及び後輪１０５Ｒのそれぞれは、回転軸を中心に回転可能である。前輪１０５Ｆ及び後輪１０５Ｒの一方又は両方が操舵輪である。実施形態において、後輪１０５Ｒが操舵輪である。なお、前輪１０５Ｆが操舵輪でもよいし、前輪１０５Ｆ及び後輪１０５Ｒの両方が操舵輪でもよい。

【0072】

実施形態において、左右方向は、フォークリフト１００が直進状態で走行するときの前輪１０５Ｆ及び後輪１０５Ｒの回転軸に平行な方向である。上下方向は、前輪１０５Ｆ及び後輪１０５Ｒの接地面に直交する方向である。前後方向は、左右方向及び上下方向のそれぞれに直交する方向である。

【0073】

フェンダ１０８は、前輪１０５Ｆの少なくとも一部を覆うように配置される。フェンダ１０８の少なくとも一部は、前輪１０５Ｆよりも上方に配置される。フェンダ１０８の少なくとも一部は、前輪１０５Ｆよりも後方に配置される。フェンダ１０８は、車体１０２の左側及び右側のそれぞれに配置される。左側のフェンダ１０８は、左側の前輪１０５Ｆの少なくとも一部を覆うように配置される。右側のフェンダ１０８は、右側の前輪１０５Ｆの少なくとも一部を覆うように配置される。

【0074】

図１１は、第２実施形態に係る作業車両の動作を示す模式図である。フォークリフト１００は、荷役作業を行うために、荷取り作業の対象となるパレット３００を識別する。フォークリフト１００は、３次元センサ１１から取得した物体検出データに基づいて、パレット３００を識別する。

【0075】

図１２ないし図１６を用いて、識別部２５における識別処理について説明する。図１２は、対象の識別処理の他の例を説明する模式図であり、斜視図である。図１３は、対象の識別処理の他の例を説明する模式図であり、平面図である。図１４は、対象の識別処理の他の例を説明する図である。図１５は、対象の二値画像の他の例を示す図である。図１５は、対象の特徴パターンの一例を示す図である。識別部２５は、第一実施形態と同様にして、平面としてパレット前面を推定して、パレット前面の二値画像を生成する。

【0076】

識別部２５は、パレットの前面を通過した通過点群を、各点を３次元センサ１１と結んだ直線上であって、パレットの前面との交点へ移動し、移動した通過点群から、通過点群の二値画像を生成する。図１２、図１３に示すように、推定したパレット前面を通過し、推定したパレット前面より後側に位置する点群を、平面通過点群という。識別部２５は、推定したパレット前面を通過した平面通過点群の各点と、３次元センサ１１の位置とを結ぶ直線と、パレット前面との交点を算出する。図１３において、推定したパレット前面を破線で示す。図１３では、推定したパレット前面より上方に点群が表れている。楕円で囲んだ点群は、推定したパレット前面を通過した点群を示す。言い換えると、楕円で囲んだ点群は、運搬物のフォーク挿し込み穴を通過した点群である。識別部２５は、図１４に示すように、平面通過点群を、算出した交点の位置へ移動させる。すなわち、識別部２５は、平面通過点群を、パレット前面上に移動させる。図１４（ａ１）は、推定したパレット前面と、パレット前面を通過した点群と３次元センサ１１の座標系基準とを結ぶ直線との交点を求めた図である。図１４（ａ２）は、（ａ１）で求めた交点の位置に点群を補完した図である。このようにして、識別部２５は、平面通過点群の各点が、平面を通過した位置を算出する。

【0077】

識別部２５は、図１５に示すように、平面通過点群から二値画像を生成する。識別部２５は、生成した二値画像と、図１６に示すフォーク挿し込み穴の特徴パターンでフィルタリングして、類似度を算出する。識別部２５は、二値画像の中でフォーク挿し込み穴パターンと似たパターンがあるかを検索する。図１６に示す例では、領域Ｐ１１は、フォーク挿し込み穴が位置する確率が高い領域である。領域Ｐ１２は、フォーク挿し込み穴が位置する確率が低い領域である。領域Ｐ１３は、フォーク挿し込み穴が位置する確率が領域Ｐ１１と領域Ｐ１２と間である。Ｃは、フォーク挿し込み穴の中間点を示す。

【0078】

図１７は、第２実施形態に係る対象の識別方法の処理の一例を示すフローチャートである。ステップＳＴ３１からステップＳＴ３６まで、ステップＳＴ３８からステップＳＴ４２は、図９に示すフローチャートのステップＳＴ１１からステップＳＴ１６まで、ステップＳＴ１７からステップＳＴ２１までと同様の処理を行う。

【0079】

コントローラ２０は、平面通過点群の二値画像を生成する（ステップＳＴ３７）。より詳しくは、コントローラ２０は、識別部２５によって、推定したパレット前面を通過した平面通過点群の二値画像を生成する。

【0080】

このようにして、コントローラ２０は、点群データから、対象であるパレットのフォーク挿し込み穴を識別する。

【0081】

＜効果＞
以上説明したように、本実施形態では、推定したパレットの前面を通過した通過点群を、各点を３次元センサ１１と結んだ直線上であって、推定したパレットの前面との交点へ移動し、移動した通過点群から、通過点群の二値画像を生成する。本実施形態では、上述したように、点群を平面に投影することにより、平面上の点が線分上に集約されて高密度になる。本実施形態では、高密度になることによりノイズが除去される。本実施形態によれば、３次元センサ１１と対象との距離が離れて、点群密度が疎であっても、フォーク挿し込み穴を高精度に識別できる。

【0082】

これに対して、従来の技術では、３次元センサ１１と対象との距離が離れると、点群密度が疎になり、点群からフォーク挿し込み穴の位置を特定することは困難になる。

【0083】

このようにして、本実施形態によれば、パレットのフォーク挿し込み穴を適切に識別できる。

【符号の説明】

【0084】

１…識別システム、１１…３次元センサ（物体検出センサ）、１９…出力部、２０…コントローラ、２１…センサデータ取得部、２２…記憶部、２５…識別部、２９…出力制御部、１００…ホイールローダ（作業車両）、１０２…車体、１０２Ｆ…車体前部、１０２Ｒ…車体後部、１０４…走行装置、１０４Ａ…動力源、１０４Ｂ…操舵装置、１０６…車輪、１０６Ｆ…前輪、１０６Ｒ…後輪、１０９…関節機構、１１０…作業機、１１１…ブーム、１１２…バケット、１１２Ｂ…先端部、１１３…ベルクランク、１１４…リンク、１１５…ブームシリンダ、１１６…バケットシリンダ、０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】