特開 2023-78755 判定装置、判定システム、判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023078755

(43)【公開日】2023-06-07

(54)【発明の名称】判定装置、判定システム、判定方法及びプログラム

(51)【国際特許分類】

   G06T 7/73 20170101AFI20230531BHJP

   G06T 7/00 20170101ALI20230531BHJP

【ＦＩ】

G06T7/73

G06T7/00 650B

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021192022

(22)【出願日】2021-11-26

(71)【出願人】

【識別番号】517048278

【氏名又は名称】ＬｅａｐＭｉｎｄ株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100207789

【弁理士】

【氏名又は名称】石田 良平

(72)【発明者】

【氏名】花元 敦思

(72)【発明者】

【氏名】久米 泰弘

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA04

5L096BA05

5L096CA02

5L096CA27

5L096DA02

5L096FA09

5L096FA66

5L096FA67

5L096FA69

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】対象物の姿勢を精度よく検出する判定装置、判定システム、判定方法及びプログラムを提供する。
【解決手段】判定装置１２は、対象物を撮像した画像Ｉ１と、前記画像に対応する位置の深度情報Ｉ２とを含む画像情報を取得する画像情報取得部１２１と、画像情報に含まれる画像に基づいて、対象物が有する特定の位置であるキーポイントを検出する検出部１２２と、画像情報に含まれる前記深度情報に基づいて、検出されたキーポイントに対応する位置の深度を算出する算出部１２３と、算出されたキーポイントに対応する位置の深度に基づいて、対象物の姿勢を推定する推定部１２４と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

対象物を撮像した画像と、前記画像に対応する位置の深度情報とを含む画像情報を取得する画像情報取得部と、
前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出部と、
前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する位置の深度を算出する算出部と、
算出された前記キーポイントに対応する位置の深度に基づいて、前記対象物の姿勢を推定する推定部と
を備える判定装置。

【請求項2】

前記推定部は、前記画像を撮像した撮像部に対する前記対象物の傾きを、前記対象物の姿勢として推定する
請求項１に記載の判定装置。

【請求項3】

前記対象物とは、車輪を有する籠車であり、
前記キーポイントとは、少なくとも１つの前記車輪を含む
請求項１又は請求項２に記載の判定装置。

【請求項4】

前記籠車は荷物を積載可能な底面と、４個の前記車輪とを備え、
前記検出部は、前記底面を特定する４点と、４個の前記車輪の位置をそれぞれ特定する４点とを前記キーポイントとして検出する
請求項３に記載の判定装置。

【請求項5】

前記推定部は、前記対象物が有する複数の辺のうち、前記画像を撮像した撮像部に近い辺の中心点の座標と角度を推定する
請求項４に記載の判定装置。

【請求項6】

前記算出部は、対象物の実際の大きさと、前記画像情報に含まれる前記深度情報とに基づいて、検出された前記キーポイントに対応する位置の深度を算出する
請求項１から請求項５のいずれか一項に記載の判定装置。

【請求項7】

前記検出部は学習済みモデルを備え、機械学習により前記キーポイントを検出する
請求項１から請求項６のいずれか一項に記載の判定装置。

【請求項8】

前記対象物が撮像された前記画像と、前記対象物の前記キーポイントの位置座標とを記憶する記憶装置と、
前記記憶装置に記憶された前記画像に含まれる前記対象物と前記キーポイントとを教師データとしてとして用い、前記学習済みモデルを生成するモデル生成手段と、
学習された前記学習済みモデルを用いて、前記キーポイントを検出する請求項７に記載の判定装置と
を備える判定システム。

【請求項9】

対象物を撮像した画像と、前記画像に対応する深度情報とを含む画像情報を取得する画像情報取得工程と、
前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出工程と、
前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する座標の深度を算出する算出工程と、
前記対象物の姿勢を推定する推定工程と
を有する判定方法。

【請求項10】

コンピュータに、
対象物を撮像した画像と、前記画像に対応する深度情報とを含む画像情報を取得する画像情報取得ステップと、
前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出ステップと、
前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する座標の深度を算出する算出ステップと、
前記対象物の姿勢を推定する推定ステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定システム、判定方法及びプログラムに関する。

【背景技術】

【0002】

従来、移動体を自律走行させる技術分野において、機械学習を用いて物体の形状等を検出する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０９９３８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような従来技術によれば、移動体を自律走行させるための物体の位置姿勢の推定や、センサの位置姿勢を算出するための地図情報の更新ができるかもしれない。しかしながら、機械学習を用いて物体の形状等を検出した場合、機械学習の推論演算結果に含まれる誤差は無視できない。したがって、適切に移動体の制御を行えない場合があるという問題があった。

【0005】

そこで本発明は、このような状況に鑑みてなされたものであり、対象物の姿勢を精度よく検出することが可能な技術の提供を目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る判定装置は、対象物を撮像した画像と、前記画像に対応する位置の深度情報とを含む画像情報を取得する画像情報取得部と、前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出部と、前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する位置の深度を算出する算出部と、算出された前記キーポイントに対応する位置の深度に基づいて、前記対象物の姿勢を推定する推定部とを備える。

【0007】

また、本発明の一態様に係る判定装置において、前記推定部は、前記画像を撮像した撮像部に対する前記対象物の傾きを、前記対象物の姿勢として推定する。

【0008】

また、本発明の一態様に係る判定装置において、前記対象物とは、車輪を有する籠車であり、前記キーポイントとは、少なくとも１つの前記車輪を含む。

【0009】

また、本発明の一態様に係る判定装置において、前記籠車は荷物を積載可能な底面と、４個の前記車輪とを備え、前記検出部は、前記底面を特定する４点と、４個の前記車輪の位置をそれぞれ特定する４点とを前記キーポイントとして検出する。

【0010】

また、本発明の一態様に係る判定装置において、前記推定部は、前記対象物が有する複数の辺のうち、前記画像を撮像した撮像部に近い辺の中心点の座標と角度を推定する。

【0011】

また、本発明の一態様に係る判定装置において、前記算出部は、対象物の実際の大きさと、前記画像情報に含まれる前記深度情報とに基づいて、検出された前記キーポイントに対応する位置の深度を算出する。

【0012】

また、本発明の一態様に係る判定装置において、前記検出部は学習済みモデルを備え、機械学習により前記キーポイントを検出する。

【0013】

また、本発明の一態様に係る判定システムは、前記対象物が撮像された前記画像と、前記対象物の前記キーポイントの位置座標とを記憶する記憶装置と、前記記憶装置に記憶された前記画像に含まれる前記対象物と前記キーポイントとを教師データとしてとして用い、前記学習済みモデルを生成するモデル生成手段と、学習された前記学習済みモデルを用いて、前記キーポイントを検出する上述した判定装置とを備える。

【0014】

また、本発明の一態様に係る判定方法は、対象物を撮像した画像と、前記画像に対応する深度情報とを含む画像情報を取得する画像情報取得工程と、前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出工程と、前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する座標の深度を算出する算出工程と、前記対象物の姿勢を推定する推定工程とを有する。

【0015】

また、本発明の一態様に係るプログラムは、コンピュータに、対象物を撮像した画像と、前記画像に対応する深度情報とを含む画像情報を取得する画像情報取得ステップと、前記画像情報に含まれる前記画像に基づいて、前記対象物が有する特定の位置であるキーポイントを検出する検出ステップと、前記画像情報に含まれる前記深度情報に基づいて、検出された前記キーポイントに対応する座標の深度を算出する算出ステップと、前記対象物の姿勢を推定する推定ステップとを実行させる。

【発明の効果】

【0016】

本発明によれば、対象物の姿勢を精度よく検出することができる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係る移動体制御システムの概要について説明するための図である。

【図2】実施形態に係る移動体と撮像装置について説明するための図である。

【図3】実施形態に係る撮像部に対する対象物の角度の一例を示す図である。

【図4】実施形態に係る移動体の機能を説明するための機能構成図の一例である。

【図5】実施形態に係る判定装置の機能を説明するための機能構成図の一例である。

【図6】実施形態に係る判定装置の学習について説明するための図である。

【図7】実施形態に係る対象物を撮像した画像と、深度画像の一例について説明するための図である。

【図8】実施形態に係る判定装置の機能の一例を説明するための図である。

【図9】実施形態に係る対象物のキーポイントについて説明するための図である。

【図10】実施形態に係るキーポイントの深度の算出方法について説明するための図である。

【図11】実施形態に係る判定装置により算出されたキーポイントの一例を示す図である。

【図12】実施形態に係る移動体の一連の動作の一例について説明するための図である。

【図13】実施形態に係る移動体制御システムの変形例について説明するための図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について、図面を参照しながら説明する。以下において説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限定されない。

【0019】

［移動体制御システム］
図１は、実施形態に係る移動体制御システムの概要について説明するための図である。
同図を参照しながら、移動体制御システム１の概要について説明する。
移動体制御システム１は、少なくとも１台の移動体１０を備える。移動体１０は、対象物２０を所定の位置に移動させるための機構を備える。

【0020】

移動体１０は、対象物２０を把持し、牽引し、又は持ち上げて運搬等することにより対象物２０を目的地まで移動させる。持ち上げて運搬するとは、移動体１０が備える不図示のフォーク（つめ）を対象物２０の下部に差し込み、フォークを上昇させることにより対象物２０を持ち上げ、目的地まで運搬することであってもよい。また、移動体１０自身が対象物２０の下に入り込み、所定の昇降機構により対象物２０を持ち上げ、目的地まで運搬してもよい。
移動体１０は、例えば、無人搬送車や無人搬送ロボット等のＡＧＶ（Automatic Guided Vehicle）であってもよい。

【0021】

対象物２０は、移動体１０により運搬可能な物体であればよい。以降の説明において、対象物２０は、荷物を載置可能な荷台、及び車輪を有する場合の一例について説明する。対象物２０は車輪を有し、ヒトにより引く又は押すことにより、載置された荷物を運搬可能であってもよい。
対象物２０は、例えば、籠車（カゴ車、又はかご台車）や荷車、台車等であってもよいし、複数の移動体１０のうちの一つであってもよい。以降の説明において、対象物２０は籠車である場合の一例について説明する。

【0022】

移動体１０が存在する位置を位置Ｐ１、対象物２０が存在する位置を位置Ｐ３とした場合、移動体１０が位置Ｐ３に存在する対象物２０を、目的位置である位置Ｐ４まで運搬する場合の一例について説明する。
まず、移動体１０は、地図情報に基づき位置Ｐ２まで移動する。地図情報とは、移動体１０が備える不図示の通信部により、ＧＰＳ（Global Positioning System）等の人工衛星や所定の基地局から受信された電波に基づいて推定される位置情報であってもよい。また、通信部は、無線ＬＡＮ等により不図示の中央制御装置と近距離通信を行い、位置Ｐ２についての情報を取得してもよい。

【0023】

位置Ｐ２とは、対象物２０の姿勢を確認可能な位置である。具体的には、位置Ｐ２とは、対象物２０の姿勢を判定するために、対象物２０を撮像可能な位置である。より具体的には、位置Ｐ２とは、対象物２０が存在する位置Ｐ３から５［ｍ（メートル）］程度の距離であってもよい。

【0024】

移動体１０は、１つの位置から対象物２０を撮像してもよく、複数の位置から対象物２０を撮像してもよい。移動体１０が複数の位置から対象物２０を撮像する場合、移動体１０が対象物２０を撮像する複数の位置を総称して位置Ｐ２と記載する。
位置Ｐ２において、移動体１０は、自身が備える撮像装置１１により対象物２０を撮像する。移動体１０は、撮像した結果に基づいて対象物２０の姿勢を判定する。対象物２０の姿勢とは、移動体１０から対象物２０までの距離、移動体１０に対する対象物２０の角度、及び移動体１０が存在する位置に対する対象物２０が存在する位置の角度等であってもよい。

【0025】

移動体１０は対象物２０に接触可能な位置に移動し、判定した対象物２０の姿勢に基づいて、対象物２０を運搬可能な状態にする。運搬可能な状態とは、対象物２０を把持、牽引、リフトアップ（上昇）等をした状態であってもよい。移動体１０は、対象物２０を運搬可能な状態にした後、目的位置である位置Ｐ４まで運搬する。

【0026】

［移動体］
図２は、実施形態に係る移動体と撮像装置について説明するための図である。同図を参照しながら、移動体１０と撮像装置１１について説明する。
移動体１０は、撮像装置１１を備える。撮像装置１１の撮像方向をｙ軸、撮像装置１１の直上方向をｚ軸、ｙ軸及びｚ軸に直行する方向をｘ軸とする三次元直交座標系により移動体１０の姿勢を記載する。撮像装置１１が存在する位置座標を原点（０、０、０）とする。

【0027】

撮像装置１１は、ｙ軸方向を所定の画角により撮像する。移動体１０は、所定の画角内に対象物２０が位置する撮像位置である位置Ｐ２に移動し、対象物２０を撮像する。移動体１０は、撮像した画像に基づき、対象物２０までの距離と、自身の角度に対する対象物２０の角度（傾き）、及び自身の存在する位置に対する対象物２０の存在する位置までの角度等を判定する。

【0028】

なお、撮像装置１１は、図示するように移動体１０の上部に取り付けられていてもよいし、移動体１０の内部等、その他の箇所に備えられていてもよい。

【0029】

図３は、実施形態に係る撮像部に対する対象物の角度の一例を示す図である。同図を参照しながら、移動体１０の角度に対する対象物２０の角度（傾き）について説明する。同図は、移動体１０が、対象物２０を撮像する位置である位置Ｐ２に移動した際の、移動体１０及び対象物２０の位置関係を示す平面図である。同図の説明において、ｘ軸及びｙ軸からなる座標系を用いて、移動体１０及び対象物２０の姿勢について説明する場合がある。

【0030】

移動体１０は、地図情報に基づいて位置Ｐ２まで移動する。地図情報は、移動体１０の姿勢についての情報を含まないため、位置Ｐ２に移動した時点において、移動体１０に対する対象物２０の傾き等の情報は不明である。

【0031】

図３（Ａ）は、移動体１０と対象物２０とが平行に位置する場合の一例である。図３（Ｂ）は、対象物２０が正の傾きを有する位置に存在する場合の一例である。図３（Ｃ）は、対象物２０が負の傾きを有する位置に存在する場合の一例である。
図３（Ａ）に示すように、移動体１０と対象物２０とが平行に位置する場合、撮像部１１に対する対象物２０の角度θは略０度である。略０度の範囲とは、－１［度］から+１［度］程度であってもよいし、－３［°（度）］から+３［°］程度であってもよい
図３（Ｂ）に示すように、移動体１０と対象物２０との間の距離が、ｘ軸正方向側にいくに従い大きくなる場合、撮像部１１に対する対象物２０の角度θは正である。図３（Ｃ）に示すように、移動体１０と対象物２０との間の距離が、ｘ軸正方向側にいくに従い小さくなる場合、撮像部１１に対する対象物２０の角度θは負である。

【0032】

移動体１０は、位置Ｐ２において撮像した画像に基づき、対象物２０までの距離と、自身に対する対象物２０の角度と、自身が存在する位置に対して対象物２０が存在する位置までの角度とを判定する。移動体１０は、判定した距離と角度に基づいて、対象物２０の近傍に移動し、対象物２０を運搬可能な状態にした後、目的位置である位置Ｐ４まで運搬する。

【0033】

図４は、実施形態に係る移動体の機能を説明するための機能構成図の一例である。同図を参照しながら、移動体１０の機能構成の一例について説明する。移動体１０は、撮像装置１１と、判定装置１２と、移動体制御装置１３と、移動体駆動装置１４とを構成要素として備える。

【0034】

撮像装置１１は、対象物２０を撮像することにより画像を取得する。また、撮像装置１１は、対象物２０の深度についての情報を取得する。対象物２０の深度とは、撮像装置１１と対象物２０との間の距離に関する情報である。撮像装置１１はカメラを備えることにより画像を取得し、赤外線レーザや複眼カメラ等を備えることにより、深度についての情報を取得してもよい。
撮像装置１１は、画像や深度情報等の対象物２０に関して取得した情報を、画像情報ＩＩとして判定装置１２に出力する。

【0035】

判定装置１２は、撮像装置１１から取得した画像及び深度に関する情報等に基づいて、対象物２０の姿勢を判定する。判定装置１２は、判定した対象物２０の姿勢に関する情報を判定情報ＪＩとして、移動体制御装置１３に出力する。

【0036】

移動体制御装置１３は、判定装置１２により判定された対象物２０の姿勢に関する情報に基づいて、移動体１０の位置を移動するよう制御する。移動体制御装置１３は、不図示のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read only memory）又はＲＡＭ（Random access memory）等の記憶装置等を備える。移動体制御装置１３は、移動体駆動装置１４に制御情報ＣＩを出力することにより、移動体１０が対象物２０を把持、牽引、リフトアップ等することが可能な位置に移動させる。また、移動体制御装置１３は、移動体１０が対象物２０を把持、牽引、リフトアップ等することが可能な位置に移動させた後、対象物２０を把持、牽引、リフトアップ等することにより、対象物２０を目的位置である位置Ｐ４まで運搬するよう移動体１０を制御する。

【0037】

移動体駆動装置１４は、不図示の把持駆動部、牽引駆動部若しくは昇降駆動部等の運搬駆動部及び車輪駆動部若しくはベルト駆動部等の移動駆動部等を備える。移動体駆動装置１４は、移動体制御装置１３から取得した制御信号ＣＩに基づき、移動体１０を把持、牽引、リフトアップ等し、対象物２０を目的地まで運搬する。

【0038】

［判定装置］
図５は、実施形態に係る判定装置の機能を説明するための機能構成図の一例である。同図を参照しながら、判定装置１２の機能構成の一例について説明する。判定装置１２は、画像情報取得部１２１と、検出部１２２と、算出部１２３と、推定部１２４とを備える。判定装置１２は、バスで接続された不図示のＣＰＵ、ＧＰＵ、ＲＯＭ又はＲＡＭ等の記憶装置等を備え、判定プログラムを実行することによって画像情報取得部１２１と、検出部１２２と、算出部１２３と、推定部１２４とを備える装置として機能する。

【0039】

なお、判定装置１２の各機能の全てまたは一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアを用いて実現されてもよい。特に、検出部１２２はハードウェアを用いて構成され、算出部１２３及び推定部１２４はソフトウェアを用いて構成されることが好適である。

【0040】

画像情報取得部１２１は、撮像装置１１から画像情報ＩＩを取得する。画像情報ＩＩは、少なくとも画像Ｉ１と深度情報Ｉ２とを含む。画像Ｉ１とは、対象物２０を撮像した二次元画像である。深度情報Ｉ２とは、画像Ｉ１に対応する位置の深度情報を含む情報である。深度情報Ｉ２は、赤外線レーザや複眼カメラ等により取得された深度画像等の情報であってもよい。

【0041】

検出部１２２は、画像情報取得部１２１により取得された画像情報に含まれる画像Ｉ１に基づいて、対象物２０が有する特定の位置であるキーポイントＫＰの位置座標を検出する。具体的には、検出部１２２は予め学習された学習済みモデルを備え、機械学習によりキーポイントＫＰを検出する。検出部１２２が備える学習済みモデルは、複数の層からなるニューラルネットワークを含む。当該複数の層には事前に学習した重みパラメータと画像Ｉ１に基づく入力データとの畳み込み演算を行う畳み込み演算部と畳み込み演算の結果に対して量子化演算を行う量子化演算部を含む。このように、検出部１２２が含むニューラルネットワークの少なくとも一つの層に量子化演算部を設けることにより、演算負荷を低減することが可能となり、移動体１０などのエッジデバイス上で学習済みモデルに基づく検出を実行することが可能となる。

【0042】

ここで、キーポイントＫＰとは、対象物２０の姿勢を特定するために用いられる点である。キーポイントＫＰは、対象物２０に応じて予め定められていてもよい。キーポイントＫＰとは、例えば、対象物２０が車輪を有する籠車である場合、少なくとも１つの車輪又は籠車の頂点を含んでいてもよい。
判定装置１２は、対象物２０の姿勢を判定するため、検出部１２２は少なくとも２つのキーポイントＫＰの位置座標を検出する。検出部１２２は、検出したキーポイントＫＰの位置座標についての情報を検出情報ＤＩとして算出部１２３に出力する。

【0043】

算出部１２３は、画像情報に含まれる深度情報Ｉ２に基づいて、検出されたキーポイントＫＰに対応する位置の深度を算出する。具体的には、算出部１２３は、深度情報Ｉ２を参照することにより画像Ｉ１のキーポイントＫＰに対応する位置座標の深度を取得し、取得した深度に基づいた算出を行ってもよい。算出部１２３は、算出したキーポイントＫＰに対応する位置の深度についての情報を、キーポイント深度情報ＫＤＩとして推定部１２４に出力する。

【0044】

推定部１２４は、算出部１２３により算出されたキーポイントＫＰの位置座標に対応する位置の深度に基づいて、対象物２０の姿勢を推定する。対象物２０の姿勢とは、画像Ｉ１を撮像した撮像部１１に対する対象物２０の傾き等であってもよい。すなわち、推定部１２４は、撮像部１１に対する対象物２０の傾きを対象物２０の姿勢として推定してもよい。

【0045】

図６は、実施形態に係る判定装置の学習について説明するための図である。同図を参照しながら、学習時の一例について説明する。判定装置１２の学習時における構成を判定システム２と記載する。
なお、判定システム２はＧＰＵを備えるサーバーと接続するコンピュータの一例であり、判定システム２は、移動体制御システム１とは独立したシステムであってもよい。
判定システム２は、記憶装置３０と、モデル生成手段３１とを備える。

【0046】

記憶装置３０は、画像Ｉ１と、画像Ｉ１に対応する位置座標情報Ｉ３とを記憶する。
位置座標情報Ｉ３とは、画像Ｉ１に撮像された対象物２０のキーポイントＫＰの位置座標についての情報である。すなわち、記憶装置３０は、対象物２０が撮像された画像Ｉ１と、対象物２０のキーポイントＫＰの位置座標とを記憶する。

【0047】

モデル生成手段３１は、記憶装置３０に記憶された画像Ｉ１に含まれる対象物２０とキーポイントＫＰの位置座標についての情報とを教師データとしてとして用い、学習済みモデルを生成する。より具体的には、記憶装置３０には移動体制御システム１に用いられる対象物２０を含む様々なシーンで撮影された画像を保持していることが好ましいが、学習済みモデルの汎化性能を向上するために、対象物２０を含まない画像を含んでいてもよい。また、対象物２０の種類によってパラメータを切り替えられるように、複数の学習結果をチェックポイントとして記憶するようにしてもよい。
判定装置１２が備える検出部１２２は、モデル生成手段３１により生成された学習済みモデルを用いて、キーポイントＫＰを検出する。

【0048】

図７は、実施形態に係る対象物を撮像した画像と、深度画像の一例について説明するための図である。同図を参照しながら、画像Ｉ１と深度情報Ｉ２の一例について説明する。図７（Ａ）は画像Ｉ１の一例を、図７（Ｂ）及び図７（Ｃ）は画像Ｉ１に対応する深度情報Ｉ２の一例を、それぞれ示す。

【0049】

画像Ｉ１は、移動体１０が対象物２０を撮像する位置である位置Ｐ２において、撮像装置１１により撮像された画像である。画像Ｉ１には、対象物２０が撮像されている。対象物２０は、荷物を積載した籠車である。
深度情報Ｉ２は、画像Ｉ１が撮像された地点において、略同一の画角及び略同一の撮像角度において撮像された深度画像である。図示するように、対象物２０が存在する位置においては、深度が浅くなっている。本実施形態においては、略同一の画角及び略同一の撮像角度で撮像する例を示したが、撮像位置や撮像装置１１の構成によっては必ずしも同一の画角及び角度で撮像することができない場合がある。この場合には、よりキーポイントＫＰの位置座標を検出する検出部１２２の精度が求められる。

【0050】

図８は、実施形態に係る判定装置の機能の一例を説明するための図である。同図を参照しながら、判定装置１２の機能について説明する。
まず、判定装置１２は、撮像装置１１により取得された画像Ｉ１に基づいて、キーポイントＫＰの位置座標を検出する。具体的には、判定装置１２は、画像Ｉ１を学習済みモデル３２に入力することにより、キーポイントＫＰの位置座標を検出する。キーポイントＫＰが複数である場合、判定装置１２は、複数のキーポイントＫＰの位置座標を、それぞれ検出する。

【0051】

ここで、学習済みモデル３２により検出されるキーポイントＫＰの位置座標は、二次元の画像上における位置座標であって、深度についての情報を有しない。
なお、キーポイントＫＰの位置座標検出処理は、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等のハードウェアを用いて行われることが好適である。

【0052】

算出部１２３は、検出部１２２により検出されたキーポイントＫＰの位置座標と、深度情報Ｉ２に基づいて、キーポイントＫＰにおける深度を算出する。以降の説明において、キーポイントＫＰにおける深度についての情報を有する情報を、キーポイント深度情報Ｉ４と記載する。
なお、キーポイントＫＰの深度算出処理は、ソフトウェアを用いて行われることが好適である。

【0053】

推定部１２４は、キーポイント深度情報Ｉ４に基づいて、対象物２０の姿勢を推定する。具体的には、推定部１２４は、複数のキーポイントＫＰの中点の座標（Ｘ，Ｙ）及び、対象物２０の撮像装置１１に対する傾きθを推定する。

【0054】

次に、図９及び図１０を参照しながら、対象物２０のキーポイントＫＰの一例と、キーポイントＫＰの深度の算出の一例について説明する。
図９及び図１０の説明において、ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって移動体１０と対象物２０との位置関係について説明する場合がある。

【0055】

図９は、実施形態に係る対象物のキーポイントについて説明するための図である。同図を参照しながら、対象物２０が籠車である場合におけるキーポイントＫＰの一例について説明する。
籠車である対象物２０は、４個の車輪Ｗと、底面Ｂとを備える。底面Ｂは、所定の荷物を積載することができる面である。底面Ｂは少なくとも２辺が同一の長さの長方形であってもよい。また、底面Ｂは４辺が同一の長さの正方形であってもよい。車輪Ｗは、キャスタユニットの一部として、底面Ｂに取り付けられていてもよい。

【0056】

キーポイントＫＰとは、底面Ｂを特定するための４点、及び４個の車輪Ｗのそれぞれの回転中心（車輪Ｗのシャフト部分）であってもよい。すなわち、籠車である対象物２０は、荷物を積載可能な底面Ｂと、４個の車輪Ｗとを備える。検出部１２２は、底面Ｂを特定する４点と、４個の車輪Ｗの位置をそれぞれ特定する４点とをキーポイントＫＰとして検出する。

【0057】

具体的には、籠車は、地面Ｇから２００［ｍｍ（ミリメートル）］の位置に底面Ｂを備える。籠車は、４個のキャスタユニットを備えることにより底面Ｂを支える。各キャスタユニットは、底面Ｂに取り付け座が取り付けられる。各キャスタユニットは、それぞれ車輪Ｗを備える。
以降の説明において、底面Ｂを特定するための４個のキーポイントＫＰを、キーポイントＫＰ１からキーポイントＫＰ４と記載し、車輪Ｗを特定するための４個のキーポイントＫＰを、キーポイントＫＰ５からキーポイントＫＰ８と記載する。

【0058】

図９に示す図は、説明のために画像Ｉ１を簡略化して、二次元の場合について説明するための図である。同図には、底面Ｂを特定するためのキーポイントＫＰとしてキーポイントＫＰ１及びキーポイントＫＰ４が、車輪Ｗを特定するためのキーポイントＫＰとしてキーポイントＫＰ５及びキーポイントＫＰ８が示されている。
同図における説明においては簡略化のため、二次元の場合について説明するが、実際に撮像装置１１により撮像された画像は三次元であるため、画像Ｉ１には、底面Ｂを特定するための４個のキーポイントＫＰと車輪Ｗをそれぞれ特定するための４個のキーポイントＫＰが全て撮像されていてもよい。

【0059】

ここで、判定装置１２が対象物２０と移動体１０との距離を推定する場合の一例について説明する。
検出部１２２は、撮像装置１１により撮像された画像Ｉ１に基づいて、底面Ｂを特定するためのキーポイントＫＰ１及びキーポイントＫＰ４の位置座標、車輪Ｗを特定するためのキーポイントＫＰ５及びキーポイントＫＰ８の位置座標を検出する。検出部１２２は、検出したキーポイントＫＰの位置座標についての情報を、算出部１２３に出力する。
なお、キーポイントＫＰの位置座標間の距離等において、異常値の検出が検出された場合には、検出ができなかった旨の結果を出力してもよい。具体的には、位置座標から想定される籠車の長辺または短辺の長さが短すぎると判定される場合には、検出ができなかったことを示す情報を出力するようにしてもよい。

【0060】

なお、検出部１２２は、キーポイントＫＰの位置座標に加えて、キーポイントＫＰに対応するクラスを検出し、キーポイントＫＰの位置座標とクラスとを対応付けて算出部１２３に出力してもよい。クラスとは、当該キーポイントＫＰが底面Ｂ又は車輪Ｗのいずれを特定するものであるのかを示す情報である。
また、検出部１２２は、確信度に基づく閾値判定を行い、キーポイントＫＰの位置座標を検出したか否かについての情報を算出部１２３に出力してもよい。

【0061】

なお、検出部１２２は、複数の地点において撮像された複数の画像Ｉ１に基づいて、キーポイントＫＰの位置座標を検出してもよい。例えば、撮像装置１１は、対象物２０の近傍である第１の位置と、第１の位置より更に対象物２０の近傍である第２の位置とにおいて撮像された複数の画像Ｉ１に基づいて、キーポイントＫＰの位置座標を検出してもよい。換言すれば、検出部１２２は、遠目と近目において撮像された複数の画像に基づいて検出された結果を平均処理することにより、より高い確実性を持ってキーポイントＫＰの位置座標を検出してもよい。

【0062】

算出部１２３は、検出部１２２により検出されたキーポイントＫＰの位置座標と、深度情報Ｉ２とに基づいて、それぞれのキーポイントＫＰの深度を算出する。ここで、深度とは、撮像装置１１から対象となる点までのｙ方向の距離である。深度情報Ｉ２が有する深度情報は、画角や撮像角度によって正確でない場合がある。そこで、算出部１２３は、対象物２０の実際の大きさに基づいて、深度情報Ｉ２に示される値を、実際の深度に換算する。換言すれば、算出部１２３は、対象物２０の実際の大きさと、画像情報ＩＩに含まれる深度情報Ｉ２とに基づいて、検出されたキーポイントＫＰの位置座標に対応する位置の深度を算出する。
ここで、機械学習を利用した学習済みモデルは、様々なシーンにおいて高い検出精度を実現可能である。本実施形態における検出部１２２は、機械学習を利用した学習済みモデルに基づいてキーポイントＫＰを検出するが、学習時に想定していないシーン（例えば、籠車の配置や背景など）においては、検出精度が下がる場合がある。具体的には、検出したキーポイントＫＰの座標にズレが生じる場合がある。特に、算出部１２３における籠車の位置検出精度を高めるために、検出する対象のキーポイントＫＰは籠車の四隅としているため、キーポイントKPの検出座標にズレが生じ、その結果として背景を検出する恐れがある。
本実施形態における算出部１２３は、検出部１２２が検出したキーポイントＫＰの座標だけではなく、その座標を利用し周辺領域における深度も算出する。そして、算出したキーポイントＫＰの位置座標に対応する深度以外の周辺領域の複数の深度と合わせて、当該キーポイントＫＰの位置座標に対応する最終的な深度と決定する。換言すれば、算出部１２３はキーポイントＫＰの位置座標の深度を、当該キーポイントＫＰの周辺領域の深度の全部または一部を選択的に組み合わせて決定する。選択的に組み合わせる例としては、複数ある測距点から短い距離を採用してもよいし、複数ある測距点を平均値・メディアン値を算出してもよいし、複数ある測距点から辺上に存在する領域の測距点を採用してもよい。また、繰り返し測距を行う場合には、前回の結果を考慮して測距点を採用してもよいし、複数算出した周辺領域の深度の変化点に基づいて算出してもよい。なお、周辺領域の深度の算出は、検出部１２２によりキーポイントＫＰの検出の際に出力される信頼度に基づいてもよい。

【0063】

算出部１２３は、まず、２個の車輪Ｗについて、車輪中心点から底面Ｂに対して垂直に伸ばした線分ＬＳの長さ（ｐｉｘｅｌ数）を求める。具体的には、算出部１２３は、底面Ｂに対してキーポイントＫＰ５から垂直に伸ばした線分ＬＳ１の長さと、底面Ｂに対してキーポイントＫＰ８から垂直に伸ばした線分ＬＳ２の長さとを求める。
算出部１２３は、線分ＬＳの長さと、深度情報Ｉ２とに基づいて、２個の車輪Ｗにおける深度（ｄｅｐｔｈ）を求める。

【0064】

図１０は、実施形態に係るキーポイントの深度の算出方法について説明するための図である。同図を参照しながら、深度の算出の詳細について説明する。
図１０は、図９における三次元直交座標系のうち、ｙ－ｚ平面についての位置関係を示す。”焦点距離：ｆ”は、深度情報Ｉ２に基づいて得られる情報である。算出部１２３は、”焦点距離：ｆ”に基づいて、深度（ｄｅｐｔｈ）を求める。

【0065】

算出部１２３は、対象物２０の実際の大きさ（例えば、複数のキーポイントＫＰ間の距離）を予め記憶しておき、底面Ｂに対して籠車の車輪中心点から垂直に伸ばした線分ＬＳの長さ（ｐｉｘｅｌ数）と、対象物２０の実際の大きさから、深度（ｄｅｐｔｈ）を求める。

【0066】

次に、図９に戻り、推定部１２４は、算出部１２３により算出されたキーポイントＫＰの深度に基づき、移動体１０と対象物２０との距離を算出する。具体的には、推定部１２４は、キーポイントＫＰを結ぶ線分の中点についての深度を算出する。より具体的には、推定部１２４は、２個の車輪における深度の平均を、中点における深度とする。

【0067】

図に示す一例においては、キーポイントＫＰ５の深度とキーポイントＫＰ８の深度との平均を、キーポイントＫＰ５とキーポイントＫＰ８とを結ぶ線分ＬＳ４の中点Ｃ１における深度とする。また、キーポイントＫＰ１の深度とキーポイントＫＰ４の深度との平均を、キーポイントＫＰ１とキーポイントＫＰ４とを結ぶ線分ＬＳ４の中点Ｃ２における深度とする。
推定部１２４は、中点Ｃ１及び中点Ｃ２の深度を用いて、実座標を求める。推定部１２４は、求めた実座標に基づき、画像Ｉ１を撮像した撮像部１１から籠車までの距離を推定する。また、推定部１２４は、画像Ｉ１を撮像した撮像部１１の方向を基準とする籠車が存在する位置の角度を推定してもよい。
中点Ｃ１は、籠車が有する複数の辺のうち、画像を撮像した撮像部１１に最も近い辺である。すなわち、推定部１２４は、籠車が有する複数の辺のうち、画像を撮像した撮像部１１に近い辺の中心点の座標と角度を推定する。

【0068】

また、推定部１２４は、２点のキーポイントＫＰの実座標に基づき、画像Ｉ１を撮像した撮像部１１に対する籠車の傾き（角度θ）を推定する。具体的には、角度θは、下の式（１）により算出される。

【0069】

【数1】

【0070】

より具体的には、２つのキーポイントＫＰの実座標を（ｘ１、ｙ１、ｚ１）及び（ｘ２、ｙ２、ｚ２）とし、ｙ１＜ｙ２としたとき、ｘ１とｘ２との差が所定の誤差εの範囲内であれば、角度θは９０度とする。また、ｘ１とｘ２との差が所定の誤差εの範囲より大きければ、角度θは９０度とする。ｙ２－ｙ１をｘ２－ｘ１で除した値のアークタンジェントにより、角度θを算出する。所定の誤差εとは、１［°］から３［°］程度であってもよい。

【0071】

なお、推定部１２４は、前回の測定結果等に基づいて、異常値の検出を行ってもよい。推定された結果が異常である場合には、再度撮像装置１１により画像Ｉ１及び深度情報Ｉ２を取得することにより、正常な値が取得できるよう構成してもよい。
また、異常値が検出された際における対象物２０と移動体１０との距離と、正常値が検出された際における対象物２０と移動体１０との距離とに基づいて、撮像装置１１が対象物２０を撮像する位置Ｐ２を決定してもよい。

【0072】

図１１は、実施形態に係る判定装置により算出されたキーポイントの一例を示す図である。図９及び図１０を参照しながら行った説明においては、簡略化のため二次元の場合について説明した。しかしながら、撮像装置１１が撮像する対象は３次元的であるため、検出部１２２は、８個のキーポイントＫＰすべてについて検出する。

【0073】

具体的には、検出部１２２は、底面Ｂを特定するためのキーポイントＫＰとしてキーポイントＫＰ１からキーポイントＫＰ４を検出し、車輪Ｗを特定するためのキーポイントＫＰとしてキーポイントＫＰ５からキーポイントＫＰ８を検出する。

【0074】

［移動体の一連の動作］
図１２は、実施形態に係る移動体の一連の動作の一例について説明するための図である。同図を参照しながら、移動体１０の一連の動作について説明する。
（ステップＳ１１０）移動体１０は、地図情報に基づき、対象物２０の近傍である位置Ｐ２へ移動する。
（ステップＳ１２０）移動体１０は、位置Ｐ２において移動体周辺のカメラストリームを取得する。具体的には、カメラストリームとは、深度カメラのストリームであってもよい。換言すれば、移動体１０は、撮像装置１１により画像情報ＩＩを取得する。画像情報ＩＩは、画像Ｉ１及び深度情報Ｉ２を含む。

【0075】

（ステップＳ１３０）検出部１２２は、判定システム２により予め学習された学習済みモデルを用いて機械学習により、取得した画像Ｉ１から、キーポイントＫＰの位置座標を検出する。
（ステップＳ１４０）算出部１２３は、検出された位置座標についての情報と、深度情報Ｉ２とに基づき、キーポイントＫＰの位置座標における深度を算出する。

【0076】

（ステップＳ１５０）推定部１２４は、算出されたキーポイントＫＰの位置座標における深度に基づき、対象物２０の姿勢を推定する。
（ステップＳ１６０）移動体制御装置１３は、推定された対象物２０の姿勢に基づいて、対象物２０を目的位置まで移動させる。

【0077】

［移動体制御システムの変形例］
図１３は、実施形態に係る移動体制御システムの変形例について説明するための図である。同図を参照しながら、移動体制御システム１の変形例である移動体制御システム１Ａについて説明する。移動体制御システム１は、複数の移動体を制御する中央制御装置５０を備える点において、移動体制御システム１とは異なる。移動体制御システム１Ａの説明において、移動体制御システム１と同様の構成については、移動体制御システム１と同様の符号を付すことにより説明を省略する場合がある。

【0078】

中央制御装置５０は、移動体１０が有する判定装置１２に相当する機能を有する。中央制御装置５０は、所定の通信ネットワークＮＷを介して複数の移動体１０Ａと接続される。移動体１０Ａは、移動体１０の変形例である。移動体１０Ａは、対象物２０についての画像情報を、通信ネットワークＮＷを介して中央制御装置５０に送信する。中央制御装置５０は、取得した画像情報に基づき、対象物２０の姿勢を推定し、推定した結果を移動体１０Ａに送信する。移動体１０Ａは、中央制御装置５０から取得した対象物２０の姿勢についての情報に基づき、対象物２０を運搬する。

【0079】

すなわち、移動体制御システム１Ａにおいては、移動体１０が有する判定装置１２に相当する機能を、移動体１０ではなく中央制御装置５０が行う点において、移動体制御システム１とは異なる。移動体制御システム１Ａは、複数の移動体１０Ａに代えて、中央制御装置５０が判定装置１２に相当する機能を有することにより、移動体１０Ａのリソースを削減することができる。

【0080】

［実施形態のまとめ］
以上説明した実施形態によれば、判定装置１２は、画像情報取得部１２１を備えることにより画像Ｉ１と深度情報Ｉ２とを含む画像情報ＩＩを取得し、検出部１２２を備えることにより画像Ｉ１に撮像された対象物２０のキーポイントＫＰの位置座標を検出し、算出部１２３を備えることによりキーポイントＫＰの深度を算出し、推定部１２４を備えることにより対象物２０の姿勢を推定する。
すなわち、本実施形態によれば、キーポイントＫＰの位置を検出した後に、検出したキーポイントＫＰの位置に基づいて深度を算出する。換言すれば、画像Ｉ１から機械学習により直接的にキーポイントＫＰの深度を求めることなく、一旦キーポイントＫＰの位置を検出した後に、深度情報Ｉ２に基づいて深度を検出する。したがって、本実施形態によれば、対象物２０の姿勢を精度よく検出することができる。

【0081】

また、以上説明した実施形態によれば、判定装置１２は、推定部１２４は、画像Ｉ１を撮像した撮像部１１に対する対象物２０の傾きを、対象物２０の姿勢として推定する。したがって、本実施形態によれば、判定装置１２を備える移動体１０は、自身に対する対象物２０の角度を認識することができる。移動体１０は、自身に対する対象物２０の角度を認識することができるため、対象物２０を把持等することにより、精度よく目的位置まで運搬することができる。

【0082】

また、以上説明した実施形態によれば、判定装置１２は、対象物２０である籠車が撮像された画像Ｉ１のうち、キーポイントＫＰとして、少なくとも１つの車輪Ｗの位置を検出する。したがって、本実施形態によれば、判定装置１２は、籠車の姿勢を判定することができる。

【0083】

また、以上説明した実施形態によれば、判定装置１２が姿勢を判定する籠車は、荷物を積載可能な底面Ｂと、４個の車輪Ｗとを備える。判定装置１２は、検出部１２２により、底面Ｂを特定する４点と、４個の車輪Ｗの位置をそれぞれ特定する４点とをキーポイントＫＰとして検出する。したがって、本実施形態によれば、判定装置１２は、籠車の姿勢を容易に判定することができる。

【0084】

また、以上説明した実施形態によれば、判定装置１２は、推定部１２４を備えることにより、画像Ｉ１を撮像した撮像部１１から籠車までの距離と、画像Ｉ１を撮像した撮像部１１に対する籠車の傾きとを推定する。したがって、本実施形態によれば、判定装置１２を備える移動体１０は、自身と対象物２０との間の距離と、自身に対する対象物２０の角度を認識することができる。移動体１０は、自身と対象物２０との間の距離と、自身に対する対象物２０の角度とを認識することができるため、対象物２０を容易に把持等することにより、精度よく目的位置まで運搬することができる。

【0085】

また、以上説明した実施形態によれば、判定装置１２において、検出部１２２は、学習済みモデルを備え、機械学習によりキーポイントＫＰを検出する。したがって、本実施形態によれば、２次元画像におけるキーポイントＫＰの検出は機械学習で行い、その後の３次元的な対象物２０の姿勢の推定については、ソフトウェア処理により行う。したがって、本実施形態によれば、精度よく対象物２０の姿勢を判定することができる。また、本実施形態によれば、学習に要する時間を短縮することができる。

【0086】

また、以上説明した実施形態によれば、判定システム２は、記憶装置３０を備えることにより、対象物２０が撮像された画像Ｉ１と、対象物２０のキーポイントの位置座標とを記憶し、モデル生成手段３１を備えることにより、記憶装置３０に記憶された情報を教師データとしてとして用い学習済みモデルを生成する。したがって、本実施形態によれば、キーポイントＫＰの検出に要するモデルを学習させることができる。

【0087】

なお、上述した実施形態における移動体制御システム１が備える各部の機能の全体あるいはその機能の一部は、これらの機能を実現するためのプログラムをコンピュータにより読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0088】

また、「コンピュータにより読み取り可能な記録媒体」とは、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに、「コンピュータにより読み取り可能な記録媒体」とは、インターネット等のネットワークを介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0089】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0090】

１…移動体制御システム、１０…移動体、１１…撮像装置、１２…判定装置、１３…移動体制御装置、１４…移動体駆動装置、２０…対象物、１２１…画像情報取得部、１２２…検出部、１２３…算出部、１２４…推定部、２…判定システム、３０…記憶装置、３１…モデル生成手段、３２…学習済みモデル、５０…中央制御装置、Ｉ１…画像、Ｉ２…深度情報、Ｉ３…位置座標情報、Ｉ４…キーポイント深度情報、ＩＩ…画像情報、ＪＩ…判定情報、ＣＩ…制御情報、ＤＩ…検出情報、ＫＤＩ…キーポイント深度情報、Ｗ…車輪、Ｂ…底面、ＫＰ…キーポイント

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】