特許 7448035 情報処理装置、３次元位置推定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-04

(45)【発行日】2024-03-12

(54)【発明の名称】情報処理装置、３次元位置推定方法、及びプログラム

(51)【国際特許分類】

   B66F 9/24 20060101AFI20240305BHJP

【ＦＩ】

B66F9/24 L

【請求項の数】 10

(21)【出願番号】P 2022564999

(86)(22)【出願日】2020-11-30

(86)【国際出願番号】 JP2020044505

(87)【国際公開番号】W WO2022113344

(87)【国際公開日】2022-06-02

【審査請求日】2023-05-26

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】甲斐 夏季

【審査官】加藤 三慶

(56)【参考文献】

【文献】特開２０１９－１５６６４１（ＪＰ，Ａ）

【文献】特開２０１５－２２５４５０（ＪＰ，Ａ）

【文献】特開２０１９－１９９３３１（ＪＰ，Ａ）

【文献】特開２０１７－１５１６５０（ＪＰ，Ａ）

【文献】特開２０１８－１７９５９９（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９６５０２９２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出する検出部と、
前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得する取得部と、
検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正する補正部と、
前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定する位置推定部と、を備える情報処理装置。

【請求項2】

前記補正部は、
前記深さ画像において、前記穴部及び前記フォークの形状を示す位置の深さ情報が計測されていない場合に、前記位置の周辺の深さ情報を用いて、前記位置の深さ情報を推定する、請求項１に記載の情報処理装置。

【請求項3】

前記補正部は、
前記穴部の形状を示す位置の深さ情報が計測されていない場合に、前記穴部内の任意の位置から前記穴部の外側方向へ深さ情報を探索し、得られた深さ情報を用いて、前記深さ情報が計測されていない位置の深さ情報を推定する、請求項２に記載の情報処理装置。

【請求項4】

前記補正部は、
前記フォークの形状を示す位置の深さ情報が計測されていない場合に、深さ情報が計測されていない位置から、前記フォーク内の方向へ深さ情報を探索し、得られた深さ情報を用いて、前記深さ情報が得られていない位置の深さ情報を推定する、請求項２又は３に記載の情報処理装置。

【請求項5】

前記検出部は、
前記画像を撮影したカメラにおいて事前に撮影された周辺画像から抽出された特徴点と、前記画像から抽出された特徴点とを比較することによって、前記搬送用パレットの穴部及び前記フォークの形状を検出する、請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記検出部は、
ヒステリシスを持ったエッジ検出を行うことによって前記穴部及び前記フォークの形状を検出する、請求項５に記載の情報処理装置。

【請求項7】

前記検出部は、
前記搬送用パレットの穴部及び前記フォークの形状を示す複数の特徴点の２次元座標を特定し、
前記補正部は、
前記複数の特徴点のうち、深さ情報が不明である点の深さ情報を補正する、請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項8】

前記画像内の前記搬送用パレットに付されたマーカーを検出し、前記画像を撮影したカメラに関する外部パラメータを推定するカメラパラメータ推定部をさらに備え、
前記位置推定部は、前記深さ情報及び前記外部パラメータに基づいて、前記穴部及び前記フォークの３次元位置を推定する、請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出し、
前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得し、
検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正し、
前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定する、情報処理装置において実行される３次元位置推定方法。

【請求項10】

搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出し、
前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得し、
検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正し、
前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定することをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は情報処理装置、３次元位置推定方法、及びプログラム等に関する。

【背景技術】

【0002】

近年、物流分野における労働力不足の解消を目的として、フォークリフトを人が操作するのではなく、人の操作を必要とせずに自律的にフォークリフトを動作させる技術が検討されている。このように、自律的に動作するフォークリフトを物流分野に用いる場合、フォークリフトのフォークをパレット穴に正確に挿入するように動作させる必要がある。

【0003】

特許文献１には、カメラが備え付けられたフォークリフトの構成が開示されている。特許文献１に開示されているフォークリフトは、カメラを用いて搬送用パレットを撮影し、撮影した画像に基づいて、搬送用パレットの位置を検出する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１６２１２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示されている搬送用パレットの位置の検出システムにおいては、フォークリフトに、正確にカメラを取り付ける必要がある。言い換えると、フォークリフトに取り付けられたカメラが傾いている場合、傾いているカメラを用いて搬送用パレットの位置が検出されたとしても、フォークリフトのフォークを正確に搬送用パレットの穴に挿入することができないという問題がある。

【0006】

本開示の目的の１つは、フォークリフトのフォークを搬送用パレットの穴に正確に挿入することができる情報処理装置、３次元位置推定方法、及びプログラム等を提供することにある。

【課題を解決するための手段】

【0007】

本開示に係る情報処理装置は、搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出する検出部と、前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得する取得部と、検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正する補正部と、前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定する位置推定部と、を備える。

【0008】

本開示に係る３次元位置推定方法は、搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出し、前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得し、検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正し、前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定する。

【0009】

本開示に係るプログラム或いはそのプログラムが格納された記録媒体は、搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出し、前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得し、検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正し、前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定することをコンピュータに実行させる。

【発明の効果】

【0010】

本開示により、フォークリフトのフォークを搬送用パレットの穴に正確に挿入することができる情報処理装置、３次元位置推定方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１にかかる情報処理装置の構成図である。

【図2】実施の形態２にかかる情報処理装置の構成図である。

【図3】実施の形態２にかかる検出されたパレット及びフォークを示す図である。

【図4】実施の形態２にかかる深さ画像を示す図である。

【図5】実施の形態２にかかる搬送用パレットの穴部に関する深さ画像の補正処理を説明する図である。

【図6】実施の形態２にかかるフォークに関する深さ画像の補正処理を説明する図である。

【図7】実施の形態２にかかる３次元位置の推定処理の流れを示す図である。

【図8】それぞれ実施の形態２にかかる情報処理装置の構成図である。

【発明を実施するための形態】

【0012】

（実施の形態１）
以下、図面を参照して本開示の実施の形態について説明する。図１を用いて実施の形態１にかかる情報処理装置１０の構成例について説明する。情報処理装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。また、情報処理装置１０は、フォークリフトに搭載され、フォークリフトの移動及び操作等が、情報処理装置１０によって制御されてもよい。もしくは、情報処理装置１０と、フォークリフトに備え付けられたコンピュータ装置とが通信し、フォークリフトの移動及び操作等が、情報処理装置１０から受信した制御メッセージによって制御されてもよい。言い換えると、フォークリフトは、情報処理装置１０によって遠隔操作されてもよい。フォークリフトは、自律的に動作し、搬送用パレットを運搬する。

【0013】

情報処理装置１０は、検出部１１、取得部１２、補正部１３、及び位置推定部１４を有している。検出部１１、取得部１２、補正部１３、及び位置推定部１４等の情報処理装置１０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、情報処理装置１０の構成要素は、チップもしくは回路等のハードウェアであってもよい。

【0014】

検出部１１は、搬送用パレットと、搬送用パレットを支持するためのフォークとを含む画像を用いて、フォークが挿入される搬送用パレットの穴部及びフォークの形状を検出する。搬送用パレットとフォークとを含む画像は、例えば、一枚の画像に搬送用パレット及びフォークとが映し出されている画像であってもよい。もしくは、搬送用パレットとフォークとを含む画像は、一つのフレーム内に、搬送用パレット及びフォークが含められている画像であってもよい。もしくは、搬送用パレットとフォークとを含む画像は、搬送用パレット及びフォークとが同時に映し出された動画であってもよい。

【0015】

検出部１１は、例えば、エッジ検出を行うことによって、搬送用パレットの穴部及びフォークの形状を検出してもよい。エッジ検出が行われることによって、搬送用パレットの穴部及びフォークの輪郭が示されることになる。エッジ検出は、特徴抽出等と言い換えられてもよい。

【0016】

取得部１２は、画像に含まれる搬送用パレットの穴部及びフォークの深さ情報を示す深さ画像を取得する。深さ画像は、デプスマップ（深度マップ）と称されてもよい。深さ画像は、例えば、カメラから画像内の対象物までの距離を示す画像であってもよい。深度マップは、環境画像の画角内の各位置の深度もしくは奥行が、数値として示されるデジタル情報である。例えば、深さ画像においては、異なる距離に存在する対象物の色を変更することによって、距離の差異が示されてもよい。取得部１２は、3次元位置を認識可能なセンサによって生成された深さ画像を取得してもよい。

【0017】

補正部１３は、検出部１１において検出された搬送用パレットの穴部及びフォークの形状を用いて、深さ画像において穴部及びフォークの形状を認識できるように深さ情報を補正する。カメラから対象物までの距離を示す深さ情報にノイズが含まれる場合、深さ画像において、対象物が明確に示されない場合がある。具体的には、深さ画像において、対象物の輪郭が明瞭に示されない場合がある。このような場合に、補正部１３は、深さ画像における不明瞭な輪郭の深さ情報を、検出部１１において検出された搬送用パレットの穴部及びフォークの形状を用いて補正する。

【0018】

位置推定部１４は、補正部１３において深さ情報が補正された深さ画像に基づいて、搬送用パレットの穴部及びフォークの３次元位置を推定する。位置推定部１４は、例えば、搬送用パレット及びフォークを含む画像と、深さ画像とを用いて、VSLAM（Visual Simultaneous Localization and Mapping）を実行することによって、搬送用パレットの穴部及びフォークの３次元位置を推定してもよい。

【0019】

以上説明したように、情報処理装置１０は、搬送用パレットの穴部及びフォークを含む画像を用いて、それぞれの３次元位置を推定することができる。さらに、情報処理装置１０は、搬送用パレットの穴部及びフォークの３次元位置を推定するために必要な深さ画像の精度を向上させるために、搬送用パレットの穴部及びフォークの形状を用いることができる。その結果、情報処理装置１０は、搬送用パレットの穴部及びフォークの３次元位置を正確に推定することができるため、フォークを搬送用パレットの穴部に正確に挿入するように、フォークリフトを制御することができる。

【0020】

（実施の形態２）
続いて、図２を用いて実施の形態２にかかる情報処理装置２０の構成例について説明する。情報処理装置２０は、検出部１１、補正部１３、位置推定部１４、画像取得部２１、カメラパラメータ推定部２２、及び特徴量記憶部２３を有している。検出部１１、補正部１３、及び位置推定部１４については、図１との差異を主に説明する。画像取得部２１、カメラパラメータ推定部２２、及び特徴量記憶部２３等の情報処理装置２０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、情報処理装置２０の構成要素は、チップもしくは回路等のハードウェアであってもよい。

【0021】

画像取得部２１は、図１の取得部１２に相当する。画像取得部２１は、搬送用パレットの穴部及びフォークの３次元位置を推定するために用いられる画像を取得する。例えば、画像取得部２１は、搬送用パレットの穴部及びフォークが同一フレーム内に含まれるRGB-D（Red Green Blue and Depth）画像を取得してもよい。RGB-D画像は、カラー画像であるRGB画像及び深さ画像を含む画像である。RGB-D画像は、例えば、RGB-DカメラもしくはRGB-Dセンサにおいて生成されてもよい。RGB-DカメラもしくはRGB-Dセンサは、カメラから対象物までの距離を検知する距離センサを搭載したデバイスである。以下においては、RGB-Dカメラに関する説明は、RGB-Dセンサにおいても同様に適用される。

【0022】

RGB-Dカメラは、例えば、情報処理装置２０による制御に従って自律的に動作するフォークリフトに備え付けられてもよい。RGB-Dカメラは、フォークリフトのフォークの先端を撮影可能な位置に取り付けられてもよい。つまり、フォークリフトは、RGB-Dカメラを用いてフォークリフトのフォークを撮影しながら、搬送用パレットを撮影可能な位置まで移動する。さらに、フォークリフトは、フォークを搬送用パレットの穴部に挿入する位置に移動する。

【0023】

画像取得部２１は、RGB-Dカメラとケーブル等を介して接続してもよく、無線通信回線を介してRGB-Dカメラと接続してもよい。もしくは、画像取得部２１は、RGB-Dカメラを含んでもよい。画像取得部２１は、フォークリフトの移動中に、RGB-Dカメラを用いてリアルタイムに撮影されたRGB-D画像を取得する。

【0024】

カメラパラメータ推定部２２は、RGB画像を用いて、RGB-Dカメラの外部パラメータを推定する。また、カメラパラメータ推定部２２は、推定した外部パラメータを位置推定部１４へ出力する。外部パラメータは、例えば、ワールド座標系をカメラ内において定められた座標であるカメラ座標へ変換するために用いられるパラメータであってもよい。外部パラメータは、例えば、回転行列及び位置ベクトルを含むパラメータであってもよい。また、カメラの画角に関する情報を含む内部パラメータは、予め定められているとする。画角は、一般的に水平の画素数、垂直の画素数、光学センサーとレンズとの焦点距離などから構成される。

【0025】

カメラパラメータ推定部２２は、RGB画像から、搬送用パレットに張り付けられたQR（Quick Response）マーカーを認識する。搬送用パレットには、QRマーカーではなく、他のマーカーが張り付けられてもよい。例えば、カメラパラメータ推定部２２は、RGB画像に含まれる搬送用パレットのQRマーカーの位置及び姿勢を推定する。具体的には、カメラパラメータ推定部２２は、QRマーカーのRGB画像内の２次元座標を推定する。カメラパラメータ推定部２２は、QRマーカーの２次元座標を用いて、ワールド座標系におけるカメラの外部パラメータを推定する。２次元座標を用いてカメラの外部パラメータを推定する手法は、一般的に用いられている手法を用いればよく、特定の手法に限定されない。

【0026】

特徴量記憶部２３は、フォークリフトに備え付けられたRGB-Dカメラを用いて撮影されたRGB画像から抽出された搬送用パレットの穴部及びフォークの特徴点の特徴量を記憶する。搬送用パレットの穴部及びフォークの特徴点は、例えば、搬送用パレットの穴部及びフォークの輪郭を示す情報であってもよい。搬送用パレットの穴部及びフォークの特徴点の抽出は、搬送用パレットの穴部及びフォークの３次元位置を推定する前の事前処理として行われてもよい。例えば、検出部１１が、事前に撮影されたRGB画像を用いて、搬送用パレットの穴部及びフォークの特徴点を抽出し、抽出した特徴点の特徴量を特徴量記憶部２３に記憶してもよい。例えば、検出部１１は、SIFT、SURF、ORB、AKAZE等を用いて特徴点を抽出してもよい。もしくは、情報処理装置２０とは異なる装置において、事前に撮影されたRGB画像を用いて、搬送用パレットの穴部及びフォークの特徴点が抽出され、抽出された特徴点に関する特徴量が特徴量記憶部２３に記憶されてもよい。

【0027】

検出部１１は、特徴量記憶部２３に事前に格納された搬送用パレットの穴部及びフォークの特徴点を用いて、フォークリフトが移動中にリアルタイムに撮影されたRGB画像に含まれる搬送用パレットの穴部及びフォークの検出を行う。

【0028】

ここで、検出部１１が実行する搬送用パレットの穴部及びフォークの検出処理について詳細に説明する。具体的には、検出処理として、ヒステリシスを持つエッジ検出について説明する。検出部１１は、リアルタイムに撮影された2次元（X-Y）座標をなすRGB画像のX方向及びY方向の１次微分を計算することによって、特徴量として、輝度勾配Gと勾配の方向Dとを取得する。さらに、検出部１１は、勾配の方向Dに沿って、非最大抑制を実行することによって、エッジ部分を細線化する。検出部１１は、ある特徴点の輝度勾配Gが予め定められた閾値以上である場合に、当該特徴点をエッジとして検出する。

【0029】

このようにエッジとなる点を検出した場合に、エッジの線が途切れてしまうことがある。言い換えると、連続するエッジの線の一部分がエッジと認識されない場合がある。これは、エッジの線の一部分の点において、輝度勾配Gが閾値未満の値を示す場合があるからである。このような、エッジの線が途切れるのを防ぐために、検出部１１は、ヒステリシスを持ったエッジ検出を行う。

【0030】

具体的には、検出部１１は、ある点における輝度勾配Gが閾値未満の値であった場合、勾配の方向Dにおける、その点の前後の点の輝度勾配Gを確認する。検出部１１は、輝度勾配Gが閾値未満である点の前後の点の輝度勾配Gが閾値以上であり、エッジとして検出されている場合、輝度勾配Gが閾値未満の値である点もエッジとして検出する。このようにして、検出部１１は、エッジの線が途切れるのを防止し、連続するエッジの線を検出する。

【0031】

例えば、検出部１１が検出した搬送用パレットの穴部及びフォークは、図３のように示される。図３は、検出部１１が、一つのRGB画像を用いて、ヒステリシスを持つエッジ検出を行った結果得られる画像である。図３は、搬送用パレット３０に、穴部３１及び穴部３２が含まれていることを示している。さらに図３は、搬送用パレット３０が映し出されている画像に、フォーク４１及びフォーク４２も映し出されていることを示している。図３の点線矢印は、フォークリフトが向かう方向を示しており、実際の画像には存在しない。また、検出部１１がエッジとして検出した点は、例えば、2次元座標を用いて（ｕ，ｖ）のように示される。

【0032】

補正部１３は、画像取得部２１において取得された深さ画像の深さ情報を補正する。深さ情報は、具体的には、RGB-Dカメラから対象物までの距離を示す情報である。例えば、画像取得部２１において取得された深さ画像は、図４に示されるような画像である場合がある。図４の深さ画像は、図３と同様に、穴部３１及び穴部３２を含む搬送用パレット３０と、フォーク４１及びフォーク４２が示されている。なお、図４の点線矢印は、フォークリフトが向かう方向を示しており、実際の画像には存在しない。穴部３１及び穴部３２の内部の網掛け領域は、奥行きが深く、深さ情報が不明な点の集合を示している。つまり、穴部３１及び穴部３２の内部の網掛け領域は、RGB-Dカメラから対象物までの距離が測定できていない領域であることを示している。また、フォーク４１及びフォーク４２に重畳する網掛け領域も、深さ情報が不明な点の集合を示している。

【0033】

図４に示されるように、深さ画像においては、深さ情報にノイズが含まれる場合に、穴部３１及び穴部３２の境界が、図３における穴部３１及び穴部３２の境界と比較して、不明瞭になる。同様に、フォーク４１の境界も、図３のフォーク４１の境界と比較して不明瞭になる。以下において、補正部１３が、不明瞭な境界部分の深さ情報を補正する処理について説明する。

【0034】

まず、穴部３１の境界部分が不明瞭な場合の補正処理について説明する。図５は、深さ画像において境界部分が不明瞭である穴部３１を示している。さらに、図５は、深さ情報が不明瞭な任意な点（ｕ１，ｖ１）と、穴部３１の中心点P_cを示している。深さ情報が不明瞭な任意な点（ｕ１，ｖ１）は、図３において穴部３１のエッジとして検出された点（ｕ，ｖ）のうち、深さ情報が不明な点を示している。

【0035】

中心点P_cの座標は、例えば、（（ｕ＿ｍａｘ－ｕ＿ｍｉｎ）／２，（ｖ＿ｍａｘ－ｖ＿ｍｉｎ）／２）と示されてもよい。ｕ＿ｍｉｎは、穴部３１のエッジを示す点のうち最小の値を示すｘ座標を示し、ｕ＿ｍａｘは、穴部３１のエッジを示す点のうち最大の値を示すｘ座標を示している。ｖ＿ｍｉｎは、穴部３１のエッジを示す点のうち最小の値を示すｙ座標を示し、ｖ＿ｍａｘは、穴部３１のエッジを示す点のうち最大の値を示すｙ座標を示している。「／」は割り算を示す（以下、同様）。

【0036】

補正部１３は、深さ情報が不明瞭な任意な点（ｕ１，ｖ１）の深さ情報を補正する場合、中心点P_cから、点（ｕ１，ｖ１）方向へ深さ情報を探索した場合に、最初に得られた深さ情報を、点（ｕ１，ｖ１）における深さ情報と推定する。図５の点線矢印は、深さ情報の探索方向を示している。具体的には、補正部１３は、図５における（ｕ２，ｖ２）の深さ情報を、点（ｕ１，ｖ１）における深さ情報の値として補正する。

【0037】

次に、フォーク４１の境界部分が不明な場合の補正処理について説明する。図６は、深さ画像において境界部分が不明瞭であるフォーク４１を示している。さらに、図６は、深さ情報が不明瞭な任意な点（ｕ３，ｖ３）と、フォーク４１の中心点F_cを示している。深さ情報が不明瞭な任意な点（ｕ３，ｖ３）は、図３においてフォーク４１のエッジとして検出された点（ｕ，ｖ）のうち、深さ情報が不明な点を示している。

【0038】

中心点F_cの座標は、例えば、（（ｕ＿ｍａｘ－ｕ＿ｍｉｎ）／２，（ｖ＿ｍａｘ－ｖ＿ｍｉｎ）／２）と示されてもよい。ｕ＿ｍｉｎは、フォーク４１のエッジを示す点のうち最小の値を示すｘ座標を示し、ｕ＿ｍａｘは、フォーク４１のエッジを示す点のうち最大の値を示すｘ座標を示している。ｖ＿ｍｉｎは、フォーク４１のエッジを示す点のうち最小の値を示すｙ座標を示し、ｖ＿ｍａｘは、フォーク４１のエッジを示す点のうち最大の値を示すｙ座標を示している。

【0039】

補正部１３は、深さ情報が不明瞭な任意な点（ｕ３，ｖ３）の深さ情報を補正する場合、点（ｕ３，ｖ３）から中心点F_c方向へ深さ情報を探索した場合に、最初に得られた深さ情報を、点（ｕ３，ｖ３）における深さ情報と推定する。図６の点線矢印は、深さ情報の探索方向を示している。具体的には、補正部１３は、図６における（ｕ４，ｖ４）の深さ情報を、点（ｕ３，ｖ３）における深さ情報の値として補正する。

【0040】

図５においては、中心点P_Cから点（ｕ１，ｖ１）方向へ深さ情報を探索することを説明し、図６においては、点（ｕ３，ｖ３）から中心点F_c方向へ深さ情報を探索することを説明した。しかし、深さ情報の探索方向は、これらに限定されず、例えば、図５においては、補正部１３は、図３において穴部３１と検出された領域内の任意の点から、点（ｕ１，ｖ１）方向へ深さ情報を探索してもよい。また、図６においては、補正部１３は、点（ｕ３，ｖ３）から図３においてフォーク４１と検出された領域内の任意の点の方向へ深さ情報を探索してもよい。

【0041】

位置推定部１４は、カメラパラメータ推定部２２から外部パラメータを受け取り、検出部１１から搬送用パレットの穴部及びフォークのエッジの2次元座標を受け取り、さらに、補正部１３から、エッジの深さ情報を受け取る。位置推定部１４は、受け取ったそれぞれの情報を用いて、搬送用パレットの穴部及びフォークの3次元位置（3次元座標）を推定する。

【0042】

2次元座標と3次元座標とは、以下の式１の関係を満たす。

【0043】

【0044】

ｓは、2次元座標（ｕ，ｖ）の深さ情報を示す。左辺の第１項におけるｕ及びｖは、RGB画像から検出されたエッジの2次元座標を示す。式１の右辺の第１項は、内部パラメータを示す。式１の右辺の第２項は、外部パラメータを示す。式１の右辺の第３項は、2次元座標を用いて示される点（ｕ，ｖ）の3次元位置を示す。内部パラメータは、カメラの仕様から予め定められているとする。

【0045】

位置推定部１４は、式１へ、カメラパラメータ推定部２２、検出部１１、及び補正部１３から受け取った情報を当てはめることによって、搬送用パレットの穴部及びフォークの3次元位置（3次元座標）を算出する。

【0046】

続いて、図７を用いて実施の形態２にかかる３Ｄ画像の生成処理の流れについて説明する。３Ｄ画像は、特徴点の３次元位置が示されている画像である。はじめに、画像取得部２１は、RGB-D画像を取得する（Ｓ１１）。画像取得部２１が取得したRGB-D画像には、搬送用パレットの穴部及びフォークが同一フレームに含まれている。RGB-D画像は、カラー画像であるRGB画像及び深さ画像を含む。画像取得部２１は、フォークリフトに備え付けられているRGB-Dカメラにおいて撮影されたRGB-D画像を取得する。

【0047】

次に、カメラパラメータ推定部２２は、RGB画像内に、QRマーカーが含まれているかを判定する（Ｓ１２）。QRマーカーは、搬送用パレットに張り付けられているとする。つまり、RGB画像内にQRマーカーが含まれことは、RGB画像には搬送用パレットが含まれていることを意味する。

【0048】

ステップＳ１２において、カメラパラメータ推定部２２がRGB画像内にQRマーカーが含まれていないためQRマーカーを認識することができない場合、ステップＳ１１の処理に進み、画像取得部２１が、他のRGB-D画像を取得する。他のRGB-D画像は、既に取得したRGB-D画像と異なるタイミングに撮影されたRGB-D画像であってもよい。

【0049】

ステップＳ１２において、カメラパラメータ推定部２２は、RGB画像内に含まれるQRマーカーを認識した場合、RGB画像の撮影に用いられたカメラの外部パラメータを推定する（Ｓ１３）。QRマーカーを認識するとは、QRマーカーを読み取ると言い換えられてもよい。

【0050】

次に、検出部１１は、RGB画像に含まれる搬送用パレットの穴部及びフォークの検出を行う（Ｓ１４）。具体的には、検出部１１は、搬送用パレットの穴部及びフォークについてヒステリシスを持つエッジ検出を行ってもよい。検出部１１は、事前処理として、フォークリフトに備え付けられたカメラを用いて撮影されたRGB画像に含まれる特徴点の特徴量を特徴量記憶部２３に格納する。検出部１１は、特徴量記憶部２３に格納された特徴点の特徴量を用いて、フォークリフトが自律的に動作中にカメラにおいて撮影されたリアルタイムのRGB画像から、搬送用パレットの穴部及びフォークを検出する。

【0051】

次に、検出部１１は、搬送用パレットの穴部及びフォークの形状の２次元座標を特定する（Ｓ１５）。検出部１１が特定した２次元座標は、例えば、（ｕ，ｖ）のように示される。

【0052】

次に、補正部１３は、深さ画像（Depth画像）を読み込む（Ｓ１６）。深さ画像は、カメラから対象物までの距離を示す画像であり、環境画像の画角内の各位置の深度もしくは奥行が、数値として示されるデジタル情報である。

【0053】

次に、補正部１３は、深さ画像内の深さ情報の補正を行う（Ｓ１７）。具体的には、補正部１３は、深さ画像内において、搬送用パレットの穴部及びフォークの形状が不明瞭となっている箇所の深さ情報の補正を行う。搬送用パレットの穴部及びフォークの形状が不明瞭となっている箇所は、深さ情報が不明となっていることがある。このような場合に、補正部１３は、不明となっている特徴点の深さ情報を、周辺の特徴点における深さ情報を用いて補正する。

【0054】

次に、位置推定部１４は、カメラの外部パラメータ、搬送用パレットの穴部及びフォークの形状の２次元座標、及び搬送用パレットの穴部及びフォークの形状の２深さ情報を用いて、搬送用パレットの穴部及びフォークの形状の３次元位置を推定する（Ｓ１８）。つまり、位置推定部１４は、搬送用パレットの穴部及びフォークの３Ｄ画像を復元もしくは生成する。

【0055】

以上説明したように、実施の形態２にかかる情報処理装置２０は、搬送用パレットの穴部及びフォークが含まれているRGB-D画像を用いることによって、搬送用パレットの穴部及びフォークの３Ｄ画像を生成することができる。これにより、情報処理装置２０は、搬送用パレットの穴部及びフォークリフトの３次元位置を推定することができるため、フォークリフトのフォークを正確に搬送用パレットの穴部に挿入するように、フォークリフトの動作を制御することができる。

【0056】

また、情報処理装置２０は、搬送用パレットの穴部及びフォークの形状の特徴点に深さ情報が不明となる箇所の深さ情報を、周辺の特徴点の深さ情報を用いて補正する。これにより、情報処理装置２０は、深さ画像における搬送用パレットの穴部及びフォークの形状の深さ情報を特定することができる。その結果、情報処理装置２０は、搬送用パレットの穴部及びフォークの形状の３Ｄ画像を正確に生成することができる。

【0057】

図８は、情報処理装置１０及び情報処理装置２０（以下、情報処理装置１０等とする）の構成例を示すブロック図である。図８を参照すると、情報処理装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノード（e.g., eNB、MME、P-GW、）と通信するために使用されてもよい。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。ここで、eNBはevolved Node B、MMEはMobility Management Entity、P-GWはPacket Data Network Gatewayを表す。IEEEは、Institute of Electrical and Electronics Engineersを表す。

【0058】

プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された制御装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。

【0059】

メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。

【0060】

図８の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された情報処理装置１０等の処理を行うことができる。

【0061】

図８を用いて説明したように、上述の実施形態における情報処理装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。

【0062】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0063】

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0064】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出する検出部と、
前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得する取得部と、
検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正する補正部と、
前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定する位置推定部と、を備える情報処理装置。
（付記２）
前記補正部は、
前記深さ画像において、前記穴部及び前記フォークの形状を示す位置の深さ情報が計測されていない場合に、前記位置の周辺の深さ情報を用いて、前記位置の深さ情報を推定する、付記１に記載の情報処理装置。
（付記３）
前記補正部は、
前記穴部の形状を示す位置の深さ情報が計測されていない場合に、前記穴部内の任意の位置から前記穴部の外側方向へ深さ情報を探索し、得られた深さ情報を用いて、前記深さ情報が計測されていない位置の深さ情報を推定する、付記２に記載の情報処理装置。
（付記４）
前記補正部は、
前記フォークの形状を示す位置の深さ情報が計測されていない場合に、深さ情報が計測されていない位置から、前記フォーク内の方向へ深さ情報を探索し、得られた深さ情報を用いて、前記深さ情報が得られていない位置の深さ情報を推定する、付記２又は３に記載の情報処理装置。
（付記５）
前記検出部は、
前記画像を撮影したカメラにおいて事前に撮影された周辺画像から抽出された特徴点と、前記画像から抽出された特徴点とを比較することによって、前記搬送用パレットの穴部及び前記フォークの形状を検出する、付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記検出部は、
ヒステリシスを持ったエッジ検出を行うことによって前記穴部及び前記フォークの形状を検出する、付記５に記載の情報処理装置。
（付記７）
前記検出部は、
前記搬送用パレットの穴部及び前記フォークの形状を示す複数の特徴点の２次元座標を特定し、
前記補正部は、
前記複数の特徴点のうち、深さ情報が不明である点の深さ情報を補正する、付記１乃至５のいずれか１項に記載の情報処理装置。
（付記８）
前記画像内の前記搬送用パレットに付されたマーカーを検出し、前記画像を撮影したカメラに関する外部パラメータを推定するカメラパラメータ推定部をさらに備え、
前記位置推定部は、前記深さ情報及び前記外部パラメータに基づいて、前記穴部及び前記フォークの３次元位置を推定する、付記１乃至７のいずれか１項に記載の情報処理装置。
（付記９）
前記深さ画像は、
RGB-Dカメラを用いて撮影されたRGB-D画像に含まれる、付記１乃至７のいずれか１項に記載の情報処理装置。
（付記１０）
搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出し、
前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得し、
検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正し、
前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定する、情報処理装置において実行される３次元位置推定方法。
（付記１１）
搬送用パレットと、前記搬送用パレットを支持するためのフォークとを含む画像を用いて、前記フォークが挿入される前記搬送用パレットの穴部及び前記フォークの形状を検出し、
前記画像に含まれる前記穴部及び前記フォークの深さ情報を示す深さ画像を取得し、
検出された前記穴部及び前記フォークの形状を用いて、前記深さ画像において前記穴部及び前記フォークの形状を認識できるように前記深さ情報を補正し、
前記深さ情報に基づいて、前記穴部及び前記フォークの３次元位置を推定することをコンピュータに実行させるプログラム。

【符号の説明】

【0065】

１０ 情報処理装置
１１ 検出部
１２ 取得部
１３ 補正部
１４ 位置推定部
２０ 情報処理装置
２１ 画像取得部
２２ カメラパラメータ推定部
２３ 特徴量記憶部
３０ 搬送用パレット
３１ 穴部
３２ 穴部
４１ フォーク
４２ フォーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】