特開 2023-162799 情報処理装置、情報処理方法、プログラム及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023162799

(43)【公開日】2023-11-09

(54)【発明の名称】情報処理装置、情報処理方法、プログラム及びシステム

(51)【国際特許分類】

   G01S 15/42 20060101AFI20231101BHJP

   B25J 13/08 20060101ALI20231101BHJP

【ＦＩ】

G01S15/42

B25J13/08 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022073444

(22)【出願日】2022-04-27

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】鮫田 芳富

(72)【発明者】

【氏名】小川 純平

(72)【発明者】

【氏名】西川 浩行

【テーマコード（参考）】

3C707

5J083

【Ｆターム（参考）】

3C707AS01

3C707BS09

3C707KS07

3C707KS36

3C707KT01

3C707KT06

3C707KV18

3C707KX19

3C707LV14

5J083AA02

5J083AB12

5J083AC29

5J083AD01

5J083AD04

5J083AD13

5J083AF01

5J083AG05

5J083BA01

5J083BA02

5J083BB12

5J083BE18

5J083BE53

5J083CA03

5J083CA10

5J083CA13

(57)【要約】

【課題】物品との距離及び物品の形状を適切に認識することができる情報処理装置、情報処理方法、プログラム及びシステムを提供する。
【解決手段】実施形態によれば、情報処理装置は、センサインターフェースと、プロセッサと、を備える。センサインターフェースは、物品に超音波を照射する超音波送信素子と前記物品からの反射波を受信する超音波受信素子とに接続する。プロセッサは、前記センサインターフェースを介して、前記超音波送信素子から第１の周波数を有する超音波及び前記第１の周波数と異なる第２の周波数を有する超音波を照射し、前記超音波受信素子が受信する前記第１の周波数を有する超音波の第１の反射波及び前記第２の周波数を有する超音波の第２の反射波の強度を取得し、取得した前記第１の反射波の強度と前記第２の反射波の強度とに基づいて前記物品の形状を示す形状情報を生成する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

物品に超音波を照射する超音波送信素子と前記物品からの反射波を受信する超音波受信素子とに接続するセンサインターフェースと、
前記センサインターフェースを介して、前記超音波送信素子から第１の周波数を有する超音波及び前記第１の周波数と異なる第２の周波数を有する超音波を照射し、前記超音波受信素子が受信する前記第１の周波数を有する超音波の第１の反射波及び前記第２の周波数を有する超音波の第２の反射波の強度を取得し、
取得した前記第１の反射波の強度と前記第２の反射波の強度とに基づいて前記物品の形状を示す形状情報を生成する、
プロセッサと、
を備える情報処理装置。

【請求項2】

前記プロセッサは、前記第１の反射波又は前記第２の反射波に基づいて前記物品との距離を示す超音波距離情報を生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、前記第１の反射波の強度と前記第２の反射波の強度とに基づいて、前記物品の形状が平面、凸面、凹面又は段状の何れかを示す形状情報を生成する、
請求項２に記載の情報処理装置。

【請求項4】

前記プロセッサは、前記超音波距離情報及び前記形状情報に基づいて前記物品の全体の形状を認識する、
請求項２に記載の情報処理装置。

【請求項5】

前記物品との距離を光学的に測定するカメラに接続するカメラインターフェースを備え、
前記プロセッサは、
前記カメラを用いて前記物品との距離を示す光学距離情報を取得し、
前記光学距離情報にさらに基づいて前記物品を認識する、
請求項４に記載の情報処理装置。

【請求項6】

前記プロセッサは、前記光学距離情報においてデータが適切に得られなかった領域を、
前記超音波距離情報及び前記形状情報に基づいて、前記物品を認識する、
請求項５に記載の情報処理装置。

【請求項7】

前記物品を把持して移動する移動装置に接続する移動装置インターフェースを備え、
前記プロセッサは、
前記超音波距離情報及び前記形状情報に基づいて、前記移動装置が前記物品を移動する動作計画を生成する、
請求項２に記載の情報処理装置。

【請求項8】

複数の前記超音波送信素子を備え、
前記超音波送信素子は、前記物品の上面及び側面に前記超音波を照射するよう設置され、
前記プロセッサは、前記物品の上面及び側面の形状を示す前記形状情報を生成する、
請求項１に記載の情報処理装置。

【請求項9】

プロセッサによって実行される情報処理方法であって、
物品に超音波を照射する超音波送信素子から第１の周波数を有する超音波及び前記第１の周波数と異なる第２の周波数を有する超音波を照射し、超音波受信素子が受信する前記第１の周波数を有する超音波の第１の反射波及び前記第２の周波数を有する超音波の第２の反射波の強度を取得し、
取得した前記第１の反射波の強度と前記第２の反射波の強度とに基づいて前記物品の形状を示す形状情報を生成する、
情報処理方法。

【請求項10】

プロセッサによって実行されるプログラムであって、
前記プロセッサに、
物品に超音波を照射する超音波送信素子から第１の周波数を有する超音波及び前記第１の周波数と異なる第２の周波数を有する超音波を照射し、超音波受信素子が受信する前記第１の周波数を有する超音波の第１の反射波及び前記第２の周波数を有する超音波の第２の反射波の強度を取得する機能と、
取得した前記第１の反射波の強度と前記第２の反射波の強度とに基づいて前記物品の形状を示す形状情報を生成する機能と、
を実現するプログラム。

【請求項11】

センサ装置と情報処理装置とから構成されるシステムであって、
前記センサ装置は、
物品に超音波を照射する超音波送信素子と、
前記物品からの反射波を受信する超音波受信素子と
を備え、
前記情報処理装置は、
前記超音波送信素子と前記超音波受信素子とに接続するセンサインターフェースと、
前記センサインターフェースを介して、前記超音波送信素子から第１の周波数を有する超音波及び前記第１の周波数と異なる第２の周波数を有する超音波を照射し、前記超音波受信素子が受信する前記第１の周波数を有する超音波の第１の反射波及び前記第２の周波数を有する超音波の第２の反射波の強度を取得し、
取得した前記第１の反射波の強度と前記第２の反射波の強度とに基づいて前記物品の形状を示す形状情報を生成する、
プロセッサと、
を備える、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理方法、プログラム及びシステムに関する。

【背景技術】

【0002】

物流センタなどにおいてロボットを用いて物品を移動するシステムが提供されている。そのようなシステムは、物品を撮影した画像に基づいて物品（たとえば、物品の種類、形状又は位置など）を認識して物品をピッキングする。

【0003】

従来、システムは、物品が黒い箱又は透明な箱である、又は、ラッピングシートなどの透明なフィルムでまとめられている場合、物品との距離及び物品の形状などを適切に認識することができないことがある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１１０５７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の課題を解決するため、物品との距離及び物品の形状を適切に認識することができる情報処理装置、情報処理方法、プログラム及びシステムを提供する。

【課題を解決するための手段】

【0006】

実施形態によれば、情報処理装置は、センサインターフェースと、プロセッサと、を備える。センサインターフェースは、物品に超音波を照射する超音波送信素子と前記物品からの反射波を受信する超音波受信素子とに接続する。プロセッサは、前記センサインターフェースを介して、前記超音波送信素子から第１の周波数を有する超音波及び前記第１の周波数と異なる第２の周波数を有する超音波を照射し、前記超音波受信素子が受信する前記第１の周波数を有する超音波の第１の反射波及び前記第２の周波数を有する超音波の第２の反射波の強度を取得し、取得した前記第１の反射波の強度と前記第２の反射波の強度とに基づいて前記物品の形状を示す形状情報を生成する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る荷役システムの構成例を示す図である。

【図2】図２は、第１の実施形態に係るセンサ装置の構成例を示す図である。

【図3】図３は、第１の実施形態に係る荷役システムの制御系の構成例を示すブロック図である。

【図4】図４は、第１の実施形態に係るセンサ装置の動作例を示す図である。

【図5】図５は、第１の実施形態に係る受信強度と経過時間との関係を示すグラフである。

【図6】図６は、第１の実施形態に係るセンサ装置の動作例を示す図である。

【図7】図７は、第１の実施形態に係る受信強度と超音波の周波数との関係を示すグラフである。

【図8】図８は、第１の実施形態に係る受信強度と形状との関係を示す図である。

【図9】図９は、第１の実施形態に係る形状情報の例を示す図である。

【図10】図１０は、第１の実施形態に係る荷役システムの動作例を示すフローチャートである。

【図11】図１１は、第２の実施形態に係るセンサ装置の構成例を示す図である。

【発明を実施するための形態】

【0008】

以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
実施形態に係る荷役システムは、ロボットなどの荷役装置を用いて物品を移動する。荷役システムは、所定の領域に配置されている物品を認識する。荷役システムは、ロボットを用いて、認識された物品を把持して、コンベアなどに積載する。たとえば、荷役システムは、物流センタ又は倉庫などで用いられる。

【0009】

図１は、実施形態に係る荷役システム１の構成例を概略的に示す。図１に示すように、荷役システム１は、荷役装置１０と、センサ装置２０と、カメラ３０と、フレーム４０と、を備える。また、荷役装置１０は、移動装置５０と、制御装置６０と、を備える。制御装置６０と、カメラ３０、センサ装置２０及び移動装置５０とは、たとえば、シリアルケーブル又はＬＡＮ（Local Area Network）等を介して接続される。以下の説明において、上下方向は、荷役システム１の上下方向である。

【0010】

フレーム４０は、四角枠状の下枠部材４１と、四角枠状の上枠部材４２と、四つ（複数）の柱部材４３と、を有する。下枠部材４１は、床面Ｇに固定されている。上枠部材４２は、下枠部材４１の上方に設けられている。四つの柱部材４３は、下枠部材４１の四つの角部と上枠部材４２の四つの角部とを接続している。下枠部材４１内の床面Ｇにパレット２が配置されている。即ち、パレット２は、フレーム４０内に配置されている。床面Ｇは、水平方向に広がっている。

【0011】

パレット２は、フレーム４０を基準として規定の位置に位置されている。当該規定の位置に位置されたパレット２の上面の領域は、物品Ｗ１の載置領域Ｒ１である。なお、載置領域Ｒ１は、これに限定されない。載置領域Ｒ１は、例えば、床面Ｇ等に設けられていてもよい。載置領域Ｒ１には、複数の物品Ｗ１が載置されうる。物品Ｗ１は、例えば、ペットボトルや箱等である。本実施形態においては、１以上の物品Ｗ１を含む複数の荷物を指す場合に、物品群Ｗという。パレット２は、フォークリフト等により、移動されるものであってもよい。

【0012】

荷役装置１０は、パレット２の載置領域Ｒ１上に載置された物品Ｗ１を把持して所定の位置（移動先）に移動するための装置である。たとえば、荷役装置１０は、物品Ｗ１を移動先としてのコンベアなどに積載する。

【0013】

前述の通り、荷役装置１０は、移動装置５０と制御装置６０とを備える。移動装置５０は、パレット２及び移動先の周囲に配置されている。

【0014】

移動装置５０は、制御装置６０の制御に従って物品Ｗ１を移動する。移動装置５０は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３と、を備える。

【0015】

基台１１１は、床面Ｇに固定された筐体である。
アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された物品Ｗ１を上下方向に移動する動作及び水平方向に移動する動作を実行可能に構成されている。

【0016】

例えば、アーム部１１２は、１軸または２軸回りに回動可能な複数の関節により連結された３つの可動部で構成される。

【0017】

アーム部１１２の先端には、把持部１１３が取り付けられている。把持部１１３は、１つの物品Ｗ１を挟み込んで把持する。把持部１１３は、一対の爪部を備えるものであってもよい。なお、物品Ｗ１の把持は、挟持による把持方法に限定されない。例えば、把持部１１３は、負圧によって物品Ｗ１を吸着把持してもよい。また、把持部１１３は、２つの物品Ｗ１を一度に把持してもよい。

【0018】

制御装置６０（情報処理装置）は、センサ装置２０、カメラ３０及び移動装置５０を制御する装置である。すなわち、制御装置６０は、荷役システム１全体を制御する装置である。制御装置６０は、カメラ３０の撮像結果及びセンサ装置２０のセンシング結果に基づき、移動装置５０の動作を制御する。制御装置６０は、移動装置５０と一体的に設けられてもよいし、移動装置５０と別体として設けられてもよい。制御装置６０については、後に詳述する。

【0019】

なお、本実施形態では、移動装置５０と制御装置６０とを荷役装置としたが、これに限らず、制御装置６０を荷役装置としてもよい。

【0020】

カメラ３０は、パレット２の上方に設けられている。具体的には、カメラ３０は、フレーム４０の上枠部材４２に取り付け部材などを介して固定されている。図１が示す例では、カメラ３０は、上枠部材４２の枠内の中央部又は端に配置されている。カメラ３０は、一例として３Ｄカメラである。たとえば、カメラ３０は、ステレオカメラ又はレーザなどによって対象部との距離を光学的に測定する距離センサである。カメラ３０は、撮像装置の一例である。

【0021】

カメラ３０は、パレット２の載置領域Ｒ１に載置された物品群Ｗを上方から撮像する。カメラ３０は、各点における距離を示す光学距離情報を生成する。カメラ３０は、生成された光学距離情報を制御装置６０に出力する。カメラ３０の撮像範囲は、少なくとも物品群Ｗを含むように設定されている。

【0022】

センサ装置２０は、物品群Ｗに超音波を照射して反射した超音波（反射波）を受信する。センサ装置２０は、パレット２に載置された物品群Ｗの上方から物品群Ｗを含む範囲に超音波を照射する。センサ装置２０は、反射波の強度を示すセンシング結果を制御装置６０に出力する。カメラ３０の撮像範囲とセンサ装置２０が超音波を照射する範囲とは、同一の範囲でもよいし、いずれか一方が他方よりも広い範囲でもよい。

【0023】

図２は、センサ装置２０の構成例を示す。図２は、センサ装置２０を下方から見た図である。図２に示すように、センサ装置２０は、ハウジング２２と、複数の超音波送信素子２３と、複数の超音波受信素子２４と、を有する。ハウジング２２は、上下方向に扁平かつ平面視（底面視）で四角形状に形成されている。

【0024】

超音波送信素子２３は、一例として、ハウジング２２の中央および四隅に一つずつ配置されている。超音波送信素子２３は、載置領域Ｒ１に載置された物品群Ｗの上方から載置領域Ｒ１に向けて、即ち下方に向けて送信波として超音波を送信する。つまり、超音波送信素子２３は、載置領域Ｒ１に載置された物品群Ｗに向けて超音波を送信する。超音波送信素子２３は、オーディオ用のスピーカでもよい。超音波送信素子２３は、アンテナ素子によって構成されてもよい。

【0025】

近年のオーディオ用のスピーカ及びマイクは、数十ｋＨｚまでの周波数特性を持つものがある。これらを用いると、人の耳で感じにくい１０ｋＨｚ以上、数ｍまで届く周波数の４０ｋＨｚ以下が測定用の超音波周波数としてちょうどよいと考えられる。

【0026】

ここでは、超音波送信素子２３は、制御装置６０の制御に従って、１０から４０ｋＨｚの超音波を送信する。

【0027】

超音波受信素子２４は、超音波送信素子２３から送信された超音波の反射波を受信する。具体的には、超音波受信素子２４は、載置領域Ｒ１に載置された物品群Ｗの上方で、超音波送信素子２３から送信され物品群Ｗで反射した超音波（反射波）を受信する。即ち、超音波受信素子２４は、下方からの超音波（反射波）を受信可能である。超音波送信素子２３は、オーディオ用のマイクでもよい。超音波受信素子２４は、アンテナ素子によって構成されてもよい。

【0028】

超音波受信素子２４の数は、超音波送信素子２３の数よりも多い。複数の超音波送信素子２３及び複数の超音波受信素子２４は、載置領域Ｒ１の広さと略同じ広さの平面領域に不規則または２つ以上の異なる間隔による等間隔（例えば１１ｍｍ等間隔と１４ｍｍ等間隔との混合）に分散配置されている。これにより、虚像が低減される。

【0029】

次に、制御装置６０及びセンサ装置２０の制御系について説明する。
図３は、制御装置６０及びセンサ装置２０の制御系の例を示すブロック図である。図３に示すように、制御装置６０は、プロセッサ１２１、表示部１２２、操作部１２３、カメラコントローラ１２４、移動装置コントローラ１２５、センサコントローラ１２６、通信部１２７及び記憶部１２８を備える。プロセッサ１２１、表示部１２２、操作部１２３、カメラコントローラ１２４、移動装置コントローラ１２５、センサコントローラ１２６、通信部１２７及び記憶部１２８は、データバスなどを介して互いに接続する。

【0030】

プロセッサ１２１は、制御装置６０全体の動作を制御する機能を有する。プロセッサ１２１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１２１は、内部メモリ又は記憶部１２８が予め記憶するプログラムを実行することにより種々の処理を実現する。

【0031】

なお、プロセッサ１２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウェア回路により実現されるものであってもよい。この場合、プロセッサ１２１は、ハードウェア回路により実行される機能を制御する。

【0032】

たとえば、プロセッサ１２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等の制御装置である。

【0033】

表示部１２２は、プロセッサ１２１からの画像データを表示する。たとえば、表示部１２２は、液晶モニタから構成される。なお、操作部１２３がタッチパネルから構成される場合、表示部１２２は、操作部１２３としてのタッチパネルと一体的に形成されるものであってもよい。

【0034】

操作部１２３は、オペレータから種々の操作の入力を受け付ける。操作部１２３は、入力された操作を示す信号をプロセッサ１２１へ送信する。たとえば、操作部１２３は、マウス、キーボード又はタッチパネルなどから構成される。

【0035】

カメラコントローラ１２４（カメラインターフェース）は、カメラ３０に接続される。カメラコントローラ１２４は、プロセッサ１２１の制御に従ってカメラ３０の動作を制御する。たとえば、カメラコントローラ１２４は、カメラ３０に画像を撮影させる。また、カメラコントローラ１２４は、カメラ３０から光学距離情報を取得しプロセッサ１２１に送信する。

【0036】

移動装置コントローラ１２５（移動装置インターフェース）は、移動装置５０に接続される。移動装置コントローラ１２５は、プロセッサ１２１の制御に従って、移動装置５０の動作を制御する。移動装置コントローラ１２５は、アーム部１１２及び把持部１１３の動作を制御する。

【0037】

センサコントローラ１２６（センサインターフェース）は、センサ装置２０に接続される。センサコントローラ１２６は、プロセッサ１２１の制御に従って、センサ装置２０の動作を制御する。たとえば、センサコントローラ１２６は、超音波送信素子２３に超音波を送信させる。また、センサコントローラ１２６は、受信波の強度を示す反射波信号（センシング結果）を超音波受信素子２４から受信しプロセッサ１２１に送信する。

【0038】

通信部１２７は、外部装置とデータを送受信するためのインターフェースである。通信部１２７は、ネットワークなどを介して外部装置に接続する。たとえば、通信部１２７は、有線又は無線のＬＡＮ接続をサポートする。

【0039】

記憶部１２８は、データを一時的又は非一時的に格納する。記憶部１２８は、例えば、ＲＡＭ（Random Access Memory）等の主記憶装置、及び、フラッシュメモリ等の半導体メモリ素子又はハードディスク等の補助記憶装置によって実現される。記憶部１２８は、荷役装置１０の動作に係るプログラム又は設定情報等を記憶する。また、記憶部１２８は、移動装置５０の上下方向及び水平方向の移動限界位置、アーム部１１２の可動範囲、及び、把持部１１３の把持可能な物品Ｗ１の寸法の上限及び下限等を示した限界情報を記憶する。また、記憶部１２８は、物品Ｗ１のサイズ（寸法）又は形状等を示した荷物情報を記憶してもよい。

【0040】

次に、センサ装置２０について説明する。
図３に示すように、センサ装置２０は、超音波送信素子２３、超音波受信素子２４、送信制御部３０１、オペアンプ３０２、オペアンプ３０５及びフィルタ３０６などを備える。送信制御部３０１は、センサコントローラ１２６、オペアンプ３０２及びフィルタ３０６に接続する。オペアンプ３０２は、超音波送信素子２３に接続する。フィルタ３０６は、センサコントローラ１２６及びオペアンプ３０５に接続する。オペアンプ３０５は、超音波受信素子２４に接続する。

【0041】

送信制御部３０１は、センサコントローラ１２６からの制御に従って、送信する超音波の周波数に応じた周波数信号を生成する。送信制御部３０１は、オペアンプ３０２を介して、生成された周波数信号を超音波送信素子２３に送信する。即ち、送信制御部３０１で生成された周波数信号は、オペアンプ３０２を介して増幅された後、超音波送信素子２３に入力される。より具体的には、送信制御部３０１は、バースト信号又はチャープ信号を複数の超音波送信素子２３に順番に送信する。これにより、超音波送信素子２３から送信される超音波は、バースト波又はチャープ波となる。より詳細には、送信制御部３０１は、複数の超音波送信素子２３を、一定周期で順番に、１個または複数個まとめて駆動する。

【0042】

超音波送信素子２３は、周波数信号に応じた超音波を送信する。
超音波受信素子２４は、超音波送信素子２３が送信した超音波の反射波を受信する。超音波受信素子２４は、オペアンプ３０５を介して、受信された反射波の強度に応じた反射波信号をフィルタ３０６に送信する。即ち、超音波受信素子２４からの反射波信号は、オペアンプ３０５を介して増幅された後、フィルタ３０６に入力される。

【0043】

なお、図３では、超音波送信素子２３及び超音波受信素子２４が、それぞれ一つずつ示されているが、超音波送信素子２３及び超音波受信素子２４は、それぞれ複数設けられている。また、オペアンプ３０２及びオペアンプ３０５も、超音波送信素子２３及び超音波受信素子２４に対応して複数設けられている。

【0044】

フィルタ３０６は、入力された周波数信号及び反射波信号の両信号に対してフィルタ演算を行い、それら信号のフィルタ後の値を示す信号をセンサコントローラ１２６に出力する。

【0045】

次に、制御装置６０が実現する機能について説明する。制御装置６０が実現する機能は、プロセッサ１２１が内部メモリ又は記憶部１２８などに格納されるプログラムを実行することで実現される。

【0046】

まず、プロセッサ１２１は、カメラ３０を用いて物品群Ｗを撮影して得られた光学距離情報を取得する機能を有する。
たとえば、プロセッサ１２１は、通信部１２７などを通じて、載置領域Ｒ１に物品群Ｗが積載されたことを示す信号を受信する。当該信号を受信すると、プロセッサ１２１は、カメラコントローラ１２４を通じて、カメラ３０に撮像させる。プロセッサ１２１は、カメラコントローラ１２４を通じて、光学距離情報をカメラ３０から取得する。

【0047】

なお、プロセッサ１２１は、操作部１２３を通じて所定の操作を入力した場合に光学距離情報を取得するものであってもよい。また、プロセッサ１２１は、他のセンサなどを通じて、載置領域Ｒ１に物品群Ｗが積載されたことを検知するものであってもよい。

【0048】

また、プロセッサ１２１は、センサ装置２０を用いて物品群Ｗの各点までの距離を測定する機能を有する。

【0049】

まず、プロセッサ１２１は、超音波送信素子２３の１つを用いて第１の周波数（たとえば、３０ｋＨｚ）を有する超音波を照射する。超音波を照射すると、プロセッサ１２１は、各超音波受信素子２４から反射波（第１の反射波）の反射波信号を受信する。プロセッサ１２１は、各超音波送信素子２３を用いて同様に第１の周波数を有する超音波を照射し、各超音波受信素子２４から反射波信号を受信する。

【0050】

プロセッサ１２１は、反射波信号に基づいて各点の方向に応じた遅延加算処理を行い、第１の周波数において反射波信号の強度が所定の閾値以上になるタイミングを算出する。プロセッサ１２１は、算出されたタイミングに基づいて、各点における距離を算出する。プロセッサ１２１は、各点の位置（たとえば、座標）と距離とを対応付けて示す超音波距離情報を生成する。

【0051】

また、プロセッサ１２１は、各超音波送信素子２３を用いて、第１の周波数と異なる第２の周波数（たとえば、１５ｋＨｚ）を有する超音波を照射し同様に各点における反射波（第２の反射波）の反射波信号を取得する。

【0052】

物品群Ｗの上面の形状によって、反射波信号が示す強度は、異なる。図４は、物品群Ｗの表面の形状を示す。

【0053】

図４が示すように、ここでは、物品群Ｗの形状は、平面、凸面、凹面又は段状である。

【0054】

図５は、形状と反射波信号の強度（受信強度）との関係を示すグラフである。ここでは、超音波の周波数は、所定の値（たとえば、３０ｋＨｚ）であるものとする。また、図５は、センサ装置２０と物品群Ｗとが所定の距離離れている場合における反射波信号の強度を示す。図５では、横軸は、時間を示す。また、縦軸は、反射波信号の強度を示す。

【0055】

図５は、グラフ７１乃至７４を示す。
グラフ７１は、平面からの反射波信号の強度を示す。
グラフ７２は、凸面からの反射波信号の強度を示す。
グラフ７３は、凹面からの反射波信号の強度を示す。
グラフ７４は、段からの反射波信号の強度を示す。

【0056】

なお、プロセッサ１２１は、第２の周波数における反射波に基づいて超音波距離情報を生成してもよい。

【0057】

また、プロセッサ１２１は、第１の周波数における反射波信号の強度と第２の周波数における反射波信号の強度とに基づいて物品群Ｗの各点における形状を推定する機能を有する。

【0058】

ここで、超音波の周波数と物品の形状との関係について説明する。
反射波は、以下の式で示される。

【0059】

【数1】

【0060】

ここで、Ｒ（ｔ）は、反射波を示す。Ｗ（ｒ）は、形状に依存する超音波の反射を表す関数である。Ｐ（ｔ）は、送信波を示す。また、図６に示すように、ｒ０及びｒ１は、超音波送信素子２３から物品群Ｗの表面（上面）までの距離を示す。上記の通り、Ｒ（ｔ）は、ｒ０からｒ１までの畳み込み積分によって得られる。

【0061】

Ｗ（ｒ）、Ｐ（ｔ）、Ｒ（ｔ）のフーリエ変換をＷ（ω）、Ｐ（ω）、Ｒ（ω）とすると、以下の式が成り立つ。

【0062】

【数2】

【0063】

図７は、Ｒ（ω）の例を示すグラフである。図７では、横軸は、超音波の周波数を示す。縦軸は、Ｒ（ω）の値を示す。

【0064】

図７は、グラフ８１乃至８４を示す。
グラフ８１は、平面におけるＲ（ω）を示す。
グラフ８２は、凸面におけるＲ（ω）を示す。
グラフ８３は、凹面におけるＲ（ω）を示す。
グラフ８４は、段におけるＲ（ω）を示す。

【0065】

図８は、第１の周波数における受信強度と第２の周波数における受信強度とを示す。
グラフ８１が示すように、物品群Ｗの形状が平面である場合、第１の周波数における受信強度と第２の周波数における受信強度とは、共に大きい。

【0066】

また、グラフ８２が示すように、物品群Ｗの形状が凸面である場合、第１の周波数における受信強度は、中程度であり、第２の周波数における受信強度は、大きい。

【0067】

また、グラフ８３が示すように、物品群Ｗの形状が凹面である場合、第１の周波数における受信強度は、小さく、第２の周波数における受信強度は、大きい。

【0068】

また、グラフ８４が示すように、物品群Ｗの形状が段状である場合、第１の周波数における受信強度は、大きく、第２の周波数における受信強度は、小さい。

【0069】

プロセッサ１２１は、上記の特性に基づいて、物品群Ｗの上面における各点の形状を推定する。

【0070】

たとえば、プロセッサ１２１は、第１の周波数における受信強度と第２の周波数における受信強度とが共に所定の閾値以上である場合に、形状が平面であると推定する。また、プロセッサ１２１は、第１の周波数における受信強度と第２の周波数における受信強度との差が所定の閾値以下である場合に、形状が平面であると推定してもよい。

【0071】

また、プロセッサ１２１は、第１の周波数における受信強度が所定の範囲であり第２の周波数における受信強度と所定の閾値以上である場合に、形状が凸面であると推定する。また、プロセッサ１２１は、第１の周波数における受信強度と第２の周波数における受信強度との差が所定の範囲である場合に、形状が凸面であると推定してもよい。

【0072】

また、プロセッサ１２１は、第１の周波数における受信強度が所定の閾値以下であり第２の周波数における受信強度と所定の閾値以上である場合に、形状が凹面であると推定する。また、プロセッサ１２１は、第１の周波数における受信強度が第２の周波数における受信強度よりも小さく両者の差が所定の閾値以上である場合に、形状が凹面であると推定してもよい。

【0073】

また、プロセッサ１２１は、第１の周波数における受信強度が所定の閾値以上であり第２の周波数における受信強度と所定の閾値以下である場合に、形状が段状であると推定する。また、プロセッサ１２１は、第１の周波数における受信強度が第２の周波数における受信強度よりも大きく両者の差が所定の閾値以上である場合に、形状が段状であると推定してもよい。

【0074】

プロセッサ１２１は、物品群Ｗの上面の各点において同様に形状を推定する。プロセッサ１２１は、各点の位置（たとえば、座標）と形状とを対応付けて示す形状情報を生成する。

【0075】

図９は、形状情報の例を示す。図９では、載置領域Ｒ１を上方から視た場合における各点の形状を示す。図９が示す例では、凸面が連続して斜めに並んでいる。

【0076】

また、プロセッサ１２１は、光学距離情報、超音波距離情報及び形状情報に基づいて物品Ｗ１を認識する機能を有する。

【0077】

ここでは、超音波距離情報及び形状情報の解像度は、光学距離情報の解像度よりも低いものとする。

【0078】

たとえば、プロセッサ１２１は、光学距離情報と超音波距離情報とに基づいて、各点における距離を示す距離情報を生成する。
カメラ３０は、透明、反射又は黒色の物品を撮影すると、測距用のレーザ光等が反射しない領域のデータを適切に得られないことがある。そのような場合、プロセッサ１２１は、カメラ３０でデータが適切に得られなかった領域に、超音波距離情報が示す距離及び形状情報が示す形状を当てはめて、距離情報を生成する。即ち、プロセッサ１２１は、超音波距離情報及び形状情報に基づいて、光学距離情報においてデータが適切に得られなかった領域を補完する。

【0079】

距離情報を生成すると、プロセッサ１２１は、距離情報に基づいて各物品Ｗ１を認識する。たとえば、プロセッサ１２１は、物品Ｗ１の全体の形状を認識する。たとえば、プロセッサ１２１は、全体の形状として図９のように凸面が連続して並んでいる形状を認識した場合、パイプ状の物品を認識する。

【0080】

また、プロセッサ１２１は、超音波距離情報及び形状情報に基づく物品群Ｗの高さが、光学距離情報が示す物品群Ｗの高さより高い場合、物品群Ｗがフィルムなどに覆われているものと判定してもよい。たとえば、プロセッサ１２１は、物品群Ｗが複数の物品をフィルムでまとめた物品であるものと判定する。

【0081】

なお、プロセッサ１２１が物品を認識する方法は、特定の方法に限定されるものではない。

【0082】

また、プロセッサ１２１は、距離情報に基づいて物品の位置、外寸、形状又は向きなどを認識するものであってもよい。

【0083】

また、プロセッサ１２１は、認識された物品Ｗ１を把持する動作計画を生成する機能を有する。

【0084】

たとえば、プロセッサ１２１は、認識結果に基づいて、把持部１１３を現在の位置から物品Ｗ１を把持可能な位置及び移動先まで移動するルート及び把持部１１３の移動速度を設定する。プロセッサ１２１は、ルート及び移動速度などを示す動作計画を生成する。

【0085】

また、プロセッサ１２１は、超音波距離情報及び形状情報などに基づいて動作計画を生成してもよい。たとえば、プロセッサ１２１は、超音波距離情報に基づいて光学距離情報においては何も存在しない領域に超音波を反射する反射物があると判定した場合、当該領域を避けてルートを生成する。また、プロセッサ１２１は、超音波距離情報に基づいて物品Ｗ１がフィルムなどに覆われていると判定した場合、把持部１１３の移動速度を低下させてもよい。

【0086】

なお、プロセッサ１２１が動作計画を生成する方法は、特定の方法に限定されるものではない。

【0087】

また、プロセッサ１２１は、動作計画に従って、物品Ｗ１を把持する機能を有する。
プロセッサ１２１は、移動装置コントローラ１２５を通じて、動作計画に従って把持部１１３を、物品Ｗ１を把持可能な位置まで移動する。把持部１１３を移動すると、プロセッサ１２１は、把持部１１３を用いて物品Ｗ１を把持する。物品Ｗ１を把持すると、プロセッサ１２１は、把持部１１３を移動先まで移動する。把持部１１３を移動先まで移動すると、プロセッサ１２１は、把持部１１３を用いて物品Ｗ１を開放する。

【0088】

次に、制御装置６０の動作例について説明する。
図１０は、制御装置６０の動作例について説明するためのフローチャートである。
まず、制御装置６０のプロセッサ１２１は、カメラ３０を用いて光学距離情報を取得する（Ｓ１１）。光学距離情報を取得すると、プロセッサ１２１は、超音波送信素子２３を用いて第１の周波数を有する超音波を照射する（Ｓ１２）。超音波を照射すると、プロセッサ１２１は、超音波受信素子２４を用いて第１の周波数における受信強度を取得する（Ｓ１３）。

【0089】

第１の周波数における受信強度を取得すると、プロセッサ１２１は、超音波送信素子２３を用いて第２の周波数を有する超音波を照射する（Ｓ１４）。超音波を照射すると、プロセッサ１２１は、超音波受信素子２４を用いて第２の周波数における受信強度を取得する（Ｓ１５）。

【0090】

第２の周波数における受信強度を取得すると、プロセッサ１２１は、第１の周波数（又は第２の周波数）における反射波に基づいて超音波の照射範囲の各点における距離を示す超音波距離情報を生成する（Ｓ１６）。

【0091】

超音波距離情報を算出すると、プロセッサ１２１は、第１の周波数における受信強度と第２の周波数における受信強度とに基づいて各点における形状を示す形状情報を生成する（Ｓ１７）。

【0092】

形状情報を生成すると、プロセッサ１２１は、光学距離情報、超音波距離情報及び形状情報に基づいて物品Ｗ１を認識する（Ｓ１８）。物品Ｗ１を認識すると、プロセッサ１２１は、動作計画を生成する（Ｓ１９）。

【0093】

動作計画を生成すると、プロセッサ１２１は、移動装置５０を用いて動作計画に従って物品Ｗ１を把持して移動先に開放する（Ｓ２０）。物品Ｗ１を把持して移動先に開放すると、プロセッサ１２１は、動作を終了する。

【0094】

なお、プロセッサ１２１は、Ｓ１２及びＳ１３とＳ１４及びＳ１５とを所定の回数繰り返してもよい。また、プロセッサ１２１は、複数の物品を認識した場合、各物品についてＳ１９及びＳ２０を実行してもよい。

【0095】

また、プロセッサ１２１は、光学距離情報に基づかずに、超音波距離情報及び形状情報に基づいて物品を認識するものであってもよい。

【0096】

また、プロセッサ１２１は、荷物情報を参照して、認識された物品Ｗ１の外寸又は形状などを取得するものであってもよい。

【0097】

また、プロセッサ１２１は、３つ以上の異なる周波数を有する超音波を物品Ｗ１に照射してもよい。この場合、プロセッサ１２１は、各超音波の受信強度に基づいて物品Ｗ１の上面の形状を推定する。

【0098】

以上のように構成された荷役システムは、超音波を照射して物品との距離を測定する。その結果、荷役システムは、物品が透明又は黒色などであるためレーザ又は画像などの光学的情報を用いて距離を測定できない場合であっても、物品との距離を測定することができる。

【0099】

また、荷役システムは、複数の周波数で超音波を物品に照射して各超音波の受信強度を測定する。荷役システムは、各超音波の受信強度に基づいて物品の形状を推定する。その結果、荷役システムは、効果的に物品の形状を認識することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る荷役システムは、複数の方向から物品へ超音波を照射する点で第１の実施形態に係るそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。

【0100】

図１は、第２の実施形態に係る荷役システム１’の構成例を概略的に示す。図１に示すように、荷役システム１’は、センサ装置２０の代わりにセンサ装置２０’を備える。制御装置６０とセンサ装置２０’とは、たとえば、シリアルケーブル又はＬＡＮ等を介して接続される。

【0101】

図１１は、センサ装置２０’の構成例を示す。図１１が示すように、センサ装置２０’は、複数の超音波送信素子２３及び複数の超音波受信素子２４を備える。

【0102】

１つの超音波送信素子２３は、物品Ｗ１に対して所定の方向から超音波を照射する。当該超音波送信素子２３は、物品Ｗ１の上方から角度を付けて超音波を照射する。また、他の超音波送信素子２３は、物品Ｗ１に対して他の方向から超音波を照射する。

【0103】

たとえば、いくつかの超音波送信素子２３は、物品Ｗ１の上面に超音波を照射する。また、いくつかの超音波送信素子２３は、物品Ｗ１の側面に超音波を照射する。

【0104】

また、プロセッサ１２１は、第１の実施形態と同様に、超音波送信素子２３を用いて、第１の周波数及び第２の周波数を有する超音波を物品Ｗ１に照射する。プロセッサ１２１は、超音波受信素子２４を用いて第１の周波数における受信強度と第２の周波数における受信強度を取得する。

【0105】

プロセッサ１２１は、第１の周波数における受信強度と第２の周波数における受信強度とに基づいて、物品Ｗ１の上面の形状及び側面の形状を推定する。プロセッサ１２１は、推定された上面の形状及び側面の形状を示す形状情報を生成する。
また、プロセッサ１２１は、生成された形状情報などに基づいて物品Ｗ１を認識する。
また、プロセッサ１２１は、生成された形状情報などに基づいて動作計画を生成してもよい。

【0106】

なお、超音波受信素子２４は、超音波送信素子２３が超音波を送信する角度に応じて傾いて設置されるものであってもよい。

【0107】

以上のように構成された荷役システムは、物品の側面にも複数の周波数で超音波を照射する。そのため、荷役システムは、物品の側面の形状も推定することができる。その結果、荷役システムは、物品の形状を効果的に認識することができる。

【0108】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0109】

１…荷役システム、１’…荷役システム、２…パレット、１０…荷役装置、２０…センサ装置、２０’…センサ装置、２２…ハウジング、２３…超音波送信素子、２４…超音波受信素子、３０…カメラ、４０…フレーム、４１…下枠部材、４２…上枠部材、４３…柱部材、５０…移動装置、６０…制御装置、７１…グラフ、７２…グラフ、７３…グラフ、７４…グラフ、８１…グラフ、８２…グラフ、８３…グラフ、８４…グラフ、１１１…基台、１１２…アーム部、１１３…把持部、１２１…プロセッサ、１２２…表示部、１２３…操作部、１２４…カメラコントローラ、１２５…移動装置コントローラ、１２６…センサコントローラ、１２７…通信部、１２８…記憶部、３０１…送信制御部、３０２…オペアンプ、３０５…オペアンプ、３０６…フィルタ、Ｇ…床面、Ｒ１…載置領域、Ｗ…物品群、Ｗ１…物品。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】