特開 2024-109847 処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109847

(43)【公開日】2024-08-14

(54)【発明の名称】処理装置及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240806BHJP

   B25J 13/08 20060101ALI20240806BHJP

   G06T 7/70 20170101ALI20240806BHJP

【ＦＩ】

G06T7/60 200Z

B25J13/08 A

G06T7/70 Z

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2024084758

(22)【出願日】2024-05-24

(62)【分割の表示】P 2023013072の分割

【原出願日】2023-01-31

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(74)【代理人】

【識別番号】100156177

【弁理士】

【氏名又は名称】池見 智治

(74)【代理人】

【識別番号】100130166

【弁理士】

【氏名又は名称】田中 宏明

(72)【発明者】

【氏名】南出 隼人

(57)【要約】      （修正有）

【課題】物体が有する、外観が互いに類似する複数の面において、撮像装置側を向く面を適切に特定する処理装置及びプログラムを提供する。
【解決手段】処理装置１において、制御部は、撮像装置から外観が互いに類似する複数の面を有する物体の第１姿勢の第１画像を取得し、複数の面のうち撮像装置側を向く対象面を特定し、さらに、物体の姿勢が前記第１姿勢とは異なる第２姿勢の第２画像を取得し、第１画像及び第２画像に基づいて対象面を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置から外観が互いに類似する複数の面を有する物体の第１姿勢の第１画像を取得し、前記複数の面のうち前記撮像装置側を向く対象面を特定する制御部を備え、
前記制御部は、
前記物体の姿勢が前記第１姿勢とは異なる第２姿勢の第２画像をさらに取得し、
前記第１画像及び前記第２画像に基づいて前記対象面を特定する、処理装置。

【請求項2】

請求項1に記載の処理装置であって、
前記制御部は、
前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、
前記第２画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第２推定姿勢を取得し、
前記複数の第１推定姿勢及び前記複数の第２推定姿勢に基づいて前記対象面を特定する、処理装置。

【請求項3】

請求項２に記載の処理装置であって、
前記第２姿勢は、前記物体の姿勢が前記第１姿勢とは異なるように前記物体が前記撮像装置に対して相対的に回転した姿勢であり、
前記制御部は、
前記複数の第１推定姿勢が回転した複数の第１回転推定姿勢を取得し、
前記複数の第１回転推定姿勢と前記複数の第２推定姿勢とを、対応する面ごとに比較する比較処理を行い、当該比較処理の結果に基づいて前記対象面を特定する、処理装置。

【請求項4】

請求項２に記載の処理装置であって、
前記制御部は、
前記複数の第１推定姿勢に基づいて、前記物体の前記第１画像に写る姿勢を、前記物体を保持する保持機構の座標系で示す複数の第１変換推定姿勢を取得し、
前記複数の第２推定姿勢に基づいて、前記物体の前記第２画像に写る姿勢を前記保持機構の前記座標系で示す複数の第２変換推定姿勢を取得し、
前記複数の第１変換推定姿勢と前記複数の第２変換推定姿勢とに基づいて前記対象面を特定する、処理装置。

【請求項5】

請求項１に記載の処理装置であって、
前記第２姿勢は、前記物体の姿勢が前記第１姿勢とは異なるように前記物体が前記撮像装置に対して相対的に回転した姿勢であり、
前記制御部は、
前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、
前記複数の第１推定姿勢が回転した複数の第１回転推定姿勢を取得し、
前記複数の第１回転推定姿勢と前記第２画像との類似度に基づいて、前記対象面を特定する、処理装置。

【請求項6】

請求項５に記載の処理装置であって
前記制御部は、
前記物体の姿勢がそれぞれ対応付けられた複数のテンプレートと画像とを比較するテンプレートマッチングを実行可能であり、
前記複数の第１回転推定姿勢のそれぞれに対応する対応テンプレートを特定し、
前記対応テンプレートと前記第２画像とを比較するテンプレートマッチングを行い、当該テンプレートマッチングの結果に基づいて、前記対象面を特定する、処理装置。

【請求項7】

請求項１から請求項６のいずれか一つに記載の処理装置であって、
前記制御部は、前記物体を保持する保持機構の移動によって変更された前記第２姿勢の前記第２画像を取得する、処理装置。

【請求項8】

請求項１から請求項６のいずれか一つに記載の処理装置であって、
前記制御部は、前記撮像装置の移動によって変更された前記第２姿勢の前記第２画像を取得する、処理装置。

【請求項9】

請求項１から請求項６のいずれか一つに記載の処理装置であって、
前記制御部は、
前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、
前記複数の第１推定姿勢のうち、特定した前記対象面に対応する第１推定姿勢を、前記第１画像が前記撮像装置で生成される場合の前記物体の姿勢の最終的な推定結果とする、処理装置。

【請求項10】

請求項２から請求項６のいずれか一つに記載の処理装置であって、
前記制御部は、前記複数の第２推定姿勢または前記複数の第１回転推定姿勢のうち、特定した前記対象面に対応する第２推定姿勢または第１回転推定姿勢を、前記第２画像が前記撮像装置で生成される場合の前記物体の姿勢の最終的な推定結果とする、処理装置。

【請求項11】

請求項１に記載の処理装置であって、
前記制御部は、
前記第２画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第２推定姿勢を取得し、
前記複数の第２推定姿勢及び前記第１画像に基づいて前記対象面を特定する、
処理装置。

【請求項12】

請求項１１に記載の処理装置であって、
前記第２姿勢は、前記物体の姿勢が前記第１姿勢とは異なるように前記物体が前記撮像装置に対して相対的に回転した姿勢であり、
前記制御部は、
前記複数の第２推定姿勢が回転した複数の第２回転推定姿勢を取得し、
前記複数の第２回転推定姿勢及び前記第１画像に基づいて前記対象面を特定する、
処理装置。

【請求項13】

請求項１２に記載の処理装置であって、
前記制御部は、
前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、
前記複数の第２回転推定姿勢及び前記複数の第１推定姿勢に基づいて前記対象面を特定する、処理装置。

【請求項14】

コンピュータ装置を、請求項１から請求項６及び請求項１１から請求項１３のいずれか一つに記載の処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体において撮像装置側を向く面を特定する技術に関する。

【背景技術】

【0002】

特許文献１には、吸着ノイズに吸着した部品の吸着姿勢が表裏反対であるか否かを判定する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１３００３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

物体において撮像装置側を向く面を特定する技術については改善の余地がある。

【課題を解決するための手段】

【0005】

処理装置及びプログラムが開示される。一の実施の形態では、処理装置は、撮像装置から外観が互いに類似する複数の面を有する物体の第１姿勢の第１画像を取得し、複数の面のうち撮像装置側を向く対象面を特定する制御部を備える。制御部は、物体の姿勢が前記第１姿勢とは異なる第２姿勢の第２画像をさらに取得する。制御部は、第１画像及び第２画像に基づいて対象面を特定する。

【0006】

また、一の実施の形態では、プログラムは、コンピュータ装置に、上記の処理装置として機能させるためのプログラム。

【発明の効果】

【0007】

物体が有する、外観が互いに類似する複数の面において、撮像装置側を向く面を適切に特定することができる。

【図面の簡単な説明】

【0008】

【図1】処理装置の一例を示す概略図である。

【図2】物体が撮像装置で撮像される様子の一例を示す概略図である。

【図3】物体の一例を示す概略図である。

【図4】処理装置の動作の一例を示すフローチャートである。

【図5】撮像装置から見た物体の様子の一例を示す概略図である。

【図6】撮像装置から見た物体の様子の一例を示す概略図である。

【図7】撮像装置から見た物体の様子の一例を示す概略図である。

【図8】撮像装置から見た物体の様子の一例を示す概略図である。

【図9】回転軸の一例を示す概略図である。

【図10】物体の回転動作の一例を示す概略図である。

【図11】処理装置の動作の一例を示すフローチャートである。

【図12】ロボットに保持された物体が撮像装置で撮像される様子の一例を示す概略図である。

【図13】処理装置の動作の一例を示すフローチャートである。

【図14】処理装置の動作の一例を示すフローチャートである。

【図15】処理装置の動作の一例を示すフローチャートである。

【図16】処理装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

図１は処理装置１の構成の一例を示す概略図である。処理装置１は、物体１０を撮像する撮像装置８で生成される画像に基づいて、物体１０において撮像装置８側を向く面を特定することが可能である。図２は、物体１０が撮像装置８で撮像される様子の一例を示す概略図である。

【0010】

図２に示されるように、撮像装置８は、例えば、ロボット９で保持されている物体１０を撮像する。撮像装置８はカメラとも呼ばれる。撮像装置８は、例えば、２次元のカラー画像を生成することが可能である。カラー画像は例えばＲＧＢ画像とも呼ばれる。以後、撮像装置８で生成される画像を単に撮像画像と呼ぶことがある。

【0011】

ロボット９は、例えば、アーム９０と、アーム９０に接続されたエンドエフェクタ９１とを備える。アーム９０は複数の関節を備える。複数の関節の少なくとも一つの回転量が変化することによって、アーム９０の姿勢が変化する。そして、アーム９０の姿勢が変化することによって、エンドエフェクタ９１の位置及び姿勢が変化する。

【0012】

エンドエフェクタ９１は、物体１０を保持することが可能である。エンドエフェクタ９１は、物体１０を保持する保持機構であるといえる。エンドエフェクタ９１で保持された物体１０の位置及び姿勢は、エンドエフェクタ９１の位置及び姿勢の変化に応じて変化する。物体１０の位置及び姿勢は、アーム９０の動きに応じて変化するともいえる。エンドエフェクタ９１は、例えば、物体１０を吸着して保持してもよいし、物体１０を複数の指で把持して保持してもよい。

【0013】

物体１０は、例えば、容器内に配置される。ロボット９は、エンドエフェクタ９１で容器内の物体１０を保持し、アーム９０を動かして、保持した物体１０を撮像装置８の前まで運ぶ。つまり、ロボット９は、アーム９０の姿勢を変化させて、保持した物体１０が撮像装置８で撮像される位置まで物体１０を運ぶ。このとき、ロボット９は、例えば、物体１０の外表面において、エンドエフェクタ９１で保持した面とは反対側の面が撮像装置８側を向くように物体１０を配置する。処理装置１は、物体１０が写る撮像画像に基づいて、物体１０の外表面において撮像装置８側を向く面を特定する。物体１０の外表面において撮像装置８側を向く面が特定されることによって、ロボット９での物体１０の保持姿勢が特定される。本例では、物体１０の外表面において、エンドエフェクタ９１が保持した面とは反対側の面が撮像装置８側を向いていることから、物体１０の外表面において撮像装置８側を向く面が特定されることによって、ロボット９が物体１０のどの面を保持しているかが特定される。つまり、処理装置１は、物体１０の外表面において撮像装置８側を向く面を特定し、特定した面とは反対側の面をロボット９が保持していると判定することができる。

【0014】

処理装置１は、例えば、ロボット９を制御することが可能である。処理装置１は、ロボット９での物体１０の保持姿勢に応じて、ロボット９の動作を制御してもよい。例えば、処理装置１は、エンドエフェクタ９１が物体１０のある面を保持しているときには、ロボット９に物体１０をある場所まで移動させ、エンドエフェクタ９１が物体１０の別の面を保持しているときには、ロボット９に物体１０を別の場所まで移動させる。なお、ロボット９の動作例はこの限りではない。また、物体１０はロボット９以外で保持されてよい。

【0015】

図３は物体１０の一例を示す概略図である。物体１０は、例えば、くの字に曲がる板状部材である。物体１０は、例えば、互いに対向する第１主面１０１及び第２主面１０２を有する。第１主面１０１及び第２主面１０２の外形は、例えば、高さが下底よりも大きいやや細長い台形を成している。第１主面１０１は、その長手方向（言い換えれば、第１主面１０１の外形が構成する台形の高さ方向）の中央部において外側に突き出るようにくの字に曲がっている。第２主面１０２は、その長手方向の中央部において内側に凹むようにくの字に曲がっている。

【0016】

図３の一番左には、物体１０を第１主面１０１側から見た様子の一例が示されている。図３の左から三番目には、物体１０を第２主面１０２側から見た様子の一例が示されている。図３の左から二番目には、一番左に示される物体１０を図の右側から見た様子の一例が示されている。図３の一番右には、左から三番目に示される物体１０を図の右側から見た様子の一例が示されている。以後、物体１０の形状を説明する場合に、物体１０の上、下、右及び左と言えば、物体１０を図３の一番左に示される状態で見た場合の上、下、右及び左をそれぞれ意味する。また、第１主面１０１をおもて面１０１と呼び、第２主面１０２を裏面１０２と呼ぶことがある。おもて面１０１は表側面１０１ともいえる。

【0017】

物体１０は、おもて面１０１及び裏面１０２以外にも、右面１０３、左面１０４、上面１０５及び下面１０６を備える。右面１０３、左面１０４、上面１０５及び下面１０６は、それぞれ、右端面１０３、左端面１０４、上端面１０５及び下端面１０６ともいえる。物体１０は、左右対称で厚さが小さい形状を成している。以後、右面１０３及び左面１０４を特に区別する必要が無い場合には、それぞれを側面と呼ぶことがある。右面１０３は右側の側面１０３ともいえ、左面１０４は左側の側面１０４ともいえる。

【0018】

ロボット９は、容器内の物体１０を保持する場合、例えば、おもて面１０１及び裏面１０２のどちらか一方を保持する。例えば、容器内において、物体１０のおもて面１０１が容器の開口側（上側）を向くように物体１０が配置されている場合、ロボット９は物体１０のおもて面１０１を保持する。一方で、容器内において、物体１０の裏面１０２が容器の開口側を向くように物体１０が配置されている場合、ロボット９は物体１０の裏面１０２を保持する。ロボット９は、容器内の物体１０を保持するとき、物体１０のおもて面１０１及び裏面１０２のどちらが容器の開口側を向いているのか認識していない。したがって、ロボット９は、物体１０を保持したとき、おもて面１０１及び裏面１０２のどちらの面を保持しているのか認識していない。

【0019】

物体１０は、外観が互いに類似する複数の面を有する。当該複数の面は、物体１０の姿勢を変えずに当該複数の面を見たとき、互いに外観が類似する面を有している。物体１０が有する、外観が互いに類似する複数の面のそれぞれは、例えば、ロボット９で保持される可能性がある。処理装置１は、物体１０が写る撮像画像に基づいて、物体１０が有する、外観が互いに類似する複数の面のうち、撮像装置８側を向く面（対象面ともいう）を特定する。なお、例えば、撮像装置８で物体を撮影した際、物体の姿勢が一意に定まらない場合、その物体は外観が互いに類似する複数の面を有している物体１０であるとしてよい。

【0020】

本例では、物体１０のおもて面１０１及び裏面１０２が互いに類似する。同じ姿勢の物体１０を、おもて面１０１側から見た様子と裏面１０２側から見た様子とは互いに類似している。言い換えれば、同じ姿勢の物体１０を、おもて面１０１側から見た場合の物体１０の外観と、裏面１０２側から見た場合の物体１０の外観とは互いに類似している。処理装置１は、物体１０が写る撮像画像に基づいて、おもて面１０１及び裏面１０２において撮像装置８側を向く対象面を特定する。

【0021】

なお、物体１０の形状は図３の例に限られない。例えば、物体１０は、外観が互いに類似する３つ以上の面を有してもよい。

【0022】

以後、物体１０が有する、外観が互いに類似する複数の面を複数の特定面と呼ぶことがある。処理装置１は、複数の特定面のうち撮像装置８側を向く特定面を特定するともいえる。物体１０を各特定面から見た様子は互いに類似している。

【0023】

ロボット９は、物体１０を保持すると、保持した面とは反対側の面が撮像装置８側を向くように物体１０を配置する。したがって、物体１０のおもて面１０１がロボット９で保持される場合、物体１０は、裏面１０２が撮像装置８側に向くように配置される。物体１０の裏面１０２が撮像装置８側に向いている状態は、撮像装置８が裏面１０２側に位置している状態と見ることができる。物体１０の裏面１０２が撮像装置８側に向いているとき、撮像装置８は物体１０を裏面１０２側から撮像する。一方で、図２に示されるように、物体１０の裏面１０２がロボット９で保持される場合、物体１０は、おもて面１０１が撮像装置８側に向くように配置される。物体１０のおもて面１０１が撮像装置８側に向いている状態は、撮像装置８がおもて面１０１側に位置している状態と見ることができる。物体１０のおもて面１０１が撮像装置８側に向いているとき、撮像装置８は物体１０をおもて面１０１側から撮像する。

【0024】

物体１０のおもて面１０１がロボット９で保持される場合、処理装置１では、裏面１０２が撮像装置８側を向く面として、つまり対象面として特定される。一方で、物体１０の裏面１０２がロボット９で保持される場合、処理装置１では、おもて面１０１が撮像装置８側を向く面として、つまり対象面として特定される。

【0025】

処理装置１は、例えばコンピュータ装置の一種である。処理装置１は、例えば、撮像画像に基づいて物体１０の対象面を特定するだけではなく、ロボット９を制御することが可能である。処理装置１は、ロボット９を制御するロボット制御装置としても機能する。なお、処理装置１とは別に、ロボット９を制御するロボット制御装置が設けられてもよい。

【0026】

図１に示されるように、処理装置１は、例えば、制御部２と、記憶部３と、インタフェース４と、インタフェース５とを備える。処理装置１は、例えば処理回路ともいえる。

【0027】

インタフェース４は、撮像装置８と通信することが可能である。制御部２は、インタフェース４を通じて撮像装置８で生成される画像を取得することができる。インタフェース４は、例えば、インタフェース回路、通信部あるいは通信回路ともいえる。インタフェース４は、撮像装置８と有線通信を行ってもよいし、無線通信を行ってもよい。

【0028】

インタフェース５は、ロボット９と通信することが可能である。制御部２は、インタフェース５を通じてロボット９を制御することが可能である。インタフェース５は、例えば、インタフェース回路、通信部あるいは通信回路ともいえる。インタフェース５は、ロボット９と有線通信を行ってもよいし、無線通信を行ってもよい。

【0029】

制御部２は、処理装置１の他の構成要素を制御することによって、処理装置１の動作を統括的に管理することが可能である。制御部２は、例えば制御回路ともいえる。制御部２は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含む。

【0030】

種々の実施形態によれば、少なくとも１つのプロセッサは、単一の集積回路（ＩＣ）として、または複数の通信可能に接続された集積回路ＩＣ及び／またはディスクリート回路（discrete circuits）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。

【0031】

１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続または処理を実行するように構成された１以上の回路またはユニットを含む。他の実施形態において、プロセッサは、１以上のデータ計算手続きまたは処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。

【0032】

種々の実施形態によれば、プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイス及び構成の組み合わせを含み、以下に説明される機能を実行してもよい。

【0033】

制御部２は、例えば、プロセッサとしてのＣＰＵ（Central Processing Unit）を備えてもよい。記憶部３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などの、制御部２のＣＰＵが読み取り可能な非一時的な記録媒体を含んでもよい。記憶部３には、例えば、処理装置１を制御するためのプログラム３０が記憶されている。制御部２の各種機能は、例えば、制御部２のＣＰＵが記憶部３内のプログラム３０を実行することによって実現される。

【0034】

なお、制御部２の構成は上記の例に限られない。例えば、制御部２は、複数のＣＰＵを備えてもよい。また制御部２は、少なくとも一つのＤＳＰ（Digital Signal Processor）を備えてもよい。また、制御部２の全ての機能あるいは制御部２の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。また、記憶部３は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えてもよい。記憶部３は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）などを備えてもよい。

【0035】

制御部２は、撮像画像に基づいて物体１０の対象面（つまり、撮像装置８側を向く面）を特定する対象面特定処理を行うことが可能である。制御部２は、例えば、推定部２０及び特定部２１を備える。推定部２０及び特定部２１は、例えば、制御部２のＣＰＵが記憶部３内のプログラム３０を実行することによって、制御部２に形成される機能ブロックである。なお、推定部２０の全ての機能あるいは特定部２１の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。特定部２１についても同様である。

【0036】

推定部２０は、撮像画像に基づいて物体１０の姿勢を推定する。特定部２１は、物体１０が有する、外観が類似した複数の面（つまり、複数の特定面）において撮像装置８側を向く面（つまり、対象面）を特定する。本例では、特定部２１は、互いに外観が類似するおもて面１０１及び裏面１０２において撮像装置８側を向く面を特定する。以後、物体１０のおもて面１０１が撮像装置８側を向いている状態を表向きと呼び、物体１０の裏面１０２が撮像装置８側を向いている状態を裏向きと呼ぶことがある。特定部２１は、物体１０が表向きか裏向きかを判定するともいえる。物体１０が表向きであることは、撮像装置８が物体１０をおもて面１０１側から撮像する状態であるともいえる。また、物体１０が裏向きであることは、撮像装置８が物体１０を裏面１０２側から撮像する状態であるともいえる。

【0037】

＜対象面特定処理の一例＞
本例では、物体１０のおもて面１０１と裏面１０２とは互いに外観が類似している。そのため、物体１０が写る１枚の撮影画像だけでは、制御部２は、物体１０が表向きなのか裏向きなのかを判断することが難しい。

【0038】

例えば、撮影画像に、物体１０の外表面のうちおもて面１０１だけが写っている場合を考える。この場合、制御部２は、撮影画像に対して画像処理を行って、撮影画像におもて面１０１が写っていることが特定できれば、物体１０が表向きであることを特定することができる。しかしながら、おもて面１０１と裏面１０２とは互いに外観が類似することから、制御部２は、撮影画像に写る面がおもて面１０１なのか裏面１０２なのかを特定することができないことがある。そのため、制御部２は、物体１０が表向きであることを特定することができないことがある。

【0039】

そこで、本例の対象面特定処理では、一枚の撮影画像だけが使用されて物体１０の対象面が特定されるのではなく、それに写る物体１０の姿勢が互いに異なる２枚の撮影画像（第１画像及び第２画像）に基づいて物体１０の対象面が特定される。これにより、対象面の特定精度を向上させることができる。

【0040】

図４は制御部２が実行する対象面特定処理の一例を示すフローチャートである。図４に示されるように、ステップｓ１において、制御部２は、物体１０を保持するロボット９を制御して、ロボット９に物体１０を撮像装置８の前まで運ばせる。このとき、ロボット９は、制御部２による制御により、例えば、物体１０の外表面において、保持する面とは反対側の面だけが撮像装置８で撮像されるように物体１０を撮像装置８の前に配置する。例えば、ロボット９が裏面１０２を保持する場合、物体１０は、おもて面１０１だけが撮像装置８で撮像されるように配置される。この場合、撮像画像には、物体１０が図３の一番左側のように写る。つまり、撮像装置８から物体１０を見た場合には、物体１０は図３の一番左側のように見える。一方で、ロボット９がおもて面１０１を保持する場合、物体１０は、裏面１０２だけが撮像装置８で撮像されるように配置される。この場合、撮像画像には、物体１０が図３の左から三番目のように写る。つまり、撮像装置８から物体１０を見た場合には、物体１０は図３の左から三番目のように見える。

【0041】

次にステップｓ２において、制御部２は、撮像装置８に物体１０を撮像させる。ステップｓ２で物体１０が撮像される場合において撮像装置８から見た物体１０の姿勢を第１姿勢と呼ぶ。第１姿勢は、物体１０の外表面においてロボット９が保持する面とは反対側の面だけが撮像装置８で撮像されるように配置された物体１０を撮像装置８から見た場合の物体１０の姿勢であるといえる。ステップｓ２の実行により、撮像装置８は、第１姿勢の物体１０を撮像する。撮像装置８は、第１姿勢の物体１０が写る撮像画像（第１撮像画像ともいう）を生成して制御部２に出力する。ロボット９が物体１０の裏面１０２を保持する場合、第１撮像画像には、表向きの物体１０が写っており、詳細には、物体１０の外表面のうちおもて面１０１だけが写っている。一方で、ロボット９が物体１０のおもて面１０１を保持する場合、第１撮像画像には、裏向きの物体１０が写っており、詳細には、物体１０の外表面のうち裏面１０２だけが写っている。

【0042】

推定部２０は、複数の特定面にそれぞれ対応する、撮像画像に基づいて物体１０の姿勢を推定する複数種類の姿勢推定処理であって、対応する特定面が撮像装置８側を向く場合に適した複数種類の姿勢推定処理を実行することが可能である。ステップｓ２の後、ステップｓ３において、推定部２０は、第１撮像画像に基づく複数種類の姿勢推定処理を実行する。以後、第１撮像画像に基づく複数種類の姿勢推定処理でそれぞれ推定された複数の推定姿勢のそれぞれを第１推定姿勢と呼ぶ。

【0043】

本例では、推定部２０は、おもて面１０１に対応し、おもて面１０１が撮像装置８側を向く場合に適した姿勢推定処理（表用姿勢推定処理ともいう）を実行することが可能である。また、推定部２０は、裏面１０２に対応し、裏面１０２が撮像装置８側を向く場合に適した姿勢推定処理（裏用姿勢推定処理ともいう）を実行することが可能である。物体１０のおもて面１０１が撮像装置８側を向く場合、言い換えれば、撮像装置８が物体１０をおもて面１０１側から撮像する場合、表用姿勢推定処理が実行されることによって、物体１０の姿勢を適切に推定できる可能性が高くなる。一方で、物体１０の裏面１０２が撮像装置８側を向く場合、言い換えれば、撮像装置８が物体１０を裏面１０２側から撮像する場合、裏用姿勢推定処理が実行されることによって、物体１０の姿勢を適切に推定できる可能性が高くなる。物体１０が表向きの場合には、裏用姿勢推定処理が実行されるときよりも、表用姿勢推定処理が実行されるときの方が、物体１０の姿勢推定精度が向上する。そして、物体１０が裏向きの場合には、表用姿勢推定処理が実行されるときよりも、裏用姿勢推定処理が実行されるときの方が、物体１０の姿勢推定精度が向上する。以後、表用姿勢推定処理を簡略化して表用処理と呼び、裏用姿勢推定処理を簡略化して裏用処理と呼ぶことがある。

【0044】

姿勢推定処理では、例えば、物体１０の姿勢がそれぞれ対応付けられた複数のテンプレートと撮像画像とが比較されるテンプレートマッチングが行われる。テンプレートは、テンプレート画像とも呼ばれ、撮像装置８で事前に生成された撮像画像である。記憶部３には、表用処理で使用される複数の表用テンプレートと、裏用処理で使用される複数の裏用テンプレートとが記憶されている。

【0045】

複数の表用テンプレートは、撮像装置８が物体１０をおもて面１０１側から様々な角度で撮像することによって得られた多数の撮像画像で構成される。複数の裏用テンプレートは、撮像装置８が物体１０を裏面１０２側から様々な角度で撮像することによって得られた多数の撮像画像で構成される。

【0046】

各テンプレートに対しては、当該テンプレートが撮像装置８で生成されるときの物体１０の姿勢が対応付けられている。つまり、各テンプレートに対しては、当該テンプレートに写る物体１０の姿勢が対応付けられている。テンプレートに対応付けられる姿勢は、例えば、撮像装置８の座標系（撮像装置座標系ともいう）で表されている。撮像装置座標系は、撮像装置８に設定された三次元直交座標系である。すなわち、撮像装置座標系は、撮像装置８から見たときの現実空間を座標空間として表現した座標系である。

【0047】

推定部２０は、姿勢推定処理において、撮像画像とテンプレートとを比較する場合、撮像画像及びテンプレートに対して、二値化処理等を含む画像処理を行って、撮像画像に写る物体１０の輪郭を第１輪郭として抽出し、テンプレートに写る物体１０の輪郭を第２輪郭として抽出する。物体１０の輪郭は外界輪郭とも呼ばれる。そして、推定部２０は、第１輪郭と第２輪郭とを比較して、両者の類似度を算出する。この類似度は、撮像画像とテンプレートとの類似度を表している。撮像画像とテンプレートとの類似度は、マッチングのスコアとも呼ばれる。以後、撮像画像とテンプレートとの類似度をマッチングスコアと呼ぶことがある。

【0048】

推定部２０は、表用姿勢推定処理において、撮像画像と複数の表用テンプレートとを比較する場合、複数の表用テンプレートのそれぞれについての撮像画像とのマッチングスコアを上述のようにして求める。そして、推定部２０は、複数の表用テンプレートのうち、撮像画像とのマッチングスコアが最も高い表用テンプレートに対応付けられている姿勢を、撮像画像に写る物体１０の推定姿勢とする。同様に、推定部２０は、裏用姿勢推定処理において、撮像画像と複数の裏用テンプレートとを比較する場合、複数の裏用テンプレートのそれぞれについての撮像画像とのマッチングスコアを求める。そして、推定部２０は、複数の裏用テンプレートのうち、撮像画像とのマッチングスコアが最も高い裏用テンプレートに対応付けられている姿勢を、撮像画像に写る物体１０の推定姿勢とする。

【0049】

ステップｓ３において、推定部２０は、ステップｓ２で得られた第１撮像画像に基づく表用姿勢推定処理及び裏用姿勢推定処理を行う。第１撮像画像に基づく表用姿勢推定処理において、推定部２０は、複数の表用テンプレートのそれぞれについての第１撮像画像とのマッチングスコアを求める。そして、推定部２０は、複数の表用テンプレートのうち、第１撮像画像とのマッチングスコアが最も高い表用テンプレートに対応付けられている姿勢を、第１撮像画像に写る物体１０の第１推定姿勢とする。この第１推定姿勢を、表用処理使用時の第１推定姿勢と呼ぶ。

【0050】

同様に、第１撮像画像に基づく裏用姿勢推定処理において、推定部２０は、複数の裏用テンプレートのそれぞれについての第１撮像画像とのマッチングスコアを求める。そして、推定部２０は、複数の裏用テンプレートのうち、第１撮像画像とのマッチングスコアが最も高い裏用テンプレートに対応付けられている姿勢を、第１撮像画像に写る物体１０の第１推定姿勢とする。この第１推定姿勢を、裏用処理使用時の第１推定姿勢と呼ぶ。第１推定姿勢は撮像装置座標系で表される。

【0051】

ステップｓ３が実行される段階では、制御部２は、おもて面１０１及び裏面１０２のうちどのらの面が撮像装置８側を向いているか把握していない。つまり、制御部２は、物体１０が表向きであるのか裏向きであるのかを把握していない。上述のように、推定部２０が表用姿勢推定処理を実行することは、推定部２０が、物体１０のおもて面１０１が撮像装置８側を向いていると仮定して（言い換えれば、物体１０が表向きであると仮定して）、物体１０の姿勢を推定していると見ることもできる。また、推定部２０が裏用姿勢推定処理を実行することは、推定部２０が、物体１０の裏面１０２が撮像装置８側を向いていると仮定して（言い換えれば、物体１０が裏向きであると仮定して）、物体１０の姿勢を推定していると見ることもできる。

【0052】

例えば、物体１０が表向きであって、物体１０の外表面のうちおもて面１０１だけが第１撮像画像に写っている場合を考える。この場合、表用処理使用時の第１推定姿勢は、撮像装置８から見た物体１０の実際の姿勢（つまり第１姿勢）に近い姿勢となる。一方で、裏用処理使用時の第１推定姿勢は、撮像装置８から見た物体１０の実際の姿勢とは大きく異なる姿勢となる。本例では、おもて面１０１と裏面１０２とが互いに外観が類似していることから、裏用処理使用時の第１推定姿勢は、物体１０の外表面のうち裏面１０２だけが第１撮像画像に写る場合に裏用処理を行うことで得られる第１推定姿勢と同じとなる。裏用処理使用時の第１推定姿勢は、裏面１０２だけが撮像装置８で撮像されるように配置された物体１０を撮像装置８から見た場合の物体１０の姿勢に近い姿勢となる。

【0053】

また、物体１０が裏向きであって、物体１０の外表面のうち裏面１０２だけが第１撮像画像に写っている場合を考える。この場合、裏用処理使用時の第１推定姿勢は、撮像装置８から見た物体１０の実際の姿勢に近い姿勢となる。一方で、表用処理使用時の第１推定姿勢は、撮像装置８から見た物体１０の実際の姿勢とは大きく異なる姿勢となる。表用処理使用時の第１推定姿勢は、物体１０の外表面のうちおもて面１０１だけが第１撮像画像に写る場合に表用処理を行うことで得られる第１推定姿勢と同じとなる。表用処理使用時の第１推定姿勢は、おもて面１０１だけが撮像装置８で撮像されるように配置された物体１０を撮像装置８から見た場合の物体１０の姿勢に近い姿勢となる。

【0054】

ステップｓ３において、表用処理使用時の第１推定姿勢と、裏用処理使用時の第１推定姿勢とが求められると、ステップｓ４において、制御部２は、ロボット９に物体１０を回転させる。ステップｓ４において、ロボット９は、アーム９０を動かして、所定の回転軸Ｊ（図２参照）の回りに所定角度Ｗだけ物体１０を回転させる。物体１０はエンドエフェクタ９１とともに回転する。つまり、物体１０とエンドエフェクタ９１とは一体となって回転する。ロボット９では、アーム９０の動きによって、物体１０を保持するエンドエフェクタ９１が回転軸Ｊの回りに角度Ｗだけ回転することによって、物体１０が回転軸Ｊの回りに角度Ｗだけ回転する。物体１０が回転軸Ｊの回りに角度Ｗだけ回転した後の撮像装置８から見た物体１０の姿勢を第２姿勢と呼ぶ。その後、ステップｓ５において、制御部２は、第２姿勢の物体１０を撮像装置８に撮像させる。ステップｓ５において撮像装置８で生成された撮像画像を第２撮像画像と呼ぶ。第２撮像画像には、第１姿勢から回転した第２姿勢の物体１０が写る。

【0055】

なお、本開示において、物体１０と撮像装置８は、相対的に回転していればよく、後述するように撮像装置８が回転してもよいし、物体１０及び撮像装置８の双方が回転してもよい。また、複数の撮像装置８を準備して、複数の撮像装置８と物体１０を仮想直線で結んだときの角度が所定角度Ｗになるように複数の撮像装置８を配置して、第１撮像装置８にて第１撮像画像を取得し、第２撮像装置８にて第２撮像画像を取得してもよい。

【0056】

図５及び６は、物体１０が回転軸Ｊの回りに角度Ｗだけ回転する様子の一例を示す概略図である。図５の左側には、表向きの第１姿勢の物体１０を撮像装置８から見た様子が示されている。図５の右側には、表向きの第２姿勢の物体１０を撮像装置８から見た様子が示されている。つまり、図５の右側には、表向きの第１姿勢の物体１０が、回転軸Ｊの回りに所定角度Ｗだけ回転した後に当該物体１０を撮像装置８から見た様子の一例が示されている。図６の左側には、裏向きの第１姿勢の物体１０を撮像装置８から見た様子が示されている。図６の右側には、裏向きの第２姿勢の物体１０を撮像装置８から見た様子が示されている。つまり、図６の右側には、裏向きの第１姿勢の物体１０が、回転軸Ｊの回りに所定角度Ｗだけ回転した後に当該物体１０を撮像装置８から見た様子の一例が示されている。撮像装置８から見た物体１０の様子は、物体１０が写る撮像画像内での物体１０の様子であるともいえる。

【0057】

回転軸Ｊは、例えば、物体１０を通るように設定される。また、回転軸Ｊは、例えば、第１姿勢の物体１０及び回転軸Ｊを撮像装置８から見た場合に物体１０の上下方向に沿った方向に設定される。また、回転軸Ｊは、第１姿勢の物体１０及び回転軸Ｊを撮像装置８から見た場合に物体１０の左右方向の中心を通るように設定される。回転軸Ｊは、例えば、撮像装置８の光軸８０（図２参照）に垂直な方向、あるいは光軸８０に略垂直な方向に設定される。制御部２は、第１撮像画像に基づいて回転軸Ｊを設定する。また、各特定面が撮像装置８を向いていると仮定して、回転軸Ｊの回りに物体１０を回転させたときに、回転の後の物体１０の外観が各特定面でできるだけ互いに異なるように回転軸Ｊが事前に設定されてもよい。以後、単に物体１０の回転といえば、物体１０の回転軸Ｊの回りの回転を意味する。

【0058】

角度Ｗは、ある面（おもて面１０１あるいは裏面１０２）が撮像装置８側を向いている第１姿勢の物体１０が当該角度Ｗだけ回転した場合に、物体１０の外側表面のうち、当該ある面と、当該ある面に繋がる側面（右面１０３あるいは左面１０４）とだけが撮像装置８で撮像されるような値に設定される。つまり、角度Ｗは、ある面が撮像装置８側を向いている第１姿勢の物体１０が当該角度Ｗだけ回転した場合に、当該ある面が撮像装置８側を向きつつ、当該ある面に繋がる側面が撮像装置８で撮像されるような値に設定される。

【0059】

本開示では、回転軸Ｊを物体１０の上側から見た場合の回転軸Ｊの時計回りの回転角度を＋（プラス）で表す。また、回転軸Ｊを物体１０の上側から見た場合の回転軸Ｊの反時計回りの回転角度を－（マイナス）で表す。ステップｓ４において、ロボット９は、例えば、回転軸Ｊの回りに角度＋Ｗだけ物体１０を回転させて、物体１０の姿勢を第１姿勢から第２姿勢に変化させる。なお、回転軸Ｊを物体１０の上側から見た場合の回転軸Ｊの時計回りの回転角度を－（マイナス）で表し、回転軸Ｊを物体１０の上側から見た場合の回転軸Ｊの反時計回りの回転角度を＋（プラス）で表してもよい。

【0060】

表向きの第１姿勢の物体１０が角度＋Ｗだけ回転した場合には、図５に示されるように、撮像装置８からは、物体１０の外側表面のうち、おもて面１０１及び右面１０３（言い換えれば、右側の側面１０３）だけが見える。よって、ステップｓ５において、表向きの第２姿勢の物体１０が撮像装置８で撮像されたとき、第２撮像画像には、物体１０の外側表面のうち、おもて面１０１及び右面１０３だけが写る。

【0061】

裏向きの第１姿勢の物体１０が角度＋Ｗだけ回転した場合には、図６に示されるように、撮像装置８からは、物体１０の外側表面のうち、裏面１０２及び左面１０４（言い換えれば、左側の側面１０４）だけが見える。よって、ステップｓ５において、裏向きの第２姿勢の物体１０が撮像装置８で撮像されたとき、第２撮像画像には、物体１０の外側表面のうち、裏面１０２及び左面１０４だけが写る。

【0062】

図５及び６に示されるように、撮像装置８から表向きの第１姿勢の物体１０を見た様子と、撮像装置８から裏向きの第１姿勢の物体１０を見た様子とは、互いに類似している。つまり、第１撮像画像での表向きの第１姿勢の物体１０の様子と、第１撮像画像での裏向きの第１姿勢の物体１０の様子とは、互いに類似している。一方で、撮像装置８から表向きの第２姿勢の物体１０を見た様子と、撮像装置８から裏向きの第２姿勢の物体１０を見た様子とは、互いに大きく異なっている。つまり、第２撮像画像での表向きの第２姿勢の物体１０の様子と、第２撮像画像での裏向きの第２姿勢の物体１０の様子とは、互いに大きく異なっている。

【0063】

このように、第１撮像画像が生成される場合に撮像装置８側を向く特定面がどの面であっても、第１撮像画像に写る物体１０の外観は同じような外観となる。そして、第１撮像画像が生成される場合に撮像装置８側を向く特定面に応じて、第２撮像画像に写る物体１０の外観が大きく異なるようになる。例えば、第１撮像画像が生成される場合に撮像装置８側を向く特定面がおもて面１０１であっても裏面１０２であっても、第１撮像画像に写る物体１０の外観は同じような外観となる（図５の左側と図６の左側）。そして、第１撮像画像が生成される場合に撮像装置８側を向く特定面がおもて面１０１のときに第２撮像画像に写る物体１０の外観（図５の右側）と、第１撮像画像が生成される場合に撮像装置８側を向く特定面が裏面１０２のときに第２撮像画像に写る物体１０の外観（図６の右側）とは互いに大きく相違する。

【0064】

ステップｓ５の後、ステップｓ６において、推定部２０は、ステップｓ３と同様にして、第２撮像画像に基づく複数種類の姿勢推定処理を実行する。以後、第２撮像画像に基づく複数種類の姿勢推定処理でそれぞれ推定された複数の推定姿勢のそれぞれを第２推定姿勢と呼ぶ。

【0065】

本例では、ステップｓ６において、推定部２０は、第２撮像画像に基づく表用姿勢推定処理及び裏用姿勢推定処理を行う。第２撮像画像に基づく表用姿勢推定処理において、推定部２０は、複数の表用テンプレートのそれぞれについての第２撮像画像とのマッチングスコアを求める。そして、推定部２０は、複数の表用テンプレートのうち、第２撮像画像とのマッチングスコアが最も高い表用テンプレートに対応付けられている姿勢を、第２撮像画像に写る物体１０の第２推定姿勢とする。この第２推定姿勢を、表用処理使用時の第２推定姿勢と呼ぶ。

【0066】

同様に、第２撮像画像に基づく裏用姿勢推定処理において、推定部２０は、複数の裏用テンプレートのそれぞれについての第２撮像画像とのマッチングスコアを求める。そして、推定部２０は、複数の裏用テンプレートのうち、第２撮像画像とのマッチングスコアが最も高い裏用テンプレートに対応付けられている姿勢を、第２撮像画像に写る物体１０の第２推定姿勢とする。この第２推定姿勢を、裏用処理使用時の第２推定姿勢と呼ぶ。第２推定姿勢は撮像装置座標系で表される。

【0067】

例えば、表向きの第２姿勢の物体１０（図５参照）が第２撮像画像に写っている場合を考える。この場合、表用処理使用時の第２推定姿勢は、撮像装置８から見た物体１０の実際の姿勢（つまり表向きの第２姿勢）に近い姿勢となる。一方で、裏用処理使用時の第２推定姿勢は、撮像装置８から見た物体１０の実際の姿勢とは大きく異なる姿勢となる。ここで、第１姿勢の物体１０を回転軸Ｊの回りに角度－Ｗだけ回転させた後の物体１０を撮像装置８から見た場合の物体１０の姿勢を第３姿勢と呼ぶ。表向きの第３姿勢とは、表向きの第１姿勢の物体１０を回転軸Ｊの回りに角度－Ｗだけ回転させた後の物体１０を撮像装置８から見た場合の物体１０の姿勢である。裏向きの第３姿勢とは、裏向きの第１姿勢の物体１０を回転軸Ｊの回りに角度－Ｗだけ回転させた後の物体１０を撮像装置８から見た場合の物体１０の姿勢である。図７は、表向きの第２姿勢の物体１０を撮像装置８から見た様子（図７の左側）と、裏向きの第３姿勢の物体１０を撮像装置８から見た様子（図７の右側）とを示す概略図である。図７に示されるように、本例では、表向きの第２姿勢の物体１０を撮像装置８から見た様子と、裏向きの第３姿勢の物体１０を撮像装置８から見た様子とが、特に外界輪郭の点で互いに類似している。つまり、表向きの第２姿勢と裏向きの第３姿勢とは互いに様子が類似している。したがって、表向きの第２姿勢の様子を裏用姿勢推定処理が使用されて得られた裏用処理使用時の第２推定姿勢は、裏向きの第３姿勢に近い姿勢となる。

【0068】

また、裏向きの第２姿勢の物体１０（図６参照）が第２撮像画像に写っている場合を考える。この場合、裏用処理使用時の第２推定姿勢は、撮像装置８から見た物体１０の実際の姿勢（つまり、裏向きの第２姿勢）に近い姿勢となる。一方で、表用処理使用時の第２推定姿勢は、撮像装置８から見た物体１０の実際の姿勢とは大きく異なる姿勢となる。図８は、表向きの第３姿勢の物体１０を撮像装置８から見た様子（図８の左側）と、裏向きの第２姿勢の物体１０を撮像装置８から見た様子（図８の右側）とを示す概略図である。図９に示されるように、本例では、裏向きの第２姿勢の物体１０を撮像装置８から見た様子と、表向きの第３姿勢の物体１０を撮像装置８から見た様子とが、特に外界輪郭の点で互いに類似している。つまり、裏向きの第２姿勢と表向きの第３姿勢とは互いに類似している。したがって、裏向きの第２姿勢の様子を表用姿勢推定処理が使用されて得られた表用処理使用時の第２推定姿勢は、表向きの第３姿勢に近い姿勢となる。

【0069】

ステップｓ６において、表用処理使用時の第２推定姿勢と、裏用処理使用時の第２推定姿勢とが求められると、ステップｓ７において、特定部２１は、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様にステップｓ３で得られた複数の第１推定姿勢が回転した複数の第１回転推定姿勢を求める。本例では、特定部２１は、表用処理使用時の第１推定姿勢が、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様に回転した第１回転推定姿勢（表用処理使用時の第１回転推定姿勢ともいう）を求める。また特定部２１は、裏用処理使用時の第１推定姿勢が、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様に回転した第１回転推定姿勢（裏用処理使用時の第１回転推定姿勢ともいう）とを求める。特定部２１は、撮像装置座標系において、表用処理使用時の第１推定姿勢を、回転軸Ｊの回りに角度＋Ｗだけ回転させて得られる姿勢を、表用処理使用時の第１回転推定姿勢とする。また、特定部２１は、撮像装置座標系において、裏用処理使用時の第１推定姿勢を、回転軸Ｊの回りに角度＋Ｗだけ回転させて得られる姿勢を、裏用処理使用時の第１回転推定姿勢とする。

【0070】

例えば、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合を考える。この場合、上述のように、表用処理使用時の第１推定姿勢は、表向きの第１姿勢に近い姿勢となる。したがって、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様に表用処理使用時の第１推定姿勢が回転した第１回転推定姿勢、つまり、表用処理使用時の第１回転推定姿勢は、表向きの第２姿勢に近い姿勢となる。そして、上述のように、表用処理使用時の第２推定姿勢は、表向きの第２姿勢に近い姿勢となることから、表用処理使用時の第１回転推定姿勢は、表用処理使用時の第２推定姿勢に近い姿勢となる。一方で、裏用処理使用時の第１推定姿勢は、裏向きの第１姿勢に近い姿勢となる。したがって、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様に裏用処理使用時の第１推定姿勢が回転した第１回転推定姿勢、つまり、裏用処理使用時の第１回転推定姿勢は、裏向きの第２姿勢（図６の右側）に近い姿勢となる。そして、裏用処理使用時の第２推定姿勢は、裏向きの第３姿勢（図７の右側）に近い姿勢となることから、裏用処理使用時の第１回転推定姿勢は、裏用処理使用時の第２推定姿勢と大きく異なる姿勢となる。

【0071】

また、裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合を考える。この場合、上述のように、裏用処理使用時の第１推定姿勢は、裏向きの第１姿勢に近い姿勢となる。したがって、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様に裏用処理使用時の第１推定姿勢が回転した第１回転推定姿勢、つまり、裏用処理使用時の第１回転推定姿勢は、裏向きの第２姿勢に近い姿勢となる。そして、裏用処理使用時の第２推定姿勢は、裏向きの第２姿勢に近い姿勢となることから、裏用処理使用時の第１回転推定姿勢は、裏用処理使用時の第２推定姿勢に近い姿勢となる。一方で、表用処理使用時の第１推定姿勢は、表向きの第１姿勢に近い姿勢となることから、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様に表用処理使用時の第１推定姿勢が回転した第１回転推定姿勢、つまり、表用処理使用時の第１回転推定姿勢は、表向きの第２姿勢（図５の右側）に近い姿勢となる。そして、表用処理使用時の第２推定姿勢は、表向きの第３姿勢（図８の左側）に近い姿勢となることから、表用処理使用時の第１回転推定姿勢は、表用処理使用時の第２推定姿勢と大きく異なる姿勢となる。

【0072】

このように、表向きの第１姿勢の物体１０が写る第１撮像画像が生成される場合、表用処理使用時の第１回転推定姿勢は、表用処理使用時の第２推定姿勢に近い姿勢となる。一方で、裏用処理使用時の第１回転推定姿勢は、裏用処理使用時の第２推定姿勢と大きく異なる姿勢となる。

【0073】

また、裏向きの第１姿勢の物体１０が写る第１撮像画像が生成される場合、裏用処理使用時の第１回転推定姿勢は、裏用処理使用時の第２推定姿勢に近い姿勢となる。一方で、表用処理使用時の第１回転推定姿勢は、表用処理使用時の第２推定姿勢と大きく異なる姿勢となる。

【0074】

ステップｓ７の後、ステップｓ８において、特定部２１は、ステップｓ７で得られた複数の第１回転推定姿勢と、ステップｓ６で得られた複数の第２推定姿勢とを、対応する特定面ごとに比較する第１比較処理を行う。本例では、特定部２１は、表用処理使用時の第１回転推定姿勢及び裏用処理使用時の第１回転推定姿勢と、表用処理使用時の第２推定姿勢及び裏用処理使用時の第２推定姿勢とを、対応する特定面ごとに比較する第１比較処理を行う。表用処理使用時の第１回転推定姿勢と、表用処理使用時の第２推定姿勢とは、おもて面１０１に対応することから、第１比較処理では、表用処理使用時の第１回転推定姿勢と、表用処理使用時の第２推定姿勢とが比較される。裏用処理使用時の第１回転推定姿勢と、裏用処理使用時の第２推定姿勢とは、裏面１０２に対応することから、第１比較処理では、裏用処理使用時の第１回転推定姿勢と、裏用処理使用時の第２推定姿勢とが比較される。

【0075】

特定部２１は、第１比較処理において、例えば、各第１回転推定姿勢について、当該第１回転推定姿勢と、当該第１回転推定姿勢が対応する特定面と同じ特定面に対応する第２推定姿勢との類似度を示す評価値（第１類似度評価値ともいう）を求める。これにより、第１比較処理の結果として、複数の特定面にそれぞれ対応する複数の第１類似度評価値が得られる。ある特定面に対応する第１回転推定姿勢と、当該ある特定面に対応する第２推定姿勢との類似度を示す第１類似度評価値は、当該ある特定面に対応する第１類似度評価値となる。

【0076】

本例では、特定部２１は、第１比較処理において、表用処理使用時の第１回転推定姿勢と、表用処理使用時の第２推定姿勢との類似度を示す第１類似度評価値（表用処理使用時の第１類似度評価値ともいう）を求める。また、特定部２１は、第１比較処理において、裏用処理使用時の第１回転推定姿勢と、裏用処理使用時の第２推定姿勢との類似度を示す第１類似度評価値（裏用処理使用時の第１類似度評価値ともいう）を求める。表用処理使用時の第１類似度評価値と裏用処理使用時の第１類似度評価値が、第１比較処理の結果となる。以下に、第１類似度評価値の算出方法の一例について説明する。

【0077】

例えば、撮像装置座標系での物体１０の姿勢は、基準姿勢に対する回転（αｎ，βｎ，γｎ）で表される（ｎは変数）。αｎは、撮像装置座標系のｘ軸回りの回転角度（ロール角ともいう）を意味する。βｎは、撮像装置座標系のｙ軸回りの回転角度（ピッチ角ともいう）を意味する。γｎは、撮像装置座標系のｚ軸回りの回転角度（ヨー角ともいう）を意味する。例えば、表用処理使用時の第１回転推定姿勢が回転（α１１，β１１，γ１１）で表され、表用処理使用時の第２推定姿勢が回転（α１２，β１２，γ１２）で表されているとする。また、例えば、裏用処理使用時の第１回転推定姿勢が回転（α２１，β２１，γ２１）で表され、裏用処理使用時の第２推定姿勢が回転（α２２，β２２，γ２２）で表されているとする。また、撮像装置座標系において、原点を始点とするベクトルが（ｘ，ｙ，ｚ）で表されるとする。ｘは撮像装置座標系のｘ軸上の位置を示し、ｙは撮像装置座標系のｙ軸上の位置を示し、ｚは撮像装置座標系のｚ軸上の位置を示す。

【0078】

特定部２１は、撮像装置座標系において、ベクトルＴ（０，０，１）を考える。特定部２１は、表用処理使用時の第１類似度評価値を求める場合、ベクトルＴを、まずα１１だけｘ軸回りに回転し、次にβ１１だけｙ軸回りに回転し、最後にγ１１だけｚ軸回りに回転し、それらの回転によって得られたベクトルをベクトルＴ１１とする。また、特定部２１は、ベクトルＴを、まずα１２だけｘ軸回りに回転し、次にβ１２だけｙ軸回りに回転し、最後にγ１２だけｚ軸回りに回転し、それらの回転によって得られたベクトルをベクトルＴ１２とする。そして、特定部２１は、ベクトルＴ１１の終点とベクトルＴ１２の終点との間のユークリッド距離を求めて、求めたユークリッド距離を、表用処理使用時の第１類似度評価値とする。本例では、表用処理使用時の第１類似度評価値が小さいほど、表用処理使用時の第１回転推定姿勢と表用処理使用時の第２推定姿勢との類似度が高いことになる。

【0079】

同様にして、特定部２１は、裏用処理使用時の第１類似度評価値を求める場合、ベクトルＴを、まずα２１だけｘ軸回りに回転し、次にβ２１だけｙ軸回りに回転し、最後にγ２１だけｚ軸回りに回転し、それらの回転によって得られたベクトルをベクトルＴ２１とする。また、特定部２１は、ベクトルＴを、まずα２２だけｘ軸回りに回転し、次にβ２２だけｙ軸回りに回転し、最後にγ２２だけｚ軸回りに回転し、それらの回転によって得られたベクトルをベクトルＴ２２とする。そして、特定部２１は、ベクトルＴ２１の終点とベクトルＴ２２の終点との間のユークリッド距離を求めて、求めたユークリッド距離を、裏用処理使用時の第１類似度評価値とする。本例では、裏用処理使用時の第１類似度評価値が小さいほど、裏用処理使用時の第１回転推定姿勢と裏用処理使用時の第２推定姿勢との類似度が高いことになる。

【0080】

ステップｓ８の後、ステップｓ９において、特定部２１は、ステップｓ８での第１比較処理の結果に基づいて、第１姿勢の物体１０が写る第１撮像画像が撮像装置８で生成される場合に物体１０の複数の特定面において撮像装置８側を向く特定面を、対象面として特定する。つまり、特定部２１は、第１比較処理の結果に基づいて、第１姿勢の物体１０が撮像装置８で撮像される場合において撮像装置８側を向く特定面を、対象面として特定する。ステップｓ９において、特定部２１は、例えば、第１比較処理の結果としての複数の第１類似度評価値における最小の第１類似度評価値を特定する。そして、特定部２１は、特定した最小の第１類似度評価値に対応する特定面を対象面とする。

【0081】

本例では、特定部２１は、第１撮像画像が撮像装置８で生成される場合に（つまりステップｓ２において）おもて面１０１及び裏面１０２において撮像装置８側を向く面を、第１比較処理の結果である表用処理使用時の第１類似度評価値及び裏用処理使用時の第１類似度評価値に基づいて特定する。特定部２１は、例えば、表用処理使用時の第１類似度評価値が裏用処理使用時の第１類似度評価値よりも小さければ、表用処理使用時の第１類似度評価値に対応する特定面、つまりおもて面１０１が、ステップｓ２において撮像装置８側に向く面であると判定する。特定部２１は、表用処理使用時の第１類似度評価値が裏用処理使用時の第１類似度評価値よりも小さければ、ステップｓ２において物体１０が表向きであると判定するともいえる。一方で、特定部２１は、例えば、裏用処理使用時の第１類似度評価値が表用処理使用時の第１類似度評価値よりも小さければ、裏用処理使用時の第１類似度評価値に対応する特定面、つまり裏面１０２が、ステップｓ２において撮像装置８側に向く面であると特定する。特定部２１は、裏用処理使用時の第１類似度評価値が表用処理使用時の第１類似度評価値よりも小さければ、ステップｓ２において物体１０が裏向きであると判定するともいえる。なお、特定部２１は、表用処理使用時の第１類似度評価値と裏用処理使用時の第１類似度評価値とが同じである場合、おもて面１０１を対象面としてもよいし、裏面１０２を対象面としてもよい。

【0082】

上述のように、表向きの第１姿勢の物体１０が写る第１撮像画像が生成される場合、表用処理使用時の第１回転推定姿勢は、表用処理使用時の第２推定姿勢に近い姿勢となる。一方で、裏用処理使用時の第１回転推定姿勢は、裏用処理使用時の第２推定姿勢と大きく異なる姿勢となる。したがって、第１撮像画像が生成される場合におもて面１０１が撮像装置８側を向いているとき、表用処理使用時の第１類似度評価値が小さくなり、裏用処理使用時の第１類似度評価値が大きくなる。よって、第１撮像画像が生成される場合におもて面１０１が撮像装置８側を向いているとき、表用処理使用時の第１類似度評価値が裏用処理使用時の第１類似度評価値よりも小さくなる可能性が高い。したがって、表用処理使用時の第１類似度評価値が裏用処理使用時の第１類似度評価値よりも小さい場合に、撮像装置８側に向く面がおもて面１０１であると判定することによって、第１撮像画像が生成される場合に撮像装置８側に向く面を適切に特定することができる。

【0083】

また、上述のように、裏向きの第１姿勢の物体１０が写る第１撮像画像が生成される場合、裏用処理使用時の第１回転推定姿勢は、裏用処理使用時の第２推定姿勢に近い姿勢となる。一方で、表用処理使用時の第１回転推定姿勢は、表用処理使用時の第２推定姿勢と大きく異なる姿勢となる。したがって、第１撮像画像が生成される場合に裏面１０２が撮像装置８側を向いているとき、裏用処理使用時の第１類似度評価値が小さくなり、表用処理使用時の第１類似度評価値が大きくなる。よって、第１撮像画像が生成される場合に裏面１０２が撮像装置８側を向いているとき、裏用処理使用時の第１類似度評価値が表用処理使用時の第１類似度評価値よりも小さくなる可能性が高い。したがって、裏用処理使用時の第１類似度評価値が表用処理使用時の第１類似度評価値よりも小さい場合に、撮像装置８側に向く面が裏面１０２であると判定することによって、第１撮像画像が生成される場合に撮像装置８側に向く面を適切に特定することができる。

【0084】

制御部２は、対象面を特定すると、特定した対象面の反対側の面がロボット９で保持されていると判断する。例えば、対象面がおもて面１０１である場合、制御部２は、裏面１０２がロボット９で保持されていると判断する。一方で、対象面が裏面１０２である場合、制御部２は、おもて面１０１がロボット９で保持されていると判断する。インタフェース５を通じてロボット９を制御することが可能な制御部２は、物体１０におけるロボット９で保持されている面に応じてロボット９の作業を変更してもよい。例えば、制御部２は、おもて面１０１を保持するロボット９にはある作業を実行させ、裏面１０２を保持するロボット９には当該ある作業とは別の作業を実行させてもよい。

【0085】

なお、回転軸Ｊの設定方向は上記の例に限られない。例えば、回転軸Ｊは、第１姿勢の物体１０及び回転軸Ｊを撮像装置８から見た場合に物体１０の上下方向に沿った方向に対して少し斜めの方向に設定されてもよい。また、回転軸Ｊは、第１姿勢の物体１０及び回転軸Ｊを撮像装置８から見た場合に物体１０の左右方向の中心から少しずれた位置を通るように設定されてもよい。また、回転軸Ｊは物体１０を通らないように設定されてもよい。

【0086】

上記の説明から理解できるように、本開示では、表向きの第１姿勢の物体１０を角度＋Ｗだけ回転させることによって得られた表向きの第２姿勢の物体１０を撮像装置８から見た場合の物体１０の様子（図５の右側）と、裏向きの第１姿勢の物体１０を角度＋Ｗだけ回転させることによって得られた裏向きの第２姿勢の物体１０を撮像装置８から見た場合の物体１０の様子（図６の右側）とを互いに大きく異ならせることによって、対象面、つまり撮像装置８側を向く面の特定精度を向上させることができる。言い換えれば、表向きの第２姿勢と裏向きの第２姿勢とを互いに大きく異ならせることによって、対象面の特定精度を向上させることができる。さらに、言い換えれば、第１撮像画像が生成される場合に撮像装置８側を向く特定面がおもて面１０１のときに第２撮像画像に写る物体１０の外観（図５の右側）と、第１撮像画像が生成される場合に撮像装置８側を向く特定面が裏面１０２のときに第２撮像画像に写る物体１０の外観（図６の右側）とを互いに大きく異ならせることによって、対象面の特定精度を向上させることができる。回転軸Ｊが、図５及び６の例のように設定される場合には、表向きの第２姿勢と裏向きの第２姿勢とが互いに大きく異なることから、対象面の特定精度が向上する。

【0087】

一方で、回転軸Ｊが、図９に示されるように、例えば、撮像装置８から物体１０及び回転軸Ｊを見た場合に物体１０の左右方向に沿った方向に設定される場合には、表向きの第２姿勢と裏向きの第２姿勢との差が小さくなる。よって、この場合には、回転軸Ｊが図５及び６の例のように設定される場合と比較して、対象面を特定しにくくなる。

【0088】

本例では、ロボット９は、アーム９０を動かすことによって物体１０を回転させている。ロボット９が物体１０を保持して撮像装置８の前に物体１０を運んだとき、図１０の左側に示されるように、アーム９０の動きだけで物体１０を回転させることができる回転軸Ｍと、物体１０を回転すべき回転軸Ｊとが異なることも考えられる。この場合には、ロボット９は、ステップｓ２の実行前に、物体１０を保持するエンドエフェクタ９１の全体、あるいはエンドエフェクタ９１の先端だけを、アーム９０に対して相対的に回転させることによって、図１０の右側のように、回転軸Ｊを回転軸Ｍに一致させてもよい。ロボット９のこの動作は、処理装置１の制御部２がロボット９を制御することによって実現される。制御部２は、ステップｓ１及びステップｓ２の間において、撮像装置８に物体１０を撮像させる。そして、制御部２は、撮像装置８で生成された撮像画像に基づいて、撮像装置８の光軸の回りの物体１０の回転を特定し、その特定結果に基づいてロボット９を制御することによって、回転軸Ｊが回転軸Ｍに一致するように、ロボット９に、エンドエフェクタ９１の全体あるいはエンドエフェクタ９１の先端をアーム９０に対して相対的に回転させる。

【0089】

以上のように、本例では、第１姿勢の物体１０が写る第１撮像画像に基づく複数種類の姿勢推定処理でそれぞれ推定された複数の第１推定結果と、第１姿勢から回転した第２姿勢の物体１０が写る第２撮像画像に基づく複数種類の姿勢推定処理でそれぞれ推定された複数の第２推定結果とに基づいて、第１撮像画像が撮像装置８で生成される場合に物体１０の複数の特定面において撮像装置８側を向く特定面が特定される。これにより、第１撮像画像が生成される場合に撮像装置８側を向く特定面に応じて、第２撮像画像に写る物体１０の外観が大きく異なる場合には、第１撮像画像が生成される場合に撮像装置８側を向く特定面を適切に特定することができる。

【0090】

特定部２１は、対象面を特定した後、ステップｓ３で得られた複数の第１推定姿勢のうち、特定した対象面に対応する第１推定姿勢を、第１撮像画像が撮像装置８で生成される場合の物体１０（つまり第１姿勢の物体１０）の姿勢の最終的な推定結果としてもよい。例えば、特定部２１は、対象面としておもて面１０１を特定した場合、表用処理使用時の第１推定姿勢を、第１撮像画像が生成される場合の物体１０の姿勢の最終的な推定結果としてもよい。一方で、特定部２１は、対象面として裏面１０２を特定した場合、裏用処理使用時の第１推定姿勢を、第１撮像画像が生成される場合の物体１０の姿勢の最終的な推定結果としてもよい。

【0091】

また、特定部２１は、対象面を特定した後、ステップｓ６で得られた複数の第２推定姿勢のうち、特定した対象面に対応する第２推定姿勢を、第２撮像画像が撮像装置８で生成される場合の物体１０（つまり第２姿勢の物体１０）の姿勢の最終的な推定結果としてもよい。例えば、特定部２１は、対象面としておもて面１０１を特定した場合、表用処理使用時の第２推定姿勢を、第２撮像画像が生成される場合の物体１０の姿勢の最終的な推定結果としてもよい。一方で、特定部２１は、対象面として裏面１０２を特定した場合、裏用処理使用時の第２推定姿勢を、第２撮像画像が生成される場合の物体１０の姿勢の最終的な推定結果としてもよい。

【0092】

また、特定部２１は、対象面を特定した後、ステップｓ７で得られた複数の第１回転推定姿勢のうち、特定した対象面に対応する第１回転推定姿勢を、第２撮像画像が撮像装置８で生成される場合の物体１０（つまり第２姿勢の物体１０）の姿勢の最終的な推定結果としてもよい。例えば、特定部２１は、対象面としておもて面１０１を特定した場合、表用処理使用時の第１回転推定姿勢を、第２撮像画像が生成される場合の物体１０の姿勢の最終的な推定結果としてもよい。一方で、特定部２１は、対象面として裏面１０２を特定した場合、裏用処理使用時の第１回転推定姿勢を、第２撮像画像が生成される場合の物体１０の姿勢の最終的な推定結果としてもよい。

【0093】

＜対象面特定処理の他の例＞
上記の例では、撮像装置８が物体１０を撮像するときの物体１０の姿勢が回転させられることによって第１撮像画像及び第２撮像画像が撮像装置８で生成されているが、物体１０を撮像するときの撮像装置８の姿勢が回転させられることによって第１撮像画像及び第２撮像画像が撮像装置８で生成されてもよい。図１１はこの場合の対象面特定処理の一例を示すフローチャートである。図１１に示される対象面特定処理が実行される場合には、図１２に示されるように、撮像装置８を回転させることが可能な駆動機構８００が設けられる。

【0094】

駆動機構８００は、撮像装置８を回転軸Ｊの回りに回転することが可能である。駆動機構８００としては、例えば、ロボット９と同様のロボットが採用されてもよい。駆動機構８００は処理装置１の制御部２によって制御される。処理装置１には、駆動機構８００と通信することが可能なインタフェースが設けられる。制御部２は、当該インタフェースを通じて駆動機構８００を制御して、駆動機構８００に撮像装置８を回転軸Ｊの回りに回転させる。

【0095】

図１１に示される対象面特定処理では、まず、上述のステップｓ１，ｓ２，ｓ３が実行される。その後、ステップｓ１１において、制御部２は、駆動機構８００に撮像装置８を回転させる。ステップｓ１１において、駆動機構８００は、回転軸Ｊの回りに角度－Ｗだけ撮像装置８を回転させる。その後、上述のステップｓ５が実行されて、撮像装置８が物体１０を撮像する。ステップｓ５では、上記の例と同様に、第１姿勢から回転した第２姿勢の物体１０が写る第２撮像画像が生成される。以後、上述のステップｓ６，ｓ７，ｓ８，ｓ９が順次実行される。

【0096】

このように、物体１０を撮像するときの撮像装置８の姿勢が回転させられることによって第１撮像画像及び第２撮像画像が撮像装置８で生成される場合であっても、制御部２は、第１撮像画像が生成される場合に撮像装置８側を向く特定面を適切に特定することができる。

【0097】

図１３は、対象面特定処理の他の例を示すフローチャートである。図１３に示される対象面特定処理では、上述のステップｓ１，ｓ２，ｓ３，ｓ４，ｓ５，ｓ６が実行される。ステップｓ６の後、ステップｓ２１が実行される。

【0098】

ここで、物体１０を保持する保持機構としてのエンドエフェクタ９１には三次元直交座標系が設定されている。この三次元直交座標系を保持機構座標系と呼ぶ。保持機構座標系とは、アーム９０の先端の位置に基づいて、エンドエフェクタ９１から見たときの現実空間を座標空間として表現した座標系である。上述のように、ステップｓ４では、アーム９０の動きによって、物体１０を保持するエンドエフェクタ９１が回転軸Ｊの回りに角度＋Ｗだけ回転することによって、物体１０が回転軸Ｊの回りに角度＋Ｗだけ回転する。エンドエフェクタ９１が回転軸Ｊの回りに角度＋Ｗだけ回転することによって、物体１０の姿勢が第１姿勢から第２姿勢に変化するともいえる。第２姿勢の物体１０を保持するときのエンドエフェクタ９１の保持機構座標系は、第１姿勢の物体１０を保持するときのエンドエフェクタ９１の保持機構座標系を回転軸Ｊの回りに角度＋Ｗだけ回転したものとなる。言い換えれば、第２撮像画像が生成される場合の保持機構座標系は、第１撮像画像が生成される場合の保持機構座標系を回転軸Ｊの回りに角度＋Ｗだけ回転したものとなる。以後、第１姿勢の物体１０を保持するときのエンドエフェクタ９１の保持機構座標系を回転前保持機構座標系と呼び、第２姿勢の物体１０を保持するときのエンドエフェクタ９１の保持機構座標系を回転後保持機構座標系と呼ぶ。

【0099】

ステップｓ２１において、特定部２１は、ステップｓ３で得られる複数の第１推定姿勢を、撮像装置座標系から回転前保持機構座標系に変換して、複数の第１変換推定姿勢を取得する。本例では、ステップｓ２１において、特定部２１は、表用処理使用時の第１推定姿勢を、撮像装置座標系から回転前保持機構座標系に変換して、表用処理使用時の第１変換推定姿勢を取得する。また、特定部２１は、裏用処理使用時の第１推定姿勢を、撮像装置座標系から回転前保持機構座標系に変換して、裏用処理使用時の第１変換推定姿勢を取得する。第１推定姿勢を撮像装置座標系から回転前保持機構座標系に変換することは、第１推定姿勢を、第１姿勢の物体１０を撮像装置８から見た場合の物体１０の推定姿勢から、第１姿勢の物体１０を保持するエンドエフェクタ９１から第１姿勢の物体１０を見た場合の物体１０の推定姿勢に変換することともいえる。よって、第１変換推定姿勢は、第１姿勢の物体１０を保持するエンドエフェクタ９１から第１姿勢の物体１０を見た場合の物体１０の推定姿勢であるといえる。

【0100】

ステップｓ２１の後、ステップｓ２２において、特定部２１は、ステップｓ６で得られる複数の第２推定姿勢を、撮像装置座標系から回転後保持機構座標系に変換して、複数の第２変換推定姿勢を取得する。本例では、ステップｓ２２において、特定部２１は、表用処理使用時の第２推定姿勢を、撮像装置座標系から回転後保持機構座標系に変換して、表用処理使用時の第２変換推定姿勢を取得する。また、特定部２１は、裏用処理使用時の第２推定姿勢を、撮像装置座標系から回転後保持機構座標系に変換して、裏用処理使用時の第２変換推定姿勢を取得する。第２推定姿勢を撮像装置座標系から回転後保持機構座標系に変換することは、第２推定姿勢を、第２姿勢の物体１０を撮像装置８から見た場合の物体１０の推定姿勢から、第２姿勢の物体１０を保持するエンドエフェクタ９１から第２姿勢の物体１０を見た場合の物体１０の推定姿勢に変換することともいえる。よって、第２変換推定姿勢は、第２姿勢の物体１０を保持するエンドエフェクタ９１から第２姿勢の物体１０を見た場合の物体１０の推定姿勢であるといえる。

【0101】

例えば、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合を考える。この場合、上述のように、表用処理使用時の第１推定姿勢は、撮像装置８から見た物体１０の実際の姿勢に近い姿勢となる。また、表用処理使用時の第２推定姿勢は、撮像装置８から見た物体１０の実際の姿勢に近い姿勢となる。エンドエフェクタ９１は物体１０とともに回転することから、第１姿勢の物体１０を保持するエンドエフェクタ９１から第１姿勢の物体１０を見た実際の様子と、第２姿勢の物体１０を保持するエンドエフェクタ９１から第２姿勢の物体１０を見た実際の様子とは同じである。よって、物体１０の実際の姿勢に近い表用処理使用時の第１推定姿勢から得られた表用処理使用時の第１変換推定姿勢と、物体１０の実際の姿勢に近い表用処理使用時の第２推定姿勢から得られた表用処理使用時の第２変換推定姿勢とは、互いに近い姿勢となる。

【0102】

一方で、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合、裏用処理使用時の第１推定姿勢は、裏向きの第１姿勢の物体１０を撮像装置８から見た場合の物体１０の姿勢に近い姿勢となる。エンドエフェクタ９１は物体１０とともに回転することから、裏用処理使用時の第２推定姿勢が、仮に、裏向きの第１姿勢の物体１０を角度＋Ｗだけ回転させた後の物体１０を撮像装置８から見た場合の物体１０の姿勢、つまり、裏向きの第２姿勢（図６の右側）に近い姿勢であれば、表用処理使用時の第１変換推定姿勢と表用処理使用時の第２変換推定姿勢との関係のように、裏用処理使用時の第１変換推定姿勢と、裏用処理使用時の第２変換推定姿勢とは、互いに近い姿勢となる。しかしながら、裏用処理使用時の第２推定姿勢は、上述のように、裏向きの第３姿勢に近い姿勢となる。したがって、裏用処理使用時の第１変換推定姿勢と、裏用処理使用時の第２変換推定姿勢とは、互いに大きく異なることになる。

【0103】

裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合にも上記と同様に考えることができる。裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合には、裏用処理使用時の第１変換推定姿勢と、裏用処理使用時の第２変換推定姿勢とは、互いに近い姿勢となる。これに対して、表用処理使用時の第１変換推定姿勢と、表用処理使用時の第２変換推定姿勢とは、互いに大きく異なることになる。

【0104】

ステップｓ２２の後、ステップｓ２３において、特定部２１は、ステップｓ２１で得られた複数の第１変換推定姿勢と、ステップｓ２２で得られた複数の第２変換推定姿勢とを、対応する面ごとに比較する第２比較処理を行う。本例では、特定部２１は、表用処理使用時の第１変換推定姿勢及び裏用処理使用時の第１変換推定姿勢と、表用処理使用時の第２変換推定姿勢及び裏用処理使用時の第２変換推定姿勢とを、対応する面ごとに比較する第２比較処理を行う。表用処理使用時の第１変換推定姿勢と、表用処理使用時の第２変換推定姿勢とは、おもて面１０１に対応することから、第２比較処理では、表用処理使用時の第１変換推定姿勢と、表用処理使用時の第２変換推定姿勢とが比較される。裏用処理使用時の第１変換推定姿勢と、裏用処理使用時の第２変換推定姿勢とは、裏面１０２に対応することから、第２比較処理では、裏用処理使用時の第１変換推定姿勢と、裏用処理使用時の第２変換推定姿勢とが比較される。

【0105】

特定部２１は、第２比較処理において、例えば、各第１変換推定姿勢について、当該第１変換推定姿勢と、当該第１変換推定姿勢が対応する特定面と同じ特定面に対応する第２変換推定姿勢との類似度を示す評価値（第２類似度評価値ともいう）を求める。これにより、第２比較処理の結果として、複数の特定面にそれぞれ対応する複数の第２類似度評価値が得られる。ある特定面に対応する第１変換推定姿勢と、当該ある特定面に対応する第２変換推定姿勢との類似度を示す第２類似度評価値は、当該ある特定面に対応する第２類似度評価値となる。

【0106】

特定部２１は、第２比較処理において、例えば、表用処理使用時の第１変換推定姿勢と、表用処理使用時の第２変換推定姿勢との類似度を示す第２類似度評価値（表用処理使用時の第２類似度評価値ともいう）を求める。また、特定部２１は、第２比較処理において、例えば、裏用処理使用時の第１変換推定姿勢と、裏用処理使用時の第２変換推定姿勢との類似度を示す第２類似度評価値（裏用処理使用時の第２類似度評価値ともいう）を求める。表用処理使用時の第２類似度評価値と裏用処理使用時の第２類似度評価値が、第２比較処理の結果となる。特定部２１は、例えば、第１類似度評価値を算出する場合と同様にして、第２類似度評価値を算出してもよい。

【0107】

ステップｓ２３の後、ステップｓ２４において、特定部２１は、第２比較処理の結果に基づいて、第１姿勢の物体１０が撮像装置８で撮像される場合において撮像装置８側を向く特定面を、対象面として特定する。ステップｓ２３において、特定部２１は、例えば、複数の第２類似度評価値における最小の第２類似度評価値を特定する。そして、特定部２１は、特定した最小の第２類似度評価値に対応する特定面を対象面とする。

【0108】

本例では、特定部２１は、第１撮像画像が撮像装置８で生成される場合におもて面１０１及び裏面１０２において撮像装置８側を向く面を、表用処理使用時の第２類似度評価値及び裏用処理使用時の第２類似度評価値に基づいて特定する。特定部２１は、例えば、表用処理使用時の第２類似度評価値が裏用処理使用時の第２類似度評価値よりも小さければ、ステップｓ２において撮像装置８側に向く面がおもて面１０１であると判定する。一方で、特定部２１は、例えば、裏用処理使用時の第２類似度評価値が表用処理使用時の第２類似度評価値よりも小さければ、ステップｓ２において撮像装置８側に向く面が裏面１０２であると判定する。なお、特定部２１は、表用処理使用時の第２類似度評価値と裏用処理使用時の第２類似度評価値とが同じである場合、おもて面１０１を対象面としてもよいし、裏面１０２を対象面としてもよい。

【0109】

上述のように、表向きの第１姿勢の物体１０が写る第１撮像画像が生成される場合、表用処理使用時の第１変換推定姿勢は、表用処理使用時の第２変換推定姿勢に近い姿勢となる。一方で、裏用処理使用時の第１変換推定姿勢は、裏用処理使用時の第２変換推定姿勢と大きく異なる姿勢となる。したがって、第１撮像画像が生成される場合におもて面１０１が撮像装置８側を向いているとき、表用処理使用時の第２類似度評価値が小さくなり、裏用処理使用時の第２類似度評価値が大きくなる。よって、第１撮像画像が生成される場合におもて面１０１が撮像装置８側を向いているとき、表用処理使用時の第２類似度評価値が裏用処理使用時の第２類似度評価値よりも小さくなる可能性が高い。したがって、表用処理使用時の第２類似度評価値が裏用処理使用時の第２類似度評価値よりも小さい場合に、撮像装置８側に向く面がおもて面１０１であると判定することによって、第１撮像画像が生成される場合に撮像装置８側に向く面を適切に特定することができる。

【0110】

また、上述のように、裏向きの第１姿勢の物体１０が写る第１撮像画像が生成される場合、裏用処理使用時の第１変換推定姿勢は、裏用処理使用時の第２変換推定姿勢に近い姿勢となる。一方で、表用処理使用時の第１変換推定姿勢は、表用処理使用時の第２変換推定姿勢と大きく異なる姿勢となる。したがって、第１撮像画像が生成される場合に裏面１０２が撮像装置８側を向いているとき、裏用処理使用時の第２類似度評価値が小さくなり、表用処理使用時の第２類似度評価値が大きくなる。よって、第１撮像画像が生成される場合に裏面１０２が撮像装置８側を向いているとき、裏用処理使用時の第２類似度評価値が表用処理使用時の第２類似度評価値よりも小さくなる可能性が高い。したがって、裏用処理使用時の第２類似度評価値が表用処理使用時の第２類似度評価値よりも小さい場合に、撮像装置８側に向く面が裏面１０２であると判定することによって、第１撮像画像が生成される場合に撮像装置８側に向く面を適切に特定することができる。

【0111】

図１４は、対象面特定処理の他の例を示すフローチャートである。図１４に示される対象面特定処理では、上述のステップｓ１，ｓ２，ｓ３，ｓ１１，ｓ５，ｓ６が実行される。ステップｓ６の後、ステップｓ３１が実行される。

【0112】

ここで、上述のように、ステップｓ１１では、撮像装置８が回転軸Ｊの回りに角度－Ｗだけ回転する。したがって、第２撮像画像を生成するときの撮像装置８の撮像装置座標系は、第１撮像画像を生成するときの撮像装置８の撮像装置座標系を回転軸Ｊの回りに角度－Ｗだけ回転したものとなる。第１撮像画像を生成するときの撮像装置８の撮像装置座標系を回転前撮像装置座標系と呼び、第２撮像画像を生成するときの撮像装置８の撮像装置座標系を回転後撮像装置座標系と呼ぶ。ステップｓ３で得られる複数の第１推定姿勢は回転前保持機構座標系で表され、ステップｓ６で得られる複数の第２推定姿勢は回転後保持機構座標系で表される。

【0113】

ステップｓ３１において、特定部２１は、ステップｓ３で得られる複数の第１推定姿勢を、回転前撮像装置座標系から保持機構座標系に変換して、複数の第３変換推定姿勢を取得する。本例では、ステップｓ３１において、特定部２１は、表用処理使用時の第１推定姿勢を、回転前撮像装置座標系から保持機構座標系に変換して、表用処理使用時の第３変換推定姿勢を取得する。また、特定部２１は、裏用処理使用時の第１推定姿勢を、回転前撮像装置座標系から保持機構座標系に変換して、裏用処理使用時の第３変換推定姿勢を取得する。対象面特定処理においてロボット９での物体１０の保持姿勢が同じであれば、表用処理使用時の第３変換推定姿勢は、上述の表用処理使用時の第２変換推定姿勢と同じとなり、裏用処理使用時の第３変換推定姿勢は、上述の裏用処理使用時の第２変換推定姿勢と同じとなる。

【0114】

ステップｓ３１の後、ステップｓ３２において、特定部２１は、ステップｓ６で得られる複数の第２推定姿勢を、回転後撮像装置座標系から保持機構座標系に変換して、複数の第４変換推定姿勢を取得する。本例では、ステップｓ３２において、特定部２１は、表用処理使用時の第２推定姿勢を、回転後撮像装置座標系から保持機構座標系に変換して、表用処理使用時の第４変換推定姿勢を取得する。また、特定部２１は、裏用処理使用時の第２推定姿勢を、回転後撮像装置座標系から保持機構座標系に変換して、裏用処理使用時の第４変換推定姿勢を取得する。

【0115】

例えば、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合を考える。この場合、上述のように、表用処理使用時の第１推定姿勢は、撮像装置８から見た物体１０の実際の姿勢に近い姿勢となる。また、表用処理使用時の第２推定姿勢は、撮像装置８から見た物体１０の実際の姿勢に近い姿勢となる。図１３の例のように物体１０がエンドエフェクタ９１とともに回転する場合と同様に、撮像装置８が回転する場合であっても、第１撮像画像が生成される場合にエンドエフェクタ９１から物体１０を見た実際の様子と、第２撮像画像が生成される場合にエンドエフェクタ９１から物体１０を見た実際の様子とは同じである。よって、物体１０の実際の姿勢に近い表用処理使用時の第１推定姿勢から得られた表用処理使用時の第３変換推定姿勢と、物体１０の実際の姿勢に近い表用処理使用時の第２推定姿勢から得られた表用処理使用時の第４変換推定姿勢とは、互いに近い姿勢となる。

【0116】

一方で、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合、裏用処理使用時の第１推定姿勢は、裏向きの第１姿勢に近い姿勢となる。裏用処理使用時の第２推定姿勢が、仮に、裏向きの第２姿勢に近い姿勢であれば、表用処理使用時の第３変換推定姿勢と表用処理使用時の第４変換推定姿勢との関係のように、裏用処理使用時の第３変換推定姿勢と、裏用処理使用時の第４変換推定姿勢とは、互いに近い姿勢となる。しかしながら、裏用処理使用時の第２推定姿勢は、裏向きの第３姿勢に近い姿勢となる。したがって、裏用処理使用時の第３変換推定姿勢と、裏用処理使用時の第４変換推定姿勢とは、互いに大きく異なることになる。

【0117】

裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合にも上記と同様に考えることができる。裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合には、裏用処理使用時の第３変換推定姿勢と、裏用処理使用時の第４変換推定姿勢とは、互いに近い姿勢となる。これに対して、表用処理使用時の第３変換推定姿勢と、表用処理使用時の第４変換推定姿勢とは、互いに大きく異なることになる。

【0118】

ステップｓ３２の後、ステップｓ３３において、特定部２１は、ステップｓ３１で得られた複数の第３変換推定姿勢と、ステップｓ３２で得られた複数の第４変換推定姿勢とを、対応する面ごとに比較する第３比較処理を行う。本例では、特定部２１は、表用処理使用時の第３変換推定姿勢及び裏用処理使用時の第３変換推定姿勢と、表用処理使用時の第４変換推定姿勢及び裏用処理使用時の第４変換推定姿勢とを、対応する面ごとに比較する第３比較処理を行う。第３比較処理では、表用処理使用時の第３変換推定姿勢と、表用処理使用時の第４変換推定姿勢とが比較され、裏用処理使用時の第３変換推定姿勢と、裏用処理使用時の第４変換推定姿勢とが比較される。

【0119】

特定部２１は、第３比較処理において、例えば、各第３変換推定姿勢について、当該第３変換推定姿勢と、当該第３変換推定姿勢が対応する特定面と同じ特定面に対応する第４変換推定姿勢との類似度を示す評価値（第３類似度評価値ともいう）を求める。これにより、第３比較処理の結果として、複数の特定面にそれぞれ対応する複数の第３類似度評価値が得られる。ある特定面に対応する第３変換推定姿勢と、当該ある特定面に対応する第４変換推定姿勢との類似度を示す第３類似度評価値は、当該ある特定面に対応する第３類似度評価値となる。

【0120】

本例では、特定部２１は、第３比較処理において、表用処理使用時の第３変換推定姿勢と、表用処理使用時の第４変換推定姿勢との類似度を示す第３類似度評価値（表用処理使用時の第３類似度評価値ともいう）を求める。また、特定部２１は、第３比較処理において、例えば、裏用処理使用時の第３変換推定姿勢と、裏用処理使用時の第４変換推定姿勢との類似度を示す第３類似度評価値（裏用処理使用時の第３類似度評価値ともいう）を求める。表用処理使用時の第３類似度評価値と裏用処理使用時の第３類似度評価値が、第３比較処理の結果となる。特定部２１は、例えば、第１類似度評価値を算出する場合と同様にして、第３類似度評価値を算出してもよい。

【0121】

ステップｓ３３の後、ステップｓ３４において、特定部２１は、第３比較処理の結果に基づいて、第１姿勢の物体１０が撮像装置８で撮像される場合において撮像装置８側を向く特定面を、対象面として特定する。ステップｓ３４において、特定部２１は、例えば、複数の第３類似度評価値における最小の第３類似度評価値を特定する。そして、特定部２１は、特定した最小の第３類似度評価値に対応する特定面を対象面とする。

【0122】

本例では、特定部２１は、第１撮像画像が撮像装置８で生成される場合におもて面１０１及び裏面１０２において撮像装置８側を向く面を、表用処理使用時の第３類似度評価値及び裏用処理使用時の第３類似度評価値に基づいて特定する。特定部２１は、例えば、表用処理使用時の第３類似度評価値が裏用処理使用時の第３類似度評価値よりも小さければ、ステップｓ２において撮像装置８側に向く面がおもて面１０１であると判定する。一方で、特定部２１は、例えば、裏用処理使用時の第３類似度評価値が表用処理使用時の第３類似度評価値よりも小さければ、ステップｓ２において撮像装置８側に向く面が裏面１０２であると判定する。なお、特定部２１は、表用処理使用時の第３類似度評価値と裏用処理使用時の第３類似度評価値とが同じである場合、おもて面１０１を対象面としてもよいし、裏面１０２を対象面としてもよい。

【0123】

図１５は、対象面特定処理の他の例を示すフローチャートである。図１５に示される対象面特定処理では、上述のステップｓ１，ｓ２，ｓ３，ｓ４，ｓ５，ｓ７が実行される。ステップｓ７の後、ステップｓ４１が実行される。

【0124】

ステップｓ４１において、特定部２１は、ステップｓ７で得られた複数の第１回転推定姿勢のそれぞれについて、複数種類の姿勢推定処理のうち当該第１回転推定姿勢に対応する姿勢推定処理で使用される複数のテンプレートから、当該第１回転推定姿勢に対応する対応テンプレートを特定する。これにより、複数の第１回転推定姿勢にそれぞれ対応する複数の対応テンプレートが特定される。本例では、特定部２１は、表用処理使用時の第１回転推定姿勢に対応する表用姿勢推定処理で使用される複数の表用テンプレートから、表用処理使用時の第１回転推定姿勢と同じ姿勢が対応付けられている表用テンプレートを対応表用テンプレートとして特定する。また、特定部２１は、裏用処理使用時の第１回転推定姿勢に対応する裏用姿勢推定処理で使用される複数の裏用テンプレートから、裏用処理使用時の第１回転推定姿勢と同じ姿勢が対応付けられている裏用テンプレートを対応裏用テンプレートとして特定する。

【0125】

ステップｓ４１の後、ステップｓ４２において、特定部２１は、ステップｓ５で得られた第２撮像画像と、ステップｓ４１で特定された複数の対応テンプレートのそれぞれとを比較するテンプレートマッチングを行う。特定部２１は、推定部２０での姿勢推定処理で実行されるテンプレートマッチングと同様にして、各対応テンプレートについて、当該対応テンプレートと第２撮像画像とのマッチングスコアを求める。これにより、ステップｓ４２でのテンプレートマッチングの結果として、複数の対応テンプレートにそれぞれ対応する複数のマッチングスコアが求められる。対応テンプレートに対応するマッチングスコアは、当該対応テンプレートについての第２撮像画像とのマッチングスコアである。本例では、特定部２１は、対応表用テンプレートと第２撮像画像とのマッチングスコアを求め、対応裏用テンプレートと第２撮像画像とのマッチングスコアを求める。以後、対応表用テンプレートと第２撮像画像とのマッチングスコアを対応表用テンプレート使用時のマッチングスコアと呼び、対応裏用テンプレートと第２撮像画像とのマッチングスコアを対応裏用テンプレート使用時のマッチングスコアと呼ぶことがある。

【0126】

ステップｓ４２の後、ステップｓ４３において、特定部２１は、ステップｓ４２でのテンプレートマッチングの結果に基づいて、第１姿勢の物体１０が撮像装置８で撮像される場合において撮像装置８側を向く特定面を、対象面として特定する。ステップｓ４３において、特定部２１は、例えば、テンプレートマッチングの結果としての複数のマッチングスコアのうち、最も高いマッチングスコアを特定する。そして、特定部２１は、特定した最も高いマッチングスコアに対応する対応テンプレートに対応する特定面を対象面とする。ある対応プレートに対応する特定面とは、当該ある対応テンプレートが使用される姿勢推定処理に対応する特定面である。例えば、対応表用テンプレートに対応する特定面とは、対応表用テンプレートが使用される表用姿勢推定処理に対応するおもて面１０１であり、対応裏用テンプレートに対応する特定面とは、対応裏用テンプレートが使用される裏用姿勢推定処理に対応する裏面１０２である。

【0127】

本例では、特定部２１は、第１撮像画像が撮像装置８で生成される場合におもて面１０１及び裏面１０２において撮像装置８側を向く面を、対応表用テンプレート使用時のマッチングスコアと、対応裏用テンプレート使用時のマッチングスコアとに基づいて特定する。特定部２１は、例えば、対応表用テンプレート使用時のマッチングスコアが対応裏用テンプレート使用時のマッチングスコアよりも高ければ、ステップｓ２において撮像装置８側に向く面がおもて面１０１であると判定する。一方で、特定部２１は、例えば、対応裏用テンプレート使用時のマッチングスコアが対応表用テンプレート使用時のマッチングスコアよりも高ければ、ステップｓ２において撮像装置８側に向く面が裏面１０２であると判定する。なお、特定部２１は、対応表用テンプレート使用時のマッチングスコアと対応裏用テンプレート使用時のマッチングスコアとが同じである場合、おもて面１０１を対象面としてもよいし、裏面１０２を対象面としてもよい。

【0128】

例えば、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合を考える。この場合、上述のように、表用処理使用時の第１推定姿勢は、表向きの第１姿勢に近い姿勢となる。したがって、表用処理使用時の第１回転推定姿勢は、表向きの第２姿勢に近い姿勢となる。よって、表用処理使用時の第１回転推定姿勢に対応する対応表用テンプレートは、表向きの第２姿勢の物体１０が写る第２撮像画像に類似する画像となる。そのため、対応表用テンプレートと第２撮像画像とのマッチングスコアは高くなる。一方で、裏用処理使用時の第１推定姿勢は、裏向きの第１姿勢に近い姿勢となる。したがって、裏用処理使用時の第１回転推定姿勢は、裏向きの第２姿勢に近い姿勢となる。よって、裏用処理使用時の第１回転推定姿勢に対応する対応裏用テンプレートは、裏向きの第２姿勢が写る撮像画像と類似し、表向きの第２姿勢の物体１０が写る第２撮像画像とは類似しない。そのため、対応裏用テンプレートと第２撮像画像とのマッチングスコアは低くなる。したがって、第１撮像画像が生成される場合におもて面１０１が撮像装置８側を向いているとき、対応表用テンプレート使用時のマッチングスコアが対応裏用テンプレート使用時のマッチングスコアよりも高くなる可能性が高い。

【0129】

また、裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合を考える。この場合、上述のように、裏用処理使用時の第１推定姿勢は、裏向きの第１姿勢に近い姿勢となる。したがって、裏用処理使用時の第１回転推定姿勢は、実際の裏向きの第２姿勢に近い姿勢となる。よって、裏用処理使用時の第１回転推定姿勢に対応する対応裏用テンプレートは、裏向きの第２姿勢の物体１０が写る第２撮像画像に類似する画像となる。そのため、対応裏用テンプレートと第２撮像画像とのマッチングスコアは高くなる。一方で、表用処理使用時の第１推定姿勢は、表向きの第１姿勢に近い姿勢となる。したがって、表用処理使用時の第１回転推定姿勢は、表向きの第２姿勢に近い姿勢となる。よって、表用処理使用時の第１回転推定姿勢に対応する対応表用テンプレートは、表向きの第２姿勢が写る撮像画像と類似し、裏向きの第２姿勢の物体１０が写る第２撮像画像とは類似しない。そのため、対応表用テンプレートと第２撮像画像とのマッチングスコアは低くなる。したがって、第１撮像画像が生成される場合に裏面１０２が撮像装置８側を向いているとき、対応裏用テンプレート使用時のマッチングスコアが対応表用テンプレート使用時のマッチングスコアよりも高くなる可能性が高い。

【0130】

このように、本例では、第１撮像画像が生成される場合に撮像装置８側を向く特定面がおもて面１０１か裏面１０２かに応じて、第２撮像画像に写る物体１０の外観が大きく異なることから、第１撮像画像が生成される場合におもて面１０１が撮像装置８側を向いているとき、対応表用テンプレート使用時のマッチングスコアが対応裏用テンプレート使用時のマッチングスコアよりも高くなる可能性が高く、第１撮像画像が生成される場合に裏面１０２が撮像装置８側を向いているとき、対応裏用テンプレート使用時のマッチングスコアが対応表用テンプレート使用時のマッチングスコアよりも高くなる可能性が高い。したがって、対応表用テンプレート使用時のマッチングスコアが対応裏用テンプレート使用時のマッチングスコアよりも高いときに、撮像装置８側に向く面がおもて面１０１であると判定し、対応裏用テンプレート使用時のマッチングスコアが対応表用テンプレート使用時のマッチングスコアよりも高いときに、撮像装置８側に向く面が裏面１０２であると判定することによって、第１撮像画像が生成される場合に撮像装置８側に向く面を適切に特定することができる。

【0131】

なお、図１６に示されるように、物体１０を角度＋Ｗだけ回転させるステップｓ４の替わりに、撮像装置８を角度－Ｗだけ回転させるステップｓ１１が実行されてもよい。

【0132】

このように、図１５及び１６の例では、複数の第１回転推定姿勢について特定された対応テンプレートと第２撮像画像とを比較するテンプレートマッチングが行われ、当該テンプレートマッチングの結果に基づいて、第１撮像画像が撮像装置８で生成される場合に撮像装置８側を向く特定面が特定される。これにより、第１撮像画像が生成される場合に撮像装置８側を向く特定面に応じて、第２撮像画像に写る物体１０の外観が大きく異なる場合には、第１撮像画像が生成される場合に撮像装置８側に向く特定面を適切に特定することができる。

【0133】

上記の図１５及び１６の例以外において、姿勢推定処理では、テンプレートマッチング以外の方法で物体１０の姿勢が推定されてもよい。例えば、推定部２０は、ニューラルネットワークなどの非線形関数を用いた方法で物体１０の姿勢を推定してもよい。例えば、推定部２０が、ニューラルネットワークを用いて物体１０の姿勢を推定する場合、表用姿勢推定処理では、物体１０をおもて面１０１側から様々な角度で撮像して得られた多数の撮像画像に基づいて学習されたニューラルネットワークが使用され、裏用姿勢推定処理では、物体１０を裏面１０２側から様々な角度で撮像して得られた多数の撮像画像に基づいて学習されたニューラルネットワークが使用されてもよい。

【0134】

上記の図４及び１１の例では、第１推定姿勢から第１回転推定姿勢が求められているが、第１推定姿勢が求められずに第１撮像画像から、第１回転推定姿勢が直接求められてもよい。例えば、機械学習が用いられて表用処理使用時の第１回転推定姿勢を推定するように学習された推定器（例えばニューラルネットワーク）が、第1撮像画像と回転軸Ｊの回りの角度＋Ｗとに基づいて、表用処理使用時の第１回転推定姿勢を推定してもよい。推定器で推定される表用処理使用時の第１回転推定姿勢は、物体１０のおもて面１０１が撮像装置８側を向いていると仮定して第１姿勢の物体１０の姿勢を推定した推定姿勢を回転軸Ｊの回りの角度＋Ｗだけ回転させた回転姿勢に相当する姿勢となる。また、機械学習が用いられて裏用処理使用時の第１回転推定姿勢を推定するように学習された推定器が、第１撮像画像と回転軸Ｊの回りの角度＋Ｗとに基づいて、裏用処理使用時の第１回転推定姿勢を推定してもよい。推定器で推定される裏用処理使用時の第１回転推定姿勢は、物体１０の裏面１０２が撮像装置８側を向いていると仮定して第１姿勢の物体１０の姿勢を推定した推定姿勢を回転軸Ｊの回りの角度＋Ｗだけ回転させた回転姿勢に相当する姿勢となる。

【0135】

上記の図４及び１１の例では、複数の第１推定姿勢が、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合と同様に回転した複数の第１回転推定姿勢が使用されていたが、複数の第２推定姿勢が、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合とは逆の方向に回転した複数の第２回転推定姿勢が使用されてもよい。この場合、上述のステップｓ７において、特定部２１は、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合とは逆の方向にステップｓ６で得られた複数の第２推定姿勢が回転した複数の第２回転推定姿勢を求める。例えば、特定部２１は、表用処理使用時の第２推定姿勢が、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合とは逆の方向に回転した第２回転推定姿勢（表用処理使用時の第２回転推定姿勢ともいう）を求める。また特定部２１は、裏用処理使用時の第２推定姿勢が、物体１０の姿勢が第１姿勢から第２姿勢に回転する場合とは逆の方向に回転した第２回転推定姿勢（裏用処理使用時の第２回転推定姿勢ともいう）を求める。特定部２１は、撮像装置座標系において、表用処理使用時の第２推定姿勢を、回転軸Ｊの回りに角度－Ｗだけ回転させて得られる姿勢を、表用処理使用時の第２回転推定姿勢とする。また、特定部２１は、撮像装置座標系において、裏用処理使用時の第２推定姿勢を、回転軸Ｊの回りに角度－Ｗだけ回転させて得られる姿勢を、裏用処理使用時の第２回転推定姿勢とする。

【0136】

上記の説明から理解できるように、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合には、表用処理使用時の第２回転推定姿勢は、表用処理使用時の第１推定姿勢と近い姿勢となる。一方で、裏用処理使用時の第２回転推定姿勢は、裏用処理使用時の第１推定姿勢と大きく異なる姿勢となる。よって、表向きの第１姿勢の物体１０が第１撮像画像に写っている場合には、つまり対象面がおもて面１０１である場合には、表用処理使用時の第２回転推定姿勢と、表用処理使用時の第１推定姿勢との類似度が高くなり、裏用処理使用時の第２回転推定姿勢と、裏用処理使用時の第１推定姿勢との類似度が低くなる。

【0137】

また、裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合には、裏用処理使用時の第２回転推定姿勢は、裏用処理使用時の第１推定姿勢と近い姿勢となる。一方で、表用処理使用時の第２回転推定姿勢は、表用処理使用時の第１推定姿勢と大きく異なる姿勢となる。よって、裏向きの第１姿勢の物体１０が第１撮像画像に写っている場合には、つまり対象面が裏面１０２である場合には、裏用処理使用時の第２回転推定姿勢と、裏用処理使用時の第１推定姿勢との類似度が高くなり、表用処理使用時の第２回転推定姿勢と、表用処理使用時の第１推定姿勢との類似度が低くなる。

【0138】

上述のステップｓ７において複数の第２回転推定姿勢が求められる場合、上述のステップｓ８では、特定部２１は、第1比較処理と同様にして、複数の第２回転推定姿勢と、複数の第１推定姿勢とを、対応する特定面ごとに比較する第４比較処理を行う。その後、上述のステップｓ９において、特定部２１は、ステップｓ８での第４比較処理の結果に基づいて対象面を特定する。ステップｓ９において、特定部２１は、第４比較処理の結果、表用処理使用時の第２回転推定姿勢と表用処理使用時の第１推定姿勢との類似度が、裏用処理使用時の第２回転推定姿勢と裏用処理使用時の第１推定姿勢との類似度よりも高い場合、おもて面１０１を対象面とする。一方で、特定部２１は、第４比較処理の結果、裏用処理使用時の第２回転推定姿勢と裏用処理使用時の第１推定姿勢との類似度が、表用処理使用時の第２回転推定姿勢と表用処理使用時の第１推定姿勢との類似度よりも高い場合、裏面１０２が対象面であると判断する。

【0139】

なお、第２推定姿勢が求められずに、第２撮像画像から第２回転推定姿勢が直接求められてもよい。例えば、機械学習が用いられて表用処理使用時の第２回転推定姿勢を推定するように学習された推定器（例えばニューラルネットワーク）が、第２撮像画像と回転軸Ｊの回りの角度－Ｗとに基づいて、表用処理使用時の第２回転推定姿勢を推定してもよい。推定器で推定される表用処理使用時の第２回転推定姿勢は、第２姿勢の物体１０をおもて面１０１が撮像装置８側を向いていると仮定して第２姿勢の物体１０の姿勢を推定した推定姿勢を回転軸Ｊの回りの角度－Ｗだけ回転させた回転姿勢に相当する姿勢となる。また、機械学習が用いられて裏用処理使用時の第２回転推定姿勢を推定するように学習された推定器が、第２撮像画像と回転軸Ｊの回りの角度－Ｗとに基づいて、裏用処理使用時の第２回転推定姿勢を推定してもよい。推定器で推定される裏用処理使用時の第２回転推定姿勢は、物体１０の裏面１０２が撮像装置８側を向いていると仮定して第２姿勢の物体１０の姿勢を推定した推定姿勢を回転軸Ｊの回りの角度－Ｗだけ回転させた回転姿勢に相当する姿勢となる。

【0140】

以上のように、処理装置は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。

【0141】

例えば、本例では、第１撮像画像に写っている物体１０の様子が、おもて面では図３の左から１番目の外観で、裏面では図３の左から３番目の外観としたが、これに限らず、例えば、おもて面が図７の左から１番目の外観で裏面が図７の左から２番目の外観としたり、おもて面が図８の左から１番目の外観で裏面が図８の左から２番目の外観としたりしてもよい。これらの場合、Ｗを任意の微小な角度としてもよい。

【0142】

本開示には以下の内容が含まれる。

【0143】

一実施形態において、（１）処理装置は、撮像装置から外観が互いに類似する複数の面を有する物体の第１姿勢の第１画像を取得し、前記複数の面のうち前記撮像装置側を向く対象面を特定する制御部を備え、前記制御部は、前記物体の姿勢が前記第１姿勢とは異なる第２姿勢の第２画像をさらに取得し、前記第１画像及び前記第２画像に基づいて前記対象面を特定する。

【0144】

（２）上記（１）の処理装置において、前記制御部は、前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、前記第２画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第２推定姿勢を取得し、前記複数の第１推定姿勢及び前記複数の第２推定姿勢に基づいて前記対象面を特定する。

【0145】

（３）上記（２）の処理装置において、前記第２姿勢は、前記物体の姿勢が前記第１姿勢とは異なるように前記物体が前記撮像装置に対して相対的に回転した姿勢であり、前記制御部は、前記複数の第１推定姿勢が回転した複数の第１回転推定姿勢を取得し、前記複数の第１回転推定姿勢と前記複数の第２推定姿勢とを、対応する面ごとに比較する比較処理を行い、当該比較処理の結果に基づいて前記対象面を特定する。

【0146】

(４）上記（２）の処理装置において、前記制御部は、前記複数の第１推定姿勢に基づいて、前記物体の前記第１画像に写る姿勢を、前記物体を保持する保持機構の座標系で示す複数の第１変換推定姿勢を取得し、前記複数の第２推定姿勢に基づいて、前記物体の前記第２画像に写る姿勢を前記保持機構の前記座標系で示す複数の第２変換推定姿勢を取得し、前記複数の第１変換推定姿勢と前記複数の第２変換推定姿勢とに基づいて前記対象面を特定する。

【0147】

（５）上記（１）の処理装置において、前記第２姿勢は、前記物体の姿勢が前記第１姿勢とは異なるように前記物体が前記撮像装置に対して相対的に回転した姿勢であり、前記制御部は、前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、前記複数の第１推定姿勢が回転した複数の第１回転推定姿勢を取得し、前記複数の第１回転推定姿勢と前記第２画像との類似度に基づいて、前記対象面を特定する。

【0148】

（６）上記（５）の処理装置において、前記制御部は、前記物体の姿勢がそれぞれ対応付けられた複数のテンプレートと画像とを比較するテンプレートマッチングを実行可能であり、前記複数の第１回転推定姿勢のそれぞれに対応する対応テンプレートを特定し、前記対応テンプレートと前記第２画像とを比較するテンプレートマッチングを行い、当該テンプレートマッチングの結果に基づいて、前記対象面を特定する。

【0149】

（７）上記（１）から（６）のいずれか一つの処理装置において、前記制御部は、前記物体を保持する保持機構の移動によって変更された前記第２姿勢の前記第２画像を取得する。

【0150】

（８）上記（１）から（６）のいずれか一つの処理装置において、前記制御部は、前記撮像装置の移動によって変更された前記第２姿勢の前記第２画像を取得する。

【0151】

（９）上記（１）から（８）のいずれか一つの処理装置において、前記制御部は、前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、前記複数の第１推定姿勢のうち、特定した前記対象面に対応する第１推定姿勢を、前記第１画像が前記撮像装置で生成される場合の前記物体の姿勢の最終的な推定結果とする。

【0152】

（１０）上記（２）から（９）のいずれか一つの処理装置において、前記制御部は、前記複数の第２推定姿勢または前記複数の第１回転推定姿勢のうち、特定した前記対象面に対応する第２推定姿勢または第１回転推定姿勢を、前記第２画像が前記撮像装置で生成される場合の前記物体の姿勢の最終的な推定結果とする。

【0153】

（１１）上記（１）の処理装置において、前記制御部は、前記第２画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第２推定姿勢を取得し、前記複数の第２推定姿勢及び前記第１画像に基づいて前記対象面を特定する。

【0154】

（１２）上記（１１）の処理装置において、前記第２姿勢は、前記物体の姿勢が前記第１姿勢とは異なるように前記物体が前記撮像装置に対して相対的に回転した姿勢であり、前記制御部は、前記複数の第２推定姿勢が回転した複数の第２回転推定姿勢を取得し、前記複数の第２回転推定姿勢及び前記第１画像に基づいて前記対象面を特定する。

【0155】

（１３）上記（１２）の処理装置において、前記制御部は、前記第１画像に基づいて、前記複数の面のそれぞれが前記対象面であるとした場合の前記物体の姿勢を推定した複数の第１推定姿勢を取得し、前記複数の第２回転推定姿勢及び前記複数の第１推定姿勢に基づいて前記対象面を特定する。

【0156】

（１４）プログラムは、コンピュータ装置を、上記（１）から（１３）のいずれか一つの処理装置として機能させるためのプログラムである。

【符号の説明】

【0157】

１ 処理装置
２ 制御部
４，５ インタフェース
８ 撮像装置
１０ 物体
３０ プログラム
９１ エンドエフェクタ（保持機構）
１０１ おもて面
１０２ 裏面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】