特許 7464188 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240402BHJP

   G06T 7/00 20170101ALI20240402BHJP

【ＦＩ】

G06T7/70 B

G06T7/00 350B

【請求項の数】 10

(21)【出願番号】P 2023500634

(86)(22)【出願日】2022-01-14

(86)【国際出願番号】 JP2022001112

(87)【国際公開番号】W WO2022176465

(87)【国際公開日】2022-08-25

【審査請求日】2023-05-31

(31)【優先権主張番号】P 2021024043

(32)【優先日】2021-02-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】先崎 健太

(72)【発明者】

【氏名】室園 響子

(72)【発明者】

【氏名】佐藤 昭吾

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１９－８７２２９（ＪＰ，Ａ）

【文献】特開２０２０－９８５７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

姿勢が推定される対象の物体が撮影された画像である対象画像を基に前記対象画像内の物体の姿勢を表すパラメータである姿勢パラメータを、物体が撮影された画像である教師画像と当該教師画像内の物体の姿勢パラメータとを含む１つ以上の教師データが用いられて学習された姿勢推定モデルにより推定する推定部と、
推定された姿勢パラメータと教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、前記１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得する取得部と、
前記対象画像と取得された教師画像との類似度である画像類似度を算出する第１算出部と、
算出された画像類似度が所定の閾値以下であるか否かを判定する判定部とを備える
ことを特徴とする画像処理装置。

【請求項2】

教師画像の姿勢類似度を、１つ以上の教師データに含まれる１つ以上の教師画像に渡ってそれぞれ算出する第２算出部を備え、
取得部は、算出された姿勢類似度に基づいて教師画像を取得する
請求項１記載の画像処理装置。

【請求項3】

推定された姿勢パラメータを基に姿勢類似度が最大の教師画像を生成する生成部を備え、
取得部は、前記生成部から前記教師画像を取得する
請求項１記載の画像処理装置。

【請求項4】

生成部は、物体を表す３次元モデルを用いて教師画像を生成する
請求項３記載の画像処理装置。

【請求項5】

所定の閾値以下である画像類似度が算出されると姿勢の推定精度が低下したことを示す情報を出力する出力部を備える
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。

【請求項6】

姿勢パラメータは、オイラー角で表される
請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。

【請求項7】

姿勢が推定される対象の物体が撮影された画像である対象画像を基に前記対象画像内の物体の姿勢を表すパラメータである姿勢パラメータを、物体が撮影された画像である教師画像と当該教師画像内の物体の姿勢パラメータとを含む１つ以上の教師データが用いられて学習された姿勢推定モデルにより推定し、
推定された姿勢パラメータと教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、前記１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得し、
前記対象画像と取得された教師画像との類似度である画像類似度を算出し、
算出された画像類似度が所定の閾値以下であるか否かを判定する
ことを特徴とする画像処理方法。

【請求項8】

教師画像の姿勢類似度を、１つ以上の教師データに含まれる１つ以上の教師画像に渡ってそれぞれ算出し、
算出された姿勢類似度に基づいて教師画像を取得する
請求項７記載の画像処理方法。

【請求項9】

コンピュータに、
姿勢が推定される対象の物体が撮影された画像である対象画像を基に前記対象画像内の物体の姿勢を表すパラメータである姿勢パラメータを、物体が撮影された画像である教師画像と当該教師画像内の物体の姿勢パラメータとを含む１つ以上の教師データが用いられて学習された姿勢推定モデルにより推定する推定処理、
推定された姿勢パラメータと教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、前記１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得する取得処理、
前記対象画像と取得された教師画像との類似度である画像類似度を算出する第１算出処理、および
算出された画像類似度が所定の閾値以下であるか否かを判定する判定処理
を実行させるための画像処理プログラム。

【請求項10】

コンピュータに、
教師画像の姿勢類似度を、１つ以上の教師データに含まれる１つ以上の教師画像に渡ってそれぞれ算出する第２算出処理を実行させ、
取得処理で、算出された姿勢類似度に基づいて教師画像を取得させる
請求項９記載の画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関し、特に機械学習が用いられた物体の姿勢推定における推定精度の低下を検出できる画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

宇宙状況把握(SSA: Space Situational Awareness)では、宇宙空間に存在する物体の状態を把握するために、物体の姿勢を推定することが求められている。また、SSA では、宇宙空間に存在する物体の状態を把握するために、物体の位置、速度、または外観等の情報が、レーダ、光学望遠鏡、または衛星からの撮影等の手法により取得される。

【0003】

SSA の目的の１つに、物体の外観画像から物体の３次元姿勢を推定することがある。以下、物体の姿勢は、オイラー角や四元数等のパラメータで表現されると仮定する。

【0004】

画像から物体の３次元姿勢を推定する方法として、機械学習に基づいた画像分類を用いる方法がある。一般的な画像分類問題は、画像に写っている物体が「犬」、「猫」、「リンゴ」等の事前に定義されたラベルから適切なラベルを識別する問題である。

【0005】

画像分類を３次元姿勢推定に応用するためには、各ラベルを姿勢に対応させることが求められる。３次元姿勢推定に応用された画像分類方法は、画像に写っている物体の姿勢が、事前に定義された姿勢のいずれに合致するかを識別することによって、物体の姿勢を間接的に推定する。

【0006】

例えば、特許文献１には、特定の姿勢群に関する分類精度の低下を抑制する方法が記載されている。具体的には、特許文献１には、入力画像中の対象物体の姿勢推定を行う場合に、特定の姿勢クラス近傍における姿勢に関する認識精度の低下を抑制するための技術が記載されている。

【0007】

また、画像から物体の３次元姿勢を推定する方法として、画像分類方法以外に、機械学習に基づいた回帰を用いる方法もある。回帰を用いる方法では、画像と姿勢パラメータとの関係性が統計的な方法で直接学習されることによって回帰モデルが生成される。実運用時において学習された回帰モデルに注目画像が入力されると、回帰モデルは、注目画像に写る物体の推定された姿勢を表すパラメータを出力する。

【0008】

また、特許文献２には、人物が撮影された複数の画像の中から、人物の姿勢の差異を効率よく観察できるような画像を選択可能にする情報処理装置が記載されている。

【0009】

また、特許文献３には、静止画像または動画像である映像のシーンを分類する映像分類装置および映像分類プログラムと、映像のシーンの中から特定のシーンを検索する映像検索装置および映像検索プログラムが記載されている。

【先行技術文献】

【特許文献】

【0010】

【文献】特許第６１８８３４５号公報

【文献】特開２０１８－１８０８９４号公報

【文献】国際公開第２００６／０２５２７２号

【発明の概要】

【発明が解決しようとする課題】

【0011】

画像分類方法では、様々な姿勢や照明環境等に対応したラベルが格納されたデータベースが求められる。また、回帰のような機械学習に基づいた画像認識を用いる方法では、様々な姿勢や照明環境等に対応した学習用の画像が格納されたデータベースが求められる。

【0012】

しかし、上記のデータベースに格納される、全ての姿勢や照明環境を網羅したデータセット（ラベルや学習用の画像）を事前に生成するために掛かるコストは、高くなる。すなわち、全ての姿勢や照明環境を網羅したデータセットを生成することは困難である。

【0013】

また、限定的な姿勢や照明環境のみに対応したデータセットが用いられると、実運用時に想定されていない状況が発生した場合に高い確率で姿勢の推定精度が低下することが予想される。

【0014】

また、CG(Computer Graphics) が用いられて様々な姿勢や照明環境等に対応したデータセットが用意された場合であっても、CGと実写画像との差に起因して、姿勢の推定精度が低下する可能性がある。

【0015】

姿勢の推定精度の低下が看過された場合、SSA において、宇宙空間に存在する物体の状態が誤って判断される。物体の状態が誤って判断されると、重要な情報が見逃される可能性がある。重要な情報の見逃しは、宇宙空間に存在する物体に大きな問題が発生する原因になる恐れがある。

【0016】

上記の理由により、姿勢の推定精度を改善するだけでなく、実運用における姿勢の推定精度の低下を検出することが、SSA における重要な課題になる。特許文献１～３には、実運用における姿勢の推定精度の低下を検出できる技術が記載されていない。

【0017】

そこで、本発明は、機械学習が用いられた物体の姿勢推定における推定精度の低下を検出できる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0018】

本発明による画像処理装置は、姿勢が推定される対象の物体が撮影された画像である対象画像を基に対象画像内の物体の姿勢を表すパラメータである姿勢パラメータを、物体が撮影された画像である教師画像とその教師画像内の物体の姿勢パラメータとを含む１つ以上の教師データが用いられて学習された姿勢推定モデルにより推定する推定部と、推定された姿勢パラメータと教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得する取得部と、対象画像と取得された教師画像との類似度である画像類似度を算出する第１算出部と、算出された画像類似度が所定の閾値以下であるか否かを判定する判定部とを備えることを特徴とする。

【0019】

本発明による画像処理方法は、姿勢が推定される対象の物体が撮影された画像である対象画像を基に対象画像内の物体の姿勢を表すパラメータである姿勢パラメータを、物体が撮影された画像である教師画像とその教師画像内の物体の姿勢パラメータとを含む１つ以上の教師データが用いられて学習された姿勢推定モデルにより推定し、推定された姿勢パラメータと教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得し、対象画像と取得された教師画像との類似度である画像類似度を算出し、算出された画像類似度が所定の閾値以下であるか否かを判定することを特徴とする。

【0020】

本発明による画像処理プログラムは、コンピュータに、姿勢が推定される対象の物体が撮影された画像である対象画像を基に対象画像内の物体の姿勢を表すパラメータである姿勢パラメータを、物体が撮影された画像である教師画像とその教師画像内の物体の姿勢パラメータとを含む１つ以上の教師データが用いられて学習された姿勢推定モデルにより推定する推定処理、推定された姿勢パラメータと教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得する取得処理、対象画像と取得された教師画像との類似度である画像類似度を算出する第１算出処理、および算出された画像類似度が所定の閾値以下であるか否かを判定する判定処理を実行させることを特徴とする。

【発明の効果】

【0021】

本発明によれば、機械学習が用いられた物体の姿勢推定における推定精度の低下を検出できる。

【図面の簡単な説明】

【0022】

【図1】本発明の第１の実施形態の画像処理装置の構成例を示すブロック図である。

【図2】注目画像の例を示す説明図である。

【図3】類似度算出部１３０が注目画像と教師画像とをそれぞれ加工する処理の例を示す説明図である。

【図4】第１の実施形態の画像処理装置１００による姿勢推定精度判定処理の動作を示すフローチャートである。

【図5】本発明の第２の実施形態の画像処理装置の構成例を示すブロック図である。

【図6】第２の実施形態の画像処理装置１０１による姿勢推定精度判定処理の動作を示すフローチャートである。

【図7】本発明による画像処理装置のハードウェア構成例を示す説明図である。

【図8】本発明による画像処理装置の概要を示すブロック図である。

【発明を実施するための形態】

【0023】

実施形態１．
［構成の説明］
以下、本発明の第１の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の画像処理装置の構成例を示すブロック図である。

【0024】

図１に示すように、画像処理装置１００は、姿勢推定部１１０と、画像取得部１２０と、類似度算出部１３０と、類似度判定部１４０と、出力情報生成部１５０と、姿勢推定モデル記憶部１６０と、教師データ記憶部１７０とを備える。

【0025】

また、図１に示すように、画像処理装置１００には、画像処理装置１００に画像および関連情報を入力する入力装置２００が通信可能に接続されている。入力装置２００は、例えば、画像や関連情報が蓄積されたデータベースである。また、入力装置２００は、画像や関連情報が蓄積されたデータベースから画像や関連情報を取得するインタフェースでもよい。

【0026】

また、図１に示すように、画像処理装置１００には、画像処理装置１００の処理結果を出力する出力装置３００が通信可能に接続されている。出力装置３００は、例えば、処理結果を表示するためのディスプレイやプリンタ等の可視化装置である。また、出力装置３００は、ハードディスクやメモリカード等の記憶媒体に処理結果を記録する記録装置でもよい。また、出力装置３００は、記録装置に処理結果を供給するインタフェースでもよい。

【0027】

説明の便宜上、本実施形態において、入力装置２００が画像処理装置１００に入力する画像を「注目画像」と呼ぶ。注目画像は、例えば、光学センサが衛星を撮影した画像である。図２は、注目画像の例を示す説明図である。

【0028】

また、上記の「関連情報」は、注目画像に付随する情報である。関連情報は、例えば注目画像が撮影された時の撮影対象の物体と光学センサの距離、所定の座標空間における撮影対象の物体および光学センサ搭載物体の位置情報、速度情報、光学センサ搭載物体の姿勢情報、光源（太陽等）の位置情報等の、撮影条件のパラメータである。SSA の分野において、関連情報は、画像撮影と同時に取得可能なパラメータである。

【0029】

以下、本実施形態の画像処理装置１００の各構成要素を説明する。

【0030】

姿勢推定モデル記憶部１６０は、予め教師データで学習された画像認識器の構造やパラメータ等を記憶する機能を有する。画像認識器は、姿勢推定のアルゴリズムを用いる。すなわち、姿勢推定モデル記憶部１６０は、姿勢推定モデルのパラメータを記憶する。

【0031】

上記の画像認識器で用いられる姿勢推定のアルゴリズムは、一般的な教師あり機械学習の方法で構成されるアルゴリズムでもよい。特に、姿勢推定のアルゴリズムは、サポートベクトル回帰(SVR; Support Vector Regression)や畳み込みニューラルネットワーク等の、回帰を用いる方法で構成されるアルゴリズムでもよい。

【0032】

教師データ記憶部１７０は、姿勢推定モデル記憶部１６０に記憶されている姿勢推定モデルのパラメータの学習で用いられた教師データを記憶する機能を有する。

【0033】

学習で用いられた教師データは、姿勢推定の対象である物体自体を表すデータである。例えば、教師データは、姿勢推定の対象である物体の３次元姿勢のパラメータと、物体が撮影された画像との組である。以下、教師データに含まれる画像を、教師画像と呼ぶ。

【0034】

教師データ記憶部１７０は、学習に用いられた全ての教師データを記憶してもよいし、全ての教師データから適宜サンプリングされた一部の教師データを記憶してもよい。

【0035】

また、教師データ記憶部１７０は、教師画像が撮影された時の撮影対象の物体と光学センサの距離、所定の座標空間における撮影対象の物体の位置情報、撮影対象の物体の速度情報、光源位置情報等の、撮影条件のパラメータを併せて記憶してもよい。なお、教師画像は、撮影された画像だけでなく、３次元モデルで生成されたCG画像でもよい。

【0036】

すなわち、本実施形態における姿勢推定モデルは、例えば、物体が撮影された画像である教師画像とその教師画像内の物体の姿勢を表すパラメータである姿勢パラメータとを含む１つ以上の教師データが用いられて学習されたモデルである。

【0037】

以下、説明のため、３次元姿勢のパラメータをオイラー角で表す場合を考える。また、X 軸周り、Y 軸周り、Z 軸周りの各回転パラメータをそれぞれθ_X 、θ_Y 、θ_Z とする。

【0038】

姿勢推定部１１０は、物体の姿勢を推定する機能を有する。具体的には、姿勢推定部１１０は、姿勢推定モデル記憶部１６０を参照して姿勢推定モデルの構造やパラメータを取得し、姿勢推定モデルを構築する。

【0039】

次いで、姿勢推定部１１０は、構築された姿勢推定モデルにより、入力装置２００から入力された注目画像I_target内の物体の３次元姿勢を推定する。推定された注目画像内の物体の姿勢パラメータθ^targetを、以下のように定義する。

【0040】

【数1】

【0041】

すなわち、本実施形態の姿勢推定部１１０は、姿勢が推定される対象の物体が撮影された画像である対象画像（注目画像）を基に対象画像内の物体の姿勢パラメータを、姿勢推定モデルにより推定する。次いで、姿勢推定部１１０は、推定された姿勢パラメータθ^targetを、出力情報生成部１５０と画像取得部１２０に入力する。

【0042】

画像取得部１２０には、推定された注目画像I_target内の物体の姿勢パラメータθ^targetが姿勢推定部１１０から入力される。画像取得部１２０は、入力された姿勢パラメータθ^targetに基づいて、教師データ記憶部１７０から教師画像を取得する機能を有する。

【0043】

具体的には、画像取得部１２０は、注目画像I_target内の物体の姿勢に最も姿勢が類似する物体が写った教師画像である画像I_train 、および画像I_train の関連情報を、教師データ記憶部１７０から取得する。

【0044】

教師データに含まれるi 番目の教師画像内の物体の姿勢パラメータθ^train,i を、以下のように定義する。

【0045】

【数2】

【0046】

例えば、画像取得部１２０は、注目画像I_target内の物体の姿勢パラメータθ^targetと、教師データに含まれるi 番目の教師画像内の物体の姿勢パラメータθ^train,i との差分δθⁱ を、以下のように計算する。

【0047】

【数3】

【0048】

画像取得部１２０は、δθⁱ を、１つ以上の教師データに含まれる１つ以上の教師画像に渡ってそれぞれ算出する。全ての教師画像に渡ってδθⁱ が算出された結果、δθⁱ の2-ノルムが最小である教師画像が、注目画像I_target内の物体の姿勢に最も姿勢が類似する物体が写った教師画像である。

【0049】

なお、教師画像を取得するために使用される計算式は、式（１）に限定されない。例えば、画像取得部１２０は、無限大ノルムが最小である教師画像を、最も姿勢が類似する物体が写った教師画像として取得してもよい。

【0050】

また、例えば、見た目の変化は小さいものの、オイラー角が0 度である画像とオイラー角が355 度である画像との差分は、大きく計算される。よって、画像取得部１２０は、差分を計算する処理に、角度の範囲を[-180,180]に制限する処理を追加してもよい。例えば、X 軸周りの角度の差分の計算式は、以下のように変更される。

【0051】

【数4】

【0052】

なお、式（２）における「％」は、剰余演算を示す。X 軸周りの角度の差分が式（２）で計算されると、オイラー角における0 度と355 度との差分が、355 度ではなく-5度になる。

【0053】

すなわち、本実施形態の画像取得部１２０は、推定された姿勢パラメータと、教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得する。上記の例であれば、δθⁱ の2-ノルムの逆数が、姿勢類似度に相当する。

【0054】

また、本実施形態の画像取得部１２０は、教師画像の姿勢類似度を、１つ以上の教師データに含まれる１つ以上の教師画像に渡ってそれぞれ算出し、算出された姿勢類似度に基づいて教師画像を取得する。次いで、画像取得部１２０は、取得された教師画像と教師画像の関連情報を、類似度算出部１３０に入力する。

【0055】

類似度算出部１３０は、注目画像I_targetと教師画像I_train との類似度ηを算出する機能を有する。類似度算出部１３０は、例えば位相限定相関法のピーク値や、ゼロ平均正規化相互相関等の指標を類似度ηとして用いることができる。なお、類似度算出部１３０は、上記の指標以外の指標を類似度ηとして用いてもよい。

【0056】

類似度ηを算出する際、類似度算出部１３０は、I_targetとI_train に写る各物体の大きさが概ね同じになるように、I_targetとI_train それぞれの関連情報である物体と光学センサの距離に基づいて、画像を拡大または縮小してもよい。

【0057】

例えば、d_target がI_targetに写る物体と光学センサの距離、d_trainがI_train に写る物体と光学センサの距離である場合、類似度算出部１３０は、以下の値s を計算する。

【0058】

【数5】

【0059】

次いで、類似度算出部１３０は、I_train をs 倍拡大または縮小する。例えば、d_train=2×d_target である場合、類似度算出部１３０は、縦の長さと横の長さがそれぞれ1/2 になるようにI_train を縮小する。

【0060】

なお、I_targetの画像サイズとI_train の画像サイズが等しくなるように、類似度算出部１３０は、I_targetに対して中心部を抽出する処理を行う。図３は、類似度算出部１３０が注目画像と教師画像とをそれぞれ加工する処理の例を示す説明図である。

【0061】

すなわち、本実施形態の類似度算出部１３０は、対象画像（注目画像）と、取得された教師画像との類似度である画像類似度（η）を算出する。次いで、類似度算出部１３０は、算出された類似度ηを類似度判定部１４０に入力する。

【0062】

類似度判定部１４０は、類似度算出部１３０から入力された類似度ηと、所定の閾値τとを比較する機能を有する。具体的には、類似度判定部１４０は、推定された姿勢の誤差を表す情報として、類似度ηが所定の閾値τ以下であるか否かを示すフラグ情報f を、以下のように生成する。

【0063】

【数6】

【0064】

すなわち、本実施形態の類似度判定部１４０は、算出された画像類似度が所定の閾値以下であるか否かを判定する。次いで、類似度判定部１４０は、出力情報生成部１５０に、類似度ηとフラグ情報f とをそれぞれ入力する。

【0065】

出力情報生成部１５０は、姿勢推定部１１０から入力された、推定された姿勢パラメータθ^targetと、類似度判定部１４０から入力された類似度ηおよびフラグ情報f とに基づいて、出力装置３００に入力する情報を生成する機能を有する。

【0066】

例えば、f=1 、すなわち推定された姿勢パラメータの誤差が大きいと推測された場合、出力情報生成部１５０は、推定された姿勢パラメータの誤差が大きい、すなわち姿勢の推定精度が低下した可能性があることを警告するメッセージを出力装置３００に表示する。

【0067】

出力情報生成部１５０は、推定された姿勢パラメータの値と類似度とともに、警告するメッセージを出力装置３００に表示する。または、出力情報生成部１５０は、単純に推定された姿勢パラメータの値と類似度とフラグ情報との組を、出力装置３００に接続される記憶装置（図示せず）に入力してもよい。

【0068】

すなわち、本実施形態の出力情報生成部１５０は、所定の閾値以下である画像類似度が算出されると姿勢の推定精度が低下したことを示す情報を出力する。

【0069】

［動作の説明］
以下、本実施形態の画像処理装置１００の動作を図４を参照して説明する。図４は、第１の実施形態の画像処理装置１００による姿勢推定精度判定処理の動作を示すフローチャートである。

【0070】

最初に、画像処理装置１００に、姿勢推定の対象となる物体が写った注目画像と、注目画像の関連情報とが入力装置２００から入力される（ステップS101）。

【0071】

次いで、画像処理装置１００の姿勢推定部１１０は、姿勢推定モデル記憶部１６０に記憶されている姿勢推定モデルの構造やパラメータの情報を用いて、姿勢推定モデルを構築する。

【0072】

次いで、姿勢推定部１１０は、構築された姿勢推定モデルを用いて、入力された注目画像内の物体の姿勢パラメータを推定する（ステップS102）。なお、姿勢推定部１１０は、事前に姿勢推定モデルを構築していてもよい。姿勢推定部１１０は、推定された姿勢パラメータを画像取得部１２０に入力する。

【0073】

次いで、画像取得部１２０は、推定された姿勢パラメータに基づいて、教師データ記憶部１７０から、注目画像内の物体の姿勢に最も姿勢が類似する物体が写った教師画像を取得する（ステップS103）。画像取得部１２０は、取得された教師画像と教師画像の関連情報を、類似度算出部１３０に入力する。

【0074】

次いで、類似度算出部１３０は、注目画像と入力された教師画像との類似度を算出する（ステップS104）。類似度算出部１３０は、算出された類似度を類似度判定部１４０に入力する。

【0075】

次いで、類似度判定部１４０は、入力された類似度が所定の閾値以下であるか否かを示すフラグ情報を生成する（ステップS105）。類似度判定部１４０は、類似度とフラグ情報とを出力情報生成部１５０に入力する。

【0076】

次いで、出力情報生成部１５０は、推定された姿勢パラメータの値と類似度とフラグ情報とを基に出力情報を生成する。次いで、出力情報生成部１５０は、生成された出力情報を出力装置３００に入力する（ステップS106）。出力情報を入力した後、画像処理装置１００は、姿勢推定精度判定処理を終了する。

【0077】

［効果の説明］
本実施形態の画像処理装置１００では、姿勢推定部１１０が、姿勢推定の対象となる物体が写った注目画像から、姿勢パラメータを推定する。次いで、画像取得部１２０が、推定された姿勢パラメータを基に教師画像を取得し、類似度算出部１３０が注目画像と取得された教師画像との類似度を算出する。次いで、類似度判定部１４０は、算出された類似度に基づいて、姿勢推定の精度の低下を検出する。

【0078】

撮影された画像に写る物体の３次元姿勢を推定するためには、機械学習が用いられた画像認識技術の活用が有効である。しかし、機械学習が用いられた画像認識技術が活用されても、実運用時に想定されていない状況が発生した場合、姿勢推定の精度が高い確率で低下するという問題がある。

【0079】

本実施形態の画像処理装置１００は、例えば特許文献３に記載されている映像分類装置等と異なり、注目画像内の物体の姿勢に最も姿勢が類似する物体が写った教師画像を取得し、かつ注目画像と教師画像との類似度を基に姿勢推定の精度が低下しているか否かを判定する。すなわち、画像処理装置１００は、特許文献３に記載されている映像分類装置等に比べて姿勢推定の精度の低下をより確実に検出できる。

【0080】

本実施形態の画像処理装置１００の利用者は、画像認識で推定された姿勢パラメータの精度の低下を検出することによって、低精度で推定された姿勢パラメータに基づいて宇宙空間に存在する物体の状態を誤って判断することを回避できる。

【0081】

実施形態２．
［構成の説明］
次に、本発明の第２の実施形態を図面を参照して説明する。図５は、本発明の第２の実施形態の画像処理装置の構成例を示すブロック図である。

【0082】

図５に示すように、画像処理装置１０１は、姿勢推定部１１０と、類似度算出部１３０と、類似度判定部１４０と、出力情報生成部１５０と、姿勢推定モデル記憶部１６０と、画像生成部１８０と、3Dモデル記憶部１９０とを備える。また、図５に示すように、画像処理装置１０１は、入力装置２００と、出力装置３００とそれぞれ通信可能に接続されている。

【0083】

本実施形態の姿勢推定部１１０、類似度算出部１３０、類似度判定部１４０、出力情報生成部１５０、および姿勢推定モデル記憶部１６０が有する各機能は、第１の実施形態における各機能とそれぞれ同様である。以下、画像生成部１８０と3Dモデル記憶部１９０の各構成要素を説明する。

【0084】

3Dモデル記憶部１９０は、姿勢推定モデル記憶部１６０に記憶されている姿勢推定モデルのパラメータの学習で用いられた教師データが示す物体と同じ物体の３次元モデル、または同種の物体の３次元モデルを記憶する機能を有する。

【0085】

画像生成部１８０は、教師画像I_train のシミュレーション画像を生成する機能を有する。具体的には、画像生成部１８０は、3Dモデル記憶部１９０から取得された３次元モデルを、姿勢推定部１１０から入力された、推定された注目画像I_target内の物体の姿勢パラメータに基づいて回転させる。３次元モデルを回転させることによって、画像生成部１８０は、シミュレーション画像を生成する。

【0086】

なお、画像生成部１８０は、注目画像内の物体と光学センサの距離を用いて、３次元モデルから生成されたシミュレーション画像内の物体が、注目画像内の物体と同じ距離だけ光学センサから離れた場所に存在するとみなされるようにしてもよい。例えば、画像生成部１８０は、生成されたシミュレーション画像を適宜拡大または縮小してもよい。

【0087】

すなわち、本実施形態の画像生成部１８０は、推定された姿勢パラメータを基に姿勢類似度が最大の教師画像（シミュレーション画像）を生成する。例えば、画像生成部１８０は、物体を表す３次元モデルを用いて教師画像を生成する。本実施形態の類似度算出部１３０は、画像生成部１８０から教師画像を取得する。

【0088】

［動作の説明］
以下、本実施形態の画像処理装置１０１の動作を図６を参照して説明する。図６は、第２の実施形態の画像処理装置１０１による姿勢推定精度判定処理の動作を示すフローチャートである。

【0089】

最初に、画像処理装置１０１に、姿勢推定の対象となる物体が写った注目画像と、注目画像の関連情報とが入力装置２００から入力される（ステップS201）。

【0090】

次いで、画像処理装置１０１の姿勢推定部１１０は、姿勢推定モデル記憶部１６０に記憶されている姿勢推定モデルの構造やパラメータの情報を用いて、姿勢推定モデルを構築する。

【0091】

次いで、姿勢推定部１１０は、構築された姿勢推定モデルを用いて、入力された注目画像内の物体の姿勢パラメータを推定する（ステップS202）。なお、姿勢推定部１１０は、事前に姿勢推定モデルを構築していてもよい。姿勢推定部１１０は、推定された姿勢パラメータを画像生成部１８０に入力する。

【0092】

次いで、画像生成部１８０は、3Dモデル記憶部１９０から取得した３次元モデルを、ステップS202で推定された姿勢パラメータに基づいて回転させる。３次元モデルを回転させることによって、画像生成部１８０は、注目画像内の物体の姿勢に最も姿勢が類似する物体が写った教師画像I_train のシミュレーション画像を生成する（ステップS203）。画像生成部１８０は、生成されたシミュレーション画像とシミュレーション画像の関連情報を、類似度算出部１３０に入力する。

【0093】

次いで、類似度算出部１３０は、注目画像と入力されたシミュレーション画像との類似度を算出する（ステップS204）。類似度算出部１３０は、算出された類似度を類似度判定部１４０に入力する。

【0094】

次いで、類似度判定部１４０は、入力された類似度が所定の閾値以下であるか否かを示すフラグ情報を生成する（ステップS205）。類似度判定部１４０は、類似度とフラグ情報とを出力情報生成部１５０に入力する。

【0095】

次いで、出力情報生成部１５０は、推定された姿勢パラメータの値と類似度とフラグ情報とを基に出力情報を生成する。次いで、出力情報生成部１５０は、生成された出力情報を出力装置３００に入力する（ステップS206）。出力情報を入力した後、画像処理装置１０１は、姿勢推定精度判定処理を終了する。

【0096】

［効果の説明］
第１の実施形態の画像処理装置１００の教師データ記憶部１７０には、姿勢推定モデルの学習に用いられた一部の教師データ、または全ての教師データが格納されている。姿勢のサンプリング角度が細かいと教師データ記憶部１７０には膨大な量のデータが格納されるため、記憶領域のコストが増加する可能性がある。

【0097】

本実施形態の画像処理装置１０１は、教師データ記憶部１７０の代わりに、姿勢推定モデルのパラメータの学習で用いられた教師データが示す物体と同じ物体、または同種の物体の３次元モデルが格納されている3Dモデル記憶部１９０を備える。すなわち、姿勢のサンプリング角度がどのような値であっても3Dモデル記憶部１９０に格納されるデータの量が変わらないため、画像処理装置１０１は、記憶領域のコストの増加を抑制できる。

【0098】

各実施形態の画像処理装置１００～１０１は、例えば、リモートセンシングの分野での利用が考えられる。

【0099】

以下、各実施形態の画像処理装置１００～１０１のハードウェア構成の具体例を説明する。図７は、本発明による画像処理装置のハードウェア構成例を示す説明図である。

【0100】

図７に示す画像処理装置は、ＣＰＵ（Central Processing Unit ）１１と、主記憶部１２と、通信部１３と、補助記憶部１４とを備える。また、ユーザが操作するための入力部１５や、ユーザに処理結果または処理内容の経過を提示するための出力部１６を備える。

【0101】

画像処理装置は、図７に示すＣＰＵ１１が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現される。

【0102】

すなわち、ＣＰＵ１１が補助記憶部１４に格納されているプログラムを、主記憶部１２にロードして実行し、画像処理装置の動作を制御することによって、各機能がソフトウェアにより実現される。

【0103】

なお、図７に示す画像処理装置は、ＣＰＵ１１の代わりにＤＳＰ（Digital Signal Processor）を備えてもよい。または、図７に示す画像処理装置は、ＣＰＵ１１とＤＳＰとを併せて備えてもよい。

【0104】

主記憶部１２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部１２は、例えばＲＡＭ（Random Access Memory）である。

【0105】

通信部１３は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。

【0106】

補助記憶部１４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリが挙げられる。

【0107】

入力部１５は、データや処理命令を入力する機能を有する。入力部１５は、例えばキーボードやマウス等の入力デバイスである。

【0108】

出力部１６は、データを出力する機能を有する。出力部１６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。

【0109】

また、図７に示すように、画像処理装置において、各構成要素は、システムバス１７に接続されている。

【0110】

第１の実施形態の画像処理装置１００において、補助記憶部１４は、姿勢推定部１１０、画像取得部１２０、類似度算出部１３０、類似度判定部１４０、および出力情報生成部１５０を実現するためのプログラムを記憶している。また、姿勢推定モデル記憶部１６０、および教師データ記憶部１７０は、主記憶部１２により実現される。

【0111】

なお、画像処理装置１００は、例えば内部に図１に示すような機能を実現するＬＳＩ（Large Scale Integration ）等のハードウェア部品が含まれる回路が実装されてもよい。

【0112】

また、第２の実施形態の画像処理装置１０１において、補助記憶部１４は、姿勢推定部１１０、類似度算出部１３０、類似度判定部１４０、出力情報生成部１５０、および画像生成部１８０を実現するためのプログラムを記憶している。また、姿勢推定モデル記憶部１６０、および3Dモデル記憶部１９０は、主記憶部１２により実現される。

【0113】

なお、画像処理装置１０１は、例えば内部に図５に示すような機能を実現するＬＳＩ等のハードウェア部品が含まれる回路が実装されてもよい。

【0114】

また、画像処理装置１００～１０１は、ＣＰＵ等の素子を用いるコンピュータ機能を含まないハードウェアにより実現されてもよい。例えば、各構成要素の一部または全部は、汎用の回路（circuitry ）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップ（例えば、上記のＬＳＩ）によって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0115】

また、画像処理装置１００～１０１の各構成要素の一部または全部は、演算部と記憶部とを備えた１つまたは複数の情報処理装置で構成されていてもよい。

【0116】

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0117】

次に、本発明の概要を説明する。図８は、本発明による画像処理装置の概要を示すブロック図である。本発明による画像処理装置２０は、姿勢が推定される対象の物体が撮影された画像である対象画像を基に対象画像内の物体の姿勢を表すパラメータである姿勢パラメータを、物体が撮影された画像である教師画像とその教師画像内の物体の姿勢パラメータとを含む１つ以上の教師データが用いられて学習された姿勢推定モデルにより推定する推定部２１（例えば、姿勢推定部１１０）と、推定された姿勢パラメータと教師画像に関する姿勢パラメータとの類似度である姿勢類似度が、１つ以上の教師データに含まれる１つ以上の教師画像のうち最大の教師画像を取得する取得部２２（例えば、画像取得部１２０、または類似度算出部１３０）と、対象画像と取得された教師画像との類似度である画像類似度を算出する第１算出部２３（例えば、類似度算出部１３０）と、算出された画像類似度が所定の閾値以下であるか否かを判定する判定部２４（例えば、類似度判定部１４０）とを備える。

【0118】

そのような構成により、画像処理装置は、機械学習が用いられた物体の姿勢推定における推定精度の低下を検出できる。

【0119】

また、画像処理装置２０は、教師画像の姿勢類似度を、１つ以上の教師データに含まれる１つ以上の教師画像に渡ってそれぞれ算出する第２算出部（例えば、画像取得部１２０）を備え、取得部２２は、算出された姿勢類似度に基づいて教師画像を取得してもよい。

【0120】

そのような構成により、画像処理装置は、教師データを用いて姿勢類似度を算出できる。

【0121】

また、画像処理装置２０は、推定された姿勢パラメータを基に姿勢類似度が最大の教師画像を生成する生成部（例えば、画像生成部１８０）を備え、取得部２２は、生成部から教師画像を取得してもよい。また、生成部は、物体を表す３次元モデルを用いて教師画像を生成してもよい。

【0122】

そのような構成により、画像処理装置は、記憶領域のコストの増加を抑制できる。

【0123】

また、画像処理装置２０は、所定の閾値以下である画像類似度が算出されると姿勢の推定精度が低下したことを示す情報を出力する出力部（例えば、出力情報生成部１５０）を備えてもよい。

【0124】

そのような構成により、画像処理装置は、物体の姿勢推定における推定精度の低下を利用者に提示できる。

【0125】

また、姿勢パラメータは、オイラー角で表されてもよい。

【0126】

そのような構成により、画像処理装置は、剛体の姿勢推定における推定精度の低下を検出できる。

【0127】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0128】

この出願は、２０２１年２月１８日に出願された日本特許出願２０２１－０２４０４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0129】

１１ ＣＰＵ
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
１５ 入力部
１６ 出力部
１７ システムバス
２０、１００、１０１ 画像処理装置
２１ 推定部
２２ 取得部
２３ 第１算出部
２４ 判定部
１１０ 姿勢推定部
１２０ 画像取得部
１３０ 類似度算出部
１４０ 類似度判定部
１５０ 出力情報生成部
１６０ 姿勢推定モデル記憶部
１７０ 教師データ記憶部
１８０ 画像生成部
１９０ 3Dモデル記憶部
２００ 入力装置
３００ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】