特開 2022-70002 特徴量抽出装置、特徴量抽出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022070002

(43)【公開日】2022-05-12

(54)【発明の名称】特徴量抽出装置、特徴量抽出方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220502BHJP

   G06T 19/00 20110101ALI20220502BHJP

【ＦＩ】

G06T7/00 C

G06T19/00 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020178996

(22)【出願日】2020-10-26

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000279

【氏名又は名称】特許業務法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】古川 雄貴

(72)【発明者】

【氏名】桐畑 康裕

(72)【発明者】

【氏名】中山 晃治

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050CA01

5B050EA27

5L096AA09

5L096EA16

5L096FA19

5L096FA38

5L096FA60

5L096FA62

5L096FA64

5L096FA66

5L096FA68

5L096FA81

5L096GA59

5L096JA11

(57)【要約】

【課題】３次元画像の形状を反映した単一の特徴量を抽出することで、高速で精度の高い類似画像検索を可能にする特徴量抽出装置を提供する。
【解決手段】演算部１１は、対象画像に含まれる３次元点群データの重心を中心点とした３次元点群データを囲む球面に対して、３次元点群の各点と中心点との距離を示す情報を各点の深度情報として射影した射影画像を生成する。演算部１１は、射影画像を２次元平面に展開した球面深度画像を特徴量として抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

３次元点群データを含む３次元画像の特徴量を抽出する特徴量抽出装置であって、
前記３次元点群データの重心を中心点とした前記３次元点群データを囲む球面に対して、前記３次元点群の各点と前記中心点との距離を示す情報を各点の深度情報として射影した射影画像を生成し、前記射影画像を２次元平面に展開した画像を前記特徴量として抽出する演算部を有する特徴量抽出装置。

【請求項2】

前記演算部は、前記３次元点群に対して主成分分析を行って、前記３次元点群データの主成分を特定し、前記主成分に基づいて前記３次元画像を回転させた状態で前記射影画像を生成する、請求項１に記載の特徴量抽出装置。

【請求項3】

前記演算部は、各点の深度情報を、当該点と前記中心点とを結ぶ直線が前記球面とが交わる交点に射影する、請求項１に記載の特徴量抽出装置。

【請求項4】

前記演算部は、前記交点に複数の前記深度情報が射影される場合、当該複数の深度情報のうち最も外側の点の深度情報を射影する、請求項３に記載の特徴量抽出装置。

【請求項5】

前記３次元画像は、前記３次元点群データの各点を頂点とする複数のポリゴンで形成され、
前記演算部は、各ポリゴンの各辺に点を補間し、当該補間した点を前記３次元点群データに追加する、請求項１に記載の特徴量抽出装置。

【請求項6】

前記球面は、前記３次元点群データの外接球の球面である、請求項１に記載の特徴量抽出装置。

【請求項7】

３次元点群データを含む３次元画像の特徴量を抽出する特徴量抽出装置による特徴量抽出方法であって、
前記３次元点群データの重心を中心点とした前記３次元点群データを囲む球面に対して、前記３次元点群の各点と前記中心点との距離を示す情報を各点の深度情報として射影した射影画像を生成し、
前記射影画像を２次元平面に展開した画像を前記特徴量として抽出する、特徴量抽出方法。

【請求項8】

３次元点群データを含む３次元画像の特徴量を抽出するためのプログラムであって、
前記３次元点群データの重心を中心点とした前記３次元点群データを囲む球面に対して、前記３次元点群の各点と前記中心点との距離を示す情報を各点の深度情報として射影した射影画像を生成する手順と、
前記射影画像を２次元平面に展開した画像を前記特徴量として抽出する手順とを、コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、特徴量抽出装置、特徴量抽出方法及びプログラムに関する。

【背景技術】

【0002】

近年、ユーザが指定した３次元画像と類似する類似画像を検索する３次元類似画像検索が注目されている。例えば、製造業などの分野では、製品の設計を行う際に、設計図面と類似する図面を検索することで、製品設計及びその見積などの効率化を図ることが可能となる。

【0003】

３次元類似画像検索では、３次元画像からその３次元画像の特徴を表す特徴量を抽出し、その特徴量に基づいて類似画像が検索される（特許文献１参照）。３次元画像から特徴量を抽出する手法としては、Ｄ２（Shape Distribution：２点間距離）法、ＳＨＤ(Spherical Harmonics Descriptor： 調和変換)法、ＬＦＤ(Light Field Descriptor：多方向撮影)法、及び、ＭＦＳＤ（Multi-Fourier Spectra Descriptor：複合特徴量）法が知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－０９１１３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

Ｄ２法は、３次元画像における２点間の距離などの分布をヒストグラム化することで特徴量を抽出するものである。Ｄ２方法では、単一の特徴量を容易に抽出することができるため、類似画像検索の検索速度が速い。しかしながら、３次元画像の形状が特徴量に反映されていないため、検出精度が低いという問題がある。

【0006】

ＳＨＤ法は、３次元画像に複数の球殻を生成し、各球殻に応じた球面調和関数に基づいて特徴量を抽出するものである。ＳＨＤ法では、３次元画像の形状を反映した特徴量を抽出することができるため、検出精度は比較的高い。しかしながら、球殻ごとに特徴量を算出する必要があるため、複数の特徴量が必要となり、特徴量の取り扱いが難しく、検索速度が遅いという問題がある。

【0007】

ＬＦＤ法は、３次元画像を様々な方向から撮影した複数の２次元画像に基づいて特徴量を抽出するものであり、ＳＨＤ法は、ＬＦＤ法による複数の特徴量に加えて、３次元画像の輪郭、影及び深度などを複合した特徴量を抽出するものである。これらの方法では、３次元画像の形状を反映した特徴量を抽出することができるため、検出精度は高い。しかしながら、特徴量の数が非常に多く、検索速度が非常に遅いという問題がある。

【0008】

本開示の目的は、３次元画像の形状を反映した単一の特徴量を抽出することで、高速で精度の高い類似画像検索を可能とする特徴量抽出装置、特徴量抽出方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

本開示の一態様に従う特徴量抽出装置は、３次元点群データを含む３次元画像の特徴量を抽出する特徴量抽出装置であって、前記３次元点群データの重心を中心点とした前記３次元点群データを囲む球面に対して、前記３次元点群の各点と前記中心点との距離を示す情報を各点の深度情報として射影した射影画像を生成し、前記射影画像を２次元平面に展開した画像を前記特徴量として抽出する演算部を有する。

【発明の効果】

【0010】

本発明によれば、３次元画像の形状を反映した単一の特徴量を抽出することが可能となり、高速で精度の高い類似画像検索が可能となる。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施形態の特徴量抽出システムを示すブロック図である。

【図2】サーバ１の動作の一例を説明するためのフローチャートである。

【図3】回転処理の一例を説明するためのフローチャートである。

【図4】補間処理の一例を説明するためのフローチャートである。

【図5】補間処理による点の補間の一例を示す図である。

【図6】射影処理の一例を説明するためのフローチャートである。

【図7】展開処理の一例を説明するためのフローチャートである。

【図8】展開処理の一例を説明するための図である。

【発明を実施するための形態】

【0012】

以下、本開示の実施形態について図面を参照して説明する。

【0013】

図１は、本開示の一実施形態の特徴量抽出システムを示すブロック図である。図１に示す特徴量抽出システムは、サーバ１と、ユーザ端末２とを含む。サーバ１及びユーザ端末２は、互いに通信可能に接続される。なお、サーバ１及びユーザ端末２は、インターネットのような通信ネットワークを介して互いに接続されてもよい。

【0014】

サーバ１は、ユーザ端末２からの指示に従って３次元画像の特徴量を抽出する特徴量抽出装置である。ユーザ端末２は、特徴量抽出システムを利用するユーザが操作する端末装置であり、サーバ１に対して種々の指示を送信する。サーバ１及びユーザ端末２は、例えば、ＣＰＵ（Central Processing Unit）のようなプロセッサ、メモリ、補助記憶装置、入力装置、出力装置、及びネットワークカードのような通信装置（いずれも図示せず）を備えた一般的なコンピュータ装置と同等なハードウェア構成で実現できる。

【0015】

サーバ１は、演算部１１と、処理部１２と、格納部１３と、送受信部１４とを有する。

【0016】

演算部１１は、処理対象の３次元画像である対象画像から、その対象画像の特徴を示す特徴量として球面深度画像を抽出する計算処理を行う。処理部１２は、対象画像の取得し、及び、演算部１１にて生成された球面深度画像の保存どの計算処理以外の処理を主に行う。演算部１１及び処理部１２は、プロセッサがメモリに記録されたプログラムを読み取り、その読み取ったプログラムを実行することで実現されてもよい。また、演算部１１及び処理部１２の少なくとも一部の機能が１以上のハードウェア回路（例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））によって実現されてもよい。

【0017】

格納部１３は、例えば、メモリ及び補助記憶装置などにて実現され、演算部１１及び処理部１２の動作を規定するプログラム、対象画像及び球面深度画像などを格納する。送受信部１４は、例えば、通信装置で実現され、ユーザ端末２との間で通信を行う。

【0018】

図２は、サーバ１の動作の一例を説明するためのフローチャートである。

【0019】

先ず、送受信部１４がユーザ端末２から対象画像の特徴量の抽出を指示する特徴量抽出指示を受信すると、処理部１２は、その特徴量抽出指示に従って対象画像を取得し、その対象画像を演算部１１に渡す（ステップＳ１０１）。対象画像は、本実施形態では、３次元点群データを含む３次元画像であり、より具体的には、３次元点群データの各点を頂点とするポリゴンで形成されたポリゴンデータである。対象画像は、特徴量抽出指示と共にユーザ端末２から送信されてもよいし、格納部１３に予め格納されていてもよい。

【0020】

演算部１１は、対象画像に含まれる３次元点群データに対して主成分分析を行って、前記３次元点群データの主成分を特定し、その主成分に基づいて対象画像を回転させる回転処理（図３参照）を行う（ステップＳ１０２）。

【0021】

演算部１１は、回転処理を行った対象画像を囲む球面を設定する（ステップＳ１０３）。本実施形態では、対象画像を囲む球面は、対象画像に含まれる３次元点群データの重心を中心点とし、３次元点群データに外接する外接球の球面である。

【0022】

演算部１１は、回転処理を行った対象画像を形成するポリゴンの各辺上に点を補間して３次元点群データに追加する補間処理（図４及び図５参照）を行う（ステップＳ１０４）。

【0023】

演算部１１は、対象画像内の３次元点群データの各点（補間した各点を含む）の対象画像内の深度を示す深度情報を、外接球の球面に射影した射影画像を生成する射影処理（図６参照）を行う（ステップＳ１０５）。

【0024】

演算部１１は、深度情報が射影された外接球の球面を２次元平面に展開した画像を、対象画像の特徴を表す特徴量である球面深度画像として抽出する展開処理（図７及び図８参照）を行う（ステップＳ１０６）。

【0025】

そして、処理部１２は、演算部１１が生成した球面深度画像を格納部１３に格納して（ステップＳ１０７）、処理を終了する。なお、処理部１２は、特徴量抽出指示に対する応答情報として特徴量を抽出した旨の情報を、送受信部１４を介してユーザ端末２に送信してもよい。

【0026】

図３は、図２のステップＳ１０２の回転処理の一例を説明するためのフローチャートである。

【0027】

回転処理では、先ず、演算部１１は、対象画像内の３次元点群データに対して主成分分析を行って、３次元点群データの主成分として、第１主成分、第２主成分及び第３主成分を特定する（ステップＳ２０１）。

【0028】

演算部１１は、第１主成分及び第３主成分をそれぞれ基準軸として設定する（ステップＳ２０２）。

【0029】

演算部１１は、基準軸がそれぞれ所定の方向を向くように対象画像を回転させ（ステップＳ２０３）、回転処理を終了する。本実施形態では、演算部１１は、第１主成分がｘ軸を向き、第３主成分がｙ軸を向くように対象画像を回転させる。

【0030】

図４は、図２のステップＳ１０４の補間処理の一例を説明するためのフローチャートである。

【0031】

補間処理では、演算部１１は、外接球の半径に基づいて、点を補間する補間間隔を決定する（ステップＳ３０１）。例えば、演算部１１は、外接球の半径が大きいほど、補間間隔を小さくする。

【0032】

演算部１１は、対象画像の各ポリゴンの各辺の長さを算出する（ステップＳ３０２）。演算部１１は、各ポリゴンの各辺に対して、その辺の長さと補間間隔とに基づいて、補間する点の個数を決定する（ステップＳ３０３）。例えば、演算部１１は、（辺の長さ）／（補間距離）の商を個数として決定する。

【0033】

演算部１１は、各ポリゴンの各辺上に、その辺に対して決定した個数分の点を３次元点群データの点として補間し、その点を３次元点群データに追加して（ステップＳ３０４）、補間処理を終了する。

【0034】

図５は、補間処理による点の補間の一例を示す図である。具体的には、図５（ａ）は、補間処理前の対象画像の一例を示す図であり、図５（ｂ）は、補間処理後の対象画像の一例を示す図である。

【0035】

補間処理前では、図５（ａ）に示すように、対象画像の各ポリゴン２１の頂点にのみ３次元点群データの点２２が存在する。これに対して補間処理後では、図５（ｂ）に示すように、各ポリゴン２１の頂点の点２２だけでなく、各ポリゴン２１の各辺に補間された点２３が存在する。このため、対象画像内の点の数が補間処理前と比べて増加している。

【0036】

図６は、図２のステップＳ１０５の射影処理の一例を説明するためのフローチャートである。

【0037】

射影処理では、演算部１１は、対象画像内の各点について、その点と外接球の中心点との距離を深度として示す深度情報を算出する（ステップＳ４０１）。

【0038】

演算部１１は、各点の深度情報を所定の規則に従って規格化する（ステップＳ４０２）。ここでは、演算部１１は、外接球の中心点と一致する点の深度が０となり、外接球の表面と一致する点の深度が２５５となるように深度情報を規格化する。

【0039】

演算部１１は、各点の深度情報を濃淡情報として外接球の表面に射影して、外接球の表面に濃淡情報（深度情報）をマッピングすることで、射影画像を生成する（ステップＳ４０３）。ここでは、演算部１１は、各点の深度情報を、その点と外接球の中心点とを結ぶ直線が外接球と交わる交点に射影する。

【0040】

そして、演算部１１は、外接球の表面の点において複数の深度情報が射影された点が存在するか否かを判断する。複数の深度情報が射影された点が存在する場合、演算部１１は、の複数の深度情報のいずれかを選択し、それ以外の深度情報を削除することで、複数の深度情報のいずれかが射影されて射影画像を生成し（ステップＳ４０４）、射影処理を終了する。ここでは、演算部１１は、複数の深度情報のうち最も外側の点の深度情報を選択する。なお演算部１１は、複数の深度情報のうち最も内側の点の深度情報などを選択してもよい。また、複数の深度情報が射影された点がない場合、演算部１１は、そのまま射影処理を終了する。

【0041】

図７は、図２のステップＳ１０６の展開処理の一例を説明するためのフローチャートである。

【0042】

展開処理では、演算部１１は、外接球の球面の各点の座標を極座標に変換する（ステップＳ５０１）。ここでは、変換前の各点の座標は、直交座標（ｘ，ｙ，ｚ）で表され、回転処理（図３参照）によって、３次元点群データの第１主成分がｘ軸方向を向いており、第３主成分がｙ軸方向を向いている。この場合、演算部１１は、以下の数１を用いて、各点の座標を極座標（ｒ，θ，φ）に変換する。

【数1】

【0043】

そして、演算部１１は、球面の各点の極座標を２次元座標（ｘ、ｙ）に変換することで、球面の各点をｘｙ平面に展開して球面深度画像を生成し（ステップＳ５０２）、展開処理を終了する。ここでは、演算部１１は、以下の数２を用いて各点の極座標を２次元座標（ｘ、ｙ）に変換する。

【数2】

【0044】

図８は、展開処理の一例を説明するための図である。具体的には、図８（ａ）は、展開処理前の画像の一例を示す図であり、図８（ｂ）は、展開処理後の画像の一例を示す図である。

【0045】

図８に示すように展開処理により、外接球の表面上に深度情報として濃淡情報が射影された射影画像（図８（ａ））が２次元のグレースケール画像である球面深度画像（図８（ｂ））に変換される。

【0046】

なお、特徴量である球面深度画像に対して数１及び数２で示した変換の逆変換を行うことで射影画像を概ね再現することが可能であり、さらに射影処理による射影の逆射影を行うことで射影画像から元の対象画像を概ね再現することが可能である。これは、球面深度画像が元の対象画像の形状等の特徴を概ね保持しており、特徴量損失が少ないことを示している。

【0047】

以上説明したように本実施形態によれば、演算部１１は、対象画像に含まれる３次元点群データの重心を中心点とした３次元点群データを囲む球面に対して、３次元点群の各点と中心点との距離を示す情報を各点の深度情報として射影した射影画像を生成する。演算部１１は、射影画像を２次元平面に展開した球面深度画像を特徴量として抽出する。したがって、対象画像の形状を反映した単一の球面深度画像を特徴量として抽出することが可能になるため、高速で精度の高い類似画像検索が可能となる。

【0048】

また、本実施形態では、演算部１１は、３次元点群に対して主成分分析を行って、３次元点群データの主成分を特定し、その主成分に基づいて３次元画像を回転させた状態で射影画像を生成する。したがって、対象画像の向きを揃えて特徴量を抽出することが可能となるため、精度の高い類似画像検索が可能となる。

【0049】

また、本実施形態では、演算部１１は、各点の深度情報を、その点と球面の中心点とを結ぶ直線が球面とが交わる交点に射影する。したがって、３次元画像の形状をより正確に反映した特徴量を抽出することが可能となる。

【0050】

また、本実施形態では、演算部１１は、球面上の点に複数の深度情報が射影される場合、当該複数の深度情報のうち最も外側の点の深度情報を射影する。この場合、３次元画像の外側の形状を反映した特徴量を抽出することが可能となるため、精度の高い類似画像検索が可能となる。

【0051】

また、本実施形態では、演算部１１は、対象画像の各ポリゴンの各辺に点を補間し、その補間した点を３次元点群データに追加し、深度情報を射影する。このため、特徴量に反映させる情報量を増加させることが可能となるため、精度の高い類似画像検索が可能となる。

【0052】

また、本実施形態では、球面は、３次元点群データの外接球の球面である。このため、３次元点群データの各点の深度を適切に射影することが可能となる。

【0053】

上述した本開示の実施形態は、本開示の説明のための例示であり、本開示の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本開示の範囲を逸脱することなしに、他の様々な態様で本開示を実施することができる。

【0054】

例えば、サーバ１は、抽出した特徴量を用いて３次元画像の類似画像検索を行う機能を有していてもよい。

【符号の説明】

【0055】

１：サーバ、２：ユーザ端末、１１：演算部、１２：処理部、１３：格納部、１４：送受信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】