【文献】
米谷 竜 外3名,シーンの色情報と深度情報の統合による自動物体セグメンテーション,電子情報通信学会技術研究報告 Vol.111 No.379 PRMU2011−147−PRMU2011−185 パターン認識・メディア理解,日本,社団法人電子情報通信学会,2012年 1月12日,第111巻 第379号,pp. 103-108,ISSN 0913-5685
【文献】
染谷 昌史 外2名,類似スーパーピクセルに基づく画像内の物体認識,情報処理学会 論文誌(ジャーナル) Vol.56 No.8,日本,情報処理学会,2015年 8月15日,第56巻 第8号,pp. 1667-1671,ISSN 1882-7764
(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記物体領域切出装置において、例えば、実際に切出された物体領域がユーザの意図する領域と異なる場合に、パラメータ調整などを行ってその物体領域を修正する必要が生じる。また、再度、画像から同様の物体領域を切出す場合に、同一の修正を繰り返すこととなり、その作業負荷がかかる。
本発明は、かかる課題を解決するためになされたものであり、画像から物体領域を切出す場合でも修正を行うことなく、ユーザの意図する物体領域を切出すことができる物体領域切出装置を提供することを主たる目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するための本発明の一態様は、
環境内の物体の画像情報を取得する画像取得手段と、
前記環境内の物体の距離情報を取得する距離取得手段と、
前記画像取得手段により取得された画像情報を表示する表示手段と、
前記表示手段により表示された画像上の物体を指示する指示手段と、
前記画像取得手段により取得された画像情報と、前記距離取得手段により取得された距離情報と、に基づいて、スーパーピクセルをグラフのノードとしたグラフカット法によりエネルギー関数を最小化するように、前記表示手段により表示された画像の中から、前記指示手段により指示された物体の領域を切出す切出手段と、
ユーザの修正指示に応じて、前記切出手段により切出され前記表示手段に表示された物体領域を修正して、修正物体領域を生成する領域修正手段と、
前記領域修正手段により修正された修正物体領域を切出すための前記エネルギー関数の目的関数パラメータを算出するパラメータ算出手段と、
前記領域修正手段により生成された修正物体領域の特徴量を抽出し、該抽出した特徴量と前記パラメータ算出手段により算出された目的関数パラメータと、を対応付けて記憶手段に記憶させる特徴量抽出手段と、
前記特徴量抽出手段により抽出された対象物の物体領域の特徴量と、前記記憶手段の特徴量と、の類似度を算出し、前記記憶手段の特徴量群の中から類似度が閾値以上となる特徴量を抽出し、該特徴量に対応付けられた目的関数パラメータを抽出する特徴量比較手段と、を備え、
前記切出手段は、前記特徴量比較手段により抽出された前記目的関数パラメータに基づいて、前記エネルギー関数を最小化する解を求めることで、前記対象物の物体領域を切出す、
ことを特徴とする物体領域切出装置である。
この一態様によれば、記憶手段には、ユーザが意図する修正を行った修正物体領域に対応した目的関数パラメータが記憶される。そして、記憶手段から対象物の物体領域に類似する修正物体領域を抽出し、その対応する目的関数パラメータを抽出する。抽出した目的関数パラメータを用いて画像から修正物体領域と同一領域を切出すことでができる。したがって、画像から対象物の物体領域を切出す際の修正を行うことなく、ユーザの意図する物体領域を切出すことができ、その作業負荷が軽減される。
【発明の効果】
【0006】
本発明によれば、画像から物体領域を切出す場合でも修正を行うことなくユーザの意図する物体領域を切出すことができる物体領域切出装置を提供することを主たる目的とする。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施の形態について説明する。
本発明の一実施形態に係る物体領域切出装置は、例えば、環境センサにより計測された物体の距離情報や画像情報に基づいて、取得された画像からロボットなどが操作する物体の領域(以下、物体領域)を切出す(セグメンテーション)ための装置である。ロボットは、物体領域切出装置により切出された物体領域に基づいて、その物体を認識し、あるいはその物体を把持操作する。
【0009】
ところで、画像から実際に切出された物体領域がユーザの意図する領域と異なる場合に、その物体領域を修正する必要が生じる。例えば、歯ブラシの領域を切出す際に一緒に置かれたコップの領域も併せてその物体領域として切出したい場合や、物体の模様や形状に沿って誤って切出されその物体の一部が物体領域に含まれていない又は余分な部分が含まれる場合などでは、その物体領域を修正する必要がある。この場合、物体領域の切出処理を行うための目的関数パラメータを調整することで、物体領域の修正を行うこととなる。
また、再度、画像から同様の物体領域を切出す場合に、従来、同一の目的関数パラメータ修正を繰り返すこととなり、その作業負荷がかかる。
【0010】
これに対し、本実施形態に係る物体領域切出装置は、まず、物体領域の切出処理を行うための目的関数パラメータを、修正した物体領域毎に算出し、その目的関数パラメータのデータベースを生成する処理(データベース生成処理)を行う。
その後、物体領域切出装置は、そのデータベースから、切出す対象物の目的関数パラメータを抽出し、抽出した目的関数パラメータを用いて画像から対象物の物体領域を切出す処理(対象物領域切出処理)を行う。これにより、画像から対象物の物体領域を切出す際の修正を行うことなく、ユーザの意図する物体領域を切出すことができ、その作業負荷が軽減される。
【0011】
図1は、本発明の一実施形態に係る物体領域切出装置の概略的なシステム構成を示すブロック図である。本実施形態に係る物体領域切出装置1は、画像取得部2と、距離取得部3と、画像表示部4と、物体指示部5と、切出処理部6と、領域修正部7と、パラメータ算出部8と、特徴量抽出部9と、特徴量比較部10と、を備えている。
【0012】
なお、物体領域切出装置1は、例えば、演算処理等と行うCPU(Central Processing Unit)、CPUによって実行される演算プログラム、制御プログラム等が記憶されたROM(Read Only Memory)やRAM(Random Access Memory)からなるメモリ、外部と信号の入出力を行うインターフェイス部(I/F)、などからなるマイクロコンピュータを中心にして、それぞれ、ハードウェア構成されている。CPU、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
【0013】
画像取得部2は、画像取得手段の一具体例である。画像取得部2は、環境内の物体の画像情報を取得する。画像取得部2は、ステレオカメラ、カラーカメラ(RGBカメラ)を用いて、環境内の物体のカラー画像情報を取得する。なお、画像取得部2は、モノクロ画像情報を取得してもよい。
【0014】
距離取得部3は、距離取得手段の一具体例である。距離取得部3は、環境内の物体の距離情報を取得する。距離取得部3は、ステレオカメラ、超音波センサ、レーダセンサなどの距離センサを用いて、環境内の物体の距離情報を取得する。なお、画像取得部2及び距離取得部3は、RGB−Dカメラなどのカラー画像距離センサを用いて、同時にカラー画像及び距離情報を取得してもよい。
【0015】
画像表示部4は、表示手段の一具体例である。画像表示部4は、画像取得部2により取得された物体の画像情報や、切出処理部6により切出された物体領域などを表示する。画像表示部4は、例えば、タブレット、スマートフォン、PCなどの液晶ディスプレイ、有機ELディスプレイである。
【0016】
物体指示部5は、指示手段の一具体例である。物体指示部5は、ユーザの指示入力に応じて、画像表示部4に表示された画像上の物体を点、線、領域(以下、指示領域)によって指示する。物体指示部5に対する指示入力は、マウス、タッチスクリーン、キーなどを用いて行われる。例えば、ユーザは、マウスを操作して、画像表示部4に表示された画像上の物体に対して、クリック操作を行い、あるいは、線、四角、円などを描画することで、を指示入力することができる。
【0017】
切出処理部6は、切出手段の一具体例である。切出処理部6は、画像表示部4に表示された画像から、物体指示部5により指示された指示領域を含む物体の領域(以下、物体領域)を切出す切出処理を行う。
【0018】
切出処理部6は、例えば、スーパーピクセル(SuperPixel)をグラフのノードとしたグラフカット(GraphCut)法を行って物体領域の切出処理を行う。ここで、スーパーピクセルとは、画像において、色または輝度などの各種のパラメータの値が互いに類似している隣接した複数の画素をグルーピングした小領域である。グラフカット法とは、ノード間をエッジ(辺)で結び、エッジを切断することで、コスト最小となるような最小切断を計算する手法である。
【0019】
なお、切出処理部6は、さらに、上記スーパーピクセルを類似度でグルーピングし、より大きなスーパーピクセル(ハイパーピクセル(HyperPixel))を生成し、このスーパーピクセルをグラフのノードとしたグラフカット法を行って物体領域の切出処理を行ってもよい。切出処理部6は、上記画像のスーパーピクセルをエネルギー最小化問題として定式化し、それをグラフカット法を用いて解くことで、物体領域の切出処理を行う。
【0020】
切出処理部6は、例えば、画像取得部2により取得されたカラー画像情報と、距離取得部3により取得された距離情報と、に基づいて、下記エネルギー関数F(X)を最小化する解を求めることで、物体領域の切出処理を行う。
【数1】
【0021】
上記式において、u、vはノードである。g
u(X
u)は、あるノードuにラベルX
uを割り振る際のコストである。X
sはsource(物体領域)である。X
dはdrain(物体領域以外)のラベルである。g
ucolor(X
s)は、カラー画像情報から計算されるノードuにラベルX
uを割り振る際のコストである。g
u3D(X
s)は、距離情報から計算されるノードuにラベルX
uを割り振る際のコストである。C
cは、カラー画像情報および距離情報のコストの重みを決定する目的関数パラメータである。C
gは、各ノードとドレインノードとのカットコストを調整する目的関数パラメータである。h
uv(X
u、X
v)は、平滑化項であり、カラー画像情報および距離情報から計算される。
【0022】
なお、上記切出処理において、例えば、目的関数パラメータの一つであるC
cを変更することで、カラー画像情報および距離情報から計算される各コストの重みを調整することができる。その調整結果、物体領域の切出処理の結果も変化する。
【0023】
例えば、目的関数パラメータC
cを大きくするとカラー画像情報が重視されるため、切出処理部6は、物体指示部5より指示された指示領域とより類似した色の領域を、物体領域として切出す。一方、目的関数パラメータC
cを小さくすると距離情報が重視されるため、切出処理部6は、物体指示部5より指示された指示領域により近い領域を、物体領域として切出す。同様に、目的関数パラメータC
gを変更することで、各ノードとドレインノードとのカットコストの重みを調整できる。
なお、目的関数パラメータの初期値は、例えば、ユーザが任意に設定した値(デフォルト)が設定されている。
【0024】
領域修正部7は、領域修正手段の一具体例である。領域修正部7は、ユーザの修正指示に応じて、画像表示部4に表示された物体領域を修正した修正物体領域を生成する。領域修正部7は、ユーザの修正指示に応じて、画像表示部4に表示された物体領域を増加させ、あるいは減少させて、修正物体領域を生成する。領域修正部7に対する修正指示は、マウス、タッチスクリーン、キーなどを用いて行われる。
【0025】
例えば、ユーザは、マウスを操作して、画像表示部4に表示された画像上の修正領域(増加領域、減少領域)に対して、クリック操作を行い、あるいは、線、四角、円などを描画することで、を物体領域の修正を行うことができる。領域修正部7は、修正指示された修正領域の位置のハイパーピクセルに割り当てられたラベル(物体領域又はそれ以外の領域)を反転させる。
【0026】
パラメータ算出部8は、パラメータ算出手段の一具体例である。パラメータ算出部8は、領域修正部7により修正された修正物体領域を切出すための目的関数パラメータを算出する。例えば、パラメータ算出部8は、目的関数パラメータを変化させつつ、グラフカット法を行い、複数の物体領域候補の切出を行う。そして、パラメータ算出部8は、各物体領域候補と、領域修正部7により生成された修正物体領域とを比較する。パラメータ算出部8は、各物体領域候補のうち、修正物体領域に最も類似した物体領域候補を抽出する。パラメータ算出部8は、抽出したその物体領域候補の目的関数パラメータを、算出結果として特徴量抽出部9に出力する。
【0027】
特徴量抽出部9は、特徴量抽出手段の一具体例である。特徴量抽出部9は、領域修正部7により生成された修正物体領域の特徴量を抽出する。特徴量抽出部9は、例えば、修正物体領域及びその周辺領域(16×16ピクセルなど所定ピクセル)のカラー画像パッチを取得し、そのRGBのカラーヒストグラムを特徴量として抽出する。なお、特徴量抽出部9は、修正物体領域の、SIFT(Scale-Invariant Feature Transform)やHOG(Histograms of Oriented Gradients)などの画像特徴量を抽出してもよい。特徴量抽出部9は、抽出した修正物体領域の特徴量と、パラメータ算出部8により算出された目的関数パラメータと、を対応付けてメモリ(記憶手段の一具体例)に記憶させる。メモリには、修正物体領域の特徴量と目的関数パラメータとを対応付けたデータベースが構築されている。
【0028】
特徴量比較部10は、特徴量比較手段の一具体例である。特徴量比較部10は、特徴量抽出部9により抽出された対象物の物体領域の特徴量と、メモリのデータベースの各特徴量と、を比較する。特徴量比較部10は、特徴量抽出部9により抽出された対象物の物体領域の特徴量と、メモリのデータベースの特徴量と、の類似度(例えば、相関係数)を夫々算出する。特徴量比較部10は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出し、その特徴量に対応付けられた目的関数パラメータを抽出する。一方、特徴量比較部10は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出できない場合、デフォルトの目的関数パラメータを採用する。
【0029】
次に、本実施形態に係る物体領域切出方法について詳細に説明する。
図2は、本実施形態に係る物体領域切出方法のデータベース生成処理フローを示すフローチャートである。
<データベース生成処理>
最初に、物体領域切出装置1は、修正物体領域の特徴量と、目的関数パラメータと、を対応付けるデータベース生成処理を実行する。
【0030】
画像取得部2は、環境内の物体のカラー画像情報を取得する(ステップS101)。
距離取得部3は、環境内の物体の距離情報を取得する(ステップS102)。
画像表示部4は、画像取得部2により取得された物体の画像情報を表示する(ステップS103)。
【0031】
物体指示部5は、ユーザの指示入力に応じて、画像表示部4に表示された画像上の物体を指示領域によって指示する(ステップS104)。
切出処理部6は、画像取得部2により取得されたカラー画像情報と、距離取得部3により取得された距離情報と、に基づいて、エネルギー関数F(X)を最小化する解を求めることで、指示領域の物体領域を切出す(ステップS105)。
【0032】
画像表示部4は、切出処理部6により切出された物体領域を表示する(ステップS106)。
領域修正部7は、ユーザの修正指示に応じて、画像表示部4に表示された物体領域を修正した修正物体領域を生成する(ステップS107)。
【0033】
パラメータ算出部8は、領域修正部7により修正された修正物体領域を切出すための目的関数パラメータを算出する(ステップS108)。
特徴量抽出部9は、領域修正部7により生成された修正物体領域の特徴量を抽出する(ステップS109)。
特徴量抽出部9は、抽出した修正物体領域の特徴量と、パラメータ算出部8により算出された目的関数パラメータと、を対応付けて、メモリに記憶させる(ステップS110)。以上の処理を環境内の物体毎に行い、複数の修正物体領域の特徴量と目的関数パラメータと、を対応付けたデータベースをメモリに構築する。
【0034】
図3は、本実施形態に係る物体領域切出方法の対象物領域切出処理フローを示すフローチャートである。
<対象物領域切出処理>
上記データベース生成処理に続いて、物体領域切出装置1は、上記構築したデータベースから対象物の目的関数パラメータを抽出し、抽出した目的関数パラメータを用いて画像から対象物の物体領域を切出す対象物領域切出処理を実行する。
【0035】
物体指示部5は、ユーザの指示入力に応じて、画像表示部4に表示された画像上の対象物を指示する(ステップS111)。
切出処理部6は、画像表示部4に表示された画像から、物体指示部5により指示された指示領域を含む対象物の物体領域を切出す切出処理を行う(ステップS112)。
【0036】
特徴量抽出部9は、切出処理部6により切出された対象物の物体領域の特徴量を抽出する(ステップS113)。
特徴量比較部10は、特徴量抽出部9により抽出された対象物の物体領域の特徴量と、メモリのデータベースの特徴量と、の類似度を夫々算出する(ステップS114)。
【0037】
特徴量比較部10は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出でき場合(ステップS115のYES)、その特徴量に対応付けられた目的関数パラメータを抽出する(ステップS116)。
一方、特徴量比較部10は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出できない場合(ステップS115のNO)、デフォルトの目的関数パラメータを採用する(ステップS117)。
【0038】
切出処理部6は、特徴量比較部10により抽出あるいは採用された目的関数パラメータに基づいて、上記エネルギー関数F(X)を最小化する解を求めることで、対象物の物体領域の切出処理を行う(ステップS118)。
画像表示部4は、切出処理部6により切出された対象物の物体領域を表示する(ステップS119)。
【0039】
以上、本実施形態に係る物体領域切出装置1において、切出処理部6は、画像取得部2により取得された画像情報と、距離取得部3により取得された距離情報と、に基づいて、エネルギー関数をスーパーピクセルをグラフのノードとしたグラフカット法により最小化するように、画像表示部4により表示された画像の中から、物体指示部5により指示された物体の領域を切出す。領域修正部7は、ユーザの修正指示に応じて修正物体領域を生成する。パラメータ算出部8は、領域修正部7により修正された修正物体領域を切出すためのエネルギー関数の目的関数パラメータを算出する。特徴量抽出部9は、領域修正部7により生成された修正物体領域の特徴量を抽出し、抽出した特徴量とパラメータ算出部8により算出された目的関数パラメータとを対応付けてメモリに記憶させる。特徴量比較部10は、特徴量抽出部9により抽出された対象物の物体領域の特徴量と、メモリの特徴量と、の類似度を算出し、メモリの特徴量群の中から類似度が閾値以上となる特徴量を抽出し、該特徴量に対応付けられた目的関数パラメータを抽出する。切出処理部6は、特徴量比較部10により抽出された目的関数パラメータに基づいて、エネルギー関数を最小化する解を求めることで、対象物の物体領域を切出す。
これにより、メモリには、ユーザが意図する修正を行った修正物体領域に対応した目的関数パラメータが記憶される。そして、メモリから対象物の物体領域に類似する修正物体領域を抽出し、その対応する目的関数パラメータを抽出する。抽出した目的関数パラメータを用いて画像から修正物体領域と同一領域を切出すことでができる。したがって、画像から対象物の物体領域を切出す際の修正を行うことなく、ユーザの意図する物体領域を切出すことができ、その作業負荷が軽減される。
【0040】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0041】
本発明は、例えば、
図2及び3に示す処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
【0042】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
【0043】
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。