特許 7423951 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240123BHJP

   G06F 3/04842 20220101ALI20240123BHJP

【ＦＩ】

G06T7/00 Z

G06F3/04842

【請求項の数】 3

(21)【出願番号】P 2019170585

(22)【出願日】2019-09-19

(65)【公開番号】P2021047705

(43)【公開日】2021-03-25

【審査請求日】2022-08-29

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】蔡 媛媛

(72)【発明者】

【氏名】佐々木 信

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１１－０７７７９０（ＪＰ，Ａ）

【文献】特開２０１５－２０１０３８（ＪＰ，Ａ）

【文献】特許第５１０７４５３（ＪＰ，Ｂ１）

【文献】特開２０１６－０１５０４３（ＪＰ，Ａ）

【文献】特開２００６－０３３２２４（ＪＰ，Ａ）

【文献】特開２０１３－０７７２９６（ＪＰ，Ａ）

【文献】特開２０１８－０９２６１０（ＪＰ，Ａ）

【文献】特開２０１１－０５３７５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ ３／０４８４２

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、前記プロセッサは、
画像の前景物体に対応する複数の候補領域を囲む枠として矩形枠を表示し、１回の選択動作を検出して、前記選択動作による軌跡と前記矩形枠とが交わる前記候補領域を抽出し、抽出した各前記候補領域の色分布を混合ガウスモデルによって求めてから、四辺の画素が持っている色の分布を示す色分布ヒストグラムを背景の色分布とし、他の色分布を物体の色分布として、背景の色分布の平均色の画素を拡張領域法の種子点に設定し、前記前景物体に対応する対象領域から背景を除外して、前記対象領域から前景物体に対応する画像を切り抜くことにより、前記選択動作で選択された１以上の前記候補領域の中から前記対象領域を抽出する処理を行う画像処理装置。

【請求項2】

前記プロセッサは、画像から前景物体に対応する複数の領域を前記候補領域として抽出して前記枠を表示する際に、前記画像を縮小してから前記候補領域を抽出して前記枠を求め、求めた前記枠を元の大きさに復元して前記枠を表示する処理を更に行う請求項１に記載の画像処理装置。

【請求項3】

画像の前景物体に対応する複数の候補領域を囲む枠として矩形枠を表示し、１回の選択動作を検出して、前記選択動作による軌跡と前記矩形枠とが交わる前記候補領域を抽出し、抽出した各前記候補領域の色分布を混合ガウスモデルによって求めてから、四辺の画素が持っている色の分布を示す色分布ヒストグラムを背景の色分布とし、他の色分布を物体の色分布として、背景の色分布の平均色の画素を拡張領域法の種子点に設定し、前記前景物体に対応する対象領域から背景を除外して、前記対象領域から前景物体に対応する画像を切り抜くことにより、前記選択動作で選択された１以上の前記候補領域の中から前記対象領域を抽出する処理をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、細菌などの微生物に対して検出及び計数を行う場合に、入力画像から背景画像を除去した前景画像中の目標物体の候補物体を確定し、候補物体の周囲領域と、候補物体及びその周囲領域を除去した後の入力画像との類似度又は候補物体の周囲領域と候補物体との類似度に基づいて、候補物体に対して選別を行うことが提案されている。

【0003】

特許文献２には、画像について、人物等のオブジェクトセグメント、前景セグメントに分類し、画像内の構図と、画像内の前景セグメントと画像以外の画像における前景セグメントとの関係性に基づいて、前景セグメントの重要度を算出して、重要な物体の切抜きやトリミングなどの画像処理を行うことが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２０４２７６号公報

【文献】特開２０１３－５３１０２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像中の物体の領域を切り抜く技術があるが、切り抜く対象領域が複数存在する場合、複数の対象領域を選択する操作を複数回行う必要があった。そこで、本発明は、画像を切り抜く対象領域が複数存在する場合であっても、１回の操作で複数の対象領域を切り抜くことが可能な画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の画像処理装置は、プロセッサを備え、前記プロセッサは、画像の前景物体に対応する複数の候補領域を囲む枠として矩形枠を表示し、１回の選択動作を検出して、前記選択動作による軌跡と前記矩形枠とが交わる前記候補領域を抽出し、抽出した各前記候補領域の色分布を混合ガウスモデルによって求めてから、四辺の画素が持っている色の分布を示す色分布ヒストグラムを背景の色分布とし、他の色分布を物体の色分布として、背景の色分布の平均色の画素を拡張領域法の種子点に設定し、前記前景物体に対応する対象領域から背景を除外して、前記対象領域から前景物体に対応する画像を切り抜くことにより、前記選択動作で選択された１以上の前記候補領域の中から前記対象領域を抽出する処理を行う。

【0015】

請求項２に記載の発明は、請求項１に記載の発明において、前記プロセッサは、画像から前景物体に対応する複数の領域を前記候補領域として抽出して前記枠を表示する際に、前記画像を縮小してから前記候補領域を抽出して前記枠を求め、求めた前記枠を元の大きさに復元して前記枠を表示する処理を更に行う。

【0016】

請求項３に記載の画像処理プログラムは、画像の前景物体に対応する複数の候補領域を囲む枠として矩形枠を表示し、１回の選択動作を検出して、前記選択動作による軌跡と前記矩形枠とが交わる前記候補領域を抽出し、抽出した各前記候補領域の色分布を混合ガウスモデルによって求めてから、四辺の画素が持っている色の分布を示す色分布ヒストグラムを背景の色分布とし、他の色分布を物体の色分布として、背景の色分布の平均色の画素を拡張領域法の種子点に設定し、前記前景物体に対応する対象領域から背景を除外して、前記対象領域から前景物体に対応する画像を切り抜くことにより、前記選択動作で選択された１以上の前記候補領域の中から前記対象領域を抽出する処理をコンピュータに実行させる。

【発明の効果】

【0017】

請求項１に記載の情報処理装置によれば、画像を切り抜く対象領域が複数存在する場合であっても、１回の操作で複数の対象領域を切り抜くことが可能な画像処理装置を提供でき、かつ領域拡張法の種子点を手動で設定する場合に比べて、複雑な背景であっても背景の種子点を容易に設定して背景を除外することが可能となる。

【0026】

請求項２に記載の発明によれば、縮小せずに候補領域を抽出して枠を求める場合に比べて、処理負荷を低減することが可能となる。

【0027】

請求項３に記載の発明によれば、画像を切り抜く対象領域が複数存在する場合であっても、１回の操作で複数の対象領域を切り抜くことが可能な画像処理プログラムを提供でき、かつ領域拡張法の種子点を手動で設定する場合に比べて、複雑な背景であっても背景の種子点を容易に設定して背景を除外することが可能となる。

【図面の簡単な説明】

【0028】

【図1】本実施形態に係る画像処理装置の概略構成を示すブロック図である。

【図2】本実施形態に係る画像処理装置の機能ブロック図である。

【図3】ファッション通販の物体検出の例を示す図である。

【図4】お酒の物体検出の例を示す図である。

【図5】選択動作の軌跡により選出された矩形枠の一例を示す図である。

【図6】矩形枠の各辺の中点に設定した例を示す図である。

【図7】矩形枠の各辺の全画素を種子点に設定した例を示す図である。

【図8】混合ガウスモデルによって、各枠内の色分布を求めてから背景の色分布の平均色の画素に種子点を設定した例を示す図である。

【図9】本実施形態に係る画像処理装置で行われる具体的な処理の流れの一例を示すフローチャートである。

【図10】本実施形態に係る画像処理装置の全体の処理の流れを説明するための図である。

【発明を実施するための形態】

【0029】

以下、図面を参照して本実施形態の一例を詳細に説明する。図１は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。

【0030】

本実施形態に係る画像処理装置１０は、プロセッサの一例としてのＣＰＵ１０Ａ（Central Processing Unit）、ＲＯＭ（Read Only Memory）１０Ｂ、ＲＡＭ（Random Access Memory）１０Ｃ、ＨＤＤ（hard disk drive）１０Ｄ、操作部１０Ｅ、表示部１０Ｆ、及び通信回線Ｉ／Ｆ（インタフェース）部１０Ｇを備えている。ＣＰＵ１０Ａは、画像処理装置１０の全体の動作を司る。ＲＯＭ１０Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＨＤＤ１０Ｄは、各種のデータやアプリケーション・プログラム等が記憶される。操作部１０Ｅは、キーボードやマウス、タッチパネル、タッチペン等の各種操作入力装置を含み、各種の情報を入力するために用いられる。表示部１０Ｆは、液晶等のディスプレイが適用され、各種の情報を表示するために用いられる。通信回線Ｉ／Ｆ部１０Ｇは、ネットワーク等の通信回線に接続され、当該通信回線に接続された他の装置と各種データの送受信を行う。以上の画像処理装置１０の各部はシステムバス１０Ｈにより電気的に相互に接続されている。なお、本実施形態に係る画像処理装置１０では、ＨＤＤ１０Ｄを記憶部として適用しているが、これに限らず、フラッシュメモリ等の他の不揮発性の記憶部を適用してもよい。

【0031】

以上の構成により、本実施形態に係る画像処理装置１０は、ＣＰＵ１０Ａにより、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、及びＨＤＤ１０Ｄに対するアクセス、操作部１０Ｅを介した各種データの取得、表示部１０Ｆに対する各種情報の表示を各々実行する。また、画像処理装置１０は、ＣＰＵ１０Ａにより、通信回線Ｉ／Ｆ部１０Ｇを介した通信データの送受信の制御を実行する。

【0032】

本実施形態に係る画像処理装置１０では、ＲＯＭ１０ＢまたはＨＤＤ１０Ｄに予め記憶されたプログラムをＣＰＵ１０Ａが実行することにより、画像中の検出可能な物体を検出し、ユーザによって選定された物体を切り抜く処理を行う。なお、以下では、画像中の検出可能な物体を前景物体と称し、前景物体以外を背景と称する。

【0033】

続いて、上述のように構成された本実施形態に係る画像処理装置１０の機能的構成について説明する。図２は、本実施形態に係る画像処理装置１０の機能ブロック図である。なお、各機能部は、ＲＯＭ１０ＢまたはＨＤＤ１０Ｄに予め記憶されたプログラムをＣＰＵ１０Ａが実行することにより実現される。

【0034】

画像処理装置１０は、物体検出部１２、物体選出部１４、及び物体切抜き部１６の機能を有する。

【0035】

物体検出部１２は、物体検出対象の画像情報を入力して、画像情報が表す画像中の前景物体を検出し、検出した物体の候補領域を矩形枠で表示部１０Ｆに表示する処理を行う。前景物体は、種々の周知技術を用いることで検出する。例えば、物体検出アルゴリズムＹＯＬＯ（You Only Look Once）ｖ３を用いて検出できる。図３、４に物体検出の一例を示す。図３は、ファッション通販の物体検出の例を示す図であり、図４は、お酒の物体検出の例を示す図である。図３では、「tops」、「skirts」、「footwear」、「bags」、「pants」のそれぞれの学習データを元に深層学習を行って物体を検出し、「tops」、「skirts」、「footwear」、「bags」、「pants」の候補領域を矩形枠で表示した例を示す。また、図４の例では、各種のお酒の画像を学習データとして深層学習を行って物体を検出し、３本のお酒の候補領域を矩形枠で表示した例を示す。

【0036】

物体選出部１４は、検出された物体の候補領域の矩形枠のうち切り抜きたい前景物体に対応する矩形枠を、ユーザが操作部１０Ｅを操作して行う１回の選択動作に基づいて選出する処理を行う。本実施形態では、物体検出部１２によって検出されて表示された矩形枠に対する選択動作を検出して、切り抜きたい前景物体に対応する矩形枠を選出する。具体的には、図５に示すように、一筆書きのような１回の操作部１０Ｅによる選択動作で指定された物体の候補領域の矩形枠を選出する。本実施形態では、物体選出部１４は、操作部１０Ｅの選択動作による軌跡と交わる矩形枠を選出する。なお、図５では、１本のお酒の矩形枠を選出した例、３本のお酒の矩形枠を選出した例、及び２本の矩形枠を選出した例の３種類の矩形枠の選出例を示す。

【0037】

物体切抜き部１６は、物体選出部１４によって選出された矩形枠の中から前景物体を切り抜く処理を行う。具体的には、領域拡張法（region growing）を応用して矩形枠の中から前景物体を切り抜く。領域拡張法では、予め設定した画素値に関する条件を満足する、空間的に連続する領域を一塊の領域として認識する。まず、画素値に関する条件を満足する画素を種子点として設定し、近傍の点で条件を満足する画素に同一ラベルをつけ、これを繰り返すことにより、一塊の領域を認識する。なお、従来の領域拡張法では手動操作で種子点を設定するが、本実施形態では、物体選出部１４が矩形枠を選出する際の選択動作の軌跡と矩形枠とを用いて種子点を設定する。種子点の設定方法としては、以下の３種類の設定方法がある。

【0038】

まず、第１の種子点の設定方法では、物体選出部１４で選出された矩形枠に種子点を設定する。種子点は、図６に示すように、矩形枠の各辺の中点に設定する。なお、図６は、矩形枠の各辺の中点に設定した例を示す図である。各枠では、セグメンテーションは独自で行い、各種子点は各枠の中心に向けて、近傍の点はＲＧＢの値が類似している場合に、画素に同一ラベルを付け、これを繰り返すことにより、種子点と同一ラベルの画素を除外することにより、各枠の中に残った部分を切り抜く物体とする。

【0039】

また、第２の種子点の設定方法では、物体選出部１４で選出された矩形枠に種子点を設定する。種子点は、図７に示すように、各枠４つの辺の全画素に設定する。或いは、各枠４つの辺の複数画素に種子点を設定してもよい。なお、図７は、矩形枠の各辺の全画素を種子点に設定した例を示す図である。各枠では、セグメンテーションは独自で行い、各種子点は各枠の中心に向けて、近傍の点はＲＧＢの値が類似している場合に、画素に同一ラベルを付け、これを繰り返すことにより、種子点と同一ラベルの画素を除外することにより、各枠の中に残った部分を切り抜く物体とする。

【0040】

また、第３の種子点の設定方法では、物体選出部１４で選出された矩形領域に種子点を設定する。種子点は、図８に示すように、混合ガウスモデルによって、各枠内の色分布を求めてから、四辺の画素を多く持っている色分布ヒストグラムを背景の色分布とし、他のもう一つの色分布を物体の色分布として種子点は背景の色分布の平均色の画素に設定する。なお、図８は、混合ガウスモデルによって、各枠内の色分布を求めてから背景の色分布の平均色の画素に種子点を設定した例を示す図である。各枠では、セグメンテーションは独自で行い、各種子点は各枠の中心に向けて、近傍の点はＲＧＢの値が類似している場合に、画素に同一ラベルを付け、これを繰り返すことにより、種子点と同一ラベルの画素を除外することにより、各枠の中に残った部分を切り抜く物体とする。

【0041】

続いて、上述のように構成された本実施形態に係る画像処理装置１０で行われる処理について説明する。図９は、本実施形態に係る画像処理装置１０で行われる具体的な処理の流れの一例を示すフローチャートである。なお、図９の処理は、例えば、物体検出の対象となる画像情報を選択して物体検出の開始指示が行われた場合に開始する。

【0042】

ステップ１００では、物体検出部１２が、物体検出対象の画像情報を取得してステップ１０２へ移行する。取得する画像情報としては、動画でもよいし静止画でもよい。

【0043】

ステップ１０２では、物体検出部１２が、取得された画像情報に基づいて、対象の画像を表示部１０Ｆに表示してステップ１０４へ移行する。例えば、図１０に示すような入力画像が表示部１０Ｆに表示される。

【0044】

ステップ１０４では、物体検出部１２が、画像から前景物体を検出して、前景物体の候補領域を囲う矩形枠を表示してステップ１０６へ移行する。本実施形態では、一例として、物体検出アルゴリズムＹＯＬＯｖ３を用いて画像から前景物体を検出して、前景物体の候補領域を矩形枠で表示する。これにより、図１０に示すように、物体検出部１２によって検出された前景物体の候補領域の矩形枠が表示部１０Ｆに表示される。

【0045】

ステップ１０６では、物体選出部１４が、ユーザによる選択動作を検出したか否かを判定する。該判定は、例えば、図１０に示すように、一筆書きのような１回の選択動作がユーザによって行われたか否かを判定する。該判定が肯定されるまで待機してステップ１０８へ移行する。

【0046】

ステップ１０８では、物体選出部１４が、選択動作に対応する矩形枠を全て抽出してステップ１１０へ移行する。本実施形態では、選択動作の軌跡と交わる矩形枠を全て抽出する。これにより、図１０に示すように、物体選出部１４によって抽出された矩形枠が表示部１０Ｆに表示される。本実施形態では、複数の矩形枠を選択する際には、複数の選択操作を行うことなく、単一の選択動作で複数の矩形枠が選択される。

【0047】

ステップ１１０では、物体切抜き部１６が、抽出された矩形枠中の前景物体を切り抜いてステップ１１２へ移行する。本実施形態では、一例として、領域拡張法を用いて矩形枠の中から前景物体を切り抜く。すなわち、図１０に示すように、種子点を設定して、設定した種子点の近傍の点で予め設定した画素値に関する条件を満足する画素に同一ラベルを付ける。そして、これを繰り返すことにより、同一ラベルの画素を一塊の領域として認識して、前景物体を目標物体として切り抜く。なお、図１０では、矩形枠の各辺の中点に種子点を設定した場合の例を示す。また、ステップ１１０では、抽出された矩形枠が複数の場合は、注目の矩形枠から前景物体を切り抜き、図１０の例では、３つの前景物体を目標物体として切り抜いた例を示す。

【0048】

ステップ１１２では、物体切抜き部１６が、抽出された全ての矩形枠の前景物体を切り抜いたか否かを判定する。該判定が否定された場合にはステップ１１０に戻って注目の矩形枠を変更して前景物体を切り抜く処理を行い、判定が肯定されたところで一連の処理を終了する。

【0049】

なお、上記の実施形態では、物体検出部１２が、物体検出対象の画像情報を入力して、画像中の前景物体を検出し、検出した物体の候補領域を矩形枠で表示部１０Ｆに表示したが、検出物体の候補領域は矩形枠以外の枠で表示してもよい。例えば、円や、楕円、多角形等の矩形以外の形状の枠で表示してもよい。

【0050】

また、上記の実施形態では、物体切抜き部１６が前景物体を切り抜く際には、領域拡張法を利用して前景物体を切り抜く例を説明したが、物体の切抜き方法は他の方法を利用してもよい。例えば、グラフカット（Graph Cut）や、グラブカット（Grab-cut）、混合ガウスモデル（Gaussian Mixture Model）等の周知の画像切抜き技術を利用してもよい。

【0051】

また、上記の実施形態では、物体切抜き部１６が前景物体を切り抜く際に、背景として設定する種子点の設定方法として３種類の設定方法を一例として説明したが、これに限るものではない。例えば、複数の矩形枠が重ならない場合を条件として、矩形枠の選択動作の軌跡と矩形枠とが交わる点を種子点に設定してもよい。或いは、物体切抜き部１６が前景物体を切り抜く際に設定する種子点は背景ではなく、前景物体に設定してもよい。例えば、物体切抜き部１６は、前景物体を切り抜く際に、前景物体に対応する点として矩形枠の中心に種子点を設定し、前景物体を切り出してもよい。また、複数種類の種子点の設定方法を備えて、ユーザが操作部１０Ｅを操作することにより何れかの種子点の設定方法を選択可能な形態としてもよい。

【0052】

また、上記の実施形態において、物体検出部１２が画像から前景物体に対応する複数の領域を候補領域として抽出して矩形枠を表示する際に、画像を縮小してから候補領域を抽出して矩形枠を求め、求めた矩形枠を元の大きさに復元して矩形枠を表示してもよい。これにより、候補領域の抽出時の処理負荷が軽減される。

【0053】

また、上記の実施形態において、物体切抜き部１６が前景物体を切り抜く際に、物体選出部１４で選出された矩形枠の画像を縮小してから前景物体を切り抜く処理を行って元の大きさに復元してもよい。

【0054】

また、上記の実施形態において、ＣＰＵ１０Ａをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

【0055】

また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0056】

また、上記の実施形態に係る画像処理装置１０で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、画像処理装置１０で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

【0057】

また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

【符号の説明】

【0058】

１０ 画像処理装置
１０Ｅ 操作部
１０Ｆ 表示部
１２ 物体検出部
１４ 物体選出部
１６ 物体切抜き部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】