特開 2022-158652 画像抽出方法、画像抽出装置、画像抽出プログラム、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022158652

(43)【公開日】2022-10-17

(54)【発明の名称】画像抽出方法、画像抽出装置、画像抽出プログラム、記録媒体

(51)【国際特許分類】

   G06T 7/187 20170101AFI20221006BHJP

【ＦＩ】

G06T7/187

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021063694

(22)【出願日】2021-04-02

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ・刊行物名「２０２０年度卒業研究概要集、第１２４頁、第１２５頁」 発行日 令和３年２月１０日 発行所 関西大学 総合情報学部

(71)【出願人】

【識別番号】399030060

【氏名又は名称】学校法人 関西大学

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】林 貴宏

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096GA30

5L096MA07

(57)【要約】

【課題】より正確に画像の一部領域を抽出する。
【解決手段】画像抽出方法は、確率分布推定工程（Ｓ８、Ｓ１０）と、隣接画素解析工程（Ｓ１２～Ｓ１８）とを含む。確率分布推定工程において、第１基準画素の色空間上の色情報に基づいて、画像上の画素が、色空間上の座標において、第１領域に含まれる確率である第１確率分布を推定する。隣接画素解析工程において、第１画素と隣接する第１隣接画素の色情報と、第１確率分布とに基づき、第１画素を再設定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像から特定の領域を抽出する画像抽出方法であって、
前記画像に含まれる第１領域の一部の画素である第１基準画素の指定を受け付ける受付工程と、
前記第１基準画素を、第１画素として設定する基準画素設定工程と、
前記第１基準画素の色空間上の色情報に基づいて、前記画像上の画素が、前記色空間上の座標において、前記第１領域に含まれる確率である第１確率分布を推定する確率分布推定工程と、
前記第１画素と隣接する第１隣接画素の色情報と、前記第１確率分布とに基づき、前記第１隣接画素が前記第１領域に含まれる画素か否かを判定し、前記第１隣接画素が前記第１領域に含まれる画素であると判定した場合、前記第１隣接画素を前記第１画素に追加し、前記第１隣接画素と前記第１画素とを、新たな第１画素として再設定する隣接画素解析工程と、
再設定された前記第１画素を第１抽出画像として抽出する抽出工程とを含む画像抽出方法。

【請求項2】

前記画像は、前記第１領域と異なる第２領域を有し、
前記受付工程において、さらに、前記第２領域の一部の画素である第２基準画素の指定を受け付け、
前記基準画素設定工程において、さらに、前記第２基準画素を、第２画素として設定し、
前記確率分布推定工程において、さらに、前記第２基準画素の色空間上の色情報に基づいて、前記画像上の画素が、前記色空間上の座標において、前記第２領域に含まれる確率である第２確率分布を推定し、
前記隣接画素解析工程において、さらに、前記第２画素と隣接する第２隣接画素の色情報と、前記第２確率分布とに基づき、前記第２隣接画素が前記第２領域に含まれる画素か否かを判定し、前記第２隣接画素が前記第２領域に含まれる画素であると判定した場合、前記第２隣接画素を前記第２画素に追加し、前記第２隣接画素と前記第２画素とを、新たな第２画素として再設定し、
前記抽出工程において、さらに、再設定された前記第２画素を第２抽出領域として抽出する請求項１に記載の画像抽出方法。

【請求項3】

前記画像における全ての画素が、前記第１画素と前記第２画素との何れかに設定されるまで、前記隣接画素解析工程を繰り返し実行する請求項２に記載の画像抽出方法。

【請求項4】

前記隣接画素解析工程において、前記第１隣接画素と前記第２隣接画素とが同一の画素である場合、前記第１確率分布と前記第２確率分布とに基づいて、前記第１画素と前記第２画素との何れに追加すべきかを判定する請求項２または３に記載の画像抽出方法。

【請求項5】

前記画像は、前記第１領域と前記第２領域との双方に異なる第３領域を有し、
前記受付工程において、さらに、前記第３領域の一部の画素である第３基準画素の指定を受け付け、
前記基準画素設定工程において、さらに、前記第３基準画素を、第３画素として設定し、
前記確率分布推定工程において、さらに、前記第３基準画素の色空間上の色情報に基づいて、前記画像上の画素が、前記色空間上の座標において、前記第３領域に含まれる確率である第３確率分布を推定し、
前記隣接画素解析工程において、さらに、前記第３画素と隣接する第３隣接画素の色情報と、前記第３確率分布とに基づき、前記第３隣接画素が前記第３領域に含まれる画素か否かを判定し、前記第３隣接画素が前記第３領域に含まれる画素であると判定した場合、前記第３隣接画素を前記第３画素に追加し、前記第３隣接画素と前記第３画素とを、新たな第３画素として再設定し、
前記抽出工程において、さらに、再設定された前記第３画素を第３抽出領域として抽出する請求項２から４の何れか１項に記載の画像抽出方法。

【請求項6】

再設定された前記第１画素の前記色空間上の色情報に基づいて、前記第１確率分布を修正する確率分布修正工程をさらに含む請求項１から５の何れか１項に記載の画像抽出方法。

【請求項7】

再設定された前記第２画素の前記色空間上の色情報に基づいて、前記第２確率分布を修正する確率分布修正工程をさらに含む請求項２から５の何れか１項に記載の画像抽出方法。

【請求項8】

再設定された前記第３画素の前記色空間上の色情報に基づいて、前記第３確率分布を修正する確率分布修正工程をさらに含む請求項５に記載の画像抽出方法。

【請求項9】

直近の前記確率分布推定工程または前記確率分布修正工程の実施時から、規定数以上、前記隣接画素解析工程が実施された場合に、前記確率分布修正工程を実行する請求項６から８の何れか１項に記載の画像抽出方法。

【請求項10】

前記第１確率分布が、混合ガウスモデルによって決定される請求項１から６の何れか１項に記載の画像抽出方法。

【請求項11】

前記第２確率分布が、混合ガウスモデルによって決定される請求項２から５の何れか１項に記載の画像抽出方法。

【請求項12】

前記第３確率分布が、混合ガウスモデルによって決定される請求項５に記載の画像抽出方法。

【請求項13】

画像に含まれる第１領域の一部の画素である第１基準画素の指定を受け付け、前記第１基準画素を、第１画素として設定する基準画素設定部と、
前記第１基準画素の色空間上の色情報に基づいて、前記画像上の画素が、前記色空間上の座標において、前記第１領域に含まれる確率である第１確率分布を推定する確率分布推定部と、
前記第１画素と隣接する第１隣接画素の色情報と、前記第１確率分布とに基づき、前記第１隣接画素が前記第１領域に含まれる画素か否かを判定し、前記第１隣接画素が前記第１領域に含まれる画素であると判定した場合、前記第１隣接画素を前記第１画素に追加し、前記第１隣接画素と前記第１画素とを、新たな第１画素として再設定する隣接画素解析部と、
再設定された前記第１画素を第１抽出領域として抽出する抽出画像生成部とを備えた画像抽出装置。

【請求項14】

請求項１３に記載の画像抽出装置としてコンピュータを機能させるための画像抽出プログラムであって、前記基準画素設定部と、前記確率分布推定部と、前記隣接画素解析部と、前記抽出画像生成部として前記コンピュータを機能させるための画像抽出プログラム。

【請求項15】

請求項１４に記載の画像抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は画像に含まれる一部の領域を抽出した画像を生成する画像抽出方法、画像抽出方法を実現するための画像抽出装置、画像抽出プログラム、および記録媒体に関する。

【背景技術】

【0002】

画像中から任意の領域を切り抜く技術が、写真や動画の加工などに利用されている。例えば、特許文献１には、グラフカット法を用いて、所望の領域を抽出する方法が開示されている。また、特許文献２は、領域拡張法を用いて、ある基準となる画素と隣接する画素を、順次各領域が含む画素に追加する方法を開示している。特に、特許文献２は、ＲＧＢ色空間の各軸（Ｒ軸、Ｇ軸、Ｂ軸）をｓ個のグリッドに分割し、前景色クラスタと背景色クラスタとを用いて所望の領域を抽出する方法を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１２１９０１号公報

【特許文献2】特開２０１０－７９４７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１は、グラフカット法を用いており、アルゴリズムの制約により複数の物体の領域の抽出または動的色モデル推定が困難である。また、グラフカット法は、抽出する領域の境界を、多数の組み合わせの中から決定する必要があり、処理に時間がかかる。

【0005】

特許文献２は、領域拡張法を用いているが、類似色が前景色クラスタと背景色クラスタの両方に使われている状態、いわゆる色の競合が生じる場合がある。このため、色の競合が生じた類似色を含む画素については、前景が含む画素なのか背景が含む画素なのかの判断を誤る場合がある。特に、一画面内において複数の物体の領域を抽出する場合、色クラスタは領域ごとに生成される。このため、多くの色の競合が発生し、精度の高い切り抜きができない場合がある。

【0006】

ここで、複数の物体の領域を抽出する場合とは、画像を前景、背景の２値で分けるのではなく、領域１，領域２，…，領域Ｎの多値で分け、それぞれの領域を抽出する場合である。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本開示の一態様に係る画像抽出方法は、画像から特定の領域を抽出する画像抽出方法であって、前記画像に含まれる第１領域の一部の画素である第１基準画素の指定を受け付ける受付工程と、前記第１基準画素を、第１画素として設定する基準画素設定工程と、前記第１基準画素の色空間上の色情報に基づいて、前記画像上の画素が、前記色空間上の座標において、前記第１領域に含まれる確率である第１確率分布を推定する確率分布推定工程と、前記第１画素と隣接する第１隣接画素の色情報と、前記第１確率分布とに基づき、前記第１隣接画素が前記第１領域に含まれる画素か否かを判定し、前記第１隣接画素が前記第１領域に含まれる画素であると判定した場合、前記第１隣接画素を前記第１画素に追加し、前記第１隣接画素と前記第１画素とを、新たな第１画素として再設定する隣接画素解析工程と、再設定された前記第１画素を第１抽出画像として抽出する抽出工程とを含む。

【0008】

また、本開示の他の一態様に係る画像抽出装置は、画像に含まれる第１領域の一部の画素である第１基準画素の指定を受け付け、前記第１基準画素を、第１画素として設定する基準画素設定部と、前記第１基準画素の色空間上の色情報に基づいて、前記画像上の画素が、前記色空間上の座標において、前記第１領域に含まれる確率である第１確率分布を推定する確率分布推定部と、前記第１画素と隣接する第１隣接画素の色情報と、前記第１確率分布とに基づき、前記第１隣接画素が前記第１領域に含まれる画素か否かを判定し、前記第１隣接画素が前記第１領域に含まれる画素であると判定した場合、前記第１隣接画素を前記第１画素に追加し、前記第１隣接画素と前記第１画素とを、新たな第１画素として再設定する隣接画素解析部と、再設定された前記第１画素を第１抽出領域として抽出する抽出画像生成部とを備える。

【0009】

本開示の各態様に係る画像抽出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像抽出装置が備える各部（ソフトウェア要素）として動作させることにより、前記画像抽出装置をコンピュータにて実現させる画像抽出プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。

【発明の効果】

【0010】

本開示の一態様によれば、画像抽出の精度をより改善できる。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態１に係る画像抽出方法を説明するためのフローチャートである。

【図2】本開示の実施形態１に係る画像抽出装置のブロック図である。

【図3】本開示の実施形態１に係る基準画素の指定の方法を示すための工程概略図である。

【図4】本開示の実施形態１に係る各基準画素の、ＲＧＢ色空間上の色座標の例を示す概略図である。

【図5】本開示の実施形態１に係るＲＧＢ色空間上の各確率分布の例を示す概略図である。

【図6】本開示の実施形態１に係る隣接画素を解析する方法を示すための工程概略図である。

【図7】本開示の実施形態１に係る隣接画素を解析する方法を示すための他の工程概略図である。

【図8】本開示の実施形態１に係るＲＧＢ色空間上の各確率分布の修正の様子を示す概略図である。

【図9】本開示の実施例に係る画像、当該画像の抽出過程、および当該画像の抽出結果を示す図である。

【図10】比較形態に係るＲＧＢ色空間上の各色バケツの例を示す概略図である。

【図11】本開示の実施例に係る画像の抽出結果と、比較例に係る画像の抽出結果とを比較して示す図である。

【図12】本開示の実施形態２に係る基準画素の指定の方法を示すための工程概略図である。

【図13】本開示の実施形態３に係る基準画素の指定の方法を示すための工程概略図である。

【発明を実施するための形態】

【0012】

〔実施形態１〕
＜画像抽出装置の概要＞
本実施形態に係る画像抽出方法は、画像から特定の領域を抽出し、特定の領域を含む画像を生成する方法である。特に、本実施形態に係る画像抽出方法は、第１領域と第２領域とを有する画像から、第１領域を含む第１抽出領域と、第２領域を含む第２抽出領域とを抽出し、第１抽出領域を含む第１抽出画像と第２抽出領域を含む第２抽出画像とを生成する方法である。当該画像抽出方法について、図１および図２を参照して説明する。図１は、本実施形態に係る画像抽出方法を示すフローチャートである。図２は、当該画像抽出方法を実行するための画像抽出装置２および表示デバイス４を示すブロック図である。

【0013】

本実施形態に係る画像抽出装置２は、制御部６を備える。画像抽出装置２は、さらに、メモリ８と、通信部１０と、操作部１２と、入出力インターフェース１４と、システムバス１６とを備えていてもよい。制御部６は、基準画素設定部２０と、確率分布推定部２２と、隣接画素解析部２４と、抽出画像生成部２６とを備える。制御部６は、さらに、表示制御部１８と、確率分布修正部２８とを備えていてもよい。

【0014】

本実施形態に係る画像抽出装置２は、後に詳述する方法により、表示デバイス４に画像を表示させ、ユーザからの操作を受けて、当該画像から一部領域を抽出した抽出画像を生成する。

【0015】

表示デバイス４は、画像の表示を行うデバイスであり、例えば、ディスプレイ、スマートフォン、または、タブレット端末等を含む。なお、図２において、画像抽出装置２と表示デバイス４とは別体として図示しているが、これに限られず、画像抽出装置２は、表示デバイス４を表示部として備えていてもよい。

【0016】

制御部６は、画像抽出装置２に入力された情報に基づいて、画像から一部領域を抽出した抽出画像を生成する。制御部６の各部の詳細な動作は、本実施形態に係る画像抽出方法についての説明と併せ、後により詳細に説明する。なお、制御部６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等を備えていてもよく、これらのそれぞれが制御部６の各部として動作してもよい。

【0017】

メモリ８は、画像抽出装置２が備える各部の動作に必要なデータ、または、当該各部から入力されたデータを少なくとも一時的に記憶する。メモリ８が記憶するデータは、画像抽出装置２の備える各部から適宜読み出される。

【0018】

通信部１０は、メモリ８から読み出したデータの少なくとも一部を、画像抽出装置２の外部機器へ送信し、当該外部機器から送信されたデータを受信し、メモリ８に記録するための通信装置である。例えば、本実施形態において、通信部１０は、表示デバイス４とデータの相互通信が可能である。

【0019】

操作部１２は、例えば、画像抽出装置２の使用者によって操作される。例えば、操作部１２は、画像抽出装置２による画像抽出のためのデータを外部から入力するために使用される、キーボード等を含んでいてもよい。例えば、操作部１２は、画像抽出の際の設定等を行うためのデータを入力するために使用されてもよい。

【0020】

入出力インターフェース１４は、メモリ８、通信部１０、および操作部１２と、制御部６の各部との間のインターフェース処理を実行する。制御部６の各部と入出力インターフェース１４は、システムバス１６を介して接続されている。

【0021】

＜基準画素の指定＞
本実施形態に係る画像抽出方法においては、はじめに、抽出対象である画像に対し、ユーザから、画像抽出の基準となる基準画素の指定を受け付ける。当該基準画素の指定の受け付けについて、図３を参照して説明する。

【0022】

本実施形態に係る画像抽出方法においては、例えば、はじめに、図３に示す画像３０が表示デバイス４に表示されているとする（ステップＳ２）。画像抽出装置２は、例えば、制御部６の表示制御部１８を制御することにより、表示デバイス４に画像３０を表示させてもよい。

【0023】

例えば、図３の（ａ）に示す画像３０は、第１領域である前景領域３１として、規定の物体が描写された第１物体領域３２を有する。また、画像３０は、第１領域と異なる第２領域として、規定の背景が描写された背景領域３６を有する。本実施形態においては、画像３０から、第１領域である第１物体領域３２を含む第１抽出画像と、第２領域である背景領域３６を含む第２抽出画像とを生成する方法を例に挙げて説明する。

【0024】

ステップＳ２に次いで、受付工程として、例えばユーザから、第１領域の一部の画素である第１基準画素と、第２領域の一部の画素である第２基準画素との指定を受け付ける（ステップＳ４）。ステップＳ４は、例えば、基準画素設定部２０が、ユーザからの、図３の（ｂ）に示す第１基準領域３８と第２基準領域４０との指定を受け付けることにより実行される。第１基準領域３８は、第１領域である第１物体領域３２に、第２基準領域４０は、第２領域である背景領域３６に、それぞれ指定される。

【0025】

なお、本実施形態において、画像３０は、図３の（ｃ）に示すように、第１領域である前景領域３１として、第１物体領域３２に加えて、他の規定の物体が描写された第２物体領域３４をさらに有していてもよい。この場合、ステップＳ４において、第１基準領域３８は、図３の（ｄ）に示すように、第１領域である第１物体領域３２と第２物体領域３４とのそれぞれに指定されてもよい。このように、本実施形態において、ある領域が他の領域により複数の領域に分断される場合、各基準領域は、複数の領域のそれぞれに指定される。

【0026】

第１基準領域３８と第２基準領域４０との指定は、例えば、ユーザが、マウスまたはタッチペン等により、表示デバイス４に表示させた画像３０に直接第１基準領域３８と第２基準領域４０とを書き込むことにより実行される。なお、本実施形態において、第１基準領域３８と第２基準領域４０とは、何れも線形状に指定されているが、これに限られず、矩形状、円形状等、規定の図形中の領域として指定されてもよい。

【0027】

以上により、ステップＳ４において、第１基準領域３８が有する画素が第１基準画素に設定される。また、ステップＳ４において、第２基準領域４０が有する画素が第２基準画素に設定される。第１基準画素および第２基準画素の設定は、基準画素設定部２０が、指定された第１基準領域３８と第２基準領域４０とを解析し、各基準領域が含む画素が、画像３０のどの画素であるかを特定することにより実行する。

【0028】

次いで、本実施形態においては、第１基準画素を第１画素として、第２基準画素を第２画素として、それぞれ設定する（ステップＳ６）。ステップＳ６は、例えば、基準画素設定部２０が、第１基準画素と第２基準画素との設定に引き続いて実行する。

【0029】

＜色座標および確率分布＞
次いで、確率分布推定部２２が、第１基準画素、および第２基準画素のそれぞれの色情報を解析し、各基準画素の色空間上の座標を特定する（ステップＳ８）。第１基準画素、および第２基準画素のそれぞれの色座標の例を、図４を参照して説明する。図４は、ＲＧＢ色空間における、第１基準画素、および第２基準画素のそれぞれの色座標を示す図である。図４に示すＲＧＢ色空間は、各第１基準画素の色情報から得られた第１色座標４２と、各第２基準画素の色情報から得られた第２色座標４４とがそれぞれプロットされている。

【0030】

次いで、確率分布推定部２２が、第１基準画素、および第２基準画素のそれぞれの色座標から、色空間上の第１確率分布と第２確率分布とを推定する（ステップＳ１０）。ここで、第１確率分布および第２確率分布とは、それぞれ、色空間上の各座標に対応する色を有する画像３０上の画素が、第１領域および第２領域のそれぞれが含む画素が有する色に含まれる確率を表現する分布である。

【0031】

換言すれば、第１確率分布とは、第１基準画素の色空間上の色情報に基づいて推定された、画像３０上の画素が、色空間上の座標において、第１領域に含まれる確率である。また、第２確率分布とは、第２基準画素の色空間上の色情報に基づいて推定された、画像３０上の画素が、色空間上の座標において、第２領域に含まれる確率である。

【0032】

第１確率分布および第２確率分布について、その推定方法と併せ、図５を参照して説明する。図５は、ＲＧＢ色空間における、第１確率分布４６、および第２確率分布４８をそれぞれ示す図である。なお、図５においては、図示の都合上、第１確率分布４６、および第２確率分布４８が、ＲＧＢ色空間のある平面における分布のように表現されているが、実際には、ＲＧＢ色空間上の立体的な分布として表現される。

【0033】

一般に、例えば、前景領域３１と背景領域３６とを両方有する画像において、前景領域３１に位置する画素のうち、ある画素が有する色は、当該画素の周囲に位置する画素が有する色と類似する蓋然性が高い。一方、前景領域３１に位置する画素と、背景領域３６に位置する画素とは、それぞれの画素が有する色が、互いに類似する色を有する蓋然性が低い。

【0034】

ここで、一般に、ＲＧＢ色空間上の２点の色座標の距離によって、当該色座標に対応する色がどの程度類似しているかを表すことができる。具体的には、ＲＧＢ色空間上の２点の色座標の距離が近い程、当該色座標に対応する色は、互いに類似する色となる。

【0035】

したがって、例えば、ＲＧＢ色空間上における、ある特定の色座標の周囲に、第１色座標４２が多くプロットされた場合、第１領域が含む画素が有する色の色座標が、上記特定の色座標の周囲に位置する蓋然性が高いといえる。ゆえに、第１確率分布４６は、第１色座標４２が多くプロットされた座標の周囲において高く、また、第１色座標４２のプロット数が低い座標の周囲において低くなるように決定される。同一の理由から、第２確率分布４８は、第２色座標４４が多くプロットされた座標の周囲において高く、また、第２色座標４４のプロット数が低い座標の周囲において低くなるように決定される。

【0036】

具体的に、第１確率分布４６は、例えば、図５に示すように、第１確率分布４６のうち少なくとも一つの確率が高い座標に向かって、その周囲側から、第１低確率領域４６Ａ、第１中確率領域４６Ｂ、および第１高確率領域４６Ｃをこの順に有する。また、第２確率分布４８は、例えば、第２確率分布４８のうち少なくとも一つの確率が高い座標に向かって、その周囲側から、第２低確率領域４８Ａ、第２中確率領域４８Ｂ、および第２高確率領域４８Ｃをこの順に有する。

【0037】

このような第１確率分布４６および第２確率分布４８は、例えば、ＲＧＢ色空間上における混合ガウスモデル（ＧＭＭ：Gaussian Mixture Model）によって決定される。例えば、第１確率分布４６および第２確率分布４８は、ＲＧＢ色空間上の複数の空間ガウス分布を重ね合せた分布を有する。ただし、本実施形態においては、これに限られず、第１確率分布４６および第２確率分布４８は、第１領域における画素および第２領域における画素の色座標の確率を表現する分布であれば、特に問われない。

【0038】

なお、以降、本明細書において、単に「確率分布」と記載する場合には、色空間上の各座標に対応する色を有する画像上の画素が、ある領域が含む画素が有する色に含まれる確率の分布を表すものとする。

【0039】

＜画素の追加＞
次いで、各領域の画素として設定済の画素と隣接する画素のうちの一つを、何れかの領域の画素に追加する、隣接画素解析工程を実行する。隣接画素解析工程について、図６および図７をさらに参照して説明する。図６および図７は、画像３０の画素のうち、設定済の第１画素と第２画素との周囲における画素を拡大して示す工程概略図である。

【0040】

図６および図７の各図に示すように、画像３０は、略矩形の複数の画素５０を行方向および列方向に沿って配置した構造を有する。ここで、画素５０は、第１領域が有する画素であると設定された第１画素５２と、第２領域が有する画素であると設定された第２画素５４とをそれぞれ含む。

【0041】

隣接画素解析工程においては、はじめに、第１画素５２と、行方向または列方向において隣接する画素である、第１隣接画素５６を特定する。また、第２画素５４と、行方向または列方向において隣接する画素である、第２隣接画素５８を特定する（ステップＳ１２）。第１画素５２および第２画素５４の位置によっては、第１画素５２と第２画素５４との双方と隣接する競合画素６０が生じる場合がある。競合画素６０は、第１隣接画素５６および第２隣接画素５８の何れにも含まれる隣接画素として扱う。次いで、第１隣接画素５６および第２隣接画素５８のそれぞれの色情報を解析し、ＲＧＢ色空間上の座標を算出する（ステップＳ１４）。

【0042】

次いで、第１画素５２に含まれる確率が最も高い画素を、第１隣接画素５６から決定する。また、第２画素５４に含まれる確率が最も高い画素を、第２隣接画素５８から決定する（ステップＳ１６）。本実施形態においては、下記の式（１）に定義されるコストＣ_Ｎ（ｓ，ｔ）を、隣接画素ごとに算出し、比較することにより、ステップＳ１６を実現する例を説明する。

【0043】

【数1】

【0044】

式（１）において、各領域の画素の何れか一つを画素ｓ、当該画素ｓと隣接する画素の何れか一つを画素ｔとする。なお、Ｎは、画素ｓを含む領域Ｎを表す。

【0045】

Ｄ（ｓ，ｔ）は、画素ｓの色と画素ｔの色との、ＲＧＢ色空間上のユークリッド距離であり、画素ｓの色と画素ｔの色との類似性を表す。Ｄ（ｓ，ｔ）が小さい程、画素ｓの色と画素ｔの色とはより類似し、ひいては、画素ｔがより領域Ｎに含まれる確率が高い。Ｃ（ｓ）は、画素ｓが各領域に設定された際における、当該画素ｓのコストＣ_Ｎ（ｓ，ｔ）の値である。画素ｓが基準画素であった場合、Ｃ（ｓ）は０とする。

【0046】

Ｗ_１（ｓ，ｔ）は、Ｄ（ｓ，ｔ）に対する重み付けであり、下記の式（２）により定義される。

【0047】

【数2】

【0048】

式（２）において、ｌ_Ｍ（ｔ）は、領域Ｍが含む画素の色に、画素ｔの色が含まれる確率を表す。ｌ_Ｍ（ｔ）は、例えば、画素ｔの色のＲＧＢ色空間上の座標と、領域Ｍにおける確率分布とを比較することにより算出される。画素ｔの色が、領域Ｍの色に含まれる確率が高い場合、換言すれば、ｌ_Ｍ（ｔ）の値が高い場合、画素ｔは領域Ｍに含まれる確率が高い。なお、式（２）の｜Ｗ_０｜は、ｌ_Ｍ（ｔ）を全ての画素ｔに対し探索して求められる、ｌ_Ｍ（ｔ）の最小値の絶対値であり、Ｗ_１（ｓ，ｔ）が負の値とならないように規格化するための項である。式（１）と式（２）とから、画素ｓの色と画素ｔの色との類似性が高い程、また、画素ｔの色が領域Ｎの色に含まれる確率が高い程、コストＣ_Ｎ（ｓ，ｔ）は低くなる。

【0049】

Ｗ_２（ｓ，ｔ）は、Ｃ（ｓ）に対する重み付けであり、下記の式（３）により定義される。

【0050】

【数3】

【0051】

式（３）から、画素ｔの色が領域Ｎの色に含まれる確率が、画素ｔの色が領域Ｎを除く領域の色に含まれる確率よりも高い場合に、Ｗ_２（ｓ，ｔ）の値は０となり、それ以外の場合に、Ｗ_２（ｓ，ｔ）の値は１となる。換言すれば、Ｗ_２（ｓ，ｔ）は、画素ｔの色が領域Ｎの色に含まれる確率が高い場合に、画素ｓがある領域の画素に設定された際のコストＣ_Ｎ（ｓ，ｔ）を考慮しないために設けられた項である。

【0052】

以上より、各画素ｔは、算出されたコストＣ_Ｎ（ｓ，ｔ）が低い程、画素ｓを含む領域Ｎに含まれる確率が高いといえる。したがって、ステップＳ１６においては、例えば、第１隣接画素５６と第２隣接画素５８とのそれぞれにおいて、コストＣ_Ｎ（ｓ，ｔ）を算出し、最も低い画素をそれぞれ特定する。これにより、第１隣接画素５６、および、第２隣接画素５８のうち、コストＣ_Ｎ（ｓ，ｔ）が最も低い画素である第１画素候補６２を特定する。ここで、例えば、コストＣ_Ｎ（ｓ，ｔ）が最も低い画素が複数存在する場合には、複数の画素候補が特定されてもよく、例えば、第１画素候補６２と異なる第２画素候補６４がさらに特定されてもよい。

【0053】

なお、例えば、ある第１隣接画素５６と隣接する第１画素５２が複数ある場合には、ステップＳ１６において、第１画素５２のそれぞれを画素ｓとして、コストＣ_Ｎ（ｓ，ｔ）を複数算出してもよい。この場合、算出された複数のコストＣ_Ｎ（ｓ，ｔ）の平均値を、第１隣接画素５６のコストＣ_Ｎ（ｓ，ｔ）とみなしてもよい。

【0054】

次いで、隣接画素を、その隣接画素が含まれる蓋然性が最も高い領域が含む画素に追加し、当該画素を再設定する（ステップＳ１８）。具体的には、第１画素候補６２を、第１画素候補６２が隣接し、かつ、第１画素候補６２が含まれる蓋然性が最も高い領域の画素に追加する。例えば、図７に示すように、第１画素候補６２が第１画素５２のみに隣接する場合、第１画素候補６２を第１画素５２に追加する。また、第１画素候補６２が第１画素５２と第２画素５４との双方に隣接する競合画素６０である場合、よりコストＣ_Ｎ（ｓ，ｔ）が低くなる領域の画素に追加する。これに伴い、追加された第１画素５２と隣接する第１隣接画素５６が追加される。

【0055】

換言すれば、本実施形態における隣接画素解析工程においては、第１隣接画素５６の色情報と、第１確率分布４６とに基づき、第１隣接画素５６が第１領域に含まれる画素か否かを判定する。さらに、本実施形態における隣接画素解析工程においては、第１隣接画素５６が第１領域に含まれる画素であると判定した場合、第１隣接画素５６を第１画素５２に追加し、第１隣接画素５６と第１画素５２とを、新たな第１画素５２として再設定する。

【0056】

また、本実施形態における隣接画素解析工程においては、第２隣接画素５８の色情報と、第２確率分布４８とに基づき、第２隣接画素５８が第２領域に含まれる画素か否かを判定する。さらに、本実施形態における隣接画素解析工程においては、第２隣接画素５８が第２領域に含まれる画素であると判定した場合、第２隣接画素５８を第２画素５４に追加し、第２隣接画素５８と第２画素５４とを、新たな第２画素５４として再設定する。

【0057】

なお、ステップＳ１６において、第２画素候補６４が特定されている場合、ステップＳ１８においては、第２画素候補６４についても、当該第２画素候補６４が隣接し、かつ、第２画素候補６４が含まれる蓋然性が最も高い領域の画素に追加してもよい。例えば、図７に示すように、第２画素候補６４が第２画素５４のみに隣接する場合、第２画素候補６４を第２画素５４に追加する。

【0058】

以上により、隣接画素解析工程が実行され、各隣接画素のうちの一つが、各領域が含む画素に追加され、各領域が含む画素が再設定される。なお、隣接画素解析工程のステップＳ１２からステップＳ１８は、隣接画素解析部２４が、各画素５０を解析することにより実行する。

【0059】

なお、各領域の画素に追加する隣接画素の決定は、上述の通り、隣接画素が各領域の何れに含まれるかを示す確率に基づいて実行される。このため、上記隣接画素解析工程により、競合画素６０を何れの画素に追加すべきかについても、自動的に判定を行うことができる。換言すれば、隣接画素解析工程においては、第１隣接画素５６と第２隣接画素５８とが同一の画素である場合、第１確率分布４６と第２確率分布４８とに基づいて、第１画素５２と第２画素５４との何れに追加すべきかを判定する。このため、本実施形態においては、競合画素６０が、不適切な領域が含む画素に設定される蓋然性が、より効果的に低下する。

【0060】

＜画素追加の終了の判定および確率分布の修正＞
次いで、画素５０のうち、各領域の何れかに設定していない画素が存在するか否かを判定する（ステップＳ２０）。ステップＳ２０において、各領域の何れかに設定していない画素が存在する場合には、続いて、各領域における確率分布の決定時から、属する領域を設定した画素が一定以上増加したか否かを判定する（ステップＳ２２）。

【0061】

初めてステップＳ２２を実行する場合、ステップＳ２２は、ステップＳ１０の実行時から、各領域が含む画素が増加した個数を計数する。当該個数が一定数以上となるまで、ステップＳ２２は、ステップＳ１０の実行時における、各領域が含む画素の個数を基準として、各領域が含む画素の個数の増加数を計数する。

【0062】

ステップＳ２２において、各領域が含む画素の個数の増加数が一定以上ではない場合には、再度ステップＳ１２が実行される。このため、ステップＳ１２からステップＳ２２までが繰り返される度に、各領域が含む画素の個数は増加する。ステップＳ２２において、各領域が含む画素の個数の増加数が一定以上となった場合には、各領域における色空間上の確率分布を修正する、確率分布修正工程が実行される（ステップＳ２４）。

【0063】

ステップＳ２４においては、各領域における確率分布が、現時点において各領域が含む各画素の色情報に基づいて修正される。換言すれば、ステップＳ２４においては、再設定された第１画素５２のＲＧＢ色空間上の色情報に基づいて、第１確率分布４６を修正する。また、ステップＳ２４においては、再設定された第２画素５４のＲＧＢ色空間上の色情報に基づいて、第２確率分布４８を修正するステップＳ２４における各確率分布の修正は、ステップＳ１０における各確率分布の推定と同一の方法によって実行される。

【0064】

一度ステップＳ２４が実行された場合、次回以降のステップＳ２２においては、前回のステップＳ２４の実行時における、各領域が含む画素の個数を基準として、各領域が含む画素の個数の増加数を計数し、ステップＳ２４の実行の要否を判定する。換言すれば、ステップＳ２４は、直近のステップＳ１０またはステップＳ２４の実施時から、規定数以上のステップＳ１８を実施した場合に実行される。

【0065】

ステップＳ２４における、各領域における確率分布の修正について、図８を参照してより詳細に説明する。図８の（ａ）に示すＳ２４－Ａは、ステップＳ２４が初めて実行されるまでにおける、第１確率分布４６および第２確率分布４８を示すＲＧＢ色空間である。図８の（ｂ）に示すＳ２４－Ｂは、ステップＳ２４の確率分布の修正を１回実行した後における、第１確率分布４６および第２確率分布４８を示すＲＧＢ色空間である。図８の（ｃ）に示すＳ２４－Ｃは、ステップＳ２４の確率分布の修正を２回実行した後における、第１確率分布４６および第２確率分布４８を示すＲＧＢ色空間である。図８の（ｄ）に示すＳ２４－Ｄは、画像３０の全ての画素から、第１確率分布４６および第２確率分布４８を推定した場合における、第１確率分布４６および第２確率分布４８を示すＲＧＢ色空間である。

【0066】

ステップＳ１０においては、第１領域の一部である第１基準画素と、第２領域の一部である第２基準画素とのそれぞれの色情報から、第１確率分布４６および第２確率分布４８の推定を行う。このため、ステップＳ１０において推定された第１確率分布４６および第２確率分布４８は、画像３０の全ての画素から推定された、理想的な第１確率分布４６および第２確率分布４８とは、差異がある蓋然性が高い。

【0067】

ステップＳ２４における確率分布の推定は、ステップＳ１０における確率分布の推定と比較して、基準とする画素の個数が増加している。このため、ステップＳ２４において修正された確率分布は、画像３０の全ての画素から推定された、理想的な確率分布により近似する蓋然性が高い。さらに、ステップＳ２４の実行回数が多い程、換言すれば、確率分布がより多く修正される程、確率分布は、理想的な確率分布に近似する蓋然性が高くなる。

【0068】

したがって、設定済の画素の個数が一定以上増加する度に、ステップＳ２４を実行し、確率分布を修正することにより、より理想的な確率分布に近い確率分布に基づいて、各隣接画素の解析が実行されることとなる。ゆえに、ステップＳ２４の確率分布修正工程を実行することにより、隣接画素が適切な領域の画素に追加される蓋然性がより向上する。なお、ステップＳ２４は、確率分布修正部２８によって実行されるが、これに限られず、確率分布推定部２２が実行してもよい。

【0069】

本実施形態においては、ステップＳ２４が、前回の確率分布の推定または修正から、規定数以上の画素の設定が実行されてから実施される。確率分布を推定に使用する色座標の個数の差が少ない場合、確率分布の修正を行ったとしても、確率分布の変動は小さい。このため、確率分布の修正は、基準とする画素がある程度増加した場合に実行する方が効果的である。したがって、本実施形態においては、設定された画素が増加する度にステップＳ２４を実行するよりも、より効果的に確率分布を修正しつつ、画像抽出の速度を向上させることができる。

【0070】

＜画像抽出＞
ステップＳ１２からステップＳ２４が繰り返され、画像３０における全ての画素５０が、何れかの領域の画素に設定された場合、ステップＳ２０に次いで、抽出工程に移行する（ステップＳ２６）。

【0071】

ステップＳ２６においては、各領域が含む画素を含む画像を、抽出画像としてそれぞれ抽出する。具体的には、ステップＳ２６において、第１画素５２を第１抽出画像として、第２画素５４を第２抽出画像として、それぞれ抽出する。抽出工程は、抽出画像生成部２６が、第１画素５２と第２画素５４とを特定し、これらを含む画像をそれぞれ抽出することにより実行する。

【0072】

以上により、理想的には、前景領域３１が有する画素を含む第１抽出画像と、背景領域３６が含む画素を含む第２抽出画像とが生成される。ゆえに、本実施形態においては、画像３０から、前景領域３１を抽出した画像と、背景領域３６を抽出した画像とが得られる。

【0073】

本実施形態に係る画像抽出方法においては、各画素が、何れの領域の画素に含まれるのかについて、各領域における確率分布に基づいて決定する。このため、本実施形態に係る画像抽出方法は、各画素が、適切でない領域の画素に設定される蓋然性を低下させて、画像から各領域が含む画素を抽出する精度を向上させる。当該画像抽出方法は、本実施形態に係る画像抽出装置２を使用して実現できる。

【0074】

また、本実施形態においては、画像３０が有する全ての画素５０が、第１画素５２と第２画素５４との何れか一方に設定される。このため、一方の領域が含む画素の設定を行って、抽出画像の生成を行うよりも、より確実に、各画素がどの領域の画素に含まれるのかを設定することができる。したがって、本実施形態においては、第１抽出画像と第２抽出画像との生成の精度がより改善する。

【0075】

＜実施例および比較例の評価＞
本実施形態に係る画像抽出方法が奏する効果について、本実施形態に沿って実施した実施例と、比較形態に係る画像抽出方法に沿って実施した比較例とを比較することにより評価する。実施例における、特定画像から抽出画像を生成する過程を、図９を参照して説明する。

【0076】

実施例においては、図９の（ａ）に示す画像６６から、本実施形態に係る画像抽出方法に基づき、抽出画像を生成した。画像６６は、物体領域６８と、背景領域７０とを含む画像である。実施例においては、ステップＳ４において、図９の（ａ）に示すように、第１基準領域３８と、第２基準領域４０とを指定した。

【0077】

以降、本実施形態に係る画像抽出方法に基づき、画像６６から、前景領域３１として物体領域６８を含む第１抽出画像と、背景領域７０を含む第２抽出画像との生成を試みた。実施例において、ステップＳ２４は、画像６６の全画素のうち、４０％、および８０％の画素が、何れかの領域に追加された際にそれぞれ実行した。

【0078】

図９の（ｂ－１）に示す第１抽出画像７２Ａは、一回目のステップＳ２４の直前、換言すれば、画像６６の全画素のうち、４０％の画素が第１画素５２あるいは第２画素５４に設定された時点における、第１画素５２を含む抽出画像である。図９の（ｃ－１）に示す第２抽出画像７４Ａは、一回目のステップＳ２４の直前における、第２画素５４を含む抽出画像である。図９の（ｂ－２）に示す第１抽出画像７２Ｂは、二回目のステップＳ２４の直前、換言すれば、画像６６の全画素のうち、８０％の画素が第１画素５２あるいは第２画素５４に設定された時点における、第１画素５２を含む抽出画像である。図９の（ｃ－２）に示す第２抽出画像７４Ｂは、二回目のステップＳ２４の直前における、第２画素５４を含む抽出画像である。図９の（ｂ－３）に示す第１抽出画像７２は、ステップＳ２６において生成された、第１画素５２を含む抽出画像である。図９の（ｃ－３）に示す第２抽出画像７４は、ステップＳ２６において生成された、第２画素５４を含む抽出画像である。

【0079】

図９に示す第１抽出画像７２Ａ、第２抽出画像７４Ａ、第１抽出画像７２Ｂおよび第２抽出画像７４Ｂには、本実施例において、次第に第１画素５２および第２画素５４が順次追加される様子が示されている。また、本実施例において、前景領域３１に対応する位置の第１画素７６を含む第１抽出画像７２と、背景領域７０に対応する位置の第２画素７８を含む第２抽出画像７４とが得られている。

【0080】

次に、比較形態に係る画像抽出方法について説明する。比較形態に係る画像抽出方法は、本実施形態に係る画像抽出方法と比較して、ステップＳ１０に代えて、各領域における色空間上の色バケツを生成する工程を含む点において相違する。当該工程について、図１０を参照して説明する。

【0081】

図１０に示すＳ１０－Ｃは、比較形態において生成されたＲＧＢ色空間上の色バケツの例を示す概略図である。比較形態においては、各基準画素の色空間上の色座標の特定についで、当該色座標の情報から、各領域における色バケツを生成する。比較形態においては、ＲＧＢ色空間におけるＲ軸、Ｇ軸、Ｂ軸を、複数のグリッドに分割し、ＲＧＢ色空間を複数の区画に分割して、当該区画の一部に色バケツが生成される。各領域における色バケツは、各基準画素の色座標が多く位置する区画に生成される。

【0082】

比較形態においては、例えば、図１０に示すように、ＲＧＢ色空間上の一部の区画のうち、第１色座標４２を多く含む区画に、第１領域における色バケツである第１色バケツ４６Ｄを生成する。また、比較形態においては、例えば、図１０に示すように、ＲＧＢ色空間上の一部の区画のうち、第２色座標４４を多く含む区画に、第２領域における色バケツである第２色バケツ４８Ｄを生成する。ここで、第１色座標４２と第２色座標４４との双方を有する区画には、第１色バケツ４６Ｄと第２色バケツ４８Ｄとの双方に属する、競合色バケツＣＢが生成される場合がある。

【0083】

また、比較形態においても、隣接画素ごとにコストＣ_Ｎ（ｓ，ｔ）を算出し、当該コストＣ_Ｎ（ｓ，ｔ）が最も低い画素を、各領域が含む画素の何れかに追加する。ただし、コストＣ_Ｎ（ｓ，ｔ）のＷ_１（ｓ，ｔ）とＷ_２（ｓ，ｔ）とは、それぞれ、以下の式（４）と式（５）とに変更される。

【0084】

【数4】

【0085】

【数5】

【0086】

式（４）、および式（５）におけるｑ（ｔ）は、画素ｔの量子数を低下させた色を表し、画素ｔの色座標に相当する。Ｋ_Ｍは、ＲＧＢ色空間上の区画のうち、領域Ｍにおける色バケツが生成された区画を表す。このため、式（４）から、比較形態に係るＷ_１（ｓ，ｔ）は、画素ｔの色座標が、領域Ｎの色バケツのみに含まれる場合には１となり、領域Ｎを除く領域の色バケツのみに含まれる場合には４となり、それ以外の場合には２となる。また、式（５）から、比較形態に係るＷ_２（ｓ，ｔ）は、画素ｔの色座標が、領域Ｎの色バケツに含まれる場合には０となり、それ以外の場合には１となる。

【0087】

さらに、比較形態においては、ステップＳ２２、ステップＳ２４は実行されず、ステップＳ２０において、何れかの領域が含む画素に設定されていない画素が存在する場合には、再度ステップＳ１２が実行される。

【0088】

上述した点を除き、比較形態に係る画像抽出方法は、本実施形態に係る画像抽出方法と同一の手法により実行される。

【0089】

比較例においては、図９に示す第１基準領域３８および第２基準領域４０と同一の基準領域の指定により、画像６６から、比較形態に係る画像抽出方法によって、各抽出画像の生成を行った。比較例において生成された抽出画像と、実施例において生成された抽出画像とを、図１１を参照して比較する。

【0090】

図１１の（ａ）は、比較例において生成された第１抽出画像７２Ｃを示す図である。図１１の（ｂ）は、実施例において生成された第１抽出画像７２を示す図である。なお、図１１の（ａ）および（ｂ）においては、画像抽出の精度をより明確に比較するために、第１抽出画像７２Ｃと第１抽出画像７２とのそれぞれに、背景領域７０に相当する、第２画素７８Ｃと第２画素７８とを、濃度を低下させてそれぞれ重ねている。

【0091】

比較例において生成された第１抽出画像７２Ｃは、物体領域６８に相当する、第１画素７６Ｃを有する。しかしながら、第１抽出画像７２Ｃには、物体領域６８に位置する画素の一部が、第１画素７６Ｃとして設定されていない、不十分な領域Ｅが存在している。不十分な領域Ｅは、不十分な領域Ｅの周辺における画素の色が、競合色バケツＣＢに含まれていたために、物体領域６８に位置する画素の一部が、誤って第２画素７８Ｃとして設定されたために生じたものと推察される。

【0092】

一方、実施例において生成された第１抽出画像７２には、不十分な領域Ｅが存在せず、第１画素７６の設定に概ね成功している。このように、比較形態に係る画像抽出方法と比較して、本実施形態に係る画像抽出方法は、より精度よく抽出画像を生成できる。

【0093】

〔実施形態２〕
＜第３抽出画像の生成＞
本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0094】

本実施形態においても、画像３０から抽出画像を生成する方法を例に説明を行う。ただし、本実施形態においては、前実施形態と比較して、第１抽出画像および第２抽出画像に加えて、さらに、第３抽出画像を生成する点において相違する。

【0095】

本実施形態に係る画像抽出方法においては、例えば、はじめに、前実施形態におけるステップＳ２と同一の手法により、図１２に示す画像３０が表示デバイス４に表示されている。なお、図１２の（ａ）に示す画像３０は、図３の（ｃ）に示す画像３０と同一である。ただし、本実施形態において、第１領域は第１物体領域３２のみを有し、第２物体領域３４は第３領域に含まれるものとする。さらに、本実施形態においては、画像３０から、第１領域である第１物体領域３２を含む第１抽出画像と、第２領域である背景領域３６を含む第２抽出画像と、第３領域である第２物体領域３４を含む第３抽出画像と生成する方法を例に挙げて説明する。換言すれば、本実施形態に係る画像抽出方法は、さらに、第３領域を有する画像から、第３領域を含む第３抽出領域を抽出し、第３抽出領域を含む第３抽出画像を生成する方法である。

【0096】

本実施形態においては、前実施形態におけるステップＳ４において、第１基準画素および第２基準画素の指定に加えて、第３基準画素の指定を受け付ける。第３基準画素の指定は、図１２の（ｂ）に示すように、第３領域である第２物体領域３４に、第３基準領域８０が指定され、第３基準領域８０が含む画素が第３基準画素に指定されることにより実施される。第３基準画素の指定は、第１基準画素および第２基準画素の指定と同一の手法により実行する。

【0097】

以降、本実施形態においては、前実施形態に係る各工程の一部を変更した工程を順次実行する。本実施形態に係るステップＳ６においては、さらに、第３基準画素を第３画素に設定する。本実施形態に係るステップＳ８、Ｓ１０においては、さらに、色空間上の各座標に対応する色を有する画像３０上の画素が、第３領域が含む画素が有する色に含まれる確率を表現する第３確率分布を推定する。本実施形態に係るステップＳ１２からＳ１８においては、さらに、第３画素と隣接する第３隣接画素についても、コストＣ_Ｎ（ｓ，ｔ）を算出し、各画素の設定を行う。本実施形態に係るステップＳ２４においては、さらに、第３確率分布の修正を行う。本実施形態に係るステップＳ２６においては、さらに、第３画素を含む第３抽出画像を生成する。本実施形態に係るステップＳ６からＳ２６のそれぞれは、上述した点を除き、前実施形態に係るステップＳ６からＳ２６のそれぞれと同一の手法により実行する。本実施形態に係る画像抽出方法は、前実施形態に係る画像抽出装置２と同一の装置によって実行する。

【0098】

本実施形態においては、第１抽出画像および第２抽出画像に加えて、第３画素を含む第３抽出画像を生成できる。このため、本実施形態に係る画像抽出方法によれば、例えば、背景領域中に、複数の物体領域を有する画像から、互いに異なる物体領域を有する複数の抽出画像と、背景領域を有する抽出画像とを得ることができる。

【0099】

また、本実施形態においても、各画素が、何れの領域の画素に含まれるのかについて、各領域における確率分布に基づいて決定する。このため、本実施形態に係る画像抽出方法によれば、抽出する領域の種類が増えた場合においても、各画素が、適切でない領域の画素に設定される蓋然性が低下し、画像から各領域が含む画素を抽出する精度が向上する。

【0100】

なお、本実施形態においては、さらに、画像３０が、さらに、例えば、第４領域、第５領域等を含む、第１領域から第３領域の何れとも異なる領域を有していてもよい。この場合、本実施形態においては、第１基準画素、第２基準画素、および、第３基準画素に限らず、第４基準画素、および第５基準画素等を含む、４種以上の基準画素を使用して、画像の抽出を行ってもよい。この場合においても、本実施形態に係る画像抽出方法によれば、当該領域の画素を含む抽出画像をさらに生成することができる。

【0101】

なお、本実施形態においては、第１領域と第３領域とが、画像３０の第１物体領域３２と第２物体領域３４とをそれぞれ含む。このため、本実施形態に係る画像抽出方法においては、画像から複数の物体領域を個別に抽出した複数の抽出画像を生成することができる。しかしながら、これに限られず、本実施形態において、第３領域は、背景領域３６の一部を含んでいてもよい。この場合、本実施形態に係る画像抽出方法においては、画像から背景領域の一部をそれぞれ抽出した、複数の抽出画像を生成することができる。

【0102】

〔実施形態３〕
＜第１抽出画像のみの生成＞
本開示の他の実施形態について、以下に説明する。本実施形態においても、画像３０から抽出画像を生成する方法を例に説明を行う。ただし、本実施形態においては、前述した各実施形態と比較して、第１抽出画像のみを生成する点において相違する。

【0103】

本実施形態に係る画像抽出方法においては、例えば、はじめに、前述した各実施形態におけるステップＳ２と同一の手法により、図１３の（ａ）に示す画像３０が表示デバイス４に表示されている。なお、図１３の（ａ）に示す画像３０は、図３の（ａ）に示す画像３０と同一である。ただし、本実施形態においては、画像３０から、第１領域である前景領域３１として、第１物体領域３２を含む第１抽出画像のみを生成する方法を例に挙げて説明する。

【0104】

本実施形態においては、前実施形態におけるステップＳ４において、第１基準画素の指定のみを受け付ける。このため、図１３の（ｂ）に示すように、本実施形態において、画像３０に対しては、第１基準領域３８のみが指定される。

【0105】

以降、本実施形態においては、前実施形態に係る各工程の一部を変更した工程を順次実行する。本実施形態に係るステップＳ６においては、第１基準画素の第１画素５２への設定のみを行う。本実施形態に係るステップＳ８、Ｓ１０においては、第１確率分布４６の推定のみを行う。本実施形態に係るステップＳ１２からＳ１８においては、第１隣接画素５６のみを特定し、当該第１隣接画素５６についてコストＣ_Ｎ（ｓ，ｔ）を算出し、第１画素５２の再設定のみを行う。本実施形態に係るステップＳ２４においては、第１確率分布４６の修正のみを行う。本実施形態に係るステップＳ２６においては、第１画素５２を含む第１抽出画像のみを生成する。

【0106】

ここで、本実施形態に係る画像抽出方法においては、第１領域を含む第１抽出画像のみを生成するため、画像３０の全ての画素５０を、第１画素５２に追加せず、一部の画素５０のみを第１画素５２に追加する。このため、本実施形態に係るステップＳ２０は、例えば、以下の工程に変更することが考えられる。

【0107】

例えば、本実施形態に係るステップＳ２０においては、各第１隣接画素５６のコストＣ_Ｎ（ｓ，ｔ）が、ある規定値以上であるか否かを判断する。この場合、ステップＳ２０において、全ての第１隣接画素５６のコストＣ_Ｎ（ｓ，ｔ）が規定値以上である場合には、ステップＳ２６の実行に移行する。画像３０の第１領域と第２領域との色の差異が明瞭であり、全ての第１隣接画素５６のコストＣ_Ｎ（ｓ，ｔ）が規定値以上であれば、全ての第１画素５２を特定できたと判断できる場合に、ステップＳ２０は有用である。

【0108】

あるいは、例えば、本実施形態に係るステップＳ２０においては、第１画素５２の総数が、ある規定値以上であるか否かを判断する。この場合、ステップＳ２０において、第１画素５２の総数が規定値以上である場合には、ステップＳ２６の実行に移行する。画像３０の総面積に対する第１領域の面積の割合が、少なくともおおよそ判明している場合に、ステップＳ２０は有用である。

【0109】

上記ステップＳ２０により、本実施形態に係る画像抽出方法においては、画像３０の画素５０のうち一部のみを第１画素５２に追加することができる。これにより、画素５０のうち、コストＣ_Ｎ（ｓ，ｔ）を算出すべき画素５０の個数が低減するため、本実施形態に係る画像抽出方法は、第１抽出画像の生成にかかる時間を短縮できる。

【0110】

本実施形態に係るステップＳ６からＳ２６のそれぞれは、上述した点を除き、前実施形態に係るステップＳ６からＳ２６のそれぞれと同一の手法により実行する。本実施形態に係る画像抽出方法は、前実施形態に係る画像抽出装置２と同一の装置によって実行する。

【0111】

本実施形態においては、第１基準画素の指定のみにて、少なくとも第１画素５２を含む第１抽出画像を生成できる。このため、本実施形態に係る画像抽出方法によれば、ユーザが第２基準画素を指定する必要がなく、より簡便に第１抽出画像を生成できる。

【0112】

また、本実施形態においても、各画素が、第１画素５２に含まれるか否かについて、第１領域における第１確率分布４６に基づいて決定する。このため、本実施形態に係る画像抽出方法によれば、第１画素５２に追加すべき画素５０が第１画素５２に追加されない蓋然性が低下する。加えて、本実施形態に係る画像抽出方法によれば、第１画素５２に追加すべきではない画素５０が第１画素５２に追加される蓋然性が低下する。したがって、本実施形態に係る画像抽出方法によれば、画像３０から、より簡便かつより精度よく、第１画素５２を含む第１抽出画像を生成することができる。

【0113】

なお、本実施形態においては、第１領域が、第１物体領域３２を含む。このため、本実施形態に係る画像抽出方法においては、画像から物体領域のみを抽出した抽出画像を生成することができる。しかしながら、本開示は、これに限られず、本実施形態において、第１領域は、第１物体領域３２を含まず、背景領域３６の少なくとも一部を含んでいてもよい。この場合、本実施形態に係る画像抽出方法においては、画像から背景領域の少なくとも一部のみを抽出した抽出画像を生成することができる。また、第１領域は、第１物体領域３２と第２物体領域３４とを含んでいてもよい。

【0114】

＜ソフトウェアによる実現例＞
前述した各実施形態に係る画像抽出装置（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるための画像抽出プログラムによって実現することができる。この場合、当該装置の機能は、例えば、制御部６が含む各部としてコンピュータを機能させるためのプログラムにより実現することができる。

【0115】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0116】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0117】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本開示の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0118】

また、上記各実施形態において説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0119】

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

【符号の説明】

【0120】

２ 画像抽出装置
６ 制御部
２０ 基準画素設定部
２２ 確率分布推定部
２４ 隣接画素解析部
２６ 抽出画像生成部
２８ 確率分布修正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】