知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037556
(43)【公開日】2024-03-19
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06T 7/90 20170101AFI20240312BHJP
G06T 7/00 20170101ALI20240312BHJP
【ＦＩ】
G06T7/90 D
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022142481
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100107216
【弁理士】
【氏名又は名称】伊與田 幸穂
(72)【発明者】
【氏名】森 達哉
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096CA21
5L096EA39
5L096FA16
5L096FA32
5L096FA64
5L096FA66
5L096FA69
5L096GA40
5L096GA41
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】特殊な装置や環境を用いなくても画像の透明領域の透過度を取得する。
【解決手段】プロセッサを備え、プロセッサは、画像から透明領域を含む対象物の領域である対象物領域５３ａを定め、画像及び対象物領域５３ａから、画像における対象物領域５３ａ以外の領域である第１領域５４ａと、対象物領域５３ａのうち透明領域である第２領域５４ｂ及び第２領域５４ｂ以外の領域である第３領域５４ｃと、を示す情報を取得し、画像及び情報を基に第２領域５４ｂの透過度を定める情報処理装置である。
【選択図】図８
【解決手段】プロセッサを備え、プロセッサは、画像から透明領域を含む対象物の領域である対象物領域５３ａを定め、画像及び対象物領域５３ａから、画像における対象物領域５３ａ以外の領域である第１領域５４ａと、対象物領域５３ａのうち透明領域である第２領域５４ｂ及び第２領域５４ｂ以外の領域である第３領域５４ｃと、を示す情報を取得し、画像及び情報を基に第２領域５４ｂの透過度を定める情報処理装置である。
【選択図】図８
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
画像から透明領域を含む対象物の領域である対象物領域を定め、
前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得し、
前記画像及び前記情報を基に前記第２領域の透過度を定める、
情報処理装置。
前記プロセッサは、
画像から透明領域を含む対象物の領域である対象物領域を定め、
前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得し、
前記画像及び前記情報を基に前記第２領域の透過度を定める、
情報処理装置。
【請求項2】
前記取得する情報は、前記第１領域、前記第２領域及び前記第３領域の各々を示す３つの値からなる画像の情報である、ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記第２領域及び前記第３領域の各々を示す値は、前記第１領域の色情報と当該第２領域及び当該第３領域の色情報との差により定まる、ことを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記対象物領域は、機械学習モデルを用いて定められる、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項5】
前記対象物領域は、前記画像に含まれる複数の対象物のいずれか一つである、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項6】
画面に表示した前記第２領域についてユーザによる修正指示を受け付ける、ことを特徴とする請求項１に記載の情報処理装置。
【請求項7】
前記修正指示は、前記第２領域を前記第３領域に対して変更する両者の境界変更を行うものである、ことを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記境界変更は、前記第２領域と前記第３領域のいずれか一方を選択し他方において指定された部分を当該一方に変更するものである、ことを特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記修正指示は、前記透過度の変更を行うものである、ことを特徴とする請求項６に記載の情報処理装置。
【請求項10】
コンピュータに、
画像から透明領域を含む対象物の領域である対象物領域を定める機能と、
前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得する機能と、
前記画像及び前記情報を基に前記第２領域の透過度を定める機能と、
を実現させるプログラム。
画像から透明領域を含む対象物の領域である対象物領域を定める機能と、
前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得する機能と、
前記画像及び前記情報を基に前記第２領域の透過度を定める機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関するものである。
【背景技術】
【0002】
ｗｅｂ広告やポップ広告の作成など画像加工の分野において、画像中の物体を別の背景に合成する作業が行われているが、透明領域を含む物体の画像を別の背景に貼り付けたときに、透明領域に元の背景が写りこんでしまう。高精度に合成するために必要な透明領域の透過度を算出する先行特許として、例えば、特許文献１には、透明物体を、黒白パターンを有するボードを背景としてデジタルカメラによって撮影し、得られた画像データに対し、その画素毎に背景の属性を判定し、該属性毎の画素の色データに基づいて、透明物体の透明度データ及び色データを算出する技術が開示されている。また、特許文献２には、測定装置が撮像位置取得部と物理量算出部とを備え、撮像位置取得部は、背景との間に空間または空間および空間内に存在する透明物体が介在した状態での撮像画像について、背景の撮像位置に対応する撮像画像中の位置を取得し、物理量算出部は、背景の撮像位置に対応する撮像画像中の位置および背景の撮像位置に基づいて透明物体の物理量を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００１－１４３０８５号公報
【特許文献2】特開２０１８－１５９６７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、画像の透明領域の透過度を特殊な装置や環境を用いて取得する場合、透過度を取得するユーザの負担軽減を図ることは難しい。
本発明の目的は、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することにある。
本発明の目的は、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することにある。
【課題を解決するための手段】
【0005】
請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、画像から透明領域を含む対象物の領域である対象物領域を定め、前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得し、
前記画像及び前記情報を基に前記第２領域の透過度を定める、情報処理装置である。
請求項２に記載の発明は、前記取得する情報は、前記第１領域、前記第２領域及び前記第３領域の各々を示す３つの値からなる画像の情報である、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記第２領域及び前記第３領域の各々を示す値は、前記第１領域の色情報と当該第２領域及び当該第３領域の色情報との差により定まる、ことを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記対象物領域は、機械学習モデルを用いて定められる、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置である。
請求項５に記載の発明は、前記対象物領域は、前記画像に含まれる複数の対象物のいずれか一つである、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置である。
請求項６に記載の発明は、画面に表示した前記第２領域についてユーザによる修正指示を受け付ける、ことを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記修正指示は、前記第２領域を前記第３領域に対して変更する両者の境界変更を行うものである、ことを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記境界変更は、前記第２領域と前記第３領域のいずれか一方を選択し他方において指定された部分を当該一方に変更するものである、ことを特徴とする請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記修正指示は、前記透過度の変更を行うものである、ことを特徴とする請求項６に記載の情報処理装置である。
請求項１０に記載の発明は、コンピュータに、画像から透明領域を含む対象物の領域である対象物領域を定める機能と、前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得する機能と、前記画像及び前記情報を基に前記第２領域の透過度を定める機能と、を実現させるプログラムである。
前記画像及び前記情報を基に前記第２領域の透過度を定める、情報処理装置である。
請求項２に記載の発明は、前記取得する情報は、前記第１領域、前記第２領域及び前記第３領域の各々を示す３つの値からなる画像の情報である、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記第２領域及び前記第３領域の各々を示す値は、前記第１領域の色情報と当該第２領域及び当該第３領域の色情報との差により定まる、ことを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記対象物領域は、機械学習モデルを用いて定められる、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置である。
請求項５に記載の発明は、前記対象物領域は、前記画像に含まれる複数の対象物のいずれか一つである、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置である。
請求項６に記載の発明は、画面に表示した前記第２領域についてユーザによる修正指示を受け付ける、ことを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記修正指示は、前記第２領域を前記第３領域に対して変更する両者の境界変更を行うものである、ことを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記境界変更は、前記第２領域と前記第３領域のいずれか一方を選択し他方において指定された部分を当該一方に変更するものである、ことを特徴とする請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記修正指示は、前記透過度の変更を行うものである、ことを特徴とする請求項６に記載の情報処理装置である。
請求項１０に記載の発明は、コンピュータに、画像から透明領域を含む対象物の領域である対象物領域を定める機能と、前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得する機能と、前記画像及び前記情報を基に前記第２領域の透過度を定める機能と、を実現させるプログラムである。
【発明の効果】
【0006】
請求項１の発明によれば、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することができる。
請求項２の発明によれば、取得する情報が第１領域、第２領域及び第３領域の各々を示す３つの値からなる画像の情報でない場合に比べ、情報処理の負担軽減を図ることができる。
請求項３の発明によれば、第２領域及び第３領域の各々を示す値が第１領域の色情報と第２領域及び第３領域の色情報との差により定まる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
請求項４の発明によれば、対象物領域が機械学習モデルを用いて定められる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
請求項５の発明によれば、対象物領域が画像に含まれる複数の対象物のいずれか一つである構成を採用しない場合に比べ、透過度の精度向上を図ることができる。
請求項６の発明によれば、画面に表示した第２領域についてユーザによる修正指示を受け付ける構成を採用しない場合に比べ、使用感を向上させることができる。
請求項７の発明によれば、修正指示が第２領域を第３領域に対して変更する両者の境界変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
請求項８の発明によれば、境界変更が第２領域と第３領域のいずれか一方を選択し他方において指定された部分を一方に変更するものである構成を採用しない場合に比べ、操作性の向上を図ることができる。
請求項９の発明によれば、修正指示が透過度の変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
請求項１０の発明によれば、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することができる。
請求項２の発明によれば、取得する情報が第１領域、第２領域及び第３領域の各々を示す３つの値からなる画像の情報でない場合に比べ、情報処理の負担軽減を図ることができる。
請求項３の発明によれば、第２領域及び第３領域の各々を示す値が第１領域の色情報と第２領域及び第３領域の色情報との差により定まる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
請求項４の発明によれば、対象物領域が機械学習モデルを用いて定められる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
請求項５の発明によれば、対象物領域が画像に含まれる複数の対象物のいずれか一つである構成を採用しない場合に比べ、透過度の精度向上を図ることができる。
請求項６の発明によれば、画面に表示した第２領域についてユーザによる修正指示を受け付ける構成を採用しない場合に比べ、使用感を向上させることができる。
請求項７の発明によれば、修正指示が第２領域を第３領域に対して変更する両者の境界変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
請求項８の発明によれば、境界変更が第２領域と第３領域のいずれか一方を選択し他方において指定された部分を一方に変更するものである構成を採用しない場合に比べ、操作性の向上を図ることができる。
請求項９の発明によれば、修正指示が透過度の変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
請求項１０の発明によれば、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することができる。
【図面の簡単な説明】
【0007】
【図1】本実施の形態が適用される画像処理システムの全体構成例を示した図である。
【図2】本実施の形態における画像処理装置のハードウェア構成例を示した図である。
【図3】本実施の形態における携帯端末のハードウェア構成例を示した図である。
【図4】第１の実施の形態に係る画像処理装置の機能構成例を表すブロック図である。
【図5】対象物領域推定部の処理を説明する図である。
【図6】トライマップ生成部の処理を説明する図である。
【図7】トライマップ生成部の処理を説明する図であり、（ａ）は、マスク画像及び画像の画素を説明する図であり、（ｂ）は画素値の差の計算結果を示す表である。
【図8】トライマップ生成部の処理を説明する図である。
【図9】画像と新しい背景とを合成した場合の画像を説明する図であり、（ａ）は第１の実施の形態に係る画像処理装置の処理により合成した場合の合成画像を示し、（ｂ）は、従来の処理により合成した場合の比較例としての合成画像を示す。
【図10】第２の実施の形態に係る画像処理装置の機能構成例を表すブロック図である。
【図11】ユーザ補正部を説明する図であり、（ａ）、（ｂ）及び（ｃ）は、透過度を変更する操作を説明する図である。
【図12】第３の実施の形態に係る画像処理装置の機能構成例を表すブロック図である。
【図13】ユーザ補正部の処理を説明する図であり、（ａ）はユーザ補正部の処理前を示し、（ｂ）は処理後を示す。
【図14】第４の実施の形態に係る画像処理装置の処理を説明する図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0009】
［本実施の形態の概要］
本実施の形態は、画像から透明領域を含む対象物の領域である対象物領域を定め、画像及び対象物領域から、画像における対象物領域以外の領域である第１領域と、対象物領域のうち透明領域である第２領域及び第２領域以外の領域である第３領域と、を示す情報を取得し、画像及び情報を基に第２領域の透過度を定める、情報処理装置を提供する。
本実施の形態は、画像から透明領域を含む対象物の領域である対象物領域を定め、画像及び対象物領域から、画像における対象物領域以外の領域である第１領域と、対象物領域のうち透明領域である第２領域及び第２領域以外の領域である第３領域と、を示す情報を取得し、画像及び情報を基に第２領域の透過度を定める、情報処理装置を提供する。
【0010】
ここで、透明領域とは、画像において対象物の背景が光を通す透明な部材を介して視認可能な領域をいう。かかる透明な部材は、平たんな面を有する場合のほか、一部又は全部に曲面ないし折れ曲がった面を有する場合や、かかる面が規則的又は不規則的であってもよい。また、背景は第１領域に対応するものであり、透明領域は第２領域に対応するものである。
透過度とは、第２領域を通る光の度合いをいう。
情報処理装置としては、画像処理を行う画像処理装置１０（図１参照）を例にとって説明するが、携帯端末２０（同図参照）であってもよい。
透過度とは、第２領域を通る光の度合いをいう。
情報処理装置としては、画像処理を行う画像処理装置１０（図１参照）を例にとって説明するが、携帯端末２０（同図参照）であってもよい。
【0011】
［画像処理システムの全体構成］
図１は、本実施の形態が適用される画像処理システム１の全体構成例を示した図である。図示するように、この画像処理システム１は、画像処理装置１０及び携帯端末２０を含む。画像処理装置１０は、通信回線３０に接続されている。携帯端末２０は、無線通信によりアクセスポイント４０を介して通信回線３０と無線接続可能になっている。なお、図では、画像処理装置１０及び携帯端末２０は、１つずつしか示していないが、複数存在してもよい。また、通信回線３０は、例えばＬＡＮ（Local Area Network）やインターネットとすればよい。
図１は、本実施の形態が適用される画像処理システム１の全体構成例を示した図である。図示するように、この画像処理システム１は、画像処理装置１０及び携帯端末２０を含む。画像処理装置１０は、通信回線３０に接続されている。携帯端末２０は、無線通信によりアクセスポイント４０を介して通信回線３０と無線接続可能になっている。なお、図では、画像処理装置１０及び携帯端末２０は、１つずつしか示していないが、複数存在してもよい。また、通信回線３０は、例えばＬＡＮ（Local Area Network）やインターネットとすればよい。
【0012】
画像処理装置１０は、携帯端末２０からの画像を処理する装置であり、画像を基に対象物領域を推定し、画像及び推定結果を用いて、対象物領域外、対象物領域内透明領域、対象物内非透明領域を表す画像（以下、トライマップ画像という）を生成し、画像及びトライマップ画像を基に透過度を推定する。なお、画像処理装置１０は、例えばパーソナルコンピュータ（ＰＣ）によって実現するとよい。
【0013】
携帯端末２０は、対象物を撮像し、画像処理装置１０に送信する端末装置である。携帯端末２０には、カメラアプリケーションがインストールされているとよい。このカメラアプリケーションは、例えば、携帯端末２０の操作者の操作により、対象物を撮像し、撮像画像を画像処理装置１０へ送信する。なお、携帯端末２０は、例えば、スマートフォンによって実現するとよい。
【0014】
［画像処理装置のハードウェア構成］
図２は、本実施の形態における画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、プロセッサ１０ａと、ＲＡＭ（Random Access Memory）１０ｂと、ＨＤＤ（Hard Disk Drive）１０ｃと、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）１０ｄと、表示デバイス１０ｅと、入力デバイス１０ｆとを備える。
図２は、本実施の形態における画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、プロセッサ１０ａと、ＲＡＭ（Random Access Memory）１０ｂと、ＨＤＤ（Hard Disk Drive）１０ｃと、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）１０ｄと、表示デバイス１０ｅと、入力デバイス１０ｆとを備える。
【0015】
プロセッサ１０ａは、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。
【0016】
ＲＡＭ１０ｂは、プロセッサ１０ａの作業用メモリ等として用いられるメモリである。ＨＤＤ１０ｃは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する例えば磁気ディスク装置である。
【0017】
通信Ｉ／Ｆ１０ｄは、通信回線３０を介して携帯端末２０との間で各種情報の送受信を行う。
表示デバイス１０ｅは、各種情報を表示する例えばディスプレイである。入力デバイス１０ｆは、ユーザが情報を入力するために用いる例えばキーボードやマウスである。
表示デバイス１０ｅは、各種情報を表示する例えばディスプレイである。入力デバイス１０ｆは、ユーザが情報を入力するために用いる例えばキーボードやマウスである。
【0018】
［携帯端末のハードウェア構成］
図３は、本実施の形態における携帯端末２０のハードウェア構成例を示した図である。図示するように、携帯端末２０は、プロセッサ２１と、ＲＡＭ２２と、ＲＯＭ２３と、入出力デバイス２４と、音声入力機構２５と、音声出力機構２６と、撮像機構２７と、無線回路２８と、アンテナ２９とを備える。
図３は、本実施の形態における携帯端末２０のハードウェア構成例を示した図である。図示するように、携帯端末２０は、プロセッサ２１と、ＲＡＭ２２と、ＲＯＭ２３と、入出力デバイス２４と、音声入力機構２５と、音声出力機構２６と、撮像機構２７と、無線回路２８と、アンテナ２９とを備える。
【0019】
プロセッサ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、携帯端末２０の各機能を実現する。
【0020】
ＲＡＭ２２は、プロセッサ２１の作業用メモリ等として用いられるメモリである。ＲＯＭ２３は、プロセッサ２１が実行する各種プログラム等を記憶するメモリである。
【0021】
入出力デバイス２４は、各種情報の表示やユーザからの操作入力の受付を行うデバイスであり、例えばタッチパネルである。音声入力機構２５は、外部から音声を入力するデバイスであり、例えばマイクロフォンである。音声出力機構２６は、音声を外部に出力するデバイスであり、例えばスピーカである。
【0022】
撮像機構２７は、被写体を撮像するデバイスであり、例えばカメラである。
【0023】
無線回路２８は、無線通信を制御する回路である。アンテナ２９は、無線回路２８が出力した無線通信の信号を送信したり、無線通信の信号を受信して無線回路２８に出力したりするデバイスである。無線通信は、５Ｇ（5th Generation）、ＬＴＥ（Long Term Evolution）、Ｗｉ－Ｆｉ（登録商標）、ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の無線通信規格に準拠する通信を含む。
【0024】
本実施の形態に係る画像処理装置１０では、従来のように特殊な装置や環境を用いることなく、１つの画像から透過度を推定し、これにより、高精度な合成の自動化を図ることができる。以下、種々の実施の形態について説明する。
【0025】
［第１の実施の形態］
図４は、第１の実施の形態に係る画像処理装置１０の機能構成例を表すブロック図である。図示するように、第１の実施の形態に係る画像処理装置１０は、対象物領域推定部１１と、トライマップ生成部１２と、透過度推定部１３とを備えている。
図４は、第１の実施の形態に係る画像処理装置１０の機能構成例を表すブロック図である。図示するように、第１の実施の形態に係る画像処理装置１０は、対象物領域推定部１１と、トライマップ生成部１２と、透過度推定部１３とを備えている。
【0026】
対象物領域推定部１１は、画像から、透明領域を含む対象物の領域である対象物領域を推定する。これにより、対象物領域推定部１１は、対象物領域を表す対象物領域マスク画像を算出する。
【0027】
トライマップ生成部１２は、画像及び対象物領域推定部１１による対象物領域から、対象物領域内を透明領域と非透明領域に区分する。これにより、トライマップ生成部１２は、対象物領域外と、対象物領域内の非透明領域及び透明領域という３つの領域の位置を表すトライマップ画像を生成する。
【0028】
透過度推定部１３は、画像とトライマップ生成部１２によるトライマップ画像とを基に透過度を推定する。これにより、透過度推定部１３は、透過度画像を用意する。
【0029】
まず、対象物領域推定部１１について図５を用いて説明する。
図５は、対象物領域推定部１１の処理を説明する図である。
対象物領域推定部１１は、境界で色差が小さい透明領域においても精度良く推測することを目的として、図５に示すように、画像５１から機械学習モデル５２を利用した領域推定を行い、対象物領域５３ａを表すマスク画像５３を算出する。
図５は、対象物領域推定部１１の処理を説明する図である。
対象物領域推定部１１は、境界で色差が小さい透明領域においても精度良く推測することを目的として、図５に示すように、画像５１から機械学習モデル５２を利用した領域推定を行い、対象物領域５３ａを表すマスク画像５３を算出する。
【0030】
画像５１は、携帯端末２０（図１参照）で撮影され送信されたものである。また、画像５１は、図５に示すように、手提げ用に四角形状に抜いた四角形状穴Ｇ２を有する透明な袋Ｇ１に１個のりんごＧ３が入っている画像である。画像５１における背景には、複数の縦線が現れている。透明な袋Ｇ１は例えばビニル等であるが、ペットボトル等の場合もある。
背景として現れている複数の縦線は、透明な袋Ｇ１から透けて見えている。すなわち、複数の縦線は、透明な袋Ｇ１の外縁Ｇ４の外側の部分及び袋Ｇ１の四角形状穴Ｇ２の部分に直接現れている他、透明な袋Ｇ１の外縁Ｇ４の内側でも、四角形状穴Ｇ２及びりんごＧ３以外の部分で視認可能である。
背景として現れている複数の縦線は、透明な袋Ｇ１から透けて見えている。すなわち、複数の縦線は、透明な袋Ｇ１の外縁Ｇ４の外側の部分及び袋Ｇ１の四角形状穴Ｇ２の部分に直接現れている他、透明な袋Ｇ１の外縁Ｇ４の内側でも、四角形状穴Ｇ２及びりんごＧ３以外の部分で視認可能である。
【0031】
透明な袋Ｇ１に入っているりんごＧ３は対象物の一例であり、対象物領域５３ａは、かかる対象物の領域の一例である。
【0032】
対象物領域推定部１１で利用する機械学習モデル５２は、透明領域を含む対象物領域５３ａを推定するように学習されたものである。さらに説明すると、機械学習モデル５２は任意であり、エンコーダー・デコーダー構造を持つＵ－ＮｅｔやＤｅｅｐＬａｂ Ｖ３＋などの深層学習モデルを活用してもよい。また、精度向上を目的とした二段階モデルの利用やモデル構造、損失関数を工夫するなどをしてもよい。
【0033】
マスク画像５３は、機械学習モデル５２により、対象物領域５３ａと対象物領域５３ａ以外の領域５３ｂとの間の境界が精度よく推測されている。なお、図５の領域５３ｂは、斜線で表している。
【0034】
次に、トライマップ生成部１２について図６、図７及び図８を用いて説明する。
図６～図８は、トライマップ生成部１２の処理を説明する図である。
図６には、左側にマスク画像５３、右側にトライマップ画像５４を示している。マスク画像５３には、対象物領域５３ａ及び領域５３ｂがあり、トライマップ画像５４には、対象物領域外５４ａ、透明領域５４ｂ及び非透明領域５４ｃがある。
図６～図８は、トライマップ生成部１２の処理を説明する図である。
図６には、左側にマスク画像５３、右側にトライマップ画像５４を示している。マスク画像５３には、対象物領域５３ａ及び領域５３ｂがあり、トライマップ画像５４には、対象物領域外５４ａ、透明領域５４ｂ及び非透明領域５４ｃがある。
【0035】
トライマップ生成部１２は、対象物領域推定部１１で推定したマスク画像５３の対象物領域５３ａを透明領域５４ｂと非透明領域５４ｃに区分する。そして、トライマップ生成部１２は、対象物領域外５４ａ、透明領域５４ｂ及び非透明領域５４ｃを表すトライマップ画像５４を生成する。
トライマップ画像５４の対象物領域外５４ａは、マスク画像５３の領域５３ｂとすることができる。
トライマップ画像５４の対象物領域外５４ａは、マスク画像５３の領域５３ｂとすることができる。
【0036】
透明領域５４ｂと非透明領域５４ｃの区分方法は任意であるが、例えば対象物領域外５４ａの画像の色情報を活用することで算出することが考えられる。すなわち、トライマップ生成部１２は、対象物領域外５４ａの色情報と対象物領域内の色情報の差を基に透明領域５４ｂと非透明領域５４ｃに区分する。
対象物領域外５４ａは第１領域の一例であり、透明領域５４ｂは第２領域の一例であり、非透明領域５４ｃは第３領域の一例である。トライマップ画像５４は、第１領域と第２領域と第３領域とを示す情報の一例である。
対象物領域外５４ａは第１領域の一例であり、透明領域５４ｂは第２領域の一例であり、非透明領域５４ｃは第３領域の一例である。トライマップ画像５４は、第１領域と第２領域と第３領域とを示す情報の一例である。
【0037】
ここで、図７の（ａ）は、マスク画像５３及び画像５１の画素を説明する図であり、（ｂ）は画素値の差の計算結果を示す表である。
図７（ａ）に示すように、マスク画像５３の対象物領域５３ａに対応する画像５１の領域５１ａ内の画素値の集合をＩinとし、領域５３ｂに対応する画像５１の領域５１ｂ内の画素値の集合をＩoutとする。また、画像５１の領域５１ａ内のある画素の画素値をｍとし、画像５１の領域５１ｂ内のある画素の画素値をｎと表すことにする。
図７（ａ）に示すように、マスク画像５３の対象物領域５３ａに対応する画像５１の領域５１ａ内の画素値の集合をＩinとし、領域５３ｂに対応する画像５１の領域５１ｂ内の画素値の集合をＩoutとする。また、画像５１の領域５１ａ内のある画素の画素値をｍとし、画像５１の領域５１ｂ内のある画素の画素値をｎと表すことにする。
【0038】
そして、図７（ｂ）に示すように、画像５１の区分したい区分対象５１ａの対象５１１の画像における画素値（ＲＧＢ）に対して、対象物領域外５１ｂのすべての画素の画素値との差を計算し、その最小値を取得する。図７（ｂ）に示す例では、最小値は９である。
【0039】
【数1】
【0040】
説明が重複するが、Ｉinは画像における対象物領域内の画素値の集合を表し、Ｉoutは画像における対象物領域外の画素値の集合を表す。ｍはＩinの要素を表し、ｎはＩoutの要素を表す。
上記式において、||・||1はＬ１ノルムを表しているが、ＲＧＢ３値をある一つの値に変換する方法は任意であり、Ｌ２ノルムでもよく、各成分の平均値や２乗和、２乗平均などを計算しても良い。
上記式において、||・||1はＬ１ノルムを表しているが、ＲＧＢ３値をある一つの値に変換する方法は任意であり、Ｌ２ノルムでもよく、各成分の平均値や２乗和、２乗平均などを計算しても良い。
【0041】
また、色差計算はＲＧＢ空間に限定されず、Ｌａｂ空間やＨＳＶ空間に変換してから算出しても良く、計算する色空間は任意である。
【0042】
差の最小値が閾値以下であるならば、背景の画素に近いことから対象画素を透明領域５４ｂとし、閾値より大きければ非透明領域５４ｃとする。閾値は事前に設定しておいてもよいし、対象物領域内の平均画素値と対象物領域外の平均画素値の差を閾値とするなど、自動で設定するなどしてもよい。
【0043】
図８に示すように、トライマップ生成部１２は、計算による区分結果（図７（ｂ）参照）を基に、トライマップ画像を作成する。例えば、Ｄｉｆｆが閾値以下だと０．５、閾値よりも大きいと１とする。より詳細には、対象物領域外５４ａを０、透明領域５４ｂを０．５、非透明領域５４ｃを１という３つの値からなる画像を作成することでトライマップ画像を作成する。図８の例ではトライマップ画像の各領域を示す３つの値が０、０．５、１．０であるが、これに限られない。
図８に括弧書きで示す０、０．５、１．０は、３つの値の一例である。
図８に括弧書きで示す０、０．５、１．０は、３つの値の一例である。
【0044】
また、トライマップ画像の作成方法は、上記の色情報による方法以外にも、画像と対象物領域を入力として受け取り、対象物領域内を領域分割する深層学習モデルを活用するなどの方法も考えられる。
【0045】
次に、透過度推定部１３について説明する。
透過度推定部１３は、画像とトライマップ画像を基に透明領域における透過度を算出する。ここで、透過度とは、以下式の合成方法で活用されるαマスクである。
透過度推定部１３は、画像とトライマップ画像を基に透明領域における透過度を算出する。ここで、透過度とは、以下式の合成方法で活用されるαマスクである。
【0046】
【数2】
【0047】
ここで、Ｉは画像、Ｆは前景成分、Ｂは背景成分をそれぞれ表し、αは前景成分の透過度ないし不透過度を表すものとする。
【0048】
もしくは、透過度とは、Ｅｎｖｉｒｏｎｍｅｎｔ Ｍａｔｔｉｎｇで活用されるρである。
【0049】
【数3】
【0050】
ここで、ｍは、透明領域を表すマスク画像、Ｂは背景画像、Ｍは屈折を表す画像、ρは透過度を表す。上式において、透明領域における屈折の影響を考慮しない場合はＭをＢとすればよい。以上のように、透過度の定義は合成方法に準じるものとし、合成方法に関しても上記２つに限らない。
【0051】
透過度の算出方法は、画像とトライマップ画像、透過度画像のセットを大量に用意し、深層学習にその関係性を学習させることで、テスト画像に対する透過度を推測させる。もしくは、制約条件を設定し、最適化により算出する方法でもよい。
【0052】
このように、第１の実施の形態では、特殊な装置や環境を用いなくても、ＲＧＢ画像から透過度を算出することを可能にしている。このため、画像と新しい背景とを合成する場合に、自然な合成画像を作成できる。以下、説明する。
【0053】
図９は、画像５１と新しい背景５５とを合成した場合の画像を説明する図であり、（ａ）は第１の実施の形態に係る画像処理装置１０の処理により合成した場合の合成画像５６を示し、（ｂ）は、従来の処理により合成した場合の比較例としての合成画像１５６を示す。
図９（ａ）に示すように、画像５１は、複数の縦線が現れた背景であり、透明な袋Ｇ１から複数の縦線が透けて見える。その一方で、新しい背景５５は、複数の縦線がない。上述したように、第１の実施の形態では、１枚のＲＧＢ画像から透過度を算出していることから、合成画像５６において、透明な袋Ｇ１が新しい背景５５に置き換わっている。しかも、第１の実施の形態では、透過度の算出を特殊な装置や環境を用いずに行うことが可能である。
図９（ａ）に示すように、画像５１は、複数の縦線が現れた背景であり、透明な袋Ｇ１から複数の縦線が透けて見える。その一方で、新しい背景５５は、複数の縦線がない。上述したように、第１の実施の形態では、１枚のＲＧＢ画像から透過度を算出していることから、合成画像５６において、透明な袋Ｇ１が新しい背景５５に置き換わっている。しかも、第１の実施の形態では、透過度の算出を特殊な装置や環境を用いずに行うことが可能である。
【0054】
これに対し、図９（ｂ）に示す合成画像１５６では、領域を切り出してそのまま貼り付けるだけでは、透明な袋Ｇ１に元の背景である複数の縦線が残る。このため、第１の実施の形態ではなく従来の処理による場合には、自然に合成することは難しい。
【0055】
このように、第１の実施の形態では、１つの画像から透過度を推定することで、高精度な合成の自動化を図ることが可能である。
さらに説明すると、高精度な合成の自動化をより推進するために、携帯端末２０で画像５１を撮影した後に新しい背景を撮影することで、背景を指定する手間を省略することができ、簡易な操作で高精度な合成を実現することが可能になる。
また、画面に表示した画像５１における対象物の大きさや位置をユーザのタッチ操作やピンチ操作により変更可能にし、ユーザの意向を反映した合成画像５６を作成できるようにしてもよい。例えば、新しい背景５５のサイズが画像５１と異なる場合でも、合成画像５６を自然な感じにすることが可能になる。
さらに説明すると、高精度な合成の自動化をより推進するために、携帯端末２０で画像５１を撮影した後に新しい背景を撮影することで、背景を指定する手間を省略することができ、簡易な操作で高精度な合成を実現することが可能になる。
また、画面に表示した画像５１における対象物の大きさや位置をユーザのタッチ操作やピンチ操作により変更可能にし、ユーザの意向を反映した合成画像５６を作成できるようにしてもよい。例えば、新しい背景５５のサイズが画像５１と異なる場合でも、合成画像５６を自然な感じにすることが可能になる。
【0056】
［第２の実施の形態］
図１０は、第２の実施の形態に係る画像処理装置１０の機能構成例を表すブロック図である。図示するように、第２の実施の形態に係る画像処理装置１０は、第１の実施の形態の場合と同じく、対象物領域推定部１１と、トライマップ生成部１２と、透過度推定部１３とを備える他、第１の実施の形態では備えていない画像合成部１４及びユーザ補正部１５を備えている。
このため、第２の実施の形態は、透過度を自動で決定していたためにユーザによる微調整ができない第１の実施の形態とは異なり、合成結果に対してユーザの指示により、透過度の変更を行うことができる。
図１０は、第２の実施の形態に係る画像処理装置１０の機能構成例を表すブロック図である。図示するように、第２の実施の形態に係る画像処理装置１０は、第１の実施の形態の場合と同じく、対象物領域推定部１１と、トライマップ生成部１２と、透過度推定部１３とを備える他、第１の実施の形態では備えていない画像合成部１４及びユーザ補正部１５を備えている。
このため、第２の実施の形態は、透過度を自動で決定していたためにユーザによる微調整ができない第１の実施の形態とは異なり、合成結果に対してユーザの指示により、透過度の変更を行うことができる。
【0057】
画像合成部１４は、画像５１と透過度画像を基に新しい背景である合成先画像に合成する処理（例えば図９参照）を行う。また、画像合成部１４は、画像５１から切り出した領域と合成先画像との合成に関し、透明な領域に対しては透過度に応じた処理を行う。このようにして、画像合成部１４は、合成画像を作成する。
【0058】
ユーザ補正部１５は、ユーザによる修正指示に従って合成画像の透明領域における透過度を変更し、変更後の透過度に応じた補正後合成画像を作成する。
【0059】
図１１は、ユーザ補正部１５を説明する図であり、（ａ）、（ｂ）及び（ｃ）は、透過度を変更する操作を説明する図である。
図１１（ａ）～（ｃ）に示すように、ユーザ補正部１５による補正は、画面に合成画像５６が表示された状態で、透過度調整部６１のスライダー６２の操作により行われる。合成画像５６には、透明領域５４ｂ及び非透明領域５４ｃが表示されている。
図１１（ａ）～（ｃ）に示すように、ユーザ補正部１５による補正は、画面に合成画像５６が表示された状態で、透過度調整部６１のスライダー６２の操作により行われる。合成画像５６には、透明領域５４ｂ及び非透明領域５４ｃが表示されている。
【0060】
ユーザによりスライダー６２のスライド操作が行われると、ユーザ補正部１５は、透明領域５４ｂについて透過度の修正指示を受け付ける。そして、ユーザ補正部１５は、受け付けた修正指示に従って、合成画像５６における透明領域５４ｂの透過度をリアルタイムで変更する。なお、非透明領域５４ｃは、スライド操作による修正が行われない。
【0061】
透過度調整部６１においてスライダー６２が左側に進むに従って透明領域５４ｂの透過度が下がり、右側に進むに従って透過度は上がる。例えば図１１（ａ）では、透明領域５４ｂと背景が区別可能であるが、同図（ｂ）では、透明領域５４ｂと背景との輪郭が視認可能であるものの両者の区別が（ａ）に比べて難しくなる。さらに、同図（ｃ）では、完全に透過する状態であり、透明領域５４ｂの輪郭が視認困難である。
ユーザによる確定操作がなされると、ユーザ補正部１５は、補正後合成画像（図１０参照）を作成する。
ユーザによる確定操作がなされると、ユーザ補正部１５は、補正後合成画像（図１０参照）を作成する。
【0062】
透過度の変更は、スライダー６２のスライドという簡易な操作で行うものであり、透過度調整を容易に行うことができる。
なお、透過度の変更は、例えば透過度がαマスクであれば、０と１でないα値を全体的に弱める、もしくは強めることで変更できるが、変更方法は任意である。
透過度調整部６１のスライダー６２の操作は、ユーザによる修正指示の一例であり、透過度の変更を行うものの一例である。
なお、透過度の変更は、例えば透過度がαマスクであれば、０と１でないα値を全体的に弱める、もしくは強めることで変更できるが、変更方法は任意である。
透過度調整部６１のスライダー６２の操作は、ユーザによる修正指示の一例であり、透過度の変更を行うものの一例である。
【0063】
［第３の実施の形態］
図１２は、第３の実施の形態に係る画像処理装置１０の機能構成例を表すブロック図である。図示するように、第３の実施の形態に係る画像処理装置１０は、対象物領域推定部１１と、トライマップ生成部１２と、透過度推定部１３と、ユーザ補正部１６とを備えている。
このため、第３の実施の形態は、透明領域及び非透明領域を自動で決定していたためにユーザによる微調整ができない第１の実施の形態とは異なり、ユーザの指示により、領域の修正を行うことができる。
なお、第３の実施の形態に係る画像処理装置１０では、第２の実施の形態が備える画像合成部１４を備えていないが、備えてもよい。
図１２は、第３の実施の形態に係る画像処理装置１０の機能構成例を表すブロック図である。図示するように、第３の実施の形態に係る画像処理装置１０は、対象物領域推定部１１と、トライマップ生成部１２と、透過度推定部１３と、ユーザ補正部１６とを備えている。
このため、第３の実施の形態は、透明領域及び非透明領域を自動で決定していたためにユーザによる微調整ができない第１の実施の形態とは異なり、ユーザの指示により、領域の修正を行うことができる。
なお、第３の実施の形態に係る画像処理装置１０では、第２の実施の形態が備える画像合成部１４を備えていないが、備えてもよい。
【0064】
ユーザ補正部１６は、透明領域と非透明領域との境界についてユーザによる修正指示を受け付け、受け付けた修正指示に従って境界を変更し、変更後の境界に応じた補正後トライマップ画像を作成する。
その後、透過度推定部１３は、画像と補正後トライマップ画像を基にして透過度画像を作成する。
その後、透過度推定部１３は、画像と補正後トライマップ画像を基にして透過度画像を作成する。
【0065】
図１３は、ユーザ補正部１６の処理を説明する図であり、（ａ）はユーザ補正部１６の処理前を示し、（ｂ）は処理後を示す。（ａ）、（ｂ）の各上段は画像に透明領域と非透明領域の境界を上書きした上書き画像５６であり、各下段はトライマップ画像５４である。
図１３（ａ）に示すように、上書き画像５６が画面に表示された場合、ユーザが透明領域５４ｂ及び非透明領域５４ｃを確認したところ、りんごＧ３の画像と非透明領域５４ｃとが一致していない。すなわち、非透明領域５４ｃが透明領域５４ｂ側にはみ出た領域５７が存在する。かかるはみ出た領域５７は、同図（ａ）の下段に示すトライマップ画像５４にも存在し、トライマップ生成部１２の処理に起因するものである。
図１３（ａ）に示すように、上書き画像５６が画面に表示された場合、ユーザが透明領域５４ｂ及び非透明領域５４ｃを確認したところ、りんごＧ３の画像と非透明領域５４ｃとが一致していない。すなわち、非透明領域５４ｃが透明領域５４ｂ側にはみ出た領域５７が存在する。かかるはみ出た領域５７は、同図（ａ）の下段に示すトライマップ画像５４にも存在し、トライマップ生成部１２の処理に起因するものである。
【0066】
そこで、ユーザは、図１３（ａ）の手順Ｐ１のように、上書き画像５６の透明領域５４ｂをマウスでタッチ操作した後、手順Ｐ２のように、はみ出た領域５７に向かって動かすドラッグ操作を行う。かかるユーザ操作により、ユーザ補正部１６は、はみ出た領域５７が小さくなるようにトライマップ画像５４を補正する。
【0067】
はみ出た領域５７を小さくするユーザ操作が完了すると、図１３（ｂ）に示す上書き画像５６では、はみ出た領域５７がなくなり、非透明領域５４ｃがりんごＧ３の画像と一致している。これは、ユーザ補正部１６が、同図（ｂ）の下段に示すトライマップ画像５４に対しユーザ操作によるはみ出た領域５７の削除補正を行ったものである。
【0068】
なお、図１３では、はみ出た領域５７に対する補正指示を、ドラッグ操作前に透明領域５４ｂをタッチ操作する場合で説明したが、これに限られず、非透明領域５４ｃをタッチ操作する場合でもよい。
また、はみ出た領域５７をタッチ操作した後に、りんごＧ３の輪郭をなぞるようにマウス操作を行うことで補正指示するようにしてもよい。
また、はみ出た領域５７をタッチ操作した後に、りんごＧ３の輪郭をなぞるようにマウス操作を行うことで補正指示するようにしてもよい。
【0069】
このように、ユーザ補正部１６では、ユーザがタッチ操作やマウス操作でなぞることで、その領域を透明領域５４ｂないし非透明領域５４ｃに変更あるいは追加することができる。
【0070】
画面でのユーザ操作は、ユーザによる修正指示の一例であり、透明領域５４ｂを非透明領域５４ｃに対して変更する操作であって透明領域５４ｂと非透明領域５４ｃとの境界を変更する操作としての境界変更を行うものの一例である。
また、透明領域５４ｂまたは非透明領域５４ｃをマウスでタッチ操作する修正指示は、透明領域５４ｂと非透明領域５４ｃのいずれか一方を選択することの一例であり、ドラッグ操作する修正指示は、他方において指定された部分を一方に変更するものの一例である。
また、透明領域５４ｂまたは非透明領域５４ｃをマウスでタッチ操作する修正指示は、透明領域５４ｂと非透明領域５４ｃのいずれか一方を選択することの一例であり、ドラッグ操作する修正指示は、他方において指定された部分を一方に変更するものの一例である。
【0071】
［第４の実施の形態］
図１４は、第４の実施の形態に係る画像処理装置１０の処理を説明する図である。
同図に示す第４の実施の形態は、複数の対象物を含む画像５８が画面に表示される場合に、必要な部分を切り取り、切り取った画像５１について上述の処理を行う場合である。
より詳細には、画面に表示される左側の画像５８には、透明な袋Ｇ１に入ったりんごＧ３と透明な袋Ｇ１に入ったレモンＧ５がある。
図１４は、第４の実施の形態に係る画像処理装置１０の処理を説明する図である。
同図に示す第４の実施の形態は、複数の対象物を含む画像５８が画面に表示される場合に、必要な部分を切り取り、切り取った画像５１について上述の処理を行う場合である。
より詳細には、画面に表示される左側の画像５８には、透明な袋Ｇ１に入ったりんごＧ３と透明な袋Ｇ１に入ったレモンＧ５がある。
【0072】
ユーザが透明な袋Ｇ１に入ったりんごＧ３を利用しようとする場合、中央の画像５８に示すように、トリミングする長方形の右下位置をポイント５８ａで指定し、画面においてトリミング枠５８ｂの範囲を定める。
このようにしてトリミング枠５８ｂ外の領域が取り除かれ、トリミング枠５８ｂで囲まれた領域が、画像５１として切り出される。このため、透明な袋Ｇ１に入った対象物が複数ある場合にも対応することができ、また、透明領域５４ｂ（例えば図６参照）の透過度の精度向上を図ることができる。
画像５８に含まれる透明な袋Ｇ１に入ったりんごＧ３や透明な袋Ｇ１に入ったレモンＧ５は、画像に含まれる複数の対象物の一例である。なお、対象物領域５３ａないし透明領域５４ｂ及び非透明領域５４ｃ（例えば図６参照）は、対象物の領域の一例である。
このようにしてトリミング枠５８ｂ外の領域が取り除かれ、トリミング枠５８ｂで囲まれた領域が、画像５１として切り出される。このため、透明な袋Ｇ１に入った対象物が複数ある場合にも対応することができ、また、透明領域５４ｂ（例えば図６参照）の透過度の精度向上を図ることができる。
画像５８に含まれる透明な袋Ｇ１に入ったりんごＧ３や透明な袋Ｇ１に入ったレモンＧ５は、画像に含まれる複数の対象物の一例である。なお、対象物領域５３ａないし透明領域５４ｂ及び非透明領域５４ｃ（例えば図６参照）は、対象物の領域の一例である。
【0073】
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU：Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。
また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0074】
＜付記＞
(((1)))
プロセッサを備え、前記プロセッサは、画像から透明領域を含む対象物の領域である対象物領域を定め、前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得し、
前記画像及び前記情報を基に前記第２領域の透過度を定める、
情報処理装置。
(((2)))
前記取得する情報は、前記第１領域、前記第２領域及び前記第３領域の各々を示す３つの値からなる画像の情報である、ことを特徴とする(((1)))に記載の情報処理装置。
(((3)))
前記第２領域及び前記第３領域の各々を示す値は、前記第１領域の色情報と当該第２領域及び当該第３領域の色情報との差により定まる、ことを特徴とする(((2)))に記載の情報処理装置。
(((4)))
前記対象物領域は、機械学習モデルを用いて定められる、ことを特徴とする(((1)))乃至(((3)))のいずれか１項に記載の情報処理装置。
(((5)))
前記対象物領域は、前記画像に含まれる複数の対象物のいずれか一つである、ことを特徴とする(((1)))乃至(((4)))のいずれか１項に記載の情報処理装置。
(((6)))
画面に表示した前記第２領域についてユーザによる修正指示を受け付ける、ことを特徴とする(((1)))に記載の情報処理装置。
(((7)))
前記修正指示は、前記第２領域を前記第３領域に対して変更する両者の境界変更を行うものである、ことを特徴とする(((6)))に記載の情報処理装置。
(((8)))
前記境界変更は、前記第２領域と前記第３領域のいずれか一方を選択し他方において指定された部分を当該一方に変更するものである、ことを特徴とする(((7)))に記載の情報処理装置。
(((9)))
前記修正指示は、前記透過度の変更を行うものである、ことを特徴とする(((6)))に記載の情報処理装置。
(((10)))
コンピュータに、
画像から透明領域を含む対象物の領域である対象物領域を定める機能と、
前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得する機能と、
前記画像及び前記情報を基に前記第２領域の透過度を定める機能と、
を実現させるプログラム。
(((1)))
プロセッサを備え、前記プロセッサは、画像から透明領域を含む対象物の領域である対象物領域を定め、前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得し、
前記画像及び前記情報を基に前記第２領域の透過度を定める、
情報処理装置。
(((2)))
前記取得する情報は、前記第１領域、前記第２領域及び前記第３領域の各々を示す３つの値からなる画像の情報である、ことを特徴とする(((1)))に記載の情報処理装置。
(((3)))
前記第２領域及び前記第３領域の各々を示す値は、前記第１領域の色情報と当該第２領域及び当該第３領域の色情報との差により定まる、ことを特徴とする(((2)))に記載の情報処理装置。
(((4)))
前記対象物領域は、機械学習モデルを用いて定められる、ことを特徴とする(((1)))乃至(((3)))のいずれか１項に記載の情報処理装置。
(((5)))
前記対象物領域は、前記画像に含まれる複数の対象物のいずれか一つである、ことを特徴とする(((1)))乃至(((4)))のいずれか１項に記載の情報処理装置。
(((6)))
画面に表示した前記第２領域についてユーザによる修正指示を受け付ける、ことを特徴とする(((1)))に記載の情報処理装置。
(((7)))
前記修正指示は、前記第２領域を前記第３領域に対して変更する両者の境界変更を行うものである、ことを特徴とする(((6)))に記載の情報処理装置。
(((8)))
前記境界変更は、前記第２領域と前記第３領域のいずれか一方を選択し他方において指定された部分を当該一方に変更するものである、ことを特徴とする(((7)))に記載の情報処理装置。
(((9)))
前記修正指示は、前記透過度の変更を行うものである、ことを特徴とする(((6)))に記載の情報処理装置。
(((10)))
コンピュータに、
画像から透明領域を含む対象物の領域である対象物領域を定める機能と、
前記画像及び前記対象物領域から、当該画像における当該対象物領域以外の領域である第１領域と、当該対象物領域のうち前記透明領域である第２領域及び当該第２領域以外の領域である第３領域と、を示す情報を取得する機能と、
前記画像及び前記情報を基に前記第２領域の透過度を定める機能と、
を実現させるプログラム。
【0075】
(((1)))の発明によれば、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することができる。
(((2)))の発明によれば、取得する情報が第１領域、第２領域及び第３領域の各々を示す３つの値からなる画像の情報でない場合に比べ、情報処理の負担軽減を図ることができる。
(((3)))の発明によれば、第２領域及び第３領域の各々を示す値が第１領域の色情報と第２領域及び第３領域の色情報との差により定まる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
(((4)))の発明によれば、対象物領域が機械学習モデルを用いて定められる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
(((5)))の発明によれば、対象物領域が画像に含まれる複数の対象物のいずれか一つである構成を採用しない場合に比べ、透過度の精度向上を図ることができる。
(((6)))の発明によれば、画面に表示した第２領域についてユーザによる修正指示を受け付ける構成を採用しない場合に比べ、使用感を向上させることができる。
(((7)))の発明によれば、修正指示が第２領域を第３領域に対して変更する両者の境界変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
(((8)))の発明によれば、境界変更が第２領域と第３領域のいずれか一方を選択し他方において指定された部分を一方に変更するものである構成を採用しない場合に比べ、操作性の向上を図ることができる。
(((9)))の発明によれば、修正指示が透過度の変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
(((10)))の発明によれば、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することができる。
(((2)))の発明によれば、取得する情報が第１領域、第２領域及び第３領域の各々を示す３つの値からなる画像の情報でない場合に比べ、情報処理の負担軽減を図ることができる。
(((3)))の発明によれば、第２領域及び第３領域の各々を示す値が第１領域の色情報と第２領域及び第３領域の色情報との差により定まる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
(((4)))の発明によれば、対象物領域が機械学習モデルを用いて定められる構成を採用しない場合に比べ、情報処理の負担軽減を図ることができる。
(((5)))の発明によれば、対象物領域が画像に含まれる複数の対象物のいずれか一つである構成を採用しない場合に比べ、透過度の精度向上を図ることができる。
(((6)))の発明によれば、画面に表示した第２領域についてユーザによる修正指示を受け付ける構成を採用しない場合に比べ、使用感を向上させることができる。
(((7)))の発明によれば、修正指示が第２領域を第３領域に対して変更する両者の境界変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
(((8)))の発明によれば、境界変更が第２領域と第３領域のいずれか一方を選択し他方において指定された部分を一方に変更するものである構成を採用しない場合に比べ、操作性の向上を図ることができる。
(((9)))の発明によれば、修正指示が透過度の変更を行うものである構成を採用しない場合に比べ、使用感を向上させることができる。
(((10)))の発明によれば、特殊な装置や環境を用いなくても画像の透明領域の透過度を取得することができる。
【符号の説明】
【0076】
１０…画像処理装置、１０ａ…プロセッサ、５１…画像、５３ａ…対象物領域、５４…トライマップ画像、５４ａ…対象物領域外、５４ｂ…透明領域、５４ｃ…非透明領域、Ｇ１…透明な袋、Ｇ３…りんご
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
