特表 2024-511392 画像から削除するオブジェクトを推薦する方法、コンピュータ装置、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-13

(54)【発明の名称】画像から削除するオブジェクトを推薦する方法、コンピュータ装置、およびコンピュータプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240306BHJP

   G06T 7/62 20170101ALI20240306BHJP

【ＦＩ】

G06T7/60 110

G06T7/62

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023557167

(86)(22)【出願日】2022-01-25

(85)【翻訳文提出日】2023-09-22

(86)【国際出願番号】 KR2022001299

(87)【国際公開番号】W WO2022196929

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】10-2021-0034906

(32)【優先日】2021-03-17

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】516014409

【氏名又は名称】ライン プラス コーポレーション

【氏名又は名称原語表記】ＬＩＮＥ Ｐｌｕｓ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】チェ イェ ウォン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096EA39

5L096FA52

5L096FA59

5L096GA30

5L096GA51

5L096HA09

5L096HA11

(57)【要約】

画像から削除するオブジェクトを推薦する方法、コンピュータ装置、およびコンピュータプログラムを提供する。削除オブジェクト推薦方法は、オブジェクトサイズと重複検出される同一属性のオブジェクトの数に基づいて、画像に含まれるオブジェクトのうちからノイズオブジェクトを選定する段階、および前記ノイズオブジェクトを前記画像から削除する領域として推薦する段階を含む。

【特許請求の範囲】

【請求項1】

コンピュータ装置で実行される削除オブジェクト推薦方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記削除オブジェクト推薦方法は、
前記少なくとも１つのプロセッサが、前記オブジェクトサイズと重複検出される同一属性のオブジェクトの数に基づいて、前記画像に含まれるオブジェクトのうちからノイズオブジェクトを選定する段階、および
前記少なくとも１つのプロセッサが、前記ノイズオブジェクトを前記画像から削除する領域として推薦する段階
を含む、削除オブジェクト推薦方法。

【請求項2】

前記選定する段階は、
前記オブジェクトサイズが閾値未満であり、かつ前記同一属性のオブジェクトの数が閾値未満であるオブジェクトを前記ノイズオブジェクトとして選定する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項3】

前記選定する段階は、
前記オブジェクトサイズが閾値以上であるオブジェクト、または前記オブジェクトサイズが閾値未満であり、かつ前記同一属性のオブジェクトの数が閾値以上であるオブジェクトを前記ノイズオブジェクトの選定対象から除外する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項4】

記選定する段階は、
前記画像において特定されたメイン被写体の属性をさらに利用して前記ノイズオブジェクトを選定する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項5】

前記選定する段階は、
削除する属性に対する事前リストをさらに利用して前記ノイズオブジェクトを選定する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項6】

前記事前リストは、画像タイプごとに区分され、各画像タイプによって異なる属性リストで構成されること
を特徴とする、請求項５に記載の削除オブジェクト推薦方法。

【請求項7】

前記選定する段階は、
前記ノイズオブジェクトそれぞれに対して、前記オブジェクトサイズとオブジェクト属性に対する加重値を利用して削除確率点数を算出する段階、および
前記削除確率点数を基準に、前記ノイズオブジェクトのうち少なくとも一部のオブジェクトを最終ノイズオブジェクトとして選定する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項8】

前記オブジェクト属性に対する加重値は、前記画像のタイプによって異なるように付与されること
を特徴とする、請求項７に記載の削除オブジェクト推薦方法。

【請求項9】

前記推薦する段階は、
前記画像から前記ノイズオブジェクトが削除された結果画像を提供する段階
を含むことを特徴とする、請求項１に記載の削除オブジェクト推薦方法。

【請求項10】

前記推薦する段階は、
前記画像から前記ノイズオブジェクトが削除された結果画像を、前記ノイズオブジェクトが削除される前の原本画像とともに提供する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項11】

前記推薦する段階は、
前記画像に含まれるオブジェクトのうち、前記ノイズオブジェクトに該当するオブジェクトに対して個別のディスプレイ要素を表示する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項12】

前記ディスプレイ要素は、前記ノイズオブジェクトに該当するオブジェクトの属性または削除確率によって異なるインタフェースで構成されること
を特徴とする、請求項１１に記載の削除オブジェクト推薦方法。

【請求項13】

前記推薦する段階は、
前記画像に含まれるオブジェクトのうち、前記ノイズオブジェクトに該当するオブジェクトを、削除優先順位によって、削除が必要な削除勧告オブジェクトと選択的に削除が可能な削除可能オブジェクトに区分して表示する段階
を含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項14】

前記削除勧告オブジェクトと前記削除可能オブジェクトは、前記ノイズオブジェクトに該当するオブジェクトの属性または削除確率によって決定されること
を特徴とする、請求項１３に記載の削除オブジェクト推薦方法。

【請求項15】

前記削除オブジェクト推薦方法は、
前記少なくとも１つのプロセッサが、ユーザ入力に対応して、前記ノイズオブジェクトを選定する基準である前記オブジェクトサイズと前記同一属性のオブジェクトの数を調整する段階
をさらに含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項16】

前記削除オブジェクト推薦方法は、
前記少なくとも１つのプロセッサが、前記画像において、ユーザ入力に対応する領域を初期領域としてマーキングする段階、
前記少なくとも１つのプロセッサが、前記初期領域内のピクセル間の差分値を利用して前記初期領域に含まれるオブジェクトのアウトラインを検出し、オブジェクト領域を抽出する段階、および
前記少なくとも１つのプロセッサが、前記初期領域を前記オブジェクト領域に修正して表示する段階
をさらに含む、請求項１に記載の削除オブジェクト推薦方法。

【請求項17】

請求項１～１６のいずれか一項に記載の削除オブジェクト推薦方法を前記コンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラム。

【請求項18】

コンピュータ装置であって、
前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
前記オブジェクトサイズと重複検出される同一属性のオブジェクトの数に基づいて、画像に含まれるオブジェクトのうちからノイズオブジェクトを選定する候補選定部、および
前記ノイズオブジェクトを前記画像から削除する領域として推薦するオブジェクト推薦部
を含む、コンピュータ装置。

【請求項19】

前記候補選定部は、
前記画像において特定されたメイン被写体の属性、または削除する属性に対する事前リストをさらに利用して前記ノイズオブジェクトを選定すること
を特徴とする、請求項１８に記載のコンピュータ装置。

【請求項20】

前記候補選定部は、
前記ノイズオブジェクトそれぞれに対して、前記オブジェクトサイズとオブジェクト属性に対する加重値を利用して削除確率点数を算出し、
前記削除確率点数を基準に、前記ノイズオブジェクトのうち少なくとも一部のオブジェクトを最終ノイズオブジェクトとして選定すること
を特徴とする、請求項１８に記載のコンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、画像内のオブジェクトを分類する技術に関する。

【背景技術】

【0002】

マルチメディア技術やコンピュータ技術の発展にともない、電子機器を使って多様なサービスを利用することができるようになった。

【0003】

特に、画像処理技術の発展にともない、画像に含まれる不要なオブジェクトを削除する技法が提供されている。

【0004】

例えば、韓国公開特許第１０－２０１５－０１２６７６８号公報には、キャプチャされた多数の画像から選択された基本画像から少なくとも１つの移動するオブジェクトを削除して画像を合成する技術が開示されている。

【0005】

しかし、画像内の不要なオブジェクトを決定するためには、同じ画面に対して異なる時間に撮影された複数の画像が必要であったり、画像処理装置が提供する機能をユーザが直接利用しながら不要なオブジェクトを選択しなければならないという問題があった。

【発明の概要】

【発明が解決しようとする課題】

【0006】

画像に含まれるオブジェクトからノイズオブジェクト（ｎｏｉｓｅ ｏｂｊｅｃｔ）を自動検出して、削除領域として推薦することができる。

【0007】

重複オブジェクトの有無とオブジェクトサイズを考慮して、削除する候補オブジェクトを検出することができる。

【0008】

メイン被写体の属性を考慮して、削除する候補オブジェクトを検出することができます。

【0009】

削除する候補オブジェクトに対して優先順位を適用して推薦することができる。

【課題を解決するための手段】

【0010】

コンピュータ装置で実行される削除オブジェクト推薦方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記削除オブジェクト推薦方法は、前記少なくとも１つのプロセッサが、オブジェクトサイズと重複検出される同一属性のオブジェクトの数に基づいて、画像に含まれるオブジェクトのうちからノイズオブジェクトを選定する段階、および前記少なくとも１つのプロセッサが、前記ノイズオブジェクトを前記画像から削除する領域として推薦する段階を含む、削除オブジェクト推薦方法を提供する。

【0011】

一側面によると、前記選定する段階は、前記オブジェクトサイズが閾値未満であり、かつ同一属性のオブジェクトの数が閾値未満であるオブジェクトを前記ノイズオブジェクトとして選定する段階を含んでよい。

【0012】

他の側面によると、前記選定する段階は、前記オブジェクトサイズが閾値以上であるオブジェクト、または前記オブジェクトサイズが閾値未満であり、かつ前記同一属性のオブジェクトの数が閾値以上であるオブジェクトを前記ノイズオブジェクトの選定対象から除外する段階を含んでよい。

【0013】

また他の側面によると、前記選定する段階は、前記画像に特定されたメイン被写体の属性をさらに利用して前記ノイズオブジェクトを選定する段階を含んでよい。

【0014】

また他の側面によると、前記選定する段階は、削除する属性に対する事前リストをさらに利用して前記ノイズオブジェクトを選定する段階を含んでよい。

【0015】

また他の側面によると、前記事前リストは、画像タイプごとに区分され、各画像タイプによって異なる属性リストで構成されてよい。

【0016】

また他の側面によると、前記選定する段階は、前記ノイズオブジェクトそれぞれに対して、前記オブジェクトサイズとオブジェクト属性に対する加重値を利用して削除確率点数を算出する段階、および前記削除確率点数を基準に、前記ノイズオブジェクトのうち少なくとも一部のオブジェクトを最終ノイズオブジェクトとして選定する段階を含んでよい。

【0017】

また他の側面によると、前記オブジェクト属性に対する加重値は、前記画像のタイプごとに異なるように付与されてよい。

【0018】

また他の側面によると、前記推薦する段階は、前記画像から前記ノイズオブジェクトが削除された結果画像を提供する段階を含んでよい。

【0019】

また他の側面によると、前記推薦する段階は、前記画像から前記ノイズオブジェクトが削除された結果画像を、前記ノイズオブジェクトが削除される前の原本画像とともに提供する段階を含んでよい。

【0020】

また他の側面によると、前記推薦する段階は、前記画像に含まれるオブジェクトのうち、前記ノイズオブジェクトに該当するオブジェクトに対して個別のディスプレイ要素を表示する段階を含んでよい。

【0021】

また他の側面によると、前記ディスプレイ要素は、前記ノイズオブジェクトに該当するオブジェクトの属性または削除確率によって異なるインタフェースで構成されてよい。

【0022】

また他の側面によると、前記推薦する段階は、前記画像に含まれるオブジェクトのうち、前記ノイズオブジェクトに該当するオブジェクトを、削除優先順位によって必須的に削除が必要な削除警告オブジェクトと選択的に削除が可能な削除可能オブジェクトに区分して表示する段階を含んでよい。

【0023】

また他の側面によると、前記削除警告オブジェクトと前記削除可能オブジェクトは、前記ノイズオブジェクトに該当するオブジェクトの属性または削除確率によって決定されてよい。

【0024】

また他の側面によると、前記削除オブジェクト推薦方法は、前記少なくとも１つのプロセッサが、ユーザ入力に対応して、前記ノイズオブジェクトを選定する基準である前記オブジェクトサイズと前記同一属性のオブジェクトの数を調節する段階をさらに含んでよい。

【0025】

さらに他の側面によると、前記削除オブジェクト推薦方法は、前記少なくとも１つのプロセッサが、前記画像において、ユーザ入力に対応する領域を初期領域としてマーキングする段階、前記少なくとも１つのプロセッサが、前記初期領域内のピクセル間の差分値を利用して前記初期領域に含まれるオブジェクトのアウトラインを検出してオブジェクト領域を抽出する段階、および前記少なくとも１つのプロセッサが、前記初期領域を前記オブジェクト領域に修正して表示する段階をさらに含んでよい。

【0026】

前記削除オブジェクト推薦方法を前記コンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。

【0027】

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、オブジェクトサイズと重複検出される同一属性のオブジェクトの数に基づいて、画像に含まれるオブジェクトのうちからノイズオブジェクトを選定する候補選定部、および前記ノイズオブジェクトを前記画像から削除する領域として推薦するオブジェクト推薦部を含む、コンピュータ装置を提供する。

【発明の効果】

【0028】

本発明の実施形態によると、画像に含まれるオブジェクトからノイズオブジェクト（ｎｏｉｓｅ ｏｂｊｅｃｔ）を自動検出して、削除領域として推薦することができる。

【0029】

本発明の実施形態によると、重複オブジェクトの有無とオブジェクトサイズを考慮して、削除する候補オブジェクトを検出することができる。

【0030】

本発明の実施形態によると、メイン被写体の属性を考慮して、削除する候補オブジェクトを検出することができる。

【0031】

本発明の実施形態によると、削除する候補オブジェクトに対して優先順位を適用して推薦することができる。

【図面の簡単な説明】

【0032】

【図1】本発明の一実施形態における、コンピュータ装置の内部構成の一例を説明するためのブロック図である。

【図2】本発明の一実施形態における、コンピュータ装置のプロセッサが含むことができる構成要素の例を示した図である。

【図3】本発明の一実施形態における、コンピュータ装置が実行することができる方法の例を示したフローチャートである。

【図4】本発明の一実施形態における、ノイズオブジェクト選定過程を説明するための例示図である。

【図5】本発明の一実施形態における、ノイズオブジェクト選定過程を説明するための例示図である。

【図6】本発明の一実施形態における、ノイズオブジェクト選定過程を説明するための例示図である。

【図7】本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【図8】本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【図9】本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【図10】本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【図11】本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【図12】本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【図13】本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【発明を実施するための形態】

【0033】

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

【0034】

本発明の実施形態は、画像内のオブジェクトを分類する技術に関するものである。

【0035】

本明細書で具体的に開示される事項を含む実施形態は、画像に含まれるオブジェクトからノイズオブジェクトを自動感知し、削除領域として推薦することができる。

【0036】

図１は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。例えば、本発明の実施形態に係る削除オブジェクト推薦システムは、図１に示したコンピュータ装置１００によって実現されてよい。

【0037】

図１に示すように、コンピュータ装置１００は、本発明の実施形態に係る削除オブジェクト推薦方法を実行するための構成要素として、メモリ１１０、プロセッサ１２０、通信インタフェース１３０、および入力／出力インタフェース１４０を含んでよい。

【0038】

メモリ１１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１１０とは区分される別の永続的記録装置としてコンピュータ装置１００に含まれてもよい。また、メモリ１１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１１０とは別のコンピュータ読み取り可能な記録媒体からメモリ１１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース１３０を通じてメモリ１１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置１００のメモリ１１０にロードされてよい。

【0039】

プロセッサ１２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１１０または通信インタフェース１３０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0040】

通信インタフェース１３０は、ネットワーク１６０を介してコンピュータ装置１００が他の装置と互いに通信するための機能を提供してよい。一例として、コンピュータ装置１００のプロセッサ１２０がメモリ１１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース１３０の制御にしたがってネットワーク１６０を介して他の装置に伝送されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１６０を経てコンピュータ装置１００の通信インタフェース１３０を通じてコンピュータ装置１００に受信されてよい。通信インタフェース１３０を通じて受信された信号や命令、データなどは、プロセッサ１２０やメモリ１１０に伝送されてよく、ファイルなどは、コンピュータ装置１００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

【0041】

通信方式が限定されることはなく、ネットワーク１６０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１６０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１６０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0042】

入力／出力インタフェース１４０は、入力／出力装置１５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース１４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置１５０は、コンピュータ装置１００と１つの装置から構成されてもよい。

【0043】

また、他の実施形態において、コンピュータ装置１００は、図１の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術による構成要素を明確に図に示す必要はない。例えば、コンピュータ装置１００は、上述した入力／出力装置１５０のうちの少なくとも一部を含むように実現されてもよいし、送受信機、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。

【0044】

図２は、本発明の一実施形態における、コンピュータ装置のプロセッサが含むことができる構成要素の例を示した図であり、図３は、本発明の一実施形態における、コンピュータ装置が実行することができる削除オブジェクト推薦方法の例を示したフローチャートである。

【0045】

図２に示すように、プロセッサ１２０は、オブジェクト分類部２１０、候補選定部２２０、およびオブジェクト推薦部２３０を含んでよい。このようなプロセッサ１２０の構成要素は、少なくとも１つのプログラムコードによって提供される制御命令にしたがってプロセッサ１２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、プロセッサ１２０が画像に含まれるオブジェクトを分類するようにコンピュータ装置１００を制御するために動作する機能的表現として、オブジェクト分類部２１０が使用されてよい。

【0046】

プロセッサ１２０およびプロセッサ１２０の構成要素は、図３に示した削除オブジェクト推薦方法に含まれる段階３１０～３３０を実行してよい。例えば、プロセッサ１２０およびプロセッサ１２０の構成要素は、メモリ１１０が含むオペレーティングシステムのコードと、上述した少なくとも１つのプログラムコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、少なくとも１つのプログラムコードは、削除オブジェクト推薦方法を処理するために実現されたプログラムのコードに対応してよい。

【0047】

削除オブジェクト推薦方法は、図に示したものとは異なる順序で実行されてもよいし、段階のうちの一部が省略されたり追加の過程がさらに含まれたりしてもよい。

【0048】

プロセッサ１２０は、削除オブジェクト推薦方法のためのプログラムファイルに記録されたプログラムコードをメモリ１１０にロードしてよい。例えば、削除オブジェクト推薦方法のためのプログラムファイルは、図１を参照しながら説明した永続的記録装置１３０に記録されていてよく、プロセッサ１２０は、バスを介して永続的記録装置１３０に記録されたプログラムファイルからプログラムコードがメモリ１１０にロードされるようにコンピュータ装置１１０を制御してよい。このとき、プロセッサ１２０、およびプロセッサ１２０に含まれるオブジェクト分類部２１０、候補選定部２２０、およびオブジェクト推薦部２３０のそれぞれは、メモリ１１０にロードされたプログラムコードのうちの対応する部分の命令を実行して後続の段階３１０～３３０を実行するためのプロセッサ１２０の互いに異なる機能的表現であってよい。段階３１０～３３０の実行のために、プロセッサ１２０およびプロセッサ１２０の構成要素は、直接制御命令による演算を処理したり、コンピュータ装置１００を制御してよい。

【0049】

図３を参照すると、段階３１０で、オブジェクト分類部２１０は、画像に含まれるオブジェクトを認識して分類してよい。オブジェクト分類部２１０は、コンピュータ装置１００の入力／出力装置１５０として構成されたカメラで撮影された画像が入力されたり、コンピュータ装置１００と関連する保存空間（例えば、メモリ１１０、クラウドストレージなど）に保存された画像が呼び出されたりする場合、この画像に含まれるオブジェクトを認識して分類してよい。このとき、オブジェクト分類部２１０は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のようなディープラーニングモデルを利用したオブジェクト認識（ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ）技術または機械学習モデルを利用したオブジェクト認識技術によって、画像から多様な属性のオブジェクトを識別してよい。

【0050】

段階３２０で、候補選定部２２０は、画像に含まれるオブジェクトのうち、削除する候補オブジェクトとしてノイズオブジェクトを選定してよい。一例として、候補選定部２２０は、重複検出の有無とオブジェクトサイズに基づいてノイズオブジェクトを選定してよい。候補選定部２２０は、画像において識別されたオブジェクトを候補オブジェクトとして選定した後、画像において占める割合を示すオブジェクトサイズが閾値（ｔｈｒｅｓｈｏｌｄ）以上であるオブジェクトを候補オブジェクトから除外してよい。また、候補選定部２２０は、同一属性のオブジェクトが存在しない、すなわち、重複検出されなかったオブジェクトを候補オブジェクトから除外してよい。このとき、候補選定部２２０は、重複検出される同一属性のオブジェクトであったとしても、重複検出回数（同一属性のオブジェクトの数）が閾値以上である場合は、候補オブジェクトから除外してよい。ここで、閾値は、オブジェクト属性ごとに異なってよい。他の例として、候補選定部２２０は、画像において特定されたメイン被写体の属性をさらに利用してノイズオブジェクトを選定してよい。候補選定部２２０は、人工知能を利用することで、画像内のメイン被写体を簡単に見つけ出すことが可能である。例えば、画像において占める割合またはフォーカシング位置などに基づいてメイン被写体を認識してよい。候補選定部２２０は、画像のメイン被写体と同一属性のオブジェクトを候補オブジェクトから除外してよい。例えば、メイン被写体が鳥である場合、属性が鳥であるオブジェクトは候補オブジェクトから除外してよい。また他の例として、削除する属性のノイズオブジェクトリストを事前に定義してモデルに含ませてよく、候補選定部２２０は、事前に定義されたノイズオブジェクトリストをさらに利用してノイズオブジェクトを選定してよい。候補選定部２２０は、ノイズオブジェクトリストに含まれていない属性のオブジェクトを候補オブジェクトから除外してよい。実施形態によっては、削除する属性のノイズオブジェクトリストを画像タイプごとに区分して定義してよく、候補選定部２２０は、与えられた画像タイプによって、この画像タイプに対応するノイズオブジェクトリストを利用してノイズオブジェクトを選定してよい。例えば、人物写真に対してはノイズオブジェクトリストから人間などを除外し、風景写真に対してはノイズオブジェクトリストから鳥などを除外してよい。画像内のオブジェクトを削除する機能と関連するユーザ設定によってノイズオブジェクトを選定するロジックが異なるように適用されてよく、このとき、ノイズオブジェクトリストもユーザ設定によって選択的に適用されてよい。

【0051】

候補選定部２２０は、候補オブジェクトから除外されて残ったオブジェクトのうちの少なくとも一部を最終ノイズオブジェクトとして選定してよい。一例として、候補選定部２２０は、残りのオブジェクトそれぞれに対して、オブジェクトサイズとノイズオブジェクトリスト上に事前に付与された加重値に基づいてノイズオブジェクトに対する削除確率点数を算出した後、削除確率点数を基準にして最終ノイズオブジェクトを選定してよい。このとき、オブジェクトサイズは、画像の解像度（ｗｉｄｔｈ×ｈｅｉｇｈｔ）に対してオブジェクトが占める割合で計算されてよい。また、削除する属性のノイズオブジェクトリストが事前に定義される場合、オブジェクトリストに含まれる属性ごとに加重値が付与されてよい。例えば、電線には０．８、鳥には０．５、ゴミには０．４、人物には０．２などのように、属性ごとに加重値が付与されてよい。さらに、画像タイプごとにノイズオブジェクトリストが区分されて定義されている場合、各属性の加重値も画像タイプによって異なるように付与されてよい。画像はメイン被写体によって画像タイプが分類されてよく、例えば、風景写真、人物写真、事物写真などに分類されてよい。画像において識別されたオブジェクトの属性が「鳥」に該当する場合、属性「鳥」に対する加重値は画像タイプによって異なってよい。例えば、人物写真における属性「鳥」に対する加重値は、風景写真における属性「鳥」に対する加重値よりも高い値が付与されてよい。

【0052】

段階３３０で、オブジェクト推薦部２３０は、画像において識別されたオブジェクトのうち、最終ノイズオブジェクトとして選定されたオブジェクトを削除領域として推薦してよい。一例として、オブジェクト推薦部２３０は、画像からノイズオブジェクトが削除された結果画像を提供してよい。他の例として、オブジェクト推薦部２３０は、画像からノイズオブジェクトが削除された結果画像を、ノイズオブジェクトが削除される前の原本画像とともに提供してよい。また他の例として、オブジェクト推薦部２３０は、画像において識別されたオブジェクトのうち、ノイズオブジェクトに該当するオブジェクトに対して個別のディスプレイ要素を表示してよい。実施形態によって、ディスプレイ要素は、削除確率点数またはオブジェクトの属性によって異なるインタフェースで構成されてよい。例えば、削除確率点数が高いほどディスプレイ要素の色を濃く表示したり、オブジェクトの属性ごとに異なる色のディスプレイ要素を表示してよい。さらに他の例として、オブジェクト推薦部２３０は、画像において、ノイズオブジェクトに該当するオブジェクトを、必須的に削除が必要な削除勧告オブジェクトと選択的に削除が可能な削除可能オブジェクトに区分して表示してよい。このとき、削除勧告オブジェクトと削除可能オブジェクトは、削除確率点数によって決定されてもよいし、オブジェクトの属性によって決定されてもよい。削除勧告オブジェクトは、削除可能オブジェクトよりも高い削除優先順位を有するため、削除可能オブジェクトとは区別されるインタフェースで表示されてよい。

【0053】

図４は、本発明の一実施形態における、ノイズオブジェクト選定過程の一例を示した図である。

【0054】

図４を参照すると、候補選定部２２０は、画像において識別されたオブジェクトそれぞれに対して、画像の解像度に対してオブジェクトが占める割合を計算することによってオブジェクトサイズを計算する（Ｓ４０１）。

【0055】

候補選定部２２０は、オブジェクトサイズが閾値以上であるか否かを判定する（Ｓ４０２）。

【0056】

候補選定部２２０は、オブジェクトサイズが閾値以上であるオブジェクトを、削除する候補オブジェクトから除外する（Ｓ４０３）。

【0057】

候補選定部２２０は、オブジェクトサイズが閾値未満であるオブジェクトそれぞれに対して、重複検出されたオブジェクトであるか、すなわち、重複検出される同一属性のオブジェクトが存在するか否かを判断する（Ｓ４０４）。

【0058】

候補選定部２２０は、重複検出されたオブジェクトである場合、重複検出回数（同一属性のオブジェクトの数）が閾値以上であるか否かを判断する（Ｓ４０５）。

【0059】

候補選定部２２０は、閾値以上の回数で重複検出されたオブジェクトの場合、候補オブジェクトから除外する（Ｓ４０３）。

【0060】

候補選定部２２０は、重複検出されたオブジェクト間に画像のメイン被写体があるか否かオブジェクトサイズの差を判断してよく、重複検出回数が高くてメイン被写体がない重複オブジェクトの場合、候補オブジェクトから除外してよい。

【0061】

候補選定部２２０は、オブジェクトサイズと重複検出の有無を基準に、候補オブジェクトから除外されて残ったオブジェクトをノイズオブジェクトとして選定する（Ｓ４０６）。

【0062】

また、オブジェクトサイズが閾値未満であるオブジェクトのうち、重複オブジェクトでない場合と、重複オブジェクトであったとしても閾値未満の回数で重複検出されたオブジェクトの場合は、ノイズオブジェクトとして選定する（Ｓ４０７）。

【0063】

したがって、候補選定部２２０は、画像において識別されたオブジェクトのうち、オブジェクトサイズが閾値以上であるオブジェクト、オブジェクトサイズが閾値未満であり、かつ重複検出回数が閾値以上であるオブジェクトなどは、ノイズオブジェクト選定対象から除外することができる。

【0064】

一方、候補選定部２２０は、オブジェクトサイズが閾値未満であり、かつ重複オブジェクトに該当しないか、または重複検出回数が閾値未満であるオブジェクトなどをノイズオブジェクトとして選定することができる。

【0065】

図５は、本発明の一実施形態における、ノイズオブジェクト選定過程の他の例を示した図である。図５は、図４に示したノイズオブジェクト選定過程に段階５１１がさらに含まれたものである。

【0066】

図５を参照すると、候補選定部２２０は、オブジェクトサイズが閾値未満であるオブジェクトのうち、重複オブジェクトでないオブジェクトに対して、画像のメイン被写体と同一属性であるか否かを判定する（Ｓ５１１）。

【0067】

候補選定部２２０は、画像のメイン被写体と同一属性のオブジェクトを候補オブジェクトから除外し、メイン被写体とは異なる属性を有するオブジェクトの場合、ノイズオブジェクトとして選定してよい。

【0068】

したがって、候補選定部２２０は、メイン被写体と属性が異なるオブジェクトをノイズオブジェクトとして選定することができる。

【0069】

実施形態によっては、画像内のメイン被写体と同一属性のオブジェクトを候補オブジェクトから除外せず、メイン被写体と同一属性を有するオブジェクトの場合でもノイズオブジェクトとして選定することが可能である。例えば、メイン被写体が人物であり、残りの背景部分にメイン被写体と同一属性のオブジェクトである人物が存在する場合、背景部分に存在する人物のうち、オブジェクトサイズが閾値未満であるオブジェクトをノイズオブジェクトとして選定してよい。

【0070】

図６は、本発明の一実施形態における、ノイズオブジェクト選定過程のまた他の例を示した図である。図６は、図４に示したノイズオブジェクト選定過程に段階６２１がさらに含まれたものである。

【0071】

図６を参照すると、候補選定部２２０は、削除する属性のノイズオブジェクトリストが事前に定義されている場合、オブジェクトサイズが閾値未満であるオブジェクトのうちで重複オブジェクトでないオブジェクトに対して、ノイズオブジェクトリストに含まれる属性のオブジェクトであるか否かを判定する（Ｓ６２１）。

【0072】

候補選定部２２０は、ノイズオブジェクトリストに含まれていない属性のオブジェクトを候補オブジェクトから除外し、ノイズオブジェクトリストに含まれている属性のオブジェクトをノイズオブジェクトとして選定してよい。

【0073】

したがって、候補選定部２２０は、ノイズオブジェクトリストに含まれる属性のオブジェクトをノイズオブジェクトとして選定することができる。

【0074】

図７～１２は、本発明の一実施形態における、削除オブジェクト推薦のためのサービス画面の例を示した図である。

【0075】

図７を参照すると、プロセッサ１２０は、サービス画面７００上に、カメラで撮影または保存空間から呼び込まれた画像７１０を表示してよい。

【0076】

サービス画面７００には、削除オブジェクト推薦機能を実行するための個別のメニューボタン７１が含まれてよい。

【0077】

プロセッサ１２０は、メニューボタン７１を通じて削除オブジェクト推薦機能が実行される場合、画像７１０に含まれるオブジェクト７０１を認識して分類してよい。

【0078】

プロセッサ１２０は、画像７１０に含まれるオブジェクト７０１のうち、削除する候補オブジェクトとしてノイズオブジェクトを選定してよい。一例として、プロセッサ１２０は、オブジェクトサイズが閾値未満であり、かつ重複オブジェクトに該当しないか、重複検出回数が閾値未満であるオブジェクトなどをノイズオブジェクトとして選定してよい。プロセッサ１２０は、ノイズオブジェクトとして選定された候補オブジェクトそれぞれに対して、オブジェクトサイズとノイズオブジェクトリストに付与された加重値に基づいてノイズオブジェクトに対する削除確率点数を算出した後、削除確率点数を基準にして最終ノイズオブジェクトを選定してよい。

【0079】

一例として、図８を参照すると、プロセッサ１２０は、削除オブジェクト推薦機能の実行結果として、画像７１０上に最終ノイズオブジェクトとして選定されたオブジェクトを個別のディスプレイ要素８０１を用いて表示してよい。すなわち、プロセッサ１２０は、最終ノイズオブジェクトとして選定されたオブジェクトを削除領域として推薦することができる。プロセッサ１２０は、ユーザによってディスプレイ要素８０１が選択される場合、画像７１０からディスプレイ要素８０１に対応するオブジェクトを削除してよい。ユーザは、画像７１０からノイズオブジェクトの推薦を受け取ることができ、ディスプレイ要素８０１を利用してノイズオブジェクトを選択的に削除することができる。サービス画面７００は、画像７１０に含まれるノイズオブジェクトのうちの少なくとも２つ以上のオブジェクトを一括削除するためのインタフェースをさらに含んでよい。ノイズオブジェクトが削除された領域は、画像補間法によって、隣接する背景画像に置き換えられてよい。

【0080】

他の例として、図９を参照すると、プロセッサ１２０は、削除オブジェクト推薦機能の実行結果として、最終ノイズオブジェクトとして選定されたオブジェクトを削除した結果画像９１０を表示してよい。実施形態によっては、最終ノイズオブジェクトとして選定されたオブジェクトを削除した結果画像９１０を、最終ノイズオブジェクトが削除される前の原本画像７１０とともに表示してよい。

【0081】

さらに他の例として、プロセッサ１２０は、削除オブジェクト推薦機能の実行結果として、画像７１０上に、最終ノイズオブジェクトとして選定されたオブジェクトを削除勧告オブジェクトと削除可能オブジェクトに区分して表示してよい。図１０を参照すると、削除勧告オブジェクトを示すディスプレイ要素１００１と削除可能オブジェクトを示すディスプレイ要素１００２を区別して表示してよい。プロセッサ１２０は、ユーザによってディスプレイ要素１００１、１００２が選択される場合、画像７１０からディスプレイ要素１００１、１００２に対応するオブジェクトを削除してよい。ユーザは、削除勧告オブジェクトと削除可能オブジェクトの推薦を受け取ることができ、ディスプレイ要素１００１、１００２を利用して削除勧告オブジェクトと削除可能オブジェクトに該当するノイズオブジェクトを画像７１０から選択的に削除することができる。サービス画面７００には、画像７１０に含まれる削除勧告オブジェクトと削除可能オブジェクトに該当するノイズオブジェクトのうちの少なくとも２つ以上のオブジェクトを一括削除するためのインタフェースがさらに含まれてよい。

【0082】

さらに、プロセッサ１２０は、削除オブジェクト推薦機能に対する手動モードを提供してよい。一例として、手動モードは、ユーザがノイズオブジェクト選定基準を直接調整するための機能を含んでよい。ノイズオブジェクト選定基準は、オブジェクトサイズと重複検出回数を含んでよい。

【0083】

図１１を参照すると、サービス画面７００には、手動モードと関連するＵＩとして、ノイズオブジェクト選定基準を調整するためのインタフェース１１２０が含まれてよい。インタフェース１１２０を利用することで、ノイズオブジェクトの選定基準となるオブジェクトサイズと重複検出回数を増加させたり減少させたりすることが可能となる。インタフェース１１２０を利用した調整によって、ディスプレイ要素８０１として表示される最終ノイズオブジェクトの数を変えることができる。ユーザは、ノイズオブジェクト選定基準を強化してより少ない最終ノイズオブジェクトが推薦されるようにもできるし、ノイズオブジェクト選定基準を緩和させてより多くの最終ノイズオブジェクトが推薦されるようにすることもできる。

【0084】

実施形態によっては、手動モードの場合、ノイズオブジェクトの選択基準として、メイン被写体属性とノイズオブジェクトリストのうちの少なくとも１つを追加で適用するか否かを調整することも可能である。

【0085】

他の例として、手動モードは、ユーザが領域を直接マーキングし、マーキングされた領域内からオブジェクト領域を抽出する機能を含んでもよい。

【0086】

図１２を参照すると、プロセッサ１２０は、ユーザが画像７１０から削除するオブジェクトを選択するためにサービス画面７００に対するドラッグなどの入力によって画像７１０内の一部領域をマーキングする場合、ユーザ入力がそのまま反映された初期マーキング領域１２１１を表示してよい。次に、プロセッサ１２０は、図１３に示すように、初期マーキング領域１２１１内でオブジェクトが実際に占める領域、すなわち、オブジェクト領域１２１２を抽出して表示してよい。プロセッサ１２０は、初期マーキング領域１２１１で比重が最も大きいメインカラーに該当するピクセル値を抽出した後、これを基準にし、ピクセル間の差分値を利用してオブジェクトのアウトラインを見つけ出すことにより、きれいな境界のオブジェクト領域１２１２を抽出することができる。プロセッサ１２０は、ユーザによる初期マーキング領域１２１１を、実際のオブジェクトが占める領域だけを正確に抽出したオブジェクト領域１２１２に修正して表示してよい。プロセッサ１２０は、ユーザによってオブジェクト領域１２１２が選択される場合、画像７１０からオブジェクト領域１２１２に該当する部分だけを削除してよい。

【0087】

このように、本発明の実施形態によると、重複オブジェクトの有無とオブジェクトサイズを利用することにより、画像に含まれるオブジェクトからノイズオブジェクトを自動検出して削除領域として推薦することができる。本発明の実施形態によると、メイン被写体の属性を考慮して、削除する候補オブジェクトを検出することができ、削除する候補オブジェクトに対して優先順位を適用して推薦することができる。

【0088】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特定用途コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0089】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、所望のように動作するように処理装置を構成したり、個別にまたはまとめて処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0090】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであってもよいし、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続させる媒体はもちろん、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令が記録されるように構成されたものが挙げられる。また、他の媒体の例として、アプリケーションを流通するアプリストアや、その他の多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体や格納媒体も含まれる。

【0091】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0092】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】