(58)【調査した分野】(Int.Cl.,DB名)
前記プレビューイメージに含まれる前記オブジェクトの種類を識別する前に、多数の写真に対するイメージデータ及び前記多数の写真に含まれるオブジェクトの種類との間の相関関係について学習された、前記プレビューイメージに含まれる前記オブジェクトの種類を識別するための学習モデルを準備する段階をさらに含む請求項1に記載のイメージ処理方法。
前記第3イメージフィルターは、前記イメージフィルターを推薦するための学習モデル及び前記プレビューイメージを用いて前記プレビューイメージに含まれる前記オブジェクトの種類に応じて前記端末機の使用者が選択する確率が3番目に高いと予測される請求項1に記載のイメージ処理方法。
前記表示部は、前記第1イメージ領域に対応する前記表示部の第1表示領域及び前記第2イメージ領域に対応する前記表示部の第2表示領域の境界の任意の地点から始まるタッチドラッグ入力を受信し、前記タッチドラッグ入力に基づいて、前記第1イメージ領域の比率及び前記第2イメージ領域の比率を調整し、
前記制御部は、前記第1イメージ領域の比率または前記第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断し、前記判断結果に応じて、前記基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターを前記プレビューイメージの全領域に適用する請求項15に記載の端末機。
【発明の概要】
【発明が解決しようとする課題】
【0004】
記載された実施例によれば、使用者によって撮影されるイメージに含まれるオブジェクトの種類に適した2つ以上のイメージフィルターを推薦することができる端末機及びこれのイメージ処理方法が提供されることができる。
【0005】
また、実施例によれば、2つ以上のイメージフィルターを自動的に推薦することによって使用者の便利性を向上させることができる端末機及びこれのイメージ処理方法が提供されることができる。
【課題を解決するための手段】
【0006】
本発明の実施例に係る端末機で行われるイメージ処理方法は、端末機の周辺から反射された光から変換されたプレビューイメージの入力を受ける段階と、プレビューイメージに含まれるオブジェクトの種類を識別する段階と、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備する段階と、推薦アルゴリズムを用いてオブジェクトの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階、及び選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階を含むことができる。
【0007】
実施例において、端末機で行われるイメージ処理方法は、プレビューイメージに含まれるオブジェクトの種類を識別する前に、多数の写真に対するイメージデータ及び多数の写真に含まれるオブジェクトの種類との間の相関関係について学習された、プレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルを準備する段階をさらに含むことができる。
【0008】
実施例において、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備する段階は、多数のイメージに含まれるオブジェクトの種類及び多数のイメージを補正するために選択されたイメージフィルターの種類との間の相関関係について学習された、イメージフィルターを推薦するための学習モデルを準備する段階を含むことができる。
【0009】
実施例において、推薦アルゴリズムを用いてオブジェクトの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階は、イメージフィルターを推薦するための学習モデル及びプレビューイメージを用いて、プレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択する段階を含むことができる。
【0010】
実施例において、推薦アルゴリズムを用いてオブジェクトの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階は、プレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター、及びプレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択する段階をさらに含むことができる。
【0011】
実施例において、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、第1イメージフィルターをプレビューイメージの第1イメージ領域に適用する段階、及び第2イメージフィルターをプレビューイメージの第1イメージ領域を除いた領域である第2イメージ領域に適用する段階を含むことができる。
【0012】
実施例において、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、第1イメージ領域に対応する端末機の第1表示領域または第2イメージ領域に対応する端末機の第2表示領域に入力されたタッチドラッグ入力を受信する段階、及びタッチドラッグ入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを第1イメージフィルター及び第2イメージフィルターとは異なる第3イメージフィルターに変更する段階をさらに含むことができる。
【0013】
実施例において、第3イメージフィルターは、イメージフィルターを推薦するための学習モデル及びプレビューイメージを用いてプレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が3番目に高いと予測されることができる。
【0014】
実施例において、第1イメージ領域に対応する端末機の第1表示領域または第2イメージ領域に対応する端末機の第2表示領域に入力されたタッチドラッグ入力を受信する段階は、第1表示領域または第2表示領域に入力された、第1表示領域から第2表示領域に向かう方向と垂直な第1方向または第1方向と反対である第2方向へのタッチドラッグ入力を受信する段階を含むことができる。
【0015】
実施例において、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、第1表示領域及び第2表示領域の境界の任意の地点から始まるタッチドラッグ入力を受信する段階と、タッチドラッグ入力に基づいて第1イメージ領域の比率及び第2イメージ領域の比率を調整する段階と、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断する段階、及び判断結果に応じて、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用する段階をさらに含むことができる。
【0016】
実施例において、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断する段階は、第1イメージ領域の大きさまたは第2イメージ領域の大きさのうちのいずれか1つが基準大きさ以上広くなっていることを判断する段階を含むことができる。
【0017】
実施例において、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断する段階は、第1イメージ領域の横幅または第2イメージ領域の横幅のうちのいずれか1つが基準幅以上広くなっていることを判断する段階を含むことができる。
【0018】
実施例において、端末機で行われるイメージ処理方法は、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用する段階後に、撮影アイコンを出力する段階、及び撮影アイコンにタッチ入力が受信されると、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターが適用されたプレビューイメージを保存する段階をさらに含むことができる。
【0019】
実施例において、タッチドラッグ入力に基づいて、第1イメージ領域の比率及び第2イメージ領域の比率を調整する段階は、第1表示領域及び第2表示領域の境界の任意の地点から第2表示領域から第1表示領域に向かう方向へのタッチドラッグ入力が受信される場合、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第2イメージ領域の比率を増加させることができる。
【0020】
実施例において、タッチドラッグ入力に基づいて第1イメージ領域の比率及び第2イメージ領域の比率を調整する段階は、第1表示領域及び第2表示領域の境界の任意の地点から第1表示領域から第2表示領域に向かう方向へのタッチドラッグ入力が受信される場合、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第1イメージ領域の比率を増加させることができる。
【0021】
本発明の実施例に係る端末機は、周辺から反射された光から変換されたプレビューイメージの入力を受ける入力部と、プレビューイメージに含まれるオブジェクト(object)の種類を識別し、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを用いて2つ以上のイメージフィルターを選択する制御部、及び選択された2つ以上のイメージフィルターが適用されたプレビューイメージを表示する表示部を含み、制御部は、選択された2つ以上のフィルターのうちの第1イメージフィルターをプレビューイメージの第1イメージ領域に適用し、第1イメージフィルターと異なる第2イメージフィルターをプレビューイメージの第1イメージ領域を除いた領域である第2イメージ領域に適用することができる。
【0022】
実施例において、表示部は、第1イメージ領域に対応する表示部の第1表示領域または第2イメージ領域に対応する表示部の第2表示領域に入力されたタッチドラッグ(touch drag)入力を受信し、制御部は、タッチドラッグ入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを第1イメージフィルター及び第2イメージフィルターとは異なる第3イメージフィルターに変更することができる。
【0023】
実施例において、表示部は、第1表示領域または第2表示領域に入力された、第1表示領域から第2表示領域に向かう方向と垂直な第1方向または第1方向と反対である第2方向へのタッチドラッグ入力を受信することができる。
【0024】
実施例において、表示部は、第1イメージ領域に対応する表示部の第1表示領域及び第2イメージ領域に対応する表示部の第2表示領域の境界の任意の地点から始まるタッチドラッグ入力を受信し、タッチドラッグ入力に基づいて、第1イメージ領域の比率及び第2イメージ領域の比率を調整し、制御部は、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断し、判断結果に応じて、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用することができる。
【発明の効果】
【0025】
記載された実施例によれば、使用者によって撮影されるイメージに含まれるオブジェクトの種類に適した互いに異なる2つ以上のイメージフィルターが自動的に推薦されることができる。
【0026】
また、実施例によれば、互いに異なる2つ以上のイメージフィルターを自動的に推薦することによって、使用者の便利性が向上することができる。
【発明を実施するための形態】
【0028】
本発明の利点及び特徴、そしてそれを達成する方法は、添付した図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる様々な形態で具現されるものであり、単に本実施例は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
【0029】
「第1」または「第2」などが様々な構成要素を記述するために使用されるが、このような構成要素は、前記のような用語によって制限されるものではない。前記のような用語は、単に1つの構成要素を他の構成要素と区別するために使用することができる。したがって、以下に言及される第1構成要素は、本発明の技術的思想内で第2構成要素であることもできる。
【0030】
本明細書で使用される用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」または「含んでいる(comprising)」は、言及された構成要素または段階が1つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
【0031】
他の定義がなければ、本明細書で使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者に共通的に理解され得る意味として解釈されることができる。また、一般的に使用される辞書に定義されている用語は、明白に定義されていない限り理想的にまたは過度に解釈されない。
【0032】
図1は、本発明の実施例に係る電子装置が動作する環境を示すネットワーク構成図である。
図1を参照すると、電子装置100が動作する環境は、サーバー200及び電子装置100を含むことができる。例えば、電子装置100が動作する環境は、サーバー200を含めないことが有り得る。
【0033】
電子装置100は、サーバー200を媒介として連結されることができる。本発明の説明の便宜のために、
図1に1つの電子装置が示されている。しかし、電子装置の数は、1つに限定されない。電子装置100は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス(wearable device)、または携帯用電子機器のうちのいずれが1つで具現されることができる。電子装置100は、プログラムまたはアプリケーションを実行することができる。
【0034】
電子装置100は、通信網に連結されることができる。電子装置100は、通信網を介して外部の他の装置と互いに連結されることができる。電子装置100は、互いに連結された他の装置にデータを出力したり、他の装置からデータを受信することができる。
【0035】
電子装置100と連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は、3G、LTE、またはLTE−Aなどのような移動通信網を含むことができる。通信網は、ワイファイ(Wi−Fi)、UMTS/GPRS、またはイーサネット(登録商標)(Ethernet)などのような有線または無線通信網を含むことができる。通信網は、マグネチック保安出力(MST、Magnetic Secure Transmission)、RFID(Radio Frequency IDentification)、NFC(Near Field Communication)、ジグビー(ZigBee)、Z−Wave、ブルートゥース(Bluetooth(登録商標))、低電力ブルートゥース(BLE、Bluetooth Low Energy)、または赤外線通信(IR、InfraRed communication)などのような近距離通信網を含むことができる。通信網は、近距離ネットワーク(LAN、Local Area Network)、メトロポリタン・エリア・ネットワーク(MAN、Metropolitan Area Network)、またはワイド・エリア・ネットワーク(WAN、Wide Area Network)などを含むことができる。
【0036】
サーバー200は、電子装置100の使用者が電子装置100を用いて撮影したイメージを補正することができるように、各種プログラムまたはアプリケーション及びデータを保存することができる。
【0037】
以下では、発明の説明の便宜のために、電子装置及び端末機は、同じ意味で使用することができる。そして、電子装置100及びサーバー200の通信方法は、
図2〜
図11を参照して説明される。
【0038】
図2は、本発明の実施例に係る端末機の構成を示すブロック図である。
図2を参照すると、端末機100は、入力部110、保存部120、制御部130、出力部140及び通信部150を含むことができる。
【0039】
入力部110は、外部からの信号を受信することができる。入力部110は、端末機100の使用者からの信号を受信することができる。また、入力部110は、外部装置からの信号を受信することができる。入力部110は、例えば、マイク、カメラ、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、またはその他の入力装置などを含むことができる。入力部110は、入力部110に含まれるマイクを介して外部からの音声を受信することができる。また、入力部110は、入力部110に含まれるカメラから撮影されたイメージまたは使用者からのジェスチャーを受信することができる。または、入力部100は、端末機100の周辺から反射された光から変換されたプレビューイメージ(preview image)の入力を受けることができる。入力部110に含まれるタッチスクリーンは、端末機100の使用者からのタッチ入力を受信することができる。
【0040】
保存部120は、データを保存することができる。保存部120は、入力部110から受信された音声またはイメージデータを保存することができる。そして、保存部120は、制御部130によって行われた演算結果を保存することができる。例えば、保存部120は、制御部130によってエンコーディングされた音声を保存することができる。保存部120は、通信部150を介して外部に出力するデータを保存したり、通信部150を介して外部から受信されたデータを保存することができる。
【0041】
保存部120は、ソフトウェアまたはプログラムを保存することができる。例えば、保存部120は、アプリケーション、アプリケーション・プログラミング・インターフェース(API)などのようなプログラム及び様々な種類のデータを保存することができる。保存部120は、制御部130により実行可能なコマンドを保存することができる。
保存部120は、揮発性メモリーまたは非揮発性メモリーのうちの少なくとも1つを含むことができる。保存部120は、例えば、フラッシュ(flash)メモリー、ROM(Read Only Memory)、RAM(Random Access Memory)、EEROM(Electrically Erasable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、ハードディスクドライブ(HDD、Hard Disk Drive)、またはレジスター(register)のうちの少なくとも1つを含むことができる。保存部120は、例えば、ファイルシステム、データベース、またはエンベデッドデータベースなどを含むことができる。
【0042】
制御部130または制御部130に含まれる構成要素のそれぞれは、ソフトウェア(software)またはハードウェア(hardware)形態で具現されることができる。例示的には、ソフトウェアは、機械コード、ファームウェアコード(firmware code)、エンベデッドコード(embedded code)、及びアプリケーション(application)などのようなプログラム実行コマンドによって具現されることができる。ハードウェアは、電気電子回路、プロセッサー、コンピュータ、圧力センサー、慣性センサー、MEMS(microelectromechanical system)、受動素子、またはこれの組み合わせであることができる。
【0043】
制御部130は、端末機100の動作を制御することができる。制御部130は、端末機100に含まれるそれぞれの構成要素と互いに連結されることができる。制御部130は、端末機100に含まれるそれぞれの構成要素の動作を制御することができる。制御部130は、入力部110によって受信された信号に対する応答で、端末機100の動作を制御することができる。
【0044】
制御部130は、入力部110を介して入力されるプレビューイメージを検査することができる。プレビューイメージは、端末機100の使用者が入力部100を介して入力されるイメージを保存する前に、入力部110を介して入力されるイメージを意味することができる。例えば、制御部130は、入力されたプレビューイメージに含まれるオブジェクト(object)の種類を識別することができる。
【0045】
制御部130は、プレビューイメージに含まれるオブジェクトの種類が事物であるかまたは人であるかを識別することができる。より具体的には、プレビューイメージに含まれるオブジェクトが事物の場合には、制御部130は、事物の種類、色、またはパターンなどを識別することができる。または、制御部130は、プレビューイメージに含まれるオブジェクトの種類が特定の動物、特定の食品、特定の風景または特定の部品であることを識別することができる。
【0046】
制御部130は、準備された学習モデルを用いて、プレビューイメージに含まれるオブジェクトの種類に適した2つ以上のイメージフィルターを選択することができる。制御部130が2つ以上のイメージフィルターを選択する方法は、
図2〜
図8を参照して、詳細に説明されることができる。
【0047】
出力部140は、表示部141を含むことができる。表示部141は、画面を表示することができる。制御部130は、表示部141に画面が表示されるように制御することができる。表示部141は、ユーザーインターフェースを表示することができる。表示部141は、使用者からの入力に対する応答として、他の画面を表示することができる。
【0048】
表示部141は、データを表示することができる。表示部141は、制御部130によって行われた演算結果を表示することができる。例えば、表示部141は、制御部130によって選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力することができる。表示部141は、保存部120に保存されたデータを表示することができる。表示部141は、通信部150によって受信されたデータを表示することができる。例えば、表示部141は、入力部110から受信されるイメージを表示することができる。
【0049】
表示部141は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)、またはPDP(Plasma Display Panel)などの平板表示装置を含むことができる。表示部141は、曲面ディスプレイまたはフレキシブルディスプレイ(flexible display)を含むことができる。表示部141は、タッチスクリーンを含むことができる。表示部141がタッチスクリーンを含む場合、表示部141は、出力動作を行うとともに、入力部110として動作することができる。
【0050】
出力部140は、音声を出力することができる。出力部140は、入力部110を介して受信された音声、または外部装置を介して受信された音声を出力することができる。例えば、出力部140は、スピーカー(speaker)を含むことができる。
【0051】
通信部150は、外部にデータを出力したり、外部からのデータを受信することができる。通信部150は、サーバー200または外部装置にデータを出力することができる。通信部150は、サーバー200及び外部装置からデータを受信することができる。通信部150は、制御部130によって行われた演算結果を外部に出力することができる。また、通信部150は、保存部120に保存されたデータを外部に出力することができる。
【0052】
通信部150によって出力されるデータまたは通信部150によって受信されたデータは、保存部120に保存されることができる。例えば、通信部150は、制御部130で生成されたメッセージをサーバー200に出力することができる。
【0053】
通信部150は、例えば、3Gモジュール、LTEモジュール、LTE−Aモジュール、Wi−Fiモジュール、ワイギグ(WiGig)モジュール、UWB(Ultra Wide Band)モジュール、またはLANカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、通信部150は、マグネチック保安出力(MST)モジュール、ブルートゥースモジュール、NFCモジュール、RFIDモジュール、ジグビー(ZigBee)モジュール、Z−Waveモジュール、または赤外線モジュールなどのような近距離用ネットワークインターフェースを含むことができる。また、通信部150は、その他のネットワークインターフェースを含むことができる。
【0054】
図3は、本発明の実施例に係る端末機の動作方法を示すブロック図である。S110段階において、端末機100の入力部110は、プレビューイメージの入力を受けることができる。例えば、端末機100は、入力部110を介して入力されるイメージを補正することができるサービスを提供するアプリケーションを実行することができる。そして、プレビューイメージは、端末機100の周辺から反射された光から変換されたイメージであることができる。
【0055】
S120段階において、端末機100の制御部130は、プレビューイメージに含まれるオブジェクトの種類を識別することができる。例えば、端末機100の制御部130は、準備された学習モデルを用いて、プレビューイメージに含まれるオブジェクトの種類を識別することができる。
【0056】
準備された学習モデルは、アプリケーションを介して補正されるプレビューイメージに含まれるオブジェクトの種類を識別するために用いられるデータ認識モデルであることができる。データ認識モデルは、人工神経網(Neural Network)を基盤とするモデルであることができる。例えば、学習モデルは、DNN(Deep Neural Network)、RNN(Recurrent Neural Network)、及びBRDNN(Bidirectional Recurrent Deep Neural Network)のようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
【0057】
準備された学習モデルは、プレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルであることができる。オブジェクトの種類を識別するための学習モデルは、多数の写真イメージデータ及び多数の写真に含まれるオブジェクトの種類の間の相関関係について学習された結果であることができる。例えば、端末機100は、多数の写真イメージデータ及び多数の写真に含まれるオブジェクトの種類の間の相関関係を学習することができる。端末機100は、学習結果に基づいて、人工神経網を訓練し、プレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルを生成することができる。
【0058】
別の例において、端末機100は、サーバー200からオブジェクトの種類を識別するための学習モデルを受信することができる。この場合、サーバー200がプレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルを生成することができる。
【0059】
S130段階において、端末機100の制御部130は、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備することができる。例えば、準備された推薦アルゴリズムは、プレビューイメージをアプリケーションを介して補正するために用いられるデータ認識モデルであることができる。データ認識モデルは、人工神経網を基盤とするモデルであることができる。例えば、学習モデルはDNN、RNN、及びBRDNNのようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
【0060】
準備された推薦アルゴリズムは、プレビューイメージを補正するのに使用されるイメージフィルターを推薦するための学習モデルであることができる。イメージフィルターを推薦するための学習モデルは、多数のイメージに含まれるオブジェクトの種類及び多数のイメージを補正するために、使用者によって選択されたイメージフィルターの種類の間の相関関係について学習された結果であることができる。例えば、端末機100は、多数のイメージに含まれるオブジェクトの種類及び多数のイメージを補正するために選択されたイメージフィルターの種類の間の相関関係を学習することができる。例えば、イメージフィルターの種類は、多数のイメージのうちの特定イメージを補正するために端末機100の使用者によって選択された補正効果であることができる。端末機100は、学習結果に基づいて人工神経網を訓練し、プレビューイメージの補正に使用されるイメージフィルターの種類を選択するための学習モデルを生成することができる。
【0061】
別の例において、端末機100は、サーバー200からイメージフィルターを推薦するための推薦アルゴリズムを受信することができる。この場合、サーバー200はイメージフィルターを推薦するための推薦アルゴリズムを生成することができる。
【0062】
S140段階において、端末機100の制御部130は、イメージフィルターを選択するための推薦アルゴリズムを用いて、2つ以上のイメージフィルターを選択することができる。例えば、端末機100の制御部130は、プレビューイメージに含まれるオブジェクトを補正するために、2つ以上のイメージフィルターを選択することができる。
【0063】
端末機100の制御部130は、イメージフィルターを推薦するための学習モデルにプレビューイメージを適用し、プレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択することができる。例えば、端末機100の制御部130は、プレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が最も高いと予測されるイメージフィルター及び選択する確率が2番目に高いと予測されるイメージフィルターを選択することができる。
【0064】
S150段階において、端末機100の出力部140は、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力することができる。例えば、端末機100の出力部140は、プレビューイメージを2つ以上のイメージ領域に区分し、2つ以上のイメージ領域にそれぞれ選択された2つ以上のイメージフィルターを適用することができる。2つ以上のイメージフィルターを用いて補正されたプレビューイメージを出力する方法は、
図4を参照して説明されることができる。
【0065】
図4は、本発明の実施例に係る2つ以上のイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。
図3及び
図4を参照すると、端末機100の出力部141を介してプレビューイメージが表示されることができる。例えば、表示部141の第1表示領域142は、プレビューイメージの第1イメージ領域に対応し、第2表示領域143は、プレビューイメージの第2イメージ領域に対応することができる。
【0066】
第1表示領域142を介して表示される第1イメージ領域及び第2表示領域143を介して表示される第2イメージ領域のそれぞれに互いに異なるイメージフィルターが適用されることができる。例えば、第1表示領域142には、第1イメージフィルター(例えば、「mellow」イメージフィルター)が適用された第1イメージ領域が表示されることができ、第2表示領域143には、第2イメージフィルター(例えば、「hipster」イメージフィルター)が適用された第2イメージ領域が表示されることができる。すなわち、第1イメージ領域は、プレビューイメージで第1イメージフィルターが適用された範囲であることができ、第2イメージ領域は、プレビューイメージで第2イメージフィルターが適用された範囲であることができる。
【0067】
例えば、第1イメージ領域は、プレビューイメージの左側一部領域に対応することができる。第2イメージ領域は、プレビューイメージの右側一部領域に対応することができる。そして、第2イメージ領域は、プレビューイメージで第1イメージ領域を除いた残りの領域に対応することができる。本発明は、これに限定されず、第1イメージ領域は、プレビューイメージの上側一部領域に対応することができる。第2イメージ領域は、プレビューイメージの下側一部領域に対応することができる。そして、第2イメージ領域は、プレビューイメージで第1イメージ領域を除いた残りの領域に対応することができる。
例えば、第1イメージ領域に適用された第1イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が最も高いと予測されたイメージフィルターであることができる。第2イメージ領域に適用された第2イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が2番目に高いと予測されたイメージフィルターであることができる。第1イメージ領域または第2イメージ領域に適用されたイメージフィルターは、端末機100の画面に受信される使用者の入力によって変更されることができる。第1イメージ領域または第2イメージ領域に適用されたイメージフィルターを変更する方法は、
図5を参照して説明される。
【0068】
図5は、本発明の実施例に係る端末機のイメージフィルター適用方法を示すフローチャートである。
図4及び
図5を参照すると、S210段階において、端末機100の制御部130は、第1イメージフィルターをプレビューイメージの第1イメージ領域に適用することができる。S220段階において、端末機100の制御部130は、第2イメージフィルターをプレビューイメージの第2イメージ領域に適用することができる。
図4に示すように、プレビューイメージの第1イメージ領域及び第2イメージ領域のそれぞれには、互いに異なるイメージフィルターが適用されることができる。そして、端末機100の表示部141は、それぞれ互いに異なるイメージフィルターが適用された第1イメージ領域及び第2イメージ領域を表示することができる。具体的には、表示部141の第1表示領域142には、第1イメージフィルターが適用された第1イメージ領域が表示されることができ、表示部141の第2表示領域143には、第2イメージフィルターが適用された第2イメージ領域が表示されることができる。
【0069】
S230段階において、端末機100は、第1表示領域142または第2表示領域143のうちのいずれか1つに入力された使用者入力を受信することができる。例えば、表示部141は、タッチスクリーンで具現され、入力部110として駆動することができる。端末機100は、第1表示領域142または第2表示領域143に入力されたタッチドラッグ(touch drage)入力を受信することができる。端末機100は、第1表示領域142または第2表示領域143のうちのいずれか1つに入力された第3方向(D3)へのタッチドラッグ入力または第3方向(D3)とは反対になる第4方向(D4)へのタッチドラッグ入力のうちの1つを受信することができる。
【0070】
例えば、第2表示領域143から第1表示領域142に向かう方向は、第1方向(D1)であることができ、第1表示領域142から第2表示領域143に向かう方向は、第2方向(D2)であることができる。そして、第3方向(D3)及び第4方向(D4)のそれぞれは、表示部141の表面を含む平面上で第1表示領域142から第2表示領域143に向かう方向と垂直であることができる。より具体的には、第3方向(D3)は、第1方向(D1)との外積の方向が表示部141が光を発する方向と同一であることができ、第4方向(D4)は、第3方向(D3)とは反対になる方向であることができる。
S240段階において、端末機100の制御部130は、使用者入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを第3イメージフィルターに変更することができる。イメージフィルターを変更する方法は、
図6を参照して説明されることができる。
【0071】
図6は、他の実施例に係る2つ以上のイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。
図4及び
図6を共に参照すると、表示部141の第2表示領域143にタッチドラッグ入力が受信されることができる。第2表示領域143にタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたフィルターは、第2イメージフィルターから第3イメージフィルター(例えば、「vintage」イメージフィルター)に変更されることができる。例えば、第3イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が3番目に高いと予測されたイメージフィルターであることができる。
【0072】
例えば、第2表示領域143に第3方向(D3)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、第2イメージフィルターから第3イメージフィルターに変更されることができる。その後に、第2表示領域143に第4方向(D4)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、再び第3イメージフィルターから第2イメージフィルターに変更されることができる。
【0073】
逆に、第2表示領域143に第4方向(D4)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、第2イメージフィルターから第3イメージフィルターに変更されることができる。その後に、第2表示領域143に第3方向(D3)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、再び第3イメージフィルターから第2イメージフィルターに変更されることができる。
【0074】
別の例において、第2イメージ領域に適用されたイメージフィルターが第2イメージフィルターから第3イメージフィルターに変更された後、第1表示領域142に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信されることができる。このとき、第1イメージ領域に適用されたイメージフィルターは、第1イメージフィルターから第2イメージフィルターまたは第4イメージフィルターに変更されることができる。例えば、第4イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じ、端末機100の使用者が選択する確率が4番目に高いと予測されたイメージフィルターであることができる。
【0075】
もし、第2表示領域143に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信されず、第1表示領域142に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信される場合、第1イメージ領域に適用されたイメージフィルターは、第1イメージフィルターから第3イメージフィルターに変更されることができる。第1イメージ領域に適用されたイメージフィルターが第1イメージフィルターから第3イメージフィルターに変更された後、第2表示領域143に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信されることができる。このとき、第2イメージ領域に適用されたイメージフィルターは、第2イメージフィルターから第1イメージフィルターまたは第4イメージフィルターに変更されることができる。
【0076】
図4〜
図6を参照して説明されたように、端末機100は、外部から入力されるプレビューイメージに含まれるオブジェクトの種類を識別し、識別されたオブジェクトに適用される2つ以上のイメージフィルターを選択することができる。より具体的には、端末機100は、準備された学習モデルを用いてオブジェクトの種類に適した2つ以上のイメージフィルターを選択することができる。このような方法によって、端末機100に入力されるプレビューイメージに適用される2つ以上のイメージフィルターが自動的に推薦されることができる。また、2つ以上のイメージフィルターが自動的に推薦されることによって、使用者の便利性が向上することができる。端末機100の使用者は、簡単なタッチドラッグ入力によってプレビューイメージに適用されるイメージフィルターの種類を変更し、どんなイメージフィルターがプレビューイメージにより適するかを比較することができる。このような操作方法によって、使用者の便利性が向上することができる。
【0077】
図7は、本発明の他の実施例に係る端末機の動作方法を示すフローチャートである。端末機の動作方法は、
図8〜
図11を参照して説明されることができる。
図8〜
図10は、本発明の実施例に係るプレビューイメージの2つ以上のイメージ領域の比率を調節する方法を示す図である。
【0078】
図7及び
図8を参照すると、S310段階において、端末機100の表示部141は、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる使用者の入力を受信することができる。
【0079】
例えば、端末機100の表示部141は、第1表示領域142及び第2表示領域143の境界の任意の地点から始まるタッチドラッグ入力を受信することができる。
図8を参照すると、端末機100は、第1表示領域142及び第2表示領域143の境界の任意の地点をタッチし、第1方向(D1)にドラッグする使用者入力または第1方向(D1)と反対となる第2方向(D2)にドラッグする使用者入力のうちのいずれか1つを受信することができる。例えば、第1方向(D1)は、第2表示領域143から第1表示領域142に向かう方向であり、第2方向(D2)は、第1表示領域142から第2表示領域143に向かう方向であることができる。
【0080】
S320段階において、端末機100は、使用者入力に基づいてプレビューイメージの第1イメージ領域または第2イメージ領域の比率を調整することができる。例えば、
図9を参照すると、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる第1方向(D1)へのタッチドラッグ入力が受信される場合、端末機100は、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第2イメージ領域の比率を増加させることができる。そして、第2イメージ領域の比率が増加した分だけ第1イメージ領域の比率が減少するのである。第2イメージ領域の大きさが増加すると、第2イメージ領域に対応する第2表示領域143の大きさも共に増加することができる。
【0081】
第2イメージ領域の比率が第1イメージ領域よりも増加すると、第2表示領域143で表示される第2イメージ領域の横幅(W2)は、第1表示領域142で表示される第1イメージ領域の横幅(W1)より広くなることができ、プレビューイメージで第1イメージフィルターが適用された第1イメージ領域よりも第2イメージフィルターが適用された第2イメージ領域の大きさがより大きくなることができる。
【0082】
図10を参照すると、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる第2方向(D2)へのタッチドラッグ入力が受信される場合、端末機100は、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第1イメージ領域の比率を増加させることができる。そして、第1イメージ領域の比率が増加した分だけ第2イメージ領域の比率は減少するのである。第1イメージ領域の大きさが増加すると、第1イメージ領域に対応する第1表示領域142の大きさも共に増加することができる。
【0083】
第1イメージ領域の比率が第2イメージ領域よりも増加すると、第1表示領域142で表示される第1イメージ領域の横幅(W1)は、第2表示領域143で表示される第2イメージ領域の横幅(W2)より広くなることができ、プレビューイメージで第2イメージフィルターが適用された第2イメージ領域より第1イメージフィルターが適用された第1イメージ領域の大きさがより大きくなることができる。
【0084】
再び
図7を参照すると、S330段階において、端末機100の制御部130は、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上に高くなっていることを判断することができる。端末機100の制御部130は、様々な方法で第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つと基準比率を比較することができる。
【0085】
例えば、端末機100の制御部130は、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断することができる。別の例において、端末機100の制御部130は、第1イメージ領域の大きさまたは第2イメージ領域の大きさのうちのいずれか1つが基準大きさ以上増加していることを判断することができる。別の例において、端末機100の制御部130は、第1イメージ領域の横幅(W1)または第2イメージ領域の横幅(W2)のうちのいずれか1つが基準幅以上広くなっていることを判断することができる。
【0086】
S340段階において、端末機100の制御部130は判断結果に応じて、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用することができる。
【0087】
例えば、端末機100の制御部130は、第2イメージ領域の比率が基準比率以上高くなったものと判断することができる。第2イメージ領域の大きさが基準大きさ以上に増加したか、第2イメージ領域の横幅(W2)が基準幅以上広くなった場合、端末機100の制御部130は、第2イメージ領域の比率が基準比率以上高くなったものと判断することができる。選択されたイメージフィルターをプレビューイメージの全領域に適用する方法は、
図11を参照して説明されることができる。
【0088】
図11は、本発明の実施例に係る選択されたイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。
図11に示すように、第2イメージ領域に適用された第2イメージフィルター(例えば、「hipster」イメージフィルター)をプレビューイメージの全領域に適用することができる。第2イメージ領域に適用された第2イメージフィルターをプレビューイメージの全領域に適用した後、S350段階において、端末機100は、イメージ撮影が行われることができるように撮影アイコン13を表示することができる。
【0089】
第2イメージ領域の比率が基準比率以上高くなったものと判断される場合、端末機100は、第2イメージ領域に適用された第2イメージフィルターが選択されたものと判断することができる。そして、端末機100の表示部141は、第2イメージフィルターが適用されたプレビューイメージを出力することができる。
【0090】
端末機100は、第2イメージフィルターをプレビューイメージの全領域に適用し、撮影を行うことができるように、撮影アイコン144を表示することができる。例えば、端末機100の使用者から撮影アイコン144のタッチ入力が受信される場合、端末機100は、第2イメージフィルターが適用されたイメージを撮影することができる。第2イメージフィルターが適用されたイメージが撮影される場合、第2イメージフィルターが適用されたイメージは、端末機100の保存部120に保存されることができる。
【0091】
端末機100がイメージを撮影する方法は、多様に具現されることができる。端末機100は、第2イメージフィルターをプレビューイメージの全領域に適用した後、音声入力を誘導するメッセージを出力することができる。例えば、端末機100は、「撮影と言って下さい」というメッセージを出力することができ、端末機100の使用者から、「撮影」という音声が入力される場合、第2イメージフィルターが適用されたイメージを保存することができる。または、端末機100は、第2イメージフィルターをプレビューイメージの全領域に適用した後、端末機100の使用者から特定のモーションが入力される場合、第2イメージフィルターが適用されたイメージを保存することができる。
【0092】
以上で説明した実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能なコマンドを含む記録媒体の形態でも具現されることができる。コンピュータ判読可能な媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をすべて含むことができる。
【0093】
また、コンピュータ判読可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ判読可能なコマンド、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をすべて含むことができる。通信媒体は、典型的にコンピュータ判読可能なコマンド、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他の出力メカニズムを含み、任意の情報伝達媒体を含むことができる。
【0094】
以上、添付された図面を参照して、本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須的な特徴を変更せず、他の具体的な形態で実施できることを理解することができるはずである。したがって、以上で記述した実施例は、あらゆる面で例示的なものであり、限定的ではないことを理解しなければならない。