特表 2022-515462 イメージ処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-18

(54)【発明の名称】イメージ処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220210BHJP

   G06T 1/00 20060101ALI20220210BHJP

   G06T 7/50 20170101ALI20220210BHJP

   G06T 7/20 20170101ALI20220210BHJP

   G06F 3/04845 20220101ALI20220210BHJP

【ＦＩ】

G06T7/00 U

G06T1/00 315

G06T7/50

G06T7/20 300A

G06F3/0484 150

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021537194

(86)(22)【出願日】2019-12-16

(85)【翻訳文提出日】2021-06-24

(86)【国際出願番号】 KR2019017773

(87)【国際公開番号】W WO2020138801

(87)【国際公開日】2020-07-02

(31)【優先権主張番号】10-2018-0169483

(32)【優先日】2018-12-26

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】516237732

【氏名又は名称】ピージェー ファクトリー カンパニー リミテッド

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】パク、 ジョンファン

【テーマコード（参考）】

5B057

5E555

5L096

【Ｆターム（参考）】

5B057BA24

5B057CC03

5B057CE08

5B057DA16

5E555AA11

5E555AA76

5E555BA01

5E555BA83

5E555BA89

5E555BB01

5E555BC07

5E555BC08

5E555BC17

5E555BC18

5E555CA02

5E555CA12

5E555CA17

5E555CB08

5E555CB12

5E555CB16

5E555CB33

5E555CB55

5E555CB57

5E555CB58

5E555CC05

5E555CC15

5E555DB18

5E555DB53

5E555DB56

5E555DC05

5E555DC09

5E555DC10

5E555DC15

5E555DC17

5E555DC52

5E555DC72

5E555DD06

5E555DD07

5E555DD09

5E555EA07

5E555EA08

5E555EA12

5E555FA00

5L096AA09

5L096CA24

5L096DA01

5L096FA69

5L096FA72

(57)【要約】

本発明の一実施例によると、複数の個体をマルチデプス（multi-depth）のツリー構造で構成するための電子装置での方法において、第１の個体と第２の個体をつなぐノード属性及び、前記第１の個体内の座標属性を含む第１のユーザーコマンドを受信すると、第１のモードで前記第２の個体を前記第１の個体と関連付けるステップと、前記第１の個体は、２次元又は３次元のイメージであり、及び、前記第１の個体内の座標属性なしの前記ノード属性を含む第２のユーザーコマンドを受信すると、第２のモードで前記第２の個体を前記第１の個体と関連付けるステップとを含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数の個体をマルチデプス（multi-depth）のツリー構造で構成するための電子装置での方法において、
第１の個体と第２の個体をつなぐノード属性及び、前記第１の個体内の座標属性を含む第１のユーザーコマンドを受信すると、第１のモードで前記第２の個体を前記第１の個体と関連付けるステップと、
前記第１の個体内の座標属性なしの前記ノード属性を含む第２のユーザーコマンドを受信すると、第２のモードで前記第２の個体を前記第１の個体と関連付けるステップと、を含み、
前記第１の個体は、２次元又は３次元のイメージであり、
前記第１のモードでは、前記第１の個体内で、前記座標属性によって指示される位置に前記第２の個体を挿入し、
前記第２のモードでは、前記第１の個体内の位置を指定することなく、前記第２の個体を前記第１の個体に挿入することを特徴とする方法。

【請求項2】

前記第１のユーザーコマンドは、前記電子装置に表示された前記第１の個体の内部の特定の位置に前記第２の個体を割り当てるユーザーの操作から生成され、
前記第２のユーザーコマンドは、前記電子装置に表示された前記第１の個体の外部の領域に前記第２の個体を割り当てるユーザーの操作から生成されることを特徴とする請求項１に記載の方法。

【請求項3】

前記第２のユーザーコマンドは、前記電子装置のディスプレイ部に表示されるソフトボタン若しくは領域、又は前記電子装置に備えられた物理的なボタンに対するユーザーの操作から生成されることを特徴とする請求項１に記載の方法。

【請求項4】

前記電子装置は、
前記第１の個体内にて、前記座標情報によって指示される位置に前記第２の個体が前記第１のモードで挿入されたことを示す第１のマーカーを表示し、
前記第１の個体のエッジ部分に前記第２の個体が前記第２のモードで挿入されたことを示す第２のマーカーを表示することを特徴とする請求項１に記載の方法。

【請求項5】

前記第２の個体が前記第１の個体に前記第２のモードで挿入された状態で、
ユーザーからの方向性を有するジェスチャーを受信すると、前記ジェスチャーの方向に応じて前記第１の個体と前記第２の個体との間を切り替えて表示し、前記第１の個体と前記第２の個体間の切り替えの程度が前記ジェスチャーの移動の長さに応じて異なることを特徴とする請求項１に記載の方法。

【請求項6】

前記切り替えは、互いに重なった第１の個体と第２の個体間の透明度を前記ジェスチャーの移動の長さに応じて段階的に調節することで実行されることを特徴とする請求項５に記載の方法。

【請求項7】

前記ジェスチャーが中断されると、前記第１の個体と前記第２の個体のうち、中断時点での透明度が低い個体を表示することを特徴とする請求項６に記載の方法。

【請求項8】

前記ジェスチャーが中断されると、中断時点での透明度を有する前記第１の個体と前記第２の個体を互いに重ねて表示することを特徴とする請求項６に記載の方法。

【請求項9】

前記第２の個体が複数のイメージで構成されたイメージグループである場合に、前記第１のユーザーコマンドを受信すると、
前記複数のイメージのうちのいずれかのイメージは、前記第１のモードで前記第１の個体内に挿入され、
前記複数のイメージのうちの残りのイメージは、前記第２のモードで前記１つのイメージに挿入されることを特徴とする請求項１に記載の方法。

【請求項10】

前記１つのイメージ上に前記残りのイメージが前記第２のモードで挿入されたことを示す第２のマーカーがユーザーによって選択されると、前記イメージグループ内のイメージが順次表示されることを特徴とする請求項９に記載の方法。

【請求項11】

前記第２の個体が複数のイメージで構成されたイメージグループである場合に、前記第２のユーザーコマンドを受信すると、
前記イメージグループを前記第２のモードで前記第１の個体内に挿入することを特徴とする請求項１に記載の方法。

【請求項12】

前記第１の個体内に前記イメージグループが前記第２のモードで挿入されたことを示す第２のマーカーがユーザーによって選択されると、前記イメージグループ内の前記複数のイメージが順次ディスプレイされることを特徴とする請求項８に記載の方法。

【請求項13】

前記電子装置のディスプレイ部に前記複数のイメージの中の任意のイメージが表示された状態で、
ユーザーからの方向性を有するジェスチャーを受信すると、前記ジェスチャーの方向及び速度に応じて前記複数のイメージを順次ディスプレイされる方向及び速度を調節することを特徴とする請求項９又は請求項１１に記載のイメージ処理方法。

【請求項14】

前記ジェスチャーが中断されると、前記複数のイメージのうち、中断された時点で表示されたイメージをディスプレイすることを特徴とする請求項１３に記載のイメージ処理方法。

【請求項15】

コンピュータによって読み取り可能なプログラムであって、前記プログラムは、
第１の個体と第２の個体をつなぐノード属性及び、前記第１の個体内の座標属性を含む第１のユーザーコマンドを受信すると、第１のモードで前記第２の個体を前記第１の個体と関連付けるステップと、
前記第１の個体内の座標属性なしの前記ノード属性を含む第２のユーザーコマンドを受信すると、第２のモードで前記第２の個体を前記第１の個体と関連付けるステップと、を実行し、
前記第１の個体はイメージであり、
前記第１のモードでは、前記第１の個体内で、前記座標属性によって指示される位置に前記第２の個体を挿入し、
前記第２のモードでは、前記第１の個体内の位置を指定することなく、前記第２の個体を前記第１の個体に挿入することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ツリー構造のマルチデプス（multi-depth）イメージを生成し、生成したマルチデプスイメージをビューイング（Viewing）する方法に関する。

【背景技術】

【0002】

この部分に記述した内容は、単に本発明についての背景情報を提供するに留まり、従来の技術を構成するものではない。

【0003】

情報通信及び半導体技術の進歩で、ユーザーはインターネットを介して様々なコンテンツにアクセスしたり、様々なコンテンツを自分の電子装置（例えば、スマートフォンやＰＣ）に保存して使用することができる。コンテンツの量は膨大である反面、膨大な量のコンテンツが散発的に散らばっており、互いに関連性の高いコンテンツを一括して簡単に探して確認することは難しい。

【0004】

１つの例示として、電子装置を利用して、イメージファイルを開いたときに、イメージファイルの特定の部分についての詳しい情報又は拡大したイメージが要求される場合がある。例えば、自動車のイメージの場合、ヘッドライト、車輪などのような特定の部分のより詳しいイメージが要求される場合がある。この場合、ユーザーは、関連するイメージを新たに探さなければいけないという煩わしさがある。

【0005】

このような問題を解決するために、本出願人は、基本となる１つのイメージ（以下、「メインイメージ」）に追加の情報を提供する他のイメージ（以下、「挿入イメージ」）の挿入が可能な新しいフォーマットのイメージ（以下、「マルチデプスイメージ」）及びその生成方法についての発明を韓国特許第１０-１５０１０２８号（２０１５年０３月０４日付けにて登録）で登録されたことがある。

【0006】

同文献は、マルチデプスイメージの定義と、マルチデプスイメージの作成及び編集のためのユーザーインタフェースを開示している。本発明は、同発明の後継発明であって、改善したイメージ又は個体の属性及び個体間の関係に応じて様々な方法でマルチデプスイメージを生成し、さらにユーザーがより直感的に、マルチデプスイメージ内の各イメージをビューイングすることができる方法を提供したい。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の技術的課題は、個体間の関係に応じて様々な方法でマルチデプスイメージを生成できる方法を提供することである。

【0008】

本発明のまた別の技術的課題は、生成したマルチデプスイメージをユーザーがより直感的にビューイングすることができる方法を提供することである。

【課題を解決するための手段】

【0009】

本発明の一実施例によると、複数の個体をマルチデプス（multi-depth）のツリー構造で構成するための電子装置での方法において、第１の個体と第２の個体をつなぐノード属性及び、前記第１の個体内の座標属性を含む第１のユーザーコマンドを受信すると、第１のモードで前記第２の個体を前記第１の個体と関連付けるステップと、前記第１の個体内の座標属性なしの前記ノード属性を含む第２のユーザーコマンドを受信すると、第２のモードで前記第２の個体を前記第１の個体と関連付けるステップと、を含み、前記第１の個体は、２次元又は３次元のイメージであり、前記第１のモードでは、前記第１の個体内で、前記座標属性によって指示される位置に前記第２の個体を挿入し、前記第２のモードでは、前記第１の個体内の位置を指定することなく、前記第２の個体を前記第１の個体に挿入することを特徴とする方法を提供する。

【0010】

本発明の他の実施例によれば、コンピュータによって読み取り可能なプログラムであって、前記プログラムは、第１の個体と第２の個体をつなぐノード属性及び、前記第１の個体内の座標属性を含む第１のユーザーコマンドを受信すると、第１のモードで前記第２の個体を前記第１の個体と関連付けるステップと、前記第１の個体内の座標属性なしの前記ノード属性を含む第２のユーザーコマンドを受信すると、第２のモードで前記第２の個体を前記第１の個体と関連付けるステップと、を実行し、前記第１の個体はイメージであり、前記第１のモードでは、前記第１の個体内で、前記座標属性によって指示される位置に前記第２の個体を挿入し、前記第２のモードでは、前記第１の個体内の位置を指定することなく、前記第２の個体を前記第１の個体に挿入することを特徴とするプログラムを提供する。

【図面の簡単な説明】

【0011】

【図1】本実施例に係るマルチデプスイメージのツリー構造の示す例示図、

【図2】本実施例に係る第１のモードでイメージをツリー構造に挿入する過程を示す例示図で、

【図3】本実施例に係る第２のモードでイメージを挿入した場合を説明する例示図、

【図4】本実施例を具現するための電子装置の構成を示す例示図、

【図5】本実施例に係る電子装置の動作を説明するためのフローチャート、

【図6】本実施例に係るユーザー操作に応じたマルチデプスイメージの生成を説明するための例示図、

【図7】本実施例に係るマルチデプスイメージでの個体間の切り替えのための1つの例示図、

【図8】本実施例に係るマルチデプスイメージでの個体間の切り替えのためのもう１つの例示図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施例を例示的な図面を介して詳しく説明する。各図面の構成要素に参照符号を付加するにおいて同一の構成要素に対しては、たとえ他の図面上に表示されていても、可能な限り同一の符号を使用していることに留意しなければならない。また、本発明の一実施例を説明するにあたり、関連する公知の構成または機能についての具体的な説明が本発明の要旨を曖昧にすると判断した場合には、それについての詳しい説明を省く。

【0013】

本発明の一実施例の構成要素を説明するにあたり、第１、第２、A、B、(ａ）、(ｂ）などの符号を用いる場合がある。このような符号は、その構成要素を他の構成要素と区別するだけで、その符号によってその構成要素の本質、順番、順序などが限定されるものではない。本明細書でどの部分がどのような構成要素を「含む」または「備える」とするとき、これは明示的に逆になる記載がない限り、該当部分が他の構成要素を付加することを排除するものではなく、他の構成要素をさらに含み得ることを意味する。「～部」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは「ハードウェア」、「ソフトウェア」または「ハードウェアとソフトウェアの組み合わせ」で具現してよい。

【0014】

以下、添付された図面を参照して、本発明の一実施形態について、より詳細に説明することにする。

【0015】

マルチデプスイメージはある１つのイメージに別のイメージを挿入する過程を階層的に繰り返すことで、複数のイメージがツリー構造で形成されたイメージを意味する。

【0016】

図１は、本発明に係るマルチデプスイメージのツリー構造を示す例示図である。

【0017】

図１を参照すると、マルチデプスイメージは、１つのメインイメージと、複数のサブイメージで構成される。マルチデプスイメージの複数のイメージは、細部トピック（specific subject）や文脈（context）などを考慮して階層化された後、ノードを構成することで、１つのツリー構造を形成することができる。このとき、メインイメージは、ツリー構造のルートノードを形成し、サブイメージは下位ノードを形成する。

【0018】

図１は、自動車をテーマにしたマルチデプスイメージのツリー構造を例示的に示す。自動車の全体の外観を示すメインイメージは、ルートノード（深さ０）に該当する。メインイメージに自動車の構成部品であるヘッドライト及び車輪に関するイメージがサブイメージとして挿入されて深さ１のノードを構成する。ヘッドライトの構成部品である電球及び反射鏡に関するイメージは、ヘッドライトイメージにサブイメージとして挿入されて深さ２のノードを構成する。また、車輪の構成部品であるタイヤ及びタイヤホイールに関するイメージは車輪イメージにサブイメージとして挿入されて深さ２のノードを構成する。結果的に、車のノードの下にヘッドライトノード及び車輪ノードが位置し、ヘッドライトノードの下に電球ノード及び反射鏡ノードが位置し、車輪ノードの下にタイヤノード及びタイヤホイールノードが位置する。そして、このような方式で、本実施例にて、複数のサブイメージは、互いにツリー構造でつながり、親ノードのイメージに子ノードのイメージが挿入される。

【0019】

マルチデプスイメージは、図１に例示した親ノードの個体に子ノードの個体がツリー構造で挿入された形態のイメージフォーマットである。親ノードの個体に子ノードの個体が挿入されるときに挿入される個体は、一般的にイメージであり、そのイメージは、２次元又は３次元である。しかし、イメージの他にも動画、テキスト、音声、その他のファイルに対するリンク、インターネットアドレスのリンク、ブックマーク、３６０映像、３Ｄオブジェクトなど、様々な個体が子ノードの個体として親ノードの個体に挿入される。以下、マルチデプスイメージの各ノードに挿入される個体はすべて、イメージであることを前提に、本実施例を説明することにする。ただし、これは説明の便宜のためのものであり、本発明を限定するものではないことに留意しなければならない。

【0020】

一方、マルチデプスイメージのツリー構造にて、各ノードには、マルチメディアコンテンツが追加でマッピングされてもよい。ここで、マルチメディアコンテンツは、各ノードに挿入されたイメージと関連するデジタルコンテンツとして、テキスト、ビデオ、オーディオなど、様々な類型の個体を含んでよい。例えば、図１のツリー構造にて、ヘッドライトノードには、メーカー、輝度、寿命などのスペック情報を示すテキストがマッピングされる。タイヤホイールノードには、材質、製造方法等のスペック情報を示すテキストがマッピングされる。また、タイヤホイールノードには、自動車の走行中のタイヤホイールの姿を示す動画が追加でマッピングされる。

【0021】

本実施例は、マルチデプスイメージを生成する方法として、２つのモードを含む。

【0022】

第１のモードは、親ノードのイメージ内の特定の位置に子ノードのイメージを挿入するモードである。このため、親ノードのイメージと子ノードのイメージとの間のつながり関係を表すノード属性、及び親ノードのイメージ内で子ノードのイメージが挿入される位置を示す座標属性を含む属性情報が定義される。属性情報は、親ノードのイメージ及び子ノードのイメージと一緒に保存される。

【0023】

図２は、第１のモードでイメージを挿入する過程を示す例示図である。

【0024】

図２を参照すると、自動車についてのマルチデプスイメージ２００は、自動車全体イメージ２１０、ヘッドライトイメージ２２０、電球イメージ２２１、反射鏡イメージ２２２、車輪イメージ２３０、タイヤホイールイメージ２３１、及びタイヤイメージ２３２を含む。

【0025】

ユーザーは、電子装置のディスプレイ部に表示された車のイメージ２１０内のヘッドライトの位置にヘッドライトイメージ（ヘッドライトのディテールイメージ）２２０を挿入する。たとえば、ユーザーは、タッチ又はクリックなどの方式でヘッドライトイメージ２２０を選択し、選択したヘッドライトイメージ２２０を自動車のイメージ２１０内の挿入したい位置にドラッグし、ヘッドライトイメージを当該場所に挿入する。ヘッドライトイメージが挿入されると、自動車イメージ２１０には、ヘッドライトの位置に他のイメージが挿入されていることを示すための第１のマーカー（例えば、図２で

）が表示される。ユーザーは、自動車イメージ２１０に表示した第１のマーカー

を選択し、その位置に挿入されたヘッドライトイメージ２２０を電子装置のディスプレイ部を介して見ることができる。

【0026】

一方、ユーザーは、ヘッドライトイメージ２２０がディスプレイ部に表示された状態で、ヘッドライトイメージ２２０の電球位置に電球についてのディテールイメージ２２１を挿入することができる。ヘッドライトイメージ２２０内にて電球についてのディテールイメージ２２１が挿入された位置にはイメージが挿入されていることを示すための第１のマーカー

が表示される。

【0027】

このような方式で、電子装置は、ユーザーの操作に応じて親ノードのイメージの特定の位置に子ノードのイメージを挿入し、ツリー構造の形態のマルチデプスイメージを生成することができ、親ノードのイメージ内に表示されたマーカー

をクリック又はタッチする入力が受信されると、マーカーが表示された位置に挿入された子ノードのイメージを表示する。

【0028】

以上で説明した第１のモードは、自動車とヘッドライトのような従属関係にある２つのイメージ又は上位概念と下位概念の関係にある２つのイメージ間の挿入関係を定義する際に有用である。しかし、２つのイメージ間にこのような従属関係が成立しない場合もある。例えば、時間による変化を示す写真、ビフォー／アフター比較写真、内部／外部の比較写真などの従属関係より対等な関係で関連付けられる２つのイメージは、いずれかのイメージの特定の位置に他のイメージを挿入することが自然でない。たとえば、図２でヘッドライトイメージ２２０がヘッドライトがオフの状態の写真であれば、ユーザーは、ヘッドライトが点灯している状態の写真をヘッドライトがオフになった写真に追加で、さらに関連させようとする場合がある。ヘッドライトが点灯している状態の写真をオフ状態のイメージ内の特定の位置に挿入することは不自然である。

【0029】

本開示が記述するまた別のモードである第２のモードは、親ノードのイメージ内の特定の位置を指定することなく、子ノードのイメージを親ノードのイメージに挿入するモードである。つまり、子ノードのイメージは、親ノードのイメージと対等な関係で親ノードのイメージに挿入される。第２のモードでは、親ノードのイメージと子ノードのイメージとの間のつながり関係を表すノード属性だけが定義され、親ノードのイメージ内で子ノードのイメージが挿入される位置を示す座標属性は定義されない。ノード属性は、親ノードのイメージ及び子ノードのイメージと一緒に保存される。親ノードのイメージには、個体が第２のモードで挿入されたことを示す第２のマーカーが表示される。第２のマーカーは、親ノードのイメージ内の特定の位置に第１のモードで個体を挿入するのに邪魔にならないように、第１の個体のエッジ部分に表示される。例えば、図３に示すように、第２のマーカーは、親ノードのイメージの一側端にページが折り畳まれた形態のマーカー３１０であってもよい。

【0030】

以上で説明した第１のモードと第２のモードを使用して、マルチデプスイメージを構成する方法は、プログラムで具現し、そのプログラムを読み取ることができる電子装置によって実行される。電子装置は、プログラムを実行して一部のノードでは、第１のモードでイメージを挿入し、他のノードでは、第２のモードでイメージを挿入することにより、ツリー構造のマルチデプスイメージを生成することができる。又は、１つのノードに該当するイメージに第１のモードと第２のモードを利用して複数個のイメージを挿入することもできる。第１のモード又は第２のモードのうちの少なくとも１つ以上のモードで階層的に挿入された複数のイメージは、イメージ間の関係を定義する属性情報と一緒に１つのファイルに生成され、ツリー構造をなすマルチデプスイメージが生成される。第１のモードに関連する親ノードと子ノード間を定義する属性情報は、親ノードと子ノードを定義するノード属性と親ノードのイメージ内の特定の位置を指示する座標属性を含む。一方、第２のモードに関連する親ノードと子ノード間を定義する属性情報は、座標属性なしにノード属性だけを含む。

【0031】

図４は、本開示の技術を具現するための電子装置の例示図である。

【0032】

電子装置は、メモリ４１０、入力部４２０、プロセッサ４３０、及びディスプレイ部４４０を含む。

【0033】

メモリ４１０は、第１のモード及び第２のモードでマルチデプスイメージの作成又はビューイング（viewing）のためのプログラムを保存する。入力部４２０は、ユーザーのコマンドを受信するための手段としてのキーパッド、マウスなどであったり、又はディスプレイ部４４０と一体に具現されるタッチスクリーンであってもよい。プロセッサ４３０は、入力部４２０から入力されるユーザーコマンドを受信し、メモリ４１０に保存したプログラムの実行コードを読み取り、マルチデプスイメージを生成する機能又はビューイングする機能を実行する。ディスプレイ部４４０は、プロセッサ４３０による実行結果をユーザーが確認できるように表示する。又は、入力部４３０がタッチスクリーンで具現される場合に、ディスプレイ部４４０は、ユーザーのコマンドを入力するためのソフトボタンを表示する。

【0034】

前記のプログラムが実行するときのプロセッサの動作を図５を参照して説明すると、プロセッサ４３０は、入力部４２０を介して入力されたユーザーの操作に応じ、親ノードに該当する第１の個体と子ノードに該当する第２の個体を決定する（Ｓ５０２）。ここで、第１の個体は、座標情報を有する２次元又は３次元イメージである。第２の個体は、イメージであってもよく、あるいはオーディオ又はビデオなどのマルチメディアデータであってもよい。ユーザーは、電子装置のメモリ４１０に保存されたイメージ又は電子装置に備えられたカメラで撮影した写真を利用して親ノードと子ノードに該当する第１の個体及び第２の個体を選択することができる。１つの例示として、ユーザーは、入力部を操作して個体を層（layer）単位で区分して積むことができる。プロセッサ４３０は、上位層の個体を子ノードとし、その上位層のすぐ下の層の個体を親ノードに決定する。最も下に置かれた層は、ルートノードに該当するメインイメージとして使用する。

【0035】

プロセッサ４３０が第１の個体内に第２の個体を挿入するためのユーザーコマンドを受信すると（Ｓ５０４）、ユーザーコマンドが第１の個体と第２の個体をつなぐノード属性及び第１の個体内の位置を示す座標属性を含む第１のユーザーコマンドであるか、それとも座標属性なしのノード属性を含む第２のユーザーコマンドであるかどうかを判断する（Ｓ５０６）。

【0036】

受信したコマンドが第１のユーザーコマンドであれば、プロセッサ４３０は、第１のモードを実行する（Ｓ５０８）。すなわち、第１の個体内にて座標属性によって指示される位置に第２の個体を挿入する。第１のユーザーコマンドは、第１の個体内に特定の位置を割り当てるユーザーの操作から生成される。例えば、ユーザーが第２の個体をドラッグしてディスプレイ部４４０に表示された第１の個体内の特定の位置に割り当てると、プロセッサ４３０は、第１の個体内の特定の位置に第２の個体を挿入する。図６を参照してより具体的に説明する。ユーザーによって第１の個体（Ａ）と第２の個体（Ｂ）が選択された後、第２の個体（Ｂ）が画面に表示された状態で、ユーザーが第２の個体（Ｂ）を一定時間以上に押すと（図６の（ａ））、第２の個体（Ｂ）がポインタ化し、画面には、第１の個体（Ａ）が表示される（図６の（ｂ））。ユーザーは、ポインタ化した第２の個体（Ｂ）を第１の個体（Ａ）上で移動させながら、第２の個体（Ｂ）を挿入する場所を選択することができる。第２の個体（Ｂ）を移動させるユーザーの操作に応じてプロセッサ４３０は第２の個体（Ｂ）の移動方向の逆方向に第１の個体（Ａ）を移動させる。図６の（ｃ）を参照すると、ユーザーが第２の個体（Ｂ）を左上方向に移動させる操作に反応してプロセッサ４３０は第１の個体（Ａ）を右下の方向に移動させる。これは、第１の個体（Ａ）で第２の個体（Ｂ）の迅速な移動を可能にする。また、第１の個体（Ａ）の端部に第２の個体（Ｂ）を位置させることを可能にすることで、第２の個体（Ｂ）を第１の個体（Ａ）の端部に挿入することが容易になる。ユーザーが第２の個体（Ｂ）を第１の個体（Ａ）内の特定の位置に割り当てると、プロセッサ４３０は、その特定の位置に第２の個体（Ｂ）を挿入する（図６の（ｂ））。

【0037】

第１のモードによって第２の個体が第１の個体の特定の位置に挿入されると、プロセッサ４３０は、第１の個体と第２の個体との間のノードのつながり関係を定義するノード属性及び第１の個体内でその特定の位置を指示する座標属性を第１の個体及び第２の個体と一緒にメモリ４１０に保存する。他の個体が挿入されたことをユーザーが識別できるように、第１の個体内で第２の個体が挿入された位置には、第１マーカー（例えば、図２の

）が表示される。ユーザーがディスプレイ部４４０に表示された第１の個体上の第１のマーカーを選択すると、プロセッサ４３０は、第１のマーカーの位置に挿入された第２の個体をディスプレイ部４４０に表示する。

【0038】

一方、受信したコマンドが第２のユーザーコマンドであれば、プロセッサ４３０は第２のモードを実行する（Ｓ５１０）。すなわち、第１の個体内の位置を指定することなく、第２の個体を第１の個体に挿入する。第２のユーザーコマンドは、第１の個体内に位置を割り当てていないユーザーの操作から生成される。例えば、第２のユーザーコマンドは、ディスプレイ部４４０に表示された第１の個体の外部領域に第２の個体を割り当てるユーザーの操作から生成される。図６を参照すると、ユーザーが第２の個体（Ｂ）をドラッグし、第１の個体の外部領域に第２の個体を配置することができる。第１の個体の外部領域に第２の個体が割り当てられると、プロセッサ４３０は、第２のユーザーコマンドを作成し、第２のユーザーコマンドに応じて、第１の個体内の特定の位置を指定することなく、第２の個体を第１の個体に第２のモードで挿入する。代替的に、第２のユーザーコマンドは、電子装置に備えられた物理的なボタンとして、第２のモードに割り当てられたボタンを押す操作を介して作成してもよい。又は、第２のユーザーコマンドは、電子装置のディスプレイ部４４０に表示されるソフトボタン（soft button）又は領域を選択するユーザー操作によって生成してもよい。そのソフトボタン（soft button）又は領域は、第１の個体の外部に表示されてもよく、第１の個体の内部に表示されてもよい。第１の個体の内部に表示されるように具現する場合に、ソフトボタン又は領域を選択するユーザー操作は、第１の個体の座標属性を割り当てないようにしなければならない。

【0039】

第２のユーザーコマンドに含まれるノード属性は、第１の個体及び第２の個体と一緒にメモリ４１０に保存される。第１の個体の一側の端には、第２の個体が第２のモードで挿入されたことを示す第２のマーカー（例えば、図３の３１０）が表示される。ユーザーがディスプレイ部４４０に表示された第１の個体上の第２のマーカーを選択すると、プロセッサ４３０は、第２の個体をディスプレイ部４４０に表示する。

【0040】

第１の個体に第２のモードで挿入する第２の個体は、複数選択されてもよい。例えば、ユーザーがＡの個体、Ｂの個体、Ｃの個体、Ｄ個体の順に複数個の第２の個体を選択した後に、選択した第２の個体を一括して第１の個体に第２のモードで挿入するための第２のユーザーコマンドを入力すると、プロセッサ４３０は、第２のモードで第２の個体を順次に階層的に挿入する。ここで、第２のモードで順次的／階層的に挿入するということは、第１の個体、Ａの個体、Ｂの個体、Ｃの個体、Ｄの個体の順に各個体が直前の個体に第２のモードで挿入されることを意味する。つまり、第２の個体のうちの１つ目のＡの個体は、第１の個体に第２のモードで挿入され、第２の個体のうちの２つ目のＢの個体は、１つ目のＡの個体に第２のモードで挿入され、３つ目のＣの個体は、２つ目のＢの個体に第２のモードで挿入される。そして４つ目のＤの個体は、Ｃの個体に第２のモードで挿入される。

【0041】

一方、メモリ４１０に保存されたプログラムは、第１の個体内に第２のモードで挿入された第２の個体をユーザーに見せるためのユーザーの直感的な機能を含む。前述したように、第２のモードは、時間経過による変化を示す写真、ビフォー／アフター比較写真、内部／外部の比較写真の間で関連付けさせる場合に特に有用である。そこで、本実施例は、第１の個体と第２の個体間を相互に比較しながら見ることができるビューイング機能を提供する。

【0042】

第２のモードで、関連する第１の個体と第２の個体のうちのいずれかがディスプレイ部４４０に表示される。この状態で、ユーザーが方向性を有するジェスチャーを入力すると、プロセッサ４４０は、入力されたジェスチャーの方向及び移動の長さに応じて、第１の個体と第２の個体間を切り替え（transition）て表示するが、ジェスチャーの移動の長さにより第１の個体と第２の個体との間の切り替えを段階的に実行する。つまり、第１の個体と第２の個体との間の切り替えの程度がジェスチャーの移動の長さに応じて異なる。

【0043】

方向性を有するジェスチャーを入力する方法は多様である。第１の個体が表示された状態で、左から右へタッチを移動させるジェスチャーの入力を受けるとディスプレイ部に表示された第１の個体が徐々に第２の個体に変換する。そして、第２の個体が表示された状態で、右から左へタッチを移動するジェスチャーの入力を受けるとディスプレイ部に表示された第２の個体が徐々に第１の個体に変換する。代替的に、電子装置のソフトボタン又は物理的ボタンを押す時間又は回数に比例して方向性を有するジェスチャーが入力されてもよい。例えば、方向キーの種類によってジェスチャーの方向が決定し、方向キーを継続的に押す時間によってジェスチャーの移動の長さが決まってもよい。第１の個体が表示された状態で、ユーザーが「-->」の方向キーを押す場合に、「-->」の方向キーを持続的に押す時間に比例してディスプレイ部４４０に表示された第１の個体が徐々に第２の個体に変換してもよい。

【0044】

変換の程度は透明度であってもよい。図７を参照すると、プロセッサ４３０は、ジェスチャーの移動の長さに応じて第１の個体と第２の個体の透明度を段階的に調節し、第１の個体と第２の個体を重なってディスプレイ部４４０に表示される。ジェスチャー入力が中断すると（例えば、タッチ解除）、ディスプレイ部に重なって表示された第１の個体と第２の個体の中で透明度が低い個体を選択してディスプレイ部４４０に表示する。代替的に、ジェスチャーが中断された時点で、透明度で第１の個体と第２の個体を互いに重なるようにして表示してもよい。

【0045】

また別の例示として、変換の程度は、第１の個体に比べて第２の個体がディスプレイ部４４０の画面に表示される割合であってもよい。第１の個体が表示された状態で、ジェスチャーが入力されると、ジェスチャーの移動の長さに比例する割合だけ第１の個体の一部の領域が画面から消える。そして、その割合に該当する第２の個体の一部の領域が、第１の個体が消えた画面内の領域に表示される。例えば、図８の（ａ）を参照すると、タッチを左から右へドラッグすると、ドラッグした長さに応じて、第１の個体が右に徐々に押され、第１の個体が押された画面の領域に第２の個体が徐々に現れる。又は、図８の（ｂ）に示すように、タッチを左から右へドラッグする長さに比例する割合だけ第１の個体の左部分が折られ、その割合に該当する第２の個体の左側の一部の領域が第１の個体が折られた画面の領域に表示されてもよい。

【0046】

本実施例の応用として、複数のイメージで構成されたイメージグループを第２の個体として、第１の個体に挿入することもできる。前述の第２の個体を複数個選択し、複数個の第２の個体を第２のモードで第１の個体に順次的／階層的に挿入する例示は、選択した個体のそれぞれが１つの個体として認識される場合である。つまり、その例示は、複数の個体を一度に第２のモードで第１の個体に挿入するものである。一方、ここで説明する本実施例の応用は、複数のイメージで構成されたイメージグループが１つの個体として扱われる。連写モードで撮影された写真や動画のように、一定の時間間隔で撮影したイメージグループがこれに該当する。又は、ユーザーが複数のイメージを選択した後に、これを１つのイメージグループとして束ねて単一の個体として設定した場合も本実施例の応用に該当する。

【0047】

第２の個体が複数のイメージで構成されたイメージグループである場合に、１つの例示として、第２の個体は、第１の個体に第１のモードで挿入することができる。ユーザーが第２の個体を選択し、選択した第２の個体をディスプレイ部４４０に表示された第１の個体内の特定の位置に割り当てる方式などで第１のユーザーコマンドを入力すると、プロセッサ４３０は、第２の個体に含まれた複数のイメージのうちのいずれかのイメージ（例えば、１つ目のイメージ）を第１の個体の特定の位置に挿入する。そして、複数のイメージのうちの残りのイメージを第２のモードで１つのイメージ（１つ目のイメージ）に挿入する。

【0048】

第１の個体の特定の位置に第２の個体が挿入されたことで、第１の個体の特定の位置には、第１マーカー（例えば、図２の

）が表示される。ユーザーが第１マーカーを選択すると、プロセッサ４３０は、第１の個体のその特定の位置に挿入された第２の個体のうちの１つ目のイメージをディスプレイ部４４０に表示する。ディスプレイ部４４０に表示された１つ目のイメージには、その複数のイメージのうちの残りのイメージが第２のモードで挿入されていることで、その１つ目のイメージの一側の端には、第２のマーカー（例えば、図２の３１０）が表示される。ユーザーが第２のマーカーを選択すると、プロセッサ４３０は、その複数のイメージを再生する。つまり、その複数のイメージのうちの残りのイメージを順次にディスプレイ部４４０に表示することで、複数のイメージを再生する。

【0049】

他の例示として、複数のイメージで構成されたイメージグループである第２の個体は、第２のモードで第１の個体に挿入される。ユーザーは、第２の個体を第２のモードで第１の個体に挿入するための第２のユーザーコマンドを入力する。例えば、第２のユーザーコマンドは、前述したように、ユーザーが第２の個体を第１の個体の外部領域に割り当てる方式などを介して入力される。プロセッサ４３０は、第１の個体内の特定の位置を指定することなく、第２の個体を第１の個体に挿入する。

【0050】

第１の個体に第２の個体が第２のモードで挿入されたことで、第１の個体の一側の端には、第２のマーカーが表示される。ユーザーが第２のマーカーを選択すると、プロセッサ４３０は、第２の個体に含まれた複数のイメージを順次
ディスプレイ部４４０に表示する。

【0051】

一方、ユーザーは方向性を有するジェスチャー入力を介して第１の個体に第１のモード又は第２のモードで挿入された第２の個体を再生することができる。第２の個体に含まれた複数のイメージのうちのいずれかがディスプレイ部４４０に表示された状態で、ユーザーからの方向性を有するジェスチャーを受信すると、プロセッサ４４０は、そのジェスチャーの方向に応じて、現在表示されたイメージを基準に順方向又は逆方向に順次イメージを再生する。再生される速度は、ジェスチャーの速度によって決まる。ジェスチャーが中断されると、プロセッサ４４０は、複数のイメージのうちのジェスチャー中断時点で表示されたイメージをディスプレイ部４４０に表示する。ユーザーはジェスチャー中断時点で表示されたイメージに別の個体を第１のモード又は第２のモードで挿入することができる。つまり、ジェスチャー入力に介する第２の個体の再生方式は、１つのイメージグループとして束ねられた複数のイメージのうちの任意のイメージを選択し、その選択したイメージに別の個体を第１のモード又は第２のモードで挿入する機能を提供する。

【0052】

以上の説明は、本実施例の技術思想を例示的に説明したに過ぎず、本実施例の属する技術分野における通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能である。したがって、本実施例は、本実施例の技術思想を限定するためのものではなく説明するためのものであり、このような実施例により、本実施例の技術思想の範囲を限定するものではない。本実施例の保護範囲は請求の範囲によって解釈するべきであり、その同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈するべきである。

【0053】

CROSS-REFERENCE TO RELATED APPLICATION
本特許出願は、本明細書にその全体が参考として含まれる、2018年12月26日付にて韓国に出願した特許出願番号第10-2018-0169483号に対して優先権を主張する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2021-06-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の個体をマルチデプス（multi-depth）のツリー構造で構成するための電子装置が実行するイメージ処理方法であって、
第１の個体と第２の個体をつなぐノード属性及び、前記第１の個体内の座標属性を含む第１のユーザーコマンドを受信すると、第１のモードで前記第２の個体を前記第１の個体と関連付けるステップと、
前記第１の個体内の座標属性なしの前記ノード属性を含む第２のユーザーコマンドを受信すると、第２のモードで前記第２の個体を前記第１の個体と関連付けるステップと、を含み、
前記第１の個体は、２次元又は３次元のイメージであり、
前記第１のモードでは、前記第１の個体内で、前記座標属性によって指示される位置に前記第２の個体を挿入し、
前記第２のモードでは、前記第１の個体内の位置を指定することなく、前記第２の個体を前記第１の個体に挿入することを特徴とするイメージ処理方法。

【請求項2】

前記第１のユーザーコマンドは、前記電子装置に表示された前記第１の個体の内部の特定の位置に前記第２の個体を割り当てるユーザーの操作から生成され、
前記第２のユーザーコマンドは、前記電子装置に表示された前記第１の個体の外部の領域に前記第２の個体を割り当てるユーザーの操作から生成されることを特徴とする請求項１に記載のイメージ処理方法。

【請求項3】

前記第２のユーザーコマンドは、前記電子装置のディスプレイ部に表示されるソフトボタン若しくは領域、又は前記電子装置に備えられた物理的なボタンに対するユーザーの操作から生成されることを特徴とする請求項１に記載のイメージ処理方法。

【請求項4】

前記電子装置は、
前記第１の個体内にて、前記座標属性によって指示される位置に前記第２の個体が前記第１のモードで挿入されたことを示す第１のマーカーを表示し、
前記第１の個体のエッジ部分に前記第２の個体が前記第２のモードで挿入されたことを示す第２のマーカーを表示することを特徴とする請求項１に記載のイメージ処理方法。

【請求項5】

前記第２の個体が前記第１の個体に前記第２のモードで挿入された状態で、
ユーザーからの方向性を有するジェスチャーを受信すると、前記ジェスチャーの方向に応じて前記第１の個体と前記第２の個体との間を切り替えて表示し、前記第１の個体と前記第２の個体間の切り替えの程度が前記ジェスチャーの移動の長さに応じて異なることを特徴とする請求項１に記載のイメージ処理方法。

【請求項6】

前記切り替えは、互いに重なった第１の個体と第２の個体間の透明度を前記ジェスチャーの移動の長さに応じて段階的に調節することで実行されることを特徴とする請求項５に記載のイメージ処理方法。

【請求項7】

前記ジェスチャーが中断されると、前記第１の個体と前記第２の個体のうち、中断時点での透明度が低い個体を表示することを特徴とする請求項６に記載のイメージ処理方法。

【請求項8】

前記ジェスチャーが中断されると、中断時点での透明度を有する前記第１の個体と前記第２の個体を互いに重ねて表示することを特徴とする請求項６に記載のイメージ処理方法。

【請求項9】

前記第２の個体が複数のイメージで構成されたイメージグループである場合に、前記第１のユーザーコマンドを受信すると、
前記複数のイメージのうちのいずれかのイメージは、前記第１のモードで前記第１の個体内に挿入され、
前記複数のイメージのうちの残りのイメージは、前記第２のモードで前記１つのイメージに挿入されることを特徴とする請求項１に記載のイメージ処理方法。

【請求項10】

前記１つのイメージ上に前記残りのイメージが前記第２のモードで挿入されたことを示す第２のマーカーがユーザーによって選択されると、前記イメージグループ内のイメージが順次表示されることを特徴とする請求項９に記載のイメージ処理方法。

【請求項11】

前記第２の個体が複数のイメージで構成されたイメージグループである場合に、前記第２のユーザーコマンドを受信すると、
前記イメージグループを前記第２のモードで前記第１の個体内に挿入することを特徴とする請求項１に記載のイメージ処理方法。

【請求項12】

前記第１の個体内に前記イメージグループが前記第２のモードで挿入されたことを示す第２のマーカーがユーザーによって選択されると、前記イメージグループ内の前記複数のイメージが順次ディスプレイされることを特徴とする請求項１１に記載のイメージ処理方法。

【請求項13】

前記電子装置のディスプレイ部に前記複数のイメージの中の任意のイメージが表示された状態で、
ユーザーからの方向性を有するジェスチャーを受信すると、前記ジェスチャーの方向及び速度に応じて前記複数のイメージを順次ディスプレイされる方向及び速度を調節することを特徴とする請求項９又は請求項１１に記載のイメージ処理方法。

【請求項14】

前記ジェスチャーが中断されると、前記複数のイメージのうち、中断された時点で表示されたイメージをディスプレイすることを特徴とする請求項１３に記載のイメージ処理方法。

【請求項15】

コンピュータによって読み取り可能なプログラムであって、前記プログラムは、
第１の個体と第２の個体をつなぐノード属性及び、前記第１の個体内の座標属性を含む第１のユーザーコマンドを受信すると、第１のモードで前記第２の個体を前記第１の個体と関連付けるステップと、
前記第１の個体内の座標属性なしの前記ノード属性を含む第２のユーザーコマンドを受信すると、第２のモードで前記第２の個体を前記第１の個体と関連付けるステップと、を実行し、
前記第１の個体はイメージであり、
前記第１のモードでは、前記第１の個体内で、前記座標属性によって指示される位置に前記第２の個体を挿入し、
前記第２のモードでは、前記第１の個体内の位置を指定することなく、前記第２の個体を前記第１の個体に挿入することを特徴とするプログラム。

【国際調査報告】