(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-30
(54)【発明の名称】イメージ統合方法及びシステム
(51)【国際特許分類】
G06T 1/00 20060101AFI20221122BHJP
G06T 7/33 20170101ALI20221122BHJP
G01B 11/24 20060101ALI20221122BHJP
G06F 16/53 20190101ALI20221122BHJP
【FI】
G06T1/00 200D
G06T7/33
G01B11/24 K
G06F16/53
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022512765
(86)(22)【出願日】2021-07-19
(85)【翻訳文提出日】2022-02-22
(86)【国際出願番号】 KR2021009269
(87)【国際公開番号】W WO2022045584
(87)【国際公開日】2022-03-03
(31)【優先権主張番号】10-2020-0109718
(32)【優先日】2020-08-28
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2020-0132274
(32)【優先日】2020-10-13
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】522070352
【氏名又は名称】メジリティ カンパニー リミテッド
【氏名又は名称原語表記】MERGERITY CO., LTD.
【住所又は居所原語表記】2F, 211, Hakdong-ro, Gangnam-gu, Seoul 06052 Korea
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】キム パンジョン
(72)【発明者】
【氏名】ミョン ベヨン
(72)【発明者】
【氏名】ユ ソンフン
【テーマコード(参考)】
2F065
5B050
5B175
5L096
【Fターム(参考)】
2F065AA04
2F065AA53
2F065BB05
2F065BB16
2F065DD03
2F065FF04
2F065FF66
2F065JJ03
2F065MM04
2F065MM26
2F065PP13
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ28
2F065QQ31
2F065RR09
2F065UU05
5B050AA09
5B050BA06
5B050BA10
5B050BA13
5B050CA01
5B050DA04
5B050EA03
5B050EA04
5B050EA07
5B050EA18
5B050FA02
5B050FA05
5B050GA08
5B175DA02
5L096AA02
5L096AA06
5L096BA08
5L096CA05
5L096DA02
5L096EA35
5L096FA02
5L096FA64
5L096FA66
5L096GA30
5L096GA51
5L096HA01
5L096HA07
5L096JA11
(57)【要約】
本発明のイメージ統合方法はコンピューターシステムで行われるイメージ統合方法において、上記のコンピューターシステムに含まれる少なくとも一つのプロセッサーで、第1オブジェクトに対する第1イメージ及び第2オブジェクトに対する第2イメージを保存するイメージ保存段階、上記の少なくとも一つのプロセッサーで、上記の第1イメージ及び上記の第2イメージからそれぞれオブジェクトの外形及び外面に対する情報の中の少なくとも一つに関する第1オブジェクト特性情報及び第2オブジェクト特性情報を生成するオブジェクト特性情報生成段階、上記の少なくとも一つプロセッサーで、上記の第1オブジェクト特性情報及び上記の第2オブジェクト特性情報を比べて、上記の第1オブジェクトと第2オブジェクトが同一オブジェクトである確率指標を算出する指標算出段階、及び上記の確率指標が基準値以上である場合、上記の少なくとも一つのプロセッサーで、上記の第1イメージと上記の第2イメージを同一オブジェクトに対するイメージに統合して保存するイメージ統合段階を含む。
【特許請求の範囲】
【請求項1】
コンピューターシステムで行われるイメージ統合方法において、
上記のコンピューターシステムに含まれる少なくとも一つのプロセッサーで、第1オブジェクトに対する第1イメージ及び第2オブジェクトに対する第2イメージを保存するイメージ保存段階と、
上記の少なくとも一つのプロセッサーで、上記の第1イメージ及び上記の第2イメージからそれぞれのオブジェクトの外形及び外面に対する情報の中の少なくとも一つに関する第1オブジェクト特性情報及び第2オブジェクト特性情報を生成するオブジェクト特性情報生成段階と、
上記の少なくとも一つのプロセッサーで、上記の第1オブジェクト特性情報及び上記の第2オブジェクト特性情報を比べて上記の第1オブジェクトと上記の第2オブジェクトが同一のオブジェクトである確率指標を算出する指標算出段階と、
上記の確率指標が基準値以上である場合、上記の少なくとも一つのプロセッサーで、上記の第1イメージと上記の第2イメージを同一のオブジェクトに対するイメージに統合して保存するイメージ統合段階とを含み、
上記のオブジェクト特性情報生成段階は、
上記のオブジェクトの外形を水平方向の区分線により区分し、垂直方向に羅列される複数の部分イメージで区分したり、上記のオブジェクトの外面を垂直方向の区分線により区分され、水平方向に羅列される複数の部分イメージで区分することを特徴にして、
上記のオブジェクトの外形を水平方向の区分線により区分し、垂直方向に羅列される複数の部分イメージで区分する場合、上記のオブジェクト特性情報は上記の部分イメージの形態、色相、長さ、間隔及び割合の中のいずれかの情報を含め、上記のオブジェクトの外面を垂直方向の区分線により区分し、水平方向で羅列される複数の部分イメージで区分する場合、上記のオブジェクト特性情報は上記の部分イメージのパターン、色相及び上記の部分イメージに含まれたテキストの中のいずれかの情報を含むイメージ統合方法。
【請求項2】
上記の第1イメージ及び上記の第2イメージは、
拡張現実イメージである、請求項第1に記載のイメージ統合方法。
【請求項3】
上記の第1イメージ及び上記の第2イメージは、
一定の範囲で上記の第1オブジェクト及び上記の第2オブジェクトの周りを旋回しながら撮影されて生成されるイメージである、請求項1に記載のイメージ統合方法。
【請求項4】
上記のオブジェクト特性情報生成段階は、
上記のオブジェクトの外形を分析して、上記のオブジェクトの形態が上記のコンピューターシステムに予め保存された複数のレファレンス外形の中のいずれかを選択し、上記のオブジェクト特性情報は上記の選択されたいずれかのレファレンス外形に関する情報を含む、請求項1に記載のイメージ統合方法。
【請求項5】
上記のオブジェクト特性情報生成段階は、
上記の第1イメージまたは第2イメージから上記のオブジェクトの撮影の高さを認識する高さ認識段階と、
上記の撮影の高さが予め定められた基準高さになるように上記の第1イメージまたは上記の第2イメージを補正する高さ補正段階とを含む、請求項1に記載のイメージ統合方法。
【請求項6】
上記の指標算出段階は、
上記の第1オブジェクト特性情報及び上記の第2オブジェクト特性情報から垂直方向に区分線で区分される垂直部分イメージを識別する垂直部分イメージ識別段階と、
上記の第1オブジェクト特性情報と上記の第2オブジェクト特性情報のそれぞれの垂直部分イメージを比べて、重畳領域に該当する少なくとも一つの垂直部分イメージを選定する重畳領域の選定段階とを含む、請求項1に記載のイメージ統合方法。
【請求項7】
上記の指標算出段階で、
上記の確率指標は、
上記の第1オブジェクト特性情報と上記の第2オブジェクト特性情報の中の上記の重畳領域に該当する少なくとも一つの垂直部分イメージの連関性の可否に基ついて算出されることを特徴とする、請求項6に記載のイメージ統合方法。
【請求項8】
上記の重畳領域に該当する少なくとも一つの垂直部分イメージはお互いに連続する複数の垂直部分イメージである、請求項6に記載のイメージ統合方法。
【請求項9】
上記のイメージ保存段階は、
上記の第1イメージを保存する第1イメージ保存段階と、
上記の第2イメージを保存する第2イメージ保存段階とを含み、
上記のオブジェクト特性情報生成段階は、
上記の第1オブジェクト特性情報を生成する第1オブジェクト特性情報生成段階と、
上記の第2オブジェクト特性情報を生成する第2オブジェクト特性情報生成段階とを含み、
上記の第2イメージ保存段階は上記の第1オブジェクト特性情報生成段階の以降に行われることを特徴にし、
上記の確率指標が基準値以上である場合、上記の少なくとも一つのプロセッサーで、上記の第2イメージに追加される追加第2イメージを保存する追加第2イメージ保存段階をさらに含む、請求項1に記載のイメージ統合方法。
【請求項10】
上記の第2イメージ及び上記の追加第2イメージは上記のコンピューターシステムとネットワークを通じて連結される一つの端末機から撮影される、請求項9に記載のイメージ統合方法。
【請求項11】
上記の確率指標が基準値以上である場合、上記の少なくとも一つのプロセッサーで、
上記のコンピューターシステムとネットワークを通じて連結される端末機に上記の追加第2イメージの撮影及び伝送を支援する追加第2イメージ登録モードを提供する段階をさらに含む、請求項9に記載のイメージ統合方法。
【請求項12】
上記の追加第2イメージ登録モードを提供する段階で、
上記の少なくとも一つのプロセッサーは、上記の端末機で上記の第2イメージに対応される部分と上記の追加第2イメージに対応される部分が区分されて表示されるように上記の追加第2イメージ登録モードを提供する、請求項11に記載のイメージ統合方法。
【請求項13】
上記の追加第2イメージ登録モードを提供する段階で、
上記の第2イメージに対応される部分と上記の追加第2イメージに対応される部分は上記の第2オブジェクトを囲む仮想の円の形態で表示されて、
上記の第2イメージに対応される部分と上記の追加第2イメージに対応される部分はお互いに異なる色相で表示される、請求項12に記載のイメージ統合方法。
【請求項14】
コンピューターシステムにおいて、
メモリと、
上記のメモリと連結されて、命令を実行するように構成される少なくとも一つのプロセッサーとを含み、
上記の少なくとも一つのプロセッサーは、
第1オブジェクトに対する第1イメージ及び第2オブジェクトに対する第2イメージを保存するイメージ保存部と、
上記の第1イメージ及び上記の第2イメージからそれぞれのオブジェクトの外形及び外面に対する情報の中の少なくとも一つに関する第1オブジェクト特性情報及び第2オブジェクト特性情報を生成するオブジェクト特性情報生成部と、
上記の第1オブジェクト特性情報及び上記の第2オブジェクト特性情報を比べて上記の第1オブジェクトと上記の第2オブジェクトが同一のオブジェクトである確率指標を算出する指標算出部と、
上記の確率指標が基準値以上である場合、上記の第1イメージと上記の第2イメージを同一のオブジェクトに対するイメージに統合して保存するイメージ統合部とを含むコンピューターシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はイメージ統合方法に関するもので、より詳細にはお互いに異なる視点から撮影されたAR(拡張現実)イメージを一つのイメージに統合して保存する方法及びシステムに関するものである。
【背景技術】
【0002】
高性能カメラが搭載されたスマートフォン及びタブレットPCなどの端末機が普及されることにより、周りの物事に対する高画質の写真または映像などのイメージを撮影することが容易になった。また、このような端末機は高速の無線通信を支援する場合が多いため、このようなイメージをインターネットを通じてサーバーアップロードすることもまた容易になった。
【0003】
最近、このような端末機を用いて物事を一方向のみで撮影することではなく、端末機が物事の周りの少なくとも一部を旋回しながら、物事を複数の方向から撮影する方法が支援される。このような方法を用いる場合、物事に対して二つ以上の視点からの情報が取り合わせるため、実際の物事の形状情報をよりよく表現することができるというメリットがある。
【0004】
このような複数の方向から撮影したイメージ情報を用いた様々なサービスが試みられている。このようなサービスが円滑に提供されるためには物事に対してできるだけ多くの方向から撮影されたイメージが必要である。しかし、一般的なユーザーは物事の全体(360°)を旋回しながら撮影することに相当な不便及び未熟さなどを感じる。
【0005】
もし、上述したサービスが物事をどのような方向から撮影しても物事を認識する機能のサービスであって、予め保存されたイメージが物事の全体ではなく半分(180°)を旋回しながら撮影したものと仮定しよう。このような状況でもしユーザーが既に撮影された半分ではなく他の方向から同一な物事を撮影する場合、サービスの提供者はユーザーが撮影した物事を認識できない問題点が発生する。
【0006】
したがって、このような問題点を解決する方法について、様々な試みが進められている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】大韓民国登録特許第10-2153990号
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明が解決しようとする課題は、同一なオブジェクトを撮影したお互いに異なるイメージを一つのイメージに統合して保存及び管理する方法を提供することである。
【0009】
本発明が解決しようとする他の課題は、お互いに異なる端末機でお互いに異なる視点から撮影したお互いに異なる二つのイメージに対して、二つのイメージが同一のオブジェクトである確率指標を算出する方法を提供するものである。
【課題を解決するための手段】
【0010】
上記の課題を解決するための本発明のイメージ統合方法は、コンピューターシステムで行われるイメージ統合方法において、上記のコンピューターシステムに含まれる少なくとも一つのプロセッサーで、第1オブジェクトに対する第1イメージ及び第2オブジェクトに対する第2イメージを保存するイメージ保存段階、上記の少なくとも一つのプロセッサーで、上記の第1イメージ及び上記の第2イメージからそれぞれのオブジェクトの外形及び外面に対する情報の中の少なくとも一つに関する第1オブジェクト特性情報及び第2オブジェクト特性情報を生成するオブジェクト特性情報生成段階、上記の少なくとも一つのプロセッサーで、上記の第1オブジェクト特性情報及び上記の第2オブジェクト特性情報を比べて上記の第1オブジェクトと上記の第2オブジェクトが同一のオブジェクトである確率指標を算出する指標算出段階、及び上記の確率指標が基準値以上である場合、上記の少なくとも一つのプロセッサーで、上記の第1イメージと上記の第2イメージを同一のオブジェクトに対するイメージに統合して保存するイメージ統合段階を含むイメージ統合方法である。
【0011】
本発明の一実施例によるイメージ統合方法は、上記の第1イメージ及び上記の第2イメージは、拡張現実イメージであるイメージ統合方法であることができる。
【0012】
本発明の一実施例によるイメージ統合方法は、上記の第1イメージ及び上記の第2イメージは、一定の範囲で上記の第1オブジェクト及び上記の第2オブジェクトの周りを旋回しながら撮影されて生成されるイメージであるイメージ統合方法であることができる。
【0013】
本発明の一実施例によるイメージ統合方法は、上記のオブジェクト特性情報生成段階は、上記のオブジェクトの外形を水平方向の区分線により区分し、垂直方向に羅列される複数の部分イメージで区分することを特徴にし、上記のオブジェクト特性情報は上記の部分イメージの形態、色相、長さ、間隔及び割合の中のいずれかの情報を含むイメージ統合方法であることができる。
【0014】
本発明の一実施例によるイメージ統合方法は、上記のオブジェクト特性情報生成段階は、上記のオブジェクトの外形を分析して上記のオブジェクトの形態が上記のコンピューターシステムに予め保存された複数のレファレンス外形の中のいずれかを選択し、上記のオブジェクト特性情報は上記の選択されたいずれかのレファレンス外形に関する情報を含むイメージ統合方法であることができる。
【0015】
本発明の一実施例によるイメージ統合方法は、上記のオブジェクト特性情報生成段階は、上記のオブジェクトの外面を垂直方向の区分線により区分し、水平方向で羅列される複数の部分イメージで区分することを特徴にし、上記のオブジェクト特性情報は上記の部分イメージのパターン、色相及び上記の部分イメージに含まれたテキストの中のいずれかの情報含むイメージ統合方法であることができる。
【0016】
本発明の一実施例によるイメージ統合方法は、上記のオブジェクト特性情報生成段階は、上記の第1イメージまたは第2イメージから上記のオブジェクトの撮影の高さを認識する高さ認識段階、及び上記の撮影の高さが予め定められた基準高さになるように上記の第1イメージまたは上記の第2イメージを補正する高さ補正段階を含むイメージ統合方法であることができる。
【0017】
本発明の一実施例によるイメージ統合方法は、上記の指標算出段階は、上記の第1オブジェクト特性情報及び上記の第2オブジェクト特性情報から垂直方向に区分線で区分される垂直部分イメージを識別する垂直部分イメージ識別段階、及び上記の第1オブジェクト特性情報と上記の第2オブジェクト特性情報のそれぞれの垂直部分イメージを比べて、重畳領域に該当する少なくとも一つの垂直部分イメージを選定する重畳領域の選定段階を含むイメージ統合方法であることができる。
【0018】
本発明の一実施例によるイメージ統合方法は、上記の指標算出段階で、上記の確率指標は、上記の第1オブジェクト特性情報と上記の第2オブジェクト特性情報の中の上記の重畳領域に該当する少なくとも一つの垂直部分イメージの連関性の可否に基ついて算出されることを特徴とするイメージ統合方法であることができる。
【0019】
本発明の一実施例によるイメージ統合方法は、上記の重畳領域に該当する少なくとも一つの垂直部分イメージはお互いに連続する複数の垂直部分イメージであるイメージ統合方法である。
【0020】
本発明の一実施例によるイメージ統合方法は、上記のイメージ保存段階は、上記の第1イメージを保存する第1イメージ保存段階と、上記の第2イメージを保存する第2イメージ保存段階とを含み、上記のオブジェクト特性情報生成段階は、上記の第1オブジェクト特性情報を生成する第1オブジェクト特性情報生成段階と、上記の第2オブジェクト特性情報を生成する第2オブジェクト特性情報生成段階とを含み、上記の第2イメージ保存段階は上記の第1オブジェクト特性情報生成段階の以降に行われることを特徴にし、上記の確率指標が基準値以上である場合、上記の少なくとも一つのプロセッサーで、上記の第2イメージに追加される追加第2イメージを保存する追加第2イメージ保存段階をさらに含むイメージ統合方法であることができる。
【0021】
本発明の一実施例によるイメージ統合方法は、上記の第2イメージ及び上記の追加第2イメージは上記のコンピューターシステムとネットワークを通じて連結される一つの端末機から撮影されるイメージ統合方法であることができる。
【0022】
本発明の一実施例によるイメージ統合方法は、上記の確率指標が基準値以上である場合、上記の少なくとも一つのプロセッサーで、上記のコンピューターシステムとネットワークを通じて連結される端末機に上記の追加第2イメージの撮影及び伝送を支援する追加第2イメージ登録モードを提供する段階をさらに含むイメージ統合方法であることができる。
【0023】
本発明の一実施例によるイメージ統合方法は、上記の追加第2イメージ登録モードを提供する段階で、上記の少なくとも一つのプロセッサーは、上記の端末機で上記の第2イメージに対応される部分と上記の追加第2イメージに対応される部分が区分されて表示されるように上記の追加第2イメージ登録モードを提供するイメージ統合方法であることができる。
【0024】
本発明の一実施例によるイメージ統合方法は、上記の追加第2イメージ登録モードを提供する段階で、上記の第2イメージに対応される部分と上記の追加第2イメージに対応される部分は上記の第2オブジェクトを囲む仮想の円の形態で表示されて、上記の第2イメージに対応される部分と上記の追加第2イメージに対応される部分はお互いに異なる色相で表示されるイメージ統合方法であることができる。
【0025】
または、上記の課題を解決するための本発明のイメージ統合コンピューターシステムは、コンピューターシステムにおいて、メモリ、及び上記のメモリと連結されて、命令を実行するように構成される少なくとも一つのプロセッサーを含み、上記の少なくとも一つのプロセッサーは、第1オブジェクトに対する第1イメージ及び第2オブジェクトに対する第2イメージを保存するイメージ保存部、上記の第1イメージ及び上記の第2イメージからそれぞれのオブジェクトの外形及び外面に対する情報の中の少なくとも一つに関する第1オブジェクト特性情報及び第2オブジェクト特性情報を生成するオブジェクト特性情報生成部、上記の第1オブジェクト特性情報及び上記の第2オブジェクト特性情報を比べて上記の第1オブジェクトと上記の第2オブジェクトが同一のオブジェクトである確率指標を算出する指標算出部、及び上記の確率指標が基準値以上である場合、上記の第1イメージと上記の第2イメージを同一のオブジェクトに対するイメージで統合して保存するイメージ統合部を含むコンピューターシステムである。
【発明の効果】
【0026】
本発明の一実施例によるイメージ統合方法は同一なオブジェクトを撮影したお互いに異なるイメージを一つのイメージに統合して保存及び管理することができる。
【0027】
また、本発明の一実施例によるイメージ統合方法はお互いに異なる端末機でお互いに異なる視点から撮影したお互いに異なるイメージについて、二つのイメージのオブジェクトが同一なオブジェクトである確率指標を算出することができる。
【図面の簡単な説明】
【0028】
【
図1】本発明のイメージ統合方法で行われるコンピューターシステムの連結関係を図示した図面である。
【
図2】本発明のイメージ統合方法を行うコンピューターシステムに対するブロック図である。
【
図3】本発明のイメージ統合方法のフローチャートである。
【
図4】本発明の一実施例による第1イメージと第2イメージの内容を図式的に図示した図面である。
【
図5】本発明の一実施例によるプロセッサーがオブジェクトからオブジェクト特性情報を生成する例示的な方法を簡略に図示したものである。
【
図6】本発明の一実施例による部分イメージを示した図面である。
【
図7】本発明の一実施例による指標算出段階に対する例示を示した図面である。
【
図8】本発明の一実施例によるイメージ統合段階についての例示を示す図面である。
【
図9】本発明の一実施例による追加イメージ登録モード提供段階に対する例示を示した図面である。
【
図10】本発明の一実施例による追加イメージの保存段階に対する例示を示す図面である。
【発明を実施するための形態】
【0029】
以下、添付された図面を参考にして、本発明の実施例を詳しく説明する。本発明を説明するのにおいて、該当の分野ですでに公知された技術または構成に対する具体的な説明を付加することが本発明の要旨を不明にする可能性があると判断される場合には詳細な説明でこれを一部省略するようにする。また、本明細書で用いられる用語は本発明の実施例を適切に表現するために用いられた用語であって、これは該当分野の関連される人または慣例などにより異なることができる。したがって、本用語に対する定義は本明細書の全般にかける内容に基ついて下されるべきである。
【0030】
ここで、用いられる専門用語は単に特定の実施例を言及するためのものであり、本発明を限定するものを意図していない。ここで用いられる単数形態は文言がこれと明白に反対の意味を示さない限り複数の形態も含む。明細書で用いられる「含む」の意味は特定の特性、領域、整数、段階、動作、要素及び/または成分を具体化し、他の特定の特性、領域、整数、段階、動作、要素、成分及び/または群の存在や付加を除外することではない。
【0031】
以下、添付された
図1乃至
図10を参考にして、本発明の一実施例によるイメージ統合方法について説明する。
【0032】
図1は本発明のイメージ統合方法に行われるコンピューターシステム10の連結関係を簡単に図示した図面である。
【0033】
図1を参考にすれば、本発明のコンピューターシステム10はネットワーク20と連結されたサーバーで構成されることができる。コンピューターシステム10はネットワーク20を通じて複数の端末機と連結されることができる。
【0034】
ここで、ネットワーク20の通信方式は制限されなく、各構成要素の間の連結が同一なネットワーク20方式で連結されないこともできる。ネットワーク20は、通信網(一例で、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を活用する通信方式のみならず、機器の間の近距離無線通信もやはり含むことができる。例えば、ネットワーク20は、客体と客体がネットワーキングすることができるすべての通信方法を含むことができ、有線通信、無線通信、3G、4G、5G、または、それ以外の方法で制限されない。例えば、有線及び/またはネットワーク20は、LAN(Local Area Network), MAN(Metropolitan Area Network)、GSM(Global System for Mobile Network)、EDGE(Enhanced Data GSM Environment)、HSDPA(High Speed Downlink Packet Access)、W-CDMA(登録商標)(Wideband Code Division Multiple Access)、 CDMA(Code Division Multiple Access)、 TDMA(Time Division Multiple Access)、 ブルートゥース(登録商標)(Bluetooth)、Zigbee、ワイファイ(Wi-Fi)、VoIP(Voice over Internet Protocol)、 LTE Advanced、 IEEE802.16m、 WirelessMAN-Advanced、 HSPA+、3GPP Long Term Evolution(LTE)、 Mobile WiMAX(IEEE 802.16e)、UMB (formerly EV-DO Rev. C)、 Flash-OFDM、 iBurst and MBWA (IEEE 802.20) systems、 HIPERMAN、Beam-Division Multiple Access(BDMA)、Wi-MAX(World Interoperability for Microwave Access)及び超音波活用通信で構成される群から選択される一つ以上の通信方法による通信ネットワークを称することができるが、これに限定されるものではない。
【0035】
端末機はイメージを撮影することができるカメラ装置が付加されたものが望ましい。端末機は携帯電話、スマートフォン(smart phone)、ノートパソコン(laptop computer)、デジタル放送用の端末機、PDA(personal digital assistants)、PMP(portable multimedia player)、ナビゲーション、スレートPC(slate PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device、例えば、ウオッチ型端末機(smartwatch)、グラス型端末機(smart glass)、HMD(head mounted display))などが含まれることができる。
【0036】
端末機は通信モジュールを含むことができ、移動通信のための技術標準または通信方式(例えば、GSM(Global System for Mobile communication)、CDMA(Code Division Multi Access)、CDMA2000(Code Division Multi Access 2000)、EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only)、WCDMA(登録商標)(Wideband CDMA)、HSDPA(High Speed Downlink Packet Access)、HSUPA(High Speed Uplink Packet Access)、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)など)により構築された移動通信網の上で、基地局、外部の端末、サーバーの中の少なくとも一つと無線信号を送受信する。
【0037】
図2は本発明のイメージ統合方法を行うコンピューターシステム10に対するブロック図である。
【0038】
図2を参考にすれば、コンピューターシステム10はメモリ100及びプロセッサー200を含む。またはコンピューターネットワーク20と連結することができる通信部を含むことができる。
【0039】
ここで、プロセッサー200はメモリ100と連結されて、命令を実行するように構成される。命令とはメモリ100に含まれるコンピューター判読可能な命令を意味する。
【0040】
プロセッサーはイメージ登録モード提供部210、イメージ保存部220、オブジェクト特性情報生成部230、指標算出部240及びイメージ統合部250を含む。
【0041】
メモリ100にはイメージ及びイメージに対するオブジェクト特性情報を含むデータベースが保存されることができる。
【0042】
上述するプロセッサーの各部分については、以下、イメージ統合方法を説明した後に説明する。
【0043】
図3は本発明のイメージ統合方法のフローチャートを図示するものである。
【0044】
図3を参考にすると、本発明のイメージ統合方法はイメージ保存段階、オブジェクト特性情報生成段階、指標算出段階、イメージ統合段階、追加イメージ330登録モード提供段階及び追加イメージ330保存段階を含む。
【0045】
上述する各段階はコンピューターシステム10で行われる。具体的に上述する各段階はコンピューターシステム10に含まれる少なくとも一つのプロセッサー200で行われる。
【0046】
上述する各段階は特別な因果関係により羅列された順番に従って遂行されなければならない場合を除き、羅列された順番と関係なく遂行されることができる。
【0047】
以下、イメージ保存段階について説明する。
イメージ保存段階を説明するのにおいて、
図4を参考にして説明する。
【0048】
イメージ保存段階はコンピューターシステム10に含まれる少なくとも一つのプロセッサー200で、第1オブジェクト300に対する第1イメージ310及び第2オブジェクト400に対する第2イメージ410を保存する段階である。
【0049】
このようなイメージ保存段階はイメージ登録モード提供段階が行われて、ユーザーの端末機で提供を受けたイメージ登録モードに反応して撮影が進められた後に行われることができる。
【0050】
コンピューターシステム10はネットワーク20を通じて少なくとも一つの端末機から撮影したイメージを受信する。コンピューターシステム10は受信したイメージをメモリ100に保存する。
【0051】
ここで、イメージは複数のイメージがあることができる。説明の便利のためにイメージは第1イメージ310及び第2イメージ410があると仮定して説明する。また、第1イメージ310は第1オブジェクト300に対するイメージであり、第2イメージ410は第2オブジェクト400に対するイメージと仮定して説明する。
【0052】
ここで、イメージは拡張現実(augmented reality、AR)イメージであることができる。また、イメージは一定範囲でオブジェクトの周りを旋回しながら撮影されて生成されたイメージであることができる。イメージはオブジェクトの周りの全体範囲(360°)を撮影したものであることもできるが、以下では一部の範囲(360°未満)を撮影したものであることを仮定して説明する。
【0053】
イメージ保存段階は詳細に、第1イメージ310を保存する第1イメージ310保存段階及び第2イメージ410を保存する第2イメージ410保存段階を含むことができる。そして、第1イメージ310保存段階と第2イメージ410保存段階はお互いに時間的に離隔されて行われることができる。
【0054】
具体的なことは後述するが、第1イメージ310保存段階が行われた後、第1オブジェクト300特性情報生成段階が行われた以降に第2イメージ410保存段階が行われることができる。
【0055】
図4は第1イメージ310と第2イメージ410の内容を図式的に図示した図面である。
【0056】
図4を参考にして、第1イメージ310と第2イメージ410の内容に簡単に説明する。
【0057】
上述するように、第1イメージ310は第1オブジェクト300に対するイメージであり、第2イメージ410は第2オブジェクト400に対するイメージである。しかし、第1オブジェクト300と第2オブジェクト400は同一なオブジェクトであることができる。しかし、第1イメージ310と第2イメージ410がそれぞれお互いに異なる主体によって、オブジェクトを基準にお互いに異なる視点から異なる部分が撮影されたものだとすれば、コンピューターシステム10では第1オブジェクト300と第2オブジェクト400が同一なオブジェクトであるかどうかを即時把握することが難しいかもしれない。
【0058】
ここで、第1オブジェクト300と第2オブジェクト400が同一なオブジェクトというのは、物理的に同一なオブジェクトであるということだけではなく、物理的には異なるオブジェクトであるが、外形及び外面などの特徴が同一な、すなわち、同一な種類のオブジェクトであることも含む。
【0059】
図4に図示されるもののように、第1イメージ310は第1オブジェクト300を任意の特定基準点を基準に0°~90°の範囲を撮影したイメージであることができる。そして、第2イメージ410は第1オブジェクト300と同一な第2オブジェクト400を同一な任意の特定の基準点を基準に60°~120°の範囲を撮影したイメージであることができる。
【0060】
以下、オブジェクト特性情報生成段階について説明する。
オブジェクト特性情報生成段階を説明するのにおいて、
図5乃至
図7を参考に説明する。
【0061】
オブジェクト特性情報生成段階はコンピューターシステム10に含まれる少なくとも一つのプロセッサー200で、第1イメージ310及び第2イメージ410からそれぞれのオブジェクトの外形及び外面に対する情報の中の少なくとも一つに関する第1オブジェクト300特性情報及び第2オブジェクト400特性情報を生成する段階である。
【0062】
オブジェクト特性情報はプロセッサー200がイメージからオブジェクト外形及び外面に対する情報の中の少なくとも一つに関する特性を抽出した情報を意味する。
【0063】
オブジェクト特性情報は第1オブジェクト300特性情報と第2オブジェクト400特性情報があることができる。第1オブジェクト300特性情報は第1イメージ310から抽出した第1オブジェクト300の外形及び外面の中の少なくとも一つに関する情報である。第2オブジェクト400特性情報は第2イメージ410から抽出した第2オブジェクト400の外形及び外面の中の少なくとも一つに関する情報である。
【0064】
オブジェクト特性情報生成段階は詳細に、第1オブジェクト300特性情報を生成する第1オブジェクト300特性情報生成段階及び第2オブジェクト400特性情報を生成する第2オブジェクト400特性情報生成段階を含むことができる。そして、第1オブジェクト300特性情報生成段階と第2オブジェクト400特性情報生成段階はお互いに時間的に離隔されて行われることができる。
【0065】
具体的に、まず第1イメージ310保存段階が行われて、第1オブジェクト300特性情報生成段階が行われる。その後に第2イメージ410保存段階が行われて、第2オブジェクト400特性情報生成段階が行われることができる。
【0066】
図5はプロセッサー200がオブジェクトからオブジェクト特性情報を生成する一例示的な方法を簡略に図示したものである。
【0067】
図5を参考にすれば、オブジェクト特性情報は部分イメージ320の形態、色相、長さ、間隔及び割合の中のある一つの情報を含むことができる。
【0068】
ここで部分イメージ320とはオブジェクトの外形を一方向の区分線により区分したイメージを意味する。
図5に図示されるもののように、部分イメージ320はオブジェクトの外形を水平方向の区分線により区分されて、垂直方法に羅列されるイメージであることができる。一つのイメージはこのような複数の部分イメージ320で構成されることができる。
【0069】
このような部分イメージ320は視覚的な特徴によって区分されることができる。例えば、
図5に図示されるように、一つのオブジェクトは外郭線が折り曲げることを基準に複数の区分線により区分されることができる。
【0070】
このような部分イメージ320は様々な視覚的な特徴を有することができる。例えば、
図5に図示されるもののように、一つの部分イメージ320は固有の形態、色相、長さ、間隔及び割合などの特徴を有することができる。具体的に、
図5に図示される部分イメージ320の中の一つの部分イメージ320は垂直方向の長さがh1であり、色相は薄い黄金色であって、断面の模様は下が広い梯形という特徴を有することができる。
【0071】
図6及び
図7はプロセッサー200がオブジェクトからオブジェクト特性情報を生成する他の一例示的な方法を簡略に図示したものである。
【0072】
図6を参考にすれば、オブジェクト特性情報は部分イメージ320のパターン、色相及び部分イメージ320に含まれたテキストの中のいずれかの情報を含むことができる。
【0073】
ここで部分イメージ320とは、オブジェクトの外面を一方向の区分線により区分したイメージを意味する。
図6に図示したもののように、部分イメージ320はオブジェクトの外面を垂直方向の区分線により区分されて、水平方向に羅列されるイメージであることができる。やはり、一つのイメージはこのような複数の部分イメージ320で構成されることができる。
【0074】
このような部分イメージ320はオブジェクトの中心を基準にカメラが移動する角度によって区分されることができる。例えば、
図7に図示されるもののように、部分イメージ320は撮影角度により10°範囲で区分されることができる。
【0075】
このような部分イメージ320は様々な視覚的な特徴を有することができる。例えば、
図6に図示されるように、一つの部分イメージ320は固有のパターン及び色相などの特徴を有することができる。また、一つの部分イメージ320はこれに含まれたテキストに対する特徴を有することができる。具体的に
図6に図示される部分イメージ320の中の一つの部分イメージ320は白色の背景にハート2個のイメージがあり、Bというテキストが記載されているという特徴を有することができる。
【0076】
図面に図示されていないが、オブジェクト特性情報はオブジェクトの外形を分析して推定されるレファレンス外形に関する情報を含むことができる。レファレンス外形に関する情報はコンピューターシステム10に予め保存された様々なオブジェクトの一般的な形態の外形情報を意味する。例えば、コンピューターシステム10はビール瓶について予め収集された一般的で様々なビール瓶の外形情報をメモリ100に保存して置くことができる。プロセッサー200はイメージからオブジェクトの外形を分析してオブジェクトの形態がコンピューターシステム10に予め保存された複数のレファレンス外形の中のいずれかの特性情報で選択されたレファレンス外形情報を含めて生成することができる。
【0077】
また、図面に図示されていないが、オブジェクトの特性情報生成段階は高さ認識段階及び高さ補正段階を含むことができる。
【0078】
高さ認識段階はイメージからオブジェクトの撮影の高さを認識する段階である。高さ補正段階は撮影の高さが予め定められた基準の高さになるようにイメージを補正する段階である。
【0079】
このような高さ補正段階を通じて、オブジェクトに対して撮影した高さが異なることによって発生することができるイメージの差を減らすことができる。これにより、撮影した高さが異なることによって発生することができるオブジェクト特性情報の差も減らすことができる。
【0080】
以下、指標算出段階について説明する。
指標算出段階を説明するのにおいて、
図7を参考にして説明する。
【0081】
指標算出段階はコンピューターシステム10に含まれる少なくとも一つのプロセッサー200で、第1オブジェクト300特性情報及び第2オブジェクト400特性情報を比べて、第1オブジェクト300と第2オブジェクト400が同一オブジェクトである確率指標を算出する段階である。
【0082】
指標算出段階は、垂直部分イメージ321識別段階及び重畳領域選定段階を含むことができる。
【0083】
垂直部分イメージ321識別段階は第1オブジェクト300特性情報及び第2オブジェクト400特性情報から垂直方向に区分線で区分される垂直部分イメージ321を識別する段階である。このような垂直部分イメージ321はオブジェクトの中心を基準にカメラが移動する角度によって区分されることができる。例えば、
図7に図示されるもののように、垂直部分イメージ321は撮影角度によって10°範囲に区分されることができる。
【0084】
重畳領域選定段階は第1オブジェクト300特性情報と第2オブジェクト400特性情報のそれぞれの垂直部分イメージ321を比べて、重畳領域に該当する少なくとも一つの垂直部分イメージ321を選定する段階である。例えば、
図7に図示されるものを参考にすれば、オブジェクトを任意の特定基準点を基準に60°~90°の範囲に該当する10°範囲の3個の垂直部分イメージ321が重畳領域に該当することができる。
【0085】
このような重畳領域は一つまたは複数の垂直部分イメージ321からなることができる。重畳領域が複数の垂直部分イメージ321からなる場合、複数の垂直部分イメージ321はお互いに連続されるものであることができる。
図7に図示されるものを例にして説明すれば、3個の垂直部分イメージ321は60°~90°の範囲でお互いに連続されるものである。
【0086】
重畳領域に該当するかどうかの可否は各垂直部分イメージ321の外形及び外面の情報を総合的に比較して判断することができる。
【0087】
第1オブジェクト300と第2オブジェクト400が同一のオブジェクトである確率指標は第1オブジェクト300特性情報と第2オブジェクト400特性情報の中の重畳領域に該当する少なくとも一つの垂直部分イメージ321の連関性の可否に基ついて算出されることができる。すなわち、第1オブジェクト300特性情報の中の重畳領域に該当しない0°~60°の範囲に該当する垂直部分イメージ321と第2オブジェクト400特性情報の中の重畳領域に該当しない90°~120°の範囲に該当する垂直部分イメージ321は確率指標を算出するのに、基礎にならないことが望ましい。
【0088】
以下、イメージ統合段階について説明する。
イメージ統合段階を説明するのにおいて、
図8を参考にして説明する。
【0089】
イメージ統合段階はコンピューターシステム10に含まれる少なくとも一つのプロセッサー200で、第1イメージ310と第2イメージ410を同一のオブジェクトに対するイメージに統合して保存する段階である。このようなイメージ統合段階は指標算出段階での確率指標が予め定められた基準値以上である場合に行われる。
【0090】
図8を参考にすれば、確率指標が予め定められた基準値以上である場合、プロセッサー200は第1イメージ310と第2イメージ410を、もうこれ以上、第1オブジェクト300と第2オブジェクト400のそれぞれに対するイメージで把握して保存及び管理せず、同一のオブジェクトに対するイメージで統合して保存する。
【0091】
以下、追加イメージ330登録モード提供段階について説明する。
追加イメージ330登録モード提供段階を説明するのにおいて、
図9を参考にして説明する。
【0092】
追加イメージ330登録モード提供段階は、まず第1イメージ310保存段階が行われて、第1オブジェクト300特性情報生成段階が行われて、その後に第2イメージ410保存段階が行われて、第2オブジェクト400特性情報生成段階が行われる場合に行われる。そして、追加イメージ330登録モード提供段階は指標算出段階での確率指標が予め定められた基準値以上である場合に行われる。
【0093】
ここで、追加イメージ330は第2イメージ410に追加されるイメージを意味する。そして、追加イメージ330はコンピューターシステム10とネットワーク20を通じて連結される一つの端末機から撮影されたものを意味する。
【0094】
追加イメージ330登録モード提供段階はコンピューターシステム10に含まれる少なくとも一つのプロセッサー200で、第2イメージ410に追加される追加イメージ330を保存する段階である。
【0095】
追加イメージ330は第2イメージ410の撮影終点から連続される範囲のイメージあることができる。
図9を参考にすれば、追加イメージ330は第2イメージ410の撮影終点である120°から追加されて連続される120°~150°の範囲のイメージであることができる。
【0096】
追加イメージ330登録モードは具体的に第2イメージ410を提供した端末機に第2オブジェクト400と同一なオブジェクトに対するイメージを発見したら、追加イメージを撮影して統合し、保存して登録することができるユーザーインターフェースを提供することである。これのために、追加イメージ330登録モードは追加イメージ330の撮影及び伝送を支援するユーザーインターフェースを提供する。
【0097】
図9に図示されるもののように、このようなユーザーインターフェースは端末機で第2イメージ410に対応される部分と追加イメージ330に対応される部分が区分されるように表示されることができる。具体的に、第2イメージ410に対応される部分と追加イメージ330に対応される部分は第2オブジェクト400を囲む仮想の円の形態で表示されて、第2イメージ410に対応される部分と追加イメージ330に対応される部分はお互いにお異なる色相で表示されることができる。
【0098】
以下、追加イメージ330の保存段階について説明する。
追加イメージ330保存段階を説明するのにおいて、
図10を参考にして説明する。
【0099】
追加イメージ330保存段階はコンピューターシステム10に含まれる少なくとも一つのプロセッサー200で、追加イメージ330をメモリ100に保存する段階である。
【0100】
図10に図示されるもののように、保存された追加イメージ330は第1イメージ310及び第2イメージ410と一緒に同一オブジェクトに対するイメージに統合して保存され管理されることができる。
【0101】
以下、本発明に対するイメージ統合システムについて説明する。イメージ統合システムは
図2を参考にして説明する。
【0102】
イメージ統合システムは上述したイメージ統合方法を行うシステムであるので、詳しい説明はイメージ統合方法に対する説明に代える。
【0103】
イメージ統合システムはコンピューターシステム10で具現される。このようなコンピューターシステム10はメモリ100及びプロセッサー200を含む。また、コンピューターはネットワーク20と連結されることができる通信部を含むことができる。
【0104】
ここで、プロセッサー200はメモリ100と連結されて、命令を実行するように構成される。命令とは、メモリ100に含まれるコンピューター判読可能な命令を意味する。
【0105】
プロセッサーはイメージ登録モード提供部210、イメージ保存部220、オブジェクト特性情報生成部230、指標算出部240及びイメージ統合部250を含む。
【0106】
メモリ100にはイメージ及びイメージに対するオブジェクト特性情報を含むデータベースが保存されることができる。
【0107】
イメージ登録モード提供部210は端末機にイメージを撮影してコンピューターシステム10に伝送することができる、ユーザーインターフェースを提供する。
【0108】
イメージ保存部220は第1オブジェクト300に対する第1イメージ310及び第2オブジェクト400に対する第2イメージ410を保存する。イメージ保存部220は上述したイメージ保存段階を行う。
【0109】
オブジェクト特性情報生成部230は第1イメージ310及び第2イメージ410から、それぞれのオブジェクトの外形及び外面に対する情報の中の少なくとも一つに関する第1オブジェクト特性情報及び第2オブジェクト特性情報を生成する。
【0110】
オブジェクト特性情報生成部230は上述したオブジェクト特性情報生成段階を行う。
【0111】
指標算出部240は第1オブジェクト特性情報及び第2オブジェクト特性情報を比べて、第1オブジェクト300と第2オブジェクトが同一のオブジェクトである確率指標を算出する。指標算出部240は上述した指標算出段階を行う。
【0112】
イメージ統合部240は確率指標が基準値以上である場合、第1イメージ310と第2イメージ410を同一のオブジェクトに対するイメージに統合して保存する。イメージ統合部250は上述したイメージ統合段階を行う。
【0113】
本発明の各実施例に開示された技術的な特徴は該当の実施例のみに限定されるものではなく、お互いに両立不可能ではない以上、各実施例に開示された技術的な特徴はお互いに異なる実施例に併合して適用されることができる。
【0114】
以上、本発明のイメージ統合方法及びシステムの実施例について説明した。本発明は上述した実施例及び添付した図面に限定されるものではなく、本発明が属する分野で通常の知識を有するものの観点から様々な修正及び変更が可能であろう。したがって、本発明の範囲は本明細書の請求範囲だけでなく、この請求範囲と均等なものにより定められるべきである。
【符号の説明】
【0115】
10 コンピューターシステム
20 ネットワーク
30 第1端末機
40 第2端末機
100 メモリ
200 プロセッサー
210 イメージ登録モード提供部
220 イメージ保存部
230 オブジェクト特性情報生成部
240 指標算出部
250 イメージ統合部
300 第1オブジェクト
310 第1イメージ
320 部分イメージ
330 追加イメージ
321 垂直部分イメージ
400 第2オブジェクト
410 第2イメージ
【国際調査報告】