知財求人 - 知財ポータルサイト「IP Force」
▶ マイクロソフト テクノロジー ライセンシング，エルエルシーの特許一覧
特表2024-544469画像変換可能性情報を表示するコンピューティングデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-03
(54)【発明の名称】画像変換可能性情報を表示するコンピューティングデバイス
(51)【国際特許分類】
G06T 3/14 20240101AFI20241126BHJP
G06T 3/00 20240101ALI20241126BHJP
H04N 1/387 20060101ALI20241126BHJP
【ＦＩ】
G06T3/14
G06T3/00 780
H04N1/387 110
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024521856
(86)(22)【出願日】2022-09-01
(85)【翻訳文提出日】2024-04-26
(86)【国際出願番号】 US2022042285
(87)【国際公開番号】W WO2023096687
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】17/456,864
(32)【優先日】2021-11-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
(71)【出願人】
【識別番号】314015767
【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】クマール，サントシュ
(72)【発明者】
【氏名】パンディア，ラウナク
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CD00
5B057CE10
5B057DA07
5B057DA16
5B057DC32
(57)【要約】
コンピューティングデバイスが提供され、そのコンピューティングデバイスは、画像データを格納するように構成される記憶デバイス及び複数の命令を格納するメモリに結合されるプロセッサを含み、それらの複数の命令は、プロセッサによって実行されると、そのプロセッサに画像データからターゲット画像を選択させる。プロセッサは、さらに、変換可能性情報を表示するように構成され、その変換可能性情報は、ターゲット画像の少なくとも一部及び関連するセレクタと他の画像とをスティッチングすることによって、より大きな視野を有するより大きな画像へとターゲット画像を変換することが可能であるということを示す。プロセッサは、さらに、セレクタのユーザによる選択を受信すると、より大きな画像を表示するように構成される。
【特許請求の範囲】
【請求項1】
コンピューティングデバイスであって、当該コンピューティングデバイスは、画像データを格納するように構成される記憶デバイスと、
命令を格納するメモリに結合されるプロセッサと、を含み、前記命令は、前記プロセッサによって実行されると、前記プロセッサが、
前記画像データからターゲット画像を選択し、
変換可能性情報を表示し、前記変換可能性情報は、前記ターゲット画像の少なくとも一部及び関連するセレクタと他の画像とをスティッチングすることによって、より大きな視野を有するより大きな画像へと前記ターゲット画像を変換することが可能であるということを示し、
前記セレクタのユーザによる選択を受信すると、前記より大きな画像を表示する、ようにさせる、
コンピューティングデバイス。
【請求項2】
前記変換可能性情報は、前記コンピューティングデバイスの前記プロセッサの決定モジュールによって、前記ターゲット画像及び/又は前記ターゲット画像のメタデータ情報に基づいて生成される、請求項1に記載のコンピューティングデバイス。
【請求項3】
前記プロセッサは、さらに、サーバに前記ターゲット画像及び/又は前記ターゲット画像のメタデータ情報を伝送して、前記サーバに前記変換可能性情報を生成させ、
前記サーバから前記変換可能性情報を受信し、
前記セレクタのユーザによる選択を受信し、
前記サーバにより大きな画像要求を伝送し、
前記サーバから前記より大きな画像を受信する、
ように構成される、請求項1に記載のコンピューティングデバイス。
【請求項4】
前記メタデータ情報は、前記ターゲット画像と関連する位置情報、時間情報、向き情報、及び/又は対象物情報を含む、請求項3に記載のコンピューティングデバイス。
【請求項5】
前記より大きな画像は、球面画像又はパノラマ画像である、請求項1に記載のコンピューティングデバイス。
【請求項6】
前記他の画像は、日付、天気、及び歴史的イベントからなる前記グループから選択されるフィルタ基準にしたがって、画像フィルタによって事前に選択される、請求項1に記載のコンピューティングデバイス。
【請求項7】
前記変換可能性情報は、画像変換のための1つ又は複数の利用可能なオプションを示すアイコンを含む、請求項1に記載のコンピューティングデバイス。
【請求項8】
前記変換可能性情報は、画像変換状態情報を示すアイコンを含む、請求項1に記載のコンピューティングデバイス。
【請求項9】
前記コンピューティングデバイスは、スマートフォン、ヘッドマウントディスプレイデバイス、タブレットコンピューティングデバイス、及びディジタルカメラからなる前記グループから選択されるデバイスである、請求項1に記載のコンピューティングデバイス。
【請求項10】
前記より大きな画像は、視覚的判別器を使用して表示され、前記視覚的判別器は、前記より大きな画像の中の他のスティッチングされている画像及び前記ターゲット画像を視覚的に判別する、請求項1に記載のコンピューティングデバイス。
【請求項11】
コンピュータ化されている方法であって、当該コンピュータ化されている方法は、1つ又は複数のコンピューティングデバイスの1つ又は複数のプロセッサ及び/又はサーバによって、
ターゲット画像を選択するステップと、
決定モジュールを実行して、変換可能性情報を生成するステップであって、前記変換可能性情報は、前記ターゲット画像の少なくとも一部と画像ストアからの他の画像とをスティッチングすることによって、より大きな視野を有するより大きな画像へと前記ターゲット画像を変換することが可能であるということを示す、ステップと、
前記変換可能性情報及び関連するセレクタを表示するステップと、
前記セレクタのユーザによる選択を受信すると、前記より大きな画像へと前記ターゲット画像を変換するステップと、
前記コンピューティングデバイスのうちの1つ又は複数での記憶又は表示のために、前記より大きな画像を出力するステップと、を含む、
コンピュータ化されている方法。
【請求項12】
前記ターゲット画像は、前記1つ又は複数のコンピューティングデバイスのうちのクライアントコンピューティングデバイスによって選択され、前記決定モジュールは、前記1つ又は複数のコンピューティングデバイスのうちの前記クライアントコンピューティングデバイス又はサーバによって実行され、
前記変換可能性情報及び関連するセレクタは、前記クライアントコンピューティングデバイスによって表示され、
前記ターゲット画像は、前記セレクタのユーザによる選択を受信すると、前記クライアントコンピュータデバイス又はサーバによって前記より大きな画像に変換される、
請求項11に記載のコンピュータ化されている方法。
【請求項13】
前記変換可能性情報は、前記ターゲット画像及び/又は前記ターゲット画像のメタデータ情報に基づいて生成され、前記ターゲット画像の前記メタデータ情報は、前記ターゲット画像と関連する位置情報、時間情報、向き情報、及び/又は対象物情報を含む、請求項11に記載のコンピュータ化されている方法。
【請求項14】
前記変換可能性情報は、画像変換のための1つ又は複数の利用可能なオプションを示すアイコンを含む、請求項11に記載のコンピュータ化されている方法。
【請求項15】
前記変換可能性情報は、画像変換状態情報を示すアイコンを含む、請求項11に記載のコンピュータ化されている方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像変換可能性情報を表示するコンピューティングデバイスに関する。
【背景技術】
【0002】
さまざまな画像スティッチング技術(image stitching techniques)及びアルゴリズムが、近年になって開発されている。画像スティッチングは、重なり合う視野を有する複数の写真画像を組み合わせて、球面画像(spherical image)又はパノラマ画像(panoramic image)等のより大きな画像を生成するプロセスである。そのような画像スティッチング技術により、2次元カメラから実質的に同時に撮影されるシーンの複数の2次元画像をつなぎ合わせる(stitching together)ことによって、より大きな画像を生成することが可能である。それらの画像は、ある1つのシーンのわずかに異なる視野を有し、複数の画像の間で共有されるシーンの中に存在する視覚的特徴を含むので、スティッチングアルゴリズムは、共有されている視覚的特徴を一致させ、個々の画像のうちのいずれかの画像の中で示されるよりもより大きなシーンの視野を再現するより大きな合成画像(composite image)を組み立てることが可能である。
【発明の概要】
【0003】
コンピューティングデバイス及び方法を提供する。そのコンピューティングデバイスは、画像データ(image data)を格納するように構成される記憶デバイスと、命令を格納するメモリに結合されるプロセッサと、を含み、それらの命令は、プロセッサによって実行されるときに、そのプロセッサに画像データからターゲット画像を選択させる。そのプロセッサは、さらに、変換可能性情報(conversion possibility information)を表示するように構成され、その変換可能性情報は、ターゲット画像(target image)の少なくとも一部及び関連するセレクタ(selector)と共に他の画像をスティッチングすることによって、より大きな視野を有するより大きな画像へとターゲット画像を変換することが可能であるということを示す。プロセッサは、さらに、セレクタのユーザによる選択を受信すると、より大きな画像へとターゲット画像を変換するように構成される。
【0004】
この発明の概要は、発明の詳細な説明において以下でさらに説明される概念の選択を簡単な形態で紹介するように提供される。この発明の概要は、請求項に記載される主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求項に記載される主題の範囲を限定するように使用することを意図したものでもない。さらに、請求項に記載される主題は、この開示のいずれかの部分の中で注記されているいずれかの欠点又はすべての欠点を解決する実装には限定されない。
【図面の簡単な説明】
【0005】
【図1】この開示のある1つの例示的な実装にしたがったコンピューティングシステムの概略的な図を示し、そのコンピューティングシステムは、より大きな画像へとターゲット画像を変換することが可能であるということを示す変換可能性情報を表示するように構成されるコンピューティングデバイスと、変換可能性情報及びより大きな画像を生成するように構成されるサーバと、を含む。
【図2A】図1のコンピューティングシステムを使用してユーザが選択するターゲット画像(target image)及び関心領域(region of interest)に隣接して変換可能性情報を表示する例示的なグラフィカルユーザインタフェース(graphical user interface (GUI))の概略的な図を示す。
【図4A】図1のコンピューティングシステムの複数の例示的なGUIの概略的な図を示し、それらの複数の例示的なGUIは、図3のマップの中でターゲット画像に重ねられてターゲット画像のしきい値距離の範囲の中にある他の画像を特徴付けて、より大きな画像へのターゲット画像の変換が可能であるか否かを決定する。
【図4B】図1のコンピューティングシステムの複数の例示的なGUIの概略的な図を示し、それらの複数の例示的なGUIは、図3のマップの中でターゲット画像に重ねられてターゲット画像のしきい値距離の範囲の中にある他の画像を特徴付けて、より大きな画像へのターゲット画像の変換が可能であるか否かを決定する。
【図4C】図1のコンピューティングシステムの複数の例示的なGUIの概略的な図を示し、それらの複数の例示的なGUIは、図3のマップの中でターゲット画像に重ねられてターゲット画像のしきい値距離の範囲の中にある他の画像を特徴付けて、より大きな画像へのターゲット画像の変換が可能であるか否かを決定する。
【図4D】図1のコンピューティングシステムの複数の例示的なGUIの概略的な図を示し、それらの複数の例示的なGUIは、図3のマップの中でターゲット画像に重ねられてターゲット画像のしきい値距離の範囲の中にある他の画像を特徴付けて、より大きな画像へのターゲット画像の変換が可能であるか否かを決定する。
【図4E】図1のコンピューティングシステムの複数の例示的なGUIの概略的な図を示し、それらの複数の例示的なGUIは、図3のマップの中でターゲット画像に重ねられてターゲット画像のしきい値距離の範囲の中にある他の画像を特徴付けて、より大きな画像へのターゲット画像の変換が可能であるか否かを決定する。
【図6】この開示のある1つの例示的な実装にしたがったコンピュータ化されている方法のフローチャートを示す。
【発明を実施するための形態】
【0006】
上記で簡単に説明したように、フォトスティッチングツール(photo stitching tools)及びサービスは、同じ地理的位置において同時に撮影される複数のピクチャ(pictures)をつなぎ合わせる(stitching)ことによって、球面画像又はパノラマ画像等のより大きな画像(larger images)を作成するのに使用されてもよい。そのようなフォトスティッチングツールの1つは、ユーザが一度に取り込んださまざまな画像をサーバにアップロードすることを可能とし、そのサーバは、それらのさまざまな画像をつなぎ合わせて、より大きな画像を形成する。ところが、そのようなアプローチに伴う欠点は、ユーザがより大きな画像を作成するために十分な2次元画像を所有している状態にある必要があるということであり、常に十分な2次元画像を所有しているとは限らない。ユーザがそのようなツールを使用するユーザの能力を保証することを望む場合に、ユーザは事前に計画し、そして、ユーザが後でより大きな画像を作成するのに十分な画像を取り込んだということを保証する必要がある。ユーザがこのような方式によってより大きな画像を作成するために必要な画像のすべてを用意することは不便であり、時間がかかる場合がある。
【0007】
この問題に対処するために、本明細書においては、コンピューティングデバイスを開示し、そのコンピューティングデバイスは、変換可能性情報(conversion possibility information)を表示するように構成され、その変換可能性情報は、ターゲット画像の少なくとも一部とプラットフォームに利用可能である他の画像とをつなぎ合わせることによって、より広い視野(a larger field of view)を有するより大きな画像へとターゲット画像を変換することが可能であるか否かを示す。変換可能性情報は、より大きな画像へとターゲット画像を変換することを試みる前に、ユーザが選択するターゲット画像をより大きな画像へと変換することが可能であるか否かをユーザが予測する(foresee)ことを可能とする。ユーザの個々の画像のすべてをより大きな画像へと変換することが可能であるわけではないので、このことは、ユーザの個々の画像をつなぎ合わせて、より大きな画像にするのに十分な画像が利用可能であるか否かをユーザが知ることを可能とするという理由により有益である。例えば、関連する画像ストア(associated image store)の中に十分な周辺画像が利用可能ではないとき、又は、ユーザの個々の画像の位置が識別可能ではないときに、ある特定のターゲット画像に対してより大きな画像を作成することが可能ではない場合がある。
【0008】
図1は、この開示のある1つの例示的な実装にしたがったコンピューティングシステム1の概略的な図を示し、そのコンピューティングシステム1は、より大きな画像24へとターゲット画像20を変換することが可能であるということを示す変換可能性情報22を表示するように構成されるコンピューティングデバイス2を含むとともに、その変換可能性情報22及びより大きな画像24を生成するように構成されるサーバ4を含む。コンピューティングデバイス2は、スマートフォン、タブレットコンピューティングデバイス、ディジタルカメラ、及びヘッドマウントディスプレイデバイス等の一体化されているカメラを含む携帯可能であるさまざまなタイプのコンピューティングデバイスのうちのいずれであってもよい。カメラを装備しているそのような形態可能なデバイスは、ユーザによってさまざまな位置に運ばれ、その位置において画像を取り込む(capture)のに使用されてもよい。代替的に、コンピューティングデバイス2は、一体化されているカメラを含まなくてもよく、及び/又は、携帯可能でなくてもよい。例えば、コンピューティングデバイス2は、ラップトップデバイス、デスクトップデバイス、又はサーバコンピュータデバイスであってもよい。そのようなデバイスは、ユーザが他の位置において撮影された格納されている画像を見るのに使用されてもよい。
【0009】
示されている構成において、コンピューティングデバイス2は、プロセッサ10、メモリ6、及び記憶デバイス14を含み、それらのプロセッサ10、メモリ6、及び記憶デバイス14は、通信バスによって互いに動作可能に結合されていてもよい。プロセッサ10、メモリ6、及び記憶デバイス14の各々は、1つ又は複数のプロセッサコア及び/又は1つ又は複数の物理メモリモジュール等の1つ又は複数の物理構成要素として構成されてもよい。記憶デバイス14は、例えば、スマートフォン、タブレットコンピューティングデバイス、ヘッドマウントディスプレイデバイス、又はディジタルカメラによって撮影される(taken)か、ウェブからダウンロードされる(downloaded)か、又は、他のユーザとの間で共有されている(shared from)ディジタル写真及びビデオ等の画像データ16を格納する。このようにして、画像データ16は、ターゲット画像20を含むのみならず他の画像44を含むということが理解されるであろう。
【0010】
コンピューティングデバイス2は、入力デバイス8をさらに含んでもよく、その入力デバイス8は、キーボード、マウス、タッチスクリーン、トラックパッド、加速度計、マイクロフォン、カメラ、又は何らかの他の適切なタイプの入力デバイスであってもよい。加えて、コンピューティングデバイス2は、画像を表示するように構成されるフラットパネルディスプレイ又は仮想現実感(VR)ヘッドセットディスプレイ等のディスプレイ12をさらに含んでもよい。
【0011】
最初に、変換可能性情報22を取得するために、ターゲット画像20は、ユーザの選択に基づいて、プロセッサ10のターゲット画像セレクタ(target image selector)18を使用して選択される。代替的に、プロセッサ10は、ユーザの選択なしに、より大きな画像を生成するのに適しているターゲット画像セレクタ18を使用して、ターゲット画像20をプログラムによって選択し又は自動的に選択するように構成されてもよい。例えば、ターゲット画像20は、そのターゲット画像20の位置、時間、対象、及びユーザの嗜好に基づいて、ターゲット画像セレクタ18を使用してプログラムによって又は自動的に選択されてもよい。複数の具体的な例のうちのいくつかとして、そのようなターゲット画像20のうちの1つは、観光地又は歴史的建造物において撮影される写真(photo)であってもよく、ユーザは、球面画像(spherical image)又はパノラマ画像(panoramic image)等のより大きな画像24へとその写真を変換することを望む。他の例では、ユーザは、既存の画像(existing image)の中の関心領域(region of interest)を選択して、対象物(object)、人物(person)、及びシーンの対象人物(scene person of interest)の周囲の境界ボックス(bounding box)等のターゲット画像20を作成してもよい(may create)。例えば、ユーザは、関心領域23を選択して、選択されている画像の中に建物又は塔等の特定の対象物(specific object)を含めてもよく、関心領域を抽出して、以下の図2Fに示されているようにターゲット画像20を形成してもよい(may form)。このことは、ユーザが、対象となっている画像の複数の部分のみを選択し、そして、ターゲット画像20から、建設中の建物(building under construction)、無関係な人物(unrelated person)、そのシーンの複数の望ましくない部分等の不必要な又は望ましくないコンテンツを除く(exclude)ことを可能とする。
【0012】
選択されているターゲット画像20は、プロセッサ10の画像メタデータ抽出モジュール(image metadata extraction module)26に提供されて、ターゲット画像20のメタデータ情報(metadata information)34を抽出する。メタデータ情報34は、ターゲット画像20が撮影される位置(location)(GPS)情報及び日時情報を含んでもよい。GPS情報に加えて、メタデータ情報は、画像が撮影される時点における真北に対するカメラの向き(orientation)を示すコンパス情報を含んでもよい。この目的のために、コンピューティングデバイスは、慣性測定ユニット(inertial measurement unit (IMU))を含んでもよく、その慣性測定ユニット(IMU)は、コンパス情報を生成するように構成される磁気コンパス及び加速度計の双方を含み、その慣性測定ユニット(IMU)は、6自由度(6DOF)のポーズベクトル(six degree of freedom (6DOF) pose vector)を出力するように構成されてもよく、その6自由度(6DOF)のポーズベクトルは、コンピューティングデバイスの世界空間(world space)における場所(position)及び向き(orientation)を示すということが理解されるであろう。代替的に、IMUの代わりに、磁気コンパスは、メタデータ情報34の中に含まれるコンパス方位(compass bearing)を提供してもよい。このポーズベクトル又はコンパス方位から、世界空間におけるカメラの視野を推定してもよい。メタデータ情報は、画像が撮影された位置と関連する検出されているGPS座標と関連する地名をさらに含んでもよい。図3にコンパス方位に基づく画像フィルタリングを図示し、以下で説明する。
【0013】
メタデータ情報34は、ターゲット画像20の対象物情報(object information)をさらに含んでもよい。対象物情報は、ターゲット画像20に対して対象物認識アルゴリズム(object recognition algorithms)を実行することによって取得されてもよい。例えば、それらの対象物認識アルゴリズムは、複数の例のうちのいくつかとして、周知の建築物(architecture)、モニュメント(monuments)、噴水(fountains)、彫像(statues)、絵画(paintings)、又は他の芸術作品を識別し、そして、対象物情報として、それらの名前、位置、又は他の識別情報を含むように構成されてもよい。例えば、アルゴリズムは、タージマハル、ホワイトハウス、ワシントン記念塔、ブランデンブルグ門、モナリザの絵画、又は世界中のさまざまな他の周知の名所を認識するように訓練されてもよい。図4A及び図4Bに、タージマハルがターゲット画像の中で認識されているということを示すターゲット画像20における例示的な対象物タグ(object tag)を図示する。この例では、対象物情報は、対象物の名前及び世界空間におけるその対象物の位置を含んでもよい。対象物情報は、また、例えば、図4A及び図4Bにおいて破線で図示されているように、対象物を含む関心領域を囲む境界ボックス等の画像セグメンテーション情報(image segmentation information)を含んでもよく、その画像セグメンテーション情報は、ターゲット画像の中の認識されている対象物の位置を識別する。
【0014】
メタデータ情報34は、画像の色調値(tonal values)のビン分割表現(binned representation)、すなわち、ヒストグラムとなるように編成されている(organized into)画像の(赤、緑、及び青等の)RGB値などのターゲット画像20の特徴情報(feature information)をさらに含んでもよい。このことは、同様の色彩プロファイル(color profiles)を有する他の画像44とターゲット画像20を一致させるのに役立つことができる。
【0015】
メタデータ情報は、スケール不変特徴変換(scale-invariant feature transform (SIFT))アルゴリズムによって抽出されるいわゆるスケール不変特徴変換(SIFT)特徴、2値の頑健な独立した基本特徴(binary robust independent elementary features (BRIEF))アルゴリズムによって抽出される2値の頑健な独立した基本特徴(BRIEF)、配向勾配アルゴリズム(oriented gradient algorithm)のヒストグラム(HoG)によってヒストグラムの中にビン分割される(binned in)勾配等の抽出された視覚的特徴をさらに含んでもよい。図4A及び図4Bに、抽出された視覚特徴の例を図示している。
【0016】
図1を参照すると、サーバによって変換が可能であると決定する場合に、ターゲット画像20の少なくとも一部と他の画像44をスティッチングすることによって、より広い視野を有するより大きな画像24へとターゲット画像20を変換することが可能であるということを示す変換可能性情報22を取得する目的で、より大きな画像変換可能性表示モジュール(larger image conversion possibility display module)28のサーバ通信モジュール(server communication module)32を介して、サーバ4に、ターゲット画像20の抽出されているメタデータ情報34のうちの少なくとも一部を伝送してもよい(may be transmitted)。システム1は、各々の画像の中の複数の抽出されている視覚的特徴と各々の画像の色彩ヒストグラム(color histogram)との間に十分な対応関係が存在する場合に、2つの画像がスティッチング可能である(stitchable)と決定してもよい。システム1は、図4Aに示されているように、可能性のあるより大きな画像(potential larger image)24の視野全体(entire field of view)を覆う(cover)ような方法で、1つ又は複数の他の画像44をスティッチングすることができるか否かを決定する。図4Bに示されているように、より大きな画像の視野の中のスティッチングされている画像の中にしきい値サイズよりもより大きなギャップが1つでも存在する場合には、システム1は、より大きなサイズの候補画像への変換が可能ではないということを決定する。しきい値サイズは、例えば、(例えば、1乃至10個のピクセル等の)数個に設定されてもよい。それらのギャップは、例えば、以下で説明される図4Cに示されているように、周囲のピクセルの色値を平均化することによって得られる色値で塗りつぶされてもよい。代替的に、より大きな画像にギャップを許容しなくてもよい。
【0017】
図1を参照すると、より大きな画像24の特定のサイズ及びフォーマットは、限定されるべきではないことが理解されるべきである。例えば、より大きな画像24は、球面画像、270度パノラマ画像、又は180度パノラマ画像であってもよい。代替的に、他のサイズ又は投影タイプのより大きな画像24を生成してもよい。例えば、より大きな画像24は、さらに、3次元画像又は360度3次元画像であってもよい。
【0018】
ある1つの例示的な使用状況のシナリオにおいて、他の画像44は、複数の異なる時間において撮影されているとともに複数の異なるユーザがサーバ4にアップロードしているターゲット画像20と関連する周囲の画像(surrounding images)を含んでもよい。ある1つの特定の例では、ユーザは、他の画像を照合するための望ましい時間範囲を入力してもよく、他の画像44のための望ましい時間範囲を含むメタデータ情報34及びターゲット画像20をサーバ4に送信して、以下で説明されているように、サーバが計算する変換可能性情報22を取得してもよい。
【0019】
これまでに説明されている複数の例は、他の画像44がサーバ4に格納されているとして言及しているが、他の例の構成においては、他の画像44は、コンピューティングデバイス2に格納されてもよく、変換可能性情報22は、以下でさらに説明されるように、図1において破線によって示される構成要素を使用して、コンピューティングデバイス2において計算されてもよいということを理解するべきである。
【0020】
コンピューティングデバイス2からサーバ4にメタデータ情報34を送信することに加えて又はその代わりに、特に、ターゲット画像20を送信することによって消費される追加的な帯域幅が望ましくはない状況において、ターゲット画像20は、それ自体が、コンピューティングデバイス2からサーバ4へと送信されてもよい。この構成においては、ターゲット画像20は、変換可能性情報生成器36によって使用されてもよい。例えば、そのような代替的な構成においては、画像メタデータ抽出モジュール26は、代替的に、サーバ4に位置していてもよく、変換可能性情報生成器36は、サーバ4においてターゲット画像20から抽出されるメタデータ情報34を使用してもよい。
【0021】
図1の示されている実施形態の説明を続けると、変換可能性情報の要求が、コンピューティングデバイス2からサーバ4へと送信されると、サーバ4は、コンピューティングデバイス2から、ターゲット画像の付随するメタデータ情報(accompanying metadata information)34とともに、及び/又は、複数の構成のうちのいくつかにおいて、ターゲット画像20とともに、要求を受信する。この情報に基づいて、サーバ4の変換可能性情報生成器(conversion possibility information generator)36は、画像ストア40の中に格納されている他の画像44のコレクションを検索する。本明細書において使用されているように、画像ストアは、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)等の1つ又は複数の記憶デバイスに格納されている画像のコレクションを指す。その画像のコレクションは、インターネットにおけるパブリック画像集約サイト(public image aggregation sites)、写真をアップロードする他のプラットフォームユーザ等を含むさまざまな画像ソースから集められてもよい。このようにして、画像ストア40は、世界中のさまざまなユーザが取り込み及びアップロードするさまざまな位置の写真及びビデオを含む大量の画像データを格納してもよい。典型的には、画像ストア40は、サーバ4からアクセス可能であり、サーバ4と併置され(collocated)てもよいが、以下で説明する代替的な構成の場合には、以下で説明されているように、画像ストアは、コンピューティングデバイスに存在してもよいということが理解されるであろう。
【0022】
変換可能性情報生成器36の画像選択モジュール52は、画像ストア40から画像を選択して、ターゲット画像20に対してより大きな画像24を作成する可能性を分析する。画像ストア40を検索して、ターゲット画像20との潜在的な一致(potential match)を決定する。画像選択モジュール52は、画像選択のためにさまざまな技術を利用する。例えば、画像選択モジュール52は、位置照合フェイズ(location matching phase)及びコンテンツ照合フェイズ(content matching phase)において、一致する画像を検索することによって、画像選択を実行してもよい。位置照合フェイズの際に、GPS座標、カメラポーズ情報、及び/又は位置地名情報を使用して、ターゲット画像20の近傍の中で取り込まれている他の画像44を識別してもよい。コンテンツ照合フェイズの際に、他の画像44のコンテンツは、例えば、物体認識アルゴリズムによって各々の画像に適用される対象物タグ及び各々の画像から抽出される複数の視覚的特徴を含む特徴ベクトル等を比較することによって、ターゲット画像20と比較される。
【0023】
これらのフェイズを解説するために、図3は、タージマハルの近くのインドのアグラ地域で撮影されるターゲット画像20及び他の画像44の例示的なマップを示す。位置照合フェイズは、ターゲット画像20のしきい値距離TDの中で撮影される他の画像44を検索する。ターゲット画像20の位置からのしきい値距離TDは、図3において破線の円として表されている。しきい値距離TDの中の位置から取り込まれている画像は、位置照合フェイズにおいて最初に選択される。しきい値距離は、10フィート等の特定の値であってもよく、又は、図3の中のタージマハル等のターゲット画像20の中の認識されている対象物までの距離の1/10等の相対的な値であってもよい。加えて、既知の場合には、位置照合フェイズは、また、ターゲット画像と同様の向きから撮影されてはいない画像をフィルタリングすることを伴ってもよい。図3において、ターゲット画像20の位置のしきい値距離TDの中で撮影されている複数の画像は、さらに、比較されて、それらの複数の画像がターゲット画像20の取り込みの向きに対してターゲット角度範囲TARの中に存在するか否かを決定する。ある1つの実施形態においては、ターゲット角度範囲TARは、60度、すなわち、ターゲット画像20のためのTにおいてベクトルが図示しているカメラポーズ(camera pose)(コンパス方位の向き(compass bearing orientation))と正の方向又は負の方向に異なる30度である。代替的に、90度又は30度の範囲を使用してもよい。図示されている例において、画像P6及びP7の2つの画像は、ターゲット角度範囲TARの中には入らず、画像P6及びP7のためのポーズベクトルによってXが示すように、結果としてターゲット画像とのスティッチングのための考慮から排除される。残りの画像P1乃至P5は、図4Aに示されているとともに、以下で説明されているように、ターゲット画像20とのスティッチングのために選択される。
【0024】
コンテンツ照合フェイズは、ターゲット画像20に含まれる対象物と同じ1つ又は複数の認識されている対象物を有する画像の検索を伴ってもよい。例えば、図4A及び図4Bにおいて、認識されている対象物TAJ MAHALは、(破線で示されている)境界ボックスによって囲まれ、セマンティックタグ(semantic tag)TAJ MAHALによってタグ付けされる(tagged with)。このようにして、コンテンツ照合フェイズの際に他の画像44を検索するときに、同じタグを含むターゲット画像20に対して、対象物認識アルゴリズムによって適用されている同じタグTAJ MAHALを含む他の画像44を照合してもよい(other images 44 containing the same tag TAJ MAHAL that was applied by object recognition algorithms can be matched to the target image 20 containing the same tag)。
【0025】
追加的に又は代替的に、コンテンツ照合フェイズは、ターゲット画像に含まれる視覚的特徴のセットと同様の視覚的特徴のセットを検索してもよい。ターゲット画像20及び他の画像44の視覚的特徴のセットは、各々の画像に対して、上記で説明されているSIFT、BRIEF、又はHoG等のアルゴリズムを使用して識別されてもよい。また、テンプレートマッチングアプローチ(template matching approach)を使用してもよく、そのテンプレートマッチングアプローチにしたがって、例えば、2つの画像の間の差の2乗和(sum square difference between the images)又は2つの画像の間の相互相関(cross correlation between the images)に基づいて、2つの画像の類似性尺度(similarity measure)を計算する。図4A及び図4Bは、さまざまな成分画像の全体にわたって点在する(sprinkled throughout the various constituent images)プラスの記号として抽出されている視覚的特徴のセットを概略的に図示している。画像選択モジュール52は、それらの特徴のセットの間の場所対応関係(positional correspondence)を使用して、ターゲット画像20とスティッチングするための他の候補画像44を選択する。
【0026】
上記で説明されている技術によって他の画像44からの候補マッチング画像(candidate matching images)のセットを識別すると、変換可能性情報生成器36は、ターゲット画像とそれらの候補マッチング画像をスティッチングして、より大きな画像24と同じ程度の大きさの視野を達成することが可能であるか否かを決定することによって、そのターゲット画像20に対してより大きな画像24を作成することが可能であるか否かを決定する。複数の実施形態のうちのいくつかにおいて、複数のより大きな画像サイズを並行して評価してもよい。それらの計算に基づいて、変換可能性情報生成器36は、変換可能性情報22を生成し、コンピューティングデバイス2にその変換可能性情報22を伝送する(transmits)。図4Aの例では、180度の大きな画像フォーマットの境界の中の領域全体がスティッチングされる画像で覆われるので、変換可能性情報生成器36は、180度の大きな画像フォーマットへの変換が可能であるということを決定する。これに対して、図4Bの例では、画像ストアの中に、180度の大きな画像フォーマットの境界の中のギャップ領域Gを埋めることが可能であるP2等の画像が存在せず、したがって、変換可能性情報生成器36は、180度の大きな画像フォーマットへの変換が可能ではないということを決定する。ギャップ領域Gは、許容ギャップ(permissible gap)を定義する1乃至10個の画素等のあらかじめ決定されている値の画素よりもより大きいということに気づくであろう。
【0027】
図1を参照すると、コンピューティングデバイス2の大きな画像の変換可能性表示モジュール(larger image conversion possibility display module)28は、サーバ4から変換可能性情報22を受信し、ディスプレイ12に変換可能性情報22及び関連するセレクタ48を表示する。以下で詳細に説明されているように、変換可能性情報22は、ターゲット画像20の上に、画像変換のための1つ又は複数の利用可能なオプションを示す(例えば、360度アイコン等の)アイコン46又は(例えば、180度の)テキスト90として表示されてもよい。示されているように、それぞれのセレクタ48は、各々の利用可能なオプションについて提供される。ユーザは、画像変換のための複数の利用可能なオプションからある特定の変換タイプを選択し、そして、関連するセレクタ48を使用して、入力デバイス8によって、変換タイプとともにより大きな画像24の要求を送信してもよい。ターゲット画像20に対してより大きな画像24を作成するのに利用可能な画像が不十分であり、いかなる変換も可能ではない状況では、上記で説明されている図4Bの例についての場合のように、変換可能性情報22のアイコンは、表示されなくてもよく、又は、アイコンによって印を付されているX等の利用不可能であるということの視覚的指標とともに表示されてもよい。
【0028】
ユーザが、セレクタ48によって変換可能性情報22の利用可能な変換オプションのうちの1つを選択することによって、より大きな画像24へとターゲット画像20を変換するためのより大きな画像要求30(larger image request)を開始すると、より大きな画像24のより大きな画像要求30は、コンピューティングデバイス2からサーバ4へと送信される。このより大きな画像要求30は、サーバ4において大きい画像生成器38によって受信され、その大きい画像生成器38は、一致する他の画像44を使用してより大きな画像24を生成する。
【0029】
より大きな画像24を生成するために、大きい画像生成器38のスティッチングモジュール(stitching module)54は、上記で説明されている一致する他の画像44及びターゲット画像20の抽出されている視覚的特徴のセットの場所対応関係(positional correspondence)を使用して、ターゲット画像20に他の画像44を重ね合わせ(overlay)、方向付けし(orient)、スケーリングし(scale)、そして、位置決めする(position)、ように構成され、それによって、それらの他の画像44及びターゲット画像20は、一緒にスティッチングされて、より大きな画像24を形成してもよい。より大きな画像要求30がコンピューティングデバイス2から受信された後にのみ、より大きな画像24は、スティッチングモジュール54によって生成されるものとして上記で説明されたが、スティッチングモジュール54は、冗長な処理を回避するためにより大きな画像への変換の利用可能性を評価しているときに、より早くより大きな画像24をスティッチングし、そして、より大きな画像要求30を受信すると、コンピューティングデバイス2への将来的なダウンロードのためにサーバ4においてより大きな画像24を格納するように構成されてもよいということが理解されるであろう。
【0030】
複数の実施形態のうちのいくつかにおいて、深さ情報(depth information)は、ターゲット画像20及び/又は他の画像44の中に符号化されてもよい。深さ情報は、画像取り込みの時点において深度カメラから取得されてもよく、又は、時間的に及び空間的に隣接する位置から取り込まれる画像を比較することによって立体的な深さ決定技術を使用して確認されてもよい。そのような実施形態においては、大きい画像生成器38のスティッチングモジュール54は、3次元空間におけるスティッチングを実行し、それによって、結果として得られるより大きな画像24は、3次元画像となる。ある1つの例において、大きい画像生成器38は、大きな画像24にそのような奥行き情報をより統合して、VRヘッドセットによって見ることが可能である3次元の360度のより大きな画像を生成してもよい。
【0031】
より大きな画像24が生成されると、サーバ4は、コンピューティングデバイス2へとその生成されているより大きな画像24を返送する。コンピューティングデバイス2は、サーバ4からより大きな画像24を受信し、そして、プロセッサ10のより大きな画像の変換可能性表示モジュール28によってディスプレイ12にそのより大きな画像24を表示する。代替的に又は追加的に、表示のために、コンピューティングデバイス2から他のコンピューティングデバイスへとそのより大きな画像24を伝送してもよい。例えば、コンピューティングデバイス2は、3D表示のための外部VRヘッドセットにより大きな画像を伝送してもよい。
【0032】
ある1つの代替的な実施形態において、コンピューティングデバイス2は、上記のサーバ4が実行する機能、すなわち、変換可能性情報22及びより大きな画像24を生成する機能を実行してもよい。この目的のために、図1の中で破線によって示されているように、コンピューティングデバイス2は、図1に示されているように、コンピューティングデバイス2の中に決定モジュール42を実装してもよく、その決定モジュール42は、変換可能性情報生成器36及び大きい画像生成器38を含む。この構成によって、サーバ4へとメタデータ情報34及びターゲット画像20を伝送する必要がなくなる。この構成では、コンピューティングデバイス2のプロセッサ10が実行する決定モジュール42によって、ターゲット画像20及び/又はそのターゲット画像のメタデータ情報34に基づいて、ターゲット画像20の少なくとも一部とコンピューティングデバイス2の記憶デバイス14の中に格納されている他の画像44をスティッチングすることによって、より大きな画像24へとターゲット画像20を変換することが可能であるか否かを示す変換可能性情報22を生成してもよい。加えて、ターゲット画像20は、プロセッサ10が実行する大きい画像生成器38によってより大きな画像24へと変換されてもよい。
【0033】
コンピューティングシステム1は、さまざまな機能モジュールによって構成されて、ユーザに新たな画像対話体験を提供してもよく、それらのさまざまな機能モジュールは、上記で説明されているより大きな画像変換の可能性が存在するか否かを決定するための上記の方法を利用するということが理解されるであろう。例えば、コンピューティングシステム1は、ユーザがより大きな画像24を見ることを可能とするように構成されてもよく、そのより大きな画像24は、選択されている他の画像44から形成されて、特定の外観、感触、又は効果を達成するか、又は、特定のコンテンツを特徴づける。この流れにおける3つの特定の例として、サーバ4は、日付60、天気62、及び歴史的イベント64からなるグループから選択される画像フィルタ基準(image filter criteria)58にしたがって他の画像44を事前に選択する(preselects)画像フィルタ(image filter)56及び画像フィルタ基準58をさらに含み、ユーザが、ある特定の時間期間、天気タイプ、又はイベントに応じてより大きな画像24を自分の好みに合わせることを可能とする。大量の他の画像44が画像ストア40の中に格納されているので、より大きな画像24のための候補画像として、同じ位置について複数の画像を格納し、そして、それらの特徴に基づいてそれらの複数の画像を選択してもよい。代替的に、それらの候補画像は、日付60によって事前に選択されてもよく(すなわち、フィルタリングされてもよく)、それによって、ユーザは、写真が撮影されている年を選択することが可能である。候補画像は、また、天気62によって事前に選択されてもよく(すなわち、フィルタリングされてもよく)、それによって、ユーザは、写真が撮影されている(例えば、晴れ又は雨等の)天気を選択することが可能である。気象情報は、(1) 画像の位置及び日付に利用可能である気象データに基づいて、他の画像44の中にタグ付けされ(tagged)てもよく、(2) ニューラルネットワークを使用して他の画像44の画像データから分類されてもよく、そのニューラルネットワークは、気象条件を認識するように訓練され、(3) ニューラルネットワークによって、ターゲット画像20と他の画像44との間で照合され(matched)てもよく、そのニューラルネットワークは、複数の画像の間の大気、照明、及び地形条件を一致させるように訓練されている。候補画像は、歴史的イベント64によって事前に選択されてもよく(すなわち、フィルタリングされてもよく)、それによって、ユーザは、写真が撮影されている歴史的イベントを選択することが可能である。ユーザは、以下で図2Eの例に関連して説明されているように、検査して(check)、それらのオプションがコンピューティングデバイス2において変換可能性情報22によって利用可能であるか否かを確認し(see if)、それらのオプションのうちの1つを選択してもよい。これらのフィルタのすべてを図示するある1つの例示的なシナリオは、ワシントンD.C.のリンカーン記念堂において自分自身の写真を撮影しているユーザが、曇天の1963年にリンカーン記念堂において発生した有名なワシントン大行進という歴史的イベントの画像からより大きな画像24を作成する(create)ように指定するということである。十分な画像が画像ストア40の中で利用可能である場合に、大きい画像生成器38は、より大きな画像24を生成し、そのより大きな画像24は、図4Eに示されているように、指定されている気象条件でそのイベントに関する撮影されている他の画像44からの歴史的画像によってユーザのターゲット画像20を囲むであろう。
【0034】
図4Eは、1963年8月28日にリンカーン記念堂において、ユーザのターゲット画像20の近傍の中で、且つ、リンカーン記念堂の正面に向かう向きで撮影されている他の画像44から形成されているより大きな画像を示す。この例においてより大きな画像24を形成するのに使用される他の画像44のすべては、1963年8月28日のマーティンルーサーキング氏による有名な"私には夢がある"の演説におけるシーンを描写しており、一方で、ターゲット画像20は、本日の同じ位置にいるユーザの家族のメンバーを描写している。このより大きな画像24は、ユーザが、リンカーン記念堂でのユーザの家族のターゲット画像20を選択し、そして、その次に、図2Eに示されているようなポップアップウィンドウ110Cを通して、"私には夢がある演説"イベントによって他の画像44がフィルタリングされるということをイベント基準として選択し、選択されているイベントに基づいて、ターゲット画像20に対してより大きな画像24を作成する(created)ことが可能であるということを示す変換可能性情報22を見て、図2Eの変換セレクタを選択する、ことに応答して生成されている(generated)。
【0035】
図2A乃至図2Fは、ある1つの例示的なGUIの概略的な図を示し、その例示的なGUIは、ユーザが図1のコンピューティングデバイス2を使用して選択するターゲット画像20の上に変換可能性情報22を表示する。ターゲット画像20は、画像データ16から、ユーザ又はプロセッサ10によって選択され、そのターゲット画像20は、コンピューティングデバイス2のディスプレイ12に画像サムネイルとして表示されてもよい。選択されているターゲット画像20は、ディスプレイ12のメインスクリーン104に表示されてもよい。ターゲット画像20の上に表示される変換可能性情報22は、360度画像、270度画像、180度画像、及び360度3次元画像等の利用可能な変換オプションを示してもよい。変換可能性情報22は、テキスト90として表示されてもよく、図2Aに示されているように、一般的な利用可能性インジケータ90A及び複数の変換オプション90Bを含んでもよい。ユーザは、対応するセレクタ48によって、複数の利用可能な変換オプション90Bのうちで望ましい変換オプション90Bを選択してもよい。セレクタ48は、複数選択チェックボックスとして示されており、それらの複数選択チェックボックスのうちの1つ又は複数を選択してもよいが、任意の適切な代替形態をとってもよい。ユーザは、さらに、ターゲット画像20に隣接して表示されている変換セレクタ106を選択することによって、選択されている変換オプション90Bへの変換を要求してもよい。より大きな画像要求30が行われると、より大きな画像要求30は、サーバ4に伝送されるか、又は、代替的に、コンピューティングデバイス2の決定モジュール42に伝送されて、大きな画像生成器38によってより大きな画像24に変換される。
【0036】
図2Bを参照すると、変換可能性情報22は、また、図2Bに示されているように、テキストの有無にかかわらず、変換インジケータアイコン46として表示されてもよい。この例では、変換可能性情報22のアイコン46は、360度画像、360度3次元画像、及び180度画像の変換が利用可能であるということを示す。ユーザは、セレクタ48によって望ましい変換オプションを選択してもよい。
【0037】
図2Cに示されているように、変換可能性情報22は、画像変換状態情報(image conversion status information)を含んでもよい。図2Cに示されている変換可能性情報22のアイコン46は、より大きな360度画像へのターゲット画像20の変換が可能であり、変換要求がまだ行われていないということを示す。
【0038】
図2Dを参照すると、変換可能性情報22のアイコン46は、より大きな360度画像へのターゲット画像20の利用可能な変換のための変換要求が行われており、変換が進行中であるということを示してもよい。このことは、図2Dにおいては、上矢印アイコンを有する雲と、そのアイコンの下に位置するPROCESSINGラベルの双方によって示される。
【0039】
図2Eを参照すると、ある特定の日付、天気、及び/又は歴史的イベントからの他の画像44を使用して、より大きな画像24へとターゲット画像20を変換することが可能である可能性があるということを示す変換可能性情報22は、アイコン46A、46B、及び46Cによって表示されてもよく、ユーザは、セレクタ48を使用して、それらのアイコン46A、46B、及び46Cの中から選択して変換を要求してもよい。ユーザがアイコン46A、46B、又は46Cのうちの1つを選択するときに、ターゲット画像20に対してより個人化されている(personalized)より大きな画像24を導出するための基準をさらに選択するためのポップアップウィンドウ110A、110B、又は110Cが表示されてもよい。例えば、ユーザは、110Aに示されているように、画像が撮影されている(例えば、1900年、1950年、又は2000年等の)年を選択してもよい。ユーザは、また、110Bに示されているように、画像が撮影されている(例えば、晴れ、雨、曇り等の)天気を選択してもよい。さらに、ユーザは、110Cに示されているように、画像が撮影されている際の歴史的イベントを選択してもよい。イベントは、人間のキュレーター(human curators)又は訓練されている人工知能モデルによって他の画像44にあるラベル付けされているイベントタグと選択されている歴史的イベントとを照合することによって照合されてもよい。ユーザがセレクタ48を使用して複数のオプションのうちの1つを選択し、変換ボタン106をクリックすると、サーバ4に、他の画像44についての選択されている画像フィルタ基準58を使用してより大きな画像24の変換の要求を伝送してもよく、要求されている画像効果又は特徴を有する個人化されている(personalized)より大きな画像24を生成してもよい。
【0040】
図2Fを参照すると、変換可能性情報22は、ユーザが選択するターゲット画像20の中の関心領域(region of interest)23をより大きな画像24へと変換することが可能であるということを示してもよい。例えば、ユーザは、関心領域23を選択して、選択されている画像の中に建物又は人等の特定の対象物を含め、建設中の建物の一部を除いてもよく、関心領域23を抽出してターゲット画像20を形成してもよい、すなわち、選択に基づいて、関心領域23は、ターゲット画像20それ自体となる。このようにして、セレクタのユーザによる選択を受信すると、システムは、関心領域23にトリミングされている(cropped to the region of interest)修正されたターゲット画像20をより大きな画像24へと変換するように構成される。結果として得られるより大きな画像24は、関心領域23を含み、元のトリミングされていないターゲット画像20の残りを除き、この例では、図4Dにおけるトラクター(tractor)によって図示されているように、結果として得られるより大きな画像24が建設中の建物の一部を除くということを意味する。
【0041】
さらに、同じ位置において撮影される複数のターゲット画像20及び21は、ユーザ又はプロセッサ10によって、画像データ16から選択されてもよく、画像データ16は、コンピューティングデバイス2のディスプレイ12に画像サムネイル16として表示されてもよい。複数の画像20及び21が選択されると、選択されている複数のターゲット画像20及び21のメタデータ情報34は、抽出され、そして、サーバ4に伝送されてもよい。複数のターゲット画像20及び21がより大きな画像24へと変換される可能性を示す変換可能性情報22は、結果として、コンピューティングデバイスによって、サーバから取得されてもよい。
【0042】
図5A乃至図5Bは、図1のコンピューティングデバイス2を使用してターゲット画像20から変換されるより大きな画像24のある1つの例を表示するある1つの例示的なGUIの概略的な図を示す。上記で説明されているように、ユーザの要求に基づいて、ターゲット画像20は、コンピューティングデバイス2に一体化されている決定モジュール42又はサーバ4によってより大きな画像24に変換され、図5Aに示されているようにコンピューティングデバイス2のディスプレイ12に表示される。ターゲット画像20がより大きな画像24に変換されているということを示す原画像ナビゲーション情報(original image navigation information)94の要素(element)は、より大きな画像24の上に表示されてもよい。その原画像ナビゲーション情報94の一部として、より大きな画像24は、図5Aに示されているように、より大きな画像24の中の他のスティッチングされている画像及びターゲット画像20を視覚的に判別する視覚的判別器(visual differentiator)100を使用して表示されてもよい。視覚的判別器100は、元画像ナビゲーション情報94に統合されてもよく、その元画像ナビゲーション情報94は、アイコンを有し、そのアイコンは、より大きな画像24を作成するために元の画像とスティッチングされる他の画像の領域及び元の画像領域を含む。そのアイコンは、ユーザが画像スライダ(image slider)96によってより大きな画像をカメラをぐるっと回して撮影する(pans)ときに、向きを変えて、より大きな画像の表示されている部分が元の画像であるか又は他のスティッチングされている画像であるかを示してもよい。代替的に、視覚的判別器100は、破線、影付き領域、又はより大きな画像24に重畳される強調されている領域であってもよい。図5Bを参照すると、元画像ナビゲーション情報94のアイコンは、"V"形状のマーカ110を有するより大きな画像24のユーザの現在のビューを示してもよい。そのマーカ110は、ユーザが画像スライダ96によってより大きな画像をカメラをぐるっと回して撮影するときに、向きを変えてもよい。
【0043】
上記で説明されているように、より大きな画像24に変換されることが意図されているターゲット画像20は、ユーザによって選択されてもよく、又は、コンピューティングシステム2のプロセッサ10によって自動的に選択されてもよく、GUIに表示されてもよい。画像ストア40の中にターゲット画像20に対してより大きな画像24をスティッチングするのに十分な他の画像44が存在するか否かを示す変換可能性情報46は、コンピューティングデバイス2のディスプレイ12にあるターゲット画像20の頂部に表示される。変換可能性情報46は、テキスト90又はアイコン46によって、180度画像、270度画像、360度画像、及び360度3次元画像等の変換オプションの利用可能性を表示し、ユーザがいずれの変換が利用可能であるかを視覚的に予測し、好ましいオプションを選択することを可能とする。ユーザは、セレクタ48を使用して変換オプションを選択し、変換を要求してもよい。アイコン46は、さらに、ユーザが選択されているオプションを使用して大きな画像24へとターゲット画像20を変換するプロセスを見ることを可能とする。アイコン52は、さらに、ユーザが、ポップアップウィンドウ110A、110B、及び110Cによって、時間、天気、及び歴史的イベントの基準に基づいて、他の画像44に対してフィルタを適用して、より大きな画像24を個人化する(personalize)ことを可能としてもよい。ターゲット画像20がユーザの要求に基づいてより大きな画像24へと変換されると、より大きな画像24は、元画像ナビゲーション情報94と共にGUIに表示されてもよく、その元画像ナビゲーション情報94は、視覚的判別器100を含み、その視覚的判別器100は、ユーザが、重ね合わせアイコン(superimposed icon)、破線(dashed line)、陰影領域(shaded region)、又は強調されている領域(highlighted region)を使用して、より大きな画像24の中の他のスティッチングされている画像及びターゲット画像を視覚的に判別することを可能とする。このようにして、ユーザは、より大きな画像24へのターゲット画像20の利用可能な変換を予測し、他の画像44の望ましいサイズ及び基準を選択し、より個人化されるとともにナビゲーション可能であるより大きな画像24のために、元のターゲット画像20と他の画像とを視覚的に判別してもよい。
【0044】
図6は、この開示のある1つの例示的な実装にしたがったコンピュータ化されている方法300のフローチャートを示す。ステップ302において、その方法は、1つ又は複数のコンピューティングデバイスのうちのクライアントコンピューティングデバイス又はサーバによってターゲット画像を選択するステップを含んでもよい。上記で説明されているように、コンピューティングデバイス2は、スマートフォン、タブレットコンピューティングデバイス、ディジタルカメラ、及びヘッドマウントディスプレイデバイス等のさまざまなタイプのコンピューティングデバイスのうちのいずれであってもよい。ステップ304において、その方法は、1つ又は複数のコンピューティングデバイスのうちのクライアントコンピューティングデバイス又はサーバによって、決定モジュールを実行して、変換可能性情報を生成するステップであって、その変換可能性情報は、ターゲット画像及び/又はターゲット画像のメタデータ情報に基づいて、ターゲット画像の少なくとも一部と画像ストアからの他の画像をスティッチングすることによって、より大きな視野を有する(例えば、球面画像又はパノラマ画像等の)より大きな画像へとターゲット画像を変換することが可能であるということを示す、ステップをさらに含んでもよい。上記で説明されているように、メタデータ情報は、ターゲット画像と関連する位置情報、時間情報、及び/又は対象物情報を含んでもよい。ステップ306において、その方法は、クライアントコンピューティングデバイスによって変換可能性情報及び関連するセレクタを表示するステップをさらに含んでもよい。上記で説明されているように、変換可能性情報は、画像変換のための1つ又は複数の利用可能なオプションを示すアイコン及び画像変換状態情報を示すアイコンを含んでもよい。ステップ308において、その方法は、セレクタのユーザによる選択を受信すると、より大きな画像へとターゲット画像を変換するステップをさらに含んでもよい。ステップ310において、その方法は、複数のコンピューティングデバイスのうちの1つ又は複数での記憶又は表示のために、より大きな画像を出力するステップをさらに含んでもよい。上記で説明されているように、より大きな画像を表示してもよく、それによって、ターゲット画像及び他のスティッチングされている画像が視覚的に判別される。
【0045】
上記で説明されているシステム及び方法は、ユーザが選択するある特定のターゲット画像について、画像ストアの中の画像からより大きな画像を生成することが可能であるか否かに関する高度な知識をユーザに提供するのに利用されてもよい。ターゲット画像のメタデータの中に示されているさまざまな位置及びコンテンツベースのファクタに基づいて一致する画像をプログラムによって検索し、そして、ユーザ変換可能性情報に戻すことによって、システムは、ほぼ同時に取り込まれるいくつかの画像をリモートスティッチングサービスへとアップロードして、より大きな画像へとそれらのいくつかの画像をスティッチングすることが可能であるか否かを決定する必要性を回避することが可能であり、それにより、処理時間及び帯域幅を有意に節約する。さらに、本明細書において説明されているシステム及び方法は、さまざまな位置ベースの基準及びコンテンツベースの基準に基づいて、画像ストアの中のさまざまな他の画像とターゲット画像を照合する(matching)ための技術的解決方法を提供し、それにより、ユーザ自身の画像ライブラリがそのような画像を格納していないときであっても、ユーザのターゲット画像とスティッチング可能な画像とを一致させる(be matched)ことを可能とする。最後に、本明細書において説明されているシステム及び方法は、ターゲット画像と同じ場所及び同じ時間から他の画像を取り込むということを必要とはせず、スティッチングのために利用可能である画像の潜在的な数を増加させる。
【0046】
複数の実施形態のうちのいくつかにおいて、本明細書において説明されている方法及びプロセスは、1つ又は複数のコンピューティングデバイスのコンピューティングシステムに結び付けられてもよい。特に、そのような方法及びプロセスは、コンピュータアプリケーションプログラム又はサービス、アプリケーションプログラミングインターフェイス(API)、ライブラリ、及び/又は他のコンピュータプログラム製品として実装されてもよい。
【0047】
図7は、コンピューティングシステム400の非限定的な実施形態を概略的に示し、そのコンピューティングシステム400は、上記で説明されている方法及びプロセスのうちの1つ又は複数を実行することが可能である。コンピューティングシステム400は、簡略化されている形態で示されている。コンピューティングシステム400は、図1に図示され且つ上記で説明されているコンピュータデバイス2を具体化することが可能である。コンピューティングシステム400は、1つ又は複数のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテインメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、(例えば、スマートフォン等の)モバイル通信デバイス、及び/又は他のコンピューティングデバイス、及びスマート腕時計及びヘッドマウント拡張現実感デバイス等のウェアラブルコンピューティングデバイスの形態をとってもよい。
【0048】
コンピューティングシステム400は、論理プロセッサ402、揮発性メモリ404、及び不揮発性記憶デバイス406を含む。コンピューティングシステム400は、選択的に、ディスプレイサブシステム408、入力サブシステム410、通信サブシステム412、及び/又は図7には示されていない他の構成要素を含んでもよい。
【0049】
論理プロセッサ402は、命令を実行するように構成される1つ又は複数の物理デバイスを含む。例えば、論理プロセッサは、1つ又は複数のアプリケーション、プログラム、ルーチン、ライブラリ、オブジェクト、構成要素、データ構造、又は他の論理構成体の一部である命令を実行するように構成されてもよい。そのような命令は、タスクを実行し、データタイプを実装し、1つ又は複数の構成要素の状態を変換し、技術的効果を達成し、又は他の方法で望ましい結果に到達するように実装されてもよい。
【0050】
論理プロセッサは、ソフトウェア命令を実行するように構成される1つ又は複数の物理プロセッサ(ハードウェア)を含んでもよい。追加的に又は代替的に、論理プロセッサは、ハードウェア実装論理又はファームウェア命令を実行するように構成される1つ又は複数のハードウェア論理回路又はファームウェアデバイスを含んでもよい。論理プロセッサ402であるプロセッサは、シングルコアプロセッサ又はマルチコアプロセッサであってもよく、そのプロセッサによって実行される命令は、シーケンシャルな処理、並列処理、及び/又は分散処理のために構成されてもよい。論理プロセッサの個々の構成要素は、選択的に、遠隔に配置され及び/又は協調処理のために構成される2つ又はそれ以上の別個のデバイスにわたって分散されていてもよい。論理プロセッサの複数の態様は、クラウドコンピューティング構成によって構成される遠隔アクセス可能なネットワーク化コンピューティングデバイスによって仮想化され及び実行されてもよい。そのような場合には、これらの仮想化されている態様は、さまざまな異なる機械の複数の異なる物理論理プロセッサによって実行されるということが理解されるであろう。
【0051】
不揮発性記憶デバイス406は、1つ又は複数の物理デバイスを含み、それらの1つ又は複数の物理デバイスは、論理プロセッサによって実行可能である命令を保持して、本明細書において説明されている方法及びプロセスを実装するように構成される。そのような方法及びプロセスが実装されるときに、不揮発性記憶デバイス406の状態は、例えば、異なるデータを保持するように変換されてもよい。
【0052】
不揮発性記憶デバイス406は、取り外し可能であり及び/又は内蔵型である物理デバイスを含んでもよい。不揮発性記憶デバイス406は、(例えば、CD、DVD、HD-DVD、ブルーレイディスク等の)光学メモリ、(例えば、ROM、EPROM、EEPROM、フラッシュメモリ等の)半導体メモリ、及び/又は(例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM等の)磁気メモリ、又は、他の大容量記憶デバイス技術を含んでもよい。不揮発性記憶デバイス406は、不揮発性デバイス、動的なデバイス、静的なデバイス、読み取り/書き込みデバイス、読み取り専用デバイス、順次アクセスデバイス、ロケーションアドレス可能なデバイス、ファイルアドレス可能なデバイス、及び/又はコンテンツアドレス可能なデバイスを含んでもよい。不揮発性記憶デバイス406は、不揮発性記憶デバイス406への電力が遮断されたときであっても、命令を保持するように構成されるということが理解されるであろう。
【0053】
揮発性メモリ404は、ランダムアクセスメモリを含む物理デバイスを含んでもよい。揮発性メモリ404は、通常、論理プロセッサ402がソフトウェア命令の処理の際に情報を一時的に格納するのに利用される。揮発性メモリ404は、通常、揮発性メモリ404への電力が遮断されたときに、命令の格納を継続しないということが理解されるであろう。
【0054】
論理プロセッサ402、揮発性メモリ404、及び不揮発性記憶デバイス406の態様は、1つ又は複数のハードウェア論理構成要素にともに統合されてもよい。そのようなハードウェア論理構成要素は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、プログラム固有の及び特定用途向け集積回路(PASIC/ASIC)、プログラム固有の及び特定用途向け標準製品(PSSP/ASSP)、システムオンチップ(SOC)、及び複合プログラム可能な論理デバイス(CPLD)を含んでもよい。
【0055】
"モジュール"、"プログラム"、及び"エンジン"の語は、揮発性メモリの複数の部分を使用してある特定の機能を実行するためにプロセッサによってソフトウェアで通常は実装されるコンピューティングシステム400の態様を説明するのに使用されてもよく、この機能は、機能を実行するようにプロセッサを特別に構成する変換処理を伴う。したがって、モジュール、プログラム、又はエンジンは、揮発性メモリ404の複数の部分を使用して、不揮発性記憶デバイス406が保持する命令を実行する論理プロセッサ402によってインスタンス化されてもよい。複数の異なるモジュール、プログラム、及び/又はエンジンは、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数等からインスタンス化されてもよい。同様に、同じモジュール、プログラム、及び/又はエンジンは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数等によってインスタンス化されてもよい。"モジュール"、"プログラム"、及び"エンジン"の語は、実行可能なファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等のうちの個々のもの又はそれらのグループを含んでもよい。
【0056】
ディスプレイサブシステム408が含まれているときに、ディスプレイサブシステム408は、不揮発性記憶デバイス406が保持するデータの視覚的表現を提示するのに使用されてもよい。その視覚表現は、グラフィカルユーザインターフェイス(GUI)の形態をとってもよい。本明細書において説明されている方法及びプロセスが、不揮発性記憶デバイスが保持するデータを変更し、したがって、不揮発性記憶デバイスの状態を変換するときに、ディスプレイサブシステム408の状態は、同様に変換されて、基礎となるデータの変化を視覚的に表してもよい。ディスプレイサブシステム408は、任意のタイプの技術を仮想的に利用する1つ又は複数のディスプレイデバイスを含んでもよい。そのようなディスプレイデバイスは、共有されている筐体の中で論理プロセッサ402、揮発性メモリ404、及び/又は不揮発性記憶デバイス406と組み合わせられてもよく、或いは、そのようなディスプレイデバイスは、周辺ディスプレイデバイスであってもよい。
【0057】
入力サブシステム410が含まれているときに、入力サブシステム410は、キーボード、マウス、タッチスクリーン、又はゲームコントローラ等の1つ又は複数のユーザ入力デバイスを含んでもよく、或いは、それらとの間にインターフェイスを提供してもよい。複数の実施形態のうちのいくつかにおいて、入力サブシステムは、選択されているナチュラルユーザ入力(NUI)構成要素を含んでもよく、或いは、NUI構成要素との間にインターフェイスを提供してもよい。そのような構成要素は、一体化されていてもよく又は周辺機器であってもよく、入力動作の変換及び/又は処理は、基板上で(on-board)処理されてもよく又は基板外で(off-board)処理されてもよい。例示的なNUI構成要素は、音声認識用の及び/又は言語認識用のマイクロフォン、機械視覚用の及び/又はジェスチャ認識用の赤外線カメラ、色彩カメラ、立体カメラ、及び/又は深度カメラ、動き検出用の及び/又は意図認識用のヘッドトラッカー、アイトラッカー、加速度計、及び/又はジャイロスコープ、及び、脳活動を評価するための電界感知構成要素、及び/又は任意の他の適切なセンサを含んでもよい。
【0058】
通信サブシステム412が含まれているときに、通信サブシステム412は、本明細書において説明されているさまざまなコンピューティングデバイスを互いに通信可能に結合し及び他のデバイスと通信可能に結合するように構成されてもよい。通信サブシステム412は、1つ又は複数の異なる通信プロトコルと互換性のある有線通信デバイス及び/又は無線通信デバイスを含んでもよい。非限定的な例として、通信サブシステムは、無線電話ネットワーク、或いは、HDMIを介するWi-Fi接続等の有線又は無線ローカルネットワーク又は広域ネットワークを通じた通信のために構成されてもよい。複数の実施形態のうちのいくつかにおいて、通信サブシステムは、コンピューティングシステム400が、インターネット等のネットワークを介して他のデバイスとの間でメッセージを送信し及び/又は受信することを可能としてもよい。
【0059】
以下の段落は、この開示のいくつかの態様を説明している。この開示のある1つの態様によれば、コンピューティングデバイスが提供される。そのコンピューティングデバイスは、画像データを格納するように構成される記憶デバイスを含んでもよい。コンピューティングデバイスは、複数の命令を格納するメモリに結合されるプロセッサをさらに含んでもよく、それらの複数の命令は、プロセッサによって実行されると、そのプロセッサに画像データからターゲット画像を選択させる。プロセッサは、さらに、変換可能性情報を表示するように構成されてもよく、その変換可能性情報は、ターゲット画像の少なくとも一部及び関連するセレクタと他の画像とをスティッチングすることによって、より大きな視野を有するより大きな画像へとターゲット画像を変換することが可能であるということを示す。プロセッサは、さらに、セレクタのユーザによる選択を受信すると、より大きな画像を表示するように構成されてもよい。
【0060】
この態様によれば、変換可能性情報は、コンピューティングデバイスのプロセッサの決定モジュールによって、ターゲット画像及び/又はターゲット画像のメタデータ情報に基づいて生成されてもよい。
【0061】
この態様によれば、プロセッサは、さらに、サーバにターゲット画像及び/又はターゲット画像のメタデータ情報を伝送して、サーバに変換可能性情報を生成させるように構成されてもよい。プロセッサは、さらに、サーバから変換可能性情報を受信するように構成されてもよい。プロセッサは、さらに、セレクタのユーザによる選択を受信するように構成されてもよい。プロセッサは、さらに、サーバにより大きな画像要求を伝送し、そして、サーバからより大きな画像を受信する、ように構成されてもよい。
【0062】
この態様によれば、メタデータ情報は、ターゲット画像と関連する位置情報(location information)、時間情報(time information)、向き情報(orientation information)、及び/又は対象物情報(object information)を含んでもよい。
【0063】
この態様によれば、より大きな画像は、球面画像又はパノラマ画像であってもよい。
【0064】
この態様によれば、他の画像は、日付、天気、及び歴史的イベントからなるグループから選択されるフィルタ基準にしたがって、画像フィルタによって事前に選択されてもよい。
【0065】
この態様によれば、変換可能性情報は、画像変換のための1つ又は複数の利用可能なオプションを示すアイコンを含んでもよい。
【0066】
この態様によれば、変換可能性情報は、画像変換状態情報を示すアイコンを含んでもよい。
【0067】
この態様によれば、コンピューティングデバイスは、スマートフォン、ヘッドマウントディスプレイデバイス、タブレットコンピューティングデバイス、及びディジタルカメラからなるグループから選択されるデバイスであってもよい。
【0068】
この態様によれば、より大きな画像は、視覚的判別器を使用して表示されてもよく、その視覚的判別器は、より大きな画像の中の他のスティッチングされている画像及びターゲット画像を視覚的に判別する。
【0069】
この開示の他の態様によれば、コンピュータ化されている方法が提供される。そのコンピュータ化されている方法は、1つ又は複数のコンピューティングデバイスの1つ又は複数のプロセッサ及び/又はサーバによって、ターゲット画像を選択するステップを含んでもよい。そのコンピュータ化されている方法は、決定モジュールを実行して、変換可能性情報を生成するステップであって、その変換可能性情報は、ターゲット画像の少なくとも一部と画像ストアからの他の画像とをスティッチングすることによって、より大きな視野を有するより大きな画像へとターゲット画像を変換することが可能であるということを示す、ステップをさらに含んでもよい。そのコンピュータ化されている方法は、変換可能性情報及び関連するセレクタを表示するステップをさらに含んでもよい。そのコンピュータ化されている方法は、セレクタのユーザによる選択を受信すると、より大きな画像へとターゲット画像を変換するステップをさらに含んでもよい。そのコンピュータ化されている方法は、複数のコンピューティングデバイスのうちの1つ又は複数での記憶又は表示のために、より大きな画像を出力するステップをさらに含んでもよい。
【0070】
この態様によれば、ターゲット画像は、1つ又は複数のコンピューティングデバイスのうちのクライアントコンピューティングデバイスによって選択されてもよい。決定モジュールは、1つ又は複数のコンピューティングデバイスのうちのクライアントコンピューティングデバイス又はサーバによって実行されてもよい。変換可能性情報及び関連するセレクタは、クライアントコンピューティングデバイスによって表示されてもよい。ターゲット画像は、セレクタのユーザによる選択を受信すると、クライアントコンピュータデバイス又はサーバによってより大きな画像に変換されてもよい。
【0071】
この態様によれば、変換可能性情報は、ターゲット画像及び/又はターゲット画像のメタデータ情報に基づいて生成されてもよい。
【0072】
この態様によれば、メタデータ情報は、ターゲット画像と関連する位置情報(location information)、時間情報(time information)、向き情報(orientation information)、及び/又は対象物情報(object information)を含んでもよい。
【0073】
この態様によれば、より大きな画像は、球面画像又はパノラマ画像であってもよい。
【0074】
この態様によれば、変換可能性情報は、画像変換のための1つ又は複数の利用可能なオプションを示すアイコンを含んでもよい。
【0075】
この態様によれば、変換可能性情報は、画像変換状態情報を示すアイコンを含んでもよい。
【0076】
この態様によれば、コンピューティングデバイスは、スマートフォン、ヘッドマウントディスプレイデバイス、タブレットコンピューティングデバイス、及びディジタルカメラからなるグループから選択されるデバイスであってもよい。
【0077】
この態様によれば、より大きな画像は、ターゲット画像及び他のスティッチングされている画像が視覚的に判別されるように表示されてもよい。
【0078】
この開示の他の態様によれば、コンピューティングデバイスは、画像データを格納するように構成される記憶デバイスを含んでもよい。コンピューティングデバイスは、複数の命令を格納するメモリに結合されるプロセッサをさらに含んでもよく、それらの複数の命令は、プロセッサによって実行されると、そのプロセッサに画像データからターゲット画像を検出させる。プロセッサは、さらに、画像データからターゲット画像を検出するように構成されてもよい。プロセッサは、さらに、サーバにターゲット画像又はターゲット画像のメタデータ情報を伝送して、変換可能性情報を生成するように構成されてもよく、その変換可能性情報は、ターゲット画像の少なくとも一部と他の画像とをスティッチングすることによって、より大きな視野を有するより大きな画像へとターゲット画像を変換することが可能であるということを示す。プロセッサは、さらに、サーバから変換可能性情報を受信するように構成されてもよい。プロセッサは、さらに、変換可能性情報及び関連するセレクタを表示するように構成されてもよい。プロセッサは、さらに、ターゲット画像をプログラムによって選択するように構成されてもよい。プロセッサは、さらに、より大きな画像へとターゲット画像を変換する要求をサーバに送信するように構成されてもよい。プロセッサは、さらに、サーバからより大きな画像を受信し、より大きな画像を表示するように構成されてもよい。
【0079】
本明細書において説明されている構成及び/又はアプローチは、本質的に例示的なものであり、これらの特定の実施形態又は例は、数多くの変形が可能であるため、限定的な意味で考慮されるべきではないということが理解されるであろう。本明細書において説明されている特定のルーチン又は方法は、任意の数の処理戦略のうちの1つ又は複数を表してもよい。このようにして、図示され及び/又は説明されているさまざまな動作は、図示され及び/又は説明されている順序で、他の順序で、又は、並列的に実行されてもよく、或いは、省略されてもよい。同様に、上記で説明されているプロセスの順番は変更されてもよい。
【0080】
この開示の主題は、本明細書において開示されているさまざまなプロセス、システム及び構成、及び、その他の特徴、機能、動作、及び/又は特性のみならず、それらの等価なもののすべてのすべてが新規であり且つ非自明である組み合わせ及びサブ組み合わせを含む。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5A】
【図5B】
【図6】
【図7】
【国際調査報告】