特許 6556721 可視光及び近非可視光の合成の検出、処理及び表示を容易にすること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6556721

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】可視光及び近非可視光の合成の検出、処理及び表示を容易にすること

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190729BHJP

   H04N 9/04 20060101ALI20190729BHJP

   H04N 5/33 20060101ALI20190729BHJP

   G06T 5/00 20060101ALI20190729BHJP

【ＦＩ】

   H04N5/232 930

   H04N9/04 B

   H04N5/33

   G06T5/00 740

【請求項の数】18

【全頁数】37

(21)【出願番号】特願2016-536282(P2016-536282)

(86)(22)【出願日】2014年8月5日

(65)【公表番号】特表2016-533115(P2016-533115A)

(43)【公表日】2016年10月20日

(86)【国際出願番号】US2014049780

(87)【国際公開番号】WO2015026523

(87)【国際公開日】20150226

【審査請求日】2017年6月14日

(31)【優先権主張番号】13/971,520

(32)【優先日】2013年8月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507220730

【氏名又は名称】エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ，エル．ピー．

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100114915

【弁理士】

【氏名又は名称】三村 治彦

(74)【代理人】

【識別番号】100120363

【弁理士】

【氏名又は名称】久保田 智樹

(74)【代理人】

【識別番号】100125139

【弁理士】

【氏名又は名称】岡部 洋

(72)【発明者】

【氏名】リード，ディラン シー．

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００６−２６７０９７（ＪＰ，Ａ）

【文献】 特開２００５−０９１３４３（ＪＰ，Ａ）

【文献】 特開２０１３−０４２４０４（ＪＰ，Ａ）

【文献】 特開２０１２−１４２８３２（ＪＰ，Ａ）

【文献】 特開２００６−２２９８９４（ＪＰ，Ａ）

【文献】 特開２０１０−２７２９５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ ５／３３

Ｈ０４Ｎ ９／０４

(57)【特許請求の範囲】

【請求項1】

コンピュータ実行可能命令を記憶しているコンピュータ可読記憶媒体であって、実行に応答して、プロセッサを備えるデジタルカメラに、
第１の電磁スペクトル範囲に関連付けられる第１の情報及び第２の電磁スペクトル範囲に関連付けられる第２の情報の両方を有する生データにアクセスすることであって、前記第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第２の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在し約３８９ナノメートル（ｎｍ）〜約３６５ｎｍの波長の範囲を含む、アクセスすることと、
実質的に前記近非可視スペクトル内に存在する前記第２の電磁スペクトル範囲の検出を示す警告の表示を生成することと、
前記可視スペクトルに関する前記生データを最適化し、それにより、第１の視覚画像表現を生成することと、
前記近非可視スペクトルに関する前記生データを最適化し、それにより、第２の視覚画像表現を生成することと、
前記第１の視覚画像表現及び前記第２の視覚画像表現を合成し、合成画像を生成することと、
を含む動作を実行させる、コンピュータ可読記憶媒体。

【請求項2】

コンピュータ実行可能命令を記憶しているコンピュータ可読記憶媒体であって、実行に応答して、プロセッサを備えるデジタルカメラに、
第１の電磁スペクトル範囲に関連付けられる第１の情報及び第２の電磁スペクトル範囲に関連付けられる第２の情報の両方を有する生データにアクセスすることであって、前記第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第２の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在し約７０１ナノメートル（ｎｍ）〜約７２５ｎｍの波長の範囲を含む、アクセスすることと、
実質的に前記近非可視スペクトル内に存在する前記第２の電磁スペクトル範囲の検出を示す警告の表示を生成することと、
前記可視スペクトルに関する前記生データを最適化し、それにより、第１の視覚画像表現を生成することと、
前記近非可視スペクトルに関する前記生データを最適化し、それにより、第２の視覚画像表現を生成することと、
前記第１の視覚画像表現及び前記第２の視覚画像表現を合成し、合成画像を生成することと、
を含む動作を実行させる、コンピュータ可読記憶媒体。

【請求項3】

前記動作は、
前記合成画像の表示を開始することを更に含む、請求項１又は請求項２に記載のコンピュータ可読記憶媒体。

【請求項4】

前記第１の電磁スペクトル範囲は約３９０ナノメートル（ｎｍ）〜約７００ｎｍの範囲を含む、請求項１又は請求項２に記載のコンピュータ可読記憶媒体。

【請求項5】

前記第１の視覚画像表現は単色画像表現を含む、請求項１又は請求項２に記載のコンピュータ可読記憶媒体。

【請求項6】

前記第２の視覚画像表現は前記第１の電磁スペクトル範囲内の波長に対応する色を含む、請求項１又は請求項２に記載のコンピュータ可読記憶媒体。

【請求項7】

前記近非可視スペクトルに関する前記生データを前記最適化することは、前記デジタルカメラのモード選択の検出に応答して実行され、前記モードは前記合成画像の表示に関連付けられる、請求項１又は請求項２に記載のコンピュータ可読記憶媒体。

【請求項8】

プロセッサを備えるデジタルカメラによって、第１の電磁スペクトル範囲に関連付けられる第１の情報及び第２の電磁スペクトル範囲に関連付けられる第２の情報の両方を有する生データにアクセスするステップであって、前記第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第２の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在し約３８９ナノメートル（ｎｍ）〜約３６５ｎｍの波長の範囲を含む、アクセスするステップと、
前記デジタルカメラによって、実質的に前記近非可視スペクトル内に存在する前記第２の電磁スペクトル範囲の検出を示す警告の表示を生成するステップと、
前記デジタルカメラによって、前記可視スペクトルに関する前記生データを最適化するステップであり、該最適化するステップにより、第１の視覚画像表現を生成する、最適化するステップと、
前記デジタルカメラによって、前記近非可視スペクトルに関する前記生データを最適化するステップであり、該最適化するステップにより、第２の視覚画像表現を生成する、最適化するステップと、
合成画像を生成するために、前記デジタルカメラによって、前記第１の視覚画像表現及び前記第２の視覚画像表現を合成するステップと、
を含む、方法。

【請求項9】

プロセッサを備えるデジタルカメラによって、第１の電磁スペクトル範囲に関連付けられる第１の情報及び第２の電磁スペクトル範囲に関連付けられる第２の情報の両方を有する生データにアクセスするステップであって、前記第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第２の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在し約７０１ナノメートル（ｎｍ）〜約７２５ｎｍの波長の範囲を含む、アクセスするステップと、
前記デジタルカメラによって、実質的に前記近非可視スペクトル内に存在する前記第２の電磁スペクトル範囲の検出を示す警告の表示を生成するステップと、
前記デジタルカメラによって、前記可視スペクトルに関する前記生データを最適化するステップであり、該最適化するステップにより、第１の視覚画像表現を生成する、最適化するステップと、
前記デジタルカメラによって、前記近非可視スペクトルに関する前記生データを最適化するステップであり、該最適化するステップにより、第２の視覚画像表現を生成する、最適化するステップと、
合成画像を生成するために、前記デジタルカメラによって、前記第１の視覚画像表現及び前記第２の視覚画像表現を合成するステップと、
を含む、方法。

【請求項10】

前記デジタルカメラによって、前記合成画像の表示を開始することを更に含む、請求項８又は請求項９に記載の方法。

【請求項11】

前記第１の電磁スペクトル範囲は約３９０ナノメートル（ｎｍ）〜約７００ｎｍの範囲を含む、請求項８又は請求項９に記載の方法。

【請求項12】

前記第１の視覚画像表現は単色画像表現を含む、請求項８又は請求項９に記載の方法。

【請求項13】

前記第２の視覚画像表現は前記第１の電磁スペクトル範囲内の波長に対応する色を含む、請求項８又は請求項９に記載の方法。

【請求項14】

前記近非可視スペクトルに関する前記生データを前記最適化するステップは、前記デジタルカメラのモード選択の検出に応答して実行され、前記モードは前記合成画像の表示に関連付けられる、請求項８又は請求項９に記載の方法。

【請求項15】

命令を記憶するメモリと、
前記メモリに結合されるプロセッサであって、
第１の電磁スペクトル範囲に関連付けられる第１の情報及び第２の電磁スペクトル範囲に関連付けられる第２の情報の両方を有する生データにアクセスすることであって、前記第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、前記第２の電磁スペクトル範囲は実質的に近非可視スペクトル内に存在し約３８９ナノメートル（ｎｍ）〜約３６５ｎｍの波長の範囲を含む、アクセスすることと、
実質的に前記近非可視スペクトル内に存在する前記第２の電磁スペクトル範囲の検出を示す警告の表示を生成することと、
前記可視スペクトルに関する前記生データを最適化し、それにより、第１の視覚画像表現を生成することと、
前記近非可視スペクトルに関する前記生データを最適化し、それにより、第２の視覚画像表現を生成することと、
前記第１の視覚画像表現及び前記第２の視覚画像表現を合成し、合成画像を生成することと、
を含む動作を実行するための命令の実行を容易にする、プロセッサと、
を備える、デジタルカメラ。

【請求項16】

前記動作は、
前記合成画像の表示を開始することを更に含む、請求項１５に記載のデジタルカメラ。

【請求項17】

前記第１の視覚画像表現は単色画像表現を含み、前記第２の視覚画像表現は前記第１の電磁スペクトル範囲内の波長に対応する色を含む、請求項１５に記載のデジタルカメラ。

【請求項18】

前記近非可視スペクトルに関する前記生データを前記最適化することは、前記デジタルカメラのモード選択の検出に応答して実行され、前記モードは前記合成画像の表示に関連付けられる、請求項１５に記載のデジタルカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、その全体が引用することにより本明細書の一部をなす、２０１３年８月２０日に出願の「FACILITATING DETECTION, PROCESSING AND DISPLAY OF COMBINATION OF VISIBLE AND NEAR NON-VISIBLE LIGHT」と題する米国特許出願第１３／９７１，５２０号の優先権を主張する。

【0002】

本開示は包括的には、画像処理に関し、具体的には、可視光及び近非可視（ＮＮＶ：near non-visible）光の合成の検出、処理及び表示を容易にすることに関する。

【0003】

本特許ファイル又は出願ファイルはカラー仕上げの少なくとも１つの図面を含む。カラー図面を伴うこの特許又は特許出願公開のコピーは、要請に基づき、必要な手数料を支払うことにより、特許商標庁から提供される。

【図面の簡単な説明】

【0004】

【図1】本明細書において説明される実施形態による、合成可視及びＮＮＶ光を処理し、表示するように構成されるデジタルカメラと、ＮＮＶ光を反射するように構成される材料を支持する物体とを含むシステムの例示的なブロック図である。

【図2】本明細書において説明される実施形態による、図１の物体から反射される可視光の画像表現を表示するデジタルカメラ表示領域の例示的なブロック図である。

【図3】本明細書において説明される実施形態による、図２の物体から反射される可視光及びＮＮＶ光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図である。

【図4】本明細書において説明される実施形態による、可視スペクトル及びＮＮＶスペクトルを含む電磁スペクトルの例示的な概略図である。

【図5】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から生成される合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラを有するモバイルデバイスの例示的なブロック図である。

【図6】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から生成された合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラの例示的なブロック図である。

【図7】本明細書において説明される実施形態による、可視光及びＮＮＶ光から生成された合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラのデータ記憶の例示的なブロック図である。

【図8】本明細書において説明される実施形態による、可視光モード及び合成光モードにおいて動作するようにデジタルカメラを構成するためのデジタルカメラ表示領域表示設定の例示的なブロック図である。

【図9】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から生成される合成画像のための処理及びその表示を容易にするように構成されるデジタルカメラの可視光及びＮＮＶ光処理コンポーネントの例示的なブロック図である。

【図10】本明細書において説明される実施形態による、ＮＮＶスペクトル内の近赤外光及び赤外光に関する、シリコン、インジウムガリウムヒ素（ＩｎＧａＡｓ）、可視ＩｎＧａＡｓ及びナイトビジョンチューブの場合の量子効率対波長のグラフである。

【図11】本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。

【図12】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。

【図13】本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。

【図14】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す図である。

【図15】本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す図である。

【図16】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す図である。

【図17】本明細書において説明される実施形態による、合成可視及びＮＮＶ光を処理し、表示するように構成されるデジタルカメラと、ＮＮＶスペクトルにおいて放射する物体とを含むシステムの例示的なブロック図である。

【図18】本明細書において説明される実施形態による、図１７の物体から取り込まれる可視光及びＮＮＶ光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図である。

【図19】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報からの合成画像と、可視光情報からの画像とをピクチャインピクチャとして並行して表示するようにデジタルカメラを構成するか、又はＮＮＶ検出警告を与えるようにデジタルカメラを構成するための設定を示すデジタルカメラ表示領域の例示的なブロック図である。

【図20】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報からの合成画像と、可視光情報からの画像とをピクチャインピクチャとして並行して表示するデジタルカメラ表示領域の例示的なブロック図である。

【図21】本明細書において説明される実施形態による、被検出ＮＮＶ光の警告を与えるように構成されるアイコンを含む、デジタルカメラの例示的なブロック図である。

【図22】本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から合成画像を検出し、処理し、及び／又は表示するように構成されるデジタルカメラを含むシステムの例示的なブロック図である。

【図23】本明細書において説明される実施形態による、可視光及びＮＮＶ光から構成される合成画像の検出、処理及び／又は表示を容易にする方法の例示的な流れ図である。

【図24】本明細書において説明される実施形態による、可視光及びＮＮＶ光から構成される合成画像の検出、処理及び／又は表示を容易にする方法の例示的な流れ図である。

【図25】本明細書において説明される実施形態による、可視光及びＮＮＶ光から構成される合成画像の検出、処理及び／又は表示を容易にする方法の例示的な流れ図である。

【図26】本明細書において説明される実施形態による、可視光及びＮＮＶ光から構成される合成画像の検出、処理及び／又は表示を容易にする方法の例示的な流れ図である。

【図27】本明細書において説明される実施形態による、可視光及びＮＮＶ光から構成される合成画像の検出、処理及び／又は表示を容易にする方法の例示的な流れ図である。

【図28】本明細書において説明される実施形態による、合成可視及びＮＮＶ光の検出、処理及び／又は表示を容易にするように動作可能なコンピュータのブロック図である。

【発明を実施するための形態】

【0005】

ここで、１つ又は複数の実施形態が図面を参照しながら説明され、図面では、同じ参照番号が、全体を通して同じ要素を指すために用いられる。以下の説明では、説明の目的上、種々の実施態様を完全に理解してもらうために、具体的な細部が記載される。しかしながら、これらの細部を用いることなく（そして、任意の特定のネットワーク化された環境又は標準規格に適用することなく）種々の実施形態を実施できることは明らかである。

【0006】

本出願において用いられるときに、幾つかの実施形態において、「コンポーネント」、「システム」等の用語は、コンピュータ関連エンティティ、又は１つ若しくは複数の特定の機能を有する動作可能な装置に関連付けられるエンティティを指すか、又はそのようなエンティティを含むことを意図しており、そのエンティティはハードウェア、ハードウェア及びソフトウェアに組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかとすることができる。一例として、コンポーネントは、限定はしないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、コンピュータ実行可能命令、プログラム及び／又はコンピュータとすることができる。例示であって、限定はしないが、サーバー上で実行されているアプリケーション、及びサーバーはいずれもコンポーネントとすることができる。１つ又は複数のコンポーネントは、プロセス及び／又は実行のスレッド内に存在することができ、コンポーネントは、１つのコンピュータ上に局在することができるか、又は２つ以上のコンピュータ間に分散することができる。さらに、これらのコンポーネントは、種々のデータ構造を記憶している種々のコンピュータ可読媒体から実行することができる。コンポーネントは、例えば、１つ又は複数のデータパケット（例えば、ローカルシステム内、分散システム内の別のコンポーネントとインタラクトし、及び／又はインターネットのようなネットワークを介して信号によって他のシステムとインタラクトする１つのコンポーネントからのデータ）を有する信号に従って、ローカルプロセス及び／又はリモートプロセスを介して通信することができる。別の例として、コンポーネントは、電気回路又は電子回路によって動作する機械部分によって提供される特殊機能を有する装置とすることができ、回路はプロセッサによって実行されるソフトウェアアプリケーション又はファームウェアアプリケーションによって動作し、プロセッサは装置の内部又は外部に存在することができ、ソフトウェアアプリケーション又はファームウェアアプリケーションの少なくとも一部を実行することができる。更に別の例として、コンポーネントは、機械部分を用いることなく電子コンポーネントを通して特殊機能を提供する装置とすることができ、電子コンポーネントは、その中に、電子コンポーネントの機能の少なくとも一部を与えるソフトウェア又はファームウェアを実行するプロセッサを含むことができる。種々のコンポーネントが別々のコンポーネントとして例示されてきたが、例示的な実施形態から逸脱することなく、複数のコンポーネントを単一のコンポーネントとして実現できるか、又は単一のコンポーネントを複数のコンポーネントとして実現できることは理解されよう。

【0007】

さらに、種々の実施形態は、コンピュータを制御して開示される発明内容を実施する、ソフトウェア、ファームウェア、ハードウェア又は任意のその組み合わせを作製する標準的なプログラミング及び／又はエンジニアリング技法を用いる方法、装置又は製造品として実現することができる。本明細書において用いられるときに、「製造品」という用語は、任意のコンピュータ可読デバイス又はコンピュータ可読記憶／通信媒体からアクセス可能なコンピュータプログラムを含むことを意図している。例えば、コンピュータ可読記憶媒体は、限定はしないが、磁気記憶デバイス（例えば、ハードディスク、フロッピィディスク、磁気ストリップ）、光ディスク（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ））、スマートカード及びフラッシュメモリデバイス（例えば、カード、スティック、キーデバイス）を含むことができる。当然、当業者は、種々の実施形態の範囲又は趣旨から逸脱することなく、この構成に数多くの変更を加えることができることは認識されよう。

【0008】

さらに、「例」及び「例示的」という言葉は、本明細書において、「事例」又は「例示」としての役割を果たすことを意味するために用いられる。「例」又は「例示的」として本明細書において説明される任意の実施形態又は設計は、必ずしも、他の実施形態又は設計より好ましいか、又は有利であると解釈されるべきではない。むしろ、例又は例示的という言葉を使用することは、概念を具体的に提示することを意図している。本出願において用いられるときに、「又は」という用語は、排他的な「又は」ではなく、包括的な「又は」を意味することを意図している。すなわち、他に明記されないか、又は文脈から明らかでない限り、「ＸがＡ又はＢを利用する」は、自然な包括的置換のいずれかを意味することを意図している。すなわち、ＸがＡを利用する場合、ＸがＢを利用する場合、又はＸがＡ及びＢの両方を利用する場合、上記の事例のいずれのもとでも「ＸがＡ又はＢを利用する」が満たされる。さらに、冠詞「１つの（a及びan）」は、本出願及び添付の特許請求の範囲において用いられるときに、単数形を対象にするように他に明記されないか、又は文脈から明らかでない限り、一般的に、「１つ又は複数の」を意味するように解釈されるべきである。

【0009】

さらに、「モバイルデバイス機器」、「移動局」、「モバイル」、「加入者局」、「アクセス端末」、「端末」、「ハンドセット」、「モバイルデバイス」（及び／又は類似の専門用語を表す用語）は、データ、制御、音声、ビデオ、サウンド、ゲーム又は概ね任意のデータストリーム若しくはシグナリングストリームを受信又は搬送するワイヤレス通信サービスの加入者又はモバイルデバイスによって利用されるワイヤレスデバイスを指すことができる。上記の用語は、本明細書及び関連する図面の参照時において区別なく利用される。同様に、「アクセスポイント（ＡＰ）」、「基地局（フェムトセルデバイス）」、「ＮｏｄｅＢ」、「発展型ＮｏｄｅＢ（ｅＮｏｄｅＢ）」、「ホームＮｏｄｅＢ（ＨＮＢ）」等も本出願において区別なく利用され、１つ又は複数の加入者局からデータ、制御、音声、ビデオ、サウンド、ゲーム又は概ね任意のデータストリーム若しくはシグナリングストリームを送信及び／又は受信するワイヤレスネットワークコンポーネント又は機器を指している。データストリーム及びシグナリングストリームは、パケット化されたフロー、又はフレームに基づくフローとすることができる。

【0010】

さらに、「モバイルデバイス」、「加入者」、「顧客」、「消費者」等の用語は、文脈によってそれらの用語を特に区別することが正当でない限り、全体にわたって区別なく利用される。そのような用語は、シミュレートされた視覚、音声認識等を提供することができる人工知能（例えば、複雑な数学的形式に基づいて推論を行う能力）を通してサポートされる人間エンティティ又は自動化されたコンポーネントを指すことができることは理解されたい。

【0011】

本明細書において説明される実施形態は、限定はしないが、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、モバイル通信用グローバルシステム（ＧＳＭ）、ユニバーサルモバイル電気通信システム（ＵＭＴＳ）、マイクロ波アクセスのための世界的相互運用（ＷｉＭＡＸ）、高度汎用パケット無線サービス（高度ＧＰＲＳ）、第３世代パートナーシッププロジェクト（３ＧＰＰ）長期発展型（ＬＴＥ）、第３世代パートナーシッププロジェクト２（３ＧＰＰ２）超モバイル広帯域（ＵＭＢ）、高速パケットアクセス（ＨＳＰＡ）、Ｚｉｇｂｅｅ及び他の８０２．ＸＸワイヤレス技術及び／又はレガシー電気通信技術を含む、実質的に任意のワイヤレス通信技術において利用することができる。さらに、「フェムト」及び「フェムトセル」という用語は区別なく使用され、「マクロ」及び「マクロセル」という用語は区別なく使用される。

【0012】

本明細書において説明される実施形態によれば、情報（可視光情報及びＮＮＶ光情報）の複数の層を処理し、人の目に見えるように並行して表示できるようになる。本明細書において用いられるときに、「可視スペクトル」という用語は、目に見えるか、又は人の目で検出することができる電磁スペクトルの部分、及び／又は３９０ナノメートル（ｎｍ）〜約７００ｎｍの波長を有する電磁スペクトルの部分を意味することができる。本明細書において用いられるときに、「可視光」という用語は、可視スペクトル内の電磁放射、及び／又は約３９０ｎｍ〜約７００ｎｍの波長を有する電磁放射を意味することができる。

【0013】

本明細書において用いられるときに、「非可視スペクトル」又は「不可視スペクトル」は、目に見えないか、又は人の目で検出できない電磁スペクトルの部分、及び／又は約３６５ｎｍより短いか、又は約７２５ｎｍより長い波長を有する電磁スペクトルの部分を意味することができる。本明細書において用いられるときに、「非可視光」又は「不可視光」は、非可視スペクトル又は不可視スペクトル内の電磁放射、及び／又は約３６５ｎｍより短く、及び／又は約７２５ｎｍより長い波長を有する電磁放射を意味することができる。

【0014】

本明細書において用いられるときに、「ＮＮＶスペクトル」という用語は、約３８９ｎｍ〜約３６５ｎｍの波長を有し、及び／又は約７０１ｎｍ〜約７２５ｎｍの波長を有する電磁スペクトルの部分を意味することができる。本明細書において用いられるときに、「ＮＮＶ」という用語は、ＮＮＶスペクトル内の電磁放射、及び／又は約３８９ｎｍ〜約３６５ｎｍの波長を有し、及び／又は約７０１ｎｍ〜約７２５ｎｍの波長を有する電磁放射を意味することができる。

【0015】

幾つかの実施形態では、上記の波長範囲の代わりに、非可視光のための波長（又は非可視スペクトル）及び不可視光のための波長（又は不可視スペクトル）の範囲は、約７１０ｎｍより長く、約３８０ｎｍより短くすることができる。この実施形態では、ＮＮＶ光のための波長（又はＮＮＶスペクトル）の範囲は、約７０１ｎｍ〜約７１０ｎｍ、及び／又は約３８９ｎｍ〜約３８０ｎｍとすることができる。

【0016】

一実施形態では、方法が、プロセッサを備えるデジタルカメラによって、第１の電磁スペクトル範囲に関連付けられる第１の情報と、第２の電磁スペクトル範囲に関連付けられる第２の情報との両方を有する生データにアクセスすることを含むことができ、第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第２の電磁スペクトル範囲は実質的にＮＮＶスペクトル内に存在する。また、その方法は、可視スペクトルに関する生データを最適化し、それにより第１の視覚画像表現を生成することと、ＮＮＶスペクトルに関する生データを最適化し、それにより、第２の視覚画像表現を生成することとを含むこともできる。

【0017】

別の実施形態では、コンピュータ可読記憶媒体がコンピュータ実行可能命令を記憶し、その命令は、デジタルカメラのプロセッサによって実行されるときに、デジタルカメラに動作を実行させる。それらの動作は、第１の電磁スペクトル範囲に関連付けられる第１の情報と、第２の電磁スペクトル範囲に関連付けられる第２の情報との両方を有する生データにアクセスすることを含むことができ、第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第２の電磁スペクトル範囲は実質的にＮＮＶスペクトル内に存在する。また、その動作は、可視スペクトルに関する生データを最適化し、それにより第１の視覚画像表現を生成することと、ＮＮＶスペクトルに関する生データを最適化し、それにより、第２の視覚画像表現を生成することとを含むことができる。また、その動作は、第１の視覚画像表現と第２の視覚画像表現とを合成し、合成画像を生成することを含むこともできる。

【0018】

別の実施形態では、デジタルカメラが、コンピュータ実行可能命令を記憶するように構成されるメモリと、メモリに通信可能に接続され、動作を実行するためのコンピュータ実行可能命令の実行を容易にするように構成されるプロセッサとを含む。それらの動作は、第１の電磁スペクトル範囲に関連付けられる第１の情報と、第２の電磁スペクトル範囲に関連付けられる第２の情報との両方を有する生データにアクセスすることを含むことができ、第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第２の電磁スペクトル範囲は実質的にＮＮＶスペクトル内に存在する。また、その動作は、可視スペクトルに関する生データを最適化し、それにより第１の視覚画像表現を生成することと、ＮＮＶスペクトルに関する生データを最適化し、それにより、第２の視覚画像表現を生成することとを含むことができる。また、その動作は、第１の視覚画像表現と第２の視覚画像表現とを合成し、合成画像を生成することを含むこともできる。

【0019】

１つ又は複数の実施形態は、製品を使用する消費者、又は製品に関連付けられる関係者に提供される情報量を増やすために、可視光情報及びＮＮＶ情報の両方を有利に処理し、表示することができる。その情報は、スチール写真又はビデオを介して、任意の数の異なるタイプのモバイルデバイス（例えば、デジタルカメラ、スマートフォン、タブレット、自動車）から提供することができる。さらに、可視光及び／又はＮＮＶ情報は、任意の数の異なるタイプの有線又はワイヤレスネットワークを介して２つのモバイルデバイス間で送信することができる。このようにして、本明細書において説明される実施形態によって、ユーザー間で共有することができる１組の情報を著しく増やすことができる。

【0020】

１つ又は複数の実施形態は、ユーザーのための普及した拡張現実への適用を容易にするために本明細書において説明される技術によって強化された既存のモバイルデバイス（例えば、ＮＮＶ光情報及び可視情報を処理するための特別なハードウェアフィルタを有する修正されたカメラ／デバイスの代わりに、既存のデジタルカメラ）において既存の相補型金属酸化膜半導体（ＣＭＯＳ）技術を有利に利用する。幾つかの実施形態では、そのデジタルカメラでは、ハードウェアの代わりにソフトウェアを利用することができる（例えば、ピクチャ内の可視光情報及びＮＮＶ光情報を保持するために、ピクチャをソフトウェアによってデジタル形式でフィルタリングすることができる）。

【0021】

複数の実施形態を利用して、限定はしないが、公衆安全への適用、製品物流、公共部門サービス、工業への適用等を含む、数多くの異なる適用例を容易にすることができる。例えば、実施形態のうちの１つ又は複数を利用して、製品ラベリング（例えば、目につくメッセージ、広告、クイックレスポンス（ＱＲ）コードに隠される）、製品ブランド変更／ブランド提携（例えば、特別な販売促進情報を含む製品パッケージング）、公衆安全（例えば、自律車両及び道路障害物警告、パニック停止、一時的通行ルート変更情報）、化粧品及びモデリング（例えば、人の肉眼では識別できない特殊な化粧及び一時的な刺青）、及び／又はテレビ並行多重番組表示（例えば、複数のテレビ番組の並行表示）を容易にすることができる。

【0022】

図１は、合成可視及びＮＮＶ光を処理し、表示するように構成されるデジタルカメラと、ＮＮＶ光を反射するように構成される材料を支持する物体とを含むシステムの例示的なブロック図を示す。システム１００は、可視光情報１０８及びＮＮＶ光情報（図示せず）を支持する物体１０６と、光１０４を放射するように構成されるデジタルカメラ１０２とを含む。図示される実施形態は、物体１０６が人の肉眼で見える態様を例示するために、ＮＮＶ光情報を用いることなく物体１０６を示し、可視光情報１０８のみを示す。しかしながら、物体１０６は、ＮＮＶ光情報も含むことができる。

【0023】

ＮＮＶ光情報は、１つ又は複数の材料上への光１０４の入射に応答して、ＮＮＶスペクトル内の電磁放射を反射することができる１つ又は複数の材料（又はその組み合わせ）を含むことができる。例えば、その材料は、人の肉眼に対して実質的にＮＮＶでありながら、デジタルカメラ１０２からの光１０４に応答してＮＮＶ光情報を反射するように構成されるナノ材料とすることができる。幾つかの実施形態では、ナノ材料は、物体１０６に塗布されるコーティングを含むことができる。ナノ材料は、ＮＮＶスペクトル内の光を反射するように構成及び／又は設計することができる。種々の実施形態において、ナノ粒子のサイズ及び配置を変更することに基づいて、異なるナノ材料を設計することができる（例えば、粒子が互いにいかに密集して詰め込まれるかが、反射される特定のＮＮＶ光を決定することができる）。

【0024】

本明細書において用いられるときに、「可視光情報」という用語は、可視スペクトル内の光についての情報を意味することができる。例えば、可視光情報は、人の目によって検出可能な色とすることができる。その場合に、物体１０６の可視光情報１０８は、人の目で知覚できる情報、例えば、可視スペクトル内の１つ又は複数の色を有する文字列、ベタ塗及び／又はパターンとすることができる。

【0025】

システム１００は、可視光情報１０８及びＮＮＶ光情報（図示せず）を支持する物体１０６と、ＮＮＶ光情報を物体１０６から反射させる光１０４を放射するように構成されるデジタルカメラ１０２とを含む。

【0026】

図２は、本明細書において説明される実施形態による、図１の物体から反射された可視光の画像表現を表示するデジタルカメラ表示領域の例示的なブロック図を示す。デジタルカメラ１０２は２つの異なるモード：デジタルカメラ１０２が可視光情報１０８のみを処理し、表示する第１のモード、及びデジタルカメラ１０２が、可視光情報１０８及びＮＮＶ光情報１１０の両方を処理し、並行して表示する第２のモードにおいて動作することができる。図示される実施形態では、デジタルカメラ１０２は、第１のモードにおいて動作するように構成され、デジタルカメラ１０２のデジタルカメラ表示領域１０６は、物体１０６の可視光情報１０８のみを表示する。

【0027】

図３は、本明細書において説明される実施形態による、図２の物体から反射された可視光及びＮＮＶ光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図を示す。図示される実施形態では、デジタルカメラ１０２は、第２のモードにおいて動作するように構成され、デジタルカメラ１０２のデジタルカメラ表示領域１０６は、物体１０６の可視光情報１０８及びＮＮＶ光情報１１０の両方を並行して表示する。

【0028】

図示されるように、物体１０６上に、関係者が使用するための製品物流情報（例えば、シリアル番号）を与えることができる。例えば、関係者は在庫管理、材料運搬、製品配置等に関連付けることができる。他の実施形態では、情報は、例えば、中毒事故管理センター情報とすることができる。異なる物体上に任意の数の異なるタイプのＮＮＶ光情報１１０を与えることができる。

【0029】

図１、図２及び図３に示される実施形態は、デジタルカメラ１０２から放射される光１０４に応答して、デジタルカメラ１０２によってＮＮＶ光情報が読み出されることを説明するが、種々の実施形態において、デジタルカメラ１０２は、合成可視光情報及びＮＮＶ光情報の処理及び／又は表示の前に、光１０４を放射する必要はない。代わりに、種々の実施形態において、デジタルカメラ１０２は、あらかじめ記憶されるか、又は別の方法であらかじめ読み出される可視光情報及び／又はＮＮＶ光情報にアクセスするように構成することができ、処理及び表示前に光１０４を放射する必要はない。

【0030】

図４は、電磁スペクトルの例示的な概略図を示す。電磁スペクトル４００は、Ｘ線波から長い電波までに及び、３９０ｎｍ〜７００ｎｍの可視スペクトルと、ＮＮＶスペクトル４０２、４０４とを含む。説明されたように、ＮＮＶスペクトル４０２は、約３８９ｎｍ〜約３６５ｎｍの波長を有する電磁スペクトル４００の部分を含むことができ、一方、ＮＮＶスペクトル４０４は、約７０１ｎｍ〜約７２５ｎｍの波長を有する電磁スペクトル４００の部分を含むことができる。

【0031】

幾つかの実施形態では、ＮＮＶスペクトル４０２は、約３８９ｎｍ〜約３８０ｎｍの波長を有する電磁スペクトル４００の部分を含むことができ、及び／又はＮＮＶスペクトル４０４は、約７０１ｎｍ〜約７１０ｎｍの波長を有する電磁スペクトル４００の部分を含むことができる。

【0032】

ここで図５を参照すると、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から生成された合成画像のための処理及び表示を容易にするように構成されるデジタルカメラを有するモバイルデバイスの例示的なブロック図が示される。簡潔にするために、本明細書において説明されるシステム及び／又は装置のそれぞれの実施形態において用いられる同様の要素は繰り返し説明しない。

【0033】

モバイルデバイス５００は、通信コンポーネント５０２、表示コンポーネント５０４、メッセージングコンポーネント５０６、デジタルカメラ１０２、カレンダーコンポーネント５０８、ソーシャルメディアコンポーネント５１０、メモリ５１２、プロセッサ５１４及び／又はデータ記憶装置５１６を含むことができる。種々の実施形態において、通信コンポーネント５０２、表示コンポーネント５０４、メッセージングコンポーネント５０６、デジタルカメラ１０２、カレンダーコンポーネント５０８、ソーシャルメディアコンポーネント５１０、メモリ５１２、プロセッサ５１４及び／又はデータ記憶装置５１６は、モバイルデバイス５００の１つ又は複数の機能を実行するために互いに電気的に、及び／又は通信可能に結合することができる。

【0034】

モバイルデバイス５００は、ＮＮＶ光情報及び可視光情報から構成される合成光にアクセスし、そのような合成光を処理し、及び／又は表示するように構成される任意のモバイルデバイスとすることができる。例えば、種々の実施形態において、モバイルデバイス５００は、限定はしないが、セルラー電話、カメラ機能を備えたラップトップ、スマートフォン等を含むことができる。

【0035】

通信コンポーネント５０２は、モバイルデバイス５００との間で情報を送信及び／又は受信することができる。例えば、種々の実施形態において、通信コンポーネント５０２は、モバイルデバイス５００において、光情報を送信及び／又は受信することができる。その場合に、通信コンポーネント５０２は、種々の実施形態において、送信機及び／又は受信機を含むことができる。光情報は、種々の実施形態において、可視光情報及び／又はＮＮＶ光情報とすることができる。光情報は、通信コンポーネント５０２によって、ワイヤレスチャネル又は有線チャネルを介して、送信することができ、受信することができ、及び／又は別の方法でアクセスすることができる。例えば、可視光情報又はＮＮＶ光情報は、モバイルデバイスから遠隔したデータ記憶装置に記憶することができ、通信コンポーネント５０２が通信可能に結合されるチャネルを介してアクセスすることができる。種々の実施形態において、通信コンポーネント５０２は、限定はしないが、音声、ビデオ、文字列、データ等を含む、複数の異なるタイプの情報のいずれかを送信及び／又は受信することもできる。

【0036】

表示コンポーネント５０４は、シーンの電子画像表現を出力するように構成される表示装置とすることができるか、又はそのような表示装置を含むことができる。シーンは、種々の実施形態において、可視光情報及び／又はＮＮＶ光情報を含むことができる。

【0037】

表示コンポーネント５０４は、幾つかの実施形態では、単色カラースキームにおいて、他の実施形態では、多色カラースキームにおいて、及び／又は他の実施形態では、単色カラースキームと、可視スペクトル内の波長を有する１つ又は複数の他の色との組み合わせにおいて、電子画像表現を出力することができる。表示コンポーネント５０４がシーンを出力する態様は、モバイルデバイス５００が構成される態様によって決めることができ、経時的に変化することができる。例えば、一実施形態では、表示コンポーネント５０４は、ＮＮＶ光情報から構成される電子画像表現の部分を赤色で、可視光情報から構成される電子画像表現の部分をグレースケールで出力するように構成することができる。したがって、電子画像表現の視認者が、ＮＮＶ光情報を容易に見ることができる。

【0038】

幾つかの実施形態では、表示コンポーネント５０４は、液晶表示装置（ＬＣＤ）及び／又は機能とすることができるか、又はそれを含むことができる。ＬＣＤ技術は、薄膜トランジスタ又はインプレーンスイッチング回路及び／又は機能とすることができるか、又はそれを含むことができる。幾つかの実施形態では、表示コンポーネント５０４は、有機発光ダイオード又はアクティブマトリックス有機発光ダイオード回路及び／又は機能とすることができるか、又はそれを含むことができる。一実施形態では、表示コンポーネント５０４は、画像を表示することができる任意のタイプの表示装置とすることができる。

【0039】

メッセージングコンポーネント５０６は、限定はしないが、電子メール、通話、ボイスメール、テキストメッセージ等を含む、１つ又は複数の異なるタイプのメッセージングを開始するか、又は容易にするように構成される構造、ハードウェア、ソフトウェア及び／又は機能を含むことができる。カンレンダーコンポーネント５１０は、カレンダー通知を提供する、カレンダーエントリを記憶する等のように構成される構造、ハードウェア、ソフトウェア及び／又は機能を含むことができる。ソーシャルメディアコンポーネント５１２は、限定はしないが、ソーシャルメディアポスト、ブログ等を示す情報の受信又は送信を含む、モバイルデバイス５００とソーシャルメディアとの１つ又は複数の異なるタイプのやりとりを開始するか、又は容易にするように構成される構造、ハードウェア、ソフトウェア及び／又は機能を含むことができる。

【0040】

メモリ５１２は、モバイルデバイス５００（又はモバイルデバイス５００の任意のコンポーネント）を参照しながら本明細書において説明される機能を実行するためのコンピュータ実行可能命令及び／又は情報を記憶するコンピュータ可読記憶媒体とすることができる。例えば、メモリ５１２は、モバイルデバイス５００によって実行される表示、処理又は他のタイプの機能を実行するために、プロセッサ５１４によって実行することができるコンピュータ実行可能命令を記憶することができる。プロセッサ５１４は、モバイルデバイス５００（又は、デジタルカメラ１０２を含む、その任意のコンポーネント）を参照しながら本明細書において説明される機能のうちの１つ又は複数を実行することができる。例えば、プロセッサ５１４は、可視光情報及び／又はＮＮＶ光情報から視覚画像表現を生成する画像処理機能、異なる視覚画像表現を合成して、単一の合成画像にする画像処理機能、ＮＮＶ光情報に対比して可視光情報に関連付けられる合成画像の部分に色を付ける画像処理機能、及び／又は種々の異なるタイプの画像処理機能（例えば、解像度、定位、ピクチャサイズ、絞り、シャッター速度及び／又は焦点調整）を実行することができる。

【0041】

データ記憶装置５１６は、図７を参照しながら更に詳細に説明することができる。図７に示されるように、データ記憶装置５１６は、デジタルカメラ１０２及び／又はモバイルデバイス５００によってアクセスされ、受信され、及び／又は処理される情報を記憶するように構成することができる。例えば、データ記憶装置５１６は、可視光情報７０２、ＮＮＶ光情報７０４、色情報７０６、可視光モード画像７０８、合成光モード画像７１０、可視光画像表現情報７１２、ＮＮＶ光画像表現情報７１４を記憶することができる。幾つかの実施形態では、可視光モード画像７０８は、可視光情報に基づいて生成された画像を示す情報とすることができ、合成光モード画像７１０は、合成された可視光情報及びＮＮＶ光情報に基づいて生成される画像を示す情報とすることができる。

【0042】

デジタルカメラ１０２は、図１、図２及び図３を参照しながら説明されたようなデジタルカメラ１０２の構造、ハードウェア、ソフトウェア及び／又は機能とすることができるか、又はそれを含むことができる。デジタルカメラ１０２は、図６、図８、図９及び図１０を参照しながら更に説明することができる。

【0043】

最初に図６及び図８を参照すると、図６には、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から生成された合成画像の処理及び表示を容易にするように構成されるデジタルカメラの例示的なブロック図が示される。図８は、本明細書において説明される実施形態による、可視光モード及び合成光モードにおいて動作するようにデジタルカメラを構成するための設定を表示するデジタルカメラ表示領域の例示的なブロック図を示す。簡潔にするために、本明細書において説明されるシステム及び／又は装置のそれぞれの実施形態において用いられる同様の要素は繰り返し説明しない。

【0044】

図６に示されるように、デジタルカメラ１０２は、通信コンポーネント６００、コンフィギュレーションコンポーネント６０２、可視及びＮＮＶ光処理（ＶＮＰ）コンポーネント６０４、表示コンポーネント６０６、メモリ５１２、プロセッサ５１４、及び／又はデータ記憶装置５１６を含むことができる。種々の実施形態において、通信コンポーネント６００、コンフィギュレーションコンポーネント６０２、ＶＮＰコンポーネント６０４、表示コンポーネント６０６、メモリ５１２、プロセッサ５１４、及び／又はデータ記憶装置５１６のうちの１つ又は複数は、デジタルカメラ１０２の１つ又は複数の機能を実行するために互いに電気的に、及び／又は通信可能に結合することができる。

【0045】

図６の実施形態は表示コンポーネント６０６を示し、モバイルデバイス５００はデジタルカメラ１０２を含むモバイルデバイス５００を示すが、幾つかの実施形態では、デジタルカメラ１０２は、表示コンポーネント１０６とは別の表示コンポーネント６０６を有することができる（又は幾つかの実施形態では、デジタルカメラ１０２は、表示コンポーネント６０６を含まず、表示コンポーネント６０６の代わりに表示コンポーネント１０６に通信可能に結合することができる）。同様に、図６の実施形態は通信コンポーネント６００を示すが、幾つかの実施形態では、デジタルカメラ１０２は、モバイルデバイス５００とは別の通信コンポーネント６００を有することができる（又は幾つかの実施形態では、デジタルカメラ１０２は、通信コンポーネント５０２とは別の異なる通信コンポーネント（例えば、通信コンポーネント６００）を含むことができる）。

【0046】

通信コンポーネント６００は、種々の実施形態において、可視光情報及び／又はＮＮＶ光情報を送信し、及び／又は受信し、及び／又はその情報にアクセスするように構成される構造、ハードウェア、ソフトウェア及び／又は機能を含むことができる。その情報は、デジタルカメラ１０２が通信可能に結合することができるワイヤレスチャネル又は有線チャネルを介して、送信し、受信し、及び／又はアクセスすることができる。

【0047】

図６及び図８を参照すると、コンフィギュレーションコンポーネント６０２は、デジタルカメラ１０２の動作を制御するための種々の設定を構成する構造、ハードウェア、ソフトウェア及び／又は機能を含む。図８に示されるように、コンフィギュレーションコンポーネント６０２がアクセス又は起動されるときの表示コンポーネント６０６の例示的なスクリーンショットは、デジタルカメラ１０２の以下の種々のタイプの設定：ピクチャモード８０２、フォーカスタイプ８０４（例えば、オートフォーカス、マニュアルフォーカス）、ピクチャ定位８０６（例えば、風景、ポートレート、パノラマ）、光処理８０８（例えば、可視光処理、ＮＮＶ光処理、合成可視及びＮＮＶ光処理）、シャッター速度８１０及び／又は解像度８１２を制御するための情報を含むことができる。

【0048】

図示されるように、幾つかの実施形態では、光処理６０８を選択することができ、デジタルカメラ１０２の少なくとも２つの動作モード：可視光モード８１４及び合成光モード８１６を表示することができる。幾つかの実施形態では、可視光モード８１４において、デジタルカメラ１０２は、可視光情報及びＮＮＶ光情報を処理するが、可視光情報のみから生成された画像を表示するように構成することができる。他の実施形態では、可視光モード８１４において、デジタルカメラ１０２は、可視光情報を処理し、可視光情報のみから生成された画像を表示するように構成することができる。

【0049】

幾つかの実施形態では、合成光モード８１６において、デジタルカメラ１０２は、可視光情報及びＮＮＶ光情報を処理し、可視光情報及びＮＮＶ光情報の両方から生成された画像を表示するように構成することができる。

【0050】

図示されないが、幾つかの実施形態では、コンフィギュレーションコンポーネント６０２は、第３のモード：ＮＮＶ光モードにおいてデジタルカメラ１０２を構成することができる。幾つかの実施形態では、ＮＮＶ光モードにおいて、デジタルカメラ１０２は、可視光情報及びＮＮＶ光情報を処理するが、ＮＮＶ光情報のみから生成された画像を表示するように構成することができる。他の実施形態では、ＮＮＶ光モードでは、デジタルカメラ１０２は、ＮＮＶ光情報を処理し、ＮＮＶ光情報のみから生成された画像を表示するように構成することができる。

【0051】

ＶＮＰコンポーネント６０４は図９及び図１０を参照しながら更に詳細に説明することができる。図示されるように、図９は、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から生成された合成画像のための処理及び表示を容易にするように構成されるデジタルカメラのＶＮＰコンポーネントの例示的なブロック図を示す。

【0052】

ＶＮＰコンポーネント６０４は、入出力（Ｉ／Ｏ）コンポーネント９００、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ９０２、ＮＮＶ光イメージセンサ９０４、信号処理コンポーネント９０６、メモリ５１２、プロセッサ５１４、及び／又はデータ記憶装置５１６を含むことができる。種々の実施形態において、入出力（Ｉ／Ｏ）コンポーネント９００、ＣＭＯＳイメージセンサ９０２、ＮＮＶ光イメージセンサ９０４、信号処理コンポーネント９０６、メモリ５１２、プロセッサ５１４、及び／又はデータ記憶装置５１６のうちの１つ又は複数は、ＶＮＰコンポーネント６０４の１つ又は複数の機能を実行するために、互いに電気的に、及び／又は通信可能に結合することができる。簡潔にするために、本明細書において説明されるシステム及び／又は装置のそれぞれの実施形態において用いられる同様の要素は繰り返し説明しない。

【0053】

種々の実施形態において、ＶＮＰコンポーネント６０４は、可視光情報及びＮＮＶ光情報から構成される合成光情報を処理すること、及びその表示を容易にすることを含む、可視光情報及び／又はＮＮＶ光情報を処理し、その表示を容易にする数多くの異なるタイプの機能を実行することができる。

【0054】

Ｉ／Ｏコンポーネント９００は、デジタルカメラ１０２によって取り込まれ、及び／又はデジタルカメラ１０２によって呼び出された光情報を受信し、及び／又はそのような光情報にアクセスすることができる。Ｉ／Ｏコンポーネント９００は、表示コンポーネント１０６又は表示コンポーネント６０６によって表示することができる可視光情報、ＮＮＶ光情報及び／又は合成光情報の電子画像表現を出力することもできる。Ｉ／Ｏコンポーネント９００は、種々の実施形態において、ＶＮＰコンポーネント４０４、表示コンポーネント１０６及び／又は表示コンポーネント６０６によって使用されるための情報入力及び／又は出力をフォーマットすることができる。例えば、情報は、コンフィギュレーション設定に従って、及び／又は任意の数の異なる画像処理及び／又は表示標準規格に準拠するようにフォーマット設定することができる。

【0055】

ＣＭＯＳイメージセンサ９０２は、ＶＮＰコンポーネント６０４によって受信された可視光情報を電子に変換し、ＣＭＯＳイメージセンサ９０２の１つ又は複数のセルの蓄積された電荷を求めることができる。ＣＭＯＳイメージセンサ９０２は、可視光情報から構成される電子画像表現内の異なる位置に対応する異なる場所において電荷をピクセル値に変換することができる。幾つかの実施形態では、デジタルカメラ１０２は、可視光情報からの電子画像表現のための求められたピクセル値を、単色カラースキーム又はグレースケールカラースキームを示すピクセル値にマッピングするように構成することができる。他の実施形態では、電子画像表現は、蓄積された電荷から求められたピクセル値を示す色を含むことができる。

【0056】

図９には、１つのＣＭＯＳイメージセンサ９０２及び１つのＮＮＶ光イメージセンサ９０４が示されているが、種々の実施形態において、ＶＮＰコンポーネント６０４内に数多くのＣＭＯＳイメージセンサ及び／又は数多くのＮＮＶ光イメージセンサを含むことができ、本明細書においてそのような実施形態も想定される。さらに、幾つかの実施形態では、ＣＭＯＳイメージセンサ９０２の代わりに、又はそれに加えて、ＶＮＰコンポーネント６０４は、可視スペクトル内の光を処理するように構成される１つ又は複数の電荷結合デバイス（ＣＣＤ）イメージセンサを含むことができる。

【0057】

ＮＮＶ光イメージセンサ９０４は、ＮＮＶスペクトル内の電磁放射を検出するように構成される１つ又は複数の構造及び／又は材料を含むことができる。幾つかの実施形態では、ＮＮＶ光イメージセンサ９０４は、近赤外光（又は赤外光）を検出することができるＣＣＤイメージセンサとすることができるか、又はそれを含むことができる。

【0058】

幾つかの実施形態では、ＮＮＶ光イメージセンサ９０４は、ＮＮＶスペクトル４０２及び／又はＮＮＶスペクトル４０４内の電磁放射を検出することができる任意のデジタルイメージセンサとすることができる。幾つかの実施形態では、ＮＮＶ光イメージセンサ９０４は、従来のデジタルカメラに含まれる従来のデジタルイメージセンサである。

【0059】

幾つかの実施形態では、ＶＮＰコンポーネント９０４内の１つ又は複数のセンサは、ＮＮＶスペクトル内の近赤外光を検出することができるＩｎＧａＡｓ（又は他の材料）から構成される１つ又は複数のフォトダイオードを含むことができる。図１０は、本明細書において説明される実施形態による、ＮＮＶスペクトル内の近赤外光及び赤外光に関する、シリコン、ＩｎＧａＡｓ、可視ＩｎＧａＡｓ及びナイトビジョンチューブの場合の量子効率対波長のグラフを示す。そのグラフは、電磁スペクトルの可視領域、短波赤外（ＳＷＩＲ）領域、中波赤外（ＭＷＩＲ）領域及び長波赤外（ＬＷＩＲ）領域を示す。その場合に、シリコンは、可視光を検出するのに最も高い量子効率を有する。対照的に、可視ＩｎＧａＡｓは１．０６ミクロンレーザー生成ＳＷＩＲを検出するのに最も高い量子効率を有し、そのような効率は約０．７ミクロンにおいて生じる。ＩｎＧａＡｓは、１．５５ミクロンアイセーフレーザー生成ＳＷＩＲを検出するのに最も高い量子効率を有し、そのような効率は、約１．７ミクロンにおいて生じる。

【0060】

図９は、ＣＭＯＳイメージセンサ９０２及びＮＮＶ光イメージセンサ９０４を異なるコンポーネントとして示すが、幾つかの実施形態では、ＣＭＯＳイメージセンサ９０２及びＮＮＶ光イメージセンサ９０４は、単一の構成とすることができる。例えば、単一のセンサ（例えば、ＣＣＤイメージセンサ）を、ＣＭＯＳイメージセンサ９０２及びＮＮＶ光イメージセンサ９０４の代わりに用いることができる。幾つかの実施形態では、例えば、ＣＣＤイメージセンサは、約３５０ｎｍ〜約７００ｎｍの光を検出することができる。

【0061】

信号処理コンポーネント９０６は、デジタルカメラ１０２によって受信され、及び／又はアクセスされる可視光情報及び／又はＮＮＶ光情報に関して任意の数の異なるタイプの処理を実行する構造、ハードウェア、ソフトウェア及び／又は機能を含むことができる。一実施形態では、信号処理コンポーネント９０６は、本明細書において説明される機能のうちの１つ又は複数を実行するソフトウェアとすることができる。

【0062】

幾つかの実施形態では、信号処理コンポーネント９０６は、ＶＮＰ６０４の１つ又は複数のセンサによって検出された光情報を受信し、可視光情報、ＮＮＶ光情報、及び／又は可視光情報及びＮＮＶ光情報から構成される合成画像のカラー表現を生成することができる。

【0063】

例えば、信号処理コンポーネント９０６は、可視光情報に第１のカラースキームを適用することができ、ＮＮＶ光情報に第２のカラースキームを適用することができる。一実施形態では、可視光情報は、単色カラースキーム又はグレースケールカラースキームによって表すことができ、ＮＮＶ光情報は、デジタルカメラの表示コンポーネント上でＮＮＶ光情報を視認するのを容易にするために、単色カラースキーム又はグレースケールカラースキームに関連付けられる色とは異なる色によって表すことができる。

【0064】

また、信号処理コンポーネント９０６は、可視光情報及びＮＮＶ光情報の電子画像表現を合成することもできる。例えば、信号処理コンポーネント９０６は、ＮＮＶ光情報をデジタルカメラ１０２によって取り込まれたシーン内の位置に対応する位置に配置することができるように、ＮＮＶ光情報及び可視光情報を互いに重ね合わせるか、又はオーバーレイすることができる。

【0065】

ＶＮＰコンポーネント６０４の１つ又は複数のセンサが合成された可視光情報及びＮＮＶ光情報を出力する幾つかの実施形態では、信号処理コンポーネント９０６は、合成された情報を２回処理することができる。最初に、信号処理コンポーネント９０６は、可視光情報を読み出すのに最適になるように合成情報を処理することができる。その後、信号処理コンポーネント９０６は、ＮＮＶ光情報を読み出すのに最適になるように合成情報を処理することができる。ＮＮＶ光情報の読出しに関して、信号処理コンポーネント９０６は、合成情報を処理して、ＮＮＶスペクトル光に対応する場所において周波数スパイクを識別することができる。したがって、種々の実施形態において、検知された可視光及び検知されたＮＮＶ光を信号処理コンポーネント９０６によって処理して、可視光情報及びＮＮＶ光情報を表示することができる。

【0066】

種々の実施形態において、信号処理コンポーネント９０６は、画像処理に通常関連付けられるマッピング、ガンマ補正、ピクセル補正、雑音抑制、補間及び任意の数の他の機能を実行することができる。

【0067】

図１１は、本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。図１２は、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。デジタルカメラ１０２は、デジタルカメラ１０２に対して可視光モード８１４が選択されるときに、可視光情報１０８を表示するように構成される表示領域１０６を含むことができる。デジタルカメラ１０２は、合成光モード８１６が選択されるときに、可視光情報１０８及びＮＮＶ光情報１１０を処理し、表示するように構成される表示領域１０６を含むことができる。図示されるように、ランプシェードについての情報を詳述するために、ランプシェードに関する更なる情報を与えることができる。

【0068】

同様に、図示されないが、幾つかの実施形態では、ＮＮＶ光を反射するナノ材料を介して壁又は他の表面上に概略図を設けることができる。概略図は、種々の実施形態において、デジタルカメラ１０２を用いて表示することができ、住宅及び商業ビルの壁において種々の電気回路の場所を求めるのに役に立つ可能性がある。

【0069】

図１３は、本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。図１４は、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を処理し、表示することから生成される画像を表示する例示的なデジタルカメラ表示領域を示す。デジタルカメラ１０２は、デジタルカメラ１０２に対して可視光モード８１４が選択されるときに、可視光画像表現１０８を表示するように構成される表示領域１０６を含むことができる。デジタルカメラ１０２は、合成光モード８１６が選択されるときに、可視光情報１０８及びＮＮＶ光情報１１０を処理し、表示するように構成される表示領域１０６を含むことができる。

【0070】

図５を参照しながら説明されたモバイルデバイス５００の意味において、従来のモバイルデバイスとは見なされないが、種々の実施形態において、車両（例えば、自律車両、従来の非自律車両）を、本明細書において説明される１つ又は複数の実施形態による、合成光の処理及び表示のための機能及び／又は構造を有するモバイルデバイスと見なすことができる。

【0071】

図１５は、本明細書において説明される実施形態による、可視光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す。図１６は、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を処理し、表示することから生成される画像を表示する例示的な自動車ダッシュボード表示領域を示す。

【0072】

幾つかの実施形態では、自動車ダッシュボードは、道路に関するＮＮＶ情報、又は道路に関連付けられる標識を読み出すように構成される車両の一部である。その車両は、幾つかの実施形態では、Ｍ２Ｍセンサから情報を入手するように構成することができる。車両によって読み出されたＮＮＶ光情報１１０は、幾つかの実施形態において、表示領域１０６上に表示することができる。したがって、車両が種々の道路状態に達する前に、その道路状態を運転者に伝達することができる。図示される実施形態では、道路の更に先の方にある道路障害物を指摘するＮＮＶ光情報１１０が、表示領域１０６上に表示される。

【0073】

表示装置１５００は、可視光画像モードにおいて可視光情報１０８を表示するように構成される表示領域１０６を含むことができる。表示装置１５００は、合成光画像モードにおいて可視光情報１０８及びＮＮＶ光情報１１０を含む合成光情報を表示するように構成される表示領域１０６を含む。

【0074】

したがって、自律車両の分野では、車両上のデジタルカメラが、道路に関する可視光情報及び／又はＮＮＶ光情報、又は標識若しくは車両外の任意の他の場所を視認することができる。例えば、特殊な路面表示が、特定の自律車両に命令を与えることができ、及び／又はデジタルカメラ内のスマートセンサが、車両の外部から取り込まれた情報に基づいて車両の進行方向を変更することができる。他の実施形態では、構造化されたグラフィックス噴霧器（graphics sprayer）を備えるトラックがナノ材料を噴霧することができ、ナノ材料は広告又は他の情報を一時的に与えることができ、噴霧器内で利用されるナノ材料のタイプに基づいて、１つ又は複数の異なる時間長にわたって分解消失（degrade）することができる。

【0075】

図１７は、本明細書において説明される実施形態による、合成可視及びＮＮＶ光を処理し、表示するように構成されるデジタルカメラと、ＮＮＶスペクトルにおいて放射する物体とを含むシステムの例示的なブロック図を示す。図１８は、本明細書において説明される実施形態による、図１７の物体から取り込まれた可視光及びＮＮＶ光から構成される合成画像を表示するデジタルカメラ表示領域の例示的なブロック図を示す。

【0076】

システム１７００は、光１０４を放射するように構成されるデジタルカメラ１０２と、テレビ１７０２とを含む。テレビ１７０２は、可視光情報及びＮＮＶ光情報を並行して表示するように構成される表示領域１０６を含む。例えば、一実施形態では、テレビ１７０２内の発光ダイオード（ＬＥＤ）がＮＮＶ光を放射することができ、テレビ１７０２が、可視光（例えば、人の肉眼で視認可能な番組）も放射することができる。

【0077】

表示領域１０６は、可視光情報１０８及びＮＮＶ光情報１１０を含む合成画像を表示することができる。図示されるように、合成光モード８１６が選択され、それゆえ、デジタルカメラ１０２は、合成可視及びＮＮＶ光を処理し、表示する。図１８に示されるように、表示装置１０６上で、ＮＮＶ及び可視画像表現情報が提供される。一方、図１７において、ＮＮＶ情報は人の目には見えず、デジタルカメラ１０２の処理及び表示を介してのみ見ることができる。

【0078】

したがって、この例は、異なる人が２つの異なる番組を並行して視聴できるようにする能力を示す。異なるタイプの情報の層をＬＣＤ及び／又はプラズマテレビに表示することができ、異なる内容を有する複数の異なる放送番組を視聴できるようになる。

【0079】

ＮＮＶ画像表現において表される番組は、デジタルカメラ１０２のデバイス１０６を通して視聴することができ、一方、可視画像表現番組は、人の肉眼で視聴することができる。図示されるように、１つの番組は滝を表示し、他の番組は、文字による質問及び対応する正解を示すトリビアショーである。別の例は、可視光情報としてのスポーツ番組と、ＮＮＶ光情報としての統計データとを並行して表示する。システム１７００において、任意の数の異なるタイプの番組を並行して視聴することができる。

【0080】

したがって、デジタルカメラ１０２がテレビ１７０２に向けられる場合には、テレビ１７０２内の発光体からのＮＮＶ光をデジタルカメラ１０２が取り込み、表示領域１０６上に表示することができる。一例では、可視光情報１０８及びＮＮＶ光情報１１０の両方を表示領域１０６上に表示することができる。したがって、デジタルカメラ１０２によって、可視光及びＮＮＶ光を有する並行して表示される番組を視聴可能にすることができる。２つの異なるテレビ番組を、テレビ１７０２の単一の画面上で並行して視聴することができる。

【0081】

図１９は、単一の合成画像（例えば、単一のピクチャ１９０２）と、可視光情報及びＮＮＶ光情報を含む合成画像と、可視光情報を含む画像とをピクチャインピクチャ（例えば、ピクチャインピクチャ１９０４）として並行して表示するようにデジタルカメラを構成するか、又はＮＮＶ検出警告（例えば、ＮＮＶ検出警告１９０６）を提供するようにデジタルカメラを構成するための設定を示すデジタルカメラ表示領域の例示的なブロック図を示す。図２０は、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を含む合成画像と、可視光情報を含む画像とをピクチャインピクチャとして並行して表示するデジタルカメラ表示領域の例示的なブロック図を示す。

【0082】

図１９に示されるように、図６のコンフィギュレーションコンポーネント６０２がアクセスされるか、又は起動されるときの表示コンポーネント（例えば、表示コンポーネント６０６）の例示的なスクリーンショットは、デジタルカメラ１０２の表示モードのための以下の異なるタイプの設定：シングルピクチャ１９０２、ピクチャインピクチャ１９０４及びＮＮＶ検出警告１９０６を制御するための情報を含むことができる。シングルピクチャ１９０２の表示のための設定は、デジタルカメラ１０２に、図１２、図１４又は図１６に示されるような、可視光及びＮＮＶ光を処理することからなる合成画像を表示させることができる。

【0083】

ピクチャインピクチャ１９０４の表示のための設定は、デジタルカメラ１０２の表示領域を介して、デジタルカメラ１０２に、可視光情報及びＮＮＶ光情報からの合成画像と、可視光情報のみから構成された画像（「可視光画像」）との並行表示を提供させることができる。図１９及び図２０を参照すると、この実施形態では、合成画像２０００を可視光画像２００２の表示の一部と重ね合わせて表示することができる。例えば、合成画像２０００は、可視光画像２００２の角に挿入することができる。他の実施形態（図示せず）では、可視光画像２００２は、合成画像２０００の一部と重ね合わせて表示することができる。更に別の実施形態では、いずれの画像も重なり合わないように、表示領域の一部が合成画像２０００を表示することができ、表示領域の第２の部分が可視光画像２００２を表示することができる（例えば、表示領域の半分が合成画像２０００を表示し、表示領域の残りの半分が可視光画像２００２を表示する）。説明される実施形態は、ユーザーによって望まれるように、及び／又はデジタルカメラ１０２の設計を介して規定されるように、合成画像２０００及び可視光画像２００２を並行して、又は同時に表示することができる。

【0084】

ピクチャインピクチャ表示は、合成光モード８１６が起動されるときに提供されるように上記の実施形態において説明されるが、他の実施形態では、ピクチャインピクチャ表示能力は、合成光モード８１６が起動される事例には限定される必要はない。例えば、幾つかの実施形態では、ピクチャインピクチャ能力は、デジタルカメラ１０２の電源が入れられるのに基づいて、デジタルカメラ１０２が提供することができる。

【0085】

再び図１９を参照すると、ＮＮＶ検出警告１９０６のための設定は、本明細書において説明される実施形態に従って、デジタルカメラ１０２に、ＮＮＶ光の検出時に可視警告又は可聴警告を提供させることができる。図２１は、本明細書において説明される実施形態による、検出されたＮＮＶ光の警告を提供するように構成されるアイコンを含む、デジタルカメラの例示的なブロック図を示す。

【0086】

図１９及び図２１を参照すると、デジタルカメラ１０２は、デジタルカメラ１０２の検出領域２１０２内で出力されるＮＮＶ光情報１１０を検出することができる。デジタルカメラ１０２は、検出されたＮＮＶ光情報１１０の警告を生成することができる。警告は、種々の異なる実施形態において、可視警告、可聴警告、又は可視警告及び可聴警告の組み合わせとすることができる。

【0087】

幾つかの実施形態では、警告は、ＮＮＶ光情報１１０が検出領域２１０２内で検出されるときに、アイコン２１０４を点灯させること、又はアイコン２１０４の見え方を変更することを含むことができる。例えば、デジタルカメラ１０２の検出領域２１０２内でＮＮＶ光情報１１０が検出されないとき、アイコン２１０４は非点灯状態若しくは静止状態にすることができるか、又は第１の画像（例えば、アイコン画像１）を有することができる。ＮＮＶ光情報１１０の検出に応答して、アイコン２１０４は、点灯状態になることができるか（図２１に示される）、動きを示すことができるか、又は第２の画像（例えば、アイコン画像２）を有することができる。画像変化の一例として、アイコン画像１は第１の言葉（「可視のみ」）とすることができ、アイコン画像２は第２の言葉（例えば、「合成」）とすることができる。別の例として、アイコン画像１は木とすることができ、アイコン画像２は森とすることができる。任意の数の異なるアイコンを利用することができ、幾つかの実施形態では、ユーザー選択とすることができる。

【0088】

種々の他の実施形態において、警告は、ＮＮＶ光情報が検出領域２１０２内で検出されるときに、音を出すために起動することができる可聴警告とすることができる。例えば、ＮＮＶ光情報１１０がデジタルカメラ１０２の検出領域２１０２内で検出されないとき、デジタルカメラ１０２は無音とすることができる。検出領域２１０２内でＮＮＶ光情報１１０を検出するのに応答して、デジタルカメラ１０２は、音（例えば、ビープ音、ベル音、着信音）を出すことができる。

【0089】

図２１を参照しながら説明された実施形態は、ＮＮＶ光情報の検出を含むが、種々の実施形態において、合成可視光情報及びＮＮＶ光情報の検出を実行することもできる。

【0090】

幾つかの実施形態では、デジタルカメラ１０２は、デジタルカメラ１０２の検出領域２１０１内でＮＮＶ光情報１１０の存在に関する常時の、又は少なくとも断続的な監視を実行するために、バックグラウンドプロセスとして実行するように構成されるソフトウェアを含むことができる。

【0091】

図２２は、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報を含む合成画像を検出し、処理し、及び／又は表示するように構成されるデジタルカメラを含むシステムの例示的なブロック図を示す。システム２２００は、検出領域２１０２及び２２０２をそれぞれ有するデジタルカメラ１０２、１０４と、デジタルカメラ１０２、１０４に通信可能に結合されるネットワーク２２０４とを含むことができる。種々の実施形態において、ネットワーク２２０４は１つ又は複数のチャネルを含むことができ、チャネルを介して、デジタルカメラ１０２、１０４は互いに通信することができる。幾つかの実施形態では、デジタルカメラ１０２、１０４は、デジタルカメラ１０２、１０４が地理的に極めて近接した後にデジタルカメラ１０２、１０４間に確立される近距離通信（near field communication）チャネル２２０６を介して互いに通信することができ、近距離通信プロトコルに従って発見を実行することができる。したがって、幾つかの実施形態では、デジタルカメラ１０２、１０４は、近距離通信チャネルを介して互いに通信することができ、幾つかの実施形態では、デジタルカメラ１０２、１０４は、限定はしないが、Ｗｉ−Ｆｉネットワーク、ＷＬＡＮネットワーク等に関連付けられるチャネルを含む、ネットワーク２２０４の任意の数の他の異なるタイプのチャネルを介して通信することができる。

【0092】

種々の実施形態において、デジタルカメラ１０４は、本明細書において説明又は図示された実施形態及び／又は図のうちのいずれかと参照するデジタルカメラ１０２の構造及び／又は機能のうちのいずれかを含むことができる。例えば、デジタルカメラ１０４は、デジタルカメラ１０２から送信された信号を受信するように説明されるが、他の実施形態では、デジタルカメラ１０２が、デジタルカメラ１０４から送信される信号を受信することができる。デジタルカメラ１０２、１０４は、可視光情報１０８及びＮＮＶ光情報１１０の検出、処理及び／又は表示を容易にするための構造及び／又は機能を有する。また、デジタルカメラ１０２、１０４は、検出される可視光情報１０８及び／又はＮＮＶ光情報１１０の警告を提供する構造及び／又は機能も含むことができる。

【0093】

図示される実施形態では、デジタルカメラ１０２は、デジタルカメラ１０２の検出領域２１０２内でＮＮＶ光情報１１０を検出し、検出後に信号２２０６をデジタルカメラ１０４に送信することができる。デジタルカメラ１０４は検出領域２２０２を有するが、可視光情報１０８及びＮＮＶ光情報１１０を有する物体（図示せず）は検出領域２１０２内に与えられるので、デジタルカメラ１０４は可視光情報１０８及び／又はＮＮＶ光情報１１０を検出しない。

【0094】

種々の実施形態において、信号２２０６は、ＮＮＶ光情報１１０の検出をデジタルカメラ１０４に知らせるメッセージを示す情報を含むことができる。また、信号２２０６は、デジタルカメラ１０２の地理的位置を示す情報、可視光情報１０８及びＮＮＶ光情報１１０の近似的な地理的位置を示す情報、及び／又はデジタルカメラ１０２の検出領域２１０２の地理的境界を示す情報も含むことができる。

【0095】

幾つかの実施形態では、情報は、デジタルカメラ１０４の地理的位置からデジタルカメラ１０２への方向を示す情報も含むことができる。これらの実施形態において、デジタルカメラ１０２及び／又はデジタルカメラ１０４は、限定はしないが、グローバルポジショニングシステム（ＧＰＳ）情報を含む位置情報をやりとりするか、又は求めるように構成されるソフトウェア及び／又はハードウェアを含むことができる。幾つかの実施形態では、デジタルカメラ１０２、１０４は、位置に基づくサービスを提供するデバイス若しくはサービスからの情報にアクセスするか、若しくはその情報を受信するように通信可能に結合することができるか、又はその情報にアクセスするか、若しくはその情報を受信することができる。例えば、位置に基づくサービスを提供するデバイス又はサービスは、ネットワーク２２０４に通信可能に結合することができる。

【0096】

図２３、図２４、図２５、図２６及び図２７は、本明細書において説明される実施形態による、可視光情報及びＮＮＶ光情報から構成される合成画像の検出、処理及び／又は表示を容易にする方法の例示的な流れ図を示す。最初に図２３を参照すると、２３０２において、方法２３００は、プロセッサを備えるデジタルカメラによって、第１の電磁スペクトル範囲に関連付けられる第１の情報及び第２の電磁スペクトル範囲に関連付けられる第２の情報の両方を有する生データにアクセスすることを含むことができる。第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在することができ、第２の電磁スペクトル範囲は実質的にＮＮＶスペクトル内に存在することができる。

【0097】

幾つかの実施形態では、第１の電磁スペクトル範囲は約３９０ｎｍ〜約７００ｎｍの範囲を含むことができる。第２の電磁スペクトル範囲は約３９０ナノメートルより短い波長の範囲を含むことができる。幾つかの実施形態では、第２の電磁スペクトル範囲は、約７００ナノメートルより長い波長の範囲を含むことができる。

【0098】

幾つかの実施形態では、第１の視覚画像表現は単色画像表現とすることができる。幾つかの実施形態では、第２の視覚画像表現は、第１の電磁スペクトル範囲の波長に対応する色とすることができる。例えば、第２の視覚画像表現は、赤色、青色、紫色、緑色又はオレンジ色（又はその組み合わせ）とすることができる。

【0099】

２３０４において、方法２３００は、デジタルカメラによって、可視スペクトルのための生データを最適化し、それにより、第１の視覚画像表現を生成することを含むことができる。２３０６において、方法２３００は、デジタルカメラによって、ＮＮＶスペクトルのための生データを最適化し、それにより、第２の視覚画像表現を生成することを含むことができる。例えば、ＮＮＶスペクトルのための生データを最適化することは、デジタルカメラのモード選択の検出に応答して実行することができる。モードは合成画像の表示に関連付けることができる。

【0100】

２３０８において、方法２３００は、デジタルカメラによって、第１の視覚画像表現及び第２の視覚画像表現を合成し、合成画像を生成することを含むことができる。例えば、幾つかの実施形態では、単色画像を第１の電磁スペクトル範囲内の波長に対応する色にオーバーレイすることができる。２３１０において、方法２３００は、デジタルカメラによって、合成画像の表示を開始することを含むことができる。

【0101】

ここで、図２４を参照すると、２４０２において、方法２４００は、第１のカラースキームにおいて第１の視覚画像表現を生成することを含むことができる。幾つかの実施形態では、第１の視覚画像表現は可視光情報から得られる。

【0102】

２４０４において、方法２４００は、第１のカラースキームとは異なる第２のカラースキームにおいて第２の視覚画像表現を生成することを含むことができる。例えば、第１のカラースキームは単色カラースキームとすることができ、第２のカラースキームは単色カラースキームとは異なるカラースキームから構成することができる。幾つかの実施形態では、第２のカラースキームは、単色カラースキームが構成される色とは異なる１つ又は複数の色を含むことができる。幾つかの実施形態では、第２の視覚画像表現はＮＮＶ光情報から得られる。

【0103】

２４０６において、方法２４００は、第１の視覚画像表現及び第２の視覚画像表現を合成し、合成画像を生成することを含むことができる。例えば、第１の視覚画像表現及び第２の視覚画像表現を、一方を他方にオーバーレイして、又は交互配置して、合成画像を形成することができる。

【0104】

ここで、図２５を参照すると、２５０２において、方法２５００が、プロセッサを備えるデジタルカメラによって、第１の電磁スペクトル範囲に関連付けられる第１の情報及び第２の電磁スペクトル範囲に関連付けられる第２の情報の両方を有する生データにアクセスすることを含むことができる。第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在することができ、第２の電磁スペクトル範囲は実質的にＮＮＶスペクトル内に存在することができる。

【0105】

幾つかの実施形態では、第１の電磁スペクトル範囲は約３９０ｎｍ〜約７００ｎｍの範囲を含むことができる。第２の電磁スペクトル範囲は約３９０ナノメートルより短い波長の範囲を含むことができる。幾つかの実施形態では、第２の電磁スペクトル範囲は、約７００ナノメートルより長い波長の範囲を含むことができる。

【0106】

幾つかの実施形態では、第１の視覚画像表現は単色画像表現とすることができる。幾つかの実施形態では、第２の視覚画像表現は、第１の電磁スペクトル範囲の波長に対応する色とすることができる。例えば、第２の視覚画像表現は、赤色、青色、紫色、緑色又はオレンジ色（又はその組み合わせ）とすることができる。

【0107】

２５０４において、方法２５００は、デジタルカメラによって、可視スペクトルのための生データを最適化し、それにより、第１の視覚画像表現を生成することを含むことができる。２５０６において、方法２５００は、デジタルカメラによって、ＮＮＶスペクトルのための生データを最適化し、それにより、第２の視覚画像表現を生成することを含むことができる。例えば、ＮＮＶスペクトルのための生データを最適化することは、デジタルカメラのモード選択の検出に応答して実行することができる。モードは合成画像の表示に関連付けることができる。

【0108】

２５０８において、方法２５００は、デジタルカメラによって、第１の視覚画像表現及び第２の視覚画像表現を合成し、合成画像を生成することを含むことができる。例えば、幾つかの実施形態では、単色画像を第１の電磁スペクトル範囲内の波長に対応する色にオーバーレイすることができる。２５１０において、方法２５００は、デジタルカメラによって、合成画像の表示、及び第１の視覚画像表現の表示を開始することを含むことができる。この実施形態では、合成画像は、第１の視覚画像表現の表示の一部を重ね合わせて表示することができる。例えば、合成画像は、第１の視覚画像表現の角に挿入することができる。他の実施形態では、第１の視覚画像表現は、合成画像の一部と重ね合わせて表示することができる。また他の実施形態では、いずれの画像も重なり合わないように、表示領域の一部分が合成画像を表示することができ、表示領域の第２の部分が第１の視覚画像表現を表示することができる（例えば、表示領域の半分が合成画像を表示し、表示領域の残りの半分が第１の視覚画像表現を表示する）。説明される実施形態は、ユーザーによって望まれるように、及び／又はシステム若しくはデバイス若しくはデジタルカメラの設計において規定されるように、合成画像及び第１の視覚画像表現を並行して、又は同時に表示することができる。

【0109】

ここで図２６を参照すると、２６０２において、方法２６００が、プロセッサを備えるデジタルカメラによって、第１の電磁スペクトル範囲に関連付けられる第１の光及び第２の電磁スペクトル範囲に関連付けられる第２の光を検出することを含むことができる。種々の実施形態において、例えば、第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在し、第２の電磁スペクトル範囲は実質的に非可視スペクトル内に存在する。さらに、検出は、デジタルカメラの検出領域内に並行して（又は実施形態によっては、同時に）与えられる第１の光及び第２の光の検出とすることができる。したがって、デジタルカメラは、デジタルカメラを包囲する環境内で第１の光及び第２の光の存在を検出することができる。

【0110】

幾つかの実施形態では、検出は、デジタルカメラにおいて進行中のバックグラウンドプロセスとして実行することができる画像処理ソフトウェアによって実行することができる。その場合、これらの実施形態では、デジタルカメラは、デジタルカメラが合成モードに入れられることを必要とすることなく、第１の光及び第２の光の存在を検出することができる。幾つかの実施形態では、検出のための最低限の処理を実行することができ、第１の光及び第２の光の検出時に、第１の光及び第２の光を取り込み、処理するために、更なる処理を実行することができる。この実施形態では、電池寿命を保つために、及び／又はデジタルカメラの１つ又は複数の他の機能の最適な処理を提供するために、デジタルカメラ内で異なるレベルの処理を提供することができる。

【0111】

２６０４において、方法２６００は、デジタルカメラによって、検出された第１の光及び第２の光の警告を生成することを含むことができる。種々の異なる実施形態において、警告は、可視警告、可聴警告、又は可視及び可聴の組み合わせとすることができる。

【0112】

種々の実施形態において、警告は、並行して与えられるような第１の光及び第２の光が検出されるときに、点灯することができるか、変更された見え方を別の方法で表示することができるアイコンとすることができる。例えば、並行して与えられるような第１の光及び第２の光がデジタルカメラの検出領域内で検出されないとき、アイコンは非点灯状態又は静止状態を有することができる。並行して与えられた第１の光及び第２の光を検出するのに応答して、アイコンは点灯状態になることができか、又は動きを示すことができる。

【0113】

種々の他の実施形態において、警告は、並行して与えられるような第１の光及び第２の光が検出されるときに、音を出すために起動することができる可聴警告とすることができる。例えば、並行して与えられるような第１の光及び第２の光がデジタルカメラの検出領域内で検出されないとき、警告は無音とすることができる。並行して与えられた第１の光及び第２の光が検出されるのに応答して、アイコンは、音（例えば、ビープ音、ベル音、着信音）を出すことができる。

【0114】

ここで、図２７を参照すると、２７０２において、方法２７００が、プロセッサを備える第１のデジタルカメラによって、第２のデジタルカメラの検出領域において並行して与えられる第１の電磁スペクトル範囲に関連付けられる第１の光及び第２の電磁スペクトル範囲に関連付けられる第２の光の検出を示す情報を含む信号を受信することを含むことができる。例えば、第１の電磁スペクトル範囲は実質的に可視スペクトル内に存在することができ、第２の電磁スペクトル範囲は実質的に非可視スペクトル内に存在することができる。

【0115】

幾つかの実施形態では、信号は、第１の光及び第２の光の存在を検出した第２のデジタルカメラから受信することができる。したがって、第１の光及び第２の光は、第２のデジタルカメラの検出領域内で並行して与えることができ、第２のデジタルカメラは、第１の検出カメラに信号を送り、第１の光及び第２の光が検出されたことを第１のデジタルカメラに通知することができる。

【0116】

幾つかの実施形態では、信号は、第２のデジタルカメラの地理的位置を示す情報、検出された第１の光及び第２の光の近似的な地理的位置を示す情報、及び／又は第２のデジタルカメラの検出領域の地理的境界を示す情報を含むことができる。幾つかの実施形態では、情報は、第１のデジタルカメラの地理的位置から第２のデジタルカメラへの方向を示す情報を含むこともできる。これらの実施形態において、第１のデジタルカメラ及び／又は第２のデジタルカメラは、限定はしないが、位置情報をやりとりするか、又は求めるように構成されるソフトウェア及び／又はハードウェアを含むことができる。幾つかの実施形態では、第１及び／又は第２のデジタルカメラは、位置に基づくサービスを提供するデバイス若しくはサービスからの情報にアクセスするか、若しくはその情報を受信するように通信可能に結合することができるか、又はその情報にアクセスするか、若しくはその情報を受信することができる。

【0117】

２７０４において、方法２７００が、第１のデジタルカメラによって、信号を受信することに少なくとも基づいて、第１の光及び第２の光の位置を求めることを含むことができる。例えば、第２のデジタルカメラから受信される情報は、位置情報を含むことができ、第１のデジタルカメラは、第１の光及び第２の光の位置を求めるように構成することができる。他の実施形態では、第１のデジタルカメラは、第２のデジタルカメラの位置、及び／又は第２のデジタルカメラの検出領域を特定するように構成することができる。

【0118】

２７０６において、方法２７００が、第１のデジタルカメラによって、第１の光及び第２の光の位置において光を取り込むことに少なくとも基づいて、第１の光及び第２の光を検出することを含むことができる。例えば、信号を受信すると、ユーザーは、第１の光及び第２の光の位置に近接して第１のデジタルカメラを配置することができ、その後、第１のデジタルカメラは、第１の光及び第２の光の検出を実行することができる。

【0119】

図２８は、本明細書において説明される実施形態による、合成可視及びＮＮＶ光の処理及び表示を容易にするように動作可能なコンピュータのブロック図を示す。例えば、幾つかの実施形態では、コンピュータは、デジタルカメラ１０２及び／又はモバイルデバイス５００とすることができるか、又はそれらに収容することができる。

【0120】

本明細書において説明される種々の実施形態に関して更なる状況を与えるために、図２８及び以下の検討は、本明細書において説明される種々の実施形態を実施することができる適切なコンピューティング環境２８００の簡潔で全般的な説明を提供することを意図している。実施形態が１つ又は複数のコンピュータ上で実行することができるコンピュータ実行可能命令の一般的状況においてこれまで説明されてきたが、それらの実施形態を他のプログラムモジュールと組み合わせて、及び／又はハードウェア及びソフトウェアの組み合わせとして実施することもできることは、当業者は認識されよう。

【0121】

一般的に、プログラムモジュールは、特定のタスクを実行するか、又は特定の抽象データ型を実施するルーチン、プログラム、コンポーネント、データ構造等を含む。さらに、本発明の方法を、それぞれが１つ又は複数の関連するデバイスに動作可能に結合することができる、シングルプロセッサ若しくはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ及びパーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサに基づくか、若しくはプログラム可能な家庭用電化製品等を含む、他のコンピュータシステム構成とともに実施できることは、当業者は理解されよう。

【0122】

「第１の」、「第２の」、「第３の」等の用語は、特許請求の範囲において用いられるときに、文脈によって他に明記される場合を除いて、明確にすることのみを目的としており、他の点では時間に関するいかなる順序も示さず、暗示もしない。例えば、「第１の判断」、「第２の判断」及び「第３の判断」は、第１の判断が第２の判断の前に行われることを示すものでも暗示するものでもなく、その逆も同様である。

【0123】

本明細書における実施形態の例示される実施形態は、或る特定のタスクが通信ネットワークを通してリンクされる遠隔処理デバイスによって実行される分散コンピューティング環境において実施することもできる。分散コンピューティング環境では、プログラムモジュールをローカルメモリ記憶デバイス及びリモートメモリ記憶デバイス内の両方に配置することができる。

【0124】

コンピューティングデバイスは通常、種々の媒体を含み、それらの媒体はコンピュータ可読記憶媒体及び／又は通信媒体を含むことができ、その２つの用語は、以下のように、本明細書において互いに異なるように使用される。コンピュータ可読記憶媒体は、コンピュータによってアクセスすることができる任意の入手可能な記憶媒体とすることができ、揮発性及び不揮発性媒体、リムーバブル及び非リムーバブル媒体の両方を含む。例であって、限定はしないが、コンピュータ可読記憶媒体は、コンピュータ可読命令、プログラムモジュール、構造化データ又は非構造化データのような情報を記憶するための任意の方法又は技術に関連して実現することができる。有形及び／又は非一時的コンピュータ可読媒体は、限定はしないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ技術、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）若しくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、他の磁気記憶デバイス及び／又は所望の情報を記憶するために用いることができる他の媒体を含むことができる。コンピュータ可読記憶媒体は、媒体によって記憶される情報に関する種々の動作のために、例えば、アクセス要求、問い合わせ又は他のデータ検索プロトコルを介して、１つ又は複数のローカル若しくはリモートコンピューティングデバイスによってアクセスすることができる。

【0125】

この関連で、記憶装置、メモリ又はコンピュータ可読媒体に適用されるような、本明細書における「有形」という用語は、修飾語（modifier）として、それ自体が伝搬するだけの無形の信号を除外するものと理解されるべきであり、それ自体が伝搬するだけの無形の信号でない全ての標準的な記憶装置、メモリ又はコンピュータ可読媒体を網羅することを放棄しない。

【0126】

この関連で、記憶装置、メモリ又はコンピュータ可読媒体に適用されるような、本明細書における「非一時的」という用語は、修飾語として、それ自体が伝搬するだけの一時的信号を除外するものと理解されるべきであり、それ自体が伝搬するだけの一時的信号でない全ての標準的な記憶装置、メモリ又はコンピュータ可読媒体を網羅することを放棄しない。

【0127】

通信媒体は通常、被変調データ信号、例えば、チャネル波又は他の搬送機構のようなデータ信号において、コンピュータ可読命令、データ構造、プログラムモジュール又は他の構造化若しくは非構造化データを具現し、任意の情報送達又は搬送媒体を含む。「被変調データ信号」又は信号という用語は、１つ又は複数の信号内に情報を符号化するように設定又は変更される特性のうちの１つ又は複数を有する信号を指している。例であって、限定はしないが、通信媒体は、有線ネットワーク又は直結される接続のような有線媒体、及び音響、ＲＦ、赤外線及び他のワイヤレス媒体のようなワイヤレス媒体を含む。

【0128】

再び図２８を参照すると、本明細書において説明される実施形態の種々の実施形態を実施するための例示的環境２８００はコンピュータ２８０２を含み、コンピュータ２８０２は、処理ユニット２８０４と、システムメモリ２８０６と、システムバス２８０８とを含む。システムバス２８０８は、限定はしないが、システムメモリ２８０６を含むシステムコンポーネントを処理ユニット２８０４に結合する。処理ユニット２８０４は種々の市販のプロセッサのうちのいずれかとすることができる。処理ユニット２８０４として、デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャーも利用することができる。

【0129】

システムバス２８０８は、種々の市販のバスアーキテクチャーのいずれかを用いて、メモリバス（メモリコントローラーを備えるか、又は備えない）、周辺機器用バス及びローカルバスに更に相互接続することができる幾つかのタイプのバス構造のいずれかとすることができる。システムメモリ２８０６は、ＲＯＭ２８１０及びＲＡＭ２８１２を含む。ＲＯＭ、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、ＥＥＰＲＯＭのような不揮発性メモリ内に基本入出力システム（ＢＩＯＳ）を記憶することができ、ＢＩＯＳは、起動中等に、コンピュータ２８０２内の要素間で情報を転送するのを助ける基本ルーチンを含む。ＲＡＭ２８１２は、データをキャッシュするためのスタティックＲＡＭのような高速ＲＡＭも含むことができる。

【0130】

コンピュータ２８０２は、適切なシャーシ（図示せず）において外部で使用するように構成することもできる内部ハードディスクドライブ（ＨＤＤ）２８１４（例えば、ＥＩＤＥ、ＳＡＴＡ）と、磁気フロッピーディスクドライブ（ＦＤＤ）２８１６（例えば、リムーバブルディスケット２８１８に対する読出し又は書込み用）と、光ディスクドライブ２８２０（例えば、ＣＤ−ＲＯＭディスク２８２２の読出し、又はＤＶＤのような他の大容量光学媒体に対する読出し若しくは書込み用）とを更に含む。ハードディスクドライブ２８１４、磁気ディスクドライブ２８１６及び光ディスクドライブ２８２０はそれぞれ、ハードディスクドライブインターフェース２８２４、磁気ディスクドライブインターフェース２８２６及び光ドライブインターフェース２８２８によって、システムバス２８０８に接続することができる。外部ドライブを実現するためのインターフェース２８２４は、ユニバーサルシリアルバス（ＵＳＢ）及び米国電気技術者協会（ＩＥＥＥ）１３９４インターフェース技術のうちの少なくとも一方又は両方を含む。他の外部ドライブ接続技術も本明細書において説明される実施形態の考慮の範囲内にある。

【0131】

ドライブ及びその関連するコンピュータ可読記憶媒体は、データ、データ構造、コンピュータ実行可能命令等の不揮発性記憶を提供する。コンピュータ２８０２の場合、ドライブ及び記憶媒体は、適切なデジタルフォーマットにおいて任意のデータの記憶に対応する。上記のコンピュータ可読記憶媒体の説明はハードディスクドライブ（ＨＤＤ）、リムーバブル磁気ディスケット、及びＣＤ又はＤＶＤのようなリムーバブル光媒体を参照するが、ジップドライブ、磁気カセット、フラッシュメモリカード、カートリッジ等の、コンピュータによって読出し可能である他のタイプの記憶媒体も例示的な動作環境において使用できること、さらに、任意のそのような記憶媒体が、本明細書において説明される方法を実行するためのコンピュータ実行可能命令を含むことができることは、当業者には理解されたい。

【0132】

ドライブ及びＲＡＭ２８１２内に、オペレーティングシステム２８３０、１つ又は複数のアプリケーションプログラム２８３２、他のプログラムモジュール２８３４及びプログラムデータ２８３６を含む、複数のプログラムモジュールを記憶することができる。オペレーティングシステム、アプリケーション、モジュール及び／又はデータの全て又は一部をＲＡＭ２８１２にキャッシュすることもできる。本明細書において説明されるシステム及び方法は、種々の市販のオペレーティングシステム又はオペレーティングシステムの組み合わせを利用して実施することができる。

【0133】

モバイルデバイスは、１つ又は複数の有線／ワイヤレス入力デバイス、例えば、キーボード２８３８及びマウス２８４０のようなポインティングデバイスを通して、コンピュータ２８０２にコマンド及び情報を入力することができる。他の入力デバイス（図示せず）は、マイクロフォン、赤外線（ＩＲ）遠隔制御、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン等を含むことができる。これらの入力デバイス及び他の入力デバイスは、多くの場合に、システムバス２８０８に結合することができる入力デバイスインターフェース２８４２を通して処理ユニット２８０４に接続されるが、パラレルポート、ＩＥＥＥ１３９４シリアルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）ポート、ＩＲインターフェース等の他のインターフェースによって接続することもできる。

【0134】

モニタ２８４４又は他のタイプの表示デバイスも、ビデオアダプタ２８４６のようなインターフェースを介して、システムバス２８０８に接続することができる。モニタ２８４４に加えて、コンピュータは通常、スピーカー、プリンタ等の他の周辺出力デバイス（図示せず）を含む。

【0135】

コンピュータ２８０２は、リモートコンピュータ（複数の場合もある）２８４８のような１つ又は複数のリモートコンピュータとの有線及び／又はワイヤレス通信を介しての論理接続を用いてネットワーク化された環境において動作することができる。リモートコンピュータ（複数の場合もある）２８４８は、ワークステーション、サーバーコンピュータ、ルーター、パーソナルコンピュータ、ポータブルコンピュータ、マイクロプロセッサ内蔵娯楽機器、ピアデバイス又は他の共通ネットワークノードとすることができ、通常、コンピュータ２８０２に関して説明される要素の多く又は全てを含むが、簡潔にするために、１つのメモリ／記憶デバイス２８５０のみが示される。図示される論理接続は、ローカルエリアネットワーク（ＬＡＮ）２８５２及び／又はより大きなネットワーク、例えば、ワイドエリアネットワーク（ＷＡＮ）２８５４への有線／ワイヤレス接続を含む。そのようなＬＡＮ及びＷＡＮネットワーク化環境はオフィス及び企業では一般的であり、その全てがグローバル通信ネットワーク、例えば、インターネットに接続することができるイントラネットのような、企業規模のコンピュータネットワークを促進する。

【0136】

ＬＡＮネットワーク化環境において用いられるときに、コンピュータ２８０２は、有線及び／又はワイヤレス通信ネットワークインターフェース、及び／又はアダプタ２８５６を通して、ローカルネットワーク２８５２に接続することができる。アダプタ２８５６は、ＬＡＮ２８５２との有線又はワイヤレス通信を容易にすることができ、ＬＡＮは、そこに配置され、無線アダプタ２８５６と通信するためのワイヤレスＡＰも含むことができる。

【0137】

ＷＡＮネットワーク化環境において用いられるときに、コンピュータ２８０２は、モデム２８５８を含むことができるか、ＷＡＮ２８５４上の通信サーバーに接続することができるか、又は例えばインターネットによって、ＷＡＮ２８５８を介して通信を確立するための他の手段を有する。モデム２８５８は、内部又は外部、及び有線又はワイヤレスデバイスとすることができ、入力デバイスインターフェース２８４２を介して、システムバス２８０８に接続することができる。ネットワーク化された環境では、コンピュータ２８０２に関して図示されるプログラムモジュール又はその一部は、リモートメモリ／記憶デバイス２８５０に記憶することができる。図示されるネットワーク接続は例であり、コンピュータ間に通信リンクを確立する他の手段を用いることができることは理解されよう。

【0138】

コンピュータ２８０２は、ワイヤレス通信において動作可能に配置される任意のワイヤレスデバイス又はエンティティ、例えば、プリンタ、スキャナ、デスクトップ及び／又はポータブルコンピュータ、ポータブルデータアシスタント、通信衛星、ワイヤレスで検出可能なタグに関連付けられる機器又は場所（例えば、キオスク、ニューススタンド、化粧室）の任意の部分、及び電話と通信するように動作可能にすることができる。これは、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）及びＢＬＵＥＴＯＯＴＨ（登録商標）ワイヤレス技術を含むことができる。このようにして、通信は、従来のネットワーク、又は単に少なくとも２つのデバイス間のアドホック通信の場合のような規定された構造とすることができる。

【0139】

Ｗｉ−Ｆｉによって、自宅の長椅子から、ホテルの部屋のベッドから、又は仕事中に会議室から、ワイヤレスでインターネットに接続できるようになる。Ｗｉ−Ｆｉは携帯電話において使用されるのに類似のワイヤレス技術であり、それにより、そのようなデバイス、例えば、コンピュータが、フェムトセルデバイスの範囲内の屋内外いずれの場所にもデータを送信及び受信できるようになる。Ｗｉ−Ｆｉネットワークは、安全で、信頼性があり、高速のワイヤレス接続性を提供するために、ＩＥＥＥ８０２．１１（ａ、ｂ、ｇ、ｎ等）と呼ばれる無線技術を使用する。Ｗｉ−Ｆｉネットワークを用いて、コンピュータを互いに、インターネットに、そして有線ネットワーク（ＩＥＥＥ８０２．３又はイーサネットを使用することができる）に接続することができる。Ｗｉ−Ｆｉネットワークは、例えば、無認可の２．４ＧＨｚ及び５ＧＨｚ無線帯域において、１１Ｍｂｐｓ（８０２．１１ａ）又は５４Ｍｂｐｓ（８０２．１１ｂ）のデータ速度で動作するか、又は両方の帯域（デュアルバンド）を含む製品を用いて動作するので、ネットワークは、多くのオフィスにおいて用いられる基本的な１０Ｂａｓｅ Ｔ有線イーサネットネットワークと同様の実効性能（real-world performance）を提供することができる。

【0140】

本明細書において説明される実施形態は、本明細書において説明される１つ又は複数の特徴を自動化するのを容易にするために人工知能（ＡＩ）を利用することができる。複数の実施形態（例えば、既存の通信ネットワークに追加した後に最大の価値／利益を提供する取得セルサイトを自動的に識別することに関連する）は、種々の実施形態を実行するために、ＡＩに基づく種々の方式を利用することができる。さらに、分類器を用いて、取得ネットワークの各セルサイトのランク付け又は優先順位を決定することができる。分類器は、入力属性ベクトルｘ＝（ｘ１，ｘ２，ｘ３，ｘ４，．．．，ｘｎ）を、入力が１つのクラスに属する信頼度にマッピングする関数であり、すなわち、ｆ（ｘ）＝信頼度（クラス）である。そのような分類は、モバイルデバイスが自動的に実施されることを望む動作を予測又は推論するために、（例えば分析の有用性及びコストを計算に入れる）確率的解析及び／又は統計に基づく解析を利用することができる。サポートベクトルマシン（ＳＶＭ：support vector machine）は、利用できる分類器の一例である。ＳＶＭは、取り得る入力の空間内で超曲面を見つけることによって動作し、超曲面は非トリガーイベントからトリガー基準を分離しようとする。直観的には、これは、トレーニングデータに近いが、同一ではないデータをテストするために、分類を正確にする。他の有向及び無向モデル分類手法は、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデルを含み、独立した異なるパターンを提供する確率的分類モデルを利用することができる。本明細書において用いられるときに、分類は、優先順位のモデルを開発するために利用される統計的回帰も包含する。

【0141】

容易に理解されるように、実施形態のうちの１つ又は複数は、暗黙的にトレーニングされる（例えば、モバイルデバイス挙動を観察すること、運用者の好み、履歴情報、外部情報を受信することによる）だけでなく、明確にトレーニングされる（例えば、汎用トレーニングデータによる）分類器を利用することができる。例えば、ＳＶＭは、分類器コンストラクタ及び特徴選択モジュール内の学習又はトレーニング段階を介して構成することができる。したがって、分類器（複数の場合もある）を用いて、限定はしないが、所定の基準に従って、取得セルサイトのうちのどの取得セルサイトが最大数の加入者に利益を与えることになり、及び／又は取得セルサイトのうちのどの取得セルサイトが既存の通信ネットワークカバレッジに最小値を追加することになるか等を判断することを含む、複数の機能を自動的に学習し、実行することができる。

【0142】

本明細書において用いられるときに、「プロセッサ」という用語は、限定はしないが、シングルコアプロセッサ、ソフトウェアマルチスレッド実行能力を有するシングルプロセッサ、マルチコアプロセッサ、ソフトウェアマルチスレッド実行能力を有するマルチコアプロセッサ、ハードウェアマルチスレッド技術を用いるマルチコアプロセッサ、並列プラットフォーム、分散共有メモリを有する並列プラットフォームを含む、実質的に任意のコンピューティング処理ユニット又はデバイスを指すことができる。さらに、プロセッサは、集積回路、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートウェイアレイ（ＦＰＧＡ）、プログラマブルロジックコントローラー（ＰＬＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、ディスクリートゲート若しくはトランジスタロジック、ディスクリートハードウェアコンポーネント、又は本明細書において説明される機能を実行するように設計されたそれらの任意の組み合わせを指すことができる。プロセッサは、モバイルデバイス機器の空間利用を最適化するか、又は性能を向上させるために、限定はしないが、分子又は量子ドットに基づくトランジスタ、スイッチ及びゲートのような、ナノスケールアーキテクチャーを利用することができる。また、プロセッサは、コンピューティング処理ユニットの組み合わせとして実現することもできる。

【0143】

本明細書において用いられるときに、「データ記憶装置」、「データベース」、並びにコンポーネントの動作及び機能に関連する実質的に任意の他の情報記憶コンポーネントのような用語は、「メモリコンポーネント」、又は「メモリ」において具現されるエンティティ、又はメモリを備えるコンポーネントを指している。本明細書において説明される、メモリコンポーネント又はコンピュータ可読記憶媒体は、揮発性メモリ若しくは不揮発性メモリのいずれかとすることができるか、又は揮発性及び不揮発性両方のメモリを含むことができることは理解されよう。

【0144】

本明細書において開示されるメモリは、揮発性メモリ若しくは不揮発性メモリを含むことができるか、又は揮発性及び不揮発性両方のメモリを含むことができる。例示であって、限定はしないが、不揮発性メモリは、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含むことができる。揮発性メモリは、外部キャッシュメモリとしての役割を果たすランダムアクセスメモリ（ＲＡＭ）を含むことができる。例示であって、限定はしないが、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトラムバスＲＡＭ（ＤＲＲＡＭ）のような数多くの形において入手することができる。実施形態のメモリ（例えば、データ記憶装置、データベース）は、限定はしないが、これらのタイプ及び任意の他の適切なタイプのメモリを含むことを意図している。

【0145】

これまでに説明されてきたことは、種々の実施形態の単なる例を含む。当然、これらの例を説明するために、コンポーネント又は方法の考えられるありとあらゆる組み合わせを説明することはできないが、当業者は、本実施形態の数多くの更なる組み合わせ及び置換が可能であることを認識することができる。したがって、本明細書において開示され、及び／又は特許請求される実施形態は、添付の特許請求の範囲の趣旨及び範囲に入る全てのそのような改変、変更及び変形を含むことを意図している。さらに、「含む（include）」という用語が詳細な説明又は特許請求の範囲のいずれかにおいて使用される限りにおいて、そのような用語は、「備える、含む（comprising）」という用語が特許請求の範囲において移行語（transitional word）として利用されるときに解釈されるのと同様に、包括的であることを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】