▶ エムピー・ハイ・テック・ソリューションズ・ピーティワイ・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-14
(54)【発明の名称】ハイブリッドカメラ
(51)【国際特許分類】
H04N 5/232 20060101AFI20220907BHJP
H04N 5/225 20060101ALI20220907BHJP
【ＦＩ】
H04N5/232 300
H04N5/225 300
H04N5/225 800
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022500917
(86)(22)【出願日】2020-07-07
(85)【翻訳文提出日】2022-01-07
(86)【国際出願番号】 US2020041059
(87)【国際公開番号】W WO2021007242
(87)【国際公開日】2021-01-14
(31)【優先権主張番号】62/871,660
(32)【優先日】2019-07-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/919,722
(32)【優先日】2020-07-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
(71)【出願人】
【識別番号】519422636
【氏名又は名称】エムピー・ハイ・テック・ソリューションズ・ピーティワイ・リミテッド
【氏名又は名称原語表記】ＭＰ ＨＩＧＨ ＴＥＣＨ ＳＯＬＵＴＩＯＮＳ ＰＴＹ ＬＴＤ
【住所又は居所原語表記】ＳＵＩＴＥ １４５， ４ ＣＯＲＮＷＡＬＬＩＳ ＳＴＲＥＥＴ， ＥＶＥＬＥＩＧＨ， ＮＥＷ ＳＯＵＴＨ ＷＡＬＥＳ ２０１５， ＡＵＳＴＲＡＬＩＡ
(74)【代理人】
【識別番号】110001818
【氏名又は名称】特許業務法人Ｒ＆Ｃ
(72)【発明者】
【氏名】ハルステッド，マーク
(72)【発明者】
【氏名】ペトロフ，ダニエル
(72)【発明者】
【氏名】ステッファンソン，マレック
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA03
5C122DA11
5C122DA16
5C122DA30
5C122EA52
5C122EA55
5C122FC02
5C122FC05
5C122GC37
5C122GC52
5C122GC75
5C122GE05
5C122GE18
5C122HA35
5C122HA81
5C122HB01
5C122HB05
5C122HB09
(57)【要約】
開示される技術は、単一出力を有する単一デバイスに光学カメラと赤外線カメラの組み合わせを実装するためのシステム及び方法を含む。単一出力を有する単一デバイスに光学カメラと赤外線カメラを組み合わせることで、低コストの生産と、光学要素と赤外線要素とを備えたハイブリッド出力を提供できる。光学素子と赤外線素子の混合または組み合わせは、単一デバイスに組み込まれたプロセッサによって実行できる。単一デバイスの出力は、比較的小さいサイズの画像オーバレイを有することができる。いくつかの実施形態では、単一デバイスは、光学要素及び赤外線要素を有する完全なビデオストリームを出力することができる。また、光学要素と赤外線要素の混合または組み合わせは、プロセッサによって実行することができ、プロセッサは、光学要素と赤外線要素のオーバレイを含むハイブリッド画像を出力及び送信することができる。
【特許請求の範囲】
【請求項1】
装置であって、回路基板と、
前記回路基板に取り付けられた光学カメラと、
前記回路基板に取り付けられた赤外線カメラと、
前記光学カメラから光学画像信号を受信するように構成された光学画像入力インタフェースと、
前記赤外線カメラから赤外線画像信号を受信するように構成された赤外線画像入力インタフェースと、
前記回路基板に取り付けられ、前記光学画像入力インタフェースによって受信された前記光学画像信号からの情報、及び前記赤外線画像入力インタフェースによって受信された前記赤外線画像信号からの情報を処理するように構成されたオンボードプロセッサと、
前記オンボードプロセッサによって処理された前記情報を送信するように構成された単一出力インタフェースと
を備える、前記装置。
【請求項2】
前記オンボードプロセッサが、前記単一出力インタフェースによって、前記装置を含むホストデバイスのホストプロセッサに通信可能に結合され、前記単一出力インタフェースは、前記オンボードプロセッサによって処理された前記情報を前記ホストプロセッサに送信するように構成されている、請求項１に記載の装置。
【請求項3】
前記オンボードプロセッサが、前記光学画像入力インタフェースを介して前記光学カメラインタフェースから受信された前記光学画像信号と、前記赤外線画像入力インタフェースを介して前記赤外線カメラから受信された前記赤外線画像信号とに基づいて、デュアル画像出力信号を生成するように構成されており、前記デュアル画像出力信号は、前記光学画像信号と前記赤外線画像信号とからの画像要素を含む、請求項１に記載の装置。
【請求項4】
前記オンボードプロセッサが、前記単一出力インタフェースによって、前記装置を含むホストデバイスのホストプロセッサに通信可能に結合され、前記単一出力インタフェースは、前記デュアル画像出力信号を前記ホストプロセッサに送信するように構成されている、請求項３に記載の装置。
【請求項5】
前記光学画像信号が、前記光学カメラの視野を含み、前記赤外線画像信号が、前記赤外線カメラの視野を含み、
前記カメラの前記視野が重なっている、請求項４に記載の装置。
【請求項6】
前記光学画像信号が、前記光学カメラの視野を含み、前記赤外線画像信号が、前記赤外線カメラの視野を含み、
前記カメラの前記視野が重なっている、請求項１に記載の装置。
【請求項7】
前記光学画像入力インタフェースが、デジタルビデオポート（ＤＶＰ）を備える、請求項１に記載の装置。
【請求項8】
前記光学画像入力インタフェースが、差動信号インタフェースを備える、請求項１に記載の装置。
【請求項9】
前記光学画像入力インタフェースが、シングルエンド信号インタフェースを備える、請求項１に記載の装置。
【請求項10】
前記赤外線画像入力インタフェースが、シリアルペリフェラルインタフェース（ＳＰＩ）を備える、請求項１に記載の装置。
【請求項11】
前記赤外線画像入力インタフェースが、集積回路間（Ｉ２Ｃ）を備える、請求項１に記載の装置。
【請求項12】
前記単一出力インタフェースが、デジタルビデオポート（ＤＶＰ）を備える、請求項１に記載の装置。
【請求項13】
前記単一出力インタフェースが、差動信号インタフェースを備える、請求項１に記載の装置。
【請求項14】
前記単一出力インタフェースが、シングルエンド信号インタフェースを備える、請求項１に記載の装置。
【請求項15】
前記単一出力インタフェースが、シリアルペリフェラルインタフェース（ＳＰＩ）を備える、請求項１に記載の装置。
【請求項16】
前記単一出力インタフェースが、集積回路間（Ｉ２Ｃ）を備える、請求項１に記載の装置。
【請求項17】
前記赤外線カメラが、熱画像センサ（ＴＩＳ）を備える、請求項１に記載の装置。
【請求項18】
前記赤外線カメラが、光反射面及び赤外線感知面を含む複数のマイクロミラーを含む赤外線検出センサを備え、前記赤外線検出センサが、前記赤外線感知面によって感知された赤外線の強度の関数として、前記反射面に入射する光を偏向するように構成されている、請求項１に記載の装置。
【請求項19】
装置であって、回路基板と、
前記回路基板に取り付けられたＣＭＯＳ光学カメラと、
前記回路基板に取り付けられた赤外線カメラと、
前記ＣＭＯＳ光学カメラから光学画像信号を受信するように構成された光学画像入力インタフェースと、
前記赤外線カメラから赤外線画像信号を受信するように構成された赤外線画像入力インタフェースと、
前記回路基板に取り付けられ、前記光学画像入力インタフェースによって受信された前記光学画像信号からの情報、及び前記赤外線画像入力インタフェースによって受信された前記赤外線画像信号からの情報を処理するように構成されたオンボードプロセッサと、
前記オンボードプロセッサによって処理された前記情報を送信するように構成された単一出力インタフェースと
を備える、前記装置。
【請求項20】
システムであって、回路基板と、
前記回路基板に取り付けられたＣＭＯＳ光学カメラと、
前記回路基板に取り付けられた赤外線カメラと、
前記ＣＭＯＳ光学カメラから光学画像信号を受信するように構成された光学画像入力インタフェースと、
前記赤外線カメラから赤外線画像信号を受信するように構成された赤外線画像入力インタフェースと、
前記回路基板に取り付けられ、前記光学画像入力インタフェースによって受信された前記光学画像信号からの情報、及び前記赤外線画像入力インタフェースによって受信された前記赤外線画像信号からの情報を処理するように構成されたオンボードプロセッサと、
前記オンボードプロセッサによって処理された前記情報を送信するように構成された単一出力インタフェースと、
前記単一出力インタフェースによって前記オンボードプロセッサに通信可能に結合され、前記単一出力インタフェースを介して前記オンボードプロセッサによって処理された前記情報を受信するように構成された、第２のプロセッサと
を備える、前記システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本願は、２０２０年７月２日に出願され、「ＨＹＢＲＩＤ ＣＡＭＥＲＡＳ」と題された米国特許出願第１６／９１９，７２２号、及び２０１９年７月８日に出願され、「ＨＹＢＲＩＤ ＣＡＭＥＲＡＳ」と題された米国仮特許出願第６２／８７１，６６０号に対する優先権を主張し、その開示全体は、参照により本明細書にすべて組み込まれる。
本願は、２０２０年７月２日に出願され、「ＨＹＢＲＩＤ ＣＡＭＥＲＡＳ」と題された米国特許出願第１６／９１９，７２２号、及び２０１９年７月８日に出願され、「ＨＹＢＲＩＤ ＣＡＭＥＲＡＳ」と題された米国仮特許出願第６２／８７１，６６０号に対する優先権を主張し、その開示全体は、参照により本明細書にすべて組み込まれる。
【0002】
本開示の実施形態は、光学カメラと赤外線カメラの両方を有するハイブリッドカメラに関する。
【背景技術】
【0003】
赤外線カメラ（サーモグラフィカメラまたはサーマルイメージャと呼ばれることが多い）は、赤外線を使用して熱画像を形成するデバイスであり、可視光を使用して画像を形成する光学カメラ（または一般的なカメラ）に類似している。可視光カメラの約４００～７００ナノメートルの範囲の代わりに、赤外線カメラは１４，０００ナノメートル（１４マイクロメートル）の長さまでであり得る赤外線波長の範囲の波長をキャプチャする。
【0004】
一部のハイブリッドシステムには、赤外線カメラと光学カメラの両方が含まれている。これらのシステムには多くの利点があるが、追加のコストがかかり得る。一例は、重複したハードウェアのコストである。赤外線カメラと光学カメラの両方を含めることで、各カメラに専用の出力または送信デバイスを含むことになり得て、及び／またはシステムに、各カメラの出力を処理するための重複したオンボードマイクロプロセッサを含むことになり得る。これにより、このようなハイブリッドシステムの重量と電力需要が増加する。別の例では、このようなシステムは、２つのカメラによって出力された重複画像を処理して、光学要素と赤外線要素が整列した組み合わせ画像を生成するためにかなりのリソースを費やすことになり得る。
【発明の概要】
【0005】
光学カメラと赤外線カメラの両方を有するハイブリッドカメラを利用する本明細書に開示される技術は、少なくとも本願の背景技術セクション及び他の部分に記載される技術的問題、ならびに本明細書に記載されていないが当業者によって認識される技術的問題に対する特定の技術的ソリューションを提供する。
【0006】
開示される技術は、単一出力を有する単一デバイスにおいて、光学カメラと赤外線カメラの組み合わせを利用することができる。単一出力を有する単一デバイスに光学カメラと赤外線カメラを組み合わせることで、低コストの生産と、光学要素と赤外線要素とを備えたハイブリッド出力を提供できる。
【0007】
デバイスは、デュアル画像を出力するための１つの入力／出力（Ｉ／Ｏ）インタフェースを有することができる。デュアル画像には、光学要素と赤外線要素の両方が含まれている。光学素子と赤外線素子の混合または組み合わせは、デュアルカメラデバイスに組み込まれたプロセッサによって実行できる。一実施形態では、デバイスの出力は、比較的小さいサイズの画像オーバレイを含むことができる。別の実施形態では、デバイスは、光学要素及び赤外線要素を有する完全なビデオストリームを出力することができる。
【0008】
開示される技術は、光学カメラ及び赤外線カメラ用の単一プロセッサを有することにより、コスト上の利点を提供する。単一プロセッサは、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、またはマイクロプロセッサを含む組み込みプロセッサにすることができる。単一プロセッサは、２台のカメラと一緒にボードに取り付けることができる。このシステムは、相補型金属酸化物半導体（ＣＭＯＳ）画像センサなどの２つの画像センサを含み得る。一方のセンサは光学イメージングを実行し、もう一方のセンサは赤外線検出と赤外線画像への変換を実行する（例えば、複数のマイクロミラーを備えた赤外線検出センサのコンポーネントとして）。開示された技術の１つの利点は、光学カメラ及び赤外線カメラの光軸が重なり合うか、または密接に隣接することができ、それによって画像オーバレイ及び位置合わせ処理を単純化できることである。
【0009】
いくつかの実施形態では、装置（コンピューティングデバイスなど）は、回路基板と、回路基板に取り付けられた光学カメラ及び赤外線カメラとを含むことができる。光学カメラは、ＣＭＯＳ光学カメラであるか、またはそれを含むことができ、赤外線カメラは、ＣＭＯＳ赤外線カメラであるか、またはそれを含むことができる。この装置はまた、回路基板に取り付けられたオンボードプロセッサを含むことができる。この装置はまた、光学カメラから光学画像信号を受信するように構成された光学画像入力インタフェース（オンボードプロセッサの光学画像入力インタフェースなど）を含むことができる。この装置はまた、赤外線カメラから赤外線画像信号を受信するように構成された赤外線画像入力インタフェース（オンボードプロセッサの赤外線画像入力インタフェースなど）を含むことができる。この装置はまた、オンボードプロセッサによって処理された１つまたは複数の信号を送信するように構成された単一出力インタフェース（オンボードプロセッサの単一出力インタフェースなど）を含むことができる。
【0010】
回路基板に取り付けられたオンボードプロセッサは、光学画像入力インタフェースによって受信された光学画像信号からの情報、及び赤外線画像入力インタフェースによって受信された赤外線画像信号からの情報を処理するように構成することができる。また、オンボードプロセッサによって処理された情報を送信するように単一出力インタフェースを構成できる。
【0011】
いくつかの実施形態では、オンボードプロセッサは、単一出力インタフェースによって、装置を含むホストデバイスのホストプロセッサに通信可能に結合されている。また、単一出力インタフェースは、オンボードプロセッサによって処理された情報をホストプロセッサに送信するように構成できる。
【0012】
いくつかの実施形態では、オンボードプロセッサは、光学画像入力インタフェースを介して光学カメラインタフェースから受信した光学画像信号と、赤外線画像入力インタフェースを介して赤外線カメラから受信した赤外線画像信号に基づいて、デュアル画像出力信号を生成するように構成することができる。また、デュアル画像出力信号は、光学画像信号と赤外線画像信号からの画像要素を含むことができる。また、そのような実施形態では、オンボードプロセッサは、単一出力インタフェースによって、装置を含むホストデバイスのホストプロセッサに通信可能に結合することができ、そして、単一出力インタフェースは、デュアル画像出力信号をホストプロセッサに送信するように構成することができる。
【0013】
いくつかの実施形態では、光学画像信号は、光学カメラの視野及び／または光学カメラの光軸を含むことができ、及び／または赤外線画像信号は、赤外線カメラの視野及び／または赤外線カメラの光軸を含むことができる。そして、いくつかの実施形態では、カメラの視野及び光軸は重なり合い、物理的に互いに整列させることができる。視野と光軸が非常に密接に位置合わせされているが、互いに正確には位置合わせされていないいくつかの実施形態では、プロセッサは、出力された信号の出力画像に最小限の位置合わせを提供することができる。
【0014】
いくつかの実施形態では、光学画像入力インタフェースは、デジタルビデオポート（ＤＶＰ）を含むことができる。いくつかの実施形態では、光学画像入力インタフェースは、差動信号インタフェースを含むことができる。いくつかの他の実施形態では、光学画像入力インタフェースは、シングルエンド信号インタフェースを含むことができる。
【0015】
いくつかの実施形態では、赤外線画像入力インタフェースは、シリアルペリフェラルインタフェース（ＳＰＩ）または集積回路間（Ｉ２Ｃ）インタフェースを含むことができる。
【0016】
いくつかの実施形態では、単一出力インタフェースは、ＤＶＰを含むことができる。いくつかの実施形態では、単一出力インタフェースは、差動信号インタフェースを含むことができる。他のいくつかの実施形態では、単一出力インタフェースは、シングルエンド信号インタフェースを含むことができる。また、単一出力インタフェースにはＳＰＩまたはＩ２Ｃを含めることができる。
【0017】
いくつかの実施形態では、赤外線カメラは、熱画像センサ（ＴＩＳ）を含むことができる。また、いくつかの実施形態では、赤外線カメラは、光反射面及び赤外線感知面を含む複数のマイクロミラーを含む赤外線検出センサを含むことができる。そのような例では、赤外線検出センサは、赤外線感知面によって感知された赤外線の強度の関数として、反射面に入射する光を偏向させるように構成することができる。
【0018】
いくつかの実施形態では、システム（コンピュータシステムなど）は、回路基板、回路基板に取り付けられた光学カメラ（ＣＭＯＳ光学カメラなど）、及び回路基板に取り付けられた赤外線カメラ（ＣＭＯＳ赤外線カメラなど）を含むことができる。システムはまた、光学カメラから光学画像信号を受信するように構成された光学画像入力インタフェース、ならびに赤外線カメラから赤外線画像信号を受信するように構成された赤外線画像入力インタフェースを含むことができる。システムはまた、回路基板に取り付けられ、光学画像入力インタフェースによって受信された光学画像信号からの情報、及び赤外線画像入力インタフェースによって受信された赤外線画像信号からの情報を処理するように構成されたオンボードプロセッサを含むことができる。システムには、オンボードプロセッサによって処理された情報を送信するように構成された単一出力インタフェースを含めることもできる。そして、システムは、単一出力インタフェースによってオンボードプロセッサに通信可能に結合され、単一出力インタフェースを介して、オンボードプロセッサによって処理された情報を受信するように構成された、第２のプロセッサを含むことができる。いくつかの実施形態では、第２のプロセッサは、回路基板、光学カメラ、赤外線カメラ、画像入力インタフェース、オンボードプロセッサ、及び単一出力インタフェースも含むホスティングデバイスのホストプロセッサである。
【0019】
本明細書で説明される技術のいくつかは、コンピュータシステムを含む。コンピュータシステムは、前述の方法及び前述の媒体の特徴及び操作を実装することができる。媒体は、システムのメモリによって具体的に実装できる。コンピュータシステムはまた、本明細書に記載のプロセッサなどの１つまたは複数の処理装置を含むことができる。
【0020】
本開示は、以下に与えられる詳細な説明及び本開示の様々な実施形態の添付の図面からより完全に理解されるであろう。
【図面の簡単な説明】
【0021】
【図1】本開示のいくつかの実施形態による、コンピュータシステム、感知デバイス、及びハイブリッドカメラを有するホストデバイスを含む例示的なネットワークを示す。
【図2】本開示のいくつかの実施形態による、ハイブリッドカメラを有するホストデバイスの例示的な態様のブロック図である。
【図3】本開示のいくつかの実施形態による、ハイブリッドカメラを有するホストデバイスに設置または接続することができる例示的なコンピュータシステムの例示的な態様のブロック図である。
【図4】本開示のいくつかの実施形態による、ハイブリッドカメラを有する別のホストデバイスの例示的な態様のブロック図である。
【図5】本開示のいくつかの実施形態による、オンボードプロセッサ及びホストプロセッサの例示的な態様のブロック図である。
【図6】本開示のいくつかの実施形態による、コンピュータシステムの例示的な態様のブロック図である。
【図7】本開示のいくつかの実施形態による、ハイブリッドカメラを有するホストデバイスを利用する例示的な方法の流れ図である。
【図8】本開示のいくつかの実施形態による、光学画像信号から導出された例示的な画像を示す。
【図9】本開示のいくつかの実施形態による、赤外線画像信号から導出された例示的な画像を示す。
【図10】本開示のいくつかの実施形態による、デュアル画像出力信号から導出された例示的なデュアル画像を示す。
【発明を実施するための形態】
【0022】
本明細書で開示される技術は、単一出力を有する単一デバイスに光学カメラと赤外線カメラの組み合わせを実装するためのシステム及び方法を含む。開示される技術は、少なくとも本願の背景技術セクション及び他の部分に記載される技術的問題、ならびに本明細書に記載されていないが当業者によって認識される他の技術的問題に対する特定の技術的ソリューションを提供する。単一出力を備えた単一デバイスにおいて光学カメラと赤外線カメラを組み合わせることで、低コストの生産と、光学要素と赤外線要素を備えたハイブリッドまたはデュアル出力を提供できる。光学素子と赤外線素子の混合または組み合わせは、単一デバイスに組み込まれたプロセッサによって実行できる。単一デバイスの出力は、比較的小さいサイズの画像オーバレイを有することができる。いくつかの実施形態では、単一デバイスは、光学要素及び赤外線要素を有する完全なビデオストリームを出力することができる。また、光学要素と赤外線要素の混合または組み合わせは、プロセッサによって実行することができ、プロセッサは、光学要素と赤外線要素のオーバレイを含むハイブリッド画像を出力及び送信することができる。
【0023】
本明細書に開示されるシステムは、カメラからの信号から導出される複数のハイブリッド出力を提供することができる単一プロセッサと両方ともインタフェースされる単一光学カメラ及び単一赤外線カメラを有するハイブリッドカメラシステムを含むことができる。カメラは、それぞれのＣＭＯＳ光学画像センサ及びそれぞれのＣＭＯＳ赤外線画像センサなどのＣＭＯＳセンサであるか、またはそれらを含むことができる。両方の個別のイメージングシステムを組み合わせることで、システム全体を１つの回路基板に収めることができる。これにより、システム全体が安価で軽量、かつ電力使用量が効率的になる。また、これにより、デュアル画像出力用の単一出力インタフェースが可能になる。
【0024】
いくつかの実施形態では、デュアル画像は、デュアル画像の受信者が赤外線画像なしで光学画像を使用できるように、または光学画像を使用せずに赤外線画像を使用できるように、互いに分離された光学画像及び赤外線画像を含むことができる。これにより、受信者は様々な方法で画像を自由に組み合わせることができる。いくつかの実施形態では、ハイブリッド画像は、デュアル画像を含むことができるが、赤外線画像及び光学画像が互いに重ね合わされた組み合わせ画像を含むこともできる。組み合わせ画像は受信者にとって便利な場合があるが、カスタマイズされた方法（例えば、異なるタイプの画像に対する異なる重み）で受信者が光学画像と赤外線画像を組み合わせる能力を制限する。
【0025】
カメラとオンボードプロセッサ間の通信インタフェース、及びオンボードプロセッサの出力通信インタフェースは標準化でき、従来のカメラアプリケーションに統合及び／または後付けすることができる。
【0026】
いくつかの実施形態では、コンピュータビジョンアルゴリズムは、オンボードまたは組み込みプロセッサによるカメラの独立した画像入力に実行することができ、プロセッサは、プロセッサの出力通信インタフェースを介して、隣接及び／または重複するイメージング及びヒューリスティックを提供することができる。
【0027】
また、いくつかの実施形態では、カメラからの光学画像及び熱画像の両方の視野及び光軸が整列され、互いに一致し、これにより単一出力における光学要素及び熱要素の一意の組み合わせ及びブレンド画像の効率的な生成を可能にする。
【0028】
図１は、本開示のいくつかの実施形態による、コンピュータシステム、感知デバイス、及びハイブリッドカメラを有するホストデバイス（すなわち、システム１００）を含む例示的なネットワークを示す。システム１００は、前述の構成要素及び操作のいずれか、ならびに本明細書に記載の構成要素または操作のいずれかを実施することができる。
【0029】
システム１００は、それぞれが単一回路基板に取り付けられた光学カメラ、赤外線カメラ、及び単一プロセッサを有するハイブリッドカメラデバイスをそれぞれが有するホストデバイスを含むように示されている（例えば、ホストデバイス１０２ａ、ホストデバイス１０２ｂ、及びホストデバイス１０２ｃを参照）。システム１００内のホストデバイスは、カメラハブシステム１０４の少なくとも一部を含むことができることも示されている（例えば、ホストデバイス１０２ａを参照）。カメラハブシステム１０４（ＣＨＳ１０４）は、オンボードプロセッサによって実行される、または実行されない、本明細書に記載のデータ処理の少なくとも一部を実装することができる。
【0030】
カメラハブシステム１０４の一部は、追加の感知デバイス１０６ａ、１０６ｂ、１０６ｃ、及び／または１０６ｄのうちの１つなどの追加の感知デバイスに含まれるか、またはそれらに接続され得る。追加の感知デバイス（例えば、追加の感知デバイス１０６ａ、１０６ｂ、１０６ｃ、及び１０６ｄ）は、温度センサ、音響波センサ、マイクロフォン、空気品質センサ、加速度計、または接続性を備えた他の任意のタイプのセンサを含むことができる。図１に示すように、追加の感知デバイス１０６ａ、１０６ｂ、１０６ｃ、及び１０６ｄは、ハイブリッドカメラを有するホストデバイス（例えば、ホストデバイス１０２ａ、１０２ｂ、または１０２ｃ）に直接接続するか、もしくは１つまたは複数のローカルエリアネットワーク及び／またはワイドエリアネットワーク（例えば、１つまたは複数のローカルエリアネットワーク及び／またはワイドエリアネットワーク１１２）を介してハイブリッドカメラを有するホストデバイスに間接的に接続することができる。
【0031】
システムはまた、それぞれがカメラハブシステム１０４の一部を含むことができる１つまたは複数のコンピューティングデバイスを含むことができる（例えば、コンピューティングデバイス１１０及びコンピューティングデバイス１１１を参照）。コンピューティングデバイス１１０及び１１１のいずれか１つの実装は、図６にさらに詳細に示されている。ホストデバイス１０２ａ、１０２ｂ、及び１０２ｃのいずれか１つの実装が図２に示されている。また、図４は、ホストデバイス１０２ａ、１０２ｂ、及び１０２ｃのいずれか１つの代替の実装を示している。そして、ハイブリッドカメラを備えたホストデバイスは、いくつかの実施形態ではコンピューティングデバイスを含むこともできる（例えば、図２、及び図３に示されるコンピューティングデバイスを参照）。
【0032】
システム１００はまた、図１に示されるハイブリッドカメラ、コンピューティングデバイス、及び追加の感知デバイスを有するホストデバイスを、通信可能に結合することが示される１つまたは複数のローカルエリアネットワーク及び／またはワイドエリアネットワーク１１２（ＬＡＮ／ＷＡＮネットワーク（複数可）１１２）を含むことが示される。ＬＡＮ／ＷＡＮネットワーク（複数可）１１２は、１つまたは複数のローカルエリアネットワーク（ＬＡＮ（複数可））及び／または１つまたは複数のワイドエリアネットワーク（ＷＡＮ（複数可））を含むことができる。ＬＡＮ／ＷＡＮネットワーク（複数可）１１２は、インターネット及び／または他の任意のタイプの相互接続された通信ネットワークを含むことができる。ＬＡＮ／ＷＡＮネットワーク（複数可）１１２はまた、単一コンピュータネットワークまたは電気通信ネットワークを含むことができる。より具体的には、ＬＡＮ／ＷＡＮネットワーク（複数可）１１２は、小さな物理的エリア内のコンピュータを接続するプライベートコンピュータネットワークなどのローカルエリアネットワーク（ＬＡＮ）、異なる地理的位置にあるコンピュータを接続するためのワイドエリアネットワーク（ＷＡＮ）、及び／または、大規模なＬＡＮでカバーされるエリアよりも大きいが、ＷＡＮでカバーされるエリアよりも小さい地理的エリア内のコンピュータを接続するメトロポリタンエリアネットワーク（ＭＡＮ）（ミドルエリアネットワークとも呼ばれる）を含むことができる。
【0033】
システム１００の示されている各構成要素は、媒体を含むことができるメモリを含み得るコンピュータシステムを含むことができる。媒体は、揮発性メモリコンポーネント、不揮発性メモリコンポーネント、またはそれらの組み合わせを含むか、またはそれらであり得る。いくつかの実施形態では、メモリはストレージシステムである。ストレージシステムの例はＳＳＤである。いくつかの実施形態では、メモリはハイブリッドメモリ／ストレージサブシステムである。一般に、各コンピュータシステムには、メモリを使用するホストシステムを含めることができる。例えば、ホストシステムにはメモリと処理装置を含めることができる。ホストシステムは、メモリを含むか、メモリに結合して、ホストシステムがメモリからデータを読み取ったり、メモリにデータを書き込んだりできるようにすることができる。ホストシステムは、物理ホストインタフェースを介してメモリに結合できる。物理ホストインタフェースは、メモリとホストシステムとの間で制御、アドレス、データ、及び他の信号を渡すためのインタフェースを提供することができる。
【0034】
メモリシステムコントローラ（以下、「コントローラ」と呼ぶ）は、メモリコンポーネントと通信して、メモリコンポーネントでのデータの読み取り、データの書き込み、またはデータの消去、及び他のそのような操作を実行することができる。コントローラは、１つまたは複数の集積回路及び／またはディスクリートコンポーネント、バッファメモリ、またはそれらの組み合わせなどのハードウェアを含むことができる。コントローラは、マイクロコントローラ、特殊用途論理回路（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など）とすることができる。コントローラは、ローカルメモリに格納された命令を実行するように構成されたプロセッサ（処理装置）を含むことができる。コントローラのローカルメモリは、メモリとホストシステムとの間の通信の処理を含む、メモリの動作を制御する様々なプロセス、操作、論理フロー、及びルーチンを実行するための命令を格納するように構成された組み込みメモリを含むことができる。一般に、コントローラは、ホストシステムからコマンドまたは操作を受信することができ、コマンドまたは操作を命令または適切なコマンドに変換して、メモリコンポーネントへの所定の所望のアクセスを達成することができる。
【0035】
メモリには、追加の回路またはコンポーネントを含めることもできる。いくつかの実施形態では、メモリは、キャッシュまたはバッファ（例えば、ＤＲＡＭ）及び、コントローラからアドレスを受信し、アドレスをデコードしてメモリコンポーネントにアクセスすることができるアドレス回路（例えば、行デコーダ及び列デコーダ）を含むことができる。
【0036】
本開示のいくつかの態様では、メモリは、ＣＨＳ１０４の全部または一部を含むことができる。いくつかの実施形態では、コントローラは、ＣＨＳ１０４の少なくとも一部を含む。例えば、コントローラは、ＣＨＳ１０４に関連する本明細書に記載の操作など、本明細書に記載の操作を実行するためにローカルメモリに格納された命令を実行するように構成されたプロセッサ（処理装置）を含むことができる。いくつかの実施形態では、ＣＨＳ１０４は、ホストシステム、アプリケーション、またはオペレーティングシステムの一部である。
【0037】
ＣＨＳ１０４は、メモリ、メモリコンポーネント、及びホストシステムを使用して、少なくともホストデバイス１０２ａ、１０２ｂ、または１０２ｃの１つのハイブリッドカメラによってシーンまたは視野を感知し、それに応じてカメラ及びカメラハブを操作するための技術を実装することができる。ＣＨＳ１０４の動作に関するさらなる詳細は、以下に記載されている。図１に示すように、システム１００は、１つまたは複数の電子デバイス内にＣＨＳ１０４の部分を含むことができる（例えば、コンピューティングデバイス１１０及び１１１ならびにコンピュータシステム６００を参照）。
【0038】
図２は、本開示のいくつかの実施形態による、ハイブリッドカメラを有するホストデバイス（すなわち、ホストデバイス２００）の例示的な態様のブロック図である。図２はまた、ホストデバイス２００のマシンに本明細書で論じられる方法論のうちの任意の１つまたは複数の、１つまたは複数の態様を実行させる命令のセットが実行できるホストデバイス２００の少なくとも一部（例えば、オンボードプロセッサ２０８及びオプションのコンピューティングデバイス２２２を参照）を示す。代替の実施形態では、マシンは、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット内の他のマシンに接続（例えば、ネットワーク化）することができる。マシンは、クライアントサーバネットワーク環境のクライアントマシンの能力の中で、ピアツーピア（または分散）ネットワーク環境のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境のクライアントマシンとして動作できる。
【0039】
ホストデバイス２００は、回路基板２０２、ならびに光学カメラ２０４、赤外線カメラ２０６、オンボードプロセッサ２０８、光学画像入力インタフェース２１０、赤外線画像入力インタフェース２１２、及び単一出力インタフェース２１４をすべて回路基板に接続して含む。少なくとも回路基板２０２に取り付けられた部品（例えば、光学カメラ２０４、赤外線カメラ２０６、オンボードプロセッサ２０８、光学画像入力インタフェース２１０、赤外線画像入力インタフェース２１２、及び単一出力インタフェース２１４）は、ハイブリッドカメラを構成する。いくつかの実施形態では、ホストデバイス２００全体がハイブリッドカメラと見なされる。
【0040】
示されるように、オンボードプロセッサ２０８の一部であり得る単一出力インタフェース２１４は、バス２１６に接続されている。バス２１６は、別の回路基板または回路基板２０２の一部であり得る。また、示されるように、ホストデバイス２００は、電源２１８（例えば、バッテリ）、ネットワークインタフェースデバイス２２０、バス２１６、及びオプションでコンピューティングデバイス２２２を含む（例えば、図３に示されるコンピュータシステム３００を参照）。回路基板２０２及びその取り付け部品、ならびに電源２１８、ネットワークインタフェースデバイス２２０、及びオプションのコンピューティングデバイス２２２は、バス２１６を介して互いに通信可能に結合することができる。ネットワークインタフェースデバイス２２０は、図１のＬＡＮ／ＷＡＮネットワーク（複数可）１１２を介して他のデバイスと通信することができる。オプションのコンピューティングデバイス２２２のような例示的なコンピューティングデバイスは、図３に示されるコンピュータシステム３００を説明するセクションでさらに詳細に説明される。
【0041】
回路基板２０２は、プリント回路などの電気回路を含む薄い剛性の基板であるか、またはそれを含むことができる。例えば、回路基板２０２は、プリント回路基板（ＰＣＢ）であり得るか、またはそれを含むことができる。
【0042】
光学カメラ２０４は、ＣＭＯＳ光学画像センサであるか、またはそれを含むことができ、光学カメラのイメージングは、可視光スペクトル内のキャプチャされた光に基づく。
【0043】
赤外線カメラ２０６は、ＣＭＯＳ赤外線画像センサであるか、またはそれを含むことができ、赤外線カメラのイメージングは、キャプチャされた赤外線に基づく。いくつかの実施形態では、赤外線カメラは、任意のタイプの赤外線センサであることができるパッシブ赤外線センサ（ＰＩＲセンサ）、例えば、キャプチャされた赤外線で動きを検出するためのＰＩＲセンサであるか、またはそれを含むことができる。いくつかの実施形態では、赤外線カメラは、熱画像センサ（ＴＩＳ）であるか、またはそれを含むことができる。ＰＩＲセンサの重要な特徴は、ＴＩＳよりも堅牢性が低い（例えば、パフォーマンス及び／または解像度が低い）ことである。いくつかの実施形態では、赤外線カメラは、光反射面及び赤外線感知面を含む少なくとも複数のマイクロミラーを含む赤外線検出センサ（例えば、ＴＩＳ）であるか、またはそれを含むことができる。赤外線検出センサは、赤外線感知面によって感知された赤外線の強度の関数として、反射面に入射する光を偏向させるように構成されている。
【0044】
非視覚的環境の監視ならびに赤外線カメラ２０６及び光学カメラ２０４による人間の存在の監視は、セキュリティ及び安全性、エネルギー節約、火災検知、人数カウント及び行動分析のための用途に利用することができる。これらの種類の用途に使用される技術には、赤外線技術と光学技術の組み合わせが含まれ得る。赤外線技術には、非冷却熱画像を含めることができる。ＰＩＲセンサには赤外線技術を含めることができる。ＴＩＳは、ＰＩＲセンサよりも高い精度と無視できる誤警報率を提供できる。
【0045】
いくつかの実施形態では、赤外線カメラ２０６は、入射赤外線をマイクロメカニカル変位に変換する、非冷却の熱機械的バイマテリアルマイクロエレメントセンサを含むことができるＴＩＳを含むことができる。ＴＩＳは、非冷却の熱機械的バイマテリアルマイクロエレメントセンサの代わりに、別のタイプの熱センサであり得るか、またはそれらを含み得ることが理解されるべきである。マイクロエレメントは、マイクロカンチレバーまたはマイクロミラーと呼ばれることが多い。この動作原理は、熱膨張係数の材料化合物の不一致が温度変化時にマイクロメカニカル運動を引き起こすバイマテリアル効果に基づいている。いくつかの実装形態では、１つのマイクロエレメントが１つの放射線感知ピクセルを表し、センサは、マイクロエレメント（例えば、マイクロカンチレバー及び／またはマイクロミラー）のアレイを有する。いくつかの実施形態では、ＴＩＳは、マイクロミラーによって生成された光スポットの画像をキャプチャするためのＣＭＯＳ画像センサを含むことができる。
【0046】
環境内のすべてのオブジェクトには固有の熱フットプリントがあるため、ＴＩＳを使用した熱画像は、非常に高い精度と無視できる誤警報率で、閉じた環境内の人間の存在を検出する。長波赤外線帯域の人体温度と放射率は、ほとんどの場合、一般的な屋内及び屋外の環境の熱フットプリントよりも明らかに高くなっている。限られた空間解像度でのＴＩＳを介した熱画像は、個人の身元を明らかにすることなく、近距離で人間を正確に検出するのに十分であり得る。環境及び人間の検出と監視のこの側面は、プライバシー保護についての一般的関心事項である。現在の熱画像技術ソリューションは、製造が複雑で費用がかかるため、低コストで大量の応用には不十分である。ユビキタスに制限された空間解像度の赤外線イメージャが商品価格で必要とされている。ＴＩＳは、入射赤外線をマイクロメカニカル変位に変換する非冷却熱機械バイマテリアルマイクロエレメントセンサに基づく、空間解像度が制限された潜在的に安価なサーマルイメージャの例である。
【0047】
ＴＩＳは、パッシブ赤外線センサ（例えば、ＰＩＲセンサ）とフル機能の画像センサ（例えば、光学カメラ２０４に含まれるもの）との間の（例えば、性能及び／または感知解像度における）中間レベルのデバイスである。ＴＩＳは、光学カメラのイメージングが可視光または可視光スペクトル内の放射に基づいているという点で光学カメラとは異なる。ＴＩＳは、ほとんどの実施形態で、赤外線に基づいている。ＴＩＳは、ＰＩＲセンサとは異なる構造を有することができ、ＰＩＲセンサの空間解像度はＴＩＳよりも低い、という点でＰＩＲセンサとは異なる。
【0048】
ＴＩＳがマイクロエレメント（例えば、マイクロカンチレバー及び／またはマイクロミラー）のアレイを含む実施形態では、ＴＩＳの感度及び／または精度は、ＴＩＳのイメージング表面の画像にキャプチャされたマイクロエレメントの光スポットの位置を測定するように方法を変更することによって、（例えば、ユーザ要求に基づいて）動的に調整することができる。より計算量の少ない方法を、ホストデバイスに提供されるプロセッサに実装することができる（例えば、図４に示されるホストデバイス４００のプロセッサ２０８またはプロセッサ４０２を参照）。そして、より計算量の多い方法は、ホストデバイスに物理的に接続されるかもしくはローカルエリアネットワークに接続された補助デバイス（例えば、図６に示されるコンピュータシステム６００を参照）、または（例えば、ネットワーク（複数可）１１２を介して接続された）インターネットに接続されたリモートサーバなどの、別個のデバイスに実装することができる。
【0049】
ＴＩＳがマイクロエレメントのアレイを含む実施形態では、各マイクロエレメントで測定された放射強度は、対応するマイクロエレメントによって画像表面に反射された光スポットの変位の関数であり得る。光源からの光がマイクロエレメントのアレイに放射されると、マイクロエレメントは光を反射して、ＴＩＳのイメージング表面に光スポットを形成する。マイクロエレメントに吸収された赤外線により、マイクロエレメントが回転し、したがってＴＩＳのイメージング表面上の光スポットが移動する。マイクロエレメントへの赤外線強度の流入が高ければ高いほど、イメージング表面上のマイクロエレメントによって反射された光スポットの対応する動きがさらに大きくなる。マイクロエレメントによって移動される光スポットの距離は、マイクロエレメントの応答性と光学システムの形状の関数である。例えば、マイクロエレメントによって移動される光スポットの距離は、マイクロエレメントに吸収される単位電力あたりのマイクロエレメントの回転の関数であり、光スポットがマイクロエレメントの回転の単位あたりに移動する距離の関数である。
【0050】
ＴＩＳの物理的特性が制約され、固定されている場合、例えば、マイクロエレメントが固定されている場合、光源とイメージング表面の間の光路は、別のものに対して一定の位置にある可能性があり、さらに、マイクロエレメントの熱機械的特性とＴＩＳの特性が制約されている場合、ＴＩＳの放射感度は、移動するドットまたは移動するパターンを割り当てることができる精度によって決まる。
【0051】
いくつかの実施形態では、ＴＩＳのイメージング表面上の光スポットは、微小要素の回転の結果として、距離Ｙだけの位置に移動することができる。変位Ｙを決定する精度は、次の要因に依存し得る。Ａ）ＴＩＳによって作成された光スポットの品質（例えば、サイズ、形状、スポットまたはパターンの強度）、Ｂ）ＴＩＳの像面上の光スポットの検出の精度／検出精度のレベル（または光検出器、またはＴＩＳのカメラ、例えば、ＣＭＯＳ画像センサの性能と品質、そのピクセルサイズ、ピクセル感度、ＴＩＳの積分時間）、Ｃ）光スポットを検出し、それらの変位を決定するために使用される方法、及びＤ）プロセスを実行するために利用可能な処理能力の量。
【0052】
ＴＩＳの画像表面でのドット変位またはパターン変化の大きさを計算するために使用されるプロセスは、ＴＩＳの感度に大きな影響を与え得る。
【0053】
ＴＩＳの画像平面からの（例えば、ＴＩＳの光検出器からの）画像は、入力としてコンピューティングデバイスまたは信号処理ユニット上で処理することができる（例えば、プロセッサ２０８またはプロセッサ４０２を参照）。ＴＩＳの画像平面から得られた画像の処理を通じて、コンピューティングデバイスまたは信号処理ユニットは、例えば、光スポットの動きまたはパターンシフトを放射（または熱）強度を表す画像に変換することによって熱画像を生成することができ、これは、人間の目またはさらなる画像分析アルゴリズムによってさらに解釈することができる。光スポットの動きまたはパターンシフトの光学画像から熱画像を生成するための計算を実行するコンピューティングデバイスは、ＴＩＳに物理的に接続する必要はない。光スポットの動き、またはパターンシフトを示すＴＩＳの画像平面からの光学画像は、光学画像を熱画像に変換するコンピューティングデバイスへの入力として使用できる。
【0054】
例えば、ＴＩＳの光検出器によってキャプチャされたＴＩＳのイメージング表面上の光スポットの画像が、比較的高性能のコンピューティングデバイス（例えば、ＦＰＧＡ、ＡＳＩＣ、またはプロセッサ）によって分析される場合、光スポットの位置は、高度で計算量の多い方法を使用して、比較的高レベルの精度で決定できる。このような方法には、例えば、各光スポットへのガウスまたは多項式フィットを含めることができ、ＴＩＳの画像平面上のスポットの変位に合わせてフィットを移動することができる。光スポットフィットの決定は非常に正確にすることができるため、スポットの比較的小さな変位でも検出できる。画像内の光スポットの位置を測定する際の改善された精度によって、ＴＩＳの感度及び／または精度が改善される。
【0055】
しかしながら、ＴＩＳの光検出器によってキャプチャされた、イメージング表面上の光スポットの同じ画像が、比較的低コストのコンピューティングデバイス（例えば、マイクロコントローラなど）を使用して分析される場合、光スポットの位置は、比較的低レベルの精度で、単純化された計算効率の高い方法を使用して決定できる。そのような方法は、比較的粗いレベルで光スポットの動きを決定する単純な閾値方法を含むことができる。計算強度の低下により、放射／温度測定値の生成に低コストのコンピューティングハードウェアを使用でき、これは、ＴＩＳに実装して、光スポットの完全な画像の代わりに放射／温度測定値を送信することにより、コンピュータネットワークを介した通信の帯域幅及び／または電力消費要件を削減できる。
【0056】
アレイ内の個々のミラーパターンを区別してトレースすることは、計算量が多くなる可能性がある。このような場合、比較的高性能のコンピューティングデバイスを使用して、各光スポットのダイナミックレンジを最大化して、光スポットがその固有のスポット間ピッチ距離を超えてオーバーラップまたは移動する可能性があり、ハイダイナミックレンジでは、個々の光点を特定して追跡するのが必要となる可能性があるときに、高いターゲット温度検出範囲（温度スパン）を可能にすることができる。
【0057】
光スポットの動きまたは光パターンの変化を決定する際の精度を向上させるために、コンピューティングデバイスは、オプションで、ブロブ検出、ブロブカウント、ブロブ追跡、閾値検出などのコンピュータビジョンまたは画像処理分析を使用することができる。
【0058】
画像平面からの画像の平均化は、ノイズを低減し、光スポットの位置の決定における精度を高めることができる。このような場合、追加の計算能力を使用して、平均化とノイズ抑制を実行できる。
【0059】
光スポットの位置の精度は、光スポットの画像の解像度に基づいて動的に調整することができる。光スポットの画像の解像度を上げると、感度及び／または精度だけでなく関連する計算、画像の送信のための帯域幅、及び／または計算及び／または送信における電力消費を改善することができる。
【0060】
図２に示されていないが、ホストデバイス２００はまた、カメラの１つの一部であるか、カメラから分離されるか、またはホストデバイスから分離され得る発光体を含むことができる。発光体は、発光ダイオード（ＬＥＤ）を含むことができる。発光体は、ホストデバイス２００のカメラの視野のための光源であり得る。
【0061】
オンボードプロセッサ２０８は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、またはマイクロプロセッサを含む組み込みプロセッサであり得るか、またはそれらを含み得る。
【0062】
オンボードプロセッサ２０８は、光学画像入力インタフェース２１０を介して光学カメラ２０４から受信された光学画像信号からの情報、及び赤外線画像入力インタフェース２１２を介して赤外線カメラ２０６から受信された赤外線画像信号からの情報を処理するように構成することができる。オンボードプロセッサ２０８は、光学画像信号及び赤外線画像信号からの処理された情報に基づいて、単一出力信号でデュアル処理された情報を提供するように構成することができる。オンボードプロセッサ２０８は、光学画像入力インタフェース２１０を介して光学カメラ２０４から受信された光学画像信号と、赤外線画像入力インタフェース２１２を介して赤外線カメラ２０６から受信された赤外線画像信号とに基づいてデュアル画像出力を生成するように構成することができる。
【0063】
カメラ２０４及び２０６の視野及び光軸は、カメラの構成によって、またはオンボードプロセッサ２０８またはホストデバイス２００の別のプロセッサによる信号処理などの信号処理によって、物理的に互いに位置合わせすることができる（例えば、図４に示されるホストプロセッサ４０２を参照されたい）。光学画像信号は、光学カメラ２０４の視野及び光学カメラの光軸を含むことができる。また、赤外線画像信号は、赤外線カメラ２０６の視野及び赤外線カメラの光軸を含むことができる。そして、カメラのこれらの視野と光軸は、物理的にまたは信号処理によって互いに位置合わせすることができる。
【0064】
いくつかの実施形態では、オンボードプロセッサ２０８は、反射スポットの画像を熱ピクセルに変換するアルゴリズムと、光学画像と熱画像をブレンドするアルゴリズムとを実行することができる。
【0065】
光学画像入力インタフェース２１０は、光学カメラ２０４から光学画像信号を受信するように構成することができる。光学画像入力インタフェース２１０は、デジタルビデオポート（ＤＶＰ）であり得るか、またはそれを含み得る。また、光学画像入力インタフェース２１０は、差動信号インタフェースもしくはシングルエンド信号インタフェースであり得るか、またはそれらを含み得る。
【0066】
本明細書で説明する部品によって使用されるＤＶＰは、高品位マルチメディアインタフェース（ＨＤＭＩ）、ビデオグラフィックスアレイ（ＶＧＡ）、デジタルビジュアルインタフェース（ＤＶＩ）、ディスプレイポート、または別のタイプのビデオフォーマットもしくはインタフェースのためのＤＶＰを含み得る。本明細書で説明される部品によって使用されるＤＶＰは、より短い距離のためのより低速のパラレルインタフェースを含むことができる。本明細書で説明される部品によって使用されるＤＶＰは、ピクセルごとのデータのすべてのビットが一度に送信されることを可能にするＤＶＰを含むことができる。
【0067】
また、光学画像入力インタフェース２１０は、画像またはビデオデータの通信に使用される標準的なインタフェースタイプを使用することができる。例えば、光学画像入力インタフェース２１０は、モバイル産業プロセッサインタフェース（ＭＩＰＩ）技術の使用を含むことができる。ＭＩＰＩ技術は、高速差動シリアルインタフェースを使用できる。ＭＩＰＩ技術は、光学画像入力インタフェース２１０の物理的構成に応じて、調整可能な量のデータライン（例えば、４つのデータライン）を使用することができる。例えば、Ｄ－ＰＨＹ、Ｍ－ＰＨＹ、Ｃ－ＰＨＹ、及びＡ－ＰＨＹの物理層規格を構成に使用できる。また、ＣＳＩ－１、ＣＳＩ－２、及びＣＳＩ－３カメラシリアルインタフェース規格を使用できる。Ｄ－ＰＨＹは、単方向及び／または半二重の通信をホストするための高解像度カメラに使用できる。Ｄ－ＰＨＹは低電力モード通信も可能にする。Ｃ－ＰＨＹは、通信をホストするための低コストで低解像度のカメラに使用できる。Ｍ－ＰＨＹは、Ｄ－ＰＨＹ及びＣＳＩ－２の代替として使用できる。Ｍ－ＰＨＹはＤ－ＰＨＹに似ているが、チップ間通信、及び双方向及び／または全二重通信も可能である。ＣＳＩ－２は、携帯電話のカメラインタフェースに一般的に使用されており、多くのビデオ形式と１～４ペアの差動信号で使用できる。一般に、ＭＩＰＩ技術には、厳密な相互運用性のボーレート及び通信周波数の定義を有することができる。また、ＭＩＰＩ技術により、スプリッタまたはスイッチを使用せずに、単一入力デバイスを複数の通信バスに接続できる。
【0068】
ＭＩＰＩ技術とは異なり、一般にＤＶＰ技術はＭＩＰＩ技術よりも統合が簡単である。通常、ＤＶＰには厳密な相互運用性のボーレート及び通信周波数の定義があり、ユーザが選択することはできない。また、ＤＶＰでは、スプリッタやスイッチなしで、単一入力デバイスを各通信バスに接続することしかできない。
【0069】
赤外線画像入力インタフェース２１２は、赤外線カメラ２０６から赤外線画像信号を受信するように構成することができる。赤外線画像入力インタフェース２１２は、シリアルペリフェラルインタフェース（ＳＰＩ）及び／または集積回路間（Ｉ２Ｃ）インタフェースであり得るか、またはそれらを含み得る。
【0070】
また、赤外線画像入力インタフェース２１２は、画像またはビデオデータの通信に使用される標準的なインタフェースタイプを使用することができる。例えば、前述のように、赤外線画像入力インタフェース２１２は、ＳＰＩ技術の使用を含むことができる。ＳＰＩ技術は４本の通信回線を使用できる。ＳＰＩ技術は、構成に応じてＤＶＰまたはＭＩＰＩ技術よりも低速または高速になる可能性があるという点で柔軟性がある。ＳＰＩ技術もカメラの入出力通信と両立しないわけではなく、多くの異なるセンサタイプ（図１に示す追加の感知デバイス１０６ａ、１０６ｂ、１０６ｃ、または１０６ｄに含まれるタイプなど）と組み合わせて使用できる。また、ＳＰＩ技術には、厳密な相互運用性のボーレートまたは通信周波数の定義はない。
【0071】
また、例えば、前述のように、赤外線画像入力インタフェース２１２は、Ｉ２Ｃ技術の使用を含むことができる。Ｉ２Ｃ技術は２本の通信回線を使用できる。Ｉ２Ｃ技術は、４つの異なる可能なボーレートと通信周波数速度に制限できる（例えば、１００ｋＢｉｔ／ｓの標準モード、４００ｋＢｉｔ／ｓのフルスピードモード、１ＭＢｉｔ／ｓの高速モード、及び３．２ＭＢｉｔ／ｓの高速モード）。Ｉ２Ｃを使用すると、通信バスに接続された各デバイスは一意のアドレスによってソフトウェアでアドレス指定でき、Ｉ２Ｃはマルチマスターバスを使用してアービトレーションと衝突検出を提供できる。
【0072】
単一出力インタフェース２１４は、オンボードプロセッサによって処理された１つまたは複数の信号を送信するように構成することができる。単一出力インタフェース２１４は、ＤＶＰであり得るか、またはＤＶＰを含むことができる。また、単一出力インタフェース２１４は、差動信号インタフェースもしくはシングルエンド信号インタフェースであり得るか、またはそれらを含み得る。また、単一出力インタフェース２１４は、ＭＩＰＩ技術であり得るか、またはそれを含むことができる。また、単一出力インタフェース２１４は、ＳＰＩ及び／またはＩ２Ｃ技術であり得るか、またはそれらを含み得る。単一出力インタフェース２１４は、単一バルク転送のためのインタフェースを含むことができる。また、単一出力インタフェース２１４は、物理的に単一出力インタフェースに組み合わされた２つ以上のインタフェースを含むことができる。単一出力インタフェース２１４は、１つのタイプの物理コネクタを含むことができる。いくつかの実施形態では、出力インタフェース２１４は、１つの出力インタフェースに組み合わされた複数のタイプの物理コネクタを含むことができる。
【0073】
ハイブリッドカメラのインタフェース構成は、ホストデバイスまたはハイブリッドカメラの使用設定によって異なる。例えば、相対的コストが低または中程度の優先度である場合、光学画像入力インタフェース２１０にＤＶＰを使用することが有利であり得る。相対的コストが高または中優先度である場合、光学画像入力インタフェース２１０にＭＩＰＩを使用することが有利であり得る。
【0074】
相対コストが低または中優先度である場合、単一出力インタフェース２１４にＤＶＰ、ＳＰＩ、またはＩ２Ｃを使用することが有利であり得る。相対コストが高または中優先度である場合、単一出力インタフェース２１４にＭＩＰＩを使用することが有利であり得る。一般に、ＭＩＰＩは、相対的なコストが高くなる可能性がある場合に使用できる。
【0075】
また、例えば、相対速度及び電力消費が低または中優先度である場合、赤外線画像入力インタフェース２１２にＩ２Ｃを使用することが有利であり得る。相対速度及び電力消費が高または中優先度である場合、赤外線画像入力インタフェース２１２にＳＰＩを使用することが有利であり得る。相対速度及び電力消費が低または中優先度である場合、単一出力インタフェース２１４にＩ２Ｃを使用することも有利であり得る。相対速度及び電力消費が高または中優先度である場合、単一出力インタフェース２１４にＤＶＰ、ＭＩＰＩ、またはＳＰＩを使用することが有利であり得る。一般に、Ｉ２Ｃは、相対速度と消費電力の優先度が低い場合に使用できる。
【0076】
【0077】
図３は、本開示のいくつかの実施形態による、ハイブリッドカメラを有するホストデバイスに設置または接続することができる例示的なコンピュータシステム３００の例示的な態様のブロック図である（例えば、図２に示されるオプションのコンピューティングデバイス２２２を参照のこと）図３は、システムのマシンに、本明細書で論じられる方法論のいずれか１つまたは複数の態様（複数可）を実行させるための命令のセットが実行され得るコンピュータシステム３００の部品を示す。いくつかの実施形態では、コンピュータシステム３００は、メモリを含むか、メモリに結合されるか、またはメモリを利用するか、またはコントローラの動作を実行するために（例えば、オペレーティングシステムを実行して、図１に示されているＣＨＳ１０４の１つまたは複数の態様に対応する動作を実行するために）使用され得るホストシステムに対応することができる。代替の実施形態では、マシンは、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット内の他のマシンに接続（例えば、ネットワーク化）することができる。マシンは、クライアントサーバネットワーク環境のクライアントマシンの能力の中で、ピアツーピア（または分散）ネットワーク環境のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境のクライアントマシンとして動作できる。
【0078】
システム３００のマシンは、そのマシンによって実行されるアクションを指定する命令のセット（順次またはその他）を実行することができる任意のマシンであり得る。さらに、単一マシンが例示されるが、用語「マシン」はまた、本明細書で考察される方法論のうちの任意の１つまたは複数の態様（複数可）を実行するために、個々でまたは共同して命令のセット（または複数のセット）を実行するマシンの任意の集まりを含めるように解釈されるべきである。
【0079】
例示的なコンピュータシステム３００は、処理装置３０２、メインメモリ３０４（例えば、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、スタティックメモリ３０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）及びデータストレージシステム３０８を含み、これらはバス３１４を介して相互に通信する。
【0080】
処理装置３０２は、マイクロプロセッサ、中央処理装置などのような１つまたは複数の汎用処理装置を表す。より具体的には、処理装置は、マイクロプロセッサもしくは他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであり得る。処理装置３０２はまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどのような１つまたは複数の特殊用途の処理装置であり得る。処理装置３０２は、図１に示されるＣＨＳ１０４に関連する動作など、本明細書で論じられる動作のいくつかを実行するための命令３１２を実行するように構成されている。システム３００は、ネットワークインタフェースデバイス（例えば、ホストデバイス２００を参照）を含む、ハイブリッドカメラを有するホストデバイスに設置または接続することができるコンピューティングデバイスの例であるため、システム３００のネットワークインタフェースデバイスは示されていない。
【0081】
また、図３には示されていないが、コンピュータシステム３００は、ホストデバイス２００及びシステム３００の外部のフィードバックソースからフィードバックを受信するためなどの入力／出力インタフェースを含むことができる。入出力インタフェースは、コンピュータビジョンデータに関するフィードバックとしてユーザ入力を受け取るためのユーザインタフェースを含むことができる。
【0082】
データ記憶システム３０８は、機械可読記憶媒体３１０（コンピュータ可読媒体としても知られている）を含むことができ、その上に、図１に示されるＣＨＳ１０４に関連する動作など、本明細書に記載の方法論または機能の任意の１つまたは複数の態様（複数可）を具体化する、命令３１２の１つまたは複数のセット、またはソフトウェアが格納される。命令３１２はまた、コンピュータシステム３００によるその実行中に、メインメモリ３０４内及び／または処理装置３０２内に完全にまたは少なくとも部分的に存在することができ、メインメモリ３０４及び処理装置３０２もまた機械可読記憶媒体を構成する。
【0083】
一実施形態では、命令３１２は、図１に示されるＣＨＳ１０４に対応する機能を実装するための命令を含む。機械可読記憶媒体３１０は単一媒体であるように一例の実施形態には示されているが、用語「機械可読記憶媒体」は、命令の１つまたは複数のセットを格納する単一媒体または複数の媒体を含むと解釈されるべきである。「機械可読記憶媒体」という用語はまた、機械によって実行するための命令のセットを記憶または符号化することができ、機械に本開示の方法論の任意の１つまたは複数の態様（複数可）を実行させる任意の媒体を含むと解釈されるべきである。用語「機械可読記憶媒体」はしたがって、限定するものではないがソリッドステートメモリ、光媒体、及び磁気媒体を含むと解釈されるべきである。
【0084】
図４は、本開示のいくつかの実施形態による、ハイブリッドカメラを有する別のホストデバイス（すなわち、ホストデバイス４００）の例示的な態様のブロック図である。示されるように、ホストデバイス４００は、単一出力インタフェース２１４がバス２１６に直接接続される代わりに、それがホストプロセッサ４０２に直接接続されることを除いて、ホストデバイス２００と同様である。ホストプロセッサ４０２は、バス２１６を介してホストデバイス４００の他の部品に接続されている。いくつかの実施形態では、ホストデバイスは、ホストプロセッサ４０２を含むことができるが、オンボードプロセッサ２０８は、バス２１６に直接接続することもできる（図４には示されていない）。
【0085】
図４はまた、ホストデバイス４００のマシンに、本明細書で論じられる方法論のいずれか１つまたは複数の、１つまたは複数の態様を実行させるための命令のセットが実行され得るホストデバイス４００の少なくとも一部を示す（例えば、オンボードプロセッサ２０８及びホストプロセッサ４０２を参照）。代替の実施形態では、マシンは、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット内の他のマシンに接続（例えば、ネットワーク化）することができる。マシンは、クライアントサーバネットワーク環境のクライアントマシンの能力の中で、ピアツーピア（または分散）ネットワーク環境のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境のクライアントマシンとして動作できる。
【0086】
ホストデバイス４００は、同様に、回路基板２０２、ならびに光学カメラ２０４、赤外線カメラ２０６、オンボードプロセッサ２０８、光学画像入力インタフェース２１０、赤外線画像入力インタフェース２１２、及び単一出力インタフェース２１４を含み、これらはすべて回路基板に取り付けられている。同様に、少なくとも回路基板２０２に取り付けられた部品は、ホストデバイス４００のハイブリッドカメラを構成する。いくつかの実施形態では、ホストデバイス４００全体がハイブリッドカメラと見なされる。
【0087】
図４に示すように、単一出力インタフェース２１４は、ホストプロセッサ４０２を介してバス２１６に接続されている。ホストプロセッサ４０２及びバス２１６は、別の回路基板または回路基板２０２の一部であり得る。また、いくつかの実施形態では、オンボードプロセッサ２０８とバス２１６との間の接続は、ホストプロセッサ４０２をバイパスする。また、図４に示すように、ホストデバイス４００は、電源２１８（例えば、バッテリ）、ネットワークインタフェースデバイス２２０、及びバス２１６を含む。いくつかの実施形態では、ホストデバイス４００はまた、コンピューティングデバイス２２２を含むことができる（例えば、図３に示されるコンピュータシステム３００を参照）。回路基板２０２及びその取り付け部品、ならびに電源２１８、ネットワークインタフェースデバイス２２０、ホストプロセッサ４０２、及びオプションのコンピューティングデバイス２２２は、バス２１６を介して互いに通信可能に結合することができる。ホストデバイス４００のネットワークインタフェースデバイス２２０は、図１のＬＡＮ／ＷＡＮネットワーク（複数可）１１２を介して他のデバイスと通信することができる。
【0088】
ホストプロセッサ４０２は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、またはマイクロプロセッサを含む組み込みプロセッサであり得るか、またはそれらを含み得る。
【0089】
図５は、本開示のいくつかの実施形態による、ホストデバイス４００のオンボードプロセッサ２０８及びホストプロセッサ４０２の例示的な態様のブロック図である。示されるように、オンボードプロセッサ２０８は、個別画像キャプチャ回路５０２、ハイブリッド画像キャプチャ回路５０４、個別画像特徴抽出回路５０６、ハイブリッド画像特徴抽出回路５０８、及びオンボードサブプロセッサ５１０を含む。また、示されるように、ホストプロセッサ４０２は、個別画像キャプチャ回路５１２、ハイブリッド画像キャプチャ回路５１４、個別画像ヒューリスティック抽出回路５１６、ハイブリッド画像ヒューリスティック抽出回路５１８、及びホストサブプロセッサ５２０を含む。オンボードプロセッサ２０８及びホストプロセッサ４０２の各回路は、ＣＨＳ１０４の一部であり得、ホストデバイス４００内及び／またはホストデバイス４００の外部の１つまたは複数のコンピューティングデバイス上に存在し得る。
【0090】
オンボードプロセッサ２０８の個別画像キャプチャ回路５０２は、光学画像入力インタフェース２１０を介して光学カメラ２０４から光学画像信号を受信するように構成することができる。個別画像キャプチャ回路５０２は、受信した光学画像信号に基づいて個別の光学画像を導出するように構成することもできる。導出された光学画像（個々の画像キャプチャ回路５０２から導出された光学画像など）の例示的な描写については、図８を参照されたい。オンボードプロセッサ２０８の個別画像キャプチャ回路５０２はまた、赤外線画像入力インタフェース２１２を介して赤外線カメラ２０６から赤外線画像信号を受信するように構成することができる。個別画像キャプチャ回路５０２は、受信した赤外線画像信号に基づいて個別赤外線画像を導出するように構成することもできる。導出された赤外線画像（個別画像キャプチャ回路５０２から導出された赤外線画像など）の例示的な描写については、図９を参照されたい。
【0091】
オンボードプロセッサ２０８のハイブリッド画像キャプチャ回路５０４は、光学画像入力インタフェース２１０を介して光学カメラ２０４から光学画像信号を受信するとともに、赤外線画像入力インタフェース２１２を介して赤外線カメラ２０６から赤外線画像信号を受信するように構成することができる。ハイブリッド画像キャプチャ回路５０４はまた、デュアル画像出力信号を導出し、次に、受信された光学画像信号及び受信された赤外線画像信号に基づいてデュアル画像を導出するように構成され得る。導出されたデュアル画像（ハイブリッド画像キャプチャ回路５０４から導出された光学及び赤外線画像要素を含む導出されたデュアル画像など）の例示的な描写については、図１０を参照されたい。
【0092】
オンボードプロセッサ２０８の個々の画像特徴抽出回路５０６は、コンピュータビジョンアルゴリズムに基づいて、個別画像キャプチャ回路５０２によって導出された光学画像または赤外線画像からグラフィック特徴を決定するように構成することができる。オンボードプロセッサ２０８の個別画像特徴抽出回路５０６はまた、決定されたグラフィック特徴を示す光学画像または赤外線画像にラベリングを追加するように構成することができる。
【0093】
オンボードプロセッサ２０８のハイブリッド画像特徴抽出回路５０８は、コンピュータビジョンアルゴリズムに基づいて、ハイブリッド画像キャプチャ回路５０４によって導出されデュアル画像からグラフィック特徴を決定するように構成することができる。オンボードプロセッサ２０８のハイブリッド画像特徴抽出回路５０８はまた、決定されたグラフィック特徴を示すデュアル画像にラベリングを追加するように構成することができる。
【0094】
図１０に示されるラベル付けされた特徴１００２、１００４、１００６、１００８、及び１０１０は、導出されたデュアル画像（光学及び赤外線画像要素を含む導出されたデュアル画像、ならびにハイブリッド画像特徴抽出回路５０８から導出されたラベル付けされた特徴など）に追加された決定された特徴の追加されたラベリングの例示的な描写を示す。特徴１００２は、正方形のボックス内に示され、識別された人物の顔を有するデュアル画像の領域を表す。特徴１００４及び１００６は、それぞれの正方形のボックス内に示され、各特徴は、識別された人の目を有するデュアル画像の領域を表す。特徴１００８は円内に示され、ボックスの幾何学的中心であるデュアル画像の領域を表し、これは、人がどちらの方向を見ているかを決定する時に使用することができる。特徴１０１０は、識別された人物の他の部分と比較して比較的大量の熱を放出するデュアル画像の領域を表すプラス記号として示されている。
【0095】
オンボードプロセッサ２０８のオンボードサブプロセッサ５１０は、画像の導出、特徴の決定、及び特徴のラベリングをさらに強化するように構成することができる。例えば、オンボードサブプロセッサ５１０は、画像の導出、特徴の決定、及び特徴のラベリングのための算術処理を提供することができる。また、例えば、オンボードサブプロセッサ５１０は、個別画像キャプチャ回路５０２、ハイブリッド画像キャプチャ回路５０４、個別画像特徴抽出回路５０６、及びハイブリッド画像特徴抽出回路５０８からの第１のデータセットを受信して、さらなるコンピュータビジョンアルゴリズムに基づいて、第１のデータセットを第２のデータセットに変換することができる。いくつかの例では、オンボードサブプロセッサ５１０によって実行されるコンピュータビジョンアルゴリズムは、オンボードプロセッサ２０８の他の回路によって導出及び識別された画像及び画像特徴を微調整することができる。
【0096】
ホストプロセッサ４０２の個別画像キャプチャ回路５１２は、単一出力インタフェース２１４を介して、オンボードプロセッサ２０８から処理された光学画像信号を受信するように構成することができる。個別画像キャプチャ回路５１２はまた、単一出力インタフェース２１４を介して、オンボードプロセッサ２０８から処理された赤外線画像信号を受信するように構成することができる。個別画像キャプチャ回路５１２はまた、処理された光学画像信号または処理された赤外線画像信号をさらに精緻化及び／または処理して、強化された個別画像を導出するように構成することができる。可能な強化された光学及び赤外線画像の例示的な描写については、図８及び９を参照されたい。
【0097】
ホストプロセッサ４０２のハイブリッド画像キャプチャ回路５１４は、単一出力インタフェース２１４を介して、オンボードプロセッサ２０８から処理されたデュアル画像を表す画像信号を受信するように構成することができる。ハイブリッド画像キャプチャ回路５１４はまた、デュアル画像を表す受信画像信号をさらに精緻化及び／または処理して、強化されたデュアル画像を導出するように構成することができる。可能な強化されたデュアル画像の例示的な描写については、図１０を参照されたい。
【0098】
ホストプロセッサ４０２の個別画像ヒューリスティック抽出回路５１６は、ヒューリスティックアルゴリズムを含む追加のコンピュータビジョンアルゴリズムに基づいて、個別画像キャプチャ回路５０２によって導出され、個別画像特徴抽出回路５０６によってさらに処理された光学画像または赤外線画像から、追加の、もしくはグラフィカルな特徴を決定するか、または強化された、もしくは微調整され決定された特徴を決定するように構成することができる。個別画像ヒューリスティック抽出回路５１６はまた、光学画像または赤外線画像にさらにラベリングを追加するか、またはラベリングを強化または精緻化するように構成することができる。
【0099】
ホストプロセッサ４０２のハイブリッド画像ヒューリスティック抽出回路５１８は、ヒューリスティックアルゴリズムを含む追加のコンピュータビジョンアルゴリズムに基づいて、ハイブリッド画像キャプチャ回路５０４によって導出され、ハイブリッド画像特徴抽出回路５０８によってさらに処理されたデュアル画像から、追加の、もしくはグラフィカルな特徴を決定するか、または強化された、もしくは微調整され決定された特徴を決定するように構成することができる。ハイブリッド画像ヒューリスティック抽出回路５１８はまた、デュアル画像のラベリングにさらにラベリングを追加するか、またはラベリングを強化もしくは精緻化するように構成することができる。図１０に示されるラベル付けされた特徴１００２、１００４、１００６、１００８、及び１０１０は、ホストプロセッサ４０２のハイブリッド画像ヒューリスティック抽出回路５１８による可能なさらなるラベリングまたは強化または精緻化ラベリングの例示的な描写を示す。
【0100】
ホストプロセッサ４０２のホストサブプロセッサ５２０は、画像の導出、特徴の決定、及び単一出力インタフェース２１４を介してオンボードプロセッサ２０８から通信される画像情報の特徴のラベリング、ならびにホストプロセッサ４０２の他の回路から通信される同様の情報をさらに強化するように構成することができる。例えば、ホストサブプロセッサ５２０は、画像の導出、特徴の決定、及び特徴のラベリングのための追加の算術処理を提供することができる。また、例えば、ホストサブプロセッサ５２０は、変換された第２のデータセットをオンボードプロセッサ２０８から受信し、さらなるコンピュータビジョンアルゴリズムに基づいて、第２のデータセットを第３のデータセットに変換することができる。いくつかの例では、ホストサブプロセッサ５２０によって実行されるコンピュータビジョンアルゴリズムは、オンボードプロセッサ２０８及びホストプロセッサ４０２の他の回路によって導出及び識別された画像及び画像特徴をさらに微調整することができる。
【0101】
図６は、本開示のいくつかの実施形態による、コンピュータシステムの例示的な態様のブロック図である（例えば、コンピューティングデバイス１１０または１１１を参照）。図６は、システムのマシンに、本明細書で論じられる方法論のいずれか１つまたは複数の態様（複数可）を実行させるための命令のセットが実行され得るコンピュータシステム６００の部品を示す。いくつかの実施形態では、コンピュータシステム６００は、メモリを含むか、メモリに結合されるか、またはメモリを利用するか、またはコントローラの動作を実行するために（例えば、オペレーティングシステムを実行して図１に示されるＣＨＳ１０４に対応する動作を実行するために）使用され得るホストシステムに対応することができる。代替の実施形態では、マシンは、ＬＡＮ、イントラネット、エクストラネット、及び／またはインターネット内の他のマシンに接続（例えば、ネットワーク化）することができる。マシンは、クライアントサーバネットワーク環境のサーバまたはクライアントマシンの能力の中で、ピアツーピア（または分散）ネットワーク環境のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境のサーバまたはクライアントマシンとして動作できる。
【0102】
マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチもしくはブリッジ、または現金自動支払い機（ＡＴＭ）などのそのマシンが取るべきアクションを指定する命令のセットを（順次または別の方法で）実行することが可能な任意のマシンであってよい。さらに、単一マシンが例示されるが、用語「マシン」はまた、本明細書で考察される方法論のうちの任意の１つまたは複数の態様（複数可）を実行するために、個々でまたは共同して命令のセット（または複数のセット）を実行するマシンの任意の集まりを含めるように解釈されるべきである。
【0103】
例示的なコンピュータシステム６００は、処理装置６０２、メインメモリ６０４（例えば、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、スタティックメモリ６０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）及びデータストレージシステム６０８を含み、これらはバス６１４を介して相互に通信する。
【0104】
処理装置６０２は、マイクロプロセッサ、中央処理装置などのような１つまたは複数の汎用処理装置を表す。より具体的には、処理装置は、マイクロプロセッサもしくは他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであり得る。処理装置６０２はまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどのような１つまたは複数の特殊用途の処理装置であり得る。処理装置６０２は、図１に示されるＣＨＳ１０４に関連する動作など、本明細書で論じられる動作を実行するための命令６１２を実行するように構成されている。コンピュータシステム６００は、図１のＬＡＮ／ＷＡＮネットワーク（複数可）１１２を介して通信するためのネットワークインタフェースデバイス６１６をさらに含むことができる。
【0105】
また、図６には示されていないが、コンピュータシステム６００は、システム６００の外部のフィードバックソースからフィードバックを受信するためなどの入力／出力インタフェースを含むことができる。入出力インタフェースは、コンピュータビジョンデータに関するフィードバックとしてユーザ入力を受け取るためのユーザインタフェースを含むことができる。
【0106】
データ記憶システム６０８は、機械可読記憶媒体６１０（コンピュータ可読媒体としても知られている）を含むことができ、その上に、図１に示されるＣＨＳ１０４に関連する動作など、本明細書に記載の方法論または機能の任意の１つまたは複数の態様（複数可）を具体化する、命令６１２の１つまたは複数のセット、またはソフトウェアが格納される。命令６１２はまた、コンピュータシステム６００によるその実行中に、メインメモリ６０４内及び／または処理装置６０２内に完全にまたは少なくとも部分的に存在することができ、メインメモリ６０４及び処理装置６０２もまた機械可読記憶媒体を構成する。
【0107】
一実施形態では、命令６１２は、図１に示されるＣＨＳ１０４に対応する機能を実装するための命令を含む。機械可読記憶媒体６１０は単一媒体であるように一例の実施形態には示されているが、用語「機械可読記憶媒体」は、命令の１つまたは複数のセットを格納する単一媒体または複数の媒体を含むと解釈されるべきである。「機械可読記憶媒体」という用語はまた、機械によって実行するための命令のセットを記憶または符号化することができ、機械に本開示の方法論の任意の１つまたは複数の態様（複数可）を実行させる任意の媒体を含むと解釈されるべきである。用語「可読記憶媒体」はしたがって、限定するものではないがソリッドステートメモリ、光媒体、及び磁気媒体を含むと解釈されるべきである。
【0108】
図７は、本開示のいくつかの実施形態による、ハイブリッドカメラを有するホストデバイス（例えば、ホストデバイス２００または４００）を利用する例示的な方法７００の流れ図である。方法７００は、ハードウェア（例えば、処理装置、回路、専用ロジック、プログラム可能なロジック、マイクロコード、デバイスのハードウェア、集積回路など）、ソフトウェア（例えば、処理装置上で動作または実行される命令）、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る少なくとも１つの動作を含む。いくつかの実施形態では、本方法の態様は、ハイブリッドカメラを有するホストデバイス（例えば、ホストデバイス１０２ａ、１０２ｂ、１０２ｃ、２００、または４００）の１つまたは複数の態様によって実行することができる。特定の順番または順序で示されているが、特に指定がない限り、プロセスの順序は変更できる。したがって、図示された実施形態は例としてのみ理解されるべきであり、図示されたプロセスは異なる順序で実行することができ、いくつかのプロセスは並行して実行することができる。さらに、様々な実施形態では、１つまたは複数のプロセスを省略できる。したがって、すべての実施形態においてすべてのプロセスが必要とされるわけではない。他のプロセスフローも可能である。
【0109】
ブロック７０２において、方法７００は、装置（ホストデバイス及び／またはハイブリッドカメラなど）の電源を入れることを含む。装置は、回路基板（例えば、回路基板２０２）、回路基板に取り付けられた光学カメラ（例えば、光学カメラ２０４）、回路基板に取り付けられた赤外線カメラ（例えば、赤外線カメラ２０６）、及び回路基板に取り付けられたオンボードプロセッサ（例えば、オンボードプロセッサ２０８）を含むことができる。
【0110】
いくつかの実施形態では、赤外線カメラは、熱画像センサ（ＴＩＳ）を含む。
【0111】
いくつかの実施形態では、赤外線カメラは、光反射面及び赤外線検知面を備える複数のマイクロミラーを備える赤外線検知センサを含む。そして、そのような実施形態では、赤外線検出センサは、赤外線感知面によって感知された赤外線の強度の関数として、反射面に入射する光を偏向させるように構成されている。
【0112】
ブロック７０４において、方法７００は、オンボードプロセッサの光学画像入力インタフェース（例えば、光学画像入力インタフェース２１０）によって、光学カメラからの光学画像信号を受信することを含む。いくつかの実施形態では、光学画像入力インタフェースは、デジタルビデオポート（ＤＶＰ）、差動信号インタフェース、及び／またはシングルエンド信号インタフェースを含む。
【0113】
ブロック７０６において、方法７００は、オンボードプロセッサの赤外線画像入力インタフェース（例えば、赤外線画像入力インタフェース２１２）によって、赤外線カメラからの赤外線画像信号を受信することを含む。いくつかの実施形態では、赤外線画像入力インタフェースは、シリアルペリフェラルインタフェース（ＳＰＩ）または集積回路間（Ｉ２Ｃ）インタフェースを含む。
【0114】
ブロック７０８において、方法７００は、オンボードプロセッサによって、光学画像入力インタフェースを介して光学カメラインタフェースから受信された光学画像信号からの情報、及び赤外線画像入力インタフェースを介して赤外線カメラから受信された赤外線画像信号からの情報を処理することを含む。ブロック７０８において、方法７００はまた、オンボードプロセッサによって、処理された情報に基づいて単一出力信号でデュアル処理された情報を提供することを含むことができる。ブロック７０８において、この方法はまた、オンボードプロセッサによって、光学画像入力インタフェースを介して光学カメラインタフェースから受信された光学画像信号と、赤外線画像入力インタフェースを介して赤外線カメラから受信された赤外線画像信号とに基づいてデュアル画像出力を生成することを含み得る。
【0115】
いくつかの実施形態では、光学画像信号は、光学カメラの視野及び／または光学カメラの光軸を含む。そして、いくつかの実施形態では、赤外線画像信号は、赤外線カメラの視野及び／または赤外線カメラの光軸を含むことができる。また、カメラの視野及び光軸は、カメラの構成及び配置から、及び／またはオンボードプロセッサによって、互いに位置合わせすることができる。光学画像と赤外線画像の位置合わせにより、オンボードプロセッサの単一出力を介して送信できる光学画像と赤外線画像の独自の組み合わせ及びブレンド画像が可能になる。
【0116】
ブロック７１０において、方法７００は、オンボードプロセッサの単一出力インタフェース（例えば、単一出力インタフェース２１４）によって、オンボードプロセッサによって処理された１つまたは複数の信号を送信することを含む。いくつかの実施形態では、オンボードプロセッサの単一出力インタフェースは、デジタルビデオポート（ＤＶＰ）、差動信号インタフェース、及び／またはシングルエンド信号インタフェース、またはシリアルペリフェラルインタフェース（ＳＰＩ）または集積回路間（Ｉ２Ｃ）インタフェースを含む。
【0117】
ブロック７１２において、方法７００は、オンボードプロセッサの単一出力インタフェースによってオンボードプロセッサに接続されたホストプロセッサ（例えば、ホストプロセッサ４０２）によって、単一出力インタフェースを介してオンボードプロセッサから処理された情報を受信することを含む。
【0118】
ブロック７１４において、方法７００は、ホストプロセッサによって、単一出力インタフェースを介してオンボードプロセッサから受信された処理された情報をさらに処理することを含む。ブロック７１４において、方法７００はまた、ホストプロセッサによって、さらに処理された情報に基づいて、追加の単一出力信号でさらにデュアル処理された情報を提供することを含むことができる。ブロック７１４において、方法はまた、ホストプロセッサによって、オンボードプロセッサから受信された処理された情報に基づいて、さらなるデュアル画像出力を生成することを含むことができる。
【0119】
いくつかの実施形態では、オンボードプロセッサから受信された処理された情報内の光学画像情報は、光学カメラの視野及び／または光学カメラの光軸を含む。また、オンボードプロセッサから受信した処理された情報内の赤外線画像情報は、赤外線カメラの視野及び／または赤外線カメラの光軸を含むことができる。そして、カメラの視野及び光軸は、オンボードプロセッサ及び／またはホストプロセッサによって、カメラの構成及び配置から互いに位置合わせすることができる。光学画像と赤外線画像の位置合わせにより、オンボードプロセッサ及び／またはホストプロセッサのそれぞれの単一出力を介して送信できる、光学画像と赤外線の独自の組み合わせ及びブレンド画像が可能になる。
【0120】
前述の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する操作のアルゴリズムと記号表現の観点から提示されている。これらのアルゴリズムの説明と表現は、データ処理の当業者が自分の仕事の実態を他の当業者に最も効果的に伝えるために使用する方法である。アルゴリズムはここにおいて、一般に、所定の望ましい結果につながる自己矛盾のない動作のシーケンスであると考えられている。この動作は、物理量の物理的操作を要する動作である。通常、必須ではないが、これらの量は、格納され、組み合わされ、比較され、またさもなければ操作されることが可能な、電気または磁気信号の形をとる。主に一般的使用上の理由で、これらの信号をビット、値、要素、記号、文字、用語、番号、及び類似物などと称することは、時に好都合であることがわかっている。
【0121】
しかしながら、これら及び類似の用語はすべて、適切な物理量に関連付けられており、これらの量に適用される便利なラベルにすぎないことに注意されたい。本開示は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）量として表されるデータを操作し、同様にコンピュータシステムのメモリまたはレジスタまたは他のそのような情報ストレージシステム内の物理的量として表される他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスの動作及びプロセスを指すことができる。
【0122】
本開示はまた、本明細書の操作を実行するための装置に関する。装置は、意図された目的のために特別に構築することができ、または装置は、コンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成された汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定するものではないが、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び磁気光学ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードまたは光カード、または電子命令を格納するのに適した任意のタイプの媒体を含む任意のタイプのディスクなどの、それぞれがコンピュータシステムバスに結合されている、コンピュータ可読記憶媒体に格納することができる。
【0123】
本明細書に提示されるアルゴリズム及び表示は、特定のコンピュータまたは他の装置に本質的に関連していない。様々な汎用システムを本明細書の教示に従って書かれたプログラムとともに使用することができ、または、本方法を実行するためにさらに特化した装置を構築するのが好都合であるのを証明できる。これらの様々なシステムの構造は、以下の説明に記載されているとおりである。加えて、本開示は、特定のプログラミング言語を参照して説明されていない。本明細書に記載されるように、本開示の教示を実施するために様々なプログラミング言語を使用できることが理解されよう。
【0124】
本開示は、コンピュータシステム（または他の電子デバイス）をプログラムして、本開示に従ってプロセスを実行するために使用することができる、命令を格納した機械可読媒体を含むことができるコンピュータプログラム製品またはソフトウェアとして提供することができる。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形式で情報を格納するための任意のメカニズムを含む。いくつかの実施形態では、機械可読（例えば、コンピュータ可読）媒体は、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスクストレージ媒体、光ストレージ媒体、フラッシュメモリコンポーネントなどの機械（例えば、コンピュータ）可読記憶媒体を含む。
【0125】
上述の明細書では、本開示の実施形態は、その特定の例示的な実施形態に関して説明されてきた。以下の特許請求の範囲に記載される本開示の実施形態のより広範の趣旨及び範囲から逸脱することなく、様々な修正が本明細書に加えられ得ることは明らかである。したがって、明細書及び図面は、制限的な意味ではなくて例示的な意味で考慮される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】