特許 7599043 カメラおよび画像伝送方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】カメラおよび画像伝送方法

(51)【国際特許分類】

   H04N 23/20 20230101AFI20241205BHJP

   H04N 1/46 20060101ALI20241205BHJP

   G01J 5/48 20220101ALI20241205BHJP

【ＦＩ】

H04N23/20

H04N1/46

G01J5/48 A

G01J5/48 D

【請求項の数】 10

(21)【出願番号】P 2024001590

(22)【出願日】2024-01-10

【審査請求日】2024-01-10

(73)【特許権者】

【識別番号】515076622

【氏名又は名称】菱光科技股▲ふん▼有限公司

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】宋 育寰

(72)【発明者】

【氏名】▲呉▼ 少洋

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】中国特許出願公開第１１１０２６７０８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１３５６６９７６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４０１８４１３（ＣＮ，Ａ）

【文献】特開２０２０－１９１５６０（ＪＰ，Ａ）

【文献】特開２０２０－０２８１０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ９／０１－９／１１，

２３／００－２３／９５９，

２５／００－２５／７９

Ｈ０４Ｎ ５／２２２－５／２５７、５／３０－５／３３

Ｈ０４Ｎ １／４６

Ｈ０４Ｎ ７／１８

Ｇ０１Ｊ ５／００－５／９０

(57)【特許請求の範囲】

【請求項1】

生センシングデータを生成するように構成されている赤外線サーモセンサと、
前記赤外線サーモセンサにカップリングされており、前記生センシングデータを処理し、画素データサイズが１バイトである非可視光画像、および単位データサイズが２バイトである複数の温度データを生成するように構成されているプロセッサと、
前記プロセッサにカップリングされており、複数の伝送インタフェースを含み、前記複数の伝送インタフェースのうちの１つを介して前記画素データサイズが３バイトである異種画像を伝送するように構成されているインタフェースモジュールであって、前記３バイトのビット値は、前記１バイトの前記ビット値と前記２バイトの前記ビット値との線形結合であるインタフェースモジュールと、を含み
前記プロセッサは、赤緑青のカラーモデルチャネルに応じて、前記非可視光画像を前記複数の温度データと結合し、可視光画像形式を持つ前記異種画像を得るように構成されている、カメラ。

【請求項2】

前記非可視光画像は、前記複数の温度データがそれぞれ対応する複数の画素を含み、
前記プロセッサは、それぞれ前記非可視光画像のｋ番目画素、および前記ｋ番目画素に対応する前記温度データを、前記異種画像の各画素の前記画素データサイズが前記３バイトになるように、前記異種画像の前記ｋ番目画素に結合するように構成されており、
ｋは、前記異種画像の解像度以下の正の整数である、請求項１に記載のカメラ。

【請求項3】

前記プロセッサは、前記非可視光画像の１画素を前記赤緑青のカラーモデルチャネルのうちの１つのチャネル位置に配置し、前記非可視光画像の前記１画素に対応する前記温度データを前記赤緑青のカラーモデルチャネルの残りの２つのチャネル位置に配置し、それらを結合して前記異種画像の１画素を得るように構成されている、請求項１に記載のカメラ。

【請求項4】

前記赤緑青のカラーモデルチャネルは、それぞれがカラーチャネルビットサイズを有する赤のカラーチャネル、緑のカラーチャネル、および青のカラーチャネルを含み
前記非可視光画像の前記画素データサイズは、前記カラーチャネルビットサイズと等しく、前記温度データの前記単位データサイズは、前記カラーチャネルビットサイズの２倍である、請求項１に記載のカメラ。

【請求項5】

前記温度データの前記２バイトは、第１部分および第２部分を有し、
前記プロセッサは、各前記温度データの前記第１部分および前記第２部分の前記ビット値の線形結合を、前記異種画像の前記３バイトの一部として算出するように構成されている、請求項１に記載のカメラ。

【請求項6】

赤外線サーモセンサ、プロセッサ、およびインタフェースモジュールを含み、前記プロセッサが前記赤外線サーモセンサおよび前記インタフェースモジュールにカップリングされているカメラに用いられる画像伝送方法であって、
前記赤外線サーモセンサにより、生センシングデータを生成するステップと、
前記プロセッサにより、前記生センシングデータを処理し、画素データサイズが１バイトである非可視光画像、および単位データサイズが２バイトである複数の温度データを生成するステップと、
前記プロセッサにより、赤緑青のカラーモデルチャネルに応じて、前記非可視光画像を前記複数の温度データと結合し、前記画素データサイズが３バイトであり且つ可視光画像形式を持つ異種画像を得るステップであって、前記３バイトのビット値は、前記１バイトの前記ビット値と前記２バイトの前記ビット値との線形結合であるステップと、
前記インタフェースモジュールの複数の伝送インタフェースのうちの１つを介して前記異種画像を伝送するステップとを含む、画像伝送方法。

【請求項7】

前記非可視光画像は、前記複数の温度データがそれぞれ対応する複数の画素を含み、
前記非可視光画像を前記複数の温度データと結合して前記異種画像を得るステップは、
前記非可視光画像のｋ番目画素と前記ｋ番目画素に対応する前記温度データを、前記異種画像の各画素の前記画素データサイズが前記３バイトになるように、前記異種画像の前記ｋ番目画素にそれぞれ結合することを含み、
ｋは、前記異種画像の解像度以下の正の整数である、請求項６に記載の画像伝送方法。

【請求項8】

前記非可視光画像を前記複数の温度データと結合して前記異種画像を得るステップは、
前記非可視光画像の１画素を前記赤緑青のカラーモデルチャネルのうちの１つのチャネル位置に配置し、前記非可視光画像の前記１画素に対応する前記温度データを前記赤緑青のカラーモデルチャネルの残りの２つのチャネル位置に配置し、それらを結合して前記異種画像の１画素を得ることを含む、請求項６に記載の画像伝送方法。

【請求項9】

前記赤緑青のカラーモデルチャネルは、それぞれがカラーチャネルビットサイズを有する赤のカラーチャネル、緑のカラーチャネル、および青のカラーチャネルを含み、
前記非可視光画像の前記画素データサイズは、前記カラーチャネルビットサイズと等しく、各前記温度データの前記単位データサイズは、前記カラーチャネルビットサイズの２倍である、請求項６に記載の画像伝送方法。

【請求項10】

前記温度データの前記２バイトは、第１部分および第２部分を有し、
前記非可視光画像を前記複数の温度データと結合して前記異種画像を得るステップは、
各前記温度データの前記第１部分および前記第２部分の前記ビット値の線形結合を、前記異種画像の前記３バイトの一部として算出することをさらに含む、請求項６に記載の画像伝送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラに関し、特に非可視光で使用されるカメラおよびその画像伝送方法に関するものである。

【背景技術】

【0002】

カメラから出力される画像の種類は、カメラのセンサの種類に応じて、可視光画像と非可視光画像（または赤外線熱画像とも呼ばれる）に分けられる。可視光画像の画像形式は既に標準化されており、技術者は標準ファイルに従って可視光画像の処理と伝送を行う。しかしながら、非可視光画像はまだ標準形式が定められていないので、カメラから出力される画像が非可視光画像である場合、技術者は標準に従って関連する機能を開発することができない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、非標準形式の画像やデータに対する画像処理や伝送をいかに簡素化するかが、本発明が解決しようとする技術的課題である。

【課題を解決するための手段】

【0004】

本発明の目的は、赤外線サーモセンサ、プロセッサ、インタフェースモジュールを含むカメラを提供することにある。プロセッサは、赤外線サーモセンサおよびインタフェースモジュールにカップリングされている。赤外線サーモセンサは、生センシングデータを生成するように構成されている。プロセッサは、生センシングデータを処理し、画素データサイズが１バイトである非可視光画像、および単位データサイズが２バイトである複数の温度データを生成するように構成されている。インタフェースモジュールは、複数の伝送インタフェースを含み、複数の伝送インタフェースのうちの１つを介して画素データサイズが３バイトである異種画像を伝送するように構成され、３バイトのビット値は１バイトのビット値と２バイトのビット値との線形結合である。プロセッサは、赤緑青のカラーモデルチャネルに応じて、非可視光画像を複数の温度データと結合し、可視光画像形式を持つ異種画像を得るように構成されている。

【0005】

本発明の他の一つの目的は、赤外線サーモセンサ、プロセッサ、およびインタフェースモジュールを含み、プロセッサが赤外線サーモセンサおよびインタフェースモジュールにカップリングされているカメラに用いられる画像伝送方法を提供することにある。画像伝送方法は、赤外線サーモセンサにより、生センシングデータを生成するステップと、プロセッサにより生センシングデータを処理し、画素データサイズが１バイトである非可視光画像、および単位データサイズが２バイトである複数の温度データを生成するステップと、プロセッサにより、赤緑青のカラーモデルチャネルに応じて、非可視光画像を複数の温度データと結合し、画素データサイズが３バイトであり且つ可視光画像形式を持つ異種画像を得るステップであって、３バイトのビット値は１バイトのビット値と２バイトのビット値の線形結合であるステップと、インタフェースモジュールの複数の伝送インタフェースのうちの１つを介して異種画像を伝送するステップと、を含む。

【図面の簡単な説明】

【0006】

【図1】可視光カメラで撮像された画像のデータ形式、各データ形式に適用される伝送インタフェース、ならびに伝送インタフェースに対応する通信プロトコルの模式図である。

【図2】赤外線カメラで生成されるセンシングデータおよびそのデータ形式に適用可能な伝送インタフェース、ならびに通信プロトコルの模式図である。

【図3】本発明の一実施形態によるカメラのブロック図である。

【図4】本発明の一実施形態によるカメラに用いられる画像伝送方法のフローチャートである。

【図5】本発明の一実施形態による生センシングデータの分析の模式図である。

【図6】本発明の一実施形態による非可視光画像と温度データの結合の模式図である。

【図7】本発明の一実施形態による非可視光画像と温度データの結合により得られる可視光画像形式を持つ異種画像の模式図である。

【図8】本発明の一実施形態によるカメラで生成される画像、温度データおよび適合する伝送インタフェースの模式図である。

【発明を実施するための形態】

【0007】

以下、本発明の属する技術分野における当業者が本発明をより良く理解し、適宜実施することができるように、添付図面及び実施形態を用いて本発明を更に説明するが、開示された実施形態は本発明を限定するものではない。

【0008】

図１は、可視光カメラで撮像された画像のデータ形式、各データ形式に適用される伝送インタフェース、ならびに伝送インタフェースに対応する通信プロトコルの模式図である。可視光カメラ（ｖｉｓｉｂｌｅ ｌｉｇｈｔ ｃａｍｅｒａ）１００は、可視光を検出して画像１０５を生成することが可能である。画像１０５は可視光画像であり、画像形式１１５がＹＵＶ（Ｌｕｍａ，Ｃｈｒｏｍｉｎａｎｃｅ，ａｎｄ Ｃｈｒｏｍａ）形式、ＲＧＢ画像チャネル形式、生データ（ｒａｗ ｄａｔａ）形式などを含むがこれらに限定されない標準化された画像である。

【0009】

可視光カメラ１００は、対応する通信プロトコル１２５を介して画像１０５を伝送する複数の伝送インタフェース１２０を含む。例えば、伝送インタフェース１２０は、ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，ＵＳＢ）、モバイルインダストリープロセッサインタフェース（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ，ＭＩＰＩ）、イーサネット（Ｅｔｈｅｒｎｅｔ）、および相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ，ＣＭＯＳ）センサに適用されるインタフェースなどを含むが、これらに限定されない。

【0010】

画像１０５は、標準化された画像形式を有する可視光画像であり、可視光カメラ１００は、工業規格の伝送インタフェース１２０および通信プロトコル１２５を介して、標準化された画像１０５を受信側（図示せず）に伝送することができる。図１において、画像形式１１５と伝送インタフェース１２０との間の接続線は、各種の画像形式１１５と各種の伝送インタフェース１２０との適合性を表すものである。例えば、可視光カメラ１００は、ＵＳＢ、ＭＩＰＩ、Ｅｈｔｅｒｎｅｔ、またはＣＭＯＳの伝送インタフェース１２０を介して、画像形式１１５がＹＵＶ形式である画像１０５を伝送することが可能である。しかしながら、可視光カメラ１００の画像形式１１５および伝送インタフェース１２０は標準化されているが、非可視光画像のデータ形式は標準が定められていない。ユーザにとって、標準化された画像形式１１５および伝送インタフェース１２０を使用して、可視光画像以外のデータを伝送することはできない。カメラ１００は、可視光カメラ１００が赤外線センサに置き換えられた場合、赤外線センサによって生成された画像を処理するために受信側専用ドライバ、またはソフトウェア開発キットを提供しなければならない。

【0011】

図２は、赤外線カメラで生成されるセンシングデータおよびそのデータ形式に適用可能な伝送インタフェース、ならびに通信プロトコルの模式図である。赤外線カメラ（ｉｎｆｒａｒｅｄ ｃａｍｅｒａ）２００は、赤外光を検出してセンシングデータを生成することが可能である。赤外線カメラ２００は例えば、赤外線サーモカメラ（ｉｎｆｒａｒｅｄ ｔｈｅｒｍａｌ ｃａｍｅｒａ）である。センシングデータは画像２０５および温度データ２１０を含む。赤外線サーモカメラのセンシングデータは標準化されたデータ形式ではないため、画像２０５の画像形式２１５をＹＵＶ形式、ＲＧＢ画像チャネル形式、または生データ形式に処理できるとしても、温度データ２１０のデータ形式２２０は標準化（Ｐｒｏｐｒｉｅｔａｒｙ）されておらず、カメラ開発メーカーによる独自の開発・設計が可能であることから、データ形式２２０が異なる開発メーカー間で一致性を欠いているという問題がある。

【0012】

さらに、上記の説明と同様に、図２において、画像形式２１５と伝送インタフェース２２５との間の接続線は、各種の画像形式２１５と各種の伝送インタフェース２２５との適合性を表し、データ形式２２０と伝送インタフェース２３０との間の接続線は、データ形式２２０と各種の伝送インタフェース２３０との適合性を表す。

【0013】

一般的に、赤外線カメラ２００は伝送インタフェース２２５および伝送インタフェース２３０を介して画像２０５と温度データ２１０をそれぞれ伝送することができる。換言すれば、赤外線カメラ２００においては、２つ以上の伝送インタフェース２２５および伝送インタフェース２３０を設置することにより画像２０５および温度データ２１０をそれぞれ送信する必要があるため、受信側においても２つ以上の対応する受信インタフェースを設置することによりデータを受信する必要がある。上述したように、温度データ２１０のデータ形式２２０は、カメラ開発メーカーが独自で開発・設計するものであることから、伝送インタフェース２３０の適用可能な通信プロトコル２４０についても、カメラ開発メーカーが独自で開発・設計する必要があり、その結果、ユーザの開発が複雑になるという問題が生じていた。

【0014】

なお、本明細書において、非可視光画像との用語と、赤外線画像との用語は互換的に使用可能であり、これらの用語は、温度情報を有する画像を意味する。温度データ２１０とは、数字や文字で温度情報を記述したデータを意味する。例えば、非可視光画像で表される色は温度を示し、温度とそれに対応して表される色彩値（画素値）のルックアップテーブルを予め記憶することによって、非可視光画像で表される色分布で温度分布を直感的に表現することができる。

【0015】

本明細書では、１バイトは、８ビットと等しく、本明細書で交互に表現されているが、意味的な曖昧さとしてみなされるべきではない。

【0016】

図３は、本発明の一実施形態によるカメラのブロック図である。カメラ３００は、赤外線サーモセンサ（ｉｎｆｒａｒｅｄ ｔｈｅｒｍａｌ ｓｅｎｓｏｒ）３１０と、プロセッサ３２０と、インタフェースモジュール３３０とを含む。プロセッサ３２０は、赤外線サーモセンサ３１０とインタフェースモジュール３３０にカップリングされている。

【0017】

赤外線サーモセンサ３１０は、環境内の赤外線放射エネルギーを検出して電気信号に変換し、環境内の温度を表す生センシングデータを生成するように構成されている。生センシングデータは画像の形式で表され、画像における異なる色は異なる温度分布を表す。生センシングデータは例えば、１４ビットのデジタルデータである。

【0018】

プロセッサ３２０は、生センシングデータを処理して、非可視光画像および複数の温度データを生成するように構成されている。一実施形態において、可視光画像の１画素データサイズは１バイト（８ビット）であり、温度データの単位データサイズは２バイト（１６ビット）である。

【0019】

一実施形態において、画素データサイズは１画素データのサイズを指し、例えば、３バイト（２４ビット）の画素データサイズの場合、１画素が３バイトであることを意味する。

【0020】

一実施形態において、温度データの単位データサイズは、１温度データのデータサイズを指し、例えば、１６ビットの単位データサイズの場合、１温度データが１６ビットであることを意味する。

【0021】

プロセッサ３２０は例えば、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ，ＳｏＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ）チップ、または上記の素子の組み合わせであるが、これに限定されない。

【0022】

インタフェースモジュール３３０は、複数の伝送インタフェースを含む。インタフェースモジュール３３０は、複数の伝送インタフェースのうちの１つを介して、本発明における上記の画像および温度データからなる異質データを伝送するように構成されている。一実施形態において、インタフェースモジュール３３０の各伝送インタフェースはいずれも、ＹＵＶ形式およびＲＧＢ画像チャネル形式の画像の伝送をサポートする。

【0023】

インタフェースモジュール３３０の伝送インタフェースは例えば、ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，ＵＳＢ）、モバイルインダストリープロセッサインタフェース（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ，ＭＩＰＩ）、イーサネット（Ｅｔｈｅｒｎｅｔ）、および相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ，ＣＭＯＳ）センサに適用されるインタフェース、または上記のインタフェースの組み合わせであるが、これに限定されない。

【0024】

図４は、本発明の一実施形態によるカメラに用いられる画像伝送方法のフローチャートである。画像伝送方法は、図３のカメラ３００によって実行されてもよい。

【0025】

ステップＳ４１０において、赤外線サーモセンサ３１０は生センシングデータを生成する。

【0026】

ステップＳ４２０において、プロセッサ３２０は、生センシングデータを処理して、非可視光画像および複数の温度データを生成する。

【0027】

ステップＳ４３０において、プロセッサ３２０は、赤緑青のカラーモデルチャネル（ＲＧＢ ｃｏｌｏｒ ｍｏｄｅｌ ｃｈａｎｎｅｌ）に応じて、非可視光画像を複数の温度データと結合し、可視光画像形式を持つ異種画像（ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｉｍａｇｅ）を得る。

【0028】

ステップＳ４４０において、インタフェースモジュール３３０の複数の伝送インタフェースのうちの１つを介して異種画像を伝送する。

【0029】

以下、ステップＳ４１０～ステップＳ４４０をさらに説明する。

【0030】

ステップＳ４１０において、赤外線サーモセンサ３１０の検出素子の各画素は赤外線放射エネルギーを検出し、それに応じて温度データに変換する。すべての画素の各々は、各値について対応する色が予め設定された対応する温度データを有する。赤外線サーモセンサ３１０で生成された生センシングデータの温度分布は、対応する色で記録され、画像形式で表される。生センシングデータは、赤外線サーモセンサ３１０で生成された生データ（ｒａｗ ｄａｔａ）である。

【0031】

ステップＳ４２０については、図５を参照しながら説明する。図５は本発明の一実施形態による生センシングデータの分析の模式図である。プロセッサ３２０は、生センシングデータ５１０の検出電圧から温度データ５２０を分析して抽出すると共に、アルゴリズムにより生センシングデータを変換して非可視光画像５３０を生成する。一実施形態において、生センシングデータ５１０は画素データサイズが１４ビットの画像であり、温度データ５２０は単位データサイズが２バイトのデータであり、非可視光画像５３０は画素データサイズが１バイトの画像である。

【0032】

データの伝送に用いられるインタフェースモジュール３３０の伝送インタフェースの数を削減するために、ステップＳ４３０において、プロセッサ３２０は、可視光画像を伝送するために一般的に使用される赤緑青のカラーモデルチャネルに応じて、非可視光画像を温度データと結合する。

【0033】

一実施形態において、赤緑青のカラーモデルチャネルは、それぞれ赤チャネル、緑チャネルおよび青チャネルである。赤チャネル、緑チャネル、青チャネルは、チャネルサイズが互いに同じでも異なっていてもよく、その合計が画像の１画素（ｐｉｘｅｌ）のデータサイズとなる。例えば、１枚の画像の赤チャネル、緑チャネル、青チャネルがそれぞれ１バイト（つまり、チャネルサイズの合計が３バイト）である場合、このカラー画像の１画素が３バイトとなり、１枚の画像の赤チャネル、緑チャネル、青チャネルがそれぞれ２バイト（つまり、チャネルサイズの合計が６バイト）である場合、このカラー画像の１画素データサイズが６バイトとなり、１枚の画像の赤チャネル、緑チャネル、青チャネルがそれぞれ５ビット、６ビットおよび５ビット（つまり、チャネルサイズの合計が１６ビット）である場合、このカラー画像の１画素データサイズが１６ビットとなる。以下、説明を簡略化するため、カラー画像の１画素データサイズが３バイト（つまり、赤チャネル、緑チャネル、青チャネルのチャネルサイズがいずれも８ビット）である場合を例に説明する。

【0034】

図６は、本発明の一実施形態による非可視光画像と温度データの結合の模式図である。

【0035】

一実施形態において、非可視光画像は、温度データがそれぞれ対応する複数の画素を含む。一実施形態において、非可視光画像は、画素数が温度データのデータ数と同じであり、複数の画素が複数の温度データに１対１で対応している。

【0036】

一実施形態において、非可視光画像の各画素は、画像データサイズが１バイトである。

【0037】

一実施形態において、温度データの２バイトは複数の部分に分割されてもよい。例えば、温度データの２バイトは、第１部分と第２部分を有し、第１部分と第２部分のデータ長が０以上である。

【0038】

一実施形態において、第１部分と第２部分の合計は、温度データの単位データサイズと同じである。例えば、第１部分と第２部分の合計は２バイト（１６ビット）であり、ここで、第１部分と第２部分はそれぞれ１バイトであるか、または、第１部分は６ビットであり、第２部分は１０ビットである。

【0039】

非可視光画像を温度データと結合する場合、第１部分と第２部分のビット値は、異種画像の一部として線形結合（ｌｉｎｅａｒ ｃｏｍｂｉｎａｔｉｏｎ）の形態であってもよい。例えば、図６に示すように、最下位ビット６１６ａの８ビットは温度データの第１部分であり、最上位ビット６１６ｂの８ビットは温度データの第２部分である。この実施形態では、第１部分と第２部分のビット値は、最下位ビットから最上位ビットまでの線形結合である。

【0040】

一実施形態において、非可視光画像の解像度が８０×６０（ｐｉｘｅｌ）の場合、非可視光画像の画素は４８００個あり、温度のデータ数も４８００個ある。ここで、各画素の画像データは８ビット（１バイト）であり、温度データの単位データサイズは１６ビット（２バイト）である。

【0041】

非可視光画像の複数の画素のうちのｋ番目画素を例として挙げる。一実施形態において、プロセッサ３２０は、赤緑青のカラーモデルチャネルに応じて、非可視光画像のｋ番目画素と、該ｋ番目画素に対応する温度データをそれぞれ結合し、結合されたデータを異種画像のｋ番目画素に格納する。

【0042】

一実施形態において、上記の結合されたデータ、すなわち異種画像のｋ番目画素に格納されたデータは、画素データサイズが３バイトである。この実施形態では、異種画像の各画素データは、非可視光画像の１画素の画像データのビット値と１温度データのビット値との線形結合である。例えば、１温度データのビット値は１１０１１０１１ ００１００１００であり、ここで、温度データの第１部分のビット値は１１０１１０１１であり、第２部分のビット値は００１００１００である。同時に、非可視光画像の１画素のビット値は００００１１１１である。上記のデータを結合し、結合されたデータが異種画像の１画素データになり、異種画像の１画素のビット値を００００１１１１ １１０１１０１１ ００１００１００として取得する。この結合方式は、「非可視光画像の１画素のビット値、温度データの第１部分のビット値、温度データの第２部分のビット値」となり、各１バイトのビット値を最下位バイトから最上位バイトの順で組み合わせる。

【0043】

上記の例では、異種画像の各画素データは、非可視光画像の１画素の画像データの値と１温度データのビット値との線形結合であるため、異種画像の画素の画像データの値は００００１１１１ ００１００１００ １１０１１０１１とすることもでき、この組み合わせ方式は「非可視光画像の１画素のビット値、温度データの第２部分のビット値、温度データの第１部分のビット値」であり、各バイトのビット値を最下位バイトから最上位バイトの順で組み合わせる。

【0044】

他の実施形態では、異種画像の画素の画像データの値は、００１００１００ ００００１１１１ １１０１１０１１であってもよく、この組み合わせ方式は、「温度データの第２部分のビット値、非可視光画像の１画素のビット値、温度データの第１部分のビット値」であり、各バイトのビット値を最下位バイトから最上位バイトの順で組み合わせる。

【0045】

なお、上記の組み合わせ方式は、実施形態として説明するための態樣に過ぎず、上記の説明から想到できる組み合わせ態樣であれば、本発明に適用可能である。

【0046】

一実施形態において、赤緑青のカラーモデルチャネルは、それぞれがカラーチャネルビットサイズを有する赤のカラーチャネル、緑のカラーチャネルおよび青のカラーチャネルを含む。赤緑青のカラーモデルチャネルのサイズは、各カラーチャネルビットサイズの合計である。例えば、赤のカラーチャネル、緑のカラーチャネルおよび青のカラーチャネルのカラーチャネルビットサイズはそれぞれ８ビットであるため、赤緑青のカラーモデルチャネルのサイズは２４ビットになる。

【0047】

一実施形態において、プロセッサ３２０は、非可視光画像の１画素を赤緑青のカラーモデルチャネルのうちの１つのチャネル位置に配置し、非可視光画像の１画素に対応する１温度データを赤緑青のカラーモデルチャネルの残りの２つのチャネル位置に配置し、それらを結合して異種画像の１画素を得る。

【0048】

図６に示すように、一実施形態において、非可視光画像の第１画素６１２は、赤のカラーチャネルに配置され、複数の温度データの１番目データ６１４の最下位バイト（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｙｔｅ，ＬＳＢ）６１６ａから始まる１バイトのデータ（例えば、８ビット）は、緑のカラーチャネルに配置され、最上位バイト（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｙｔｅ，ＭＳＢ）６１６ｂから始まる１バイトのデータ（例えば、８ビット）は、青のカラーチャネルに配置されている。この並べ方では、非可視光画像の第１画素６１２と複数の温度データの１番目データ６１４を、異種画像の第１画素６１８のデータとして結合し、すなわち、結合されたデータを異種画像の第１画素６１８の位置に格納する。同様に、非可視光画像のｋ番目画素６３２は、赤のカラーチャネルに配置され、複数の温度データのｋ番目データ６３４の最下位バイト（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｙｔｅ）６３６ａから始まる１バイトのデータ（例えば、８ビット）は、緑のカラーチャネルに配置され、最上位ビット（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｙｔｅ，ＭＳＢ）６３６ｂから始まる１バイトのデータ（例えば、８ビット）は、青のカラーチャネルに配置されている。この並べ方では、非可視光のｋ番目画素６３２と複数の温度データのｋ番目データ６３４を、異種画像のｋ番目画素６３８のデータとして結合し、すなわち、結合されたデータを異種画像のｋ番目画素６３８の位置に格納する。ここで、ｋは、値１から異種画像の解像度までの正の整数である。例えば、異種画像の解像度が８０×６０（ｐｉｘｅｌ）である場合、ｋ値は１≦ｋ≦４８００の範囲内の正の整数となる。

【0049】

一実施形態において、プロセッサ３２０は図６の非可視光画像および温度データの結合手順を実行し、非可視光画像のすべての画素と対応する温度データを１つずつ結合し、１枚の完全な異種画像を得る。この実施形態では、異種画像の各画素の画素データサイズは３バイトである。

【0050】

一実施形態において、非可視光画像の１画素の画像データサイズ（１バイト）はカラーチャネルビットサイズと同じであり、１温度データサイズ（２バイト）はカラーチャネルビットサイズの２倍になる。例えば、カラーチャネルビットサイズは８ビットであり、非可視光画像の１画素の画像データサイズは８ビットであり、１温度データサイズは１６ビットである。

【0051】

他の実施形態では、プロセッサ３２０は、赤緑青のカラーモデルチャネルに応じて、非可視光画像、複数の温度データ、生センシングデータを結合し、異種画像を生成する。結合手順の詳細なステップは、上記の図６で説明したものと同様であるが、プロセッサ３２０が生センシングデータを赤緑青のカラーモデルチャネルの一部に付加して異種画像を得る点のみが違う。換言すれば、本発明において、結合手順に付加されたデータ数は限定されず、異種画像を生成するために結合手順において付加されたすべてのデータのサイズの合計が赤緑青のカラーモデルチャネルの合計チャネルサイズ以下である限り、本発明の設計意図を満たしている。

【0052】

図７は、本発明の一実施形態による、非可視光画像と温度データの結合により得られる可視光画像形式を持つ異種画像の模式図である。カメラ３００のプロセッサ３２０は、非可視光画像７１０の各画素と、対応する画素位置の温度データ７２０に対して、上記の図６で説明した結合手順をそれぞれ行い、対応する画素位置における可視光画像形式を持つ画素データを得る。プロセッサ３２０は、非可視光画像７１０のすべての画素と対応する画素位置の温度データ７２０を結合し、１枚の完全な異種画像７３０を得る。

【0053】

一実施形態において、可視光画像形式にはＹＵＶ形式およびＲＧＢ形式が含まれるが、本発明はこれらに限定されない。

【0054】

カメラ３００は、それぞれがプロセッサ３２０により処理されて対応する非可視光画像７１０と対応する複数の温度データ７２０を生成することができる生センシングデータを（例えば、３０ｆｐｓ（ｆｒａｍｓｅ ｐｅｒ ｓｅｃｏｎｄ）の頻度で）連続的に取得するため、それに対応して多数の異種画像７３０を生成する。

【0055】

なお、プロセッサ３２０が非可視光画像の画素と温度データを結合する態樣は図６の並べ方に限定されない。

【0056】

再び図６を参照する。他の実施形態では、プロセッサ３２０は、非可視光画像の複数の画素と複数の温度データを、事前に定義された並べ方で結合する。例えば、事前に定義された並べ方は、非可視光画像の第１画素６１２と温度データの１番目データ６１４を、１バイトを単位として赤のカラーチャネル、緑のカラーチャネルおよび青のカラーチャネルの各バイトに交互に配列させる（図６に示さず）ことによって、異種画像の各画素における複数のバイトのデータを画素に上記のように配列して格納すること（この並べ方の場合、非可視光画像の各画素のすべてのバイトと各温度データのすべてのバイトは交互に並ぶことになり、その結果、各温度データは異種画像に非連続的な並べ方で符号化される）と、温度データの１番目データ６１４の最下位バイト（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｙｔｅ，ＬＳＢ）６１６ａを赤のカラーチャネルに配置し、最上位バイト（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｙｔｅ，ＭＳＢ）６１６ｂを緑のカラーチャネルに配置し、非可視光画像の第１画素６１２を青のカラーチャネルに配置する（図６に示さず）ことと、を含む。これと同様に、本発明は、上記の配列および結合の方法に限定されるものではない。

【0057】

図８は、本発明の一実施形態によるカメラで生成される画像、温度データおよび適用される伝送インタフェースの模式図である。カメラ８００は、上記の図４で説明した画像伝送方法の各ステップを実行することで、非可視光画像と温度データを結合して異種画像８０５を生成する。異種画像８０５の画像形式８１５は、例えば、ＹＵＶ形式や、ＲＧＢ形式であってもよいが、本発明はこれらに限定されない。

【0058】

非標準化形式である非可視光画像および温度データは、上記の処理手順によって、可視光画像であって標準化形式を有する異種画像８０５に偽装されるため、カメラ８００は、工業規格の伝送インタフェース８２０および通信プロトコル８２５を介して、標準化形式を有する異種画像８０５を受信側（図示せず）伝送することができる。

【0059】

なお、プロセッサ３２０は赤緑青のカラーモデルチャネルに応じて、結合手順を実行するため、得られた異種画像８０５による画面は、人間が読み取り可能なものではない。一実施形態において、カメラ３００は、標準化された画像形式を利用することによって２つの異なる種類のデータ（つまり、非可視光画像および温度）を保持しており、上記の結合方式により、非可視光画像を温度データと結合して可視光画像に偽装することで、異なる種類のデータに対する開発手順を簡素化させる。

【0060】

一方、受信側は、結合手順の配列ルールを予めに格納しておく。詳しくは、受信側は、異種画像を受信した場合、配列ルールに従って異種画像８０５の各画素の各バイトのデータを解読し、結合手順の前のデータに組み直すことによって、非可視光画像と温度データを再構築し、１画像フレームの伝送と復元を完了させる。例えば、配列ルール（例えば、上記の組み合わせ態様）が「温度データの第２部分のビット値、非可視光画像の１画素のビット値、温度データの第１部分のビット値」である場合、受信側は、受信した画素の各バイトを、この配列ルールに従って読み取り、結合手順の前の非可視光画像の１画素と１温度データに組み直す。受信側では、上記のデータの再構築手順を繰り返すと、１枚の完全な非可視光画像および対応する温度データを得ることができる。

【0061】

このように、本発明のカメラおよび画像伝送方法は、カメラの非可視光画像とそれに対応するデータをそれぞれ伝送するために２つ以上の伝送インタフェースを用いる必要がなく、１つの伝送インタフェースだけで２つ以上の異なる種類のデータおよび画像を伝送することができる。本発明のカメラおよび画像伝送方法は、様々なデータ形式のデータおよび画像形式の画像に適用可能であるので、ユーザは、ファームウェアや、ソフトウェア開発キット（ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ，ＳＤＫ）を独自で開発・設計する必要がなく、標準化された画像形式により非標準化形式の画像および温度データを受信側に伝送することが可能であるため、開発を大幅に簡素化させて運用コストを削減させることできる。さらに、本発明のカメラおよび画像伝送方法は、画像を大幅に圧縮する必要がないため、画像の情報は保持され、歪みという問題は回避される。

【0062】

上記は、本発明の好適な具体例にすぎず、本発明の特許請求の範囲を限定することを意図するものではないため、本発明の内容を適用してなされた同等の変更は、同様の理由により本発明の範囲に含まれるものと見なされる。

【符号の説明】

【0063】

１００：可視光カメラ
１０５：画像
１１５：画像形式
１２０：伝送インタフェース
１２５：通信プロトコル
２００：赤外線カメラ
２０５：画像
２１０：温度データ
２１５：画像形式
２２０：データ形式
２２５、２３０：伝送インタフェース
２３５、２４０：通信プロトコル
３００：カメラ
３１０：赤外線サーモセンサ
３２０：プロセッサ
３３０：インタフェースモジュール
５１０：生センシングデータ
５２０：温度データ
５３０：非可視光画像
６１２、６３２：非可視光画像の画素
６１４、６３４：温度データ
６１６ａ、６３６ａ：最下位ビット
６１６ｂ、６３６ｂ：最上位ビット
６１８、６３８：異種画像の画素
７１０：非可視光画像
７２０：温度データ
７３０：異種画像
８００：カメラ
８０５：異種画像
８１５：画像形式
８２０：伝送インタフェース
８２５：通信プロトコル
Ｓ４１０～Ｓ４４０：ステップ

【要約】

【課題】非標準形式の画像やデータに対する画像処理や伝送を簡素化できるカメラを提供する。
【解決手段】カメラは赤外線サーモセンサ、プロセッサ、およびインタフェースモジュールを備える。赤外線サーモセンサは生センシングデータを生成するように構成され、プロセッサは、生センシングデータを処理し、画素データサイズが１バイトである非可視光画像および単位データサイズが２バイトである複数の温度データを生成するように構成され、インタフェースモジュールは、複数の伝送インタフェースを含み、そのうちの１つを介して画素データサイズが３バイトである異種画像を伝送するように構成され、３バイトのビット値は１バイトのビット値と２バイトのビット値との線形結合である。プロセッサは、赤緑青のカラーモデルチャネルに応じて、非可視光画像を複数の温度データと結合し、可視光画像形式を持つ異種画像を得る。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】