特表 2023-552299 電子デバイス、方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-15

(54)【発明の名称】電子デバイス、方法およびコンピュータプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231208BHJP

   H04N 23/61 20230101ALI20231208BHJP

   G06T 7/00 20170101ALI20231208BHJP

【ＦＩ】

H04N23/60 500

H04N23/61

G06T7/00 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023530538

(86)(22)【出願日】2021-11-17

(85)【翻訳文提出日】2023-07-10

(86)【国際出願番号】 EP2021082024

(87)【国際公開番号】W WO2022112073

(87)【国際公開日】2022-06-02

(31)【優先権主張番号】20210144.0

(32)【優先日】2020-11-26

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】アール マルテ

(72)【発明者】

【氏名】ダル ゾット デイビッド

(72)【発明者】

【氏名】アローラ バルン

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122EA12

5C122FH09

5C122FH11

5C122FH14

5C122HA13

5C122HA35

5C122HB01

5C122HB10

5L096AA09

5L096CA04

5L096GA17

5L096HA02

5L096JA11

(57)【要約】

iToFセンサによってキャプチャされた奥行き画像および信頼度画像に基づいて煙検出を行い、煙検出状況を得るように構成された回路を具備する電子デバイス。
【選択図】図４

【特許請求の範囲】

【請求項1】

iToFセンサによってキャプチャされた奥行き画像および信頼度画像に基づいて煙検出を行い、煙検出状況を得るように構成された回路を具備する
電子デバイス。

【請求項2】

前記回路は、前記キャプチャされた奥行き画像および前記キャプチャされた信頼度画像のそれぞれにおいて関心領域ROIを定義し、前記奥行き画像および前記信頼度画像で定義された前記ROIに基づいて前記煙検出を行うように構成されている
請求項１に記載の電子デバイス。

【請求項3】

前記奥行き画像内の前記ROIが、前記信頼度画像で定義された前記ROIと同一の位置に定義されている
請求項２に記載の電子デバイス。

【請求項4】

前記奥行き画像および前記信頼度画像における前記ROIが固定位置で定義されている
請求項２に記載の電子デバイス。

【請求項5】

前記回路は、前記信頼度画像における信頼値を推定するように構成されている
請求項１に記載の電子機器。

【請求項6】

前記回路は、前記信頼度画像で定義された前記ROIのそれぞれにおいてそれぞれの信頼値を算出し、算出した信頼値に基づいて前記煙検出を行うように構成されている
請求項２に記載の電子デバイス。

【請求項7】

前記回路は、前記ROIの前記それぞれの信頼値に基づいて、すべてのROIの平均信頼値を計算するように構成されている
請求項６に記載の電子デバイス。

【請求項8】

信頼閾値が、すべてのROIの前記平均信頼値として設定されている
請求項７に記載の電子デバイス。

【請求項9】

前記回路は、少なくともROIの最小数における各ROIのそれぞれの前記信頼値により前記信頼閾値に到達したとき、煙が検出されたことを示す煙検出状況を得るように構成されている
請求項７に記載の電子デバイス。

【請求項10】

前記回路は、前記少なくともROIの最小数において前記信頼閾値に達していないときに、煙が検出されていないことを示す煙検出状況を取得するように構成されている
請求項７に記載の電子デバイス。

【請求項11】

前記回路は、前記奥行き画像に対して実行された物体検出に基づいて、オブジェクトの存在を検出するように構成されている
請求項２に記載の電子デバイス。

【請求項12】

前記オブジェクトは手である
請求項１１に記載の電子デバイス。

【請求項13】

前記回路は、前記奥行き画像内の奥行き変動に基づいて、オブジェクトまたは手の存在を検出するように構成されている
請求項２に記載の電子デバイス。

【請求項14】

前記回路は、残りのROIの数を得るために、検出されたオブジェクトによって覆われるROIをフィルタリングするように構成されている
請求項１１に記載の電子デバイス。

【請求項15】

前記回路は、残りのROIの数を得るために、前記奥行き画像内の高い奥行き変動を有するROIをフィルタリングするように構成されている
請求項２に記載の電子デバイス。

【請求項16】

前記回路は、前記残りのROIの数がROIの所定の最小数よりも小さいときに、前記煙検出が信頼できないことを示す煙検出状況を取得するように構成されている
請求項１２に記載の電子デバイス。

【請求項17】

前記回路は、前記ROI内の前記それぞれの信頼値の変動に基づいて、前記煙検出を行うように構成されている
請求項６に記載の電子デバイス。

【請求項18】

iToFセンサによってキャプチャされた奥行き画像および信頼度画像に基づいて煙検出を行い、煙検出状況を得ることを含む方法。

【請求項19】

プログラムがコンピュータによって実行されるときに、前記コンピュータに請求項１８に記載の方法を実行させる命令を含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、飛行時間型画像処理の分野、特に、飛行時間型画像処理のためのデバイス、方法およびコンピュータプログラムに関する。

【背景技術】

【0002】

飛行時間型(ToF)カメラは、画像の各点に対してカメラと対象物の間の光信号の飛行時間を測定することにより、シーンに含まれる対象物の範囲を決定する範囲画像カメラシステムである。飛行時間型カメラは、シーンの奥行き画像をキャプチャする。一般的に、Time-of-Flight(飛行時間型)カメラは、変調された光で関心領域を照らす照明部と、同じ関心領域から反射された光を集める画素アレイとを有する。すなわち、飛行時間型撮像システムは、奥行きセンシングまたは距離測定の提供のために使用される。

【0003】

間接飛行時間法(iToF)では、iToFカメラはシーンの奥行き画像と信頼度画像をキャプチャし、iToFカメラの各画素はそれぞれの奥行き測定と信頼度測定に起因する。このiToF測定の動作原理は、画像処理に関連する多くのアプリケーションで使用される。

【0004】

飛行時間型カメラを使用する画像処理のための技術が存在するが、一般に、飛行時間型カメラを使用する画像処理のためのより良い技術を提供することが望ましい。

【発明の概要】

【0005】

第1の態様によれば、本開示は、iToFセンサによってキャプチャされた奥行き画像および信頼度画像に基づいて煙検出を行い、煙検出状況を得るように構成された回路を具備する電子デバイスを提供する。

【0006】

第2の態様によれば、本開示は、iToFセンサによってキャプチャされた奥行き画像および信頼度画像に基づいて煙検出を行い、煙検出状況を得ることを含む方法を提供する。

【0007】

第3の態様によれば、本開示は、プログラムがコンピュータによって実行されるときに、コンピュータに、iToFセンサによってキャプチャされた奥行き画像および信頼度画像に基づいて煙検出を実行させ、煙検出状況を得るための命令を含むコンピュータプログラムを提供する。

【0008】

さらなる複数の態様が、従属請求項、以下の説明および図面に示されている。

【図面の簡単な説明】

【0009】

本開示における実施形態は、添付の図面を参照して例として説明される。

【図1】奥行き感知または距離測定の提供に使用できる、飛行時間型撮像システムの基本的な動作原理を概略的に示している。

【図2】車内シナリオにおけるiToF撮像システムの一実施形態を概略的に示しており、iToF撮像システムによって撮影された画像は、車内の煙検出に使用される。

【図3】車内の煙検出に使用されるToFシステムを備える車内撮像システムの一実施形態を概略的に示す。

【図4】奥行き画像および信頼度画像に基づく煙検出のプロセスの一実施形態を概略的に示す。

【図5a】信頼度画像内で定義される複数のROIの実施形態をより詳細に示す。

【図5b】奥行き画像において規定された複数のROIの実施形態をより詳細に示す。

【図6】図4に記載されている煙検出のプロセスの一実施形態をより詳細に概略的に説明する。

【図7a】車内シナリオにおいてシーンをキャプチャするiToFセンサによって生成された信頼度画像を示す。

【図7b】車内シナリオにおいてシーンをキャプチャするiToFセンサによって生成された奥行き画像を示す。

【図8a】図4に記載されている煙検出のプロセスの一実施形態をより詳細に概略的に説明する。

【図8b】図4に記載されている煙検出のプロセスの一実施形態をより詳細に概略的に説明する。

【図9】煙検知状況判定方法を視覚化したフロー図を示す。

【図10】煙検出および煙検出状況判定のプロセスを実施することができるiToFデバイスの一実施形態を概略的に説明する。

【発明を実施するための形態】

【0010】

図1から図10を参照して実施例の詳細な説明を行う前に、いくつかの一般的な説明を行う。

【0011】

本実施形態は、iToFセンサによって撮影された奥行き画像および信頼度画像に基づいて煙検出を行い、煙検出状況を取得するように構成された回路を備える電子機器を開示する。

【0012】

電子デバイスの回路は、プロセッサを含み、例えば、CPU、メモリ(RAM、ROM等)、メモリおよび/または記憶、インターフェース等であってもよい。回路は、電子機器(コンピュータ、スマートフォン等)に対して一般に知られているように、入力手段(マウス、キーボード、カメラ等)、出力手段(ディスプレイ(例えば、液晶、(有機)発光ダイオード等))、(無線)インターフェース等を備えるかまたはそれらと接続することができる。
さらに、回路は、環境パラメータ(例えば、レーダ、湿度、光、温度)などを感知するために、静止画や動画像データを感知するためのセンサ(画像センサ、カメラセンサ、ビデオセンサなど)を備えるか、またはそれらと接続することができる。

【0013】

煙検出は、車内シナリオ内の車両のキャビン内、セキュリティ上の理由によるルーム監視シナリオ内などで実行することができる。車内シナリオでは、iToFセンサは、基準面積、例えば、iToFセンサの視野内にあるキャビンのダッシュボードを照らすことができる。ダッシュボードは、基準として使用することができる。
なぜなら、通常、黒および非反射の材料で構成され、iToFセンサの視野内にも存在する検出された物体との混同のリスクが減少し、それゆえに、誤検出結果が防止され得るからである。

【0014】

このような煙検出処理では、iToFセンサを含むiToFシステムは、基準面積内の運転員と乗客の相互作用、TOFセンサの非常に近くまたは前方にある運転員または乗客の相互作用、ダッシュボードに置くことができる大きな物体の存在、運転者による煙吹きおよび乗客による煙吹き、電子たばこおよびシガレットに基づく通常のたばこからの煙、ダッシュボードまたは背後にも相互作用する2つ以上の手、iToFセンサの視野内にあるたばこなしの煙、拡散スモーク、明確に定義された煙の雲などを検出することができる。

【0015】

煙検出状況は、煙が検出されたことを示す状況、煙が検出されなかったことを示す状況、煙検出が信頼できないことを示す状況等の任意の煙検出状況とすることができる。煙検出状況は、ユーザに出力され、ユーザに煙の入射を通知することができる。車内シナリオでは、煙検出状況は、例えば、車両のラウドスピーカアレイから適切な音を出力することによって、ならびに/もしくは、発明車のインフォティメントシステムの表示部上にテキストまたは画像を出力することによって、インフォティメントシステムを介して運転者/同乗者に出力することができる。
煙検出状況は、運転者に警告を与えることができるか、または車室内で煙が検知されるといつでも安全関連機能を起動することができる。

【0016】

この回路は、キャプチャされた奥行き画像およびキャプチャされた信頼度画像のそれぞれに関心領域ROIを定義し、奥行き画像および信頼度画像内に定義されたROIに基づいて煙検出を行うように構成されてもよい。定義されたROIの数は、1,2,,,,6,7,,等の煙検出を行うのに適した任意の整数および正数であってもよい。
ROIは、例えば、複数のROIが定義されている場合などに、互いに隣接するように、撮影画像内で定義することができる。

【0017】

奥行き画像内および信頼度画像内で定義されるROIは、例えば20×20ピクセルなど、煙検出に適した任意のサイズを有するROIであってもよい。

【0018】

さらに、奥行き画像および信頼度画像で定義されたROIは、円、楕円、多角形、線、ポリライン、長方形、手描きの形状など、煙検出および物体認識を行うのに適した任意の形状を有するROIであってもよい。

【0019】

いくつかの実施形態によれば、奥行き画像のROIは、信頼度画像で定義されたROIと同じ位置に定義されてもよい。さらに、奥行き画像および信頼度画像内のROIを固定位置に定義してもよい。奥行き画像および信頼度画像で定義されたROIの位置は、事前定義された位置であってもよく、または、リアルタイムで定義された位置であってもよい。
ROIは、ROIのグループを形成するためのように、キャプチャ画像の中で定義されてもよく、その中でROIは互いに隣接しているか、あるいは一方は他方から遠く離れて定義されることがある。

【0020】

いくつかの実施形態によれば、回路は、信頼度画像内の信頼値を推定するように構成されてもよい。この信頼値は、同相振幅復調成分Iに基づいて、および、直交振幅変調成分Qに基づいて推定することができ、ここで、IおよびQ成分の両方は、奥行き画像を使用して計算されたそれぞれの距離に関連する位相測定に依存する。

【0021】

さらに、信頼値は、光散乱または光反射の変動に基づいて推定することができる。煙は、光の反射によって信頼度画像の明るさが増加する可能性があるため、光の散乱または光の反射の変動に基づいて検出されてもよい。例えば、信頼度画像のどこでも輝度値がほぼ等しい場合には、手や紙などの物体がiToFセンサに近いことに起因して、煙の入射は起こらなかったが過飽和であった可能性がある。
典型的には、奥行き画像内に煙は現れない。したがって、iToFセンサに近いオブジェクトの存在が、信頼度画像内の信頼値を増加させる可能性があるが、奥行き画像内の奥行き値も増加させる可能性があり、したがって、煙ではないことを示す煙検出状況が得られてもよい。

【0022】

さらに、信頼度画像内の非常に明るい画素の数が多く、オブジェクトが検出された場合、非常に明るい画素が検出されたオブジェクトの外側にあるときに、煙が存在する可能性が低いことを示す煙検出状況が得られてもよい。

【0023】

回路は、信頼度画像内で定義された各ROI内のそれぞれの信頼値を計算し、計算された信頼値に基づいて煙検出を実行するように構成することができる。例えば、回路は、iToFセンサのそれぞれのピクセルごとに信頼値を計算し、次に、信頼度画像で定義されたそれぞれのROI内のピクセルのすべての信頼値の平均信頼値を計算することができる。

【0024】

さらに、回路は、ROIのそれぞれの信頼値に基づいて、すべてのROIの平均信頼値を計算するように構成してもよい。すべてのROIの平均信頼値は、信頼閾値として設定することができる。

【0025】

回路は、信頼閾値が、少なくとも最小数のROIにおける各ROIのそれぞれの信頼値によって到達したとき、煙が検出されたことを示す煙検出状況を得るように構成されてもよい。さらに、回路は、少なくとも最小数のROIにおいて信頼閾値に達していない時に、煙が検出されていないことを示す煙検出状況を得るように構成することができる。これは、各ROIのそれぞれの信頼値と信頼閾値を比較することによって推定される。

【0026】

この回路は、奥行き画像に対して実行された物体検出に基づいて物体の存在を検出するように構成することができる。物体検出は、当業者に周知の任意の物体検出方法に基づいて実行することができる。物体検出方法から検出される物体は、人の手、人の腕、紙、人の足、ペットなどの任意の物体であってもよい。

【0027】

この回路は、奥行き画像の奥行き変動に基づいてオブジェクトまたは手の存在を検出するように構成することができる。例えば、オブジェクトの存在は、典型的には、奥行き画像において、オブジェクトが検出される領域の奥行き値を増加させ、奥行き変動が奥行き画像において検出されるようにする。

【0028】

一実施形態によれば、回路は、複数の残りのROIを得るために、検出された物体によって覆われるROIをフィルタで除外するように構成されてもよい。回路は、検出された物体によってカバーされる任意のROIをフィルタリングして、誤検出および誤った煙検出結果が防止されるように構成されてもよい。

【0029】

この回路は、残りの複数のROIを得るために、奥行き画像において高い奥行き変動を有するROIをフィルタリングするように構成することができる。回路は、誤検出および誤った煙検出結果が防止されるように、奥行き画像において高い奥行き変動を有する任意のROIをフィルタリングするように構成されてもよい。

【0030】

回路は、残りのROIの数が予め規定された最小数のROIよりも少ないときに、煙検出が信頼できないことを示す煙検出状況を得るように構成されてもよい。例えば、煙検出状況が煙検出の信頼性がないことを示している場合、煙検出処理は一時停止または停止される。または、iToFセンサがオブジェクトで覆われている場合、または、ダッシュボード領域(ROI)がオブジェクトで覆われている場合、煙検出処理は一時停止または停止される。

【0031】

回路は、ROI内のそれぞれの信頼値の変動に基づいて煙検出を行うように構成してもよい。この変動は、信頼度画像において、ROI内のそれぞれの信頼値について、例えば標準偏差関数を用いて計算することができる。

【0032】

上述の実施形態によれば、煙検出は、低光条件、夜間条件等で行うことができる。奥行き画像内の奥行き測定は、分類のための望ましい精度を提供することができ、また、信頼度画像内の信頼値に基づく煙検出は、煙内/煙上の光反射を利用することができる。従って、iToF煙検出は、光独立解と見なすことができる。

【0033】

煙検出処理では、奥行き画像と信頼度画像の組み合わせは、任意の光条件に依存しない信頼値に基づいて煙の存在を判定することにより、および、信頼度画像における信頼値の変形例を引き起こす可能性のあるオブジェクトを除外するために、奥行き画像の奥行き測定値を使用することにより、誤検出結果を回避するための二重のセキュリティプロセスと見なされてもよい。

【0034】

また、本実施形態は、iToFセンサによって撮影された奥行き画像および信頼度画像に基づいて煙検出を行い、煙検出状況を得ることを含む方法も開示する。

【0035】

また、本実施形態は、コンピュータによってプログラムが実行されるときに、iToFセンサによってキャプチャされた奥行き画像および信頼度画像に基づいて、コンピュータに煙検出を実行させて煙検出状況を取得する命令を含むコンピュータプログラムを開示する。このコンピュータプログラムは、上記または以下の実施形態の詳細な説明で説明されているプロセスおよび/または操作のいずれかを実施することができる。

【0036】

以下、図面を参照して本実施形態について説明する。

【0037】

（間接飛行時間型撮像システム(iToF)の動作原理）
図1は、飛行時間型撮像システムの基本的な動作原理を概略的に示しており、この撮像システムは、奥行き感知すなわち距離測定の提供のために使用することができ、ここで、ToF撮像システム1はiToFカメラとして構成されている。

【0038】

ToF撮像システム1は、照明部10からシーン7へ放射される赤外光の飛行時間を分析することによって、シーン7の3次元(3D)画像をキャプチャする。ToF撮像システム1は、iToFカメラ、例えば撮像センサ2およびプロセッサ(CPU)5を含む。シーン7は、照明部10を用いて、例えば、タイミングジェネレータ6によって発生される少なくとも1つの所定の変調周波数のいくつかの光パルスによって、所定の波長で、振幅変調された赤外光8で能動的に照明される。
振幅変調された赤外光8は、シーン7内のオブジェクトから反射される。レンズ3は、反射光9を集め、オブジェクトの画像を、iToFカメラのピクセルのマトリクスを有する撮像センサ2上に形成する。カメラからのオブジェクトの距離に応じて、変調された光8、例えばいわゆる光パルスの放射と、カメラセンサの各画素での反射光9の受信との間に遅延が生じる。反射物体とカメラとの間の距離は、観測される時間遅延と光一定値の速度との関数として決定されてもよい。

【0039】

iToFカメラでキャプチャしたシーン7の3次元(3D)画像は、一般的に「デプスマップ」とも呼ばれている。デプスマップでは、iToFカメラの各画素がそれぞれの奥行き測定に起因している。

【0040】

間接飛行時間型法(iToF)では、各画素に対して、タイミングジェネレータ6によって発生された復調信号4および撮像センサ2によってキャプチャされた反射光9との間の相関波をサンプリングすることによって、変調光8と反射光9との間の位相遅延が判定される。この位相遅延は、変調周波数の波長を法とする物体の距離に比例する。
デプスマップは、このようにして、iToFカメラの画素内で判定される全ての位相遅延の収集である位相画像から直接的に判定されることができる。

【0041】

（車内iToF撮像システム）
図2は、車内シナリオにおけるiToF撮像システムの一実施形態を概略的に示す。iToF撮像システムで撮影した画像は、車両の煙検知に利用される。

【0042】

iToF撮像システム200、例えばiToFカメラは、車両の天井に固定される。iToF撮像システム200は、車両内部の所定の領域、視野201をキャプチャするiToFセンサ(図4の400参照)を備える。例えば、iToF撮像システム200は、その視野201内で、以下の図3に示すインフォテインメントシステム301のようなインフォテインメントシステムを有する車両のダッシュボード202をキャプチャする。

【0043】

上述の図1に記載されるToF撮像システム1の動作原理を使用するiToF撮像システム200は、その視野201を積極的に照明することによって、車両内部の所定の領域に赤外光の光パルスを放射する。iToF撮像システム200の視野201に含まれるオブジェクトは、出射光をiToF撮像システム200に反射する。
iToF撮像システム200は、放出された赤外光の飛行時間を分析することによって、車両内部の所定領域のデプスマップ(例えば、奥行き画像)をキャプチャする。iToF撮像システム200のiToFセンサの視野201に含まれるオブジェクトは、車両のダッシュボード202、運転手/同乗者の手、煙204などであってもよい。

【0044】

iToF撮像システム200は、奥行き画像(すなわち、デプスマップ)と、その視野201の信頼度画像をキャプチャする。奥行き画像と信頼度画像内には、iToF撮像システム200の視野201内の予め定義された関心領域203に対応する定義された画素領域がある。ここでは、予め定義された関心領域203は、好ましくは、車両のダッシュボード202上に配置される。
ダッシュボード202は、暗くて反射しない材料で作られており、従って、関心領域203の基準面(図3の202参照)として使用することができる。暗くて反射しないダッシュボード202の表面に当たるiToF撮像システム200から発せられる光は、iToFセンサに反射しないので、間違った奥行き結果を防止する。

【0045】

煙検出処理は、iToF撮像システム200によって提供される信頼性画像と奥行き画像に基づいて、特に、予め定義された関心領域203に対応する画像領域の分析に基づいて実行される。

【0046】

図3は、車内の煙検出に使用されるToFシステムを備える車内撮像システムの一実施形態を概略的に示す。

【0047】

iToFシステム200は、その視野(図2の201を参照)内に基準面202の奥行き画像(図4の401を参照)と信頼度画像(図4の402を参照)を生成する。得られた奥行き画像と得られた信頼度画像に基づいて、プロセッサ300は、煙検出(図4の403を参照)を行い、以下の図4ないし図8でさらに詳細に説明するように、煙検出状況(図4の404を参照)を得る。
煙検出状況に基づいて、プロセッサ300は、車両のインフォティメントシステム301を制御して、車両内部の煙の発生について車両の運転者/同乗者に通知する。車内インフォティメントシステム301では、エンターテインメントおよび情報を運転者および同乗者に配信する機能の組み合わせが提供される。車載インフォテインメントシステムでは、典型的には、エンターテインメントおよび情報が、ディスプレイおよびラウドスピーカを通して運転者および同乗者に提供される。
ボタンパネル、タッチスクリーンディスプレイ、音声コマンドなどの制御要素が、車載インフォテインメントシステム301と相互作用できるように、運転者および乗客に提供される。インフォテインメントシステム301は、例えば、埋め込まれたマルチメディア/ナビゲーションシステムを含んでもよい。インフォテインメントシステム301は、例えば、車両のラウドスピーカアレイから適切な音を出力すること、および/または車載インフォテインメントシステム301のディスプレイユニットにテキストまたは画像を出力することにより、ドライバ/乗客に煙の発生を通知する。
例えば、インフォティメントシステム301は、車両のキャビン内で煙が検出されるたびに、警告を提供することにより、または、安全関連機能を起動することにより、ドライバ/ユーザに煙発生を通知してもよい。このようにして、運転者は、例えば、子供が車の中に存在したときに(例えば、バックシートの圧力センサによって検出されるときに)、煙が検出された場合に、煙を停止することが奨励され得る。

【0048】

車内シナリオでは、煙検出プロセスは、運転者によって生成された煙および/または乗客によって生成された煙を検出し得る。煙検出プロセスは、明確に定義された煙の雲、拡散スモーク、タバコによって生成された煙、車両のエンジンから来る煙などを検出することができる。特に、本実施形態の煙検出処理は、iToFセンサの視野内で煙草を検出する必要なしに、乗客がスモーキングしていることを検出することができる。

【0049】

図3の実施形態において、煙検出は、車内シナリオで行われる。また、部屋のセキュリティシナリオでは、煙検出を部屋で実行することもできる。煙検出が部屋で行われる場合、iToFセンサは、例えば、部屋の天井、または任意の適切な場所に取り付けられてもよい。関心領域は、壁、テーブルなど、部屋内の任意の適切な基準面上に定義することができる。

【0050】

図4は、奥行き画像と信頼度画像に基づく煙検出のプロセスの一実施形態を概略的に示す。

【0051】

iToFセンサ400は、iToF技術を使用して、その視野内の所定の領域をキャプチャし、視野の奥行き画像401および信頼度画像402を得る(図2の202を参照)。キャプチャ領域の奥行き画像401と信頼度画像402に基づいて、煙検出403が行われ、煙検出状況404が得られる。煙検出403のプロセスの一実施形態について、以下の図5に関連してより詳細に説明する。
煙検出のプロセスは、例えば、車内シナリオ、部屋監視シナリオなどで実行することができる。

【0052】

奥行き画像401は、シーン内のオブジェクト(図1の7参照)のカメラの光学中心の(例えばiToFセンサ400からの)距離に関する情報を含む画像または画像である。奥行き画像401は、例えば、iToFセンサ400の画素内で決定された全ての位相遅延の収集である位相画像から直接決定することができる。信頼度画像402は、奥行情報に関連する信頼度測定を含む画像である。

【0053】

（関心領域(ROI)）
以下により詳細に説明する実施形態によると、煙検出処理を実行するために、iToFセンサの信頼度画像(図4の402を参照)およびiToFセンサの奥行き画像(図4の401を参照)が分析される。所定の関心領域数(ROI) (図2の203を参照)は、奥行き画像401および信頼度画像402において定義される。これらの関心領域(ROI)は、iToFセンサの視野内の基準面(図2の202を参照)に対応する。

【0054】

車内シナリオでは、例えば車両のキャビンの天井に取り付けられたiToFセンサが、その視野内(例えば、所定の領域)をキャプチャして(図2の201を参照)、キャプチャされたシーンの奥行き画像(図4の401を参照)および信頼度画像(図4の402を参照)を生成する。キャプチャされたシーンは、例えば、車両のダッシュボード(図2の202を参照)である。
従って、車両のダッシュボードは典型的には暗くて反射しない材料であるので、所定の数のROI 203、即ちn ROI 203は、各信頼度画像および奥行き画像においてダッシュボードの領域内に規定される。煙検出結果を改善し、誤検出の煙検出結果を防止するために、煙検出処理403の間、n個のROIは、信頼度画像402(図5aを参照)および奥行き画像401(図5bを参照)の中に固定された位置を有する。
さらに、信頼度画像402(図5aを参照)で定義されたダッシュボード(図2の202を参照)上のn個のROI 203の位置は、奥行き画像401(図5bを参照)で定義されたn個のROI 203の位置と同じである。

【0055】

図5aおよび図5bは、各信頼度画像および奥行き画像において規定された所定の数のROIの一実施形態を概略的に示す。

【0056】

図5aは、信頼度画像内で定義される複数のROIの実施形態をより詳細に示す。
信頼度画像では、ダッシュボードの小さな部分が信頼度画像内で黒色として表示され、他の部分が信頼度画像内で薄い灰色または白色として表示される、ダッシュボードが描画される。ここで、黒色は高い信頼値、明るい灰色または白色は低い信頼値を示す。黒色は、これらの部分がiToFセンサの近くに配置されていることを示す。信頼度画像における指示「偽(False)」は、その評価全体が完了した後の煙検出器の最終出力であるため、本実施形態では、煙は検出されない。

【0057】

図5aの実施形態において、ROI 203の所定回数nはiToFセンサ(図4の400参照)によって生成された信頼度画像内に定義される。ROI 203は、矩形ボックスによって表され、各矩形ボックスは、それぞれの関心領域を示す。ROI 203nの数nは整数であり、これはn>1であることが好ましく、ここではROIの数nは7に等しい、すなわちn = 7であり、それぞれの矩形ボックス内の数を示し、これはそれぞれのROI 203を表す。
ROIのグループを構成する最初の6つのROI 203-1から203-6は、互いに隣接しており、車両のダッシュボード202の領域内で定義される。信頼度画像に示されたダッシュボード202の領域内にもある7番目のROI 2037は、最初の6つのROI 203-1から203-6までより遠くで定義されている。

【0058】

例えば、運転手の手や頭またはオブジェクトがiToFセンサに非常に近づくと、光効果の散乱とともに強い反射が発生する。これにより、相対的に均一な信頼度画像全体の明るさが増加する。信頼度画像の異なる位置におけるROI 203nのこの配置(一群のROIを構成するROI 203-1から203-6、およびさらに遠くにあるROI 203-7)は、例えばiToFセンサに非常に近い手からの一様な明るさの増加と、変動を有し、煙からの光反射によって引き起こされる明るさの増加とを区別することが可能である。

【0059】

図5bは、奥行き画像において規定された複数のROIの実施形態をより詳細に示す。
奥行き画像では、ダッシュボードは、上の図5aに関する信頼度画像のように描かれる。ここで、奥行き画像で黒色として表示されるダッシュボードの部分は、この部分がiToFセンサに近い位置にあることを示している。奥行き画像401で定義されたROI 203の数は、上の図5aで説明したように、信頼度画像402で定義されたROI 203の数と同じである。
すなわち、奥行き画像401で定義されるROI 203の数nは、各矩形ボックス内の数として示されるようにn=7であり、これは各ROI 203を表す。さらに、信頼度画像で定義されたROI 203は、奥行き画像で定義されたROI 203と同じであり、両方の画像で、ROI 203は同じ固定位置を有する。

【0060】

図5aおよび図5bの実施形態では、ROI 203の番号nは、その点で本実施形態を制限することなく、7に等しい、すなわち、n = 7である。あるいは、奥行き画像と信頼度画像とで定義されるROI 203の数nは、ケースに適した任意の数であってもよい。

【0061】

図5aおよび図5bの実施形態では、ROI 203の形状は矩形であり、この点に関して本発明を限定しない。ROI 203の形状は、円、楕円、多角形、線、ポリライン、長方形、手描きの形状などを含む任意の適切な形状とすることができる。ROI 203のサイズは、望ましい検出および計算に適した任意のサイズとすることができる。例えば、各ROI 203のサイズは、ダッシュボード上のおよそ1～2cmの長さに関連し得る20×20ピクセルとすることができる。
iToFセンサの解像度は、ビデオグラフィックラウドスピーカアレイ解像度が適用され、VGA解像度よりも高い解像度が適用され、または、低解像度が適用され得る任意の適切な解像度とすることができる。例えば、適用される解像度は、その点で本実施形態を制限することなく、最大1.8Mピクセルであってもよい。

【0062】

各ROIは、例えば、値にノイズを導入することを避けるために、画素サイズよりも大きなサイズを有する矩形ボックスとして定義され得る。

【0063】

（煙検知方法）
図6は、上述の図4で説明した煙検出のプロセスの一実施形態をより詳細に概略的に説明する。

【0064】

この実施形態では、iToFセンサ(図4の400参照)が、その視野内の車内のシーン(図2の201参照)を照らし、視野の奥行き画像(図4の401参照)および信頼度画像(図4の402参照)をキャプチャする。あらかじめ定義された数nの関心領域(ROI)が、信頼度画像と奥行き画像のそれぞれで定義される。n個のROIは、例えば、互いに隣接していてもよく、信頼度画像のn個のROIは、奥行き画像における同一かつ固定された位置で定義されてもよい(図5a、b参照)。

【0065】

600において、所定の最小数mが得られる。この最小数mは、意味のある煙検出に必要と見なされる有効なROIの最小数を示す。この最小数mは、例えば、あらかじめ(製造時、システム設定時等に)プロセスの所定のパラメータとして設定されてもよい。601において、信頼値C_ROI,jが、信頼度画像および奥行き画像において定義されたn個のROIのそれぞれのROI jについて計算される。
602において、オブジェクト/手によって覆われているいずれかがフィルタリングされるiToFカメラおよびROIの視野内の手のようなオブジェクトを検出するために、奥行き画像においてオブジェクト検出が実行され、数hの有効なROIが得られる。フィルタリングされたROIは無効と見なされ、煙検出ではそれ以上考慮されない。
603において、信頼閾値C_totが、信頼度画像内に定義された有効ROIのそれぞれの信頼値C_ROI,jに基づいて、煙検出のために計算される。604において、有効なROIの数hがmより大きい場合、方法は605に進む。有効なROIの数hがmより小さい場合、この方法は608に進み、608で、煙検出が信頼できないことを示す煙検出状況が決定される。
605において、少なくともmのROIにおいて、601で計算されたそれぞれの信頼値C_ROI,jが603で計算された信頼閾値C_totに到達したかどうかがチェックされる。605での結果が「はい」であれば、この方法は607に進行する。607において、煙が検出されたことを示す煙検出状況が決定される。605の結果が「いいえ」の場合、本方法は606に進む。606において、煙が検出されないことを示す煙検出状況が決定される。

【0066】

一実施形態に従って、画素の信頼度は、画素の同相振幅復調成分および直交振幅変調成分に基づいて計算され、式1によって与えられる。

【数1】

ここで、Iは位相内振幅変調成分であり、簡略化IをI = cosφと定義し、Qを直交振幅変調成分と定義したときに、簡略化QをQ = sinφと定義した場合、φはそれぞれの距離に対応する位相測定値である。信頼度画像は、キャプチャされた画像内の各画素の信頼値C_iを含む。

【0067】

601で、各々のROI j, C_ROI,jにおける平均信頼値は、例えば、式2として計算され得る。

【数2】

ここで、X_jはROI j内の画素iの数である。

【数3】

【0068】

信頼度画像内のすべてのn個のROI、C_totの平均信頼値は、式4として603で決定され得る。

【数4】

ここで、NはROIの数(ここではN = 7)で、C_ROI,jはROI jの(平均)信頼値である。

【0069】

一連のROIにおける信頼変動は、式5として標準偏差関数によって計算され得る。

【数5】

ここで、Zは定義されたROIの数であり、C_totは信頼度画像内のすべてのROIの平均信頼値であり、C_ROI,jは信頼度画像内のROI jの(平均)信頼値である。

【0070】

図6の実施形態では、オブジェクト/手によって覆われているいずれかがフィルタリングされるiToFカメラおよびROIの視野内の手のようなオブジェクトを検出するために、奥行き画像においてオブジェクト検出が実行される。代替実施形態では、代替的にまたは追加的に、n個のROIのそれぞれにおける奥行き変動が決定され、奥行き変動が大きすぎるそれらのROIは無視される。

【0071】

図6の実施例では、手の検出のような物体検出を行ったり、n個のROIそれぞれの奥行き変動の判定を行ったりする。各n個のROIにおける奥行き変動に基づいて、撮影画像内にオブジェクト/手が存在するかどうかが検出される。オブジェクト/手が検出された場合、それぞれのROIは煙検出(フィルタリング)の対象外となる。
これにより、オブジェクトまたは手が、煙検出の誤検出結果を与えるn個のROIのそれぞれにおける光散乱または光反射の変動を引き起こすことを防止することができる。

【0072】

（物体検出とROIフィルタリング）
ここで、図6の処理602で実行される物体検出の一実施形態について、より詳細に説明する。物体検出は、当業者に周知の任意の物体検出方法に基づいて実行することができる。物体検出方法の一例として、Shuran SongおよびJianxion Xiaoによる公表論文、コンピュータビジョンに関する第13回ヨーロッパ会議(ECCV2014)のプロシーディング「奥行き画像における3D物体検出のためのスライド形状」について述べる。

【0073】

図7aは、車内シナリオにおいてシーンをキャプチャするiToFセンサによって生成された信頼度画像を示し、図7bは、対応する奥行き画像を示す。
シーンは、車両のダッシュボード202、車両の運転者の右手701、および、運転者の右脚702で構成される。オブジェクト/手の認識方法が、好ましくは、奥行き画像に対して実行される(図7b参照)。手のようなオブジェクトが検出された場合には、物体検出プロセスによって、信頼度画像402(図7a参照)において検出された手に関する活性境界ボックス700が提供される。
ROI 203nの所定の数n、ここではn = 7が信頼度画像で定義される。図7aにおいて、各ROIは、図7aに7つの矩形ボックスが示されるように、矩形ボックス203-1から203-7によって表される。6つのROI 203-1から203-6は、互いに隣接してROIのグループを形成しており、7番目のROI 203-7は、信頼度画像においてさらに遠くに定義されている。

【0074】

検出された手を含む活性境界ボックスがn個のROI 203のうちの1つ以上とオーバーラップする場合、これらのオーバーラップしたROI 203は、煙検出のために考慮されない。これらは、図6の602で説明されているように、フィルタリングされる。オブジェクト/手が検出され、境界ボックス700が定義されたROI 203の少なくとも1つを覆う場合、カバーされたROI 203はさらに煙検出のために考慮されないか、または、煙検出処理403は一時停止または停止される。
奥行き画像内のROI 203は、検出されたオブジェクト/手によって発生したオクルージョンを観察するために使用され、これにより誤検出が回避される。

【0075】

あるいは、煙検出方法は、活性境界ボックス700がn個のROIの少なくとも1つを覆うとき、または、h(フィルタリング後の残りのROI)が整数であり1< h < nであるときに、活性境界ボックスがn-h個のROIのすべてを覆うとき、もしくは、活性境界ボックスがn個のROIのすべてを覆うとき、信頼できないと見なされるので、停止される。

【0076】

上述したように、奥行き画像内のROI 203の各々は、信頼度画像内と同一の座標を有する。奥行き画像では、ノイズとみなされてフィルタ除去されるため、煙は現れない。手や指などのオブジェクトが両方の画像に表示されるであろう。これにより、検出された指、手(ここでは黒色で表示)からの誤検出を避けることができる。

【0077】

図8aは、図4に記載されている煙検出のプロセスの一実施形態をより詳細に概略的に説明する。
この実装では、標準偏差関数sを使用して一連のROIの信頼値の変動が計算される。

【0078】

図8aの実施形態は、上の図6の実施形態と同様であり、図6のステップに加えて、定義された一連のROIにおける信頼値変動sが、煙検出状況を判定するために計算される。

【0079】

意味のある煙検出に必要な有効ROIの所定の最小数mが、600で得られる。n個のROIのそれぞれのROI jについての信頼値C_ROI,jと信頼閾値C_totが、有効なROIのそれぞれの信頼値C_ROI,jに基づいて、煙検出のために601および603で計算される。オブジェクトの検出によってカバーされるROIは除外され、残りのROIの数hが602で得られる。
信頼値変動sが所定の閾値よりも大きい場合、800において、この方法は608において進み、608において、煙検出が信頼できないことを示すものであると判定される。信頼値変動sが所定の閾値より小さい場合、800において、本方法は604に進み、604において有効なROIの番号hがmより大きい場合、本方法は605に進む。
有効なROIの数hがmより小さい場合、この方法は608に進み、608で、煙検出が信頼できないことを示す煙検出状況が決定される。605において、少なくともm個のROIにおいて、それぞれの信頼値C_ROI,jが信頼閾値C_totに到達したかどうかがチェックされる。605での結果が「はい」であれば、この方法は607に進む。607において、煙が検出されたことを示す煙検出状況が決定される。605の結果が「いいえ」の場合、本方法は606に進む。606において、煙が検出されないことを示す煙検出状況が決定される。

【0080】

一連の定義されたROIにおける信頼値変動sは、n個のROIの各ROI jについて計算された信頼値C_ROI,jに基づいて、および、信頼閾値C_totに基づいて計算される。
一連のROIにおける信頼値変動sは、式6としての標準偏差関数によって計算され得る。

【数6】

ここで、Zは定義されたROIの数であり、C_totは信頼度画像内のすべてのROIの平均信頼値であり、C_ROI,jは信頼度画像内のROI jの(平均)信頼値である。

【0081】

上述の煙検出の間、煙検出状況が、光反射の変動sを測定するために、n ROI内の奥行き変動に基づいて、また、1つの画像内のn ROIの全てにおける(平均)信頼値に基づいて(奥行き画像に頼ることなく)、上述の標準偏差関数sを用いて決定される。すなわち、平均信頼値C_totの変動sを、煙検出の閾値と比較する。この閾値は、任意の適切な煙検出の閾値であってもよい。

【0082】

図8bは、図4に記載されている煙検出のプロセスの一実施形態をより詳細に概略的に説明する。
図8bの実施形態は、上の図6の実施例と同様であり、図6のステップに加えて、信頼度画像内の明るいピクセルの数が計算されて煙検出状況が決定される。この実施例では、上の図6に関して実行されたステップの前に、801において、信頼度画像において計算された明るいピクセルの数が閾値より大きい場合、方法は802に進む。
802において、煙の存在の可能性は低いと考えられるので、煙検出処理は一時停止または停止される。801において、信頼度画像において計算された明るいピクセルの数が閾値より小さい場合、本方法は600に進む。600において、本方法は、図6の実施形態に記載されるように進む。

【0083】

図8bの実施形態では、それらの計算された明るい画素の数が、明るい画素についての所定の閾値を上回るとき、煙の存在の判定は、煙の存在の可能性が低いか、または、煙検出が信頼できないためと考えられる(図6の608を参照)ため、一時停止または停止される。明るいピクセルの数が上記閾値を上回る場合、オブジェクトの検出がiToFセンサに近づいて光が散乱するため、誤検出の危険性がある。これは、通常、オブジェクトがiToFセンサに近づくと、ROI内の光散乱が検出されるためである。

【0084】

（キャリブレーション）
上述の実施形態で説明したiToFシステム200は、例えば、画像をキャプチャし、キャプチャされた画像で背景差分を行うことにより、較正される。矩形形状のROI 203は、信頼度画像の各々において、そして差し引かれた背景に基づいて奥行き画像において定義され得る。キャリブレーションは、当業者に周知の任意の他のキャリブレーション方法を使用して実行することができる。

【0085】

煙検知状況判定方法を視覚化したフロー図を図9に示す。
900では、例えば車内シナリオにおいて、その視野内(図2の201参照)のシーン(図2の202参照)をキャプチャするiToFセンサ(図4の400参照)によって、奥行き画像(図4の401参照)と信頼度画像(図4の402参照)が取得される。901では、前述の図4および図6で説明したように、煙検出(図4の403を参照)が行われる。
902で、901で得られた煙検出結果に基づいて、煙検出状況(図4の404を参照)が生成される。煙検出状況は、上記の図5に記載されるように、例えば、煙検出が信頼できない、例えば、煙が検出されない、または、例えば、煙検出される、であってもよい。

【0086】

（実装）
図10は、上述したように、煙検出および煙検出状況判定のプロセスを実施することができるiToFデバイスの一実施形態を概略的に説明する。
電子デバイス1200は、プロセッサとしてのCPU1201を備える。電子デバイス1200は、iToFセンサ1206と、プロセッサ1201に接続された畳み込みニューラルネットワーク(CNN)ユニット1209とをさらに備える。プロセッサ1201は、例えば、図3および図4に関して説明したプロセスをより詳細に実現する煙検出403を実施してもよい。
CNN 1209は、例えば、ハードウェアにおける人工ニューラルネットワーク、例えば、GPU上のニューラルネットワーク、または人工ニューラルネットワークを実装する目的に特化されたその他のハードウェアであってもよい。したがって、CNN 1209は、この技術をリアルタイム、例えば、ニューラルネットワークアクセラレータで使用することを可能にするアルゴリズムアクセルであってもよい。
電子デバイス1200は、プロセッサ1201に接続されるユーザインターフェース1207をさらに備える。このユーザインターフェース1207は、マンマシンインタフェースとして機能し、管理者と電子システムとの間の対話を可能にする。例えば、管理者は、このユーザインターフェース1207を使用してシステムを構成することができる。
電子機器1200はBluetooth（登録商標）インターフェース1204、WLANインターフェース1205およびイーサネットインターフェース1208をさらに備える。これらのユニット1204, 1205は、外部機器とのデータ通信のための入出力インターフェースとして機能する。例えば、イーサネット、WLANまたはBluetooth（登録商標）接続を有するビデオカメラは、これらのインターフェース1204、1205および1208を介してプロセッサ1201に接続され得る。
電子デバイス1200は、データ記憶部1202と、データメモリ1203(ここではRAM)とをさらに備える。データ記憶部1202は、iToFセンサ1206から取得され、CNN 1209から提供されるiToFセンサデータなどを記録するために、例えば、1つ以上のユースケースのアルゴリズムパラメータを記憶するための長期記憶として構成される。
データメモリ1203は、プロセッサ1201による処理のための、データまたはコンピュータ命令を一時的に保存またはキャッシュするように配置される。

【0087】

なお、上記の説明は単なる構成例である。代替の構成は、追加のまたは他のセンサ、記憶デバイス、インターフェースなどを用いて実装されてもよい。

【0088】

上述した実施形態は、方法ステップの例示的な順序付けを伴う方法を説明していることを理解されたい。しかしながら、方法ステップの特定の順序付けは、例示の目的のみのために与えられ、拘束力のあるものとして解釈されるべきではない。例えば、図6のステップ601は、ステップ603の後に実行され得る。

【0089】

また、図10の電子制御装置を複数のユニットに分割することは、例示の目的のためだけに行われ、本開示は、特定のユニットにおける機能のいかなる特定の分割にも限定されないことにも留意されたい。例えば、回路の少なくとも一部は、それぞれプログラムされたプロセッサ、フィールド・プログラマブル・ゲート・アレイ(FPGA)、専用回路等によって実現することができる。

【0090】

本明細書に記載され、添付の特許請求の範囲に記載されたすべてのユニットおよびエンティティは別段の記載がない限り、例えばチップ上の集積回路ロジックとして実装することができ、そのようなユニットおよびエンティティによって提供される機能は、別段の記載がない限り、ソフトウェアによって実装することができる。

【0091】

上述の開示の実施形態が少なくとも部分的に、ソフトウェア制御されたデータ処理装置を使用して実施される限り、そのようなソフトウェア制御を提供するコンピュータプログラム、およびそのようなコンピュータプログラムが提供される伝送、記憶、または他の媒体が、本開示の態様として想定されることが理解される。

【0092】

なお、本技術は以下のような構成も取ることができる。
(1) iToFセンサ(400)によってキャプチャされた奥行き画像(401)および信頼度画像(402)に基づいて煙検出(403)を行い、煙検出状況(404, 606, 607, 608)を得るように構成された回路を具備する
電子デバイス。
(2) 前記回路は、前記キャプチャされた奥行き画像(401)および前記キャプチャされた信頼度画像(402)のそれぞれにおいて関心領域ROI(203)を定義し、前記奥行き画像(401)および前記信頼度画像(402)で定義された前記ROIに基づいて前記煙検出(403)を行うように構成されている
(1)に記載の電子デバイス。
(3) 前記奥行き画像(401)内の前記ROI(203)が、前記信頼度画像(402)で定義された前記ROI(203)と同一の位置に定義されている
(1)または(2)に記載の電子デバイス。
(4) 前記奥行き画像(401)および前記信頼度画像(402)における前記ROI(203)が固定位置で定義されている
(2)または(3)に記載の電子デバイス。
(5) 前記回路は、前記信頼度画像(402)における信頼値(C, C_ROI,j, C_tot)を推定するように構成されている
(1)~(4)のいずれか1つに記載の電子機器。
(6) 前記回路は、前記信頼度画像(402)で定義された前記ROI(203)のそれぞれにおいてそれぞれの信頼値(C_ROI,j)を算出し、算出した信頼値(C_ROI,j)に基づいて前記煙検出(403)を行うように構成されている
(2)に記載の電子デバイス。
(7) 前記回路は、前記ROI(203)の前記それぞれの信頼値(C_ROI,j)に基づいて、すべてのROI(203)の平均信頼値(C_tot)を計算するように構成されている
(6)に記載の電子デバイス。
(8) 信頼閾値(C_tot)が、すべてのROI(203)の前記平均信頼値(C_tot)として設定されている
(7)に記載の電子デバイス。
(9) 前記回路は、少なくともROIの最小数(m)における各ROI(203)のそれぞれの前記信頼値(C_ROI,j)により前記信頼閾値(C_tot)に到達したとき、煙が検出されたことを示す煙検出状況(607)を得るように構成されている
(7)に記載の電子デバイス。
(10) 前記回路は、前記少なくともROI(203)の最小数(m)において前記信頼閾値(C_tot)に達していないときに、煙が検出されていないことを示す煙検出状況(606)を取得するように構成されている
(7)に記載の電子デバイス。
(11) 前記回路は、前記奥行き画像(401)に対して実行された物体検出に基づいて、オブジェクトの存在を検出するように構成されている
(2)に記載の電子デバイス。
(12) 前記オブジェクトは手である
(11)に記載の電子デバイス。
(13) 前記回路は、前記奥行き画像(401)内の奥行き変動に基づいて、オブジェクトまたは手の存在を検出するように構成されている
(2)に記載の電子デバイス。
(14) 前記回路は、残りのROIの数(h)を得るために、検出されたオブジェクトによって覆われるROI(203)をフィルタリングするように構成されている
(11)に記載の電子デバイス。
(15) 前記回路は、残りのROIの数(h)を得るために、前記奥行き画像(401)内の高い奥行き変動を有するROI(203)をフィルタリングするように構成されている
(2)に記載の電子デバイス。
(16) 前記回路は、前記残りのROI(203)の数hがROI(203)の所定の最小数(m)よりも小さいときに、前記煙検出が信頼できないことを示す煙検出状況(608)を取得するように構成されている
(12)に記載の電子デバイス。
(17) 前記回路は、前記ROI(203)内の前記それぞれの信頼値(C_ROI,j)の変動(s)に基づいて、前記煙検出(403)を行うように構成されている
(6)に記載の電子デバイス。
(18) iToFセンサ(400)によってキャプチャされた奥行き画像(401)および信頼度画像(402)に基づいて煙検出(403)を行い(901)、煙検出状況(404)を得ることを含む方法。
(19) プログラムがコンピュータによって実行されるときに、前記コンピュータに(18)に記載の方法を実行させる命令を含むコンピュータプログラム。
(20) コンピュータによって実行されるときに、前記コンピュータに(18)に記載の方法を実行させるコンピュータプログラム製品を記憶する非一時的なコンピュータ読取可能な記録媒体。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】

【図7a】

【図7b】

【図8a】

【図8b】

【図9】

【図10】

【国際調査報告】