特表 2023-525378 温度を測定するための方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-15

(54)【発明の名称】温度を測定するための方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   A61B 5/01 20060101AFI20230608BHJP

   G06T 7/00 20170101ALI20230608BHJP

   G01J 5/48 20220101ALI20230608BHJP

【ＦＩ】

A61B5/01 350

G06T7/00 660Z

G01J5/48 A

G01J5/48 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022569508

(86)(22)【出願日】2020-10-14

(85)【翻訳文提出日】2022-11-15

(86)【国際出願番号】 CN2020120964

(87)【国際公開番号】W WO2021227350

(87)【国際公開日】2021-11-18

(31)【優先権主張番号】202010415405.7

(32)【優先日】2020-05-15

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】フェン， ハオチェン

(72)【発明者】

【氏名】ユエ， ハイシャオ

(72)【発明者】

【氏名】ワン， ケヤオ

(72)【発明者】

【氏名】チャン， ガン

(72)【発明者】

【氏名】ファン， ヤンウェン

(72)【発明者】

【氏名】ユウ， シユ

(72)【発明者】

【氏名】ハン， ジャンユ

(72)【発明者】

【氏名】リュウ， ジントゥオ

(72)【発明者】

【氏名】ディン， エルイ

(72)【発明者】

【氏名】ワン， ハイフェン

【テーマコード（参考）】

2G066

4C117

5L096

【Ｆターム（参考）】

2G066AC13

2G066BC15

2G066CA02

2G066CA04

2G066CA08

2G066CA16

4C117XA07

4C117XB02

4C117XC01

4C117XD04

4C117XD06

4C117XD17

4C117XE23

4C117XE43

4C117XE48

4C117XE56

4C117XJ13

4C117XJ45

4C117XK09

4C117XK24

4C117XP11

5L096AA06

5L096CA02

5L096DA02

5L096EA39

5L096GA30

5L096HA11

(57)【要約】

本願の実施例は、温度を測定するための方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関し、人工知能の分野に関し、具体的には、コンピュータビジョンに関する。当該方法は、入力画像内の対象の目標部位を検出するステップを含むことができる。当該方法は、目標部位の検出結果に基づいて目標部位のキーポイント及びキーポイントの重み情報を決定するステップであって、重み情報が、キーポイントが遮蔽される確率を示すステップをさらに含む。当該方法は、キーポイントの温度情報を取得するステップをさらに含むことができる。また、当該方法は、少なくともキーポイントの温度情報及び重み情報に基づいて目標部位の温度を決定するステップをさらに含むことができる。本開示の技術案は、歩行者の体温情報を迅速に効率的かつ低コストで取得することにより、温度測定の時間コスト及び人件費を削減することができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

入力画像内の対象の目標部位を検出するステップと、
前記目標部位の検出結果に基づいて前記目標部位のキーポイント及び前記キーポイントの重み情報を決定するステップであって、前記重み情報が、前記キーポイントが遮蔽される確率を示すステップと、
前記キーポイントの温度情報を取得するステップと、
少なくとも前記キーポイントの前記温度情報及び前記重み情報に基づいて前記目標部位の温度を決定するステップと、
を含む、温度を測定するための方法。

【請求項2】

前記キーポイント及び前記重み情報を決定するステップが、
前記目標部位の検出結果をキーポイント決定モデルに適用し、前記キーポイント及び前記重み情報を決定するステップであって、前記キーポイント決定モデルが、参照画像内の参照目標部位と、前記参照目標部位内の参照キーポイント及び参照重み情報とに基づいてトレーニングされるステップを含む請求項１に記載の方法。

【請求項3】

前記キーポイントの温度情報を取得するステップが、
前記目標部位に対する温度検知画像を取得するステップと、
前記温度検知画像から前記キーポイントの位置に対応する温度情報を決定するステップと、
を含む請求項１に記載の方法。

【請求項4】

前記キーポイントの温度情報を取得するステップが、
前記キーポイントの測定温度を取得するステップと、
前記測定温度に基づいて前記キーポイントの実温度を決定するステップと、
を含む請求項１に記載の方法。

【請求項5】

少なくとも前記キーポイント及び前記重み情報に基づいて前記目標部位を認識するステップと、
前記認識された結果に基づいて前記対象を決定するステップと、
を含む請求項１に記載の方法。

【請求項6】

前記目標部位が、前記対象の顔、目、指紋のうちの少なくとも１つである請求項１に記載の方法。

【請求項7】

前記目標部位を検出するステップが、
検出領域生成モデルによって前記入力画像で前記目標部位の検出領域を決定するステップを含む請求項１に記載の方法。

【請求項8】

入力画像内の対象の目標部位を検出するように構成される目標部位検出モジュールと、
前記目標部位の検出結果に基づいて前記目標部位のキーポイント及び前記キーポイントの重み情報を決定するように構成されるキーポイント情報決定モジュールであって、前記重み情報が、前記キーポイントが遮蔽される確率を示すキーポイント情報決定モジュールと、
前記キーポイントの温度情報を取得するように構成される温度情報取得モジュールと、
少なくとも前記キーポイントの前記温度情報及び前記重み情報に基づいて前記目標部位の温度を決定するように構成される温度決定モジュールと、
を備える、温度を測定するための装置。

【請求項9】

前記キーポイント情報決定モジュールが、
前記目標部位の検出結果をキーポイント決定モデルに適用し、前記キーポイント及び前記重み情報を決定するように構成される検出結果適用モジュールであって、前記キーポイント決定モデルは、参照画像内の参照目標部位と、前記参照目標部位内の参照キーポイント及び参照重み情報とに基づいてトレーニングされる検出結果適用モジュールを備える請求項８に記載の装置。

【請求項10】

前記温度情報取得モジュールが、
前記目標部位に対する温度検知画像を取得するように構成される温度検知画像取得モジュールと、
前記温度検知画像から前記キーポイントの位置に対応する温度情報を決定するように構成される温度情報決定モジュールと、
を備える請求項８に記載の装置。

【請求項11】

前記温度情報取得モジュールが、
前記キーポイントの測定温度を取得するように構成される測定温度取得モジュールと、
前記測定温度に基づいて前記キーポイントの実温度を決定するように構成される実温度決定モジュールと、
を備える請求項８に記載の装置。

【請求項12】

少なくとも前記キーポイント及び前記重み情報に基づいて前記目標部位を認識するように構成される目標部位認識モジュールと、
前記認識された結果に基づいて前記対象を決定するように構成される対象決定モジュールと、
を備える請求項８に記載の装置。

【請求項13】

前記目標部位が、前記対象の顔、目、指紋のうちの少なくとも１つである請求項８に記載の装置。

【請求項14】

前記目標部位検出モジュールが、
検出領域生成モデルによって前記入力画像で前記目標部位の検出領域を決定するように構成される検出領域決定モジュールを備える請求項８に記載の装置。

【請求項15】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、
を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合、前記１つ又は複数のプロセッサに請求項１から７のいずれか一項に記載の方法を実現させる電子機器。

【請求項16】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記プログラムがプロセッサによって実行される場合、請求項１から７のいずれか一項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。

【請求項17】

対象の目標部位に関連付けられている入力画像を提供するように構成される画像収集モジュールと、
前記画像収集モジュールに通信可能に接続されており、請求項１から８のいずれか一項に記載の方法を実現するように構成される計算モジュールと、
前記計算モジュールの処理結果を表示するように構成される出力表示モジュールと、
を備える、温度を測定するためのシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年０５月１５日に提出された中国特許出願第２０２０１０４１５４０５．７号の優先権を主張している。

【0002】

本開示の実施例は、主に人工知能の分野に関し、具体的には、コンピュータビジョンに関し、より具体的には、温度を測定するための方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

我が国の経済及び交通建設の発展に伴い、公共交通の入り口、観光地及び会場の入り口に高密度の人の流れがよく現れている。伝染病の流行が発生して長期的に存在する可能性があるため、高密度の人の流れに対する体温測定及び身分情報の認識はいずれも感染症予防・抑制対策の重要な一環となっている。しかしながら、現在の非接触型体温測定手段は、通常、警備、防疫担当者が体温ガンによって歩行者を一人ずつ体温検査したり、身分証明書をスキャンしたりして歩行者を一人ずつ身分認識している。このような方式は、明らかに非効率的である。そして、人の流れの渋滞を引き起こす可能性があるため、高密度の人の流れの集まりは、通常避けられず、さらに多くの人が感染することになる。如何にして体温測定を効率的かつ正確に実現するかは、感染症予防・抑制対策の早急に解決しなければならない問題となっている。

【発明の概要】

【0004】

本開示の例示的な実施例によれば、温度を測定するための技術案が提供される。

【0005】

本開示の第１の態様において、温度を測定するための方法が提供される。当該方法は、入力画像内の対象の目標部位を検出するステップを含むことができる。当該方法は、目標部位の検出結果に基づいて目標部位のキーポイント及びキーポイントの重み情報を決定するステップであって、重み情報が、キーポイントが遮蔽される確率を示すステップをさらに含む。当該方法は、キーポイントの温度情報を取得するステップをさらに含むことができる。また、当該方法は、少なくともキーポイントの温度情報及び重み情報に基づいて目標部位の温度を決定するステップをさらに含むことができる。

【0006】

本開示の第２の態様において、温度を測定するための装置が提供され、前記装置は、入力画像内の対象の目標部位を検出するように構成される目標部位検出モジュールと、前記目標部位の検出結果に基づいて前記目標部位のキーポイント及び前記キーポイントの重み情報を決定するように構成されるキーポイント情報決定モジュールであって、前記重み情報が、前記キーポイントが遮蔽される確率を示すキーポイント情報決定モジュールと、前記キーポイントの温度情報を取得するように構成される温度情報取得モジュールと、少なくとも前記キーポイントの前記温度情報及び前記重み情報に基づいて前記目標部位の温度を決定するように構成される温度決定モジュールと、を備える。

【0007】

本開示の第３の態様において、電子機器が提供され、前記電子機器は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するための記憶装置と、を備え、１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行される場合、１つ又は複数のプロセッサに本開示の第１の態様に記載の方法を実現させる。

【0008】

本開示の第４の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体が提供され、当該プログラムがプロセッサによって実行される場合、本開示の第１の態様に記載の方法が実現される。

【0009】

本開示の第５の態様において、温度を測定するためのシステムが提供され、前記システムは、対象の目標部位に関連付けられている入力画像を提供するように構成される画像収集モジュールと、画像収集モジュールに通信可能に接続されており、本開示の第１の態様に記載の方法を実現するように構成される計算モジュールと、計算モジュールの処理結果を表示するように構成される出力表示モジュールと、を備える。

【0010】

なお、発明内容の部分に記載されている内容は、本願の実施例の肝心又は重要な特徴を限定することを意図するものではなく、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明によって容易に理解されやすくなる。

【図面の簡単な説明】

【0011】

図面を組み合わせて以下の詳細な説明を参照して、本開示の各実施例の上記及びその他の特徴、利点及び態様は、より明らかになる。図面において、同じ又は類似する図面表記は、同じ又は類似する要素を表す。

【図1】本開示の複数の実施例が実現可能な例示的な環境の概略図である。

【図2】本開示の複数の実施例が実現可能な詳細な例示的な環境の概略図である。

【図3】本開示の実施例に係る温度を測定するためのプロセスのフローチャートである。

【図4】本開示の実施例に係る検出結果に基づいてキーポイント及びその重み情報を決定する概略図である。

【図5】本開示の実施例に係る温度を測定するためのシステムのブロック図である。

【図6】本開示の実施例に係る温度を測定するための装置のブロック図である。

【図7】本開示の複数の実施例を実施することができる計算装置のブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施例をより詳細に説明する。図面には、本開示のいくつかの実施例が示されているが、本開示は、様々な形態で実現されてもよく、本明細書に記載されている実施例に限定されるものとして解釈されべきではなく、むしろこれらの実施例は本開示をより徹底的かつ完全に理解するために提供されることを理解すべきである。本開示の図面及び実施例は、例示的なものにすぎず、本開示の保護範囲を制限するためのものではないことを理解すべきである。

【0013】

本開示の実施例の説明では、用語「含む」及びそれに類似する用語は、「含むが、これらに限定されない」という非限定の表現として理解されるべきである。用語「に基づいて」は、「少なくとも部分的に…に基づいて」と理解されるべきである。用語「１つの実施例」又は「当該実施例」は、「少なくとも１つの実施例」と理解されるべきである。用語「第１」、「第２」などは、異なる又は同じ対象を指すことができる。以下には、他の明確か暗黙的な定義がさらに含まれ得る。

【0014】

感染対策に対応するために、通常、サーモグラフィー技術に基づく非接触かつ自動化された体温測定手段を利用して複数の歩行者の体温を同時に測定することができる。例えば、赤外線サーモグラフィー装置を利用して歩行者の顔の赤外線サーモグラフィーを取得することができる。赤外線サーモグラフィーには、歩行者の顔が高温状態であることが表示される（例えば、額の部分が赤く表示されている）場合、検出機器は、当該歩行者が発熱状態であると決定し、警報情報を発することができる。

【0015】

しかしながら、このタイプの温度測定技術には、温度測定の精度が周辺環境の影響を受けやすいという問題が存在する。例えば、歩行者の顔の周辺が高温の物体（例えば、携帯電話、温かい飲み物など）によって遮蔽される可能性がある。さらに例えば、歩行者の顔の周辺が低温の物体（例えば、冷たい食品、冷たい飲み物など）によって遮蔽される可能性がある。また例えば、発熱していない歩行者の顔が発熱している歩行者によって遮蔽される可能性がある。これらの遮蔽状況は、温度の誤報を招き、検出機器の性能に影響を与える。また、顔が遮蔽されている場合、従来の顔認識の仕組みでは不正確な認識結果が出力されることが多い。

【0016】

上記のように、歩行者の体温情報を迅速に効率的かつ低コストで取得することにより、温度測定の時間コスト及び人件費を削減するための温度測定方法が早急に必要である。

【0017】

本開示の実施例によれば、温度を測定するための技術案が提出されている。当該技術案において、カメラによって収集された入力画像に基づいて対象の目標部位のキーポイントを決定するとともに、各キーポイントの重み情報をさらに決定することができる。ここで、重み情報は、キーポイントが遮蔽される確率を示すために使用される。一方、赤外線サーモグラフィー装置などの温度検知装置によってキーポイントでの温度情報を取得し、キーポイントの温度情報及び重み情報に基づいて当該目標部位の温度を決定することもできる。このようにして、人間の顔などの目標部位が高温の物体（例えば、携帯電話、温かい飲み物など）によって遮蔽される場合が存在しても、当該遮蔽された部位のキーポイントの重み情報を小さく決定したり、無視したりすることができる。これにより、遮蔽されていない部位や他の異常温度の影響を受けている部位の温度に基づいて歩行者の体温を決定することができる。

【0018】

以下に図面を参照して本開示の実施例を具体的に説明する。図１は、本開示の複数の実施例が実現可能な例示的な環境１００の概略図を示す。図１に示すように、例示的な環境１００には、入力画像１１０、計算装置１２０、温度検知画像１３０及び出力温度１５０が含まれている。なお、計算装置１２０には、畳み込みニューラルネットワーク（ＣＮＮ）１４０も含まれている。なお、図１内のＣＮＮ１４０は、例示的なものに過ぎず、学習機能を備える他の人工知能ネットワークによって代替されてもよい。

【0019】

入力画像１１０は、計算装置１２０に接続されている画像取得装置によって取得されたリアルタイムモニタリング画像であってもよい。一例として、画像取得装置は、当該場所を通過する人々の各々の画像情報を取得するように、人通りの多い公共の場所に設けられてもよい。なお、画像情報を取得する対象は、人間に限らず、体温を一括して測定する必要がある動物（例えば、動物園又は飼育場所内の動物）を含んでいてもよい。また、入力画像１１０は、モニタリング対象のマルチフレーム画像、すなわち、ビデオであってもよい。計算装置１２０は、入力画像１１０を受信し、計算装置１１０内のＣＮＮ１４０によってモニタリング対象の顔などの目標部位の検出領域を決定することにより、キーポイント及びその重み情報を決定することができる。

【0020】

一方、計算装置１２０は、温度検知画像１３０も受信する。温度検知画像１３０は、赤外線サーモグラフィー装置のような温度検知装置によって取得することができる。赤外線サーモグラフィー装置などの温度検知装置と上述した画像取得装置を位置合わせすることにより、両装置による撮像の画素レベルの位置合わせを実現する。これにより、計算装置１２０は、各キーポイントの温度情報を決定し、より参考的なキーポイントの温度情報に基づいて重み付け平均などの方式によってモニタリング対象の温度１５０を決定することができる。

【0021】

図１において、入力画像１１０及び温度検知画像１３０に基づいて温度１５０を生成するキーポイントは、計算装置１１０におけるＣＮＮ１４０が事前訓練によって構築されていることであり、ＣＮＮ１４０の構築及び使用については、図２を介して後述する。

【0022】

図２は、本開示の複数の実施例が実現可能な詳細な例示的な環境２００の概略図を示す。図１と同様に、例示的な環境２００は、計算装置２２０、入力画像２１０及び出力結果２５０を含むことができる。違いは、例示的な環境２００は、概して、モデルトレーニングシステム２７０及びモデルアプリケーションシステム２８０を備えることができることである。一例として、モデルトレーニングシステム２７０及び／又はモデルアプリケーションシステム２８０は、図１に示すような計算装置１２０又は図２に示すような計算装置２２０において実現することができる。なお、例示的な目的のためだけに例示的な環境２００の構造及び機能を記載することは、本明細書で説明するテーマの範囲を制限することを意図しない。本明細書で説明するテーマは、異なる構造及び／又は機能で実施することができる。

【0023】

前述したように、モニタリング対象の顔などの目標部位の検出領域を決定するプロセス、及びキーポイント及びその重み情報を決定するプロセスは、モデルトレーニング段階とモデルアプリケーション段階の２つの段階に分けられる。一例として、目標部位の検出領域を決定するプロセスについて、モデルトレーニング段階では、モデルトレーニングシステム２７０は、トレーニングデータセット２６０を利用して検出領域を決定するＣＮＮ２４０をトレーニングすることができる。モデルアプリケーション段階では、モデルアプリケーションシステム２８０は、トレーニングされたＣＮＮ２４０を受信して、入力画像２１０に基づいてＣＮＮ２４０によって検出領域を決定することができる。なお、トレーニングデータセット２６０は、大量のラベル付けされたモニタリング画像であってもよい。

【0024】

別の例として、キーポイント及びその重み情報を決定するプロセスについて、モデルトレーニング段階では、モデルトレーニングシステム２７０は、トレーニングデータセット２６０を利用して、キーポイント及びその重み情報を決定するＣＮＮ２４０をトレーニングすることができる。モデルアプリケーション段階では、モデルアプリケーションシステム２８０は、決定された検出領域に基づいてＣＮＮ２４０によってキーポイント及びその重み情報が決定されるようにトレーニングされたＣＮＮ２４０を受信することができる。なお、入力画像１１０に直接基づいてキーポイント及びその重み情報を決定するようにＣＮＮ２４０をトレーニングすることも可能である。

【0025】

他の実施例において、ＣＮＮ２４０は、キーポイント及びその重み情報を決定するための学習ネットワークとして構築されてもよい。このような学習ネットワークを学習モデルと呼ぶこともできるし、単にネットワークやモデルと呼ぶこともできる。いくつかの実施例において、キーポイント及びその重み情報を決定するための学習ネットワークは、複数のネットワークを含むことができ、各ネットワークは、多数のニューロンから構成される多層ニューラルネットワークであってもよい。トレーニングプロセスによって、各ネットワークにおけるニューロンの対応するパラメータを決定することができる。これらのネットワークにおけるニューロンのパラメータは、総称してＣＮＮ２４０のパラメータと呼ばれる。

【0026】

ＣＮＮ２４０のトレーニングプロセスは、反復的に実行することができる。具体的には、モデルトレーニングシステム２７０は、トレーニングデータセット２６０から参照画像を取得し、参照画像を利用してトレーニングプロセスの反復を行い、ＣＮＮ２４０の対応するパラメータを更新することができる。モデルトレーニングシステム２７０は、トレーニングデータセット２６０内の複数の参照画像に基づいて、ＣＮＮ２４０のパラメータのうちの少なくとも一部が収束するまで上記プロセスを繰り返し実行して、最終的なモデルパラメータを取得することができる。

【0027】

上述した技術案は例示的なものに過ぎず、本発明を制限するものではない。なお、他の形態や接続関係に従って各ネットワークを配置することもできる。上記の態様の原理をより明確に説明するために、以下に温度測定のプロセスについて図３を参照してより詳細に説明する。

【0028】

図３は、本開示の実施例に係る温度を測定するためのプロセス３００のフローチャートを示す。いくつかの実施例において、方法３００は、図１の計算装置１２０、図２の計算装置２２０及び図６に示されるデバイスにおいて実現することができる。ここで、図１を参照して、本開示の実施例に係る温度を測定するためのプロセス３００について説明する。理解を容易にするために、以下の説明において言及される特定の例は、いずれも例示的なものであり、本開示の保護範囲を限定するためには使用されない。

【0029】

３０２において、計算装置１２０は、入力画像１１０内の対象の目標部位を検出することができる。一例として、計算装置１２０は、検出領域生成モデルなどのＣＮＮ１４０によって入力画像１１０において目標部位の検出領域を決定することができる。いくつかの実施例において、ＣＮＮ１４０は、入力画像１１０の顔領域検出を行うことができる。例えば、６層の畳み込みネットワークを介して入力画像１１０の顔の基礎特徴抽出を行うことができ、各層の畳み込みネットワークは、１回の画像ダウンサンプリングを実施し、最後の３層の畳み込みニューラルネットワークに基づいて、顔検出領域回帰を行うために、それぞれ一定の数の異なるサイズの顔アンカー領域を予め設定しておき、最終的な顔の検出領域とする。なお、上記実施例は例示的なものにすぎず、他の層数の畳み込みネットワークを使用することもでき、また、顔の検出領域の決定にも限定されない。このようにして、検出領域生成モデルに基づいて入力画像１１０内の目標部位の検出領域を迅速に認識することにより、後続の温度測定や顔認証にも備えることができる。

【0030】

３０４において、計算装置１２０は、目標部位の検出結果に基づいて目標部位のキーポイント及びキーポイントの重み情報を決定することができる。重み情報は、キーポイントが遮蔽される確率を示すために使用される。一例として、計算装置１２０は、目標部位の検出結果をＣＮＮ１４０（例えば、キーポイント決定モデル）に適用して、キーポイント及び重み情報を決定することができる。ＣＮＮ１４０は、参照画像内の参照目標部位と、参照目標部位内の参照キーポイント及び参照重み情報とに基づいてトレーニングされる。いくつかの実施例において、ＣＮＮ１４０は、顔の検出結果に基づいて、当該顔のキーポイント及び各キーポイントの重み情報を決定することができる。このようにして、温度測定の焦点を、遮蔽されていないか、又は異常温度の物体の影響を受けていない部位に絞ることにより、温度測定の精度を向上させることができる。

【0031】

図４は、本開示の実施形態に係る検出結果４１０に基づいてキーポイント４２０及びその重み情報を決定するための概略図をより詳細に示す。図４に示すように、検出対象は、歩行者であり、目標部位は、歩行者の顔、すなわち人の顔である。キーポイント決定モデルなどのＣＮＮ１４０が顔検出領域４１０が確認された画像を取得すると、ＣＮＮ１４０は、顔検出領域４１０内のキーポイント４２０などの複数のキーポイントを決定することができる。同時に、ＣＮＮ１４０は、各キーポイントの重み情報を決定することもできる。例えば、キーポイント４２０は、手や携帯電話によって遮蔽されるため、その重み情報は非常に小さいと決定される。一例として、重み情報は通常、０から１の間の数値に設定され、ＣＮＮ１４０によって予測されたキーポイントが遮蔽される確率が高いほど、重み情報の数値が小さくなり、当該キーポイントでの温度は参考にならないことを意味する。

【0032】

その後、図３に戻る。３０６において、計算装置１２０は、キーポイントの温度情報を取得することができる。一例として、計算装置１２０は、目標部位に対する温度検知画像１３０を取得することができる。温度検知画像１３０は、赤外線サーモグラフィー装置などの温度検知装置によって取得することができる。赤外線サーモグラフィー装置などの温度検知装置と上述した画像取得装置を位置合わせすることにより、両装置による撮像の画素レベルの位置合わせを実現する。これにより、計算装置１２０は、温度検知画像１３０からキーポイントの位置に対応する温度情報を決定することができる。このようにして、認識されたキーポイントの温度測定が実現されることにより、後続の温度計算に備えることができる。

【0033】

なお、このときに取得された温度情報は、温度１５０を算出する際の根拠とすることができるが、環境などの影響により誤差が生じる可能性がある。したがって、温度検知装置及び画像取得装置が設けられる位置での測定温度と実温度との関数関係を作成することができる。例えば、事前知識に基づいて最小二乗法により当該関数関係をフィッティングすることができる。これにより、計算装置１２０は、キーポイントの測定温度を取得し、測定温度に基づいてキーポイントの実温度を決定することができる。このとき、計算装置１２０によって決定された実温度に対する精度が大幅に向上する。

【0034】

３０８において、計算装置１２０は、少なくともキーポイントの温度情報及び重み情報に基づいて目標部位の温度を決定することができる。なお、本明細書で説明される目標部位は、対象の顔、目、手（指紋を含む）のうちの少なくとも１つであってもよく、対象は人間に限定されない。例えば、計算装置１２０は、目標部位の温度を決定した後、当該温度を閾値温度と比較し、当該温度が閾値温度よりも高い場合に警報を行うことができる。人体の各部位の温度には差があるため、顔が検出された場合、それに対応する閾値温度を、人の手に対応する閾値温度とは異なる温度に設定することができる。また、動物園や飼育場所における動物を体温検査する場合、各動物の体温は通常異なるので、異なる種類の動物に対応する閾値温度を決定することにより、異なる動物の体温測定と警報を実現することもできる。

【0035】

以上のようにして、本開示は、複数のキーポイントを認識して各キーポイントにおける温度及びその重み情報を詳細に決定することによって、温度測定の精度を向上させることができる。また、本発明は、作業者の介入なしに、歩行者や動物が多いシナリオなどにも適用することができるため、温度測定の時間コスト及び人件費を削減することができ、感染期間中に作業者が感染するリスクを低減することができる。

【0036】

さらに、計算装置１２０は、少なくともキーポイント及び重み情報に基づいて目標部位を認識し、認識された結果に基づいて対象を決定することもできる。いくつかの実施例において、計算装置１２０は、キーポイント及び重み情報に基づいて顔を認識することにより、モニタリングされている歩行者の身分情報を決定することができる。別の実施例において、計算装置１２０は、キーポイント及び重み情報に基づいて、モニタリングされている動物の種類を決定することもできる。重み機構が設けられているので、遮蔽された部分は、認識動作のために計算装置１２０によって実際に使用されないか、又はほとんど使用されないことになり、計算装置１２０内のＣＮＮ１４０の誤認識の可能性が低減される。

【0037】

さらに、本開示は、温度を測定するためのシステム５００をさらに提供する。図５に示すように、当該システムは、ＲＧＢカメラなどの画像検知装置及び赤外線サーモグラフィー装置などの温度検知装置であってもよい画像取得モジュール５１０を備える。当該システム５００は、画像取得モジュール５１０に通信可能に接続されている計算モジュール５２０をさらに備え、当該計算モジュール５２０は、上述した各方法及び処理、例えば、プロセス３００に用いられる。また、当該システム５００は、ユーザに計算モジュール５２０の処理結果を表示するための出力表示モジュール５３０を備えることができる。例えば、出力表示モジュール５３０は、ユーザにモニタリング対象の温度を表示することができる。モニタリング対象の体温が予め設定された閾値より高い場合、出力表示モジュール５３０は警報信号を発するためにも使用される。

【0038】

このようにして、システムレベルの非接触温度測定を実現し、計算力の需要が変わらない前提で温度測定の正確率を著しく向上させることができる。

【0039】

いくつかの実施例において、システム５００は、複数の歩行者の温度測定シナリオに適用することができる。例えば、システム５００内の画像取得モジュール５１０は、地下鉄又は会場の入り口に適用することにより、歩行者のＲＧＢ画像や赤外線画像などをリアルタイムに収集することができ、計算モジュール５２０は、当該ＲＧＢ画像や赤外線画像に対してプロセス３００などの画像処理を行って当該歩行者の体温情報を取得することができ、歩行者の体温が予め設定された閾値より高いことが発見された場合、出力表示モジュール５３０は、様々な警報方式によって当該歩行者をロッキングすることができ、当該システムは、入り口を通過する複数の歩行者の体温情報をリアルタイムにモニタリングすることができる。このようにして、安全検査・防疫担当者が感染が疑われる患者との直接接触を回避又は減少し、温度測定プロセスが簡潔かつ効率的で、人為的な渋滞を引き起こすことがない。

【0040】

いくつかの実施例において、システム５００は、養殖場又は動物園に適用することができる。例えば、システム５００内の画像収集モジュール５１０は、動物の体温情報をリアルタイムにモニタリングすることを可能にするように、養殖場又は動物園の最適な視角に適用することができる。さらに、計算モジュール５２０は、動物の種類を認識して、温度測定された動物の種類を決定することにより、当該種類の動物の体温閾値を取得することができる。出力表示モジュール５３０は、動物の体温が当該閾値よりも高いことが発見された場合、作業者による治療又は処置を容易にするために、様々な警報方式によって当該動物をロッキングすることができる。このようにして、病原菌を保有する可能性のある動物への作業者の直接の接触を回避又は減少させることができる。

【0041】

図６は、本開示の実施例に係る温度を測定するための装置６００のブロック図を示す。図６に示すように、装置６００は、入力画像内の対象の目標部位を検出するように構成される目標部位検出モジュール６０２と、目標部位の検出結果に基づいて目標部位のキーポイント及びキーポイントの重み情報を決定するように構成されるキーポイント情報決定モジュール６０４であって、当該重み情報が、キーポイントが遮蔽される確率を示すキーポイント情報決定モジュール６０４と、キーポイントの温度情報を取得するように構成される温度情報取得モジュール６０６と、少なくともキーポイントの温度情報及び重み情報に基づいて目標部位の温度を決定するように構成される温度決定モジュール６０８と、を備えることができる。

【0042】

いくつかの実施例において、キーポイント情報決定モジュール６０４は、目標部位の検出結果をキーポイント決定モデルに適用し、キーポイント及び重み情報を決定するように構成される検出結果適用モジュールであって、キーポイント決定モデルは、参照画像内の参照目標部位と、参照目標部位内の参照キーポイント及び参照重み情報とに基づいてトレーニングされる検出結果適用モジュールを備える。

【0043】

いくつかの実施例において、温度情報取得モジュール６０６は、目標部位に対する温度検知画像を取得するように構成される温度検知画像取得モジュールと、温度検知画像からキーポイントの位置に対応する温度情報を決定するように構成される温度情報決定モジュールと、を備える。

【0044】

いくつかの実施例において、温度情報取得モジュール６０６は、キーポイントの測定温度を取得するように構成される測定温度取得モジュールと、測定温度に基づいてキーポイントの実温度を決定するように構成される実温度決定モジュールと、を備える。

【0045】

いくつかの実施例において、装置６００は、少なくともキーポイント及び重み情報に基づいて目標部位を認識するように構成される目標部位認識モジュールと、認識された結果に基づいて対象を決定するように構成される対象決定モジュールと、をさらに備えることができる。

【0046】

いくつかの実施例において、目標部位は、対象の顔、目、指紋のうちの少なくとも１つである。

【0047】

いくつかの実施例において、目標部位検出モジュールは、検出領域生成モデルによって入力画像で目標部位の検出領域を決定するように構成される検出領域決定モジュールを備えることができる。

【0048】

図７は、本開示の複数の実施例を実施することができる計算装置７００のブロック図を示す。装置７００は、図１の計算装置１２０又は図２の計算装置２２０を実現するために使用することができる。図示のように、装置７００は、読み取り専用メモリ（ＲＯＭ）７０２に記憶されているコンピュータプログラム指令又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロッドされたコンピュータプログラム指令に基づいて、様々な適切な動作及び処理を実行することができる中央処理装置（ＣＰＵ）７０１を備える。ＲＡＭ７０３には、装置７００の動作に必要な様々なプログラム及びデータが記憶されていてもよい。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続されている。

【0049】

装置７００における、キーボード、マウスなどの入力ユニット７０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット７０７と、磁気ディスク、光ディスクなどの記憶ユニット７０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット７０９と、を備える複数のコンポーネントは、Ｉ／Ｏインタフェース７０５に接続されている。通信ユニット７０９は、装置７００がインタネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

【0050】

処理ユニット７０１は、上述した各方法及び処理、例えば、プロセス３００を実行する。例えば、いくつかの実施例において、プロセス３００は、記憶ユニット７０８などの機械読み取り可能な媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び／又は通信ユニット７０９を介して装置７００にロッド及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ７０３にロッドされてＣＰＵ７０１によって実行された場合、上述したプロセス３００の１つ又は複数のステップを実行することができる。あるいは、他の実施例で、ＣＰＵ７０１は、他の任意の適切な形態で（例えば、ファーとウェアにより）プロセス３００を実行するように構成されてもよい。

【0051】

本明細書で上述した機能は、少なくとも部分的に１つ又は複数のハードウェア論理コンポーネントによって実行されてもよい。例えば、使用できる例示的なタイプのハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）などを含むが、これらに限定されない。

【0052】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャート及び／又はブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンパッケージとして、部分的に機械上で実行され、かつ部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。

【0053】

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又はデバイスによって使用されるために、又は命令実行システム、装置、又はデバイスと組み合わせて使用するためのプログラムを含むか、又は格納することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、又はこれらの任意の適切な組み合わせを備えることができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

【0054】

また、特定の順序で各操作を記載したが、これは、そのような操作が示されている特定の順序又は順序で実行されることを必要とするか、又は所望の結果を得るために示されているすべての操作が実行されることを必要とするものとして理解すべきである。ある環境では、マルチタスクや並列処理が有利になる場合がある。同様に、いくつかの具体的な実施の詳細が上記の論述に含まれているが、これらは本開示の範囲を制限するものとして解釈されるべきではない。別個の実施例の文脈で説明されたいくつかの特徴はまた、単一の実現において組み合わせて実現されてもよい。対照的に、単一の実現の文脈で説明された様々な特徴は、複数の実現において個別に、又は任意の適切なサブ組み合わせで実現されてもよい。

【0055】

本主題は、構造的特徴及び／又は方法的論理動作に固有の言語を用いて説明されているが、特許請求の範囲において限定される主題は、必ずしも上述した特定の特徴又は動作に限定されないことを理解すべきである。対照的に、上述した特定の特徴及び動作は、特許請求の範囲を実現する例示的な形態にすぎない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-11-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

入力画像内の対象の目標部位を検出するステップと、
前記目標部位の検出結果に基づいて前記目標部位のキーポイント及び前記キーポイントの重み情報を決定するステップであって、前記重み情報が、前記キーポイントが遮蔽される確率を示すステップと、
前記キーポイントの温度情報を取得するステップと、
少なくとも前記キーポイントの前記温度情報及び前記重み情報に基づいて前記目標部位の温度を決定するステップと、
を含む、温度を測定するための方法。

【請求項2】

前記キーポイント及び前記重み情報を決定するステップが、
前記目標部位の検出結果をキーポイント決定モデルに適用し、前記キーポイント及び前記重み情報を決定するステップであって、前記キーポイント決定モデルが、参照画像内の参照目標部位と、前記参照目標部位内の参照キーポイント及び参照重み情報とに基づいてトレーニングされるステップを含む請求項１に記載の方法。

【請求項3】

前記キーポイントの温度情報を取得するステップが、
前記目標部位に対する温度検知画像を取得するステップと、
前記温度検知画像から前記キーポイントの位置に対応する温度情報を決定するステップと、
を含む請求項１に記載の方法。

【請求項4】

前記キーポイントの温度情報を取得するステップが、
前記キーポイントの測定温度を取得するステップと、
前記測定温度に基づいて前記キーポイントの実温度を決定するステップと、
を含む請求項１に記載の方法。

【請求項5】

少なくとも前記キーポイント及び前記重み情報に基づいて前記目標部位を認識するステップと、
前記認識された結果に基づいて前記対象を決定するステップと、
を含む請求項１に記載の方法。

【請求項6】

前記目標部位が、前記対象の顔、目、指紋のうちの少なくとも１つである請求項１に記載の方法。

【請求項7】

前記目標部位を検出するステップが、
検出領域生成モデルによって前記入力画像で前記目標部位の検出領域を決定するステップを含む請求項１に記載の方法。

【請求項8】

入力画像内の対象の目標部位を検出するように構成される目標部位検出モジュールと、
前記目標部位の検出結果に基づいて前記目標部位のキーポイント及び前記キーポイントの重み情報を決定するように構成されるキーポイント情報決定モジュールであって、前記重み情報が、前記キーポイントが遮蔽される確率を示すキーポイント情報決定モジュールと、
前記キーポイントの温度情報を取得するように構成される温度情報取得モジュールと、
少なくとも前記キーポイントの前記温度情報及び前記重み情報に基づいて前記目標部位の温度を決定するように構成される温度決定モジュールと、
を備える、温度を測定するための装置。

【請求項9】

前記キーポイント情報決定モジュールが、
前記目標部位の検出結果をキーポイント決定モデルに適用し、前記キーポイント及び前記重み情報を決定するように構成される検出結果適用モジュールであって、前記キーポイント決定モデルは、参照画像内の参照目標部位と、前記参照目標部位内の参照キーポイント及び参照重み情報とに基づいてトレーニングされる検出結果適用モジュールを備える請求項８に記載の装置。

【請求項10】

前記温度情報取得モジュールが、
前記目標部位に対する温度検知画像を取得するように構成される温度検知画像取得モジュールと、
前記温度検知画像から前記キーポイントの位置に対応する温度情報を決定するように構成される温度情報決定モジュールと、
を備える請求項８に記載の装置。

【請求項11】

前記温度情報取得モジュールが、
前記キーポイントの測定温度を取得するように構成される測定温度取得モジュールと、
前記測定温度に基づいて前記キーポイントの実温度を決定するように構成される実温度決定モジュールと、
を備える請求項８に記載の装置。

【請求項12】

少なくとも前記キーポイント及び前記重み情報に基づいて前記目標部位を認識するように構成される目標部位認識モジュールと、
前記認識された結果に基づいて前記対象を決定するように構成される対象決定モジュールと、
を備える請求項８に記載の装置。

【請求項13】

前記目標部位が、前記対象の顔、目、指紋のうちの少なくとも１つである請求項８に記載の装置。

【請求項14】

前記目標部位検出モジュールが、
検出領域生成モデルによって前記入力画像で前記目標部位の検出領域を決定するように構成される検出領域決定モジュールを備える請求項８に記載の装置。

【請求項15】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置と、
を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合、前記１つ又は複数のプロセッサに請求項１から７のいずれか一項に記載の方法を実現させる電子機器。

【請求項16】

コンピュータによって実行される場合、請求項１から７のいずれか一項に記載の方法が実現されるコンピュータプログラム。

【請求項17】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項１から７のいずれか一項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。

【請求項18】

対象の目標部位に関連付けられている入力画像を提供するように構成される画像収集モジュールと、
前記画像収集モジュールに通信可能に接続されており、請求項１から７のいずれか一項に記載の方法を実現するように構成される計算モジュールと、
前記計算モジュールの処理結果を表示するように構成される出力表示モジュールと、
を備える、温度を測定するためのシステム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本開示の第４の態様において、コンピュータプログラムが提供され、当該コンピュータプログラムがコンピュータによって実行される場合、本開示の第１の態様に記載の方法が実現される。
本開示の第５の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体が提供され、当該プログラムがプロセッサによって実行される場合、本開示の第１の態様に記載の方法が実現される。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

本開示の第６の態様において、温度を測定するためのシステムが提供され、前記システムは、対象の目標部位に関連付けられている入力画像を提供するように構成される画像収集モジュールと、画像収集モジュールに通信可能に接続されており、本開示の第１の態様に記載の方法を実現するように構成される計算モジュールと、計算モジュールの処理結果を表示するように構成される出力表示モジュールと、を備える。

【国際調査報告】