特表 2024-542783 人工ニューラルネットワークを用いたＬＥＤアレイ最適化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-15

(54)【発明の名称】人工ニューラルネットワークを用いたＬＥＤアレイ最適化

(51)【国際特許分類】

   H05B 47/125 20200101AFI20241108BHJP

   H05B 47/19 20200101ALI20241108BHJP

   H05B 45/22 20200101ALI20241108BHJP

   H05B 45/12 20200101ALI20241108BHJP

   H05B 47/165 20200101ALI20241108BHJP

   H05B 47/13 20200101ALI20241108BHJP

   H04N 23/56 20230101ALI20241108BHJP

   H04N 23/60 20230101ALN20241108BHJP

【ＦＩ】

H05B47/125

H05B47/19

H05B45/22

H05B45/12

H05B47/165

H05B47/13

H04N23/56

H04N23/60 500

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024532995

(86)(22)【出願日】2022-11-29

(85)【翻訳文提出日】2024-07-17

(86)【国際出願番号】 US2022051184

(87)【国際公開番号】W WO2023101939

(87)【国際公開日】2023-06-08

(31)【優先権主張番号】63/285,171

(32)【優先日】2021-12-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】500507009

【氏名又は名称】ルミレッズ リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】ディケン，エルカン

(72)【発明者】

【氏名】ファン デル サイド，アリエン ヘルベン

(72)【発明者】

【氏名】プフェッファー，ニコラ ベッティーナ

【テーマコード（参考）】

3K273

5C122

【Ｆターム（参考）】

3K273PA05

3K273PA09

3K273QA06

3K273QA07

3K273RA05

3K273SA02

3K273SA21

3K273SA37

3K273SA46

3K273TA03

3K273TA05

3K273TA28

3K273TA33

3K273TA37

3K273TA54

3K273TA62

5C122EA12

5C122FH01

5C122FH11

5C122GC07

5C122GC14

5C122GC52

5C122GG13

5C122GG17

5C122GG19

5C122GG26

5C122HA82

5C122HB01

(57)【要約】

人工ニューラルネットワーク（ＡＮＮ）を使用してシーンの画像を補正する、モバイルデバイス内の照明構成が提供される。モバイルデバイスは、光を放ってシーンを照明するＬＥＤアレイを備えた照明装置を有する。ＬＥＤアレイは、境界によって分離され、独立に駆動されるＬＥＤを有する。カメラが、シーンの画像をキャプチャするためのセンサを有する。ＡＮＮは、パラメータを生成するように、カメラによってキャプチャされた画像セットを用いて当該ＡＮＮがトレーニングされるトレーニングモードを持つ。ＡＮＮは、クラウドネットワーク内で、オフラインでトレーニングされる。プロセッサが、推論モードにおいて、トレーニングされたＡＮＮを使用して画像を補正する。

【特許請求の範囲】

【請求項1】

光を放ってシーンを照明するように構成された発光ダイオード（ＬＥＤ）アレイを有する照明装置であり、前記ＬＥＤアレイは、境界によって分離された複数のＬＥＤを有し、該複数のＬＥＤは、前記光を提供するように独立に駆動されるように構成される、照明装置と、
前記シーンの画像をキャプチャするように構成されたセンサを有するカメラと、
人工ニューラルネットワーク（ＡＮＮ）を使用して前記シーンの前記画像を補正するように構成されたプロセッサであり、前記ＡＮＮは、前記シーンの前記画像を補正するためのパラメータを生成するように画像セットを用いて前記ＡＮＮがトレーニングされるトレーニングモードと、前記パラメータを用いて前記カメラによってキャプチャされた前記画像に対して前記ＡＮＮが使用される推論モードとを持つ、プロセッサと、
を有する照明構成。

【請求項2】

前記プロセッサは、前記複数のＬＥＤ間の色ばらつき、前記複数のＬＥＤ内のばらつき、及び前記境界によって引き起こされる照明パターンを補正するために、前記ＡＮＮを使用して前記シーンの前記画像を補正するように構成される、請求項１に記載の照明構成。

【請求項3】

クラウドネットワークと通信するためのトランシーバ、を更に有する請求項１に記載の照明構成。

【請求項4】

前記トランシーバは、前記画像セットを前記クラウドネットワークに送信するように構成され、
前記ＡＮＮは、前記パラメータを生成するための前記トレーニングモードにおいて、前記クラウドネットワーク内で、オフラインでトレーニングされる、
請求項３に記載の照明構成。

【請求項5】

前記トランシーバは、前記クラウドネットワークから前記パラメータを受信するように構成され、
前記ＡＮＮは、前記シーンの前記画像を補正するための前記推論モードにおいて、前記プロセッサによって、オンラインで使用される、
請求項４に記載の照明構成。

【請求項6】

前記推論モードにおいて、前記プロセッサは、
前記ＡＮＮの結果をモニタし、
前記ＡＮＮの性能を分析し、前記ＡＮＮの前記性能は、シミュレーションされた画像に対する、補正後の前記画像の近さを示し、
前記ＡＮＮの前記性能に基づいて前記パラメータを更新する、
ように構成される、請求項１に記載の照明構成。

【請求項7】

前記ＡＮＮは、専用のグラフィックス処理ユニット（ＧＰＵ）上で使用される、請求項１に記載の照明構成。

【請求項8】

前記プロセッサは、前記トレーニングモードにおいて前記ＡＮＮをトレーニングし、前記推論モードにおいて前記ＡＮＮを使用して前記シーンの前記画像を補正するように構成される、請求項１に記載の照明構成。

【請求項9】

前記ＡＮＮは、前記トレーニングモードにおいて、前記照明装置によって提供される異なる照明条件下での同じ画像を用いてトレーニングされる、請求項１に記載の照明構成。

【請求項10】

前記ＡＮＮは、前記トレーニングモードにおいて、前記シーンの周囲照明を考慮に入れるようにトレーニングされる、請求項９に記載の照明構成。

【請求項11】

前記画像を補正するために、前記プロセッサは、前記複数のＬＥＤの各々を駆動するための電流レベル設定及びパルス幅変調設定、前記センサの積分時間、並びに前記センサの利得から選択される少なくとも１つの設定を有する一群の設定のうちの少なくとも１つの設定を調整するように構成される、請求項１に記載の照明構成。

【請求項12】

前記プロセッサは更に、前記ＡＮＮに基づいて当該照明構成内の機械的要素を制御するように構成される、請求項１に記載の照明構成。

【請求項13】

前記境界は、前記複数のＬＥＤのうちの隣接するＬＥＤの間に位置した、前記隣接するＬＥＤの隣接する辺の間の距離の約５％から約１０％である非発光領域である、請求項１に記載の照明構成。

【請求項14】

光を放ってシーンを照明するように構成された発光ダイオード（ＬＥＤ）アレイを有する照明装置であり、前記ＬＥＤアレイは、境界によって分離された複数のＬＥＤを有し、該複数のＬＥＤは、前記光を提供するように独立に駆動されるように構成される、照明装置と、
前記シーンの画像をキャプチャするように構成されたセンサを有するカメラと、
人工ニューラルネットワーク（ＡＮＮ）を使用して前記シーンの前記画像を補正するように構成されたプロセッサであり、前記ＡＮＮは、前記シーンの前記画像を補正するためのパラメータを生成するように、異なる照明条件下での同じ画像のセットを用いてオフラインで前記ＡＮＮがトレーニングされるトレーニングモードと、前記パラメータを用いて前記カメラによってキャプチャされた前記画像に対してオンラインで前記ＡＮＮが使用される推論モードとを持つ、プロセッサと、
を有するモバイルデバイス。

【請求項15】

前記プロセッサは、前記複数のＬＥＤ間の色ばらつき、前記複数のＬＥＤ内のばらつき、及び前記境界によって引き起こされる照明パターンを補正するために、前記ＡＮＮを使用して前記シーンの前記画像を補正するように構成される、請求項１４に記載のモバイルデバイス。

【請求項16】

前記プロセッサは、中央処理ユニット（ＣＰＵ）と専用グラフィックス処理ユニット（ＧＰＵ）とを有し、前記ＡＮＮの選択は、前記画像を処理するための利用可能なタイミング条件に依存して使用される、請求項１４に記載のモバイルデバイス。

【請求項17】

前記ＡＮＮは、前記推論モードにおいて顔認識の補正を提供するように構成される、請求項１４に記載のモバイルデバイス。

【請求項18】

電子機器の１つ以上のプロセッサによる実行のための命令を格納した有形のコンピュータ読み取り可能記憶媒体であって、前記１つ以上のプロセッサは、前記命令が実行されるときに、
光を放ってシーンを照明し、前記光は、境界によって分離された複数の発光ダイオード（ＬＥＤ）を有するＬＥＤアレイから放射され、前記複数のＬＥＤの各々が独立に駆動されて前記光を提供し、
センサを使用して前記シーンの画像をキャプチャし、
人工ニューラルネットワーク（ＡＮＮ）を使用して前記シーンの前記画像を補正し、前記ＡＮＮは、前記シーンの前記画像を補正するためのパラメータを生成するように、前記センサによってキャプチャされた画像セットを用いて前記ＡＮＮがトレーニングされるトレーニングモードと、前記パラメータを用いて前記電子機器によってキャプチャされた前記画像に対して前記ＡＮＮが使用される推論モードとを持つ、
ことを有する１つ以上の動作を実行するように前記電子機器を構成する、有形のコンピュータ読み取り可能記憶媒体。

【請求項19】

前記命令は、実行されるときに更に、
前記画像セットをクラウドネットワークに送信し、前記ＡＮＮは、前記パラメータを生成するように前記トレーニングモードにおいてトレーニングされ、
前記クラウドネットワークから前記パラメータを受信し、前記推論モードにおいて前記ＡＮＮを使用して前記シーンの前記画像を補正する、
ことを有する動作を実行するように前記１つ以上のプロセッサを構成する、請求項１８に記載の有形のコンピュータ読み取り可能記憶媒体。

【請求項20】

前記命令は、実行されるときに更に、前記複数のＬＥＤ間の色ばらつき、前記複数のＬＥＤ内のばらつき、及び前記境界によって引き起こされる照明パターンを補正するために、前記ＡＮＮを使用して前記シーンの前記画像を補正する、ことを有する動作を実行するように前記１つ以上のプロセッサを構成する、請求項１８に記載の有形のコンピュータ読み取り可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０２１年１２月２日に出願された米国仮特許出願第６３／２８５，１７１号に対する優先権の利益を主張するものであり、それをその全体にてここに援用する。

【0002】

本開示は、調整可能な発光ダイオード（ＬＥＤ）アレイに関する。

【背景技術】

【0003】

様々なタイプの照明システムを改善するための努力が進められて。特に、画像品質メトリックを満たすための照明構成における自動調整を可能にすることが望まれる。

【図面の簡単な説明】

【0004】

【図1】一部の例に従った、照明構成の側面図を示している。

【図2】一部の例に従った、ＬＥＤアレイを示している。

【図3】一部の例に従った、照明システムの一例を示している。

【図4】一部の実施形態に従った、画像エンハンスメントプロセスのブロック図の一例を示している。

【図5A】一部の実施形態に従った、トレーニングプロセスの一例を示している。

【図5B】一部の実施形態に従った、推論プロセスの一例を示している。

【0005】

幾つかの図を通して対応する部分を対応する参照符号が示す。図面中の要素は必ずしも一定の縮尺で描かれていない。図面に示される構成は、単なる例であり、いかようにも限定するものとして解釈されるべきでない。

【発明を実施するための形態】

【0006】

より高度なエレクトロニクスの出現と、ますます要求が厳しくなる画像品質メトリックとにより、高度な機能を持つ照明構成が望まれている。１つのそのような問題は、例えば画像全体にわたって周囲照明条件が変化することに起因して、従来のＬＥＤフラッシュで導入される露出過多及び露出不足の問題である。これに対処するために、複数のセグメントを含み、シーンを照明するために、各セグメントを個別に制御することができ、各セグメントがそれ自身の設定（例えば、電流、パルス幅変調（ＰＷＭ））を持ち得る適応光源が導入されることがある。カメラフラッシュとして使用される場合、光源によって発せられる照明パターンをシーンに適応させることができる。例えば、適応光源は、シーンの異なる部分に、シーンのそれらの部分が受ける周囲光の量に依存して、及び／又はシーンのそれらの部分から当該適応光源までの距離に依存して、異なる量の光を提供し得る。１つの特定の例において、光源は、周囲光によって（シーンの他の部分と比較して）十分に照らされていないシーンの部分に、より多くの光を提供するとともに、周囲光によって十分に照らされている又は（シーンの他の部分よりも）カメラに近いシーンの部分に、より少ない光を提供し得る。従って、所与のシーン及び周囲光条件に対して、光源は、ある画像品質メトリックを改善するためにアルゴリズム評価に基づいてシーンに適応され得る。

【0007】

ＬＥＤモジュールを装備したモバイルデバイスが、材料パラメータ、電気パラメータ、光学パラメータ、電力パラメータ、及び設計関連パラメータに関連する値を含め、フラッシュ写真撮影に十分な値を提供することが望ましい。従って、回路及び設計の選択に加えて、ＬＥＤモジュールは、ＬＥＤ光源によって放射された光を導くために光学系（例えばレンズなど）を使用することができる。さらに、システムレベルにおいて、例えば、残りのコンポーネント（例えば、他のセンサ）とのＬＥＤモジュールの位置決め、及びコンポーネントのフォームファクタなどの他のパラメータが、複雑さの量を増大させる。

【0008】

適応ＬＥＤアレイを用いたフラッシュ写真撮影は、従来のＬＥＤアレイを用いたシステムに対して、より多くの難題を導入する。例えば、適応ＬＥＤアレイは、従来のＬＥＤアレイとは異なり、均一な構造を持っていることもあれば、持っていないこともある。加えて、適応ＬＥＤアレイについての光学設計は、構造上の問題に少なくとも部分的に起因して、従来のＬＥＤアレイについてよりも複雑である。

【0009】

図１は、一部の例に従った、照明構成の側面図を示している。照明構成１３０は、例えば、モバイルデバイスとすることができ、照明装置１００とカメラ１０２の両方を含み得る。カメラ１０２は、照明装置１００なしで、又は照明装置１００によってシーン１０４を照らして、カメラ１０２の露光時間中にシーン１０４の画像をキャプチャすることができる。照明構成１３０の様々な機能を制御するためにプロセッサ１４０が使用され得る。図１には１つのプロセッサ１４０のみが示されているが、他の実施形態では、ここに記載される機能を提供するために１つ以上のプロセッサが使用され得る。

【0010】

照明装置１００は、発光ダイオード（ＬＥＤ）アレイ１０６を含むことができる。ＬＥＤアレイ１０６は、カメラ１０２の露光時間中に光１１０を生成することができる複数のＬＥＤ１０８を含むことができる。ＬＥＤアレイ１０６は、一部の実施形態において、セグメント化されたＬＥＤ又はマイクロＬＥＤを含み得る。

【0011】

ＬＥＤアレイ１０６がマイクロＬＥＤアレイである実施形態において、ＬＥＤアレイ１０６は、光を放つことができ且つ個別に制御されるかピクセルのグループ（例えば、ピクセルの５×５グループ）で制御されるかすることができる数千から数百万の微小ＬＥＤピクセルを含み得る。マイクロＬＥＤは、小さく（例えば、一辺が＜０．０１ｍｍ）、例えば無機半導体材料を用いて、単色又は多色の光、典型的には、赤色、緑色、及び青色を提供し得る。無機材料（例えば、ガリウム砒素（ＧａＡｓ）などの二元化合物、アルミニウムガリウム砒素（ＡｌＧａＡｓ）などの三元化合物、インジウムガリウム燐（ＩｎＧａＡｓＰ）などの四元化合物、又は他の好適な材料）から形成されるＬＥＤアレイ１０６は、有機ＬＥＤよりも堅牢であり、より幅広い環境での使用を可能にする。加えて、マイクロＬＥＤから形成されるＬＥＤアレイ１０６は、直接放出を可能にすることができ、従来のバックライトと液晶ディスプレイ（ＬＣＤ）との組み合わせよりも効率的であることができる。

【0012】

ＬＥＤアレイ１０６がセグメント化されたＬＥＤを含む実施形態において、ＬＥＤアレイ１０６は、図２に示すように、ＬＥＤアレイ１０６内の隣接するＬＥＤ１０８間に位置する１つ以上の非発光領域を含むことができる。隣接するＬＥＤ１０８間に位置する非発光領域のサイズ（すなわち、隣接するＬＥＤ１０８間の距離）は、ＬＥＤアレイ１０６内のＬＥＤ１０８のサイズ（すなわち、ＬＥＤ１０８の隣接する辺間の距離）の有意な部分（例えば、約５％から約１０％）であり得る。一部の例において、非発光領域のうちの１つ以上が、ＬＥＤアレイ１０６内のＬＥＤ１０８を取り囲んで、ＬＥＤアレイ１０６によって放射される照明内にダークバンド（暗い帯部）を出現させてしまい得る。

【0013】

照明装置１００は、少なくとも１つのレンズ１１４を含むことができる。レンズ１１４は、光１１０を照明１１６としてシーン１０４の方に向けることができる。照明装置１００は、１つ以上のアクチュエータ１２０を含むことができる。他の実施形態において、アクチュエータ１２０は使用されなくてもよい。代わりに、そのようなシステムは、固定されたレンズ、従って固定された開口を有し得る。アクチュエータ１２０を含むシステムにおいて、アクチュエータ１２０は、シーン１０４の画像において照明１１６内のダークバンドをぼかすように、カメラ１０２の露光時間中にＬＥＤアレイ１０６又はレンズ１１４のうちの少なくとも一方をそれぞれ並進させる個々の並進器を含み得る。一部の例において、それら並進器のうちの１つが、レンズ１１４に対してＬＥＤアレイ１０６を平行移動させることができる。一部の例において、それら並進器のうちの別の１つが、ＬＥＤアレイ１０６に対してレンズ１１４を平行移動させることができる。一部の例において、アクチュエータ１２０（単一の要素）は、レンズ１１４及びＬＥＤアレイ１０６の両方を並進させることができる。一部の例において、レンズ１１４は、ＬＥＤアレイ１０６からレンズ１１４の中心を通ってシーン１０４まで延びる縦軸を画成することができる。

【0014】

一部の例において、アクチュエータ１２０又は各並進器は、ＬＥＤアレイ１０６又はレンズ１１４のうちの少なくとも一方を、縦軸に対して角度を付けられた作動方向に並進させることができる１次元アクチュエータとし得る。一部の例において、作動方向は、縦軸に対して概して直交することができる。一部の例において、ＬＥＤアレイ１０６は、第１アレイ方向と、該第１アレイ方向に直交する第２アレイ方向とを持つ２次元パターンで配置され得る。一部の例において、作動方向は、第１アレイ方向に対して角度付けられるとともに、第２アレイ方向に対して角度付けられることができる。一部の例において、ＬＥＤアレイ１０６は、アレイ方向に沿って延びる１次元パターンで配置され得る。一部の例において、作動方向は、アレイ方向に対して非直交にすることができる。一部の例において、作動方向は、アレイ方向に対して概して平行とし得る。一部の例において、アクチュエータ１２０は、ＬＥＤアレイ１０６又はレンズ１１４のうちの少なくとも一方を、カメラ１０２の露光時間中に、ＬＥＤアレイ１０６の１つ以上の非発光領域のうちの１つの非発光領域の幅以上の距離だけ、作動方向に並進させることができる。一部の例において、アクチュエータ１２０は、ＬＥＤアレイ１０６又はレンズ１１４のうちの少なくとも一方を作動方向に振動させることができる。一部の例において、該振動は、カメラ１０２の露光時間よりも短い振動周期を持つことができる。

【0015】

一部の例において、アクチュエータ１２０又は各トランスレータは、ＬＥＤアレイ１０６又はレンズのうちの少なくとも一方を、縦軸に対して角度付けられた作動面内で並進させることができる２次元アクチュエータとすることができる。例えば、アクチュエータ１２０は、２つの運動生成要素を含むことができ、一方の要素がＬＥＤアレイ１０６に結合され、他方の運動生成要素がレンズ１１４に結合される。一部の例において、作動面は縦軸に対して概して直交することができる。

【0016】

作動に加えて、あるいは代わりに、セグメント化されたＬＥＤを含む複数のＬＥＤアレイを用いてシーンを照明してもよい。この場合、照明内にダークバンドを形成するＬＥＤ間の境界を、異なるＬＥＤアレイ間でオフセットすることができる。該オフセットは、１つのＬＥＤアレイ及びレンズのみが使用された場合に存在し得るものである、シーンにおける全照明内のダークバンドを減少させる又は除去する助けとなる。

【0017】

カメラ１０２は、少なくともＬＥＤアレイ１０６によって発せられる波長の光を感知することができる。カメラ１０２は、シーン１０４から反射された及び／又はシーンによって発せられた反射光１２４を収集することができる光学系（例えば、少なくとも１つのカメラレンズ１２２）を含むことができる。カメラレンズ１２２が反射光１２４をマルチピクセルセンサ１２６上に向けることで、マルチピクセルセンサ１２６上にシーン１０４の画像を形成することができる。シーン１０４の画像を表すデータ信号をコントローラ１２８が受信し得る。コントローラ１２８は、オプションで更に、アクチュエータ１２０又は各並進器を駆動することができる。コントローラ１２８は、オプションで更に、ＬＥＤアレイ１０６内のＬＥＤ１０８を駆動することができる。例えば、コントローラは、オプションで、指定されたようにシーンを照明するように、ＬＥＤアレイ１０６内の１つ以上のＬＥＤ１０８を、ＬＥＤアレイ１０６内の別の１つ以上のＬＥＤ１０８とは独立に制御することができる。例えば、シーン１０４内の比較的近い物体に第１の量の照明を提供し、シーン１０４内の比較的遠い物体に第１の量よりも大きい第２の量の照明を提供して、シーン１０４の画像において同じ輝度を持つようにすることが望ましいことがある。他の構成も可能である。カメラ１０２及び照明装置１００は、照明構成１３０を収容するハウジング（図示せず）内に配置されることができる。

【0018】

照明装置１００はまた、例えば、写真を撮るために押されるボタンなどのユーザ作動入力デバイスといった、入力デバイスを含むことができる。カメラ１０２及び照明装置１００は、照明構成１３０を収容するハウジング内に配置されることができる。送信器を使用して、照明されている画像を、照明装置とは異なる地理的領域（例えば、都市）に置かれた又は分散（クラウド）ネットワーク内に設けられ得る例えばサーバ１５０などの遠隔の処理デバイスに送信してもよい。画像は、例えばＷｉＦｉ（登録商標）などのローカルネットワーク、又は例えば第５世代（５Ｇ）ネットワーク若しくは何らかの他のネットワークなどのリモートネットワークを介して、外部処理デバイスに通信され得る。

【0019】

図２は、一部の例に従ったＬＥＤアレイを示している。ＬＥＤアレイ２００は、セグメント化され、図１に示すシーン１０４における照明１１６内で対応する照明領域を形成することができるＬＥＤ２０２を含み得る。境界２０４が、シーン１０４における照明１１６内にダークバンドを形成し得る。一部の例において、シーン１０４における第１の照明１１６内のダークバンドは、第１方向に沿って延びる境界２０４と、第１方向に直交する第２方向に沿って延びる境界とに対応し得る。一部の例において、ＬＥＤ２０２は、直交する第１及び第２の次元に沿って直線（rectilinear、レクチリニア）アレイに配置され得る。一部の例において、各境界２０４が、第１の次元又は第２の次元のうちの一方に沿って延在する細長い領域として配置され得る。一部の例において、少なくとも１つの境界２０４（ダークバンドに対応する）は、第１の直線アレイの全延在に沿って連続した線で延びることができる。一部の例において、少なくとも１つの境界２０４は、不連続又はオフセットを含み得る。一部の例において、少なくとも１つの境界２０４は、平行な複数のセグメントを含み得る。複数のＬＥＤアレイ１０６が使用される他の実施形態において、それらＬＥＤアレイ１０６の境界は一致しなくてもよく、及び／又は異なってもよい（例えば、１つのみが不連続を有してもよい）。

【0020】

図３は、一部の実施形態に従った照明システムの一例を示している。上でのように、照明システム３００に示される要素の一部が存在しなくてもよく、一方で、他の追加の要素が照明システム３００に配置されてもよい。これらの要素の一部又は全てが、例えば、プリント回路板（ＰＣＢ）又は他のタイプの基板上に設けられ得る。照明システム３００は、数あるアイテムの中でもとりわけ、コントローラ３１０及びピクセルマトリクス３２０を含み得る。一部の実施形態において、コントローラ３１０のコンポーネントの一部又は全てが、例えば、ピクセルマトリクス３２０（ＬＥＤアレイを含む）の個々のピクセルユニット３２４を制御するためのトランジスタ又は関連コンポーネントを形成（又は他の方法で配置）するように半導体材料が堆積され得る複合金属酸化膜半導体（ＣＭＯＳ）バックプレーン又は他のバックプレーン上に配置され得る。コントローラ３１０は、数ある回路の中でもとりわけ、プロセッサ３１２、メモリ３１４、及びＰＷＭ発生器３１６（又は電流発生器）を含み得る。

【0021】

コントローラ３１０は、とりわけ、メモリ３１４に記憶された、あるいは、例えば、内部バスを用いる内部通信を介して、又はトランシーバ（図示せず）を用いてＷｉＦｉ（登録商標）、５Ｇ、若しくは他のネットワークを介して、外部ソースから受信された、画像データに基づいて、ＰＷＭ発生器３１６を使用してピクセルマトリクス３２０のピクセルユニット３２４の駆動を制御するために用いられ得る。プロセッサ３１２は、ピクセルマトリクス３２０に照明を生成させるために、ＰＷＭデューティサイクル及び／又は光の強度、並びにピクセルマトリクス３２０のアドレシング（addressing）を制御し得る。

【0022】

ピクセルマトリクス３２０は、ピクセルユニット３２４に加えて、アドレシング回路３２２を含む。例えば増幅器、比較器、及びフィルタなどの他の回路は、便宜上、図示していない。アドレシング回路３２２は、光を放射するためにピクセルユニット３２４のうちの１つ以上を選択する、ひいては駆動する、ために使用され得るものである行及び列選択信号を用いて、それぞれ、１つ以上の行及び列を選択するための回路を含み得る。ピクセルユニット３２４は、１つ以上の個々のピクセルを含み得る。各ピクセルユニット３２４が、ＬＥＤ３２６と、例えばＰＷＭ信号によって制御されるスイッチなどのスイッチング回路３２８、及び電流源３３０とを含み得る。ピクセルユニット３２４は、プロセッサ３１２に基づいて個々に駆動されて均一な照明を提供することができ、あるいは、照明されるシーンに合わせて調整された照明を提供することができる。例えば、ピクセルマトリクス３２０がマイクロＬＥＤから形成される場合、ピクセルユニット３２４は、電流制限に起因して異なるオフセットで駆動され得る。なお、ＰＷＭ発生器３１６を使用するのではなく、照明システム３００は、ピクセルマトリクス３２０の特定のＬＥＤ３２６から所望の輝度を生成するために、適切な振幅のＤＣ電圧又はＤＣ電流（又はゆっくり変化する電圧若しくはゆっくり変化する電流）を供給することができる直流（ＤＣ）ドライバを使用してもよい。

【0023】

ピクセルマトリクス３２０に加えて、コントローラ３１０はまた、例えば、図１に示したカメラ１０２も制御し得る。一部の実施形態において、ＬＥＤ３２６が、異なる強度、色、相関色温度、Ｄｕｖ値（黒体カーブからの光の色点の距離を記述するデルタｕ，ｖ）、演色評価数（ＣＲＩ）の値などを提供することができるように、コントローラ３１０は、各ＬＥＤ３２６によって提供される照明を別々に制御し得る。これは、カメラ１０２が所望の画像品質をキャプチャする助けとなり得る。

【0024】

一部のケースにおいて、画像品質メトリックを満たすために、シーンを複数回照明することがある。特に、シーン内の比較的近い物体を照明するために第１の照明量を使用し、シーン内の比較的遠い物体を照明するために第１の照明量よりも大きい第２の照明量を使用して、シーン内の比較的近い物体と同じ又は同等の輝度を持つようにすることができる。物体までの距離を求めるために、異なる波長の光が使用されてもよく（例えば、較正のためのＩＲ、及び較正を用いた画像キャプチャのための白色／可視光）、及び／又は他のセンサが照明構成内に存在してもよい。

【0025】

センサは、例えば、飛行時間（ＴｏＦ）センサなどの３Ｄセンサを含むことができ、ＴｏＦセンサは、ＬＥＤアレイによって放射されてシーン内の物体から反射された光が当該ＴｏＦセンサに戻るのにかかる時間の量を測定することができる。時間を用いて、シーン内の様々な要素までの距離を計算することができる。一部の実施形態において、３Ｄセンサは、特別に設計されたパターンの光をシーン上に投影するストラクチャードライトセンサであってもよい。

【0026】

ストラクチャードライトセンサには、シーンから反射された光パターンの各部分の位置を測定し、三角測量によって距離を求めるために、１つ以上のカメラが含められ得る。一部の実施形態において、３Ｄセンサは、１つの補助カメラであってもよく、あるいは、少なくともそれら補助カメラによってキャプチャされた画像間の比較を可能にするのに十分な最小距離だけ互いに離してハウジング内に位置付けられた複数の補助カメラであってもよい。それらの補助カメラによって見られる物体の位置を比較することによって、シーン内の物体までの距離を三角測量によって求めることができる。

【0027】

一部の実施形態において、３Ｄセンサは、デバイス内のメインカメラのオートフォーカス信号を提供し得る。カメラレンズの焦点位置を走査している間に、照明構成は、シーンのどの部分がどの位置で焦点が合うかを検出することができる。そして、対応するレンズ位置を、それらの位置で焦点が合う物体までの距離に変換することによって、シーンの３Ｄプロファイルが構築され得る。例えば、コントラストを測定することによって、又はカメラセンサ内の位相検出センサを利用することによって、適切なオートフォーカス信号が導出され得る。位相検出センサが使用される場合、一部の実施形態において、適応フラッシュが最適に機能するために、個々の位相検出センサの位置は、ＬＥＤアレイ１０６の別々のセグメントによって照明される領域に対応し得る。

【0028】

上述のように、距離は、ＬＥＤアレイ１０６によって放射されるのと同じ照明を用いて測定されてもよいし、例えば、ＩＲ放射又は他の波長の放射を用いてもよい。従って、一部のケースにおいて、例えばシーンの全ての部分が既知の照明プロファイルで照らされる均一照明などの第１の照明条件を使用して、シーンの第１の画像が撮影され得る。その後、短い時間量（例えば、数秒未満）以内に、第２の照明条件を使用してシーンの第２の画像が撮影され得る。最適な露出を達成するために、第１及び第２の画像に基づいて、シーンの全ての部分の最適な又は所望の輝度が計算され得る。一実施形態において、第１の画像のピクセル輝度値が第２の画像のそれぞれのピクセル輝度値から減算され、第１の画像のピクセル輝度値と第２の画像のピクセル輝度値との間の差をスケーリングして、最適な照明パラメータを決定し得る。そして、最適な照明パラメータを使用して最終画像が撮影され得る。

【0029】

また、ＬＥＤアレイ１０６からの物体の距離の違い以外に、照明に影響を及ぼす問題が存在して、所望の画像品質メトリックを得る際の複雑さを増加させることがある。光照度は、非コヒーレント光源（例えばＬＥＤなど）若しくは他の光源又は電磁信号を生成するトランスデューサから進む距離の逆二乗則に従って減少するので、シーンの３Ｄプロファイルを用いて、シーンの様々な部分に分配する光の量を決定し得る。しかしながら、所望の強度プロファイルを計算するアルゴリズムは、シーン内の物体の各々が周囲光から受ける照度、及び第１の画像のキャプチャで集められた情報も考慮に入れてもよく、それに従って光の量を調整してもよい。例えば、それらが明るい色であるため又は（画像内の他の物体よりも）比較的大きい反射率を持つためなどで、既に十分に照明されている物体は、３Ｄプロファイルによって決定される光源からの距離のみに基づいて計算され得るものよりも、より少ない光を受けてもよく、例えば、それらが暗いため又は比較的小さい反射率を持つためなどで、十分に照明されていない物体は、より多くの光を受けてもよい。

【0030】

多くのケースにおいて、例えばここで説明されるパラメータなどの物理的な設計パラメータをチューニングすることは、ユーザが所望する画像品質メトリックを満たすのには十分でないことがある。従って、カメラ１０２によって撮影される画像をエンハンスする（質を高める）ために、例えば上で示したものなどの画像処理アルゴリズムを用いて照明構成が更にチューニングされる。この目的のために、上述のセグメント化されたＬＥＤアレイ構造で撮影される画像を最適化又は改善するために、人工ニューラルネットワーク（artificial neural network；ＡＮＮ）ベースのアプローチを使用することができる。最終画像設定のための複数の変数を決定するために複数の画像が使用されるときの計算の複雑性に起因して、ＡＮＮアプローチの使用は望ましくあり得る。

【0031】

特に、所望の一組の画像品質メトリックを満たすために、色のばらつき及び画像の照明パターンを含む少なくとも２つのパラメータを調べることができる。色のばらつきは、ＬＥＤアレイ１０６のセグメント間のもの、及び特定のセグメント内のものとし得る。色のばらつきは、例えば製造ばらつきなどの、ＬＥＤセグメントに関連するＬＥＤ駆動要因によって生じ得る。駆動要因は、電流及びＰＷＭ設定（例えば、周波数、デューティサイクル）、並びにＬＥＤアレイ１０６の温度を含むことができる。照明パターンは、セグメント化されたＬＥＤアレイ１０６の設計に関係する。照明パターンは、セグメント間の境界２０４（図２参照）に起因してシーン上で目に見え、これが画像品質を低下させ得る。

【0032】

一部の実施形態において、照明を提供するための条件を生成するために、人工知能（artificial intelligence；ＡＩ）／機械学習（machine learning；ＭＬ）が使用され得る。ＡＩ／ＭＬプロセスは、（例えば、典型的な家庭及び／又は屋外の物体の画像の所定セットを用いて）ＡＩ／ＭＬモデルをトレーニングするためのトレーニングモードと、ＡＩ／ＭＬモデルが十分にトレーニングされた後に使用する推論モードとの両方を含み得る。一部の実施形態において、ＡＩ／ＭＬモデルはＡＮＮとし得る。一部の実施形態において、図１に関連して説明した外部処理デバイスは、ＡＩ／ＭＬモデルを介したオブジェクト認識を使用して、（１つ以上の）オブジェクトのための最適照明を提案したり遠隔設定したりすることができる。ＡＩ／ＭＬモデル及びストレージは、例えば、照明構成１３０内及び／又はサーバ１５０内にローカルに配置され得る。

【0033】

図４は、一部の実施形態に従った画像エンハンスメントプロセスのブロック図の一例を示している。１つ以上のローカルコンピューティングリソース上でトレーニングが実行され得る。ローカルコンピューティングリソースは、例えば、照明構成１３０内の中央処理ユニット（ＣＰＵ）及び／又はグラフィックス処理ユニット（ＧＰＵ）（プロセッサ１４０）内に設けられ得る。代わりに、あるいは加えて、トレーニングは、遠隔処理デバイスのリモートコンピューティングリソースを用いて行われてもよく、遠隔処理デバイスは、サーバ１５０であってもよいし、分散（クラウド）ネットワーク内にあってもよい。例えば、一部のケースにおいて、異なる照明条件下での多様な画像を用いてリモートで初期トレーニングが実行され、初期ＡＮＮパラメータが、推論モードにおいて新しい画像が照明構成１３０によって取得されるときの更新のために、照明構成１３０内のローカルコンピューティングリソースに転送され得る。

【0034】

図４の例示的な方法４００は、モデルの初期リモートトレーニング４１０（オフライントレーニング）と、初期リモートトレーニング済みモデルのローカル使用及びオンライントレーニング４２０との両方を含む。初期リモートトレーニングは、許容可能なモデルの精度を得るために使用され、その後、初期精度が満足できるものであるときにローカルで使用され、更にトレーニングされる。精度は、用途の重要性に応じて、約０％から約１００％の間であることができる。例えば、安全を重視すべき用途に望まれる精度は１００％に近いとし得るが、他の用途では９０％超の精度で許容可能であり得る。

【0035】

図４の方法４００の初期リモートトレーニング４１０に示すように、動作４０２にて、１つ以上の画像が取得され得る。シーンの画像は、図１のカメラ１０２によってキャプチャされ得る。あるいは、その特性が既知である１つ以上の所定の画像が、コンピューティングリソースに関連付けられたメモリから、又は別のデバイスから取得され得る。トレーニングには多数の画像が使用され得るので、画像を収集することには様々な手法が存在し得る。画像セットは、入力画像セットと出力画像セットとを含み、各入力画像が、対応する出力画像（出力画像は所望の結果である）を持つ。入力画像は、１つ以上の画像デバイス（例えば、上記のカメラ及びセグメント化されたＬＥＤ）を用いて画像を撮影することによって収集されることができ、入力画像の手動補正を用いて、対応する出力画像を生成し得る。あるいは、シミュレーション環境を用いて、写真のように現実感のある画像を人工的に生成してもよい。

【0036】

カメラ１０２からキャプチャされた（１つ以上の）画像が初期トレーニングに使用されるとき、動作４０４にて、照明構成１３０内のトランシーバが、照明下のシーンの画像を遠隔処理デバイスに送信し得る。該（１つ以上の）画像は、例えば、ＷｉＦｉ（登録商標）などのローカルネットワーク、又は第５世代（５Ｇ）ネットワーク、又は他のネットワークを介して、遠隔処理デバイスに通信され得る。遠隔処理デバイスは、画像認識を用いて、送信された（１つ以上の）画像内の１つ以上のオブジェクトを識別し、それらオブジェクトの照明条件を決定し得る。

【0037】

動作４０４で画像が送信された後、ＡＮＮは、動作４０６にて、トレーニングモードに入り、当該ＡＮＮをトレーニング（訓練）し得る。一部のケースにおいて、トレーニングモードは、（１つ以上の）画像が取得された（例えば、カメラ１０２によってキャプチャされ、ネットワーク上で遠隔処理デバイスに伝送された）ときに開始されてもよい。一部の実施形態において、トレーニングモードは、シーン（又は所定のオブジェクト）の画像がバッチにされて所定の間隔で動作されてもよく、処理リソースが利用可能になるときに実行され得る。

【0038】

一般に、モデルトレーニングは、所与の入力データと期待される出力との間の誤差を最小化するモデルの設計空間探索に相当する。従って、トレーニングには、例えば、入力データの量、ＡＮＮの複雑さ、及び利用可能な計算能力に依存して、異なる所要時間がかかり得る。従って、入力データがＡＮＮに供給されると、生成された出力がトレーニングフィードバックとしてＡＮＮに供給される。

【0039】

図５Ａは、一部の実施形態に従ったトレーニングプロセスを示している。ＡＮＮ５０２は、最初の（入力）層５０２ａ、中間の（隠れ）層５０２ｂ、…、５０２ｎ－１、及び最後の（出力）層５０２ｎである複数の層が存在するニューラルネットワークである。ＡＮＮ５０２内の層５０２ａ、…、５０２ｎの各々が、和及び伝達関数を通じてＡＮＮ５０２内のデータを処理するノード（ニューロン）を含む。ＡＮＮ５０２の予測精度は、隠れ層内のノードの数に依存する。図示のように、ＡＮＮ５０２は、入力データを受け取り、それが層５０２ａ、…、５０２ｎを通じて処理された後に出力が生成され、それが、ＡＮＮ５０２のパラメータに対する更なる変更のために、トレーニングフィードバックとしてＡＮＮ５０２にフィードバックされる。トレーニングプロセス５００は、故に、オフラインプロセスと考えることができる。

【0040】

一部の実施形態において、トレーニングは、キャプチャされた画像と、画像が補正なしに作成される幾つかのシミュレーションされた環境の各々との間の比較に基づき得る。シミュレーションされた環境は各々、その下で照明構成１３０が動作する所定のパラメータセットの下にあり得る。特に、パラメータは、照明装置１００及びカメラ１０２を駆動するのに使用されるパラメータ、並びに環境パラメータを含む、照明構成１３０の複数の異なる側面に基づき得る。特に、環境は、とりわけ、ＬＥＤアレイ１０６の各セグメントを駆動するのに使用される駆動電流／ＰＷＭ仕様（デューティサイクル、周波数）、光学仕様（例えば、ＬＥＤアレイ１０６からのレンズ１１４／カメラレンズ１２２からの距離、及びＬＥＤアレイ１０６に対する／マルチピクセルセンサ１２６からの位置）、センサ仕様（例えば、露光時間、露光のダイナミックレンジ、マルチピクセルセンサ１２６の利得係数）、ノイズ抑制、及び１つ以上の別個のセンサの情報に基づく環境における周囲光／フリッカに基づき得る。一部のケースにおいて、複数の画像は、ＬＥＤアレイ１０６の使用の有無だけでなく、さらに、トレーニング中又はトレーニング前に従来のＬＥＤアレイを用いてシーンを照らして生成されることができる。これらの画像が、パラメータを生成するために使用され得る。

【0041】

図４の方法４００の初期リモートトレーニング４１０に戻るに、動作４０８にて、ＡＮＮは、モデルの精度が許容可能であるかを判定することができ、許容可能性は少なくとも、上記の所望の精度に基づく。モデル、トレーニングされるもの、及び所望の精度に応じて、比較的大量のデータ（画像）、時間、及び／又は処理能力が使用され得る。しかしながら、他の実施形態では、許容可能な結果を得るために、比較的少ないデータ、時間、及び処理能力が使用されることがある。図４に示すように、精度が許容可能でないと判定された場合、モデルは動作４０６に戻り、上述の所定の要因に基づいてモデルの許容可能な精度が達成されるまでＡＮＮがトレーニングされ続ける。

【0042】

ＡＮＮが訓練された（及び精度が許容可能であると判定された）後、初期リモートトレーニングされたモデルのローカル使用及びトレーニング４２０が開始し得る。従って、動作４１２にて、モデルがローカル処理デバイスに供給され得る。すなわち、ＡＮＮに対してトレーニングされたパラメータが、トランシーバを介して照明構成１３０内のメモリに供給され得る。

【0043】

動作４１４にて、ローカル処理リソースが、トレーニングされたＡＮＮを推論エンジンとして使用し、新しい到来データ／画像を用いて精度を更に改善するためにＡＮＮをトレーニングし続け得る（オンライントレーニング）。すなわち、ローカル処理リソースは、トレーニングされたＡＮＮを使用して、とりわけ、例えば色ばらつき及び照明パターンなどの、照明装置１００及び／又は画像処理によって引き起こされる問題について、キャプチャされた画像を補正し得る。従って、照明装置１００、光学構成、及びその他によって提供される照明が、推論モードにあるときにローカル処理リソース内のＡＮＮに供給されるパラメータを用いて調整され得る。推論モードでは、ＡＮＮの結果がモニタされ、出力データがＡＮＮの性能分析にフィードバックされる。性能分析の結果として、入力データセット及びＡＮＮが更新される。

【0044】

特に、画像補正だけでは所望の応答を提供することができない場合、照明構成１３０の物理的なパラメータのうちの１つ以上が所定量だけ調整され、カメラ１０２によって新しい画像がキャプチャされ得る。そして、新しい画像がＡＮＮに供給され、該調整によって画像がエンハンスされたかが判定され得る。

【0045】

典型的な機械学習技術は、何千又は何百万の画像を用いてモデルを正確にトレーニングする。一部のケースでは、カメラ１０２によってキャプチャされた全ての画像が、ＡＩ／ＭＬモデルをトレーニングするために使用され得るが、他の実施形態では、画像のサブセットのみが、利用可能な画像のより大きなセットから選択され得る。すなわち、一部の実施形態において、特定の品質に関して、又はキャプチャされたシーンにおいて実質的な差異が生じるときに、画像が選択されてもよい。例えば、選択される画像は、画像全体にわたって良好に焦点が合っている又は特定のシーンに特有であると判定され得る。画像、又は画像の一部が、トレーニングアルゴリズムによって設定された制限に従って、トレーニングから除外されてもよい。選択される画像は、上記の条件が満たされるとき、任意の主題又はタイプのものであり得る。特定の用途では、同様のシーンコンテンツからの画像が供給され得るが、他のものが使用されてもよい。画像は任意のサイズのものであってもよく、アルゴリズムが異なる画像サイズに自動的に調整してもよい。

【0046】

また、一部のケースにおいて、トレーニングにおいて決定されるパラメータの精度のレベルは、計算能力及び利用可能な時間の両方を含んだ、利用可能な処理リソースの量に依存し得る。すなわち、トレーニングは、より少ない計算能力及びより長い時間量を使用して、より多くの計算能力及びより短い時間量と同じレベルの精度をもたらすことができ、それにより、適切な処理リソースの選択を可能にする。例えば、初期トレーニングは、比較的高いレベルの精度までクラウド内で実行され、トレーニングパラメータが照明構成１３０に提供され得る。照明構成１３０内で更なるトレーニングが使用される場合、照明構成１３０内の一般的なＡＮＮのトレーニングのための計算リソースの方が少ないため、パラメータの精度レベルが低下することがある。一部の実施形態において、補正を提供するためのトレーニング又は推論は、照明構成１３０内の専用チップ上で実行されてもよいし、主中央処理ユニット上で提供されてもよい。主中央処理ユニットへのコールは、専用チップが使用される場合よりも長い時間が使用されることをもたらし得るので、トレーニングのための処理リソースの選択は、トレーニングするための許容される時間量に依存し得る。

【0047】

一部の実施形態において、ＡＮＮは、最初に現実世界の条件に一般化される一般モデルであってもよい。照明構成１３０によって提供される照明は、特定のユーザによって許容可能なレベルまで補正するように、ＬＥＤ１０８をあらゆるシーンに対してチューニングすることができない場合があるので、ＡＮＮが使用され得る。ユーザはまた、ユーザごとに異なり得るユーザ特有の最適化を提供するために、照明構成１３０上でのＡＮＮのトレーニング中に更なるフィードバックを提供し得る。

【0048】

図５Ｂは、一部の実施形態に従った推論プロセス６００を示している。推論プロセス６００では、入力データがＡＮＮに供給され、ＡＮＮがトレーニングされ、次いで展開される。ＡＮＮの出力がモニタされ、ＡＮＮの性能が分析され、ＡＮＮをトレーニングするのに使用されるデータを更新する。そして、更新されたデータを用いてＡＮＮを調整する。推論プロセス６００は、照明構成上で行われるので、オンラインプロセスと考えることができる。

【0049】

とりわけ、例えばスマートフォン、ラップトップコンピュータ、又はコンピュータタブレットなどのモバイルデバイスにおいて使用されることに加えて、ここで説明されるシステム及び方法は、適応フラッシュを使用する他の電子機器において適用可能であり得る。一部の実施形態において、ＡＮＮのトレーニング及び推論モードは、モバイル（又は他の）デバイス内で実行されることができ、トレーニングは、デバイスが最初に顧客に供給される前に（すなわち、製造後であるが商業的／個人的使用のために出荷される前の試験中に）実行される。

【0050】

ここで説明される例は、ロジック又は幾つかのコンポーネント、モジュール、又は機構を含むことができ、あるいは、それ上で動作することができる。モジュール及びコンポーネントは、指定された動作を実行することが可能な有形のエンティティ（例えば、ハードウェア）であり、特定のやり方で構成又は配置され得る。一例において、回路は、モジュールとして指定されたように（例えば、内部で、又は他の回路などの外部エンティティに対して）配置され得る。一例において、１つ以上のコンピュータシステム（例えば、スタンドアローン、クライアント、又はサーバコンピュータシステム）の全体若しくは一部、又は１つ以上のハードウェアプロセッサが、指定された動作を実行するように動作するモジュールとして、ファームウェア又はソフトウェア（例えば、命令、アプリケーション部分、又はアプリケーション）によって構成され得る。一例において、ソフトウェアは機械読み取り可能媒体上に存在し得る。一例において、ソフトウェアは、モジュールの基礎をなすハードウェアによって実行されるときに、該ハードウェアに指定された動作を実行させる。

【0051】

従って、用語“モジュール”（及び“コンポーネント”）は、有形のエンティティを包含するものと理解され、指定されたように動作するように、又はここに記載されたいずれかの動作の一部若しくは全てを実行するように、物理的に構築され、特別に構成され（例えば、ハード配線され）、又は一時的に（例えば、一過的に）構成される（例えば、プログラムされる）エンティティである。モジュールが一時的に構成される例を考えると、モジュールの各々が任意の瞬間にインスタンス化される必要はない。例えば、モジュールが、ソフトウェアを用いて構成された汎用ハードウェアプロセッサを含む場合、該汎用ハードウェアプロセッサは、異なる時間にそれぞれ異なるモジュールとして構成されることができる。ソフトウェアは、例えば、ある時点で特定のモジュールを構成し、異なる時点で異なるモジュールを構成するように、ハードウェアプロセッサを然るべく構成し得る。

【0052】

メモリは、ここに記載された技術又は機能のうちのいずれか１つ以上を具現化する又はそれによって利用されるデータ構造又は命令（例えば、ソフトウェア）の１つ以上のセットが格納された非一時的機械読み取り可能媒体を含み得る。命令はまた、デバイスによるその実行中に、メインメモリ内、スタティックメモリ内、及び／又はハードウェアプロセッサ内に、完全に又は少なくとも部分的に存在し得る。用語“機械読み取り可能媒体”は、１つ以上の命令を格納するように構成された単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュとサーバ）を含み得る。

【0053】

用語“機械読み取り可能媒体”は、デバイスによる実行のための命令を格納、エンコード、又は担持することが可能であって、（例えばＡＮＮによるトレーニング又は推論などの）本開示の技術のうちのいずれか１つ以上をデバイスに実行させる、あるいは、そのような命令によって使用される又はそれに関連付けられたデータ構造を格納、エンコード、又は担持することが可能な、任意の媒体を含み得る。非限定的な機械読み取り可能媒体例は、ソリッドステートメモリ、並びに光及び磁気媒体を含み得る。機械読み取り可能媒体の具体的な例は、例えば半導体メモリデバイス（例えば、電気的プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ））及びフラッシュメモリデバイスなどの不揮発性メモリ、例えば内蔵ハードディスク及びリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ランダムアクセスメモリ（ＲＡＭ）、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含み得る。

【0054】

命令は更に、数ある無線ローカルエリアネットワーク（ＷＬＡＮ）転送プロトコル（例えば、フレームリレー、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）など）のうちのいずれか１つを利用するネットワークインタフェースデバイスを介して、伝送媒体を用いて通信ネットワーク上で送信又は受信され得る。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パケットデータネットワーク（例えば、インターネット）、携帯電話ネットワーク（例えば、セルラーネットワーク）、プレインオールドテレフォン（Plain Old Telephone；ＰＯＴＳ）ネットワーク、及びワイヤレスデータネットワークを含み得る。ネットワーク上での通信は、例えば、とりわけ、Ｗｉ－Ｆｉ（登録商標）として知られる電気電子技術者協会（ＩＥＥＥ）８０２．１１規格ファミリ、ＷｉＭａｘ（登録商標）として知られるＩＥＥＥ ８０２．１６規格ファミリ、ＩＥＥＥ ８０２．１５．４規格ファミリ、ロングタームエボリューション（ＬＴＥ）規格ファミリ、ユニバーサルモバイルテレコミュニケーションズシステム（ＵＭＴＳ）規格ファミリ、ピアツーピア（Ｐ２Ｐ）ネットワーク、次世代（ＮＧ）／第５世代（５Ｇ）規格などの、１つ以上の異なるプロトコルを含み得る。一例において、ネットワークインタフェースデバイスは、伝送媒体に接続するための１つ以上の物理ジャック（例えば、イーサネット（登録商標）、同軸、又は電話ジャック）又は１つ以上のアンテナを含み得る。

【0055】

ここで使用される用語“プロセッサ回路”又は“プロセッサ”は、故に、算術演算若しくは論理演算のシーケンスを順次及び自動的に実行したり、デジタルデータを記録、格納、及び／又は転送したりすることが可能な回路を指し、その一部であり、又はそれを含む。用語“プロセッサ回路”又は“プロセッサ”は、１つ以上のアプリケーションプロセッサ、１つ以上のベースバンドプロセッサ、物理ＣＰＵ、シングルコアプロセッサ若しくはマルチコアプロセッサ、及び／又は、例えばプログラムコードなどのコンピュータ実行可能命令、ソフトウェアモジュール、及び／又は機能プロセスを実行する又はその他の方法で動作させることが可能な任意の他のデバイスを指し得る。

【0056】

例

【0057】

例１は、光を放ってシーンを照明するように構成された発光ダイオード（ＬＥＤ）アレイを有する照明装置であり、前記ＬＥＤアレイは、境界によって分離された複数のＬＥＤを有し、該複数のＬＥＤは、前記光を提供するように独立に駆動されるように構成される、照明装置と、前記シーンの画像をキャプチャするように構成されたセンサを有するカメラと、人工ニューラルネットワーク（ＡＮＮ）を使用して前記シーンの前記画像を補正するように構成されたプロセッサであり、前記ＡＮＮは、前記シーンの前記画像を補正するためのパラメータを生成するように画像セットを用いて前記ＡＮＮがトレーニングされるトレーニングモードと、前記パラメータを用いて前記カメラによってキャプチャされた前記画像に対して前記ＡＮＮが使用される推論モードとを持つ、プロセッサと、を有する照明構成である。

【0058】

例２において、例１の主題は、前記プロセッサが、前記複数のＬＥＤ間の色ばらつき、前記複数のＬＥＤ内のばらつき、及び前記境界によって引き起こされる照明パターンを補正するために、前記ＡＮＮを使用して前記シーンの前記画像を補正するように構成される、ことを含む。

【0059】

例３において、例１－例２の主題は、クラウドネットワークと通信するためのトランシーバを含む。

【0060】

例４において、例３の主題は、前記トランシーバが、前記画像セットを前記クラウドネットワークに送信するように構成され、前記ＡＮＮが、前記パラメータを生成するための前記トレーニングモードにおいて、前記クラウドネットワーク内で、オフラインでトレーニングされる、ことを含む。

【0061】

例５において、例４の主題は、前記トランシーバが、前記クラウドネットワークから前記パラメータを受信するように構成され、前記ＡＮＮが、前記シーンの前記画像を補正するための前記推論モードにおいて、前記プロセッサによって、オンラインで使用される、ことを含む。

【0062】

例６において、例１－例５の主題は、前記推論モードにおいて、前記プロセッサが、前記ＡＮＮの結果をモニタし、前記ＡＮＮの性能を分析し、前記ＡＮＮの前記性能は、シミュレーションされた画像に対する、補正後の前記画像の近さを示し、前記ＡＮＮの前記性能に基づいて前記パラメータを更新する、ように構成される、ことを含む。

【0063】

例７において、例１－例６の主題は、前記ＡＮＮが、専用のグラフィックス処理ユニット（ＧＰＵ）上で使用される、ことを含む。

【0064】

例８において、例１－例７の主題は、前記プロセッサが、前記トレーニングモードにおいて前記ＡＮＮをトレーニングし、前記推論モードにおいて前記ＡＮＮを使用して前記シーンの前記画像を補正するように構成される、ことを含む。

【0065】

例９において、例１－例８の主題は、前記ＡＮＮが、前記トレーニングモードにおいて、前記照明装置によって提供される異なる照明条件下での同じ画像を用いてトレーニングされる、ことを含む。

【0066】

例１０において、例９の主題は、前記ＡＮＮが、前記トレーニングモードにおいて、前記シーンの周囲照明を考慮に入れるようにトレーニングされる、ことを含む。

【0067】

例１１において、例１－例１０の主題は、前記画像を補正するために、前記プロセッサが、前記複数のＬＥＤの各々を駆動するための電流レベル設定及びパルス幅変調設定、前記センサの積分時間、並びに前記センサの利得から選択される少なくとも１つの設定を有する一群の設定のうちの少なくとも１つの設定を調整するように構成される、ことを含む。

【0068】

例１２において、例１－例１１の主題は、前記プロセッサが更に、前記ＡＮＮに基づいて当該照明構成内の機械的要素を制御するように構成される、ことを含む。

【0069】

例１３において、例１－例１２の主題は、前記境界が、前記複数のＬＥＤのうちの隣接するＬＥＤの間に位置した、前記隣接するＬＥＤの隣接する辺の間の距離の約５％から約１０％である非発光領域である、ことを含む。

【0070】

例１４は、光を放ってシーンを照明するように構成された発光ダイオード（ＬＥＤ）アレイを有する照明装置であり、前記ＬＥＤアレイは、境界によって分離された複数のＬＥＤを有し、該複数のＬＥＤは、前記光を提供するように独立に駆動されるように構成される、照明装置と、前記シーンの画像をキャプチャするように構成されたセンサを有するカメラと、人工ニューラルネットワーク（ＡＮＮ）を使用して前記シーンの前記画像を補正するように構成されたプロセッサであり、前記ＡＮＮは、前記シーンの前記画像を補正するためのパラメータを生成するように、異なる照明条件下での同じ画像のセットを用いてオフラインで前記ＡＮＮがトレーニングされるトレーニングモードと、前記パラメータを用いて前記カメラによってキャプチャされた前記画像に対してオンラインで前記ＡＮＮが使用される推論モードとを持つ、プロセッサと、を有するモバイルデバイスである。

【0071】

例１５において、例１４の主題は、前記プロセッサが、前記複数のＬＥＤ間の色ばらつき、前記複数のＬＥＤ内のばらつき、及び前記境界によって引き起こされる照明パターンを補正するために、前記ＡＮＮを使用して前記シーンの前記画像を補正するように構成される、ことを含む。

【0072】

例１６において、例１４－例１５の主題は、前記プロセッサが、中央処理ユニット（ＣＰＵ）と専用グラフィックス処理ユニット（ＧＰＵ）とを有し、前記ＡＮＮの選択が、前記画像を処理するための利用可能なタイミング条件に依存して使用される、ことを含む。

【0073】

例１７において、例１４－例１６の主題は、前記ＡＮＮが、前記推論モードにおいて顔認識の補正を提供するように構成される、ことを含む。

【0074】

例１８は、電子機器の１つ以上のプロセッサによる実行のための命令を格納した有形のコンピュータ読み取り可能記憶媒体であって、前記１つ以上のプロセッサは、前記命令が実行されるときに、光を放ってシーンを照明し、前記光は、境界によって分離された複数の発光ダイオード（ＬＥＤ）を有するＬＥＤアレイから放射され、前記複数のＬＥＤの各々が独立に駆動されて前記光を提供し、センサを使用して前記シーンの画像をキャプチャし、人工ニューラルネットワーク（ＡＮＮ）を使用して前記シーンの前記画像を補正し、前記ＡＮＮは、前記シーンの前記画像を補正するためのパラメータを生成するように、前記センサによってキャプチャされた画像セットを用いて前記ＡＮＮがトレーニングされるトレーニングモードと、前記パラメータを用いて前記電子機器によってキャプチャされた前記画像に対して前記ＡＮＮが使用される推論モードとを持つ、ことを有する１つ以上の動作を実行するように前記電子機器を構成する、有形のコンピュータ読み取り可能記憶媒体である。

【0075】

例１９において、例１８の主題は、前記命令が、実行されるときに更に、前記画像セットをクラウドネットワークに送信し、前記ＡＮＮは、前記パラメータを生成するように前記トレーニングモードにおいてトレーニングされ、前記クラウドネットワークから前記パラメータを受信し、前記推論モードにおいて前記ＡＮＮを使用して前記シーンの前記画像を補正する、ことを有する動作を実行するように前記１つ以上のプロセッサを構成する、ことを含む。

【0076】

例２０において、例１８－例１９の主題は、前記命令が、実行されるときに更に、前記複数のＬＥＤ間の色ばらつき、前記複数のＬＥＤ内のばらつき、及び前記境界によって引き起こされる照明パターンを補正するために、前記ＡＮＮを使用して前記シーンの前記画像を補正する、ことを有する動作を実行するように前記１つ以上のプロセッサを構成する、ことを含む。

【0077】

例２１は、命令を含んだ少なくとも１つの機械読み取り可能媒体であって、前記命令は、処理回路によって実行されるときに、該処理回路に、例１－例２０のうちのいずれかを実装するための動作を実行させる、少なくとも１つの機械読み取り可能媒体である。

【0078】

例２２は、例１－例２０のうちのいずれかを実装するための手段を有する装置である。

【0079】

例２３は、例１－例２０のうちのいずれかを実装するシステムである。

【0080】

例２４は、例１－例２０のうちのいずれかを実装する方法である。

【0081】

システム及び方法の特定の特徴のみがここで図示され説明されているが、当業者は数多くの変更及び変形に気付くことになる。従って、理解されるべきことには、添付の請求項は、そのような変更及び変形の全てをカバーすることが意図される。方法動作は、実質的に同時に行われたり、異なる順序で行われたりすることができる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【国際調査報告】