特開 2023-164245 光カメラ通信のフレーム補正方法及び電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023164245

(43)【公開日】2023-11-10

(54)【発明の名称】光カメラ通信のフレーム補正方法及び電子デバイス

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231102BHJP

【ＦＩ】

H04N5/232 300

H04N5/232 290

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022148683

(22)【出願日】2022-09-20

(31)【優先権主張番号】111116268

(32)【優先日】2022-04-28

(33)【優先権主張国・地域又は機関】TW

(71)【出願人】

【識別番号】504429600

【氏名又は名称】緯創資通股▲ふん▼有限公司

【氏名又は名称原語表記】ＷＩＳＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100226263

【弁理士】

【氏名又は名称】中田 未来生

(72)【発明者】

【氏名】丁 筱▲ウェン▼

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA03

5C122FH09

5C122FH11

5C122FH18

5C122GA01

5C122GA23

5C122GC13

5C122GC37

5C122HA35

5C122HA48

5C122HB01

5C122HB10

(57)【要約】      （修正有）

【課題】カメラのサンプリングフレームレートが浮くことに起因する通信非同期を解決し得る、光カメラ通信のフレーム補正方法及び電子デバイスを提供する。
【解決手段】光カメラ通信（ＯＣＣ）のフレーム補正方法は、光信号を捉えＳ６０１、光信号を、第１の機械学習（ＭＬ）モデルに入力して、欠損タイムスタンプを取得しＳ６０２。光信号及び欠損タイムスタンプを第２のＭＬモデルに入力して、欠損タイムスタンプに対応する第１の補完フレームを取得しＳ６０３、第１の補完フレームを出力するＳ６０４。
【選択図】図６

【特許請求の範囲】

【請求項1】

光カメラ通信のフレームを補正する電子デバイスであって、該電子デバイスは：
トランシーバと；
光信号を捉えるように構成された撮像デバイスと；
第１の機械学習モデル及び第２の機械学習モデルを含む複数の機械学習モデルを格納するように構成された記憶媒体と；
前記記憶媒体、前記トランシーバ、及び前記撮像デバイスに結合されるプロセッサと；
を備え、ここで前記プロセッサは：
前記光信号を前記第１の機械学習モデルに入力して、欠損タイムスタンプを取得し；
前記光信号及び前記欠損タイムスタンプを前記第２の機械学習モデルに入力して、前記欠損タイムスタンプに対応する第１の補完フレームを取得し；
前記第１の補完フレームを、前記トランシーバを通じて出力する；
ように構成される、電子デバイス。

【請求項2】

請求項１に記載の電子デバイスであって、前記複数の機械学習モデルは、第３の機械学習モデルを更に含み、前記プロセッサは：
前記光信号及び前記欠損タイムスタンプを前記第３の機械学習モデルに入力して、前記欠損タイムスタンプに対応する第２の補完フレームを取得し；
前記第１の補完フレームと前記第２の補完フレームとの間の第１の類似度に従って、前記第１の補完フレームを出力することを決定し；
前記光信号及び前記欠損タイムスタンプを前記第２の機械学習モデルに再度入力して、前記欠損タイムスタンプに対応する第３の補完フレームを取得し；
前記光信号及び前記欠損タイムスタンプを前記第３の機械学習モデルに再度入力して、欠損タイムスタンプに対応する第４の補完フレームを取得し；
前記第３の補完フレームと前記第４の補完フレームとの間の第２の類似度よりも前記第１の類似度が高いことを受けて、前記第１の補完フレーム及び前記第３の補完フレームから前記第１の補完フレームを選択して出力する；
ように構成される、電子デバイス。

【請求項3】

請求項１に記載の電子デバイスであって、前記撮像デバイスは、外部デバイス及び第２の光信号を含む画像を捕らえ、前記第２の光信号は光学コードワードを含み、前記プロセッサは：
前記撮像デバイスによって前記第２の光信号を発する外部デバイスを識別し、オブジェクト検出アルゴリズムに基づき、前記光学コードワードに従って、又は前記画像に従って、識別結果を生成し；
前記識別結果に従って関心領域を生成し；
前記関心領域に従って、前記複数の機械学習モデルから前記外部デバイスに対応する前記第１の機械学習モデル及び前記第２の機械学習モデルを選択し、前記関心領域から来る前記光信号を受けて、前記光信号が前記外部デバイスに対応すると判定することによって、前記第１の補完フレームを生成する；
ように更に構成される、電子デバイス。

【請求項4】

光カメラ通信のフレーム補正方法であって、該方法は：
光信号を捉えるステップと；
前記光信号を第１の機械学習モデルに入力して、欠損タイムスタンプを取得するステップと；
前記光信号及び前記欠損タイムスタンプを第２の機械学習モデルに入力して、前記欠損タイムスタンプに対応する第１の補完フレームを取得するステップと；
前記第１の補完フレームを出力するステップと；
を備える、方法。

【請求項5】

請求項４に記載の方法であって、前記光信号は、第１のタイムスタンプに対応する第１のフレームを含み、前記方法は：
第１の履歴制御シグナリング及び第２の履歴制御シグナリングを受信するステップであって、前記第１の履歴制御シグナリングは、複数の第１の履歴タイムスタンプを含み、前記第２の履歴制御シグナリングは、複数の第２の履歴タイムスタンプを含む、ステップと、
前記複数の第１の履歴タイムスタンプに従って、前記第１の機械学習モデルを学習させるステップと；
前記第２の履歴制御シグナリングに対応する履歴光信号を捉えるステップであって、前記履歴光信号が、前記複数の第２の履歴タイムスタンプにそれぞれ対応する複数の履歴フレームを含む、ステップと；
前記複数の第２の履歴タイムスタンプ及び前記複数の履歴フレームに従って前記第２の機械学習モデルを学習させるステップと；を備え、ここで、前記光信号を前記第１の機械学習モデルに入力して前記欠損タイムスタンプを取得する前記ステップは：
前記光信号を前記第１の機械学習モデルに入力して、前記第１のフレームと次のフレームとの間の推定時間間隔を出力するステップ、並びに前記第１のタイムスタンプ及び前記推定時間間隔に従って、前記次のフレームに対応する推定タイムスタンプを計算するステップと；
前記推定タイムスタンプに従って前記光信号を検出し、前記次のフレームの画素値を取得するステップ、及び前記画素値に従って前記次のフレームが欠損フレームであるかを判定するステップと；
前記次のフレームが前記欠損フレームであると判定することを受けて、前記推定タイムスタンプが前記欠損タイムスタンプであると判定するステップと；
を更に備え、
前記光信号及び前記欠損タイムスタンプを前記第２の機械学習モデルに入力して、前記欠損タイムスタンプに対応する前記第１の補完フレームを取得する前記ステップは：
前記第１のタイムスタンプ、前記第１のフレーム、及び前記欠損タイムスタンプを前記第２の機械学習モデルに入力して、前記第１の補完フレームを出力するステップ；
を備える、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、光通信技術に関し、より詳細には、光カメラ通信（ＯＣＣ）のフレーム補正方法及び電子デバイスに関する。

【背景技術】

【0002】

ＩｏＴ（Internet of Things）デバイスは、通信に様々な無線通信技術を採用し、かつこれらの技術は異なる長所と短所、及び適用シナリオを有する。ＩｏＴデバイスの急増に伴い、広帯域の光通信技術がＩｏＴデバイス通信の実現可能なソリューションとなってきている。ＯＣＣ技術は、市販のカメラ又は照明機器などのような既存のインフラとの親和性が極めて高い完全にソフトウェアベースのソリューションである。それ故に、ＯＣＣ技術はＩｏＴデバイス通信のソリューションとして非常に可能性を秘めている。ＯＣＣシステムの受信機は、送信機（例えば、ＩｏＴデバイス）が発する光信号を捉えるためにカメラを利用し、送信機によって送信されるべきデータを取得することができる。

【0003】

データ伝送の効率を向上させるために、ＯＣＣシステムの送信機は、より高い周波数で光信号を送信する場合がある。しかしながら、カメラのサンプリングフレームレートが時間的に浮いたり、又は歪んだりする場合がある。カメラのサンプリングフレームレートが変化し、カメラと送信機との間で非同期が発生すると、受信機は完全な光信号を受信することができなくなる。その結果として、受信した光信号に欠損フレームが存在することになる。それ故に、ＯＣＣシステムで、しばしば発生する欠損フレームの問題をどのように解決するかは、当該分野の実務者が解決すべき課題の１つである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、カメラのサンプリングフレームレートが浮くことに起因する通信非同期を解決し得る、光カメラ通信のフレーム補正方法及び電子デバイスを提供する。

【課題を解決するための手段】

【0005】

本開示の一実施形態は、プロセッサと、記憶媒体と、トランシーバと、撮像デバイスとを含む、光カメラ通信のフレーム補正の電子デバイスを開示する。この撮像デバイスは、光信号を捉えるように構成される。前記記憶媒体は、第１の機械学習モデル及び第２の機械学習モデルを含む複数の機械学習モデルを格納するように構成される。前記プロセッサは、前記記憶媒体、前記トランシーバ、及び前記撮像デバイスに結合され、かつ前記プロセッサは：光信号を前記第１の機械学習モデルに入力して、欠損タイムスタンプを取得し；前記光信号及び欠損タイムスタンプを第２の機械学習モデルに入力して、前記欠損タイムスタンプに対応する第１の補完フレームを取得し；前記第１の補完フレームを、トランシーバを通じて出力する；ように構成される。

【0006】

本開示の一実施態様は、光カメラ通信のフレーム補正方法を開示する。このフレーム補正方法は：光信号を捉えるステップと；前記光信号を第１の機械学習モデルに入力して、欠損タイムスタンプを取得するステップと；前記光信号及び前記欠損タイムスタンプを第２の機械学習モデルに入力して、前記欠損タイムスタンプに対応する第１の補完フレームを取得するステップと；前記第１の補完フレームを出力するステップと；を含む。

【発明の効果】

【0007】

上記に基づき、本開示の電子デバイスは、機械学習アルゴリズムに基づいて、ＩｏＴデバイスの光信号に欠損フレームがあるかを予測し、光信号に欠損フレームがあるときに光信号のフレームを補完することができる。このようにすれば、カメラとＩｏＴデバイスとの間の非同期性に起因する光信号の不具合を回避し得る。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態による光カメラ通信のフレーム補正の電子デバイスの概略図である。

【図2】本開示の一実施形態による機械学習モデルを学習させるための学習データの取得を示す概略図である。

【図3】本開示の一実施形態による補完フレームを生成するフローチャートである。

【図4】本開示の一実施形態による関心領域を図示する概略図である。

【図5】本開示の一実施形態による欠落タイムスタンプ及び欠損フレームを図示する概略図である。

【図6】本開示の一実施形態による光カメラ通信のフレーム補正方法を図示するフローチャートである。

【発明を実施するための形態】

【0009】

本開示の内容をより理解しやすくするために、本開示を実際に実施することができる例として、以下の具体的な実施形態が示される。さらに、可能な限り、図面及び実施形態では、同じ参照数字を使用する要素／コンポーネント／ステップは、同じ又は類似の部品を表す。

【0010】

図１は、本開示の一実施形態による光学カメラ通信のフレーム補正の電子デバイス１００の概略図である。電子デバイス１００は、プロセッサ１１０と、記憶媒体１２０と、トランシーバ１３０と、撮像デバイス１４０とを含んでもよい。電子デバイス１００は、セットトップボックス、リモートコントローラ、又は無線アクセスポイントなどのような光源を有するＩｏＴデバイスなどのような外部デバイスによって発せられる光信号を受信し、かつ光信号に対する欠損フレームを補正することができる。

【0011】

プロセッサ１１０は、例えば、中央処理装置（ＣＰＵ）、若しくは他のプログラム可能な汎用又は特殊用途のマイクロ制御装置（ＭＣＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、グラフィック処理装置（ＧＰＵ）、画像信号プロセッサ（ＩＳＰ）、画像処理装置（ＩＰＵ）、演算論理装置（ＡＬＵ）、複合プログラム可能論理装置（ＣＰＬＤ）、フィールドプログラム可能ゲート配列（ＦＰＧＡ）、若しくは類似要素若しくは上記の要素の組合せなどである。プロセッサ１１０は、記憶媒体１２０、トランシーバ１３０、及び撮像デバイス１４０に結合され、かつ記憶媒体１２０に格納された複数のモジュール及び各種アプリケーションプログラムにアクセスし、実行することができる。

【0012】

記憶媒体１２０は、例えば、プロセッサ１１０によって実行可能な複数のモジュール又は各種アプリケーションプログラムを記憶するための固定又は取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）、若しくは任意の種類の構成要素若しくは上記構成要素の組合せである。記憶媒体１２０は、異なる種類の外部デバイスのフレームを補正するための複数の機械学習モデルセットをそれぞれ格納してもよい。

【0013】

一実施形態では、記憶媒体１２０は、機械学習モデル１１、機械学習モデル１２及び機械学習モデル１３を含む機械学習モデルセット１０と、機械学習モデル２１、機械学習モデル２２及び機械学習モデル２３を含む機械学習モデルセット２０とを格納することができるが、本開示は、記憶媒体１２０の機械学習モデルセットの数を限定しない。例えば、記憶媒体１２０は、Ｎ個の機械学習モデルセットを格納してもよく、Ｎは、任意の正の整数である。機械学習モデルセット１０及び機械学習モデルセット２０は、それぞれ、異なる種類の外部デバイスの光信号に対するフレームを補正するように構成される。例えば、機械学習モデルセット１０がセットトップボックスによって発せられる光信号のフレームを補正するように構成されている場合、機械学習モデルセット２０は、セットトップボックスとは異なる他の外部デバイス（例えば、リモートコントローラ）によって発せられる光信号のフレームを補正するように構成される。

【0014】

トランシーバ１３０は、無線又は有線方式で信号を送受信する。トランシーバ１３０は、低ノイズ増幅、インピーダンス整合、周波数混合、上下周波数変換、フィルタリング、増幅及びそのようなものなどの動作を更に行ってもよい。

【0015】

撮像デバイス１４０は、画像（例えば、光信号のフレーム）を捕らえるためのカメラ又は写真デバイスであってもよい。撮像デバイス１４０は、相補性金属酸化膜半導体（ＣＭＯＳ）センサ又は電荷結合素子（ＣＣＤ）センサなどのようなイメージセンサを含んでいてもよい。

【0016】

図２は、本開示の一実施形態による機械学習モデルを学習させるための学習データの取得を示す概略図である。外部デバイス２００は、コントローラ３００によって制御され、光信号を発すると仮定する。外部デバイス２００の光信号に対してフレームを補正するための機械学習モデルセット１０を学習させるために、電子デバイス１００のプロセッサ１１０は、コントローラ３００からトランシーバ１３０を通じて複数の履歴タイムスタンプを含む履歴制御シグナリングｘを受信し、かつ外部デバイス２００から撮像デバイス１４０を通じて履歴制御シグナリングｘに対応する履歴光信号ｙを捉えてもよい。履歴光信号ｙは、複数の履歴タイムスタンプにそれぞれ対応する複数の履歴フレームを含んでもよい。

【0017】

一実施形態では、プロセッサ１１０は、履歴制御シグナリングｘ中の外部デバイス２００に関連する情報に従って、履歴制御シグナリングｘが外部デバイス２００及び外部デバイス２００によって送信された履歴光信号ｙに一致すると判定してもよい。例えば、履歴制御シグナリングｘは、製品ＩＤ（ＰＩＤ）、製造者ＩＤ（ＭＩＤ）、固有識別子（ＵＩＤ）又は汎用固有ＩＤ（ＵＵＩＤ）、及び外部デバイス２００に紐づく他の情報を含んでもよい。プロセッサ１１０は、捉えた履歴光信号ｙが情報に従って外部デバイス２００に対応することを判定してもよい。

【0018】

複数の履歴タイムスタンプを含む履歴制御シグナリングｘ、及び複数の履歴フレームを含む履歴光信号ｙを取得した後、プロセッサ１１０は、履歴制御シグナリングｘ及び履歴光信号ｙに従って機械学習モデルセット１０を学習させてもよい。具体的には、プロセッサ１１０は、履歴制御シグナリングｘ中の複数の履歴タイムスタンプに従って機械学習モデル１１を学習させてもよく、機械学習モデル１１は、例えば、分類モデル又はクラスタモデルであるが、本開示は、機械学習モデル１１を学習させるために構成される機械学習アルゴリズムを限定しない。学習済み機械学習モデル１１は、光信号中の異なるタイムスタンプ（又は異なるフレーム）間の時間間隔を予測するように構成されてもよい。

【0019】

一方、プロセッサ１１０は、履歴制御シグナリングｘ中の複数の履歴タイムスタンプ及び履歴光信号ｙ中の複数の履歴フレームに従って、機械学習モデル１２又は機械学習モデル１３を学習させてもよい。機械学習モデル１２又は機械学習モデル１３は、例えば、再帰型ニューラルネットワークモデル（ＲＮＮ）又は生成モデルであるが、本開示は、機械学習モデル１２又は機械学習モデル１３を学習させるように構成される機械学習アルゴリズムを限定しない。学習済み機械学習モデル１２又は機械学習モデル１３は、１つ以上の以前にサンプリングされたフレームに基づいて、生成されるフレームを予測してもよい。

【0020】

機械学習モデルセット１０の学習を完了した後、プロセッサ１１０は、撮像デバイス１４０の浮動サンプリングフレームレート又は撮像デバイス１４０と外部デバイス２００との間の非同期によって生じる光信号歪みを回避するように、機械学習モデルセット１０に従って外部デバイス２００によって放射される光信号に対する補完フレームを生成してもよい。図３は、本開示の一実施形態による補完フレームを生成するフローチャートである。図３の処理は、図１に示す電子デバイス１００によって実施してもよい。

【0021】

ステップＳ３０１において、プロセッサ１１０は、撮像デバイス１４０を通じて、外部デバイス２００によって発せられた光信号を捉えてもよい。光信号は、複数のタイムスタンプ、及び複数のタイムスタンプにそれぞれ対応する複数のフレームを含んでもよい。撮像デバイス１４０によって捉えた光信号は、何らかの情報が欠落していてもよい。

【0022】

ステップＳ３０２において、プロセッサ１１０は、記憶媒体１２０内の複数の機械学習モデルセットから、光信号を処理するための機械学習モデルセット１０を選択してもよい。

【0023】

一実施形態では、プロセッサ１１０は、撮像デバイス１４０を通じて光信号を発する外部デバイス２００の画像を捕らえ、かつオブジェクト検出アルゴリズムに基づく画像識別外部デバイス２００に従って識別結果を生成してもよい。例えば、識別結果は、外部デバイス２００の位置及び／又は大きさに基づいて生成されてもよいが、これに限定されるものではない。この態様では、プロセッサ１１０は、識別結果に従って、外部デバイス２００がセットトップボックスであると判定してもよい。プロセッサ１１０は、識別結果に従って、外部デバイス２００に対応する関心領域（ＲＯＩ）を更に生成してもよい。図４は、本開示の一実施形態による関心領域ＲＯＩを図示する概略図である。プロセッサ１１０が外部デバイス２００を含む画像４００を捕らえた後、プロセッサ１１０は、画像４００に対してオブジェクト認識を行い、外部デバイス２００に対応する関心領域ＲＯＩを生成してもよい。このように、関心領域ＲＯＩからの光信号を受信すると、プロセッサ１１０は、光信号が外部デバイス２００から来たと判断してもよい。したがって、プロセッサ１１０は、記憶媒体１２０内の複数の機械学習モデルセットから、１つ以上の外部デバイス２００（例えば、セットトップボックス、リモートコントローラ、モデム）の光信号を処理するための機械学習モデルセット１０を選択してもよい。

【0024】

一実施形態では、外部デバイス２００によって発せられる光信号は、光学コードワードを含んでもよい。プロセッサ１１０は、光学コードワードに従って外部デバイス２００を識別してもよい。光信号は、特定の光信号を包含してもよく、例えば、光信号の色は、赤、青、緑、又は黄色であってもよく、若しくは、速い点滅光を２回、又は遅い点滅光を３回などのようなリズムでオンオフする点滅光信号であってもよく、かつ本開示はこれに限定されるものではない。プロセッサ１１０は、特定の光信号に従って、１つ以上の外部デバイスがセットトップボックス、リモートコントローラ、及び／又はモデムなどであると判定してもよい。

【0025】

ステップＳ３０３において、プロセッサ１１０は、光信号を機械学習モデル１１に入力して、推定タイムスタンプを取得してもよい。図５は、本開示の実施形態による欠落タイムスタンプ及び欠損フレームを図示する概略図である。光信号は、タイムスタンプｔ１に対応するフレームｃ（ｔ１）、タイムスタンプｔ２に対応するフレームｃ（ｔ２）、及びタイムスタンプｔ３に対応するフレームｃ（ｔ３）を含むと仮定する。プロセッサ１１０は、光信号中の１つ以上のタイムスタンプを機械学習モデル１１に入力してもよく、かつ１つ以上のタイムスタンプは、タイムスタンプｔ２及び／又はタイムスタンプｔ２より前のタイムスタンプ（例えば、タイムスタンプｔ１）を含んでもよい。機械学習モデル１１は、入力情報に従って、フレームｃ（ｔ２）と次のフレームｃ（ｔ２＋ΔＴ）との間の推定時間間隔ΔＴを生成してもよい。１秒あたりのフレーム数は、１０００ＦＰＳ（Ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）であってもよく、かつ本開示はこれに限定されるものではない。プロセッサ１１０は、推定時間間隔ΔＴに従って、次のフレームｃ（ｔ２＋ΔＴ）に対応する推定タイムスタンプ（ｔ２＋ΔＴ）を算出してもよい。

【0026】

ステップＳ３０４において、プロセッサ１１０は、推定タイムスタンプ（ｔ２＋ΔＴ）に従って、次のフレームｃ（ｔ２＋ΔＴ）が欠損フレームｃ（ｔｍ）であるかを判定してもよい。次のフレームｃ（ｔ２＋ΔＴ）が欠損フレームｃ（ｔｍ）である場合、ステップＳ３０５に進む。次のフレームｃ（ｔ２＋ΔＴ）が欠損フレームｃ（ｔｍ）でない場合は、ステップＳ３０１に進む。次のフレームｃ（ｔ２＋ΔＴ）が欠損フレームｃ（ｔｍ）であることに応じて、プロセッサ１１０は、次のフレームｃ（ｔ２＋ΔＴ）に対応する推定タイムスタンプ（ｔ２＋ΔＴ）が欠損タイムスタンプｔｍであると判定してもよい。

【0027】

一実施形態では、プロセッサ１１０は、推定タイムスタンプ（ｔ２＋ΔＴ）に従って光信号を検出して次のフレームｃ（ｔ２＋ΔＴ）の画素値を取得し、かつ画素値に従って次のフレームｃ（ｔ２＋ΔＴ）が欠損フレームｃ（ｔｍ）であるかを判定してもよい。数式１は、次のフレームｃ（ｔ２＋ΔＴ）が欠損フレームｃ（ｔｍ）であるかを判定する方法の一例であり、かつＦ［ｃ（ｔ２＋ΔＴ）］は、次のフレームｃ（ｔ２＋ΔＴ）の画素値である。Ｆ［ｃ（ｔ２＋ΔＴ）］が閾値Ｈ１以上の場合、次のフレームｃ（ｔ２＋ΔＴ）が「１」を表す光信号を明確に表示していることを意味するので、プロセッサ１１０は次のフレームｃ（ｔ２＋ΔＴ）が信号「１」に対応すると判定し得る。Ｆ［ｃ（ｔ２＋ΔＴ）］が閾値Ｈ２以下である場合（Ｈ２＜Ｈ１）、次のフレームｃ（ｔ２＋ΔＴ）が「０」を表す光信号を明確に表示していることを意味するので、プロセッサ１１０は次のフレームｃ（ｔ２＋ΔＴ）を信号「０」に対応するものと判定し得る。Ｆ［ｃ（ｔ２＋ΔＴ）］が閾値Ｈ１より小さく、かつ閾値Ｈ２より大きい場合、次のフレームｃ（ｔ２＋ΔＴ）が光信号を明確に表示していないことを意味するので、プロセッサ１１０は、次のフレームｃ（ｔ２＋ΔＴ） ）が欠損フレームｃ（ｔｍ）であると判定し得る。

【数1】

【0028】

プロセッサ１１０は、実行回数が予め設定された反復回数Ｋに達するまで、ステップＳ３０５を繰り返し実行してもよく、ここでＫは任意の正整数である。ステップＳ３０５において、プロセッサ１１０は、機械学習モデル１２に光信号及び欠損タイムスタンプｔｍを入力して、欠損タイムスタンプｔｍに対応する補完フレームｃ（ｔｍ）_１２，ｋを取得してもよく、かつ機械学習モデル１３に光信号及び欠損タイムスタンプｔｍを入力して、欠損タイムスタンプｔｍに対応する補完フレームｃ（ｔｍ）_１３，ｋを取得してもよく、ここでｋは反復インデックスを表す。すなわち、プロセッサ１１０は、２つの補完フレームを取得してもよい。例えば、プロセッサ１１０がステップＳ３０５を初めて実行する場合、機械学習モデル１２及び機械学習モデル１３によって生成される２つの補完フレームは、それぞれ補完フレームｃ（ｔｍ）_１２，１及び補完フレームｃ（ｔｍ）_１３，１であってもよい。プロセッサ１１０がステップＳ３０５を最後に実行する場合、機械学習モデル１２及び機械学習モデル１３によって生成される２つの補完フレームは、それぞれ補完フレームｃ（ｔｍ）_１２，ｋ及び補完フレームｃ（ｔｍ）_１３，ｋであってもよい。

【0029】

ステップＳ３０６において、プロセッサ１１０は、ステップＳ３０５の実行回数が予め設定された反復回数Ｋに達したかを判定してもよい。実行回数が予め設定された反復回数Ｋに達している場合、ステップＳ３０７に進む。実行回数が予め設定された反復回数Ｋに達していない場合、ステップＳ３０５に進む。

【0030】

ステップＳ３０７において、プロセッサ１１０は、補完フレームｃ（ｔｍ）_１２，ｋと補完フレームｃ（ｔｍ）_１３，ｋとの間の類似度を計算し、それによって、Ｋ回の反復に対応するＫ個の類似度［ｓ（１）ｓ（２）・・・ｓ（Ｋ）］を生成してもよい。プロセッサ１１０は、Ｋ個の類似性に従って、複数の補完フレームから最適な補完フレームを選択補完フレームとして選択してもよい。例えば、プロセッサ１１０は、類似度ｓ（ｉ）がＫ個の類似度［ｓ（１）ｓ（２）・・・ｓ（Ｋ）］のうち最も高い類似度であることに応じて、補完フレームｃ（ｔｍ）_１２，ｉ（又は補完フレームｃ（ｔｍ）_１３，ｉ）を選択してもよい。補完フレームｃ（ｔｍ）_１２，ｉとｃ（ｔｍ）_１３，ｉとの間の類似度が高いほど、機械学習モデル１２及び機械学習モデル１３によって生成される補完フレームが類似していることを意味し、かつ従って信頼性が高いことを意味する。

【0031】

ステップＳ３０８において、プロセッサ１１０は、トランシーバ１３０を通じて選択補完フレームｃ（ｔｍ）_１２，ｉ（又は補完フレームｃ（ｔｍ）_１３，ｉ）を出力してもよい。選択補完フレームｃ（ｔｍ）_１２，ｉは、撮像デバイス１４０によって捉えた歪んだ光信号に付加される場合、歪んだ光信号は完全な光信号に復元することができる。

【0032】

図６は、本開示の一実施形態による光カメラ通信のフレーム補正方法を図示するフローチャートであり、かつ当該方法は、図１に示す電子デバイス１００によって実施されてもよい。ステップＳ６０１において、光信号を捉える。ステップＳ６０２において、光信号を第１の機械学習モデルに入力して、欠損タイムスタンプを取得する。ステップＳ６０３において、光信号及び欠損タイムスタンプを第２の機械学習モデルに入力して、欠損タイムスタンプに対応する第１の補完フレームを取得する。ステップＳ６０４において、第１の補完フレームを出力する。

【0033】

要約すると、本開示の電子デバイスは、ＩｏＴデバイスによって発せられる光信号を、撮像デバイスを通じて捉え、かつ機械学習技術を利用して、光信号がＩｏＴデバイスとカメラとの間の非同期の影響を受け、特定のフレームを欠いているかを判定してもよい。電子デバイスは、光信号中に欠損フレームがあると判定した場合、電子デバイスは、機械学習技術を利用して、欠損フレームを補正するための補完フレームを生成してもよい。従来のフレーム補間技術（フレーム平均化、動き推定、又はオプティカルフロー法などのような）と比較して、本開示は、速い光信号の変化を伴うＯＣＣシステムに適応し、非同期問題が原因による光信号の重要な情報の喪失を回避し得る。

【産業上の利用可能性】

【0034】

本発明の光カメラ通信のフレーム補正方法及び電子デバイスは、ＩｏＴ機器又は光カメラに適用され得る。

【符号の説明】

【0035】

１０ 機械学習モデルセット
２０ 機械学習モデルセット
１００ 電子デバイス
１１０ プロセッサ
１１ 機械学習モデル
１２ 機械学習モデル
１３ 機械学習モデル
２１ 機械学習モデル
２２ 機械学習モデル
２３ 機械学習モデル
１２０ 記憶媒体
１３０ トランシーバ
１４０ 撮像デバイス
１５０ プロセッサ
２００ 外部デバイス
３００ コントローラ
４００ 画像
ｃ（ｔ１） フレーム
ｃ（ｔ２） フレーム
ｃ（ｔ３） フレーム
ｃ（ｔｍ） 欠損フレーム
ＲＯＩ 関心領域
Ｓ３０１～Ｓ３０８ ステップ
Ｓ６０１～Ｓ６０４ ステップ
ｔ１～ｔ３ タイムスタンプ
ｔｍ 欠落タイムスタンプ
ｘ 履歴制御シグナリング
ｙ 履歴光信号
ΔＴ 推定時間間隔

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】