知財求人 - 知財ポータルサイト「IP Force」
特許7461504モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-26
(45)【発行日】2024-04-03
(54)【発明の名称】モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体
(51)【国際特許分類】
G06V 10/82 20220101AFI20240327BHJP
G06T 7/00 20170101ALI20240327BHJP
G06V 20/10 20220101ALI20240327BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06V20/10
【請求項の数】
9
(21)【出願番号】P 2022564397
(86)(22)【出願日】2021-06-08
(65)【公表番号】
(43)【公表日】2023-05-30
(86)【国際出願番号】 CN2021098942
(87)【国際公開番号】W WO2021249401
(87)【国際公開日】2021-12-16
【審査請求日】2022-10-21
(31)【優先権主張番号】202010514388.2
(32)【優先日】2020-06-08
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】320015083
【氏名又は名称】北京京東乾石科技有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＱＩＡＮＳＨＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】ＲＯＯＭ Ａ１９０５， １９ＴＨ ＦＬＯＯＲ， ＮＯ． ２ ＢＵＩＬＤＩＮＧ， ＮＯ． １８ ＫＥＣＨＵＡＮＧ １１ ＳＴＲＥＥＴ， ＢＥＩＪＩＮＧ ＥＣＯＮＯＭＩＣ ＡＮＤ ＴＥＣＨＮＯＬＯＧＩＣＡＬ ＤＥＶＥＬＯＰＭＥＮＴ ＺＯＮＥ， ＢＥＩＪＩＮＧ １００１７６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】李 艶 麗
(72)【発明者】
【氏名】劉 冬 冬
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開２０１９－１４５０８９（ＪＰ，Ａ）
【文献】特開２０１９－１８５２９５（ＪＰ，Ａ）
【文献】Stefan Milz，外４名，Points2Pix: 3D Point-Cloud to Image Translation using conditional GANs，[online]，2019年09月16日，［2023 年 9月 8日検索］，＜URL：https://arxiv.org/pdf/1901.09280.pdf＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／８２
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ２０／１０
(57)【特許請求の範囲】
【請求項1】
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、前記点群データの座標データ、及び前記マルチフレームの前記画像透視図と１つずつ対応する複数の画像収集時点が得られることと、複数の前記画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び前記座標データに基づいて前記各画像収集時点での点群透視図を生成することと、
前記各画像収集時点での前記点群透視図及び前記各画像収集時点での前記画像透視図を１セットのトレーニングサンプルとし、複数のセットの前記トレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、前記点群透視図を前記画像透視図に変換するための画像変換モデルを生成することと、
を含み、
少なくとも２つの画像収集時点での前記点群透視図、及び前記少なくとも２つの画像収集時点での前記点群透視図が対応する前記画像透視図を合わせて１セットのトレーニングサンプルとすることをさらに含む、モデル生成方法であって、
少なくとも２つの画像収集時点での前記点群透視図、及び前記少なくとも２つの画像収集時点での前記点群透視図が対応する前記画像透視図を合わせて１セットのトレーニングサンプルとすることは、
複数の前記画像収集時点における現在の画像収集時点での前記点群透視図を第１点群透視図とすると共に前記現在の画像収集時点での前記画像透視図を第１画像透視図とすることと、
前記現在の画像収集時点の前の少なくとも１つの画像収集時点での前記点群透視図を第２点群透視図とすると共に前記現在の画像収集時点の前の少なくとも１つの画像収集時点での前記点群透視図が対応する前記画像透視図を第２画像透視図とすることと、
前記第１点群透視図、前記第２点群透視図、前記第１画像透視図及び前記第２画像透視図を１セットのトレーニングサンプルとし、前記第１点群透視図、前記第２点群透視図及び前記第２画像透視図は実際の入力データで、前記第１画像透視図は所望の出力データであることと、
を含む、モデル生成方法。
【請求項2】
前記した複数の前記画像収集時点における各画像収集時点に対応するポーズマトリックスを決定することは、前記点群データに基づいて前記プリセット収集システムのポーズ軌跡が得られることと、
複数の前記画像収集時点に基づいて前記ポーズ軌跡をサンプリングし、複数の前記画像収集時点における各画像収集時点に対応するポーズマトリックスが得られることと、
を含む、請求項１に記載のモデル生成方法。
【請求項3】
前記点群透視図における前記点群データに対応する画素点を取得し、前記点群データの属性情報を前記画素点に割り当てることをさらに含む、請求項１に記載のモデル生成方法。
【請求項4】
前記オリジナルニューラルネットワークモデルは点群畳み込み励起モジュール、画像畳み込み励起モジュール及びマージ処理モジュールを含み、前記した複数のセットの前記トレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングすることは、前記トレーニングサンプルを前記オリジナルニューラルネットワークモデルに入力することと、
前記点群畳み込み励起モジュールは前記第１点群透視図と前記第２点群透視図とのチャネルカスケードの結果を処理して点群特徴図が得られると共に前記画像畳み込み励起モジュールは前記第２画像透視図を処理して画像特徴図が得られることと、
前記マージ処理モジュールは、前記点群特徴図及び前記画像特徴図をマージ処理し、マージ処理の結果に基づいて第３画像透視図を生成し、前記第３画像透視図及び前記第１画像透視図に基づいて前記オリジナルニューラルネットワークモデルのネットワークパラメータを調節することと、
を含む、請求項１に記載のモデル生成方法。
【請求項5】
プリセット収集システムに基づいて点群データを収集し、前記点群データの座標データ及び点群収集時点を取得し、前記点群収集時点に対応するポーズマトリックスを決定し、前記ポーズマトリックス及び前記座標データに基づいて前記点群収集時点での点群透視図を生成することと、請求項１ないし４の何れか１項のモデル生成方法に従って生成された画像変換モデルを取得し、前記点群透視図を前記画像変換モデルに入力し、前記画像変換モデルの出力結果に基づいて前記点群収集時点での画像透視図を決定することと、
を含む、画像透視図の決定方法。
【請求項6】
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、前記点群データの座標データ、及び前記マルチフレームの画像透視図と１つずつ対応する複数の画像収集時点を取得するように設けられるデータ収集モジュールと、複数の前記画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び前記座標データに基づいて前記各画像収集時点での点群透視図を生成するように設けられる第１生成モジュールと、
前記した各前記画像収集時点での前記点群透視図及び前記した各前記画像収集時点での前記画像透視図を１セットのトレーニングサンプルとし、複数のセットの前記トレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、前記点群透視図を前記画像透視図に変換するための画像変換モデルを生成するように設けられる第２生成モジュールと、
を含み、
前記第２生成モジュールは、更に、
少なくとも２つの画像収集時点での前記点群透視図、及び前記少なくとも２つの画像収集時点での前記点群透視図が対応する前記画像透視図を合わせて１セットのトレーニングサンプルとするように設けられ、
前記第２生成モジュールは、
複数の前記画像収集時点における現在の画像収集時点での前記点群透視図を第１点群透視図とすると共に前記現在の画像収集時点での前記画像透視図を第１画像透視図とするように設けられる第１取得ユニットと、
前記現在の画像収集時点の前の少なくとも１つの画像収集時点での前記点群透視図を第２点群透視図とすると共に前記現在の画像収集時点の前の少なくとも１つの画像収集時点での前記点群透視図が対応する前記画像透視図を第２画像透視図とするように設けられる第２取得ユニットと、
前記第１点群透視図、前記第２点群透視図、前記第１画像透視図及び前記第２画像透視図を１セットのトレーニングサンプルとし、前記第１点群透視図、前記第２点群透視図及び前記第２画像透視図は実際の入力データで、前記第１画像透視図は所望の出力データであるように設けられるトレーニングサンプル取得ユニットと、を含む、
モデル生成装置。
【請求項7】
プリセット収集システムに基づいて点群データを収集し、前記点群データの座標データ及び点群収集時点を取得し、前記点群収集時点に対応するポーズマトリックスを決定し、前記ポーズマトリックス及び前記座標データに基づいて前記点群収集時点での点群透視図を生成するように設けられる生成モジュールと、請求項１ないし４の何れか１項のモデル生成方法に従って生成された画像変換モデルを取得し、前記点群透視図を前記画像変換モデルに入力し、前記画像変換モデルの出力結果に基づいて前記点群収集時点での画像透視図を決定するように設けられる画像透視図決定モジュールと、
を含む、画像透視図の決定装置。
【請求項8】
少なくとも１つのプロセッサと、少なくとも１つのプログラムを記憶するように設けられるメモリと、を含み、
前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサに実行されると、前記少なくとも１つのプロセッサは請求項１ないし４の何れか１つに記載のモデル生成方法を実現する、ディバイス。
【請求項9】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサに実行されると、請求項１ないし４の何れか１つに記載のモデル生成方法を実現する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、出願番号が２０２０１０５１４３８８．２で、出願日が２０２０年６月８日である中国特許出願に基づいた優先権を主張するものであり、該中国特許出願の全ての内容が引用により本願に援用される。
【0002】
［技術分野］
本願の実施例は、データ処理の技術分野に関し、例えば、モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体に関する。
本願の実施例は、データ処理の技術分野に関し、例えば、モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体に関する。
【背景技術】
【0003】
仮想シミュレーション、高精度地図作り、ロボット、自動運転などの産業の推進と発展に伴い、点群マッピングのアプリケーションがますます広まっている。点群マッピングは、レーザーレーダーディバイスによって各時刻のマッピングされるシーンにおける点群データを収集し、測量製図の方式又は同時ローカリゼーションとマッピング（ＳＬＡＭ）の方式によって各時刻の点群データの三次元座標を取得し、更に当該三次元座標により複数の時刻の点群データを投影し合成する。
【0004】
単純な点群マッピングでは、複数の時刻における点群データの三次元座標を取得することしかできず、情報が単一である。この問題を解決するために、点群マッピングの過程で、カメラを設置することにより、データを同時に収集して対応する時刻の画像透視図を生成し、マルチデータソースの融合によってより多くのアプリケーションを展開することができる。例えば、シミュレーション再構成では、レーザーレーダーディバイス及びカメラを時空間で標定することによりカラーの点群データを取得し、作図の過程で、画像透視図によって実際のシーンを見ることをサポートし、インテリジェントセンシングでは、画像透視図によって車線、歩行者などの動的なものの認識を改善する。
【0005】
関連技術では、上記の画像透視図の取得過程で手間がかかり、まず、複雑なレーザーレーダーディバイス及びカメラの同期システムを設置し、両者を時空間で標定する必要があり、この時空間の標定の過程は煩雑である場合が多く、更に、品質の高い全方位の画像透視図を取得するために、使用されるカメラは高価であることが多く、３６０度のパノラマＬａｄｙｂｕｇ３は２０万人民元以上かかり、加えて、カメラにより収集された画像透視図の品質は、天気、照明、影などの環境要因の影響を受けやすく、例えば、暗い光環境で撮影した画像透視図の画像の明るさが低く、車のスピードが速すぎるとブレたりボケたりしやすい、という技術問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本願の実施例は、モデル生成方法、画像透視図の決定方法、装置、ディバイス及び媒体を提供し、画像透視図の取得過程は比較的に手間がかかる問題を解決した。
【課題を解決するための手段】
【0007】
第１態様では、本願の実施例は、
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及び前記マルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られることと、
複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成することと、
前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成することと、を含む可能なモデル生成方法を提供する。
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及び前記マルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られることと、
複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成することと、
前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成することと、を含む可能なモデル生成方法を提供する。
【0008】
第２態様では、本願の実施例は、
プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成することと、
本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定することと、を含む可能な画像透視図の決定方法をさらに提供する。
プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成することと、
本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定することと、を含む可能な画像透視図の決定方法をさらに提供する。
【0009】
第３態様では、本願の実施例は、
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及び前記マルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られるように設けられるデータ収集モジュールと、
複数の前記画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成するように設けられる第１生成モジュールと、
前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成するように設けられる第２生成モジュールと、を含む可能なモデル生成装置をさらに提供する。
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及び前記マルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られるように設けられるデータ収集モジュールと、
複数の前記画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成するように設けられる第１生成モジュールと、
前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成するように設けられる第２生成モジュールと、を含む可能なモデル生成装置をさらに提供する。
【0010】
第４態様では、本願の実施例は、
プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成するように設けられる第３生成モジュールと、
本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定するように設けられる画像透視図決定モジュールと、を含む可能な画像透視図の決定装置をさらに提供する。
プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成するように設けられる第３生成モジュールと、
本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定するように設けられる画像透視図決定モジュールと、を含む可能な画像透視図の決定装置をさらに提供する。
【0011】
第５態様では、本願の実施例は、
少なくとも１つのプロセッサと、
少なくとも１つのプログラムを記憶するように設けられるメモリと、を含む可能であり、
少なくとも１つのプログラムが少なくとも１つのプロセッサに実行されると、少なくとも１つのプロセッサは本願の何れかの実施例に係るモデル生成方法又は画像透視図の決定方法を実現する、ディバイスをさらに提供する。
少なくとも１つのプロセッサと、
少なくとも１つのプログラムを記憶するように設けられるメモリと、を含む可能であり、
少なくとも１つのプログラムが少なくとも１つのプロセッサに実行されると、少なくとも１つのプロセッサは本願の何れかの実施例に係るモデル生成方法又は画像透視図の決定方法を実現する、ディバイスをさらに提供する。
【0012】
第６態様では、本願の実施例はコンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサに実行されると、本願の何れかの実施例に係るモデル生成方法又は画像透視図の決定方法を実現する。
【図面の簡単な説明】
【0013】
【図1】本願の実施例１に係るモデル生成方法のフローチャートである。
【図2】本願の実施例１に係るモデル生成方法における点群マッピングの第１模式図である。
【図3a】本願の実施例１に係るモデル生成方法における点群マッピングの第２模式図である。
【図3b】本願の実施例１に係るモデル生成方法における点群透視図の模式図である。
【図4a】本願の実施例１に係るモデル生成方法におけるシングルフレーム変換のためのオリジナルニューラルネットワークモデルの模式図である。
【図4b】本願の実施例１に係るモデル生成方法におけるシーケンスフレーム変換のためのオリジナルニューラルネットワークモデルの模式図である。
【図5】本願の実施例２に係るモデル生成方法のフローチャートである。
【図6】本願の実施例３に係るモデル生成装置の構造ブロック図である。
【図7】本願の実施例４に係る画像透視図の決定装置の構造ブロック図である。
【図8】本願の実施例５に係るディバイスの構造模式図である。
【発明を実施するための形態】
【0014】
以下、図面及び実施例を参照し、本願を詳しく説明する。
実施例１
図１は本願の実施例１に係るモデル生成方法のフローチャートである。本実施例は、点群透視図を画像透視図に変換するための画像変換モデルを生成する場合に適用可能である。当該方法は本願の実施例に係るモデル生成装置によって実行することが可能であり、当該装置はソフトウェア及び／又はハードウェアの形で実現することが可能であり、当該装置は様々なユーザ端末又はサーバに統合することが可能である。
実施例１
図１は本願の実施例１に係るモデル生成方法のフローチャートである。本実施例は、点群透視図を画像透視図に変換するための画像変換モデルを生成する場合に適用可能である。当該方法は本願の実施例に係るモデル生成装置によって実行することが可能であり、当該装置はソフトウェア及び／又はハードウェアの形で実現することが可能であり、当該装置は様々なユーザ端末又はサーバに統合することが可能である。
【0015】
図１を参照し、本願の実施例における方法は下記のステップを含む。
Ｓ１１０において、プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及びマルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られる。
Ｓ１１０において、プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及びマルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られる。
【0016】
ここで、点群データは、プリセット収集システムにおける点群収集ディバイスによって収集されたマッピングされるシーンでのデータであり、例えば、レーザーレーダー走査ディバイス、架空のシーンの間引きディバイス又はマルチビュー再構成ディバイスによって収集された点群データである。画像透視図は、プリセット収集システムにおける画像収集ディバイスによって収集された透視図であり、当該画像収集ディバイスは、球面パノラマカメラ、広角カメラ、歪曲のない一般的な透視カメラなどであっても良く、これに対応し、これにより収集された画像透視図は、球面パノラマ画像、広角画像、歪曲のない一般的な透視画像などであっても良いが、ここでは限定しない。点群データが収集された後、点群データをマッピングし、図２に示すように、マッピングの過程で複数の点群データの座標データを得ることが可能であり、マッピングの方式は測量製図の方式、ＳＬＡＭの方式などであっても良いが、ここでは限定しない。これに対応し、画像透視図が収集された後、各フレームの画像透視図の画像収集時点を取得することが可能であり、当該画像収集時点は画像透視図が収集されたときの時点である。
【0017】
Ｓ１２０において、複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成する。
【0018】
ここで、ポーズマトリックスは、点群収集ディバイスがある画像収集時点で、且つ点群データの座標データが位置する座標系でのマトリックスであり、当該ポーズマトリックスは回転マトリックス及び平行移動ベクトルを含む。実際のアプリケーションでは、測量製図の方式によりマッピングする場合、ポーズマトリックスは複合慣性航法データより取得することが可能であり、ＳＬＡＭの方式によりマッピングする場合、ポーズマトリックスはＳＬＡＭのアルゴリズムによって提供されることが可能である。ポーズマトリックスを取得した後、当該ポーズマトリックスに基づいて画像収集ディバイスは当該画像収集時点でのローカル座標系を得ることが可能であり、または、当該ポーズマトリックスによって画像収集ディバイスが当該画像収集時点で位置する画像収集の位置におけるローカル座標系を得ることが可能であり、これにより点群データの座標データを当該ローカル座標系に変換し、このようにして、変換された座標データ基づき当該画像収集時点での点群透視図を得ることが可能である。例えば、点群マッピングをした後に得られるマッピングされるシーンでの点群データは図３ａに示すとおりで、点群データ及び対応するポーズマトリックスに基づき合成する点群透視図は図３ｂに示すとおりである。
【0019】
好ましくは、上記ポーズマトリックスは、以下のステップにより決定することが可能である。点群データに基づいてプリセット収集システムのポーズ軌跡が得られ、当該ポーズ軌跡は、点群データのマッピング中に得られることが可能であり、プリセット収集システムが移動中のポーズの変化の状況を表すことが可能であり、当該ポーズは位置及び姿勢を含むことが可能である。実際のアプリケーションでは、測量製図の方式によってマッピングすると、プリセット収集システムにおける複合慣性航法によりプリセット収集システムが複数の収集時点でのポーズを取得することができ、ＳＬＡＭの方式によってマッピングすると、ＳＬＡＭのアルゴリズムによってプリセット収集システムが複数の収集時点でのポーズを取得することができる。さらに、複数の画像収集時点に基づいてポーズ軌跡をサンプリングし、サンプリングの結果に基づいて各画像収集時点にそれぞれ対応するポーズマトリックスが得られる。
【0020】
Ｓ１３０において、前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成する。
【0021】
ここで、各画像収集時点では何れも１つの点群透視図及び１つの画像透視図が存在するため、両者を１セットのトレーニングサンプルとし、点群透視図を実際の入力データとし、画像透視図を所望の出力データとすることが可能であり、これにより、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングして、点群透視図を画像透視図に変換するための画像変換モデルを生成することができる。
【0022】
なお、オリジナルニューラルネットワークモデルは、何れかのトレーニングされていない、点群透視図を画像透視図に変換することが可能である畳み込みニューラルネットワークモデルであり、１つの好ましいオリジナルニューラルネットワークモデルの模式図は、図４ａに示し、シングルフレームの点群透視図からシングルフレームの画像透視図に変換する画像変換モデルである。例示的に、実線はデータ層であり、データ層のＭｔは点群透視図であり、そのディメンションはＨ＊Ｗ＊Ｃであり、Ｃは点群データの属性情報の数であることが可能であり、例えば、属性情報が強度情報と意味情報である場合、Ｃ＝２であり、また例えば、属性情報が色情報（Ｒ／Ｇ／Ｂ）である場合、Ｃ＝３であり、データ層のＩｔは画像透視図であり、そのディメンションはＨ＊Ｗ＊３であり、３は色情報（Ｒ／Ｇ／Ｂ）である。点線はネットワーク層であり、当該ネットワーク層におけるニューロンは、畳み込み層ｃｘｘ＿ｋｘ＿ｓｘ、励起層ｌｅａｋｙＰｅＬＵ、畳み込みブロック層ＲｅｓｎｅｔＸｔＢｌｏｃｋ＿ｃｘｘ＿ｘｘ、アップサンプリング層ＰｉｘｅｌＳｈｕｆｆｌｅ、励起層ｔａｎｈなどを含むことが可能である。例示的に、畳み込み層ｃ３２＿ｋ３＿ｓ２は、３２個の３ｘ３のサイズ（ｋ３）のステップサイズが２（ｓ２）の畳み込みカーネルで畳み込み、他の畳み込み層の意味は類似するため、ここでは省略し、励起層ｌｅａｋｙＰｅＬＵのパラメータは０．２であっても良いし、他の数値であっても良く、畳み込みブロック層ＲｅｓｎｅｔＸｔＢｌｏｃｋ＿ｃ２５６＿ｘ１０は用１０セットのＲｅｓｎｅｔＸｔＢｌｏｃｋで順番に直列して得られ、その内部の畳み込み層は共に３ｘ３のサイズ（ｋ３）のステップサイズが２（ｓ２）の畳み込みカーネルを使用してもよいし、他の畳み込みカーネルを使用してもよく、ｃ２５６は畳み込みカーネルの数であり、他の畳み込みブロック層の意味は類似するため、ここでは省略し、ＰｉｘｅｌＳｈｕｆｆｌｅはアップサンプリングの倍でもよい。
【0023】
本願の実施例に係る技術案は、プリセット収集システムが収集した点群データ及びマルチフレームの画像透視図に基づき、点群データの座標データ及びマルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られることが可能であり、さらに、複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定した後、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成することが可能であり、即ち三次元のシーンの点の点群データを画像収集時点での仮想カメラの下に投影して点群透視図を形成し、これにより、前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成することが可能である。上記技術案は、点群データによって投影した点群透視図に基づいて画像透視図を誘導し合成することが可能であり、画像透視図の取得の過程で手間がかかるという問題を解決し、品質の高い画像透視図を簡単な操作且つ低いコストで取得するという効果を達成した。
【0024】
１つの好ましい技術案は、点群透視図を生成した後、点群透視図における点群データに対応する画素点を取得し、点群データの属性情報を画素点に割り当てることが可能であり、当該属性情報は強度情報、意味情報、色情報などであっても良く、例示的に、強度情報はレーザーレーダー走査ディバイスの反射により取得することが可能であり、意味情報は、点群の解析により取得することが可能である。上記ステップをセットする利点は、カメラの画像形成の過程がマッピングされるシーンの三次元のシーンの点がカメラのネガフィルムに投影する過程であり、投影の後で得られる画像透視図における各画素点は当該三次元のシーンの点の色情報（Ｒ／Ｇ／Ｂ）を記憶し、それに対応し、点群透視図は三次元のシーンの点がカメラネガフィルムに投影することを再建する過程であり、点群透視図における各画素点は当該三次元のシーンの点の属性情報を記録することを考えると、これは点群透視図と画像透視図の間に強い関連性があること意味し、このような関連性は点群透視図によって画像透視図を合成する合成の精度を向上させる。
【0025】
マッピングされるシーンの点群データを点群透視図における画素点に投影することは、複数が一に対応する関係である可能性があると考えると、複数の点群データが１つの画素点に対応する場合、カメラに最も近い点群データの属性情報を当該画素点に割り当てることが可能であり、これは人間の目の視覚法則と一致し、前の三次元のシーンの点が後ろの三次元のシーンの点をブロックする場合、人間の目は前の三次元のシーンの点（即ち、複数の点群データのうち、カメラに最も近い点群データ）しか見えなく、後ろの隠されている三次元のシーンの点（即ち、複数の点群データのうち、カメラに最も近い点群データ以外の点群データ）が見えない。
【0026】
【数1】
【0027】
同様に、画像透視図はプリセット収集システムにおける球面パノラマカメラによって収集し得られると、三次元のシーンの点が１つの球面に投影され、球の表面を緯度と経度で展開して球面パノラマ図になり、そのため、下記の数式により、点群データのＰＷ＿３ｄをｔＣで収集した球面パノラマカメラ座標系でのＰＣ＿２ｄ（ｔＣ）に投影し、複数のＰＣ＿２ｄ（ｔＣ）に基づいてｔＣでの点群透視図を生成してもよく、
Ｐ３ｄ＝ＭＷ→Ｌ（ｔＣ）ＰＷ＿３ｄ，Ｐ３ｄ＝［ｘ３ｄ，ｙ３ｄ，ｚ３ｄ］，
Ｐ３ｄ＝ＭＷ→Ｌ（ｔＣ）ＰＷ＿３ｄ，Ｐ３ｄ＝［ｘ３ｄ，ｙ３ｄ，ｚ３ｄ］，
【0028】
【数2】
【0029】
ここで、Ｒは球面パノラマカメラの球体半径であり、ＰＣ＿２ｄ（ｔＣ）は三次元座標データがＰＷ＿３ｄである点群データの点群透視図（即ち、球体パノラマ図）に投影する画素点の二次元座標データである。
【0030】
１つの好ましい技術案は、点群透視図に基づいて画像透視図を誘導し合成する場合、時空間の関連性を保証し、単一フレームの一対一の解析によるシーケンスの跳躍変化を回避するために、少なくとも２つの画像収集時点での点群透視図、及び当該少なくとも２つの画像収集時点での点群透視図が対応する画像透視図を合わせてトレーニングサンプルとし、オリジナルニューラルネットワークモデルをトレーニングすることが可能である。例示的に、複数の画像収集時点における現在の画像収集時点での点群透視図を第１点群透視図とすると共に現在の画像収集時点での画像透視図を第１画像透視図とし、現在の画像収集時点の前の少なくとも１つの画像収集時点での点群透視図を第２点群透視図とすると共に現在の画像収集時点の前の少なくとも１つの画像収集時点での前記点群透視図が対応する画像透視図を第２画像透視図とし、第２点群透視図の数は少なくとも１つであり、第２画像透視図の数は少なくとも１つであり、少なくとも１つの第２点群透視図と少なくとも１つの第２画像透視図とは一つずつ対応する関係であり、第１点群透視図、第２点群透視図、第１画像透視図及び第２画像透視図を１セットのトレーニングサンプルとし、そのうち、第１点群透視図、第２点群透視図及び第２画像透視図は実際の入力データで、第１画像透視図は所望の出力データである。
【0031】
これを踏まえ、上記トレーニングサンプルに合致するオリジナルニューラルネットワークモデルは点群畳み込み励起モジュール、画像畳み込み励起モジュール及びマージ処理モジュールを含むことが可能であり、これにより、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングすることは、トレーニングサンプルをオリジナルニューラルネットワークモデルに入力することと、点群畳み込み励起モジュールにより第１点群透視図と第２点群透視図とのチャネルカスケードの結果を処理して点群特徴図を得ると共に画像畳み込み励起モジュールにより第２画像透視図を処理して画像特徴図を得て、勿論、第２画像透視図の数は少なくとも２つであると、まず、少なくとも２つの第２画像透視図をチャネルカスケードし、次に第２画像透視図のチャネルカスケードの結果を処理することが可能であることと、マージ処理モジュールにより点群特徴図及び画像特徴図をマージ処理し、マージ処理の結果に基づいて第３画像透視図を生成し、当該第３画像透視図は実際の出力データであることと、これにより、第３画像透視図及び第１画像透視図に基づいてオリジナルニューラルネットワークモデルのネットワークパラメータを調節し、例えば両者の差異性に基づいて損失関数を計算し、かつ計算結果に基づいてネットワークパラメータを調節することとを含むことが可能である。
【0032】
以下、具体的な例を参照し、本実施例に係るオリジナルニューラルネットワークモデルを例示的に説明する。例示的に、第１点群透視図、第２点群透視図、第１画像透視図及び第２画像透視図を１セットのトレーニングサンプルとする場合、当該トレーニングサンプルと互いに合致するために、図４ｂに示すようなオリジナルニューラルネットワークモデルの模式図は、シーケンスフレームの点群透視図からシングルフレームの画像透視図に変換する画像変換モデルである。図４ａに示すオリジナルニューラルネットワークモデルに比べ、図４ｂに示すオリジナルニューラルネットワークモデルのネットワーク層におけるニューロンは更にカスケード層ｃｏｎｃａｔを含むことが可能であり、データ層中のＭｔは第１点群透視図であり、Ｍｔ－２とＭｔ－１は何れも第２点群透視図であり、Ｉｔは第１画像透視図であり、Ｉｔ－２は第２画像透視図であり、Ｉｔ－２はＭｔ－２と共に同一画像収集時点での透視図に所属し、Ｉｔ－１も第２画像透視図であり、Ｉｔ－１はＭｔ－１と共に同一画像収集時点での透視図に所属する。また、Ｍｔ－２、Ｍｔ－１及びＭｔのチャネルカスケードの結果のディメンションはＨ＊Ｗ＊（３＊Ｃ）で、Ｉｔ－２とＩｔ－１のチャネルカスケードの結果のディメンションはＨ＊Ｗ＊６である。
【0033】
例示的に、複数の画像収集時点の時間間隔が１秒であることを例とし、ＭｔとＩｔがそれぞれ第１０秒の点群透視図と画像透視図である場合、Ｍｔ－１とＩｔ－１はそれぞれ第９秒の点群透視図と画像透視図で、Ｍｔ－２とＩｔ－２はそれぞれ第８秒の点群透視図と画像透視図であり、この時、第８－１０秒の３つの点群透視図と第８－９秒の２つの画像透視図を実際の入力データとし、第１０秒の画像透視図を所望の出力データとし、共にオリジナルニューラルネットワークモデルに入力してモデルトレーニングする。
【0034】
なお、図４ｂに示すようなオリジナルニューラルネットワークモデルによってトレーニングして画像変換モデルが得られた後、画像変換モデルのアプリケーションの段階では、何れかのフレームの画像透視図も未知であり、これは前の３つのフレームの点群透視図及び前の２つのフレームの画像透視図に基づいて第３フレームの画像透視図を予測することができないことを意味する。この問題を解決するために、１つの好ましい案は、オリジナルニューラルネットワークモデルをトレーニングする時に、前の２つのフレームの点群透視図をブランク、ランダムな数値などにセットし、第３フレームの点群透視図からトレーニングし、このようにして、画像変換モデルのアプリケーションの段階では、前の２つのフレーム画像透視図をブランク、ランダムな数値などにセットし、第３フレームの画像透視図から予測することも可能である。
【0035】
実施例２
図５は本願の実施例２に係る画像透視図の決定方法のフローチャートである。本実施例は、点群データ及び予め生成した画像変換モデルに基づいて画像透視図を合成する場合に適用可能であり、当該方法は、本願の実施例に係る画像透視図の決定装置によって実行することが可能であり、当該装置はソフトウェア及び／又はハードウェアの方式で実現することが可能であり、当該装置は様々なユーザ端末又はサーバに統合することが可能である。
図５は本願の実施例２に係る画像透視図の決定方法のフローチャートである。本実施例は、点群データ及び予め生成した画像変換モデルに基づいて画像透視図を合成する場合に適用可能であり、当該方法は、本願の実施例に係る画像透視図の決定装置によって実行することが可能であり、当該装置はソフトウェア及び／又はハードウェアの方式で実現することが可能であり、当該装置は様々なユーザ端末又はサーバに統合することが可能である。
【0036】
図５を参照し、本願の実施例における方法はステップＳ２１０乃至Ｓ２２０を含む。
Ｓ２１０において、プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成する。
Ｓ２１０において、プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成する。
【0037】
ここで、点群収集時点で画像透視図の画像収集時点を模擬し、点群収集時点に対応するポーズマトリックス及び点群データの座標データに基づいて、点群収集時点での点群透視図を合成することが可能である。好ましくは、ポーズマトリックスは、収集した点群データをマッピングし、マッピングの過程でプリセット収集システムのポーズ軌跡を取得するステップと、例示的に、点群収集時点に従ってポーズ軌跡をシーケンスサンプリングし、シーケンスサンプリングの結果によって各点群収集時点が対応するポーズマトリックスを取得するステップと、によって決定することが可能である。
【0038】
Ｓ２２０において、本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定する。
【0039】
上記技術案は、まず、プリセット収集システムにおいて点群収集ディバイスのみを設ければよく、高価な画像収集ディバイスを設ける必要がなく、コストが低い。次に、点群透視図をトレーニングが完了した画像変換モデルに入力するだけで、同一収集時点での画像透視図を予測することが可能であり、いずれの時空間標定を行う必要もなく、操作が簡単である。更に、トレーニングサンプルの品質を向上させることにより、画像変換モデルにより品質の高い画像透視図を得ることを保証することが可能である。
【0040】
本願の実施例に係る技術案は、プリセット収集システムが収集した点群データに基づき、点群データの座標データ及び点群収集時点を取得することが可能であり、当該点群収集時点で画像透視図の画像収集時点を模擬し、更に、点群収集時点に対応するポーズマトリックスを決定した後、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成することが可能であり、即ち三次元のシーンの点の点群データを点群収集時点での仮想カメラの下に投影して点群透視図を形成し、これにより、点群透視図を予め生成した画像変換モデルに入力した後、画像変換モデルの出力結果に基づいて、点群収集時点での画像透視図を決定することが可能である。上記技術案は、点群データによって投影した点群透視図に基づいて画像透視図を誘導し合成することが可能であり、画像透視図の取得の過程で手間がかかるという問題を解決し、品質の高い画像透視図を簡単な操作且つ低いコストで取得するという効果を達成した。
【0041】
実施例３
図６は本願の実施例３に係るモデル生成装置の構造ブロック図であり、当該装置は上記何れかの実施例に係るモデル生成方法を実施するように設けられる。当該装置と上記各実施例に係るモデル生成方法とは同じ発明の概念に属し、モデル生成装置の実施例で詳しく説明しなかった具体的な内容については、上記モデル生成方法の実施例を参照することができる。図６を参照し、当該装置は、データ収集モジュール３１０、第１生成モジュール３２０及び第２生成モジュール３３０を含むことが可能である。
図６は本願の実施例３に係るモデル生成装置の構造ブロック図であり、当該装置は上記何れかの実施例に係るモデル生成方法を実施するように設けられる。当該装置と上記各実施例に係るモデル生成方法とは同じ発明の概念に属し、モデル生成装置の実施例で詳しく説明しなかった具体的な内容については、上記モデル生成方法の実施例を参照することができる。図６を参照し、当該装置は、データ収集モジュール３１０、第１生成モジュール３２０及び第２生成モジュール３３０を含むことが可能である。
【0042】
そのうち、データ収集モジュール３１０は、プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及び前記マルチフレームの画像透視図と一つずつ対応する複数の画像収集時点を取得するように設けられ、
第１生成モジュール３２０は、複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び前記各画像収集時点が対応する座標データに基づいて前記各画像収集時点での点群透視図を生成するように設けられ、
第２生成モジュール３３０は、前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成するように設けられる。
第１生成モジュール３２０は、複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び前記各画像収集時点が対応する座標データに基づいて前記各画像収集時点での点群透視図を生成するように設けられ、
第２生成モジュール３３０は、前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成するように設けられる。
【0043】
好ましくは、第１生成モジュール３２０は、
点群データからプリセット収集システムのポーズ軌跡を取得するように設けられるポーズ軌跡取得ユニットと、
複数の画像収集時点に基づきポーズ軌跡をサンプリングし、複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを取得するように設けられるポーズマトリックス取得ユニットと、を含むことが可能である。
点群データからプリセット収集システムのポーズ軌跡を取得するように設けられるポーズ軌跡取得ユニットと、
複数の画像収集時点に基づきポーズ軌跡をサンプリングし、複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを取得するように設けられるポーズマトリックス取得ユニットと、を含むことが可能である。
【0044】
好ましくは、第１生成モジュール３２０は、
画像透視図は、プリセット収集システムにおけるプリセットカメラによって収集し得られ、プリセットカメラは透視カメラ又は広角カメラを含むと、下記の数式により、点群データのワールド座標系での三次元座標データＰＷ＿３ｄを各画像収集時点ｔＣで収集したプリセットカメラ座標系での二次元座標データＰＣ＿２ｄ（ｔＣ）に投影し、複数のＰＣ＿２ｄ（ｔＣ）によりｔＣでの点群透視図を生成し、
ＰＣ＿２ｄ（ｔＣ）＝ＫｃＭＷ→Ｌ（ｔＣ）ＰＷ＿３ｄ
ここで、ＭＷ→Ｌ（ｔＣ）はプリセット収集システムにおける点群収集ディバイスのｔＣでのワールド座標系におけるポーズマトリックスであり、Ｋｃはプリセットカメラの内部パラメータマトリックスであり、
画像透視図がプリセット収集システムにおける球面パノラマカメラによるものである場合、下記の数式により、点群データのＰＷ＿３ｄをｔＣで収集した球面パノラマカメラ座標系でのＰＣ＿２ｄ（ｔＣ）に投影し、複数のＰＣ＿２ｄ（ｔＣ）に基づきｔＣでの点群透視図を生成し、
Ｐ３ｄ＝ＭＷ→Ｌ（ｔＣ）ＰＷ＿３ｄ，Ｐ３ｄ＝［ｘ３ｄ，ｙ３ｄ，ｚ３ｄ］
画像透視図は、プリセット収集システムにおけるプリセットカメラによって収集し得られ、プリセットカメラは透視カメラ又は広角カメラを含むと、下記の数式により、点群データのワールド座標系での三次元座標データＰＷ＿３ｄを各画像収集時点ｔＣで収集したプリセットカメラ座標系での二次元座標データＰＣ＿２ｄ（ｔＣ）に投影し、複数のＰＣ＿２ｄ（ｔＣ）によりｔＣでの点群透視図を生成し、
ＰＣ＿２ｄ（ｔＣ）＝ＫｃＭＷ→Ｌ（ｔＣ）ＰＷ＿３ｄ
ここで、ＭＷ→Ｌ（ｔＣ）はプリセット収集システムにおける点群収集ディバイスのｔＣでのワールド座標系におけるポーズマトリックスであり、Ｋｃはプリセットカメラの内部パラメータマトリックスであり、
画像透視図がプリセット収集システムにおける球面パノラマカメラによるものである場合、下記の数式により、点群データのＰＷ＿３ｄをｔＣで収集した球面パノラマカメラ座標系でのＰＣ＿２ｄ（ｔＣ）に投影し、複数のＰＣ＿２ｄ（ｔＣ）に基づきｔＣでの点群透視図を生成し、
Ｐ３ｄ＝ＭＷ→Ｌ（ｔＣ）ＰＷ＿３ｄ，Ｐ３ｄ＝［ｘ３ｄ，ｙ３ｄ，ｚ３ｄ］
【0045】
【数3】
【0046】
ここで、Ｒは球面パノラマカメラの球体半径である、ように設けられる。
好ましくは、当該装置は更に、
点群透視図における点群データに対応する画素点を取得し、点群データの属性情報を画素点に割り当てるように設けられる属性情報割り当てモジュール、を含むことが可能である。
好ましくは、当該装置は更に、
点群透視図における点群データに対応する画素点を取得し、点群データの属性情報を画素点に割り当てるように設けられる属性情報割り当てモジュール、を含むことが可能である。
【0047】
好ましくは、第２生成モジュール３３０は、更に、
少なくとも２つの画像収集時点での点群透視図、及び前記少なくとも２つの画像収集時点での前記点群透視図が対応する前記画像透視図を合わせて１セットのトレーニングサンプルとするように設けられる。
少なくとも２つの画像収集時点での点群透視図、及び前記少なくとも２つの画像収集時点での前記点群透視図が対応する前記画像透視図を合わせて１セットのトレーニングサンプルとするように設けられる。
【0048】
好ましくは、第２生成モジュール３３０は、
複数の画像収集時点における現在の画像収集時点での点群透視図を第１点群透視図とすると共に前記現在の画像収集時点での画像透視図を第１画像透視図とするように設けられる第１取得ユニットと、
現在の画像収集時点の前の少なくとも１つの画像収集時点での点群透視図を第２点群透視図とすると共に前記現在の画像収集時点の前の少なくとも１つの画像収集時点での前記点群透視図が対応する画像透視図を第２画像透視図とするように設けられる第２取得ユニットと、
第１点群透視図、第２点群透視図、第１画像透視図及び第２画像透視図を１セットのトレーニングサンプルとし、そのうち、第１点群透視図、第２点群透視図及び第２画像透視図は実際の入力データで、第１画像透視図は所望の出力データであるように設けられるトレーニングサンプル取得ユニットと、を含むことが可能である。
複数の画像収集時点における現在の画像収集時点での点群透視図を第１点群透視図とすると共に前記現在の画像収集時点での画像透視図を第１画像透視図とするように設けられる第１取得ユニットと、
現在の画像収集時点の前の少なくとも１つの画像収集時点での点群透視図を第２点群透視図とすると共に前記現在の画像収集時点の前の少なくとも１つの画像収集時点での前記点群透視図が対応する画像透視図を第２画像透視図とするように設けられる第２取得ユニットと、
第１点群透視図、第２点群透視図、第１画像透視図及び第２画像透視図を１セットのトレーニングサンプルとし、そのうち、第１点群透視図、第２点群透視図及び第２画像透視図は実際の入力データで、第１画像透視図は所望の出力データであるように設けられるトレーニングサンプル取得ユニットと、を含むことが可能である。
【0049】
好ましくは、第２生成モジュール３３０は、更に、
オリジナルニューラルネットワークモデルは点群畳み込み励起モジュール、画像畳み込み励起モジュール及びマージ処理モジュールを含み、トレーニングサンプルをオリジナルニューラルネットワークモデルに入力するように設けられる入力ユニットと、
点群畳み込み励起モジュールにより第１点群透視図と第２点群透視図とのチャネルカスケードの結果を処理して点群特徴図が得られると共に画像畳み込み励起モジュールにより第２画像透視図を処理して画像特徴図が得られるように設けられる特徴図取得ユニットと、
マージ処理モジュールにより点群特徴図及び画像特徴図をマージ処理し、マージ処理の結果に基づいて第三画像透視図を生成し、第三画像透視図及び第１画像透視図に基づいてオリジナルニューラルネットワークモデルのネットワークパラメータを調節するように設けられるネットワークパラメータ調節ユニットと、を含むことが可能である。
オリジナルニューラルネットワークモデルは点群畳み込み励起モジュール、画像畳み込み励起モジュール及びマージ処理モジュールを含み、トレーニングサンプルをオリジナルニューラルネットワークモデルに入力するように設けられる入力ユニットと、
点群畳み込み励起モジュールにより第１点群透視図と第２点群透視図とのチャネルカスケードの結果を処理して点群特徴図が得られると共に画像畳み込み励起モジュールにより第２画像透視図を処理して画像特徴図が得られるように設けられる特徴図取得ユニットと、
マージ処理モジュールにより点群特徴図及び画像特徴図をマージ処理し、マージ処理の結果に基づいて第三画像透視図を生成し、第三画像透視図及び第１画像透視図に基づいてオリジナルニューラルネットワークモデルのネットワークパラメータを調節するように設けられるネットワークパラメータ調節ユニットと、を含むことが可能である。
【0050】
本願の実施例３に係るモデル生成装置は、データ収集モジュールによって、プリセット収集システムが収集した点群データ及びマルチフレームの画像透視図に基づき、点群データの座標データ及びマルチフレームの画像透視図と一つずつ対応する複数の画像収集時点を取得することが可能であり、さらに、第１生成モジュールは、複数の前記画像収集時点における各画像収集時点に対応するポーズマトリックスを決定した後、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成することが可能であり、即ち三次元のシーンの点の点群データを画像収集時点での仮想カメラの下に投影して点群透視図を形成し、これにより、第２生成モジュールは、前記各画像収集時点での点群透視図及び前記各画像収集時点での画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成することが可能である。上記装置は、点群データによって投影した点群透視図に基づいて画像透視図を誘導し合成することが可能であり、画像透視図の取得の過程は比較的に手間がかかる問題を解決し、品質の高い画像透視図を簡単な操作且つ低いコストで取得するという効果を達成した。
【0051】
本願の実施例に係るモデル生成装置は、本願の何れかの実施例に係るモデル生成方法を実施することが可能であり、方法の実施に応じる機能モジュールを備える。
【0052】
注目すべきことは、上記モデル生成装置の実施例において、含まれる各ユニット及びモジュールは、単純に機能論理に従って区分けするが、上記の区分けに制限されてはなく、対応する機能を実現できればよく、また、各機能ユニットの名称も相互に区別しやすいためのものに過ぎなく、本願の保護範囲を限定するためのものではない。
【0053】
実施例４
図７は本願の実施例４に係る画像透視図の決定装置の構造ブロック図であり、当該装置は上記の何れかの実施例に係る画像透視図の決定方法を実施するように設けられる。当該装置と上記各実施例に係る画像透視図の決定方法とは同じ発明の概念に属し、画像透視図の決定方法の実施例で詳しく説明しなかった具体的な内容については、上記画像透視図の決定方法の実施例を参照することができる。図７を参照し、当該装置は、第３生成モジュール４１０及び画像透視図決定モジュール４２０を含むことが可能である。
図７は本願の実施例４に係る画像透視図の決定装置の構造ブロック図であり、当該装置は上記の何れかの実施例に係る画像透視図の決定方法を実施するように設けられる。当該装置と上記各実施例に係る画像透視図の決定方法とは同じ発明の概念に属し、画像透視図の決定方法の実施例で詳しく説明しなかった具体的な内容については、上記画像透視図の決定方法の実施例を参照することができる。図７を参照し、当該装置は、第３生成モジュール４１０及び画像透視図決定モジュール４２０を含むことが可能である。
【0054】
ここで、第３生成モジュール４１０は、プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成するように設けられ、
画像透視図決定モジュール４２０は、本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定するように設けられる。
画像透視図決定モジュール４２０は、本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定するように設けられる。
【0055】
本願の実施例４に係る画像透視図の決定装置は、第３生成モジュールによってプリセット収集システムが収集した点群データに基づき、点群データの座標データ及び点群収集時点を取得することが可能であり、当該点群収集時点で画像透視図の画像収集時点を模擬し、且つ、点群収集時点に対応するポーズマトリックスを決定した後、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成することが可能であり、即ち三次元のシーンの点の点群データを点群収集時点での仮想カメラの下に投影して点群透視図を形成し、画像透視図決定モジュールは点群透視図を予め生成した画像変換モデルに入力した後、画像変換モデルの出力結果に基づいて、点群収集時点での画像透視図を決定することが可能である。上記装置は、点群データによって投影した点群透視図に基づいて画像透視図を誘導し合成し、画像透視図の取得の過程で手間がかかるという問題を解決し、品質の高い画像透視図を簡単な操作且つ低いコストで取得するという効果を達成した。
【0056】
本願の実施例に係る画像透視図の決定装置は、本願の何れかの実施例に係る画像透視図の決定方法を実施することが可能であり、方法の実行に応じた機能モジュールを備える。
【0057】
注目すべきことは、上記画像透視図の決定装置の実施例において、含まれる各ユニット及びモジュールは、単に機能論理に従って区分されたものであるが、上記の区分けに制限されるわけではなく、対応する機能を実現できればよく、また、各機能ユニットの名称も単に相互に区別しやすくするためのものに過ぎず、本願の保護範囲を限定するためのものではない。
【0058】
実施例５
図８は本願の実施例５に係るディバイスの構造模式図であり、図８に示すように、当該ディバイスはメモリ５１０、プロセッサ５２０、入力装置５３０及び出力装置５４０を含む。ディバイスのプロセッサ５２０の数は少なくとも１つであることが可能であり、図８では１つのプロセッサ５２０の場合を例とし、ディバイスのメモリ５１０、プロセッサ５２０、入力装置５３０及び出力装置５４０は、バス又は他の方式で接続することが可能であり、図８ではバス５５０で接続することを例とする。
図８は本願の実施例５に係るディバイスの構造模式図であり、図８に示すように、当該ディバイスはメモリ５１０、プロセッサ５２０、入力装置５３０及び出力装置５４０を含む。ディバイスのプロセッサ５２０の数は少なくとも１つであることが可能であり、図８では１つのプロセッサ５２０の場合を例とし、ディバイスのメモリ５１０、プロセッサ５２０、入力装置５３０及び出力装置５４０は、バス又は他の方式で接続することが可能であり、図８ではバス５５０で接続することを例とする。
【0059】
メモリ５１０は、コンピュータ可読記憶媒体として、例えば、本願の実施例に係るモデル生成方法が対応するプログラム命令／モジュール（例えば、モデル生成装置におけるデータ収集モジュール３１０、第１生成モジュール３２０及び第２生成モジュール３３０）、又は、例えば、本願の実施例に係る画像透視図の決定方法が対応するプログラム命令／モジュール（例えば、画像透視図の決定装置における第３生成モジュール４１０及び画像透視図決定モジュール４２０）のような、ソフトウェアプログラム、コンピュータ実行可能プログラム及びモジュールを記憶するように設けられることが可能である。プロセッサ５２０は、メモリ５１０に記憶されるソフトウェアプログラム、命令及びモジュールを実行することにより、ディバイスの各種の機能アプリケーション及びデータ処理を実行し、即ち上記のモデル生成方法又は画像透視図の決定方法を実現する。
【0060】
メモリ５１０は、主に、プログラムの記憶領域及びデータの記憶領域を含むことが可能であり、そのうち、プログラムの記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することが可能であり、データの記憶領域はディバイスの使用により作成されたデータなどを記憶することが可能である。また、メモリ５１０は、高速ランダムアクセスメモリを含むことが可能であり、例えば、少なくとも１つの磁気ディスク記憶ディバイス、フラッシュメモリディバイス、又は他の非揮発性メモリディバイスなどの非揮発性メモリを含むことも可能である。いくつかの実例では、メモリ５１０は、プロセッサ５２０に対して遠距離で設けられているメモリを含むことが可能であり、これらの遠距離メモリはネットワークによりディバイスに接続することが可能である。上記ネットワークの実例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、それらに限定されない。
【0061】
入力装置５３０は、入力された数字又は文字符号情報を受け取り、並びに装置のユーザ設定及び機能制御に係るキー信号の入力を発生するように設けられる。出力装置５４０は、表示画面などの表示ディバイスを含むことが可能である。
【0062】
実施例６
本願の実施例６は、コンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令はコンピュータプロセッサによって実行される時にモデル生成方法を実行するために用いられ、当該方法は、
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及び前記マルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られることと、
複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成することと、
各画像収集時点での点群透視図及び画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成することと、を含む。
本願の実施例６は、コンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令はコンピュータプロセッサによって実行される時にモデル生成方法を実行するために用いられ、当該方法は、
プリセット収集システムに基づいて点群データ及びマルチフレームの画像透視図を収集し、点群データの座標データ、及び前記マルチフレームの画像透視図と１つずつ対応する複数の画像収集時点が得られることと、
複数の画像収集時点における各画像収集時点に対応するポーズマトリックスを決定し、前記各画像収集時点が対応するポーズマトリックス及び座標データに基づいて前記各画像収集時点での点群透視図を生成することと、
各画像収集時点での点群透視図及び画像透視図を１セットのトレーニングサンプルとし、複数のセットのトレーニングサンプルに基づいてオリジナルニューラルネットワークモデルをトレーニングし、点群透視図を画像透視図に変換するための画像変換モデルを生成することと、を含む。
【0063】
勿論、本願の実施例に係るコンピュータ実行可能命令を含む記憶媒体であって、そのコンピュータ実行可能命令は上記のような方法の操作に限らず、本願の何れかの実施例に係るモデル生成方法の関連操作を実行することも可能である。
【0064】
実施例７
本願の実施例７は、コンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令はコンピュータプロセッサにより実行する時に画像透視図の決定方法を実行するように用いられ、当該方法は、
プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成することと、
本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定することと、を含む。
本願の実施例７は、コンピュータ実行可能命令を含む記憶媒体を提供し、前記コンピュータ実行可能命令はコンピュータプロセッサにより実行する時に画像透視図の決定方法を実行するように用いられ、当該方法は、
プリセット収集システムに基づいて点群データを収集し、点群データの座標データ及び点群収集時点を取得し、点群収集時点に対応するポーズマトリックスを決定し、ポーズマトリックス及び座標データに基づいて点群収集時点での点群透視図を生成することと、
本願の何れかの実施例に係るモデル生成方法に従って生成された画像変換モデルを取得し、点群透視図を画像変換モデルに入力し、画像変換モデルの出力結果に基づいて点群収集時点での画像透視図を決定することと、を含む。
【0065】
以上の実施形態についての説明から、当業者は、本願はソフトウェア及び必要な汎用ハードウェアをよって実現することが可能であり、勿論ハードウェアによって実現することも可能であること、を明白に理解できる。このような理解によれば、本願の技術案は実質的な、或いは関連技術に貢献する部分はソフトウェア製品の形で表すことが可能であり、当該コンピュータソフトウェア製品は例えば、コンピュータのフロッピー（登録商標）ディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ（ＦＬＡＳＨ）、ハードディスク又は光ディスクなど、コンピュータ可読記憶媒体に記憶されることが可能であり、１つのコンピュータディバイス（パーソナルコンピュータ、サーバ、又はネットワークディバイスなどであってもよい）に本願の各実施例に記載される方法を実行させるための複数の命令を含む。
【図1】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図5】
【図6】
【図7】
【図8】