特表 2025-502594 走行環境に関連する混合現実映像生成方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-28

(54)【発明の名称】走行環境に関連する混合現実映像生成方法およびシステム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20250121BHJP

【ＦＩ】

G06T1/00 500B

G06T1/00 330Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024527732

(86)(22)【出願日】2023-11-01

(85)【翻訳文提出日】2024-05-13

(86)【国際出願番号】 KR2023017252

(87)【国際公開番号】W WO2024117567

(87)【国際公開日】2024-06-06

(31)【優先権主張番号】10-2022-0165146

(32)【優先日】2022-11-30

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521190897

【氏名又は名称】モライ インコーポレーティッド

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】リ、ジンウ

(72)【発明者】

【氏名】ソ、ジヒョン

(72)【発明者】

【氏名】クォン、ビョンホン

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA16

5B057CA12

5B057CB12

5B057CC01

5B057CE08

5B057DA16

5B057DB02

(57)【要約】

【課題】本開示は、少なくとも１つのプロセッサによって実行される走行環境に関連する混合現実映像生成方法に関するものである。
【解決手段】混合現実映像生成方法は、走行環境に関連する実際映像を取得する段階と、走行環境のオブジェクトを含む第１仮想映像を生成する段階と、実際映像および前記第１仮想映像に基づいて走行環境のオブジェクトを含む混合現実映像を生成する段階と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによって実行される、走行環境に関連する混合現実（mixed reality）映像生成方法において、
走行環境に関連する実際映像を取得する段階と、
前記走行環境のオブジェクトを含む第１仮想映像を生成する段階と、
前記実際映像と前記第１仮想映像とに基づいて前記走行環境のオブジェクトを含む混合現実映像を生成する段階と、
を含む、混合現実映像生成方法。

【請求項2】

前記第１仮想映像は、前記走行環境を実現したシミュレーションモデルから生成されたイメージを含む、請求項１に記載の混合現実映像生成方法。

【請求項3】

前記走行環境に関連する第２仮想映像を生成する段階をさらに含み、
前記実際映像と前記第１仮想映像とに基づいて混合現実映像を生成する段階は、
前記実際映像と、前記第１仮想映像と、前記第２仮想映像とに基づいて混合現実映像を生成する段階を含む、請求項１に記載の混合現実映像生成方法。

【請求項4】

前記第２仮想映像は、前記走行環境を実現したシミュレーションモデルから生成されたセマンティックイメージ（semantic image）を含む、請求項３に記載の混合現実映像生成方法。

【請求項5】

前記走行環境に関連する実際映像を取得する段階は、
車両に装着されている第１カメラを用いて前記実際映像を取得する段階を含む、請求項３に記載の混合現実映像生成方法。

【請求項6】

前記第１仮想映像は、
前記車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第２カメラを用いて取得されたデータから生成され、
前記第２カメラは、
前記第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラである、請求項５に記載の混合現実映像生成方法。

【請求項7】

前記第２仮想映像は、
前記車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第３カメラを用いて取得されたデータから生成され、
前記第３カメラは、
前記第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラである、請求項５に記載の混合現実映像生成方法。

【請求項8】

前記実際映像と前記第１仮想映像とに基づいて混合現実映像を生成する段階は、
前記第１仮想映像からオブジェクトに該当する部分を抽出する段階と、
前記オブジェクトに該当する部分と前記実際映像とに基づいて混合現実映像を生成する段階と、
を含む、請求項３に記載の混合現実映像生成方法。

【請求項9】

前記オブジェクトに該当する部分を抽出する段階は、
前記第２仮想映像を用いてオブジェクトに該当する部分を抽出する段階を含む、請求項８に記載の混合現実映像生成方法。

【請求項10】

前記第２仮想映像を用いてオブジェクトに該当する部分を抽出する段階は、
前記第２仮想映像をフィルタリングして、前記オブジェクトに対するマスクイメージ（mask image）を生成する段階と、
前記マスクイメージを用いて前記第１仮想映像からオブジェクトに該当する部分を抽出する段階と、
を含む、請求項９に記載の混合現実映像生成方法。

【請求項11】

前記オブジェクトに該当する部分と前記実際映像とに基づいて混合現実映像を生成する段階は、
前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階を含む、請求項８に記載の混合現実映像生成方法。

【請求項12】

前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階は、
前記第２仮想映像を用いて前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階を含む、請求項１１に記載の混合現実映像生成方法。

【請求項13】

前記第２仮想映像を用いて前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階は、
前記第２仮想映像からマスクインバースイメージ（mask inverse image）を生成する段階と、
前記マスクインバースイメージを用いて前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階と、
を含む、請求項１２に記載の混合現実映像生成方法。

【請求項14】

前記マスクインバースイメージを生成する段階は、
前記第２仮想映像から前記オブジェクトに対するマスクイメージを生成する段階と、
前記マスクイメージを反転して前記マスクインバースイメージを生成する段階と、
を含む、請求項１３に記載の混合現実映像生成方法。

【請求項15】

請求項１による方法をコンピュータで実行するための命令語を記録したコンピュータ読み取り可能な非一時的記録媒体。

【請求項16】

情報処理システムとして、
通信モジュールと、
メモリと、
前記メモリに接続され、前記メモリに含まれているコンピュータ読み取り可能な少なくとも１つのプログラムを実行するように構成された少なくとも１つのプロセッサと、を含み、
前記少なくとも１つのプログラムは、
走行環境に関連する実際映像を獲得し、
前記走行環境のオブジェクトを含む第１仮想映像を生成し、
前記実際映像と前記第１仮想映像とに基づいて、前記走行環境のオブジェクトを含む混合現実映像を生成するための命令語を含む、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、走行環境に関連する混合現実映像を生成する方法およびシステムに関するもので、具体的には、走行環境に関連する実際映像と走行環境のオブジェクトとを含む仮想映像とに基づいて、走行環境のオブジェクトを含む混合現実映像を生成する方法およびシステムに関するものである。

【背景技術】

【0002】

近年、第４次産業革命時代が到来するにつれ、未来型自動車として自律走行車両関連技術が注目されている。ＩＴ技術を含む各種先端技術が適用された自律走行技術は、自動車産業の新成長動力としてその位相が高まりつつある。

【0003】

一方、自律走行車両は、一般的に運転者の介入なしに周辺環境を認識し走行状況を判断して車両を制御することにより、自ら与えられた目的地まで走行するため、安全規制、運行規定などの様々な社会問題に関連している。したがって、このような社会問題を解決し、自律走行技術が商用化するためには、持続的な性能テストを必要とする。

【0004】

しかしながら、車両の部品およびソフトウェアがますます多様化および複雑化するにつれ、自律走行車両を評価するために走行環境を実際に実現してテストするためには、場所的制約が存在し、多くの時間および費用がかかるという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、前記のような問題を解決するための、走行環境に関連する混合現実映像生成方法、命令語を記録したコンピュータ読み取り可能な非一時的記録媒体およびシステム（装置）を提供する。

【課題を解決するための手段】

【0006】

本開示は、方法、システム（装置）、または読み取り可能記憶媒体に保存されたコンピュータプログラムを含む様々な方法により実現され得る。

【0007】

本開示の一実施例によると、少なくとも１つのプロセッサによって実行される、走行環境に関連する混合現実（mixed reality）映像生成方法は、走行環境に関連する実際映像を取得する段階と、走行環境のオブジェクトを含む第１仮想映像を生成する段階と、実際画像と第１仮想映像とに基づいて走行環境のオブジェクトを含む混合現実映像を生成する段階と、を含む。

【0008】

本開示の一実施例によると、第１仮想映像は、走行環境を実現したシミュレーションモデルから生成されたイメージを含む。

【0009】

本開示の一実施例によると、走行環境に関連する第２仮想映像を生成する段階をさらに含み、実際映像および第１仮想映像に基づいて混合現実映像を生成する段階は、実際映像、第１仮想映像および第２仮想映像に基づいて混合現実映像を生成する段階を含む。

【0010】

本開示の一実施例によると、第２仮想映像は、走行環境を実現したシミュレーションモデルから生成されたセマンティックイメージ（semantic image）を含む。

【0011】

本開示の一実施例によると、走行環境に関連する実際映像を取得する段階は、車両に装着されている第１カメラを用いて実際映像を取得する段階を含む。

【0012】

本開示の一実施例によると、第１仮想映像は、車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第２カメラを用いて取得されたデータから生成され、第２カメラは、第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラである。

【0013】

本開示の一実施例によると、第２仮想映像は、車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第３カメラを用いて取得されたデータから生成され、第３カメラは、第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラである。

【0014】

本開示の一実施例によると、実際映像と第１仮想映像とに基づいて混合現実映像を生成する段階は、第１仮想映像からオブジェクトに該当する部分を抽出する段階と、オブジェクトに該当する部分と実際映像とに基づいて混合現実映像を生成する段階を含む。

【0015】

本開示の一実施例によると、オブジェクトに該当する部分を抽出する段階は、第２仮想映像を用いてオブジェクトに該当する部分を抽出する段階を含む。

【0016】

本開示の一実施例によると、第２仮想映像に基づいてオブジェクトに該当する部分を抽出する段階は、第２仮想映像をフィルタリングしてオブジェクトに対するマスクイメージ（mask image）を生成する段階と、マスクイメージを用いて第１仮想映像からオブジェクトに該当する部分を抽出する段階とを含む。

【0017】

本開示の一実施例によると、オブジェクトに該当する部分と実際映像とに基づいて混合現実映像を生成する段階は、オブジェクトに該当する部分と対応する実際映像の一部とを除去する段階を含む。

【0018】

本開示の一実施例によると、オブジェクトに該当する部分と対応する実際映像の一部とを除去する段階は、第２仮想映像を用いてオブジェクトに該当する部分と対応する実際映像の一部とを除去する段階を含む。

【0019】

本開示の一実施例によると、第２仮想映像を用いてオブジェクトに該当する部分と対応する実際映像の一部とを除去する段階は、第２仮想映像からマスクインバースイメージ（mask inverse image）を生成する段階と、マスクインバースイメージを用いてオブジェクトに該当する部分と対応する実際映像の一部とを除去する段階とを含む。

【0020】

本開示の一実施例によると、マスクインバースイメージを生成する段階は、第２仮想映像からオブジェクトに対するマスクイメージを生成する段階と、マスクイメージを反転してマスクインバースイメージを生成する段階とを含む。

【0021】

本開示の一実施例による前述の方法をコンピュータで実行するための命令語を記録したコンピュータ読み取り可能な非一時的記録媒体が提供される。

【0022】

本開示の一実施例による情報処理システムは、通信モジュール、メモリと、メモリと連結され、メモリに含まれているコンピュータ読み取り可能な少なくとも１つのプログラムを実行するように構成された少なくとも１つのプロセッサとを含み、少なくとも１つのプログラムは、走行環境に関連する実際映像を取得し、走行環境のオブジェクトを含む第１仮想映像を生成し、実際映像および第１仮想映像に基づいて、走行環境のオブジェクトを含む混合現実映像を生成するための命令語を含む。

【発明の効果】

【0023】

本開示の一実施例によると、実際の走行環境に仮想オブジェクトを融合することにより、場所的制約に拘束されることなく様々なテスト状況を実現して、自律走行車両をテストすることができる。

【0024】

本開示の一実施例によると、実際の走行環境に仮想のオブジェクトを可視化して提供することにより、自律走行車両に搭乗したテスターに、実際の走行環境に対する仮想のテスト状況を視覚的に認識させ、様々な走行環境に対するテストを円滑に行うようにすることができる。

【0025】

本開示の一実施例によると、自律走行車両のテストのために物理的オブジェクトを実際に配置するのではなく、走行環境に仮想のオブジェクトが投影された映像を自律走行車両のテスト過程において提供することにより、当該テストに要される時間および費用を節約できる。

【0026】

本開示の効果は、以上で言及した効果に制限されず、言及されていない他の効果は、請求範囲の記載から本開示が属する技術分野において通常の知識を有する者（「通常の技術者（当業者）」という）に明確に理解され得ることである。

【0027】

本開示の実施例は、以下に説明する添付の図面を参照して説明され、ここで類似の参照番号は類似の要素を示すが、これに限定されない。

【図面の簡単な説明】

【0028】

【図1】図１は、本開示の一実施例による、走行環境に関連する混合現実映像生成方法が使用される例示の図である。

【図2】図２は、本開示の一実施例による情報処理システムの内部構成を示すブロック図である。

【図3】図３は、本開示の一実施例による情報処理システムのプロセッサの内部構成を示す図である。

【図4】図４は、本開示の一実施例により、実際映像および仮想映像から混合現実映像が生成される例示の図である。

【図5】図５は、本開示の一実施例により、第１仮想映像および第２仮想映像から加工された仮想映像が生成される例示の図である。

【図6】図６は、本開示の一実施例により、実際映像および第２仮想映像から加工された実際映像が生成される例示の図である。

【図7】図７は、本開示の一実施例による仮想映像の例を示す図である。

【図8】図８は、本開示の一実施例による実際映像の例を示す図である。

【図9】図９は、本開示の一実施例による混合現実映像の例を示す図である。

【図10】図１０は、本開示の一実施例による、走行環境に関連する混合現実映像の生成方法を示すフローチャートである。

【発明を実施するための形態】

【0029】

以下、本開示の実施のための具体的な内容を添付の図面を参照して詳細に説明する。なお、以下の説明では、本開示の要旨を不要に曖昧にする恐れがある場合、周知の機能や構成に関する具体的な説明は省略する。

【0030】

添付の図面において、同一または対応する構成要素には同じ参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素を重複して記載することが省略され得る。しかしながら、構成要素に関する記述が省略されても、そのような構成要素がある実施例に含まれないものと意図するものではない。

【0031】

開示された実施例の利点および特徴、そして、それらを達成する方法は、添付の図面とともに後述の実施例を参照すると明確になる。しかし、本開示は、以下に開示される実施例に限定されるものではなく、互いに異なる様々な形態で実現することができ、本実施例は単に、本開示が完全たるものとなるようにし、本開示が通常の技術者に発明の範囲をきちんと知らせるためにのみ提供される。

【0032】

本明細書で使用される用語について簡単に説明し、開示された実施例について具体的に説明する。本明細書で使用される用語は、本開示における機能を考慮しながら、なるべく現在広く使用されている一般的な用語を選択しているが、これは、関連分野に従事する技術者の意図または判例、新たな技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、該当する発明の説明において詳細にその意味を記載する。したがって、本開示で使用される用語は、単なる用語の名称ではなく、その用語が有する意味と、本開示全般にわたる内容に基づいて定義されるべきである。

【0033】

本明細書における単数の表現は、文脈上明らかに単数のものと特定しない限り、複数の表現を含む。また、複数の表現は、文脈上明らかに複数のものと特定しない限り、単数の表現を含む。明細書全体においてある部分がある構成要素を含むと言う場合、それは、特に反する記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含み得ることを意味する。

【0034】

さらに、本明細書で使用される「モジュール」または「部」という用語は、ソフトウェアまたはハードウェア構成要素を意味し、「モジュール」または「部」は何らかの役割を果たす。されど、「モジュール」または「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「モジュール」または「部」は、アドレッシング可能な記憶媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサを構生するようにも構成され得る。したがって、一例として、「モジュール」または「部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、または変数のうちの少なくとも１つを含み得る。構成要素と「モジュール」または「部」は、中で提供される機能はより小さい数の構成要素および「モジュール」または「部」で結合されるか、または追加の構成要素と「モジュール」または「部」にさらに分離され得る。

【0035】

本開示の一実施例によると、「モジュール」または「部」は、プロセッサおよびメモリで実現され得る。「プロセッサ」は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステートマシンなどを含むよう広く解釈されるべきである。いくつかの環境において、「プロセッサ」は、カスタム半導体（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指すこともあり得る。「プロセッサ」は、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアと結合した１つ以上のマイクロプロセッサの組み合わせ、または他の任意のそのような構成の組み合わせのような処理デバイスの組み合わせを指すこともあり得る。また、「メモリ」は、電子情報を保存可能な任意の電子コンポネントを含むよう広く解釈されるべきである。「メモリ」は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データ記憶装置、レジスタなどのようなプロセッサ読み取り可能媒体の様々な類型を指すこともあり得る。プロセッサがメモリから情報の読み取りおよび／またはメモリに情報の書き込みができるならば、メモリはプロセッサと電子通信状態にあると称される。プロセッサに集積されたメモリは、プロセッサと電子通信状態にある。

【0036】

本開示において、「混合現実（mixed reality；ＭＲ）」は、仮想世界と現実世界とを合わせて、新しい環境や視覚化などの新しい情報を作り出すことを指し得る。すなわち、現実世界に仮想現実を接ぎ合わせて、現実の物理的オブジェクトと仮想のオブジェクトとが相互作用し得る技術を指し得る。

【0037】

本開示において、「実際映像」は、実体化した物理的オブジェクトまたは環境に対する映像を指し得る。例えば、現実に存在する車両、車道、周辺オブジェクトに対する映像を指し得る。

【0038】

本開示において、「仮想映像」は、実体化した物理的オブジェクトに対する映像ではなく、仮想で実現されたオブジェクトに対する映像を指し得る。例えば、仮想現実（virtual reality）環境におけるオブジェクトに対する映像を指し得る。

【0039】

本開示において、「セマンティックイメージ」は、セマンティックセグメンテーション（semantic segmentation）技術が適用されたイメージを指し得る。この場合、セマンティックセグメンテーション技術は、イメージ内のオブジェクトを意味論的単位（例えば、オブジェクト）に分割する技術として、イメージ内の各ピクセルが属するクラスを予測する技術のことを指し得る。

【0040】

本開示において、「マスクイメージ」は、イメージ内の特定の部分をマスキング（masking）するために使用されるイメージのことを指し得る。この場合、マスキングは、映像に特定の効果を適用する際に、効果を適用する領域と残りの領域とを区分する作業のことを指し得る。

【0041】

図１は、本開示の一実施例による、走行環境に関連する混合現実映像生成方法が使用される例示の図である。図１に示すように、混合現実映像生成システムは、仮想映像生成部１２０、実際映像加工部１５０、仮想映像加工部１６０、および混合現実映像生成部１７０を含んで構成され、実際映像１１０および仮想映像１３０、１４０から混合現実映像１９０が生成され得る。

【0042】

一実施例によると、第１カメラ１００から実際映像１１０が生成され得る。この場合、第１カメラ１００は、車両に装着されているカメラであり得る。また、実際映像１１０は、走行環境に関連する映像であり得る。例えば、車両に装着されている第１カメラ１００は、走行道路および周辺オブジェクトが撮影された実際映像１１０を生成し得る。その後、生成された実際映像１１０は、実際映像加工部１５０に伝送され得る。

【0043】

一実施例によると、仮想映像生成部１２０は、仮想映像１３０、１４０を生成して、実際映像加工部１５０および仮想映像加工部１６０に伝送し得る。この場合、第１仮想映像１３０は、走行環境を実現したシミュレーションモデルから生成されたイメージを含み得る。また、第１仮想映像１３０は、走行環境のオブジェクト（例えば、道路に位置するトラフィックコーン、他の走行車両など）を含む映像であり得る。第２仮想映像１４０は、走行環境を実現したシミュレーションモデルから生成されたセマンティックイメージを含み得る。

【0044】

一実施例によると、第１仮想映像１３０は、第２カメラ１２２から生成され得る。また、第２仮想映像１４０は、第３カメラ１２４から生成され得る。第２カメラ１２２は、第１カメラ１００が取り付けられた車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている仮想のカメラであり得る。同様に、第３カメラ１２４もまた、第１カメラ１００が取り付けられた車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている仮想のカメラであり得る。また、第２カメラ１２２および第３カメラ１２４は、第１カメラと外部パラメータ（例えば、カメラの向きなど）および内部パラメータ（例えば、焦点距離、光学中心など）が同一に設定されたカメラとしてシミュレーションモデルに実現された仮想のカメラであり得る。

【0045】

一実施例によると、実際映像１１０および第１仮想映像１３０に基づいて、走行環境のオブジェクトを含む混合現実映像１９０が生成され得る。そのために、実際映像加工部１５０によって実際映像１１０から加工された実際映像１５２が生成され得る。また、仮想映像加工部１６０によって第１仮想映像１３０から加工された仮想映像１６２が生成され得る。加工された実際映像１５２および加工された仮想映像１６２は、混合現実映像生成部１７０によって融合され、混合現実映像１９０が生成され得る（１８０）。これに関する詳細な内容は、図４～図６を参照して後述する。

【0046】

一実施例によると、第２仮想映像１４０は、加工された実際映像１５２および加工された仮想映像１６２を生成するために利用され得る。例えば、第２仮想映像１４０は、第１仮想映像１３０からオブジェクトに該当する部分を抽出するために利用され得る。また、第２仮想映像１４０は、実際映像１１０において、オブジェクトが位置する部分の映像を除去するために利用され得る。これに関する詳細な内容は、図５および図６を参照して後述する。

【0047】

以上説明した構成により、自律走行車両のテストのために物理的なオブジェクトを実際に配置するのではなく、走行環境に仮想のオブジェクトが投影された映像を自律走行車両のテスト過程において提供することにより、当該テストに要される時間および費用を節約できる。

【0048】

図２は、本開示の一実施例による情報処理システム２００の内部構成を示すブロック図である。情報処理システム２００は、図１の仮想映像生成部１２０、実際映像加工部１５０、仮想映像加工部１６０、および混合現実映像生成部１７０を含む混合現実映像生成システムに対応し、メモリ２１０、プロセッサ２２０、通信モジュール２３０、および入出力インターフェース２４０を含み得る。情報処理システム２００は、通信モジュール２３０を用いて、ネットワークを介して外部システムと情報および／またはデータを通信できるように構成され得る。

【0049】

メモリ２１０は、非一時的な任意のコンピュータ読み取り可能な記録媒体を含み得る。一実施例によると、メモリ２１０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ（flash memory）等のような非消滅性大容量記憶装置（permanent mass storage device）を含み得る。他の例として、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブ等のような非消滅性大容量記憶装置は、メモリとは区別される別途の永久記憶装置として情報処理システム２００に含まれ得る。また、メモリ２１０には、オペレーティングシステムと少なくとも１つのプログラムコード（例えば、情報処理システム２００に設けられ駆動される混合現実映像生成用のコード等）が保存され得る。

【0050】

このようなソフトウェア構成要素は、メモリ２１０とは別途のコンピュータで読み取り可能な記録媒体からロードされ得る。このような別途のコンピュータで読み取り可能な記録媒体は、そのような情報処理システム２００に直接接続可能な記録媒体を含み得るが、例えば、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカード等のコンピュータで読み取り可能な記録媒体を含み得る。他の例として、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない、通信モジュール２３０を介してメモリ２１０にロードされても良い。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションの設置ファイルを配布するファイル配布システムが、通信モジュール２３０を介して提供するファイルによって設置されるコンピュータプログラム（例えば、混合現実映像生成用のプログラムなど）に基づいてメモリ２１０にロードされ得る。

【0051】

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成され得る。命令は、メモリ２１０または通信モジュール２３０によってユーザ端末（図示せず）または他の外部システムに提供され得る。例えば、プロセッサ２２０は、混合現実映像生成に必要な複数の情報（例えば、実際映像）を受信し、受信された複数の情報に基づいて、走行環境に関連する混合現実映像を生成し得る。

【0052】

通信モジュール２３０は、ネットワークを介してユーザ端末（図示せず）と情報処理システム２００とが互いに通信するための構成または機能を提供することができ、情報処理システム２００が外部システム（一例として、別途のクラウドシステム等）と通信するための構成または機能を提供し得る。一例として、情報処理システム２００のプロセッサ２２０の制御により提供される制御信号、命令、データなどが、通信モジュール２３０とネットワークを経て、ユーザ端末および／または外部システムの通信モジュールを介して、ユーザ端末および／または外部システムに伝送され得る。例えば、ユーザ端末は、生成された走行環境に関連する混合現実映像を受信し得る。

【0053】

また、情報処理システム２００の入出力インターフェース２４０は、情報処理システム２００と接続するか、または情報処理システム２００が含み得る入力または出力のための装置（図示せず）とのインターフェースのための手段であり得る。図２では、入出力インターフェース２４０が、プロセッサ２２０とは別に構成された要素として示されているが、これに限定されず、入出力インターフェース２４０がプロセッサ２２０に含まれるように構成され得る。情報処理システム２００は、図２の構成要素よりも多くの構成要素を含み得る。しかし、大部分の従来技術的構成要素を明確に図示する必要はない。

【0054】

情報処理システム２００のプロセッサ２２０は、複数のユーザ端末および／または複数の外部システムから受信した情報および／またはデータを管理、処理および／または保存するように構成され得る。一実施例によると、プロセッサ２２０は、走行環境に関連する実際映像を受信し得る。その後、プロセッサ２２０は、受信された実際映像および生成された仮想映像に基づいて、走行環境のオブジェクトを含む混合現実映像を生成し得る。

【0055】

図３は、本開示の一実施例による情報処理システム２００のプロセッサ２２０の内部構成を示す図である。一実施例によると、プロセッサ２２０は、仮想映像生成部１２０、実際映像加工部１５０、仮想映像加工部１６０、および混合現実映像生成部１７０を含んで構成され得る。図３に示す情報処理システムのプロセッサ２２０の内部構成は一例示に過ぎず、プロセッサ２２０の少なくとも一部の構成が省略されるか、または他の構成が追加されてもよく、プロセッサ２２０が実行する少なくとも一部の動作または過程が、情報処理システムと通信可能に接続されたユーザ端末のプロセッサによって実行されるなど、異なって実現され得る。なお、図３では、プロセッサ２２０の構成をそれぞれの機能別に区分して説明したが、必ずしも物理的に区分されることを意味するものではない。例えば、実際映像加工部１５０と仮想映像加工部１６０とは区分して説明されているが、これは発明の理解を助けるためのものであり、これに限定されない。

【0056】

一実施例によると、仮想映像生成部１２０は、走行環境に関連する混合現実映像を生成するための仮想映像を生成し得る。例えば、仮想映像生成部１２０は、走行環境のオブジェクト（例えば、道路に位置するトラフィックコーン、他の走行車両など）を含む第１仮想映像および／または走行環境に関連する第２仮想映像を生成し得る。第１仮想映像は、走行環境を実現したシミュレーションモデルから生成されたイメージを含み得る。第２仮想映像は、走行環境を実現したシミュレーションモデルから生成されたセマンティックイメージを含み得る。一実施例において、第１仮想映像および第２仮想映像は、シミュレーションモデルに実現された車両に装着されている第２カメラおよび第３カメラを用いて取得されたデータから生成され得る。この場合、シミュレーションモデルに実現された車両は、実際映像を取得するための第１カメラが装着されている車両と同じモデルであり得る。また、第２カメラおよび第３カメラは、第１カメラ１００と外部パラメータ（例えば、カメラの向きなど）および内部パラメータ（例えば、焦点距離、光学中心など）が同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラであり得る。

【0057】

一実施例によると、実際映像加工部１５０は、実際映像から混合現実映像を生成するための、加工された実際映像を生成し得る。例えば、実際映像加工部１５０は、実際映像の一部を除去することにより、加工された実際映像を生成し得る。また、実際映像加工部１５０は、加工された実際映像を生成するために第２仮想映像を利用し得る。例えば、実際映像加工部１５０は、第２仮想映像からマスクインバースイメージを生成し、マスクインバースイメージを用いて実際映像の一部を除去することにより、加工された実際映像を生成し得る。これに関する詳細な内容は、図６を参照して後述する。

【0058】

一実施例によると、仮想映像加工部１６０は、第１仮想映像から加工された仮想映像を生成し得る。例えば、仮想映像加工部１６０は、第１仮想映像からオブジェクトに該当する部分を抽出することにより、加工された仮想映像を生成し得る。また、仮想映像加工部１６０は、加工された仮想映像を生成するために、第２仮想映像を利用し得る。例えば、仮想映像加工部１６０は、第２仮想映像からマスクイメージ（mask image）を生成し、マスクイメージを用いて第１仮想映像からオブジェクトに該当する部分を抽出することにより、加工された仮想映像を生成し得る。これに関する詳細な内容は、図５を参照して後述する。

【0059】

一実施例によると、混合現実映像生成部１７０は、加工された仮想映像と加工された実際映像とに基づいて、混合現実映像を生成し得る。例えば、混合現実映像生成部１７０は、加工された仮想映像と加工された実際映像とを融合して、混合現実映像を生成し得る。これに関する詳細な内容は、図４を参照して後述する。

【0060】

図４は、本開示の一実施例により、実際映像１１０および仮想映像１３０、１４０から混合現実映像１９０が生成される例示の図である。図に示すように、混合現実映像１９０は、第１仮想映像１３０、第２仮想映像１４０、および実際映像１１０に基づいて生成され得る。

【0061】

一実施例によると、実際映像１１０は、走行環境に関連する映像であり得る。例えば、実際映像１１０は、自律走行車両のテストのための走行道路を撮影した映像であり得る。第１仮想映像１３０は、実際映像と同じ走行環境を実現したシミュレーションモデルから生成されたイメージとして、走行環境のオブジェクトを含み得る。例えば、第１仮想映像１３０は、実際映像の走行道路を実現したシミュレーションモデルに存在する周辺車両またはトラフィックコーンを、シミュレーションモデル内のカメラにより撮影した映像であり得る。第２仮想映像１４０は、実際映像と同じ走行環境を実現したシミュレーションモデルから生成されたセマンティックイメージであり得る。例えば、第２仮想映像１４０は、実際映像の走行道路を実現したシミュレーションモデルに存在する周辺車両またはトラフィックコーンを、シミュレーションモデル内のカメラにより撮影した映像にセマンティックセグメンテーション技術が適用され、オブジェクト別に区分された映像であり得る。

【0062】

一実施例によると、第１仮想映像１３０が加工され、加工された仮想映像１６２が生成され得る（４１０）。より具体的に、加工された仮想映像１６２は、仮想映像加工部１６０で加工され、第１仮想映像１３０からオブジェクトに該当する部分が抽出されることにより生成され得る。例えば、第１仮想映像に存在する車両およびトラフィックコーンに該当する部分が抽出されることにより、抽出された部分のみが存在する、加工された仮想映像１６２が生成され得る。また、第１仮想映像１３０が加工される過程において、第２仮想映像１４０が利用され得る。例えば、第２仮想映像１４０を用いて第１仮想映像に存在する車両およびトラフィックコーンに対するマスクイメージを生成され、生成されたマスクイメージを用いて、車両およびトラフィックコーンに該当する部分が抽出された映像が生成され得る。これに関する詳細な内容は、図５を参照して後述する。

【0063】

一実施例によると、実際映像１１０が加工され、加工された実際映像１５２が生成され得る（４２０）。より具体的に、加工された実際映像１５２は、実際映像加工部１５０で加工され、実際映像１１０において第１仮想映像のオブジェクトに該当する部分と対応する実際映像１１０の一部が除去されることにより生成され得る。例えば、第１仮想映像の車両およびトラフィックコーンが位置する部分と対応する実際映像１１０の一部が除去されることにより、加工された実際映像１５２が生成され得る。また、実際映像１１０が加工される過程において、第２仮想映像１４０が利用され得る。例えば、第２仮想映像１４０を用いて、第１仮想映像に存在する車両およびトラフィックコーンに対するマスクインバースイメージが生成され、生成されたマスクインバースイメージを用いて、実際映像１１０の一部が除去された映像が生成され得る。これに関する詳細な内容は、図６を参照して後述する。

【0064】

一実施例によると、加工された仮想映像１６２と加工された実際映像１５２とが融合され、混合現実映像１９０が生成され得る（１８０）。より具体的に、混合現実映像１９０は、混合現実映像生成部１７０で生成され、加工された仮想映像１６２に存在するオブジェクトを、加工された実際映像１５２に投影することにより生成され得る。例えば、混合現実映像１９０は、加工された仮想映像１６２に存在する車両およびトラフィックコーンを、加工された実際映像１５２の除去された部分に投影して融合することにより生成され得る。

【0065】

図５は、本開示の一実施例により、第１仮想映像１３０および第２仮想映像１４０から、加工された仮想映像１６２が生成される例示の図である。一実施例によると、加工された仮想映像１６２は、第１仮想映像１３０からオブジェクトに該当する部分を抽出することにより生成され得る（５３０）。例えば、第１仮想映像１３０から、車両およびトラフィックコーンに該当する部分を抽出することにより、車両およびトラフィックコーンに該当する部分を除く残りの部分が除去された、加工された仮想映像１６２が生成され得る。

【0066】

一実施例によると、第１仮想映像１３０からオブジェクトに該当する部分を抽出するために、マスクイメージ５２０が利用され得る。例えば、マスクイメージ５２０は、第１仮想映像１３０においてオブジェクトに該当する部分をマスキングし得るイメージであり、第１仮想映像１３０にマスクイメージ５２０を適用することにより、マスキングされたオブジェクト部分を除く残りの部分を除去し得る。このように、マスクイメージ５２０を用いて第１仮想映像１３０でオブジェクトに該当する部分をマスキングすることにより、オブジェクトに該当する部分を抽出し得る。この場合、マスクイメージ５２０は、バイナリタイプ（binary type）のイメージであり得る。

【0067】

一実施例によると、マスクイメージ５２０は、第２仮想映像１４０から生成され得る。例えば、第２仮想映像１４０は、セマンティックセグメンテーション技術によってオブジェクト別に分離されたイメージであり、第２仮想映像のうちオブジェクトに該当する部分がフィルタリングされることにより、マスクイメージ５２０が生成され得る（５１０）。

【0068】

図６は、本開示の一実施例により、実際映像１１０および第２仮想映像１４０から、加工された実際映像１５２が生成される例示の図である。一実施例によると、加工された実際映像１５２は、第１仮想映像１３０のオブジェクトに該当する部分と対応する実際映像１１０の一部を除去することにより生成され得る（６３０）。例えば、加工された実際映像１５２は、実際映像１１０において第１仮想映像の車両およびトラフィックコーンが配置する部分と対応する実際映像１１０の一部を除去することにより生成され得る。

【0069】

一実施例によると、実際映像１１０の一部を除去するために、マスクインバースイメージ６２０が利用され得る。マスクインバースイメージは、第１仮想映像においてオブジェクトに該当する部分を除く残りの部分をマスキングし得るイメージであり、実際映像１１０にマスクインバースイメージ６２０を適用することにより、第１仮想映像のオブジェクトに該当する部分と対応する部分のみを除去し得る。

【0070】

一実施例によると、マスクインバースイメージ６２０は、第２仮想映像１４０から生成され得る。例えば、第２仮想映像１４０をフィルタリングすることによりマスクイメージ５２０が生成され（５１０）、マスクイメージ５２０を反転させることにより、マスクインバースイメージ６２０が生成され得る（６１０）。マスクインバースイメージ６２０は、マスクイメージ５２０と同様にバイナリタイプのイメージであり得る。

【0071】

図７は、本開示の一実施例による第１仮想映像１３０の例を示す図である。一実施例によると、第１仮想映像１３０は、実際映像と同じ走行環境を実現したシミュレーションモデルから生成されたイメージであり得る。より具体的に、第１仮想映像１３０は、実際映像を撮影したカメラが取り付けられた車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されているカメラを用いて取得されたデータから生成され得る。また、第１仮想映像１３０を生成するために利用されるカメラは、実際映像を撮影したカメラと外部パラメータ（例えば、カメラの向きなど）および内部パラメータ（例えば、焦点距離、光学中心など）が同じであるカメラとして、シミュレーションモデルに実現された仮想のカメラであり得る。

【0072】

一実施例によると、第１仮想映像１３０は、走行環境のオブジェクトを含み得る。例えば、第１仮想映像１３０は、周辺に走行中の車両７２０および周辺に置かれているトラフィックコーン７１０＿１、７１０＿２、７１０＿３、７１０＿４が含まれている映像であり得る。このような第１仮想映像１３０のオブジェクトは、マスクイメージによって抽出および加工され、実際映像と融合して混合現実映像が生成され得る。

【0073】

図８は、本開示の一実施例による実際映像１１０の例を示す図である。一実施例によると、実際映像１１０は、走行環境に関連する映像であり得る。例えば、実際映像１１０は、走行道路および周辺に位置するオブジェクト（例えば、周辺車両など）を含む映像であり得る。また、実際映像１１０は、車両に装着されているカメラにより取得され得る。

【0074】

一実施例によると、実際映像１１０は、混合現実映像の生成のために加工され得る。より具体的に、実際映像１１０において第１仮想映像のオブジェクトに該当する部分と対応する一部が除去され得る。例えば、第１仮想映像の車両が位置する部分と対応する部分８２０およびトラフィックコーンが位置する部分と対応する部分８１０＿１、８１０＿２、８１０＿３、８１０＿４は、マスクインバースイメージにより除去され得る。

【0075】

図９は、本開示の一実施例による混合現実映像１９０の例を示す図である。一実施例によると、混合現実映像１９０は、加工された仮想映像と加工された実際映像とを融合することにより生成され得る。混合現実映像１９０は、実際映像に抽出された第１仮想映像のオブジェクトに該当する部分を投影することにより生成され得る。例えば、走行道路を含む実際映像に、第１仮想映像の周辺車両９２０とトラヒックコーン９１０＿１、９１０＿２、９１０＿３、９１０＿４とを合わせることにより、仮想オブジェクトと実際の映像とを融合した混合現実映像１９０が生成され得る。

【0076】

このように、実際の走行環境に、仮想のオブジェクトを可視化して提供することにより、自律走行車両に搭乗したテスターにテスト状況を視覚的に認識させ、テストを円滑に行うようにすることができる。また、自律走行車両のテストのために物理的なオブジェクトを実際に配置するのではなく、走行環境に仮想のオブジェクトが投影された映像を自律走行車両のテスト過程において提供することにより、当該テストに要される時間および費用を節約できる。

【0077】

図１０は、本開示の一実施例による走行環境に関連する混合現実映像生成方法１０００を示すフローチャートである。方法１０００は、情報処理システムの少なくとも１つのプロセッサ（例えば、プロセッサ２２０）によって実行され得る。図に示すように、方法１０００は、走行環境に関連する実際映像を取得することにより開始され得る（Ｓ１０１０）。一実施例において、走行環境に関連する実際映像は、車両に装着されている第１カメラを用いて取得され得る。

【0078】

その後、プロセッサは、走行環境のオブジェクトを含む第１仮想映像を生成し得る（Ｓ１０２０）。一実施例において、第１仮想映像は、走行環境を実現したシミュレーションモデルから生成されたイメージを含み得る。また、第１仮想映像は、実際映像を取得するために利用したカメラが装着されている車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第２カメラを用いて取得されたデータから生成され得る。第２カメラは、第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラであり得る。

【0079】

最後に、プロセッサは、実際映像と第１仮想映像とに基づいて、走行環境のオブジェクトを含む混合現実映像を生成し得る（Ｓ１０３０）。一実施例において、プロセッサは、第１仮想映像からオブジェクトに該当する部分を抽出し、オブジェクトに該当する部分と実際映像とに基づいて、混合現実映像を生成し得る。また、プロセッサは、オブジェクトに該当する部分に対応する実際映像の一部を除去し得る。

【0080】

一実施例において、プロセッサは、走行環境に関連する第２仮想映像を生成し、実際映像、第１仮想映像および第２仮想映像に基づいて、混合現実映像を生成し得る。第２仮想映像は、走行環境を実現したシミュレーションモデルから生成されたセマンティックイメージを含み得る。また、第２仮想映像は、実際映像を取得するために利用したカメラが装着されている車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第３カメラを用いて取得されたデータから生成され、第３カメラは、第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラであり得る。

【0081】

一実施例において、プロセッサは、第２仮想映像を用いて、第１仮想映像からオブジェクトに該当する部分を抽出し得る。プロセッサは、第２仮想映像をフィルタリングしてオブジェクトに対するマスクイメージを生成し、マスクイメージを用いて第１仮想映像からオブジェクトに該当する部分を抽出し得る。

【0082】

一実施例において、プロセッサは、第２仮想映像を用いて、第１仮想映像のオブジェクトに該当する部分に対応する実際映像の一部を除去し得る。プロセッサは、第２仮想映像からマスクインバースイメージを生成し、マスクイメージを用いてオブジェクトに該当する部分に対応する実際映像の一部を除去し得る。マスクインバースイメージは、第２仮想映像からオブジェクトに対するマスクイメージを生成し、マスクイメージを反転してマスクインバースイメージを生成し得る。

【0083】

図１０に示すフローチャートおよび前述の説明は一例示に過ぎず、一部の実施例においては異なって実現され得る。例えば、一部の実施例においては、各段階の順序が変わったり、一部の段階が繰り返し行われたり、一部の段階が省略されたり、一部の段階が追加され得る。

【0084】

前術の方法は、コンピュータで実行するためにコンピュータ読み取り可能な記録媒体に保存されているコンピュータプログラムとして提供され得る。媒体は、コンピュータで実行可能なプログラムを保存し続けるか、実行またはダウンロードのために一時的に保存するものでもあり得る。また、媒体は、単一または複数のハードウェアが結合された形態の様々な記録手段または保存手段であり得るが、任意のコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散して存在するものでもあり得る。媒体の例としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（floptical disk）のような光磁気媒体（magneto optical medium）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んで、プログラム命令語が保存されるように構成されたものがあり得る。また、他の媒体の例として、アプリケーションを流通するアプリストアや他の様々なソフトウェアを供給ないし流通するサイト、サーバーなどで管理する記録媒体ないし記憶媒体も挙げられる。

【0085】

本開示の方法、動作、または技法は、様々な手段によっても実現され得る。例えば、そのような技法は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせによって実現され得る。本願の開示に連係して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズム段階は、電子ハードウェア、コンピュータソフトウェア、またはその両方の組み合わせによっても実現され得ることを通常の技術者は理解する。ハードウェアおよびソフトウェアのこのような相互代替を明確に説明するために、様々な例示的な構成要素、ブロック、モジュール、回路、および段階がそれらの機能的観点から一般的に前記において説明されている。そのような機能がハードウェアとして実現されるか、またはソフトウェアとして実現されるかは、特定のアプリケーションおよびシステム全体に課される設計要件によって変わる。通常の技術者は、それぞれの特定アプリケーションのために様々な方法で説明された機能を実現し得るが、そのような実現は本開示の範囲から逸脱するものと解釈されるべきではない。

【0086】

ハードウェア実現において、技法を実行するめに用いられるプロセスユニットは、１つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号処理装置（digital signal processing devices、ＤＳＰＤ）、プログラマブル論理装置（programmable logic devices、ＰＬＤ）、フィールドプログラマブルゲートアレイ（field programmable gate arrays、ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本開示に説明の機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組み合わせ内において実現され得る。

【0087】

したがって、本開示に連係して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、または他のプログラマブル論理デバイス、ディスクリートゲートやトランジスタロジック、ディスクリートハードウェアコンポネンツ、または本願に説明されている機能を実行するように設計されたものの任意の組み合わせによって実現または実行されることもあり得る。汎用プロセッサは、マイクロプロセッサでもあり得るが、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでもあり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ以上のマイクロプロセッサ、または任意の他の構成の組み合わせでも実現され得る。

【0088】

ファームウェアおよび／またはソフトウェアの実現において、技法は、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、不揮発性ＲＡＭ（nonvolatile random access memory；ＮＶＲＡＭ）、ＰＲＯＭ（programmable read-only memory)、ＥＰＲＯＭ(erasable programmable read-only memory)、ＥＥＰＲＯＭ(electrically erasable PROM)、フラッシュメモリ、コンパクトディスク（compact disc、ＣＤ）、磁気または光学データストレージデバイスなどのようなコンピュータ読み取り可能媒体上に保存されている命令語で実現され得る。命令は、１つ以上のプロセッサによって実行可能でもあり、本開示に説明された機能の特定の態様をプロセッサに実行させることもできる。

【0089】

以上で説明した実施例は、１つ以上の独立型コンピュータシステムにおいて、現在開示されている主題の態様を活用するものとして記述されているが、本開示はこれに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連携しても実現され得る。さらには、本開示において主題の態様は、複数のプロセスチップや装置にて実現されてもよく、ストレージは複数の装置にわたって類似の影響を受けることともなり得る。このような装置は、ＰＣ、ネットワークサーバー、およびポータブル装置をも含み得る。

【0090】

本明細書においては、本開示が一部の実施例に関連して説明されたが、本開示の発明が属する技術分野の通常の技術者が理解し得る本開示の範囲から逸脱しない範囲で様々な変形および変更が行われ得る。また、そのような変形および変更は、本明細書に添付の特許請求の範囲内に属するものと考えられるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2024-05-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによって実行される、走行環境に関連する混合現実（mixed reality）映像生成方法において、
走行環境に関連する実際映像を取得する段階と、
前記走行環境のオブジェクトを含む第１仮想映像を生成する段階と、
前記実際映像と前記第１仮想映像を加工するために、前記走行環境に関連する第２仮想映像を生成する段階と、
前記実際映像と前記第１仮想映像と前記第２仮想映像とに基づいて、前記走行環境のオブジェクトを含む混合現実映像を生成する段階と、
を含む、混合現実映像生成方法。

【請求項2】

前記第１仮想映像は、前記走行環境を実現したシミュレーションモデルから生成されたイメージを含む、請求項１に記載の混合現実映像生成方法。

【請求項3】

前記第２仮想映像は、前記走行環境を実現したシミュレーションモデルから生成されたセマンティックイメージ（semantic image）を含む、請求項１に記載の混合現実映像生成方法。

【請求項4】

前記走行環境に関連する実際映像を取得する段階は、
車両に装着されている第１カメラを用いて前記実際映像を取得する段階を含む、請求項１に記載の混合現実映像生成方法。

【請求項5】

前記第１仮想映像は、
前記車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第２カメラを用いて取得されたデータから生成され、
前記第２カメラは、
前記第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラである、請求項４に記載の混合現実映像生成方法。

【請求項6】

前記第２仮想映像は、
前記車両と同じ車両モデルとしてシミュレーションモデルに実現された車両に装着されている第３カメラを用いて取得されたデータから生成され、
前記第３カメラは、
前記第１カメラの外部パラメータおよび内部パラメータが同じであるカメラとしてシミュレーションモデルに実現された仮想のカメラである、請求項４に記載の混合現実映像生成方法。

【請求項7】

前記実際映像と前記第１仮想映像と前記第２仮想映像とに基づいて混合現実映像を生成する段階は、
前記第１仮想映像からオブジェクトに該当する部分を抽出する段階と、
前記オブジェクトに該当する部分と前記実際映像とに基づいて混合現実映像を生成する段階と、
を含む、請求項１に記載の混合現実映像生成方法。

【請求項8】

前記オブジェクトに該当する部分を抽出する段階は、
前記第２仮想映像を用いてオブジェクトに該当する部分を抽出する段階を含む、請求項７に記載の混合現実映像生成方法。

【請求項9】

前記第２仮想映像を用いてオブジェクトに該当する部分を抽出する段階は、
前記第２仮想映像をフィルタリングして、前記オブジェクトに対するマスクイメージ（mask image）を生成する段階と、
前記マスクイメージを用いて前記第１仮想映像からオブジェクトに該当する部分を抽出する段階と、
を含む、請求項８に記載の混合現実映像生成方法。

【請求項10】

前記オブジェクトに該当する部分と前記実際映像とに基づいて混合現実映像を生成する段階は、
前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階を含む、請求項７に記載の混合現実映像生成方法。

【請求項11】

前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階は、
前記第２仮想映像を用いて前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階を含む、請求項１０に記載の混合現実映像生成方法。

【請求項12】

前記第２仮想映像を用いて前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階は、
前記第２仮想映像からマスクインバースイメージ（mask inverse image）を生成する段階と、
前記マスクインバースイメージを用いて前記オブジェクトに該当する部分と対応する前記実際映像の一部を除去する段階と、
を含む、請求項１１に記載の混合現実映像生成方法。

【請求項13】

前記マスクインバースイメージを生成する段階は、
前記第２仮想映像から前記オブジェクトに対するマスクイメージを生成する段階と、
前記マスクイメージを反転して前記マスクインバースイメージを生成する段階と、
を含む、請求項１２に記載の混合現実映像生成方法。

【請求項14】

請求項１による方法をコンピュータで実行するための命令語を記録したコンピュータ読み取り可能な非一時的記録媒体。

【請求項15】

情報処理システムとして、
通信モジュールと、
メモリと、
前記メモリに接続され、前記メモリに含まれているコンピュータ読み取り可能な少なくとも１つのプログラムを実行するように構成された少なくとも１つのプロセッサと、を含み、
前記少なくとも１つのプログラムは、
走行環境に関連する実際映像を獲得し、
前記走行環境のオブジェクトを含む第１仮想映像を生成し、
前記実際映像と前記第１仮想映像を加工するために、前記走行環境に関連する第２仮想映像を生成し、
前記実際映像と前記第１仮想映像と前記第２仮想映像とに基づいて、前記走行環境のオブジェクトを含む混合現実映像を生成するための命令語を含む、情報処理システム。

【国際調査報告】