2023-62237 対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023062237

(43)【公開日】2023-05-08

(54)【発明の名称】対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法

(51)【国際特許分類】

   G06T 7/55 20170101AFI20230426BHJP

   B25J 13/08 20060101ALI20230426BHJP

【ＦＩ】

G06T7/55

B25J13/08 A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021172085

(22)【出願日】2021-10-21

(71)【出願人】

【識別番号】517412309

【氏名又は名称】アセントロボティクス株式会社

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】久夛良木 健

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707KT01

3C707KT03

3C707KT11

3C707LS20

3C707LW12

5L096BA05

5L096CA05

5L096DA02

5L096FA06

5L096FA14

5L096FA67

5L096FA69

(57)【要約】

【課題】対象の外観に関する情報を網羅的に取得する。
【解決手段】システムは、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力し、面的な光で照らされた対象と、複数の波長の光で順次照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、光が出力されるタイミングと同期して個別に撮像し、光出力部と撮像部とを制御し、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から前記対象に対してそれぞれ異なるタイミングで出力する光出力部と、
前記面的な光で照らされた前記対象と、前記複数の波長の光で順次照らされた前記対象とを、前記複数の照明位置に対応した複数の撮像位置で、前記面的な光および前記複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像する撮像部と、
前記光出力部と前記撮像部とを制御する制御部であって、前記面的な光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、前記複数の波長の光で順次照らされた前記対象の撮像結果に基づいて、前記複数の撮像位置から見た前記対象の全周にわたる二次元的な外観を示す二次元データを取得し、前記三次元データと前記二次元データとを相互に対応付けることで、前記対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する制御部と、
を備える、対象デジタルツインモデル生成システム。

【請求項2】

前記制御部は、前記可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面のテクスチャを示すテクスチャデータを前記二次元データとして取得し、前記非可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の光吸収領域が可視化された光吸収特性データを前記二次元データとして取得する、
請求項１に記載の対象デジタルツインモデル生成システム。

【請求項3】

前記制御部は、前記三次元データに前記テクスチャデータを貼り付けることで生成されるモデルから、ある視点での前記対象の外観を示す第１外観画像を生成する生成器と、前記生成器により生成される前記第１外観画像と、前記可視光で照らされた前記対象の撮像結果から生成される、前記第１外観画像と同一の視点における前記対象の外観を示す第２外観画像と、の差を識別する識別器と、に基づいて、前記識別器により識別される差が小さくなるように前記三次元データを補正し、補正後の前記三次元データと前記二次元データとを相互に対応付けることで、前記対象デジタルツインモデルを生成する、
請求項２に記載の対象デジタルツインモデル生成システム。

【請求項4】

前記制御部は、前記対象デジタルツインモデルから取得される前記対象の二次元的な外観に基づいて、前記対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が前記三次元データおよび前記二次元データとあわせて登録された前記対象に関する包括的なデータベースとしての対象マスタデータを生成する、
請求項３に記載の対象デジタルツインモデル生成システム。

【請求項5】

前記制御部は、前記付加情報に基づいて、前記対象に対応付けられた商品コードおよび商品情報を取得し、取得した前記商品コードおよび前記商品情報を前記対象マスタデータにさらに登録する、
請求項４に記載の対象デジタルツインモデル生成システム。

【請求項6】

前記制御部は、ロボットによる前記対象のハンドリングのシミュレーションを実行することで、前記対象の最適な把持位置を含む、前記対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習した前記ハンドリング情報を前記対象マスタデータにさらに登録する、
請求項５に記載の対象デジタルツインモデル生成システム。

【請求項7】

ロボットのハンドリング対象の外観に関する情報を検出するセンサと、
前記ハンドリング対象の外観に関する情報の検出結果と、請求項６に記載の対象デジタルツインモデル生成システムから取得される前記対象マスタデータの前記ハンドリング情報と、に基づいて、前記ハンドリング対象のハンドリングを実行するように前記ロボットを制御するロボット制御部と、
を備える、ロボットの制御システム。

【請求項8】

前記ロボット制御部は、前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象に付加された商品コードを取得し、取得された前記商品コードが前記対象マスタデータに登録された前記商品コードと異なる場合、他のハンドリング対象のハンドリングを実行するように前記ロボットを制御する、
請求項７に記載のロボットの制御システム。

【請求項9】

前記ロボット制御部は、前記ハンドリング対象の外観に関する情報の検出結果から取得された前記商品コードと前記対象マスタデータに登録された前記商品コードとが一致する場合、前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象の表面に付加された商品情報を取得し、取得された前記商品情報が前記対象マスタデータに登録された前記商品情報と異なる場合、取得された前記商品情報に基づいて前記対象マスタデータを更新する、
請求項８に記載のロボットの制御システム。

【請求項10】

請求項５に記載の対象デジタルツインモデル生成システムから前記対象マスタデータを取得する取得部と、
前記取得部により取得された前記対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成する仮想店舗生成部と、
を備える、仮想店舗生成システム。

【請求項11】

所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から前記対象に対してそれぞれ異なるタイミングで出力することと、
前記面的な光で照らされた前記対象と、前記複数の波長の光で順次照らされた前記対象とを、前記複数の照明位置に対応した複数の撮像位置で、前記面的な光および前記複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像することと、
前記出力することと前記撮像することとを制御し、前記面的な光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、前記複数の波長の光で順次照らされた前記対象の撮像結果に基づいて、前記複数の撮像位置から見た前記対象の全周にわたる二次元的な外観を示す二次元データを取得し、前記三次元データと前記二次元データとを相互に対応付けることで、前記対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成することと、
を備える、対象デジタルツインモデル生成方法。

【請求項12】

前記可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面のテクスチャを示すテクスチャデータを前記二次元データとして取得し、前記非可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の光吸収領域が可視化された光吸収特性データを前記二次元データとして取得すること
を備える、請求項１１に記載の対象デジタルツインモデル生成方法。

【請求項13】

前記三次元データに前記テクスチャデータを貼り付けることで生成されるモデルから、ある視点での前記対象の外観を示す第１外観画像を生成する生成器と、前記生成器により生成される前記第１外観画像と、前記可視光で照らされた前記対象の撮像結果から生成される、前記第１外観画像と同一の視点における前記対象の外観を示す第２外観画像と、の差を識別する識別器と、に基づいて、前記識別器により識別される差が小さくなるように前記三次元データを補正し、補正後の前記三次元データと前記二次元データとを相互に対応付けることで、前記対象デジタルツインモデルを生成すること
を備える、請求項１２に記載の対象デジタルツインモデル生成方法。

【請求項14】

前記対象デジタルツインモデルから取得される前記対象の二次元的な外観に基づいて、前記対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が前記三次元データおよび前記二次元データとあわせて登録された前記対象に関する包括的なデータベースとしての対象マスタデータを生成すること
を備える、請求項１３に記載の対象デジタルツインモデル生成方法。

【請求項15】

前記付加情報に基づいて、前記対象に対応付けられた商品コードおよび商品情報を取得し、取得した前記商品コードおよび前記商品情報を前記対象マスタデータにさらに登録すること
を備える、請求項１４に記載の対象デジタルツインモデル生成方法。

【請求項16】

ロボットによる前記対象のハンドリングのシミュレーションを実行することで、前記対象の最適な把持位置を含む、前記対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習した前記ハンドリング情報を前記対象マスタデータにさらに登録すること、
を備える、請求項１５に記載の対象デジタルツインモデル生成方法。

【請求項17】

ロボットのハンドリング対象の外観に関する情報を検出することと、
前記ハンドリング対象の外観に関する情報の検出結果と、請求項１６に記載の対象デジタルツインモデル生成方法により取得される前記対象マスタデータの前記ハンドリング情報と、に基づいて、前記ハンドリング対象のハンドリングを実行するように前記ロボットを制御することと、
を備える、ロボットの制御方法。

【請求項18】

前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象に付加された商品コードを取得し、取得された前記商品コードと前記対象マスタデータに登録された前記商品コードとが異なる場合、他のハンドリング対象のハンドリングを実行するように前記ロボットを制御すること
を備える、請求項１７に記載のロボットの制御方法。

【請求項19】

前記ハンドリング対象の外観に関する情報の検出結果から取得された前記商品コードと前記対象マスタデータに登録された前記商品コードとが一致する場合、前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象の表面に付加された商品情報を取得し、取得された前記商品情報と前記対象マスタデータに登録された前記商品情報とが異なる場合、取得された前記商品情報に基づいて前記対象マスタデータを更新すること
を備える、請求項１８に記載のロボットの制御方法。

【請求項20】

請求項１５に記載の対象デジタルツインモデル生成方法により前記対象マスタデータを取得することと、
取得された前記対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成することと、
を備える、仮想店舗生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法に関する。

【背景技術】

【0002】

従来、構造化光パターンなどと呼ばれる所定のパターンの面的な光が投影された対象を撮像することで、対象の表面の凹凸のような三次元的な形状を示す情報を取得する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－８６２９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、対象の外観に関する情報は、上記のような三次元的な形状を示す情報だけには限られない。たとえば、対象の表面は、色、文字、または図形などのような二次元的な情報を含んでいる場合がある。このため、三次元的な形状を示す情報と二次元的な情報とをあわせて取得し、対象の外観に関する情報を網羅的に取得することが望まれる。

【0005】

そこで、本開示が解決しようとする課題の一つは、対象の外観に関する情報を網羅的に取得することが可能な対象デジタルツインモデル生成システムおよび対象デジタルツインモデル生成方法と、これらを活用したロボットの制御システム、ロボットの制御方法、仮想店舗生成システム、および仮想店舗生成方法と、を提供することである。

【課題を解決するための手段】

【0006】

本開示の一例としての対象デジタルツインモデル生成システムは、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力する光出力部と、面的な光で照らされた対象と、複数の波長の光で順次照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、面的な光および複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像する撮像部と、光出力部と撮像部とを制御する制御部であって、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する制御部と、を備える。

【0007】

上述した対象デジタルツインモデル生成システムにおいて、制御部は、可視光で照らされた対象の撮像結果に基づいて、対象の表面のテクスチャを示すテクスチャデータを二次元データとして取得し、非可視光で照らされた対象の撮像結果に基づいて、対象の表面の光吸収領域が可視化された光吸収特性データを二次元データとして取得する。

【0008】

また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、三次元データにテクスチャデータを貼り付けることで生成されるモデルから、ある視点での対象の外観を示す第１外観画像を生成する生成器と、生成器により生成される第１外観画像と、可視光で照らされた対象の撮像結果から生成される、第１外観画像と同一の視点における対象の外観を示す第２外観画像と、の差を識別する識別器と、に基づいて、識別器により識別される差が小さくなるように三次元データを補正し、補正後の三次元データと二次元データとを相互に対応付けることで、対象デジタルツインモデルを生成する。

【0009】

また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、対象デジタルツインモデルから取得される対象の二次元的な外観に基づいて、対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が三次元データおよび二次元データとあわせて登録された対象に関する包括的なデータベースとしての対象マスタデータを生成する。

【0010】

また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、付加情報に基づいて、対象に対応付けられた商品コードおよび商品情報を取得し、取得した商品コードおよび商品情報を対象マスタデータにさらに登録する。

【0011】

また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、ロボットによる対象のハンドリングのシミュレーションを実行することで、対象の最適な把持位置を含む、対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習したハンドリング情報を対象マスタデータにさらに登録する。

【0012】

本開示の他の一例としてのロボットの制御システムは、ロボットのハンドリング対象の外観に関する情報を検出するセンサと、ハンドリング対象の外観に関する情報の検出結果と、上述した対象デジタルツインモデル生成システムから取得される対象マスタデータのハンドリング情報と、に基づいて、ハンドリング対象のハンドリングを実行するようにロボットを制御するロボット制御部と、を備える。

【0013】

上述したロボットの制御システムにおいて、ロボット制御部は、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象に付加された商品コードを取得し、取得された商品コードが対象マスタデータに登録された商品コードと異なる場合、他のハンドリング対象のハンドリングを実行するようにロボットを制御する。

【0014】

また、上述したロボットの制御システムにおいて、ロボット制御部は、ハンドリング対象の外観に関する情報の検出結果から取得された商品コードと対象マスタデータに登録された商品コードとが一致する場合、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象の表面に付加された商品情報を取得し、取得された商品情報が対象マスタデータに登録された商品情報と異なる場合、取得された商品情報に基づいて対象マスタデータを更新する。

【0015】

本開示のさらに他の一例としての仮想店舗生成システムは、上述した対象デジタルツインモデル生成システムから対象マスタデータを取得する取得部と、取得部により取得された対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成する仮想店舗生成部と、を備える。

【0016】

本開示のさらに他の一例としての対象デジタルツインモデル生成方法は、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力することと、面的な光で照らされた対象と、複数の波長の光で順次照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、面的な光および複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像することと、出力することと撮像することとを制御し、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成することと、を備える。

【0017】

上述した対象デジタルツインモデル生成方法は、可視光で照らされた対象の撮像結果に基づいて、対象の表面のテクスチャを示すテクスチャデータを二次元データとして取得し、非可視光で照らされた対象の撮像結果に基づいて、対象の表面の光吸収領域が可視化された光吸収特性データを二次元データとして取得することを備える。

【0018】

また、上述した対象デジタルツインモデル生成方法は、三次元データにテクスチャデータを貼り付けることで生成されるモデルから、ある視点での対象の外観を示す第１外観画像を生成する生成器と、生成器により生成される第１外観画像と、可視光で照らされた対象の撮像結果から生成される、第１外観画像と同一の視点における対象の外観を示す第２外観画像と、の差を識別する識別器と、に基づいて、識別器により識別される差が小さくなるように三次元データを補正し、補正後の三次元データと二次元データとを相互に対応付けることで、対象デジタルツインモデルを生成することを備える。

【0019】

また、上述した対象デジタルツインモデル生成方法は、対象デジタルツインモデルから取得される対象の二次元的な外観に基づいて、対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が三次元データおよび二次元データとあわせて登録された対象に関する包括的なデータベースとしての対象マスタデータを生成することを備える。

【0020】

また、上述した対象デジタルツインモデル生成方法は、付加情報に基づいて、対象に対応付けられた商品コードおよび商品情報を取得し、取得した商品コードおよび商品情報を対象マスタデータにさらに登録することを備える。

【0021】

また、上述した対象デジタルツインモデル生成方法は、ロボットによる対象のハンドリングのシミュレーションを実行することで、対象の最適な把持位置を含む、対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習したハンドリング情報を対象マスタデータにさらに登録することを備える。

【0022】

本開示のさらに他の一例としてのロボットの制御方法は、ロボットのハンドリング対象の外観に関する情報を検出することと、ハンドリング対象の外観に関する情報の検出結果と、上述した対象デジタルツインモデル生成方法により取得される対象マスタデータのハンドリング情報と、に基づいて、ハンドリング対象のハンドリングを実行するようにロボットを制御することと、を備える。

【0023】

上述したロボットの制御方法は、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象に付加された商品コードを取得し、取得された商品コードと対象マスタデータに登録された商品コードとが異なる場合、他のハンドリング対象のハンドリングを実行するようにロボットを制御することを備える。

【0024】

また、上述したロボットの制御方法は、ハンドリング対象の外観に関する情報の検出結果から取得された商品コードと対象マスタデータに登録された商品コードとが一致する場合、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象の表面に付加された商品情報を取得し、取得された商品情報と対象マスタデータに登録された商品情報とが異なる場合、取得された商品情報に基づいて対象マスタデータを更新することを備える。

【0025】

本開示のさらに他の一例としての仮想店舗生成方法は、上述した対象デジタルツインモデル生成方法により対象マスタデータを取得することと、取得された対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成することと、を備える。

【図面の簡単な説明】

【0026】

【図1】図１は、実施形態にかかる対象デジタルツインモデル生成システムの構成を示した例示的かつ模式的なブロック図である。

【図2】図２は、実施形態にかかる制御部が実行するタイミング制御の一例を示した例示的かつ模式的な図である。

【図3】図３は、実施形態にかかる対象の撮像を示した例示的かつ模式的な図である。

【図4】図４は、実施形態にかかる点群データを説明するための例示的かつ模式的な図である。

【図5】図５は、実施形態にかかるテクスチャデータを説明するための例示的かつ模式的な図である。

【図6】図６は、実施形態にかかる光吸収特性データを説明するための例示的かつ模式的な図である。

【図7】図７は、実施形態にかかる三次元データおよび二次元データを組み合わせたモデルを説明するための例示的かつ模式的な図である。

【図8】図８は、実施形態にかかる三次元データの補正を説明するための例示的かつ模式的なブロック図である。

【図9】図９は、実施形態にかかる三次元データの補正の結果を示した例示的かつ模式的な図である。

【図10】図１０は、実施形態にかかる付加情報を説明するための例示的かつ模式的な図である。

【図11】図１１は、実施形態にかかる対象マスタデータを説明するための例示的かつ模式的な図である。

【図12】図１２は、実施形態にかかる対象デジタルツインモデル生成システムが実行する処理を示した例示的かつ模式的なフローチャートである。

【図13】図１３は、実施形態にかかる対象マスタデータを利用してロボットを制御する制御システムの構成を示した例示的かつ模式的なブロック図である。

【図14】図１４は、実施形態にかかる制御システムが実行する処理を示した例示的かつ模式的なフローチャートである。

【図15】図１５は、実施形態にかかる対象マスタデータを利用する仮想店舗生成システムの構成を示した例示的かつ模式的なブロック図である。

【図16】図１６は、実施形態にかかる仮想店舗生成システムにより生成される仮想店舗を説明するための例示的かつ模式的な図である。

【図17】図１７は、実施形態にかかる仮想店舗生成システムが実行する処理を示した例示的かつ模式的なフローチャートである。

【図18】図１８は、実施形態にかかる仮想店舗を利用する商流システムを示した例示的かつ模式的なブロック図である。

【発明を実施するための形態】

【0027】

以下、本開示にかかるシステムおよび方法の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に制限されるものではない。

【0028】

また、本開示では、「第１」、「第２」などの序数が必要に応じて使用されるが、これらの序数は、識別の便宜のために使用されるものであり、特定の優先順位を示すものではない。

【0029】

図１は、実施形態にかかる対象デジタルツインモデル生成システム１００の構成を示した例示的かつ模式的なブロック図である。以下に説明するように、実施形態にかかる対象デジタルツインモデル生成システム１００は、対象の表面の三次元的な形状を示す情報と、対象の表面に付された色、文字、または図形などのような二次元的な情報と、をあわせて取得し統合することで、対象の外観の全てをコンピュータ可読な形で再現する対象デジタルツインモデルを生成するように構成される。

【0030】

図１に示されるように、対象デジタルツインモデル生成システム１００は、照明生成部１１０と、センサシステム１２０と、制御部１３０と、複数のスイッチＳＷ１～ＳＷ５を含んでいる。また、照明生成部１１０は、構造光パターン生成部１１１と、ＲＧＢスペクトラム生成部１１２と、ＳＷＩＲスペクトラム生成部１１３と、を含んでおり、センサシステム１２０は、プロジェクタ１２１と、ＳＷＩＲ光源１２２と、ＳＷＩＲカメラ１２３と、可視光カメラ１２４と、を含んでいる。なお、プロジェクタ１２１およびＳＷＩＲ光源１２２は、本開示の「光出力部」の一例であり、ＳＷＩＲカメラ１２３および可視光カメラ１２４は、本開示の「撮像部」の一例である。

【0031】

構造光パターン生成部１１１は、たとえばグレイコードのような構造化光パターンなどと呼ばれる面的な光の所定のパターンを生成する。また、ＲＧＢスペクトラム生成部１１２は、可視光の波長スペクトラム、より具体的には、Ｒ（赤）に対応した光の波長スペクトラムと、Ｇ（緑）に対応した光の波長スペクトラムと、Ｂ（青）に対応した光の波長スペクトラムと、を生成する。また、ＳＷＩＲスペクトラム生成部１１３は、非可視光の波長スペクトラム、より具体的にはＳＷＩＲ（短波赤外）に対応した光の波長スペクトラムを生成する。

【0032】

プロジェクタ１２１は、スイッチＳＷ１を介して構造光パターン生成部１１１に接続されているとともに、スイッチＳＷ２を介してＲＧＢスペクトラム生成部１１２に接続されている。これにより、プロジェクタ１２１は、スイッチＳＷ１がオンでスイッチＳＷ２がオフである場合に、構造光パターン生成部１１１により生成された所定のパターンの面的な光を出力し、スイッチＳＷ２がオンでスイッチＳＷ１がオフである場合に、ＲＧＢスペクトラム生成部１１２により生成された波長スペクトラムの可視光を出力する。また、ＳＷＩＲ光源１２２は、スイッチＳＷ３を介してＳＷＩＲスペクトラム生成部１１３に接続されている。これにより、ＳＷＩＲ光源１２２は、スイッチＳＷ３がオンである場合に、ＳＷＩＲスペクトラム生成部１１３により生成された波長スペクトラムの非可視光を出力する。

【0033】

ＳＷＩＲカメラ１２３は、非可視光をとらえるイメージセンサを含み、ＳＷＩＲ光源１２２により出力されたＳＷＩＲ光で照らされた対象を撮像する。ＳＷＩＲカメラ１２３は、スイッチＳＷ４を介して制御部１３０に接続されている。これにより、ＳＷＩＲカメラ１２３は、スイッチＳＷ４がオンである場合に、ＳＷＩＲ光で照らされた対象を示す画像データを制御部１３０に出力する。また、可視光カメラ１２４は、可視光をとらえるイメージセンサを含み、プロジェクタ１２１により出力された所定のパターンの面的な光またはＲＧＢ光で照らされた対象を撮像する。可視光カメラ１２４は、スイッチＳＷ５を介して制御部１３０に接続されている。これにより、可視光カメラ１２４は、スイッチＳＷ５がオンである場合に、所定のパターンの面的な光で照らされた対象を示す画像データ、またはＲＧＢ光で照らされた対象を示す画像データを制御部１３０に出力する。

【0034】

なお、図１に示される例では、可視光を出力するプロジェクタ１２１と非可視光を出力するＳＷＩＲ光源１２２とが別々に設けられているが、実施形態では、プロジェクタ１２１およびＳＷＩＲ光源１２２の組み合わせに代えて、可視光と非可視光との両方を出力可能な単一の光出力部が用いられてもよい。また、図１に示される例では、非可視光をとらえるＳＷＩＲカメラ１２３と可視光をとらえる可視光カメラ１２４とが別々に設けられているが、実施形態では、ＳＷＩＲカメラ１２３および可視光カメラ１２４の組み合わせに代えて、可視光と非可視光との両方をとらえることが可能な単一の撮像部が用いられてもよい。

【0035】

制御部１３０は、プロセッサのような制御回路を含み、照明生成部１１０、センサシステム１２０、およびスイッチＳＷ１～ＳＷ５を制御する。たとえば、制御部１３０は、破線の矢印Ａ１０１で示されるようにスイッチＳＷ１およびＳＷ５をオン（ただし他のスイッチはオフ）に設定することで、所定のパターンの面的な光で照らされた対象を示す画像データを可視光カメラ１２４から取得する。同様に、制御部１３０は、破線の矢印Ａ１０２で示されるようにスイッチＳＷ２およびＳＷ５をオン（ただし他のスイッチはオフ）に設定することで、ＲＧＢ光で照らされた対象を示す画像データを可視光カメラ１２４から取得する。また、制御部１３０は、破線の矢印Ａ１０３で示されるようにスイッチＳＷ３およびＳＷ４をオン（ただし他のスイッチはオフ）に設定することで、ＳＷＩＲ光で照らされた対象を示す画像データをＳＷＩＲカメラ１２３から取得する。

【0036】

より具体的に、制御部１３０は、次の図２に示されるようなタイミング制御を実行することで、対象デジタルツインモデルを生成するための３種類の画像データを取得する。

【0037】

図２は、実施形態にかかる制御部１３０が実行するタイミング制御の一例を示した例示的かつ模式的な図である。

【0038】

図２に示されるように、制御部１３０は、１回の撮像サイクルで３種類の撮像を実行し、３種類の画像データを取得する。まず、１種類目として、制御部１３０は、複数回のバースト信号に基づいてプロジェクタ１２１（および構造光パターン生成部１１１）と可視光カメラ１２４とを同期させ、構造化光パターンで連続的に照らされた対象の画像データを取得する。そして、２種類目として、制御部１３０は、プロジェクタ１２１（およびＲＧＢスペクトラム生成部１１２）と可視光カメラ１２４とを同期させ、ＲＧＢ光で照らされた対象の画像データを、たとえば露光時間を変えながら複数回取得し、取得した画像データを合成することで、ＨＤＲ（ハイダイナミックレンジ）の画像データを取得する。そして、３種類目として、制御部１３０は、ＳＷＩＲ光源１２２（およびＳＷＩＲスペクトラム生成部１１３）とＳＷＩＲカメラ１２３とを同期させ、ＳＷＩＲ光で照らされた対象の画像データを、たとえばＳＷＩＲ光の波長を変えながら複数回取得する。

【0039】

なお、図２に示されるタイミング制御は、あくまで一例である。実施形態では、所定のパターンの面的な光（構造化光パターン）で照らされた対象の画像データと、可視光（ＲＧＢ光）で照らされた対象の画像データと、非可視光（ＳＷＩＲ光）で照らされた対象の画像データと、を適切に取得することが可能であれば、撮像回数、撮像方式、または撮像順序などが必ずしも図２に示される通りでなくてもよい。

【0040】

ところで、対象の外観を網羅的に再現する対象デジタルツインモデルを生成するためには、ある１つの視点で上述した３種類の画像データを取得するだけでは十分でない。そこで、実施形態では、次の図３に示されるような形で、対象を取り囲む複数の視点で順次上述した３種類の画像データが取得される。

【0041】

図３は、実施形態にかかる対象の撮像を示した例示的かつ模式的な図である。

【0042】

図３に示されるように、センサシステム１２０は、たとえば制御部１３０の制御に基づくアクチュエータ（不図示）の駆動に応じて対象としての物品（物体）Ｘの全周にわたって（三次元的に）移動することで、物品Ｘを取り囲む複数の視点で上述した３種類の画像データを取得する。

【0043】

ここで、上述した３種類の画像データのうち、構造化光パターンで照らされた対象の画像データは、対象の表面の三次元的な形状を示す三次元データ、たとえば次の図４に示されるような点群データの取得に利用することができる。

【0044】

図４は、実施形態にかかる点群データを説明するための例示的かつ模式的な図である。

【0045】

図４に示される例において、画像４０１は、図３に示される物品Ｘに対応した点群データの一例を示しており、画像４０２は、画像４０１の一部の領域Ｒ４００を拡大して示している。点群データは、物品Ｘの表面の凹凸の分布を表すデータである。点群データをメッシュ化すれば、細かい複数の面からなるポリゴンメッシュデータを取得することができる。このポリゴンメッシュデータも、対象の表面の三次元的な形状を示す三次元データであるといえる。

【0046】

また、上述した３種類の画像データのうち、ＲＧＢ光で照らされた対象の画像データは、対象の表面の二次元的な外観を示す二次元データ、たとえば次の図５に示されるようなテクスチャデータの取得に利用することができる。

【0047】

図５は、実施形態にかかるテクスチャデータを説明するための例示的かつ模式的な図である。

【0048】

図５に示される例において、画像５００は、図３に示される物品Ｘに対応したテクスチャデータを示している。テクスチャデータは、物品Ｘの表面に付された色、文字、図形などを表すデータである。

【0049】

ここで、位置の整合を取った上でポリゴンメッシュデータにテクスチャデータを貼り付ければ、対象の外観の再現が期待できる。しかしながら、可視光領域において透明度の高い素材、たとえばＰＥＴ（ポリエチレンテレフタレート）素材のようなブラスチック材料を対象が含む場合、可視光での撮像だけでは対象の外観をうまく取得できない場合がある。

【0050】

そこで、実施形態は、上述した３種類の画像データのうち、ＳＷＩＲ光で照らされた対象の画像データに基づいて、さらなる二次元データとして、たとえば次の図６に示されるような、対象の表面の光吸収領域が可視化された光吸収特性データを取得する。

【0051】

図６は、実施形態にかかる光吸収特性データを説明するための例示的かつ模式的な図である。

【0052】

図６に示される例において、画像６００は、ＰＥＴ素材の吸収スペクトルに合致した波長スペクトルのＳＷＩＲ光により照らされた物品６１０をＳＷＩＲカメラ１２３により撮像することで得られる光吸収特性データの一例を示している。図６に示されるように、適切な波長スペクトルのＳＷＩＲ光を利用すれば、物品６１０のうちＰＥＴ素材が露出した部分６１１および６１３をシルエット化し、たとえば物品６１０に巻かれたラベル面に対応した部分６１２（および物品６１０のバックグランド）との差異を可視化することができる。

【0053】

なお、光吸収素材は、ＰＥＴ素材に限られない。このため、実施形態は、ＰＥＴ素材と異なる吸収スペクトルを有する光吸収素材からも光吸収特性データを適切に取得できるように、前述した通り、ＳＷＩＲ光による撮像を、ＳＷＩＲ光の波長を適宜変えながら複数回実行する（図２参照）。

【0054】

上述した三次元データおよび二次元データを組み合わせれば、次の図７に示されるような、対象の外観をそのまま再現するモデルＸ´を生成することができる。

【0055】

図７は、実施形態にかかる三次元データおよび二次元データを組み合わせたモデルＸ´を説明するための例示的かつ模式的な図である。

【0056】

図７に示される例において、画像７００は、図３に示される物品Ｘに対応した三次元データおよび二次元データを組み合わせたモデルＸ´をある視点で表した画像である。このモデルＸ´は、図４に示される点群データに基づくポリゴンメッシュデータに、図５に示されるテクスチャデータを、位置の整合を取った上で貼り付けることで生成される。

【0057】

ここで、図７に示されるモデルＸ´は、物品Ｘの外観を、表面形状が歪んだ領域（および当該領域に付された文字の歪み）も含めてそのまま再現している（たとえば、紙面左下の角部参照）。このため、三次元データおよび二次元データを単純に組み合わせても、対象の外観の全て（特に文字）をコンピュータ可読な形で再現できるとは限らない。しかしながら、対象の外観を文字も含めて全てコンピュータ可読な形で再現できれば、読み取った情報を様々なユースケース（具体例は後述する）で利用することができ、有益である。

【0058】

そこで、実施形態は、次の図８に示されるような方法で、表面形状の歪みを低減するように三次元データを補正し、補正後の三次元データを用いて、対象の外観の全てをコンピュータ可読な形で再現する対象デジタルツインモデルを生成する。

【0059】

図８は、実施形態にかかる三次元データの補正を説明するための例示的かつ模式的なブロック図である。

【0060】

図８に示されるように、実施形態にかかる制御部１３０は、生成器８１０と識別器８２０とを含むＧＡＮ（敵対的生成ネットワーク）を利用して、対象８００に基づいて得られる三次元データを補正する。

【0061】

より具体的に、生成器８１０は、ブロックＢ８１１において、三次元（３Ｄ）センシング、たとえば上述した構造化光パターンによる対象８００の撮像を実行する。そして、ブロックＢ８１２において、生成器８１０は、ブロックＢ８１１における３Ｄセンシングの結果としての画像データに基づいて、点群データを取得する。そして、ブロックＢ８１３において、生成器８１０は、ブロックＢ８１２において取得された点群データに基づいて、３Ｄポリゴンメッシュデータを取得する。

【0062】

また、生成器８１０は、ブロックＢ８１５において、二次元（２Ｄ）センシング、たとえば上述したＲＧＢ光による対象８００の撮像を実行する。そして、ブロックＢ８１６において、生成器８１０は、ブロックＢ８１５における２Ｄセンシングの結果としてのＲＧＢ画像を取得する。そして、ブロックＢ８１７において、生成器８１０は、ブロックＢ８１６において取得されたＲＧＢ画像に基づいて、テクスチャデータを取得する。

【0063】

そして、生成器８１０は、ブロックＢ８１４において、ブロックＢ８１３において取得されたポリゴンメッシュデータと、ブロックＢ８１７において取得されたテクスチャデータとを、位置の整合を取りながら統合したモデルを取得する。そして、生成器８１０は、ブロックＢ８１８において、ブロックＢ８１４において取得されたモデルから、ブロックＢ８１６において取得されたＲＧＢ画像と視点が同じレンダリング画像を取得する。

【0064】

そして、識別器８２０は、ブロックＢ８２１において、ブロックＢ８１６において取得されたＲＧＢ画像（第１外観画像）と、ブロックＢ８１８において取得されたレンダリング画像（第２外観画像）と、を比較する。そして、識別器８２０は、ブロックＢ８２１における比較に基づいて、差分がある領域を、ポリゴンメッシュデータ上で補正すべき領域として特定し、生成器８１０にフィードバックする。そして、生成器８１０は、ポリゴンメッシュデータを補正する。

【0065】

このような補正は、ＲＧＢ画像とレンダリング画像との差分が所定の閾値以下まで小さくなって無視できるレベルになるまで繰り返される。これにより、次の図９に示されるように、ポリゴンメッシュデータとテクスチャデータとを統合したモデルに含まれる歪みが補正され、対象８００の外観を文字も含めて全てコンピュータ可読な形で再現する対象デジタルツインモデルを生成することができる。

【0066】

図９は、実施形態にかかる三次元データの補正の結果を示した例示的かつ模式的な図である。

【0067】

図９に示される例において、画像９０１は、上述した三次元データの補正が実行される前のモデルに含まれうる、歪んだ文字（および図形）が付された領域を示しており、画像９０２は、上述した三次元データの補正を経て生成される対象デジタルツインモデルにおける、画像９０１に対応した領域を示している。図９に示されるように、上述した三次元データの補正によれば、歪んだ文字（および図形）をコンピュータ可読なレベルに補正することができる。

【0068】

上述した三次元データの補正を経て生成される対象デジタルツインモデルによれば、従来からある文字認識システムまたは画像認識システムを用いて、対象の表面に文字または図形として付加された付加情報を簡単に読み取ることができる。

【0069】

図１０は、実施形態にかかる付加情報を説明するための例示的かつ模式的な図である。

【0070】

図１０に示される例において、画像１００１は、図３に示される物品Ｘの対象デジタルツインモデルの一面（表面）を示しており、画像１００２は、図３に示される物品Ｘの対象デジタルツインモデルの、画像１００１で示される面とは反対側の面（裏面）を示している。図１０に示されるように、対象デジタルツインモデルからは、商標、商品の名前および説明、製造会社の名前および住所、および栄養成分などを付加情報として取得することができる。

【0071】

このように、対象デジタルツインモデルからは、様々な情報を取得することができる。これらの情報を一元化すれば、対象に関する包括的なデータベースとしての対象マスタデータを生成することができる。

【0072】

ところで、物流および商流プロセスを円滑に行うために、物品に関する情報をデータベース化することは従来も行われている。代表的な管理項目は、業種ごとに異なるものの、「商品ＩＤ」、「商品名」、「製造元」、「仕入先」、「販売元」、「カテゴリ」、「形状」、「色」、「仕入価格」、「目標販売価格」、「商品のサムネイル写真」などである。

【0073】

しかしながら、従来では、これらの管理項目のデータベース化作業が基本的に人手により行われており、多種多様な物品群に対するデータベース化作業の遅れが大きな課題となっている。

【0074】

また、従来、データベース化される管理項目は、主に物流および販売管理に向けた管理項目が主体であり、消費者目線またはマーケティング目線で有用な管理項目は、未だデータベースへの積極的な拡充対象とはなっていない。その理由として、物流および販売管理での利用に関する限りでは、上記のような限定的な管理項目のみで必要最小限の要件を満たせるという理由と、追加の情報源の確保および追加の管理項目のデータベース化にかかる膨大な工数、作業時間、およびコストが必要になる点が大きなネックとなるという理由と、が挙げられる。

【0075】

上記のような膨大な工数、作業時間、およびコストを許容すれば、物品に関する包括的なデータベースを部分的に実現できる可能性はあるが、一般に流通する物品の数が数百万点から数千万点にも及ぶことを考えると、上記のような膨大な工数、作業時間、およびコストを許容することは実質的に不可能といえる。

【0076】

これに対して、実施形態は、前述した対象デジタルツインモデル生成システム１００により、次の図１１に示されるような、対象に関する包括的なデータベースとしての対象マスタデータ１１００を簡単に生成することができるため、工数、作業時間、およびコストの面で従来よりも顕著に有利である。

【0077】

図１１は、実施形態にかかる対象マスタデータ１１００を説明するための例示的かつ模式的な図である。

【0078】

図１１に示されるように、実施形態にかかる対象マスタデータ１１００には、様々な項目１１０１～１１１５が登録されうる。

【0079】

項目１１０１～１１０３は、従来でも用いられている管理項目をもとにしたデータである。項目１１０１は、対象としての物品（物体、商品）に任意に割り当てられる識別情報である。項目１１０２は、商品の流通過程で活用される既存の商品コードである。項目１１０３は、既存の商品コードに対応付けられる各種の商品情報である。商品コードおよび商品情報は、文字認識システムまたは画像認識システムを用いて対象デジタルツインモデルから認識される、対象の表面に文字または図形として付加された上述した付加情報から取得することができる。

【0080】

項目１１０４～１１０８は、実施形態の技術に基づいて取得できる新規なデータである。項目１１０４は、上述した対象デジタルツインモデルに基づいて得られる、対象の表面の全周にわたる三次元的な形状を示すデータである。項目１１０５は、上述した対象デジタルツインモデルに基づいて得られる、対象の表面のテクスチャを示すデータである。項目１１０６および１１０７は、文字認識システムまたは画像認識システムを用いて対象デジタルツインモデルから認識される、対象の表面に文字または図形として付加された上述した付加情報である。項目１１０８は、項目１１０４～１１０７の変更があった場合に登録されうる情報である。

【0081】

ここで、項目１１０９～１１１６は、物流プロセスなどにおいてロボット１３１０（後述の図１３参照）による対象のハンドリング（ピッキング）が行われる際に特に有用なデータ群である。項目１１０９は、対象の最適な把持位置または領域に関するデータであり、項目１１１０は、物品（物体）において商品コードが存在する位置に関するデータである。項目１１１１は、物体の重心の位置を示すデータであり、項目１１１２は、物体の剛性または変形に関するデータであり、項目１１１３は、物体の表面の物性に関するデータである。項目１１１４は、物体の把持に最適なグリッパに関するデータであり、項目１１１５は、物体に含まれうる透明素材に関するデータである。項目１１１６は、物体において注意を払ってハンドリングを行うべき領域に関するデータである。これらのデータ群は、ロボット１３１０による対象のハンドリングのシミュレーションを実行し、対象の最適なハンドリングを学習した結果として得られるハンドリング情報である。なお、対象マスタデータ１１００を利用してロボット１３１０による対象のハンドリングを行う構成については後述するため、ここではこれ以上の説明を省略する。

【0082】

以上の構成により、実施形態による対象デジタルツインモデル生成システム１００は、次の図１２に示されるような流れで処理を実行する。

【0083】

図１２は、実施形態にかかる対象デジタルツインモデル生成システム１００が実行する処理を示した例示的かつ模式的なフローチャートである。

【0084】

図１２に示されるように、実施形態では、まず、ステップＳ１２０１において、制御部１３０は、照明生成部１１０およびセンサシステム１２０を用いた図２に示されるようなタイミング制御により、対象のセンシングを実行する。つまり、制御部１３０は、構造化光パターンで照らされた対象を示す画像データと、ＲＧＢ光で照らされた対象を示す画像データと、ＳＷＩＲ光で照らされた対象を示す画像データと、を取得する。

【0085】

そして、ステップＳ１２０２において、制御部１３０は、構造化光パターンで照らされた対象を示す画像データに基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データ（上述した点群データおよびポリゴンメッシュデータ）を取得する。

【0086】

そして、ステップＳ１２０３において、制御部１３０は、ＲＧＢ光で照らされた対象を示す画像データと、ＳＷＩＲ光で照らされた対象を示す画像データと、に基づいて、対象の全周にわたる二次元的な外観を示す二次元データ（上述したテクスチャデータおよび光吸収特性データ）を取得する。

【0087】

そして、ステップＳ１２０４において、制御部１３０は、上述した生成器８１０および識別器８２０を用いたＧＡＮにより、三次元データとしてのポリゴンメッシュデータを補正する。

【0088】

そして、ステップＳ１２０５において、制御部１３０は、補正後の三次元データと、二次元データとを、互いの位置を合わせながら統合することで、対象の外観を全て再現する対象デジタルツインモデルを生成する。

【0089】

そして、ステップＳ１２０６において、制御部１３０は、文字認識システムまたは画像認識システムを利用して、対象デジタルツインモデルの表面に文字または図形として付加された付加情報を認識する。

【0090】

そして、ステップＳ１２０７において、制御部１３０は、ロボット１３１０（後述の図１３参照）によるハンドリングのシミュレーションを実行し、対象デジタルツインモデルで表される対象の最適なハンドリングを実現するためのハンドリング情報を学習する。

【0091】

そして、ステップＳ１２０８において、制御部１３０は、上記の処理で得られた各種の情報をデータベース化し、対象マスタデータ１１００を生成する。そして、処理が終了する。

【0092】

以上説明したように、実施形態にかかる対象デジタルツインモデル生成システム１００は、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力する光出力部としてのプロジェクタ１２１およびＳＷＩＲ光源１２２を含んでいる。また、対象デジタルツインモデル生成システム１００は、面的な光で照らされた対象と、複数の波長の光で照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、面的な光および複数の波長の光がそれぞれ出力されるタイミングと同期して撮像する撮像部としてのＳＷＩＲカメラ１２３および可視光カメラ１２４を含んでいる。また、対象デジタルツインモデル生成システム１００は、プロジェクタ１２１、ＳＷＩＲ光源１２２、ＳＷＩＲカメラ１２３、および可視光カメラ１２４を制御する制御部１３０を含んでいる。制御部１３０は、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する。

【0093】

上記の構成によれば、三次元的な形状を示す情報と二次元的な情報とをあわせて取得し、対象デジタルツインモデルとして統合することで、対象の外観に関する情報を網羅的に取得することができる。

【0094】

ここで、実施形態において、制御部１３０は、可視光で照らされた対象の撮像結果に基づいて、対象の表面のテクスチャを示すテクスチャデータを上記の二次元データとして取得する。また、制御部１３０は、非可視光で照らされた対象の撮像結果に基づいて、対象の表面の光吸収領域が可視化された光吸収特性データを二次元データとして取得する。

【0095】

上記の構成によれば、対象の表面に光吸収領域が少なくとも部分的に存在する場合であっても、可視光と非可視光とを利用した２種類のデータにより、正確な二次元データを取得することができる。

【0096】

また、実施形態において、制御部１３０は、三次元データにテクスチャデータを貼り付けることで生成されるモデルから、ある視点での対象の外観を示す第１外観画像（図８のブロックＢ８１８参照）を生成する生成器８１０を含んでいる。また、制御部１３０は、生成器８１０により生成される第１外観画像と、可視光で照らされた対象の撮像結果から生成される、第１外観画像と同一の視点における対象の外観を示す第２外観画像（図８のブロックＢ８１６参照）と、の差を識別する識別器８２０を含んでいる。そして、制御部１３０は、生成器８１０および識別器８２０に基づいて、識別器８２０により識別される差が小さくなるように三次元データを補正し、補正後の三次元データと二次元データとを相互に対応付けることで、対象デジタルツインモデルを生成する。

【0097】

上記の構成によれば、三次元データの補正により対象デジタルツインモデルの表面の三次元的な形状の歪みが補正されることで、対象デジタルツインモデルの表面の二次元的な外観の歪みも補正されるので、対象デジタルツインモデルによる対象の再現性を向上させることができる。

【0098】

また、実施形態において、制御部１３０は、対象デジタルツインモデルから取得される対象の二次元的な外観に基づいて、対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が三次元データおよび二次元データとあわせて登録された対象に関する包括的なデータベースとしての対象マスタデータ１１００を生成する。

【0099】

上記の構成によれば、対象マスタデータ１１００を利用して、対象の外観に関する全ての情報を網羅的に管理することが可能になる。

【0100】

また、実施形態において、制御部１３０は、付加情報に基づいて、対象に対応付けられた商品コードおよび商品情報を取得し、取得した商品コードおよび商品情報を対象マスタデータ１１００にさらに登録する。

【0101】

上記の構成によれば、有用な情報としての商品コードおよび商品情報を対象マスタデータ１１００によって管理することができる。

【0102】

また、実施形態において、制御部１３０は、ロボット１３１０（後述の図１３参照）による対象のハンドリングのシミュレーションを実行することで、対象の最適な把持位置を含む、対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習したハンドリング情報を対象マスタデータ１１００にさらに登録する。

【0103】

上記の構成によれば、ロボット１３１０（後述の図１３参照）による対象のハンドリングを実行する際に特に有用なハンドリング情報も対象マスタデータ１１００によって一元的に管理することができる。

【0104】

以下、実施形態にかかる対象マスタデータ１１００の様々なユースケースについて例示する。

【0105】

まず、図１３および図１４を参照して、実施形態にかかる対象マスタデータ１１００を物流プロセスなどにおけるロボット１３１０によるハンドリングに利用するケースについて例示する。

【0106】

図１３は、実施形態にかかる対象マスタデータ１１００を利用してロボット１３１０を制御する制御システム１３２０の構成を示した例示的かつ模式的なブロック図である。

【0107】

図１３に示されるように、ロボット１３１０は、ロボットアームおよびグリッパ（いずれも不図示）を含み、複数のハンドリング対象１３００のうち任意に選択された１つにアプローチしてハンドリング対象１３００のハンドリングを行うことが可能なように構成される。

【0108】

制御システム１３２０は、センサ１３２１と、ロボット制御部１３２２と、を含んでいる。センサ１３２１は、ハンドリング対象１３００の外観に関する情報を検出するように構成される。このセンサ１３２１は、ハンドリング対象１３００に付加された商品コードおよび商品情報（上述した付加情報）を取得可能なレベルで外観に関する情報を検出できれば、どのようなセンサであってもよい。ロボット制御部１３２２は、プロセッサのような制御回路を含み、センサ１３２１から取得される情報と、上述した対象デジタルツインモデル生成システム１００から取得される対象マスタデータ１１００と、に基づいて、ハンドリング対象１３００を最適な形でハンドリングするようにロボット１３１０を制御する。

【0109】

なお、図１３に示される例では、センサ１３２１が制御システム１３２０に含まれているが、センサ１３２１は、ロボット１３１０に含まれていてもよい。また、図１３に示される例では、ロボット制御部１３２２が対象マスタデータ１１００を外部から取得しているが、対象マスタデータ１１００は、制御システム１３２０に予め記憶されていてもよい。

【0110】

図１４は、実施形態にかかる制御システム１３２０が実行する処理を示した例示的かつ模式的なフローチャートである。図１４に示される一連の処理は、たとえば、複数のハンドリング対象１３００の全てのハンドリングが完了するまで繰り返し実行されうる。

【0111】

図１４に示されるように、実施形態では、まず、ステップＳ１４０１において、ロボット制御部１３２２は、センサ１３２１によるセンシングを実行し、ハンドリング対象１３００の外観に関する情報を取得する。

【0112】

そして、ステップＳ１４０２において、ロボット制御部１３２２は、ステップＳ１４０１におけるセンシングの結果から、ハンドリング対象１３００に付された商品コードを取得する。

【0113】

そして、ステップＳ１４０３において、ロボット制御部１３２２は、ステップＳ１４０２において取得された商品コードが、対象マスタデータ１１００に登録された商品コードと一致するか否かを判定する。

【0114】

ステップＳ１４０３において、ステップＳ１４０２において取得された商品コードが、対象マスタデータ１１００に登録された商品コードと一致しないと判定された場合、ステップＳ１４０４に処理が進む。

【0115】

そして、ステップＳ１４０４において、ロボット制御部１３２２は、次のハンドリング対象１３００を選択する。このとき、複数のハンドリング対象１３００に全て同じ商品コードが付されていることが前提となっている場合は、誤った商品が混入していると判定し、誤った商品を取り出した上で、他のハンドリング対象１３００を選択する。また、複数のハンドリング対象１３００に異なる商品コードが付されている場合があることが前提となっている場合は、何らかのエラーが発生しただけであると判定し、他のハンドリング対象１３００を選択する。そして、処理が終了する。

【0116】

一方、ステップＳ１４０３において、ステップＳ１４０２において取得された商品コードが、対象マスタデータ１１００に登録された商品コードと一致すると判定された場合、ステップＳ１４０５に処理が進む。

【0117】

そして、ステップＳ１４０５において、ロボット制御部１３２２は、ステップＳ１４０１におけるセンシングの結果から、ハンドリング対象１３００に付加された付加情報としての商品情報を取得する。

【0118】

そして、ステップＳ１４０６において、ロボット制御部１３２２は、ステップＳ１４０５において取得された商品情報が、対象マスタデータ１１００に登録された付加情報としての商品情報と一致するか否かを判定する。

【0119】

ステップＳ１４０６において、ステップＳ１４０５において取得された商品情報が、対象マスタデータ１１００に登録された商品情報と一致すると判定された場合、ステップＳ１４０７に処理が進む。

【0120】

そして、ステップＳ１４０７において、ロボット制御部１３２２は、対象マスタデータ１１００に登録されたハンドリング情報に基づいてロボット１３１０を制御し、ハンドリング対象１３００に応じた最適な方法でハンドリング対象１３００のハンドリングを実行する。そして、処理が終了する。

【0121】

一方、ステップＳ１４０６において、ステップＳ１４０５において取得された商品情報が、対象マスタデータ１１００に登録された商品情報と一致しないと判定された場合、ステップＳ１４０８に処理が進む。この場合、製造ロットの変更または期間限定プロモーションなどの影響により商品情報に変更が発生したと判定できる。

【0122】

したがって、この場合、Ｓ１４０８において、ロボット制御部１３２２は、ステップＳ１４０５において取得された商品情報に基づいて、対象マスタデータ１１００を更新する。そして、ロボット制御部１３２２は、上記のステップＳ１４０７によるハンドリング対象１３００のハンドリングを実行する。そして、処理が終了する。

【0123】

以上説明したように、実施形態にかかるロボット１３１０の制御システム１３２０は、センサ１３２１と、ロボット制御部１３２２と、を含んでいる。センサ１３２１は、ロボット１３１０のハンドリング対象１３００の外観に関する情報を検出する。ロボット制御部１３２２は、ハンドリング対象１３００の外観に関する情報の検出結果と、上述した対象デジタルツインモデル生成システム１００から対象マスタデータ１１００のハンドリング情報と、に基づいて、ハンドリング対象１３００のハンドリングを実行するようにロボット１３１０を制御する。

【0124】

上記の構成によれば、対象マスタデータ１１００に登録されたハンドリング情報を利用して、ハンドリング対象１３００のハンドリングを適切に実行することができる。

【0125】

なお、実施形態において、ロボット制御部１３２２は、ハンドリング対象１３００の外観に関する情報の検出結果から、ハンドリング対象１３００に付加された商品コードを取得し、取得された商品コードが対象マスタデータ１１００に登録された商品コードと異なる場合、他のハンドリング対象１３００のハンドリングを実行するようにロボット１３１０を制御しうる。

【0126】

上記の構成によれば、商品コードを照合することで、誤ったハンドリング対象１３００のハンドリングが実行されるのを抑制することができる。

【0127】

また、実施形態において、ロボット制御部１３２２は、ハンドリング対象１３００の外観に関する情報の検出結果から取得された商品コードと対象マスタデータ１１００に登録された商品コードとが一致する場合、ハンドリング対象１３００の外観に関する情報の検出結果から、ハンドリング対象１３００の表面に付加された商品情報を取得し、取得された商品情報が対象マスタデータ１１００に登録された商品情報と異なる場合、取得された付加情報に基づいて対象マスタデータ１１００を更新しうる。

【0128】

上記の構成によれば、製造ロットの変更または期間限定プロモーションなどの影響による商品情報の変更に応じて、対象マスタデータ１１００に登録された商品情報も更新することができる。

【0129】

次に、図１５～図１７を参照して、実施形態にかかる対象マスタデータ１１００をＥＣ（電子商取引）事業における仮想店舗の提供に利用するケースについて例示する。

【0130】

図１５は、実施形態にかかる対象マスタデータ１１００を利用する仮想店舗生成システム１５００の構成を示した例示的かつ模式的なブロック図である。

【0131】

図１５に示されるように、仮想店舗生成システム１５００は、取得部１５１０と、仮想店舗生成部１５２０と、を含んでいる。取得部１５１０および仮想店舗生成部１５２０は、専用の回路によってハードウェア的に実現されてもよいし、仮想店舗生成システム１５００を統括的に制御する制御回路としてのプロセッサにより所定のコンピュータプログラムを実行した結果としてソフトウェア的に実現されてもよい。

【0132】

取得部１５１０は、上述した対象デジタルツインモデル生成システム１００から対象マスタデータ１１００を取得する。そして、仮想店舗生成部１５０２は、取得部１５１０により取得された対象マスタデータ１１００から生成される１以上の対象デジタルツインモデルを、仮想空間上で実店舗を模して陳列し、たとえば次の図１６に示されるような仮想店舗を生成する。

【0133】

図１６は、実施形態にかかる仮想店舗生成システム１５００により生成される仮想店舗を説明するための例示的かつ模式的な図である。

【0134】

図１６に示されるように、仮想店舗生成部１５０２は、対象デジタルツインモデルとしてモデル化された多数の商品が陳列された商品棚１６１０を、たとえばネットワーク経由でユーザ端末に視覚的に提供可能な形で仮想的に生成する。ユーザは、ユーザ端末に設けられるタッチパネルなどを用いて商品棚１６１０から商品を引き出す操作を行うことで、所望の商品１６２０を選択し、当該所望の商品１６２０の外観から得られる情報を詳細に確認することができる。

【0135】

図１７は、実施形態にかかる仮想店舗生成システム１５００が実行する処理を示した例示的かつ模式的なフローチャートである。

【0136】

図１７に示されるように、実施形態では、まず、ステップＳ１７０１において、取得部１５０１は、上述した対象デジタルツインモデル生成システム１００により生成される対象マスタデータ１１００を取得する。

【0137】

そして、ステップＳ１７０２において、仮想店舗生成部１５０２は、ステップＳ１７０１において取得された対象マスタデータ１１００から１以上の対象デジタルツインモデルを生成し、生成した対象デジタルツインモデルを仮想空間上で実店舗を模して陳列し、仮想店舗を生成する。そして、処理が終了する。

【0138】

以上説明したように、実施形態にかかる仮想店舗生成システム１５００は、取得部１５０１と、仮想店舗生成部１５０２と、を含んでいる。取得部１５０１は、上述した対象デジタルツインモデル生成システム１００から対象マスタデータ１１００を取得する。仮想店舗生成部１５０２は、取得部１５０１により取得された対象マスタデータ１１００に登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成する。

【0139】

上記の構成によれば、対象デジタルツインモデルおよび対象マスタデータ１１００を有効に活用して、実店舗を模した仮想店舗を容易に提供することができる。

【0140】

なお、前述したように、対象マスタデータ１１００は、対象の外観に関する情報を網羅している。このため、対象マスタデータ１１００を利用すれば、たとえば対象が食品である場合、ユーザ毎に存在する可能性のある忌避すべき特定のアレルギー物質の含有の有無の通知や、カロリーコントロールのための情報の通知、バランスの取れた食事のリコメンデーション、原産地、製造元、および素材などへのこだわりに対するリコメンデーション、または宗教上の理由で禁避しなくてはならない食材の含有の有無の通知、などといった有用な情報を適切に提供可能な仮想店舗も生成することができる。

【0141】

上記のような有用な情報は、医薬品または化粧品も含め、商品の種類毎に、法律あるいは業界ガイドラインなどに基づいて、パッケージに読み取り可能な文字または図形として付加されていることが一般的である。しかしながら、パッケージのサイズの都合上、有用な情報であっても、その情報を示す文字または図形の大きさは相対的に小さくなりがちであり、目をかなり近づけてみないと読み取れないことがある。ＥＣ事業では、実際の商品を手に取って確認する事ができないにもかかわらず、有用な情報がウェブサイトに必ずしも網羅的に掲載されていないという隠れた課題がある。

【0142】

これに対して、実施形態の技術によれば、実世界に存在する多種多様な物品の対象デジタルツインモデルを活用することによって得られる外観に関する詳細な情報が登録された対象マスタデータ１１００を活用し、ネットワークを介した仮想空間上で、あたかも実際に物品を手に取って眺め回すような体験をユーザに提供することが可能になる。加えて、実世界では困難な、小さい文字または図形の拡大を可能にするなど、従来にない斬新なＵＸ（ユーザエクスペリエンス）をユーザに提供することが可能になる。

【0143】

また、対象マスタデータ１１００に登録された情報はデジタル情報であるため、所望の物品に対する網羅的な検索、および個々のユーザに即した多彩なパーソナライズ設定をインタラクティブに実現することが可能になり、従来のＥＣサービスを大きく超えた斬新なサービスを導入することも可能になる。

【0144】

また、ユーザが仮想空間上で商品を手に取る行為をモニタリングすることで、ユーザの商品に対する関心の度合いをリアルタイムに計測することも可能になる。また、パッケージのデザインや内容量のバリエーションをいくつか用意することで、ユーザの購入に至る反応をインタラクティブに測定するＡＢテストなどを行うことも可能になるので、従来にない新規なリアルタイムマーケティング手法の実装、およびダイナミックな広告の挿入なども実現することが可能になる。

【0145】

さらに、仮想店舗はあくまで仮想空間上に構築されるものであるため、実店舗と同等またはそれ以上の膨大な数の商品群が高密度に陳列された仮想的な商品棚を物理的または経済的な制約なしに再現することも可能になる。これにより、実店舗を実際に設営しなくても、同様の体験を仮想空間上で効果的に得ることができるので、実店舗の建設予定地の確保、実店舗の建設、実店舗内への各種の設備の導入、従業員の手配、配送システムの整備、または在庫管理など、多くの問題から解放されうる。

【0146】

なお、実施形態の技術によれば、次の図１８に示されるように、実店舗１８１０と仮想店舗１８２０とを連携させることも可能である。

【0147】

図１８は、実施形態の技術により実店舗と仮想店舗との両方を利用して商流を管理する管理システム１８００を示した例示的かつ模式的なブロック図である。

【0148】

図１８に示されるように、管理システム１８００は、実店舗１８１０と仮想店舗１８２０とを連携させながら管理するように構成されている。このような構成によれば、戦略的に展開した実店舗１８１０を、仮想店舗１８２０で購入された商品の引き取りサービスの窓口として活用したり、近隣の顧客への配送拠点としても活用したりすることができる。これにより、実店舗での体験と仮想店舗での体験とが限りなくシームレスになり、事業者目線でも消費者目線でも利便性および経済的合理性が高い商流を実現することができる。

【0149】

以上、本開示のいくつかの実施形態を説明したが、これらの実施形態例は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲とに含まれる。

【符号の説明】

【0150】

１００ 対象デジタルツインモデル生成システム
１２１ プロジェクタ（光出力部）
１２２ ＳＷＩＲ光源（光出力部）
１２３ ＳＷＩＲカメラ（撮像部）
１２４ 可視光カメラ（撮像部）
１３０ 制御部
１１００ 対象マスタデータ
１３００ ハンドリング対象
１３１０ ロボット
１３２０ 制御システム
１３２１ センサ
１３２２ ロボット制御部
１５００ 仮想店舗生成システム
１５０１ 取得部
１５０２ 仮想店舗生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】