(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023062237
(43)【公開日】2023-05-08
(54)【発明の名称】対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法
(51)【国際特許分類】
G06T 7/55 20170101AFI20230426BHJP
B25J 13/08 20060101ALI20230426BHJP
【FI】
G06T7/55
B25J13/08 A
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021172085
(22)【出願日】2021-10-21
(71)【出願人】
【識別番号】517412309
【氏名又は名称】アセントロボティクス株式会社
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100170209
【弁理士】
【氏名又は名称】林 陽和
(72)【発明者】
【氏名】久夛良木 健
【テーマコード(参考)】
3C707
5L096
【Fターム(参考)】
3C707KT01
3C707KT03
3C707KT11
3C707LS20
3C707LW12
5L096BA05
5L096CA05
5L096DA02
5L096FA06
5L096FA14
5L096FA67
5L096FA69
(57)【要約】
【課題】対象の外観に関する情報を網羅的に取得する。
【解決手段】システムは、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力し、面的な光で照らされた対象と、複数の波長の光で順次照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、光が出力されるタイミングと同期して個別に撮像し、光出力部と撮像部とを制御し、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から前記対象に対してそれぞれ異なるタイミングで出力する光出力部と、
前記面的な光で照らされた前記対象と、前記複数の波長の光で順次照らされた前記対象とを、前記複数の照明位置に対応した複数の撮像位置で、前記面的な光および前記複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像する撮像部と、
前記光出力部と前記撮像部とを制御する制御部であって、前記面的な光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、前記複数の波長の光で順次照らされた前記対象の撮像結果に基づいて、前記複数の撮像位置から見た前記対象の全周にわたる二次元的な外観を示す二次元データを取得し、前記三次元データと前記二次元データとを相互に対応付けることで、前記対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する制御部と、
を備える、対象デジタルツインモデル生成システム。
【請求項2】
前記制御部は、前記可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面のテクスチャを示すテクスチャデータを前記二次元データとして取得し、前記非可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の光吸収領域が可視化された光吸収特性データを前記二次元データとして取得する、
請求項1に記載の対象デジタルツインモデル生成システム。
【請求項3】
前記制御部は、前記三次元データに前記テクスチャデータを貼り付けることで生成されるモデルから、ある視点での前記対象の外観を示す第1外観画像を生成する生成器と、前記生成器により生成される前記第1外観画像と、前記可視光で照らされた前記対象の撮像結果から生成される、前記第1外観画像と同一の視点における前記対象の外観を示す第2外観画像と、の差を識別する識別器と、に基づいて、前記識別器により識別される差が小さくなるように前記三次元データを補正し、補正後の前記三次元データと前記二次元データとを相互に対応付けることで、前記対象デジタルツインモデルを生成する、
請求項2に記載の対象デジタルツインモデル生成システム。
【請求項4】
前記制御部は、前記対象デジタルツインモデルから取得される前記対象の二次元的な外観に基づいて、前記対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が前記三次元データおよび前記二次元データとあわせて登録された前記対象に関する包括的なデータベースとしての対象マスタデータを生成する、
請求項3に記載の対象デジタルツインモデル生成システム。
【請求項5】
前記制御部は、前記付加情報に基づいて、前記対象に対応付けられた商品コードおよび商品情報を取得し、取得した前記商品コードおよび前記商品情報を前記対象マスタデータにさらに登録する、
請求項4に記載の対象デジタルツインモデル生成システム。
【請求項6】
前記制御部は、ロボットによる前記対象のハンドリングのシミュレーションを実行することで、前記対象の最適な把持位置を含む、前記対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習した前記ハンドリング情報を前記対象マスタデータにさらに登録する、
請求項5に記載の対象デジタルツインモデル生成システム。
【請求項7】
ロボットのハンドリング対象の外観に関する情報を検出するセンサと、
前記ハンドリング対象の外観に関する情報の検出結果と、請求項6に記載の対象デジタルツインモデル生成システムから取得される前記対象マスタデータの前記ハンドリング情報と、に基づいて、前記ハンドリング対象のハンドリングを実行するように前記ロボットを制御するロボット制御部と、
を備える、ロボットの制御システム。
【請求項8】
前記ロボット制御部は、前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象に付加された商品コードを取得し、取得された前記商品コードが前記対象マスタデータに登録された前記商品コードと異なる場合、他のハンドリング対象のハンドリングを実行するように前記ロボットを制御する、
請求項7に記載のロボットの制御システム。
【請求項9】
前記ロボット制御部は、前記ハンドリング対象の外観に関する情報の検出結果から取得された前記商品コードと前記対象マスタデータに登録された前記商品コードとが一致する場合、前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象の表面に付加された商品情報を取得し、取得された前記商品情報が前記対象マスタデータに登録された前記商品情報と異なる場合、取得された前記商品情報に基づいて前記対象マスタデータを更新する、
請求項8に記載のロボットの制御システム。
【請求項10】
請求項5に記載の対象デジタルツインモデル生成システムから前記対象マスタデータを取得する取得部と、
前記取得部により取得された前記対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成する仮想店舗生成部と、
を備える、仮想店舗生成システム。
【請求項11】
所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から前記対象に対してそれぞれ異なるタイミングで出力することと、
前記面的な光で照らされた前記対象と、前記複数の波長の光で順次照らされた前記対象とを、前記複数の照明位置に対応した複数の撮像位置で、前記面的な光および前記複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像することと、
前記出力することと前記撮像することとを制御し、前記面的な光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、前記複数の波長の光で順次照らされた前記対象の撮像結果に基づいて、前記複数の撮像位置から見た前記対象の全周にわたる二次元的な外観を示す二次元データを取得し、前記三次元データと前記二次元データとを相互に対応付けることで、前記対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成することと、
を備える、対象デジタルツインモデル生成方法。
【請求項12】
前記可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面のテクスチャを示すテクスチャデータを前記二次元データとして取得し、前記非可視光で照らされた前記対象の撮像結果に基づいて、前記対象の表面の光吸収領域が可視化された光吸収特性データを前記二次元データとして取得すること
を備える、請求項11に記載の対象デジタルツインモデル生成方法。
【請求項13】
前記三次元データに前記テクスチャデータを貼り付けることで生成されるモデルから、ある視点での前記対象の外観を示す第1外観画像を生成する生成器と、前記生成器により生成される前記第1外観画像と、前記可視光で照らされた前記対象の撮像結果から生成される、前記第1外観画像と同一の視点における前記対象の外観を示す第2外観画像と、の差を識別する識別器と、に基づいて、前記識別器により識別される差が小さくなるように前記三次元データを補正し、補正後の前記三次元データと前記二次元データとを相互に対応付けることで、前記対象デジタルツインモデルを生成すること
を備える、請求項12に記載の対象デジタルツインモデル生成方法。
【請求項14】
前記対象デジタルツインモデルから取得される前記対象の二次元的な外観に基づいて、前記対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が前記三次元データおよび前記二次元データとあわせて登録された前記対象に関する包括的なデータベースとしての対象マスタデータを生成すること
を備える、請求項13に記載の対象デジタルツインモデル生成方法。
【請求項15】
前記付加情報に基づいて、前記対象に対応付けられた商品コードおよび商品情報を取得し、取得した前記商品コードおよび前記商品情報を前記対象マスタデータにさらに登録すること
を備える、請求項14に記載の対象デジタルツインモデル生成方法。
【請求項16】
ロボットによる前記対象のハンドリングのシミュレーションを実行することで、前記対象の最適な把持位置を含む、前記対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習した前記ハンドリング情報を前記対象マスタデータにさらに登録すること、
を備える、請求項15に記載の対象デジタルツインモデル生成方法。
【請求項17】
ロボットのハンドリング対象の外観に関する情報を検出することと、
前記ハンドリング対象の外観に関する情報の検出結果と、請求項16に記載の対象デジタルツインモデル生成方法により取得される前記対象マスタデータの前記ハンドリング情報と、に基づいて、前記ハンドリング対象のハンドリングを実行するように前記ロボットを制御することと、
を備える、ロボットの制御方法。
【請求項18】
前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象に付加された商品コードを取得し、取得された前記商品コードと前記対象マスタデータに登録された前記商品コードとが異なる場合、他のハンドリング対象のハンドリングを実行するように前記ロボットを制御すること
を備える、請求項17に記載のロボットの制御方法。
【請求項19】
前記ハンドリング対象の外観に関する情報の検出結果から取得された前記商品コードと前記対象マスタデータに登録された前記商品コードとが一致する場合、前記ハンドリング対象の外観に関する情報の検出結果から、前記ハンドリング対象の表面に付加された商品情報を取得し、取得された前記商品情報と前記対象マスタデータに登録された前記商品情報とが異なる場合、取得された前記商品情報に基づいて前記対象マスタデータを更新すること
を備える、請求項18に記載のロボットの制御方法。
【請求項20】
請求項15に記載の対象デジタルツインモデル生成方法により前記対象マスタデータを取得することと、
取得された前記対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成することと、
を備える、仮想店舗生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象デジタルツインモデル生成システム、ロボットの制御システム、仮想店舗生成システム、対象デジタルツインモデル生成方法、ロボットの制御方法、および仮想店舗生成方法に関する。
【背景技術】
【0002】
従来、構造化光パターンなどと呼ばれる所定のパターンの面的な光が投影された対象を撮像することで、対象の表面の凹凸のような三次元的な形状を示す情報を取得する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、対象の外観に関する情報は、上記のような三次元的な形状を示す情報だけには限られない。たとえば、対象の表面は、色、文字、または図形などのような二次元的な情報を含んでいる場合がある。このため、三次元的な形状を示す情報と二次元的な情報とをあわせて取得し、対象の外観に関する情報を網羅的に取得することが望まれる。
【0005】
そこで、本開示が解決しようとする課題の一つは、対象の外観に関する情報を網羅的に取得することが可能な対象デジタルツインモデル生成システムおよび対象デジタルツインモデル生成方法と、これらを活用したロボットの制御システム、ロボットの制御方法、仮想店舗生成システム、および仮想店舗生成方法と、を提供することである。
【課題を解決するための手段】
【0006】
本開示の一例としての対象デジタルツインモデル生成システムは、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力する光出力部と、面的な光で照らされた対象と、複数の波長の光で順次照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、面的な光および複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像する撮像部と、光出力部と撮像部とを制御する制御部であって、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する制御部と、を備える。
【0007】
上述した対象デジタルツインモデル生成システムにおいて、制御部は、可視光で照らされた対象の撮像結果に基づいて、対象の表面のテクスチャを示すテクスチャデータを二次元データとして取得し、非可視光で照らされた対象の撮像結果に基づいて、対象の表面の光吸収領域が可視化された光吸収特性データを二次元データとして取得する。
【0008】
また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、三次元データにテクスチャデータを貼り付けることで生成されるモデルから、ある視点での対象の外観を示す第1外観画像を生成する生成器と、生成器により生成される第1外観画像と、可視光で照らされた対象の撮像結果から生成される、第1外観画像と同一の視点における対象の外観を示す第2外観画像と、の差を識別する識別器と、に基づいて、識別器により識別される差が小さくなるように三次元データを補正し、補正後の三次元データと二次元データとを相互に対応付けることで、対象デジタルツインモデルを生成する。
【0009】
また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、対象デジタルツインモデルから取得される対象の二次元的な外観に基づいて、対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が三次元データおよび二次元データとあわせて登録された対象に関する包括的なデータベースとしての対象マスタデータを生成する。
【0010】
また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、付加情報に基づいて、対象に対応付けられた商品コードおよび商品情報を取得し、取得した商品コードおよび商品情報を対象マスタデータにさらに登録する。
【0011】
また、上述した対象デジタルツインモデル生成システムにおいて、制御部は、ロボットによる対象のハンドリングのシミュレーションを実行することで、対象の最適な把持位置を含む、対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習したハンドリング情報を対象マスタデータにさらに登録する。
【0012】
本開示の他の一例としてのロボットの制御システムは、ロボットのハンドリング対象の外観に関する情報を検出するセンサと、ハンドリング対象の外観に関する情報の検出結果と、上述した対象デジタルツインモデル生成システムから取得される対象マスタデータのハンドリング情報と、に基づいて、ハンドリング対象のハンドリングを実行するようにロボットを制御するロボット制御部と、を備える。
【0013】
上述したロボットの制御システムにおいて、ロボット制御部は、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象に付加された商品コードを取得し、取得された商品コードが対象マスタデータに登録された商品コードと異なる場合、他のハンドリング対象のハンドリングを実行するようにロボットを制御する。
【0014】
また、上述したロボットの制御システムにおいて、ロボット制御部は、ハンドリング対象の外観に関する情報の検出結果から取得された商品コードと対象マスタデータに登録された商品コードとが一致する場合、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象の表面に付加された商品情報を取得し、取得された商品情報が対象マスタデータに登録された商品情報と異なる場合、取得された商品情報に基づいて対象マスタデータを更新する。
【0015】
本開示のさらに他の一例としての仮想店舗生成システムは、上述した対象デジタルツインモデル生成システムから対象マスタデータを取得する取得部と、取得部により取得された対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成する仮想店舗生成部と、を備える。
【0016】
本開示のさらに他の一例としての対象デジタルツインモデル生成方法は、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力することと、面的な光で照らされた対象と、複数の波長の光で順次照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、面的な光および複数の波長の光がそれぞれ出力されるタイミングと同期して個別に撮像することと、出力することと撮像することとを制御し、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成することと、を備える。
【0017】
上述した対象デジタルツインモデル生成方法は、可視光で照らされた対象の撮像結果に基づいて、対象の表面のテクスチャを示すテクスチャデータを二次元データとして取得し、非可視光で照らされた対象の撮像結果に基づいて、対象の表面の光吸収領域が可視化された光吸収特性データを二次元データとして取得することを備える。
【0018】
また、上述した対象デジタルツインモデル生成方法は、三次元データにテクスチャデータを貼り付けることで生成されるモデルから、ある視点での対象の外観を示す第1外観画像を生成する生成器と、生成器により生成される第1外観画像と、可視光で照らされた対象の撮像結果から生成される、第1外観画像と同一の視点における対象の外観を示す第2外観画像と、の差を識別する識別器と、に基づいて、識別器により識別される差が小さくなるように三次元データを補正し、補正後の三次元データと二次元データとを相互に対応付けることで、対象デジタルツインモデルを生成することを備える。
【0019】
また、上述した対象デジタルツインモデル生成方法は、対象デジタルツインモデルから取得される対象の二次元的な外観に基づいて、対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が三次元データおよび二次元データとあわせて登録された対象に関する包括的なデータベースとしての対象マスタデータを生成することを備える。
【0020】
また、上述した対象デジタルツインモデル生成方法は、付加情報に基づいて、対象に対応付けられた商品コードおよび商品情報を取得し、取得した商品コードおよび商品情報を対象マスタデータにさらに登録することを備える。
【0021】
また、上述した対象デジタルツインモデル生成方法は、ロボットによる対象のハンドリングのシミュレーションを実行することで、対象の最適な把持位置を含む、対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習したハンドリング情報を対象マスタデータにさらに登録することを備える。
【0022】
本開示のさらに他の一例としてのロボットの制御方法は、ロボットのハンドリング対象の外観に関する情報を検出することと、ハンドリング対象の外観に関する情報の検出結果と、上述した対象デジタルツインモデル生成方法により取得される対象マスタデータのハンドリング情報と、に基づいて、ハンドリング対象のハンドリングを実行するようにロボットを制御することと、を備える。
【0023】
上述したロボットの制御方法は、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象に付加された商品コードを取得し、取得された商品コードと対象マスタデータに登録された商品コードとが異なる場合、他のハンドリング対象のハンドリングを実行するようにロボットを制御することを備える。
【0024】
また、上述したロボットの制御方法は、ハンドリング対象の外観に関する情報の検出結果から取得された商品コードと対象マスタデータに登録された商品コードとが一致する場合、ハンドリング対象の外観に関する情報の検出結果から、ハンドリング対象の表面に付加された商品情報を取得し、取得された商品情報と対象マスタデータに登録された商品情報とが異なる場合、取得された商品情報に基づいて対象マスタデータを更新することを備える。
【0025】
本開示のさらに他の一例としての仮想店舗生成方法は、上述した対象デジタルツインモデル生成方法により対象マスタデータを取得することと、取得された対象マスタデータに登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成することと、を備える。
【図面の簡単な説明】
【0026】
【
図1】
図1は、実施形態にかかる対象デジタルツインモデル生成システムの構成を示した例示的かつ模式的なブロック図である。
【
図2】
図2は、実施形態にかかる制御部が実行するタイミング制御の一例を示した例示的かつ模式的な図である。
【
図3】
図3は、実施形態にかかる対象の撮像を示した例示的かつ模式的な図である。
【
図4】
図4は、実施形態にかかる点群データを説明するための例示的かつ模式的な図である。
【
図5】
図5は、実施形態にかかるテクスチャデータを説明するための例示的かつ模式的な図である。
【
図6】
図6は、実施形態にかかる光吸収特性データを説明するための例示的かつ模式的な図である。
【
図7】
図7は、実施形態にかかる三次元データおよび二次元データを組み合わせたモデルを説明するための例示的かつ模式的な図である。
【
図8】
図8は、実施形態にかかる三次元データの補正を説明するための例示的かつ模式的なブロック図である。
【
図9】
図9は、実施形態にかかる三次元データの補正の結果を示した例示的かつ模式的な図である。
【
図10】
図10は、実施形態にかかる付加情報を説明するための例示的かつ模式的な図である。
【
図11】
図11は、実施形態にかかる対象マスタデータを説明するための例示的かつ模式的な図である。
【
図12】
図12は、実施形態にかかる対象デジタルツインモデル生成システムが実行する処理を示した例示的かつ模式的なフローチャートである。
【
図13】
図13は、実施形態にかかる対象マスタデータを利用してロボットを制御する制御システムの構成を示した例示的かつ模式的なブロック図である。
【
図14】
図14は、実施形態にかかる制御システムが実行する処理を示した例示的かつ模式的なフローチャートである。
【
図15】
図15は、実施形態にかかる対象マスタデータを利用する仮想店舗生成システムの構成を示した例示的かつ模式的なブロック図である。
【
図16】
図16は、実施形態にかかる仮想店舗生成システムにより生成される仮想店舗を説明するための例示的かつ模式的な図である。
【
図17】
図17は、実施形態にかかる仮想店舗生成システムが実行する処理を示した例示的かつ模式的なフローチャートである。
【
図18】
図18は、実施形態にかかる仮想店舗を利用する商流システムを示した例示的かつ模式的なブロック図である。
【発明を実施するための形態】
【0027】
以下、本開示にかかるシステムおよび方法の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に制限されるものではない。
【0028】
また、本開示では、「第1」、「第2」などの序数が必要に応じて使用されるが、これらの序数は、識別の便宜のために使用されるものであり、特定の優先順位を示すものではない。
【0029】
図1は、実施形態にかかる対象デジタルツインモデル生成システム100の構成を示した例示的かつ模式的なブロック図である。以下に説明するように、実施形態にかかる対象デジタルツインモデル生成システム100は、対象の表面の三次元的な形状を示す情報と、対象の表面に付された色、文字、または図形などのような二次元的な情報と、をあわせて取得し統合することで、対象の外観の全てをコンピュータ可読な形で再現する対象デジタルツインモデルを生成するように構成される。
【0030】
図1に示されるように、対象デジタルツインモデル生成システム100は、照明生成部110と、センサシステム120と、制御部130と、複数のスイッチSW1~SW5を含んでいる。また、照明生成部110は、構造光パターン生成部111と、RGBスペクトラム生成部112と、SWIRスペクトラム生成部113と、を含んでおり、センサシステム120は、プロジェクタ121と、SWIR光源122と、SWIRカメラ123と、可視光カメラ124と、を含んでいる。なお、プロジェクタ121およびSWIR光源122は、本開示の「光出力部」の一例であり、SWIRカメラ123および可視光カメラ124は、本開示の「撮像部」の一例である。
【0031】
構造光パターン生成部111は、たとえばグレイコードのような構造化光パターンなどと呼ばれる面的な光の所定のパターンを生成する。また、RGBスペクトラム生成部112は、可視光の波長スペクトラム、より具体的には、R(赤)に対応した光の波長スペクトラムと、G(緑)に対応した光の波長スペクトラムと、B(青)に対応した光の波長スペクトラムと、を生成する。また、SWIRスペクトラム生成部113は、非可視光の波長スペクトラム、より具体的にはSWIR(短波赤外)に対応した光の波長スペクトラムを生成する。
【0032】
プロジェクタ121は、スイッチSW1を介して構造光パターン生成部111に接続されているとともに、スイッチSW2を介してRGBスペクトラム生成部112に接続されている。これにより、プロジェクタ121は、スイッチSW1がオンでスイッチSW2がオフである場合に、構造光パターン生成部111により生成された所定のパターンの面的な光を出力し、スイッチSW2がオンでスイッチSW1がオフである場合に、RGBスペクトラム生成部112により生成された波長スペクトラムの可視光を出力する。また、SWIR光源122は、スイッチSW3を介してSWIRスペクトラム生成部113に接続されている。これにより、SWIR光源122は、スイッチSW3がオンである場合に、SWIRスペクトラム生成部113により生成された波長スペクトラムの非可視光を出力する。
【0033】
SWIRカメラ123は、非可視光をとらえるイメージセンサを含み、SWIR光源122により出力されたSWIR光で照らされた対象を撮像する。SWIRカメラ123は、スイッチSW4を介して制御部130に接続されている。これにより、SWIRカメラ123は、スイッチSW4がオンである場合に、SWIR光で照らされた対象を示す画像データを制御部130に出力する。また、可視光カメラ124は、可視光をとらえるイメージセンサを含み、プロジェクタ121により出力された所定のパターンの面的な光またはRGB光で照らされた対象を撮像する。可視光カメラ124は、スイッチSW5を介して制御部130に接続されている。これにより、可視光カメラ124は、スイッチSW5がオンである場合に、所定のパターンの面的な光で照らされた対象を示す画像データ、またはRGB光で照らされた対象を示す画像データを制御部130に出力する。
【0034】
なお、
図1に示される例では、可視光を出力するプロジェクタ121と非可視光を出力するSWIR光源122とが別々に設けられているが、実施形態では、プロジェクタ121およびSWIR光源122の組み合わせに代えて、可視光と非可視光との両方を出力可能な単一の光出力部が用いられてもよい。また、
図1に示される例では、非可視光をとらえるSWIRカメラ123と可視光をとらえる可視光カメラ124とが別々に設けられているが、実施形態では、SWIRカメラ123および可視光カメラ124の組み合わせに代えて、可視光と非可視光との両方をとらえることが可能な単一の撮像部が用いられてもよい。
【0035】
制御部130は、プロセッサのような制御回路を含み、照明生成部110、センサシステム120、およびスイッチSW1~SW5を制御する。たとえば、制御部130は、破線の矢印A101で示されるようにスイッチSW1およびSW5をオン(ただし他のスイッチはオフ)に設定することで、所定のパターンの面的な光で照らされた対象を示す画像データを可視光カメラ124から取得する。同様に、制御部130は、破線の矢印A102で示されるようにスイッチSW2およびSW5をオン(ただし他のスイッチはオフ)に設定することで、RGB光で照らされた対象を示す画像データを可視光カメラ124から取得する。また、制御部130は、破線の矢印A103で示されるようにスイッチSW3およびSW4をオン(ただし他のスイッチはオフ)に設定することで、SWIR光で照らされた対象を示す画像データをSWIRカメラ123から取得する。
【0036】
より具体的に、制御部130は、次の
図2に示されるようなタイミング制御を実行することで、対象デジタルツインモデルを生成するための3種類の画像データを取得する。
【0037】
図2は、実施形態にかかる制御部130が実行するタイミング制御の一例を示した例示的かつ模式的な図である。
【0038】
図2に示されるように、制御部130は、1回の撮像サイクルで3種類の撮像を実行し、3種類の画像データを取得する。まず、1種類目として、制御部130は、複数回のバースト信号に基づいてプロジェクタ121(および構造光パターン生成部111)と可視光カメラ124とを同期させ、構造化光パターンで連続的に照らされた対象の画像データを取得する。そして、2種類目として、制御部130は、プロジェクタ121(およびRGBスペクトラム生成部112)と可視光カメラ124とを同期させ、RGB光で照らされた対象の画像データを、たとえば露光時間を変えながら複数回取得し、取得した画像データを合成することで、HDR(ハイダイナミックレンジ)の画像データを取得する。そして、3種類目として、制御部130は、SWIR光源122(およびSWIRスペクトラム生成部113)とSWIRカメラ123とを同期させ、SWIR光で照らされた対象の画像データを、たとえばSWIR光の波長を変えながら複数回取得する。
【0039】
なお、
図2に示されるタイミング制御は、あくまで一例である。実施形態では、所定のパターンの面的な光(構造化光パターン)で照らされた対象の画像データと、可視光(RGB光)で照らされた対象の画像データと、非可視光(SWIR光)で照らされた対象の画像データと、を適切に取得することが可能であれば、撮像回数、撮像方式、または撮像順序などが必ずしも
図2に示される通りでなくてもよい。
【0040】
ところで、対象の外観を網羅的に再現する対象デジタルツインモデルを生成するためには、ある1つの視点で上述した3種類の画像データを取得するだけでは十分でない。そこで、実施形態では、次の
図3に示されるような形で、対象を取り囲む複数の視点で順次上述した3種類の画像データが取得される。
【0041】
図3は、実施形態にかかる対象の撮像を示した例示的かつ模式的な図である。
【0042】
図3に示されるように、センサシステム120は、たとえば制御部130の制御に基づくアクチュエータ(不図示)の駆動に応じて対象としての物品(物体)Xの全周にわたって(三次元的に)移動することで、物品Xを取り囲む複数の視点で上述した3種類の画像データを取得する。
【0043】
ここで、上述した3種類の画像データのうち、構造化光パターンで照らされた対象の画像データは、対象の表面の三次元的な形状を示す三次元データ、たとえば次の
図4に示されるような点群データの取得に利用することができる。
【0044】
図4は、実施形態にかかる点群データを説明するための例示的かつ模式的な図である。
【0045】
図4に示される例において、画像401は、
図3に示される物品Xに対応した点群データの一例を示しており、画像402は、画像401の一部の領域R400を拡大して示している。点群データは、物品Xの表面の凹凸の分布を表すデータである。点群データをメッシュ化すれば、細かい複数の面からなるポリゴンメッシュデータを取得することができる。このポリゴンメッシュデータも、対象の表面の三次元的な形状を示す三次元データであるといえる。
【0046】
また、上述した3種類の画像データのうち、RGB光で照らされた対象の画像データは、対象の表面の二次元的な外観を示す二次元データ、たとえば次の
図5に示されるようなテクスチャデータの取得に利用することができる。
【0047】
図5は、実施形態にかかるテクスチャデータを説明するための例示的かつ模式的な図である。
【0048】
図5に示される例において、画像500は、
図3に示される物品Xに対応したテクスチャデータを示している。テクスチャデータは、物品Xの表面に付された色、文字、図形などを表すデータである。
【0049】
ここで、位置の整合を取った上でポリゴンメッシュデータにテクスチャデータを貼り付ければ、対象の外観の再現が期待できる。しかしながら、可視光領域において透明度の高い素材、たとえばPET(ポリエチレンテレフタレート)素材のようなブラスチック材料を対象が含む場合、可視光での撮像だけでは対象の外観をうまく取得できない場合がある。
【0050】
そこで、実施形態は、上述した3種類の画像データのうち、SWIR光で照らされた対象の画像データに基づいて、さらなる二次元データとして、たとえば次の
図6に示されるような、対象の表面の光吸収領域が可視化された光吸収特性データを取得する。
【0051】
図6は、実施形態にかかる光吸収特性データを説明するための例示的かつ模式的な図である。
【0052】
図6に示される例において、画像600は、PET素材の吸収スペクトルに合致した波長スペクトルのSWIR光により照らされた物品610をSWIRカメラ123により撮像することで得られる光吸収特性データの一例を示している。
図6に示されるように、適切な波長スペクトルのSWIR光を利用すれば、物品610のうちPET素材が露出した部分611および613をシルエット化し、たとえば物品610に巻かれたラベル面に対応した部分612(および物品610のバックグランド)との差異を可視化することができる。
【0053】
なお、光吸収素材は、PET素材に限られない。このため、実施形態は、PET素材と異なる吸収スペクトルを有する光吸収素材からも光吸収特性データを適切に取得できるように、前述した通り、SWIR光による撮像を、SWIR光の波長を適宜変えながら複数回実行する(
図2参照)。
【0054】
上述した三次元データおよび二次元データを組み合わせれば、次の
図7に示されるような、対象の外観をそのまま再現するモデルX´を生成することができる。
【0055】
図7は、実施形態にかかる三次元データおよび二次元データを組み合わせたモデルX´を説明するための例示的かつ模式的な図である。
【0056】
図7に示される例において、画像700は、
図3に示される物品Xに対応した三次元データおよび二次元データを組み合わせたモデルX´をある視点で表した画像である。このモデルX´は、
図4に示される点群データに基づくポリゴンメッシュデータに、
図5に示されるテクスチャデータを、位置の整合を取った上で貼り付けることで生成される。
【0057】
ここで、
図7に示されるモデルX´は、物品Xの外観を、表面形状が歪んだ領域(および当該領域に付された文字の歪み)も含めてそのまま再現している(たとえば、紙面左下の角部参照)。このため、三次元データおよび二次元データを単純に組み合わせても、対象の外観の全て(特に文字)をコンピュータ可読な形で再現できるとは限らない。しかしながら、対象の外観を文字も含めて全てコンピュータ可読な形で再現できれば、読み取った情報を様々なユースケース(具体例は後述する)で利用することができ、有益である。
【0058】
そこで、実施形態は、次の
図8に示されるような方法で、表面形状の歪みを低減するように三次元データを補正し、補正後の三次元データを用いて、対象の外観の全てをコンピュータ可読な形で再現する対象デジタルツインモデルを生成する。
【0059】
図8は、実施形態にかかる三次元データの補正を説明するための例示的かつ模式的なブロック図である。
【0060】
図8に示されるように、実施形態にかかる制御部130は、生成器810と識別器820とを含むGAN(敵対的生成ネットワーク)を利用して、対象800に基づいて得られる三次元データを補正する。
【0061】
より具体的に、生成器810は、ブロックB811において、三次元(3D)センシング、たとえば上述した構造化光パターンによる対象800の撮像を実行する。そして、ブロックB812において、生成器810は、ブロックB811における3Dセンシングの結果としての画像データに基づいて、点群データを取得する。そして、ブロックB813において、生成器810は、ブロックB812において取得された点群データに基づいて、3Dポリゴンメッシュデータを取得する。
【0062】
また、生成器810は、ブロックB815において、二次元(2D)センシング、たとえば上述したRGB光による対象800の撮像を実行する。そして、ブロックB816において、生成器810は、ブロックB815における2Dセンシングの結果としてのRGB画像を取得する。そして、ブロックB817において、生成器810は、ブロックB816において取得されたRGB画像に基づいて、テクスチャデータを取得する。
【0063】
そして、生成器810は、ブロックB814において、ブロックB813において取得されたポリゴンメッシュデータと、ブロックB817において取得されたテクスチャデータとを、位置の整合を取りながら統合したモデルを取得する。そして、生成器810は、ブロックB818において、ブロックB814において取得されたモデルから、ブロックB816において取得されたRGB画像と視点が同じレンダリング画像を取得する。
【0064】
そして、識別器820は、ブロックB821において、ブロックB816において取得されたRGB画像(第1外観画像)と、ブロックB818において取得されたレンダリング画像(第2外観画像)と、を比較する。そして、識別器820は、ブロックB821における比較に基づいて、差分がある領域を、ポリゴンメッシュデータ上で補正すべき領域として特定し、生成器810にフィードバックする。そして、生成器810は、ポリゴンメッシュデータを補正する。
【0065】
このような補正は、RGB画像とレンダリング画像との差分が所定の閾値以下まで小さくなって無視できるレベルになるまで繰り返される。これにより、次の
図9に示されるように、ポリゴンメッシュデータとテクスチャデータとを統合したモデルに含まれる歪みが補正され、対象800の外観を文字も含めて全てコンピュータ可読な形で再現する対象デジタルツインモデルを生成することができる。
【0066】
図9は、実施形態にかかる三次元データの補正の結果を示した例示的かつ模式的な図である。
【0067】
図9に示される例において、画像901は、上述した三次元データの補正が実行される前のモデルに含まれうる、歪んだ文字(および図形)が付された領域を示しており、画像902は、上述した三次元データの補正を経て生成される対象デジタルツインモデルにおける、画像901に対応した領域を示している。
図9に示されるように、上述した三次元データの補正によれば、歪んだ文字(および図形)をコンピュータ可読なレベルに補正することができる。
【0068】
上述した三次元データの補正を経て生成される対象デジタルツインモデルによれば、従来からある文字認識システムまたは画像認識システムを用いて、対象の表面に文字または図形として付加された付加情報を簡単に読み取ることができる。
【0069】
図10は、実施形態にかかる付加情報を説明するための例示的かつ模式的な図である。
【0070】
図10に示される例において、画像1001は、
図3に示される物品Xの対象デジタルツインモデルの一面(表面)を示しており、画像1002は、
図3に示される物品Xの対象デジタルツインモデルの、画像1001で示される面とは反対側の面(裏面)を示している。
図10に示されるように、対象デジタルツインモデルからは、商標、商品の名前および説明、製造会社の名前および住所、および栄養成分などを付加情報として取得することができる。
【0071】
このように、対象デジタルツインモデルからは、様々な情報を取得することができる。これらの情報を一元化すれば、対象に関する包括的なデータベースとしての対象マスタデータを生成することができる。
【0072】
ところで、物流および商流プロセスを円滑に行うために、物品に関する情報をデータベース化することは従来も行われている。代表的な管理項目は、業種ごとに異なるものの、「商品ID」、「商品名」、「製造元」、「仕入先」、「販売元」、「カテゴリ」、「形状」、「色」、「仕入価格」、「目標販売価格」、「商品のサムネイル写真」などである。
【0073】
しかしながら、従来では、これらの管理項目のデータベース化作業が基本的に人手により行われており、多種多様な物品群に対するデータベース化作業の遅れが大きな課題となっている。
【0074】
また、従来、データベース化される管理項目は、主に物流および販売管理に向けた管理項目が主体であり、消費者目線またはマーケティング目線で有用な管理項目は、未だデータベースへの積極的な拡充対象とはなっていない。その理由として、物流および販売管理での利用に関する限りでは、上記のような限定的な管理項目のみで必要最小限の要件を満たせるという理由と、追加の情報源の確保および追加の管理項目のデータベース化にかかる膨大な工数、作業時間、およびコストが必要になる点が大きなネックとなるという理由と、が挙げられる。
【0075】
上記のような膨大な工数、作業時間、およびコストを許容すれば、物品に関する包括的なデータベースを部分的に実現できる可能性はあるが、一般に流通する物品の数が数百万点から数千万点にも及ぶことを考えると、上記のような膨大な工数、作業時間、およびコストを許容することは実質的に不可能といえる。
【0076】
これに対して、実施形態は、前述した対象デジタルツインモデル生成システム100により、次の
図11に示されるような、対象に関する包括的なデータベースとしての対象マスタデータ1100を簡単に生成することができるため、工数、作業時間、およびコストの面で従来よりも顕著に有利である。
【0077】
図11は、実施形態にかかる対象マスタデータ1100を説明するための例示的かつ模式的な図である。
【0078】
図11に示されるように、実施形態にかかる対象マスタデータ1100には、様々な項目1101~1115が登録されうる。
【0079】
項目1101~1103は、従来でも用いられている管理項目をもとにしたデータである。項目1101は、対象としての物品(物体、商品)に任意に割り当てられる識別情報である。項目1102は、商品の流通過程で活用される既存の商品コードである。項目1103は、既存の商品コードに対応付けられる各種の商品情報である。商品コードおよび商品情報は、文字認識システムまたは画像認識システムを用いて対象デジタルツインモデルから認識される、対象の表面に文字または図形として付加された上述した付加情報から取得することができる。
【0080】
項目1104~1108は、実施形態の技術に基づいて取得できる新規なデータである。項目1104は、上述した対象デジタルツインモデルに基づいて得られる、対象の表面の全周にわたる三次元的な形状を示すデータである。項目1105は、上述した対象デジタルツインモデルに基づいて得られる、対象の表面のテクスチャを示すデータである。項目1106および1107は、文字認識システムまたは画像認識システムを用いて対象デジタルツインモデルから認識される、対象の表面に文字または図形として付加された上述した付加情報である。項目1108は、項目1104~1107の変更があった場合に登録されうる情報である。
【0081】
ここで、項目1109~1116は、物流プロセスなどにおいてロボット1310(後述の
図13参照)による対象のハンドリング(ピッキング)が行われる際に特に有用なデータ群である。項目1109は、対象の最適な把持位置または領域に関するデータであり、項目1110は、物品(物体)において商品コードが存在する位置に関するデータである。項目1111は、物体の重心の位置を示すデータであり、項目1112は、物体の剛性または変形に関するデータであり、項目1113は、物体の表面の物性に関するデータである。項目1114は、物体の把持に最適なグリッパに関するデータであり、項目1115は、物体に含まれうる透明素材に関するデータである。項目1116は、物体において注意を払ってハンドリングを行うべき領域に関するデータである。これらのデータ群は、ロボット1310による対象のハンドリングのシミュレーションを実行し、対象の最適なハンドリングを学習した結果として得られるハンドリング情報である。なお、対象マスタデータ1100を利用してロボット1310による対象のハンドリングを行う構成については後述するため、ここではこれ以上の説明を省略する。
【0082】
以上の構成により、実施形態による対象デジタルツインモデル生成システム100は、次の
図12に示されるような流れで処理を実行する。
【0083】
図12は、実施形態にかかる対象デジタルツインモデル生成システム100が実行する処理を示した例示的かつ模式的なフローチャートである。
【0084】
図12に示されるように、実施形態では、まず、ステップS1201において、制御部130は、照明生成部110およびセンサシステム120を用いた
図2に示されるようなタイミング制御により、対象のセンシングを実行する。つまり、制御部130は、構造化光パターンで照らされた対象を示す画像データと、RGB光で照らされた対象を示す画像データと、SWIR光で照らされた対象を示す画像データと、を取得する。
【0085】
そして、ステップS1202において、制御部130は、構造化光パターンで照らされた対象を示す画像データに基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データ(上述した点群データおよびポリゴンメッシュデータ)を取得する。
【0086】
そして、ステップS1203において、制御部130は、RGB光で照らされた対象を示す画像データと、SWIR光で照らされた対象を示す画像データと、に基づいて、対象の全周にわたる二次元的な外観を示す二次元データ(上述したテクスチャデータおよび光吸収特性データ)を取得する。
【0087】
そして、ステップS1204において、制御部130は、上述した生成器810および識別器820を用いたGANにより、三次元データとしてのポリゴンメッシュデータを補正する。
【0088】
そして、ステップS1205において、制御部130は、補正後の三次元データと、二次元データとを、互いの位置を合わせながら統合することで、対象の外観を全て再現する対象デジタルツインモデルを生成する。
【0089】
そして、ステップS1206において、制御部130は、文字認識システムまたは画像認識システムを利用して、対象デジタルツインモデルの表面に文字または図形として付加された付加情報を認識する。
【0090】
そして、ステップS1207において、制御部130は、ロボット1310(後述の
図13参照)によるハンドリングのシミュレーションを実行し、対象デジタルツインモデルで表される対象の最適なハンドリングを実現するためのハンドリング情報を学習する。
【0091】
そして、ステップS1208において、制御部130は、上記の処理で得られた各種の情報をデータベース化し、対象マスタデータ1100を生成する。そして、処理が終了する。
【0092】
以上説明したように、実施形態にかかる対象デジタルツインモデル生成システム100は、所定のパターンの面的な光と、可視光および非可視光を含む複数の波長の光とを、対象を取り囲む複数の照明位置から対象に対してそれぞれ異なるタイミングで出力する光出力部としてのプロジェクタ121およびSWIR光源122を含んでいる。また、対象デジタルツインモデル生成システム100は、面的な光で照らされた対象と、複数の波長の光で照らされた対象とを、複数の照明位置に対応した複数の撮像位置で、面的な光および複数の波長の光がそれぞれ出力されるタイミングと同期して撮像する撮像部としてのSWIRカメラ123および可視光カメラ124を含んでいる。また、対象デジタルツインモデル生成システム100は、プロジェクタ121、SWIR光源122、SWIRカメラ123、および可視光カメラ124を制御する制御部130を含んでいる。制御部130は、面的な光で照らされた対象の撮像結果に基づいて、対象の表面の全周にわたる三次元的な形状を示す三次元データを取得し、複数の波長の光で順次照らされた対象の撮像結果に基づいて、複数の撮像位置から見た対象の全周にわたる二次元的な外観を示す二次元データを取得し、三次元データと二次元データとを相互に対応付けることで、対象の外観をコンピュータ可読な形で再現する対象デジタルツインモデルを生成する。
【0093】
上記の構成によれば、三次元的な形状を示す情報と二次元的な情報とをあわせて取得し、対象デジタルツインモデルとして統合することで、対象の外観に関する情報を網羅的に取得することができる。
【0094】
ここで、実施形態において、制御部130は、可視光で照らされた対象の撮像結果に基づいて、対象の表面のテクスチャを示すテクスチャデータを上記の二次元データとして取得する。また、制御部130は、非可視光で照らされた対象の撮像結果に基づいて、対象の表面の光吸収領域が可視化された光吸収特性データを二次元データとして取得する。
【0095】
上記の構成によれば、対象の表面に光吸収領域が少なくとも部分的に存在する場合であっても、可視光と非可視光とを利用した2種類のデータにより、正確な二次元データを取得することができる。
【0096】
また、実施形態において、制御部130は、三次元データにテクスチャデータを貼り付けることで生成されるモデルから、ある視点での対象の外観を示す第1外観画像(
図8のブロックB818参照)を生成する生成器810を含んでいる。また、制御部130は、生成器810により生成される第1外観画像と、可視光で照らされた対象の撮像結果から生成される、第1外観画像と同一の視点における対象の外観を示す第2外観画像(
図8のブロックB816参照)と、の差を識別する識別器820を含んでいる。そして、制御部130は、生成器810および識別器820に基づいて、識別器820により識別される差が小さくなるように三次元データを補正し、補正後の三次元データと二次元データとを相互に対応付けることで、対象デジタルツインモデルを生成する。
【0097】
上記の構成によれば、三次元データの補正により対象デジタルツインモデルの表面の三次元的な形状の歪みが補正されることで、対象デジタルツインモデルの表面の二次元的な外観の歪みも補正されるので、対象デジタルツインモデルによる対象の再現性を向上させることができる。
【0098】
また、実施形態において、制御部130は、対象デジタルツインモデルから取得される対象の二次元的な外観に基づいて、対象の表面に文字または図形として付加された付加情報を認識し、当該付加情報が三次元データおよび二次元データとあわせて登録された対象に関する包括的なデータベースとしての対象マスタデータ1100を生成する。
【0099】
上記の構成によれば、対象マスタデータ1100を利用して、対象の外観に関する全ての情報を網羅的に管理することが可能になる。
【0100】
また、実施形態において、制御部130は、付加情報に基づいて、対象に対応付けられた商品コードおよび商品情報を取得し、取得した商品コードおよび商品情報を対象マスタデータ1100にさらに登録する。
【0101】
上記の構成によれば、有用な情報としての商品コードおよび商品情報を対象マスタデータ1100によって管理することができる。
【0102】
また、実施形態において、制御部130は、ロボット1310(後述の
図13参照)による対象のハンドリングのシミュレーションを実行することで、対象の最適な把持位置を含む、対象の最適なハンドリングを実現するためのハンドリング情報を学習し、学習したハンドリング情報を対象マスタデータ1100にさらに登録する。
【0103】
上記の構成によれば、ロボット1310(後述の
図13参照)による対象のハンドリングを実行する際に特に有用なハンドリング情報も対象マスタデータ1100によって一元的に管理することができる。
【0104】
以下、実施形態にかかる対象マスタデータ1100の様々なユースケースについて例示する。
【0105】
まず、
図13および
図14を参照して、実施形態にかかる対象マスタデータ1100を物流プロセスなどにおけるロボット1310によるハンドリングに利用するケースについて例示する。
【0106】
図13は、実施形態にかかる対象マスタデータ1100を利用してロボット1310を制御する制御システム1320の構成を示した例示的かつ模式的なブロック図である。
【0107】
図13に示されるように、ロボット1310は、ロボットアームおよびグリッパ(いずれも不図示)を含み、複数のハンドリング対象1300のうち任意に選択された1つにアプローチしてハンドリング対象1300のハンドリングを行うことが可能なように構成される。
【0108】
制御システム1320は、センサ1321と、ロボット制御部1322と、を含んでいる。センサ1321は、ハンドリング対象1300の外観に関する情報を検出するように構成される。このセンサ1321は、ハンドリング対象1300に付加された商品コードおよび商品情報(上述した付加情報)を取得可能なレベルで外観に関する情報を検出できれば、どのようなセンサであってもよい。ロボット制御部1322は、プロセッサのような制御回路を含み、センサ1321から取得される情報と、上述した対象デジタルツインモデル生成システム100から取得される対象マスタデータ1100と、に基づいて、ハンドリング対象1300を最適な形でハンドリングするようにロボット1310を制御する。
【0109】
なお、
図13に示される例では、センサ1321が制御システム1320に含まれているが、センサ1321は、ロボット1310に含まれていてもよい。また、
図13に示される例では、ロボット制御部1322が対象マスタデータ1100を外部から取得しているが、対象マスタデータ1100は、制御システム1320に予め記憶されていてもよい。
【0110】
図14は、実施形態にかかる制御システム1320が実行する処理を示した例示的かつ模式的なフローチャートである。
図14に示される一連の処理は、たとえば、複数のハンドリング対象1300の全てのハンドリングが完了するまで繰り返し実行されうる。
【0111】
図14に示されるように、実施形態では、まず、ステップS1401において、ロボット制御部1322は、センサ1321によるセンシングを実行し、ハンドリング対象1300の外観に関する情報を取得する。
【0112】
そして、ステップS1402において、ロボット制御部1322は、ステップS1401におけるセンシングの結果から、ハンドリング対象1300に付された商品コードを取得する。
【0113】
そして、ステップS1403において、ロボット制御部1322は、ステップS1402において取得された商品コードが、対象マスタデータ1100に登録された商品コードと一致するか否かを判定する。
【0114】
ステップS1403において、ステップS1402において取得された商品コードが、対象マスタデータ1100に登録された商品コードと一致しないと判定された場合、ステップS1404に処理が進む。
【0115】
そして、ステップS1404において、ロボット制御部1322は、次のハンドリング対象1300を選択する。このとき、複数のハンドリング対象1300に全て同じ商品コードが付されていることが前提となっている場合は、誤った商品が混入していると判定し、誤った商品を取り出した上で、他のハンドリング対象1300を選択する。また、複数のハンドリング対象1300に異なる商品コードが付されている場合があることが前提となっている場合は、何らかのエラーが発生しただけであると判定し、他のハンドリング対象1300を選択する。そして、処理が終了する。
【0116】
一方、ステップS1403において、ステップS1402において取得された商品コードが、対象マスタデータ1100に登録された商品コードと一致すると判定された場合、ステップS1405に処理が進む。
【0117】
そして、ステップS1405において、ロボット制御部1322は、ステップS1401におけるセンシングの結果から、ハンドリング対象1300に付加された付加情報としての商品情報を取得する。
【0118】
そして、ステップS1406において、ロボット制御部1322は、ステップS1405において取得された商品情報が、対象マスタデータ1100に登録された付加情報としての商品情報と一致するか否かを判定する。
【0119】
ステップS1406において、ステップS1405において取得された商品情報が、対象マスタデータ1100に登録された商品情報と一致すると判定された場合、ステップS1407に処理が進む。
【0120】
そして、ステップS1407において、ロボット制御部1322は、対象マスタデータ1100に登録されたハンドリング情報に基づいてロボット1310を制御し、ハンドリング対象1300に応じた最適な方法でハンドリング対象1300のハンドリングを実行する。そして、処理が終了する。
【0121】
一方、ステップS1406において、ステップS1405において取得された商品情報が、対象マスタデータ1100に登録された商品情報と一致しないと判定された場合、ステップS1408に処理が進む。この場合、製造ロットの変更または期間限定プロモーションなどの影響により商品情報に変更が発生したと判定できる。
【0122】
したがって、この場合、S1408において、ロボット制御部1322は、ステップS1405において取得された商品情報に基づいて、対象マスタデータ1100を更新する。そして、ロボット制御部1322は、上記のステップS1407によるハンドリング対象1300のハンドリングを実行する。そして、処理が終了する。
【0123】
以上説明したように、実施形態にかかるロボット1310の制御システム1320は、センサ1321と、ロボット制御部1322と、を含んでいる。センサ1321は、ロボット1310のハンドリング対象1300の外観に関する情報を検出する。ロボット制御部1322は、ハンドリング対象1300の外観に関する情報の検出結果と、上述した対象デジタルツインモデル生成システム100から対象マスタデータ1100のハンドリング情報と、に基づいて、ハンドリング対象1300のハンドリングを実行するようにロボット1310を制御する。
【0124】
上記の構成によれば、対象マスタデータ1100に登録されたハンドリング情報を利用して、ハンドリング対象1300のハンドリングを適切に実行することができる。
【0125】
なお、実施形態において、ロボット制御部1322は、ハンドリング対象1300の外観に関する情報の検出結果から、ハンドリング対象1300に付加された商品コードを取得し、取得された商品コードが対象マスタデータ1100に登録された商品コードと異なる場合、他のハンドリング対象1300のハンドリングを実行するようにロボット1310を制御しうる。
【0126】
上記の構成によれば、商品コードを照合することで、誤ったハンドリング対象1300のハンドリングが実行されるのを抑制することができる。
【0127】
また、実施形態において、ロボット制御部1322は、ハンドリング対象1300の外観に関する情報の検出結果から取得された商品コードと対象マスタデータ1100に登録された商品コードとが一致する場合、ハンドリング対象1300の外観に関する情報の検出結果から、ハンドリング対象1300の表面に付加された商品情報を取得し、取得された商品情報が対象マスタデータ1100に登録された商品情報と異なる場合、取得された付加情報に基づいて対象マスタデータ1100を更新しうる。
【0128】
上記の構成によれば、製造ロットの変更または期間限定プロモーションなどの影響による商品情報の変更に応じて、対象マスタデータ1100に登録された商品情報も更新することができる。
【0129】
次に、
図15~
図17を参照して、実施形態にかかる対象マスタデータ1100をEC(電子商取引)事業における仮想店舗の提供に利用するケースについて例示する。
【0130】
図15は、実施形態にかかる対象マスタデータ1100を利用する仮想店舗生成システム1500の構成を示した例示的かつ模式的なブロック図である。
【0131】
図15に示されるように、仮想店舗生成システム1500は、取得部1510と、仮想店舗生成部1520と、を含んでいる。取得部1510および仮想店舗生成部1520は、専用の回路によってハードウェア的に実現されてもよいし、仮想店舗生成システム1500を統括的に制御する制御回路としてのプロセッサにより所定のコンピュータプログラムを実行した結果としてソフトウェア的に実現されてもよい。
【0132】
取得部1510は、上述した対象デジタルツインモデル生成システム100から対象マスタデータ1100を取得する。そして、仮想店舗生成部1502は、取得部1510により取得された対象マスタデータ1100から生成される1以上の対象デジタルツインモデルを、仮想空間上で実店舗を模して陳列し、たとえば次の
図16に示されるような仮想店舗を生成する。
【0133】
図16は、実施形態にかかる仮想店舗生成システム1500により生成される仮想店舗を説明するための例示的かつ模式的な図である。
【0134】
図16に示されるように、仮想店舗生成部1502は、対象デジタルツインモデルとしてモデル化された多数の商品が陳列された商品棚1610を、たとえばネットワーク経由でユーザ端末に視覚的に提供可能な形で仮想的に生成する。ユーザは、ユーザ端末に設けられるタッチパネルなどを用いて商品棚1610から商品を引き出す操作を行うことで、所望の商品1620を選択し、当該所望の商品1620の外観から得られる情報を詳細に確認することができる。
【0135】
図17は、実施形態にかかる仮想店舗生成システム1500が実行する処理を示した例示的かつ模式的なフローチャートである。
【0136】
図17に示されるように、実施形態では、まず、ステップS1701において、取得部1501は、上述した対象デジタルツインモデル生成システム100により生成される対象マスタデータ1100を取得する。
【0137】
そして、ステップS1702において、仮想店舗生成部1502は、ステップS1701において取得された対象マスタデータ1100から1以上の対象デジタルツインモデルを生成し、生成した対象デジタルツインモデルを仮想空間上で実店舗を模して陳列し、仮想店舗を生成する。そして、処理が終了する。
【0138】
以上説明したように、実施形態にかかる仮想店舗生成システム1500は、取得部1501と、仮想店舗生成部1502と、を含んでいる。取得部1501は、上述した対象デジタルツインモデル生成システム100から対象マスタデータ1100を取得する。仮想店舗生成部1502は、取得部1501により取得された対象マスタデータ1100に登録された商品コードおよび商品情報が対応付けられた商品が任意に陳列された店舗を仮想的に再現する仮想店舗を生成する。
【0139】
上記の構成によれば、対象デジタルツインモデルおよび対象マスタデータ1100を有効に活用して、実店舗を模した仮想店舗を容易に提供することができる。
【0140】
なお、前述したように、対象マスタデータ1100は、対象の外観に関する情報を網羅している。このため、対象マスタデータ1100を利用すれば、たとえば対象が食品である場合、ユーザ毎に存在する可能性のある忌避すべき特定のアレルギー物質の含有の有無の通知や、カロリーコントロールのための情報の通知、バランスの取れた食事のリコメンデーション、原産地、製造元、および素材などへのこだわりに対するリコメンデーション、または宗教上の理由で禁避しなくてはならない食材の含有の有無の通知、などといった有用な情報を適切に提供可能な仮想店舗も生成することができる。
【0141】
上記のような有用な情報は、医薬品または化粧品も含め、商品の種類毎に、法律あるいは業界ガイドラインなどに基づいて、パッケージに読み取り可能な文字または図形として付加されていることが一般的である。しかしながら、パッケージのサイズの都合上、有用な情報であっても、その情報を示す文字または図形の大きさは相対的に小さくなりがちであり、目をかなり近づけてみないと読み取れないことがある。EC事業では、実際の商品を手に取って確認する事ができないにもかかわらず、有用な情報がウェブサイトに必ずしも網羅的に掲載されていないという隠れた課題がある。
【0142】
これに対して、実施形態の技術によれば、実世界に存在する多種多様な物品の対象デジタルツインモデルを活用することによって得られる外観に関する詳細な情報が登録された対象マスタデータ1100を活用し、ネットワークを介した仮想空間上で、あたかも実際に物品を手に取って眺め回すような体験をユーザに提供することが可能になる。加えて、実世界では困難な、小さい文字または図形の拡大を可能にするなど、従来にない斬新なUX(ユーザエクスペリエンス)をユーザに提供することが可能になる。
【0143】
また、対象マスタデータ1100に登録された情報はデジタル情報であるため、所望の物品に対する網羅的な検索、および個々のユーザに即した多彩なパーソナライズ設定をインタラクティブに実現することが可能になり、従来のECサービスを大きく超えた斬新なサービスを導入することも可能になる。
【0144】
また、ユーザが仮想空間上で商品を手に取る行為をモニタリングすることで、ユーザの商品に対する関心の度合いをリアルタイムに計測することも可能になる。また、パッケージのデザインや内容量のバリエーションをいくつか用意することで、ユーザの購入に至る反応をインタラクティブに測定するABテストなどを行うことも可能になるので、従来にない新規なリアルタイムマーケティング手法の実装、およびダイナミックな広告の挿入なども実現することが可能になる。
【0145】
さらに、仮想店舗はあくまで仮想空間上に構築されるものであるため、実店舗と同等またはそれ以上の膨大な数の商品群が高密度に陳列された仮想的な商品棚を物理的または経済的な制約なしに再現することも可能になる。これにより、実店舗を実際に設営しなくても、同様の体験を仮想空間上で効果的に得ることができるので、実店舗の建設予定地の確保、実店舗の建設、実店舗内への各種の設備の導入、従業員の手配、配送システムの整備、または在庫管理など、多くの問題から解放されうる。
【0146】
なお、実施形態の技術によれば、次の
図18に示されるように、実店舗1810と仮想店舗1820とを連携させることも可能である。
【0147】
図18は、実施形態の技術により実店舗と仮想店舗との両方を利用して商流を管理する管理システム1800を示した例示的かつ模式的なブロック図である。
【0148】
図18に示されるように、管理システム1800は、実店舗1810と仮想店舗1820とを連携させながら管理するように構成されている。このような構成によれば、戦略的に展開した実店舗1810を、仮想店舗1820で購入された商品の引き取りサービスの窓口として活用したり、近隣の顧客への配送拠点としても活用したりすることができる。これにより、実店舗での体験と仮想店舗での体験とが限りなくシームレスになり、事業者目線でも消費者目線でも利便性および経済的合理性が高い商流を実現することができる。
【0149】
以上、本開示のいくつかの実施形態を説明したが、これらの実施形態例は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲とに含まれる。
【符号の説明】
【0150】
100 対象デジタルツインモデル生成システム
121 プロジェクタ(光出力部)
122 SWIR光源(光出力部)
123 SWIRカメラ(撮像部)
124 可視光カメラ(撮像部)
130 制御部
1100 対象マスタデータ
1300 ハンドリング対象
1310 ロボット
1320 制御システム
1321 センサ
1322 ロボット制御部
1500 仮想店舗生成システム
1501 取得部
1502 仮想店舗生成部