特許 7422434 多機能型自律走行サービングロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-18

(45)【発行日】2024-01-26

(54)【発明の名称】多機能型自律走行サービングロボット

(51)【国際特許分類】

   B25J 9/08 20060101AFI20240119BHJP

   B25J 11/00 20060101ALI20240119BHJP

【ＦＩ】

B25J9/08

B25J11/00 Z

【請求項の数】 1

(21)【出願番号】P 2022573745

(86)(22)【出願日】2020-11-25

(65)【公表番号】

(43)【公表日】2023-08-17

(86)【国際出願番号】 KR2020016880

(87)【国際公開番号】W WO2022045464

(87)【国際公開日】2022-03-03

【審査請求日】2022-12-20

(31)【優先権主張番号】10-2020-0110626

(32)【優先日】2020-08-31

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】522337510

【氏名又は名称】アールジーティー インコーポレイテッド

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】ジョン，ホ ジョン

【審査官】岩▲崎▼ 優

(56)【参考文献】

【文献】特開２００７－１９３７３６（ＪＰ，Ａ）

【文献】特開２０１０－６１３１５（ＪＰ，Ａ）

【文献】特表２０１４－５０６０２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１０４８１５（ＵＳ，Ａ１）

【文献】韓国公開特許第１０－２０１１－００２９３１６（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２０２０－００７４４８２（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

所定の室内空間を特定経路及び特定信号に応じて移動及び走行できるようにする動力源手段（１１０）と、上部及び下部のうち、いずれか一つにロボットの機能を追加して装着できる追加機能モジュールの装着手段（１２０）と、特定経路および特定信号と、前記追加機能モジュールの装着手段（１２０）に装着されるロボットの機能に応じて前記動力源手段（１１０）を制御するロボット制御手段（１３０）とからなるロボットボディシステム（１００）と；
前記ロボットボディシステム（１００）の追加機能モジュールの装着手段（１２０）に装着または分離されて、ロボットに機能を追加したり、変換させて、管理者が状況に応じてロボットを活用できるようにするロボット機能脱着モジュール（２００）と;で構成され、
サービングはもちろん、管理者が状況に合わせて前記ロボット機能脱着モジュール（２００）を利用して、容易にサービングと共に活性化できる機能を追加したり、必要に応じて別の他の機能のロボットに変換して活用することによって、
サービングロボットの活用性及び効用性を最大化させる、多機能型自律走行サービングロボット（１）であって、
前記ロボットボディシステム（１００）は、
サービング機能を果たすように形成されたサービングロボットハウジング（Ｈ）と；
前記サービングロボットハウジング（Ｈ）の下部に配置及び形成され、所定の室内空間を特定の経路および特定の信号に従って移動および走行することを可能にする動力源手段（１１０）と；
前記サービングロボットハウジング（Ｈ）の上部及び下部のうちのいずれか１つ以上にロボットの機能を追加して装着できるようにする追加機能モジュールの装着手段（１２０）と；
特定経路および特定信号と、前記追加機能モジュールの装着手段（１２０）に装着されるロボットの機能に応じて前記動力源手段（１１０）を制御するロボット制御手段（１３０）と；で構成され、
前記サービングロボットハウジング（Ｈ）の一側には、
周辺情報をリアルタイムに取得して空間情報および経路情報を生成および更新することを可能にする周辺環境情報の取得センシング手段（１４０）が構成され、
前記サービングロボットの走行に関する全ての情報を取得し、前記ロボット制御手段（１３０）を介して安全に作動および走行できるようにし、
前記周辺環境情報の取得センシング手段（１４０）は、
サービングロボットの動的環境認識の正確性のために、２Ｄ ＬｉｄａｒとＲＧＢ－Ｄセンサーフュージョン技術が適用され、
前記追加機能モジュールの装着手段（１２０）は、
前記ロボット機能脱着モジュール（２００）が前記ロボットボディシステム（１００）の一側に脱着されるように形成し、前記ロボット制御手段（１３０）により、装着された前記ロボット機能脱着モジュール（２００）の固有機能を解読できるようにするモジュール装着インターフェース部（１２１）が構成され、
前記ロボット機能脱着モジュール（２００）と前記ロボットボディシステム（１００）とを容易に連結または分離し、
前記ロボット制御手段（１３０）は、
既にサービング機能でコーディングされているサービングモード（Ｍ１）が記憶されているサービングモード活性化部（１３１）と；
前記ロボット機能脱着モジュール（２００）から入力された情報を解読するモジュール解読部（１３２）と；
前記サービングモード活性化部（１３１）及び前記モジュール解読部（１３２）から伝達される情報に基づいて前記動力源手段（１１０）を制御する動力源制御部（１３３）と；で構成され、
前記モジュール解読部（１３２）は、
前記追加機能モジュールの装着手段（１２０）によって装着される前記ロボット機能脱着モジュール（２００）が装着されているか否かを確認するモジュール装着確認要素（１３２ａ）と；
前記追加機能モジュールの装着手段（１２０）に装着された前記ロボット機能脱着モジュール（２００）のコーディングされたプログラムを解読するモジュールローディング要素（１３２ｂ）と；
前記モジュールローディング要素（１３２ｂ）によって解読されたロボット機能脱着モジュール（２００）の固有の機能モード（Ｍ２）を活性化する追加機能活性化要素（１３２ｃ）と；
前記ロボット機能脱着モジュール（２００）の固有の機能モード（Ｍ２）と、前記サービングモード活性化部（１３１）に記憶されたサービングモード（Ｍ１）とを同期化させて、ロボット機能脱着モジュール（２００）の固有の機能モード（Ｍ２）と、前記サービングモード活性化部（１３１）に記憶されたサービングモード（Ｍ１）が共存して活性化されるようにしたり、所定時間に応じてサービングモード（Ｍ１）と機能モード（Ｍ２）が交互に活性化されるようにしたり、前記ロボット機能脱着モジュール（２００）の固有の機能モード（Ｍ２）のみを活性化させる追加の機能モード同期化決定要素（１３２ｄ）と；で構成され、
前記ロボット機能脱着モジュール（２００）内でコーディングされたプログラムを解読し、解読された前記ロボット機能脱着モジュール（２００）の固有の機能モード（Ｍ２）に合わせて前記ロボットボディシステム（１００）を制御できるようにし、
前記追加機能モード同期化決定要素（１３２ｄ）は、
サービングミッションのみを活性化させるサービングモード（Ｍ１）と；
装着されたロボット機能脱着モジュール（２００）の特定の固有の機能のみを活性化する機能モード（Ｍ２）と；
サービングモード（Ｍ１）と機能モード（Ｍ２）とを同時に活性化する複合モード（Ｍ１２）と；
サービングモード（Ｍ１）と機能モード（Ｍ２）を管理者によって設定されたスケジュールに合わせて活性化させる時間差モード（Ｍ１／２）と；で構成され、
サービングロボットの機能の多様性が図られるようにし、
前記ロボット制御手段（１３０）には、
前記動力源制御部（１３３）によって作動および走行されるサービングロボットの走行空間を生成する走行空間作成部（１３４）が構成されて、
前記サービングロボットが特定の空間を特定の信号に応じて自律走行できるようにし、
前記走行空間作成部（１３４）は、
周辺環境情報の取得センシング手段（１４０）と、ＩＭＵ、Ｏｄｏｍｅｔｒｙから取得された情報に基づいてリアルタイムの位置及び特定空間のマップを作成及び生成するＳＬＡＭ実行モジュール（１３４ａ）と；
前記ＳＬＡＭ実行モジュール（１３４ａ）から作成及び生成された特定空間のマップを補正して、サービングロボットの走行および動作の正確性を向上させる作成マップ補正モジュール（１３４ｂ）と；
前記周辺環境情報取得手段（１４０）によって生成された周辺環境に関する３Ｄ情報を２Ｄ情報に変換する作成マップ２Ｄ変換モジュール（１３４ｃ）と；
前記ＳＬＡＭ実行モジュール（１３４ａ）、前記作成マップ補正モジュール（１３４ｂ）、前記作成マップ２Ｄ変換モジュール（１３４ｃ）の結果とを一つの２Ｄマップ（ｍａｐ）に統合して、サービングロボットの走行空間マップを作成する最終走行空間マップ作成モジュール（１３４ｄ）と；で構成され、
前記サービングロボットの走行空間マップが作成されるようにし、
また、前記走行空間作成部（１３４）から作成された情報に基づいて、サービングロボットの走行経路を生成および設定する経路設定部（１３５）が構成され、
前記経路設定部（１３５）は、
目標座標入力による最短距離のｐａｔｈ ｐｌａｎｎｉｎｇ, ｐａｔｈ ｆｏｌｌｏｗｉｎｇを実行するアルゴリズムが適用される走行経路実行モジュール（１３５ａ）と；
ＩＭＵ Ｄｅａｄ ｒｅｃｋｏｎｉｎｇおよびサービングロボットの走行位置の妥当性を検証する走行経路妥当性検証モジュール（１３５ｂ）と；
サービングロボットの走行中に、前記周辺環境情報の取得センシング手段（１４０）による障害物認識および回避のためのｌｏｃａｌ ｃｏｓｔ－ｍａｐを作成して、地域経路および全域経路の復帰を設定する地域及びグローバル経路復帰設定モジュール（１３５ｃ）と；
サービングロボットの走行差補正(ｎａｖｉｇａｔｉｏｎ ｄｉｆｆｅｒｅｎｃｅ ｃａｌｉｂｒａｔｉｏｎ)を行う走行差補正モジュール（１３５ｄ）と；で構成され、グローバル経路(ｇｌｏｂａｌ ｐａｔｈ)と地域経路(ｌｏｃａｌ ｐａｔｈ)と、これに対するサービングロボットの走行(ｎａｖｉｇａｔｉｏｎ)が成立するようにすることを特徴とする、多機能型自律走行サービングロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多機能型自律走行サービングロボットに関するものであり、より詳細には、サービング機能は基本的に遂行し、サービング機能に加えて別個の固有の機能を、独立式モジュールを利用して、容易に追加したり、変換させて、複合的な機能を活性化することによって、サービングロボットの利用可能性および有効性を最大化する多機能型自律走行サービングロボットに関するものである。

【背景技術】

【0002】

最近台頭するサービス応対問題はもちろん、週５２時間勤務制の導入、最低賃金の引き上げなどが進むにつれて人件費負担が加重されて従業員を雇用しない無人化サービス市場が急速に拡大している傾向にある。

【0003】

特に、注文と決済を無人で提供する無人総合情報の案内システムであるキオスク（ｋｉｏｓｋ）がサービス業者で活発に活用されている。

【0004】

ただし、調理や加工を通じて完成した料理や飲み物などの食べ物を提供するサービスの場合には、無人化技術の開発が不十分な実情である。

【0005】

このような技術開発の不備により、現在、我が国は、サービングロボットに対する需要を、サービングロボットを輸入して販売またはリースする事業で満たされている。

【0006】

しかしながら、このように輸入されるサービングロボットが多少高価であり、導入経済性と生産性の面でも一つのサービング機能ロボットは、外食業者の負担となっている。

【0007】

したがって、企業が未来型の無人飲食店などの新しい形態の飲食店を考慮する時点で、安価であり、機能が優れた国内開発製品が切実である。

【0008】

本発明は、飲食店、コーヒーショップ、ファーストフード、ファミリーレストラン、スペシャルレストランなど、外食や飲食店で従業員に代わって顧客が注文した食べ物や飲み物などをインテリジェントな自律走行ロボット技術を適用して、顧客テーブルに正確に出前するサービングロボットを開発し、サービング以外に他の機能ができるロボットに簡単に変換できるようにして、２４時間働くことができる多機能型の室内自律走行技術が適用されたサービングロボットを提供しようとする。

【0009】

そこで、多機能型自律走行サービングロボットに関する先行技術として、韓国公開特許第１０－２０１９－０１０６９１０号公報の“移動ロボットとその制御方法”（以下“特許文献１”とする）は、移動ロボットが所定のサービス要求を含むユーザ入力を受信する段階と；移動ロボットが提供する物品を受け取る段階と；移動ロボットがユーザを検索し、ユーザジェスチャを分析してサービス位置を抽出する段階と；サービス位置の画像を分析してサービング位置の距離および高さを抽出する段階と；サービング位置に移動し、サービングされる物品をサービング位置の高さまで上げる段階と；サービング位置までサービングされる物品を水平に移動してサービング位置の上にサービングされる物品を置く段階と；を含む移動ロボットの制御方法を提供する、移動ロボットおよびその制御方法に関するものである。

【0010】

別の先行技術として、韓国公開特許第１０－２０１９－００９２３３７号公報の“サービングロボット及びそれを利用した顧客接待方法”（以下、“特許文献２”という）は、食品に関連する顧客の表情及びジェスチャーの少なくとも１つを含む画像データを取得するカメラと；前記食品に関連する顧客の音声を含む音声データを取得するマイクロホンと；前記カメラ及び前記マイクロホンのうちの少なくとも１つを介して、画像データと音声データのうち少なくとも１つを含む顧客反応データを取得し、得られた顧客反応データから食品に対する顧客の反応を推定し、推定された反応に基づいて顧客に対応する顧客管理情報を生成または更新するプロセッサと；を含んで、人工知能ベースの学習モデルを介して顧客応答データから顧客の反応を推定することができるサービングロボットおよびそれを使用した顧客接待方法に関するものである。

【0011】

前述したように、特許文献１ないし特許文献２は、現場で顧客を応対するサービングロボットに関する技術として、本発明とその技術分野は同一であるが、その発明の技術的特徴が異なる。

【0012】

即ち、特許文献１は、ユーザがサービング物品を引き出すことなく、ユーザが所望の位置でサービングロボットが収容しているサービング物品を直接引き出して、ユーザに提供できるようにする移動ロボットの技術に関するものである。

【0013】

特許文献２は、サービングロボットがカメラやマイクなどを用いて取得した顧客反応データから顧客の反応（食品関連顧客の表情及びジェスチャー）を推定して当該顧客に関する管理情報を更新することで、店舗を利用する顧客の好みなどを容易に把握して管理できるようにするサービングロボットの技術に関するものである。

【0014】

したがって、本発明とは、発明が解決しようとする課題、これを解決するための手段、これを解決することによって発揮される効果が異なる。

【0015】

また、前記特許文献１ないし前記特許文献２を含む従来のサービングロボットに関連する技術とは異なる、本発明のみの発明の解決しようとする課題（発明の目的）、これを解決するための解決手段（構成要素）、及びそれを解決することにより発揮される効果に基づいて、その技術的特徴を図りたい。

【先行技術文献】

【特許文献】

【0016】

【文献】韓国公開特許第１０－２０１９－０１０６９１０号公報

【文献】韓国公開特許第１０－２０１９－００９２３３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0017】

したがって、本発明は、前記のような問題点を解決するために提案された技術として、発明の目的は、様々な固有機能がそれぞれ搭載された独立式モジュールを、状況（必要）に合わせてサービングロボットの一側に装着または分離して、サービングロボットの本然の機能（サービング）以外に、別途の追加的な固有機能または特定任務を遂行するロボットに変換させて、サービングロボットの活用性及び効用性を最大化できる多機能型自律走行サービングロボットの提供にある。

【0018】

本発明の他の目的は、サービングロボット市場のニーズを受け入れ、サービング機能以外に別の他の固有機能が必要な場合、これに迅速に対応できる多機能型自律走行サービングロボットの提供にある。

【0019】

即ち、サービングロボット市場の意見を収束し、素早くその意見に適合する固有機能が搭載された独立式モジュールを設計および開発し、別途ロボットを購入しなくても、独立式モジュールのみを供給し、直ちに現場で必要な機能をサービングロボットに適用できるようにする。

【課題を解決するための手段】

【0020】

前記目的を達成するための本発明は、解決しようとする課題を達成するために案出されたものであり、本発明による多機能型自律走行サービングロボットは、多機能型自律走行サービングロボットであって、所定の室内空間を特定経路及び特定信号に応じて移動及び走行できるようにする動力源手段と；上部及び下部のうち、いずれか一つにロボットの機能を追加して装着できる追加機能モジュールの装着手段と；特定経路および特定信号と、前記追加機能モジュールの装着手段に装着されるロボットの機能に応じて前記動力源手段を制御するロボット制御手段とからなるロボットボディシステムと；前記ロボットボディシステムの前記追加機能モジュールの装着手段に装着または分離されて、ロボットに機能を追加したり、変換させて、管理者が状況に応じてロボットを活用できるようにするロボット機能脱着モジュールと;で構成されて、サービングはもちろん、管理者が状況に合わせて前記ロボット機能脱着モジュールを利用して、容易にサービングと共に活性化できる機能を追加したり、必要に応じて別の他の機能のロボットに変換して活用することによって、サービングロボットの活用性及び効用性を最大化することを特徴とする。

【0021】

このとき、前記追加機能モジュールの装着手段は、前記ロボット機能脱着モジュールが前記ロボットボディシステムの一側に脱着されるように形成し、前記ロボット制御手段により、装着された前記ロボット機能脱着モジュールの固有機能を解読できるようにするモジュール装着インターフェース部が構成されて、前記ロボット機能脱着モジュールとロボットボディシステムとを容易に連結または分離することを特徴とする。

【0022】

また、前記ロボット制御手段は、既にサービング機能でコーディングされているサービングモードが記憶されているサービングモード活性化部と；前記ロボット機能脱着モジュールから入力された情報を解読するモジュール解読部と；前記サービングモード活性化部及び前記モジュール解読部から伝達される情報に基づいて動力源手段を制御する動力源制御部と；で構成されるが、前記モジュール解読部は、前記追加機能モジュールの装着手段によって装着される前記ロボット機能脱着モジュールが装着されているか否かを確認するモジュール装着確認要素と；前記追加機能モジュールの装着手段に装着された前記ロボット機能脱着モジュールのコーディングされたプログラムを解読するモジュールローディング要素と；前記モジュールローディング要素によって解読されたロボット機能脱着モジュールの固有の機能モードを活性化する追加機能活性化要素と；前記ロボット機能脱着モジュールの固有の機能モードと、前記サービングモード活性化部に記憶されたサービングモードとを同期化させて、前記ロボット機能脱着モジュールの固有の機能モードと、前記サービングモード活性化部に記憶されたサービングモードが共存して活性化されるようにしたり、所定時間に応じて前記サービングモードおよび前記機能モードが交互に活性化されるようにしたり、前記ロボット機能脱着モジュールの固有の機能モードのみを活性化させる追加の機能モード同期化決定要素と；で構成されて、前記ロボット機能脱着モジュール内でコーディングされたプログラムを解読し、解読された前記ロボット機能脱着モジュールの固有の機能モードに合わせて前記ロボットボディシステムを制御できるようにすることを特徴とする。

【0023】

一方、これに先立ち、本明細書は、特許登録請求の範囲に使用された用語や単語は通常的であるか、辞典的な意味に限定して解釈されてはならず、発明者は、彼自身の発明を最善の方法で説明するために、用語の概念を適切に定義することができる原則に立脚して、本発明の技術的思想に符合する意味と概念に解釈されるべきである。

【0024】

したがって、本明細書に記載された実施例と図面に図示された構成は、本発明の最も望ましい一実施例にすぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替することができる様々な均等物と変形例があることを理解しなければならない。

【発明の効果】

【0025】

以上の構成及び作用において上述したように、本発明による効果は以下の通りである。

【0026】

１．サービングロボットに、多様な固有機能が搭載された独立式モジュールを容易に装着または分離して、サービング機能以外に、別の他の固有機能が付加されたサービングロボットとして活用できるようにする。

【0027】

２．サービングロボットに搭載された独立式モジュールの特定のユニークな機能がスムーズに活性化されるようにする。

【0028】

３．独立式モジュールを利用して、状況に合わせて２４時間サービングロボットを活用できるようにする。

【0029】

４．サービングロボットに容易に装着および分離される独立式モジュールにより、サービングロボット市場のニーズに迅速に対応できる。

【0030】

５．即ち、サービングロボットの本来の機能に加え、追加必要な新機能の要求時、その機能が搭載された独立式モジュールのみを開発および設計して、急速にサービングロボット市場に発売して、消費者がその機能をサービングロボットに、すぐに、適用できるようにする。

【0031】

６．さらに、最終的には、特定機能が搭載された独立式モジュールを、サービングロボットにより、管理者が設定するその機能およびスケジュールに応じて自ら装着または分離できるようにする独立式モジュールドッキングステーションを構築して、サービングロボットの完全自動化及びサービングロボット市場の成長を図ることができる。

【0032】

すなわち、本発明は、サービングロボットの活用性及び効用性を最大化する非常に効果的な発明である。

【図面の簡単な説明】

【0033】

【図1】本発明である多機能型自律走行サービングロボットの概念図を示す。

【図2】本発明である多機能型自律走行サービングロボットの構成図を示す。

【図3】本発明である多機能型自律走行サービングロボットの第１の実施形態を示す。

【図4】本発明である多機能型自律走行サービングロボットの第２の実施形態を示す。

【図5】本発明である多機能型自律走行サービングロボットの構成要素のうち、ロボットボディシステムに対する概念図を簡略に示したものである（（ａ）は、Ｈ／Ｗ配列及びＳ／Ｗスタックの概念図であり、（ｂ）は、ガイド、ナビゲーション、制御の概念図である。）。

【図6】本発明である多機能型自律走行サービングロボットの動作フローチャートを簡略に示したものである。

【図7】本発明である多機能型自律走行サービングロボットの構成要素のうち、ロボット制御手段のブロック図を簡単に示したものである。

【図8】本発明の多機能型自律走行サービングロボットの構成要素のうち、ロボットボディシステムとロボット機能脱着モジュールとの結合に対する実施形態を示す。

【図9】本発明の多機能型自律走行サービングロボットの他の実施形態を示す図面である（サービングロボットドッキングステーションシステムＳが適用された概念図である。）。

【発明を実施するための形態】

【0034】

以下、添付図面を参照して本発明である多機能型自律走行サービングロボット１に対する機能、構成及び作用を詳細に説明する。

【0035】

図１は本発明である多機能型自律走行サービングロボットの概念図を示し、図２は本発明である多機能型自律走行サービングロボットの構成図を示し、図３は本発明である多機能型自律走行サービングロボットの第１の実施形態を示し、図４は本発明である多機能型自律走行サービングロボットの第２の実施形態を示し、図５は本発明である多機能型自律走行サービングロボットの構成要素のうち、ロボットボディシステムに対する概念図を簡略に示したものである。

【0036】

図１ないし図５に示すように、本発明による多機能型自律走行サービングロボットは、多機能型自律走行サービングロボット１において、所定の室内空間を特定経路及び特定信号に応じて移動及び走行できるようにする動力源手段１１０と；上部及び下部のうち、いずれか一つにロボットの機能を追加して装着できる追加機能モジュールの装着手段１２０と；特定経路および特定信号と、前記追加機能モジュールの装着手段１２０に装着されるロボットの機能に応じて前記動力源手段１１０を制御するロボット制御手段１３０とからなるロボットボディシステム１００と；前記ロボットボディシステム１００の追加機能モジュールの装着手段１２０に装着または分離されて、ロボットに機能を追加したり、変換させて、管理者が状況に応じてロボットを活用できるようにするロボット機能脱着モジュール２００と;で構成される。

【0037】

したがって、サービングはもちろん、管理者が状況に合わせてロボット機能脱着モジュール２００を利用して、容易にサービングと共に活性化できる機能を追加したり、必要に応じて別の他の機能のロボットに変換して活用することによって、サービングロボットの活用性と効用性を最大化することを特徴とする。

【0038】

すなわち、本発明は、サービングロボットの基本機能であるサービング機能を基本に遂行し、サービングロボットの一側（追加機能モジュールの装着手段１２０）に多様な固有機能が搭載された独立式モジュールを装着または分離して、サービング機能以外に、装着された独立式モジュール独自の機能を有効にすることによって、複合機能を可能にする多機能型自律走行サービングロボット１に関するものである。

【0039】

本発明による多機能型自律走行サービングロボットをより具体的に説明すれば次の通りである。

【0040】

前記ロボットボディシステム１００は、上述したように、サービング機能を果たすように形成されたサービングロボットハウジングＨと；前記サービングロボットハウジングＨの下部に位置及び形成され、所定の室内空間を特定の経路および特定の信号に従って移動および走行することを可能にする動力源手段１１０と；前記サービングロボットハウジングＨの上部及び下部のうちのいずれか１つ以上にロボットの機能を追加して装着できるようにする追加機能モジュールの装着手段１２０と；特定経路および特定信号と、追加機能モジュールの装着手段１２０に装着されるロボットの機能に応じて動力源手段１１０を制御するロボット制御手段１３０と；で構成される。

【0041】

ここて、前記サービングロボットハウジングＨの一側には、周辺情報をリアルタイムに取得して空間情報および経路情報を生成および更新することを可能にする周辺環境情報の取得センシング手段１４０が構成される。

【0042】

よって、前記サービングロボット走行に関する全ての情報を取得し、前記ロボット制御手段１３０を介して安全に作動および走行できるようにする。

【0043】

特に、前記周辺環境情報の取得センシング手段１４０は、例えば、サービングロボットの動的環境認識の正確性のために、２Ｄ ＬｉｄａｒとＲＧＢ－Ｄセンサーフュージョン技術が適用されることができる。

【0044】

また、前記追加機能モジュールの装着手段１２０は、前記ロボット機能脱着モジュール２００がロボットボディシステム１００の一側に脱着されるように形成し、前記ロボット制御手段１３０により、装着されたロボット機能脱着モジュール２００の固有機能を解読できるようにするモジュール装着インターフェース部１２１が構成されて、前記ロボット機能脱着モジュール２００とロボットボディシステム１００とを容易に連結または分離することができる。

【0045】

また、ロボット制御手段１３０は、図７に示すように、既にサービング機能でコーディングされているサービングモードＭ１が記憶されているサービングモード活性化部１３１と；ロボット機能脱着モジュール２００から入力された情報を解読するモジュール解読部１３２と；前記サービングモード活性化部１３１及びモジュール解読部１３２から伝達される情報に基づいて動力源手段１１０を制御する動力源制御部１３３と；で構成される。

【0046】

前記モジュール解読部１３２は、前記追加機能モジュールの装着手段１２０によって装着されるロボット機能脱着モジュール２００が装着されているか否かを確認するモジュール装着確認要素１３２ａと；追加機能モジュールの装着手段１２０に装着されたロボット機能脱着モジュール２００のコーディングされたプログラムを解読するモジュールローディング要素１３２ｂと；前記モジュールローディング要素１３２ｂによって解読されたロボット機能脱着モジュール２００の固有の機能モードＭ２を活性化する追加機能活性化要素１３２ｃと；前記ロボット機能脱着モジュール２００の固有の機能モードＭ２と、前記サービングモード活性化部１３１に記憶されたサービングモードＭ１とを同期化させて、ロボット機能脱着モジュール２００の固有の機能モードＭ２と、サービングモード活性化部１３１に記憶されたサービングモードＭ１が共存して活性化されるようにしたり、所定時間に応じてサービングモードＭ１と機能モードＭ２が交互に活性化されるようにしたり、ロボット機能脱着モジュール２００の固有の機能モードＭ２のみを活性化させる追加の機能モード同期化決定要素１３２ｄと；で構成される。

【0047】

したがって、ロボット機能脱着モジュール２００内でコーディングされたプログラムを解読し、解読されたロボット機能脱着モジュール２００の固有の機能モードＭ２に合わせてロボットボディシステム１００を制御できるようにする。

【0048】

このとき、追加機能モード同期化決定要素１３２ｄは、サービングミッションのみを活性化させるサービングモードＭ１と；装着されたロボット機能脱着モジュール２００の特定の固有の機能のみを活性化する機能モードＭ２と；サービングモードＭ１と機能モードＭ２とを同時に活性化する複合モードＭ１２と；サービングモードＭ１と機能モードＭ２を管理者によって設定されたスケジュールに合わせて活性化させる時間差モードＭ１／２と；で構成されてサービングロボットの機能の多様性が図られるようにする。

【0049】

また、前記ロボット制御手段１３０には、前記動力源制御部１３３によって作動および走行されるサービングロボットの走行空間を生成する走行空間作成部１３４が構成されて前記サービングロボットが特定の空間を特定の信号に応じて自律走行できるようにする。

【0050】

ここで、前記走行空間作成部１３４は、周辺環境情報の取得センシング手段１４０と、ＩＭＵ、Ｏｄｏｍｅｔｒｙから取得された情報に基づいてリアルタイムの位置及び特定空間のマップを作成及び生成するＳＬＡＭ実行モジュール１３４ａと；前記ＳＬＡＭ実行モジュール１３４ａから作成及び生成された特定空間のマップを補正して、サービングロボットの走行および動作の正確性を向上させる作成マップ補正モジュール１３４ｂと；前記周辺環境情報取得手段１４０によって生成された周辺環境に関する３Ｄ情報を２Ｄ情報に変換する作成マップ２Ｄ変換モジュール１３４ｃと；ＲＴＡＢ－ＭＡＰ結果と、前記ＳＬＡＭ実行モジュール１３４ａ、前記作成マップ補正モジュール１３４ｂ、前記作成マップ２Ｄ変換モジュール１３４ｃの結果とを一つの２Ｄマップ（ｍａｐ）に統合して、サービングロボットの走行空間マップを作成する最終走行空間マップ作成モジュール１３４ｄと；で構成される。

【0051】

上述のように、サービングロボットの走行空間マップが作成されるようにし、また、前記走行空間作成部１３４から作成された情報に基づいて、サービングロボットの走行経路を生成および設定する経路設定部１３５が構成される。

【0052】

前記経路設定部１３５は、目標座標入力による最短距離の ｐａｔｈ ｐｌａｎｎｉｎｇ（経路計画）,ｐａｔｈ ｆｏｌｌｏｗｉｎｇを実行する確率円ベースの空間検索（ｐｒｏｂａｂｉｌｉｔｙ ｃｉｒｃｌｅ－ｂａｐｓｅｄ ｓｐａｔｉａｌ ｓｅａｒｃｈ；ＰＣＳＳ）アルゴリズムが適用される走行経路実行モジュール１３５ａと；ＩＭＵ Ｄｅａｄ ｒｅｃｋｏｎｉｎｇおよびサービングロボットの走行位置の妥当性を検証する走行経路妥当性検証モジュール１３５ｂと；サービングロボットの走行中に、周辺環境情報の取得センシング手段１４０による障害物認識および回避のためのｌｏｃａｌ ｃｏｓｔ－ｍａｐを作成して、地域経路および全域経路の復帰を設定する地域及びグローバル経路復帰設定モジュール１３５ｃと；サービングロボットの走行差補正（ｎａｖｉｇａｔｉｏｎ ｄｉｆｆｅｒｅｎｃｅ ｃａｌｉｂｒａｔｉｏｎ）を行う走行差補正モジュール１３５ｄと；で構成されて、グローバル経路（ｇｌｏｂａｌ ｐａｔｈ）と地域経路（ｌｏｃａｌ ｐａｔｈ）と、これに対するサービングロボットの走行（ｎａｖｉｇａｔｉｏｎ）が成立するようにする。

【0053】

すなわち、サービングロボットが目的地までの移動のためには、グローバル経路（ｇｌｏｂａｌ ｐａｔｈ）と、地域経路（ｌｏｃａｌ ｐａｔｈ）が要求される。

【0054】

前記グローバル経路（ｇｌｏｂａｌ ｐａｔｈ）とは、サービングロボットの運用環境内で開始地点から目的地までのフルパスを意味する。

【0055】

前記地域経路（ｌｏｃａｌ ｐａｔｈ）とは、サービングロボットの移動中に検出される情報を利用して、障害物回避などの地域的な経路を生成することを意味する。

【0056】

前記グローバル経路（ｇｌｏｂａｌ ｐａｔｈ）は、走行環境のすべての領域に関する情報が提供されたときに可能であり、前記地域経路（ｌｏｃａｌ ｐａｔｈ）は、人の近くでサービングするサービングロボットが人、資産、および環境に対する安全を確保するために必要である。

【0057】

したがって、本発明は、人またはその他の移動コンポーネントとの接触による第１リスク源（１ｓｔ－ｒｉｓｋ ｃａｕｓｅ）の位置認識と、自律走行エラーの第２リスク源（２ｎｄ－ｒｉｓｋ ｃａｕｓｅ）を事前に感知および管理するために、障害物認知と回避方法において、ＲＧＢ－Ｄセンサーを用いて、障害物の検出と追跡を行う。

【0058】

追跡された障害物の移動傾向計算および確率円ベースの空間検索（ＰＣＳＳ）アルゴリズムを適用して、現時点以降の障害物の移動経路を予測することができる。

【0059】

このとき、障害物予測経路は、サービングロボットとの衝突の可能性を予測するために使用される。

【0060】

前記障害物の移動経路は、確率モデル化による注意コスト（ｃａｕｔｉｏｎ ｃｏｓｔ）の関数計算により、障害物の移動性を考慮した地域経路の生成とＫａｎａｙａｍａ制御により、ロボットの無意味な走行や歩行者の脅威を最小限に抑えることができます。

【0061】

これにより、ＲＧＢ－Ｄセンサー情報のみを活用して迅速かつ正確な障害物の検出と追跡が可能になる。

【0062】

動的障害物の現在位置のみを考慮するのではなく、確率円ベースの空間検索（ＰＣＳＳ）アルゴリズムを適用して、走行経路に加えて、障害物の移動性まで考慮した経路計画方式で実際の走行が行われるようにする。

【0063】

すなわち、障害物に対する注意コスト（ｃａｕｔｉｏｎ ｃｏｓｔ）の関数比較により、サービングロボットの走行中、歩行者の脅威が小さく、目的地までの効率的な走行経路を生成することができるし、動的障害物が存在する複雑な環境でも安全に走行できるようにする。

【0064】

また、ロボット制御手段１３０には、前記モジュール解読部１３２、前記走行空間作成部１３４、および前記経路設定部１３５からローディング、生成、および設定される情報に基づいて前記動力源制御部１３３を作動させて前記サービングロボットの走行を制御するロボット走行制御部１３６が構成される。

【0065】

前記ロボット走行制御部１３６は、前記動力源手段１１０を制御するためのノード（ｎｏｄｅ）を形成および制御するアクチュエータノード制御モジュール１３６ａと；前記周辺環境情報の取得センシング手段１４０および前記動力源手段１１０を制御または監視するオープンボードモジュール１３６ｂと；前記オープンボードモジュール１３６ｂの開発ツール（ａｒｄｕｉｎｏ ＩＤＥ）を設定し、オープンボードモジュール１３６ｂに制御プラットフォーム（ＲＯＳ＿Ｌｉｂ）を移植する制御プラットフォームポーティングモジュール１３６ｃと；前記ロボット走行制御部１３６の安定した運用のために前記制御プラットフォームポッティングモジュール１３６ｃの連動を確認する連動確認モジュール１３６ｄと；で構成されて前記サービングロボットの走行を制御できるようにする。

【0066】

このとき、前記オープンボードモジュール１３６ｂは、例えば、アルドゥイーノ（Ａｒｄｕｉｎｏ）ＲＯＳ Ｓｅｒｉａｌ Ｍｕｌｔｉｐｌｅ Ｓｅｒｖｏ ＯｐｅｎＣＲボードを適用することができる。

【0067】

前記アドゥイノ（Ａｒｄｕｉｎｏ）は、マイクロプロセッサと入力および出力機能が可能なマイコンボードの一種といえる。

【0068】

一方、前記ロボットボディシステム１００に装着または分離されて、様々な機能が搭載されてサービングロボットがサービング機能以外に別途の固有機能が活性化されるようにする前記ロボット機能脱着モジュール２００は、前記ロボットボディシステム１００の追加機能モジュールの装着手段１２０に形成されたモジュール装着インターフェース部１２１に装着または分離できるようにするモジュール装着分離要素２１０と；特定の固有機能が搭載された固有機能発現要素２２０と；前記モジュール装着分離要素２１０がモジュール装着インターフェース部１２１に装着されると、ロボット制御手段１３０によって固有機能発現要素２２０が活性化されるように、特定固有機能がコーディングされた固有機能コーディング要素２３０と；で構成されて、サービングに加えて、別々の様々な機能を発揮できるようにすることによって、サービングロボットに複合的な機能が可能になる。

【0069】

前記モジュール装着分離要素２１０は、上述したように、前記ロボットボディシステム１００の追加機能モジュールの装着手段１２０に形成されたモジュール装着インターフェース部１２１の構造に対応して、容易に装着または分離できるように形成される。

【0070】

前記固有機能発現要素２２０は、例えば、赤外線ＣＣＴＶカメラを含み、監視機能を果たす防犯機能モジュールオブジェクト２２１と；３Ｄホログラムプロジェクタを含み、宣伝コンテンツを出力し、宣伝機能を果たす広告機能モジュールオブジェクト２２２と；荷物を運ぶことができるトレイを含み、運搬機能を果たす運搬機能モジュールオブジェクト２２３と；掃除装置を含み、掃除機能を果たす掃除機能モジュールオブジェクト２２４と；防疫および消毒装置を含み、防疫および消毒機能を果たす防疫及び消毒機能モジュールオブジェクト２２５と；空気清浄装置を含み、周囲空気の清浄機能を果たす空気清浄機能モジュールオブジェクト２２６から構成することができる。

【0071】

また、前記固有機能コーディング要素２３０は、上述の様々な固有機能発現要素２２０が形成されることによって、その機能に合わせて動作するように固有の特定機能モードＭ２がコーディングされて形成される。

【0072】

すなわち、前記サービングロボットの本然の機能であるサービングモードＭ１以外に、サービングモードＭ１と同時に、複合的な機能ができるようにしたり、状況に応じて前記サービングモードＭ１が非活性化され、単独で他の機能ができる前記固有機能モードＭ２がコーディングおよび搭載される。

【0073】

前記機能モードＭ２とは、例えば、防犯モード、広告モード、運搬モード、掃除モード、防疫及び消毒モード、および空気清浄モードなど、市場のニーズに合わせてさまざまなモードで構成されることができる。

【0074】

すなわち、上述したように、本発明は、多様な機能が可能な独立式モジュールであるロボット機能脱着モジュール２００と、これが装着または分離され、装着される際、複合的な機能ができるようにロボット機能脱着モジュール２００の情報を認識および同期化して作動するロボットボディシステム１００とで構成される。

【0075】

したがって、本然の機能であるサービングモードＭ１が搭載されたサービングロボットに、サービングモードＭ１以外の他の機能モードＭ２を容易に適用できる、独立式モジュールの装着および取り外しが容易な構造である。

【0076】

これによって、管理者がサービングロボットにサービング機能以外の他の機能を容易に追加して、サービングミッションと同時に、他の機能が発現されるようにしたり、サービングミッションの後、他の機能を単独で実行できるサービングロボットに変換して、サービングだけのロボットではなく、サービング以外の他の機能を適用および活用できるようにする。

【0077】

例えば、防犯機能モジュールオブジェクト２２１が形成され、防犯モードＭ２がコーディングされたロボット機能脱着モジュール２００がロボットボディシステム１００に装着される場合、サービングロボットがサービングしなければならない時間帯には、サービングミッションを行い、サービングが不要な時間帯には、赤外線ＣＣＴＶカメラを利用して、死角地帯なしで特定空間を監視できるようにする。

【0078】

前記広告機能モジュールオブジェクト２２２が形成され、広告モードＭ２がコーディングされたロボット機能脱着モジュール２００がロボットボディシステム１００に装着されると、サービングとともに、３Ｄホログラムプロジェクタを利用して、広報コンテンツ（料理する映像、完成した料理映像など）を出力して、広告および広報機能ができるようにする。

【0079】

本発明の最も重要な特徴は、ロボット機能脱着モジュール２００の独立式モジュール化である。

【0080】

これは、国内および国外市場でサービングロボット本然の機能以外に、さらに必要な、新たな複合機能が要求される際に、その必要な機能が搭載されたロボット機能脱着モジュール２００のみを開発および設計して、市場のニーズや変化に素早く対応できるようにする。

【0081】

図６は、本発明である多機能型自律走行サービングロボットの動作フローチャートを簡略に示したものである。

【0082】

より具体的に説明すると、前記ロボットボディシステム１００にロボット機能脱着モジュール２００が装着される独立式モジュールドッキング段階Ｓ１００と；前記独立式モジュールドッキング段階Ｓ１００により、ロ前記ボットボディシステム１００に装着されたロボット機能脱着モジュール２００の固有の機能モードＭ２が実行されるように正しく装着されたことを確認する独立式モジュールドッキング可否確認段階Ｓ２００と；前記ロボットボディシステム１００において、前記独立式モジュールドッキング可否確認段階Ｓ２００を通じて、装着可否が確認されたロボット機能脱着モジュール２００から固有の機能モードＭ２情報をローディングする独立式モジュール機能モードローディング段階Ｓ３００と；前記ロボットボディシステム１００に基本的に搭載されたサービングモードＭ１と、前記独立式モジュール機能モードローディング段階Ｓ３００からローディングされた固有の機能モードＭ２の活性化可否を確認するサービングロボット複合的機能実行確認段階Ｓ４００と；前記サービングロボット複合的機能遂行確認段階Ｓ４００を通じて、サービングモードＭ１と機能モードＭ２が同時に、または、サービングモードＭ１と機能モードＭ２が異なる時間帯に活性化されるサービングロボット複合機能活性化段階Ｓ５００と；前記独立式モジュールドッキング可否確認段階Ｓ２００からロボット機能脱着モジュール２００の装着可否が不安定である場合、管理者に呼び出し、再度正しく装着できるようにする管理者呼出段階Ｓ６００と；で構成される。

【0083】

また、本発明は、追加の側面に応じて、前記ロボットボディシステム１００には、顧客の感性を考慮して、テーブル顧客に注文された食品をサービスしながら、顧客と会話ができるようにする感性スピーチ提供出力手段Ｐをさらに含む。

【0084】

例えば、気象庁位置基盤サービス（ＬＢＳ、ｌｏｃａｔｉｏｎ ｂａｓｅｄ ｓｅｒｖｉｃｅ）から情報を伝達され、毎日の天気に応じて簡単な挨拶をディスプレイやスピーカーを利用して、顧客に表現できるようにする。

【0085】

また、最終的には、図９に示すように、本発明である多機能型自律走行サービングロボット１が、管理者によるスケジューリングにより、自ら、特定固有の機能モードＭ２が搭載されたロボット機能脱着モジュール２００を装着または分離して、スケジュールに応じて、サービングモードＭ１及び機能モードＭ２を活性化して、その機能を実行できるようにするサービングロボットドッキングステーションシステムＳを構築することができる。

【0086】

したがって、専用端末またはスマート機器を通じて、管理者はスケジュールを計画および設定し、計画および設定されたスケジューリング情報を前記サービングロボットドッキングステーションシステムＳまたは、前記ロボットボディシステム１００に送信するだけで、多機能型自律走行サービングロボット１の機能とスケジュールに応じた動作を制御できるようにする。

【0087】

参照して、本発明である多機能型自律走行サービングロボット１のロボット制御手段１３０は、ＲＯＳ（ｒｏｂｏｔ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）ソフトウェアプラットフォームが適用される。

【0088】

前記ＲＯＳ、ロボットアプリケーションに必要なハードウェア抽象化、デバイス制御、センシングと認識、マップ作成、モーションプランニング機能の提供とプロセスメッセージのパッシング、パッケージ管理など、開発環境に必要なライブラリと多様な開発およびデバッグツールを提供するメタオペレーティングシステムである。

【0089】

前記ＲＯＳは、また、ＵｂｕｎｔｕのようなＯＳ上で動作するため、ＰＣで開発用に使いやすい。

【0090】

実際のロボット内でＲＯＳ駆動に必要なＲａｓｐｂｅｒｒｙ Ｐｉ、ＯＤＲＯＩＤ、Ｉｎｔｅｌ Ｅｄｉｓｏｎ、ＢｅａｇｌｅＢｏｎｅ、およびＴＸ２などの代表的なＳＢＣ（ｓｉｎｇｌｅ ｂｏａｒｄ ｃｏｍｐｕｔｅｒ）を使用している。

【0091】

また、開発単価を下げるためのサービングロボットは、ＡＶＲのような８ｂｉｔ ＭＣＵを使用する場合、ハードウェア構成とロボット動作のプログラム開発の困難が多く、ロボットの位置認識と走行において正確性も多く低下する。

【0092】

したがって、本発明は、ハードウェア構成は、Ｎｖｉｄｉａ Ｊｅｔｓｏｎ ＴＸ２（８ＧＢ）ＳＢＣを使用し、ＯＳでは、Ｕｂｕｎｔｕ １６．０４、ＯＳＭ ｌｏｄｉｃを搭載し、サービングロボットアプリケーション開発と走行技術において、最も安全で信頼性を確保できるハードウェア、ソフトウェアプラットフォームが構成されるようにする。

【0093】

なお、本発明の動力源手段１１０は、ホイール、シャフト、モーター、ロボットアームなど、サービングロボットの移動、特定のミッション（サービングモードＭ１、機能モードＭ２、複合モードＭ１２、および時間差モード Ｍ１／２を実行する物理的に動作する必要がある機械的要素のセットを意味する。

【0094】

なお、本発明における“特定経路”とは、ロボット制御手段１３０、具体的には、走行空間作成部１３４、経路設定部１３５により生成される走行空間情報及び走行経路情報を意味する。

【0095】

前記“特定信号”とは、ロボット制御手段１３０、具体的には、動力源制御部１３３、ロボット走行制御部１３６から伝達、入力される制御信号を意味する。

【0096】

図８は、本発明である多機能型自律走行サービングロボットの構成要素のうち、ロボットボディシステムとロボット機能脱着モジュールとの結合実施形態、すなわち、スライド方式で装着または分離されている結合構造を実施形態で示したものである。

【0097】

以上のように、本発明は、記載された実施例に限定されるものではなく、本発明の思想及び範囲を逸脱することなく様々な修正及び変形することができることは、この技術の分野における通常の知識を有する者にとって自明である。

【0098】

したがって、技術的思想や主要な特徴から逸脱することなく、他の様々な形で実施することができるので、本発明の実施例は、あらゆる点で単なる例示にすぎず、限定的に解釈してはならず、さまざまな変形して実施することができる。

【産業上の利用可能性】

【0099】

本発明は、多機能型自律走行サービングロボットに関するものであり、サービスを主目的に開発および製作されるロボットハードウェア及びソフトウェア産業、特に、サービングロボットのハードウェア及びソフトウェア産業分野の増進に寄与するために適用することができる。

【符号の説明】

【0100】

１：多機能型自律走行サービングロボット
１００：ロボットボディシステム
１１０：動力源手段
１２０：追加機能モジュールの装着手段
１２１：モジュール装着インターフェース部
１３０：ロボット制御手段
１３１：サービングモード活性化部
１３２：モジュール解読部
１３２ａ：モジュール装着確認要素
１３２ｂ：モジュールローディング要素
１３２ｃ：追加機能活性化要素
１３２ｄ：追加機能モード同期化決定要素
１３３：動力源制御部
１３４：走行空間作成部
１３４ａ：ＳＬＡＭ実行モジュール
１３４ｂ：作成マップ補正モジュール
１３４ｃ：作成マップ２Ｄ変換モジュール
１３４ｄ：最終走行空間マップ作成モジュール
１３５：経路設定部
１３５ａ：走行経路実行モジュール
１３５ｂ：走行経路妥当性検証モジュール
１３５ｃ：地域及びグローバル経路復帰設定モジュール
１３５ｄ：走行差補正モジュール
１３６：ロボット走行制御部
１３６ａ：アクチュエータノード制御モジュール
１３６ｂ：オープンボードモジュール
１３６ｃ：制御プラットフォームポーティングモジュール
１３６ｄ：連動確認モジュール
１４０：周辺環境情報の取得センシング手段
２００：ロボット機能脱着モジュール
２１０：モジュール装着分離要素
２２０：固有機能発現要素
２２１：防犯機能モジュールオブジェクト
２２２：広告機能モジュールオブジェクト
２２３：運搬機能モジュールオブジェクト
２２４：掃除機能モジュールオブジェクト
２２５：防疫及び消毒機能モジュールオブジェクト
２２６：空気清浄機能モジュールオブジェクト
２３０：固有機能コーディング要素
Ｓ１００：独立式モジュールドッキング段階
Ｓ２００：独立式モジュールドッキング可否確認段階
Ｓ３００：独立式モジュール機能モードロード段階

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】