AWS -də Magicbit -dən məlumatların görüntülənməsi: 5 addım

2024 Müəllif: John Day | [email protected]. Son dəyişdirildi: 2024-01-30 07:43

Magicbit ilə əlaqəli sensorlardan toplanan məlumatlar, real vaxtda qrafik olaraq görüntülənmək üçün MQTT vasitəsi ilə AWS IOT nüvəsində nəşr olunacaq. ESP32 -ə əsaslanan bu layihədə inkişaf etdirmə lövhəsi olaraq magicbit istifadə edirik. Bu səbəbdən hər hansı bir ESP32 inkişaf lövhəsi bu layihədə istifadə edilə bilər.

Təchizat:

Magicbit

Addım 1: Hekayə

Bu layihə, Magicbit cihazınızı MQTT vasitəsilə AWS Buluduna bağlamaqdan ibarətdir. MQTT vasitəsilə göndərilən məlumatlar AWS xidmətlərindən istifadə edərək buludda təhlil və görüntülənir. Beləliklə başlayaq

Əvvəlcə AWS Konsoluna daxil olmalı və daxil olmalısınız. Öyrənmə məqsədləri üçün AWS -in təklif etdiyi pulsuz səviyyəli seçimdən istifadə edə bilərsiniz. Bu layihə üçün kifayət edəcək.

Daha asanlaşdırmaq üçün layihəni iki hissəyə böləcəyəm.

Bu, layihəmizin ilk mərhələsi olacaq. Birinci mərhələnin sonunda məlumatlar S3 paketlərində saxlanılacaq.

Birinci hissədə istifadə ediləcək AWS xidmətləri,

• Kinesis Firehose
• AWS yapışqan
• AWS S3

Əvvəlcə AWS Kinesis xidmətinə gedin.

Aşağıda göstərildiyi kimi Kinesis Data Firehose seçin və Yarat düyməsini basın

Sonra bir Firehose xidməti yaratmağın 1 -ci addımına yönləndiriləcəksiniz. Çatdırılma axını adını daxil edin və Direct Put və ya Digər Mənbələri seçin. Sonrakı düyməsini basın.

Addım 2 pəncərəsində hər şeyi standart olaraq buraxın və növbəti düyməni basın. AWS Glue Xidmətini yaratdıqdan sonra bu addımı redaktə etmək üçün geri qayıdacağıq.

Addım 3 -də, əvvəllər yaratmısınızsa, S3 kovasını seçin. Əks təqdirdə, yaratmaq və bir kova yaratmaq düyməsini basın. S3 prefiks bölməsində dest/ istifadə edin və səhv prefiksində səhv/ daxil edin. Yuxarıdakı iki ad üçün hər hansı bir ad daxil edə bilərsiniz. Ancaq asanlıq üçün ümumi bir adla davam edəcəyik. Seçdiyiniz kovanın içərisində dest adlı bir qovluq yaratdığınızdan əmin olun. Sonrakı düyməsini basın.

Addım 4 -də, real vaxt məlumat ötürülməsi üçün minimum tampon ölçüsünü və tampon aralığını seçin. İcazə bölməsində IAM roleKinesisFirehoseServiceRole yaradın və ya yeniləyin seçin. Hər şeyi standart olaraq saxlayın. Sonrakı düyməsini basın.

Növbəti hissədə etdiyiniz dəyişikliklərin icmalı göstəriləcək. OK düyməsini basın. Sonra işləyən bir Kinesis Firehose olacaqsınız.

Firehose xidmətini uğurla yaratmısınızsa, buna bənzər bir şey əldə edəcəksiniz.

Addım 2: Firehose və S3 Kovasını sınayın

Firehose və S3 kovasının düzgün işlədiyini yoxlamaq üçün konsolda IOT core seçin. Belə bir səhifəyə yönləndiriləcəksiniz. Qayda seçin və qayda yaradın.

AWS IOT qaydası nədir?

MQTT -dən alınan hər hansı bir məlumatı müəyyən bir xidmətə ötürmək üçün istifadə olunur. Bu nümunədə Kinesis Firehose -ə keçəcəyik.

Qayda üçün bir ad seçin. Qayda və Sorğu Bəyanatını olduğu kimi buraxın. Bu, iot/mövzu mövzusunda yayımlanan hər şeyin bu qayda ilə Firehose kinesisinə göndəriləcəyini söyləyir.

Bir və ya bir neçə hərəkəti təyin et bölməsinin altında Fəaliyyət əlavə et düyməsini vurun. Amazon Kinesis Firehose Stream -ə Mesaj göndər seçin. Konfiqurasiya seçin. Sonra əvvəllər yaradılmış yanğınsöndürmə axınının adını seçin. Sonra Rol yaradın düyməsini basın və rol yaradın. İndi AWS -də uğurla bir rol yaratdınız.

Yayımladığınız hər hansı bir mesaj Kinesis Firehose vasitəsi ilə S3 paketlərinə göndəriləcək.

Firehose, tampon doldurulduqda və ya tampon aralığına çatdıqda məlumat göndərdiyini unutmayın. Minimum tampon aralığı 60 saniyədir.

İndi layihənin ikinci hissəsinə keçə bilərik. Bu, dataflow diaqramımız olacaq.

Addım 3: AWS Glue konfiqurasiyası

AWS Glue və AWS Athena'ya niyə ehtiyacımız var?

S3 paketlərində saxlanılan məlumatlar birbaşa AWS Quicksight -a giriş olaraq istifadə edilə bilməz. Əvvəlcə məlumatları cədvəl şəklində təşkil etməliyik. Bunun üçün yuxarıdakı iki xidmətdən istifadə edirik.

AWS Glue -a gedin. Yan alətlər çubuğunda Tarayıcı seçin. Sonra Tarayıcı əlavə et seçin.

İlk addımda tarayıcınız üçün bir ad daxil edin. Sonrakı düyməsini basın. Növbəti addımda onu standart olaraq buraxın. Üçüncü addımda, seçdiyiniz S3 kovasına gedən yolu daxil edin. Növbəti pəncərəni standart olaraq buraxın. Beşinci pəncərədə hər hansı bir IAM rolunu daxil edin. Növbəti addımda xidmətin işləmə tezliyini seçin.

Açılan qutudan xüsusi seçib minimum vaxt seçmək məsləhətdir.

Növbəti addımda Veritabanı Əlavə et düyməsini və sonra növbəti düyməsini basın. Bitir düyməsini basın.

İndi Kinesis Firehose'umuzu yaratdığımız AWS Glue ilə birləşdirməliyik.

Yaratdığımız AWS Kinesis firehose -ə gedin və redaktə edin.

Yazı Formatını Dönüştür bölməsinə keçin və Aktiv seçin.

Çıxış formatını Apache Parquet olaraq seçin. Qalan detallar üçün yaratdığınız Glue verilənlər bazası məlumatlarını doldurun. Verilənlər bazasında bir cədvəl yaradılmalı və adı bu hissəyə əlavə edilməlidir. Saxla vurun.

Addım 4: AWS Athenanı konfiqurasiya edin

Verilənlər bazasını və yaratdığınız məlumat cədvəlini seçin. Sorğu bölməsində bu kod əlavə edilməlidir.

masa adı, yaratdığınız Yapışqan masasının əsl adı ilə əvəz olunmalıdır.

Sorğunu Çalıştır'ı basın. Əgər işləyirsə, AWS S3 paketində saxlanılan məlumatlar bir məlumat cədvəli olaraq göstərilməlidir.

İndi əldə etdiyimiz məlumatları görselleştirmeye hazırıq.

Addım 5: QuickSight -ı konfiqurasiya edin

AWS Quicksight -a gedin

Sağ üst küncdəki Yeni Analiz və sonra Yeni Məlumat Kümesi'ni basın.

Siyahıdan Afina seçin. Açılan karta hər hansı bir məlumat mənbəyi adını daxil edin.

Açılan qutudan və müvafiq cədvəldən Yapışqan verilənlər bazasını seçin. Bu sizi bu səhifəyə aparacaq.

Sahə siyahısından hər hansı bir sahəni sürükləyin və buraxın və hər hansı bir vizual növü seçin.

İndi AWS xidmətlərindən istifadə edərək MagicBit -dən göndərilən hər hansı bir məlumatı görüntüləyə bilərsiniz !!!

İçəridəki məlumatları görselleştirmek üçün müvafiq S3 kovaları üçün sürətli görüşə icazə verməyi unutmayın.