İlk cavab verənlərə kömək etmək üçün infraqırmızı kameralı avtonom dron: 7 addım

2024 Müəllif: John Day | [email protected]. Son dəyişdirildi: 2024-01-30 07:45

Ümumdünya Səhiyyə Təşkilatının hesabatına görə, hər il təbii fəlakətlər 90 minə yaxın insanın həyatına son qoyur və 160 milyon insana təsir edir. Təbii fəlakətlərə zəlzələlər, sunami, vulkan püskürmələri, torpaq sürüşmələri, qasırğalar, sellər, meşə yanğınları, istilik dalğaları və quraqlıq daxildir. Zaman son dərəcə əhəmiyyətlidir, çünki sağ qalma şansı keçən hər dəqiqə azalmağa başlayır. İlk müdaxilə edənlər zərər çəkmiş evlərdə sağ qalanları tapmaqda çətinlik çəkə bilər və onları axtararkən həyatlarını riskə ata bilərlər. İnsanları uzaqdan yerləşdirə biləcək bir sistemə sahib olmaq, ilk müdaxilə edənlərin binalardan evakuasiya etmə sürətini xeyli artıracaq. Digər sistemləri araşdırdıqdan sonra gördüm ki, bəzi şirkətlər quruya əsaslanan və ya insanları izləyə bilən, ancaq binaların xaricində işləyən pilotsuz təyyarələr yaradıblar. Xüsusi infraqırmızı kameralarla birlikdə dərinlik kameralarının birləşməsi daxili sahənin dəqiq izlənilməsinə və yanğını, insanları və heyvanları təmsil edən temperatur dəyişikliklərinin aşkarlanmasına imkan verə bilər. Pilotsuz uçuş aparatında (İHA) xüsusi alqoritmi olan sensorlar tətbiq etməklə evləri müstəqil şəkildə yoxlamaq və onları mümkün qədər tez xilas etmək üçün insanların və heyvanların yerini müəyyən etmək mümkün olacaq.

Zəhmət olmasa Optika yarışmasında mənə səs verin!

Addım 1: Dizayn tələbləri

Mövcud texnologiyaları araşdırdıqdan sonra, təhlükəli ərazilərdə sağ qalanları aşkar etmək üçün ən yaxşı üsulu tapmaq üçün maşın görmə mütəxəssisləri və ilk cavab verən ilə mümkün həlləri müzakirə etdim. Aşağıdakı məlumatlar, sistem üçün lazım olan ən vacib xüsusiyyətləri və dizayn elementlərini sadalayır.

• Görmə İşlənməsi - Sistem, sensorlar və Süni Zəka (AI) cavabı arasında məlumat mübadiləsi üçün sürətli bir işləmə sürəti təmin etməlidir. Məsələn, sistem, təhlükə altında olan insanları tapmaqla yanaşı, divarların qarşısını almaq üçün maneələri aşkar edə bilməlidir.
• Muxtar - Sistemin istifadəçi və ya operatordan heç bir girişi olmadan işləyə bilməsi lazımdır. İHA texnologiyası ilə minimum təcrübəsi olan işçilər, sistemin öz -özünə taramaya başlaması üçün bir və ya bir neçə düyməni basa bilməlidir.
• Aralıq - Aralıq, sistemlə yaxınlıqdakı bütün digər obyektlər arasındakı məsafədir. Sistem koridorları və girişləri ən az 5 metr uzaqlıqdan aşkar edə bilməlidir. İdeal minimum məsafə 0,25 m -dir ki, yaxın cisimlər aşkarlansın. Algılama diapazonu nə qədər böyükdürsə, sağ qalanların aşkarlanma müddəti də qısalır.
• Naviqasiya və Algılama Dəqiqliyi - Sistem bütün girişləri dəqiq tapmalı və heç bir obyektə dəyməməli, eyni zamanda cisimlərin qəfil görünüşünü aşkarlamalıdır. Sistem, müxtəlif sensorlar vasitəsilə insanlar və cansız cisimlər arasındakı fərqi tapmağı bacarmalıdır.
• Əməliyyat müddəti - Sistem neçə otaq taramalı olduğuna bağlı olaraq 10 dəqiqə və ya daha uzun davam edə bilməlidir.
• Sürət - 10 dəqiqədən az bir müddətdə bütün binanı taramalıdır.

Addım 2: Avadanlıq seçimi: Hərəkət üsulu

Kvadrokopter uzaqdan idarə olunan bir avtomobil üzərində seçildi, çünki kvadrokopter kövrək olsa da, maneələrin qarşısını almaq üçün idarə etmək və hündürlüyü dəyişdirmək daha asandır. Kvadrokopter bütün sensorları saxlaya və sabitləşdirə bilər ki, fərqli otaqlara keçərkən daha dəqiq olsun. Pervaneler istiliyədavamlı karbon lifindən hazırlanmışdır. Sensorlar qəzaların qarşısını almaq üçün divarlardan uzaqlaşır.

• Uzaqdan idarəetmə quru vasitəsi

  • Üstünlükləri - Düşmədən sürətlə hərəkət edə bilir və temperaturdan təsirlənmir
  • Dezavantajları - Vasitə bir anda daha az ərazini əhatə edən sensorları yerə endirəcək və maneələrlə mane ola bilər

• Quadcopter

  • Üstünlükləri - 360 dərəcə ətrafa baxmaq üçün sensorlar havaya qaldırır
  • Dezavantajları - Bir divara girərsə yıxıla bilər və özünə gələ bilməz

Addım 3: Avadanlıq Seçimi: Mikrokontrollerlər

Mikrokontrollerlər üçün əsas iki tələb, quadcopterin yükünü azaltmaq üçün kiçik ölçü və məlumat girişini sürətlə emal etmək sürətidir. Rock64 və DJI Naza'nın birləşməsi, mikrokontrolörlərin mükəmməl birləşməsidir, çünki Rock64, insanları tez aşkar etmək və kvadrokopterin divarlara və maneələrə qaçmaması üçün kifayət qədər işləmə gücünə malikdir. DJI Naza, Rock64 -ün edə bilmədiyi bütün stabilizasiyanı və motor nəzarətini etməklə bunu yaxşı tərifləyir. Mikrodenetleyiciler seriyalı bir port vasitəsi ilə əlaqə qurur və lazım olduqda istifadəçi nəzarətinə imkan verir. Raspberry Pi yaxşı bir alternativ olardı, ancaq Rock64 -də daha yaxşı bir prosessor və növbəti cədvəldə göstərilən sensorlar üçün daha yaxşı əlaqə olduğundan Pi seçilmədi. Intel Edison və Pixhawk, dəstək və əlaqə olmaması səbəbindən seçilmədi.

• Moruq Pi

  • Üstünlükləri - Divarları və sabit əşyaları aşkar edə bilir
  • Eksiler - Bütün sensorlardakı məlumatları izləmək üçün mübarizə aparır, buna görə girişləri kifayət qədər tez görə bilmir. Motor siqnalları çıxara bilmir və kvadrokopter üçün heç bir stabilizasiya sensoru yoxdur

• Rock 64

  • Üstünlüklər - Divarları və girişləri az gecikmə ilə aşkar edə bilir.
  • Dezavantajları - Bütün sensorlardan istifadə edərək heç bir şeyə girmədən sistemi ev boyunca idarə edə bilir. Motor sürətini idarə etmək üçün kifayət qədər tez siqnal göndərə bilmir və kvadrokopter üçün heç bir stabilizasiya sensoru yoxdur

• Intel Edison

  • Üstünlüklər - Bir qədər gecikmə ilə divarları və girişləri aşkar edə bilir
  • Eksiler - Köhnə texnologiya, bir çox sensorlar yaratmaq üçün çox vaxt aparan yeni kitabxanalara ehtiyac duyar

• DJI Naz

  • Üstünlükləri - Quadcopterin motor sürətinə mikro tənzimləmələrlə havada sabit olmasını təmin etmək üçün inteqrasiya olunmuş giroskop, akselerometr və maqnitometrə malikdir.
  • Dezavantajları - Hər hansı bir görmə emalı edə bilmir

• Pixhawk

  • Üstünlükləri - Ümumi Məqsədli Giriş Çıxışından (GPIO) istifadə edərək layihədə istifadə olunan sensorlar ilə kompakt və uyğun gəlir.
  • Dezavantajları - Hər hansı bir görmə emalı edə bilmir

Addım 4: Avadanlıq Seçimi: Sensorlar

Təhlükəli ərazilərdəki insanları tapmaq üçün lazım olan bütün məlumatları əldə etmək üçün bir neçə sensorun birləşməsindən istifadə olunur. Seçilən iki əsas sensora SOund Naviqasiya və Aralığı (SONAR) ilə birlikdə stereo infraqırmızı kamera daxildir. Bir az sınaqdan sonra, kiçik olduğuna görə 20 metr məsafəni dəqiq izləyə bildiyinə görə Realsense D435 kamerasından istifadə etmək qərarına gəldim. Saniyədə 90 kadr sürətlə işləyir ki, bu da cisimlərin harada olması və kvadrokopteri hansı istiqamətə yönəltmək barədə qərar verməzdən əvvəl bir çox ölçmə aparmağa imkan verir. SONAR sensorlar sistemin üstünə və altına yerləşdirilib ki, kvadrokopterin səthlə təmas etməzdən əvvəl onun nə qədər yüksək və ya aşağı getməsinə icazə verilsin. Sistemin stereo infraqırmızı kamera sensorunun aşkar edə bilmədiyi şüşə kimi cisimləri aşkar etməsinə icazə vermək üçün önə baxan biri də var. İnsanlar və heyvanlar hərəkət və cisim tanıma alqoritmlərindən istifadə edərək aşkarlanır. FLIR Kamera, stereo infraqırmızı kameranın nəyin yaşadığını və nəyin pis şəraitdə tarama səmərəliliyinin artırılmamasına kömək etməsi üçün tətbiq ediləcək.

• Kinect V1

  • Üstünlüklər - 3 metrlik obyektləri asanlıqla 6 metr məsafədə izləyə bilir
  • Eksiler -Yalnız 1 infraqırmızı sensora malikdir və quadcopter üçün çox ağırdır

• Realsense D435

  • Üstünlükləri - 2 infraqırmızı kamera və 25 metr məsafəyə qədər yüksək dəqiqlikli 3D obyekt algılaması üçün Qırmızı, Yaşıl, Mavi, Dərinlik (RGB -D) kameraya malikdir. Quadcopterə asanlıqla oturmağa imkan verən eni 6 sm -dir
  • Eksiler - İstiləşə bilər və bir soyutma fanına ehtiyac ola bilər

• LİDAR

  • Üstünlüklər - Görmə xəttində 40 metr uzaqlıqdakı yerləri izləyə bilən şüa
  • Eksiler - Ətrafdakı istilik ölçmə dəqiqliyinə təsir edə bilər

• SONAR

  • Üstünlüklər - 15 m məsafəni izləyə bilən, lakin şüşə və akril kimi şəffaf əşyaları aşkar edə bilən şüa
  • Eksiler - Yalnız bir görmə xəttində olan nöqtələr, ancaq tarama sahəsinə quadcopter tərəfindən köçürülə bilər

• Ultrasonik

  • Üstünlükləri - 3 m -ə qədər məsafəyə malikdir və çox ucuzdur
  • Eksiler - Yalnız bir görmə xəttindəki nöqtələr və çox asanlıqla məsafə algılama aralığından kənarda ola bilər
• FLIR Kamera
  • Üstünlükləri - müdaxilə etmədən tüstü vasitəsilə dərin şəkillər çəkə bilir və istilik işarələri ilə canlı insanları aşkar edə bilir
  • Dezavantajları - Sensorlara bir şey müdaxilə edərsə, məsafə hesablamaları səhv hesablana bilər

• PIR sensoru

  • Üstünlükləri - Temperatur dəyişikliyini aşkar edə bilir
  • Eksiler - Temperatur fərqinin harada olduğunu təyin etmək mümkün deyil

Addım 5: Avadanlıq Seçimi: Proqram təminatı

Robot Əməliyyat Sisteminin (ROS) yanında Realsense SDK -nı istifadə edərək, mikro nəzarətçi ilə bütün sensorlar arasında qüsursuz bir inteqrasiya yaratdım. SDK, quadcopterin bütün obyektlərini və sərhədlərini izləmək üçün ideal olan nöqtə bulud məlumatlarının sabit bir axını təmin etdi. ROS, bütün sensor məlumatlarını Süni Zəkanı tətbiq edən proqrama göndərməyimə kömək etdi. AI, quadcopterin öz mühitində hərəkət tapmasına imkan verən obyekt aşkarlama alqoritmləri və hərəkət aşkarlama alqoritmlərindən ibarətdir. Nəzarətçi, kvadrokopterin vəziyyətini idarə etmək üçün Pulse Width Modulation (PWM) istifadə edir.

• Freenect

  • Üstünlüklər - Hər şeyi idarə etmək üçün daha aşağı səviyyəyə malikdir
  • Eksiler - Yalnız Kinect V1 -i dəstəkləyir

• Realsense SDK

  • Üstünlükləri - Realsense Kamerasından olan məlumat axınından nöqtə bulud məlumatlarını asanlıqla yarada bilər
  • Eksiler - Yalnız Realsense D435 kamerasını dəstəkləyir

• FLIR Linux sürücü

  • Pros - FLIR kamerasından məlumat axını ala bilir
  • Eksiler - Sənədlər çox məhduddur

• Robot Əməliyyat Sistemi (ROS)

  • Pros - Kamera funksiyalarını proqramlaşdırmaq üçün ideal olan əməliyyat sistemi
  • Eksiler - Məlumatların səmərəli toplanması üçün sürətli bir SD karta quraşdırılmalıdır

Addım 6: Sistemin İnkişafı

Cihazın "gözləri" əsasən 3D xəritələşdirmə kimi robot tətbiqləri üçün istifadə olunan Realsense D435 stereo infraqırmızı sensordur (Şəkil 1). Bu sensor kvadrokopterə quraşdırıldıqda, infraqırmızı kamera kvadrokopterin avtonom hərəkət etməsinə istiqamət verə və icazə verə bilər. Kamera tərəfindən yaradılan məlumatlara, kameranın görmə qabiliyyətində müəyyən bir obyektin mövqeyi haqqında məlumat olan bir məkandakı bir sıra nöqtələrdən ibarət nöqtə buludu deyilir. Bu nöqtə buludu rəngləri fərqli dərinliklərdə göstərən bir dərinlik xəritəsinə çevrilə bilər (Şəkil 2). Qırmızı daha uzaqda, mavi daha yaxın məsafədədir.

Bu sistemin problemsiz olmasını təmin etmək üçün, adətən robotlarda istifadə olunan ROS adlı açıq mənbəli bir əməliyyat sistemi istifadə edilmişdir. Aşağı səviyyəli cihaz nəzarətini həyata keçirməyə, bütün sensorlara daxil olmağa və digər proqramlar tərəfindən istifadə ediləcək məlumatları toplamağa imkan verir. ROS, obyektlərin sistemdən nə qədər uzaq olduğunu izləmək üçün fərqli kameraları açıb söndürməyə imkan verən Realsense SDK ilə əlaqə quracaq. Hər ikisi arasındakı əlaqə, nöqtə buludu yaradan kameradan məlumat axınına daxil olmağa imkan verir. Nöqtə bulud məlumatları, sərhədlərin və cisimlərin 30 metr və 2 sm dəqiqlikdə harada olduğunu təyin edə bilər. SONAR sensorlar və DJI Naza nəzarətçisindəki quraşdırılmış sensorlar kimi digər sensorlar quadcopterin daha dəqiq bir şəkildə yerləşdirilməsinə imkan verir. Proqramım, nöqtə buluduna daxil olmaq və lokalizasiya vasitəsi ilə cihazı əhatə edən bütün məkanın xəritəsini yaratmaq üçün AI alqoritmlərindən istifadə edir. Sistem işə salındıqdan və taramaya başladıqdan sonra, koridorlardan keçəcək və sonra xüsusi olaraq insanları axtaran otağın süpürülməsi işlərini yerinə yetirə biləcəyi digər otaqlara giriş tapacaq. Sistem bütün otaqlar taranana qədər bu prosesi təkrarlayır. Hal -hazırda, quadcopter təxminən 10 dəqiqə uça bilər, bu da tam bir tarama etmək üçün kifayətdir, lakin fərqli batareya tənzimləmələri ilə təkmilləşdirilə bilər. İlk cavab verənlər səylərini seçilmiş binalara yönəltmək üçün insanlar görüldükdə bildiriş alacaqlar.

Addım 7: Müzakirə və Nəticə

Çox sınaqlardan sonra Cədvəl 1 -də sadalanan tələbləri yerinə yetirən işlək bir prototip yaratdım. Əvvəlcə infraqırmızı kameranın şüşə kimi bəzi obyektləri aşkar edə bilməməsi ilə bağlı bəzi problemlərim var idi. SONAR sensoru əlavə edərək bu problemi həll edə bildim. Rock64 və DJI Naza'nın birləşməsi, sistemin OpenCV istifadə edərək xüsusi olaraq yaradılmış kompüter görmə alqoritmləri vasitəsi ilə obyektləri və divarları aşkar edə bilməsi ilə bərabər, kvadrokopteri sabitləşdirə bildiyi üçün müvəffəqiyyətli oldu. Mövcud sistem funksional olsa da və tələbləri yerinə yetirsə də, gələcəkdə bəzi prototiplərdən faydalana bilər.

İnsanları daha dəqiq tanıya bilmək üçün daha yüksək keyfiyyətli kameralar istifadə edərək bu sistem təkmilləşdirilə bilər. Daha bahalı FLIR kameraların bəziləri, daha dəqiq aşkarlanmağa imkan verən istilik imzalarını aşkar etmək qabiliyyətinə malikdir. Sistem tozlu və tüstü ilə dolu otaqlar kimi fərqli mühitlərdə də işləyə bilər. Yeni texnologiya və yanğından mühafizə ilə bu sistem yanan evlərə göndərilə bilər və insanların harada olduqlarını tez bir zamanda aşkar edər ki, ilk müdaxilə edənlər sağ qalanları təhlükədən xilas edə bilsinlər.

Oxuduğunuz üçün təşəkkürlər! Optika yarışmasında mənə səs verməyi unutmayın!