Danışıq/Mətn Əlcək Çevirmə Jesti: 5 addım

2024 Müəllif: John Day | [email protected]. Son dəyişdirildi: 2024-01-30 07:44

Bu layihəni həyata keçirməyin arxasında duran fikir, danışma vasitəsi ilə ünsiyyət qurmaqda çətinlik çəkən insanlara kömək etmək və əl jestləri ilə ünsiyyət qurmaq və ya daha çox Amerika İmzalı Dili (ASL) olaraq bilinmək idi. Bu layihə, bu insanlara işarə dilini anlaya bilməyən digər insanlarla əməkdaşlıq mühitində işləmək imkanı təmin etmək üçün bir addım ola bilər. Ayrıca, bu layihə, insan tərcüməçisindən istifadə etmədən ictimai çıxışlar etmələrini təmin edəcək. Başlanğıc olaraq, yalnız A, B, I və s. Əlifbaları kimi bəzi daha asan jestləri aşkar etməyə çalışırdım və eyni zamanda 'Salam', 'Sabahınız xeyir' kimi ümumi sözlərə/salamlara müəyyən jestlər təyin etdim.

Addım 1: Dövrə Quraşdırması

Addım 2: Layihə Təfərrüatları

Bu proyektə əlcək içərisinə yapışdırılmış/gömülmüş 4 fleks sensoru olan geyilə bilən əlcək daxildir - hər biri kiçik, orta, işarə barmaqları və baş barmaq üçün. Flex sensoru, Arduino Uno R3 -də Analog Giriş Pimlərinin mövcudluğunun məhdudlaşdırılması səbəbindən və ümumiyyətlə barmaqla işarə dillərində göstərilən müstəqil hərəkətin olmaması səbəbindən üzük Finger üçün istifadə edilməmişdir. Əlin istiqamətini ölçmək üçün ovucun arxasına yapışdırılmış MMA8452Q sürətləndirici də istifadə olunur. Bu sensorlardakı giriş təhlil edilir və jesti hiss etmək üçün istifadə olunur. Jest hiss edildikdən sonra müvafiq xarakter/mesaj dəyişənə qeyd olunur. Bu simvollar və mesajlar, cümlənin tamamlandığını göstərən əvvəlcədən müəyyən edilmiş bir jest edilənə qədər birləşməyə davam edir. Bu xüsusi jest aşkar edildikdən sonra, qeyd olunan cümlə Arduino tərəfindən USB kabel vasitəsilə Raspberry Pi -yə göndərilir. Raspberry Pi sonra mətn formatında alınan cümləni nitq formatına çevirmək üçün alınmış simli Polly adlı Amazon Bulud Xidmətinə göndərir və sonra alınan nitqi AUX kabeli ilə Raspberry Pi ilə əlaqəli Dinamikdə yayımlayır.

Bu layihə yalnız bir konseptin sübutu idi və daha yaxşı avadanlıq və planlaşdırma ilə bir çox digər jestləri və əl hərəkətlərini aşkar etmək üçün daha yaxşı kalibr edildi. Hal -hazırda, bu jestdə jest aşkarlanması və mətndən nitqə çıxışı kimi yalnız məhdud funksiyalar proqramlaşdırılmışdır.

Addım 3: Kod

Addım 4: Adımlar

1. Çevrilmiş sensorlar və MMA8452Q akselerometrini təqdim olunan dövrə diaqramına uyğun olaraq Arduino -ya qoşun.

2. Final_Project.ino (Arduino_code.zip faylında olan) proqramını Arduinoya atın.

3. Arduino -nu USB kabel vasitəsilə Raspberry Pi -yə qoşun. (A/B tipli kabel).

4. Raspberry Pi -ni gücləndirin, Raspberry_pi_code.zip faylını Raspberry Pi -yə kopyalayın və çıxarın. Dinamiki Raspberry Pi -yə qoşun.

5. AWS hesab etimadnamənizi yəni aws_access_key_id, aws_secret_access_key və aws_session_token sənədlərini ~/.aws/credentials faylına kopyalayın. Bu addım AWS buludu ilə əlaqə qurmaq və AWS xidmətlərindən istifadə etmək üçün lazımdır.

6. 4 -cü addımda çıxarılan qovluğun içərisində olan seria_test.py proqramını işə salın.

7. İndi bir cümlə qurmaq üçün jestlər edin və sonra xüsusi jest edin (Barmaqlarınızı və ovucunuzu ovucunuzu özünüzə baxacaq şəkildə düz tutun və sonra biləyinizi aşağıya doğru döndərərək ovucunuzu döndərin. sizə baxır və barmaqlarınızın ucu ayaqlarınıza doğru aşağıya doğru işarə edir.) cümləsinin tamamlandığını bildirmək üçün.

8. Faydalı məlumatlar üçün terminalı yoxlamağa davam edin.

9. Və natiqin üstünə çevrilən nitqi dinləyin.

Addım 5: İstinadlar

1.

2.

3.

4.