Şəxsi İngilis Təlimçisi - AI Səs Köməkçisi: 15 addım

2024 Müəllif: John Day | [email protected]. Son dəyişdirildi: 2024-01-30 07:46

Bu layihə, hər hansı bir dil imtahanına hazırlaşan və Snips AI ilə qarşılıqlı əlaqə quraraq təhsil alacaq tələbələrə kömək edəcək.

Addım 1: Hekayə

Bunu Niyə Yaratdıq?

Şəxsi təcrübəmdən GRE, TOEFL, IELTS kimi müxtəlif dil testlərinə hazırlaşan bir çox adam gördüm. Sözləri əzbərləməkdə və başa düşməkdə onlara kömək edəcək bir insana ehtiyac duyurlar. Ümumiyyətlə, bir insan bu cür imtahanlara hazırlaşanda, səhv edərsə yoxlayacaq və düzəldəcək bir insana ehtiyac duyar. Bu həll yolu ilə səs köməkçisi istifadə edərək insan gücünü azalda bilərik.

Addım 2: Hardware Build

Hər şeydən əvvəl, bu layihəni inanılmaz Snips Voice Interaction Development Kit (Base Kit) ilə dəstəklədiyi üçün SNIPS və SEEED -ə təşəkkür etmək istərdim, həqiqətən də bu lövhədən istifadə edərək məlumatlı hiss etdim və bir PCB -yə inteqrasiya olunmuş bəzi kompleks layihələrə nail ola bildim.

Snips Voice Interaction Base Kitini 115 dollara və Snips Voice Interaction Satellite Kitini 85 dollara satın ala bilərsiniz

Addım 3: SNIPS ilə işə başlayın

Başlamadan əvvəl nəyə ehtiyacınız olduğunu nəzərdən keçirək.

• Raspberry Pi 3B/B+ (Tövsiyə olunur) və ya Pi 2 Model B (Dəstəklənir).
• Raspberry Pi üçün Micro-USB Kabeli və Micro-USB güc adapteri.
• Micro SD Kart (Minimum 8 GB) - Başlamaq üçün bir əməliyyat sistemi tələb olunur. Raspbian Stretch proqramını yükləyə və Raspberry Pi veb saytında Mac OS, Linux və Windows üçün təlimatlardan istifadə edə bilərsiniz.
• USB klaviatura və siçan və xarici bir HDMI monitoru - USB klaviatura və siçanın yanında HDMI monitoru da istifadə etməyi məsləhət görürük.
• İnternet bağlantısı (Ethernet və ya WiFi)

Snips Səsli Əlaqə Baza Dəsti

Snips Səs Qarşılıqlı İnkişaf etdirmə Kitləri istifadəçilərə səs interfeyslərinin inkişafına sürətlə başlamağa və Snips AI Səs Platformasını aparatla asanlıqla birləşdirməyə imkan verir. Snips cihazda işləyir, yəni bütün səs əmrləriniz və məlumatlarınız buluda göndərilmək əvəzinə yerli olaraq işlənir. Bu cihazda emal, şəxsi məlumatlarınızı olduğu kimi gizli saxlayan tamamilə təhlükəsiz bir oflayn səs köməkçisi ilə nəticələnir.

Voice Interaction Base Kit, bütün Snips AI Səs Platformasını işə salmağa imkan verir. Raspberry Pi 3 Model B+ və ReSpeaker 2-Mics Pi HAT ilə təchiz edilmiş, evinizin ağıllı dinamikidir. Kitlə birlikdə bir natiq, bir Grove - Temperatur və Rütubət Sensoru (SHT31), bir Grove - Röle və bir divara asmaq və ya yaraşıqlı bir stend yaratmaq üçün bir pegboard gəlir.

Amma bu hamısı deyil! Səsli qarşılıqlı əlaqə peyk dəsti, evinizin hər otağına çatmaq üçün baza stansiyanızı genişləndirəcək və əmrlərinizi verdiyiniz yerə əsasən aparatla qarşılıqlı əlaqə qurmağa imkan verəcəkdir!

Bu dəstdə Raspberry Pi3 B+ lövhəsi, ReSpeaker 2 -Mics Pi HAT, Grove - Relay, Grove - Temperatur və Rütubət Sensoru (SHT31), Dinamik 6 Ohm 2W, MicroSD Kart, Micro USB konnektorlu güc adapteri, Grove kabeli x 2, Akril Baza panel.

Montaj addımları: (SNIPS -dən məzmun) Aşağıdakı şəkil montaj hissələrinin ümumi görünüşüdür.

Burada montaj hissələri əsas panelə quraşdırılmışdır.

Sonra bütün elektron hissələr lövhəyə quraşdırılır.

Bundan sonra, Akrilik Qoruyucu örtüyü Grove -Rölesinin üstünə qoyun.

Bu 2 hissə Kiti bir masa stendi halına gətirmək üçün istifadə olunur.

Nəhayət, Snips ilə oynamağa hazırsınız.

Kit iki yerləşdirmə üsulu təqdim edir. Ya stend kimi üfüqi bir səthə yerləşdirilə bilər, ya da tel və ya ipdən istifadə edərək divara asıla bilər. Zəhmət olmasa işçi gərginliyi yüksək olacağı üçün dəsti işə salanda Relay ilə diqqətli olun.

Qeyd: Raspberry Pi 3B+ yerinə Raspberry Pi sıfırına sahib olan Snips Voice Interaction Satellite Kitimiz də var.

Addım 4: Snips AI ilə əlaqə (Əsas Layihə)

• Kiti dəstdəki standart güc adapteri ilə gücləndirin və ya Micro USB konnektoru olan 5V-2A DC adapterdən istifadə edin.
• Növbəti addım Snips köməkçisini Raspberry Pi -yə quraşdırmaqdır. Quraşdırma vaxtınıza qənaət etmək üçün dəstdəki MicroSD kartı tam funksional sistem görüntüsü ilə işıqlandırılmışdır, yəni Snips köməkçisi tətik sözlərinizə hazırdır.
• Https://docs.snips.ai/getting-started/quick-start… ziyarət edərək addım-addım quraşdırma təlimatını öyrənməyi və əmr satırında sam alətini öyrənməyi şiddətlə təklif edirik.
• "Hey-snips" deyərək köməkçini işə salın və əmrinə əməl edin:

Aşağıdakı Snips Voice Interaction baz dəstində əvvəlcədən quraşdırılmış nümunənin videosunu tapa bilərsiniz.

Addım 5: Snips AI ilə əlaqə (Layihə AI)

Beləliklə, bu necə işləyir. Birincisi, Snips tanınmasını başlatmaq üçün isti sözdən istifadə edirik. Snips NLU istifadə edərək cümləni başa düşür və niyyəti müəyyənləşdirir. Niyyətdən istifadə edərək, müvafiq olaraq yuvaları çıxarın. Fəaliyyət kodu ilə, AI cavabını yuvalara uyğun olaraq proqramlaşdırırıq.

Addım 6: Tətbiq və Niyyət Yaratmaq

• Köməkçi yaradın. Mənim vəziyyətimdə JARVIS adında və JARVIS isti sözlü bir köməkçi yaratmışdım.
• Xüsusi bir tətbiq yaradın və ya yeni başlayanlar üçün kitabxanadan tətbiqdən istifadə edin.
• Words adlı bir tətbiq yaratmışdım
• Bir niyyət yaradın və AI təliminə başlayın. Bu, süni intellektinizin möhkəmlənməsində böyük rol oynayır. Mümkün olan bütün girişlərlə məşq edin.
• Sözləri müəyyən etmək üçün bir yuva yaradın. Yuvanı cümlənin gözlənilən ifadəsinə yerləşdirin. Mənim nümunəm üçün, verilmiş söz yuvanın adıdır və mavi ilə vurğulanmışdır.
• Bunu etdikdən sonra xüsusi ASR hazır olacaq. Girişlərlə sınayın. Cavabı sağda, köməkçinin altında tapa bilərik. Bu, xam dəyər, niyyət adı və yuvanın çıxarılmasını təmin edir.
• Aşağıdakı kimi daha çox nümunə olan yuvaları təyin edin
• Nəhayət, fərdiləşdirilmiş AI -ni yaşamaq üçün köməkçinizi yerləşdirin.

Addım 7: Raspbian'ı SD Karta yazın

Raspbian, Raspberry Pi üzərində işləyən Linux seçimidir. Bu təlimatda Lite versiyasını istifadə edəcəyik, ancaq Masaüstü versiyası (qrafik mühiti ilə birlikdə gəlir) də istifadə edilə bilər.

• Etcher proqramını yükləyin və quraşdırın.
• İçərisində SD kart olan bir SD kart oxuyucusunu bağlayın.
• Etcher proqramını açın və sabit diskinizdən SD karta yazmaq istədiyiniz Raspberry Pi.img və ya.zip faylını seçin.
• Şəkilinizi yazmaq istədiyiniz SD kartı seçin.
• Seçimlərinizi nəzərdən keçirin və 'Flash!' Düyməsini basın. SD karta məlumat yazmağa başlayın

Cihazı şəbəkənizə qoşun

• Yenidən SD kartınızdakı yükləmə həcminin kökündə yerləşdirilən boş ssh faylını əlavə edərək SSH girişini aktiv edin.
• SD kartı Raspberry Pi -yə daxil edin. Təxminən 20 saniyədə açılacaq. İndi Raspberry Pi -yə SSH girişiniz olmalıdır. Varsayılan olaraq, onun ana adı raspberrypi.local olacaq. Kompüterinizdə bir terminal pəncərəsi açın və aşağıdakıları yazın:

ssh [email protected]

Varsayılan parol moruqdur

Addım 8: Snips Platformasını quraşdırın

Hələ etməmisinizsə, Sam Komut Satırı İnterfeysini kompüterinizə quraşdırın. Terminal pəncərəsini açın və daxil edin:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Raspberry Pi -ni şəbəkədə taparaq aşağıdakıları tapın:

sam cihazları

Sonra cihazla əlaqə qurun. Cihazdan istifadəçi adı və şifrənizi istəyəcəksiniz (standart olaraq pi və moruqdur):

sam qoşun

İndi Raspberry Pi üzərində Snips platformasını quraşdırmağa hazırıq. Komanda daxil edin:

sam təşəbbüsü

Addım 9: Donanımı konfiqurasiya edin

Sam, hardware komponentlərini asanlıqla qurmaq və konfiqurasiya etmək üçün bəzi əmrlər verir. Bu bölmədə dinamik və mikrofon quracağıq. Quruluşunuzdan asılı olaraq bəzi xüsusi konfiqurasiya edilməlidir.

sam quraşdırma audio

Dinamiki sınayın

Dinamikin işlədiyini yoxlamaq üçün qaçın

sam test dinamik

Hər şey qaydasındadırsa, dinamikinizdə bir neçə söz söyləyən bir səs eşitməlisiniz. Mikrofonu konfiqurasiya edin Mikrofonunuzun işlədiyini yoxlaya bilərsiniz:

sam test mikrofonu

Dinləyiciniz olduğunu düşünsək, dediklərinizi dəqiq eşidə bilsəniz, başqa mikrofon konfiqurasiyası olmadan davam edə bilərsiniz.

Donanım qurğunuzun işlədiyindən razı qaldıqdan sonra, ilk köməkçinizi yerləşdirəcəyiniz növbəti mərhələyə keçməyə hazırsınız.

Addım 10: AI Modelini Konsoldan İdxal edin

Əvvəlki addımlardan köməkçinizi yaratdıqdan sonra, işləyərək terminal pəncərəsindən konsola daxil olun:

sam giriş

Snips Console etimadnamənizi daxil etməyiniz xahiş olunacaq.

Sonra köməkçini quraşdırın:

sam quraşdırma köməkçisi

Konsolda bir neçə köməkçi yaratmısınızsa, siyahıdan hansını quraşdıracağınızı seçməyiniz istənəcək.

Addım 11: İşləyici və Fəaliyyət Kodu

Raspberry Pi -nin cavab verməsi üçün bir neçə işçi kodu yazmalıyıq. Bu, Snips platformasında müəyyən bir hadisə baş verdikdə, məsələn niyyət aşkar edildikdə icra olunan bir koddur.

İşleyicisinden asılı olaraq Handler yaratmaq üçün müxtəlif üsullarınız var.

Kompüterinizdə idarəçi kodunuzu saxlamaq istədiyiniz bir qovluq yaradın. Terminal pəncərəsindən həmin qovluğa keçin və daxil edin:

npm başlanğıc

Bu, layihənizin təsvirini, asılılıqlarını və daha çoxunu ehtiva edən package.json adlı bir fayl yaradacaq. Sonra, mqtt paket asılılığını əlavə edin:

npm qur mqtt -saxla

İndi index.js adlı bir fayl yaradın və ana kodu dəyişənini Raspberry Pi -nin ana adı ilə əvəz edərək aşağıdakı kodu yapışdırın (əgər standart raspberrypi -dən fərqlənirsə):

var mqtt = tələb ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var müştəri = mqtt.connect (ana adı); client.on ('connect', function () {console.log ("[Snips Log] MQTT brokerinə qoşuldu" + ana adı); client.subscribe ('hermes/#');}); client.on ('mesaj', funksiya (mövzu, mesaj) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} if if (topic === "hermes/asr/stopListening")) {onListeningStateChanged (yalan);} başqa halda (topic.match (/hermes \/hotword / /.+ \/detect/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (mesaj));}}); onIntentDetected (niyyət) funksiyası {console.log ("[Snips Log] Niyyət aşkarlandı:" + JSON.stringify (niyyət)); } funksiyası onHotwordDetected () {console.log ("[Snips Log] Qaynar söz aşkarlandı"); } funksiyası onListeningStateChanged (dinləmə) {console.log ("[Snips Log]" + (dinləmə? "Başla": "Stop") + "dinləmə"); }

Node istifadə edərək bu kodu işlədin:

node index.js

Snips MQTT brokerinə uğurlu bir əlaqə mesajı görməlisiniz. Əvvəlki kimi, Raspberry Pi ilə səsli qarşılıqlı əlaqə qurun:

Hey Snips, Chennai'de hava necədir

Günlüklərin yeniləndiyini görməlisiniz:

[Snips Log] MQTT broker mqtt: //raspberrypi.local ilə əlaqələndirildi

[Snips Giriş] İstifadəçi sözü tapıldı [Snips Log] Dinləməyə başla [Snips Log] Dinləməyi dayandır [Snips Log] Niyyət aşkarlandı: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" chennai'de hava necədir "," niyyət ": {" aimName ":" searchWeatherForecast "," ehtimal ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "proqnoz_lahəti"}]}

Addım 12: Problemlərin aradan qaldırılması

Əvvəlki köməkçi varsa silin

$ sudo rm -rf/usr/share/snips/assistant/

Kataloqu köməkçiyə dəyişmək üçün

cd/var/lib/snips/bacarıqlar/

Reponun məzmununu yerli olaraq klonlaşdırmaq

git klon

Setup.sh skriptini işə salmaq üçün

./setup.sh

Virtual mühiti aktivləşdirin

mənbə venv/bin/activate

Əməliyyat kodunu işə salın

./action-.py

Python Scriptinə icazə vermək

chmod +x action-.py

Addım 13: Qoşma

• Bu layihə üçün IP qiymətləndirilən bir korpusdan istifadə etdim
• Əvvəlcə elektrik kabeli və HDMI kabeli üçün sxemləri və yuvaları quraşdırmaq üçün lazımi deliklər açdım.
• Sonra bütün Raspberry Pi -ni korpusun içinə qoydum və möhkəm vidaladım.
• Dinamik və Mikrofon üçün kiçik bir açılış etdim və kiçik bir akril təbəqədən istifadə edərək örtdüm.
• Dinamiki ReSpeaker şapkasına möhkəm bağlayın.
• Nəhayət, bütün vida möhkəm bir şəkildə monte edilir və elektrik kabeli bir yuva vasitəsilə daxil edilir.
• AI nəhayət belə görünür: D

Addım 14: AI ilə işləmək

Snips-watch istifadə edərək izlənilən məlumatları tapa bilərsiniz

İndi şou vaxtıdır. Sadə salam AI ilə etməyə başladım. Fəaliyyət göstərməsinə baxın.

Təlimçi AI məhdud sözlər üçün proqramlaşdırılmışdır. Bu kiçik dəyişikliklərlə uzadıla bilər. Bu, şagirdlərə mənanı ənənəvi üsuldan daha tez yadda saxlamağa kömək edir.

Diqqət: Bu layihə təxminən 25 söz üçün hazırlanır. Fəaliyyət kodunda kiçik düzəlişlər etməklə daha da genişləndirilə bilər.

Əməliyyat skriptlərini əlavə edilmiş Github Repositorumda tapa bilərsiniz.

Salamlar AI üçün Layihə Repo-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Təlimçi AI üçün Layihə Repo-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Tətbiqimə keçid:

Bütün qurğunun qiyməti SNIPS -dən əldə edilə bilən təxminən 115 dollara başa gəlir və bu həll ənənəvi üsullarla müqayisədə çox ucuz və təsirli olur. Hindistanda təxminən 100.000 -dən çox test alındı və bu məhsul GRE alıcıları üçün ən yaxşı əlavə olacaq.

Həqiqətən sizə kömək edərsə barmaqlarınızı yuxarı qaldırın və maraqlı layihələr üçün kanalımı izləyin.:) İstəsəniz bu videonu paylaşın. Abunə olmağınızdan məmnunuq: https://console.snips.ai/store/en/skill_xBKlxnE5K… Oxuduğunuz üçün təşəkkürlər!