Biofeedback Cinema: 7 addım

2024 Müəllif: John Day | [email protected]. Son dəyişdirildi: 2024-01-30 07:47

Layihə Müəllifi

Jessica Ann

Əməkdaşlar

• Gregory Hough
• Salud Lopez
• Pedro Peira

Haqqında

Neurosky Mindwave EEG Reader Qulaqlığı vasitəsi ilə iştirakçının beynini kamera funksiyalarına bağlayan eksperimental video çəkmə sistemi. Biofeedback Cinema sistemi, ənənəvi bir kinematoqrafın yerinə işləyir, bunun əvəzinə kompozisiyanı xüsusi bir beyin vasitəsi ilə KAMERA interfeysi ilə iştirakçıya verir. Layihə seminar iştirakçıları Gregory Hough, Salud Lopez və Pedro Peira ilə birlikdə hazırlanmışdır. Seminarın nəticələri ilə aşağıdakı linkdə tanış ola bilərsiniz:

Prototip Konfiqurasiyası

Biofeedback Cinema sistemi bir çox potensial tətbiqə borc verir. Bu təlimat üçün, iştirakçının diqqət/diqqət səviyyəsinə (bir tam ədəd) baxan və bunu kamera mövqeyinə (pan və əyməklə) və kamera fokusuna (daxili OpenCV vasitəsilə) çevirən sistemin bir demosunu hazırladıq. Bütün bunlar Neurosky EEG Reader Qulaqlığı ilə Raspberry Pi arasındakı bluetooth bağlantısı sayəsində mümkün oldu.

Raspberry Pi, iştirakçının beyin fəaliyyətini kamera parametrləri və kamera mövqeyi ilə əlaqələndirən veb kamerası və skriptləri ilə təchiz edilmiş kiçik bir kompüterdir. Dinamik kamera mövqeyi, Raspberry Pi -dən siqnal qəbul edən Arduino mikrokontrolörü vasitəsilə mümkün olur. Əlavə beyin dalğası parametrlərini (gözlərin qırpılması və s. İlə əlaqəli tezliklər) və kamera funksiyalarını (yəni rəng, doyma, parlaqlıq və s.)

Aşağıda öz Biofeedback Cinema sisteminizi qurmaq üçün təlimatlar verilmişdir.

Xoşbəxt sınaq

Addım 1: Təchizat

Öz Biofeedback Cinema prototipinizi yaratmaq üçün lazım olan hər şey aşağıda verilmişdir.

1. Neurosky Mindwave Mobil EEG Qulaqlığı

2. Raspberry Pi B+ (b+ daha yaxşıdır, daha çox USB portu var, ancaq USB hubınız varsa B modeli də yaxşıdır).

   1. Raspberry Pi Güc Adaptoru və ya Batareya Paketi
   2. Wifi Dongle və ya Ethernet Bağlantısı (yalnız quraşdırma zamanı lazımdır)
   3. Bluetooth Dongle uyğun dongles üçün vikiyə baxın
   4. SD kart (ən az 8 GB) NOOBS ilə.

3. Arduino İstənilən lövhə yaxşıdır, bu təlimatda Uno istifadə edin. Həm də unutmayın ki, yalnız Pi üzərindəki I/O istifadə edə bilərsiniz.

   1. Arduino Güc Adaptoru və ya Batareya Paketi
   2. A-B USB Kabel
4. USB veb kamera
5. Mini Pan-Tilt dəsti

6. HDMI Girişini izləyin və ya kompüterinizdən pi -nizi uzaqdan idarə etmək üçün VNC istifadə edin [buradakı təlimat]

   HDMI Kabeli

7. USB Klaviatura və Siçan, istifadə olunan USB portlarını minimuma endirmək üçün bluetooth klaviatura və siçanı tövsiyə edir.

Addım 2: Raspberry Pi qurun

1. Qurğunun Quraşdırılması

Klaviatura, siçan, bluetooth dongle, wifi dongle (və ya ethernet), veb kamera, monitoru HDMI kabeli ilə və Raspberry Pi -yə qoşun

2. Əməliyyat Sistemini Qurun

• Gücü açın və Pi işə düşməlidir. Rasbpian OS, təlimatları buradan yükləyin:
• Yüklənibsə və Raspian düzgün quraşdırılıbsa, ev masaüstünü görməlisiniz [Yuxarıdakı şəkil].

İPUCULAR:

• Masa üstü nisbəti söndürülmüşsə, Raspberry Pi -ni yenidən başladın. Hələ də söndürülmüşsə, aspekt nisbətini əl ilə yeniləmək üçün buraya baxın.
• Bir mətn redaktoru açarsanız və klaviaturanızın xüsusi simvolları uyğun gəlmirsə, klaviatura konfiqurasiyasını yeniləmək üçün bura baxın.
• İnternet bağlantınızı sınayın (quraşdırma zamanı kitabxana qurmaq üçün buna ehtiyacınız olacaq). Wi -Fi qurmaq üçün kömək üçün bura baxın.

Addım 3: Neurosky Qulaqlığını qoşun

1. Bluetooth Konfiqurasiyası

Pi Neurosky -yə qoşulmadan əvvəl bluetooth qurmalıyıq:

Masaüstünde "LXTerminal" açın (buradan Terminal olaraq adlandırılacaq). Qüsurları həll etmək və yeniləmək üçün bu əmri işlədin:

$ sudo apt-get yeniləməsi

Bu əmrlə bluetooth quraşdırın:

$ sudo apt-get bluetooth quraşdırın

Lazımlı bir masa üstü alət çubuğu bluetooth proqramını quraşdırın:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Terminaldan Pi'yi yenidən başladın:

$ sudo yenidən başladın

2. Bluetooth Bağlantısını yoxlayın

• Neurosky qulaqlıqını yandırın
• Cihazlar üçün Terminal taramasından:

hcitool taraması

Mindwave qulaqlığı siyahıya alınmalıdır, qulaqlığın MAC ünvanını [yuxarıdakı şəkil] nəzərə alın

3. Neurosky Kitabxanalarını quraşdırın

İndi Neurosky Python kitabxanalarını quraşdırmağa və kitabxana test skriptiylə məlumat axını toplamağa başlamağa hazırıq:

Terminaldan github yardım proqramını quraşdırın:

sudo apt-get git-core quraşdırın

Neurosky Python kitabxanası ilə Clone github deposu:

sudo git klonu

MindwaveMobileRawReader.py faylını qulaqlığınızın MAC ünvanı ilə yeniləməliyik. Məlumat: Fayl adları böyük hərflərə həssasdır

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Faylda göstərilən MAC ünvanını yeniləyin. Tamamlamaq üçün Ctrl-X, saxlamaq üçün Y, çıxmaq üçün Enter düyməsini basın.
• Neurosky və Pi -ni cütləşdirin və "0000" PIN kodu istənirsə avtomatik əlaqə xüsusiyyətinə icazə verin:

$ sudo bluez-sadə-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-cihaz etibarlı XX: XX: XX: XX: XX: XX: XX bəli

Python Bluetooth kitabxanasını quraşdırın:

sudo apt-get python-bluez quraşdırın

Pi'nin məlumat axını önizləməsini təmin etmək üçün kitabxana test skriptini işə salın. Məlumat axını [yuxarıdakı şəkil] görməlisiniz:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Addım 4: Açıq CV ilə USB Veb Kameranı bağlayın

1. OpenCV qurun

Terminaldan:

$ sudo apt-get libopencv-dev python-opencv yükləyin

Bitirdikdən sonra davam edin:

$ sudo apt -get -f quraşdırın

Yaxşı ölçü üçün:

$ sudo apt-get libopencv-dev python-opencv yükləyin

Kitabxananı idxal etməyə çalışaraq quraşdırmanı sınayın:

$ python

> cv2 idxal edin

2. USB Web Kamerası ilə Pythonda OpenCV test edin

• Masaüstündə "IDLE" açın (IDLE3 açmayın!)
• Fayl menyusundan Yeni Pəncərə seçin. Cv-Blur-Test skriptimizi yeni pəncərəyə kopyalayın və qeyd edin. Skript burada mövcuddur:
• Run menyusundan Run Module seçin (və ya F5 düyməsini basın). İşə başlamaq bir neçə saniyə çəkə bilər, ancaq canlı veb kameranızla birlikdə kiçik bir çərçivə göründüyünü görməlisiniz və video bulanıq olmalıdır. Təbriklər, OpenCV quraşdırıldı və veb kameranızla uğurla işləyir [Yuxarıdakı şəkil].

Addım 5: Arduino'yu bağlayın

1. Arduino IDE -ni yükləyin

Terminaldan:

sudo apt-get arduino quraşdırın

2. Arduino & Load Sketch -i qoşun

• A-B USB kabeli ilə arduinonu Pi-yə qoşun.
• Masaüstünün başlanğıc menyusundan Electronics -ə gedin və Arduino IDE -ni açın. Arduino-serial-pi eskizimizi IDE-ə kopyalayın [Aşağıdakı link]. Bu, serialın üzərinə gələn servo mühərrikləri hərəkətə gətirəcək çox əsas bir eskizdir. Hər şeyi bir araya gətirdikdə son addımda Python eskizindən istifadə edərək beyin dalğasının çıxışına əsaslanan məlumatları seriala göndərəcəyik.

Arduino-serial-pi eskizi burada:

Arduino IDE -də Alətlər menyusuna gedin, Serial Portu seçin və siyahıda göstərilən Arduino portunu seçin, ehtimal ki /dev /ttyACM0. Limanı qeyd edin

3. Serial Konsolunu deaktiv edin

Serial konsolunu deaktiv etmək üçün bir skript yükləyin və işlədin ki, usb serial bağlantısı düzgün işləsin:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode qurulması

$ sudo./setup

$ sudo yenidən başladın

Məlumat:

B+ istifadə edirsinizsə, servoları dəstəkləmək üçün kifayət qədər I/O ola bilər (GPIO qurmaq və istifadə etmək üçün bura baxın). Bununla birlikdə, gələcəkdə beyin-elektronika təcrübəsi üçün əlavə komponentlər əlavə etməklə maraqlanıram. Beləliklə, bir arduino ilə ilk prototipin qurulması çoxlu elektronik imkanları təmin edir.

Addım 6: Hamısını bir araya gətirmək

1. Son Python skript

Son python skriptini "python-mindwave-mobile" qovluğuna əlavə etməzdən əvvəl qovluq icazələrini dəyişdirməliyik. Terminaldan:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• IDLE-ni açın və burada onlayn olaraq mövcud olan son Python skriptimizi işə salın: https://github.com/PrivateHQ/biofeedback-cinema/ Bunun python-mindwave-mobil qovluğunda yerləşdiyinə əmin olun. Məlumat: Python skriptimizi faktiki Arduino port ünvanınızla yeniləməlisiniz.
• Bu skriptdə işləyərkən üç şeyi etməlisiniz: 1) Diqqət səviyyəniz Python Shell -də veriləcək, 2) Veb kameranın canlı yayımını göstərən diqqət ölçüsünə görə dəyişən kiçik bir çərçivə görünür, 3) motor (s) diqqət səviyyəsi serial [yuxarıdakı video] vasitəsilə arduino -ya ötürüldükdə hərəkət edin.

Addım 7: Təkmilləşdirmə və İnkişaf

Raspberry Pi məhdud emal gücünə malikdir və OpenCV funksiyalarını problemsiz yerinə yetirmək üçün mübarizə aparır. Bu inkişaf etdirməyə və inkişaf etdirməyə davam edəcəyim bir şeydir. Əlavə olaraq, gələcək təkrarlamalara əlavə beyin dalğası parametrlərini (gözlərin qırpılması ilə əlaqəli tezliklər və s.) Və kamera funksiyalarını (yəni rəng, doyma, parlaqlıq və s.) Daxil etməyi planlaşdırıram.