Eğer bir şirket kurmayı düşünüyorsanız Raspberry Pi ile yapay zeka asistanıDoğru yerdesiniz: Ses, görüntü ve dil modellerinin birleşimi, hem Raspberry Pi 4 hem de daha güçlü Raspberry Pi 5 ile bu küçük SBC'lerde halihazırda uygulanabilir durumda. Bunu kanıtlayan gerçek projeler mevcut ve ayrıca bunu bir adım öteye taşımak için yapay zeka hızlandırmasını da içeren resmi aksesuarlar da mevcut.
Bu makalede, Pi 4 tabanlı sesle etkinleştirilen bir ev asistanı ve aşağıdaki gibi araçlardan oluşan çok kapsamlı bir genel bakış bulacaksınız: VOSK ve Ollama...Qwen3:1.7bo ve Gemma3:1b gibi kompakt modellerle uyandırma sözcüğü, transkripsiyon ve yerel çıkarım çalıştıran bir Pi 5'e kadar. Ayrıca Hailo-8L NPU'lu AI Kitinin Pi 5'e nasıl uyduğunu, tanıma ve TTS için hangi kütüphanelerin kullanılacağını ve evde ve iş yerinde güvenliğe öncelik vermenin neden önemli olduğunu göreceksiniz.
Raspberry Pi ile neden bir yapay zeka asistanı inşa etmelisiniz?
Raspberry Pi'deki akıllı asistan, düşük maliyetle ve minimum güç tüketimiyle cihazları kontrol etmenizi, soruları yanıtlamanızı ve rutinleri otomatikleştirmenizi sağlar; başka bir deyişle, bu ideal bir platformdur. öğrenin, prototip oluşturun ve dağıtın ses ve dil işlevleri her zaman buluta bağlı kalmadan çalışır.
Raspberry Pi ile mikrofonları, kameraları ve küçük ekranları entegre edebilir, Python, Java veya C++'da programlama yapabilirsiniz; bu, sesle etkinleştirilen bir durum panelinden yüz tanıma özelliğine sahip bir erişim kontrol sistemine ve hatta bir ev botuna kadar uzanan projelerin kapısını açar. dinle, yorumla ve harekete geç siparişleriniz doğrultusunda.
Raspberry Pi 4 ve Raspberry Pi 5: Güç ve olasılıklar
Raspberry Pi 4, doğru yığını seçerseniz yerel bir sesli asistanın mümkün olduğunu gösterdi; ancak Raspberry Pi 5 yalnızca CPU ve GPU'yu hızlandırmakla kalmıyor, aynı zamanda yüksek performanslı aksesuarlar için PCIe bağlantısı ekliyor ve bağlantı noktalarını ve bant genişliğini iyileştiriyor, bu nedenle genel deneyim daha sorunsuz hale geliyor.
Pi 5'in öne çıkan özellikleri arasında 2,4 GHz'e kadar ARM Cortex-A76 işlemci, 8 GB'a kadar LPDDR4X RAM, Wi-Fi 5, Bluetooth 5.0/BLE ve 60 Hz'de 4K çıkışlı çift mikro HDMI bağlantı noktası yer alıyor. Güçlü bir sensör setiyle bir araya gelen bu özellik, asistanın eş zamanlı görevleri sorunsuz bir şekilde yönetmesini ve düşük gecikme süresi sesli etkileşimde.
ASRAI: Gizliliğe ve kontrole odaklanan Pi 4 ile gerçek bir proje
Dahi bir üretici, 3,5 inç GPIO ekran ve Sony PlayStation Eye kamera ile Raspberry Pi 4 Model B üzerine kurulu, sesle etkinleştirilen bir asistan olan ASRAI'yi yarattı. Asıl mücevher ise PlayStation Eye: Pi için kolayca çıkarılabilen dört mikrofonlu bir diziye sahip ve ikinci el piyasasında neredeyse bedavaya bulunabiliyor, bu da onu gerçek bir fırsat haline getiriyor. ses yakalama için pazarlık temel ışın oluşumu ile.
Projede, Pi 4, çevrimdışı konuşma tanıma için VOSK'u yerel olarak çalıştırıyor ve Ollama aracılığıyla OpenAI uyumlu bir API noktası aracılığıyla yazarın kendi bilgisayarında barındırılan bir LLM programına ağ üzerinden bağlanıyor. Bu bağlantının her yerden çalışabilmesi için, geliştirici NordVPN'in Meshnet'ini etkinleştirerek özel ve her yerde bulunan bağlantı Hizmetleri doğrudan İnternet'e açmadan.
Amaç, yakalamayı, uyandırma kelimesini ve yerel transkripsiyonu Pi'ye indirmektir. vosk, dil üretimi, OpenAI tipi bir API kullanan başka bir makinedeki daha güçlü bir model tarafından gerçekleştirilir. Ollama ve Meshnet sayesinde erişilebilir hale geliyor; bu sayede performans ve gizlilik dengeleniyor.
"İnsani" bir dokunuş için, proje küçük ekranda uyumak veya dinlemek için görseller içeriyor. Bunu çoğaltmak isterseniz, yaratıcısı gerekli kaynakları paylaşıyor ve bir... 3D yazıcı ve kaynak makinesi mikrofon dizisinin montajı ve ayarlanması için.
Girişim, uzman medya tarafından öne çıkarıldı ve tasarım felsefesindeki diğer Rhasspy benzeri yaklaşımları anımsatıyor: yerel tanınma ve modüler orkestrasyon. Hatta Pi'lerini dönüştüren yakın işbirlikçilerden bile bahsediliyor. Yapay zeka asistanı ve nesiller arası geçiş yapmayı düşünenlere rehberlik etmek amacıyla Raspberry Pi 5'te farklı yapay zekaların performansını analiz ettik.
Raspberry Pi 5 için Resmi Yapay Zeka Kiti: Hızlanmaya giden hızlı yol
Bir üst seviyeye geçmeyi tercih ederseniz, Raspberry Pi 5 için AI Kiti, M.2 HAT+'a bağlanan önceden kurulu M.2 2242'nin üzerine bir Hailo-8L NPU ekler. Bu kombinasyon, verimli kenar çıkarımı için 13'e kadar TOPS sağlayarak CPU'yu yoğun iş yüklerinden kurtarır ve asistanın görsel veya işitsel modelleri çalıştırmasına olanak tanır. daha düşük gecikme ve tüketim.
Paket eksiksiz olarak gelir: istiflenebilir bir GPIO başlığı, ara parçalar, vidalar, AI kartını Pi 5'in PCIe veri yoluna bağlamak için esnek bir şerit kablo ve sıcaklıkları kontrol altında tutmak için uygun bir soğutucu. Fiziksel kurulum basittir ve ardından yazılım dağıtılır. Raspberry Pi OS'de uygun.
- Hailo‑8L NPU'lu Hailo AI Modülü
- Raspberry Pi 5 için Raspberry Pi M.2 HAT+
- Modül ve HAT+ arasında önceden takılmış termal ped
- Ara parçalar ve vidalarla montaj kiti
- Yığınlanabilir 16 mm GPIO konnektörü ve düz PCIe kablosu
Hailo cihazının Raspberry Pi OS ortamına entegrasyonu olgunlaşmıştır: libcamera, rpicam‑apps ve picamera2 Yazılım ekosistemi (Hailo, HailoRT ve HailoTappas sürücüleri) doğrudan paket yöneticisi aracılığıyla yüklenir. Böylece, bir bilgisayarlı görme asistanının (örneğin yüz veya hareket algılama) temeli hazır hale gelir. minimum sürtünme.
Kullanım örnekleri: ev kontrolünden konuşma asistanına
Pi 5 ve AI Kiti ile yüz tanıma erişim kontrol sisteminden bir mobil uygulamaya kadar her şeyi kurabilirsiniz. sohbet eden ev asistanı "Eller serbest." Sesli komutları alan ve yanıt veren temel navigasyona sahip basit bir robot konuşma sentezi bir hoparlör aracılığıyla.
Hızlandırıcılara ihtiyacınız yoksa, ASRAI (yerel konuşma işleme ve uzaktan LLM) gibi hibrit bir yaklaşım veya en yeni kompakt modellerle tamamen yerel bir yaklaşım da uygulanabilir. Önemli olan, kusursuz bir deneyim sağlamak için model boyutunu, nicelemeyi ve ses hattını hassas bir şekilde ayarlamaktır. çevik ve istikrarlı Mevcut donanımda.
Raspberry Pi'de ses ve dil için temel yazılım
Çevrimdışı konuşma tanıma için VOSK, Raspberry Pi için güvenli bir seçenektir. PocketSphinx gibi alternatifler de kullanışlıdır ve bulut hizmetlerini tercih ediyorsanız, Google Konuşma Tanıma gibi motorlarla entegrasyonlar mevcuttur; ancak birçok proje, gizlilik ve düşük gecikme süresiBöylece yerel transkripsiyon güç kazanıyor.
Yerel konuşma sentezi için pyttsx3, harici bağımlılıklar olmadan temel bir TTS sağlar. LLM bileşeniyle ilgili olarak Ollama, "OpenAI uyumlu" bir uç nokta ile modellerin sunulmasını basitleştirerek özel betiklerin veya mevcut istemcilerin bağlanmasını kolaylaştırır. Bu yaklaşımla, Pi'niz işlem hattını düzenleyebilir ve üretimi [ihtiyaç duyulan belirli bir uygulama/araç - bağlam] için devredebilir. en güçlü takım.
%100 Pi 5 mini aracı: uyandırma sözcüğü, transkripsiyon ve yerel çıkarım
Bir meraklı, 16 GB RAM'e sahip bir Raspberry Pi 5'in tüm döngüyü çalıştırabileceğini gösterdi: VOSK ile tetikleyici kelime algılama, faster-whisper ile transkripsiyon ve Gemma3:1b tarafından geliştirilen Qwen3:1.7 gibi kompakt LLM'lerle çıkarım, hepsi yerel olarak. Bu bir optimizasyon zorluğu, ancak yapılabilir; bunu belgeleyen depo ve blog yazısı harika bir kaynak. öğrenmek için benim ince ayar ve kaynak yönetimi üzerine.
Bu örnekten alınacak ders açıktır: İyi seçilmiş modeller, nicemleme ve akıcı bir işlem hattıyla Pi 5 makul sürelerde yanıt verir. Proje daha fazla işlem gücü gerektiriyorsa, algı görevleri (görme, ses) için Hailo-8L'yi kullanma ve hafif bir yerel LLM programı sürdürme veya bir Uzak sunucu uyumludur.
Başlarken: işletim sistemi, kitaplıklar ve proje yapısı
Kaynakları en üst düzeye çıkarmak için birçok geliştirici, hizmet ve temel bellek kullanımını azaltan Lite sürümü Raspbian'ı (Raspberry Pi OS) öneriyor. Ardından, ihtiyaç duyacağınız konuşma, TTS ve orkestrasyon kütüphanelerini yükleyin; Python ile işlevsel ve ölçeklenebilir bir prototip oluşturmak kolaydır. iyi ayrılmış modüller.
İçin bir tarif çizme Genellikle şunlar yer alır:
- Raspberry Pi OS Lite'ı kurun ve sistem güncellemelerini uygulayın.
- Ses (mikrofon ve hoparlör) ayarlarını yapın, varsa kamerayı ayarlayın ve arecord/aplay ile test edin.
- Şunlar gibi paketleri kurun: Konuşma tanıma (bulut hizmetlerini kullanacaksanız) veya çevrimdışı için VOSK/PocketSphinx ve pyttsx3 yerel TTS için.
- LLM backend'inizi seçin: Ollama ve küçük modellerle yerel veya uyumlu uzaktan.
- Python'da ana döngüyü kodlayın: dinleyin, yazın, yorumlayın (NLP) ve eylemleri yürütün.
NLP katmanında, basit amaçlar ve kurallarla başlayabilir ve ilerledikçe LLM'yi dahil edebilirsiniz. Komut yürütme için, cihaz veya hizmet başına (örneğin, ışıklar, iklim kontrolü, hatırlatıcılar) adaptörler tanımlayın, böylece asistan bir temiz ve genişletilebilir çekirdek.
Bağlantı ve orkestrasyon: İyi bir ağ ile her şey birbirine uyum sağlar
Pi, Wi-Fi 5 ve Bluetooth 5.0/BLE özelliklerine sahip olduğundan ampuller, hoparlörler ve sensörlerle kablosuz olarak iletişim kurabilir. Harici hizmetler veya birden fazla makine söz konusu olduğunda, NordVPN'nin Meshnet gibi özel bir ağ yapısı, Pi'nin bağlantı noktalarını dünyaya açmadan, şirket dışı bir model sunucuyu "görme" yeteneğini basitleştirir ve kontrol ve güvenlik.
Sihirbazı farklı ortamlara dağıtmayı planlıyorsanız, çıkarım bileşenleri veya multimedya kanalları için kapsayıcıları göz önünde bulundurun. Ayrı hizmetlere (ASR, TTS, LLM, orkestratör) sahip bir yapı, bileşenleri ölçeklendirmenize ve iş yüklerini başka bir düğüme taşımanıza olanak tanır. minimum etki sistemin geri kalanında.
Güvenlik: İzlenmesi gereken en iyi uygulamalar ve güvenlik açıkları
Bir asistan sürekli olarak çevresini dinler ve diğer cihazlarla iletişim kurar, bu nedenle siber güvenlik kritik öneme sahiptir. Bilinen güvenlik açıklarını azaltmak için sistemi ve kütüphaneleri güncel tutarak başlayın ve cihazlar arasındaki tüm iletişimler için şifrelemeyi etkinleştirin; IoT ağını evin geri kalanından ayırmak bir önlemdir. ucuz ve etkili.
IoT ve ara yazılımlar hakkındaki uyarıları incelemek ve aşağıdaki gibi genel güvenlik açıklarını not etmek faydalıdır: CVE-2021-22945 o CVE-2021-22946 Diğer işlevlerinin yanı sıra, bağımlılıkları denetleme ve yamaları hızla uygulama konusunda hatırlatıcı görevi görürler. Amaç, asistanınızın yük olmadan faydalı olmasıdır. bir risk vektörü.
Kamera ve bilgisayar görüşüyle entegrasyon
Asistanınızda bir kamera varsa, Pi 5 libcamera ve rpicam-apps ile iyi çalışır; ayrıca picamera2, video akışlarına programlı erişimi kolaylaştırır. Hailo-8L ile nesne algılama ve yüz tanıma gibi görevler hız ve verimlilik kazanarak şu senaryolara olanak tanır: erişim kontrolü veya bağlam duyarlı ev otomasyonu.
Yaygın bir yaklaşım, vizyonu Pi'de tutmak ve üst düzey yorumlamayı LLM'ye devretmektir ("X'i tanıyorsanız, kapıyı açmam gerekip gerekmediğini sorun"). Ham görüntüleri değil, yalnızca meta verileri veya sonuçları paylaşarak gizliliği artırır ve bant genişliği gerekli.
İşe yarayan pratik örnekler
– Pi 4'te ASRAI: PlayStation Eye mikrofonlar (4 mikrofon), 3,5 inç GPIO ekran, yerel VOSK, Ollama üzerinden uzaktan LLM ve Meshnet ile her yere bağlantı. 3D baskı ve biraz lehimleme gerektiriyor, ancak sonuç bir asistan. çevik ve gizli.
– Pi 5 "hepsi bir arada": VOSK ile uyandırma sözcüğü, daha hızlı fısıltı ile transkripsiyon ve Gemma3:1b ile Qwen3:1.7 ile yerel çıkarım. Önemli olan, makul gecikmeleri korumak için modellerin boyutunu optimize etmek ve sınırlamaktır; ilgili havuz yaşam rehberi projenizi ayarlamak için.
– AI Kitli Pi 5: erişim için yüz tanıma, hızlandırılmış görme modelleriyle bağlamsal tepki ve konuşma için hafif bir LLM; apt aracılığıyla kurulabilen Hailo, HailoRT ve HailoTappas sürücüleri ve cihazın kendisine entegre edilmiş libcamera ve picamera2 uyumluluğu Ahududu Pi İşletim Sistemi.
İyi geliştirme ve bakım uygulamaları
Kodu modüllere ayırın: ses yakalama, ASR, NLP, yürütme, TTS ve varsa görüntü. Darboğazları belirlemek için kullanışlı günlükler ve bir hata ayıklama modu ekleyin. Eklerken gerilemeleri bozmamak için temel testleri (örneğin, önceden tanımlanmış amaçlar) otomatikleştirin. yeni özellikler.
Donanım tarafında, özellikle bir NPU ekliyorsanız veya ağır yüklerle çalışıyorsanız, güç ve havalandırmaya dikkat edin. İyi bir soğutucu ve yeterli hava akışı, termal tıkanmayı önler ve istikrarlı bir deneyim sağlar. sürekli konuşma.
Topluluk ve kurallar: Projelerinizi doğru şekilde paylaşın
Asistanınızı Raspberry Pi topluluklarında yayınlayacaksanız, yalnızca sonucu göstermekle kalmayıp, nasıl yaptığınızı açıklamanızın da takdir edileceğini unutmayın. Spam ve her türlü kötü niyetli davranıştan kaçının ve elbette güvenli olmayan elektrik uygulamalarından kaçının; daha fazla bilgi edinmenin yanı sıra, sağlıklı çevre ve herkes için faydalı.
Paylaşırken donanımınızı, temel adımlarınızı, bağımlılıklarınızı, ses ayarlarınızı ve kullanılan modellerinizi belgelendirin. Bu, başkalarının çalışmanızı kopyalamasına yardımcı olur ve değerli geri bildirimler sağlar; sonuç olarak, bu iş birliği projenizi diğer tüm yöntemlerden daha hızlı hızlandırır. izole numara.
Performansta neler beklenir ve mimarinize nasıl karar verilir?
– Gizlilik ve tam kontrol arıyorsanız, yerel ASR ve TTS'yi ve Pi 5'te kompakt bir LLM programını veya özel Meshnet ağınızda Ollama tarafından sunulan bir programı tercih edin. Bu şekilde, uçtan uca çalışır ve ses verilerinizi güvende tutarsınız. senin çatının altında.
– Daha zengin yanıtlar arıyorsanız ve bulutu kullanmaktan çekinmiyorsanız, uzaktan LLM darboğazı ortadan kaldırır. Pi daha sonra orkestra şefi olarak görev yapar, sensörleri ve aktüatörleri kontrol eder ve sesli oturumu yönetir. kabul edilebilir gecikme.
– Asistanınızın "görmesi" gerekiyorsa, Hailo-8L özellikli AI Kiti kazanan seçimdir: Kenar görüşü için 13 TOPS, apt üzerinden sürücüler ve Raspberry Pi OS tarafından desteklenen bir ekosistem. Bunu Pi dışında orta seviye bir LLM ile birleştirirseniz, harika bir deneyim yaşarsınız. yuvarlak ve dengeli.
– Tam yerel bir kurulum seçerseniz, optimize edilmiş modeller (Qwen3:1.7b, Gemma3:1b veya eşdeğerleri) seçin ve ses yönlendirmesine dikkat edin; transkripsiyon için Faster Whisper'ı ve uyandırma kelime işleme için VOSK'u kullanmanın zaten etkili olduğu kanıtlanmıştır. uygulanabilir yol 16 GB'lık Pi 5'te.
Sonuç olarak, Raspberry Pi ile bir yapay zeka asistanı oluşturmak, kolayca bulunabilen bileşenleri bir araya getirir: Yeniden tasarlanmış bir PlayStation Eye gibi ucuz donanımlar, Ollama aracılığıyla VOSK veya daha hızlı fısıltı gibi yazılımlar, OpenAI uyumlu uç noktalar ve gerekirse Pi 5 üzerinde Hailo-8L'nin ek avantajı. Güvenliğe (güncellemeler, ayrı ağlar, şifreleme) dikkat edilmesi ve anlaşılır dokümantasyon sayesinde, fikirden tam işlevli bir yapay zeka asistanına geçmek kolaydır. fonksiyonel asistan oturma odasında veya ofiste iyi performans gösteren.