OpenAI, ilgili bir dönüş yapıyor Açık ağırlıklı yapay zeka modelleri ailesi olan GPT-OSS Herkesin indirebileceği, test edebileceği ve uyarlayabileceği bir platform. Bu hamle, topluluğun nabzını yeniden canlandırıyor. açık ve ticari bir API'ye ihtiyaç duymadan yerel kullanımlara kapı açıyor.
Bahis şununla birlikte gelir: iki varyant (120B ve 20B) ve maliyetleri, gecikmeyi ve gizliliği kontrol altına almak isteyen geliştiricileri ve ekipleri çekmeye odaklanıyor. Havai fişek gösterisi yok, ancak net bir mesaj var: daha fazla açıklık, daha fazla seçenek Modelleri kendi donanımlarında çalıştırması gereken herkes için.
GPT-OSS tam olarak nedir ve neleri içerir?
GPT-OSS bir açık ağırlık dil modeli altında dağıtılan Apache 2.0 lisansı. İndirilebilir ve ticari amaçla bile kullanılabilir.OpenAI platformuna veya benzeri kısıtlamalara güvenmeden.
Şirket yayınlıyor ağırlıklar ve entegrasyon kaynakları (vLLM, LangChain veya ChatGPT tarzı CLI için betikler, şablonlar ve örnekler) ve ayrıca 4/5 bit nicemlenmiş versiyonlar Hugging Face'te daha mütevazı donanımlarda çıkarımı kolaylaştırmak için. Hugging Face'in avantajlarını daha iyi anlamak isteyen ortamlar için açık kaynak modeli.
Teknik teklif birleştiriyor Uzmanların Karışımı (MoE) mimarisi Her token için uzman seçimiyle. Büyük versiyonda, GPT-OSS-120B ~5,1 milyar parametreyi etkinleştirir adım başına, GPT-OSS-20B ~3,6B hareket ediyor ve 128.000-token bağlam penceresi uzun yükler için (kod, kılavuzlar veya tüm kitaplar).
Belgelere göre, o200k_harmony belirteçleyici dizilerin ortalama uzunluğunu azaltır ve ağırlıklar kullanır BF16/INT8 ve 4 bitlik bir şema performansı çok fazla düşürmeden belleği azaltmak.
Temel farklar ve donanım gereksinimleri
İki net profil var: 120B profesyonel ortamlar için tasarlanmıştır ve 20B gelişmiş tüketici cihazları için tasarlanmıştır. OpenAI, model 120B yakın o4-mini akıl yürütmede ve 20B doğrultusunda o3-mini, her zaman açık modeller kategorisindedir.
Kaynaklarda, gpt-oss-120b yüksek performanslı bellek gerektirir, örneğin 80 GB GPU (örneğin H100), gpt-oss-20b Şunlara yöneliktir: 16 GB bellek (VRAM veya birleşik bellek) iyi donanımlı tüketici bilgisayarlarında uygulanabilir.
İşlemi özetlersek:
- gpt-oss-120b: Büyük model (MoE), profesyonel ortam, yüksek performans.
- gpt-oss-20b: daha hafif model, yerel kullanıma uygun 16 GB ile test ve kullanım için ideal ince ayar temel.
Dikkat çekmek önemlidir iş yükü yoğun- GPU'nuz yeterli değilse, sisteminiz daha fazla RAM kullanacak ve yüksek gecikme yaşayacaktır. Uygulamaları kapatıp, maksimum kaynaklar en iyi performans için çıkarım yapmak.
Bunları yerel olarak nasıl çalıştırabilirsiniz: Ollama ve LM Studio
Komplikasyonsuz bir şekilde başlamak için, Ollama Windows, macOS ve Linux'ta modelleri indirmek ve çalıştırmak için basit bir seçenektir. Sadece seçin «gpt-oss:20b» arayüzde bir mesaj gönderin ve istemci paketi indirecek (yaklaşık 12,8 GB) başlamadan önce.
Si buscas modelin ve sistemin davranışı üzerinde daha fazla kontrol, LM Stüdyosu gelişmiş seçenekler ve destek sunar birden fazla varyantGPT-OSS-20B dahil. Parametreleri ve profilleri ayarlamak için bazı ek teknik uzmanlıklar gerekir.
Terminal kullanmayı veya sunuculara entegre olmayı tercih edenler, vLLM veya llama.cppoptimize edilmiş ve niceliksel yükleri destekleyen, dağıtımı kolaylaştıran Modern GPU'lar tüm yığını yeniden yapmadan.
Kullanıcı deneyimi ChatGPT tarzı sohbete benzer, ancak her şey makinenizde çalışır: Üçüncü taraflara daha az bağımlılık ve veriler ve maliyetler üzerinde daha fazla kontrol.
Performans, muhakeme ve riskler
OpenAI bir seçiciyi tanımlar muhakeme derinliği (Düşük/Orta/Yüksek) Göreve göre düşünce zincirini ve araçların (tarayıcı veya Python yorumlayıcısı) kullanımını ayarlayan bir araçtır. Bu şekilde önceliklendirebilirsiniz. hız veya kapsamlılık esnek bir şekilde.
Dahili testlerde ve bilinen kıyaslamalarda, GPT-OSS modelleri üst düzey kapalı devre modellerin altında yer alsa da diğer açık devre alternatifleriyle iyi rekabet etmektedir. daha fazla halüsinasyon görme eğiliminde PersonQA gibi testlerde, mantıksal bir sonuç boyut ve kapsam.
Lansmandan önce bir güvenlik incelemesi yapıldı: şirket tespit etti marjinal iyileştirmeler hassas kapasitelerde (örneğin biyoloji) ancak risk eşiğinizin altında ağırlıkları yayınlamak için.
Gecikme açısından performans şunlara bağlı olacaktır: GPU, niceleme ve yapılandırmaUygun donanımla, üretim yeterince hızlı olabilir akışkan etkileşimi geliştirme veya teknik yardım görevlerinde.
İndirme, lisans ve açıklık derecesi
Jardines de Viveros Hugging Face'te kontrol noktaları mevcuttur (120B ve 20B, niceliksel varyantlarla). Ayrıca modelleri yaygın bulut platformları aracılığıyla test edebilir veya bir demo ağı Hiçbir şey yüklemeden yeteneklerini deneyimlemek için gpt-oss.com adresini ziyaret edin.
La Apache 2.0 lisansı ticari kullanıma ve değişikliklere izin verir, ancak bazı kısıtlamalarla: eğitim verileri henüz yayınlanmadı veya sürecin tüm ayrıntıları. Özünde, açık ağırlık modeli (OSI'ye göre tam olarak açık kaynaklı değil).
Ekipler ve yeni kurulan şirketler için bu, şunları yapabileceğiniz anlamına gelir: denetim ekleyin, önyargıları ayarlayın ve yapın ince ayar token ödemesi yapmadan veya harici SLA'lara bağlı kalmadan, sorumluluğuyla dağıtımın sağlanması.
Bu hareket aynı zamanda baskıya yanıt verme stratejisi olarak da anlaşılabilir. açık ekosistempragmatik bir seçenek sunuyor daha fazla kontrol arayan geliştiriciler.
Tüm bunlarla birlikte GPT-OSS, yerel olarak çalışmaya uygulanabilir bir alternatifAçıklık ve performansı, deneme yanılma olanaklarıyla dengeleyen 20B versiyonu, 16 GB RAM'e sahip ve süper bilgisayara ihtiyaç duymadan denemeye başlamanızı sağlıyor. 120 GB GPU ile donatılmış 80B ise üst düzey profesyonel senaryolar için ideal.
