Şirkete Özel LLM (Dil Modeli) Eğitmenin (Fine-Tuning) Server Maliyetleri ve Yatırım Getirisi

Ekipleriniz artık genel bir ChatGPT istemiyor. "Bizim şirketi anlayan, bizim avukatımız gibi hukuk bilen ve bizim üslubumuzla müşteriye mail atan bir Yapay Zeka" istiyorsunuz. Bunun adı Fine-Tuning'dir (Hassas Ayar).

Neden Sıfırdan Eğitmiyoruz?

OpenAI'nin modelini sıfırdan eğitmek 100 Milyon Dolar tuttu. AZC olarak biz bunu yapmıyoruz. Facebook'un Açık Kaynaklı, harika "Llama-3" modelini alıyoruz ve buna "Transfer Learning/LoRA" metodlarıyla sadece sizin 10.000 adet e-postanızı göstererek tarzınızı kopyalamasını öğretiyoruz.

Altyapı (GPU) Faturası

Bu sistemi eğitmek için Amazon AWS (A100 GPU'lar) kullanılır. Verilerin büyüklüğüne göre Fine-Tuning işlemi 3 ile 10 saat sürer ve maliyeti genellikle 50$ ile 1500$ arasında değişen ufak bir bulut sunucusu (Server) kira bedeli tutar. (Yani sandığınız gibi milyon dolarlar değil!). Şirkete getirdiği zaman tasarrufu ise hesaplanamayacak kadar büyüktür.