Merhabalar, bu yazımızda yazılım alanı ile uğraşmayanların bile en az 1 kere kullanmış olduğu büyük dil modelleri yani LLM’leri (Gemini, ChatGPT vb…) kendi bilgisayarımızda nasıl çalıştırabiliriz? Nasıl kullanabiliriz? Farklı LLM’leri nasıl indirebiliriz? Gibi sorulara cevap vermiş olacağız.
Hazır yazımıza giriş yapmışken beni bu yazıyı yazmaya iten düşüncemi de paylaşmak istiyorum. 🙂
Bir yazılımcı olarak gün içerisinde birçok LLM kullanmaktayım, bunlardan en öne çıkanı ChatGPT. Olayın teknik tarafında da olduğum için ben bir prompt yazdığımda arka tarafta ne oluyor? Benim prompt’umu arkadaki kodlar nasıl anlıyor da cevap verebiliyor? Gibi gibi sorular aklıma gelmekteydi. Bu konuları araştırırken kendi bilgisayarımda da yerel bir LLM kurabileceğimi aynı popüler LLM’ler ile nasıl sohbet edebiliyorsam kendi kuracağım LLM ile de sohbet edebileceğimi öğrendim ve hemen araştırma yapmaya başladım.
Araştırma yapmadan önce Ollama’nın açık kaynak LLM desteği sağladığını biliyordum, bu bilgi üzerinden ilk olarak yukarıdaki videoyu izleyerek gerekli kurumları gerçekleştirmeye başladım.
İlk olarak Ollama’yı indirelim. https://ollama.com/download/windows adresine giderek Ollama’yı indirebilirsiniz.
Ollama üzerinden de birçok model indirip o modeller ile de etkileşime girebilirsiniz.
Ancak ben ChatGPT benzeri bir kullanıcı deneyimi hedeflediğim için, modeli çalıştıran Ollama’nın üzerine bir ara yüz katmanı olarak Open WebUI kullanacağım. Open WebUI, Ollama’nın API’sine bağlanarak kullanıcı mesajlarını modele iletir ve dönen cevapları web ara yüzünde görüntüler. Open WebUI uygulamasının kurulumu ve dağıtımı ise Docker üzerinden gerçekleştirilecektir. Docker burada yalnızca Open WebUI’nin izole ve kolay yönetilebilir bir ortamda çalışmasını sağlayan konteyner teknolojisi olarak kullanılmaktadır.
Sıra geldi Docker’ı kurmaya. https://www.docker.com/get-started/ web sitesine giderek Docker’ı indiriyoruz.
Docker’ı başarılı bir şekilde kurduk.
https://github.com/open-webui/open-webui#installation-with-default-configuration Open WebUI’a ait GitHub reposundan Open WebUI isimli LLM ara yüzünü Docker üzerinden çalıştırmak için
gerekli olan kodu CMD üzerinden çalıştırmak için kopyalıyoruz.
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
Gerekli indirme işlemlerini bekliyoruz.
İndirme işlemi bitince Docker’ın ara yüzüne girip Port(s) alanında bulunan port bilgisine tıklıyoruz.
LLM ara yüzümüze erişmeden önce Docker ara yüzünde anlık CPU kullanımı, container’ın çalışıp çalışmadığı, container’ı durdurup çalıştırmak gibi özelliklere erişimimiz mevcut.
LLM ara yüzümüzü ilk incelediğimizde aktif olarak herhangi bir model bulunmamaktadır.
https://ollama.com/library adresinden rahatlıkla model indirebilir ve kullanabiliriz.
örneğin llama3.2 isimli bir modeli indirelim. CLI alanından ilgili kodu (ollama run llama3.2) kopyalayıp bilgisayarımızda bulunan komut istemi (CMD) programına yazalım ve modelimizi indirelim.
Modelimiz iniyor.
Modelimiz indikten sonra inen modelimizi seçerek kullanıma hazır hale getirebiliriz.
Bilgisayarınızın özelliklerine, yapmak istediklerinize yönelik nokta atışı model tespitlerini kısa bir araştırma ile hızlıca yapabilirsiniz. Bu aşamadan sonraki konular tamamen sizlerin ne kadar meraklı ve ne kadar araştırmacı olduğunuz ile alakalı. 🙂
Küçük bir deneme yapalım.
Birden fazla model seçerek (gemma2:9b, llama3:latest) bir soru sordum ve farklı 2 cevap aldım.
Modellerin yazmış olduğunuz promptlara verdiği cevaplar modelden modele farklılık gösterebilir. Bunun nedeni, her modelin farklı veri kümeleriyle eğitilmiş olması, farklı mimarilere sahip olması ve farklı yeteneklere odaklanmasıdır. Bu nedenle aynı prompt, bir model tarafından doğru ve tutarlı bir şekilde cevaplanırken, başka bir model tarafından eksik, hatalı veya beklenmedik bir şekilde yanıtlanabilir. Özellikle daha küçük parametreli modeller zaman zaman konuyu yanlış anlayabilir veya gerçeğe aykırı bilgiler (halüsinasyon) üretebilir. Bu yüzden ihtiyaçlarınıza en uygun modeli seçmek ve gerektiğinde farklı modelleri karşılaştırarak denemek önemlidir.
Birkaç kaynakça niteliğinde video linki bıraktım, faydalı olması dileğiyle.
