Ollama dan Open WebUI: Menjalankan AI Lokal

Kekhawatiran atas privasi data, kepatuhan regulasi, dan biaya langganan API cloud yang mahal mendorong banyak organisasi beralih ke Local AI. Menggunakan Ollama dan Open WebUI di Linux, Anda dapat menjalankan Large Language Model (LLM) yang tersedia seperti Llama 3, DeepSeek-Coder, maupun Mistral secara lokal tanpa harus memakai API inferensi cloud untuk setiap permintaan, selama model dan komponennya sudah tersedia di workstation atau server pribadi.

Menjalankan Model AI LLM Lokal dengan Ollama di Linux — Ilustrasi: Komputasi kecerdasan buatan lokal menjaga kerahasiaan data perusahaan tanpa ketergantungan biaya API cloud.

Catatan keamanan & validasi: Keamanan instalasi: perintah curl ... | sh mengeksekusi skrip dari internet. Periksa URL resmi dan isi skrip terlebih dahulu, atau gunakan metode instalasi paket yang dapat diaudit.

Persiapan dan hasil yang harus dibuktikan: Ollama dan Open WebUI

Ollama menjalankan model, sedangkan Open WebUI menyediakan antarmuka. Kebutuhan RAM, storage dan GPU mengikuti ukuran model/kuantisasi. Docker harus terpasang bila Open WebUI menggunakan container.

Preflight

free -h
df -h "$HOME"
command -v ollama
docker version
# Setelah terpasang: ollama list

Verifikasi

Model harus benar-benar termuat dan dapat menjawab prompt uji tanpa memaparkan token/API key. Periksa batas penggunaan RAM/GPU, log, dan akses login Open WebUI.

Risiko

Jangan menganggap semua model 100% privat jika integrasi browser, telemetri, atau endpoint cloud masih aktif.

Checklist ini bersifat panduan uji, bukan screenshot atau bukti pelaksanaan pada lingkungan produksi.

Catatan penting saat mempraktikkan panduan ini

Open WebUI contoh dibatasi ke localhost agar tidak terbuka langsung ke internet. Untuk akses dari komputer lain, gunakan tunnel SSH atau reverse proxy HTTPS dengan autentikasi dan firewall. Perhatikan Ollama pada host dapat perlu OLLAMA_HOST/pengaturan binding yang sesuai agar container bisa menjangkaunya; host.docker.internal hanya nama gateway, bukan jaminan Ollama listen pada interface tersebut. Uji koneksi container ke API secara terkontrol dan jangan membuka port 11434 ke publik.

Verifikasi: simpan output perintah dan dokumentasi pengujian pada perangkat yang memang boleh dikelola. Ilustrasi tidak dianggap bukti instalasi berhasil.

1. Instalasi Ollama di Ubuntu Linux

Ollama menyediakan skrip instalasi resmi yang secara otomatis mendeteksi hardware akselerasi (NVIDIA CUDA, AMD ROCm, atau Intel GPU):

# Unduh dahulu, tinjau script dan sumbernya sebelum instalasi:
curl -fL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
# Bila sesuai versi dan aman di host uji:
# sh ollama-install.sh

Setelah terpasang, periksa status servicenya: systemctl status ollama. Layanan ini akan mendengarkan request REST API pada port 11434.

2. Mengunduh & Menguji Model AI Pertama

Unduh dan jalankan model Llama 3 (8 miliar parameter terkuantisasi) langsung melalui terminal:

ollama run llama3

Ollama akan mengunduh bobot model (sekitar 4.7 GB). Anda dapat langsung mengobrol dan mengetes penalaran logis model tersebut di baris perintah terminal.

3. Memasang Antarmuka Visual Modern: Open WebUI

Untuk memberikan pengalaman pengguna yang kaya (mirip ChatGPT dengan riwayat chat, unggah dokumen RAG, dan prompt presets), pasang Open WebUI via Docker:

docker run -d -p 127.0.0.1:8080:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart unless-stopped \
  ghcr.io/open-webui/open-webui:main

Akses http://IP_SERVER:8080 melalui browser Anda, buat akun admin lokal, dan nikmati asisten AI pintar yang sepenuhnya menjadi milik Anda sendiri.

Kesimpulan & Rekomendasi Praktik Terbaik

Menjalankan LLM lokal membuktikan bahwa ekosistem open-source Linux telah matang untuk menopang revolusi AI generasi berikutnya, menjamin kedaulatan data dan kebebasan bereksperimen tanpa batasan biaya.

Rujukan & bacaan lanjutan: periksa dokumentasi Ollama untuk rincian fitur dan kompatibilitas. Baca juga otomasi n8n dan peta belajar Edelweis. Sesuaikan contoh dengan versi dan lingkungan yang digunakan.

Catatan editorial: Diagram bersifat konseptual kecuali diberi label sebagai hasil uji. Verifikasi konfigurasi di perangkat lu sendiri sebelum dipakai pada sistem produksi.

END OF NOTE.Jelajahi artikel lain ↗