Jakie modele językowe można hostować samodzielnie?

Modele open-source takie jak Llama (Meta), Mistral, DeepSeek, gpt-oss i ich pochodne mogą być uruchamiane we własnej infrastrukturze. Modele własnościowe takie jak Claude (Anthropic) i ChatGPT (OpenAI) są dostępne tylko przez API.

Gdzie można uruchamiać LLM self-hosted?

W Azure (przez Azure ML lub dedykowane VM), w GCP (przez Vertex AI lub dedykowane VM), na własnych serwerach (On-Premise w certyfikowanych centrach danych) lub w modelu hybrydowym.

Ile kosztuje self-hosting LLM?

Koszty zależą od modelu, sprzętu i wolumenu użycia. Serwery GPU (NVIDIA A100/H100) są największym czynnikiem kosztowym. Przy wysokim wolumenie użycia self-hosting jest często tańszy niż korzystanie z API.

LLM Self-Hosting dla enterprise - Azure, GCP, On-Premise

Dlaczego self-hosting?

Dla wielu polskich firm pytanie nie brzmi, czy AI zostanie wdrożone, ale gdzie dane są przetwarzane. Przy korzystaniu z API chmurowych (OpenAI, Anthropic, Google) dane opuszczają własną infrastrukturę. Dla regulowanych branż - finansów, ochrony zdrowia, sektora publicznego - może to być kryterium dyskwalifikujące.

W skrócie - LLM Self-Hosting dla Enterprise

Self-hosting utrzymuje wszystkie dane w sieci firmowej - brak przetwarzania przez strony trzecie, pełna kontrola nad modelem, danymi i inferencją.
Modele open source (Llama, Mistral, DeepSeek, gpt-oss) mogą działać na Azure ML, GCP Vertex AI, własnych serwerach GPU lub w konfiguracji hybrydowej.
Wymiarowanie GPU to główny czynnik kosztowy: model 7B działa na jednym GPU, model 70B wymaga wielu GPU lub kwantyzacji.
Routing model-agnostic pozwala agentom używać modeli self-hosted dla wrażliwych danych i Cloud API dla zadań niekrytycznych.
Gartner (2024) prognozuje, że 45% wdrożeń AI w regulowanych branżach będzie działać na prywatnej infrastrukturze do 2027 roku - wobec 20% w 2023.

Self-hosting oznacza: model językowy działa w infrastrukturze klienta. Żadne dane nie opuszczają sieci firmowej. Żaden dostawca zewnętrzny nie przetwarza zapytań. Pełna kontrola nad modelem, danymi i przetwarzaniem.

W Polsce, gdzie RODO obowiązuje bezpośrednio jako rozporządzenie UE, a Urząd Ochrony Danych Osobowych (UODO) aktywnie monitoruje przetwarzanie danych osobowych, self-hosting może stanowić najlepszą opcję zapewnienia zgodności z przepisami dla wrażliwych procesów biznesowych.

Jakie modele można hostować samodzielnie?

Modele open-source mogą być uruchamiane we własnej infrastrukturze:

Llama (Meta): Różne wielkości (8B, 70B, 405B parametrów). Wydajny, dobrze udokumentowany, duża społeczność.

Mistral: Model europejski. Mistral 7B, Mixtral 8x7B. Dobry stosunek ceny do wydajności, efektywny.

DeepSeek: Różne warianty włącznie z DeepSeek-R1 do zadań wnioskowania. Szczególnie dobry stosunek ceny do wydajności.

gpt-oss: Pierwszy model open source OpenAI. gpt-oss-120b (117B parametrów, architektura MoE, działa na 1 GPU 80 GB, licencja Apache 2.0) i gpt-oss-20b do zastosowań brzegowych.

Modele własnościowe (Claude, ChatGPT, Gemini) nie są dostępne do self-hostingu, ale mogą być używane przez API z przetwarzaniem w UE.

W architekturze model-agnostycznej agent może korzystać z wielu modeli: self-hosted dla wrażliwych danych, API chmurowe dla niekrytycznych zadań. Routing jest oparty na regułach i konfigurowany w Decision Layer.

Opcje deploymentu

Azure: LLM mogą być deployowane na Azure ML lub uruchamiane na dedykowanych VM z GPU (seria NC, seria ND). Integracja z Azure Entra ID do autentykacji i kontroli dostępu. Przetwarzanie w centrach danych UE (West Europe, North Europe). Dla polskich firm Azure oferuje również region Poland Central.

GCP: Deployment przez Vertex AI lub na dedykowanych VM z GPU (A2, G2). Integracja z Google Cloud IAM. Przetwarzanie w centrach danych UE (europe-west1, europe-west4).

On-Premise: Własne serwery z GPU NVIDIA (A100, H100, RTX 4000 Ada). Eksploatacja w certyfikowanych centrach danych. W Polsce dostępne są centra danych spełniające normy ISO 27001 i Tier III+. Maksymalna kontrola, brak zależności od chmury.

Hybrid: Połączenie self-hosted i chmury. Wrażliwe workloady lokalnie, niekrytyczne w chmurze. Jednolite governance w obu środowiskach.

Kryterium	Self-Hosted	Cloud API
Data Residency	Pełna kontrola, dane pozostają on-premise	Zależne od dostawcy, regiony UE dostępne
Wybór modelu	Tylko open source (Llama, Mistral, DeepSeek)	Własnościowe + open source przez API
Koszty przy skalowaniu	Niższe (stałe koszty GPU, brak opłat za tokeny)	Wyższe (ceny za tokeny rosną liniowo)
Nakład operacyjny	Wysoki (zarządzanie GPU, aktualizacje, HA)	Niski (zarządzane przez dostawcę)
Opóźnienie	Niskie (sieć lokalna)	Zmienne (zależne od sieci)

Darmowy eBook: Infrastruktura AI

Build, Buy, Hybrid - infrastruktura zgodna z EU AI Act z B/B/H-Framework i 7-Layer Reference Architecture.

Pobierz za darmo

Kwestie architektoniczne

Wymiarowanie GPU: Wielkość modelu determinuje zapotrzebowanie na GPU. Model 7B działa na pojedynczym GPU. Model 70B wymaga wielu GPU lub kwantyzacji. Prawidłowe wymiarowanie zależy od przypadku użycia.

Optymalizacja inferencji: Techniki takie jak kwantyzacja (4-bit, 8-bit), batching i optymalizacja KV-cache redukują zapotrzebowanie na zasoby przy akceptowalnej utracie jakości.

Wysoka dostępność: Dla systemów produkcyjnych: redundantne serwery GPU, load balancing, automatyczny failover. Brak pojedynczego punktu awarii.

Aktualizacje modeli: Nowe wersje modeli muszą być przetestowane przed wdrożeniem produkcyjnym. Środowisko staging do testowania modeli jest częścią infrastruktury.

Więcej na ten temat: Infrastruktura AI

Szczegóły dotyczące kosztów self-hostingu w porównaniu TCO.

Umów spotkanie - Pokażemy optymalną strategię hostingu dla Twoich wymagań.

Bert Gogolin

Dyrektor Generalny, Gosign

AI Governance Briefing

Enterprise AI, regulacje i infrastruktura - raz w miesiącu, bezpośrednio ode mnie.