Ollama: скільки RAM та GPU потрібно для власної AI-моделі онлайн?

ChatGPT, Claude та інші хмарні AI-сервіси привчили нас до простої схеми: відкрили браузер, надіслали запит та отримали відповідь. Але саму мовну модель необов'язково запускати інфраструктурі її розробника. Ollama дозволяє розвернути LLM на власному комп'ютері або сервері, а потім звертатися до неї через API або звичний веб-інтерфейс.

У SIDATA нас більше цікавить другий сценарій. Замість купівлі дорогої робочої станції з GPU можна орендувати виділений сервер з відеокартою, встановити Ollama та отримати власне AI-середовище, доступне через інтернет цілодобово.

Схема виходить досить простою:

Користувач → інтернет → сервер → Ollama → LLM → відповідь

Сам ноутбук користувача у такому разі практично не бере участі у обчисленнях. Вся важка робота виконується процесором, оперативною пам'яттю та GPU віддаленого сервера.

Але тут постає головне питання: який сервер потрібен? Чи можна запустити сучасну LLM на GTX 1080 з 8 ГБ VRAM, що дадуть 64 ГБ звичайної RAM та наскільки відрізняється сервер з RTX 4000 SFF та 20 ГБ відеопам'яті? Розберемо це реальних конфігураціях SIDATA.

Ollama - це не сама нейромережа

Спочатку розділимо два поняття, що часто змішують. Ollama - не мовна модель на кшталт Qwen або Gemma. Це програмне середовище, яке дозволяє завантажувати, запускати моделі та звертатися до них через API.

Наприклад, після встановлення Ollama можна завантажити Qwen3, Gemma 3, Llama та багато інших моделей. Бібліотека Ollama пропонує Qwen3 у варіантах від 0,6B до 235B параметрів. Тільки цей приклад добре показує, наскільки різними можуть бути вимоги: Qwen3 8B займає близько 5,2 ГБ, версія 14B - 9,3 ГБ, 30B - 19 ГБ, а 235B - вже 142 ГБ.

Тому питання, скільки пам'яті потрібно для Ollama, технічно поставлено неправильно. Саме середовище порівняно невимогливе. Ресурси визначає модель, її квантування, розмір контексту та кількість одночасних запитів.

Після встановлення Ollama на сервері з'являється HTTP API. Через нього до моделі можна підключити власну програму, CRM, n8n, AI-агента або веб-інтерфейс. Ollama також підтримує сумісність із частиною OpenAI API, що спрощує підключення додатків, які спочатку розраховані на відповідний формат запитів.

RAM та VRAM: що важливіше для LLM?

При виборі AI-сервера ми перш за все дивимося на два види пам'яті.

RAM - Звичайна оперативна пам'ять сервера. Вона використовується операційною системою, Ollama та іншими програмами, а також може брати участь у роботі моделі, якщо вона не міститься повністю у відеопам'яті.

VRAM знаходиться безпосередньо на відеокарті. Для швидкого inference LLM саме її обсяг стає одним із головних обмежень.

Якщо модель та необхідні робочі дані розміщуються у VRAM, обчислення можна виконувати переважно на GPU. Коли відеопам'яті недостатньо, Ollama може використовувати системну пам'ять і CPU, але продуктивність вже буде іншою. Тому сервер з 64 ГБ RAM та відеокартою на 8 ГБ не можна сприймати як аналог GPU з 64 ГБ VRAM.

Є ще одна змінна - контекст. Чим більше тексту модель має одночасно тримати в контексті, тим більше пам'яті потрібно. Для завдань на кшталт AI-агентів, програмування та веб-пошуку може знадобитися контекст щонайменше 64 000 токенів.

Це особливо важливо для бізнесу. Невеликий чат-бот з короткими питаннями та AI-агент, який отримує великий документ, історію листування та дані з CRM, можуть використовувати одну модель, але пред'являти різні вимоги до пам'яті.

Скільки важать реальні моделі?

Замість абстрактного поділу на маленькі та великі LLM подивимося на кілька моделей із бібліотеки Ollama.

Розмір файлу моделі не можна механічно прирівнювати до точного споживання VRAM. Крім ваг моделі пам'ять потрібна для контексту та робочих даних. Чим більший контекст та кількість паралельних запитів, тим більший запас слід залишати.

Наприклад, Gemma 3 представлена версіями 4B, 12B та 27B розміром приблизно 3,3, 8,1 та 17 ГБ відповідно. Для сімейства заявлений контекст до 128K, але можливість моделі підтримувати такий контекст ще не означає, що конкретний сервер зможе використовувати його без суттєвої додаткової витрати пам'яті.

Що можна запустити на серверах SIDATA?

Тепер перейдемо від теорії до реальних конфігурацій. Лінійка виділених GPU-серверів SIDATA починається з Intel Core i7, 32 ГБ DDR4 та NVIDIA GeForce GTX 1080 та закінчується конфігурацією з 64 ГБ RAM, SSD та RTX 4000 SFF. Вартість складає від 8050 до 25200 грн на місяць.

Тут важлива особливість. Три перші сервери відрізняються RAM та накопичувачами, але використовують одну GTX 1080 з 8 ГБ VRAM. Отже, перехід з 32 на 64 ГБ системної пам'яті не перетворює сервер на машину для значно більшої моделі, повністю розміщеної на GPU.

Для Llama 3.2 1B/3B, Gemma 3 4B та Qwen3 4B/8B GTX 1080 виглядає значно логічніше. Qwen3 8B в Ollama займає близько 5,2 ГБ, тому за розміром ваги він відноситься до класу, який в принципі відповідає 8 ГБ VRAM, хоча фактичний запас залежить від контексту і параметрів запуску.

З Gemma 3 12B чи Qwen3 14B ситуація змінюється. Розмір їх ваги вже близько 8-9 ГБ. Розраховувати, що така модель разом із контекстом комфортно поміститься у 8 ГБ відеопам'яті, не варто. Можна задіяти RAM та CPU, але це вже компроміс за швидкістю.

GTX 1080 проти RTX 4000 SFF

Різниця між цими відеокартами набагато серйозніша, ніж просто вік покоління.

GTX 1080 побудована на архітектурі Pascal, має 2560 CUDA-ядер та 8 ГБ пам'яті. RTX 4000 SFF Ada Generation має 6144 CUDA-ядри, 192 Tensor Cores четвертого покоління і 20 ГБ GDDR6 ECC. Ця карта підходить у тому числі для AI та обчислювальних завдань.

Для Ollama особливо помітна різниця в об'ємі VRAM:

GTX 1080 - 8 ГБ
RTX 4000 SFF - 20 ГБ

На RTX 4000 SFF вже стає реалістичніше працювати з моделями класу Gemma 3 12B та більшими варіантами Qwen. Gemma 3 27B займає близько 17 ГБ, а Qwen3 30B - близько 19 ГБ. Однак тут ми вже практично заповнюємо 20 ГБ відеопам'яті лише вагою моделі. Для великого контексту та комфортної експлуатації потрібний додатковий запас.

Тому ми б не обіцяли, що RTX 4000 SFF автоматично перетворює будь-який 20-гігабайтний LLM на комфортний production-сервіс. Для 4-14B моделей вона виглядає набагато вільніше; 27-32B - вже територія, де конкретну конфігурацію, квантування та розмір контексту потрібно тестувати.

А чи можна взагалі без GPU?

Можна. Ollama підтримує CPU-тільки запуск, у тому числі через Docker.

Для експерименту, рідкісних запитів або дуже невеликої моделі цього може виявитися достатньо. Але сенс GPU проявляється саме в inference: генерація відповіді складається з великої кількості математичних операцій, які відеокарта виконує паралельно.

Тому CPU-сервер ми розглядали б для знайомства з Ollama, автоматизацій з невеликим навантаженням або сценарію, де швидкість відповіді не має великого значення.

Якщо AI повинен обслуговувати користувачів у реальному часі, брати участь у автоматизації бізнесу чи постійно обробляти запити, GPU стає набагато раціональнішим рішенням.

Як перетворити Ollama на онлайн-сервіс?

Сам факт встановлення Ollama ще не робить його власним ChatGPT. Потрібно організувати доступ.

На Linux установка виконується буквально однією командою, після чого Ollama можна запустити як systemd-службу. Для NVIDIA GPU необхідно правильно встановити драйвери; наявність відеокарти перевіряється через nvidia-smi.

Базова схема може виглядати так:

Ubuntu Server → NVIDIA Driver → Ollama → LLM → Open WebUI → Nginx → HTTPS

Для людини Open WebUI або інший інтерфейс перетворює модель на звичний чат. Для програми інтерфейс взагалі не потрібен: CRM, n8n або власний додаток може звертатися безпосередньо до API Ollama.

Є важливий момент безпеки. За замовчуванням API Ollama слухає 127.0.0.1:11434, тобто доступний локально. Його можна відкрити для мережі через змінну OLLAMA_HOST або налаштувати публікацію через Nginx.

Але ми не рекомендуємо просто виставляти порт 11434 в інтернет. Локальний Ollama API сам не вимагає аутентифікації. Для публічного сервера краще використовувати reverse proxy, HTTPS, авторизацію, firewall і за потреби VPN або обмеження IP.

Навіщо бізнесу власна LLM онлайн?

Найочевидніший сценарій – корпоративний AI-асистент. Але практична цінність свого сервера розкривається сильніше, коли модель стає частиною інфраструктури.

Наприклад:

n8n → Olama → CRM → база даних → пошта/Telegram

У такій схемі модель може класифікувати звернення клієнтів, готувати чернетки відповідей, обробляти документи, структурувати дані, підсумовувати листування чи передавати результати іншим сервісам.

Інший сценарій - RAG. Компанія зберігає власну базу документів та надає моделі релевантні фрагменти перед генерацією відповіді. Виходить внутрішній помічник з інструкцій, технічної документації, товарів чи корпоративної бази знань.

Ollama підтримує tool calling, включаючи паралельні виклики інструментів, тому її можна використовувати як компонент агентних систем.

І тут сервер у дата-центрі має важливу перевагу перед потужним домашнім ПК: AI-інфраструктура продовжує працювати незалежно від того, чи включений ноутбук власника.

Орендувати GPU чи купити відеокарту?

Купівля власного GPU має сильний аргумент: обладнання залишається у власника. Якщо навантаження стабільне кілька років, придбання робочої станції може виявитися економічно вигіднішим за оренду.

Але разом з відеокартою доведеться забезпечити весь решту контуру: сервер або ПК, електроживлення, охолодження, стабільний інтернет, віддалений доступ, резервування та обслуговування.

В оренди інша економіка. Немає великого початкового CAPEX, обладнання знаходиться у дата-центрі, а сервер доступний цілодобово. Якщо експеримент із власним LLM не виправдав себе, інфраструктуру не доводиться продавати - оренду можна припинити.

Тому для постійного довгострокового навантаження варто вважати обидві моделі. Для пілотного AI-проекту, розробки, віддаленої команди або ситуації, коли сервер має бути доступний із різних країн, оренда часто виявляється зручнішою організаційно.

Який сервер ми вибрали б?

Якщо завдання - познайомитися з Ollama, розгорнути невеликого корпоративного асистента або запустити модель класу 3-8B, ми спочатку тестували б конфігурацію з GTX 1080 8 ГБ. Для невеликих квантованих моделей купувати дорожчий GPU тільки заради самого наявності RTX необов'язково.

Якщо одночасно з Ollama на сервері працюють бази, автоматизації та інші послуги, 64 ГБ RAM дають більше простору всій системі, хоча не збільшують VRAM GTX 1080.

Для моделей середнього класу, більш серйозного inference та проектів, де потрібен більший запас відеопам'яті, логічніше дивитися на RTX 4000 SFF з 20 ГБ VRAM та 64 ГБ RAM.

А ось для великих LLM класу 70B поточні конфігурації SIDATA ми не позиціонували б як оптимальні. Навіть сильно квантовані моделі такого розміру вимагають значно більшого обсягу пам'яті для комфортної роботи. Тут потрібний вже інший клас GPU або кілька відеокарт.

Головний принцип вибору простий: спочатку модель та сценарій, потім сервер. Чи не навпаки.

Перед замовленням корисно визначити чотири речі: яку LLM планується використовувати, який потрібен контекст, скільки користувачів звертатимуться до неї одночасно та наскільки критична швидкість відповіді. Після цього можна зрозуміти, чи достатньо 8 ГБ VRAM, потрібні 20 ГБ або проект уже виходить за межі цієї категорії обладнання.

Свій AI стає практичнішим

Ollama помітно знизила технічний поріг входу до self-hosted AI. Щоб запустити власну мовну модель, необов'язково вже будувати ML-кластер або купувати кілька професійних прискорювачів. Невеликі сучасні моделі можуть працювати на відносно доступному GPU-сервері, а через API перетворюватися з експериментального чат-бота на частину реальної IT-інфраструктури.

При цьому фізику обчислень ніхто не скасовував. 64 ГБ RAM не замінюють 20 ГБ VRAM, великий контекст потребує додаткової пам'яті, а модель розміром 20 ГБ не варто планувати на 20-гігабайтний GPU без запасу.

Тому в SIDATA ми починали б не з питання, який найпотужніший сервер можна орендувати, а з іншого: яке завдання має виконувати AI? Для малого помічника досить однієї конфігурації, для RAG і автоматизації вимоги будуть іншими, а для великих LLM знадобиться вже зовсім інший клас обладнання.

Саме такий підхід дозволяє отримати власний AI онлайн без придбання зайвих ресурсів – і при цьому залишити можливість масштабувати інфраструктуру, коли експеримент перетворюється на робочий сервіс.