Llama, Qwen, gpt-oss: як обрати модель локального AI, якщо ви не технічний спеціаліст
Будь-яку статтю можна зберегти в закладки на сайті, щоб прочитати її пізніше.
Режим читання збільшує текст, прибирає всю зайву інформацію зі сторінки і дозволяє зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.
Ви вирішили запустити AI локально, відкрили каталог моделей і побачили список: Llama 3.1 8B, gpt-oss-20B, Qwen 14B, Mistral 7B. Усі безкоштовні, усі щось обіцяють, і не зрозуміло, що із цього завантажувати.
Вибір залежить від двох речей: які завдання ви хочете доручити моделі та скільки відеопам’яті має ваш комп’ютер. Пояснюємо простою мовою, що означає число в назві моделі, як зіставити його з відеокартою і яка конфігурація підійде для листування, роботи з договорами чи аналізу коду.
Як це працює?
Модель має повністю вміститись у відеопам’яті вашої відеокарти. Якщо не поміщається, вона працює помітно повільніше або не запускається взагалі.
Число в назві — це кількість параметрів у мільярдах, і воно приблизно показує «апетит» моделі. Груба орієнтація: близько 1 ГБ відеопам’яті на кожен мільярд. Модель на 8B потребує приблизно 8 ГБ, модель на 20B у чотирибітному форматі — близько 14–16 ГБ разом із запасом на обробку запиту.
Більше параметрів означає точніші відповіді й краще розуміння складних формулювань. Менше — швидшу роботу й нижчі вимоги до «заліза». Вибір між ними залежить від того, що саме ви робите.
Зрозуміти, що моделі бракує пам’яті, легко без жодних вимірювань. Відповідь починає з’являтися ривками по кілька слів замість рівного потоку, перша реакція на запит займає десятки секунд, а вентилятори виходять на максимум і не стихають. Це означає, що частина моделі не помістилась у відеопам’яті і система підвантажує її з оперативної, яка працює в рази повільніше.
Як вибрати модель під власні запити
Листування, короткі тексти, переклад. Написати лист, переписати абзац, перекласти документ, витягти головне з половини сторінки. Тут вистачає моделей на 7–8B. Вони працюють швидко, відповідають майже миттєво й не вимагають потужної конфігурації: вистачить ноутбука з відеокартою NVIDIA GeForce RTX 5050 або RTX 5060.
Робота з документами. Договір на 40 сторінок, квартальний звіт, технічне завдання, з якого треба зібрати список ризиків. Модель має утримувати весь документ в обробці одночасно. Робочий діапазон — 12–14B, а разом із самим документом це вже 12 ГБ пам’яті й вище, тобто рівень GeForce RTX 5070 Ti.
Код і аналітика. Розібрати чужий скрипт, знайти помилку в логіці, проаналізувати масив даних. Найвимогливіший сценарій: моделі від 20B, що потребують 16 ГБ і більше, тобто GeForce RTX 5080 або RTX 5090. Саме тут економія на пам’яті обертається тим, що потрібна модель просто не запуститься.
Яка відеокарта підійде
Запустити локальну модель можна не на будь-якому пристрої: потрібне залізо, здатне тримати модель у відеопам’яті й швидко виконувати обчислення. У цій категорії лідирує NVIDIA. Лінійка покриває різні обсяги відеопам’яті, а в самих відеокартах є тензорні ядра, спеціалізовані саме під AI-обчислення.
Відеокарти NVIDIA GeForce RTX 50 Series побудовані на архітектурі NVIDIA Blackwell і першими серед споживчих GPU отримали апаратну підтримку FP4.
Одна й та сама модель існує в кількох версіях різної точності: чим менше бітів відведено на кожен параметр, тим менше вона важить. FP4 — чотирибітний формат, який займає менш ніж половину пам’яті, порівнюючи зі звичним FP16.
Оскільки RTX 50 Series обробляє його апаратно, полегшена версія займає менше пам’яті й працює швидше. На практиці це означає, що у ваш обсяг вміщується помітно більше, ніж підказує арифметика з мільярдами параметрів.
Пам’ять у ноутбучній лінійці розподілена так:
- GPU NVIDIA GeForce RTX 5050, RTX 5060 — 8 ГБ GDDR7;
- GPU GeForce RTX 5070 — 8 або 12 ГБ GDDR7 залежно від конфігурації;
- GPU GeForce RTX 5070 Ti — 12 ГБ GDDR7;
- GPU GeForce RTX 5080 — 16 ГБ GDDR7;
- GPU GeForce RTX 5090 — 24 ГБ GDDR7.
Із цього випливає:
- 8 ГБ — моделі на 7–8B. Листи, тексти, переклад, коротка робота з документами.
- 12 ГБ — моделі до 14B. Повноцінна робота з договорами й звітами.
- 16 ГБ — рівень gpt-oss-20B, що в нативному чотирибітному форматі займає близько 14 ГБ. Відкриває можливості для кодингу та складної аналітики.
- 24 ГБ — та сама модель плюс великий контекст: документи на сотню сторінок цілком, без нарізки на частини.
У десктопних конфігураціях стеля вища: RTX 5090 несе 32 ГБ GDDR7.
Як не помилитися з вибором
Три речі, які варто врахувати до покупки:
- Рахуйте за щоденними завданнями. Якщо код ви розбираєте раз на місяць, а листи пишете щодня, конфігурація під код вам не потрібна.
- Закладайте запас на контекст. Вага моделі — це ще не вся історія: сам документ, який ви завантажуєте, теж займає пам’ять, і чим він більший, тим це відчутніше. Модель на 14 ГБ у конфігурації із 16 ГБ працюватиме, але довгий договір уже впиратиметься в межу пам’яті.
- Беріть на крок вище за поточну потребу. Моделі стають кращими швидше, ніж люди оновлюють техніку, і те, що сьогодні здається надлишковим, за рік стане робочим мінімумом.
У каталозі Rozetka зібрано ноутбуки з NVIDIA GeForce RTX 50 Series, серед них можна підібрати конфігурацію під ваш сценарій роботи.
Куди все рухається
NVIDIA готує до виходу ноутбуки RTX Spark Laptop. Вони матимуть більше пам’яті, а отже, дозволять запускати більші моделі.
Широкий вибір пристроїв із NVIDIA GeForce RTX 50 Series доступний на Rozetka — надійному місці для купівлі техніки NVIDIA.
Партнерські матеріали
