Как запускать свежие AI-модели OpenAI на своем компьютере или телефоне
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
OpenAI вновь на сцене — теперь со своими долгожданными открытыми моделями gpt-oss-20b и gpt-oss-120b. Слово "open-weight" тут не случайно: это первые такие модели со времён GPT-2, и их теперь можно не только скачать, но и запускать у себя дома, без облаков и ежеминутных отправок данных куда-то в интернет. Не надо быть гением — если хватит железа, сможешь запустить хоть на ноутбуке, хоть на рабочей лошадке под столом.
Ну, теоретически. Потому что требования — ого-го!
Для gpt-oss-20b (21 миллиард параметров, открытая лицензия Apache 2.0) достаточно ноутбука или ПК с 16 гигабайтами оперативной памяти. Распространитель элитных советов AMD даже рекомендует свои новые Ryzen AI 300 рядом с 32 ГБ памяти (или 16 — выделить под видео). По видеокартам — любой Radeon RX 7000 или 9000 с 16 ГБ видеопамяти, но строго не требуется. Главное — памяти должно быть не меньше, а лучше больше: модель любит простор, а при скромных запасах работает медленно и уныло. Желательно, чтобы вся память была на графической карте.
В Сети уже нашли счастливцев: на MacBook Pro M3 с 18 ГБ работает нормально, Reddit не даст соврать.
А вот если захотелось погонять gpt-oss-120b (117 миллиардов параметров!), готовь крупную рабочую станцию. За основу можно взять систему с 64 ГБ ОЗУ и видеокартой на 24 ГБ (например, Nvidia RTX 3090 Ti). В сумме — 88 ГБ — хватит.
AMD советует свой Ryzen AI Max+ 395 и вообще 128 ГБ оперативной, 96 — на графику. Строка о "много GPU" — не шутка.
Запустить это хозяйство проще всего через платформу Ollama (есть для Windows, Mac, Linux: качаете, устанавливаете, вводите пару команд — и вперёд). Альтернатива — LM Studio, а для Windows возможен ещё и эксперимент с Windows AI Foundry — правда, там пока нужна Nvidia и как минимум 16 ГБ видеопамяти, поддержка AMD только обещается.
И теперь — ложка дёгтя: заявления Сэма Альтмана, главы OpenAI, о том, что gpt-oss-20b можно запускать и на телефоне, реализация которых пока больше напоминает раздел с шутками – чем реальную инструкцию. Да, Qualcomm уже бодро отчитался, что их Snapdragon X справится с моделью, но речь пока о новых "Copilot+" ноутбуках, а не о смартфонах. Формально, если вдруг ваш смартфон каким-то образом обладает 16 ГБ ОЗУ, теоретически загрузить gpt-oss-20b можно, но работать вполне не будет как надо: фантазия ещё не встретилась с реальностью. Но производители грозят, что этот момент не за горами.
PEREC.RU
OpenAI — снова модный стартап, который продаёт мечты про домашний искусственный интеллект. В этот раз под видом gpt-oss-20b и gpt-oss-120b. Первая для энтузиастов с обычным, но не слишком старым ноутбуком (16 ГБ памяти – стандарт XXI века), вторая — для тех, кто собирает монстров в шкафу (80–128 ГБ и желательно пару мощных видеокарт).
Обещания запускать модели даже на телефоне выглядят как утренние разговоры перед зеркалом: официально — можно, по факту — только если твой смартфон работает на базе серверных процессоров в миниатюре. Тут и Qualcomm пригодился: ноутбуки на Snapdragon — да, а вот телефоны — только если у тебя аномалия с памятью.
Вместо того чтобы признать — массовой технологии пока что нет, OpenAI и AMD подзуживают друг друга докручивать ещё пару гигабайт тут, ещё видеокарту там. В результате на сцену выходят программисты-аскеты, строчащие команды для Ollama, LM Studio и Foundry так, будто это не клуб по интересам, а подготовка к концу света.
Может быть, через пару лет андроид-подростки будут гонять gpt-oss-120b прямо на смартфоне, пока сёрфят TikTok. Сейчас же реальность такова: быть "ИИ-хакером" — это дорого, жарко и не всегда результативно. И, как обычно, победители снова перепутали демо с жизнью.
