Triqnot
31 серпня 2025, 01:51
Просто щоб ви були в курсі
Невеличкий лікнеп для тих, хто не встигає у потяг локального ШІ (і дарма). Nvidia майже монополізувала ринок і жирніла спочатку за рахунок того, що «кріпта» фармилася, а тепер — тому що локальні ШІ набагато краще бігають на відеокартах, ніж на процесорах з ОЗП (кому цікаво додатково про локальні ШІ — пишіть у коментарях). AMD і Intel там щось намагалися, але так і не спромоглися. Трошки спромоглися в Apple, бо в них є unified memory + M3.
Ліричний відступ: це просто комбо якесь — щойно крипта почала відходити на другий план, відеокарти почали дешевшати… і на тобі.
Отже, якщо ви хочете вдома зібрати щось потужне під ШІ, вам потрібно якомога більше відеопам’яті, і у вас майже немає вибору, окрім як купувати якісь 4090, 5090 або навіть 6000 Pro (майже півлями за штучку в Україні). Тобто, якщо ви не берете у перекупів, то це десь $6500 – 8000 за одну. Але якщо ви підберете підходящу материнську плату і підключите 4…
Ну, типу з вас однушка не в столиці. Nvidia задоволена і далі собі на розслабоні чілить, не злазячи з першого місця у світі за капіталізацією.
Трохи картину псують китайці
13 500 юанів — це приблизно $2000 (можна знайти й за $1500), тобто в 3 – 5 разів дешевше, ніж у «зелених» за 96 GB VRAM.
Звісно, там різні потужності, швидкості пам’яті, софт дуже важливий й усе таке. Нормальних оглядів/порівнянь я ще не бачив, але «Джарвіс вдома» стає все ближчим — і це хоч якась конкуренція, а не оце все.
А хіба не можна умовно купити 2 5090, чим брати одну чисто під AI? (як мені здається умовно потім буде вигідніше продати 2 5090 чи щось там).
@peaceduck звісно можна і навіть треба
що таке «локальні ШІ» ? Типу картинки генерувати? Це було прикольно коли це вийшло, зараз якось вже набридло. Тим паче є бази даних типу civit ai, де люди, у яких набагато потужніші відеокарти, вже нагенерували мільярди зображень і там є пошук.
Зараз немає адекватних LLM моделей, які могли б коректно розуміти який реферат від них хочуть. Та ж сама LLaMa дупля не віддає що від неї хочуть і починає сипати угазальненими термінами. І чи потрібні мені взагалі такі моделі вдома щоб платити за електрику 3000 в місяць (якщо є той самий чат жпт)?
Ще є такі проги типу Whisper, які роблять з голосу текст, але вони швидко працюють навіть на 5 гігабайтних моделях і на старих відеокартах. Що там ще є… Ота програма, Ultimate Voval Remover, яка робить мінусовку з будь-якої пісні, або просто відокремлює голос. Вона може і буде корисною для того, хто цим займається професійно і також працює досить швидко.
Обробку зображень, а саме видалення елементів на фото за допомогою нейронки намагаються впроваджувати багато різних компаній, але краще це виходить у Адобе і Самсунг (на їхніх нових смартфонах). Це, мабуть, єдине, що треба пересічному Вові зі Львова, який приходить після роботи і видаляє свою колишню дружину з усіх фото на морі. Дуже багато всіляких платних веб-сервісів пропонують посередню якість видалення. Думаю, нормального оупенсорсного рішення нам ще чекати і чекати.
А в решті випадків яке може бути застосування «локального ШІ» для якого може бути потрібна відеокарта аж на 96 гігабайт?
@javascript ну типу є локальні відеогенератори типу Wan 2.2, які жеруть багато відеопам’яті ну і ще пару інших нейронок…Хоча, зазвичай, 48Гб з головою має вистачити для цього всього, а то й менше, просто генерація буде довша.
Але я не бачу сенсу купувати дорогу відеокарту, для того щоб користуватись цим всім. Будь-який платний ШІ-інструмент буде кращий за його безкоштовний аналог. Навіть якщо є якийсь унікальний робочий процес для того ж ComfyUI, його також можна запустити на хмарному залізі, зараз купа таких сервісів.
Напевно, єдиний плюс всіх цих безкоштовних нейронок з відкритим кодом так це те, що вони дозволяють генерувати NSFW контент. Хоча, знову ж таки, ComfyUI можна розгорнути на хмарному залізі і генерувати порно скільки завгодно.
@javascript ні, з картинками, погоджуюся, усі вже набавилися. Припустіть що вам потрібна по роботі пакетна обробка чогось — тексти, зображення, звуки і т.д. Але не просто там щось обрізати\вставити, а вже щось більш «інтелектуальне», типу сортування зображень по люди\тварини\предмети наприклад, або ще глибше — веселі\сумні люди. Ви звісно можете взяти щось готове, розгорнути в хмарі і т.д., але, в залежності від об’ємів, ви можете витрачати сотні доларів на чужі сервіси, а можете вдома.
Це якщо ми беремо щось дійсно поверхневе.
А скільки нішових проектів? Ви можете зробити «AlphaFold вдома» для своїх досліджень (хто не в курсі https://www.youtube.com/watch?v=P_fHJIYENdI), чи от в мене є на руках результат перевірка на діабет за допомогою ШІ аналізу фотки очного дна.
Для прикладу мені був потрібен поверхневий аналіз текстів, багатьох текстів. Не по кількості символів, а вже трохи глибший, з «розумінням» самого тексту. Невеличка модель вдома + ollama + пайтон скрипт зробили своє діло за нічку.
так, я про це забув,
взяв для цього готове, це рішення працює на потужностях Intel Celeron J4025 набагато повільніше, ніж якби навантаження йшло на відеокарту.
Думаю сьогоденна проблема в ось чому:
@javascript а ще є агенти, коли ви підключаєте (локальну) модель до вашої ОС і вона за вас робить якусь рутину мультипрограмну, типу запостити рандомний кліп перців на юж.