Україна визначила технологічну основу для створення власної великої мовної моделі. Мінцифри спільно з «Київстар» обрали Gemma 3 – відкриту модель Google, що працює більш ніж зі 140 мовами. Саме вона стане фундаментом для української LLM, яку додатково тренуватимуть на унікальних національних даних.
Урядовці пояснюють, що рішення ухвалили після оцінки якості роботи з українською мовою та можливості контролювати модель під час тренування. Це дозволить мінімізувати як лінгвістичні, так і етичні ризики.
«Головне завдання – попередньо навчити модель на наших унікальних даних. Ми орієнтувалися на якість роботи з українською мовою та контрольованість під час тренування», – зазначив Данило Цьвок, Chief AI Officer Мінцифри та CEO WINWIN AI Center of Excellence.
Обрана модель забезпечує баланс продуктивності та оптимальних вимог до інфраструктури. У Мінцифри наголошують, що Gemma вже демонструє високий рівень адаптації до української мови, а її архітектура дозволяє масштабувати можливості без істотних витрат.
Що змінять та допрацюють
У межах адаптації Gemma 3 до української мови команда зосередиться на технічних поліпшеннях і додатковому навчанні.
- вдосконалення українського токенайзера для зменшення помилок і оптимізації розрахунків
- донавчання моделі на ретельно відібраних україномовних корпусах
- створення бенчмарків для коректного налаштування та подальшого використання LLM
Gemma 3 підтримує мультимодальність – роботу не лише з текстом, а й з візуальними даними. Крім того, модель має декілька варіантів розміру та розширене контекстне вікно до 128 тисяч токенів. Уже зараз її використовують розробники інших українських LLM, зокрема MamayLM і Lapa LLM.
«Gemma забезпечує високу якість при оптимальних інфраструктурних вимогах. Вона легко адаптується та підтримує українську мову», – підкреслив Михайло Нестор, директор із розробки диджитал-продуктів «Київстар».
У Google Cloud позитивно оцінили рішення української сторони. У компанії називають це підтвердженням якості моделі для багатомовних задач.
«Для нас велика честь, що Gemma стала основою для української LLM. Ми продовжимо підтримувати розвиток цієї ініціативи», – заявив Кшиштоф Казьов, керівник із Customer Engineering Google Cloud у Центральній і Східній Європі.
Gemma 3 також стала базою для болгарської LLM INSAIT BgGPT, що підкреслює її універсальність у країнах, що розвивають власні мовні технології.
Запуск української LLM на основі Gemma 3 стане важливим етапом у розвитку національної екосистеми штучного інтелекту, яка спиратиметься на локальні дані та сучасні технічні стандарти.
Залишити коментар