ISSAI NU представил KAZ-LLM – казахскую большую языковую модель

2301
Кадиша Ныгмет

Исследователи Института интеллектуальных систем и искусственного интеллекта (ISSAI) Nazarbayev University (NU) представили Главе государства ­Касым-Жомарту Токаеву большую языковую модель казахского языка ISSAI KAZ-LLM, разработанную на основе нейронной сети. Это основа казахского чата GPT.

фото пресс-службы NU

Применение KAZ-LLM повсеместно – от переводов и генерации контента до обработки объемных текстов. Адаптированная к уникальному многоязычному и мультикультурному контексту страны, ISSAI KAZ-LLM разработана для казахского, русского и английского языков с дополнительной поддержкой турецкого, что позволяет устранить языковые пробелы и продвинуть генеративный искусственный интеллект для языков с ограниченными ресурсами, к которым относится казахский.

Команда ISSAI собрала, обработала, синтезировала и перевела более 150 миллиардов токенов (т. е. слов и подслов), что обеспечило надежную языковую работу. Уровень обучения ISSAI KAZ-LLM очень высок и конкурирует в результатах на казахском, русском и английском языках на уровне мировых лидеров в области искусственного интеллекта.

Помимо этого, ISSAI KAZ-LLM предоставил практический опыт местным IT-талантам, укрепив возможности национального искусственного интеллекта. Проект способствовал не только созданию передового инструмента искусственного интеллекта, но и росту числа казахстанских специалистов в области ИИ. Казахстанские исследователи участ­вовали во всех этапах процесса – от подготовки данных до внедрения моделей, создавая основу для устойчивых инноваций в области искусственного интеллекта. Сотрудничество с ведущими казахстанскими институтами позволило создать инструменты сравнительного анализа и наборы данных, адаптированные для казахского языка с помощью лингвистов и передовых методов машинного перевода.

Проект был начат в апреле этого года. Тренировка модели заняла у разработчиков около пяти месяцев. Тренировочные данные были собраны только из общедоступных источников, включая казахские веб-сайты, новостные статьи и онлайн-библиотеки. Были также использованы данные, предоставленные различными организациями.

– Эта модель отражает стремление Казахстана к инновациям, самостоятельности и росту своей технологи­ческой экосистемы. Наша команда подготовила две версии ISSAI KAZ-LLM с 8 миллиардами и 70 миллиардами параметров, построенные на архитектуре Meta Llama и оптимизированные для высокопроизводительных систем и сред с ограниченными ресурсами. Модели выпущены по лицензии CC-BY-NC, которые доступны для некоммерческого использования на сайте Hugging Face, способствуя глобальному академическому и исследовательскому сотрудничеству. Таким образом, разработчики смогут скачать и запустить нашу модель как на сложных серверах, так и на ноутбуках, – рассказал директор ISSAI профессор NU Хусейн Атакан Варол.

ISSAI рассматривает разработку систем искусственного интеллекта следующего поколения, включая модели языкового видения, и расширение этих моделей для поддержки дополнительных тюркских и региональных языков. Эти усилия могут быть направлены на укрепление региональных связей, содействие языковой интеграции и значительное экономическое и технологическое влияние в Казахстане и за его пределами.

Проект ISSAI KAZ-LLM стал возможен благодаря поддержке Фонда развития NU и NIS, а также Astana Hub и QazCode (Beeline). Разработка велась независимо от государственного финансирования.

Популярное

Все
Труд – фундамент экономики
Сухое молоко отправится на экспорт
Залог хорошего отдыха
Школы ИИ будут по всей стране
Факторы роста
Чествовали лучших
Спасательные гидроциклы
Подшипники, которым доверяют в ЕС
Необходима общественно-ориентированная модель полиции
Родник у дома
Деревьям не нужны отчеты
Нужна профилактика
Здравоохранения важнейшее звено
В Астане сгорел рынок «Big Шанхай»
Асфальтобетонный завод строят в Сатпаеве
​​​​​​​Закон Республики Казахстан О внесении изменений и дополнений в некоторые законодательные акты Республики Казахстан по вопросам оптимизации уголовного законодательства Республики Казахстан
Амангельды Нугманов: Защита прав человека – ключевой ориентир в работе полиции
Больше квадратура – выше тариф
На Зеленом базаре арендаторы в очередной раз устроили демарш
В Атырау свекла слаще
Более полумиллиарда тенге выделили на ремонт столетней дороги в ВКО
Стратегический культурный ресурс государства
Житель Шымкента осужден за пропаганду и разжигание межнациональной розни
Правительство разъяснило бизнесу нормы нового налогового кодекса
В списке ключевых игроков Евразии
Налоговый Кодекс Республики Казахстан
Реконструкцию высокогорного катка «Медеу» с сохранением исторического облика обсудили сенаторы
В стране продолжается рост числа юридических лиц
Скутеры вне закона: на Капшагае у нарушителей изъяты гидроциклы
Металлургам вручили госнаграды от имени Президента Казахстана
Касым-Жомарт Токаев подписал новый Налоговый кодекс
Первый урожай арбузов собирают в Жамбылской области
Разъяснительный штаб после пожара на «Big Шанхай» открыли в Астане
День столицы: сколько дней отдохнут казахстанцы в начале июля
В Караганде подорожает проезд в автобусе
Закон Республики Казахстан
В Павлодаре выявлены грубые нарушения в работе филиала Национального центра экспертизы
На краю пропасти: как остановить человека от последнего шага
Три молочно-товарные фермы построили в Костанайской области за год
Очередной циклон надвигается на Казахстан
Из Рабочего поселка – в Париж
Закон Республики Казахстан О внесении изменений и дополнений в некоторые законодательные акты Республики Казахстан по вопросам совершенствования правоохранительной службы, жилищного обеспечения и социальной защиты сотрудников правоохранительных, специальных государственных органов, органов гражданской защиты и военнослужащих, а также исключения излишней законодательной регламентации в сфере деятельности органов внутренних дел
Первого бесплатного юридического помощника на базе ИИ запустили в Казахстане
Президент подписал закон об амнистии к 30-летию Конституции РК
Очередной циклон с дождями и грозами надвигается на Казахстан
Распоряжение Главы государства о назначении
К 1 января 2026 года Минтруда пересмотрит размер минимальной заработной платы
Лесной пожар бушует в пригороде Стамбула
Глава государства ознакомился с деятельностью первой очереди ТЭЦ-3 Астаны
Назначен директор новой Службы КНБ
Закон Республики Казахстан О внесении изменений и дополнений в Кодекс Республики Казахстан «О налогах и других обязательных платежах в бюджет» (Налоговый кодекс) и законы Республики Казахстан          по вопросам введения его в действие
55 млн сеянцев высадили в лесном фонде Костанайской области за 4 года
Когда региональная сила становится мировым аргументом

Читайте также

Инвестиции в развитие комфортной среды
Работа для людей с ограниченными возможностями
Чеснок на экспорт
Изменить мир к лучшему

Архив

  • [[year]]
  • [[month.label]]
  • [[day]]