Как устроен ИИ: от данных до готовой модели
Модели не появляются «из воздуха». Разбираем, что стоит за словом «нейросеть», откуда берутся веса и почему вокруг токенов столько путаницы.
Что такое искусственный интеллект
ИИ — это класс компьютерных систем, которые выполняют задачи, традиционно требующие человеческого интеллекта: понимают язык, распознают образы, принимают решения, генерируют текст и код.
Современный бум связан с большими языковыми моделями (LLM). Они обучаются на огромных объёмах текста и учатся предсказывать следующее слово в последовательности. Эта простая задача, масштабированная до миллиардов параметров, порождает способность вести диалог, писать код, анализировать документы и рассуждать.
Три понятия, без которых не разобраться
Параметры
Внутренние числовые «настройки» модели. Чем больше параметров, тем сложнее закономерности она улавливает. 1 млрд параметров — условная граница «большой» модели.
Токен
Единица текста: слово, часть слова или символ. Цены API указываются за 1 миллион токенов.
Контекстное окно
Объём текста, который модель «держит в голове» за один раз. Современные модели — до 1–2 млн токенов.
Откуда берутся модели
Первоисточник — данные и вычисления. Модели обучаются на текстах из интернета, книг, кода и научных статей. Путь от сырого текста до готовой модели выглядит так:
| Этап | Что происходит | Ресурсы |
|---|---|---|
| Сбор данных | Тексты из интернета, книги, код, научные статьи, Википедия | Петабайты сырых данных |
| Очистка | Фильтрация мусора, дубликатов, токсичного контента | Инженерные команды, пайплайны |
| Предобучение | Модель учится предсказывать следующее слово на триллионах токенов | Тысячи GPU, месяцы, миллионы $ |
| Дообучение (fine-tune) | Настройка на диалог, следование инструкциям, безопасность | Меньше данных, но качественная разметка |
| Публикация | Веса выкладываются на Hugging Face или доступ через API | — |
Важно: «скачать модель» — значит получить файл с её весами (десятки гигабайт). Но чтобы модель работала, нужны вычисления: свои GPU, облачный API или браузер с WebGPU.
Токенизация: два разных значения
Слово «токенизация» означает совершенно разные вещи, и их часто путают:
- Техническая токенизация — разбиение текста на токены, которыми оперирует модель. Обычная часть работы любой LLM.
- Крипто-токенизация — выпуск цифровых активов. К нейросетям отношения не имеет.
Что такое «миллиард параметров»
Параметры — это не память и не база знаний, а «ёмкость» нейросети. 1 млрд параметров — примерно 0,6% от размера GPT-3 (175 млрд).
Порог важен юридически: при превышении 1 млрд параметров универсальная модель попадает под регулирование 243-ФЗ — обязанности по безопасности, документации, правилам эксплуатации. Подробнее о законе →
Нужен ИИ внутри вашего процесса?
Разберём задачу, подберём модель и посчитаем стоимость — бесплатно, за 2 рабочих дня.