Как нейросеть отвечает на вопросы
Ты задаёшь вопрос, и через секунду получаешь связный ответ, как будто от знающего человека. Как это работает? Если коротко: нейросеть прочитала гигантское количество текстов и научилась продолжать любой текст так, как его продолжил бы человек. Разберём подробнее, без сложной математики.
Для школьников 7–11 классов.
Текст из кусочков
Нейросеть не видит слова так, как ты. Она режет текст на кусочки, которые называются токенами. Токен может быть целым словом, частью слова или знаком препинания. Например, «нейросеть» может разбиться на «нейро» и «сеть». Каждому токену соответствует набор чисел, и дальше нейросеть работает только с числами.
Угадать следующее слово
Представь игру: тебе дают начало фразы «Столица Франции это...» и просят продолжить. Ты скажешь «Париж». Языковая модель делает то же самое: по началу текста она считает, какой токен вероятнее всего будет следующим. Пишет его, добавляет к тексту и снова считает. Так, токен за токеном, получается весь ответ.
Чтобы научиться так угадывать, модель обучали на огромном количестве текстов: книги, статьи, сайты, код. Во время обучения она миллиарды раз угадывала следующий токен, сверялась с правильным ответом и подправляла свои внутренние числа. Этих чисел, параметров, у больших моделей сотни миллиардов.
Почему это звучит умно
Чтобы хорошо угадывать следующее слово в учебнике физики, нужно в каком-то смысле «понимать» физику. Чтобы продолжать диалог, нужно уловить, о чём он. Поэтому модели в процессе обучения выучили не только слова, но и много закономерностей: грамматику, факты, логику рассуждений. А после основного обучения их дополнительно учили отвечать как вежливый помощник.
Чего нейросеть не умеет
- Она не знает, правда то, что она пишет, или нет. Она пишет правдоподобно. Об этом статья почему нейросеть врёт.
- Она знает мир только до даты конца обучения, если не умеет искать в интернете.
- Она часто ошибается в длинных вычислениях: считать по токенам неудобно.
- Она не помнит тебя между разговорами, если это специально не включено.
При чём тут школа
Внутри нейросети линейная алгебра, вероятности и производные: всё это есть в школьной программе, хотя и в простом виде. Если интересно, как такое создают, путь лежит через профильную математику и информатику. Какие ЕГЭ нужны для IT, в статье как поступить на IT.
Разберём на занятии
Всё, что в этой статье связано со школой, разбираем на живых занятиях с 4 по 11 класс: один на один или в мини-группе до шести человек, с преподавателем, который знает, к чему ты готовишься.
Первое занятие бесплатное: можно посмотреть формат вместе с ребёнком и решить, подходит ли он.
Частые вопросы
Нейросеть понимает, что пишет?
Учёные спорят, что значит «понимать» для машины. Точно можно сказать, что у неё нет собственного опыта и намерений: она считает вероятности следующего токена.
Почему на один вопрос она каждый раз отвечает по-разному?
Она не всегда выбирает самый вероятный токен, а иногда берёт чуть менее вероятный. Так ответы получаются живее, но и разнообразнее.