MLP: Дыхание нейросети и извлечение фактов
Токен: «ЗАМОК» | Контекст: Средневековое здание
Следующий шаг
Сброс
ReLU(x) = max(0, x)
Входной вектор
(Размер: 4)
1
-2
3
0
Скрытый слой (W1)
Расширение х4
-5
1
-2
-8
-1
7
Оборона
-4
2
-3
-6
9
Камень
-1
3
-7
-2
6
Форт
Выход (Сжатие W2)
Поправка к вектору
2
4
-1
5
Латентное пространство
(Сдвиг смысла)
Фортификация
Древность
ЗАМОК
Шаг 0:
Вектор слова «замок» обогащен первичным контекстом от слова «рыцарь» (здание). Но признаки внутри него сильно сжаты и перемешаны. Координаты: [1, -2, 3, 0].