Вопрос с собеседования по ML: зачем делить на корень из d в attention?

Разбор популярного вопроса на собеседованиях по машинному обучению: почему в attention 
скалярное произведение делят на корень из d. 

Показываем на реальных расчётах, как без этого softmax насыщается, а градиенты пропадают. Сохрани, чтобы не завалить на интервью.

https://www.youtube.com/shorts/sbkDkGJU1ww