Transformers — arquitetura encoder e decoder

Estudo da arquitetura transformer, que sustenta os modelos de linguagem atuais. O trabalho percorre os blocos de encoder e decoder, o mecanismo de auto-atenção e a razão pela qual essa arquitetura substituiu as redes recorrentes no processamento de linguagem natural.

Aprendizado — o detalhamento do notebook pode ser publicado aqui.