NLP
Attention 매커니즘 기본 구조 실습
개인 공부 목적의 포스팅입니다. 잘못된 정보가 있다면 댓글 남겨주시면 수정하도록 하겠습니다. 감사합니다. 👀 미리 보기 실습 Github 링크 💡 주제 설명 Attention 매커니즘 중, additive한 접근법 중 하나인 Bahdanau Attention을 공부하고 진행한 실습 📌 배경 attention을 잘 이해하고 사용하면 너무 재밌을 것 같아서 실습을 진행했다. 🔍 과정 모델 설명 네이버 리뷰 데이터를 이용하여 문장의 긍정/부정을 가려내는 모델 모델 구조 (상단 깃허브 링크 확인) Embedding -> Attention -> output(1) Attention 적용 query와 잘 어울리는 input data를 blending하여 새로운 벡터를 만들어야 한다. RNN 계열의 encoder를 사..
2023. 1. 31.
