녕로그

App 개발, 머신러닝을 공부하는 블로그입니다.

NLP

개인 공부 목적의 포스팅입니다. 잘못된 정보가 있다면 댓글 남겨주시면 수정하도록 하겠습니다. 감사합니다. 👀 미리 보기 실습 Github 링크 💡 주제 설명 Attention 매커니즘 중, additive한 접근법 중 하나인 Bahdanau Attention을 공부하고 진행한 실습 📌 배경 attention을 잘 이해하고 사용하면 너무 재밌을 것 같아서 실습을 진행했다. 🔍 과정 모델 설명 네이버 리뷰 데이터를 이용하여 문장의 긍정/부정을 가려내는 모델 모델 구조 (상단 깃허브 링크 확인) Embedding -> Attention -> output(1) Attention 적용 query와 잘 어울리는 input data를 blending하여 새로운 벡터를 만들어야 한다. RNN 계열의 encoder를 사..

2023. 1. 31.

NLP

개인 공부 목적의 포스팅입니다. 잘못된 정보가 있다면 댓글 남겨주시면 수정하도록 하겠습니다. 감사합니다. 💡 주제 설명 감정분석 (naive bayes classifier, 나이브 베이즈 분류기) 📌 배경 수식이 어떤 과정으로 도출되는지 궁금했다. 🔍 과정 감정분석의 목표, 감정분석 무엇인가? 하고싶은 일 : "문장"이 주어졌을 때, 그 문장이 긍정인가 부정인 확률을 구하기 주어진 정보 : 여러 데이터들 (문장과 문장의 긍/부정 데이터(1/0)) "문장" : 결국 어떤 단어들로 이루어진다. 단어의 연속 하고싶은 일을 다시 표현하자면, 어떤 단어들이 주어졌을 때 그 것이 긍정인가 부정인가 확률을 구하는 것이다. 간단한 예시 (한 단어가 관측되었을 때, 그 단어가 긍정 혹은 부정인 조건부 확률) 한 단어가 ..

2022. 10. 2.

NLP

개인 공부 목적의 포스팅입니다. 잘못된 정보가 있다면 댓글 남겨주시면 수정하도록 하겠습니다. 감사합니다. ** 길이가 긴 수식은 모바일 화면을 벗어납니다. 💡 주제 설명 logistic regression의 cost function이 도출되는 과정을 알아보자. 📌 배경 coursera machine learning 강의의 logistic regression을 듣는 중, 아래와 같은 cost function이 등장했다. $$ \displaystyle -\sum_{i=1}^m\left \{ y_i\log h_w(x_i) + (1-y_i) \log (1-h_w(x_i)) \right \} $$ 여기서 y는 0 혹은 1을 나타내는 정답, h(x)는 가설 (0 혹은 1에 가까운 예측 값을 내놓는 함수) MLE에 ..

2022. 8. 11.

NLP

개인 공부 목적의 포스팅입니다. 잘못된 정보가 있다면 댓글 남겨주시면 수정하도록 하겠습니다. 감사합니다. 💡 주제 설명 전 게시글에서 살펴봤던 Feature Scaler를 적용하면, 실제로 Loss의 분포가 어떤 식으로 변하는지 확인해본다. 📌 배경 Feature Scaling을 왜 하는지 두 눈으로 보고 싶다. 🔍 과정 [실습 Github 링크] 시각화 아이디어 x1 = np.linspace(0, 10, 100) x2 = np.linspace(-100, 20, 100) x1, x2 = np.meshgrid(x1, x2) y = 3*x1 + 2*x2 이렇게 나름(?) 불균형하다고 볼 수 있는 Feature 데이터를 만들고, y를 적절히 정의하고 scatter()로 확인해본다. fig, ax = plt.s..

2022. 7. 29.

NLP

개인 공부 목적의 포스팅입니다. 잘못된 정보가 있다면 댓글 남겨주시면 수정하도록 하겠습니다. 감사합니다. 💡 주제 설명 머신러닝에서 자주 접하는 Feature scaling이라는 용어의 의미와 방법을 자세히 알아보자. Feature scaling의 영향을 확인하자. (구체적인 역할 및 비교는 다음 포스팅에서 다룬다.) 📌 배경 coursera 강의에서 접했는데, 자세한 내용이 궁금하다. 강의 내용 말고 직접 찾아보고 싶어졌다. 🔍 과정 [실습 Github 링크] Scaling 정의, 역할 [위키피디아]를 참조해서 적어보자면, scaling은 독립 변수나 data의 features의 범위를 normalize 하는 것이다. 독립 변수라는 말을 쉽게 이해하기 위해, 키-몸무게 데이터를 분석하는 상황을 가정하자..

2022. 7. 28.

NLP

개인 공부 목적의 포스팅입니다. 잘못된 정보가 있다면 댓글 남겨주시면 수정하도록 하겠습니다. 감사합니다. 💡 주제 설명 Simple Linear Regression 실습을 진행했다. 📌 배경 변수의 상관관계를 찾는 건데 왜 Regression이라는 이름이 붙었을까 궁금했는데, 생각을 잘 정리해서 포스팅해주신 분이 있어서 참고했다. [링크] 🔍 과정 Simple Linear Regression 실습 코드를 작성해보며, 정말 간단하게 동작만 확인했다. population으로 y = 0.5*x + 0.3과 같은 형태의 데이터를 정의했다. 모델은 predict = w*x+b의 형태인데, w와 b를 random 한 값으로 초기화했다. 그리고 SGD라는 optimizer로 학습시켰다. [실습 진행한 코드는 Gith..

2022. 7. 27.