HalfMoon

중요 개념 : Self-Attention, Muti-Head Attention, Encoder, Decoder, Query, Key, Value 들어가기앞서 이번 포스팅에서는 ML을 공부한다면 모두가 한번쯤 들어봤을 논문, Attention is All You Need 논문을 살펴볼 생각이다. 해당 논문에서는 Attention을 기반으로 한 Transfomer라는 구조를 제안한다. 또한 이번 포스팅은 PPT로 발표한 슬라이드로 진행될 예정이며, 모든것을 섬세하게 보기보다는 Query, Key, Value의 의미를 알아보고, 거기에세 확정하여 Attention 그리고 Transfomer의 구조와 진행 방식을 알아보는것에 중점을 둘 예정이다. 그리고 이를 기반으로 Encoder와 Decoder의 특징을 이해..

이 포스팅은 "케라스 창시자에게 배우는 딥러닝" 6강 일반적인 머신 러닝 워크플로의 내용을 요약 정리한 것입니다. 본격적으로 들어가기 전에 이번 포스팅의 서술 방법을 먼저 이야기할까한다. 책에는 큰 틀을 잡지 않고, 순서대로 쭉 설명하는데 개인적으로는 큰 틀을 먼저 잡아준 뒤에 세부적으로 뜯어보는 방법이 이해에 조금 더 도움이 될 것이라 생각한다. 그렇기에 책에서 알려주는 워크플로를 도식화해보았다. 크게는 위의 세가지 단계로 워크플로를 설명할 수 있다. 여기에서 작업 정의와 모델 개발의 단계는 일반적으로 Ai를 시작하고 공부하는 우리와 같은 사람들이 공부하는 영역이라고 생각하면 되고, 모델 배포의 경우 비즈니스 단계에서의 적용이라 생각하면 된다. 그럼 위의 과정들을 조금 더 세밀하게 어떤 단계들이 있는지..

중요 개념 : Classification Metric, Regression Metric, Accuray, Precision, Recall, Fall-Out, F1 Score, MAE, MSE, RMSE, RMSLE Metric?ML의 지도학습에서 가장 처음 Classification Task인지 Regression Task인지 문제정의를 완료했다면,이제는 어떠한 방법으로 결과값을 평가하고 해석할 것인지 기준을 정할 필요가 있다.이전 optimization 포스팅에서 CostFunction를 이야기할 때 MSE와 MAE를 간단하게 다룬적이 있다.그리고 오늘은 해당 개념이 쓰이는 ML의 지도학습 평가지표에 대해서 이야기해볼 생각이다. Confusion Matrix위의 표는 Confusion Matrix(혼동..

Why? 학교에서 공부할 때 우리는 딱히 문제에 대해 정의를 하지 않는다. 학습의 과정에서는 이미 답안지가 있고, 답안지의 결과를 도출해내는 과정만이 필요하기 때문이다. 하지만 경제활동을 시작한 뒤 우리가 경험하게 될 문제들은 답안지가 없다. 그렇기에 우리는 스스로 해당 문제가 어떠한 문제인지에 대해 문제정의가 필요하다. ML 또한 마찬가지로 Task를 해결하려고 할 때, 문제 정의가 필요하며 지도학습에서의 첫 단계가 Classification과 Regression 중 어떤 카테고리에 해당하는 문제인지 판단하는 것이라 생각된다. 문제 정의를 잘못할 경우, 시간을 버리고 결과물이 의미 없어질 수 있다. 그렇기에 문제 정의는 Ai 분야에서 가장 중요한 첫 발걸음이라 생각한다. Classification 단어..

중요 개념 : optimization, Loss Function, Cost Funciton, Objective Function, Gradient Descent, Learning rate optimization? optimization의 사전적 의미는 최적화이다. 그리고 ML에서 이야기하는 최적화는 어떤 목적함수의 함수값을 최적화시키는 파라미터(변수, Theta, $\theta$)조합을 찾는 방법이다. 시작부터 너무 어렵고 전문적인 용어들이 많이 등장해서 벌써부터 쭈글쭈글해졌을 수 있다. 사실 나 또한 그러니까...! 그래도 괜찮다. 이번 포스팅을 통해서 하나하나 뜯어보도록하자. Loss Function? CostFunction에 대해 먼저 설명할까에 대한 고민이 있었지만, 해당 주제를 이해하기 위해서는 ..

중요 개념 : 차원, 차원의 저주, 차원 축소, SVD, PCA, LDA, ICA 중요 개념 but 설명은 없는 : 행렬의 개념들, 정사영, 공분산, 다중공선성 들어가기 앞서, 직관적으로 이해되는 PCA, LDA, ICA에 대한 부분은 그림을 중심으로 설명하였기에 수식이 없다. 그리고 직관적으로 이해가 되지 않는 SVD의 경우, DeepDive를 만들어 수식과 함께 설명했다. 차원이란? 차원은 점 등의 위치를 나타내기 위해 필요한 축의 개수이다. ML에서는 이러한 차원을 변수 즉, feature의 수라고 생각하면 이해가 편하다. 위 사진을 예로 들면 설명하면 이해가 더욱 빨라질 것 이다. ML에서의 feature는 해당 데이터의 좌표값을 나타내기 위한 도구로도 사용된다. 좌측의 이미지에서 feature는..

중요 개념 : 교차 검증, 분류, 회귀, 군집화, K-means 중요 개념 but 설명은 없는 : 파라미터 튜닝, K-fold => (댓글에 있습니다!) 정의와 목적 A computer program is said to learn from experience(E) with respect to some task(T) and some performance measure (P) if its performance on T, as measured by P, improves with experience E 머신러닝은 "컴퓨터가 스스로 데이터(Data)를 학습하고 경험(E)을 통해 개선하도록 훈련하며, 주어진 작업(T)에 대한 프로그램의 성능을 측정한 값(P)이 향상되는 프로그램"이에요. 어렵쥬? 그럼 일상속에서 우..