HalfMoon

들어가기 앞서 CS 182 포스팅 시리즈는 UC Berkeley의 Sergey Levine 교수님의 유튜브 강의를 기반으로 만든 포스팅이며, 유튜브 링크와 슬라이드의 링크는 가장 하단의 Reference를 참고하면 된다. 강의적 특징으로는 수학을 기반으로 ML과 DL을 설명하며, 하나의 극을 보듯 연결되는 방식으로 이야기가 진행되니 참고하면 좋을 듯 하며, 모든 슬라이드를 설명하지 않고, 필요한 슬라이드만 발취하여 포스팅하였으니, 좀 더 자세하게 알고싶다면 하단의 링크를 참고하여 직접 보는 것을 추천한다. Representation 교수님은 인간의 언어를 Ai가 자유롭게 번역할 수 있는가?에 대한 질문으로 강의를 시작한다. 초반의 '번역' Task는 English:French, English:Spanis..

중요 개념 : Self-Attention, Muti-Head Attention, Encoder, Decoder, Query, Key, Value 들어가기앞서 이번 포스팅에서는 ML을 공부한다면 모두가 한번쯤 들어봤을 논문, Attention is All You Need 논문을 살펴볼 생각이다. 해당 논문에서는 Attention을 기반으로 한 Transfomer라는 구조를 제안한다. 또한 이번 포스팅은 PPT로 발표한 슬라이드로 진행될 예정이며, 모든것을 섬세하게 보기보다는 Query, Key, Value의 의미를 알아보고, 거기에세 확정하여 Attention 그리고 Transfomer의 구조와 진행 방식을 알아보는것에 중점을 둘 예정이다. 그리고 이를 기반으로 Encoder와 Decoder의 특징을 이해..

이 포스팅은 "케라스 창시자에게 배우는 딥러닝" 6강 일반적인 머신 러닝 워크플로의 내용을 요약 정리한 것입니다. 본격적으로 들어가기 전에 이번 포스팅의 서술 방법을 먼저 이야기할까한다. 책에는 큰 틀을 잡지 않고, 순서대로 쭉 설명하는데 개인적으로는 큰 틀을 먼저 잡아준 뒤에 세부적으로 뜯어보는 방법이 이해에 조금 더 도움이 될 것이라 생각한다. 그렇기에 책에서 알려주는 워크플로를 도식화해보았다. 크게는 위의 세가지 단계로 워크플로를 설명할 수 있다. 여기에서 작업 정의와 모델 개발의 단계는 일반적으로 Ai를 시작하고 공부하는 우리와 같은 사람들이 공부하는 영역이라고 생각하면 되고, 모델 배포의 경우 비즈니스 단계에서의 적용이라 생각하면 된다. 그럼 위의 과정들을 조금 더 세밀하게 어떤 단계들이 있는지..

중요 개념 : Classification Metric, Regression Metric, Accuray, Precision, Recall, Fall-Out, F1 Score, MAE, MSE, RMSE, RMSLE Metric?ML의 지도학습에서 가장 처음 Classification Task인지 Regression Task인지 문제정의를 완료했다면,이제는 어떠한 방법으로 결과값을 평가하고 해석할 것인지 기준을 정할 필요가 있다.이전 optimization 포스팅에서 CostFunction를 이야기할 때 MSE와 MAE를 간단하게 다룬적이 있다.그리고 오늘은 해당 개념이 쓰이는 ML의 지도학습 평가지표에 대해서 이야기해볼 생각이다. Confusion Matrix위의 표는 Confusion Matrix(혼동..

Why? 학교에서 공부할 때 우리는 딱히 문제에 대해 정의를 하지 않는다. 학습의 과정에서는 이미 답안지가 있고, 답안지의 결과를 도출해내는 과정만이 필요하기 때문이다. 하지만 경제활동을 시작한 뒤 우리가 경험하게 될 문제들은 답안지가 없다. 그렇기에 우리는 스스로 해당 문제가 어떠한 문제인지에 대해 문제정의가 필요하다. ML 또한 마찬가지로 Task를 해결하려고 할 때, 문제 정의가 필요하며 지도학습에서의 첫 단계가 Classification과 Regression 중 어떤 카테고리에 해당하는 문제인지 판단하는 것이라 생각된다. 문제 정의를 잘못할 경우, 시간을 버리고 결과물이 의미 없어질 수 있다. 그렇기에 문제 정의는 Ai 분야에서 가장 중요한 첫 발걸음이라 생각한다. Classification 단어..

중요 개념 : optimization, Loss Function, Cost Funciton, Objective Function, Gradient Descent, Learning rate optimization? optimization의 사전적 의미는 최적화이다. 그리고 ML에서 이야기하는 최적화는 어떤 목적함수의 함수값을 최적화시키는 파라미터(변수, Theta, $\theta$)조합을 찾는 방법이다. 시작부터 너무 어렵고 전문적인 용어들이 많이 등장해서 벌써부터 쭈글쭈글해졌을 수 있다. 사실 나 또한 그러니까...! 그래도 괜찮다. 이번 포스팅을 통해서 하나하나 뜯어보도록하자. Loss Function? CostFunction에 대해 먼저 설명할까에 대한 고민이 있었지만, 해당 주제를 이해하기 위해서는 ..

중요 개념 : TextRank, TextRank for Keyword, TextRank for Sentence TextRank란? TextRank란, 구글 검색엔진의 뿌리가 된 PageRank의 알고리즘을 활용한 Graph-based ranking model이다. PageRank에 대한 내용이 궁금하다면 이전 포스팅을 참고하도록 하자. 2004년에 발표된 TextRank의 원문이 되는 논문은 TextRank: Bringing Order into Texts 이다. 논문을 직접 읽고싶다면 한번은 읽어보는것도 재밌을 것이다. Graph 용어 그럼 본격적으로 들어가기 앞서 Graph에 대해 설명을 하고 넘어가도록 하겠다. vertex : 정점, 우리말로 꼭지점 edge : 정점과 정점을 연결하는 선 undir..

중요 개념 : NLP, NLU, NLG, 단어의 중의성, 정보의 생략, Discrete 자연어 처리(Natural Language Processing, NLP)란? 자연어 처리에 대한 이야기를 하기 전에, 언어란 무엇일까? 언어에 대한 정의는 여러가지 시도가 있었다. 1. 사람들이 자신의 머리 속에 있는 생각을 다른 사람에게 나타내는 체계 2. 사물, 행동, 생각 그리고 상태를 나타내는 체계 3. 사람들이 자신이 가지고 있는 생각을 다른 사람들에게 전달하는데 사용하는 방법 등등이 수 많은 존재한다. 그리고 각 정의들의 공통점은 정보를 다른 대상에게 전달한다는 것이다. 그렇다면 자연어는 뭘까? 자연어는 사람들이 일상적으로 쓰는 언어를 인공적으로 만들어진 언어인 인공어(프로그래밍 언어)와 구분하여 부르는 개..