HalfMoon

들어가기 앞서 CS 182 포스팅 시리즈는 UC Berkeley의 Sergey Levine 교수님의 유튜브 강의를 기반으로 만든 포스팅이며, 유튜브 링크와 슬라이드의 링크는 가장 하단의 Reference를 참고하면 된다. 강의적 특징으로는 수학을 기반으로 ML과 DL을 설명하며, 하나의 극을 보듯 연결되는 방식으로 이야기가 진행되니 참고하면 좋을 듯 하며, 모든 슬라이드를 설명하지 않고, 필요한 슬라이드만 발취하여 포스팅하였으니, 좀 더 자세하게 알고싶다면 하단의 링크를 참고하여 직접 보는 것을 추천한다. Representation 교수님은 인간의 언어를 Ai가 자유롭게 번역할 수 있는가?에 대한 질문으로 강의를 시작한다. 초반의 '번역' Task는 English:French, English:Spanis..

SSH Key로 Local 접속하기 Mac(Local)에서 1. ssh 생성 ssh-keygen -t rsa -f ~/.ssh/ -C -b 2048 비밀번호 설정하실 분은 하시고, 설정 안하실거라면 엔터를 쭉 누르시면 됩니다. 아래와 같이 뜨면 성공입니다. 2. filename.pub 내용 복사 .ssh 디렉토리로 이동한 뒤, 파일과 .pub 파일이 생성된걸 확인해주세요. 이후, cat .pub을 통해 안에 있는 내용을 복사합니다. cat .pub 아래의 사진처럼 ssh-rsa부터 username이 나와있는 부분까지 모두 복사해주세요. GCP에서 3. SSH키를 GCP에 등록 GCP Console - Compute Engine - 메타데이터 - SSH 키를 클릭 이미 ssh 키를 등록하셨다면 위와 같은..

프로젝트를 위한 Transfomer 구조를 구현했다. Attention class MultiHeadAttention(tf.keras.layers.Layer): def __init__(self, d_model, num_heads, name="multi_head_attention"): super(MultiHeadAttention, self).__init__(name=name) self.num_heads = num_heads self.d_model = d_model assert d_model % self.num_heads == 0 self.depth = d_model // self.num_heads self.query_dense = tf.keras.layers.Dense(units=d_model) self.k..

토이 프로젝트를 정했다. 토이프로젝트에 대해 설명하기 이전에, 왜 해당 프로젝트를 선정했는지에 대한 이유를 먼저 설명하는게 순서일 듯 하다. 먼저, 10월 중순부터 현재 교육받고있는 Aiffel이라는 과정에서는 Aiffelton을 진행한다. 해당 과제에서 TFX를 적용하는 것이 스터디장인 영빈님의 최종 목표이기도 하고, 나 또한 개인적으로 욕심이 나기 때문에 Aiffelton을 고려하여 토이 프로젝트를 주제를 선정하였다. Aiffelton에서 내가 진행하게 될 과제는 Persona라는 컨셉을 기반으로 한 chatbot이다. chatbot에 인격을 부여하여, 같은 질문이라 할지라도 다른 답을 내는 chatbot으로 이해하면 이해가 쉽다. 그렇기에 해당 chatbot을 구현하기 위한 밑단계를 토이 프로젝트로..

약간 늦은 감이 있는 3주차 회고 3주차에서는 박찬성님의 깃헙을 참고하여 그 구조를 대략적으로나마 뜯어봤다. 그동안 배웠던 TFX의 파이프라인에서 어떻게 적용되는지에 대해 실질적으로 볼 수 있는 주차였으며, 꽤나 의미있었던 주차라고 생각된다. 다음주부터는 자신의 토이 프로젝트를 선정하여, 해당 주제를 기반으로 한 TFX 프로젝트를 진행하게 된다. 이에 대해서 가장 걱정되는 부분 2가지가 존재하는데.. 1. ipynb에 익숙해져서 .py로 모델 자체의 형태를 구현하는 일이 익숙하지가 않다. 그렇기에 각 모델의 디렉토리와 파일의 상호작용이 아직 익숙하지 않다. 2. 코드를 뜯어볼 때, 어느 부분을 중점으로 봐야할지에 대해 아직 확실하게 감이 잡히지 않는다. 위 두가지가 아마 내게는 가장 큰 과제가 될 것으로..

중요 개념 : Self-Attention, Muti-Head Attention, Encoder, Decoder, Query, Key, Value 들어가기앞서 이번 포스팅에서는 ML을 공부한다면 모두가 한번쯤 들어봤을 논문, Attention is All You Need 논문을 살펴볼 생각이다. 해당 논문에서는 Attention을 기반으로 한 Transfomer라는 구조를 제안한다. 또한 이번 포스팅은 PPT로 발표한 슬라이드로 진행될 예정이며, 모든것을 섬세하게 보기보다는 Query, Key, Value의 의미를 알아보고, 거기에세 확정하여 Attention 그리고 Transfomer의 구조와 진행 방식을 알아보는것에 중점을 둘 예정이다. 그리고 이를 기반으로 Encoder와 Decoder의 특징을 이해..

TFX 스터디에서 '살아움직이는 머신러닝 파이프라인 설계' 책을 모두 보았다. 책에서 대략적인 컨셉과 틀을 배웠는데, 3주차부터는 박찬성님의 TFX 깃헙을 기반으로 공부하기로 하였다. 2주차에서는 메타데이터, 데이터스토어, 파이프라인 오케스트레이션에 대한 부분을 보았다. 결국 데이터를 어떻게 넣고, 어떻게 지속가능한 파이프라인을 만들지에 대한 고민이었다. 9~12장의 내용은 아래와 같다. 9장 - 최적화 - 최적화를 위해서는 Quantization, Pruning, Distiliation, Tensorflow RT, Tensorflow Lite 등의 방법론이 존재 10장 - TFX에 대한 커스터마이징 - 데이터 처리 과정이 같은데, 여러 결론에 도달했을 경우 - 웜스타트 - 사람이 직접하는 피드백 루프 ..

Ai 분야에서 파이프라인을 주제로 발간된 책이다. 현재의 목표는 위 책을 빠른 시일내로 마무리한 뒤, 본격적으로 TFX에 대한 스터디를 진행하는 것. 그렇기에 위 책의 코드를 하나하나 뜯어보기 보다는 대략적인 틀을 잡는 개념서로서의 역할을 가지고 있다. 파이프라인이란, 머신러닝 모델을 가속, 재사용, 관리 및 배포하는 프로세스를 구현하고 표준화하는 것을 의미한다. 다시말해, 서비스의 입장에 있어서 머신러닝이 지속적으로 새로운 데이터를 받고, 모델이 진화하고, 이 모델의 유지 보수가 가능해지도록 만들어지는 하나의 흐름을 의미한다. 위 책에서는 TFX를 기본으로 하여, 글을 전개한다. 목차를 살펴보면 파이프라인에 대한 대략적인 설명 이후, TFX에 대한 설명 그 후부터는 파이프라인 하나하나에서 어떠한 일들을..