본문 바로가기
指針 ; 熱心의 限界 퇴사 45일 차, 아침에는 운동에 미친 듯이 눈을 뜨고, 밤에는 게임에 빠져 잠들었다. 더 오래 잠을 청하고 싶은 마음을 누르며, 나 스스로 선택한 WOD를 거의 매일 완수하고 추가 운동을 했다. 돌아와서는 못다 이룬 잠을 보충하고 스스로에 대한 약간의 무가치함을 이겨내기 위해 Linkedin과 자소설을 구경했다. 마치 아파트 단지의 수많은 집을 보며 내 아파트는 왜 한 채도 없는가 스스로 묻듯 이렇게 많은 회사에서 구인을 하고 있는데 내가 가고 싶고 갈만한 곳을 왜 없는가 한탄하듯 스스로를 타박했다. 그러다 보면 하루를 충만히 살고 온 친구들과 소환사의 협곡을 누볐다. 매일 오늘같이 살면 행복하겠다는 소위 '갓수'의 삶을 영위하면서 정진하지 않고 있다는 불안감을 애써 외면했다. 그 와중에 느낀바가 있으.. 2023. 9. 14.
[FastVit] Vision Transformer from APPLE https://github.com/apple/ml-fastvit?s=09 https://arxiv.org/pdf/2303.14189.pdf In this work, we introduce FastViT, a hybrid vision transformer architecture that obtains the state-of-the-art latency-accuracy trade-off. To this end, we introduce a novel token mixing operator, RepMixer, a building block of FastViT, that uses structural reparameterization to lower the memory access cost by removing s.. 2023. 8. 18.
[Requirements] Becoming Quant [분야] AI 분석가(AI Analyst / Quantitative Researcher) [담당업무] ● 정량적 분석(통계, ML 등)을 통한 투자 전략 모델링 및 알고리즘 개발 - 운용 모델, 자산배분, 리스크탐지, 국면분석 등 ● 정량적 투자전략(통계, ML 등) 관련 최신 동향 리서치 및 구현 [자격요건] ● 정량적 분석 관련 전공자 (컴퓨터공학, 산업공학 등) ● 석사 학위 이상 ● 인공지능 모델링 관련 실무경력 2년 이상 ● Python 등 1개 이상 프로그래밍 언어 숙련자 ● PyTorch, Tensorflow 등 ML Framework 숙련자 [우대사항] ● Git 숙련자 ● UNIX 및 container 기반 개발환경 경험자 ● 실제 투자 경험 보유자 What the heck is 정량적분석 2023. 8. 18.
[惰性] A person who hasn't sought change for a long time Do not think about the reasons for needing to earn money or wanting to earn money, because money is naturally necessary. Also, do not dwell on the reasons for quitting a job, as it's already in the past. Why I want to become quants? Do I really wanna be qunats deep down? Could it be that I just want to be a part of a company where money is easily earned? In that case, highly paid goveners are my.. 2023. 8. 17.
Fostering Individual Potential through Freedom and Independence In order to foster individual potential, it is crucial to recognize and respect each person's freedom and independence. One of the key aspects to achieving this is to adopt a critical thinking mindset towards one's beliefs and values, while maintaining an open mind when listening to the opinions and perspectives of others. A significant figure in this area is Friedrich Nietzsche, who advocated f.. 2023. 4. 13.
[회귀분석] Pearson Coefficient vs Coefficient of Determination 회귀분석을 진행하고 모델을 평가할 때 Pearson Coefficient와 Coefficient of Determination를 Metric(평가지표)로서 사용하는 경우가 많습니다. Pearson Coefficient는 주로 r이라고 표현하고 Coefficient of Determination은 주로 r^2으로 편합니다. 그로 인해 Pearson Coefficient를 제곱 하면 Coefficient of Determination을 얻을 수 있다는 생각을 하기 쉬운데요 이는 특수한 경우에만 해당될 뿐 엄연히 다른 개념으로서 다른 목적을 갖고 있다는 것을 인지해야 합니다. 자세한 설명은 다음과 같습니다. 1. Pearson Coefficient (r) Pearson Coefficient는 두개의 varia.. 2023. 1. 10.
[ViTs] Going deep with Image Transformers - Class Attention(3/4) 1-2. Class attention The vanilla ViT는 image patches와 learnable CLS(classification) token이 서로 어떻게 상호작용하는지 모델링(학습) 하기 위해 self-attention (SA) layers를 사용합니다. SA : image pathces와 learnable CLS token의 상호작용 학습하는 연산 CaiT의 저자는 the attention layer가 image patches와 CLS tokens들의 간의 연관성(?)을 떨어지도록 제안했습니다. propose to decouple the attention layers responsible for attending to the image patches and the CLS tokens.. 2022. 10. 27.
[ViTs] Going deep with Image Transformers - LayerScale(2/4) Imports import io import typing from urllib.request import urlopen import matplotlib.pyplot as plt import numpy as np import PIL import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers tf.__version__ ##2.10.0 필수입니다!!! Step 1 : CaiT 에서 사용되는 block들 만들기 1-1. The LayerScale layer CaiT paper에서 제안된 두가지의 modification중에 하나인 LayerScale를 우선 구현해 보겠습니다. ViT models에서 depth를 증.. 2022. 10. 27.
[ViTs] Going deep with Image Transformers (1/4) Vision Transformer에 익숙하지 않으신 분들은 다음 tutorial을 공부하는것을 추천드립니다. Image classification with Vision Transformer. 간단하게 말씀드리면 영상(이미지)를 다루는데 기존의 convolution layer구조 가 아닌, Transfomer architecture with self-attention을 Image patches의 sequence에 적용했다고 보시면 됩니다. (Encoder, Decoder), (key, query, value), (multi-head, masked-head)등등의 복잡한 이름의 개념들이 있지만, image patches(content information) + Sequence (position informa.. 2022. 10. 27.
[Attention] Evolution of Attention - Version.2 https://pyimagesearch.com/2022/09/05/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-1/ Version 1과의 차이 딱봐도 softmax -> scaled softmax 밖에 없쥬? 이젠 고수가 된걸지도 모르겠어요 그래도 천천히 설명따라 가봅시다. Version 2에서는 Similarity Function을 계산하기 위해 "Normal Dot Product"를 사용하는 대신에 "Scaled Dot Product"를 사용합니다. 2022. 9. 14.
[Attention] Evolution of Attention - Version_0,1 https://pyimagesearch.com/2022/09/05/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-1/ Attention의 역사를 따라가는 것은 겁나 어렵습니다. 하지만 7개로 나눠 놓은 Version steps를 따라가다 보면 알기 쉽겠다고 자랑을 했네요 1. Version 0 Attention을 직관적으로 이해하기 위해, input과 query로 시작하겠습니다. 그런 다음 query에 기반을둔 input부분을 보겠습니다. 예시 풍경사진을 보면서 그곳의 날씨를 알려달라고 하면, 먼저 풍경사진의 하늘 부분을 볼 것 이겠죠? 이때 input은 풍경사진이고, query는 날씨는 어떻습니까?입니다. Input : 풍경사진 Query .. 2022. 9. 13.
[Attention] Intro + Transformer Architecture RNN 구조의 모델을 사용할때 Encoder와 Decoder를 활용하는 경우가 있습니다. 또한 이의 성능을 높이기 위해 Attention module을 사용한다는 것을 소개 해드리며 시작하겠습니다. 사실 Attention개념까지 검색해서 들어왔다는 것은 대강 기본적인것들에 대해 알고계신다는 거 아니겠습니까? 쉽게쉽게 넘어가겠습니다. Top-Down 방식의 이해를 먼저 시도하겠습니다. MHA -> Multihead Attention MMHA -> Masked Multihead Attention FFN -> Feed Forward Network 왼쪽 부분이 Encoder이구요, 오른쪽 부분이 Decoder입니다. 둘다 연산들의 집합인 module(Encoder - 파란색통, Decoder - 초록색통)이 N.. 2022. 9. 13.
[Attention] attention 뭐 들어도 모르겠는 제대로 공부좀 하자 https://pyimagesearch.com/2022/09/05/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-1/ A Deep Dive into Transformers with TensorFlow and Keras: Part 1 - PyImageSearch A tutorial on the evolution of the attention module into the Transformer architecture. pyimagesearch.com 이 튜토리얼을 따라서 이해해 보도록 하겠습니다. 1. Intro 2. The Transfomer Architecture 3. Evolution of Attention - Version 0 - Versi.. 2022. 7. 5.
[Markov Chain] 그럼 마르코프 연쇄는 뭔데? ㅋㅋ 밑도 끝도 없지만 일단 가봅시다. Markov Chain은 이산시간 확률 과정이다. 마르코프 연쇄는 시간에 따른 계의 상태의 변화를 나타낸다. 매 시간마다 계는 상태를 바꾸거나 같은 상태를 유지한다. 상태의 변화를 전이라 한다. 마르코프 성질은 과거가 현재 상태가 주어 졌을 때의 미래상태의 조건부 확률 분포가 과거상태와는 독립적으로 현재 상태에 의해서만 결정된다는 것을 뜻한다 마르코프 성질 은 마르코프 확률 과정과 같은 말이고 strong Markov Property은 Markov property에서 현재가 멈춰있는 시간의 임의의 변수라고 정의되는것을 제외하고 2022. 7. 5.
[Markov Decision Process] MDP 가 도대체 뭐시냐 MDP는 의사 결정 과정을 모델링하는 수학적인 틀을 제공한다. 이때 의사결정의 결과는 의사결정자의 결정에도 좌우되지만, 어느 정도 임의적으로 주어진다. MDP는 동적 계획법과 강화 학습 등의 방법으로 푸는 넓은 범위의 최적화 문제풀이 방법이다. MDP는 이산시간 확률 제어 과정이다. 어떤 시점에, 마르코프 결정 과정은 어떤 상태 s에 존재한다. 의사결정자는 해당 상태 \(s\)에서 어떤 행동 a를 취할 수 있으며, 다음 시점에서 MDP는 확률적으로 새로운 상태 \(s'\)으로 전이(transition)한다. 이때 의사 결정자는 상태 전이에 해당하는 보상 \(R_a(s, s')\)을 받는다. 기존의 상태 \(s\)에서 새로운 상태 \(s'\)로 전이하는 확률은 의사결정자의 행동에 영향을 받는다. 즉, 전이.. 2022. 6. 2.
[강화학습] 완전 바닥 튜토리얼 https://www.gymlibrary.ml/content/environment_creation/ Environment Creation - Gym Documentation Previous API www.gymlibrary.ml 요거보고 따라 만들어 보겠습니다. 확실히 강화학습쪽으로 인력이 많이 필요하고, 가능성이 있어뵈나 뵙니다 ㅎㅎ 이렇게 사용하기 편하게 툴을 풀어주다니! git clone https://github.com/Farama-Foundation/gym-examples 입력 해주면~ gym_examples 폴더를 얻을 수 있습니다잇~ 그러면 envs 폴더안에 __init__.py와 grid_world.py 두개의 파이선 파일이 있는걸 확인 할수 있는데 __init__.py를 수정 하여 실제 .. 2022. 5. 24.
[강화학습] OPEN AI GYM issue gym에서 게임 드릅게 import 안되더니 API 페이지로 제대로 만드려고 그랬었나 봅니다. 모든 GYM 내용이 여기로 옮겨왔네요 https://www.gymlibrary.ml/ Gym Documentation Next API www.gymlibrary.ml 아무튼 편해졌으니까 다행입니다. 2022. 5. 24.
[강화학습 GYM] env.render() Space Invader 문제를 해결하려고 이것저것 해봤는데 아직 뚫어내지 못했당. 그래서 좀더 낮은 level의 문제를 해결하는지 확인해 보고자 Lunar Lander 게임으로 갈아탓다. 근데 이전의 시행착오 글에서와 같이 좀 쉬운게임은 코딩 환경설정부터 간단하다. if __name__ == '__main__': agent = PolicyGradientAgent(ALPHA=0.001, input_dims=[8], GAMMA=0.99, n_actions=4, layer1_size=128, layer2_size=128) # agent.load_checkpoint() env = gym.make('LunarLander-v2') score_history = [] score = 0 num_episodes = 50.. 2022. 5. 23.
[강화학습] CS 234 class 3 & class 4 https://www.youtube.com/watch?v=dRIhrn8cc9w&list=PLRQmQC3wIq9yxKVK1qc0r2nPuInn92LmK&index=3 https://www.youtube.com/watch?v=j080VBVGkfQ&list=PLRQmQC3wIq9yxKVK1qc0r2nPuInn92LmK&index=4 Model Free Evaluation - Policy Evaluation without knowing how the world works 학습목표 Dynamic programming [class 3] Monte Carlo policy Evaluation [class 3] Temporal Difference (TD) [class 3] \(\epsilon-greedy\) policy.. 2022. 5. 2.
[강화학습] CS234 class 2 https://www.youtube.com/watch?v=E3f2Camj0Is&list=PLRQmQC3wIq9yxKVK1qc0r2nPuInn92LmK&index=2 학습목표 1. MP, MRP, MDP Bellman operator, contraction operator, model, Q-value, Policy 정의 암기 2. Value Iteration, Policy Iteration 계산하기 3. 여러 가지 Policy Evaluation Approaches 들의 장단점 알기 4. Contraction Properties 증명할 줄 알기 5. MP, MRP, MDP and Markov assumptions의 한계 알기 - 어떤 policy evaluation methods가 Markov assump.. 2022. 4. 26.

티스토리툴바