본문 바로가기
On Going/Deep Learning[Paper Review] ConvNeXt - A ConvNet for the 2020s (4/n) ConvNet : Other tasks 1. object detection and segmentation on COCO도 잘하고 2. Semantic segmentation on ADE20K 도 잘하고 3. model efficiency도 낫다 In addition, Hybrid model = CNN + self attention이 연구되고 있다. Prior to ViT, the focus was on augmenting a ConvNet with self-attention/non-local modules [8, 55, 66, 79] to capture long-range dependencies The original ViT [20] first studied a hybrid configuration, and a large body of fol.. 2023. 12. 4.
[Paper Review] ConvNeXt - A ConvNet for the 2020s (3/n) ConvNet : Evaluations on classification ConvNeXtT/S/B/L, to be of similar complexities to Swin-T/S/B/L. ConvNeXt-T/B is the end product of the “modernizing” procedure on ResNet-50/200 regime, respectively. In addition, we build a larger ConvNeXt-XL to further test the scalability of ConvNeXt. The variants only differ in the number of channels C, and the number of blocks B in each stage 1. settings ImageNet-22K(21841개의 class, 14M개의 이미지.. 2023. 11. 28.
[Paper Review] ConvNeXt - A ConvNet for the 2020s (2/n) ConvNet : a Roadmap Starting Point is a ResNet-50 model을 Vision transformer가 학습하는 방식으로 학습시켰더니 performance가 더 좋았다. Deisign Decision (network modernization : CNN의 현대화) 1. Macro design 2. ResNeXt 3. Inverted bottleneck 4. Large kernel size 5. various layer-wise micro design Training Techniques 0. train a baseline model(resnet 50/200) with the vision transformer training procedure ~ DeiT와 Swin Trnasfomer에서 소개된 것들과 유사한 .. 2023. 11. 27.
[Paper Review] ConvNeXt - A ConvNet for the 2020s (1/n) Introduction In this work, we reexamine the design spaces and test the limits of what a pure ConvNet can achieve. We gradually “modernize” a standard ResNet toward the design of a vision Transformer, and discover several key components that contribute to the performance difference along the way. 대표적인 inductive bias 1. sliding-window manner = is intrinsic to visual processing, particularly when working with h.. 2023. 11. 27.
Week4 정리 Transfer Learning 1. FC Layer만 update하는 방법 (주로 데이터가 적을때) 2. Cov Layer의 learning rate는 낮게하고, FC layer는 learning rate를 높게 함(주로 데이터가 충분히 있을때) Knowledge distillation  모델압축에 유용하게 사용됨, pretrained된 모델의 inference를 unlabed data의 pseudo-label로써 사용하는 방법 1. Unsupervised Version (label이 없는 데이터를 학습) 같은 input에 대해 Teacher Model, Student Model의 출력값을 통해 Student Model만을 학습시킴 2. Supervised Version (label이 있는 데이터를.. 2023. 11. 27.
기술 아무리 빠르다 빠르다 한들 이렇게 빠를줄 상상이나 했겠냐고 공부를 다시 하다보니 매우 당연한 얘기지만 내가 공들여 3개월에서 6개월동안 쌓아온 지식이 5년이 지난 현재시점에서 10시간 만에 정리되는 내용이라니 exponent한 발전 속도를 따라잡으려면 일단 그래프를 향해 뛰어야 되고 계속 메달려있기위해 고군분투해야된다고 생각하고 말해왔지만 행동하지 않았던 지난날의 과오가 약간 아쉽다 그래도 뭐 재미는 있었으니까~ 앞으로 잘하자 성실하게 매일 밀어내자 2023. 11. 22.
Week3 주간 정리 Bagging vs Boosting Bagging(Bootstrap Aggregating)과 Boosting은 앙상블 학습(Ensemble Learning) 기법으로, 다수의 기본 모델을 결합하여 더 강력한 예측 모델을 생성하는 데 사용됩니다. 그러나 두 기법은 다음과 같이 다릅니다: Bagging (Bootstrap Aggregating): Bagging은 다수의 독립적인 기본 모델을 병렬로 훈련한 다음, 이들의 예측을 결합하여 최종 예측을 생성 각 기본 모델은 학습데이터에서 무작위로 중복을 허용하여 bootstrap sample을 생성하고, 이 부트스트랩 샘플을 사용하여 모델을 훈련 Bagging은 모델의 variance를 줄이고 overfitting을 방지 Boosting Boosting은 weak.. 2023. 11. 20.
Week2 주간 학습 정리 정리 PyTorch project flow 모든 구성에 대해 꼼꼼히 알자! 1. install environment 2. Data Loader 3. define model architecture, loss function, optimizer 4. Train model with multi gpu through DDP 5. monitoring model performance with Wandb 6. trouble shooting 7. hyperparameter tuning Tensor, Parameter, Buffer의 개념차이도 처음 알게 됐고 솔직히 따로따로의 필요성을 아직 체감하지 못했기 때문에 완전히 이해하진 못했지만 그래도 좀 신기했다 hook을 걸어서 중간 layer에서 gradient를 확인 하.. 2023. 11. 17.
Week 1 주간 학습정리 Python의 기본적인 개념과 언어의 특징을 공부했다. 기본적인 package들을 공부했다 pandas는 참 내용이 진짜 진짜 어이없이 많다. 많이 알고 있으면 활용이 더 쉽겠지 동료들도 좋고.. 아 그리고 정규식에 대해 처음으로 알게됐다. 문자 전처리등에 잘 쓰일 수 있을 것 같다. 프로젝트가 기대된다 2023. 11. 10.
指針 ; 熱心의 限界 퇴사 45일 차, 아침에는 운동에 미친 듯이 눈을 뜨고, 밤에는 게임에 빠져 잠들었다. 더 오래 잠을 청하고 싶은 마음을 누르며, 나 스스로 선택한 WOD를 거의 매일 완수하고 추가 운동을 했다. 돌아와서는 못다 이룬 잠을 보충하고 스스로에 대한 약간의 무가치함을 이겨내기 위해 Linkedin과 자소설을 구경했다. 마치 아파트 단지의 수많은 집을 보며 내 아파트는 왜 한 채도 없는가 스스로 묻듯 이렇게 많은 회사에서 구인을 하고 있는데 내가 가고 싶고 갈만한 곳을 왜 없는가 한탄하듯 스스로를 타박했다. 그러다 보면 하루를 충만히 살고 온 친구들과 소환사의 협곡을 누볐다. 매일 오늘같이 살면 행복하겠다는 소위 '갓수'의 삶을 영위하면서 정진하지 않고 있다는 불안감을 애써 외면했다. 그 와중에 느낀바가 있으.. 2023. 9. 14.
[FastVit] Vision Transformer from APPLE https://github.com/apple/ml-fastvit?s=09 https://arxiv.org/pdf/2303.14189.pdf In this work, we introduce FastViT, a hybrid vision transformer architecture that obtains the state-of-the-art latency-accuracy trade-off. To this end, we introduce a novel token mixing operator, RepMixer, a building block of FastViT, that uses structural reparameterization to lower the memory access cost by removing s.. 2023. 8. 18.
[Requirements] Becoming Quant [분야] AI 분석가(AI Analyst / Quantitative Researcher) [담당업무] ● 정량적 분석(통계, ML 등)을 통한 투자 전략 모델링 및 알고리즘 개발 - 운용 모델, 자산배분, 리스크탐지, 국면분석 등 ● 정량적 투자전략(통계, ML 등) 관련 최신 동향 리서치 및 구현 [자격요건] ● 정량적 분석 관련 전공자 (컴퓨터공학, 산업공학 등) ● 석사 학위 이상 ● 인공지능 모델링 관련 실무경력 2년 이상 ● Python 등 1개 이상 프로그래밍 언어 숙련자 ● PyTorch, Tensorflow 등 ML Framework 숙련자 [우대사항] ● Git 숙련자 ● UNIX 및 container 기반 개발환경 경험자 ● 실제 투자 경험 보유자 What the heck is 정량적분석 2023. 8. 18.
[惰性] A person who hasn't sought change for a long time Do not think about the reasons for needing to earn money or wanting to earn money, because money is naturally necessary. Also, do not dwell on the reasons for quitting a job, as it's already in the past. Why I want to become quants? Do I really wanna be qunats deep down? Could it be that I just want to be a part of a company where money is easily earned? In that case, highly paid goveners are my.. 2023. 8. 17.
Fostering Individual Potential through Freedom and Independence In order to foster individual potential, it is crucial to recognize and respect each person's freedom and independence. One of the key aspects to achieving this is to adopt a critical thinking mindset towards one's beliefs and values, while maintaining an open mind when listening to the opinions and perspectives of others. A significant figure in this area is Friedrich Nietzsche, who advocated f.. 2023. 4. 13.
[회귀분석] Pearson Coefficient vs Coefficient of Determination 회귀분석을 진행하고 모델을 평가할 때 Pearson Coefficient와 Coefficient of Determination를 Metric(평가지표)로서 사용하는 경우가 많습니다. Pearson Coefficient는 주로 r이라고 표현하고 Coefficient of Determination은 주로 r^2으로 편합니다. 그로 인해 Pearson Coefficient를 제곱 하면 Coefficient of Determination을 얻을 수 있다는 생각을 하기 쉬운데요 이는 특수한 경우에만 해당될 뿐 엄연히 다른 개념으로서 다른 목적을 갖고 있다는 것을 인지해야 합니다. 자세한 설명은 다음과 같습니다. 1. Pearson Coefficient (r) Pearson Coefficient는 두개의 varia.. 2023. 1. 10.
[ViTs] Going deep with Image Transformers - Class Attention(3/4) 1-2. Class attention The vanilla ViT는 image patches와 learnable CLS(classification) token이 서로 어떻게 상호작용하는지 모델링(학습) 하기 위해 self-attention (SA) layers를 사용합니다. SA : image pathces와 learnable CLS token의 상호작용 학습하는 연산 CaiT의 저자는 the attention layer가 image patches와 CLS tokens들의 간의 연관성(?)을 떨어지도록 제안했습니다. propose to decouple the attention layers responsible for attending to the image patches and the CLS tokens.. 2022. 10. 27.
[ViTs] Going deep with Image Transformers - LayerScale(2/4) Imports import io import typing from urllib.request import urlopen import matplotlib.pyplot as plt import numpy as np import PIL import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers tf.__version__ ##2.10.0 필수입니다!!! Step 1 : CaiT 에서 사용되는 block들 만들기 1-1. The LayerScale layer CaiT paper에서 제안된 두가지의 modification중에 하나인 LayerScale를 우선 구현해 보겠습니다. ViT models에서 depth를 증.. 2022. 10. 27.
[ViTs] Going deep with Image Transformers (1/4) Vision Transformer에 익숙하지 않으신 분들은 다음 tutorial을 공부하는것을 추천드립니다. Image classification with Vision Transformer. 간단하게 말씀드리면 영상(이미지)를 다루는데 기존의 convolution layer구조 가 아닌, Transfomer architecture with self-attention을 Image patches의 sequence에 적용했다고 보시면 됩니다. (Encoder, Decoder), (key, query, value), (multi-head, masked-head)등등의 복잡한 이름의 개념들이 있지만, image patches(content information) + Sequence (position informa.. 2022. 10. 27.
[Attention] Evolution of Attention - Version.2 https://pyimagesearch.com/2022/09/05/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-1/ Version 1과의 차이 딱봐도 softmax -> scaled softmax 밖에 없쥬? 이젠 고수가 된걸지도 모르겠어요 그래도 천천히 설명따라 가봅시다. Version 2에서는 Similarity Function을 계산하기 위해 "Normal Dot Product"를 사용하는 대신에 "Scaled Dot Product"를 사용합니다. 2022. 9. 14.
[Attention] Evolution of Attention - Version_0,1 https://pyimagesearch.com/2022/09/05/a-deep-dive-into-transformers-with-tensorflow-and-keras-part-1/ Attention의 역사를 따라가는 것은 겁나 어렵습니다. 하지만 7개로 나눠 놓은 Version steps를 따라가다 보면 알기 쉽겠다고 자랑을 했네요 1. Version 0 Attention을 직관적으로 이해하기 위해, input과 query로 시작하겠습니다. 그런 다음 query에 기반을둔 input부분을 보겠습니다. 예시 풍경사진을 보면서 그곳의 날씨를 알려달라고 하면, 먼저 풍경사진의 하늘 부분을 볼 것 이겠죠? 이때 input은 풍경사진이고, query는 날씨는 어떻습니까?입니다. Input : 풍경사진 Query .. 2022. 9. 13.

티스토리툴바