오늘 못하면 내일도 못한다

  • 기계학습개론

    22. Generative Adversarial Network (GAN)

    📌 GAN concept 이 경쟁이 그들을 우수하게 만들 것이라는 희망으로 신경망을 서로 경쟁하게 만든다. generator는 training data와 비슷한 data를 생성하려하고, discriminator는 진짜와 가짜를 구분하려 한다 생성적 적대 신경망, adversarial이 중요, 서로 발전한다 AE : input과 비슷한 output을 만들어내는 역할 Generator VAE의 decoder와 비슷한 모양이다 처음에는 랜덤한 pixel 값으로 채워진 가짜 이미지로 시작한다 descriminator의 판별 결과에 따라 지속적으로 업데이트 점차 원하는 이미지를 만들어간다 Discriminator regular binary classifier와 비슷한 모양이다 Generator에서 넘어온 이미지가..

  • 21. RNN Part II(Code) & Autoencoder
    기계학습개론

    21. RNN Part II(Code) & Autoencoder

    📌 자연어 처리 토큰화(Tokenization) : 텍스트를 단어 기준으로 잘게 자르는 것 from tensorflow.keras.preprocessing.text import Tokenizer token = Tokenizer() token.fit_on_texts(단어 배열) 단어의 one-hot encoding (1이 몇 번째 위치인지만 찾으면 되기에 속도가 빠르다) 하지만 단어의 종류가 많아진다면 one-hot encoding에서 벡터의 길이가 너무 길어진다는 단점이 있다 공간적 낭비를 해결하기 위해 단어 임베딩(word embedding)을 사용한다 📌 문장의 의미 파악하기 딥러닝은 단어를 그대로 사용하지 않고, 숫자로 변환한 다음 학습할 수 있다. 모든 단어를 다 사용하는 것은 비효율적이므로 빈도..

  • 20. RNN
    기계학습개론

    20. RNN

    📌 Time series data dynamic data 가변 길이 sequential data 📌 Recurrent Neurons MLP, CNN : Feedforward NN RNN : backward connection RNN은 input을 받으면 output을 만들어내고, 그 output을 다시 넣는다 📌 Recurrent Neurons 시간 $t$일 때, recurrent neuron은 2개의 input을 받는다 $x(t)$ $y(t-1)$ : 이전 시간의 output $y(t)=\theta(W_x^t x(t)+W_y^T y(t-1) +b) $. theta는 activation function 노드는 1개이지만, 이해하기 위해서 펼쳐놓은 것 input, output의 개수는 여러 개가 될 수 있..

  • 19. Famous CNN architecture - Part 2
    기계학습개론

    19. Famous CNN architecture - Part 2

    📌 Network In Network이 사용하는 전역 평균 풀링 VGGNet의 완전연결은 overfitting의 원인이다 Residual Learning 📌 ResNet key : skipping connections 더 적은 parameter로 더 deep한 network model을 만든다 deep network를 훈련시킬 수 있는 핵심 요소는 skip connection -> 어떤 layer에 주입되는 신호를 상위 층의 출력에 더 해준다 본래 신경망을 훈련시킬 때는 목적함수 $h(x)$를 모델링하는 것이 목표이다 ResNet은 input x를 출력에 더하여 네트워크 $h(x)$ 대신 $f(x)=h(x)-x$를 학습하게 만든다 -> skip connection이 존재할 때 네트워크를 초기화하면 네트워..

  • 21. Image Classification 1
    컴퓨터비전

    21. Image Classification 1

    📌 Image Classification classification : image에 label을 달아주는 것 localization : image 내의 객체를 모두 인식하는 것 instance segmentation : 각각의 단일 객체까지 segmentation하여 인식하는 것 📌 AlexNet 2개의 CPU를 사용한다 5개의 convolution layer, ReLU, max pooling 사용 분류를 위해 fully-connected layer가 있고, softmax를 사용한다 gpu 1에서는 주로 컬러와 상관없는 정보를 추출하기 위한 kernel 학습, gpu 2에서는 컬러와 관련된 정보를 추출하기 위한 kernel 학습 LeNet과 차이점 Tanh 대신 ReLU를 사용했다 ReLU는 linear..

티스토리툴바