데이터 분석
-
딥러닝 NVIDIA DIGITS를 활용한 Classifier 만들기 #5데이터 분석 2020. 11. 29. 11:04
딥 뉴럴 네트워크 훈련과 배포 마지막 과제를 풀어보겠습니다. 이것을 완료하면 글로벌 공인 인증서를 받을 수 있습니다. Assessment Project 1 신경망을 학습시키고 적용하기 이제 여러분은 딥러닝 작업 흐름에 대해 모두 살펴보았습니다. 데이터 세트를 불러들이고, 모델을 학습시키고, 여러분의 모델을 간단한 애플리케이션에 적용하였습니다. 이제 새로운 문제를 가지고 이상의 작업 흐름을 되풀이해 봄으로써 여러분이 학습한 내용을 점검해 보도록 하겠습니다. 두 개의 클래스를 가지는 데이터 세트가 있습니다. 1) whale: 고래의 얼굴을 포함하는 이미지들 2) not whale: 고래의 얼굴을 포함하지 않는 이미지들 데이터 세트는 /dli/data/whale/data/train에 위치합니다. 여러분의 과제..
-
딥러닝 NVIDIA DIGITS를 활용한 Classifier 만들기 #4데이터 분석 2020. 11. 21. 02:16
이번 시간에는 기존 컴퓨터 비젼 기술과 딥 러닝을 결합하는 방법하여 새로운 모델을 만드는 방법을 알아보도록 하겠습니다. 1. 배포판 사용하기 지난번에 만들었던 Dogs vs Cats Image Classifier와 슬라이딩 윈도우를 결합하면 전체 이미지의 각 부분을 256x256 씩 검색하면서 개인지 고양이인지를 분류할 수 있습니다. 즉, 이번 시간에서는 이미지 안에서 물체를 Detect(검출)하고 위치를 Localize(지정)할 수 있게 됩니다. 지난 시간에 했던 방식대로 모델을 만들어보겠습니다. 모델 아키텍쳐, 학습된 가중치, 평균 이미지와 같은 선처리 정보를 사용하기 위해 모델과 데이터 세트 작업 디렉토리를 불러 들입니다. MODEL_JOB_DIR과 DATASET_JOB_DIR이 미리 만들어져 있는..
-
딥러닝 NVIDIA DIGITS를 활용한 Classifier 만들기 #3데이터 분석 2020. 11. 18. 23:11
지난 시간에 이미지를 보고 개인지 고양이인지 판별하는 Network를 만들어 보았습니다. 이것을 활용하여 개와 고양이의 이미지를 판별하여 서로 다른 반응을 할 수 있는 간단한 프로그램을 만들어보도록 하겠습니다. 여기에서는 파이썬을 활용하겠습니다. 딥러닝만으로는 무엇인가를 보고 판단하는 응용프로그램을 만들 수 없기 때문입니다. 1. Deployment 이제 Model과 Dataset이 만들어져 있는 인스턴스를 생성하겠습니다. DIGITS 홈페이지에서 Dogs vs. Cats이라고 되어 있는 모델을 선택하세요. MODEL_JOB_DIR = '/dli/data/digits/20180301-185638-e918' ## Remember to set this to be the job directory for you..
-
딥러닝 NVIDIA DIGITS를 활용한 Classifier 만들기 #2데이터 분석 2020. 11. 18. 03:32
지난 시간에 Caffe에서 AlexNet를 활용하여 Louie Classifier를 만들어보았습니다. 하지만, 지난 모델은 Louie와 Not Louie를 판단할 때 같은 Dataset으로 훈련을 반복하여 결국 모든 픽셀 데이터를 외워버렸습니다. 따라서 예전 데이터로 검증을 하면 높은 정확도를 보이지만, 새로운 Louie 사진이 들어왔을 때 Louie를 Louie가 아니라고 판단하는 등 정확도(Accuracy)가 급격하게 떨어지는 문제가 생기게 됩니다. 1. Overfitting 이를 딥러닝에서는 과적합(Overfitting)이라고 정의합니다. 오른쪽 그림은 Time(=epoch)이 진행 될수록 Validation이 계속 증가하게 되는 일반적인 상황이라고 볼 수 있습니다. 반면에 왼쪽 그림은 처음에는 T..
-
딥러닝 NVIDIA DIGITS를 활용한 Classifier 만들기 #1데이터 분석 2020. 11. 17. 01:10
본 내용은 스터디파이 김영곤 강사님의 엔비디아 컴퓨터 비전을 위한 딥러닝 기초 강의의 내용을 담고 있습니다. 1. 개요 딥러닝이 정확히 어떤 것인가를 설명하기 위해 Louie라는 특정 강아지를 구분하는 연습을 해보겠습니다.. 기존에 주어진 데이터가 하나도 없는 상태에서 주어진 사진에 보이는 강아지를 볼 때 Louie라고 생각이 들면 10에 가까운 숫자, 아니라고 확신하면 0에 가까운 숫자로 주는 방식으로 0~10점에 사진 하나에 대해 점수를 부여할 수 있습니다. 점수를 부여한 후 실제로 그 강아지가 Louie인지 피드백을 주게 되는데, 만약에 긴가민가하여 6점을 준 상황에서 이미지의 강아지가 Louie였다면 4점(10-6=4)의 손실(loss)을 가지게 됩니다. 이렇게 제시된 이미지들을 모두 판단하면 총..