728x90 대학공부/기계학습12 Deep NN MLP (=shallow NN): hidden layer 1~2개 -> 모든 non-linear 형태의 모델을 생성 가능 feature가 알려진 모든 정형 데이터는 MLP에서 더 성능이 뛰어남 이미지, 소리, 텍스트 데이터는 다루지 못함 해결 idea: hidden layer를 더 늘리기 -> Deep Neural Network: hidden layer가 10개 정도 문제: hidden layer의 depth를 늘리자 학습이 안됨 - 이유: Vanishing Gradient 문제 Vanishing Gradient 문제: 미분할 수록 gradient의 값이 점점 작아지면서 사라짐 - sigmoid 함수때문에 발생 Backpropagation에서 y(sigmoid)가 계속 미분되면서 적용됨 gradient는.. 2023. 10. 11. Feature selection, SVM, 앙상블 Feature selection: 기존 features의 subset을 선택 feature의 수가 많을 때 상대적으로 sample의 수가 적으면 모델이 overfit됨 필요한 feature를 골라 사용하여 성능 향상 제거해야 하는 feature: irrelevant, redundant features 어떻게 판단? filter methods: 하나씩 제거해서 만든 모델의 성능을 각각 평가하여 feature의 순위를 매김. feature를 개별적으로 평가. wrapper methods: 모든 가능한 조합에 대하여 test하여 최적의 조합을 선택. feature가 서로 독립적이지 않으므로 사용. complexity가 높음. embedded methods: 여러 머신러닝 모델로 training 시킨 후 그 모.. 2023. 10. 11. Evaluation available data가 전체 domain은 잘 표현하는지, 모델의 성능을 어떻게 평가? 그 외의 신뢰성, 공정성, 윤리성, 안전성의 문제가 존재 원인은 데이터 or 최적화 알고리즘에서 초래됨 test data set을 가지고 평가하고자 하는 성능을 "Generalization(일반화)"하는 방법 다양한 모델 사용, 특정 모델의 parameter 값에 따라, feature에 따라... 모델의 정확성을 위한 training / test / validation set의 적절한 비율 dig data set: 60% / 20% / 20% middle size data set(충분한 양): training 60%, test 40% dataset의 크기가 작을 경우? training set으로 test: gen.. 2023. 10. 11. Classification(2) NN(Neural Network) 장점: 가장 강력한 분류 도구, noisy에 매우 강함. 임의의 non-linear discrimination(판별식) 제공 단점: 적절한 구조(hidden layer, unit 개수 등)을 모름(->overfit 정도를 바탕으로 판단) NN이 학습한 것을 통역 불가능(->통역 가능한 DT보다 성능 좋음) MLP(Multi-Layer Perceptron, shallow NN) perceptron의 x1, x2 -> hidden layer h1, h2 -> y 1~2개의 hidden layer 추가: hidden layer의 에러값을 알 수 없음. layer마다 우리가 알지 못하는 새로운 feature(hidden unit), 임의의 decision boundary를 스스.. 2023. 10. 10. Classification(1) Classification 모델 class에 따라 data instance를 잘 분류하는 것. feature space에서 분류하는 boundary 혹은 hyperplane을 찾는 것. 모델 종류: linear model, non-linear model, tree model 에러 계산 방식(최적화 방식) error-rate, 거리 계산 probability (data point를 가지고 확률 분포 결정) 영역을 divide-and-conquer 전략으로 gradient discent 방식으로 1. Zero-R(0R) label의 각 class 개수만 따져서 그 확률로 판단. minimum(baseline) 성능 ex. class{ yes, no }에서 yes가 9개, no가 5개인 경우: 9/14=약 6.. 2023. 10. 10. 기계학습(ML)이란? 기계학습(Machine Learning)? '학습'을 하는 기계/알고리즘/도구/에이전트 등 수집된 data로부터 pattern, knowledge, model, concept description을 찾아내는 것이며, 그러한 일을 하는 알고리즘을 기계학습 알고리즘이라고 함 학습에 사용되는 '경험': 해당 도메인에서 모여진 데이터 혹은 시뮬레이션 혼용되는 용어/분야들의 의도와 목적 기계학습: 데이터(경험)로부터 유용한 일반화 패턴을 찾는 알고리즘에 대한 것. 정형 데이터에 주로 사용되었지만 최근에는 딥러닝의 성장으로 비정형 데이터를 다루기 시작했으며 '인식'쪽으로 확장해 나가고 있음. 인공지능: 인간의 지능적인 행위를 흉내내는 모델을 만들고자 하는 것. 그 중 인간의 학습과 인식을 담당하는 것이 기계학습이며.. 2023. 10. 10. 이전 1 2 다음
