2024/12/29 15

[ML] 지도학습 - 분류모델 (의사결정나무)

의사결정나무 란?의사결정나무(Decision Tree) 는 머신러닝에서 널리 사용되는 지도학습 알고리즘으로,데이터를 계층적으로 나누어 예측하거나 분류하는 데 사용된다.직관적이고 시작적으로 이해하기 쉬운구조를 가지며, 분류와 회귀 문제 모두에 활용될 수 있다. 트리구조를 가지며, 각 내부 노드는 데이터의 특정 feature 에 대한 테스트를 나타내고, 각 가지(branch)는 테스트 결과를 나타내며, 각 리프노드(leaf) 는 클래스레이블을 나타낸다의사결정나무의 기본 개념트리 구조:루트 노드(Root Node): 트리의 최상단 노드로, 전체 데이터셋을 나타냅니다.분기(Branch): 데이터를 특정 기준에 따라 나누는 과정.내부 노드(Internal Node): 데이터를 나누는 기준(결정 규칙)이 포함된 노..

AI/ML 2024.12.29

[ML] 지도학습 - 분류모델 (나이브 베이즈)

나이브 베이즈 (Naive Bayes) 란?확률에 기반한 머신러닝 알고리즘베이즈 정리를 기반으로 하는 통계적 분류 기법나이브 라는 이름이 붙은 이유는 각 특징(feature) 이 독립적이라고 가정하기 때문주로 텍스트 분류 문제에서 널리 사용데이터가 특정 클래스에 속할 확률을 계산하는 분류 모델임나이브 베이즈의 주요 개념1. 베이즈 정리:나이브 베이즈는 베이즈 정리를 기반으로 동작합니다. 베이즈 정리는 다음과 같은 수식으로 표현됩니다: P(C|X) : 데이터 X 가 주어졌을 때, 클래스 C 에 속할 확률 (사후 확률, Posterior Probability)P(X|C) : 클래스 C 가 주어졌을 때, 데이터 X 가 나타날 확률 (우도, Likelihood)P(C) : 클래스 C 가 나타날 확률 (사전 확률..

AI/ML 2024.12.29

[ML] 지도학습 - 분류모델 (KNN)

KNN 이란?K-최근접 이웃 (K-Nearest Neighbors, KNN) 은 분류와 회귀 분석에 사용되는 비모수적 방법KNN 은 간단하면서도 효과적인 알고리즘으로, 새로운 데이터 포인트를 가장 가까운 K 개의 이웃데이터와 비교하여 분류하거나 값을 예측KNN의 주요 특징비모수(non-parametric) 알고리즘:KNN은 사전에 데이터의 분포를 가정하지 않는 비모수적 모델입니다. 대신, 학습 데이터 자체가 모델로 사용됩니다.지연 학습(lazy learning):KNN은 학습 과정에서 실제로 "학습"을 하지 않습니다. 대신 모든 데이터를 저장하고, 예측 시점에서 계산을 수행합니다.새로운 데이터에 대해 예측할 때, 저장된 데이터를 기준으로 최근접 이웃을 계산합니다.KNN 알고리즘 작동 방식데이터 저장:KN..

AI/ML 2024.12.29

[ML] 지도학습 - 분류모델 (SVM)

SVM 이란?서포트 벡터 머신 (Support Vector Machine, SVM) 은 주로 분류 문제에 사용되는 강력한 머신러닝 모델데이터 포인트를 서로 다른 클래스로 분리하는 최적의 경계 (결정 경계, Decision Boundary)를 찾는데 사용SVM 은 고차원 데이터와 비선형 문제에 강력한 성능을 보임SVM의 주요 개념최적의 초평면(Optimal Hyperplane):SVM은 주어진 데이터를 분류할 수 있는 초평면(hyperplane)을 찾습니다. 초평면은 다차원 공간에서 데이터를 두 클래스로 나누는 평면입니다.이 초평면은 가능한 한 두 클래스 간의 마진(margin)을 최대화하는 방식으로 선택됩니다. 마진은 초평면과 데이터 포인트 사이의 거리로, 이 거리의 크기를 최대화하는 초평면이 최적입니다..

AI/ML 2024.12.29

[ML] 지도학습 - 분류모델 (로지스틱 회귀)

로지스틱 회귀란?로지스틱 회귀 (Logistic Regression) 은 머신러닝에서 이진 분류 문제를 해결하는 데 사용되는 통계적 모델종속 변수가 이진형일때(즉, 결과가 두가지 중 하나일 때) 사용되는 통계 기법선형 회귀와 달리 결과값이 0 과 1사이에 위치하게 하기 위해 시그모이드 함수(Sigmoid Function)을 사용 왜 회귀라는 이름이 붙어있는데 분류모델인가요??선형 회귀와 비슷하지만 출력 값이 확률로 변환되어 0 과 1 사이의 값을 가진다따라서 사건 발생 여부 를 예측하는데 활용 된다.시그모이드 함수 (Sigmoid Function)선형 결합의 결과인 z 값은 시그모이드 함수에 의해 변환된다.시그모이드 함수는 입력 값 z 를 0과 1 사이의 확률로 매핑한다. 수식은 다음과 같다여기서 e 는..

AI/ML 2024.12.29