응애나애기개발자

어텐션(Attention)어텐션 메커니즘은 신경망이 입력 데이터의 특정 부분에 집중하도록 도와주는 기법이다.원래는 머신 번역에서 등장했지만, 지금은 자연어 처리(NLP)뿐만 아니라 컴퓨터 비전 등 다양한 분야에서 사용된다.어텐션의 주요 원리 쿼리(Query), 키(Key), 밸류(Value)입력 단어들은 각각 Key(K), Value(V), Query(Q)로 변환Query는 현재 출력 단어를 예측할 때 "어떤 입력을 참고해야 할까?"를 결정하는 요소Key는 입력 단어들의 특징을 나타내고, Query와 비교해서 연관성을 계산.Value는 최종적으로 참고할 입력 데이터어텐션 가중치 계산Query와 Key의 유사도를 계산해서 어텐션 가중치를 만든 후, Softmax를 적용해 확률 값으로 변환가중치가 높은 입력..

지난 두 포스팅 신경망의 기본원리 와 신경망의 동작원리 를  보고오면 이해가 더 빠릅니다. 우리는 신경망에대해 어느정도 이해도가 생겼다고 생각한다. 퍼셉트론이 어떤 한계점을 갖고있었으며 이를 해결하기위해 다층 퍼셉트론(MLP)이 탄생했고 이것이 딥러닝 시대의 시작 을 열었다. 우리가 기본으로 배운 신경망 (Neural Network)은 인간의 사고를 흉내내기 위함이라 뉴런을 퍼셉트론으로 모델링하면서생물학적 신경망을 모방한것이라 인공 신경망(Artificial Neural Network, ANN) 이라 부르며 거의 같다고 보면된다.ANN (Artificial Neural Network) -> 인공 신경망입력층(Input Layer)은닉층(Hidden Layer)출력층(Output Layer) 으로 구성 되..

저번 포스팅에 이어 신경망의 동작원리를 알아보고자 한다. 만약에 신경망에 관한 기본개념이 없으면 신경망의 기본원리 를 보고오는걸 추천한다.신경망( Neural Network ) 의 동작원리신경망의 학습 과정은 퍼셉트론과 비슷하지만, 더 발전된 방법을 사용해한다.순전파 (Forward Propagation)입력 데이터가 입력층 → 은닉층 → 출력층 방향으로 전달됨.각 뉴런에서 가중합을 구하고 활성화 함수를 적용해 다음 층으로 전달.손실 계산 (Loss Calculation)신경망의 예측값과 실제값을 비교해 오차(Loss)를 계산.예: 이진 분류는 Binary Cross Entropy, 회귀 문제는 MSE(Mean Squared Error) 사용.역전파 (Backpropagation) + 경사 하강법 (Gr..

저번 포스팅에서 아래와 같은 용어를 들어봤을 것이다. 합성곱 신경망(CNN, Convolutional Neural Network)순환 신경망(RNN, Recurrent Neural Network) 이러한 신경망들이 하나의 딥러닝 모델이 되는것인데 신경망은 어떻게 이루어져있나 살펴보자.신경망의 구조신경망은 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 으로 구성된다.입력층 (Input Layer)데이터가 처음 들어오는 층.각각의 뉴런(퍼셉트론)이 하나의 입력 데이터를 받음.예를 들어, 손글씨 숫자 인식(28×28 픽셀)이라면 784개의 입력 뉴런이 필요하다.은닉층 (Hidden Layer)입력층과 출력층 사이에서 복잡한 패턴을 학습하는 층.단순 퍼셉트론과..

딥러닝이란? 딥러닝(Deep Learning)은 인공지능(AI)과 머신러닝(ML)의 한 분야로, 인공신경망(Artificial Neural Networks, ANN)을 기반으로 한 학습 방법이다.인간의 뇌처럼 다층 구조를 가진 신경망을 활용해서 데이터에서 패턴을 학습하고 예측하는 기술이다.딥러닝의 기본 개념딥러닝은 인공신경망(ANN) 을 기반으로 한 기계 학습의 한 분야 이다.다층 신경망을 사용하여 데이터로부터 특징을 자동으로 학습하고, 이를 통해 복잡한 문제를 해결한다.입력데이터에서 중요한 패턴을 추출하고, 이를 바탕으로 예측, 분류, 생성 등의 다양한 작업을 수행한다. 딥러닝의 특징비선형 추론 : 딥러닝은 비선형 추론을 통해 복잡한 데이터의 패턴을 학습할 수 있다.다층구조 : 여러 층의 신경망을 사용..