NLP 용어 개념정리| 자연어처리 #3 2024.09.11 - [TECH/AI] - 자연어의 특징| 자연어처리 #12024.09.21 - [TECH/AI] - RNN, LSTM, GRU | 자연어처리 #2 자연어의 특징을 알아봤었습니다. 자연어는 주변 단어와 연속성 (Sequential Data)을 가졌으며, RNN의 단점은 문장이 길어지면 오래된 정보를 잃어 맥락 파악이 어렵다는 것이였습니다. 그리고 그것을 보완하기 위해서 LSTM,GRU가 나왔었죠. 그리고 NLP는 사람의 언어를 컴퓨터 언어 (즉 숫자)로 이해하고 사람이 원하는 형태 (분류, 번역 etc..) 답을 내주는 영역이죠. 그렇다면 사람의 언어를 숫자로 어떻게 변경할까요?TokenizingEncoding or Embedding토큰화 이후에 전처리 과정이 포함되지만, 일단 세가지를.. AI 학습에 쓰이는 함수 | 활성화 함수, 목적 함수, 최적화 함수 모델 학습에 사용되는 함수. 뭐가 되게 많네.. 라고 생각이 들 수 있습니다. 실제로 많고,, 헷갈려요..이제 무작정 외우지 말고, 한번 머릿속으로 그림을 그려가면서 알아봅시다.2024.11.12 - [TECH/AI] - 역전파 알고리즘 (backpropagation) 역전파 알고리즘을 알아봤었어요. 그리고 backpropagation에는 forward, backwad 과정이 있었죠. 그리고 각 함수들은 특정 구간에서 쓰이게 됩니다. 아래 이미지처럼 말이죠. 각 함수가 왜 필요한지 알아볼게요. 활성화 함수활성화 함수는 신경망에 비선형성을 도입하고 복잡한 패턴을 학습하기 위해 필요합니다입력 신호를 비선형적으로 변환하여 모델의 표현력을 높입니다다층 신경망에서 층간 정보 전달을 조절합니다.복잡한 패턴과 특징.. Seq2Seq에서 Transformer로의 전환 대한민국. 우리 나라에서 첫 AI의 등장은 "알파고". 바둑을 두는 로봇이였죠. 보는 것에 그쳤던 AI를 일반인이 사용할 수 있도록 해준 것은 Chat GPT였습니다. 그리고 Chat GPT는 Transformer 기술 아키텍처를 따릅니다. Transformer 전 아키텍처의 문제는 무엇이였으며, 어떻게 개선했는지 보겠습니다.Seq2SeqRNN 포스트에서 잠깐 다뤘는데요. Input - Output의 형태에 따라 Many-to-One One-to-Many로 나뉩니다. Many-to-One → 인코더 : 입력 시퀀스를 고정 길이의 벡터로 압축One-to-Many → 디코더 : 압축된 정보를 기반으로 출력 시퀀스를 생성라고 부를 수 있으며, Seq2Seq2는 두 가지를 합친 Many-to-One ↔ O.. DEBUG with gcc : wheel package 다운로드 실패 해결 (Goliath) facebookresearch/goliath는 facebookresearch/DRTK package를 필요로 한다. 하지만 pip install을 사용하면 metadata만 다운로드 될 뿐, 본 패키지는 다운로드가 되지 않아 git을 통해 다운로드를 받아야하는데, gcc version이 cuda와 일치하지 않아 빌드가 되지 않는 문제가 발생했다. 따라서 가상환경 package dir를 확인할 일이 생긴다. anaconda 가상환경 내 package 위치anaconda3/envs/이름/lib/python3.x/site-packagespip install의 잘된 예시 pip install 잘 못된 예시본 패키지와 함께 다운받아진 것이 아닌, meta data만 받음 해당 에러를 해결하지 못하고 있는 분들에게.. 역전파 알고리즘 (backpropagation) 앞서 학습했던, RNN, CNN, LSTM, GRU 뿐 아니라 GAN, Transformer 등 모두 이 역전파 알고리즘을 바탕으로 학습됩니다. 먼저 AI 전 후, 패러다임의 변화를 알고 가면 이해하기 쉬울 것 같아요. 인공지능이 아닌 프로그램은 Rule을 기반으로 처리가 됩니다. 1(Data) + 2(Rule) = y(Solution) 우리는 y를 알기 위해서 rule을 직접 작성했어요. Input(Rules, Data) -> Proccess -> Output (Solution) 그런데 AI는 Rule을 직접 깨닫습니다. Data와 Solution을 통해 Rule을 알도록 하는 것이죠.Input(Data, Solution) -> Proccess -> Output(Rules) 이 과정을 위해서 수학적 .. Introducing DEEPLABCUT 강력한 markless pose estimation을 지원하는 lib. DEEPLABCUT을 소개한다. ANIMAL POSE ESTIMATION TASK를 수행하던 중, landmark 수정이 필요했고 손쉽게 이용한 도구로써 활용했다. 대부분의 해당 TASK은 인간기준으로 많이 발전했지만, 동물은 미비하다는 점. 그리고 있어도 오픈소스로 공개되지 않아 사용할 수 없다는 점에서 DEEPLABCUT은 매우 매력적이다. CODE뿐 아니라 GUI를 제공하여 이용 허들을 낮췄다는 점이 인상깊어 소개하고자 한다. DeepLabCut이란?DeepLabCut은 동물의 마커 없는 자세 추정(markerless pose estimation)을 위한 소프트웨어 패키지다.동물의 움직임을 추적하며 분석할 수 있게 도와주며 기능.. Multi CUDA - ubuntu 24.04 ubuntu 24.04에서 multi CUDA 설정 과정을 소개한다. 문제 발생 : opensource 테스트 진행 중에 예전 버전의 tensorflow를 필요로 함. 이는 예전 버전의 CUDA를 요구하는 것으로 이어짐. import torchimport tensorflow as tf# PyTorch GPU 사용 가능 여부 확인print("PyTorch GPU available:", torch.cuda.is_available())device = torch.device('cuda:0') if torch.cuda.is_available() else torch.device('cpu')print("PyTorch device:", device)# TensorFlow GPU 사용 가능 여부 확인print("Tens.. CNN : CV #1 CV(computer vision)에서 기본이되는 아키텍처인 CNN을 소개합니다.아이디어를 소개한 후, 용어를 익히고 프로세스를 볼게요.컴퓨터에서 이미지는 pixel. 점으로 이루어져 있습니다. 동물의 눈을 모방하여, 이미지 특징을 부분적으로 추출하고 종합하고 결과적으로 어느 공간에 어떠한 물체가 있는지 맞추는 것을 목표로 해요. 이미지는 구조적 특징, 픽셀간 관계가 연관되어 공간 정보가 중요하고, 최대한 지키기 위해 이미지(2D) 그대로 진행합니다.Convolution layer(필수), pooling layer(선택)를 반복, 마지막에 fully connected layer(필수)를 통과하면서 결과를 내게됩니다.* 색상이 있는 이미지의 경우 RGB. (255,255,255) 3차원 Tensor로 표현.. 이전 1 2 다음
