pocket

머신러닝 모델이 텍스트를 이해하고 잘 분석하기 위해서, 전처리 과정에서 텍스트를 숫자 벡터로 변환하는 벡터화 과정을 거친다.벡터화 방법으로는 1. 통계와 머신 러닝을 활용한 방법2. 인공 신경망을 활용하는 방법 두 가지로 나눌 수 있다.이 글에서는 1번에 대한 내용을 담고 있다. 1. 🛠 Bag of Words (BoW)개념: 문서 내 단어들의 등장 횟수를 기반으로 문서를 표현하는 매우 간단한 방법.단어 가방: 단어들의 순서나 문법적 구조는 무시하고, 단순히 단어의 유무 및 빈도만 고려. 등장 횟수 기록: 각 단어가 문서에 나타난 횟수를 기록 ({"movies": 2}).단어장(Vocabulary): 중복을 제거한 모든 단어들의 집합.활용 도구:1) Keras Tokenizer: 단어와 빈도수를 ..

1. 텍스트 데이터를 문자열로 저장하기1) 인코딩과 디코딩2) 문자열 다루기3) 정규 표현식 2. 파일과 디렉터리 다루기1) 파일 다루기2) 디렉터리 다루기3) 모듈과 패키지 3. 여러 가지 파일 포맷 다루기1) CSV 파일2) XML파일3) JSON 파일 1-1) 인코딩과 디코딩문자열 데이터를 변수에 저장하면 컴퓨터는 주기억장치 메모리 RAM에 저장한다.RAM에 저장될 때 컴퓨터는 0과 1 즉, 이진 데이터로만 표현되기 때문에 이 데이터도 0과 1로 변환돼 저장된다. 어떻게 문자열을 이진수로 표현할까?전 세계 문자를 모두 숫자로 표시할 수 있는 표준 코드인, 유니코드로 표현한다. ord() : 해당 문자에 대응하는 유니코드 숫자 반환chr() : 해당 유니코드 숫자에 대응하는 문자를 반환 ..

🛠 Tensor? 텐서란?딥러닝에서 데이터를 표현하고 계산하기 위한 기본 단위로딥러닝 연산은 모두 텐서 연산으로 이루어진다. 텐서의 차원에 따라 이름이 다르다.텐서 차원설명예시실제 상황 비유0차원 (스칼라)숫자 하나, 크기 없음5, 3.14온도계의 현재 온도 22도1차원 (벡터)숫자들의 나열, 선형 배열[5, 7, 9]시험 점수 리스트: 수학, 영어, 과학2차원 (행렬)행과 열이 있는 데이터 테이블[[1, 2], [3, 4]]엑셀 표처럼 (학생 x 과목 점수)3차원 (큐브)여러 개의 행렬 → 종이 뭉치 느낌[[[1,2], [3,4]], [[5,6], [7,8]]]흑백 이미지 여러 장 (예: 100장의 28x28 사진)4차원각 데이터마다 채널까지 포함된 구조(batch, channel, height, w..

📌[참고문헌]- https://todayisbetterthanyesterday.tistory.com/42- 모두의 연구소 강의 자료이미지는 출처 이슈로 직접 그렸다. 1. 🛠 인공 신경망 모형인공 신경망 모형은 인간의 뉴런 자극 전달 과정에 아이디어를 착안하여 발생한 머신러닝 알고리즘이다.인간은 시냅스를 통하여 다른 뉴런으로부터 자극을 전달받고, 시냅스를 통해 다른 뉴런에게 자극을 전달한다.인공신경망에서는 뉴런을 🛠 노드 또는 뉴런이라 부른다.이 노드들이 여러 개 모이면 🛠 층 layer를 이룬다.이 구조를 수학적으로 모델링한 게 퍼셉트론 perceptron이다. 2. 🛠 퍼셉트론하나의 퍼셉트론은 어떤 구조로 되어있을까?하나의 퍼셉트론은 여러 개의 입력값을 받아 한 개의 출력을 만..