pocket

출처: https://velog.io/@yuns_u/Data-Processing ✅ 새로 알게 된 개념이나 학습 내용🧠📘💡데이터 전처리 과정에 대해 깊이 있게 학습하였다."데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 데이터 클리닝하는 시간을 불평하는데 쓰인다."-'kaggle' 창립자 Anthony Goldbloom- 인용된 말에서도 알 수 있듯이,전처리는 매우 중요한 부분이라 따로 정리해 보았다. 데이터 전처리(Data Preprocessing)데이터 전처리(Data Preprocessing)는 특정 분석에 적합하게 데이터를 가공하는 작업을 의미한다. 데이터 전처리 개요필요한 이유: 분석에 부적합한 구조, 누락된 항목, NA(결측값) 존재 등으로 인해 전처리 과정이 ..

git rev-parse --show-toplevel git init한 곳이 어딘지 확인하는 명령어 your branch is ahead of origin/master by 2 commits"로컬 브랜치가 원격 저장소(origin/master)보다 커밋 2개 앞서 있다” 즉 아직 푸시(push) 안 된 커밋이 2개 있다는 뜻 강제로 push하여 해결하기git push origin master --force // ⚠️ 다른 사람이 작업한 걸 덮어쓸 수 있으니, 혼자 관리하는 저장소일 때만!! 강제로 push하는 방법을 택했다.어차피 혼자 관리하는 레포라서 덮어쓰기하면 된다.아래의 코드에서 git push 대신에 git push origin master --force 를 사용하면 된다. 깃허..

Jupyter에서 pip를 직접 실행하는 것이 아닌, !pip을 사용해야 하는 이유는 Jupyter가 내부적으로 외부 셸 명령어를 실행하기 위해 !을 사용하는 방식이다.!pip 대신 pip만 사용하면 제대로 설치가 되는 경우도 있지만, 환경에 따라 다를 수 있다. !pip install geopyfrom geopy.distance import distanceModuleNotFoundErrorModuleNotFoundError: No module named 'geopy'설치는 되는데 import부분에서 에러났다. pip list자세히 보니 geopy가 설치가 되어 있지 않아서느낌표를 제거하고 다시 설치했다. pip install geopyfrom geopy.distance import ..

첫 번째 이야기 Meta📚 주요 내용최근 메타(Meta)가 내부 고발자 사라 윈-윌리엄스의 폭로로 논란에 휘말렸다. 사라 윈-윌리엄스: 전직 글로벌 공공정책 책임자, 미국 상원 청문회 출석주장 내용:메타가 중국 정부와 협력하여 검열 도구 제공미국 사용자 데이터를 중국 당국에 노출메타의 반응: 주장 부인, 중국 내 법률과 정책 준수한다고 해명영향:정보 자유와 개인 정보 보호 논란글로벌 기업의 윤리적 책임에 대한 논의 촉발 https://youtu.be/i9T2RKmWg80💬거대한 미국 기업에서도 이런 문제가 발생하니, 사용자들이 불안해할 수밖에 없다.이런 상황은 사람들이 해당 서비스를 이용하는 데 더욱 큰 우려를 불러일으킨다.개인정보 보호와 신뢰성에 대한 논란이 더 대두되는 이유이지 않을까 생각한다. ..

1. 프로젝트 개요🎯 목표고객 세분화 및 타깃 마케팅을 위한 RFM 분석 수행🛠️ 사용한 도구BigQuery💻 사용한 언어SQL🧾 분석 대상고객의 구매 데이터📊 분석 방법RFM 분석 (Recency, Frequency, Monetary) 2. RFM 분석이란?Recency (최근성): 고객이 마지막으로 구매한 시점으로부터 얼마나 시간이 지났는지Frequency (빈도): 고객이 얼마나 자주 구매했는지Monetary (금액): 고객이 얼마나 많은 금액을 지출했는지세 가지 요소를 바탕으로 고객을 세분화하여, 각 그룹에 맞는 마케팅 전략을 세울 수 있도록 돕는 방법이다. 3. 학습한 내용BigQuery 사용법: 대용량 데이터 처리 및 SQL 쿼리 최적화 기법을 학습하였다.RFM 분석: 고객의 ..

✅ 새로 알게 된 개념이나 학습 내용🧠📘💡1. SQLD에서 공부한 범위와 동일했다.group by와 윈도우 함수의 partition by와의 차이에 대해 알게 되었고전체적으로 SQL 심화 개념까지 복습할 수 있었다. 2. BigQuery 툴 및 서비스를 사용하였다.workbench와 oracle을 사용해 본 적이 있어서그다지 어렵게 느껴지진 않았다.SQL을 또 다뤄볼 계기가 되어 좋았다. 3. 프로젝트를 진행하는데 RFM분석 중에서 recency에 관련된 문제가 도저히 이해되지 않았다.정답 결과가 아래와 같이 나온다고 한다. (전체 유저별 중 가장 마지막 구매일) - (유저별 가장 마지막 구매일) = recency전체 유저별 중 가장 마지막 구매일은 2011-12-09이었다.위의 결과에서 모두 0이..

첫 번째 이야기 Agent 워크숍💬 다양한 분야의 사람들이 참여 = 서비스형 AI, 에이전트 개발에 대한 관심이 커지고 있다는 평💬 서비스 개발 AI 쪽에 흥미가 생긴다는 평  1. AutoGen 에이전트 대화 실습에이전트끼리 피드백을 주고받으면서 시나 시나리오를 만들어가는 장면은 꽤나 창의적이었다.실제 서비스로 발전하면 창작 돋게도 충분히 쓰일 테지만,과연 좋은 영향일까란 의구심이 들기도 하다. (출처, 저작권 문제가 분명 있을 것 같다) 2. 데이터 분석용 에이전트 제작 (Gemini + langGraph)Gemini API와 langGraph를 활용해서:실행 툴 & 데이터 기반으로 자동 인사이트 추출검색 도구를 이용해 기업 정보 자동 정리 & 보고서 작성   💬 사실상 AI 데이터 분석가인 듯..

학습 내용SQL 심화 콘텐츠는 총 4개의 노드로 구성되어 있다.✅  빅데이터 톺아보기빅데이터를 지탱하는 툴과 기술빅쿼리(BigQuery) 실습 환경 설정하기https://jpocket.tistory.com/29 [Big Query] 빅쿼리 시작하기https://cloud.google.com/free?utm_source=google&utm_medium=cpc&utm_campaign=japac-KR-all-ko-dr-BKWS-all-core-athena-EXA-dr-1710102&utm_content=text-ad-none-none-DEV_c-CRE_668690472449-ADGP_Hybrid+%7C+BKWS+-+EXA+%7C+Txt+-GCP-General-core+brand-main-KWID_437jpoc..

학습 내용✅ 윈도우 함수(1): 함수 구조와 순위 함수윈도우 함수란? 함수 구조 살펴보기순위 함수: RANK, DENSE_RANK, ROW_NUMBER✅ 윈도우 함수(2): 집계 함수집계 함수: SUM, AVG, MAX, MIN행 순서 집계 함수: FIRST_VALUE, LAST_VALUE, LAG, LEAD✅ 그룹 함수그룹함수란? 함수 구조 살펴보기ROLLUP, CUBE, GROUPING SETS     🛠 윈도우 함수 📌 형태SELECT 컬럼 명,WINDOW_FUNCTION(ARGUMENTS) OVER ([ PARTITION BY 컬럼 ] [ ORDER BY 절 ][WINDOWING 절]) FROM 테이블 명;  윈도우 함수는 over 구문이 필수다.윈도우 함수의 종류에 대해 알아보겠다.   🛠..

학습 내용SQL 심화 콘텐츠는 총 4개의 노드로 구성되어 있다.✅  빅데이터 톺아보기빅데이터를 지탱하는 툴과 기술빅쿼리(BigQuery) 실습 환경 설정하기https://jpocket.tistory.com/29 [Big Query] 빅쿼리 시작하기https://cloud.google.com/free?utm_source=google&utm_medium=cpc&utm_campaign=japac-KR-all-ko-dr-BKWS-all-core-athena-EXA-dr-1710102&utm_content=text-ad-none-none-DEV_c-CRE_668690472449-ADGP_Hybrid+%7C+BKWS+-+EXA+%7C+Txt+-GCP-General-core+brand-main-KWID_437jpoc..