파이썬 7

[빅데이터분석기사] 범주변수의 변환(one-hot-encoding)

1. 데이터범주-연속-레이블로 나누기 # vote(유권자 선거행동) 데이터셋 불러오기 및 확인 import pandas as pd data = pd.read_csv('vote.csv', encoding='utf-8') data.head() # 범주변수와 기타 변수를 각각 X1과 XY로 나누기 X1 = data[['gender', 'region']] XY = data[['edu', 'income', 'age', 'score_gov', 'score_progress', 'score_intention', 'vote', 'parties']] 2. 범주형 변수의 One-hot-encoding 변환 # 성별(gender)과 출신지역(region)의 숫자를 문자로 변환 X1['gender'] = X1['gender']..

[빅데이터분석기사] 파이썬 데이터 정제 실습

1. 데이터 불러오기 및 탐색 import pandas as pd data = pd.read_csv('house_raw.csv') data.head() data.describe() data.hist(bins=50, figsize=(20, 15)) array([, ], [ ], [, ]], dtype=object) 2. 선형회귀 적용(정제 전 데이터) # 특성데이터셋, 레이블 데이터셋 나누기 X = data[data.column[0:5]] y = data[["house_value"]] # 학습용 데이터(tarin)와 테스트용 데이터(test) 구분을 위한 라이브러리 불러오기 from sklearn.model_selection import train_test_split X_train, X_test, y_tr..

[빅데이터분석기사] 넘파이(numpy) 판다스(pandas)

1. numpy 배열 생성 # numpy 배열 기본 import numpy as np v1 = np.array([1, 2, 3, 4]) print(v1) [1 2 3 4] # 연속되거나 일정한 규칙을 가진 숫자 v1 = np.arange(5) print(v1) # 연속되거나 일정한 규칙을 가진 숫자, 데이터 형태 지정 v2 = np.arange(1, 10, 2, dtype=int) v3 = np.arange(3.5, 10.5, 2, dtype=float) print(v2) print(v3) # 제곱값 생성 v4 = np.arange(1, 10, 2)**2 print(v4) # 세제곱값 생성 v5 = np.arange(1, 10, 2)**3 print(v5) [0 1 2 3 4] [1 3 5 7 9] [3..

[빅데이터분석기사] 파이썬(Python) 기초 - 자료형 if문 반복문

1. 숫자형(number) # 정수형, 실수형 a = 123 b = -123.4 a+b -0.4000000000000057 # 8진수 c = 0o34 d = 0o24 c+d 48 # 16진수 e = 0x2A f = 0xFF e+f 297 2. 문자형(String) # 문자열 s = 'WiseInCompany' s1 = 'WiseInCompany' s2 = '''WiseInCompany' s3 = "123" print(s) print(s1) print(s2) print(s3) print(type(s3)) WiseInCompany WiseInCompany WiseInCompany 123 # 문자열 연산하기 a = "Wise" b = "InCompany" print(a+b) a = "WiseInCompany"..

[빅데이터분석기사] 제3회 실기 시험 불합격 후기

안녕하세요! 일전에 빅데이터분석기사 필기시험에 응시해서 합격한 후 지난 12월 4일에 빅데이터분석기사 실기시험에 응시하고 왔습니다! 저는 IT 전공자에 전산실 기획업무를 담당하고 있지만 파이썬이나 R 언어를 다룰일이 없어 시험이 어렵게만 느껴졌던거 같습니다(물론 공부를 더 하면 됐겠지만..). 빅데이터분석기사 시험이 익숙치 않은분들을 위해 소개를 먼저 해드리고, 후기도 작성해드리겠습니다! 빅데이터분석기사 시험이란? 빅데이터분석기사 시험은 한국데이터산업진흥원(K-Data)에서 주관하는 기사급 시험으로 필기시험과 실기시험 두가지를 차례로 합격하시면 자격이 주어지게 됩니다. 실기시험은 빅데이터 분석 실무 관련 단답형과 작업형 문제들을 풀어내셔야 하는데 종이에 적어서 제출하는 방식이 아니라 컴퓨터가 있는 고사장..

[빅데이터분석기사] 파이썬 머신러닝(ML) 기본 틀 맛보기

일단 아래의 머신러닝 전 과정을 한번 훑고, 세부적으로 공부할 것 ---분석데이터 검토--- import pandas as pd data=pd.read_csv('데이터명', encoding='utf-8') data.head() print(data.shape()) ---특성(X)과 레이블(y) 나누기--- X1=data[['a', 'b', 'c']] y=data[['z']] ---train, test 데이터셋 나누기--- from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X1, y, stratify=y, random_state=42) ---정규화(MinMax)--- fr..

[빅데이터분석기사] 실기 시험 준비 전 꿀팁

안녕하세요! 요전번에 빅데이터분석기사 필기 시험에 합격하고 본격적으로 빅데이터분석기사 실기 시험에 대비하려고 하는데, 한국데이터산업진흥원에서 빅데이터분석기사 실기시험 응시 가이드 문서를 올려준게 있더라구요! ※ 원문은 아래 파일을 참고 제약사항에서 몇가지 팁이 있어서 공유하고자 글을 적습니다! 1. 라인별 실행, 그래프 기능, 단축키, 자동완성 기능 미제공 → 라인별 실행이 되지 않는다는 것은 전체 분석 코드를 한 번에 실행하라는 의미이므로, 분석을 하면서 각 단계별 코드 결과를 확인하기보다 데이터 불러오기부터 머신러닝 수행까지 전체 핵심코드를 한번에 수행해야 함 → 단축키와 자동완성 기능이 제공되지 않는다는 것은 코드를 외워서 응시해야한다는 의미 2. 코드 실행 시간은 1분으로 제한 → 수 만건 이상의..