이상향

# pandas 문법으로 풀이 import pandas as pd a = pd.read_csv('data/mtcars.csv', index_col=0) # Min Max Scale은 (X-min) / (max-min) qsec_max = a['qsec'].max() qsec_min = a['qsec'].min() a['minmax_scaled_qsec'] = (a['qsec'] - qsec_min) / (qsec_max - qsec_min) over_0_5 = a[a['minmax_scaled_qsec'] > 0.5] nrows = over_0_5.shape[0] print(f'Pandas 문법 사용 했을 때 0.5보다 큰 레코드 수는 {nrows}') # sklearn의 MinMaxScaler 사용 i..

안녕하세요! 빅데이터분석기사 3회 필기시험에 붙고나서 3회 실기시험에 떨어지고, 한동안 빅데이터분석기사를 쳐다도 안보다가 이제 슬슬 공부하려던 차인데 갑자기 한국데이터산업진흥원 측에서 출제 유형이 변경된다고 올리셨더라구요! 바로 단답형 유형이 없어지고, 작업형 제3유형이 추가된 것인데요, 작업형으로만 이루어진 실기시험이 더 좋을지는 본격적으로 공부해봐야 알 수 있을 것 같네요. 각설하고, 한국데이터산업진흥원에서 올린 작업형 제3유형 문제는 아래와 같습니다! 통계분석 파트인데, 첫 출제이니만큼 쉽게 나올런지.. 알수가 없습니다. import pandas as pd a = pd.read_csv("data/blood_pressure.csv") # (a) (치료 후 혈압 - 치료 전 혈압)의 평균 mu = (a..

1. 데이터 불러오기 및 데이터셋 분할 # 분석 데이터 불러오기 import warnings warnings.filterwarnings("ignore") import pandas as pd data = pd.read_csv('Fvote.csv', encoding='utf-8') # 특성치와 레이블 데이터셋 구분 X = data[data.columns[1:13]] y = data[['vote']] # 훈련 데이터, 테스트 데이터 분할 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42) 2. Grid Search..

핵심요약 순환신경망(Recurrent Neural Network)은 시간 순서가 있는 데이터를 잘 예측하도록 설계된 인공신경망 모델들 중 하나이다. 과거의 신호를 기억할 수 있는 장치(Hidden State)를 두어 입력신호를 순환, 반복하는 순환적 구조를 갖고 있어서 시간적 순서 특성을 추출하는데 용이하다. 특징 일반적인 인공신경망이 은닉층을 통해 한꺼번에 가중치 연산이 이루어 지는 것과 비교해서 순환신경망은 이전 데이터의 가중치 연산이 다음 데이터에 일정 부분 영향을 줄 수 있도록 구성되어 있다. 이러한 구조는 시간 순서의 정보가 중요한 데이터에서 이전 데이터를 보고 다음 데이터를 예측하는데 도움을 준다. 순차 데이터(Sequential Data) 순서나 시간이 전체 데이터에서 의미가 있으며 그 순서..

핵심요약 합성곱신경망(CNN)은 인공신경망 모델의 하나로 패턴을 찾아 이미지를 분석하는데 특화된 알고리즘이다. 주요 구성은 크게 합성곱(Convolution) 연산과 풀링(Pooling) 연산으로 나눌 수 있다. 합성곱 원본 이미지와 영상의 패턴을 추출할 수 있는 필터(Filter)를 이용하여 특징을 추출하는 과정이다. 필터는 원본 이미지를 움직이면서(Stribe) 이미지의 특징을 뽑아내는 결과물(Feature Map)을 만든다. 결과물(Feature Map)은 원본 이미지릐 인접한 픽셀 간 연관성 있는 패턴 정보를 잃지 않고 반영할 수 있다. 풀링(Pooling) 합성곱 연산을 통해 나온 결과물에서 대푯값들만 뽑아내는 과정이다. 이미지 패턴 정보를 단순화, 추상화하는 작업으로 생각할 수 있다. 풀링의 ..

1. 데이터 불러오기 및 데이터셋 분할 # 분석 데이터 불러오기 import warning warning.filterwarnings("ignore") import pandas as pd data = pd.read_csv('Fvote.csv', encoding='utf-8') # 특성치와 레이블 데이터셋 구분 X = data[data.columns[1:13]] y = data[['vote']] # 훈련 데이터, 테스트 데이터 분할 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, statify=y, random_state=42) 2. Grid Search # ..

1. 데이터 불러오기 및 확인 # 분석데이터(선거행동) 불러와서 데이터 확인 import pandas as pd data = pd.read_csv("Fvote.csv', encoding='utf-8') data.head() data.describe() data.hist(figsize=(20, 10)) 2. 특성(X)과 레이블(y) 나누기 # 특성 변수와 레이블 변수 나누기 X = data.loc[:, 'gender_female':'score_intention'] y = data[['vote']] # 특성변수와 레이블 변수 행열확인 print(X.shape) print(y.shape) (211, 13) (211, 1) 3. train-test 데이터셋 나누기 # 학습용 데이터(train)와 테스트용 데이터..

1. 특성치(X), 레이블(y) 나누기 # 데이터셋 불러오기 및 확인 import warnings warning.filterwarnings("ignore") import pandas as pd data = pd.read_csv('Fvote.csv', encoding='utf-8') data.head() # 특성변수 데이터셋 나누기 # 방법1 : 특성이름으로 데이터셋 나누기 X = data[['gender_female', gender_male', 'region_Chungcheong', 'region_Honam' 'region_Others', region_Sudo', 'region_Youngnam', 'edu', 'income', 'age', 'score_gov', 'score_pregress', 'scor..

1. 데이터범주-연속-레이블로 나누기 # vote(유권자 선거행동) 데이터셋 불러오기 및 확인 import pandas as pd data = pd.read_csv('vote.csv', encoding='utf-8') data.head() # 범주변수와 기타 변수를 각각 X1과 XY로 나누기 X1 = data[['gender', 'region']] XY = data[['edu', 'income', 'age', 'score_gov', 'score_progress', 'score_intention', 'vote', 'parties']] 2. 범주형 변수의 One-hot-encoding 변환 # 성별(gender)과 출신지역(region)의 숫자를 문자로 변환 X1['gender'] = X1['gender']..

핵심요약 심층신경망(Deep Neural Network)은 인공신경망(Aritificial Neural Network)과 동일한 구조와 동작 방식을 갖고 있다. 심층신경망은 단지 인공신경망에서 은닉층(Hidden Layer)의 깊이가 깊어진 형태를 말한다. 신경망의 발전계기 인공신경망의 기본 아이디어가 나온 것은 1950년대이고 이후에 발전을 거듭하지만 불과 2000년대 중반까지만 해도 사람들로 하여금 그다지 알려지고 활용되던 기술이 아니었다. 여기에는 몇 가지 이유가 있는데 하나는 당시에 GPU와 같은 수많은 가중치를 빠르게 계산할 수 있는 자원(Resource)이 충분치 않았고, 사람이 원하는 수준으로 성능을 올리기 위해서 필요했던 충분한 양의 데이터(Data)를 모으기에도 인프라가 부족했다. 또한 ..