import numpy as np   # 행렬 곱연산
import pandas as pd  # csv 읽기 및 dataframe 을 통한 데이터 핸들링
import matplotlib.pyplot as plt # EDA for outliers
import tensorflow as tf  # tensorflow 기계학습
from scipy import stats  # zscore
from sklearn.model_selection import train_test_split  # train and validation data set split

df = pd.read_csv('./data/titanic/train.csv')  # train 데이터 세트를 사용할 것임.
display(df)

# 이름에서 타이틀 추출 
df['Name'] = df['Name'].apply(lambda x: x.split(',')[1].strip())
df['Title'] = df['Name'].apply(lambda x: x.split('.')[0].strip())

# strip()은 문자열 맨 앞과 맨 뒤에 나오는 화이트스페이스 (띄어쓰기 ' ', 탭 '\t', 엔터'\n')를 제거해줌

train_df = df.drop(['PassengerId', 'Ticket', 'Fare', 'Name', 'Cabin'], axis=1, inplace=False)

train_df['Family'] = train_df['SibSp'] + train_df['Parch']  # 뉴 컬럼 만들고 
train_df.drop(['SibSp', 'Parch'], axis=1, inplace=True)   # 기존 컬럼 삭제

# 성별 0/1 분류
gender_mapping = {'female': 1, 'male': 0}
train_df['Sex'] = train_df['Sex'].map(gender_mapping) 
# 맵 함수를 이용해서 여자면 1의 값을, 남자면 0의 값을 주자.

# 항구 마크 숫자로 치환
# 바로 항구를 숫자로 치환하려고 보니깐, NaN 값이 있다. 
# 결치값 먼저 매꿔주자. 어떻게? 최빈값으로 넣어주자.

train_df['Embarked'].value_counts()
"""
S    644    << 최빈값
C    168
Q     77
Name: Embarked, dtype: int64
"""
train_df['Embarked'] = train_df['Embarked'].fillna('S')

# 항구 마크 숫자로 치환
location_mapping = {'S':0, 'C': 1, 'Q': 2}

train_df['Embarked'] = train_df['Embarked'].map(location_mapp

# 결치값 컬럼 확인
print(train_df.isna().sum(axis=0))  # 행방향으로 na 값 카운트 

"""
Survived      0
Pclass        0
Sex           0
Age         177
Embarked      0
Title         0
Family        0
dtype: int64
"""

# 나는 title 카테고라이징을 괜히 한번 해주었다.

i = 0
title_mapping = {}
for idx in train_df['Title'].value_counts().index:
    title_mapping[idx] = i
    i += 1
    
print(title_mapping)

train_df['Title'] = train_df['Title'].map(title_mapping)
"""
{'Mr': 0, 'Miss': 1, 'Mrs': 2, 'Master': 3, 'Dr': 4, 'Rev': 5, 'Mlle': 6, 'Major': 7, 'Col': 8, 'the Countess': 9, 'Capt': 10, 'Ms': 11, 'Sir': 12, 'Lady': 13, 'Mme': 14, 'Don': 15, 'Jonkheer': 16}
"""

# age 결치값 처리

# title별 나이 평균값 연산
age_group_mean = train_df.groupby('Title')['Age'].mean()
print(age_group_mean)

# nan값만 찾아서 boolean mask로 사용!
nan_mask = train_df['Age'].isnull()
# print(nan_mask)
display(train_df.loc[nan_mask, :])

# 결치값이 있는 Index 별로 찾아서 그룹민을 값으로 넣어준다.
i_list = train_df.loc[nan_mask, :].index
print(i_list)
for i in i_list:
    idx = train_df.loc[nan_mask, 'Title'][i]   
    # nan값이 있는 컬럼에 직접 가서 타이틀 값을 idx로 가져온다
    train_df.loc[nan_mask, 'Age'] = age_group_mean[idx]  
    # 원본 데이터에 nan 값이 있는 행에 직접 액세스해서 가져온 타이틀 값을 age_group_mean에 넣어주어 
    # 집계 함수 평균을 주었다.

zscore_threshold = 1.96  # (97%의 데이터를 살린다)

outlier = train_df['Age'][ np.abs(stats.zscore(train_df['Age']) > zscore_threshold) ]

# print(len(outlier)) # 42개
# print(outlier)
train_df = train_df.loc[ ~train_df['Age'].isin(outlier), :]
display(train_df)  # 849 rows × 7 columns

# age 카테고라이징

train_df.loc[train_df['Age'] < 8, 'Age'] = 0      # 8세 미만 아동
train_df.loc[(train_df['Age'] >= 8) & (train_df['Age'] < 20), 'Age'] = 1     # 청소년 층
train_df.loc[(train_df['Age'] >= 20) & (train_df['Age'] < 60), 'Age'] = 2    # working age
train_df.loc[train_df['Age'] >= 60, 'Age'] = 3    # 노년층

display(train_df)

train_df.drop('Title', axis=1, inplace=True)

# 1. train and validation data split
x_data = train_df.iloc[:,1:]
t_data = train_df.iloc[:,0].values
# print(y_data) # 우선 1차원으로
numcols = len(x_data.columns)

print(np.unique(t_data, return_counts=True))  # (array([0, 1]), array([549, 342]))

train_x_data, valid_x_data, train_t_data, valid_t_data = \
train_test_split(x_data, t_data, test_size=0.2, stratify=t_data, random_state=2)

# 2. node 생성
X = tf.placeholder(shape=[None, numcols], dtype=tf.float32)
T = tf.placeholder(shape=[None, 1], dtype=tf.float32)

# W & b
W = tf.Variable(tf.random.normal([numcols, 1]))
b = tf.Variable(tf.random.normal([1]))

# Hypothesis
logit = tf.matmul(X, W) + b
H = tf.sigmoid(logit)

# loss function
loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=logit, labels=T))

# train 
train = tf.train.GradientDescentOptimizer(learning_rate=1e-4).minimize(loss)

# Session
sess = tf.Session()
sess.run(tf.global_variables_initializer())

# repeatition
for step in range(300000):
    tmp, loss_val = sess.run([train, loss], feed_dict={X: train_x_data, T: train_t_data.reshape(-1,1)})
    
    if step % 30000 == 0:
        print('loss: {}'.format(loss_val))

loss: 0.9275939464569092
loss: 0.5920800566673279
loss: 0.5484859347343445
loss: 0.527471125125885
loss: 0.5122371315956116
loss: 0.5007190108299255
loss: 0.49186426401138306
loss: 0.48495933413505554
loss: 0.4795133173465729
loss: 0.47516167163848877

# 모델 프레딕션 고고 
# accuracy 얼마나 나왔을까?

predict = tf.cast(H > 0.5, dtype=tf.float32)

correct = tf.equal(predict, T)  # predict과 T의 값을 비교, boolean값을 토해냄
accuracy = tf.reduce_mean(tf.cast(correct, dtype=tf.float32))

acc_val = sess.run(accuracy, feed_dict={X: valid_x_data, T: valid_t_data.reshape(-1, 1)})
print(acc_val)   # 0.8117647
# 이상치를 제거했더니 높아졌다.