Jinote

비전공자를 위한 인공지능 입문과정 노트 Day 3

Mon, 03 May 2021 13:57:02 GMT

2019년 양재R&CD혁신허브에서 진행된 AI School 2기 비전공자를 위한 인공지능 입문과정에서 필기한 내용입니다. 처음 3일 분량만 필기가 보관되어 있어 공유합니다🙂

강사: 이상훈

딥러닝 이야기:

딥러닝 학습원리 및 환경

Contents

Machine Learning Pipeline
Neural Network 기본 원리
Deep Neural Network로의 발전
딥러닝을 위한 환경

Machine Learning Pipeline

Data acquisition and understanding
- Problem Definition
- Data Collection
Modeling
- Feature Engineering
- Model Selection
- Optimization
- Evaluation
Deployment
- Containers
- Reporting
- Applications
- Databases

Feature Engineering

비정제 데이터: 비정제 데이터는 피쳐 벡터 형태로 구성되어 있지 않다.
↓
피쳐 추출
↓
피쳐 벡터: 비정제 데이터에서 피쳐를 생성하는 과정을 피쳐 추출이라 함.

예시)

house_info : {
	num_rooms: 6
	num_bedrooms: 3
	street_name: "Shorebird Way"
	num_basement_rooms: -1
	...
}

이러한 Json 형식 데이터에서 street_name 피쳐를 추출하여 컴퓨터로 처리할 수 있도록 one-hot encoding 할 수 있음

street_name 피쳐 =
[0, 0, ..., 0, 1, 0, ..., 0]
V 크기는 고유한 거리 이름 수

Feature Engineering 시 고민해야 할 부분

데이터의 표현 방식
- 스칼라, 벡터, Space 등
데이터 변환
- 연속형? 범주형?
- 바이너리?
- Binning?
텍스트, 이미지, 음성 등
one-hot encoding, digit recognition

Model Selection

예측모델이 실제 현상을 Underfitting 또는 Overfitting하지 않도록 고려하여 모델을 선택해야 한다.

Evaluation을 더 잘하기 위한 방법

데이터를 train data와 validation data, test data로 split 하여 사용

train data를 이용하여 모델 학습
validation data를 이용하여 hyperparameters 결정
test data를 이용하여 모델 평가

Neural Network 기본 원리

Single Layer Perceptron

y= \begin{cases} 0,&\text{if}\quad x_1w_1+x_2w_2+\dots\leθ \\ 1,&\text{otherwise} \end{cases}

x: 입력 신호 (input)
y: 출력 신호 (output)
w: 가중치. 입력 신호별 고유의 가중치를 가진다.
θ: 임계치(값). 뉴런을 활성화 시키는 한계

Single Layer Perceptron은 XOR과 같은 문제를 풀 수 없다는 한계가 있다.

Multi Layer Perceptron

Digit Recognition의 경우

784 Inputs
$u_j=\sum w_{ij}x_i$
$u'_k=\sum w'_{jk}u_j$
10 Outputs

Propagation

Forward propagation
- input training data로부터 output을 계산하고, 각 output neuron에서의 error를 계산
Back propagation
- output neuron에서 계산된 error를 각 edge들의 weight를 사용해 바로 이전 layer의 neuron들이 얼마나 error에 영향을 미쳤는지 계산

참고: http://sanghyukchun.github.io/74/

Neural Network의 형태에 따라 학습과정을 살펴볼 수 있는 사이트: http://playground.tensorflow.org

Gradient Descent (GD)

Gradient

가장 적합한 모델은 오류를 최소화 하는 likelihood를 최대화 하는 것이다.
Gradient란 함수가 가장 빠르게 증가할 수 있는 방향을 의미(편미분, 점 (x, f(x))에서 함수와 접하는 선의 기울기)
F가 단변수 함수인 경우, 점 x에서의 미분값은 x가 아주 조금 변했을 떄 f(x)의 변화량을 의미
```
def difference_quotient(f, x, h):
	return (f(x + h) - f(x)) / h
```

Step size(learning rate)

한번 학습할 때 해가 이동하는 거리에 대한 비율
시간에 따라 이동거리 줄임
이동할 때마다 목적함수를 최소화

Optimization

Local minimum에 빠지지 않고 global minimum에 도달할 수 있도록 gradient descent algorithm을 선택하고 learning rate를 조절해야 한다.
gradient descent algorithm의 종류
- SGD
- Momentum
- Adagrad
- Adam
- …
좋은 learning rate는 예측 오류가 점점 줄어드는 형태를 보인다.

Activation Function

선형성에 비선형성을 가미하는 함수

Sigmoid
Hyperbolic Tangent (tanh)
Rectified Linear Unit (relu)
Leaky Relu
Parametric Relu
…

Sigmoid

Nonlinear를 추가해서 모델을 복잡하게 만들기
Gradient vanishing
Not zero-centered → 지그재그 문제

Hpyerbolic Tangent (tanh)

Gradient vanishing
Not zero-centered → 지그재그 문제

Rectified Linear Unit (relu)

sigmoid나 tanh 함수와 비교했을때 SGD의 수렴속도가 매우 빠름
piece-wise linear
계산이 간단함
단, Dead 뉴런 발생 가능성 존재 (활성화되지 않은 값은 무조건 0)

Leaky Relu와 Parametric Relu (p-relu)

기존 relu를 보완
마이너스 값도 약간 활용됨

Weight Initialization

초기 가중치를 어떻게 주느냐에 따라 결과가 달라지기도 한다.

모든 가중치를 0으로 초기화
- 선형모데롭다 좋지 않을 수 있다.
무작위로 가중치 초기화
- 값이 사라지거나 폭발하는 두 가지 문제가 발생할 수 있다.
Xavier, He Initialization 사용
- w = np.random.randn(ninput, noutput) / sqrt(n_input/2)

DropOut

Regularization의 일종으로 hidden node를 모두 훈련시키지 않고 랜덤하게 drop out 시킨다.

drop out된 node와 관련된 weight들은 모두 훈련되지 않는다.

DropBlock

CNN에서 랜덤하게 drop out 시키는 것은 큰 의미가 없을 수 있다.

인접한 영역을 drop 시키는 방법

ResNet (Residual Networks)

Networks의 depth가 늘어난다고 무조건 성능이 좋아지지는 않는다. (degration 문제(gradient vanishing /exploding) )

residual(잔차)를 학습시켜 더 깊은 networks를 이전보다 더 쉽게 학습시키도록 만드는 방법

Confusion Matrix

모델의 성능을 평가하기 위한 지표로 사용된다.

Hyper-parameter tuning

하이퍼파라미터는 모델의 파라미터를 측정하기 위해 알고리즘 구현 과정에서 사용되는 변수이다.

딥러닝 모델의 경우 학습률, 미니배치 크기, L2 정규화 계수 등이 있다.

대표적인 하이퍼파라미터 튜닝 방법: Grid Search, Random Search

그리드 탐색 (Grid Search)
- 모델에 적용하고 싶은 하이퍼파라미터 값을 미리 정해두고 하나씩 적용해보며 모델의 성능이 더 좋은 하이퍼파라미터를 찾아가는 방법
- scikit-learn의 GridSearchCV 이용
랜덤 탐색 (Random Search)
- 지정된 범위 내에서 하이퍼파라미터 값을 임의로 적용하면서 모델의 성능이 더 좋은 하이퍼파라미터 값을 찾아가는 방법
- scikit-learn의 RandomizedSearchCV 이용
Baysian Optimization
- $f(x)$ 의 형태를 명확하게 알 수 없으면서 계산하는데 오랜 시간이 소요되는 경우, 가능한 적은 수의 후보 $x$ 값에 대해서 $f(x)$ 를 순차적으로 조사하면서 최적해 $x$ 를 찾아가는 방법
- 하이퍼파라미터 튜닝에 적용한다면 $x$ 는 하이퍼파라미터, $f(x)$ 는 모델의 성능 (accuracy, precision, …)
- 참고
앙상블 학습 (Encemble learning)
- 좋은 성능의 모델 여러개를 연결하는 방법
- 최상의 단일 모델보다 좋은 성능을 보이는 경우가 많다.

인공신경망 학습 레시피

https://karpathy.github.io/2019/04/25/recipe/

번역글: https://bit.ly/2vlTtWu

Deep Neural Network로의 발전

Convolution Neural Network

Digit Recognition 문제에서 완전연결 계층(fully connected layer)을 이용하려면 3차원 데이터를 1차원 데이터로 풀어야 한다.
- 이러한 방법은 데이터의 형상이 무시되어 이미지의 위치, 크기, 각도, 조명 변화 등에 취약하다.
방법
1. 동일한 이미지를 이동, 왜곡, 반전, 필터 적용 등으로 임의로 변형시켜 데이터를 부풀려 사용
2. 입력 데이터의 형상을 유지할 수 있는 합성곱층(Convolution Layer) 이용

참고: https://excelsior-cjh.tistory.com/180

Recurrent Neural Network

시계열 데이터 인식 및 예측에 사용된다.
- 음성인식, 번역, 자율주행, 전력 예측 등
모든 입력과 출력이 각각 독립적인 것이 아니라 순차적으로 처리된다고 가정
관심있는 시퀀스 정보가 5개의 단어로 이루어진 문장이라면, RNN 네트워크는 단어당 하나의 레이어씩 5-layer 신경망 구조로 펼쳐진다.

Character-level language model example

참고: http://karpathy.github.io/2015/05/21/rnn-effectiveness/

RNN의 형태와 사례

RNN 발전버전

Bidirectional RNN
Deep Bidirectional RNN

참고: https://buomsoo-kim.github.io/keras/2019/07/29/Easy-deep-learning-with-Keras-20.md/

LSTM

장기 의존성 문제 (long-term dependency)
- e.g. “나는 프랑스에서 자랐습니다. (…) 나는 ???어를 잘합니다.”
- (…) 이 부분이 늘어날 수록 ???을 예측하기 어려워진다.
LSTM은 이러한 장기 의존성 문제를 어느정도 해소 가능

참고: https://firmcode.tistory.com/15

딥러닝을 위한 환경

Deep Learning Framework

Tensorflow

History
- 구글 내부에서 사용하던 프레임워크를 고도화하여 오픈소스화
- 2015년 11월 첫 릴리즈
- 구글 서비스 및 프로젝트에 범용적으로 사용 중
장점
- 연구뿐만 아니라 실무에서도 활발하게 사용되어 가장 두터운 사용자 층을 가지고 있다.
- Tensorboard
단점
- 상대적으로 속도가 느리다.
- 버전에 따른 API 변화가 심하고 API 정리가 필요
- Tensorflow 2.0에서 큰 변화중

Pytorch

History
- Facebook에서 주로 개발됨
- 2017년 10월 첫 릴리즈
- Torch를 Python 버전으로 새로 개발
장점
- 최근 연구는 Pytorch가 조금 더 많은 편
- 코드가 간결한 편
단점
- Tensorflow에 비해 사용자 층이 협소한 편
- 보통 스스로 학습 코드를 작성해야 한다.

Keras

History
- Francois Chollet이라는 구글 직원이 theano의 high-level 인터페이스를 위해 개발 (‘15 3월)
- 이후 Tensorflow가 출시되어 Tensorflow도 지원 (2.0에는 Tensorflow 내부에 내장)
장점
- 코딩이 매우 단순하고 Pretrained model 등을 지원
- 빠르게 모델링하여 시행착오를 줄일 수 있다.
- Caffe, torch, tensorflow 모델 import 가능
단점
- High-level 인터페이스이기 때문에 디테일한 작업은 어렵다.
- 상대적으로 최신버전 사용이 어렵다.

딥러닝 환경 구성방안

개인 스터디용 환경

윈도우 데스크탑 + VMware or Virtual Box
리눅스 데스크탑
- GTX-1060 or GTX-1080Ti
Cloud 서비스 이용
- Amazon, Google, MS 등
- 무료 크래딧 최대한 활용
- 편리하지만 데스크탑보다 비쌀 수 있음
Google Colab
- 실습: https://colab.research.google.com/notebooks/welcome.ipynb?hl=ko
- Google Drive 연동을 해놓지 않으면 데이터가 날아갈 수 있으니 주의
추가적인 환경 및 기타
- JupyterLab, Anaconda +
- Docker

비전공자를 위한 인공지능 입문과정 노트 Day 2

Mon, 03 May 2021 13:57:01 GMT

강사: Keras Korea 전미정 / 안드로이드 개발자 (Blink, BFT, BBL, maptales)

코드없이 만드는 머신러닝
Classification 모델 생성

Azure ML Studio 소개

Azure란

마이크로소프트에서 제공하는 클라우드 서비스

Azure AI Service

Machine Learning
- custom model 생성
Cognitive Service
- microsoft model 활용

Azure Machine Learning Studio

Visual Interface
Drag & Drop
No Terminal
No code
R, Python, SQL
tensorflow

머신러닝 과정

문제정의
데이터 셋 준비
모델 설정
모델 훈련 / 평가
모델 활용

Azure에서는 문제정의를 제외한 단계에서 총 111개 모듈을 사용 가능

Azure Machine Learning Studio

https://studio.azureml.net (마이크로소프트 계정 필요)

타이타닉 탑승객 생존 여부 예측 예제 실습

데이터 전처리
모델 학습 / 예측

데이터 전처리

데이터셋 업로드

데이터 지원 형식

헤더가 있거나(.csv) 없는(.nh.csv) 쉼표로 구분된 값(CSV)
헤더가 있거나(.tsv) 없는(.nh.tsv) 탭으로 구분된 값(TSV)
일반 텍스트(.txt)
Excel 파일, Azure 테이블, Hive 테이블
SQL 데이터베이스 테이블
SVMLight 데이터(.svmlight)
특성 관계 파일 형식(ARFF) 데이터(.arff)
Zip 파일(.zip)
R 개체 또는 작업 영역 파일(.RData)

데이터 지원 유형

문자열
정수
double
BOOLEAN
Datatime
timespan

Experiment 만들기

Module list, Properties

데이터 로딩

데이터 탐색

열 선택

사용할 feature와 label만 남긴다.

열 이름 변경

Module list → Data Transformation → Manipulation → Edit Metadata
Edit Metadata 모듈을 Select Columns in Dataset 모듈과 연결
Properties → Launch column selector → 모든 columns 선택
Properties → New column names → 열 순서대로 변경할 이름을 ,로 구분하여 입력

기존 열 이름	변경된 열 이름
pclass	선실등급
survived	생존여부
sex	성별
age	나이
sibsp	형제배우자
parch	부모자식
fare	요금
embarked	출항지

run

항상 run 이후에는 모듈 노드 최하단에 있는 점을 우클릭하여 visualize를 확인해 보는 것이 좋다.

범주형 변수 선언

새로운 Edit Metadata 모듈 연결
Properties → Launch column selector → 선실등급, 생존여부, 성별, 출항지 선택
Properties → Categorical → Make categorical
run

Label 선언

새로운 Edit Metadata 모듈 연결
Properties → Launch column selector → 생존여부 선택
Properties → Fields → Label
run

Label data type 선언

새로운 Edit Metadata 모듈 연결
Properties → Launch column selector → 생존여부 선택
Properties → Data type → Boolean
run

Missing Data 처리

Module list → Data Transformation → Manipulation → Clean Missing Data
Clean Missing Data 모듈을 직전 모듈과 연결
Properties → Launch column selector → 나이 선택
Properties → Cleaning mode → Replace with mean (missing value를 평균값으로 대체)
run
새로운 Clean Missing Data 모듈을 직전 모듈 하단 왼쪽 포인트와 연결
Properties → Selected columns가 기본값인 All columns로 설정되어있음
Properties → Cleaning mode → Remove entire row (missing value를 가진 행을 삭제)
run

데이터셋 분리

Module list → Data Transformation → Sample and Split → Split Data
Split Data 모듈을 직전 모듈 하단 왼쪽 포인트와 연결
Properties → Splitting mode → Split Rows (default)
Properties → Fraction of rows in the first output dataset → 0.8 (train dataset 비율, test dataset 비율은 0.2가 됨)
Properties → Random seed → 0보다 큰 정수 아무거나 입력

Random seed를 설정하는 이유: 여러 종류의 모델을 실험할 때 데이터를 랜덤하게 선택해서 결과가 바뀌는 상황을 방지하기 위해서이다.

Properties → Stratified split → True → Launch column selector → 성별 선택

Normal split

구성원 전체 N명 중 n명 분리
ex) 1/2로 나눈다면
AAAABB → AAA / ABB or AAB / AAB

Stratified split

같은 비율로 A와 B에서 따로 분리
ex) 1/2로 나눈다면
AAAA BB → AA / AA, B / B → AAB / AAB

run

모델 학습 / 예측

모델의 종류

Supervised Learning
- Classification
- Regression
- Anomally detection
Unsupervised Learnin
- Clustering
Reinforcement Learning

모델 선정 기준

Accuracy
- 어느정도의 정확도 품질을 요구하는지
Parameter
- 조정할 수 있는 파라미터(하이퍼 파라미터)가 무엇인지
Training Time
- 훈련 시간이 길어도 되는지 짧아야 되는지
Feature
- Feature 수가 많은지 적은지
Linearity
- 선형 모형인지
etc.

알고리즘 치트 시트 참고

https://docs.microsoft.com/ko-kr/azure/machine-learning/studio/algorithm-cheat-sheet

모델 선택

Module list → Machine Learning → Initialize Model → Classification → 이진 분류 모형 선택 (여기서는 Two-Class Average Perceptron을 사용했음)
Properties → 알맞게 설정 (여기서는 Learning rate을 0.1로 설정하고 다른 설정은 기본값으로 둠)

Classification Model	특징
Average Perceptron	데이터셋이 간단한 경우 정확도 < 속도
Bayes Point Machine	오버피팅이 우려되는 경우 간단한 셋팅
Boosted Decision Tree	높은 정확도가 필요한 경우 메모리 사용률 높음
Decision Forest	앙상블 모델에 적합 효율적인 메모리 사용
Decision Jungle	뛰어난 일반화 성능 효율적인 메모리 사용 다소 긴 훈련 시간
SVM(Support Vector Machine)	Feature가 많은 경우 속도 > 정확도
Locally Deep SVM	Feature가 많은 경우 SVM 보다 빠른 속도 적은 모델 용량
Logistic REgression	통계적 접근법 숫자 변수 활용
Neural Network	인공신경망 레이어 다양한 parameter 조절이 가능

모델 학습

Module list → Machine Learning → Train → Train Model
Train Model 모듈의 상단 왼쪽 포인트를 모델 모듈(Two-Class Average Perception)과 연결
Train Model 모듈의 상단 오른쪽 포인트를 Split Data 모듈 하단 왼쪽 포인트와 연결
Properties → Label column → Launch column selector → 생존여부 선택
run

Test Data 예측

Module list → Machine Learning → Score → Score Model
Score Model 상단 왼쪽 포인트를 Train Model 모듈과 연결
Score Model 상단 오른쪽 포인트를 Split Data 하단 오른쪽 포인트와 연결
run

모델 평가

Module list → Machine Learning → Evaluate → Evaluate Model
Evaluate Model 모듈 상단 왼쪽 포인트를 Score Model 모듈과 연결
run

Accuracy: 전체중에 얼마나 맞췄는가?

Precision: 예측한 True 중에 실제 True가 얼마인가? (실제 False가 True로 예측되면 좋지 않은 경우 (ex. Spam 메일 추출) 이 척도를 본다.)

Recall: 실제값이 True인데 예측은 얼마나 맞췄는가? (True가 정말 중요한 경우 (ex. 암세포 진단) 이 척도를 본다.)

F1 Score: Precision과 Recall을 적절하게 섞은 척도

비전공자를 위한 인공지능 입문과정 노트 Day 1

Mon, 03 May 2021 13:57:00 GMT

2019년 양재R&CD혁신허브에서 진행된 AI School 비전공자를 위한 인공지능 입문과정에서 필기한 내용입니다. 처음 3일 분량만 필기가 보관되어 있어 공유합니다🙂

강사: Keras Korea 전미정 / 안드로이드 개발자 (Blink, BFT, BBL, maptales)

인공지능 개론
인공지능 사례
머신러닝 개론

인공지능 개론

인공지능

기계가 인간과 비슷하게 동작하게 하는 기술

인식 (보고, 듣고)
이해 (학습, 분석)
반응 (결과)

AI의 시작

1950년대 중반 엘런 튜링

“인간과 대화를 주고받을 수 있는 컴퓨터는 지능이 있다.”

튜링 테스트의 예

질문: 너 어디에 사니?
A 편의점에서 샀어
B 나는 서울에 살아

3명중에 2명 이상이 기계를 선택하면 튜링테스트 통과

최초 튜링테스트 통과: 2014년 유진 구스트만(Eugene Goostman) (논란은 있음)

튜링테스트 비슷한 예: 2018 Google I/O 영상

AI가 폭발적으로 발전할 수 있었던 요소

big data
- KB MB GB TB PB EB
- 2015년 7900 EB
- 많은 데이터를 처리하기 위한 방법이 머신러닝
hardware
- CPU에는 ALU(병렬처리가 가능한 장치)가 4개 정도
- GPU에는 ALU가 꽤 많음
- FPGA
algorithm (machine learning, deep learning)
cloud service
- Data + Algorithm + Compute 이것을 모두 갖추기는 어려움 (비용 문제)
- AWS, Azure, Google Cloud, …

인공지능 사례

마케팅

넷플릭스
- 시청 콘텐츠 약 75% AI 추천
- 사용자 취향에 맞는 영화 포스터 제공

식품

E&J Gallo 와이너리
- 포도의 상태에 따라 필요한 물의 양 예측(인공위성 사진, 포도밭의 센서)
- 물 사용량 25% 감소, 포도 수확량 30% 증가, 비용 절감, 포도 품질 향상
미국 노스캐롤라이나주 Sugar Creek
- 맥주 숙성 시간, 온도, pH, 압력, 탄산 정도 분석 => 맥주 품질 향상
- Bosch 정밀 유압계 + IoT 센서 => 병입과정에서 발생하는 파손 문제 해결
롯데제과 x IBM
- 소셜 데이터, POS 판매 데이터, 구매 연령, 지역별 소비 분석
- 결과: 꼬깔콘 버팔로 윙맛 추천, 빠다코코넛 + 앙버터

스포츠

NBA
- 매시즌 연봉 6억원의 선수 선발
- 슛, 어시스트, 리바운드, 개인성향 , 팀워크, 팀 기여도 예측
프로야구
- 이미지 인식 기술을 이용해 베스트 샷(사진) 제공
Real Madrid
- 팬들의 SNS 분석 => 팬이 좋아하는 경기, 선수에 따라 굿즈 정보 등 제공

보안

호주 국립 은행 ATM
- 얼굴인식기술로 인증
Uber
- 운전자가 앱에 등록된 기사인지 사진을 찍어 판별하는 얼굴인식기술 이용
Shell (셀프 주유소)
- 주유 중 담배피는 상황을 CCTV를 통해 인식하고 경고음을 주는 기술

의료

365 mc
- 지방 흡입 시술 및 회복 상황 분석 (Azure 이용)
한국 원자력 연구원
- 골다공증 진단 x-ray 사진을 고해상도로 바꿔주는 기술
영유아의 골격 성장 예측

농수산

경작물 분류
- 위성 사진으로 작물의 종류를 판별하는 기술 (통계자료로 활용)

고객 서비스

맥도날드 맥드라이브
- 주문 소리가 안들리는 문제
- 주문자의 소리를 인식해 주문서를 작성해 주는 기술 (STT 활용)
어린이 병원
- 보호자들을 안심시키기 위한 서비스
UPS (택배 서비스)
- 택배의 위치, 맡길 수 있는 장소 등을 알려줌
영국 철도
- 스카이프나 페이스북과 연동되는 챗봇을 이용해 개인별 전철 도착 시간 등을 제공

환경

동물보호
- 멸종 위기에 놓인 코뿔소 개체수 보존을 위해
- 코뿔소 주변에 많이 있는 영양, 얼룩말에 센서를 달고 모니터
제설 작업
- 제설차 앞쪽에 센서를 장착해 압력, 기압 등을 체크하고 앞으로 내릴 눈의 양을 예측
식수 확보
- 옥스포드 대학에서 식수가 부족한 지역에서 식수를 구하기 위한 연구
- 날씨에 따라 식수의 위치, 우물의 깊이 등을 예측
토지
수중 생태계
- 수중 생태종의 개체의 증감율을 수중 카메라 및 적외선 센서를 이용해 측정하고 예측

암세포 진단: 인간과 AI가 함께 진단하는 것이 그렇지 않은 경우보다 진단률이 높음

분야에 따라 인간이 할 수 있는 분야와 AI가 뛰어난 분야가 따로 있고 함께 하는 것이 좋은 분야도 있다.

머신러닝 개론

인공지능(1950) { 머신러닝(1980) { 딥러닝(2010) }}

인공지능
- 기계 혹은 컴퓨터가 인간의 지능을 모방
머신러닝
- 컴퓨터가 데이터를 이용해 학습하는 알고리즘
딥러닝
- 인공신경망을 사용하는 머신러닝 모델링 방법 중 하나
- 다층 인공신경망 구조를 사용하여 빅 데이터 학습

머신러닝

일반적인 컴퓨터 사이언스

(a, b)
{ + }
=> a+b

머신러닝

(a, b)
{ ? }
=> a+b

how?

다양한 예를 학습시켜 ?를 만듦 (ex, 3, 5 => 8; 7, 11 => 18; …)

머신러닝의 종류

Supervised Learning (지도학습, 감독학습)
- 문제와 정답을 제공 (Feature & Label(정답, tag))
- 예측, 추정, 분류
- Regressing: 예측, 회귀 문제
- Forcast: 예측 문제
- Classification: 분류 문제
- 데이터를 구해야 한다는 단점이 있음
Unsupervised Learning (비지도학습)
- 문제만 제공 (Feature)
- 패턴/구조 발견
- Anomaly Detection (이상징후 감지)
- 그룹화
- Clustering
Reinforcement Learning (강화학습)
- 정답이 아닌 보상 제공
- 인과관계가 중요
- 게임(알파고), 로봇
- 인간과 비슷한 형태로 움직이게 하는 기술(SFV, motivation)

머신러닝의 방법(머신러닝을 구현할 때 쓰는 알고리즘)

Linear Regression
SVM
Neural Network
…

인공 신경

I(입력):
배고픔(w:10)
통장 잔액(w:80)
주변 가게(w:30)
N(인공신경): 뭐먹지?
O(출력): 분식

딥러닝

Input layer + 여러개의 Hidden layer + Output layer

알파고는 딥러닝을 활용한 강화학습

머신러닝 vs 딥러닝

머신러닝
- Input
- Feature Engineering (필요한 데이터를 선별해 활용할 수 있도록 정제)
- 결과값에 영향을 주는 독립변수: Feature
- 결과 데이터 종속변수: Label (정답, tag)
- Feature Engineering을 위해 도메인 분야의 전문가가 필요하다
- Traditional ML
- Ouptut
딥러닝
- Input
- Feature Extraction
- Neural Network
- Output

Feature & Label

Sung Kim의 강의 참고

Y(label) = w*X(Feature) + b

Learning(학습): 입력된 Feature와 Label을 통해 w와 b를 머신러닝 모델이 구해주는 것

학습을 위해 필요한 데이터

학습 데이터(train data)
검증 데이터(test data)

Ubuntu에서 F숫자 키가 F숫자 + Fn 키로 인식되는 경우 해결방법

Wed, 18 Nov 2020 12:11:36 GMT

아래 방법으로 해결되는지 확인

sudo bash -c "echo 2 > /sys/module/hid_apple/parameters/fnmode"

만약 해결된다면 항상 적용되도록 아래 코드를 실행한다.

echo options hid_apple fnmode=2 | sudo tee -a /etc/modprobe.d/hid_apple.conf
sudo update-initramfs -u -k all
sudo reboot # optional

출처: https://askubuntu.com/questions/7537/how-can-i-reverse-the-fn-key-on-an-apple-keyboard-so-that-f1-f2-f3-are-us

Docker Compose로 pgAdmin 사용하기

Mon, 26 Oct 2020 13:11:35 GMT

pgAdmin 이미지 및 컨테이너 생성을 위한 docker-compose.yml 파일

version: '3'

services:
  pgadmin:
      container_name: pgadmin
      image: dpage/pgadmin4
      restart: always
      networks:
          - UDN_Database
      ports:
          - 10080:80
      volumes:
          - ~/Desktop/pgsql/pgadmin:/var/lib/pgadmin
      environment:
          - PGADMIN_DEFAULT_EMAIL=myid@example.com
          - PGADMIN_DEFAULT_PASSWORD=examplePassword
      
networks:
  My_Database:
      external:
          name: My_Database

pgAdmin의 저장공간에 접근하기 위해 ~/Desktop/pgsql/pgadmin 폴더 권한 설정을 해줘야 함
```
$ sudo chmod 777 ~/Desktop/pgsql/pgadmin
```
docker-compose up -d -—build pgadmin 하면 pgadmin이 서비스되는 Docker 환경이 생성됨
~/Desktop/pgsql/pgadmin/storage/myid_example.com 폴더 접근을 위해 권한 변경 (query tool 기능으로 저장한 sql 파일들이 이 폴더에 저장됨)
```
$ sudo chmod 777 ~/Desktop/pgsql/pgadmin/storage/myid_example.com
```

Docker Compose로 Redis Server 생성하기

Mon, 26 Oct 2020 10:10:48 GMT

Redis 이미지 및 컨테이너 생성을 위한 docker-compose.yml 파일

version: "3"

services:
  redis6379:
      container_name: redis6379
      image: redis:latest
      restart: always
      container_name: redis
      hostname: redis6379
      network_mode: host
      ports:
          - 6379:6379
      volumes:
          - ~/Desktop/redis/6379/data:/data
          - ~/Desktop/redis/6379/conf/redis.conf:/usr/local/etc/redis/redis.conf
          - ~/Desktop/redis/6379/acl/users.acl:/etc/redis/users.acl
      command: redis-server /usr/local/etc/redis/redis.conf

volumes에 생성한 경로에 미리 설정한 redis.conf 파일과 users.acl 파일을 넣어야 한다.

Redis configuration - Redis

여기서 redis 버전에 맞는 redis.conf 파일을 받을 수 있다.

~/Desktop/redis/6379/conf 폴더 안에 받은 파일을 저장한다.

users.acl 파일에는 redis 계정 관련 정보가 들어있다.

redis.conf 안에 아래 한 줄을 추가한다.
```
aclfile /etc/redis/users.acl
```
~/Desktop/redis/6379/acl 폴더 안에 users.acl 파일을 생성하고 아래처럼 계정을 생성한다.
```
user default on +@all ~* >{password 부분인데 상당히 길게 하는것을 권장}
user {특정 user id} on -@all +get +set +select ~* >{password}  # get set select 명령 권한만 있는 특정 user 생성
```

Redis 이미지 및 컨테이너 생성

$ docker-compose up -d --build redis6379

Raspberry Pi 3 B+ USB 포트 고정

Thu, 06 Aug 2020 02:30:26 GMT

라즈베리파이에서 시리얼 통신할 때 USB 포트가 변경되면서 끊어지는 현상 발생.
USB 장치의 고유 정보를 이용해서 포트가 변경돼도 변경된 포트로 통신이 이어지도록 이름을 지정해 줄 수 있다.

터미널에서 dmesg | grep ttyUSB 입력
```
$ dmesg | grep ttyUSB
[    5.652316] usb 1-1.1.2: FTDI USB Serial Device converter now attached to ttyUSB0
```
여기서 필요한 정보
- 출력문 중에서 usb 다음에 오는 문자. 여기서는 1-1.1.2
- 자동 할당된 USB 포트. 여기서는 ttyUSB0

터미널에서 udevadm info --name=/dev/ttyUSB0 --attribute-walk 입력

looking at parent device '/devices/platform/soc/3f980000.usb/usb1/1-1/1-1.1/1-1.1.2':
   KERNELS=="1-1.1.2"
   SUBSYSTEMS=="usb"
   DRIVERS=="usb"
   ATTRS{idProduct}=="6001"
   ATTRS{devnum}=="4"
   ATTRS{bNumConfigurations}=="1"
   ATTRS{devpath}=="1.1.2"
   ATTRS{serial}=="AR0JXJ3Q"
   ATTRS{authorized}=="1"
   ATTRS{manufacturer}=="FTDI"
   ATTRS{busnum}=="1"
   ATTRS{bmAttributes}=="a0"
   ATTRS{avoid_reset_quirk}=="0"
   ATTRS{bMaxPacketSize0}=="8"
   ATTRS{quirks}=="0x0"
   ATTRS{devspec}=="  (null)"
   ATTRS{configuration}==""
   ATTRS{bDeviceSubClass}=="00"
   ATTRS{tx_lanes}=="1"
   ATTRS{rx_lanes}=="1"
   ATTRS{product}=="FT232R USB UART"
   ATTRS{urbnum}=="5488424"
   ATTRS{ltm_capable}=="no"
   ATTRS{version}==" 2.00"
   ATTRS{bMaxPower}=="90mA"
   ATTRS{removable}=="removable"
   ATTRS{bcdDevice}=="0600"
   ATTRS{bDeviceProtocol}=="00"
   ATTRS{bDeviceClass}=="00"
   ATTRS{bNumInterfaces}==" 1"
   ATTRS{idVendor}=="0403"
   ATTRS{bConfigurationValue}=="1"
   ATTRS{maxchild}=="0"
   ATTRS{speed}=="12"

looking at parent device 라고 나오는 줄의 끝 문자열이 1-1.1.2 인 부분을 찾는다.
여러 속성 중에서 장치를 특정할 수 있는 정보를 기억해 둘 것.

예를 들어 ATTRS{idProduct}=="6001" 이 부분을 기억해 둔다.

일반적으로 idProduct, idVendor, serial 을 사용.

USB 포트 이름 규칙 생성

/etc/udev/rules.d/ 폴더 안에 .rules 파일 생성.
예를 들어 sudo nano /etc/udev/rules.d/10-usb-serial.rules
파일명에서 숫자 10은 rules 파일 실행 우선순위를 나타내는데 굳이 안 따라도 된다.

파일 안에 다음처럼 입력하고 저장
```
SUBSYSTEM=="tty", ATTRS{idProduct}=="6001", ATTRS{idVendor}=="0403", ATTRS{serial}=="AR0JXJ3Q", SYMLINK+="ttyUSB_DEV1"
```
SYMLINK 에 있는 ttyUSB_DEV1 이 앞으로 사용하게 될 포트 명이다. 당연히 다른 이름으로 해도 됨.
sudo udevadm trigger 명령으로 변경사항 적용

ls -l /dev/ttyUSB* 을 쳐서 변경사항 확인

$ ls -l /dev/ttyUSB*
crw-rw---- 1 root dialout 188, 0 Aug  5 03:19 /dev/ttyUSB0
lrwxrwxrwx 1 root root         7 Aug  5 03:19 /dev/ttyUSB_DEV1 -> ttyUSB0

참고

https://www.freva.com/2019/06/20/assign-fixed-usb-port-names-to-your-raspberry-pi/

https://mokga.tistory.com/54

SQLAlchemy CRUD

Mon, 03 Aug 2020 13:06:32 GMT

models.py 만들기

SQLAlchemy로 DB를 사용하기 위해 DB의 테이블 객체를 생성해야 한다. flask-sqlacodegen으로 쉽게 생성 가능.

flask-sqlacodegen 설치

$ pip3 install flask-sqlacodegen

models.py 생성 (PostgreSQL 사용시)

$ flask-sqlacodegen "postgresql://{아이디}:{패스워드}@{DB호스트}:{포트번호}/{DB이름}" --flask > models.py

테이블 객체의 형태

class Table(db.Model):
    __tablename__ = 'tables'

    table_pkey = db.Column(db.Integer, primary_key=True, server_default=db.FetchedValue())
    tname = db.Column(db.String(10), nullable=False)
    tmaker = db.Column(db.ForeignKey('makers.mname', ondelete='CASCADE'))

    maker = db.relationship('Maker', primaryjoin='Table.tmaker == Maker.mname', backref='tables')

Session 연결

import models  # models.py
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker

engine = create_engine('postgresql://{아이디}:{패스워드}@{DB호스트}:{포트번호}/{DB이름}')
Session = sessionmaker(bind=engine)
session = Session()

CRUD

Select

# select * from tables;
res_all = session.query(models.Table).all()
for rec in res_all:
    print(f'tname: {rec.tname}, tmaker: {rec.tmaker}')

# select * from tables where tname = 'aaa';
res_aaa = session.query(models.Table).filter_by(tname='aaa').first()
# .filter()를 사용해도 됨
res_aaa = session.query(models.Table).filter(models.Table.tname == 'aaa').first()
print(res_aaa.tmaker)

Insert

# insert into tables(tname, tmaker) values ('bbb', 'jinoan');
data = models.Table(tname='bbb', tmaker='jinoan')
session.add(data)
session.commit()

Update

# update tables set tname = 'ccc' where tname = 'bbb';
res_bbb = session.query(models.Table).filter_by(tname='bbb').first()
res_bbb.tname = 'ccc'
session.commit()

Delete

# delete from tables where tname = 'ccc';
session.query(models.Table).filter_by(tname='ccc').delete()

# commit하지 않고 되돌리고 싶을 때
session.rollback()

# delete를 다음처럼 할 수도 있다.
res_ccc = session.query(models.Table).filter_by(tname='ccc').first()
session.delete(res_ccc)

session.commit()

그 외…

Join

res_all = session.query(models.Table).join(models.Maker).all()

# reference 값이 무엇인지 정확히 명시하려면
res_all = session.query(models.Table)\
	.select_from(models.Table)\
    .join(models.Maker, models.Table.tmaker==models.Maker.mname).all()

Pandas data frame으로 결과 불러오기

import pandas as pd

query = session.query(models.Table)
df = pd.read_sql(query.statement, session.bind)
print(df)

Raspberry Pi 3 B+ 무선 랜 비활성화

Fri, 24 Jul 2020 03:23:43 GMT

유선 랜이 연결되어 있음에도 가끔 wifi로 잡히는 현상이 발생
라즈베리파이에서 무선 랜을 비활성화해보자.

/boot/config.txt에 다음 코드 추가

dtoverlay=disable-wifi
# 블루투스를 비활성화 하려면
#dtoverlay=disable-bt

라즈베리파이를 재부팅하면 적용된다.

Raspberry Pi 3 B+에서 Python 자동 실행

Fri, 17 Jul 2020 09:19:45 GMT

실행하고자 하는 파이썬 파일명과 경로가 /home/pi/Desktop/filename.py 라고 가정

Shell script에 파이썬 파일 실행 코드 작성

(쉘 스크립트 파일명과 경로가 ~/Desktop/run.sh 라고 가정)
```
cd /home/pi/Desktop/  # 파이썬 파일이 있는 경로로 이동
nohup python3 filename.py &
```

홈(/home/pi)에 있는 .profile 파일에 아래 코드를 추가

# insert this code in /home/pi/.profile
pid=$(ps aux | grep python3 | grep filename.py | awk '{print $2}')
if [ -z "$pid" ]; then
   /bin/sh /home/pi/Desktop/run.sh
fi

Raspberry Pi 3 B+ 고정IP 설정

Fri, 17 Jul 2020 09:00:54 GMT

/etc/dhcpcd.conf 파일에 아래 내용 추가

interface eth0 static 고정아이피 static 넷마스크 static DNS

interface eth0
static ip_address=192.168.0.10/25
static routers=192.168.0.1
static domain_name_servers={DNS1} {DNS2}

about

Sun, 27 Jan 2019 16:21:13 GMT

Your name

Thank you for reading my resume. If you want to contact me, Please send me an email.