[딥러닝 시작]
1. tensorflow (비행기에 비유할 수 있다.) / keras (파일럿에 비유된다.)
2. 딥러닝에서 자주 등장하는 4가지 미분의 성질 중 내가 잘 몰랐던 것
4번) f(x)= x의 a승 일 때, a가 자연수이면 미분 값은 ax의 a-1승이다.
3. 편미분도 알아두라는 내용!
[딥러닝에서 최소제곱법이라는 방법]
- 가장 훌륭한 예측선을 긋기 위해
- 최소제곱법은 주어진 x값이 하나일 때 적용한다.
(x값이 여러개일경우 경사하강법을 쓴다.)
- 최소제곱법에서 얻은 a(기울기)로 b(절편)도 구해서 예측선 만든다.
[평균제곱오차]
- 위에서는 기울기와 절편을 구했지만
여기서는 임의의 선을 먼저 그리고 나서 오차로 판단해나가는 것 많이 사용한다.
- 선형회귀란 임의의 직선을 그어 이에 대한 평균 제곱 오차를 구하고
이 값을 가장 작게 만들어주는 a와 b값을 찾아가는 작업
[경사하강법]
- x축이 기울기 y축이 오차 인 이차함수그래프
(기울기가 무한대로 커지던 작아지던 오차가 무한대가 된다.
이 관계가 이차그래프로 나타내짐)
- 오차를 비교하여 가장 작은 방향으로 이동시킨다.
순간 기울기가 0인 점이 곧 우리가 찾는 최솟값 m
-(방법)
--- a1에서 순간기울기 미분을 구하고
--- 기울기의 반대방향으로 얼마간 이동시킨 a2에서 미분을 구한다.
--- 이러면서 미분값이 0이면 땡
-(학습률)
---기울기의 부호를 바꿔 이동시킬 때 너무 멀리 이동시키면
a 값이 한 점으로 안 모이고 치솟는다.
(이동시킬 양을 신중히 결정한다.)
---이동거리를 정해주는 것이 "학습률"!!!!!!!!!!!!!!!!!!!
---딥러닝에서 학습률의 값을 적절히 바구면서 최적의 학습률을
찾는 것이 중요
[코랩 실습]
https://colab.research.google.com/drive/1QhnHZAn4VLTVWG5ZcdBLD7hmbeKY9Rsa?usp=sharing
[활성화 함수]
1. 시그모이드 함수
--- 값이 0 아니면 1
---값이 너무 작거나 큰 것을 막고 0 1 컴퓨터의 신호 이진수로 바꿔줌
----매우 큰 값을 가지면 함수값은 거의 1 매우 작은 값을 가지면 거의 0
----- 0.4이면 0으로 바꿔주고 0.6이면 1로 바꿔줌
------so 이진분류에 많이 사용
2. Relu 함수
---- x>0이면 기울기가 1인 직선 x<0이면 함수 값이 0
---- 연산비용이 크지 않고 구현이 매우 간단하다.
---- 0으로 유지되다가 직선으로 올라가는 형식의 함수
---- 많이 쓰인다!
3. 퍼셉
댓글
댓글 쓰기