10_neural_nets_with_keras_q.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "> 4. 왜 초창기의 다층 퍼셉트론을 훈련할 때 로지스틱 활성화 함수가 핵심 요소였나요?"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다층 퍼셉트론 훈련의 목적 : XOR 문제를 풀기 위함\n",
    "\n",
    "AND 연산의 경우\n",
    "y1=2x+3\n",
    "y2=53x+1\n",
    "\n",
    "y1+y2=55x+4 로 가능하지만,\n",
    "XOR 연산을 하지 못한다, 비선형 구조를 분류하지 못함.\n",
    "\n",
    "선형 * 비선형성 연산을 통하여 연속 함수로 근사 가능.\n",
    "\n",
    "계단 함수의 경우 0 혹은 1의 값만 출력하기 때문에 극단적인 값으로만 계속해서 계산된다. 이는 좋은 모델을 만들기 힘들게 만든다.\n",
    "시그모이드 함수를 이용하면 0에서 1 사이의 값으로 좀 더 섬세한 확률로 계산되기 때문에 더 섬세하게 분류 가능하다. \n",
    "그리고 여기서 시그모이드 함수를 미분했을 경우 층이 깊어질 수록 0값에 가까워져 경사소실의 문제가 일어나고 이를 보완한 것이 ReLU이다.\n",
    "\n",
    "[출처]\n",
    "\n",
    "[출처]: https://medium.com/@kmkgabia/ml-sigmoid-%EB%8C%80%EC%8B%A0-relu-%EC%83%81%ED%99%A9%EC%97%90-%EB%A7%9E%EB%8A%94-%ED%99%9C%EC%84%B1%ED%99%94-%ED%95%A8%EC%88%98-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0-c65f620ad6fd\n",
    "\n",
    "\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "> 5. 인기 많은 활성화 함수 세가지는 무엇인가요? 이를 그려볼 수 있나요?"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.7.13"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "aee8b7b246df8f9039afb4144a1f6fd8d2ca17a180786b69acc140d282b71a49"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}