활성화 함수(activation function) 정리

딥러닝 모델에서 은닉층은 입력 데이터를 여러 층을 거치며 점차 고차원적인 특징으로 추출해내는 중요한 계층이다. 이 은닉층에서는 단순한 선형 변환만으로는 학습이 불가능하기 때문에, 반드시 비선형성을 부여할 수 있는 활성화 함수(Activation Function)가 필요하다. 다음은 대표적인 활성화 함수들과 그 특징, 사용 예에 대한 정리이다.

1. ReLU (Rectified Linear Unit)

ReLU는 현재 가장 널리 사용되는 활성화 함수로, 입력이 0보다 작으면 0을 출력하고, 크면 그대로 출력한다. 수식은 f(x) = max(0, x)로 매우 단순하여 계산 비용이 낮고, 딥러닝 모델에서 빠른 수렴을 유도한다. 하지만 음수 영역에서는 기울기가 0이 되어 뉴런이 죽는 현상(dead neuron)이 발생할 수 있다.

사용 예시:

  • CNN, MLP, 대부분의 피드포워드 신경망 모델

2. Leaky ReLU

ReLU의 단점을 보완하기 위해 등장한 변형 함수다. 음수 입력도 완전히 0으로 만들지 않고, 작은 기울기(예: 0.01)를 부여하여 죽은 뉴런 문제를 방지한다. 수식은 f(x) = x (x > 0), αx (x ≤ 0) 형태이다.

사용 예시:

  • 안정성이 중요한 GAN, 일부 회귀 문제 모델 등

3. ELU (Exponential Linear Unit)

ELU는 ReLU와 유사하지만, 음수 영역에서도 출력이 존재하고, 출력의 평균을 0 근처로 유지한다는 장점이 있다. 이는 학습의 수렴 속도를 향상시키고, 내부 활성값의 분포를 보다 안정적으로 만든다.

사용 예시:

  • 고성능 CNN, 의료 영상 등 민감한 영역의 학습

4. Sigmoid

시그모이드는 고전적인 활성화 함수로, 출력 범위가 (0,1) 사이로 제한된다. 이는 확률처럼 해석될 수 있기 때문에 출력층(이진 분류)에 적합하다. 하지만 은닉층에서는 기울기 소실(vanishing gradient)이 발생하기 쉬워 현대 딥러닝에서는 거의 사용되지 않는다.

사용 예시:

  • 이진 분류 모델의 출력층

5. Tanh (Hyperbolic Tangent)

Tanh 함수는 Sigmoid와 유사하나 출력 범위가 (-1, 1)로 더 넓고 중심이 0에 있어 학습 안정성이 높다. 이 역시 기울기 소실 문제가 있어 최근에는 주로 RNN 등에서 제한적으로 사용된다.

사용 예시:

  • 순환 신경망(RNN), 감정 분석 등 연속적인 신호 처리

6. Swish

Google에서 제안한 활성화 함수로, f(x) = x * sigmoid(βx) 형태의 자기게이트(Self-gated) 구조를 가진다. 비선형성의 부드러움과 ReLU의 장점을 동시에 가지며, 특정 모델에서 ReLU보다 더 높은 성능을 보이기도 한다.

사용 예시:

  • EfficientNet, 고성능 이미지 분류 모델 등

7. GELU (Gaussian Error Linear Unit)

GELU는 BERT, GPT 등의 Transformer 모델에서 사용되는 함수로, 입력을 정규분포의 누적함수에 따라 조절한다. f(x) = xΦ(x) 형태이며, Φ는 표준 정규분포의 누적분포함수이다. 계산량은 크지만 자연스러운 곡선 형태로 인해 뛰어난 성능을 발휘한다.

사용 예시:

  • BERT, GPT, T5 등 자연어 처리 대형 모델

8. Softplus

Softplus는 ReLU의 부드러운 버전으로, f(x) = log(1 + e^x) 형태를 가진다. 미분 가능하고 출력이 항상 양수라는 특징이 있지만, ReLU보다 계산이 복잡하므로 실무에서는 잘 쓰이지 않는다.

사용 예시:

  • 특수 목적 모델, 실험적 연구

은닉층에서 사용할 활성화 함수는 모델의 구조, 학습 데이터의 특성, 계산 효율성 등에 따라 선택해야 한다. 가장 일반적인 선택은 ReLU이며, GELU나 Swish는 성능이 중요한 최신 모델에서 점차 많이 사용되고 있다. Sigmoid나 Tanh는 더 이상 은닉층에서는 자주 사용되진 않지만, 출력층 등 특정 상황에서는 여전히 유효한 선택이다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

Gradle multi-module project

In a Gradle multi-module project , it's common to define shared dependencies in the parent project (root project) to avoid duplication across modules. This structure allows child modules to inherit or access those dependencies. Below are some best practices on how to correctly share dependencies between parent and child modules in a multi-module Gradle project . Project Structure Example multi-module-project/ ├── build .gradle .kts (Parent/root project) ├── settings .gradle .kts ├── module-a/ │ └── build .gradle .kts ├── module-b/ │ └── build .gradle .kts Step 1: Configure settings.gradle.kts In a multi-module project, the settings.gradle.kts file should declare all the modules that are part of the build. // settings.gradle.kts rootProject .name = "multi-module-project" // Include child modules include ( "module-a" , "module-b" ) Step 2: Define Shared Dependencies in the Parent build.gradle.kts The root build.gradle.kts ca...
자세한 내용 보기

Boilerplate for typescript server programing

Here are some recommended boilerplates and frameworks for TypeScript server programming, depending on your requirements: 1. NestJS (Highly Recommended for Enterprise-Grade Applications) NestJS is a progressive Node.js framework built with TypeScript. It provides an opinionated structure and is excellent for building scalable and maintainable server-side applications. Features : Dependency injection Modular architecture Built-in support for WebSockets, GraphQL, REST APIs Easy integration with tools like Swagger, TypeORM, and Mongoose Getting Started : Install Nest CLI: npm i -g @nestjs/cli nest new project-name Boilerplate is automatically generated with ready-to-use configurations for controllers, services, and modules. Website : https://nestjs.com/ 2. Express with TypeScript Express.js is lightweight and minimal, making it ideal for developers who prefer flexibility over opinionated frameworks. Boilerplate : You can start with an official or community-maintai...
자세한 내용 보기

HTML Inline divisions at one row by Tailwind

To arrange a **variable number of inline ` ` elements in a row** using **Tailwind CSS**, you can utilize several approaches, depending on your layout needs. Below are some common methods to align multiple divs in a row: ### 1. **Using Flexbox (`flex`)** Tailwind's `flex` utilities provide a straightforward way to align a variable number of ` ` elements inline in a row. Flexbox will ensure that they stay in a row, wrapping if necessary. #### **Example Using Flexbox** ```html Div 1 Div 2 Div 3 Div 4 ``` #### **Explanation:** - `flex`: Puts the child elements (the divs) in a row. - `flex-wrap`: Ensures that if there are too many divs to fit in one row, they will wrap to the next line. - `space-x-4`: Adds horizontal spacing between the divs (adjust as needed). ### 2. **Using Grid (`grid`)** Another way to align divs in a row is by using Tailwind's `grid` utilities. Grid layouts are very flexible and allow control over the number of columns. #### **Example Using ...
자세한 내용 보기

How to split a list into chunks of 100 items in JavaScript, 자바스크립트 리스트 쪼개기

To split a list into chunks of 100 items in JavaScript, you can create a function that loops through the list and slices it into smaller subarrays of size 100. Here’s how you can do it: Example Code: function splitListBy100( array ) { const chunkSize = 100 ; const result = []; for ( let i = 0 ; i < array .length; i += chunkSize) { result .push( array .slice(i, i + chunkSize)); } return result ; } // Example usage: const myArray = [... Array ( 350 ).keys()]; // Creating an array of numbers from 0 to 349 const chunks = splitListBy100(myArray); console.log(chunks); Explanation: chunkSize : Defines the size of each chunk, which in this case is 100. for loop : Iterates over the array, incrementing the index by 100 each time. array.slice(i, i + chunkSize) : Extracts a chunk from the array starting from index i and ending at i + chunkSize . result.push() : Adds the chunk to the result array. The function returns an array of arrays (...
자세한 내용 보기

CDPEvents in puppeteer

In Puppeteer , CDPEvents refers to events emitted by the Chrome DevTools Protocol (CDP) . Puppeteer leverages CDP to interact with and control a Chromium-based browser. CDP provides detailed, low-level access to browser internals, such as network traffic, console logs, page lifecycle events, and more. You can listen to these CDP events through Puppeteer’s API to monitor or intercept browser activity. How to Listen for CDP Events in Puppeteer Enable the Required CDP Domain: Some events require enabling a particular domain (e.g., 'Network' , 'Page' , 'Runtime' ). Use page._client() to Access the CDP Session: Although it’s a bit lower-level, Puppeteer allows access to DevTools through the page._client() API. Example: Listening for Network Requests This example demonstrates how to intercept and log network requests using CDP. const puppeteer = require( 'puppeteer' ); ( async () => { const browser = await puppeteer.launch({ headless...
자세한 내용 보기

가속도 & 속도

F = ma 에서 가속도(( a ))는 속도(( v ))의 시간(( t ))에 대한 미분이므로, 수식으로 표현하면 다음과 같습니다. \[a = \frac{dv}{dt}\] 또한, 속도(( v ))는 위치(( x ))의 시간 미분이므로, 이를 포함하여 가속도를 표현하면 \[a = \frac{d}{dt} \left( \frac{dx}{dt} \right) = \frac{d^2 x}{dt^2}\] 즉, 가속도는 위치의 이阶 미분(두 번째 미분)입니다.
자세한 내용 보기

Sparse encoder

A Sparse Encoder refers to a variant of neural network architectures where sparsity is introduced in the encoding process. This can mean either: Sparse Input Representations : The input features to the encoder are sparse (many values are zero). Sparse Output Representations : The encoder is designed to produce sparse outputs where most of the encoded feature values are zero. Sparse encoders are often used to improve model interpretability, efficiency, and generalization. They can be applied in various contexts, including traditional neural networks, autoencoders, and even transformer-based models. Key Characteristics of Sparse Encoders Sparsity in Representations : The model learns a feature representation where only a subset of neurons is active for a given input. This mimics how biological neurons operate, promoting interpretability and reducing noise in representations. Reduced Computational Cost : Sparse operations often result in lower computational overhead since...
자세한 내용 보기

How to checkout branch of remote git, 깃 리모트 브랜치 체크아웃

To check out a branch from a remote Git repository, you can follow these steps: 1. Fetch the remote branches First, ensure that your local repository is aware of the remote branches by using git fetch . This updates your local references to the remote branches. git fetch origin 2. Check out the remote branch Once the remote branches are fetched, you can check out the desired branch using git checkout -b and specifying the remote branch. Command: git checkout -b < local -branch- name > origin/<remote-branch- name > Explanation: <local-branch-name> : The name you want to give to your local branch. origin/<remote-branch-name> : Refers to the branch on the remote called origin (which is the default name for the main remote repository) and the branch you want to check out. Example: If the remote branch is called feature-branch and you want to create a local branch with the same name, you would run: git checkout -b feature -branch origin / feature -...
자세한 내용 보기

Declaration of custom object or type in Node.js

In Node.js, when you want to assign one object to another that is declared by a custom type or class, you typically need to ensure compatibility between the source object's structure and the target class's expectations. Here's a breakdown: Scenario 1: Assigning Plain Objects to Class Instances If you have a custom class and want to assign properties from a plain object to an instance of that class, you can use one of the following methods: Example: class CustomType { constructor (name, age) { this .name = name; this .age = age; } } // Plain object const plainObject = { name : "John" , age : 30 }; // Assign using Object.assign() const customInstance = new CustomType(); Object .assign(customInstance, plainObject); console .log(customInstance instanceof CustomType); // true console .log(customInstance); // CustomType { name: 'John', age: 30 } Scenario 2: Using a Constructor You can modify your class to accept an object in the c...
자세한 내용 보기

To switch to a specific tag in a Git repository

To switch to a specific tag in a Git repository, you can use the git checkout or git switch command. Here's how you can do it: 1. List Available Tags First, you may want to see a list of all available tags in the repository: git tag 2. Checkout a Specific Tag Once you know the tag you want to switch to, you can use either git checkout or git switch (if you're using a newer version of Git, which recommends git switch for checking out branches). Using git checkout : git checkout <tag- name > Using git switch (recommended for newer versions of Git): git switch -- detach <tag- name > The --detach flag is necessary because tags are not branches; they are just pointers to specific commits. Using --detach makes your HEAD point to the tag without modifying any branch. 3. Verify the Checkout After switching to the tag, verify that you're on the correct commit: git status This will show the tag you're currently on (you'll see somethi...
자세한 내용 보기