「ReLU やシグモイドって何が違うの？」
「初心者でも役割を理解できる？」
そんな疑問を持つ、AI初心者のあなたへ。
結論から言えば、
活性化関数とは、ニューラルネットワークに「非線形性」を与え、複雑なパターンを学べるようにする部品
です。
この記事では、活性化関数の役割、代表的な種類（ステップ関数・シグモイド・tanh・ReLU・ソフトマックス）、ReLU が主流になった理由、勾配消失問題との関係、そして中間層と出力層での使い分けを、数式ゼロで初心者向けにやさしく解説します。G検定のディープラーニング基礎対策にも役立ちます。
1. 活性化関数とは
あなたが「活性化関数」という言葉に出会ったとき、まず押さえたいのは「信号を、次へどのくらいの強さで伝えるかを決める関数」という役割です。
各ニューロンは複数の入力に重みを掛けて足し合わせます。この合計値を、そのまま次へ渡すのではなく、活性化関数というフィルターに通してから渡します。
入力をそのまま出すような関係を線形、そうでない曲がった関係を非線形と呼びます。活性化関数は、この非線形を持ち込む部品だと考えると、全体像がつかみやすくなります。
2. なぜ必要か（非線形性の導入）
あなたが「活性化関数って、本当に要るの？」と感じたなら、それは核心を突く問いです。ここがいちばん大事なポイントです。
もし活性化関数がなかったら、層をいくつ重ねても、全体は1本の直線的な計算と同じになってしまいます。
これは、線形な計算をいくらつなげても、結果はまた線形の計算1つにまとめられてしまうためです。せっかく層を深くしても、複雑な判断ができません。
たとえば「2つの入力が異なるときだけ1を出す」というルール（XOR）は、まっすぐな1本の線では区切れません。活性化関数で非線形性を加えると、こうした問題にも対応できます。
→ 層や重みの仕組みは、関連記事のニューラルネットワークとはでまとめています。
3. 代表的な活性化関数
あなたが学習を進めると、いくつかの活性化関数に出会います。代表的なものを特徴とあわせて整理します。
| 名前 | 特徴 |
|---|---|
| ステップ関数 | ある値を超えたら1、超えなければ0。最も古典的でシンプル |
| シグモイド関数 | 出力を0〜1の間のなめらかな曲線に収める |
| tanh（ハイパボリックタンジェント） | 出力を-1〜1に収める。シグモイドより中心が0に近い |
| ReLU（ランプ関数） | 入力が0以下なら0、0より大きければそのまま出す |
| ソフトマックス関数 | 複数の出力を合計1の確率の形に変換する |
ステップ関数は、初期のパーセプトロンで使われた関数です。ただし0か1しか出さないため、細かな調整には向きません。
シグモイド関数とtanhは、なめらかな曲線で出力するのが特徴です。値が滑らかに変化するため学習の調整に向いており、長く使われてきました。
そして近年の主役がReLU（レルー）です。仕組みは「マイナスなら0、プラスならそのまま」という、シンプルなものです。
4. ReLUが主流な理由と勾配消失
あなたが気になるのは、「なぜ今は ReLU がよく使われるの？」という点でしょう。理由は、深い層を学習させるうえでの大きな課題と関係しています。
その課題が勾配消失問題です。ニューラルネットワークは、出力の誤差を入力側へさかのぼって伝えながら学習します。このとき、シグモイド関数は値の変化がとても小さくなる領域を持つため、層が深いほど誤差の信号が薄れ、ほとんど0に近づいてしまうことがあります。
ReLU は、プラスの範囲では入力をそのまま出すため、信号が薄れにくい性質があります。この特徴が、深いネットワークでも学習を進めやすくしました。計算もシンプルで速く、中間層の活性化関数として広く使われています。
なお ReLU にも、入力がマイナスのとき学習が止まりやすい弱点があり、それを補う改良版（Leaky ReLU など）も提案されています。
5. 中間層と出力層での使い分け
あなたが最後に押さえたいのは、活性化関数は「どこで使うか」で選び方が変わる点です。
大まかには、中間層と出力層で役割が分かれます。
- 中間層: ReLU が定番。深い層でも学習を進めやすい
- 出力層・2択の分類: シグモイドで0〜1の確率に変換
- 出力層・3つ以上の分類: ソフトマックスで合計1の確率に変換
中間層は「特徴をとらえる計算の場」なので、学習しやすさを優先して ReLU が選ばれます。出力層は「答えの形」を決める場所なので、求める出力に合わせて関数を選びます。
まとめ: 今日からできる、最初の一歩
ここまで読んだあなたは、活性化関数の輪郭をつかめたはずです。要点を3つに整理します。
- 役割は非線形性の導入: これがないと層を重ねても直線的な計算のままになる
- 代表例: ステップ関数・シグモイド・tanh・ReLU・ソフトマックスがある
- 使い分け: 中間層は ReLU、出力層は分類に合わせてシグモイドやソフトマックスを選ぶ
あなたが今日からできる、最初の一歩を3つ用意しました。
- 用語整理: 「ReLU・シグモイド・ソフトマックス」の役割を1行ずつメモする（2分）
- 関連記事: 勾配降下法の記事に進み、学習と勾配消失のつながりを押さえる（5分）
- 力試し: G検定 ディープラーニング基礎の問題で理解度を確認する（5分）
たった12分で、活性化関数は輪郭のある概念に変わります。完璧に覚えてから動くより、まず1本読んでみる。それが、いちばん速い学び方です。
次のステップ
- ニューラルネットワークとは — 活性化関数が組み込まれる土台
- 勾配降下法・誤差逆伝播法とは — 勾配消失とつながる学習の仕組み
- ディープラーニングとは — 深い層と活性化関数の関係
- G検定 ディープラーニング基礎 問題集 — 理解度チェック
- G検定 試験全体概要 — 試験の全体像を俯瞰
