ニューラルネットワークは、人工知能の分野で注目されている技術の一つです。ニューラルネットワークは、人間の脳の神経細胞（ニューロン）を模倣したもので、多数のニューロンが入力と出力をやり取りしながら学習します。この記事では、ニューラルネットワークにおいて重要な役割を果たす活性化関数について解説します。

活性化関数とは

活性化関数とは、ニューラルネットワークの各ニューロンにおいて、入力の総和から出力を決定するための関数です。活性化関数は、ニューロンへの入力を出力に変換する際に、非線形な変換を行うことで、ニューラルネットワークの表現力を高めます。活性化関数がなければ、ニューラルネットワークは単なる線形変換の積み重ねになってしまい、複雑な問題に対応できません。

活性化関数には様々な種類がありますが、基本的には以下のような特徴を持つものが多く用いられます。

• 入力が小さいときは出力が小さく、入力が大きいときは出力が大きくなるような単調増加な関数
• 入力が0付近のときは出力が急激に変化し、入力が大きく離れたときは出力が飽和するような関数
• 出力が有限の範囲内に収まるような関数
• 微分可能であり、勾配が消失しないような関数

これらの特徴は、ニューラルネットワークの学習を効率的かつ安定的に行うために必要なものです。以下では、代表的な活性化関数についてその式とグラフを示しながら詳しく見ていきましょう。

代表的な活性化関数

ステップ関数

ステップ関数は、最も単純な活性化関数です。入力が0より大きければ1を、それ以外では0を出力するという関数です。ステップ関数は、単純パーセプトロンという古典的なニューラルネットワークで用いられました。ステップ関数は非線形であり、二値分類問題に適していますが、微分不可能であり勾配消失問題が起こりやすいため、現在ではあまり使われません。

y={10​(x>0)(x≤0)​

シグモイド関数

シグモイド関数は、入力を0から1の範囲に収める活性化関数です。シグモイド関数は、ステップ関数の滑らかな近似として考えることができます。シグモイド関数は、ニューラルネットワークの発展に大きく貢献しましたが、入力が大きくなると勾配が消失しやすく、学習が停滞することがあるため、最近ではあまり使われません。シグモイド関数は、二値分類問題の出力層に適しています。

y=1+e−x1​

tanh関数

tanh関数は、入力を-1から1の範囲に収める活性化関数です。tanh関数は、シグモイド関数を平行移動してスケール変換したものと考えることができます。tanh関数は、シグモイド関数よりも勾配消失問題が起きにくく、出力の中心が0になるという特徴があります。しかし、入力が大きくなるとやはり勾配が消失しやすいため、現在ではあまり使われません。tanh関数は、回帰問題や分類問題の出力層に適しています。

y=ex+e−xex−e−x​

ReLU関数

ReLU関数は、入力が0より大きければそのまま出力し、それ以外では0を出力する活性化関数です。ReLU関数は、計算が高速であり、入力が正のときに勾配消失問題が起きないという特徴があります。ReLU関数は、現在最も広く使われている活性化関数です。ReLU関数は、隠れ層に適しています。

y=max(0,x)

Leaky ReLU関数

Leaky ReLU関数は、ReLU関数の改良版です。入力が0より大きければそのまま出力し、それ以外では入力に小さな係数をかけて出力する活性化関数です。Leaky ReLU関数は、ReLU関数の欠点である入力が負のときに学習が進まない問題を解決するために考案されました。Leaky ReLU関数は、隠れ層に適しています。

y=max(0.01x,x)

恒等関数

恒等関数は、入力した値をそのまま出力する活性化関数です。恒等関数は非線形ではありませんが、ニューラルネットワークの出力層で用いられることがあります。恒等関数は、回帰問題の出力層に適しています。

y=x

ソフトマックス関数

ソフトマックス関数は、複数の入力から複数の出力を得る活性化関数です。ソフトマックス関数は、各入力を指数関数に変換し、その和で割ることで正規化します。ソフトマックス関数の特徴は、出力の総和が1になることです。これにより、各出力を確率として解釈することができます。ソフトマックス関数は、多クラス分類問題の出力層に適しています。例えば、手書き数字の認識問題では、0から9までの10個のクラスに分類する必要があります。このとき、ソフトマックス関数を用いると、各クラスに属する確率を出力することができます。ソフトマックス関数は、以下の式で定義されます。

yk​=∑i=1n​exi​exk​​

ここで、xk​はk番目の入力、yk​はk番目の出力、nは入力の数です。以下のグラフは、入力が2つの場合のソフトマックス関数の様子を示しています。

![ソフトマックス関数]

活性化関数の選び方

活性化関数は、ニューラルネットワークの性能や学習速度に大きな影響を与える要素です。活性化関数の選び方には、一般的なルールや経験則がありますが、最適なものは問題やデータによって異なります。活性化関数の選び方については、以下の点に注意すると良いでしょう。

• 出力層では、問題の種類に応じて活性化関数を選ぶことが重要です。回帰問題では恒等関数、二値分類問題ではシグモイド関数、多クラス分類問題ではソフトマックス関数などがよく使われます。
• 隠れ層では、ReLU関数やLeaky ReLU関数などが現在最も人気があります。これらの関数は計算が高速であり、勾配消失問題が起きにくいという利点があります。しかし、入力が負のときに学習が進まない場合や出力が無限大に発散する場合もあるため、注意が必要です。
• 活性化関数を変えるだけでなく、そのパラメータやハイパーパラメータも調整することが重要です。例えば、Leaky ReLU関数では入力にかける係数を変えることで挙動を変えることができます。また、ニューラルネットワークの学習率や重みの初期値なども活性化関数と相互に影響します。
• 活性化関数は一つに限らず、複数を組み合わせることもできます。例えば、隠れ層ではReLU関数を使いつつ、出力層ではシグモイド関数やソフトマックス関数を使うことができます。また、隠れ層でも層ごとに異なる活性化関数を使うことも可能です。

まとめ

この記事では、ニューラルネットワークの活性化関数について解説しました。活性化関数はニューラルネットワークにおいて重要な役割を果たすものであり、様々な種類や特徴があります。活性化関数の選び方は問題やデータによって異なりますが、一般的なルールや経験則を参考にすることができます。活性化関数を適切に選ぶことで、ニューラルネットワークの性能や学習速度を向上させることができます。ニューラルネットワークの活性化関数に興味がある方は、ぜひ試してみてください。