ニューラルネットワークの直観 — 小さな計算が集まって判断になる

1.人工ニューロン一つが行うこと

人工ニューラルネットワークという名前は脳の神経細胞から借りたものですが、実際に行っているのはとても単純な計算です。人工ニューロン一つは、いくつかの入力を受け取ってそれぞれに「重要度」を掛け、すべて足したあと、その合計を一度ふるいにかけて出力します。この重要度を重みといい、掛けて足した値を重み付き和といいます。

最後の「ふるいにかける」段階を活性化と呼びます。最もよく使われる方式の一つは、合計が0より小さければ0を出力し、0以上ならそのまま出力するというものです。この単純な折れ曲がりがあるからこそ、ニューロンを何層も重ねたときに、直線一本では表せない複雑な関係を表現できるのです。

2.重みこそが学んだ内容である

上の例で、降水確率の重み4は「降水確率が判断に大きく影響する」という意味であり、バイアス−2は「よほどでなければ傘を持っていかない」側に基準を下げておいたものです。これらの数値を人が決めればルールベースのプログラムであり、データを見ながら機械に決めさせれば学習です。

ニューラルネットワークの学習とは、結局のところこの重みとバイアスを調整することです。第2講で見たように、予測と正解の差（損失）を測り、損失が減る方向にすべての重みを少しずつ直します。実際のニューラルネットワークには、このような重みが少なくとも数千個、大きなモデルでは数千億個以上あります。そのため、学習には大量のデータと計算が必要になります。

大切なのは、学習を終えたニューラルネットワークの中に「猫は耳がとがっている」といった文が保存されているわけではない、ということです。学んだ内容は、数多くの重みの値として散らばっています。ニューラルネットワークがなぜそう判断したのかを人が説明しにくい理由は、ここにあります。

3.層を積み重ねると何が変わるか

ニューロンを横にいくつも並べると層になり、ある層の出力を次の層の入力として渡すと、多層のニューラルネットワークになります。入力を受け取る層と結果を出す層の間にある層を隠れ層といい、隠れ層の多いニューラルネットワークで学ぶことをディープラーニング（深層学習）といいます。「ディープ（深い）」とは、層が深いという意味です。

層が深くなると、段階的により複雑な特徴をとらえられるようになります。写真を見分けるニューラルネットワークを分析すると、前のほうの層は線や輪郭のような単純な模様に、中間の層は目や車輪のような部分に、後ろのほうの層は顔や自動車のような全体の形に反応する傾向が観察されます。人が「輪郭を探せ」と命じたのではなく、学習の過程でそのように役割が分かれたのです。

4.手で計算してみる小さなニューラルネットワーク

層を積み重ねるというのが実際にどんな計算なのか、入力2個 → 隠れニューロン2個 → 出力1個というとても小さなニューラルネットワークで実際にたどってみましょう。数値は説明のために決めたものです。隠れニューロンは先ほど見た活性化（負なら0、そうでなければそのまま）を使い、出力ニューロンは重み付き和をそのまま出力することにします。

計算の順序はいつも同じです。前の層の出力が次の層の入力になり、ニューロンごとに「掛けて足し、ふるいにかける」だけを行います。このように入力から出力の側へ順に計算を進めていくことを順伝播と呼びます。二つ目の例題は、その結果を見て重みを一度直す、学習の一歩です。

5.ニューラルネットワークは脳ではない

名前のせいで、ニューラルネットワークは脳をそのまま真似ていると誤解されがちです。実際には、脳から「多くの単位がつながって信号をやり取りする」というアイデアを借りただけで、動き方は大きく異なります。人工ニューロンは掛け算と足し算を行う数式であり、学習も人間の経験とは異なる数学的な最適化です。

ですから、ニューラルネットワークが人間のように理解したり感じたりすると言うのは正確ではありません。反対に、「ただの計算だから大したことはない」と軽く見るのも正確ではありません。単純な計算がとてつもない規模で集まると、人が驚くほど精巧な結果が生まれます。両方とも事実だということを一緒に覚えておくのが、バランスの取れた理解です。