Softmax

Kéo thảTính lại thậtTrực giác hình học

Softmax

Kéo các điểm số rồi trượt nhiệt độ, xem softmax biến chúng thành xác suất tổng bằng 1.

Mạng nơ ron nhả ra vài số thực gọi là điểm số, mỗi số cho một lớp. Softmax nén chúng về khoảng (0, 1) và ép tổng bằng 1 để đọc như xác suất. Kéo đỉnh mỗi thanh điểm số, trượt nhiệt độ, rồi xem hàng dưới tính lại tức thì.

Softmax · kéo điểm số, xem xác suất

Nhiệt độ T = 1.00

tổng xác suất = 1.00thắng: Mèo (81%)chuẩn

Kéo đỉnh mỗi thanh điểm số ở hàng trên để đổi logit · trượt nhiệt độ để đổi độ chắc chắn. Mỗi thay đổi khiến engine chạy lại softmax, hàng dưới là xác suất và luôn cộng lại bằng 1. Nhiệt độ nhỏ làm phân phối nhọn (dồn về lớp thắng), nhiệt độ lớn làm nó phẳng (tiến về đều nhau).

Điều rút ra

Softmax biến điểm số thực thành xác suất cộng lại bằng 1, còn nhiệt độ điều khiển độ chắc chắn: nhiệt độ thấp thì phân phối nhọn, dồn về lớp thắng, nhiệt độ cao thì phẳng, tiến về đều nhau.

Câu hỏi tự kiểm0/2 đúngchưa trả lời

1. 1Sau khi kéo các thanh điểm số bất kỳ, tổng của bốn xác suất ở hàng dưới luôn bằng bao nhiêu?
2. 2Kéo nhiệt độ lên rất cao, ví dụ 5, thì phân phối xác suất thay đổi thế nào?