Hàm kích hoạt

Kéo thảTính lại thậtTrực giác hình học

Hàm kích hoạt

Kéo một đầu vào rồi xem bốn hàm kích hoạt biến nó thành bốn đầu ra khác nhau.

Hàm kích hoạt là chỗ mạng nơ ron bẻ cong đường thẳng thành phi tuyến. Kéo đầu vào x để xem cùng một con số cho ra bốn kết quả rất khác nhau: ReLU cắt phần âm, leaky ReLU giữ lại một chút, còn sigmoid và tanh ép vào một khoảng chặn.

Hàm kích hoạt · kéo đầu vào, xem đầu ra

Đầu vào x = 1.50

ReLU = 1.50sigmoid = 0.82tanh = 0.91leaky ReLU = 1.50

Kéo đường thẳng đứng (hay trượt x) để đổi đầu vào; mỗi chấm chạy theo một hàm và ô kết quả in bốn đầu ra tức thời. Bấm tên hàm để bật/tắt đường của nó. ReLU cắt phần âm về 0; leaky ReLU giữ phần âm một độ dốc nhỏ; sigmoid ép vào (0, 1), còn tanh ép vào (-1, 1).

Điều rút ra

ReLU và leaky ReLU để đầu ra lớn tùy ý ở phần dương, còn sigmoid ép vào (0, 1) và tanh ép vào (-1, 1) nên luôn bị chặn.

Câu hỏi tự kiểm0/2 đúngchưa trả lời

1. 1Đưa một đầu vào âm, ví dụ x = -3, vào ReLU thì đầu ra bằng bao nhiêu?
2. 2Hàm nào luôn cho đầu ra nằm gọn trong khoảng (0, 1)?