Gradient descent

Kéo thảTính lại thậtTrực giác hình học

Gradient descent

Thả một điểm lên đường cong mất mát rồi xem nó lăn xuống đáy.

Gradient là hướng dốc nhất tại điểm bạn đang đứng, nên đi ngược nó là đi xuống. Kéo điểm xuất phát, chỉnh tốc độ học, rồi bấm chạy để xem nó lăn tới đáy hay vọt qua.

Gradient descent · thả điểm cho nó lăn xuống đáy

Tốc độ học = 0.60

x = -1.00f(x) = 4.50f'(x) = -3.00bước 0sẵn sàng

Kéo điểm xuất phát dọc theo đường cong · trượt tốc độ học · Chạy cho nó lăn, Bước đi từng nhịp. Mũi tên cam là hướng dốc (âm gradient) mà mỗi bước đi theo. Tốc độ học nhỏ thì bò chậm, gần 1 thì tới đáy rất nhanh, từ 2 trở lên thì vọt qua đáy và phân kỳ.

Điều rút ra

Gradient chỉ cho bạn hướng dốc nhất, còn tốc độ học quyết định mỗi bước là bò chậm về đáy hay vọt qua đáy rồi phân kỳ.

Câu hỏi tự kiểm0/2 đúngchưa trả lời

1. 1Đặt tốc độ học từ 2 trở lên rồi bấm chạy, điều gì xảy ra?
2. 2Với tốc độ học rất nhỏ, ví dụ 0.05, điều gì đúng?