Tiêu đề gốc: làm thế nào để giỏi nghiên cứu

Tác giả gốc: vivek, nhà phân tích AI

Biên soạn gốc: Thực hành Anh MinLi, Người xây dựng AI

Không ai thực sự dạy bạn cách nghiên cứu. Bạn được giao một cái bàn, một bài toán do người khác chọn và những hướng dẫn mơ hồ để "làm một cái gì đó mới".

Vì vậy, hầu hết mọi người thiết kế ngược công việc thông qua những gì họ có thể nhìn thấy (chẳng hạn như bài báo, bài đăng và thông báo), và cuối cùng tất cả những gì họ học được là cách "trông" giống một nhà nghiên cứu chứ không phải cách "trở thành" một nhà nghiên cứu. Khả năng nghiên cứu thực sự là tập hợp các kỹ năng nhỏ, hầu hết mỗi kỹ năng đó đều có thể được phát triển thông qua luyện tập có chủ ý.

Hãy chọn câu hỏi của riêng bạn

Richard Hamming có một thói quen ở Bell Labs khiến ông không được ưa chuộng trong bữa trưa. Anh ấy sẽ hỏi những người ngồi cạnh anh ấy xem những vấn đề quan trọng trong lĩnh vực của họ là gì, rồi hỏi họ tại sao họ không nghiên cứu những vấn đề này. Thế là mọi người đổi bàn để ăn.

Đây là một câu hỏi khó vì hầu hết chúng ta đều không có câu trả lời hay. Chúng tôi không lựa chọn các vấn đề, chúng tôi tiếp thu chúng - từ các cố vấn, từ các thông báo từ một phòng thí nghiệm lớn vào quý trước, từ các bài báo mà mọi người đang chuyển tiếp và trích dẫn trong tuần này.

Vấn đề của vấn đề hấp thụ là bạn chỉ có kết luận mà không biết lý do đằng sau nó. Bạn biết rằng một phòng thí nghiệm nổi tiếng quan tâm đến một hướng đi nào đó, nhưng bạn không biết tại sao, bạn không biết họ mong đợi tìm thấy điều gì và bạn không biết hoàn cảnh nào sẽ khiến họ từ bỏ hướng đi này.

Khi họ quay lại, bạn sẽ không nhận ra cho đến một năm sau. Và, trong một vấn đề đã trở nên phổ biến, bạn đang chạy đua với 1.000 người đã bắt đầu trước bạn và có khả năng tính toán mạnh hơn bạn.

Hướng dẫn nghiên cứu máy học của John Schulman chia công việc này thành hai chế độ. Đầu tiên, bạn đọc tài liệu và tìm kiếm những lĩnh vực mà bạn có thể cải thiện. Thứ hai,bạn chọn một kết quả mà bạn thực sự muốn đạt được, sau đó thực hiện ngược lại để thiết kế một thử nghiệm.

Ông ủng hộ điều thứ hai, một cách ngầm hiểu vì nó tạo ra sự độc đáo. Một mục tiêu mà bạn thực sự quan tâm sẽ kéo bạn vào lãnh thổ mà chưa có bài đánh giá nào đề cập tới.

Còn “khẩu vị”, người ta thường ví nó như một loại tài năng. Nhưng thực ra nó hoạt động giống cơ bắp hơn.

Trước khi chạy mỗi thử nghiệm, hãy dự đoán kết quả của nó; che phần kết quả của một bài báo và chỉ đoán dữ liệu dựa trên phương pháp của nó; lưu ý rằng kết quả nào được công bố trong tháng này sẽ vẫn quan trọng trong hai năm kể từ bây giờ và xác minh tỷ lệ trúng của bạn sau đó. Một dự đoán cộng với một lần điều chỉnh, lặp đi lặp lại hàng trăm lần - đây là cách mọi mô hình tốt đều được đào tạo, kể cả mô hình trong đầu bạn.

Nâng cấp thông tin đầu vào của bạn

Danh sách đọc được chia sẻ tạo ra các ý tưởng được chia sẻ. Nếu chế độ ăn uống thông tin của bạn chỉ là danh sách nóng arXiv cộng với những gì còn lại sau khi lọc qua các cuộc trò chuyện nhóm, thì bạn chắc chắn sẽ đưa ra kết luận giống như những người khác cùng lúc, điều này khiến những kết luận đó gần như vô giá trị.

Vật liệu cũ bị định giá thấp. Lĩnh vực này luôn lặp lại quá khứ với độ trễ: Mô hình chuyên gia hỗn hợp (MoE) có từ năm 1991, LSTM từ năm 1997 và lan truyền ngược trở thành xu hướng chủ đạo vào năm 1986.

Năm 2019, Rich Sutton đã viết "Bài học cay đắng" chỉ trong một nghìn từ và dự đoán của ông về quỹ đạo phát triển của lĩnh vực này chính xác hơn một bài đánh giá dài hơn mười lần. Claude Shannon đã có một bài giảng về tư duy sáng tạo vào năm 1952, và thủ thuật đầu tiên của ông là giảm vấn đề xuống một kích thước gần như tầm thường, giải mã phiên bản rút gọn và sau đó cộng độ khó lại từng chút một.

Chỉ một thủ thuật này thôi cũng sẽ giúp bạn phá bỏ nhiều bức tường hơn bất kỳ lời khuyên hiện đại nào về năng suất.

Chiều rộng cũng quan trọng như chiều sâu. Nghiên cứu về khả năng diễn giải hoàn toàn vay mượn từ khoa học thần kinh; thiết kế đánh giá (Eval) là thiết kế cơ chế có lớp áo khoác màu trắng; miễn là bạn có hiểu biết thực tế về cách GPU di chuyển bộ nhớ, bạn có thể đánh giá bài viết kiến ​​trúc nào sẽ thất bại trước khi có kết quả điểm chuẩn; và số liệu thống kê trung thực có thể đã là kỹ năng hiếm nhất trong lĩnh vực học máy, nơi mà nhiều "sự khắc nghiệt" được công bố chỉ là "cảm xúc" với những thanh lỗi.

Còn một điều nữa. Đọc chính bài báo chứ không phải bài viết tóm tắt nó. Các phụ lục là nơi chôn giấu những bí mật và phần “Hạn chế” thường là phần trung thực nhất trong toàn bộ tài liệu.

Viết lại mọi thứ

Paul Graham đã chỉ ra rằng một ý tưởng luôn mang lại cảm giác rất chín chắn trước khi bạn cố gắng diễn đạt nó thành lời. Nhưng viết bằng màu đen và trắng sẽ làm lộ ra những lỗ hổng mà bộ não bạn đang che đậy: những giả định bạn chưa bao giờ kiểm tra, các bước không thực sự kết nối với nhau, hai tuyên bố âm thầm mâu thuẫn với nhau.

Nguyên tắc của Feynman là người đầu tiên bạn phải tránh lừa dối là chính bạn, bởi vì bạn là mục tiêu dễ dàng nhất. Viết là cơ chế bảo vệ rẻ nhất từng được phát minh.

Darwin còn đi xa hơn và lập trình nó: bất kỳ dữ kiện nào mâu thuẫn với lý thuyết của ông đều được viết ra ngay lập tức, bởi vì ông nhận thấy rằng trí nhớ của ông xóa bỏ những bằng chứng bất tiện nhanh hơn nhiều so với việc xóa những bằng chứng có lợi. Bộ nhớ của bạn cũng làm như vậy đối với những lần chạy thất bại.

Duy trì thói quen ghi nhật ký: các giả định, bối cảnh, kỳ vọng, kết quả và nhận thức cập nhật. Đọc lại bản ghi của tháng trước khiến bạn cảm thấy vô cùng khiêm tốn theo cách mà không người đánh giá nào có thể làm được.

Liên kết gốc