Bằng cách chuyển từ phương pháp huấn luyện lặp đi lặp lại truyền thống sang tiếp cận dựa trên xác suất, các nhà nghiên cứu đã tìm ra cách tối ưu hóa mạng nơ-ron với lượng tính toán ít hơn đáng kể. Phương pháp này, lấy cảm hứng từ các hệ thống động lực học trong tự nhiên, có tiềm năng giúp AI trở nên thân thiện hơn với môi trường mà không làm suy giảm hiệu suất.
Công nghệ huấn luyện AI mới giúp tiết kiệm năng lượng gấp 100 lần (nguồn: internet).
Các công nghệ AI, đặc biệt là các mô hình ngôn ngữ lớn, đã trở thành một phần không thể thiếu trong cuộc sống hằng ngày. Tuy nhiên, sức mạnh tính toán hỗ trợ chúng lại đến từ các trung tâm dữ liệu tiêu tốn khối lượng điện khổng lồ. Riêng tại Đức, các trung tâm dữ liệu đã sử dụng khoảng 16 tỷ kWh điện trong năm 2020 (chiếm khoảng 1% tổng mức tiêu thụ năng lượng quốc gia). Dự kiến đến năm 2025, con số này sẽ tăng lên 22 tỷ kWh. Với sự phát triển nhanh chóng của AI, nhu cầu năng lượng để huấn luyện mạng nơ-ron nhân tạo ngày càng tăng, đòi hỏi những phương pháp tối ưu hóa mang tính đột phá nhằm giảm tải gánh nặng này.
Mạng nơ-ron nhân tạo, cốt lõi của nhiều ứng dụng AI như nhận diện hình ảnh và xử lý ngôn ngữ tự nhiên, hoạt động dựa trên các nút (nơ-ron nhân tạo) liên kết với nhau. Khi được huấn luyện, mạng này liên tục điều chỉnh các trọng số giữa các nút để tối ưu hóa độ chính xác dự đoán. Tuy nhiên, quá trình huấn luyện truyền thống tiêu tốn lượng tính toán khổng lồ do cần hàng triệu lần điều chỉnh thông số. Để giải quyết vấn đề này, nhóm nghiên cứu do GS Felix Dietrich - Đại học Kỹ thuật Munich của Đức đã phát triển một phương pháp huấn luyện hoàn toàn mới. Thay vì điều chỉnh từng thông số một cách lặp đi lặp lại, phương pháp mới sử dụng xác suất để xác định giá trị quan trọng tại các điểm dữ liệu then chốt, nơi có sự thay đổi mạnh và nhanh chóng.
Theo GS Felix Dietrich, phương pháp mới này giúp xác định các thông số cần thiết với lượng tính toán tối thiểu, khiến quá trình huấn luyện mạng nơ-ron diễn ra nhanh hơn và tiêu tốn ít năng lượng hơn. Đặc biệt, độ chính xác của phương pháp này vẫn ngang bằng với các mô hình huấn luyện theo phương pháp lặp truyền thống. Mục tiêu của nghiên cứu hiện tại là áp dụng phương pháp này vào các hệ thống động lực học tiết kiệm năng lượng. Những hệ thống này thay đổi theo thời gian, theo các quy luật nhất định và có thể được tìm thấy trong các mô hình khí hậu, thị trường tài chính và nhiều lĩnh vực khác. Đột phá này có thể mở ra kỷ nguyên mới cho ngành AI, nơi mà các mô hình không chỉ mạnh mẽ hơn mà còn thân thiện với môi trường hơn, giúp giảm đáng kể áp lực năng lượng trên toàn cầu.
TXB (theo Technical University of Munich)