Hệ thống thị giác lấy cảm hứng từ não bộ có thể “nhìn xuyên” sương mù

Mới đây, các nhà nghiên cứu thuộc Trường Kỹ thuật, Đại học Brown đã phát triển một hệ thống chụp ảnh có khả năng quan sát và theo dõi vật thể chuyển động trong những môi trường mà camera thông thường khó hoạt động hiệu quả như sương mù dày hoặc nước đục.

Kết quả nghiên cứu được công bố trên Tạp chí Advanced Science. Hệ thống kết hợp cảm biến thị giác động (dynamic vision sensor) với mạng nơ-ron xung (spiking neural network) để phát hiện và tái tạo các vật thể chuyển động bị che khuất bởi môi trường tán xạ ánh sáng.

Khác với camera thông thường, cảm biến thị giác động chỉ ghi lại những thay đổi về độ sáng tại từng điểm ảnh, thay vì chụp toàn bộ khung hình liên tục, giúp tự động loại bỏ nền nhiễu do ánh sáng bị tán xạ tĩnh. Dữ liệu thu được sau đó được đưa vào mạng nơ-ron xung để tái tạo hình dạng của vật thể và đồng thời xác định vị trí của chúng khi di chuyển.

Trong các thử nghiệm ở phòng thí nghiệm, hình ảnh do hệ thống tái tạo đạt chỉ số tương đồng cấu trúc lên tới 96% trong điều kiện nước đục và sương mù dày đặc - những yếu tố vốn sẽ che khuất vật thể khỏi tầm nhìn của camera thông thường.

Theo nhóm nghiên cứu, đây là kỹ thuật đầu tiên có khả năng đồng thời tái tạo hình ảnh và theo dõi những vật thể chuyển động ngẫu nhiên bị che khuất bởi các môi trường tán xạ ánh sáng dày đặc.

Lấy cảm hứng từ hệ thị giác con người

Một trong những khó khăn lớn nhất khi quan sát vật thể trong sương mù là ánh sáng phản xạ từ vật thể bị tán xạ trước khi tới mắt người hoặc ống kính camera.

Ning Zhang, nghiên cứu viên sau tiến sĩ về kỹ thuật tại Đại học Brown, cho biết nghiên cứu hướng tới việc sử dụng các loại camera mới cùng một mô hình lấy cảm hứng từ não bộ nhằm lọc ảnh hưởng của quá trình tán xạ, qua đó tái tạo những vật thể nằm phía sau lớp sương. Để phát triển hệ thống, nhóm nghiên cứu lấy cảm hứng từ cách hệ thị giác của con người tiếp nhận và xử lý thông tin.

Không giống camera video thu nhận toàn bộ hình ảnh theo từng khung hình, võng mạc chủ yếu phản ứng với những thay đổi trong trường nhìn, chẳng hạn đường biên của vật thể, chuyển động hoặc ánh sáng nhấp nháy. Khi phát hiện một thay đổi, võng mạc truyền các xung thần kinh tới não, từ đó não liên tục cập nhật hình ảnh của môi trường xung quanh.

Các nhà khoa học tại Đại học Brown đã xây dựng một kiến trúc tương tự. Hệ thống bắt đầu bằng cảm biến thị giác động có khả năng phát hiện sự thay đổi cường độ ánh sáng tại từng điểm ảnh.

Mỗi điểm ảnh chỉ phát tín hiệu khi độ sáng thay đổi vượt quá một ngưỡng nhất định. Nhờ đó, cảm biến có thể phát hiện vật thể đang chuyển động ngay cả khi phần lớn ánh sáng đã bị tán xạ bởi sương mù hoặc một môi trường khác.

Tuy nhiên, dữ liệu mà cảm biến thu được chưa tạo thành một hình ảnh hoàn chỉnh mà là một tập hợp các xung tín hiệu. Để biến các tín hiệu này thành hình ảnh có thể nhận diện được, nhóm nghiên cứu sử dụng mạng nơ-ron xung.

Theo Giáo sư Arto Nurmikko, tác giả cao cấp của nghiên cứu, mắt người có khả năng phát hiện chuyển động tốt, nhưng cảm biến thị giác động có một số đặc điểm vượt trội so với khả năng của mắt, chẳng hạn độ nhạy với ánh sáng cận hồng ngoại.

Cảm biến chỉ ghi nhận thông tin liên quan tới vật thể chuyển động. Sau đó, thông tin quan trọng được mã hóa dưới dạng các chuỗi xung không đồng bộ, tương tự cách võng mạc sinh học thu nhận dữ liệu để truyền tới vỏ não thị giác.

Mạng nơ-ron xung tái tạo vật thể

Điểm nổi bật của nghiên cứu nằm ở mô hình tính toán thần kinh, được xây dựng để mô phỏng hoạt động của vỏ não thị giác. Đó là một mạng nơ-ron xung sâu, có nhiệm vụ nhận dữ liệu từ cảm biến thị giác và tái tạo hình ảnh của những vật thể chuyển động ngẫu nhiên, vốn không thể nhận dạng bằng camera thông thường.

Mạng nơ-ron này đồng thời theo dõi quỹ đạo chuyển động của vật thể trong khoảng thời gian chỉ bằng một phần nhỏ của giây. Thay vì xử lý các khung hình đầy đủ, mạng sử dụng các xung tín hiệu làm đơn vị thông tin cơ bản.

Để đánh giá hiệu quả của hệ thống, nhóm nghiên cứu trình chiếu hình ảnh các ký tự chữ và số đang chuyển động, cùng hình bóng của nhiều loài chim bay khác nhau, qua một buồng chứa sương hoặc một bể nước đục.

Các thử nghiệm cho thấy hệ thống có thể tái tạo hình ảnh và theo dõi những vật thể chuyển động ngẫu nhiên mà camera tiêu chuẩn, hoặc mắt người không thể nhận diện trong cùng điều kiện.

Bên cạnh khả năng quan sát trong môi trường bị che khuất, hệ thống còn có ưu điểm về hiệu quả năng lượng. Theo nhóm nghiên cứu, bản thân cảm biến chỉ tiêu thụ công suất ở mức vài chục milliwatt.

Mạng nơ-ron xung cũng sử dụng một phần nhỏ năng lượng so với mạng nơ-ron thông thường vì hệ thống chỉ thực hiện tính toán trên những xung tín hiệu thưa, thay vì xử lý liên tục các khung hình chứa lượng lớn dữ liệu.

Tiềm năng ứng dụng trong nhiều lĩnh vực

Theo các nhà nghiên cứu, hệ thống có thể được ứng dụng trong nhiều tình huống mà hiện tượng tán xạ ánh sáng gây cản trở nghiêm trọng khả năng quan sát.

Một trong những hướng ứng dụng được đề cập là xe tự lái và các phương tiện tự hành, vốn cần nhận diện chính xác các vật thể trong nhiều điều kiện môi trường khác nhau. Công nghệ cũng có thể hỗ trợ thiết bị bay không người lái phục vụ tìm kiếm cứu nạn, đặc biệt trong những tình huống như bão hoặc cháy rừng, khi điều kiện quan sát bị hạn chế.

Tuy nhiên, công nghệ hiện vẫn tồn tại một số hạn chế. Do cảm biến chỉ phản ứng với sự thay đổi, vật thể cần phải chuyển động tương đối so với camera mới có thể được phát hiện. Vì vậy, hệ thống hiện không thể quan sát hiệu quả một vật thể hoàn toàn đứng yên.

Bên cạnh đó, phiên bản hiện tại chủ yếu tái tạo hình bóng của vật thể chứ chưa tạo được hình ảnh thang xám đầy đủ. Độ nhạy của cảm biến cũng giảm khi hoạt động trong điều kiện ánh sáng rất yếu.

Để khắc phục hạn chế này, nhóm nghiên cứu đang xem xét sử dụng bộ tăng cường ánh sáng ở phía trước cảm biến nhằm cải thiện khả năng hoạt động trong môi trường thiếu sáng.

Các nhà khoa học cũng đang nghiên cứu những phương pháp cho phép xác định độ sâu và mở rộng công nghệ sang các mục tiêu ba chiều như thông qua việc đo thời gian truyền của ánh sáng hoặc kết hợp hai camera sự kiện giống như cách hoạt động của đôi mắt.

Theo tác giả Ning Zhang, công nghệ có thể hữu ích ở bất kỳ nơi nào mà sự tán xạ ánh sáng trong môi trường trở thành trở ngại lớn đối với khả năng quan sát, trong đó có xe tự lái, thiết bị bay không người lái phục vụ tìm kiếm cứu nạn và định vị dưới nước.

Mục tiêu của nhóm nghiên cứu là tiếp tục mở rộng giới hạn của những gì các hệ thống thị giác có thể nhận biết, qua đó hướng tới các ứng dụng trong an toàn, chăm sóc sức khỏe và nhiều lĩnh vực khác./.

LB