Với khát vọng giúp người khuyết tật hòa nhập cuộc sống, nam sinh ở Đồng Nai đã phát triển hệ thống đa năng ứng dụng công nghệ Deep Learning, hỗ trợ người khiếm thị và khiếm thính giao tiếp, di chuyển an toàn.

Từ sự trăn trở khi chứng kiến những người khiếm thị, khiếm thính gặp khó khăn trong cuộc sống thường ngày, em Phan Hải Đăng – học sinh Trường THPT chuyên Lương Thế Vinh (tỉnh Đồng Nai) đã nghiên cứu, phát triển ứng dụng “Hệ thống đa năng hỗ trợ cho người câm điếc và người mù bằng công nghệ deep learning”.

Không xuất thân từ lớp chuyên Tin, nhưng Đăng lại có niềm đam mê đặc biệt với lập trình, đặc biệt là công nghệ deep learning (học sâu). Không giống với nhiều bạn trẻ khác chọn phát triển ứng dụng giải trí hay học tập, Đăng lại chọn hướng đi “chông gai” hơn là xây dựng ứng dụng giúp đỡ người câm điếc và người mù giao tiếp, hòa nhập cộng đồng.

Ứng dụng do Đăng phát triển có khả năng chuyển đổi ngôn ngữ ký hiệu sang văn bản và giọng nói, đồng thời biến lời nói của người bình thường thành văn bản hoặc ký hiệu tương ứng, giúp 2 bên dễ dàng tương tác với nhau. Hệ thống tích hợp nhiều công nghệ AI khác như thuật toán Yolov8, nhận diện khuôn mặt ArcFace, nhận diện chữ (OCR),…

Chỉ cần nhấn vào biểu tượng micro “Bạn hãy nói đi”, ứng dụng sẽ ghi lại lời nói, sau đó hiển thị video hướng dẫn ngôn ngữ ký hiệu phù hợp. Người khiếm thính có thể xem video này để hiểu thông điệp một cách trực quan. Ở chiều ngược lại, camera sẽ ghi lại cử chỉ tay của người sử dụng ký hiệu, chuyển thành văn bản và phát thành âm thanh để người bình thường hiểu nội dung.

“Ứng dụng còn nhận diện được cảm xúc thông qua ánh mắt, biểu cảm khuôn mặt để thể hiện đúng thái độ của người giao tiếp, từ đó tăng hiệu quả tương tác và sự kết nối trong xã hội”, Đăng chia sẻ.

Với người khiếm thị, hệ thống hỗ trợ dò đường thông qua camera tích hợp, nhận diện vật thể phía trước, đo khoảng cách và phát âm thanh cảnh báo để giúp người dùng tránh va chạm khi di chuyển. Đồng thời, tính năng nhận diện khuôn mặt cho phép người dùng xác định người thân và thực hiện cuộc gọi khẩn cấp qua Google Assistant bằng giọng nói.

Ngoài ra, ứng dụng còn tích hợp nhiều tính năng hỗ trợ thiết thực như nhận diện đèn giao thông, đọc mệnh giá tiền, đọc sách, định vị…

Với sản phẩm này, Đăng mong muốn góp phần nhỏ giúp người khiếm thính, khiếm thị tự tin hơn trong cuộc sống thường ngày, đồng thời truyền cảm hứng cho những bạn trẻ dấn thân vào lĩnh vực lập trình để tạo ra giá trị tích cực cho cộng đồng và xã hội.

Đằng sau hành trình đưa công nghệ đến gần hơn với người khuyết tật của Đăng, còn có sự đồng hành đầy tâm huyết của thầy giáo Bùi Kim Minh, người trực tiếp hướng dẫn, tiếp lửa và mở rộng cánh cửa ứng dụng thực tế cho cậu học trò đam mê lập trình này.

Theo thầy Minh, ngay từ khi Đăng nhen nhóm ý tưởng về một ứng dụng AI nhằm hỗ trợ giao tiếp cho người khuyết tật, chính thầy Minh đã nhìn thấy tiềm năng sáng tạo của dự án. Thay vì chỉ dừng lại ở lý thuyết, thầy chủ động kết nối với Trung tâm nuôi dạy trẻ khuyết tật tỉnh Đồng Nai, nơi đang có hàng chục em nhỏ khiếm thính và khiếm thị cần sự hỗ trợ trong giao tiếp hàng ngày.

“Tôi xác định rằng, nếu muốn công nghệ có giá trị thật sự, nó phải được thử nghiệm thực tế, nơi người dùng thật sự cần nó. Bản thân tôi là giáo viên, tôi hỗ trợ kết nối giúp Đăng có thể ứng dụng thực tế công nghệ mà em sáng tạo”, thầy Minh chia sẻ.

Tại Trung tâm nuôi dạy trẻ khuyết tật tỉnh Đồng Nai, cả thầy và trò đã dành nhiều tuần lễ để lắng nghe, quan sát, thử nghiệm và điều chỉnh. Những phiên bản cập nhật liên tục được cải tiến dựa trên chính phản hồi của các em nhỏ khuyết tật và những người trực tiếp trải nghiệm sản phẩm.

Trong một buổi trải nghiệm gần đây, không khí tại lớp học đặc biệt trở nên sôi nổi hơn hẳn. Một học sinh khiếm thính bật cười thích thú khi hiểu được lời giảng của cô giáo nhờ tính năng chuyển đổi lời nói thành ngôn ngữ ký hiệu trên video hiển thị ngay trong điện thoại.

Sau nhiều lần thử nghiệm, đánh giá và cải tiến, hệ thống hiện đạt độ chính xác khoảng 95% trong việc nhận diện ngôn ngữ ký hiệu. Đây là con số ấn tượng đối với một sản phẩm do học sinh THPT phát triển, đặc biệt khi được áp dụng vào môi trường thực tế có tính đặc thù cao như trung tâm giáo dục khuyết tật.

Với thầy Minh, niềm vui không nằm ở giải thưởng hay sự công nhận, mà chính là khoảnh khắc nhìn thấy học trò mình trưởng thành trong cách nghĩ và hành động.

“Dạy một học sinh biết làm công nghệ là điều không khó. Nhưng để em ấy biết dùng công nghệ phục vụ cộng đồng, đó mới là mục tiêu sâu xa của người làm giáo dục”, thầy Minh nhấn mạnh.

Với ý tưởng ứng dụng công nghệ Deep Learning để chuyển đổi ngôn ngữ ký hiệu thành giọng nói và ngược lại, Đăng đã xuất sắc giành giải Nhất cấp tỉnh và giải Ba cấp quốc gia tại cuộc thi Khoa học kỹ thuật dành cho học sinh trung học năm học 2024-2025.

Tại lễ tuyên dương, ông Võ Hoàng Khai, Phó Giám đốc Sở Khoa học và Công nghệ tỉnh Đồng Nai đã trao bằng khen của UBND tỉnh cho Hải Đăng vì những thành tích nổi bật mà em đạt được ở sân chơi khoa học cấp tỉnh và quốc gia.

Đánh giá về ứng dụng của học sinh này, Phó giám đốc Sở Khoa học và Công nghệ tỉnh nhấn mạnh: “Thành công của em Phan Hải Đăng là minh chứng rõ nét cho tiềm năng và niềm đam mê nghiên cứu của học sinh Đồng Nai. Đó là kết quả của sự miệt mài học hỏi, không ngừng tìm tòi và sáng tạo với những phẩm chất rất cần trong thời đại công nghệ số hiện nay”.

Ông Khai cho rằng, khoa học và công nghệ là chìa khóa của tương lai, là nền tảng để phát triển bền vững. Một nền giáo dục biết khơi dậy đam mê, nuôi dưỡng tinh thần đổi mới sáng tạo chính là “bệ phóng” cho thế hệ trẻ.

Qua đó, Sở Khoa học và Công nghệ tỉnh Đồng Nai sẽ đồng hành cùng ngành giáo dục, tạo môi trường thuận lợi để các ý tưởng nghiên cứu khoa học của học sinh có cơ hội được ươm mầm, phát triển và ứng dụng thực tế.

Hoàng Anh