- Nó cho phép mô tả âm thanh theo thời gian thực thông qua camera và Gemini Live.
- Nó bao gồm hỗ trợ trong việc định vị thiết bị di động và đặt các câu hỏi tiếp theo.
- Nó được thiết kế như một công cụ hỗ trợ tiếp cận dành cho người mù hoặc người khiếm thị.
- Ứng dụng này yêu cầu Android 9 trở lên và không thay thế các thiết bị hỗ trợ di chuyển truyền thống.
Hãy tưởng tượng bạn có thể mang theo một người trong túi, người đó có thể mô tả chính xác những gì đang xảy ra xung quanh bạn trong thời gian thực. Về cơ bản, đó là những gì Google đã làm được bằng cách tích hợp Guided Vision vào Gemini Live , một tính năng phá vỡ cách thức truyền thống là gõ câu hỏi và chờ câu trả lời, giờ đây cho phép chúng ta tương tác với trí tuệ nhân tạo chỉ bằng cách cho nó thấy thế giới thông qua ống kính camera.
Công cụ này không chỉ đơn thuần là một trình phân tích ảnh tĩnh; nó cung cấp một cuộc hội thoại linh hoạt và năng động dựa trên thị giác máy tính. Mặc dù có tiềm năng to lớn đối với bất kỳ ai cần hỗ trợ về chi tiết hình ảnh, mục đích cốt lõi của nó là hỗ trợ người mù hoặc người khiếm thị , nhằm mục đích làm cho môi trường trở nên dễ hiểu và dễ quản lý hơn thông qua các hướng dẫn bằng âm thanh chính xác.
Công nghệ này hoạt động chính xác như thế nào?
Quy trình khá đơn giản: người dùng kích hoạt tính năng và chia sẻ tín hiệu camera với Gemini Live. Từ đó, trí tuệ nhân tạo (AI) sẽ phân tích hình ảnh trực tiếp, và người dùng có thể hỏi bất cứ điều gì về những gì họ đang thấy. Tính năng mạnh mẽ nhất là cho phép đặt câu hỏi tiếp theo ; nghĩa là, nếu Gemini nhận diện một lọ mứt, bạn có thể ngay lập tức hỏi về ngày hết hạn hoặc thành phần mà không cần phải bắt đầu lại truy vấn.
Khác với các công cụ khác, Guided Vision có thể hướng dẫn cách căn chỉnh khung hình của điện thoại . Nếu thiết bị hướng quá cao, quá gần vật thể hoặc hơi lệch tâm, trợ lý ảo sẽ đưa ra các gợi ý bằng giọng nói để điều chỉnh vị trí của điện thoại . Điều này đảm bảo trí tuệ nhân tạo có đủ thông tin hình ảnh cần thiết để tránh sai sót trong quá trình mô tả.
Những công cụ thiết thực cho cuộc sống hàng ngày
Các ứng dụng của điện thoại vô cùng đa dạng và giải quyết những tình huống thường ngày đôi khi khá khó khăn. Ví dụ, nó rất lý tưởng để đọc chữ nhỏ trên nhãn dinh dưỡng hoặc tờ hướng dẫn sử dụng thuốc khi mắt bạn không nhìn rõ. Nó cũng rất hữu ích để tìm đồ vật bị mất ; bạn có thể di chuyển điện thoại quanh phòng và yêu cầu nó thông báo khi phát hiện, ví dụ, một chiếc tai nghe bị rơi xuống sàn hoặc lọ tiêu trong một gian bếp đầy lọ gia vị.
Hơn nữa, công cụ này còn đi sâu vào các lĩnh vực chủ quan và thẩm mỹ hơn. Guided Vision có thể nhận dạng các mẫu, hình dạng và màu sắc , vì vậy bạn có thể hỏi nó xem một chiếc áo sơ mi kẻ sọc có hợp với loại quần cụ thể nào không, hoặc đơn giản là tìm hiểu màu sắc của một món đồ. Nó thậm chí có thể cung cấp mô tả chung về một căn phòng lạ hoặc xác định các vật dụng trên bàn.
Cấu hình và khả năng tương thích với Android
Để bắt đầu, cách trực tiếp nhất là mở ứng dụng Gemini, vào cài đặt hồ sơ của bạn và bật tùy chọn sử dụng Chế độ xem trực tiếp có hướng dẫn (Live Guided Vision). Sau khi thực hiện xong, chỉ cần mở Gemini Live và chia sẻ nguồn cấp dữ liệu camera của bạn. Đối với những người muốn truy cập nhanh hơn nữa, Google đã tích hợp tùy chọn tạo lối tắt từ menu Trợ năng (Thị giác), cho phép bạn kích hoạt nó bằng cử chỉ hai ngón tay, nút nổi hoặc bằng cách nhấn đồng thời cả hai nút âm lượng.
Về yêu cầu kỹ thuật, tính năng này hoạt động mượt mà trên các thiết bị chạy Android 9 trở lên , với điều kiện Gemini Live có sẵn bằng ngôn ngữ và khu vực của người dùng. Điều cần thiết là cả hệ điều hành và ứng dụng Gemini phải được cập nhật lên phiên bản mới nhất . Hơn nữa, nó được tích hợp đầy đủ với Google TalkBack để tối đa hóa sự độc lập cho người dùng khiếm thị.
Quy trình phát triển và cảnh báo an toàn
Bước đột phá này không phải là do may mắn, mà là kết quả của sự hợp tác chặt chẽ với Aira, các chuyên gia về diễn giải hình ảnh . Để đảm bảo độ tin cậy của hệ thống, hàng nghìn giờ dữ liệu thực tế đã được sử dụng, cùng với sự hỗ trợ của hơn 1.000 người thử nghiệm từ mạng lưới Trusted Tester , đảm bảo rằng AI hiểu được thông tin mà một người thực sự cần trong tình huống hàng ngày.
Tuy nhiên, Google khẳng định chắc chắn một điều: công cụ này không phải là thiết bị y tế hay hệ thống an toàn. Công ty cảnh báo rằng Guided Vision có thể mắc lỗi và do đó không nên được sử dụng để dẫn đường trên phố, phát hiện chướng ngại vật trên đường đi hoặc thay thế chức năng của chó dẫn đường hay gậy dẫn đường. Mục đích của nó là hỗ trợ thị giác bổ sung , chứ không phải hướng dẫn di chuyển an toàn.
Sự tích hợp công nghệ nhận diện hình ảnh thời gian thực này đánh dấu một bước chuyển đổi mang tính đột phá, nơi chúng ta không còn phải thích nghi với giao diện điện thoại nữa, mà thay vào đó, trí tuệ nhân tạo (AI) sẽ thích nghi với môi trường xung quanh. Bằng cách kết hợp khả năng nhận diện hình ảnh tiên tiến với giao diện giọng nói tự nhiên, Google đã biến điện thoại di động thành một người bạn đồng hành thông minh , có khả năng đọc, nhận diện và hướng dẫn người dùng trong mọi tình huống hàng ngày.