- Nó cho phép mô tả âm thanh theo thời gian thực thông qua camera và Gemini Live.
- Nó bao gồm hỗ trợ trong việc định vị thiết bị di động và đặt các câu hỏi tiếp theo.
- Nó được thiết kế như một công cụ hỗ trợ tiếp cận dành cho người mù hoặc người khiếm thị.
- Ứng dụng này yêu cầu Android 9 trở lên và không thay thế các thiết bị hỗ trợ di chuyển truyền thống.
Hãy tưởng tượng bạn có thể mang theo một người trong túi, người đó sẽ mô tả chính xác những gì đang xảy ra xung quanh bạn trong thời gian thực. Về cơ bản, đó là những gì Google đã làm được bằng cách tích hợp... Tầm nhìn được dẫn dắt trong Gemini LiveChức năng này phá vỡ cách thức truyền thống là đặt câu hỏi và chờ câu trả lời, cho phép chúng ta tương tác với trí tuệ nhân tạo chỉ bằng cách cho nó thấy thế giới thông qua ống kính máy ảnh.
Công cụ này không chỉ đơn thuần là một trình phân tích ảnh tĩnh, mà còn đề xuất một giải pháp khác. cuộc trò chuyện trôi chảy và năng động Dựa trên thị giác máy tính. Mặc dù nó có tiềm năng rất lớn đối với bất kỳ ai cần hỗ trợ về chi tiết hình ảnh, nhưng cốt lõi và lý do tồn tại của nó là... khả năng tiếp cận cho người mù hoặc với thị lực kém, tìm cách làm cho môi trường trở nên dễ hiểu và dễ quản lý hơn thông qua các hướng dẫn bằng âm thanh chính xác.
Công nghệ này hoạt động chính xác như thế nào?
Quy trình khá đơn giản: người dùng kích hoạt chức năng và chia sẻ tín hiệu camera Với Gemini Live. Từ đó, trí tuệ nhân tạo (AI) sẽ phân tích hình ảnh trực tiếp và người dùng có thể hỏi bất cứ điều gì về những gì họ đang thấy. Tính năng mạnh mẽ nhất là nó cho phép bạn thực hiện... câu hỏi tiếp theoNói cách khác, nếu Gemini nhận dạng được một lon mứt, bạn có thể ngay lập tức hỏi nó về hạn sử dụng hoặc thành phần của lon mứt đó mà không cần phải khởi động lại truy vấn.
Khác với các công cụ khác, Guided Vision có khả năng... hướng dẫn khung hình của điện thoại di độngNếu thiết bị hướng quá cao, quá gần vật thể hoặc hơi lệch tâm, trợ lý ảo sẽ đưa ra lời nhắc bằng giọng nói để bạn điều chỉnh. điều chỉnh vị trí của điện thoạiĐiều này đảm bảo rằng AI có đủ thông tin hình ảnh cần thiết để tránh mắc lỗi trong quá trình mô tả.
Những công cụ thiết thực cho cuộc sống hàng ngày
Các ứng dụng của nó vô cùng đa dạng và đề cập đến những vấn đề rất thường ngày mà đôi khi chúng ta thấy khó giải quyết. Ví dụ, nó rất lý tưởng cho việc đọc chữ thường Trên nhãn dinh dưỡng hoặc tờ hướng dẫn sử dụng thuốc, nơi thông tin không dễ nhìn thấy. Nó cũng rất hữu ích cho tìm đồ vật bị mấtBạn có thể di chuyển điện thoại quanh phòng và yêu cầu nó thông báo cho bạn khi phát hiện, ví dụ, một chiếc tai nghe bị rơi xuống sàn hoặc lọ đựng tiêu trong một gian bếp đầy lọ lọ.
Hơn nữa, công cụ này còn đi sâu vào lĩnh vực chủ quan và thẩm mỹ hơn. Guided Vision có thể nhận biết hoa văn, hình dạng và màu sắcVì vậy, bạn có thể hỏi cô ấy xem áo sơ mi kẻ sọc có hợp với loại quần nào không, hoặc đơn giản là hỏi xem món đồ đó màu gì. Cô ấy thậm chí có thể làm được điều đó. Mô tả chung về thời gian lưu trú Không rõ hoặc không mô tả chi tiết những vật dụng nào đang đặt trên bàn.
Cấu hình và khả năng tương thích với Android
Để bắt đầu, cách trực tiếp nhất là mở ứng dụng Gemini, vào cài đặt hồ sơ và... Chọn tùy chọn sử dụng chế độ xem có hướng dẫn. trực tiếp. Sau khi hoàn tất, chỉ cần mở Gemini Live và chia sẻ camera. Đối với những người muốn tốc độ nhanh hơn, Google đã bao gồm tùy chọn tạo truy cập trực tiếp từ menu Trợ năng (Hỗ trợ trực quan), cho phép kích hoạt bằng cử chỉ hai ngón tay, nút nổi hoặc bằng cách nhấn đồng thời cả hai nút âm lượng.
Về yêu cầu kỹ thuật, tính năng này hoạt động mượt mà trên các thiết bị có... Android 9 trở lênVới điều kiện Gemini Live có sẵn bằng ngôn ngữ và khu vực của người dùng. Việc có cả hệ điều hành và ứng dụng Gemini là điều cần thiết. đã cập nhật lên phiên bản mới nhấtHơn nữa, nó đã được tích hợp hoàn toàn với Google TalkBack nhằm tối đa hóa quyền tự chủ của người dùng khiếm thị.
Quy trình phát triển và cảnh báo an toàn
Sự tiến bộ này không phải là kết quả của sự may mắn, mà là kết quả của sự hợp tác chặt chẽ với... Aira, chuyên gia về diễn giải hình ảnhĐể đảm bảo hệ thống thực sự đáng tin cậy, cần đến hàng nghìn giờ dữ liệu thực tế và sự hỗ trợ từ hơn... 1.000 người thử nghiệm từ mạng lưới Trusted Tester.Đảm bảo rằng trí tuệ nhân tạo hiểu được thông tin mà một người thực sự cần trong các tình huống hàng ngày.
Tuy nhiên, có một điểm mà Google kiên quyết giữ vững lập trường: công cụ này. nó không phải là một thiết bị y tế cũng không phải là một hệ thống bảo mật. Công ty cảnh báo rằng Guided Vision có thể mắc lỗi và do đó, Không nên sử dụng nó để định vị. Trên đường phố, nó có thể phát hiện chướng ngại vật trên đường đi, hoặc thay thế chức năng của chó dẫn đường hoặc gậy chống. Mục đích của nó là... hỗ trợ trực quan bổ sungĐây không phải là cẩm nang hướng dẫn di chuyển an toàn.
Sự tích hợp khả năng nhận diện hình ảnh thời gian thực này đánh dấu một bước chuyển đổi mang tính đột phá, nơi chúng ta không còn phải thích nghi với giao diện điện thoại nữa, mà thay vào đó, trí tuệ nhân tạo (AI) sẽ thích nghi với môi trường xung quanh. Bằng cách kết hợp khả năng nhận diện hình ảnh tiên tiến với giao diện giọng nói tự nhiên, Google đã biến điện thoại di động thành một "tài nguyên thông minh". người bạn thông minh Có khả năng đọc, nhận diện và hướng dẫn người dùng trong mọi tình huống hàng ngày.




