- Επιτρέπει ηχητικές περιγραφές σε πραγματικό χρόνο μέσω της κάμερας και του Gemini Live.
- Περιλαμβάνει βοήθεια με την κατασκευή πλαισίου για την κινητή συσκευή και την υποβολή επακόλουθων ερωτήσεων.
- Έχει σχεδιαστεί ως εργαλείο προσβασιμότητας για τυφλά ή άτομα με προβλήματα όρασης.
- Απαιτείται Android 9 ή νεότερη έκδοση και δεν αντικαθιστά τα παραδοσιακά βοηθήματα κινητικότητας.
Φανταστείτε να μπορείτε να κουβαλάτε κάποιον στην τσέπη σας που μπορεί να σας περιγράψει ακριβώς τι συμβαίνει γύρω σας σε πραγματικό χρόνο. Λοιπόν, αυτό ακριβώς έκανε η Google ενσωματώνοντας το Guided Vision στο Gemini Live , μια λειτουργία που σπάει την παραδοσιακή δυναμική της πληκτρολόγησης μιας ερώτησης και της αναμονής μιας απάντησης, επιτρέποντάς μας τώρα να αλληλεπιδρούμε με την τεχνητή νοημοσύνη απλώς δείχνοντάς της τον κόσμο μέσα από τον φακό της κάμερας.
Αυτό το εργαλείο δεν είναι απλώς ένας στατικός αναλυτής φωτογραφιών. Προσφέρει μια ρευστή και δυναμική συζήτηση βασισμένη στην όραση υπολογιστή. Ενώ έχει τεράστιες δυνατότητες για όποιον χρειάζεται βοήθεια με οπτικές λεπτομέρειες, ο βασικός του σκοπός είναι η προσβασιμότητα για τυφλά ή άτομα με προβλήματα όρασης , με στόχο να κάνει το περιβάλλον πολύ πιο κατανοητό και διαχειρίσιμο μέσω ακριβών ηχητικών οδηγιών.
Πώς ακριβώς λειτουργεί αυτή η τεχνολογία;
Η διαδικασία είναι αρκετά απλή: ο χρήστης ενεργοποιεί τη λειτουργία και μοιράζεται το σήμα της κάμερας με το Gemini Live. Από εκεί, η τεχνητή νοημοσύνη αναλύει την ζωντανή εικόνα και ο χρήστης μπορεί να ρωτήσει οτιδήποτε σχετικά με αυτό που βλέπει. Το πιο ισχυρό χαρακτηριστικό είναι ότι επιτρέπει ερωτήσεις παρακολούθησης . Δηλαδή, εάν το Gemini εντοπίσει ένα βάζο με μαρμελάδες, μπορείτε να το ρωτήσετε αμέσως για την ημερομηνία λήξης ή τα συστατικά χωρίς να χρειάζεται να επανεκκινήσετε το ερώτημα.
Σε αντίθεση με άλλα εργαλεία, η Καθοδηγούμενη Όραση μπορεί να καθοδηγήσει το καδράρισμα του τηλεφώνου . Εάν η συσκευή δείχνει πολύ ψηλά, πολύ κοντά στο αντικείμενο ή ελαφρώς εκτός κέντρου, ο βοηθός θα σας δώσει λεκτικές ενδείξεις για να προσαρμόσετε τη θέση του τηλεφώνου . Αυτό διασφαλίζει ότι η Τεχνητή Νοημοσύνη έχει τις απαραίτητες οπτικές πληροφορίες για να αποφύγει σφάλματα στην περιγραφή της.
Πρακτικά εργαλεία για την καθημερινή ζωή
Οι εφαρμογές είναι απίστευτα ποικίλες και αντιμετωπίζουν καθημερινές καταστάσεις που μερικές φορές μπορεί να είναι δύσκολες. Για παράδειγμα, είναι ιδανικό για την ανάγνωση μικροσκοπικών γραμμάτων σε ετικέτες διατροφής ή φυλλάδια φαρμάκων όπου τα μάτια σας δεν μπορούν να δουν. Είναι επίσης πολύ χρήσιμο για τον εντοπισμό χαμένων αντικειμένων . Μπορείτε να μετακινήσετε το τηλέφωνό σας στο δωμάτιο και να του ζητήσετε να σας ειδοποιήσει όταν ανιχνεύσει, για παράδειγμα, ένα ακουστικό που έχει πέσει στο πάτωμα ή την πιπεριέρα σε μια κουζίνα γεμάτη βάζα.
Επιπλέον, το εργαλείο εμβαθύνει σε πιο υποκειμενικά και αισθητικά πεδία. Η Καθοδηγούμενη Όραση μπορεί να αναγνωρίσει μοτίβα, σχήματα και χρώματα , επομένως θα μπορούσατε να το ρωτήσετε αν ένα ριγέ πουκάμισο ταιριάζει με συγκεκριμένα παντελόνια ή απλώς να μάθετε τι χρώμα είναι ένα ένδυμα. Μπορεί ακόμη και να παρέχει μια γενική περιγραφή ενός άγνωστου δωματίου ή να αναγνωρίσει τα αντικείμενα σε ένα τραπέζι.
Ρύθμιση παραμέτρων και συμβατότητα Android
Για να ξεκινήσετε, ο πιο άμεσος τρόπος είναι να ανοίξετε την εφαρμογή Gemini, να μεταβείτε στις ρυθμίσεις του προφίλ σας και να ενεργοποιήσετε την επιλογή χρήσης του Live Guided Vision. Μόλις το κάνετε αυτό, απλώς ανοίξτε το Gemini Live και μοιραστείτε την ροή της κάμεράς σας. Για όσους αναζητούν ακόμη πιο γρήγορη πρόσβαση, η Google έχει συμπεριλάβει την επιλογή δημιουργίας συντόμευσης από το μενού Προσβασιμότητα (Όραση), επιτρέποντάς σας να την ενεργοποιήσετε με χειρονομίες δύο δακτύλων, το κουμπί πλεύσης ή πατώντας ταυτόχρονα και τα δύο κουμπιά έντασης ήχου.
Όσον αφορά τις τεχνικές απαιτήσεις, η λειτουργία λειτουργεί ομαλά σε συσκευές με Android 9 ή νεότερη έκδοση , υπό την προϋπόθεση ότι το Gemini Live είναι διαθέσιμο στη γλώσσα και την περιοχή του χρήστη. Είναι απαραίτητο να έχετε ενημερώσει τόσο το λειτουργικό σύστημα όσο και την εφαρμογή Gemini στην πιο πρόσφατη έκδοση . Επιπλέον, είναι πλήρως ενσωματωμένη με το Google TalkBack για μεγιστοποίηση της ανεξαρτησίας για χρήστες με προβλήματα όρασης.
Η διαδικασία ανάπτυξης και οι προειδοποιήσεις ασφαλείας
Αυτή η σημαντική ανακάλυψη δεν ήταν θέμα τύχης, αλλά μάλλον αποτέλεσμα στενής συνεργασίας με την Aira, μια εταιρεία ειδικών στην οπτική ερμηνεία . Για να διασφαλιστεί η αξιοπιστία του συστήματος, χρησιμοποιήθηκαν χιλιάδες ώρες δεδομένων από τον πραγματικό κόσμο, μαζί με την υποστήριξη περισσότερων από 1.000 δοκιμαστών από το δίκτυο Trusted Tester , εγγυώμενοι ότι η Τεχνητή Νοημοσύνη καταλάβαινε ποιες πληροφορίες χρειάζεται πραγματικά ένα άτομο σε μια καθημερινή κατάσταση.
Ωστόσο, υπάρχει ένα σημείο στο οποίο η Google είναι ανένδοτη: αυτό το εργαλείο δεν είναι ούτε ιατρική συσκευή ούτε σύστημα ασφαλείας. Η εταιρεία προειδοποιεί ότι το Guided Vision μπορεί να κάνει λάθη και, ως εκ τούτου, δεν πρέπει να χρησιμοποιείται για την πλοήγηση σε δρόμους, την ανίχνευση εμποδίων στο μονοπάτι ή την αντικατάσταση της λειτουργίας ενός σκύλου-οδηγού ή μπαστουνιού. Σκοπός του είναι η συμπληρωματική οπτική βοήθεια και όχι η ασφαλής καθοδήγηση κινητικότητας.
Αυτή η ενσωμάτωση της όρασης σε πραγματικό χρόνο σηματοδοτεί μια παραδειγματική αλλαγή, όπου δεν προσαρμοζόμαστε πλέον στη διεπαφή του τηλεφώνου, αλλά η Τεχνητή Νοημοσύνη προσαρμόζεται στο περιβάλλον μας. Συνδυάζοντας την προηγμένη οπτική αναγνώριση με μια φυσική φωνητική διεπαφή, η Google μετατρέπει το κινητό τηλέφωνο σε έναν έξυπνο σύντροφο ικανό να διαβάζει, να αναγνωρίζει και να καθοδηγεί τον χρήστη σε οποιαδήποτε καθημερινή κατάσταση.