Les lunettes en réalité augmentée

Qu'est-ce que la réalité augmentée ?

La réalité augmentée, c’est l’affichage de données en surimpression de la réalité à travers un dispositif électronique. L’essentiel de ces techniques concerne une évolution de la visualisation, de l’affichage et des interactions initiées à partir du mixage entre une perception naturelle et artificielle (électronique).

Ronald Azuma* proposait en 1997 de définir la réalité augmentée comme reposant sur trois critères, le mélange réel/virtuel, la contrainte de temps réel, l’alignement réel/virtuel. Mais comme il le soulignait en 2001, « la réalité augmentée ne se limite pas uniquement à la vue, mais permet aussi un mixage sur de multiples sens, olfactifs, tactiles et auditifs** ».

En 1994, Paul Milgram et Fumio Kishino avaient déjà proposé une définition de la réalité mixte comme « ...anywhere between the extrema of the virtuality continuum (VC), where the Virtuality Continuum extends from the completely real through to the completely virtual environment with augmented reality and augmented virtuality ranging between ».

Il s’agit de projeter des expériences différentes selon une hybridation et un alignement entre l’environnement perçu naturellement (environnement réel) et artificiellement (environnement virtuel). 

Plus exactement la réalité mixte désignerait à la fois l’environnement réel perçu totalement naturellement ou totalement artificiellement (environnement virtuel, réalité virtuelle) avec deux autres modes de perception, le premier basé sur l’environnement réel auquel est ajouté artificiellement des informations (visuelle – écrit et image ou sonore) – (réalité augmentée), le second étant basé sur un environnement artificiel qui laisse transparaître l’environnement naturel et ses dimensions informationnelles naturelles (virtualité augmentée).

Milgram et Kishino interprètent la réalité augmentée comme incluse dans un continuum linéaire qui va du réel au virtuel et définit la réalité mixte comme l’intervalle entre le réel et le virtuel contenant à la fois la réalité augmentée mais aussi la virtualité augmentée.

Le mélange réel/virtuel, c’est-à-dire le mixage entre une cognition naturelle et une cognition artificielle repose sur un dispositif d’affichage, l’interface.

Les sciences de l’ingénieur distinguent trois classes de systèmes d’affichage : 

- Les affichages de types casque, avec une distinction entre les casques dit semi-transparents
optique (Optical see through) où le mixage entre le réel et le virtuel est effectué par l’œil de l’utilisateur, et les casques dits semi-transparents vidéo (Video see through), où le mixage est fait entre un rendu graphique et l’image provenant d’une caméra, ce mélange étant alors présenté à l’utilisateur.
- Les affichages de type écran (de bureau, d’ordinateur, écrans portables, ordiphone) 

- Les affichages par projection (sur une table, sur un mur, ou partout ailleurs).

La contrainte de temps réel et l’alignement réel/virtuel

Le flux de données qui circule à travers le système se fait en temps réel, ce qui permet de projeter des images sur le dispositif d’affichage qui suivent le mouvement de l’individu. Par exemple, le système de réalité augmentée qui consiste à revêtir un casque muni de lunettes permet de « placer devant les rétines de l’utilisateur des images en deux dimensions dont l’effet cinétique de profondeur lui donne l’illusion de voir des objets en trois dimensions, l’image alors perçue changeant exactement de la même manière que l’image d’un objet réel aurait été perçue pendant le mouvement de l’utilisateur ».

Voici quelques boites qui se positionnent sur le marché grand public et professionnel des dispositifs de réalité augmentée de type casque semi-transparents : 

Les Google Glass intègre le son par conduction osseuse

*AZUMA. Ronald T. A Survey of Augmented Reality. Revue Teleoperateors and virtual environments ; p.355-385, août 1997. 

** MYNATT Elizabet D., BACK Maribeth, WANT Roy, FREDERICK Ron. Audio aura : Light-weight audio augmented reality. ACM Symposium on User Interface Software and Technology (UIST) pages 211-212, 1997.

Lire un code à barre avec un téléphone portable : fonctionnalité ou objet d'une application ?

Comme nous le disions en octobre 2009, "scanner un code à barre" avec un téléphone portable devient l'une des fonctions logicielles intégrée dans des applications mobiles comme celles de Decathlon, Castorama, Houra ou en encore L'Oréal et non plus simplement l'objet d'une application comme Neoreader, Microsoft Tag ou encore Quickmark.

Un code-barre est un identifiant d'immatriculation et permet donc d'identifier un produit ou tout du moins la famille de produit à laquelle il appartient. Mais comme nous le mentionnions déjà ici, le code-barre n'est que l'un des composants d'un écosystème qui articule produit et identifiant, téléphone et logiciel, bases de données et information - et éventuellement le réseau (pour expliquer le Flashcode).

Ainsi, l'information à laquelle accède un utilisateur à partir d'un produit dépend avant tout du logiciel utilisé et des bases de données prévues par les concepteurs du service : Google Shopper ou Orange Shopping pour comparer les prix ? Un simple logiciel de scan de code-barre dont les résultats dépendront des bases de données interrogées ? Une application sociale comme GMO-free QR code reader (identifier des produits contenant des OGM) ou Goodguide (notation sociale et environnementale), voire médicale comme ScanAvert (allergène) ? Une application marketing comme Stickybits ? etc.

Le code-barre n'est qu'un identifiant physique d'immatriculation et/ou de connexion qui n'est pas relié à une ressource numérique précise mais à l'espace d'information constitué par le web.

On peut au moins faire une remarque : si les objets, et tout particulièrement les produits de grande consommation deviennent par l'intermédiaire du téléphone le vecteur d'information et de services provenant de tiers, (dont beaucoup sont déjà accessibles sur le web), quelles vont être leurs réactions de ceux qui en sont à l'origine ?

Beaucoup de marques sont circonspectes face à ces nouvelles pratiques, même si d'autres commencent à franchir le pas : Céline Brucker, Directrice Générale L’Oréal Paris France expliquait ainsi : « Tôt ou tard les consommateurs vont s’emparer du code barre comme ils se sont emparés du web ». (Source).

Ainsi, le scan de code-barre devient à la fois l'une des fonctions logicielles intégrée dans des applications mobiles développées par des marques (par exemple pour rajouter un produit dans sa liste de course avec l'application Houra) mais aussi l'objet d'une application qui permettrait d'accéder à des informations tierces (comparer les prix).  

Avez-vous d'autres exemples ? Qu'en pensez-vous ?

Scan barcode on mobile phone via google browser / orange shopping

Screenshot sous Android 2.1 Acer Liquid

On connaissait les applications mobiles, puis les web-app, raccourci d'une application accédée à partir du bureau, voici les browse-app, une application accédée à partir d'un navigateur. Une fois le code graphique scanné (je n'ai essayé que barcode scanner), une requête est lancée par le moteur Google Product à partir de l'identifiant EAN et une liste de résultats est affichée.

Bon après, Google ne s'est pas encore connecté aux marchands français apparemment, puisque la même requête lancée avec l'application Orange Shopping donne ceci : (aussi avec le scan du code EAN du produit)

Orange Shopping s'appuie sur le comparateur Leguide.com qui lui-même renvoie sur e-consommables :

J'avoue, ce n'est pas le produit le plus intéressant. Mais essayez avec un livre, un produit high-tech ou de l'électroménager.. Et rappelons-nous que 8 internautes sur 10 préparent déjà leurs achats sur Internet avant d'acheter un produit, en catalogue, en magasin ou directement sur le web. Or si l'ordinateur est avant tout le terminal électronique d'un lieu, le téléphone est quant à lui l'ordinateur d'un individu dans un lieu... Que se passe-t-il, si la gestuelle prend, lorsqu'il est en magasin ?

///

http://www.lefigaro.fr/conjoncture/2010/10/13/04016-20101013ARTFIG00336-google-veut-traquer-les-prix.php

Two smartphones + Paypal + QR Code = PortaPayments !

PortaPayments allows you to generate a bar code which can be scanned by a mobile 'phone application in order to make the payment. The application allows you to create and scan PortaPayments codes and a payment can be made between two people in five simple steps;

1) The payment recipitent generates a payment code. (You can do this either using the application or using the code generator on the right of this page)
2) The payment sender scans the payment code. (You must do this using the application)
3) The sender is taken to the PayPal site where they enter their password.
4) The sender confirms payment.
5) The recipient gets the money.

Source

Download the (free) application :

Tag de vin, Lynkware, District 9, Shopsavvy, Hugo Boss et... bonne année !

Tagdevin est une entreprise nantaise qui développe des solutions innovantes fondées sur les nouvelles technologies issues de la téléphone mobile et des codes barres 2D. Il n'est cependant pas fait état d'une application qui permettrait de lire les codes barres 1D sur ces mêmes bouteilles...



 Lynkware est un nouveau venu dans les logiciels mobiles de lecture de code 1D, 2D (EAN et DM/QR). Il est disponible sous iPhone, Java, Windows Mobile, Symbian, Blackberry…et bientôt Androïd.

Quelques chiffres à propos de la campagne de street-marketing lancée par l'Agence Magma (New-York) pour le film District 9. En page 12 de ce document (PDF), vous trouverez quelques données intéressantes.

Les développeurs de ShopSavvy, le comparateur de prix développé par Big in Japan et disponible sur les téléphones Android (novembre 2008) et Iphone (novembre 2009), nous avaient expliqués début décembre pourquoi l'application ne lisait pas les QR Code (code 2D), mais uniquement les codes 1D. Or récemment, Google a lancé le programme "Favorite Places" ; 190 000 commerçants aux Etats-Unis ont ainsi apposés un QR Code sur la vitrine de leur magasin. Il n'en fallait pas plus pour que Shopsavvy intègre la lecture du QR Code dans sa dernière version 3.6. 

Playviz est une application en ligne permettant aux consommateurs de visualiser leur intérieur meublé et décoré avec les objets choisis parmi les catalogues des marques partenaires. Grâce à la technologie de Réalité Augmentée Playviz, ils peuvent simuler leur pièce avec un total réalisme.


Avec Total Immersion (Fr), Hugo Boss a testé à Londres un dispositif de réalité augmentée qui permettait aux passants d'interagir avec la vitrine du magasin, au moyen d'une carte Boss Black Magic :

Googler, oui mais goggler, non...

Le projet de I3A est de rendre possible la capture d'image pour simplifier et enrichir la vie des gens à travers des expériences visuelles qui connectent les générations, communautés, information et services. Vous pourrez en apprendre plus sur leur site Internet ici. La liste des entreprises membres parle d'elle-même : Les strategic members sont Kodak et Nokia et les particpating members sont Adobe, Aptina, Canon, Digimarc, DxO, Fujifilm, Google (derniers membres), iSolution, Konika, Microsoft, Motorola, Nvidia, OmniVision, RIM, Sony Ericsson, STMicroelectronics, Vista Point.

La recherche visuelle (visual search) est ce concept de prendre une photo (de n'importe quoi) et chercher dans un moteur de recherche ce qu'il y correspond. On pense évidemment à Goggle de Google dont nous avons parlé récemment. A ce propos, Goggle, qui doit utiliser une technologie rachetée en 2006 avec NevenVision, se doit déjà de brider certaines fonctionnalités. (Neven Vision détenait une quinzaine de brevets autour de la reconnaissance d'image et la reconnaissance faciale). Il était en effet possible de photographier quelqu'un dans  la rue et trouver des informations personnelles publiées sur le Net. Source

On connaissait le mot "googler", procédé consistant à taper le nom de quelqu'un sur le moteur de recherche Google, mais devant un ordinateur et avec un clavier ; il faudra peut être inventer le mot goggler, procédé consistant à prendre en photo quelqu'un pour chercher sur le Net des informations le concernant...

"We're a Favorite Place on Google" (vidéo)

.

Google Goggles : visual search technology

On parle de visual search technology. Il ne s'agit plus d'être concentré sur la technique (code-barre, 1D ou 2D, image, texte, flux synchrone ou asynhrone), mais sur les usages. Une approche transversale concernant les technologies d'identification automatique sollicitant l'optique de la caméra permet à l'utilisateur d'interagir avec à peu près n'importe quoi localement (contextuellement) : reconnaissance d'image pour un livre (Zxing permet la même chose avec le code ISBN), de lieux, reconnaissance de texte (OCR) pour une carte de visite, réalité étendue (push de données sur l'écran du téléphone suivant sa position - boussole et géolocalisation).


.

Google recommends Quickmark barcode reader for Iphone users :)

Make sure your phone can scan a QR code with its camera, either with an application that you download or via software that's already installed on your phone. To find out what application to use for your phone, we recommend doing a Google search for the model of your phone along with "QR reader." Some of the applications that we've found to work best include beetagg, neoreader, QuickMark and Barcode Scanner.

Source

.