MyLinguistics - Marguerite Leenhardt's Web Log

Aller au contenu | Aller au menu | Aller à la recherche

lundi 6 juin 2011

3D motion + speech2text + translation memory = towards innovative broadcast services

Just found this info twitted by @TheNextWeb : Japanese researchers invent automatic animated sign language system, and just had to blog about it !

As you may not know, apart my research work on text analytics methodologies, I studied speech processing until the rigorous nomenclatures of the French University forced me to choose between specializing in Natural Language Processing applied to textual material or applied to speech material, a few years ago.

I still have a strong interest for what goes on in the field of speech processing and its applications (conversational agents, lip-sync systems, vocal search engines) even though I work on textual material for now. And I particularly enjoy applications that merge text and speech processing. So I could not help but being drown into writing those lines on the latest innovative development made by the NHK Science & Technology Research Laboratories that is, imho, just an awesome example of what could be done merging text and speech processing. Let's take a closer look :

The NHK Science & Technology Research Laboratories is coming up with technology that automatically generates animated sign language in order to expand sign language in news broadcasts.

Simply put, it is almost like a lip-sync system but for the hands :) The system is actually built on a text-to-text correspondence module that converts japanese text to signed text ; another correspondance module then associates text spans to "hand-codes" (I don't know the exact term, and suggest this one by analogy with "mouth-codes", used in animation for lip-sync systems development).

The cherry-on-top idea ? Incorporating a translation memory to enhance the system outputs with expert knowledge : this materializes by a user interface through wich a human can enrich the lexicon or refine combination rules for hand gestures.

Oh yes ! I teased with "speech2text" but wait... There is no speech-to-text module in this system ! Let's think about it : it lacks only one brick ! Indeed, once the speech signal's complexity is reduced to text material (words, phrases or any other accurate text span), the whole system would be in capacity to deal with speech material as input. This kind of phonetization processes development is not an issue in itself nowadays.

And if we think a bit further, I'd say it is a reasonable hope to expect this kind of system handling "text2speech" outputs too, even if "text2speech" is not as easy to handle for now, if one is expecting for a natural / non-robotic output. That would be very useful for blind people (of course, they can hear broadcast news, but hey, what if they want to refresh their experience of accessing written info on the web ?), social games applications (texting messages to your motioned and talking avatar while being temporarily or permanently speechless, so that it can talk ingame) or domotic applications (texting messages to your home that are displayed with your avatar and voice in the end, for example), to mention just a few. #I skip the 3D motion part, as I am completely unexperimented in this domain#

I am quietly but eagerly waiting for this kind of initiatives to develop and impact the mainstream audience. Startupers with NLProc backgrounds in text AND speech processing should begin to combine their skills thinking of the next opportunities to come up with an innovative solution : multimodal NLProc is on its way :)

mercredi 17 février 2010

Bing Maps : un coup de maître en préparation

Ce n'est pas à une vieille guenon qu'on apprend à faire la grimace... ou comment Microsoft Bing prend des allures de kishi face à Google Search.

L'upgrade de Bing Maps, annoncée le 10 novembre 2009 sur le blog de Bing avait été fort bien reçue. On note en particulier Frogz, GénérationNT, le JdG, pour les échos francophones, en décembre dernier. TechCrunch US en parlait dès novembre, Mashable US n'était pas en reste et a notamment fourni de très bons insights, en particulier sur les features de synchronisation avec la géolocalisation de tweets.

Je découvre fort tardivement, non sans délices - merci à l'ami A.G. d'avoir comblé ma part d'inculture - les nouveautés annoncées pour la mouture de Bing Maps à venir. Une exclamation d'agréable surprise m'a échappé en découvrant cette boîte de Pandore, de mon petit point de vue de novice en fonctionnalités de recherche géographique. La découverte a commencé chez MacGeneration - A.G. est un pure Apple fanboy ;) - et très vite, les onglets de navigation ont poppé. Ici, , , et , entre autres liens plus ou moins bien heureusement arrangés dans ce billet.

Un nouvel algorithme intégrant des données sur la géométrie des immeubles pour un rendu plus réaliste, les bénéfices de SilverLight pour le rendu vectoriel, avec, cherry on top, la fameuse synchronisation avec l'API de géolocalisation Twitter. Voyez donc :

Les tweets géolocalisés sur Bing Maps (piqué chez Mashable) Une très belle illustration, piquée de l'un des très bons billets de Ben Parr chez Mashable

Enfin, ne renoncez pas à ce plaisir des mirettes qu'est ce talk de Blaise Aguera y Arcas (Microsoft Labs) :


La démo de Blaise Aguera y Arcas pendant son talk au dernier TED.

Autant dire qu'après avoir vu ça, on a juste envie de donner un pot de co-enzyme Q10 à Google Street View, ce que formule délicieusement Ben Parr chez Mashable:

Clearly Bing wants to make Google Maps (Google Maps) seem prehistoric with its Silverlight-based interface. And from what we’ve seen in today’s demo at Bing’s San Francisco headquarters, it’s incredibly impressive.

Sans doute la firme de Mountain View prépare-t-elle une mise à jour de Street View, sans fesses à l'air et qui lui fera un meilleur Buzz ;)

A voir pour tout savoir sur les technos Microsoft et .NET, le blog d'un ami vrai spécialiste du sujet : BlogMyMind. Avis aux éclairés qui veulent suivre l'actu des frameworks Microsoft, avec liens à l'appui, sur SilverLight 3 ou Visual Studio, par exemple. De la bonne lecture pour dév, tout ça!

lundi 25 janvier 2010

Les Australiens, leaders de l'audience sur les réseaux sociaux

Dans une récente étude, rendue publique le 22 janvier dernier, le renommé institut Nielsen annonçait sur son blog, le NielsenWire, quelques unes des tendances majeures de la consommation des médias sociaux.

A partir de résultats agrégés entre 2007 et 2009, les premiers éléments donnés à voir confirment les changements globaux chez les internautes : l'explosion de Facebook, le relatif déclin de MySpace, l'exponentielle croissance de Twitter, entre autres choses dont nombre d'entre vous ont déjà entendu parler.

social-media-Nielsen09.png

Le temps moyen par internaute sur un service de réseau social a quasiment doublé en un an, de même que l'audience de ces services (mesurée en VU).

social-network-growth_Nielsen09.png

La consommation des internautes américains est particulièrement vorace de Facebook et Twitter (ce dont les Trending Topics de ce dernier donnent une belle preuve jour après jour). Mais là où ça devient vraiment fort, c'est ensuite...

Si les USA capitalisent toujours la plus forte audience (en VU) sur ces services de réseau sociaux, en proportion ils sont nettement moins bons que l'Australie! Je vous laisse admirer la beauté du tableau de données ci-après.

Nielsen_TableauDonnees_SocialMedia09.png

Amis Australiens, toutes mes félicitations! Il ne manque plus qu'une petite étude des moeurs sociodigitales pour expliciter ce phénomène avec un peu de consistance...

lundi 20 avril 2009

Ma DS fait GPS!

DS-GPS.jpg

Le module Ranger GPS, ou comment naviguer en GPS sur la DS :) ou le kit de voyage ultime, qui s'appuie sur Google Earth et propose même des options multilingues avec Mandarin et Cantonais en prime.

Have fun! (ou encore un truc super qu'on aura pas en Europe???)

---

Features:

1. GPSFS map:

  • From Google Earth to the library, involving a global scope of the various cities.
  • A detailed route and facilities information
  • Enhance map data (multi-scale map zoom ratio Level switch)

2. High-performance navigation system:

  • High-precision positioning
  • Touch Panel for easy operation
  • Express intuitive route to explore

3. Advanced technology:

  • U-blox 5 chip high-performance positioning
  • 32MB Extended Memory function.
  • NDS host automatic calibration time (UTC time calibration)

4. Computer Internet:

  • High-precision retrieval Destinations
  • Mobile PC touchpad (mouse) and keyboard for easy operation
  • User friendly route guide
  • Mandarin, Cantonese optional voice prompts

5. System upgrade:

  • Map database updates
  • System software upgrades

jeudi 11 décembre 2008

Vinquire : quand les moteurs de recherche se mettent au pinard

vinquire1.jpg Vinquire a le mérite d'être original : c'est, à ma connaissance, le premier moteur de recherche spécifiquement dédié aux produits viticoles. Une bonne idée, pour un marché de plus en plus international!

A la mode des webservices d'aujourd'hui, les amateurs peuvent commenter, évaluer, noter et vanter les mérites des robes et arômes de leurs vins favoris.

Vinquire permet également d'effectuer des requêtes par prix de vente, par variété et par type, ce qui complète bien l'indexation alphabétique de leur vinothèque. Un vin hors de prix pour accompagner un dessert Pierre Hermé, ou un honnête rouge à consommer entre quelques canapés de tapenade? Il devrait pouvoir vous le dire!

Devrait? Eh bien oui, devrait, parce que dans son impressionnant annuaire de marchands de vins, l'indexation n'existe que pour les états américains. On n'en veut pas à cette bêta d'application qui, m'est avis bien entendu, semble très prometteuse! Elle ne manquera sans doute pas d'intéresser les producteurs sud américains et européens, c'est en tous cas tout le mal que je lui souhaite!

Où l'on a un indice du niveau de culture informatique des viticulteurs californiens... A quand la même en pays bordelais, bourguignon ou champenois?

mercredi 27 août 2008

Jixperts : funny chatterbots from Russia

jixperts.jpg

Une fort sympathique idée d'application Web : proposer des chatterbots, ou agents conversationnels, qui prennent la forme de personnages, de personnalités publiques ou de l'une des diverses entités webbiques bien connues des internautes.

L'autre idée, c'est de transmuter l'internaute en contributeur : on peut créer un chatterbot à l'effigie d'un de nos persos préférés :)

Have you ever felt like talking to your favourite character from some movie or cartoon? to a politician, philosopher, or some other famous person? The mission of our project is to allow you to freely and enjoyably communicate with the characters you like. Jixperts.com allows you to not only talk to existing experts, but also to create new ones and teach them by simply asking and answering questions! Passing Turing test? Easy! Characters are taught by real people asking and answering questions!

La base de données de phrases (questions et réponses) est donc alimentée pour tout ou partie par les contributions de ceux qui apprécieront. Bon, sinon, j'ai dit bonjour à un cher ami de South Park : sa base de réponses n'est pas très complète... des fans pour aider cette instance de Stan?

jixpertStan.jpg

Autre chose : cette application est disponible en anglais et en russe! (je souligne par cette ponctuation exclamative mon plaisir de voir les langues se diversifier un peu).

Une base de connaissances générée par l'internaute, des interlocuteurs par et pour l'internaute, un système de génération automatique de textes pour combiner le tout : on pensera ce que l'on veut du packaging, l'idée n'est pas mauvaise, m'est avis bien entendu!

mercredi 25 juin 2008

BDG : Adeptes de Bashfr ou de VDM, le (rigo)lard nouveau est arrivé!

Bon, ça a déjà quelques mois d'existence et ça a encore bien besoin de contributions, mais quand même, ça a l'air marrant!
J'attends que BlaguesDeGeek se remplisse un peu, et je me dirai la même chose qu'à propose de Bashfr : ça ferait un corpus de foufou!

BDG

A voir en priorité ce qu'en dit TechCrunchFrance, par la voix de Ouriel Ohayon.

samedi 21 juin 2008

Pictaps : animer des découpages 2D en 3D

L'application Pictaps, dont une présentation et une démo sont disponibles ici, est la réalisation d'un délire nippon par un webdesigner du Pays du Soleil Levant, le bien nommé Roxik.
Cela vaut le coup d'oeil ;) (j'ai bien aimé le son, en plus).

Bon, oui j'ai testé et voilà une petite picture de mon Square-bonhomme, no comment... mais c'est fort fun, franchement, il faut le tester au moins une fois!

Square le bonhomme

Eh regardez! Mon cher ami Q1 a fait un copain à Square le bonhomme :)

dimanche 8 juin 2008

Promenons-nous à Disney, pendant que Google le permet

Annoncée sur le blog officiel de Google, la sortie d'une petite appli qui a l'air bien sympathique, m'est avis : Walt Disney Resort en 3D.
A quand la dégustation de pommes d'amour virtuelle?