Les combinaisons haptiques vous permettent de sentir la musique à travers votre peau

Jay Alan Zimmerman, compositeur et musicien sourd, avait l’habitude de se positionner près des haut-parleurs des clubs, s’efforçant de ressentir les vibrations des chansons qu’il ne pouvait pas entendre.

Ainsi, lorsqu’il a été invité à tester une nouvelle technologie, un sac à dos, connu sous le nom de combinaison haptique, conçu pour lui faire ressentir la musique sous forme de vibrations sur sa peau – une grosse caisse aux chevilles, une caisse claire à la colonne vertébrale – il était excité.

“Avec le sous-titrage et l’interprétation en langue des signes, votre cerveau est obligé d’être à plus d’un endroit à la fois”, a déclaré M. Zimmerman, qui a commencé à perdre l’ouïe au début de la vingtaine, dans une récente interview vidéo.

“Avec un système haptique”, a-t-il poursuivi, “il peut aller directement à votre corps exactement au même moment, et il y a un réel potentiel pour que vous ressentiez réellement de la musique dans votre corps.”

Le type de combinaison haptique que M. Zimmerman a testé pour la première fois, il y a maintenant près de dix ans, est récemment devenu plus accessible au public. Les appareils étaient disponibles lors d’événements cet été au Lincoln Center de New York – y compris lors d’une récente soirée disco silencieuse, un événement au cours duquel les gens dansent tout en écoutant de la musique via des écouteurs sans fil – ainsi qu’au festival South by Southwest à Austin, Texas, en mars, un concert de Greta Van Fleet à Las Vegas et une représentation à l’Opéra de Philadelphie.

Développé par la société basée à Philadelphie Music: Not Impossible, l’appareil se compose de deux bandes de cheville, de deux bracelets et d’un sac à dos qui se fixe avec des doubles sangles sur la cage thoracique. Porter l’un d’eux ressemble un peu à un câlin d’ours de tout le corps depuis une chaise de massage.

Les combinaisons haptiques, également utilisées dans la réalité virtuelle et les jeux vidéo, existent depuis plusieurs décennies. Mais les combinaisons Music: Not Impossible sont uniques car les appareils transforment des notes de musique individuelles en vibrations spécifiques. D’autres entreprises produisent également des produits haptiques conçus pour capturer les expériences sonores de divers événements. Les exemples incluent le craquement d’une batte de baseball lors d’un événement sportif transmis à travers des sièges vibrantsou des expériences plus quotidiennes comme le bruit d’un chien qui aboie traduit par un motif de bourdonnements sur un bracelet portable.

“Il y a une révolution dans la technologie haptique en ce moment”, a déclaré Mark D. Fletcher, chercheur à l’Université de Southampton en Grande-Bretagne, qui étudie l’utilisation de l’haptique pour aider les personnes sourdes ou malentendantes.

Le développement des combinaisons a bénéficié des progrès récents des microprocesseurs, de la technologie sans fil, des batteries et de l’intelligence artificielle, a-t-il déclaré, tous des composants clés du marché émergent des appareils haptiques portables.

Mick Ebeling, le fondateur de Not Impossible Labs, basé à Los Angeles, a été inspiré pour la première fois à expérimenter des combinaisons haptiques en 2014 lorsqu’il a vu une vidéo d’un événement mettant en vedette un DJ sourd, avec de la musique lourde de basses pulsant à travers des haut-parleurs face au sol et des gens qui dansent pieds nus. M. Ebeling voulait trouver une meilleure façon pour les personnes sourdes de faire l’expérience de la musique.

Daniel Belquer, un compositeur titulaire d’une maîtrise en théâtre, est rapidement venu à bord pour trouver un moyen de transmettre l’expérience de la musique directement dans le cerveau. Cette mission, a déclaré M. Belquer, s’est rapidement étendue à un objectif de créer une expérience tactile de la musique accessible à tous, y compris aux personnes sans perte auditive.

M. Belquer s’est joint au projet parce qu’il était intéressé à aider la communauté sourde, mais aussi parce qu’il était intrigué en tant que compositeur. Il avait rédigé un mémoire de maîtrise sur l’écoute et produisait déjà du son avec des objets vibrants dans ses propres spectacles.

M. Belquer a travaillé avec des ingénieurs d’Avnet, une société d’électronique, pour produire un système de retour haptique plus nuancé à utiliser avec des expériences musicales, qui crée une sensation de toucher par le biais de vibrations et d’une transmission sans fil sans décalage. Mais les premiers prototypes étaient lourds et pas assez sensibles pour vraiment traduire la musique.

“En tant que compositeur, l’expression artistique est importante, pas seulement le côté technique”, a-t-il déclaré.

Il a sollicité les commentaires des membres de la communauté sourde, notamment Mandy Harvey, une chanteuse et compositrice sourde; ainsi que M. Zimmerman, le compositeur ; et l’interprète en langue des signes Amber Galloway.

M. Zimmerman a déclaré que la première version de l’appareil qu’il avait testé n’était “pas satisfaisante”.

“Imaginez avoir sept ou huit téléphones portables différents attachés à différentes parties de votre corps, attachés à des fils”, a-t-il déclaré. “Et puis ils commencent tous à partir au hasard.”

M. Belquer a travaillé pour perfectionner la technologie, a-t-il dit, jusqu’à ce que jusqu’à 24 instruments ou éléments vocaux d’une chanson puissent chacun être traduits en un point différent de la combinaison.

En 2018, il avait créé la première version du modèle actuel, qui propose trois niveaux d’intensité réglables individuellement, ainsi qu’un ajustement entièrement personnalisable.

Amanda Landers, une instructrice de langue des signes de 36 ans à l’école secondaire Syosset de Long Island qui souffre d’une perte auditive progressive qui a commencé à l’époque où elle était au lycée, a déclaré qu’elle pensait que les combinaisons étaient un moyen radical de créer un accès pour les personnes qui sont sourds ou malentendants.

Elle a porté l’un des gilets pour la première fois l’année dernière, lors d’une démonstration privée avec M. Belquer et Flavia Naslausky, responsable du développement commercial et de la stratégie chez Music: Not Impossible, après avoir découvert le site Web Not Impossible Labs tout en recherchant des technologies émergentes pour les personnes atteintes de perte auditive pour montrer à ses élèves.

La compagnie a joué ses extraits du film “Interstellar”, dont le compositeur, Hans Zimmer, a été nominé pour un Oscar de la meilleure musique originale. La plus grande surprise, a déclaré Mme Landers, a été l’intensité des sensations.

«Quand la chanson descendait, non seulement les différentes parties de vous vibraient; il est en fait devenu plus doux et plus approfondi », a-t-elle déclaré dans une récente interview vidéo. “Et quand c’était plus fort, tout mon corps tremblait. Le niveau de précision qu’ils y ont mis était stupéfiant.

La technologie, qui a été testée à une distance allant jusqu’à trois quarts de mile d’une scène, fonctionne à la fois pour les pistes de basse palpitantes et les pièces classiques (il s’agissait principalement de musique dance-pop et électronique dans le mix d’une discothèque silencieuse sur un samedi soir récent au Lincoln Center).

“Ce qu’ils font est si important”, a déclaré Mme Landers à propos de la vision de Music: Not Impossible de créer une expérience musicale partagée pour tous les spectateurs. “Les gens voient souvent l’inclusivité comme quelque chose qui se dit : “Oh, c’est tellement compliqué”, et puis ils ne le font pas, mais ce n’est pas si difficile.”

Music: Not Impossible fournit actuellement les combinaisons aux organisations dans le cadre d’un forfait complet, qui comprend jusqu’à 90 combinaisons ; une équipe de membres du personnel sur place qui aidera les gens à les mettre en place, répondra aux questions et dépannera la technologie ; ainsi qu’une équipe de “vibro DJs” formés pour personnaliser les emplacements de transmission des vibrations pour chaque chanson d’un set.

Les prix commencent à quelques milliers de dollars pour une “expérience de base”, a déclaré M. Belquer, qui comprend quelques costumes et un DJ vibro, et peut atteindre six chiffres pour des expériences qui absorbent une partie importante de l’inventaire de 90 costumes de l’entreprise en les États Unis.

(Lincoln Center, qui a mis les costumes à disposition lors de quelques événements chaque été depuis 2021, avait 75 costumes lors de deux soirées disco silencieuses et un Principalement concert de l’Orchestre du Festival de Mozart cet été, contre 50 par événement l’année dernière.)

“La seule exigence que nous posons sur ce front est que les sourds et les malentendants ne soient jamais facturés pour notre expérience”, a déclaré M. Belquer.

Mais le caractère inabordable pour la plupart des consommateurs est l’une des raisons pour lesquelles les combinaisons haptiques, bien que prometteuses, sont actuellement une option peu pratique pour la plupart des personnes sourdes ou malentendantes.

Dickie Hearts, un acteur et artiste new-yorkais de 25 ans, né sourd et qui se considère comme un habitué de la scène des clubs de la ville, a eu la chance d’essayer une version antérieure des costumes Music: Not Impossible lors d’un concert à Los Angeles il y a environ huit ans. (Sourd est capitalisé par certaines personnes en référence à une identité culturelle distincte.)

Bien qu’il apprécie l’intention derrière eux, a-t-il dit, il préfère avoir une interprétation en direct de la langue des signes américaine aux côtés de légendes qui transmettent les paroles.

“Ressentir les vibrations n’a jamais été un problème pour moi”, a-t-il déclaré lors d’un récent appel vidéo, réalisé avec l’aide d’un interprète ASL. « Je veux savoir quels sont les mots. Je ne veux pas avoir à tendre la main à mon ami entendant et à lui dire : « Oh, quelle chanson jouent-ils ? » »

Une autre préoccupation, a-t-il dit, est que les packs pourraient faire des personnes sourdes des cibles pour les intimidateurs. Lors de l’événement où il les a testés à Los Angeles, a-t-il dit, seules les personnes sourdes les utilisaient, ce qui l’a fait se sentir isolé.

Mais, a-t-il ajouté, si des personnes entendantes dans le public portaient également les costumes, comme lors des soirées disco silencieuses du Lincoln Center, il serait intéressé à en faire partie.

M. Belquer a déclaré que Music: Not Impossible espérait créer un produit que tout le monde pourrait utiliser.

Cette vision a pris vie à la discothèque silencieuse du Lincoln Center. À la tombée de la nuit, environ 75 personnes portant des écouteurs clignotants rouges, verts ou bleus ont eu la chance de faire l’expérience des combinaisons. Ils sautaient et se balançaient sur des morceaux dance-pop palpitants, parfois seuls, taillant leur propre cercle rythmique, et parfois en groupe.

“C’est comme des gouttes de pluie sur mes épaules”, a déclaré Regina Valdez, 55 ans, qui vit à Harlem.

“Wow, ça vibre”, a déclaré Lucas Garcia, 6 ans, qui a semblé surpris en regardant son gilet. Ses parents, Chris Garcia et Aida Alvarez, qui portaient également des gilets, ont dansé à proximité.

Il était — comme prévu — impossible de dire qui était sourd et qui entendait.

Mais M. Zimmerman, qui a testé les combinaisons pour la première fois, a déclaré qu’il espérait toujours quelques ajustements supplémentaires.

“J’aimerais que ce soit si bon qu’une belle note de violon me fasse pleurer”, a-t-il déclaré. “Et un drôle de coup de trombone me ferait rire.”

Katie Van Syckle reportage contribué.