Guide Play

Desafio

Criar um software que faz a ecolocalização de jogos FPS, ao reconhecer elementos presentes na tela e converter essa informação em sinais sonoros espaciais, que irão ampliar a experiência e tornar o jogo acessível a pessoas cegas ou com baixa visão.

Solução

Estima-se que, no mundo, mais de 1,3 bilhão de pessoas têm algum grau de deficiência visual, onde 36 milhões são cegas e mais de 217 milhões têm alguma deficiência visual moderada ou grave. Essa parcela da sociedade, infelizmente, tem acesso limitado a experiências culturais, sociais e de entretenimento pelas muitas barreiras existentes. Contudo, há diversas tecnologias e soluções que podem ser criadas para quebrar essas barreiras e proporcionar inclusão.

A Bolha acredita na aplicação da tecnologia com propósito, para impactar e transformar a vida das pessoas e, por isso, pesquisamos e desenvolvemos tecnologias assistivas. Guide Play é um projeto idealizado pela BLKJ Havas Singapura e JBL, trata-se de uma solução inovadora que permite que pessoas cegas ou com baixa visão joguem Counter-Strike 2.

Usando inteligência artificial e machine learning (IA/ML), criamos e desenvolvemos um software para Windows 11, ainda um protótipo, que aplica automaticamente configurações no Counter-Strike e captura em tempo real o que acontece na tela do jogo para transformar as ações e informações na tela em sons espaciais 360, perfeitos para os fones da JBL, além de compatível com outras marcas do mercado.

Guide Play foi criado com o suporte em acessibilidade da AbleGamers Brasil e com o apoio, feedback e insights de pessoas cegas ou com baixa visão no Brasil — Wzy, Alexandre Costa e Jonas Fernandes — e no restante do mundo, que contribuíram de forma valiosa em testar e validar a solução e trazer comentários sobre acessibilidade, possíveis features e melhorias.

A Bolha foi responsável pelo design, desenvolvimento completo e sound effects produzidos pelo Wzy, além de criar um mapa personalizado de Counter-Strike 2 para a JBL, um mapa de treino para que os jogadores possam se habituar com os sons, entender as situações de jogo e configurar o Guide Play com o volume, recursos e sons que melhor se adequam ao seu estilo de jogo. É possível saber mais sobre o projeto pelo site JQL Quantum Guide Play.

O que fizemos?

Análise de viabilidade

Aplicação de novas tecnologias

Computer vision

Design de interfaces (UI)

Especificação técnica

Testes de usabilidade

Inteligência artificial e machine learning

Desenvolvimento de experiências imersivas

Mais projetos