Перепечатка статьи. Оригинал на mail.ru.

Можно ли видеть с помощью звука

Технология vOICe vision кодирует картинку в звук и передает ее через костные наушники, чтобы не заглушать внешние звуки.

Камера сканирует окружающее пространство и с помощью специального алгоритма переводит изображение в определенную звуковую последовательность. Яркость преобразуется в громкость, вертикаль — в высоту звука, горизонталь — во время поступления сигнала. При необходимости цвет центральной области изображения распознается программой и озвучивается словами.

Принцип работы vOICe vision:

Один из первых испытателей, незрячий Вадим Арцев, недавно выиграл соревнование «Нейротлон» между атлетами с нарушениями зрения. Вадим финишировал первым, без ошибок пройдя трассу с препятствиями и обнаружив верный предмет, тем самым опередив на 1 минуту 17 секунд своих соперников, использующих зрительные имплантаты и умную трость.

Вадим потерял зрение в 14 лет после черепно-мозговой травмы. Сейчас ему 23 года, он работает массажистом, добирается до работы без сопровождающего, «видит» дорожную разметку и автомобили, читает крупный текст и даже бегает. А одна из испытуемых в Израиле научилась распознавать эмоции по выражению лица собеседника.

Вадиму понадобилось три месяца, чтобы начать распознавать картинку при помощи звука. В основе такой адаптации лежит нейропластичность — свойство нейронов приобретать новые функции в зависимости от прилагаемой к ним нагрузки. В случае vOICe vision функцию зрения приобретают нейроны слуховой коры. Аналогичные проекты, использующие кожу спины или поверхность языка (BrainPort) для кодирования изображения, подключают соматосенсорную кору, отвечающую за восприятие сигналов с поверхности кожи и слизистых.

Первый патент голландский разработчик Питер Мейер получил в середине 1990 года, а первая публичная версия программы vOICe вышла в январе 1998 года.

Руководитель российского проекта нейрофизиолог Игорь Трапезников и инженер Сергей Мозякин в 2011 году совместили программу Питера на нетбуке и видеоочки. Устройство получилось довольно массивным, поэтому в 2015 году вышло второе поколение на базе микрокомпьютера Raspberry Pi.

В 2017 году видеокамера и процессорный блок были перенесены непосредственно в корпус очков, что сделало устройство компактнее и способным работать автономно в течение восьми-десяти часов. Чтобы не заглушать внешние звуки, разработчики стали использоваться беспроводные наушники костной передачи.

Для наглядности Питер Мейер (Peter Mejer) разработал Android-приложение и веб-версию программы, которая позволяет увидеть принцип действия vOICe. Сразу ваш мозг не сможет обработать сложную картинку и извлечь нужную информацию. Для начала попробуйте выключить свет в комнате, поднести светлый предмет к экрану и закрыть глаза.

Яна Капская, Игорь Трапезников