Видеть — значит слышать

Чтобы живая человеческая речь зазвучала, нужна работа артикуляционного аппарата. Исключение — умеющие говорить не шевеля губами вентрологи (чревовещатели), но это исключение. И вот что интересно: звучащую речь можно одновременно и слышать, и видеть.

Читать по губам сложнее, чем слышать: звонкость-глухота, мягкость-твёрдость, йотирование и его отсутствие, а также ударение зрительно либо почти не видны, либо не видны совсем. Чтение по губам более успешно, если при этом речь слышна хотя бы частично, поэтому так бросается в глаза несовпадение звучания тому, что реально произносится. При дубляже фильмов из-за этого недостаточно просто переводчика, необходим укладчик — автор синхронного текста. Он отвечает за то, чтобы перевод органично накладывался на оригинальную артикуляцию.

Заря кинематографа. Большая часть зрителей видела только игру актёров, а сами актёры полагали, что раз пленка не передает звук, то можно говорить что угодно. Французская киностудия «Gaumont» однажды получила из полицейского управления суровое внушение. «Руководители школ для глухих, считавшие кино прекрасным развлечением для своих питомцев, нередко водили их в кинотеатры. Но во время самых драматических сцен неожиданно раздавались взрывы оглушительного смеха. Глухие, умевшие читать по губам, понимали слова актеров. С тех пор мы стали более сдержанными» (из воспоминаний Рене Наварра, французского актёра 1910-х годов).

Несколько десятилетий спустя. Невский проспект, 56 — знаменитый Елисеевский магазин, «Гастроном №1». Магазин с особой культурой обслуживания: фиксировалась даже манера общения с покупателями. Казалось бы, при отсутствии технических средств, как это можно сделать? Приходили люди из общества глухих, стояли в сторонке, читали по губам и стенографировали, как продавцы общались с покупателями. Позже на внеочередных собраниях зачитывали, что ты бабушке не так ответил, не сказал «пожалуйста» или «здравствуйте» (Фонтанка).

Наши дни. Исследователи из Google DeepMind и Оксфордского университета обучили нейронную сеть читать по губам на тысячах часов записей с BBC. Система научилась с вероятностью в 46,8% определять то, что говорят люди на экране. Для сравнения: профессионал в чтении по губам смог правильно определить слова в тех же видеороликах лишь в 12,4% случаев (3DNews).