Не дайте себя взломать: как технологии узнали о нас больше, чем мы сами

Когда вам 2 года, ваша мама знает о вас все и даже больше. Когда вы становитесь старше, на ее место приходят правительство, корпорации и соцсети: YouTube уже сейчас может заставить вас пялиться в экран, когда у вас полно дел, а рекламодатели скоро научатся определять ваши сексуальные предпочтения раньше вас самих.
О том, может ли человек противостоять технологиям и что делать, чтобы алгоритмам было сложнее нас «взломать», журналист Wired Николас Томпсон спросил у Юваля Ноя Харари и Тристана Харриса.

Кто такие Тристан и Юваль

Тристан Харрис — директор Центра гуманных технологий. Это организация, которая борется с негативным влиянием соцсетей и гаджетов на человека. Раньше он работал в комитете по этике Googlе и Стэнфордской лаборатории технологий психологического влияния.
Юваль Ной Харари — «историк, который пытается понять, откуда идёт человечество и куда оно направляется», как он сам себя называет.

Взломать человека

«Я думаю, что мы столкнулись не только с технологическим, но и с философским кризисом, — говорит Юваль Ной Харари. — Мы построили общество — либеральную демократию с выборами, свободным рынком и так далее — на философских идеях 18 века. Они просто несовместимы с научными открытиями 21 века и современными технологиями».
Общество строится на представлении, что избиратель лучше знает, кто должен управлять страной, а клиент всегда прав. Считается, что человеческий выбор — это священная корова, которую якобы невозможно «взломать» и которой нельзя манипулировать. По идее мои желания отражают мою свободную волю и на них никто не может повлиять. Но это неправда.
В 19-20 веках, когда люди верили в мифы и современных технологий еще не было, манипуляции были не так заметны. Сейчас все иначе.

«Пожалуй, самый важный факт о жизни в 21 веке — это то, что теперь мы животные, которых можно взломать», — продолжает Харари.

Взломать человека — значит понять, что происходит внутри него на уровне тела, мозга, сознания. Так, чтобы предугадывать его действия, манипулировать и контролировать его. Конечно, это делали и сто лет назад, но разница в уровне влияния существенная.
Вопрос в том, может ли кто-то узнать вас лучше вас самих. Алгоритмы «взлома» никогда не будут работать идеально. Но идеал и не нужен. Достаточно быть лучше среднестатистического человека.

YouTube и партия в шахматы

Могут ли технологии «взломать» чувства и изменить поведение? В ответ на этот вопрос Тристан Харрис приводит пример YouTube. Вы открываете видео, которое прислал ваш друг, и думаете: «Я посмотрю только это видео и всё». А через три часа выходите из транса и такие: «Чёрт возьми, что только что произошло?».
Все потому, что когда вы включаете это злосчастное видео, задействуются огромные вычислительные мощности Google. Они изучили, что нужно 2 млрд человек, чтобы кликнуть на следующее видео. Они знают, как выиграть шахматную партию против вашего мозга. Когда вы хотите сделать правильный ход (то есть, посмотреть только одно видео), компьютер возразит:

«Нет-нет-нет. Я провёл миллиард симуляций этой игры с другими человеческими созданиями в YouTube». И он выиграет.

Вспомните, как Гарри Каспаров проиграл в шахматы суперкомпьютеру Deep Blue от IBM. Это шах и мат человечеству, ведь Каспаров — лучший шахматист в мире. Конечно, это не значит, что мы полностью потеряли контроль, и посмотрев один ролик в YouTube уже никогда не сможем остановиться. Но каждый раз, заходя в интернет, вы даете суперкомпьютерам доступ к своему мозгу. Они играют против вас и будут чаще выигрывать, чем проигрывать.

Метафора игры

Так ли точна метафора шахмат? Ведь это игра с победителем и проигравшим, в то время как алгоритмы YouTube советуют видео в зависимости от ваших интересов. Так в какую игру мы играем?
YouTube может проанализировать запросы всех пользователей, которые когда-либо хотели научиться играть на укулеле, и выдать идеальное обучающее видео, которое вы добавите в список «посмотреть позже». Проблема в том, что он не заботится о ваших желаниях. Он заботится о том, чтобы вы подольше смотрели в экран. Девушке, которая ищет видео о диетах, YouTube покажет получасовой ролик об анорексии. А человеку, который посмотрел короткую новость о терактах 11 сентября — конспирологические видео InfoWars с Алексом Джонсом.
Другая проблема заключается в том, что самой системой рекомендаций можно манипулировать. Люди думают, что то или иное видео — их выбор, но это не так. Из всего, что мы смотрим на YouTube, 70% — рекомендации.

В среднем люди смотрят YouTube 60 минут в день. Только подумайте: из этого часа 42 минуты вы смотрите то, что предлагает компьютер — машина вне контроля.

Кукольная демократия

Юваль Харари считает, что технологии становятся угрозой для современного политического режима. «Демократия станет кукольным шоу», — говорит он в своей книге «21 урок для 21 века». Если демократический режим не адаптируется к новым реалиям, а люди продолжат верить, что их выбором нельзя манипулировать, то очень скоро все это превратится в эмоциональное кукольное представление.
Мы упорно отказываемся верить, что нас можно «взломать». Мы думаем так: «Если я чего-то боюсь, то это мой страх. Никто мне его не внушал. Если я что-то выбираю — значит такова моя свободная воля. И кто ты такой, чтобы ещё что-то мне рассказывать?».

Искусственный интеллект и биотехнологии

Технологии будут развиваться и дальше. Нельзя просто взять и остановить все исследования ИИ и биотехнологий. Харари считает, что первому уделяют слишком много внимания, а второму — недостаточно. Ведь для того, чтобы «взломать» человека, используют именно биотехнологии. Там важны не кибернетические знания, а знание нейробиологии — науки о мозге. Именно его пытаются «взломать» разработчики алгоритмов.
Биотехнологии позволяют узнать о человеке то, чего он сам не знает. Эти сигналы можно считать даже без инвазивных датчиков. Есть такая технология — эйлерово увеличение. Если направить веб-камеру суперкомпьютера на лицо человека и запустить математическое уравнение — можно увидеть пульсацию крови по артериям под кожей и другие микроскопические изменения, которые не видно невооруженным глазом. Эта технология позволяет измерить сердцебиение, определить уровень стресса и отследить когнитивные процессы. Например, если у человека расширены зрачки, значит он чего-то не понимает.

В Cambrige Analytica — компании, которая«взломала» выборы через Facebook — считают, что зная 5 качеств человека, можно составить портрет его личности.

«Допустим, я знаю, что ты — открытый, добросовестный, экстравертивный, податливый и невротичный. На основе этой модели личности я могу подкорректировать политический месседж специально для тебя», — говорит Тристан Харрис журналисту.

Весь скандал с Facebook сводится к тому, что соцсеть позволила исследователям украсть данные, которые раньше они собирали вручную — через анкеты. Недавно Глория Марк из Калифонийского университета в Ирвайне провела исследование и пришла к выводу, что по тому, на что человек кликает, можно определить эти 5 качеств с точностью до 80%.
С помощью ИИ мы можем получить намного больше сигналов, включая микровыражения, ухмылки и так далее. Политтехнологи смогут в режиме реального времени корректировать свои месседжи в соответствии с вашим сердцебиением, расширением зрачков и политическими убеждениями. Это не тот мир, в котором вы хотели бы жить, правда? Это какая-то антиутопия.
Впрочем, технологии можно использовать по-разному. Например, в университете, чтобы понять, вовлечены студенты или скучают. Юристы могут использовать ИИ во время переговоров. Дипломаты — на официальной встрече, когда два премьер-министра пытаются разрешить территориальный конфликт между государствами. Можно разработать публичную систему наблюдения для контроля за работой правительства и мониторить госслужащих, чтобы те не брали взятки.

Технологии это позволяют. Вопрос в том, хотим ли мы этого?

Кола против Пепси

У Юваля Харари есть личная причина защищать ИИ. «Я осознал свою гомосексуальность только в 21 год. Что я делал предыдущие 5-6 лет? Как это возможно? У каждого есть что-то, чего он не знает о себе. Но как можно было не знать этого?», — удивляется Юваль. Суперкомпьютер мог бы помочь ему понять это раньше. Например, маленький 14-летний Харари смотрит телевизор и видит рекламу, где есть парень в плавках и девушка в купальнике. Компьютер мог бы определить, куда направлен его взгляд.

«Какой была бы моя жизнь, знай я это в 14 лет? Что если бы я узнал это от алгоритма? Есть в этом расщеплении эго что-то потрясающее. В том, что алгоритм — источник моих знаний о самом себе», — поражается Юваль Харари.

Бренды тоже могли бы использовать эту информацию. Например, если бы Coca-Cola узнала об ориентации Юваля раньше, чем Pepsi, она показывала бы ему рекламу с мужчинами. Он бы всю жизнь покупал Coca-Cola, а не Pepsi, думая, что это его осознанный выбор.

Плохой юрист и злой священник

Тристан Харрис сравнивает алгоритм с недобросовестным юристом. Вы доверяете ему некую личную информацию, чтобы он помог вам решить определенную проблему. Что будет, если юрист возьмет и продаст кому-нибудь ваши секреты? Его лишат лицензии. С врачами и психотерапевтами то же самое. Зато когда вы идете по улице, даже не замечаете камеру на углу дома.
Представьте себе 2 млрд человек, которые постоянно следят за вами, подслушивают разговоры и смотрят, на какую рекламу вы кликаете. Затем они приходят исповедоваться к священнику и рассказывают все, что узнали о вас. Представьте, что бизнес-модель этого священника — продавать эту информацию, чтобы вами могли манипулировать. Facebook работает именно так.
Разницы между корпорациями и правительством тут нет. Все дело в сущности, которая управляет нами, а не в том, кто владеет этой информацией.

Самозащита от «взлома»

Большинство людей, в том числе политики, слабо понимают, о чём идёт речь. Самая большая проблема заключается в том, чтобы убедить их, что это всё реально. И что мы можем что-то с этим сделать.
Осознание проблемы важно, но это еще не все. Если надеть на человека VR-шлем и поставить на краю виртуальной пропасти, он будет понимать, что все это не по-настоящему, но тысячелетняя эволюция всё равно заставит его испытывать страх. Еще один пример — лесть. Она работает даже в том случае, если собеседник понимает, что ему говорят неправду.
Первый шаг к самозащите — признать, что мы уязвимы и нас можно «взломать». Второй шаг — постараться узнать себя как можно лучше. Подойдут любые средства — медитация, спорт, искусство, философия, активизм. Если в древние века можно было пропустить слова Сократа мимо ушей и спокойно работать на своей оливковой плантации, то теперь познание превращается в соревнование. Нужно бежать быстрее тех, кто тебя преследует.

Есть всего два варианта: или вы узнаете о себе больше, чем знают другие, и становитесь независимыми, или вами управляют.

Читайте нас в Telegram