Да, вече е време да се тревожите - много да се тревожите. Както войните в Украйна намлява Газа показаха, че най-ранните еквиваленти на дронове на „роботи убийци“ са стигнали до бойното поле и доказано е унищожителни оръжия. Но поне те остават до голяма степен под човешки контрол. Представете си за момент свят на война, в който тези въздушни дронове (или техните наземни и морски еквиваленти) ни контролират, а не обратното. Тогава щяхме да бъдем на разрушително различна планета по начин, който може да изглежда почти невъобразим днес. За съжаление обаче, това е всичко друго, но не и невъобразимо, като се има предвид работата по изкуствения интелект (AI) и роботизираните оръжия, която големите сили вече са започнали. Сега нека ви отведа в този таен свят и се опитайте да си представите какво може да означава бъдещето на войната за останалите от нас.
Комбинирайки AI с напреднала роботика, американската армия и тези на други напреднали сили вече работят усилено, създавайки набор от самонасочващи се „автономни“ оръжейни системи – бойни дронове, които могат да използват смъртоносна сила независимо от човешки офицери, предназначени да ги командват . Наричани от критиците „роботи убийци“, такива устройства включват различни самолети без екипаж или „без екипаж“, танкове, кораби и подводници, способни на автономна работа. Военновъздушните сили на САЩ, например, разработват своя „колаборативни бойни самолети”, безпилотен летателен апарат (БЛА), предназначен да се присъедини към пилотирани самолети при високорискови мисии. По подобен начин армията тества различни автономни безпилотни наземни превозни средства (UGV), докато Военноморските сили експериментират както с безпилотни надводни кораби (USV), така и с безпилотни подводни плавателни съдове (UUV или дрон подводници). Китай, Русия, Австралия и Израел също работят върху такива оръжия за бойните полета на бъдещето.
Предстоящата поява на тези машини за убиване предизвика безпокойство и противоречия в световен мащаб, като някои страни вече искат пълна забрана за тях, а други, включително САЩ, планират да разрешат използването им само при условия, контролирани от хора. В Женева група държави дори се опитаха да забранят разполагането и използването на напълно автономни оръжия, позовавайки се на договор на ООН от 1980 г. Конвенция за някои конвенционални оръжия, която има за цел да ограничи или забрани неядрените боеприпаси, за които се смята, че са особено вредни за цивилните. Междувременно в Ню Йорк Общото събрание на ООН проведе първото си обсъждане на автономните оръжия миналия октомври и планира пълномащабно преразглеждане на темата тази есен.
В по-голямата си част дебатът относно използването на такива устройства на бойното поле зависи от това дали те ще бъдат упълномощени да отнемат човешки животи без човешки надзор. Много религиозни и граждански организации твърдят, че такива системи няма да могат да правят разлика между бойци и цивилни на бойното поле и затова трябва да бъдат забранени, за да предпазят невоюващите от смърт или нараняване, както се изисква от международното хуманитарно право. Американски служители, от друга страна, се бори че такова оръжие може да бъде проектирано да работи перфектно в рамките на законовите ограничения.
Въпреки това, нито една от страните в този дебат не е разгледала потенциално най-изнервящия аспект от използването им в битка: вероятността, че рано или късно те ще могат да комуникират помежду си без човешка намеса и, тъй като са „интелигентни“, ще бъдат способни да измислят свои собствени тактики без сценарий за побеждаване на враг - или нещо съвсем друго. Подобно групово мислене, управлявано от компютър, наречено от компютърните учени „възникващо поведение“, отваря множество опасности, които все още не са разгледани от служители в Женева, Вашингтон или в ООН
За момента по-голямата част от автономните оръжия, разработвани от американската армия, ще бъдат безпилотни (или, както понякога казват, „необитаеми“) версии на съществуващи бойни платформи и ще бъдат проектирани да работят заедно с екипажи. Въпреки че може също така да имат известен капацитет да комуникират помежду си, те ще бъдат част от „мрежов“ боен екип, чиято мисия ще бъде диктувана и наблюдавана от човешки командири. Очаква се, например, Collaborative Combat Aircraft служи като „лоялен служител“ за пилотирания стелт изтребител F-35, докато изпълнява високорискови мисии в оспорвано въздушно пространство. Армията и флотът до голяма степен следват подобна траектория в подхода си към разработването на автономни оръжия.
Привлекателността на роботите „Ряци“
Някои американски стратези обаче подкрепят алтернативен подход към използването на автономни оръжия на бъдещи бойни полета, в които те ще служат не като младши колеги в ръководени от хора екипи, а като равностойни членове на самонасочващи се рояци роботи. Такива формации ще се състоят от десетки или дори стотици активирани с AI UAV, USV или UGV - всички способни да комуникират помежду си, да споделят данни за променящите се условия на бойното поле и колективно да променят своите бойни тактики, както груповото съзнание сметне за необходимо.
„Новите роботизирани технологии ще позволят на утрешните сили да се бият като рояк, с по-голяма маса, координация, интелигентност и скорост от днешните мрежови сили,“ прогнозира Пол Шар, ранен ентусиаст на концепцията, в доклад от 2014 г. за Центъра за нова американска сигурност (CNAS). „Мрежови, кооперативни автономни системи“, пише той тогава, „ще бъдат способни на истинско роене – кооперативно поведение между разпределени елементи, което поражда съгласувано, интелигентно цяло.“
Както Шаре изясни в своя пророчески доклад, всяка пълна реализация на концепцията на рояка ще изисква разработването на усъвършенствани алгоритми, които ще позволят на автономните бойни системи да комуникират помежду си и да „гласуват“ за предпочитаните начини на атака. Това, отбеляза той, ще включва създаване на софтуер, способен да имитира мравки, пчели, вълци и други същества, които показват поведение на „рояк“ в природата. Както Шаре каза: „Точно както вълците в глутница представят врага си с непрекъснато променяща се мъгла от заплахи от всички посоки, необитаемите превозни средства, които могат да координират маневра и атака, могат да бъдат значително по-ефективни от некоординирани работещи системи масово"
През 2014 г. обаче технологията, необходима, за да направи възможно такова поведение на машината, все още беше в начален стадий. За да се справи с този критичен недостатък, Министерството на отбраната продължи да финансира изследвания в областта на ИИ и роботиката, въпреки че придоби такава технология от частни фирми като Google и Microsoft. Ключова фигура в това движение беше Робърт Уърк, бивш колега на Paul Scharre в CNAS и ранен ентусиаст на рояковата война. От 2014 до 2017 г. работи като заместник-министър на отбраната, позиция, която му даде възможност за насочване на все по-големи суми пари за разработването на високотехнологични оръжия, особено безпилотни и автономни системи.
От мозайка до репликатор
Голяма част от тези усилия бяха делегирани на Агенцията за напреднали изследователски проекти на отбраната (DARPA), вътрешна високотехнологична изследователска организация на Пентагона. Като част от стремежа си да разработи AI за такива съвместни роякови операции, DARPA инициира своята програма „Mosaic“, серия от проекти, предназначени да усъвършенстват алгоритмите и другите технологии, необходими за координиране на дейностите на пилотирани и безпилотни бойни системи в бъдеще с висока интензивност битка с Русия и/или Китай.
„Прилагане на голямата гъвкавост на концепцията за мозайка към войната,“ обясни Дан Пат, заместник-директор на Службата за стратегически технологии на DARPA, „по-евтините, по-малко сложни системи могат да бъдат свързани заедно по огромен брой начини, за да създадат желани, преплетени ефекти, пригодени за всеки сценарий. Индивидуалните части на една мозайка могат да бъдат приписани [отменими], но заедно са безценни за това как допринасят за цялото.“
Тази концепция за война очевидно е в основата на новата стратегия „Репликатор“, обявена от заместник-министъра на отбраната Катлийн Хикс миналото лято. „Репликаторът има за цел да ни помогне да преодолеем най-голямото предимство [на Китай], което е масата. Още кораби. Още ракети. Повече хора“, тя каза служители на оръжейната индустрия миналия август. Чрез разполагането на хиляди автономни UAV, USV, UUV и UGV, предположи тя, американската армия ще може да надхитри, надхитри и надвие китайската армия, Народната освободителна армия (PLA). „За да останем напред, ние ще създадем ново ниво на техниката… Ще противодействаме на масата на PLA с наша собствена маса, но нашата ще бъде по-трудна за планиране, по-трудна за удар, по-трудна за победа.“
За да получи както хардуера, така и софтуера, необходими за изпълнението на такава амбициозна програма, Министерството на отбраната сега търси предложения от традиционни изпълнители на отбраната като Boeing и Raytheon, както и стартиращи фирми с изкуствен интелект като Андурил намлява Щит AI. Докато широкомащабни устройства като Collaborative Combat Aircraft на ВВС и на ВМС Orca Extra-Large UUV могат да бъдат включени в това задвижване, акцентът е върху бързото производство на по-малки, по-малко сложни системи като тези на AeroVironment Атакуващ дрон Switchblade, сега се използва от украинските войски за извеждане на руски танкове и бронирани превозни средства зад вражеските линии.
В същото време Пентагонът вече призовава технологичните стартиращи компании да разработят необходимия софтуер за улесняване на комуникацията и координацията между такива различни роботизирани единици и свързаните с тях пилотирани платформи. За да улеснят това, Военновъздушните сили поискаха от Конгреса 50 милиона долара в своя бюджет за фискална 2024 г., за да подпишат това, което достатъчно зловещо наричат Проект VENOM, или „Експериментиране на Viper и оперативен модел от следващо поколение“. В рамките на VENOM ВВС ще преобразуват съществуващите изтребители в БПЛА, управлявани от изкуствен интелект и ще ги използват за тестване на усъвършенстван автономен софтуер при операции с множество дронове. The Армия намлява Военноморски флот тестват подобни системи.
Когато рояците избират своя собствен път
С други думи, само въпрос на време е американската армия (и вероятно тази на Китай, Русия и може би тези на няколко други сили) да могат да разположат рояци автономни оръжейни системи, оборудвани с алгоритми, които им позволяват да комуникират с всеки други и съвместно избират нови, непредвидими бойни маневри, докато са в движение. На всеки участващ роботизиран член на такива рояци ще бъде дадена цел на мисията („търсете и унищожете всички вражески радари и противовъздушни ракетни батареи, разположени в рамките на тези [посочени] географски координати”), но не и да му бъдат дадени точни инструкции как да го направи. Това би им позволило да изберат свои собствени бойни тактики в консултация помежду си. Ако ограничените тестови данни, с които разполагаме, са нещо, това може да означава използване на изключително нетрадиционна тактика, която никога не е замисляна за (и невъзможна за копиране от) човешки пилоти и командири.
Склонността на такива взаимосвързани AI системи да се ангажират с нови, непланирани резултати е това, което компютърните експерти наричат „възникващо поведение“. Като ScienceDirect, сборник на научни списания, обяснява го, „Възникващото поведение може да се опише като процес, при който по-големи модели възникват чрез взаимодействия между по-малки или по-прости субекти, които сами по себе си не проявяват такива свойства.“ От военна гледна точка това означава, че рояк от автономни оръжия може съвместно да избере да възприеме бойна тактика, за която нито едно от отделните устройства не е програмирано да изпълнява - вероятно постигайки поразителни резултати на бойното поле, но също така е възможно ангажиране в ескалационни действия, непреднамерени и непредвидени от техните човешки командири, включително унищожаване на критична гражданска инфраструктура или комуникационни съоръжения, използвани за ядрени, както и за конвенционални операции.
На този етап, разбира се, е почти невъзможно да се предвиди какво може да избере да направи един извънземен групов ум, ако е въоръжен с множество оръжия и е откъснат от човешкия надзор. Предполага се, че такива системи ще бъдат оборудвани с отказоустойчиви механизми изискваща че се връщат в базата, ако комуникацията с човешките им ръководители е загубена, независимо дали поради заглушаване на врага или по някаква друга причина. Кой знае обаче как биха функционирали такива мислещи машини в трудни условия на реалния свят или дали всъщност груповият ум ще се окаже способен да пренебрегне подобни директиви и да нанесе удар сам.
Какво тогава? Възможно ли е да изберат да продължат да се бият отвъд своите предварително програмирани граници, провокирайки непредвидена ескалация - дори, вероятно, от ядрен вид? Или биха избрали да спрат атаките си срещу вражески сили и вместо това да се намесят в операциите на приятелски, може би да стрелят по тях и да ги опустошат (както Skynet прави в класическата научна фантастика Терминатор филмова поредица)? Или може да се ангажират с поведение, което, за добро или безкрайно лошо, е напълно извън нашето въображение?
Висши американски военни и дипломатически служители настояват, че изкуственият интелект наистина може да се използва, без да се излагат на такива бъдещи рискове и че тази страна ще използва само устройства, които включват напълно адекватни предпазни мерки срещу всяко бъдещо опасно неправилно поведение. Това всъщност е същественото произведено в „Политическа декларация за отговорно използване на изкуствения интелект и автономност във военната област“, издадена от Държавния департамент през февруари 2023 г. Много видни служители по сигурността и технологиите обаче са твърде наясно с потенциалните рискове от възникващо поведение в бъдещите роботизирани оръжия и продължават да издават предупреждения срещу бързото използване на AI във военни действия.
Особено внимание заслужава окончателният доклад, издаден от Комисията за национална сигурност по изкуствен интелект през февруари 2021 г. Съпредседателстван от Робърт Уърк (завърнал се в CNAS след престоя си в Пентагона) и Ерик Шмид, бивш главен изпълнителен директор на Google, комисията препоръча бързото използване на AI от американските военни, за да се гарантира победа във всеки бъдещ конфликт с Китай и/или Русия. Въпреки това, той също изрази загриженост относно потенциалните опасности от бойни полета, наситени с роботи.
„Неконтролираното глобално използване на такива системи потенциално рискува непреднамерена ескалация на конфликт и нестабилност при криза“, докладът отбелязва. Това може да се случи по редица причини, включително „поради предизвикателна и непроверена сложност на взаимодействието между AI-активирани и автономни оръжейни системи [тоест, възникващи поведения] на бойното поле.“ Като се има предвид тази опасност, заключението е, че „държавите трябва да предприемат действия, които се фокусират върху намаляване на рисковете, свързани с AI-активирани и автономни оръжейни системи“.
Когато водещите защитници на автономните оръжия ни казват да сме загрижени за непредвидените опасности, породени от използването им в битка, останалите от нас трябва наистина да се тревожат. Дори и да ни липсват математическите умения, за да разберем възникващото поведение в ИИ, трябва да е очевидно, че човечеството може да бъде изправено пред значителен риск за своето съществуване, ако машините за убиване придобият способността да мислят самостоятелно. Може би биха изненадали всички и биха решили да поемат ролята на международни мироопазващи сили, но като се има предвид, че те са предназначени да се бият и убиват, много по-вероятно е просто да изберат да изпълняват тези инструкции по независим и екстремен начин.
Ако е така, може да няма никой наоколо, който да постави RIP върху надгробния камък на човечеството.
ZNetwork се финансира единствено чрез щедростта на своите читатели.
ДАРЕТЕ