A mesterséges intelligencia (AI) végigsöpör a világon. Átalakítja az élet minden területét, és közben komoly etikai aggályokat vet fel a társadalom és az emberiség jövője szempontjából. A közösségi médiát meghatározó ChatGPT egy mesterséges intelligencia által vezérelt chatbot, amelyet az OpenAI fejlesztett ki. Ez a gépi tanulás egy részhalmaza, és az úgynevezett nagy nyelvi modellekre támaszkodik, amelyek emberszerű válaszokat tudnak generálni. Az ilyen technológia alkalmazási lehetőségei valóban óriásiak, ezért vannak már felhívások a mesterséges intelligencia szabályozására, például a ChatGPT-re.
Az AI túljárhat az emberek eszén? Nyilvános fenyegetést jelent? Valóban, az AI egzisztenciális fenyegetéssé válhat? A világ legkiválóbb nyelvésze Noam Chomsky, és minden idők egyik legmegbecsültebb közéleti értelmisége, akinek értelmiségi rangját Galileoéhoz, Newtonhoz és Descartes-hoz hasonlítják, ezekkel a kínzó kérdésekkel feszegeti a következő interjút.
CJ Polychroniou: A mesterséges intelligencia (AI) tudományos tudományágként az 1950-es évekre nyúlik vissza, de az elmúlt néhány évtizedben mindenféle területre behatolt, beleértve a bankszektort, a biztosítást, az autógyártást, a zenét és a védelmet. Valójában a mesterséges intelligencia technikák használata bizonyos esetekben felülmúlja az emberi képességeket, például egy sakkjátékban. Valószínűleg a gépek okosabbak lesznek, mint az emberek?
Noam Chomsky: Csak hogy tisztázzuk a terminológiát, a „gép” kifejezés itt azt jelenti program, alapvetően egy jelöléssel megírt elmélet, amely számítógéppel is végrehajtható – és egy szokatlan típusú elmélet érdekes módon, amit itt félretehetünk.
Durva különbséget tehetünk a tiszta műszaki és tudomány között. Nincs éles határ, de ez egy hasznos első közelítés. A tiszta mérnöki munka olyan terméket kíván előállítani, amely hasznos lehet. A tudomány a megértést keresi. Ha a téma az emberi intelligencia vagy más organizmusok kognitív képességei, akkor a tudomány e biológiai rendszerek megértésére törekszik.
Ha jól értem őket, az AI alapítói – Alan Turing, Herbert Simon, Marvin Minsky és mások – tudománynak tekintették, az akkoriban feltörekvő kognitív tudományok részének, amely az új technológiákat és felfedezéseket használja fel a matematikai számításelméletben. előre megértés. Az évek során ezek az aggodalmak elhalványultak, és nagyrészt a mérnöki irányultság váltotta fel őket. A korábbi aggodalmakat manapság gyakran elvetik, néha lekezelően, mint GOFAI-t – a régi, jó MI-t.
Folytatva a kérdéssel, valószínű, hogy olyan programokat dolgoznak ki, amelyek felülmúlják az emberi képességeket? Óvatosnak kell lennünk a „képességek” szóval kapcsolatban, olyan okok miatt, amelyekre még visszatérek. De ha a kifejezést az emberi teljesítményre vesszük, akkor a válasz: határozottan igen. Valójában már régóta léteznek: például a számológép egy laptopban. Ez messze meghaladhatja azt, amit az ember képes, már csak az idő és a memória hiánya miatt is. Az olyan zárt rendszerek esetében, mint a sakk, az '50-es években jól megértették, hogy előbb-utóbb, a hatalmas számítási kapacitások előrehaladtával és a hosszú előkészületekkel, ki lehet találni egy programot, amellyel legyőzhető egy lekötött memóriával játszó nagymester. és az idő. Az évekkel később elért eredmény nagyjából az IBM PR-je volt. Sok biológiai organizmus sokkal mélyebben haladja meg az emberi kognitív képességeket. A kertemben lévő sivatagi hangyáknak kicsi az agyuk, de messze meghaladják az emberi navigációs képességeket, elvileg nem csak a teljesítményt. Nincs a Létezés Nagy Lánca, amelynek csúcsán az emberek állnak.
A mesterséges intelligencia mérnöki termékeit számos területen használják, jóban vagy rosszban. Még az egyszerűek és ismerősek is nagyon hasznosak lehetnek: a nyelvterületen többek között olyan programok, mint az automatikus kitöltés, az élő átírás, a google fordító. A jóval nagyobb számítási teljesítmény és a kifinomultabb programozás mellett más hasznos alkalmazások is létezhetnek, a tudományokban is. Voltak már ilyenek: A fehérjehajtogatás tanulmányozásában való segítségnyújtás az egyik közelmúltbeli eset, amikor a masszív és gyors keresési technológia segítette a tudósokat egy kritikus és kelletlen probléma kezelésében.
A mérnöki projektek lehetnek hasznosak vagy károsak. Mindkét kérdés felmerül a mérnöki AI esetében. A Large Language Models (LLM) jelenlegi munkája, beleértve a chatbotokat is, eszközöket biztosít a félretájékoztatáshoz, a rágalmazáshoz és a tájékozatlanok félrevezetéséhez. A fenyegetések fokozódnak, ha mesterséges képekkel és hangreplikációval kombinálják őket. Különféle aggályokat szem előtt tartva a közelmúltban mesterséges intelligenciakutatók tízezrei hívott fejlesztési moratóriumot az általuk észlelt lehetséges veszélyek miatt.
Mint mindig, a technológia lehetséges előnyeit mérlegelni kell a lehetséges költségekkel.
Egészen más kérdések merülnek fel, ha az AI és a tudomány felé fordulunk. Itt óvatosságra van szükség a túlzott és meggondolatlan állítások miatt, amelyek gyakran felerősödnek a médiában. A kérdések tisztázása érdekében vegyünk néhány hipotetikus, néhány valós esetet.
Említettem a rovarnavigációt, ami elképesztő teljesítmény. A rovarkutatók nagy előrehaladást értek el annak tanulmányozásában, hogyan érhető el, bár a neurofiziológia, amely nagyon nehéz kérdés, továbbra is megfoghatatlan, valamint a rendszerek evolúciója. Ugyanez igaz a madarak és tengeri teknősök elképesztő bravúrjaira is, amelyek több ezer mérföldet utaznak, és tévedhetetlenül visszatérnek származási helyükre.
Tegyük fel, hogy jön Tom Jones, a mérnöki mesterséges intelligencia híve, és azt mondja: „Minden munkádat megcáfolták. A probléma megoldódott. A kereskedelmi légitársaságok pilótái mindig ugyanolyan vagy még jobb eredményeket érnek el.”
Ha még csak nem is válaszolnánk, nevetnénk.
Vegyük például az őslakos törzsek között még élő polinézek tengeri zsákmányait, akik csillagokat, szelet és áramlatokat használnak, hogy kenuikat egy kijelölt helyen, több száz mérfölddel arrébb szállják le. Ez is sok kutatás tárgya volt, hogy kiderítsék, hogyan csinálják. Tom Jones meg tudja adni a választ: „Ne pazarolja az idejét; a haditengerészeti hajók mindig ezt teszik.”
Ugyanaz a válasz.
Térjünk most egy valós esetre, a nyelvelsajátításra. Az elmúlt években kiterjedt és rendkívül megvilágító kutatások témája volt ez, amely kimutatta, hogy a csecsemők nagyon gazdag tudással rendelkeznek a környezeti nyelvről (vagy nyelvekről), messze túlmutatva azon, amit teljesítményükben mutatnak. Ez kevés bizonyítékkal érhető el, és bizonyos döntő esetekben egyáltalán nem. Legjobb esetben is, amint azt a gondos statisztikai vizsgálatok kimutatták, a rendelkezésre álló adatok ritkák, különösen, ha figyelembe vesszük a rang-gyakoriságot („Zipf-törvény”).
Írja be Tom Jones: „Cáfolták. Figyelmen kívül hagyva a felfedezéseit, az LLM-ek, amelyek csillagászati mennyiségű adatot pásztáznak, olyan statisztikai törvényszerűségeket találhatnak, amelyek lehetővé teszik azoknak az adatoknak a szimulálását, amelyekre képezték őket, és olyasmit állítanak elő, ami nagyjából úgy néz ki, mint a normális emberi viselkedés. Chatbotok.”
Ez az eset különbözik a többitől. Először is valóságos. Másodszor, az emberek nem nevetnek; sőt, sokan csodálkoznak. Harmadszor, a hipotetikus esetekkel ellentétben a tényleges eredmények messze eltérnek attól, amit állítanak.
Ezek a megfontolások egy kisebb problémát vetnek fel a jelenlegi LLM lelkesedéssel: annak teljes abszurditását, mint azokban a hipotetikus esetekben, amikor azonnal felismerjük. De vannak sokkal komolyabb problémák, mint az abszurditás.
Az egyik az, hogy az LLM-rendszereket úgy alakították ki, hogy ne tudjanak nekünk semmit sem mondani a nyelvről, a tanulásról vagy a megismerés egyéb aspektusairól, ami elvi, helyrehozhatatlan. Duplázza meg a beolvasott adatok terabájtját, adjon hozzá további billió paramétert, használjon még többet Kalifornia energiájából, és a viselkedés szimulációja javulni fog, miközben világosabban feltárja, hogy a megközelítés elvi kudarca nem eredményez megértést. Az ok alapvető: a rendszerek éppúgy működnek a lehetetlen nyelvekkel, amelyeket a csecsemők nem tudnak elsajátítani, mint azokkal, amelyeket gyorsan és gyakorlatilag reflexszerűen sajátítanak el.
Mintha egy biológus azt mondaná: „Van egy nagyszerű új elméletem az organizmusokról. Felsorol sok létezőt és sok olyat, amelyik nem is létezhet, és nem tudok mit mondani a különbségtételről.”
Megint nevetnénk. Vagy kellene.
Nem Tom Jones – most tényleges esetekre utal. Kitart a tudománytól való radikális eltávolodás mellett, Tom Jones így válaszol: „Honnan tudod mindezt mindaddig, amíg az összes nyelvet ki nem vizsgáltad?” Ezen a ponton a normál tudomány feladása még világosabbá válik. Az érvek paritása alapján elvethetjük a genetikát és a molekuláris biológiát, az evolúcióelméletet és a többi biológiai tudományt, amelyek nem vettek mintát az élőlények egy apró töredékénél. És a jó mércékért az összes fizikát kivethetjük. Miért hinnénk a mozgás törvényeiben? Hány tárgyat figyeltek meg ténylegesen mozgásban?
Ezenkívül van egy kis bizonyítási teher is. Azok, akik egy elméletet javasolnak, kötelesek bebizonyítani, hogy van valami értelme, ebben az esetben meg kell mutatni, hogy lehetetlen nyelvek esetében kudarcot vallanak. Nem mások felelőssége, hogy megcáfolják a javaslatot, bár jelen esetben ez elég könnyűnek tűnik.
Tekintsük a figyelmet a normál tudományra, ahol a dolgok érdekessé válnak. A nyelvelsajátítás egyetlen példája is gazdag betekintést nyújthat a lehetséges és lehetetlen nyelvek közötti különbségtételbe.
Az okok egyértelműek és ismerősek. Minden növekedés és fejlődés, beleértve az úgynevezett „tanulást”, olyan folyamat, amely a szervezet állapotával kezdődik, és lépésről lépésre átalakítja azt későbbi szakaszokba.
A nyelv elsajátítása egy ilyen folyamat. A kezdeti állapot a nyelvi képesség biológiai adottsága, amely nyilvánvalóan létezik, még akkor is, ha – ahogy egyesek hiszik – más képességek sajátos kombinációja. Régóta értett okok miatt ez nagyon valószínűtlen, de a mi aggályaink szempontjából nem releváns, így félretehetjük. Nyilvánvalóan létezik az emberi nyelvi képesség biológiai adottsága. A puszta közhely.
Az átmenet viszonylag stabil állapotba megy, amely csak felületesen változik: a nyelvtudáson túl. A külső adatok kiváltják és részben alakítják a folyamatot. Az elért állapotot (nyelvismeret) és a külső adatokat vizsgálva messzemenő következtetéseket vonhatunk le a kezdeti állapotról, a nyelvelsajátítást lehetővé tevő biológiai adottságról. A kezdeti állapotra vonatkozó következtetések különbséget tesznek a lehetséges és a lehetetlen nyelvek között. A megkülönböztetés mindazokra vonatkozik, akik osztoznak a kezdeti állapotban – minden emberre, amennyire ismert; úgy tűnik, hogy nincs különbség a nyelv elsajátításának képességében a létező emberi csoportok között.
Mindez normális tudomány, és sok eredményt ért el.
A kísérletek kimutatták, hogy a stabil állapot lényegében nagyon korán, három-négy éves korban érhető el. Az is jól bevált, hogy a nyelvi képesség alapvető, az emberre jellemző tulajdonságokkal rendelkezik, tehát valódi faji tulajdonság: közös az emberi csoportokban, és alapvetően egyedi emberi tulajdonság.
Sok minden kimarad ebből a sematikus leírásból, nevezetesen a természeti törvény szerepe a növekedésben és fejlődésben: egy olyan számítási rendszer esetében, mint a nyelv, a számítási hatékonyság elvei. De ez a dolog lényege. Megint egy normális tudomány.
Fontos tisztában lennünk azzal, hogy Arisztotelész különbséget tesz a tudás birtoklása és a tudás felhasználása között (a mai terminológiában a kompetencia és a teljesítmény). Nyelvi esetben a kapott stabil állapot az agyban kódolt tudás birtoklása. A belső rendszer meghatározza a strukturált kifejezések határtalan tömbjét, amelyek mindegyikét egy gondolat megfogalmazásának tekinthetjük, mindegyik külsődhet valamilyen szenzomotoros rendszerben, általában hang, bár lehet jel vagy akár (nehezen) érintés.
A belső kódolású rendszerhez a tudás (teljesítmény) felhasználásával lehet hozzáférni. Az előadás magában foglalja a nyelv belső használatát a gondolatban: reflexiót, tervezést, visszaemlékezést és még sok minden mást. Statisztikailag ez messze a túlnyomó nyelvhasználat. Az önvizsgálat számára elérhetetlen, pedig a tudomány szokásos módszereivel, metaforikusan szólva „kívülről” sokat megtudhatunk róla. Amit „belső beszédnek” neveznek, az valójában a külső beszéd töredékei, amelyekben az artikulációs apparátus elnémult. Ez csak egy távoli tükörképe a belső nyelvhasználatnak, olyan fontos dolgokra, amelyekre itt nem térhetek ki.
Más nyelvhasználati formák az észlelés (elemzés) és a termelés, ez utóbbiak döntően olyan tulajdonságokat foglalnak magukban, amelyek ma is ugyanolyan titokzatosak maradnak számunkra, mint amikor Galilei és kortársai ámulattal és ámulattal tekintettek rájuk a modern tudomány hajnalán.
A tudomány fő célja a belső rendszer felfedezése, mind a kezdeti állapotában az emberi nyelvi képességben, mind az elsajátítás során felvett sajátos formákban. Amennyire ezt a belső rendszert megértjük, tovább vizsgálhatjuk, hogyan lép be a teljesítménybe, kölcsönhatásba lépve sok más, a nyelvhasználatot befolyásoló tényezővel.
A teljesítményadatok bizonyítékot szolgáltatnak a belső rendszer természetére, különösen akkor, ha kísérletekkel finomítják őket, mint például a szokásos terepmunka során. De még a legmasszívabb adatgyűjtés is szükségszerűen félrevezető döntő módon. Tartja magát ahhoz, amit általában előállítanak, nem az agyban kódolt nyelv ismeretét, amely az elsődleges vizsgálat tárgya azok számára, akik meg akarják érteni a nyelv természetét és használatát. Ez a belső objektum végtelenül sok olyan lehetőséget határoz meg, amelyeket a normál viselkedésben nem használnak fel a nyelv szempontjából irreleváns tényezők, például a rövid távú memória korlátai, a 60 évvel ezelőtt tanulmányozott témák miatt. A megfigyelt adatok között sok olyan is szerepel majd, ami az agyban kódolt rendszeren kívül esik, gyakran a retorikai célú szabályokat sértő, tudatos nyelvhasználat. Ezek minden terepmunkás által ismert tények, akik informátorokkal történő kiváltási technikákra, alapvetően kísérletekre támaszkodnak, hogy egy kifinomult korpuszt hozzanak létre, amely kizárja az irreleváns korlátozásokat és a deviáns kifejezéseket. Ugyanez a helyzet, amikor a nyelvészek önmagukat informátorként használják, ez egy teljesen ésszerű és normális eljárás, amely napjainkig gyakori a pszichológia történetében.
Tovább haladva a normál tudományon, azt találjuk, hogy a nyelv belső folyamatai és elemei a megfigyelt jelenségek vizsgálatával nem mutathatók ki. Ezek az elemek gyakran nem is jelennek meg a beszédben (vagy az írásban), bár hatásuk, gyakran finom, kimutatható. Ez egy újabb ok, amiért a megfigyelt jelenségekre való korlátozás, mint az LLM-megközelítésekben, élesen korlátozza azoknak a belső folyamatoknak a megértését, amelyek a nyelv természetére, elsajátítására és használatára vonatkozó kutatások alapvető tárgyai. De ez nem releváns, ha a tudomány és a megértés iránti törődést más célok javára feladták.
Általánosabban fogalmazva, a tudományban évezredek óta kísérletekkel – gyakran gondolatkísérletekkel – vonnak le következtetéseket, amelyek mindegyike radikális absztrakció a jelenségektől. A kísérletek elméletvezéreltek, és igyekeznek elvetni azt a számtalan irreleváns tényezőt, amely a megfigyelt jelenségekbe – mint például a nyelvi teljesítmény – belekerül. Mindez annyira elemi, hogy ritkán esik szó róla. És ismerős. Mint már említettük, az alapvető megkülönböztetés Arisztotelésznek a tudás birtoklása és a tudás felhasználása közötti különbségtételére nyúlik vissza. Az előbbi a vizsgálat központi tárgya. Másodlagos (és meglehetősen komoly) tanulmányok azt vizsgálják, hogy a belsőleg tárolt tudásrendszer hogyan használható fel a teljesítményben, valamint számos nem nyelvi tényező, mint ami a közvetlenül megfigyelhetőbe kerül.
Emlékezhetünk Theodosius Dobzhansky evolúcióbiológus megfigyelésére is, aki elsősorban a Drosophilával végzett munkáiról híres: Minden faj egyedi, és az ember a legegyedibb az összes közül. Ha kíváncsiak vagyunk arra, hogy megértsük, milyen lények vagyunk – a Delphic Oracle 2,500 évvel ezelőtti utasítása nyomán –, akkor elsősorban azzal foglalkozunk, hogy mi teszi az embert a legkülönlegesebbé minden közül, elsősorban a nyelv és a gondolkodás között, amelyek szorosan összefonódnak, amint azt egy gazdag hagyománya a klasszikus Görögországig és Indiáig nyúlik vissza. A legtöbb viselkedés meglehetősen rutinszerű, ezért bizonyos mértékig kiszámítható. Valódi betekintést nyújt abba, hogy mi tesz minket egyedivé, az az, ami nem rutin, amit néha kísérletekkel, néha megfigyeléssel találunk meg, a normál gyerekektől a nagyszerű művészekig és tudósokig.
Egy utolsó megjegyzés ezzel kapcsolatban. A társadalmat egy évszázada sújtják hatalmas vállalati kampányok, amelyek célja a tudomány megvetése, ezek a témák többek között Naomi Oreskes által is jól tanulmányozott. Olyan vállalatokkal kezdődött, amelyek termékei gyilkosok: ólom, dohány, azbeszt, később a fosszilis tüzelőanyagok. Az indítékuk érthető. A kapitalista társadalomban a vállalkozás célja a profit, nem az emberi jólét. Ez intézményi tény: ne játsszon, és kiesik, helyette valaki, aki megteszi.
A vállalati PR részlegek korán felismerték, hogy hiba lenne tagadni a termékeik halálos hatásairól szóló tudományos bizonyítékokat. Ez könnyen megcáfolható lenne. Inkább kételkedni, bizonytalanságra ösztönözni, megvetni ezeket a hegyes fejű öltönyöket, akik soha nem festettek házat, de Washingtonból jöttek le, hogy ne használjak ólomfestéket, tönkretéve a vállalkozásomat (valós eset, könnyen megsokszorozható). Ez túl jól sikerült. Jelenleg a szervezett emberi élet pusztulása felé vezet bennünket a földön.
Értelmiségi körökben hasonló hatásokat váltott ki a posztmodern tudománykritika, bontott Jean Bricmont és Alan Sokal, de bizonyos körökben még mindig élnek.
Lehet, hogy nem kedves feltenni a kérdést, de azt hiszem, jogos feltenni a kérdést, hogy vajon Tom Jonesék és azok, akik kritikátlanul ismétlik, sőt felerősítik hanyag kiáltványaikat, vajon hozzájárulnak-e ugyanilyen baljós tendenciákhoz.
CJP: A ChatGPT egy természetes nyelven vezérelt chatbot, amely mesterséges intelligenciát használ az emberszerű beszélgetések lehetővé tételére. Egy nemrégiben megjelent cikkben A New York Times, két másik szerzővel együttműködve felhajtásként bezártad az új chatbotokat, mert egyszerűen nem férnek össze az emberek nyelvi kompetenciájával. Nem lehetséges azonban, hogy a mesterséges intelligencia jövőbeli innovációi olyan mérnöki projekteket hozhatnak létre, amelyek megfelelnek az emberi képességeknek, sőt talán meg is haladják azokat?
NC: A cikk elismerését a tényleges szerzőnek, Jeffrey Watumullnak kell tulajdonítani, aki kiváló matematikus-nyelvész-filozófus. A felsorolt két társszerző tanácsadó volt, akik egyetértenek a cikkel, de nem írták meg.
Való igaz, hogy a chatbotok elvileg nem egyezhetnek meg az emberek nyelvi kompetenciájával, a fent megismételt okok miatt. Alapvető kialakításuk megakadályozza, hogy elérjék az emberi nyelv elméletének megfelelő minimális feltételt: a lehetséges nyelvek megkülönböztetését a lehetetlentől. Mivel ez a tervezés sajátossága, ezt nem lehet leküzdeni az ilyen típusú mesterséges intelligencia jövőbeli innovációival. Nem kizárt azonban, hogy a jövőbeli mérnöki projektek megfelelnek, sőt felülmúlják az emberi képességeket, ha az emberi cselekvőképességet, teljesítményt értjük. Mint fentebb említettük, néhányan már régóta megtették ezt: például az automatikus számológépek. Még érdekesebb, hogy amint már említettük, a csekély agyú rovarok felülmúlják a kompetenciaként értelmezett emberi képességeket.
CJP: A fent említett cikkben az is megfigyelhető, hogy a mai mesterséges intelligencia projektek nem rendelkeznek emberi erkölcsi képességgel. Ez a nyilvánvaló tény kevésbé fenyegeti az AI-robotokat az emberi fajra nézve? Szerintem az érv az lehet, hogy ez talán még inkább azzá teszi őket.
NC: Valóban nyilvánvaló tény, tágan értve az „erkölcsi képességet”. Ha nem gondosan ellenőrzik, az AI tervezés komoly fenyegetést jelenthet. Tegyük fel például, hogy a betegek ellátása automatizált. Az elkerülhetetlen hibák, amelyeket az emberi ítélőképesség legyőzne, rémtörténetet eredményezhetnek. Vagy tegyük fel, hogy az embereket eltávolították az automatizált rakétavédelmi rendszerek által meghatározott fenyegetések értékeléséből. Megdöbbentő történelmi rekordként tájékoztatja nekünk, ez lenne az emberi civilizáció vége.
Ha nem gondosan ellenőrzik, az AI tervezés komoly fenyegetést jelenthet.
CJP: Európában a szabályozók és a bűnüldöző szervek aggodalmát fejezik ki a ChatGPT terjedése miatt, miközben egy nemrégiben benyújtott európai uniós jogszabály az MI-vel próbál foglalkozni azáltal, hogy az ilyen eszközöket az észlelt kockázati szint szerint osztályozza. Egyetért azokkal, akik attól tartanak, hogy a ChatGPT komoly közveszélyt jelent? Sőt, valóban úgy gondolja, hogy az AI-eszközök további fejlesztése leállítható, amíg a biztosítékokat be nem vezetik?
NC: Könnyen együtt érzek azokkal az erőfeszítésekkel, amelyek a fejlett technológia által jelentett fenyegetések ellenőrzésére irányulnak, beleértve ezt az esetet is. Ennek lehetőségét illetően azonban szkeptikus vagyok. Gyanítom, hogy a dzsinn kijött az üvegből. A rosszindulatú szereplők – intézményi vagy egyéni – valószínűleg találhatnak módot a biztosítékok kijátszására. Az ilyen gyanakvás természetesen nem ok arra, hogy ne próbálkozzunk, és éberséget tanúsítsunk.
A ZNetwork finanszírozása kizárólag olvasói nagylelkűségén keresztül történik.
Adományozz