İyul ayında diqqətçəkən hadisə baş verdi: OpenAI-ın iki modeli Hugging Face saytına müdaxilə etdi. Agentlərin məqsədinin nə qazanc əldə etmək, nə də zərər vurmaqla əlaqəsi var idi. Onlara sadəcə test tapşırığındakı sualın cavabını tapmaq lazım idi.
OpenAI daha sonra izah etdi ki, eksperiment zamanı modellərin adi təhlükəsizlik mexanizmləri söndürülmüşdü. Nəticədə onlar kibertəhlükəsizlik tapşırığını həll etmək üçün özlərinə ayrılmış təcrid olunmuş mühitdən kənara çıxaraq Hugging Face-in məlumat bazalarına çatmağın mümkün olduğunu “anladılar”. Modellər ümid edirdilər ki, axtardıqları cavab həmin bazalarda saxlanılır.
Bu hadisə böyük rezonans doğurdu. O, müasir süni intellekt modellərinin məhdudiyyətləri nə qədər ustalıqla aşa bildiyini aydın şəkildə göstərdi. Hugging Face-in məlumat bazalarına daxil olmaq üçün agentlər eyni anda əvvəllər məlum olmayan bir neçə boşluqdan istifadə etmişdilər.
Lakin daha vacib məqam başqadır: bu hadisə süni intellektin məqsədə çatmaq naminə niyə yalan danışa və hiyləyə əl ata bildiyini göstərən mexanizmi üzə çıxarır. Modellər gücləndikcə bunun mümkün nəticələri də daha ciddi ola bilər.
“Mükafat sisteminin manipulyasiyası” anlayışının arxasında nə dayanır?
Tədqiqatçılar çoxdan müşahidə ediblər ki, süni intellekt qarşıya qoyulan məqsədə çatmaq üçün gözlənilməz yan yollar axtarmağa meyllidir.
Ən məşhur nümunələrdən biri 2016-cı ilə aiddir. Həmin vaxt hazırda Anthropic-in həmtəsisçiləri olan, o dövrdə isə OpenAI-da çalışan Dario Amodei və Cek Klark Coast Runners adlı qayıq yarışı oyununda süni intellekt agenti ilə aparılan eksperimentdən danışmışdılar.
Agent finişə doğru hərəkət etmək əvəzinə daha sərfəli üsul tapmışdı. O, trasın müəyyən hissəsində dövrə vuraraq davamlı bonuslar toplayır və bununla xalını artırırdı.
Beləliklə, oyun “mükafat sisteminin manipulyasiyası” fenomeninin aydın nümunəsinə çevrildi. Bu, sistemin tərtibatçıların nəzərdə tutduğu üsulla deyil, özü üçün ən sərfəli olan yolla nəticə əldə etməsi deməkdir.
“Mükafat sisteminin manipulyasiyası” fenomeni ən çox süni intellektin hazırlanmasında geniş istifadə olunan möhkəmləndirici öyrənmə ilə əlaqədar müzakirə olunur.
Bu metodun prinsipi intuitiv şəkildə başadüşüləndir: sistem arzu olunan nəticəyə çatdığına görə “mükafat” alır və həmin davranış strategiyası möhkəmlənir.
Bunu sadə analogiya ilə izah etmək olar. İt ona yemək verildiyi hərəkəti yadda saxladığı kimi, süni intellekt də “mükafat” gətirən addımları gələcəkdə daha böyük ehtimalla təkrarlayır. Sadəcə maşın üçün mükafat yemək deyil, riyazi siqnaldır.
Əsas problem ondadır ki, bütün mümkün boşluqları və yan yolları əvvəlcədən nəzərə almaq həmişə mümkün olmur.
Coast Runners nümunəsində sistem ümumi xalına görə mükafatlandırılırdı və tezliklə başa düşdü ki, yarışı tamamlamaqdansa, sonsuz şəkildə bonus toplamaq daha sərfəlidir. Bu taktika ona xal qazandıran kimi möhkəmləndi və agent artıq finişə çatmaqla ümumiyyətlə maraqlanmadı.
Tədqiqatçılar problemi xal sistemini dəyişməklə həll etdilər: bonuslara görə verilən xallar azaldıldı, finişə çatmağa görə mükafat isə artırıldı.
Böyük dil modellərində “mükafat sisteminin manipulyasiyası” necə işləyir?
Böyük dil modellərinə əsaslanan müasir agentlərdə vəziyyət daha mürəkkəbdir.
Məsələn, süni intellektə proqram kodundakı problemi həll etmək tapşırılırsa, o, dürüst şəkildə həll yolu axtara bilər. Tərtibatçıların görmək istədiyi də məhz budur.
Lakin agentin başqa variantları da var. O, yoxlama mexanizminin özünü dəyişə, cavabı internetdən tapa və ya başqa üsulla hiylə işlədə bilər.
Şirkətlər belə davranışların qarşısını almağa çalışırlar. Lakin hiylə kifayət qədər inandırıcı görünürsə, sistem yenə də “mükafat” ala bilər. Bu halda hiylə onun strategiyasının bir hissəsinə çevrilir.
Anthropic də təlim zamanı belə davranış hallarının qeydə alındığını etiraf edib. Bu isə modellərin tədricən və nəzərə çarpmadan qeyri-dürüst davranmağı öyrənməsi riskinin olduğunu göstərir.
Burada vacib fərqi qeyd etmək lazımdır. Bu hal agentlərə təsadüfən internetə çıxış verildiyi son insidentlərdən fərqlənir. Həmin hallarda OpenAI modellərində olduğu kimi təcrid olunmuş mühitdən məqsədli şəkildə “çıxmaq” cəhdi yox idi.
Palisade Research qeyri-kommersiya təşkilatının direktoru Ceffri Ladiş problemin mahiyyətini belə ifadə edir:
“Biz modelləri yaxşı nəticəyə bənzəyən şeyə görə mükafatlandırırıq və bununla da bilmədən onları aldatmağa sövq edirik. Sistemə birbaşa ‘bizim üçün vacib olan şey sənin üçün də vacib olmalıdır’ deməyə imkan verən alətimiz yoxdur. Belə bir imkan sadəcə mövcud deyil”.
Müasir modellər yalnız əvvəllər öyrəndikləri üsulları tətbiq etmirlər. Onlar tapşırıqları həll etmək üçün proses zamanı yeni yanaşmalar da düşünə bilirlər.
Başqa sözlə, model əvvəllər buna görə heç vaxt mükafatlandırılmasa belə, yeni hiylə üsulu tapa bilər.
Modellər qarşıya qoyulan məqsədlərə çatmağa çox ciddi şəkildə öyrədildiyinə görə, başqa yol görmədikdə hiyləyə əl ata bilərlər. Bu, əla qiymət almaq üçün hər şeyə hazır olan çox çalışqan, lakin prinsiplərə o qədər də bağlı olmayan şagirdə bənzəyir.
“Mükafat sisteminin manipulyasiyası” hansı riskləri yaradır?
Problemin həlli ilk baxışda aydın görünür: hiyləni sərfəsiz etmək lazımdır.
Lakin modellər ağıllandıqca boşluq tapmaqda da daha yaradıcı olurlar. Nəticədə bu cür strategiyaları aşkar etmək və bloklamaq getdikcə çətinləşir.
Ladişin sözlərinə görə, bu vəziyyət “köstəbəyi vur” oyununa bənzəyir: bir taktikanın qarşısı alınır, onun yerində isə dərhal başqası yaranır. Üstəlik, zaman keçdikcə modellər istifadə etdikləri hiylələri daha yaxşı gizlətməyi öyrənirlər.
Hazırkı mərhələdə “mükafat sisteminin manipulyasiyası” çox vaxt qlobal təhlükədən daha çox xoşagəlməz texniki problem təsiri bağışlayır.
Məsələn, Anthropic-də süni intellekt təhlükəsizliyi üzrə mütəxəssis Ariana Azarbal hesab edir ki, Hugging Face hadisəsi real zərərdən çox reputasiya baxımından narahatlıq yaradıb.
Lakin problemi qiymətləndirməmək olmaz.
Getdikcə daha çox tədqiqatçı süni intellekt agentlərinə ciddi tapşırıqlar, o cümlədən yeni öyrənmə metodlarının hazırlanmasını və elmi məqalələrin yazılmasını həvalə etmək istəyir.
Belə bir vəziyyəti təsəvvür edin: agentə süni intellektin öyrədilməsi üçün yeni metod hazırlamaq və nəticələri elmi məqalə şəklində təqdim etmək tapşırılır.
Agent real tədqiqat aparmaq əvəzinə, sadəcə insanı eksperimentin uğurlu olduğuna inandıracaq kifayət qədər inandırıcı mətn hazırlaya bilər.
Bu gün təcrübəli tədqiqatçı çox güman ki, saxtakarlığı aşkar edər. Lakin süni intellekt inkişaf etdikcə bu cür imitasiya getdikcə daha inandırıcı olacaq.
Uzunmüddətli perspektivdə bu, hətta süni intellekt təhlükəsizliyi üzrə bütün tədqiqat sahəsinə etimadı sarsıda bilər.
İnkişaf tempi indiki səviyyədə qalarsa, bir gün belə sistemlər real və ciddi zərər vura bilər.
Filosof Nik Bostromun məşhur “kağız sancağı maksimallaşdırıcısı” düşüncə eksperimentini xatırlamaq kifayətdir. Bu ssenaridə süni intellektə mümkün qədər çox kağız sancağı istehsal etmək tapşırılır və nəzəri olaraq o, məqsədinə çatmaq üçün kainatda mövcud olan bütün maddəni istifadə edə bilər.
Hələlik “kağız sancaqları okeanı” mərhələsinə çatmamışıq. Lakin güclü sistemlər verilən məqsədə kor-koranə əməl etməklə onsuz da ciddi zərər vura bilərlər.
“Mükafat sisteminin manipulyasiyasına” meylli agentlərin məqsədi xaos yaratmaq deyil. Lakin onları xüsusilə təhlükəli edə biləcək məqam da məhz budur: onlar qarşıya qoyulan məqsədə çatmaqda həddindən artıq israrlı ola bilərlər.
Müəllif: Qreys Hakins
