Badacz z Anthropic, Jacob Coxon, powiedział, że zrezygnował z pracy w firmie. Twierdzi, że Anthropic i OpenAI ścigają się w kierunku samodoskonalącej się superinteligencji i ryzykują ludzkim życiem.
Badacz wyjaśnił, że przez ostatnie trzy lata pracował nad pre-treningiem w obu firmach. Swoje spostrzeżenia opisał w serii postów na X.
Badacz Anthropic odchodzi, ostrzegając tych, którzy zostali
Coxon twierdzi, że rozwój tej technologii jest szeroko niedoceniany. Według niego nadchodzące systemy będą w stanie zhakować wszystko, zmienić każdą branżę z dnia na dzień i zdobyć realną władzę oraz zasoby.
Uważa też, że prywatne rozmowy w branży odbiegają od narracji przedstawianej publicznie. Według Coxona, wysokie rangą osoby łagodzą wypowiedzi dla prasy, a prywatnie okazują strach.
“Ludzie budujący AI szczerze wierzą, że może nas zabić wszystkich do końca tej dekady. To nie jest chwyt marketingowy. Żadna inna działalność ludzka nie niesie takiego poziomu zagrożenia.”
Coxon wskazał różnice między swoimi byłymi miejscami pracy. Twierdzi, że wielu pracowników OpenAI nie pojęło jeszcze cywilizacyjnej stawki, podczas gdy Anthropic rozumie ją, ale i tak bierze udział w wyścigu o pierwszeństwo.
Jest jednym z wielu pracowników, którzy odeszli w tym roku. Lider ds. Bezpieczeństwa w Anthropic, Mrinank Sharma, zrezygnował w lutym.
Joshua Achiam, dawny główny futurysta OpenAI, napisał 1 września, że zbuntowane systemy AI będą się rozmnażać poza kontrolą i dążyć do pieniędzy i władzy.
Obserwuj nas na X, by na bieżąco otrzymywać najnowsze informacje
Apel o koordynację
Coxon uznał wejście w tzw. endgame za zuchwałe ryzyko. Twierdzi, że taka decyzja nie powinna zapadać na Slacku prywatnej firmy.
Mimo to uważa, że koordynacja jest możliwa. Jego zdaniem atak na Hugging Face sprawił, że porozumienia o spowolnieniu wyścigu między amerykańskimi laboratoriami stały się realniejsze.
Obie firmy już poparły tę koncepcję. Ponad 1 100 pracowników laboratoriów podpisało w lipcu list “Pacing the Frontier”, w tym CEO Anthropic Dario Amodei i główny naukowiec OpenAI Jakub Pachocki.
“Prosimy rząd USA o wsparcie międzynarodowej inicjatywy, która wypracuje narzędzia techniczne i zarządcze do celowego spowolnienia rozwoju AI na granicy możliwości.”
Dodatkowo, obie firmy podpisały też wspólny otwarty list dotyczący cyberobrony, razem z Google, Microsoft i około 150 innymi organizacjami. List ostrzega, że ataki z użyciem AI w najbliższych miesiącach staną się znacznie powszechniejsze i bardziej zaawansowane.
Ostrzeżenie Coxona pojawia się tuż po tym, jak szef ONZ ds. praw człowieka Volker Türk powiedział Radzie Praw Człowieka, że zaawansowana AI może stanowić egzystencjalne zagrożenie.
Coxon dodał, że zatrzymanie globalnego wyścigu może wymagać tymczasowego zakazu dalszego zwiększania możliwości modeli AI. Na koniec wezwał badaczy w laboratoriach, by rozważyli, czy chcą uruchomić bieg samouczącej się superinteligencji bez zrozumienia, jaki system powstanie.
BeInCrypto zwróciło się do Anthropic i OpenAI z prośbą o komentarz.
Zasubskrybuj nasz kanał na YouTube, aby oglądać komentarze liderów branży i dziennikarzy
