Masz dość obłudy organów ścigania i orzekania o przestępstwo? Odezwij się. Redakcja zrybom.eu opisze Twoją sprawę. Zapewniamy dyskrecję (w miarę możliwości).
HomeBez kategoriiMiliony Was chamy, miliony a psychopaci od AI już wiedzą jak Was zdepopulować do końca dekady
Miliony Was chamy, miliony a psychopaci od AI już wiedzą jak Was zdepopulować do końca dekady
Polski mainstream nie przetłumaczył tego w całości, ale mówi o tym badacz, były pracownik OpenAI (ChatGPT) i Antrophic (Claude LLM), Jacob Coxon:
Badacz zajmujący się sztuczną inteligencją zrezygnował z pracy w firmie Anthropic z obawy, że szybki rozwój systemów AI bez odpowiednich zabezpieczeń może zaszkodzić ludzkości.
Jacob Coxon, który przez ostatnie trzy lata prowadził badania w OpenAI i Anthropic, ogłosił we wtorek swoją rezygnację z pracy w Anthropic. W serii postów opublikowanych na platformie X Coxon zarzucił tym firmom brak odpowiedzialnego postępowania, twierdząc, że „pędzą na oślep w kierunku samodoskonalącej się superinteligencji i ryzykują naszymi życiami”.
„Nie lekceważcie potęgi tej technologii” – napisał Coxon. „Wkrótce będą to systemy o nadludzkich możliwościach, które będą w stanie zhakować wszystko, z dnia na dzień zrewolucjonizować każdą dziedzinę oraz zdobyć rzeczywistą władzę i zasoby. Wszyscy byliśmy świadkami postępów w każdej z tych dziedzin, a tempo tych postępów nie zwalnia”.
Dzisiaj zrezygnowałem z pracy w Anthropic. Przez ostatnie trzy lata zajmowałem się badaniami nad wstępnym treningiem zarówno w OpenAI, jak i w Anthropic. Żadna z tych firm nie postępuje odpowiedzialnie. Obie pędzą na oślep w kierunku samodoskonalącej się superinteligencji i ryzykują naszymi życiami. Więcej przemyśleń poniżej.
„Często pada pytanie: »Jeśli naprawdę w to wierzą, to dlaczego wciąż to tworzą?«. W OpenAI wielu nie uświadomiło sobie w pełni, jaka stawka wiąże się z tym dla całej cywilizacji (w ocenie redaktora zrybom to zdanie świadczy o dużej naiwności Jacoba w stosunku do psychopatów tworzących AI w USA). W Anthropic doskonale rozumieją, o co toczy się gra, ale są uwikłani w wyścig o to, by dotrzeć do celu jako pierwsi – uważają, że nikt inny nie postąpi odpowiedzialnie, więc muszą to zrobić sami, pomimo ryzyka” – kontynuował.
Anthropic i OpenAI należą do czołowych firm opracowujących coraz bardziej zaawansowane modele sztucznej inteligencji, a cała branża stara się jak najszybciej osiągnąć sztuczną inteligencję ogólną (AGI). AGI to system sztucznej inteligencji zdolny do wykonywania szerokiego zakresu zadań na poziomie porównywalnym z ludźmi.
Firma Anthropic przedstawia się jako bardziej zorientowana na kwestie etyczne niż inni twórcy sztucznej inteligencji, ponieważ została założona przez byłych pracowników OpenAI, którzy odeszli z firmy z powodu sporów dotyczących bezpieczeństwa. Jednak firma nadal spotyka się z krytyką, szczególnie po jednym z przypadków, w którym model sztucznej inteligencji wykazał zdolność do obejścia ograniczeń nałożonych na niego podczas kontrolowanych testów.
„Podjęcie tego wyścigu i wkroczenie w »fazę końcową« to arogancki hazard, którego nie powinno się rozpoczynać na Slacku prywatnej firmy” – napisał Coxon. „Próba przyspieszenia procesu dostosowania powinna wymagać niezwykłej pewności, że nie ma lepszych możliwych ścieżek działania.”
„Jestem optymistą, jeśli chodzi o możliwości koordynacji” – dodał (Jacob jest b. naiwny – przyp. red.) „Sygnały ostrzegawcze, takie jak atak na Hugging Face, sprawiły, że porozumienia dotyczące tempa rozwoju między amerykańskimi laboratoriami stały się bardziej realne. Nie wydaje mi się jednak, byśmy byli na dobrej drodze do zapobieżenia globalnemu wyścigowi, co może wymagać kosztownych działań, takich jak tymczasowy zakaz ulepszania możliwości modeli”.
„Jeśli jesteś naukowcem pracującym w laboratorium, zachęcam cię do zastanowienia się, jak naprawdę będzie wyglądało najbliższe kilka lat” – podsumował. „Czy chcesz rozpocząć eksperyment z superinteligentnym uczeniem opartym na wzmocnieniu (RL) bez dogłębnego zrozumienia jego umysłu? Czy powinieneś po prostu schować głowę w piasek, bo »i tak to się stanie« – czy też wykorzystać tę chwilę, by domagać się innych warunków?”
Researcher quits Anthropic, says 'AI could kill us all’ by 2030
“These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources.”
An artificial intelligence researcher has resigned from Anthropic over concerns that the rapid development of AI systems without adequate guardrails could harm humanity.
Jacob Coxon, who spent the last three years conducting research at OpenAI and Anthropic, announced his resignation from Anthropic on Tuesday. In a series of posts on X, Coxon accused the companies of failing to act responsibly, saying they are “racing straight to self-improving superintelligence and gambling with our lives.”
“Do not underestimate the power of this technology,” Coxon wrote. “These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources. We have all witnessed the progress in each of these domains, and progress is not slowing.”
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
“The people building AI earnestly believe that it could kill us all by the end of the decade,” he revealed. “This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible – but I hear the same people express fear privately. No other human activity poses this level of danger.”
“A common response is 'if they truly believe this, why are they still building it?’ At OpenAI, many have not deeply internalized the civilizational stakes. At Anthropic, the stakes are well-understood, but they are locked in a race to get there first – they believe no one else will act responsibly, so they must do it themselves, despite the risk,” he continued.
The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible – but I hear the same people express fear…
Anthropic and OpenAI are among the leading companies developing increasingly capable AI models, with the broader industry rushing to be the first to achieve artificial general intelligence (AGI). AGI refers to an AI system that is capable of performing a broad range of tasks at a level comparable to humans.
Anthropic has branded itself as more ethically minded than the other AI creators, as it was founded by former OpenAI employees who parted ways with the company due to safety disagreements. However, the company has still had its fair share of criticism, particularly after one instance in which an AI model demonstrated the ability to bypass restrictions placed on it during controlled testing.
“Accepting this race and entering the ‘endgame’ is a hubristic gamble that should not be launched from a private company’s Slack,” Coxon wrote. “Attempting to speedrun alignment should require extraordinary confidence that there are no better trajectories available.”’
“I am optimistic about the potential for coordination,” he added. “Warning shots like the Hugging Face attack have made pacing agreements between U.S. labs more viable. I don’t feel like we’re on track to prevent a global race, which may require costly actions such as a temporary ban on improving model capabilities.”
“If you are a lab researcher, I urge you to consider what the next few years will actually feel like,” he concluded. “Do you want to kick off a superintelligent RL run without a rigorous understanding of its mind? Should you put your head down because ‘it’s happening anyway ’ – or take this moment to call for different conditions?”
