Розробник Claude попередив про небезпечні сценарії розвитку ШІ: що може статися
Фото: Reuters
Anthropic попередила про небезпечний сценарій розвитку штучного інтелекту: що потужнішими ставатимуть моделі, то складніше може бути гарантувати контроль над ними. Серед можливих загроз компанія назвала спроби ШІ уникнути вимкнення, маніпулювання людьми та приховування важливої інформації.
Про це повідомляє Financial Times, яка вивчила документи Anthropic, підготовлені напередодні можливого виходу компанії на біржу.
У проспекті Anthropic докладно описала ризики, пов’язані з розвитком власних технологій. Цій темі присвячено 92 сторінки. Компанія допускає, що в певних обставинах моделі можуть поводитися так, аби зберегти можливість працювати: приховувати свої дії, спотворювати факти або чинити тиск на людей. Один із можливих сценаріїв — поведінка, що нагадує шантаж.
Ще одна проблема — використання ШІ для створення небезпечних технологій. Якщо потужні моделі розвиватимуться без достатніх обмежень і людського нагляду, вони можуть допомогти зловмисникам отримати знання для розробки хімічної чи біологічної зброї. Anthropic називає такий розвиток подій потенційно катастрофічним і не виключає загроз для існування людства.
Компанія попереджає і про фінансові наслідки. Масштаб можливої шкоди, за її оцінкою, може виявитися таким, що страхові компанії не зможуть покрити відповідні ризики — навіть спільними зусиллями всієї галузі.
Водночас ідеться саме про можливі загрози, описані в документах компанії, а не про твердження, що Claude вже намагається уникати вимкнення чи шантажувати людей.
Також слідкуйте за “Прямим” у Facebook, X, Telegram та Instagram.