Новая версия ИИ Claude 3.5 от Anthropic научилась управлять компьютером

Последнее обновление модели Claude 3.5 Sonnet от Anthropic включает новую функцию, позволяющую ИИ управлять компьютером, используя экран, перемещая курсор, нажимая кнопки и вводя текст. Эта функция под названием "использование компьютера" уже доступна в публичной бета-версии через API, предоставляя разработчикам возможность направлять Claude для работы на компьютере, как это делает человек.

Хотя конкуренты, такие как Microsoft с ее Copilot Vision и OpenAI с приложением ChatGPT, уже демонстрировали ИИ, способный взаимодействовать с экраном, ни один из них пока не предлагал инструментов, готовых к полному выполнению задач на компьютере. В отличие от них, Anthropic сделала шаг вперед, предлагая этот функционал для тестирования.

Однако компания предупреждает, что новая функция все еще находится на ранней стадии и может быть "трудной в использовании и склонной к ошибкам". Anthropic говорит, что выпустила функцию "использование компьютера" для получения обратной связи от разработчиков, с ожиданиями, что ее возможности будут быстро улучшаться.

На данный момент Claude ограничен в некоторых действиях, таких как перемещение объектов и зумирование, а также не всегда может точно реагировать на кратковременные действия или уведомления из-за использования технологии на основе скриншотов экрана, а не потоковой передачи картинки с дисплея.

Кроме того, ИИ Claude был настроен, чтобы избегать взаимодействий с социальными сетями и связанными с выборами действиями, такими как генерация контента или взаимодействие с правительственными сайтами. Впрочем, еще предстоит посмотреть, насколько хорошо эта защита работает.

Новая версия Claude 3.5 Sonnet также показала значительные улучшения в тестах при программировании и использовании инструментов. Например, производительность в области программирования на SWE-bench Verified улучшилась с 33.4% до 49.0%, превысив показатели других моделей, включая OpenAI o1-preview. В тестах на использование инструментов в ритейл-сфере производительность повысилась с 62.6% до 69.2%, а в авиации — с 36.0% до 46.0%