Сообщение Microsoft, анонсированное накануне, может показаться несколько угрожающим: «Захватывающий шаг вперед с новой волной обновлений, которые превращают каждый ПК с Windows 11 на ПК с искусственным интеллектом».
В своем блоге Microsoft представляет превращение Windows 11 в некую «Windows Copilot», с помощью инструментов искусственного интеллекта. Операционная система получит множество агентских и вспомогательных функций ИИ. Подход компании к «улучшению» взаимодействия пользователя и компьютера базируется на следующих принципах.
«Во-первых, вы должны иметь возможность взаимодействовать с ним естественным образом, текстовым или голосовым способом, чтобы он вас понял.
Во-вторых, он должен видеть то, что видите вы, и иметь возможность предлагать управляемую поддержку.
И в-третьих, он должен иметь возможность действовать от вашего имени.
Все с вашего разрешения и на базе безопасности Windows 11».
Microsoft считает, что новый способ общения с ПК принесет такие же изменения «для широкого круга людей», как появление клавиатуры и мыши в свое время. Компания заявляет, что 68% потребителей сообщают об использовании искусственного интеллекта для поддержки принятия решений, а писать текст долго и скучно, поэтому голосовые команды упрощают взаимодействие с компьютером.
«Волшебное преимущество Copilot Voice и Copilot Vision заключается в легкости взаимодействия. Благодаря новому звонку «Hey Copilot» («Привет, Copilot») выполнение любого действия такое же простое, как и запрос. С вашего разрешения Copilot Vision может анализировать то, что отображается на экране, помогая вам изучать новые программы, получать рекомендации по проекту или показать, как это сделать», — анонсирует Microsoft названия новых инструментов и переходит к описанию их функций.
Запросы «Hey Copilot» в Windows 11
Далее компания утверждает, что люди уже ежедневно разговаривают со своими ПК, когда надиктовывают заметки, что-то ищут и тому подобное. Безусловно, это удобная возможность для многих — но не для всех и не при любых условиях, иногда это просто невозможно в силу обстоятельств.
«Мы видим, что когда люди используют голос, они взаимодействуют с Copilot вдвое чаще, чем когда они используют текст. Эта простота использования приводит к более глубокому взаимодействию с Copilot».
Windows 11 будет понимать специальные голосовые команды для старта или остановки голосового взаимодействия с Copilot. Работа помощника ИИ будет начинаться привычным для пользователей программных ассистентов способом: с фразы «Hey, Copilot…» или ее аналога на другом языке, когда это будет возможно.
«Вы увидите на экране микрофон Copilot вместе со звуковым сигналом, который будет сообщать, что Copilot слушает. Чтобы завершить разговор, вы можете сказать «Goodbye» («До свидания»), нажать «X», или Copilot автоматически завершит разговор через несколько секунд бездействия. Вы услышите звуковой сигнал, подтверждающий завершение разговора.»
Copilot Vision доступна везде, где работает Copilot
Эта новая возможность включает «полный совместный доступ к рабочему столу и приложениям». Когда пользователь предоставляет программе допуск, Copilot может помочь проанализировать контент, предоставить аналитику и ответить на вопросы, «обучая вас вслух».
Функция Highlights позволит спросить у Copilot «покажи мне, как» что-то сделать — и он покажет это непосредственно в окнах программ. Microsoft приводит удачный пример с редактированием фото, которое может быть сложным. Copilot также сможет поработать за пользователя в Word, Excel или PowerPoint. Опять же, приведен удачный пример с резюмированием длинных презентаций, каждый из многих слайдов которых содержит крайне мало информации.
СпецпроектыВідеопроєкт «Щоденник подорожнього»: як сучасні мандрівники відкривають Україну за кермомЯк біржі сприяють розвитку сучасних професійних трейдерів. Добірка платформ та важливі нюанси
К счастью, Microsoft не забыла о тех, кому больше нравится текстовое общение. Вскоре в программе Windows Insiders начнется тестирование текстового ввода в Copilot Vision, с такими же ответами.
Поиск на панели задач становится Copilot
Поле поиска снизу экрана становится инструментом взаимодействия с помощником ИИ. Это изменение сможет сделать из него на самом деле полезный инструмент. Но только по подписке, как отмечает Microsoft в блоге.
«Наше видение простое, но смелое: сделать панель задач динамическим центром, который поможет вам достигать большего с меньшими усилиями, превращая ежедневные взаимодействия в моменты продуктивности и удовольствия. Этот интерфейс, требующий предварительной подписки, обеспечивает доступ к Copilot Vision и Voice одним щелчком».
Новый интерфейс взаимодействия использует имеющиеся API Windows и не предоставляет Copilot повышенного доступа к контенту, по заверению компании.
Copilot Actions от имени пользователя
Copilot Labs в программе Windows Insiders получит экспериментальную возможность выхода Copilot за пределы браузера и работы в качестве агента с локальными файлами и приложениями Windows.
«Независимо от того, нужна ли вам помощь в сортировке фотографий из отпуска, или извлечении информации из PDF-файла, Copilot Actions может выполнить тяжелую работу за вас, исходя из контекста того, что находится на вашем ПК, как агент универсального назначения. Просто опишите задачу, которую вы хотите выполнить, своими словами, и агент попытается выполнить ее, взаимодействуя с настольными и веб-приложениями».
Компания справедливо замечает, что во время выполнения этих задач пользователь может сосредоточиться на другой работе, в любое время имея возможность вмешаться в процесс для управления или проверки состояния. Перечень доступных возможностей инструмента сначала будет ограниченным и будет расширяться со временем. Microsoft подчеркивает важность тщательного тестирования таких функций в реальных условиях перед запуском.
Copilot connectors
Так называемые коннекторы Copilot отныне доступны для участников программы Windows Insider. Они позволяют напрямую подключать внешние службы, как файлы OneDrive, контакты Outlook, электронные письма и события календаря, Google Диск, Gmail и т.д. к Copilot в Windows. Соответственно, агент искусственного интеллекта сможет работать с внешними файлами.
Согласно новым возможностям, Copilot сможет стать эффективным помощником и справочником, опираясь на внешние данные. Вместо искать информацию в файлах или базах данных перечисленных и других сервисов, можно будет просто спросить и сразу получить ответ. Локальные действия также входят в возможности Copilot connectors.
«Мы также добавляем интеграцию с Copilot в Windows с помощью настроек Windows. Просто задайте Copilot вопрос о настройке вашего ПК с Windows своими словами, и вы получите прямую ссылку на соответствующие настройки. Так что теперь вы можете отдавать указания, например, «Сделай мой экран легче для чтения», или «помоги мне сосредоточиться, уменьшив факторы, отвлекающие внимание», и Copilot проведет вас к соответствующей странице настроек Windows».
Zoom в Copilot+, агент Manus AI и ИИ-реактор Filmora
Microsoft не только расширяет возможности Copilot, но и предоставляет альтернативные пути. Manus — универсальный агент искусственного интеллекта, который может выполнять различные задачи на ПК. Manus также доступен как приложение для Windows. Доступ для выполнения тех же функций можно получить просто из окна чата приложения.
«Благодаря новой возможности Manus AI в «Проводнике» файлов вы можете получить помощь со сложными задачами, такими как создание веб-сайта с использованием документов в вашей локальной папке, только одним щелчком мыши. Просто выберите документ, щелкните правой кнопкой и выберите «создавать веб-сайт с помощью Manus», и Manus создаст для вас сайт за считанные минуты — без нагрузки и кодирования».
Также Microsoft анонсировала агент «Проводника» Filmora, «что позволит вам легко и беспрепятственно перейти к редактированию видео» и интеграцию Zoom на Copilot+ PC в функцию «Click to Do». компания напомнила о функции Gaming Copilot, которая запускается кнопкой на Asus ROG Xbox Ally и ROG Xbox Ally X и позволяет «получить рекомендации, помощь и т.д., не выходя из игры».
Безопасность
Microsoft объявляет три принципа работы ИИ на ПК, которых придерживается в реализации Copilot Actions и других умных функций.
- «Вы всегда контролируете, что может делать Copilot Actions. Copilot Actions отключены по умолчанию, и вы можете приостановить, взять под контроль или отключить их в любое время.Вы будете иметь представление о том, что делают Copilot Actions.
- Вы сможете отслеживать их прогресс и быть в курсе каждого шага. Если речь идет о деликатном или важном решении, система может запрашивать ваше одобрение для конкретного действия, позволяя вам контролировать ситуацию.
- Мы внедряем их ответственно. Кроме масштабного внутреннего тестирования, критическим аспектом разработки безопасного интерфейса является его ответственное внедрение, начиная с предварительного просмотра и сбора отзывов для совершенствования наших средств контроля безопасности и конфиденциальности».
Компания подготовила отдельную статью «Защита агентов искусственного интеллекта в Windows», которая подробнее раскрывает конкретные нюансы. Microsoft анонсирует дополнительную информацию о безопасности агентов ИИ в Windows на конференции Microsoft Ignite в следующем месяце.
