Safeworld проверит безопасность роботов с генеративным ИИ на цифровых моделях людей

Что произошло

Safeworld объявила о запуске после периода скрытой разработки и привлекла посевное финансирование в размере более $12 млн. Раунд возглавили Shine Capital и a16z Speedrun; дополнительными инвесторами стали Box Group, Carnegie Mellon University Endowment, Innovation Endeavors и SV Angel.

Компания занимается проверкой безопасности роботов, использующих генеративный ИИ. Такой подход сложнее тестировать, поскольку генеративные модели менее предсказуемы, чем традиционные алгоритмы.

Как работает подход Safeworld

Safeworld создает цифровую версию конкретного пространства, например участка фабрики со слепым поворотом. Затем в модель помещают виртуальную копию робота, управляемую его реальным программным обеспечением, и запускают тысячи сценариев с участием моделей людей.

Такие проверки должны помочь выяснить, с какой скоростью робот может двигаться, какой тормозной путь ему требуется и сможет ли он заметить человека, несущего коробки.

Почему это важно

По словам Ding Zhao, для безопасного внедрения роботов нужны и вероятностная оценка рисков генеративного ИИ, и доверие к системе. Роботам сложнее работать в неструктурированной среде, а требования к безопасности могут различаться на каждом объекте.

Партнер a16z Speedrun Jonathan Lai считает, что отраслевой стандарт безопасности нужно создавать уже сейчас, пока роботов проектируют и внедряют. К моменту, когда роботы начнут сталкиваться с детьми в домах и происходить инциденты, создавать такой стандарт будет уже слишком поздно.

Контекст

Проблема напоминает задачи, с которыми сталкиваются Tesla и Wayve при проверке реакции автомобилей на неожиданные ситуации на дороге. Для роботов тестирование осложняется непредсказуемым поведением людей и разнообразием окружающих условий.