-  он должен быть полезнее, приносить пользу?
Мне кажется, авторы сего устройства сочтут своё детище весьма полезным.

 Мне кажется, вопрос о пользе весьма широкий. Узкое прагматическое направление итак превалирует. Хочет ли человечество, чтобы его детище было гармонически развитым? Или лучше так спросить: стоит ли родителям отдавать ребенка в музыкальную школу? Много ли пользы это принесёт?

Мне кажется, в развитии ИИ всегда присутствовали такого рода не утилитарные направления. Просто, как контрольные вопросы, которые выявляют и демонстрируют его способности. Скажем, умение играть в шахматы или го.
Если этот Искусственный действительно интеллект, то он должен показать некоторую широту возможностей.

Мне кажется, что все мы, или многие из нас, ждут, как вы правильно указали, помощи во многих занятиях или в их большем совершенствовании. И есть такой вид деятельности - выражать идеи. Писатели, художники, поэты и артисты их выражают, пропагандируют и глаголем жгут. Компьютеры так и сяк используются в этом деле. ИИ это новый уровень технического применения.

Да и сами идеи, хм, откуда берутся? Продукция идей, это работа вообще не простая и доступна, скажем так, не кому попало. Тут помощь ИИ может быть весьма актуальна.

Вопрос о правах возникает в случае коллизий, столкновения интересов. Волк целенаправленно кушает зайчика, а зайчик этого не хочет, он хочет, чтобы его никто не трогал и мирно щипать травку. А травка этого не хочет, она хочет мирно цвести и чтобы светило солнышко.
У солнышка нет никаких целенаправленных интересов и поэтому нет коллизий с поведением травки.
С другой стороны вся эволюция жизни подразумевает это столкновение интересов и конкурентные отношения. Скажем, медведь есть малинку и это в интересах самой малинки.
Короче, коллизии и нарушения прав отдельных особей подразумеваются самой жизнью. А точнее, если в процессе жизненного цикла волк съел зайчика, это может и нарушение прав конкретного зайчика, но для всей зайчатины это полезная санитарная процедура.
Общее правило: если некто убивает конкурента или употребляет особь ради собственного выживания, это не является нарушением прав или умалением достоинства особи, которая подвергнута экзекуции.