Согласен с Евгением, за несколькими исключениями на мой взгляд.
1. Если использовать уже готовые наработки по загрузчикам - то тогда все делается быстрее.
2. Про анимацию согласен
3. Что касаемо хранения на сервере - не думаю что тут все так сложно. Тут уже зависит от желаний, планируемой нагрузки и целей.
4. Назначение материалов само по себе не является крупной проблемой. Хорошие зарузчики умеют разбивать скажем obj на составные меши и назначать отдельные конфиги на них. Но! Здесь нужны хорошие модели, если модель плохая - как не пыжься, все твое разбиение будет сыпаться напрочь. Я как-то получил модель, типо дома (строительная фирма какая-то), в котором нужно было размечать различные части, различными текстурами и материалми - нууу модель была сделана плохо, меши сгруппированы плохо, из этого мало чего хорошего получится.
5. Насчет PBR - если хочется действительно крутого результата, то да, там нужно сидеть и очень замороченно подбирать все эти параметры, но если говорить об упрощенности - то достаточно стащить откуда угодно стандартные настройки под разные материалы типо дерева, стекла, и т.д.
6. Тонкая настройка и баланс производительности - да, здесь и правда довольно сложно, сталкивался. Но в моем случае это была динамическая генерация букв из разных шрифтов, при чем на лету, и с примелимым для пользователя откликом. Настройка материалов чуть-чуть проще, но да, интерфейс и прочее - повозится придется, никуда не денишся.

Основная мысль - полный кастом делать - реально дорого и сложно. Если тырить кучу готового - тогда все равно довольно сложно и дорого, но уже реально.

Вопрос в количество кастома.