Для начала определись с его структурой, что твой движок уметь будет и мысленно спроектируй все функции, или хотя бы эскизно зарисуй.
Ну а далее логически рассуждаешь и реализуешь один модуль за другим.
Детальное описание модулей является коммерческой тайной многих серьезных движков, так как информация является ключом к их взлому.