В 1704 году царь поручил ему исправлять должность генерал-фельдцейхмейстера, звание которого, правда, сохранялось за Александром Арчиловичем, царевичем имеретинским, попавшим в плен к шведам. В ноябре того же года Петр, посетив Нарву, призвал Брюса дополнительно доставить сюда и в Петербург по 7 тысяч трехпудовых и по 700 десятипудовых бомб, по 400 выстрелов пороха, увеличить личный состав артиллерии.
   У Якова Вилимовича, конечно, прибавилось забот и хлопот. Не хватало ни припасов, ни денег. Однажды, в марте следующего года, он писал из Москвы Петру в Воронеж: «Заготовить пороху на 50 000 человек, по 300 выстрелов на каждого, никоим образом невозможно, потому что выйдет более 23 000 пуд, а у нас всего пушечного только 1500 пуд. Постараюсь изготовить хотя по 100 выстрелов. Большое горе — мало денег».
   По тому делу он срочно поехал в Смоленск, снарядил артиллерию, направив ее в Полоцк,— там собиралась русская армия (сорок тысяч пехоты, двадцать тысяч конницы), которую Петр послал в помощь Августу II.