Нужна ли онлайн касса для интернет магазина, если все продажи идут через агента (служба доставки)

Не совсем понятно, как выстроены ваши отношения со сдэком. если у вас только договор на оказание услуг по доставке, то де-факто продавцом являетесь вы, а соответственно и документы должны предоставлять вы.
если у вас именно агентский договор, то нужно смотреть, осуществляет ли продажу агент от своего имени или от имени принципала.
более подробно вы можете посмотреть в письме минфина от 04.07.2018 г. n 03-01-15/46377 о применении ккт при оказании услуг в рамках агентского договора.