Verb + à + infinitive
passer du temps
à
The constructions
àpasser du temps à + infinitif
Je passe trop de temps à regarder mon téléphone.
Do not writeJe passe trop de temps de regarder mon téléphone.
Why
Passer du temps à, passer une heure à, passer sa vie à: the length of time is the direct object of passer, and the activity is introduced by à. Perdre son temps à follows the same rule.
The trap for a Chinese speaker
花時間做某事 contains no preposition at all. In French, the activity you spend the time on always takes à.