Du kannst einfach alle Benutzer, die Zugang via SSH haben sollen, in eine Gruppe packen und dieser dann mit AllowGroups den Zugang erlauben.
Wenn du nur den Zugang des Wartungsbenutzers auf einen Host beschränken willst, kannst du dessen Public Key in der ~/.ssh/authorized_keys Datei mit dem Parameter from="IP-Adresse/Host" ergänzen (siehe `man ssh_config -> PATTERNS).