Só pode usar o acessador .dt com valores de dados do DATETIMEL

df['Date'] = pd.to_datetime(df['Date'], errors='coerce')
Strange Swan