아기 체온이 낮을 때 응급실 방문이 필요할까요?

4개월 아기 체온이 35.5입니다. 오늘 특이 증상은 아침부터 손발이 유독 차가웠던 점, 수유 후 많이 게워낸 것, 목욕 때도 게워냈던 점이에요. 저녁7시에는 37.0도였는데 저녁9시에 체온이 35.5인것을 인지했고, 옷 입히고 수유하니 정상체온으로 회복했지만 이내 밤11시에 다시 체온이 35.5로 떨어졌습니다. 현재 옷을 더 껴입힌 상태입니다. 응급실을 가야하는걸까요? 아니면 내일 아침 오전에 진료봐도 괜찮은걸까요?