해열제 복용 후 열이 계속 오르는 경우, 응급실에 가야 할까요? 어떤 조치를 취해야 할까요?

어제 저녁부터 인후통을 느껴 병원에서 진료를 봤는데 해열진통제가 들어있는 저녁약을 먹고 약 2시간이 지났음에도 열이 계속 오르고 있습니다. 집에 구비해둔 겨드랑이 체온계로 평소에 35.5도 내외로 측정되는데 현재 37.6~37.8로 측정되고 있습니다. 록소프로펜 등의 진통소염제에 부작용이 있어 해열제 교차복용이 안되고, 2~3년 전까지 약한 천식을 앓았던 경험이 있는데 혹시 지금 응급실에 가야하나요? 만약 응급실에 가지 않아도 괜찮다면 지금부터 어떤 조치를 취해야할까요?