[Error] ExcelFile & RDS 동기화 실시간 변경 데이터 적용 시 나타난 이슈s

Trouble 1 : 카프카를 기동할 때 마주친 에러 - 메모리 초과

 

해결: vi kafka-server-start.sh 에 들어가서 JVM 힙 크기 조정해주었다.

 

Trouble 2 : zookeeper실행도중 Permission 거부 

 

 

ls -lia로 확인

 

해결:   chmod +x zoo_start.sh

 

 

Trouble 3 : producer실행시 나타난 에러

 

해결 : server.properties 파일에서 advertised.listeners 에 ip주소를 설정을 안해줘서 나타났던 에러였다.

 

엑셀 데이터 전송성공

 

Trouble 4 : 데이터베이스에 데이터를 집어넣는 과정에서 나타난 에러

엑셀데이터 문제: 교수 아이디부분에(Long) "찾을 수 없음" 이라는 String값이 들어있어서 Parsing이 안되고 error가 났다.

 

 

(1001, 80, '교선B8051', '텍스트이해와크리에이션', '6', 532, 3, '전체', '원0207 : 월[05],화[05]', '3', 2024, 1, '강의계획서', 'FALSE') was aborted: ERROR: insert or update on table "lecture" violates foreign key constraint "fke8ya8sfreowqeagfjrql0hl5t"
  Detail: Key (department_id)=(80) is not present in table "department".  Call getNextException to see other errors in the batch.
   at org.postgresql.jdbc.BatchResultHandler.handleError(BatchResultHandler.java:165)
   at org.postgresql.core.ResultHandlerDelegate.handleError(ResultHandlerDelegate.java:52)

 

이런 에러가 났는데 처음에는 이게 뭔가 싶었는데 알고보니 

department.id 제약조건이 public 스키마의 department_id를 가리켜서 그랬던 것

우리는 lecture인 스키마안에 모든 테이블이 다 있는데 public을 가리키고 있으니 당연히 에러가 나는 거였다

 

putty에서 rds에 접속 후

위의 명령어를 통해 제약조건을 삭제하고 새로 만들었다.

 

 

결과적으로는 깔끔하게 잘 들어간 것을 확인할 수 있다.

 

 

에러 잡을 때 token이 어떻게 분리되어있는지 

원하는대로 잘 분리되었는지 확인하기위해 콘솔에 계속 찍어가면서 확인하면서 구현했다.