재난급 서버 장애내고 개발자 인생 끝날뻔 한 썰 - 납량특집! DB에 테이블이 어디로 갔지?
HTML-код
- Опубликовано: 3 янв 2025
- 제가 존경하는 시골 시니어 개발자님의 인프런 강좌입니다. 특히 자바 백엔드 개발자에겐 필수 코스죠.
www.inflearn.c...
이렇게라도 조금씩 은혜 갚아야죠
저때 이후로 mysqldump를 쓰지않고 xtrabackup으로 백업을 했습니다 - woowabros.gith...
(이젠 AWS라서 xtrabackup도 안씁니당!!)
![고3이 기숙사에서 만든 앱으로 1500만 원을 번 과정 | 최성운의 사고실험 [김현준] 1부](http://i.ytimg.com/vi/U3BJyWSSbro/mqdefault.jpg)
![고3이 기숙사에서 만든 앱으로 1500만 원을 번 과정 | 최성운의 사고실험 [김현준] 1부](/img/tr.png)
![[#유퀴즈온더블럭] 드라마 '미생' 만큼이나 과몰입되는💦 손발 덜덜,, 눈물 줄줄,, 멘탈 박살나는 실수 썰ㅠ_ㅠ 너무 아찔해 죽겠어요... | #Diggle](http://i.ytimg.com/vi/BR2xigefKvg/mqdefault.jpg)
댓글에 "DB귀신아 물러가라"라고 안쓰면 이번 주말에 디비 삭제 됩니다.ㅅㄱ
여름에 보니 짱이네요 등골이 오싹오싹!!
근데 그런 존경하고 싶은 회사에서 입사하고 성장하셨다니 너무 부럽습니다.
미래의 저도 꼭 그런 회사에 가고 싶네요!!
ㅋㅋㅋ 이제는 말할 수 있다 ㅋㅋㅋ 간절함에 느껴지는 방송이었습니다.
ㅋㅋㅋㅋㅋㅋㅋ 감사했습니다. -호돌
헉 선생님 유튜브도 하시는군요! 바로 구독 하고 왔습니다. 인프런 강의 너무 잘 듣고 있어요. 좋은 강의 올려주셔서 감사합니다.🥰
@@KIM-ODee ㅋㅋ 여기 중간에 시골개발자가 저입니다. ㅋㅋ
스프링 강의에서 말씀해주셨던 실제 사례가 호돌님 얘기였군요 😂
드랍더테이블? ㅋㅋ
"왜 운영에서 테이블이 드랍이 되지?" ㅠㅠㅠㅋㅋㅋ 보면서 웃고 있지만 상상만 해도 식은땀이 줄주루ㅜㅜㅜㅜ
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 웃고있었는데 ㅋㅋㅋㅋㅋ 압권이 "HTML TABLE이 날라갔나?" ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 재밌게 보고갑니다 ㅋㅋㅋ
상황이 지나가서 웃으면서 이야기하시지만 저 당시에 땀흘릴 모습을 생각하니 눈물이 납니다. 그리고 좋은 경험을 나눠주셔서 정말 감사합니다.
ㅋㅋㅋㅋ아찔
근데 팀이 혼내는것보다 해결책을 찾는 걸 더 신경쓴 걸 보니, 문제해결 관점에서 생각하는 정말 좋은 팀이었군요!
JPA 강의마다 항상 나오는 운영 테이블 드랍이야기가 여깄군요 ㅋㅋㅋㅋㅋ
개발쪽에 문외한 인데도 재 미가 있어 보게 됩니다. 자꾸 보니까 우리나라 개발자들의 애환도 알수있고,
개발자님들 보통분들이 아니시네요. 김범준대표님도 대단 하시고 김영한님 편 도 너무 재미 있었습니다.
점차 빠져 들고있습니다. 자주 와서 이쪽 분야 수고 하시는 분들 응원 하겠습니다. 진행도 참 잘 하십니다.
전문가 들이라 역쉬 틀리시네요. 저도 젊었으면 공부좀 했을건데,... ㅠ.ㅠ 오늘도 잘 보고 갑니다.
김영한님 2편도 기대 하고 이씁니다.
링크 걸어주신 인프런 김영한님 강의 정말 좋네요. 무료 공개 강의 몇개 보고 범상치 않아서 13개 강의 전액 결제했습니다. 제 학습시간을 1개월 이상 단축시켜 주실 것 같네요.
문제를 팀의 문제로 구조적 해결책을 낸다는 부분이 정말 감명깊내요.
ㅋㅋㅋㅋㅋ 전설의 에피소드네욬ㅋㅋㅋ 재밌게 잘 보고있습니닼ㅋㅋㅋ
ㅋㅋㅋㅋㅋㅋ🤣🤣
2:51 순간 식은땀이.. ㅋㅋㅋ
13:50 스프링배치 책 홍보
감사합니다 ㅋㅋㅋ 이번주말에 DB귀신이 물러갈겁니다!!
ㅋㅋㅋㅋㅋㅋㅋ 교촌치킨 광고야 그러려니했는데 상상도 못한 이유였네요 ㅋㅋㅋㅋㅋㅋㅋ
와 듣는데 계속 식은땀이 나요.....................
호돌님 인간미 너무 좋아요 ㅠ
어우 맘고생이 엄청나셨겠네여 ㅠ
저도 전회사 동료분이 고객의 신청문서 데이터 수백만건을 잘못 업데이트쳐서 하루종일 복구하시느라 고생하시는걸 봤는데 더한 스트레스를 받으셨겠네요. 그래도 기업문화가 참 좋네요. 단순히 개발자가 덤탱이를 쓰는 구조가 아니라 근본적인 문제들에 대한 개선을 한다라는게요.
개발자 최대 위기였죠 ㅎㅎㅎㅎ
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 소름이 확 돋았습니다... DB귀신아 물러가라!
갓롭
ㅋㅋㅋ 전설의 3대 장애ㅋㅋㅋㅋ
03:05 여기까지 봤는데 아찔합니다 ㅠㅠ 일단 선 좋아요 후 시청
2:54 와 ㅋㅋㅋㅋㅋㅋ해본적은 없지만
그 머리가 차가워지고 가슴이 뜨거워지는 기분 뭔지 알것같네요 ㅋㅋㅋㅋㅋ
설거지하면서 들으면 시간이 살살 녹네요 잘 보고있습니다 ㅎㅎ
댓글 넘나 감사합니다! :)
스프링 배치 책 너무 기대되네요!
그와중에 겨울에 보긴 너무 서늘한 영상이었습니다😂
ㅋㅋㅋㅋㅋㅋㅋ 너무 재밌게 들었어요
와.. 무심코 뵜다가 마지막 멘트에 구독할수 밖에
앖네요;;
13년차 은행 개발자인데 소름 돋네요
2:16 등골에 소름이 좍...
DB귀신아 물러가라~~
....개발이야기 들어도 들어도 재밌어요
오늘 장애냈는데 너무 위로돼요 ㅋㅋㅋㅋ 👍 😎
와 ㅋㅋㅋㅋㅋㅋㅋ 데박재밌게봤네료
아니 왜 눈물이 나죠??!!! ㅠㅠㅠㅠㅠㅜ ?!!
아악...저도 저런 경험이..MS SQL인데 신입때..크읍..페일오버 처리도 안되서 정말..울고 싶었는데 다행이 DBA분께서 트랜잭션 로그 가지고 살리고..이후 ERROR 떨어진 요청 건들은 엑셀로 수작업..후속 처리 보고 팀원, 회사가 대처하는 부분이..너무 배울게 많네요
오.. 스프링배치책 기대되요!
스프링 배치 책 드디어 나오는군요!
너무 재밌어요 ㅋㅋ
drop 이라니... 상상만해도 미쳤다....
사람사는데는 다 비슷하네요ㅋㅋ 저는 한창 스스로가 잘한다고 느낄때 택배 일용직 분들 근태관리 시스템 업데이트 한번 잘못했다가, 직원분들을 모두 미성년자로 만들어서 600분이 수기로 출근을 하셨던 일이;; 멘탈 나갔을 그때, 복구때문에 문서 보는데 문서가 눈에 안 들어온다는게ㅋㅋㅋ 너무 공감이가서 좋아요 누르고 갑니다...ㅎㅎ
ㅋㅋㅋㅋ 잘 모르겠지만 데이터를 날리는 실수? 였던거네요 ㅋㅋ 😂 얘기하는게 웃겨욬ㅋㅋ
초창기 시절에 delete 쿼리 날릴 때 where절도 안 써서 테이블 데이터를 통째로 날려먹었던 기억이... 그나마 관리자쪽 메뉴 테이블이었고 날코딩으로 어찌저찌 수습은 됐었는데, 쿼리 날린 후에 잠깐 멍하니 있다가 식은땀이 났었던...... 물론 중요한 데이터라면 외래키도 걸고 개발과 상용(마스터/슬레이브) 이렇게 나눴겠지만, 그 당시에는 그런 개념도 없었고 회사 또한 상용 DB 하나만 쓰고 있었더랬던.... 돌이켜보면 매 순간이 실전이었음. ㅋ 상용 DB에서 감히(?) 툭하면 update와 delete를 때린다라... 에휴....
그림이 너무 생생하게 그려져서 너무 갸웃기네요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
잘 봤습니다. ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
진짜 덤덤하게 썰푸시는게 너무 웃겨요 ㅋㅋ
팀원의 잘못을 가지고가는 조직의 문화가 정말 좋네요. 역시 대단한 곳이네요.. 보통 욕 300번정도 분당 10회씩 먹고 짤렸을텐데
바이너리 로그로 해서 복구하는 작업을 PIT(시점복구) 라고 하죠
라이브 그 어디서도 보여서는 안되는 금기어 'DROP' ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 아찔하네요
와 재미있게… 슬프게 들었어요!
콘솔에서 순식간에 로그가 지나갈텐데 그 짧은 찰나에 DROP 글자를 캐치해서 그나마 다행(?) 이였네요 ㅋㅋㅋ. 어우 소름 돋아 ㅋㅋㅋㅋㅋ
아! 드랍 더 테이블의 주인공이셨군요!!?^^
진짜 그 현장에 있던 거 같다. 너무 소름 돋네.
스프링 배치책 꼭 이북으로도 부탁드립니다~
어설프게 들었던 전설을 이리 들어보네요. 오랜만에 바닥 굴러가며 재미나게 들었습니다. 지금이야 웃지만 당시의 절박함을 생각하면... 어휴... ;ㅁ;
K 배치ㅋㅋㅋㅋ
장애복구시점 BGM뭔가 아련한 느낌입니다. 의도한거죠?
감사합니다. 알아봐 주시는 분이 계실까 했는데 ㅋㅋㅋㅋㅋㅋ
향로님 책 너무 기대되는데 책 나왔나요?
오키 보고 들어왔어요 좋은 채널 알게돼서 감사합니다 ㅋㅋ 드랍 리얼 저도 듣는데 상상되고 무섭네요.. 그래도 팀원분들이 탓 안하고 좋은 방향으로 나아가려는 모습 진짜 멋집니다 ㄷㄷ 배치책도 꼭 사서 볼게요!!
교촌치킨 ㅋㅋㅋ 가끔 호돌맨 개발자개그 칠때마다 너무 재밌어요
binlog 로 복구하셨군요 ㅋㅋㅋ 이것도 엉키면 진짜 노답인데 잘되었다니 다행이네요
5:07 왜 때리는데 ㅋㅋㅋ
정말 기초적인 실수로 테이블 날려먹으면 아찔하죠
ㅋㅋㅋㅋㅋ아찔하네요ㅋㅋㅋㅋㅋㅋ
영한님 강의에서 드랍더테이블이 별명인가 그런썰 들엇는데...그썰인가요..ㅋㅋㅋㅋ
끄아 ㅋㅋㅋㅋ 생각만해도 오싹해요 ㅋㅋㅋㅋ
아.... 그... 구독 안하면 db 삭제됨이 실제 경험 바탕이었군요...? 잘 알아 갑니다...
DB귀신아 물러가라
저도 서비스 초기에 운영 서버에서 테스트한 적이 많았는데 호돌맨님 상황이 공감되네요 ㅋㅋㅋㅋ 소름☠️
저는 php 개발자이다보니 spring 은 잘은 모릅니다 다만 로컬 붙었는데 drop table 이라 하시니ㅎㅎ만약 저라면 복구 하더라도 시간대 디비는 타팀에게 복구100% 못한다도 양해를 구했을꺼 같아요!! ㅎㅎ
클럽하우스는 안 하시나요? 클하에서 두 분 대화 들어도 재밌을 것 같습니다 ㅋㅋㅋㅋㅋ
향로님, 저 모두 안드로이드 사용자라 당분간 힘들것 같습니다 ㅠ 하지만 비슷하게 잼난게 있을지 생각 해보겠습니다. 디스코드 설치 해야되나... -호돌
@@devbadak 비공식앱이긴한데 안드로이드도 사용할수있긴하더라구요
와 소름 돋으면서 웃기는 많이 웃었네요 ㅋㅋㅋㅋ 이런 채널이 있다니 ㅋㅋ
정말 납량특집이네요 ㅋㅋㅋㅋㅋ 애플리케이션 중지를 누르실 때의 심정이 전해져옵니다 ㅋㅋㅋ 오늘도 좋은 영상 감사합니다 ~
아 오늘 운영계 장애내고 위로받으러 왔습니다.
향로님 팀 출연했다는 그 유튜브 너무 보고 싶은데 못찾겠어요.... 흑흑
그럼 저런 상황에서 어떻게 테스트를 할까요? 제가 지금 학부생 신분인데 비슷한 경험이 있어서요
내가 다 식은땀ㅇㅣ...
혹시 스프링배치책 책명 좀 알 수 있을까요? 못찼겠다 꾀꼬리~🥲
뭔 얘기인지 쉽게 알아듣기 : 쇼핑몰에서 특정 시간대에 결제나 회원가입 같은 특정 데이터가 날아간 상황이라고 보면됨
어우 상상만 해도 끔찍하네
스프링 배치 책 나왔나요? 책 제목 알고싶어요~
피식피식 웃었네요 ㅋㅋㅋ
질문이 있습니다.
1.로컬에서 운영에 붙어서 테스트하면 왜 안좋은 개발환경인가요?
2.서비스 계정 분리가 뭔가요?
옛날 댓글이지만 지나가다가 댓글 남겨봐요 ㅋㅋ 1. 위와 같은 상황이 발생하기 때문에 안 좋은 개발환경입니다. 2. 실제 서비스 되는 서버, DB 등에서 사용하는 계정을 테스트 환경에서 사용하는 계정과 다르게 설정해야 한다는 것 같네요
이거 때문에... 아니 덕에 jpa 설정 맨날 확인하게 되네요
앗 혹시 3월 초에 방송한다는 채널이름이 'ㅋ'으로 시작하는 채널인가요?ㅎㅎ
오... 아마도 맞을것 같습니다 ㅋㅋㅋㅋ 쉿쉿 - 향로
db는 선넘으셨....
ddl을 날릴수 있는 권한 분리가 되었다면 예방할수 있었겠군요. 그리고 느끼는 이중화의 필요성.
영상 보면서 심장이 두근거리고 손이 좀 떨리는거 같은데 왜 이런거죠? ㅎ
너무 유악한 장애 대처 경험 잘.들었습니다. 😅
와 복구 해도 이틀은 소화 안돼서 밥도 안넘어갈듯
지나가서 재밌게 얘기해주시니까 재밌게 들었습니다 :)
들으면서 저도 간담이 서늘해지네요 ㅠㅠ ㅋㅋ
스프링 배치에 대해 고민이 많았는데 얼른 4월되어서 읽을수 있게 되면 좋겠네요!
뭔지 몰라도 꿀잼ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
권한 설정이 되어있을 줄은 상상 못했네요 ㅋㅋㅋ 웃고 갑니당
어우씨... 이야기만 들어도 완전 끔찍하다;;
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 다자와, 하나님 부처님
저도 개발하다가 앱자체를 crash해가지고 엄청 깨진건 기억나네요 ㅜ
사실 어마어마한 장애는 뭐라하기가 힘들죸ㅋㅋㅋㅋ ...후 고객사 디비 날린 예전 기억이 떠오르네..
나도 테이블 드랍한적있는데 ㅋㅋㅋㅋㅋㅋㅋ 팀장님께 말하고 팀장님이 바로 복원시키심
"DB귀신아 물러가라"
운영db에 붙었단 얘기 할 때부터 안돼안돼 소리가 저도 모르게 입에서 막 세어 나오네요ㅋㅋㅋㅋㅋ
혼내지 않고 애초에 이런 사태가 가능한 환경을 개선하는 것에 중점을 두었단 점에서 정말 멋진 팀이네요.
전 이 디비장애를 군대에서 겪었습니다... 무서우신 분들 전화 많이 옵니다... 탈영하고 싶었습니다 ㅠㅠ
"DB귀신아 물러가라!!!!!"
ㅋㅋㅋ 이 웃긴걸 이제 봤네
워크맨이네여
보는데 땀이나네요
드랍테이블 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
... 사ㄹ려줘!
auto-ddl: create
DB 귀신아 물러가라 DB 귀신아 물러가라 DB 귀신아 물러가라 DB 귀신아 물러가라 DB 귀신아 물러가라
개웃기네 이거 ㅋㅋㅋㅋ
DB 귀신아 물러가라 ㄷㄷㄷ