1) 대충 창고를 전산기계실로 개축해서 쓰던 곳이 있었는데, 원래 창고였던 곳이라 외부에 유해조수(쥐)가 침입할 경로가 있었음
그리고 쥐가 기계실에 들어왔는데... 딱히 먹을건 없었고 이빨이나 갈아야지 싶었는지 눈에 '확' 띄는걸 갉아버림
근데 그게 원장DB 파이콘 케이블
원장DB 내려앉음
2) 사내커플이던 시스템 관리자(남1)와 사무직(여1) 사이에 경력직으로 시스템 관리자(남2)가 새로 입사함
근데 남2가 매우 잘 나가는 남자라... 여1을 꼬셔서 NTR 해버림
화가 난 남1은, 분한 마음이 들었지만 보복할 방법이 없어 술이나 퍼마시다 술에 매우 취해서 술김에 야밤에 전산실에 들어감
원래 전산실이 아닌 사무실을 전산실로 개조해 쓰던 곳이라, 창문은 햇빛 들어오지 말라고 얇은 나무 합판 한장으로 막아놓은게 전부
남1은 술김에 남2 Ｘ되바라 심정으로 남2가 담당하던 서버를 창 밖으로 던져버림
3) 사무실에 별도의 분리된 네트웍을 구축할 비용이 없어, 전산실 회선을 대충 땡겨서 L2로 쪼갈라 쓰고 있었음
L2 밑에 소형 L2가 붙고, 그 밑에 소형 L2가 붙은... 음...
암튼 그렇게 근근히 살고 있었는데, 어느 날 L2 포트가 다 떨어진거임
L2를 조달할 방법은 없고, 예산도 없는 상황
그 때 누군가 아이디어를 낸다 '야 창고에 저번에 폐기하려고 처박아둔 L4 있잖아'
그래서 L4를 꺼내왔는데, 아무도 L4를 만져본 적이 없었음
'L4니까 L2 기능 다 가지고 있는거겠지 뭐 스위치가 다 비슷한거 아닌가?'하고 L2 밑에 물림
그들 중 아무도 스패닝 트리 블로킹이란 용어를 몰랐다
그리고 뤂이 발생했다
그들의 L2는... 전산실 회선을 끌어다 쓰고 있었다...
그 결과, 전산실의 모든 네트웍 장비들에 뤂이 전파되어(블로킹이 그 어느 곳에도 걸려있지 않았다) 전산실 전체의 네트웍이 터졌다
4) 시스템 유지관리로 인한 오프라인 시간이 너무나 아까웠던 IT 부서장은 '고장 나지 않은거면 유지관리 작업을 하지 않는다'는 방침을 세운다
그러고 시간이 꽤 흘러, 시스템 펌웨어에 심각한 결함이 발견 되어 유지관리를 위한 오프라인을 '꼭' 해야만 하는 상황이 발생함
근데 그게 장비 업타임이 1,800일 정도 지난 시점
'이거, 펌웨어 올리면 파워 리사이클링을 해야 되는데요.'
'아, 진짜... 알아 알아 나도. 껏다 켠다는거잖아. 껏다 켜라구.'
장비를 껏다 전원을 인가하는 순간, 퍽 하는 소리와 함께 그 장비는 두번 다시 켜지지 않았다
5) 사무실을 개조해 전산실로 쓰던 곳이었는데, 전산실 관리 책임자가 없었음
그냥 빈 공간 있으면 알아서 땅 쪼갈라 장비 가져다놓고 하는 식으로 대충 굴리고 있었음
그러다보니, 어느 날이 되어선가 기계실에 더 이상 장비를 수용 할 수 없는 상황이 생김
그제사 행정과에서 전산실 관리책임자를 배치하고, 안쓰는 장비 회수 시키고 했는데... 이게 담당자가 없으니 이력 관리가 안되서 정체불명의 장비들이 너무 많은거임
그래서 하는 수 없이, 행정과에서 예산을 편성해 전산실 증축공사를 하기로 함
그래서 설비공사 하는 아저씨들 계약하고 불러다 공사를 시작함
물론 행정과 아저씨들이라고 전산실에 대해 아는 사람도 없고, 공사하는 아저씨들도 전산실에 대해 아는게 없지만, 아무튼 공사가 뚝딱뚝딱 진행 됨
다행히도 큰 문제가 안생김
근데 알겠지만, 이 공사하는 아저씨들은 가끔 바뀜. 인력소개소에서 데려오는 아저씨들이라
그리고 이 날 작업하러 온 아저씨 중에, 근검절약정신이 투철하신 분이 계셨다고 함
당일 작업 끝나서 철수하는데 '아니, 여기는 사람도 없는데 왜 이렇게 에어콘을 세게 틀어놔?'하며 전산실 차단기를 내림
6) 호스팅 받던 시스템에 웹 어플리케이션이 추가 됨 근데 새로 추가한 어플리케이션이 한 덩치 했는지, 인스턴스를 띄우자 마자 시스템 메모리 부족으로 WAS가 자꾸 내려앉음
어플리케이션 담당자가 호스팅사에 전화해서 메모리를 늘려달라고 요청하자, 돈 더 내라고 답함
근데 어플리케이션 담당자 생각에 메모리 얼마 하지도 않는데, 호스팅 업체에서 요구하는 가격이 못마땅하게 느껴짐
그래서 가격 얘기 하다 점점 목소리가 커져, 결국 시비가 붙고 급기야 '＿＿ 내가 메모리 사다 준다 사다 주면 되는거 아냐?' '＿＿ 사오던가!'로 번짐
싸움을 보다 못해 양쪽에서 말리기 시작했고, 결국 양사 팀장이 만나 적당히 화해함
그렇게 사건이 잊혀지고, 몇주가 지나 호스팅 업체 담당자한테 왠 택배가 옴
발신인은 어플리케이션 담당자라고 하
'뭐지 화해하자고 선물이라도 보냈나 다 끝난건데'
택배 포장을 까보니, 메모리가 들어있었음
근데 심지어 서버하고 호환도 안됨
황당한 호스팅 담당자가 어플리케이션 담당자한테 전화 '님 이거 머임?'
'니가 메모리 사다주면 된다며?'
'아니 사다줄거면 맞는걸 보내야지'
'아 모름 니가 끼워준댔음 ㅅㄱ'
'야 이 ＿＿아'
호스팅 빠짐
7) 장비가 새로 입고 되었는데, 꽤 유명한 메이커 장비였음
이 메이커는 유명하긴 하지만 아직 신생이라 채널사가 메이져한데가 별로 없고 크고작은 업체들이 다 붙어있었는데
그 날 따라 장비 설치 하러 온 엔지니어가 계속 버벅댐
이 엔지니어는 무슨 얘기를 해도 잘 못알아듣고, 요구사항을 다르게 해석하거나 하는거임
'아 시발 또 듣보잡 채널 붙었구나' 싶어서 명함 보니 진짜 완전 첨 들어보는 업체였음
좀 짜증난 시스템 담당자가 뭐하는 업체인가 연혁을 보려고 인터넷을 검색했는데, 홈페이지도 없는거임
'뭐지 얼마나 듣보잡이면 홈페이지도 없냐'하면서 계속 검색하다가, 우연히 해당 업체의 사업자 등록을 발견함
업태 : 건어, 청과물 도소매. 전산소모품 취급
https://cohabe.com/sisa/623895
전산 장애사고 썰들
- 일본 이세계물 근황 [21]
- 뀨꺄봇 | 2018/05/31 22:37 | 5075
- 타노스를 포탈로 못 죽인 이유 [32]
- 우그으 | 2018/05/31 22:37 | 4370
- 28-300 vr vs 70-300 vc 무엇이 나은가요 [9]
- 신남신남 | 2018/05/31 22:36 | 2350
- 드론을 바다 물에 빠뜨렸습니다.ㅜㅜ [15]
- midist | 2018/05/31 22:35 | 3119
- 여성들이 원하는 여성의 하루.jpg [105]
- 늌듘 | 2018/05/31 22:35 | 5751
- ㅍㄹ를 잘하는 타카키양.JPG [38]
- 맥퍼슨 | 2018/05/31 22:31 | 5989
- 절대 하면안되는 똥겜들 모음.JPG [76]
- 맥퍼슨 | 2018/05/31 22:30 | 4802
- 아무도 관심없는 마감을 해봅니다 [5]
- 독불장군™ | 2018/05/31 22:29 | 3555
- 말 한 마디로 인생이 달라진 남자.jpg [17]
- UniqueAttacker | 2018/05/31 22:29 | 4208
- 토요일날 ㅊㅈ한테 8만원 씀 [17]
- (◀▶_◀▶) | 2018/05/31 22:27 | 3780
- 로또 1등 인증 [83]
- 파노키 | 2018/05/31 22:27 | 6084
- 점심쯤 렌즈 사기 당했다고 글을 올렸었는데요 [3]
- [5DMk4]Freedom | 2018/05/31 22:26 | 3983
- [펌펌;약스압] 성추행범으로 몰릴 뻔한 보배인 [44]
- 나까시마미카 | 2018/05/31 22:26 | 4583
- 집에 돌아오지 못한 아들 [8]
- 파노키 | 2018/05/31 22:20 | 5354
- 전산 장애사고 썰들 [36]
- 알겠슘돠 | 2018/05/31 22:20 | 5763
흠칫... 으윽 뒷목!!
아고 근데 4번같은 경우에는 미리 예방할 수 있는 것 아닌가요...
시스템이 아무리 견고해도 1800일동안 안끌수가 ㅠㅠ
종사자님들..그게 많이 어려운건가요?
뭔가 딥빡의 상황들 같긴 한데 뭔소린지 모르겠다...
한글인데 이해 안가는게 한두가지가 아니다..
이해할수록 무서워지는 글이 이런글이겠지..
다행이야.. 이해한게 없어서.
광고가 또......?
그런데 나도 전산실 근무 했었지만, 믿을 수 없는 살풍경이네 !!!!!!
이게 사실이라니
회사가 살아있습니까?
저 예전 회사에서는 DBA가 술쳐먹고 서버실 들어가서
"불끄러왔다!!!"
이러면서 서버 장비들에다가 소화기 분사
1. DB는 전사 데이터를 담고 있는 시스템으로 DB 내려가면 아무것도 못함 유해조수가 생기지 않도록 서버실에는 먹을것도 못갖고 들어가는게 원칙.
2. 엄청큰 컴퓨터를 버렸다니...ㄷㄷㄷ
3.L4가 L2의 상위 개념 인건 알겠는데.. 잘 모르게썽..
4. 장비는 PM 이라고 해서 혹시모를 장애에 대비하여 예방정비를 해야함 그래서 전원을 껏다가 켜주고, 펌웨어나 보안에 대비하여 업데이트를 해줘야 함1800일 이면... 이미 하드웨어 장애가 나도 이상할게 없었음
5. 서버가 크니까 너무 뜨거워서 이걸 항상 식혀줘야 서버가 열받지 않고 잘 돌아가는데.. 그래서 서버실은 먼지도 없고 쾌적.. 하지만 소리가 넘나 큼...ㅠㅠ 암튼 에어컨을 껏다면 서버들이 열받아서 ... 다 쥬그ㅡㅁ...
6. ㅋㅋㅋ 서버메모리는 PC나 노트북에 사용되는 메모리하고 다름 성능도 훨씬 좋고 가격도 비싼데 아마 그냥 시중에 파는 메모리를 보냈을 확률이 큼.. 그리고 서버 메모리 증설이 쉽지 않음
7. 이건 너무함....ㅋㅋㅋㅋ
IT 부서가 돈쓰는 부서라고 무시하고 돈 안쓸라고 하는데.. 피박하고 무시하고 그러지마라... 그대들 퇴근하면 우리는 새벽에 일한다..ㅠㅠ 그리고 우리가 안해주면 니네도 돈 못벌어와!! ㅜㅜ
서버 담당이 아니라 정확하진 않는데 대충 맞을 겁니다 틀렸다면 죄송하구요...ㅠ..ㅜ
이상 5년차 DBA 였습니다 이만 물러갑니다 총총총
3에서 스패닝 트리 프로토콜에 대한건 실무에서도 꽤 일어나죠 ㅎㅎ 넷턱 실무자 아니면 보통 모르기도하고.. L4 셋팅은 당연히 더 어렵고
4는 구형서버에서 자주 일어나죠. 특히 오래된 HDD 의 부트로더가 오래 액세스되지 않아서 날라가는..
제발 실화가 아니라고 해줘요
서버담당자도 아닌 개발자인데도 현기증이..
4번같은 경우 그럴수도 있겠다 싶은데
제가 있는곳은 그런 작업은 미리 하드웨어 벤더사 대기시켜놓고 작업하는데...
(어차피 유지보수 계약 되어 있는거라 평상시 이슈없으면 공돈먹는거고, 필요시 현장대기나 유선대기 요청하는거고..)
전신마미 장애인이 어떻게 글을 써요? 주작 너무하시네!!!
NTR 사연 말곤 무슨소린질 모르겠...
와 5번 ㅋㅋㅋㅋㅋㅋㅋㅌㅌㅌㅌ
3번.. 제가 근무하던 부대에서 꽤 자주 일어났었죠
루핑 일어나면 해당 네트웤 전체가 안되고..
원인을 보면 잘못 꽂혀있는 UTP케이블이고..
3번 겪어봤어요.
저게 흔히 선을 잘못 꽂아서 내부적으로 신호가 무한반복되면서 결국은 포화상태가 되어 서비스가 죽어버립니다...
군대... 사단급 전산병이었는데...타 부대는 괜찮은데 우리부대만 루프가 돌아서 서비스가 서서히 느려지다가 죽어버림.
문제는 사단 전산부대이다보니 우리 부대에 사단에서 쓰는 공용서버들이 다 몰려 있는 상황
그 중 하나가 '초과근무수당' ㅋㅋㅋㅋㅋㅋ 전화 폭발하고 쌍욕에 욕에...
원인 파악은 안됨. 갑자기 뜬금없이 안됨.
결국 우리 부대용 스위치허브에 있던 모든 랜선 다 뽑고 하나씩 하나씩 연결해가며 원인이 되는 회선을 찾음 --;
찾았더니 우리 부대 수송부로 가는 회선...
죽일듯이 쫓아가보니... 수송부 행정담당병사가 선정리 한답시고 바닥에 굴러다니던 랜선 둘 곳이 없으니 그냥 허브에 다 꽂아버림....
여기서 루프 돌기 시작했던거....
마침 초과근무수당 홈페이지가 안열린다며 개쌍욕을 했던 수송관이 떠올라서 그 수송 행정 담당 병사 때릴뻔.....
그냥 아저씨 덕에 우리 전체 사단 인트라넷 작살 났고 대대장이 사단장한테 끌려갈수도 있으니까 아저씨가 책임지세요 정도...
벌써 납량특집 시즌이군요
그런데 이거 실화인가요?
강도가 센데...
내가 겪은 사고는
1. 여름만 되면 학교 전산실 PC가 다 펑펑 터져나감. 당시 전산실 알바였던 나는 "제발 에어컨좀 달아주세요." 라고 사정을 해도 학교 행정실에서는 "놀고 있네. 왜 거기다가 에어콘을 다냐?" 라면서 말을 안들음. 결국 교수 통해서 행정실에 압력 좀 넣어달라고 부탁하고, 전산실 PC중 2/3이 고장이 나는 시점이 되어서야 에어컨 설치됨. 이후? PC 고장 안남
2. 어쩌다 학교에 최초로 인터넷을 깔 때 있었음. (이러다 나이 나오겠다...) 그러던 어느날 어느 PC에서 IP 충돌 에러가 나옴. (즐겁게도 당시 DHCP 구축이 안되었어서 PC마다 고정IP를 주고 있던 상황) 아마 학교 내 어떤 PC에서 IP 입력을 잘못한 것 같은데, 그걸 찾을 수가 없는 것임... 결국 과후배들을 전원 소집해서 캠퍼스 내 모든 PC를 전수조사시킴. 범인은 도서관 PC. 아마 누군가가 도서관에서 컴퓨터 첫걸음 책을 대여해서 마침 거기 있던 PC로 실습한 게 아닌가 하는 생각을 함......
마지막은......
사장 : 어? 이거 뭐하는건데 단가가 이리 쎄? 야 컴퓨터 잘하는놈 누구냐? 니가 가라
일지도...
일본에서 나 독감걸리니까 서버실에 격리시켜놓고 프로그램시키던데.....히타x저주할테다...
오늘 서버 디비 테이블 하나 드랍해서 머리가 새하얗게 변했는데 이 글을 보니 오늘 실수가 아무것도 아니였구나...
5번은 여기서 얼음 빼간 장면과 같음.
전에 서버관리할때 생각나네요.
꽤유명업체들 유지보수했었는데..
정말 저런일들이 황당하게 나오곤함...
흰건 바탕이요
검은건 글이로다
허허
난 문과 출신이다 이것들아~ 당장 적절한 설명을 대령 하렷다.
NTR의 다른 뜻은 다음과 같다.
네트워크 타이밍 레퍼런스(Network Timing Reference): ADSL 다운스트림에서 전송되는 8 kHz 참조
핵열 로켓(Nuclear Thermal Rocket)
*출처: https://ko.wikipedia.org/wiki/NTR
비슷한 업종에서 일하는 사람으로서 ㅋㅋㅋㅋㅋㅋ
교회에서 있었던 일인데, 평소엔 멀쩡하게 제대로 게이트웨이가 잡히다가 가~끔 엉뚱한 IP타임 공유기가 잡혀서 인터넷이 끊길때가 있었음.
유선공유기라 무선으로 위치를 추적할수도 없어서, 가끔 해당 공유기가 잡힐때마다 사무실이며 성전, 교육관 등등을 이잡듯이 뒤졌는데도 못찾았음.
나중에야 범인을 잡았는데, 방송실에 있는 음향 콘솔 스위쳐끼리 통신하라고 꽂아둔 WAN 안달린 공유기랑 인터넷 스위칭허브를 이어붙인게 문제..
이쪽업계에서는 기초만 잘 알고 지켜도 큰 문제 없거든요
대부분의 장애보면 단순한 문제인 경우가 많습니다.
전 직장의 경우에 서버실안에서 노트북 전원어댑터를 백본장비있던 랙 멀티탭에 연결하다가 쇼트나서
한 1분간 네트워크 마비된적이 있었네요.
다른건 몰라도 2번은 개사이다네 ㅋㅋ
네트웍 전송 주력 서버 서브로하는사람임
와.......ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ 다 ㅎㄷㄷ 할 일들임....
위에 글이 이해가 되는게, 제가 예전에 있던 회사에 서버실이 있었는데
서버렉이 한 5개정도 있는 규모였나 그 정도였는데, 관리해주는 업체가 따로 있었음.
매달 1~2번 정도 점검 오고 가끔 이슈 생기면 불러서 해결하는 정도.
근데 10여년 전이었는데, 그거 한달 비용이 400~500 정도 였던 걸로 기억해요.
아마 회사 운영하는 높은 사람들이 보기에는 평소에 별 문제가 없고
한달에 1~2번 와서 점검만 하는데 그 돈이 나가니 돈 아낄려고 하겠죠.
그러고, 모든 문제는 거기에서부터 시작하고요 ㅎㅎ
저 전에 다니던 회사(펌웨어) 팀장님이 선 정리 하고 인입 네트워크 선 두개를 스위치에 같이 물리는거 보고 ㄴㄴㄴㄴㄴㄴㄴㄴㄴㄴㄴㄴㄴ팀장님 네트웍 서버려요 ㄷㄷㄷㄷㄷㄷㄷㄷㄷ
이러면서 떼버렸는데;;;;