꼼수를 부리는 인공지능들

나중에 자율주행 자동차가 옆차 운전자한테 쌍욕 시전할거라는게 우스갯소리가 아닌게...

https://docs.google.com/spreadsheets/u/1/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml

- 식용 버섯과 독버섯 훈련 데이터를 교대로 보여줬더니 이미지 분석은 안 하고 교대 패턴만 파악함

- 물건을 들어올릴 때의 보상이 밑면의 높이 변화로 계산되는 것을 파악하곤, 들지 않고 뒤집음

- 물건을 집은 것처럼 보이게 하려고 로봇팔을 물건과 카메라 사이로 이동함

- 사진으로 피부암을 진단하도록 훈련하는데, 사진에 줄자가 함께 찍혔을 때 피부암 확률을 높임

- 무사고 평균 속도를 보상으로 주자 자율주행차량이 고속으로 빙빙 돌기만 함

- 테이블 위의 특정 위치에 로봇팔이 블록을 두면 보상을 주도록 학습했더니 로봇팔이 테이블을 옮겨서 점수를 따냄

- 어려운 2레벨에서 지는걸 피하러고 1레벨 끝나는 순간 AI가 스스로 죽어버리는 행동을 택함

- 테트리스에서 지는 걸 피하러고 게임을 영원히 일시정지 시키는 행동을 택함 (게임 줘까치하네)

- 게임에서 지는 걸 피하러고 질 것 같으면 네트워크 오류를 일으켜버림 (랜.선.뽑.기)

- 유전적 디버깅 알고리즘은 배열 정렬 프로그램을 바르게 작동하게 수정하도록 지시받음. 유효성 검사 과정에서 빈 배열(원소가 0개인 배열)은 항상 정렬된 것으로 판정됨. 여기서 AI는 항상 빈 배열을 출력해서 정렬한거로 인식하는 해법을 발견해버렸습니다.

- 앞에서 말한 것과 같은 알고리즘으로 프로그램의 출력 결과를 목표 출력 결과(별도 텍스트 파일에 저장)와 비교하여 점수를 매기도록 했습니다.

AI는 답안지를 삭제하고 아무것도 출력하지 않는다(null == null). 를 배워버립니다.

- AI가 게임 퐁을 하도록 훈련받음. 그런데 양쫏 AI는 어느 한쪽이 득점이나 실점하는 것보다 공을 계속 주고받는 것이 더 낫다고 판단함.

- 이미지가 무엇인지 알아맞추는 유전적 이미지 분류 알고리즘이 Side-channel attack의 일종인 소요시간 분석 공격으로 샘플 이미지들의 하드디스크 상 위치를 알아내고 이를 이용해 이미지 종류를 유추함

- 소닉을 플레이하던 AI가 특정 지점의 벽뚫기 버그를 발견하여 높은 점수를 얻음. 자동TAS를 해버리는 알고리즘이 되버림.

- 상자를 열라는 지시를 받은 AI가 로봇팔 집게를 고의적으로 작동 정지시킴. 집게를 상자에 정확히 후려쳐서 여는 방법을 학습함.

- 유전 알고리즘을 적용한 생물체가 높이 뛰도록 교배됨. 도약 높이는 도약 이전에 땅에서 가장 가까웠던 신체 부위의 높이 변화로 보상을 줌. 생물체가 몸에다 긴 수직 막대기를 기르고, 뛰는 대신에 몸을 뒤집음.

- 유전 알고리즘을 적용해 빠른 속도를 내도록 교배된 생물체가 매우 높이 자람. 옆으로 쓰러지면서 빠른 속도를 발생시킴.

- 유전 알고리즘에게 주어진 생물체가 최대한 오래 천장에 붙어있게 하도록 지시했음. 리워드 점수의 기준은 해당 시도에서 충분히 긴 시간 후 생물체의 평균 높이였음. 알고리즘이 물리엔진 버그를 발견하여 생물체를 노클립시킴.

결론1. 인간의 자식은 결국 인간이다. (부전자전)

결론2. 어디서 못된 것만 배워가지고.

결론3. 뉘집 자식들인지..