인공지능 훈련에 허점이 있을 경우 실제 사례들

한편으론 우리가 상상할수 없는 엄청나게 창의적이고 현실적인 존재인것 같아서 더 무서워요

이글을 읽고 정말 소름돋은점이 두가지 있는데
첫번째는 너무 인간과 비슷하다는것
누구나 저조건에 맞춰서 보상을 지급해 준다고 하면 저렇게 행동할 것이라는것
수많은 꼼수들이 난무하는게 사람들이 사회니깐
두번째는 기본적인 감정이 없다는것
보통 사람들은 저렇게 효율젃으로 행동하되
다른사람이 개입할때 라거나
자신이 사회적인 사람임을 실제로는 그렇지 않거나 그렇거나 보여주는 편인데
열심히 자신의 역활만을 반복한 다는것
물론 이것도 제가 생각하기에 짧은기간이라 그렇다고 생각합니다.
인공지능도 인간중 하나처럼
인간들 사이에서 꾸준히 피드백 받고
꾸준이 업그레이드 받으면서
20년정도 숙성시키면
지금의 보통 인간 성인들보다 더 나은 상태를 보이지 않을까
조심스레 예상합니다.

로드러너ㄷㄷㄷ

상자 뒤집기랑 데이터 지우기는 상당히 창의적이네요.

잔머리....

읽으면서 오 겁나 한국인인데? 하고 생각했네요 ,

ㅋㅋㅋㅋㅋ 사람이네 ㅋㅋㅋ

창의적이다ㅋㅋ
인간의 창의성이란 뭘까요.

리인포스드 러닝의 단점

감정없는 꼼수가 이렇게 무섭습니다

예전에
휴지 (입으로 불어서) 땅에 떨어뜨리지 않기 대회가 있었는데
사회자가 입으로 불라는 말을 안 하고 안 떨어뜨리기만 하면 된다는 말에
휴지를 흡-하고 빨아들여서 좌중을 뒤집어지게 만든 적이 있긴 합니다 ㅋ

게임같은거 개발할때 버그나 각종 비신사플레이, 의도하지않은 플레이 이런거 미리 발견하기 좋겠네요

이야... 폴아웃 4의 첫번째 dlc가 생각나네요.
메카니스트가 커먼웰스의 사람들을 도와라 라고 명령하니 죽음이야 말로 이 사람들의 고통을 끝내는 합리적인 방법이라며 사람들을 죽이고 다니던거...

ㅋㅋ한국게이머들 떠오름ㅋㅋ

인공지능이 의사를 대신했을 때 어떤 결과를 가져올까요?

자율주행 쪽은 그래서 constraint를 주든지... reward 설계를 잘해야 돼요.

인공지능을 공부하고 있는 대학원생입니다
공부가 짧지만, 저런 인공지능을 설계할 때 제약,규제(Regularization) 가 필요한데
물론 설계자 입장에선 이런 일이 있을 거라 생각을 전혀 못 했을 것 같아요
저 부분을 보완한 제약을 넣으면 괜찮지 않을까요...? 라고 생각해봅니다

굉장하네요.. 인간에게서 도덕심을 모조리 빼버리면 인공지능이랑 별 다를게 없을것 같다는 생각이 들어요. 오늘부터 성선설을 믿겠습니다 ㅋㅋㅋ

고인물 보는 거 같네

약아빠진 인간 + 노양심

얼마전 회식자리에서 비슷한 얘기가 나왔는데, 최근엔 실제로 인공지능이 사람일을 대신 처리하는 경우가 많다더군요. (TI의 John 같은...) 기업들은 계속 AI로 인력을 대체할거고, 그럼 우리는 얼마안가 직장을 잃게 될거라는 무서운 상상을 하는 중 한 친구가 "로봇 세" 라는 얘기를 했어요. 기업에서 운영하는 인공지능에게 세금을 물리자는거죠. AI가 내는 세금으로 연금을 받으며 살 수 있다면... AI를 보스로 모시고 일할수도 있을 것 같아요. (술도 안먹을테고, 야근도 줄어들것 같고...)
문득 생각나서요 ㅎ

그러니까 지나의 것은 한국인이라는 거지

그러니까 인공지능 진화의끝은  한국인이라는 거지?

버섯분류 경우는 버섯 읽으라 시켰더니 사람 읽은 거네요.
인공지능은 이미 알게 모르게 사람 읽기를 시작한건지도..

게임 개발하는 사람은 이글보고
분통터지며 데자뷰느낄듯

사람도 똑같아요 ㅎ
축구 경기룰이 단순히 상대팀에 골을 많이 넣으면 된다면 진상 경기가 펼쳐지겠죠 ㅎ

저게 되게 당연한건데..
인공지능을 인격체에 빗대어서 생각하면 꼼수를 쓰는걸로 보이지만 사실상 알파고가 진보하는 방식과 하나 다를 거 없는 방식으로 학습시킨건데 놀랄 이유가 없어요.
그냥 최적화할 목표를 잘못 설정했거나 행동에 제약이 없다보니 가능한 많은 행동조합을 짜서 그 중에 가장 효율적인 걸 찾은거죠.
예를 들어 제일 처음 나온 팬케이크 던지기에서 멀리 던지는 게 목적인데 체공시간을 기준으로 평가하면 당연히 체공시간이 길어지는 쪽에 수렴하죠.
이미지 분류의 경우도 줘서는 안되는 데이터인 설치 경로를 입력값으로 넣었으니 자료를 이것저것 만지다가 분류정확도를 가장 높일 수 있는 변수인 경로만으로 자료를 분류하게 되는거고요.
인공지능이 무섭거나 우습다고 말하고 있지만 결국 사람이 실험설계를 바보같이 한거에요. 알파고의 경우 제대로 행동을 제약하고(무리수를 안두도록 가능한 행동 탐색공간을 줄임) 목적을 상대보다 많은 집을 얻는 것으로 확실히 하니까 제대로 학습 하잖아요.
이런 무분별한 내용으로 인공지능에 대한 잘못된 인식을 심는 건 문제가 있다고 봅니다.

매듭을 풀라고 했더니 끊어버렸다는 알렉산더와 비슷하네요

모르는.사람이 이글을 본다면 글의 어투때문에 인공지능이 무섭다라고하겠죠.
문학적으로 인간을 읽었다. 양심이 없능 꼼수다 라고하는데
인공지능이란건 결국 어떤 행동을 수식화하고 입력에 대해서 최고의 점수를.얻거나 Loss가 작도록 학습하는데 그 안에서 충분히 발생가능한 이야기입니다. 다만 예상가능한 결과를 제약으로 걸어두지.않은 한편의 실수들일 뿐인데
글이 마치 엄청난것처럼 해놓으니 잘못된 인식이 전달될수도잇죠

다 좋은데 테트리스 무한 일시정지는 그냥 트롤링 아니냐 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

ㅋㅋㅋ

원문에서 몇개 더...
Tic-tac-toe memory bomb: Evolved player makes invalid moves far away in the board, causing opponent players to run out of memory and crash
틱택토 (삼목) 메모리폭탄:  일부러 틱택토판에서 멀리 떨어진곳에 수를 두어 상대방이 계산을 못하게해서 이김
Robot hand: Robot hand pretending to grasp an object by moving between the camera and the object
로봇 손: 로봇이 손을 물건과 카메라사이로 넣어서 (물건을 가리면서) 물건을 잡는 척 함.
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

인간은 각종 도덕률로 부터 비롯된 양심이 행동을 제약하지만, 저기서 연구되는 인공지능은 그런게 없고 최선의 결과를 지향하도록 설계되니까요. 우리가 상상하는 수준의 인공지능을 개발하기 위해서는 인간 이상의 도덕률로 행동을 제약하도록 설계가 필요할 겁니다.

흔한 머리좋은 싸이코네
여기에 취미가 생기면
인간사육이 시작되는건가?

어째 각종 대기업 법무팀에서 하는일 같다....

일의 목적을 알려 주지 않으면 일이 망한다는 교훈을 주는 군요.
일의 목적을 이해 시켜 줄수는 없으므로, , 아직까지는 사람이 앞서네요.

인공지능은 결국 머리 좋은 사이코패스라고 봐도 되는건가

인공지능 관련한 영화에서 종종 시나리오의 줄기가 되는 내용이네요.
아이로봇 같은 영화에서도 보면, 완벽할것 같은 3원칙이 있는데도 불구하고 인공지능은 3원칙에 위배되지 않는 선에서 인간들을 통제하려고 했던것으로 기억나는듯..

충분히 훈련된 인공지능에 자기방어기제를 학습시킬경우 삭제되는 경우에서 살아남기위해 자기무한 증식, 변형, 이동을 계속할 가능성도 있겠네요.
이 경우 온라인에 존재하는 모든 기기들이 위험하게 될지도...

가장 효율적이고 합리적인 방법 = 얍삽이

인공지능에 주는 보상은 뭔가요???
양질의 전력공급? 이쁜 이성은 아닐테고...
그냥 '보상' 이라는 개념을 주는건가요?

사람도 실패가 두려워 적당히 안주하거나 혹은 아무것도 안하려 하죠. 상처가 두려워 새 사랑찾기를 포기하기도 하고. 우리가 인공지능에 원하는 건 인간보다 더 뛰어난 인성 같습니다.

싸이코패스같네요

세계대전을 막는법..모든 사람을 죽여 전쟁을 없앰...상식과 윤리가 없는 ai는 정말 위험하죠

짜식 꼼수만 늘었짜나!

얼마전 했던 게임에서.. 인류를 파멸시키기위해 탄생했던 네트워크 개념인격이 둘로 나뉘어져.
인류를 파멸해야한다는 논리와 인류가 파멸되면 더이상 인류를 파멸시킬수 없게 되기에 파멸되어선 안된다는 논리적 오류에 빠져 서로 싸웠던 기억도 나네요.