1. API
대학원 과제를 할 때 공공 데이터 중 "실시간" 공공 데이터는 API를 얻어서 해야 했다. API는 손님에게 요리사의 요리를 전달하는 중간 전달자인 점원, 즉 양쪽의 서버를 연결해주는 것에 비유할 수 있다. 어떤 프로그램의 기능, 데이터 등을 활용할 수 있게 요청하는 사람에게 필요한 것을 연계해주는 것이라고 한다. 아래의 세개의 블로그에 비유와 설명이 훌륭했다.
2. 머신러닝
머신러닝이라고 하는 것의 개념적 전환은 ‘사람이 곧잘 해내지만 기술하거나 설명하기 어려웠던’ 문제들을 논리/알고리즘의 문제에서 통계/데이터의 문제로 전환하는 것이었다.'는 표현과 '머신러닝을 무한대의 인턴'으로도 비유한 글을 보았다 아래 링크를 걸어뒀다. 좋은 비유는 메모해둘 필요가 있는 듯하다.
그 글을 링크 건 분의 질문도 중요하다. "사람이 볼 수 없는 것을 기계가 찾거나 만들 수 있을 만큼 깊으면서도, 우리가 무엇을 원하는지 기계에 말할 수 있을 만큼 좁은 영역. 그것은 무엇일까요? 라는 질문에 대한 답을 해보자."
3. "Chat GPT는 웹의 흐릿한 JPGE이다." (출처 : Newyorkers)
손실압축과 무손실압축에 대한 이야기와 손실압축으로 일어났던 일화로 시작한다. 이미지라면 허용될 수 있는 손실압축 그러나 텍스트 파일이라면 부정확한 정보가 될 수 있다. 계산원리를 알면, 경제이론을 이해한다면 많은 수식과 경제 이론 관련 문장을 더 많이 압축할 수 있을 것이다. 그러나 chat GPT는 이해를 하고 지능이 생기는 것이 아니라 그럴듯한 답변을 하며 수식에서 숫자가 커지면 계산이 틀리는 모습을 보인다. (다른 데서 읽고 추가 : 지능이 생긴 것처럼 보이지만 그렇지 않고 확률적 답변인 셈이다. 그럴듯하나 오류가 있는 문장이 나올 수 있는데 이를 환각(hallucinations)이라고 한단다.)
글쓴이는 Open AI가 GPT-4를 교육시키기 위한 데이터를 모을 때 ChaGPT나 다른 대규모 언어 모델에서 생성된 데이터를 제외하기 위해 노력했을 것이라고 예측한다. JPEG를 반복해서 복사하면 화질이 점점 나빠지는데 아직은 ChatGPT는 손실압축을 하는 셈이라 새로운 대규모 언어 모델의 학습에 ChatGPT의 출력이 좋지는 않다는 것이다.
물론 입력만큼 좋은 출력을 생성하는 모델이 나온다면 이 손실압축에 대한 비유는 끝날 것이라고 한다. 이런 대규모 언어모델이 가진 허용할 수 있는 흐릿함은 저작권에 걸리지 않기 때문에 컨텐츠 공장에게 유용하다고 말한다. 그러나 이는 정보를 검색하는 사람에게 좋을리 없다고 하면서 이런 말을 한다. "대규모 언어 모델에 의해 생성된 텍스트가 웹에 더 많이 게시될수록 웹은 더 흐릿한 버전이 됩니다.
글쓴이는 계속해서 이제 이런 대규모 언어 모델이 인간이 원본을 작성하는데 도움이 될 것인지 논의를 이어간다. 이 사람 글은 요 근래 글 중 가장 현실적으로 느껴진다. 비슷한 말을 하나 결국 알맹이가 없는 열린 결말 환각같지 않다.
"독창적이지 않은 작업에 들인 시간과 노력은 낭비되지 않습니다. 오히려 그것이 바로 당신이 궁극적으로 독창적인 것을 창조할 수 있게 해주는 것이라고 제안하고 싶습니다. 올바른 단어를 선택하고 문장을 재배열하여 서로 더 잘 따라가는 데 보낸 시간은 산문이 의미를 전달하는 방법을 가르쳐줍니다. 학생들에게 에세이를 쓰게 하는 것은 단순히 자료에 대한 이해도를 테스트하는 방법이 아닙니다. 학생들이 우리 모두가 이전에 읽었던 에세이를 쓸 필요가 없다면,이 과정이 그들에게 그들의 생각을 분명히 표현하는 경험을 줍니다."
"글쓰기에 마법이나 신비한 것은 없지만 기존 문서를 신뢰할 수 없는 복사기에 놓고 인쇄 버튼을 누르는 것 보다는 나은 점이 있습니다. 미래에는 세상에 대한 자신의 경험만을 바탕으로 좋은 글을 쓸 수 있는 AI를 구축할 가능성이 있습니다. 우리가 그것을 달성하는 날은 참으로 중대한 날이 될 것입니다. 그러나 그 날은 우리의 예측 범위를 훨씬 뛰어넘습니다. 그 동안 웹을 다시 표현하는 것이 있으면 무슨 소용이 있겠습니까? 인터넷에 대한 액세스 권한을 영원히 상실하고 공간이 제한된 개인 서버에 복사본을 저장해야 하는 경우 ChatGPT와 같은 대규모 언어 모델이 좋은 솔루션이 될 수 있습니다. 그러나 우리는 인터넷에 대한 액세스 권한을 잃지 않습니다. 원본이 있을 때 흐릿한 JPEG가 얼마나 유용할까요?”
잘 읽고 갑니다
답글삭제오늘도 오셨군요! 감사합니다!
삭제