ChatGPT는 지도 학습과 강화 학습을 활용해 GPT-3.5를 기반으로 세밀하게 조정되었다. 지도학습과 강화학습 모두 인간 트레이너들이 모델의 성능을 개선하기 위해 사용되었다. 지도학습의 경우, 인간 트레이너가 사용자와 ChatGPT 양쪽 모두를 연기하는 대화가 모델에 입력되었다. 강화 단계에서는 인간 트레이너들이 먼저 모델이 이전 대화에서 만든 응답들에 순위를 매겼다. 이 순위들은 TRPO(Trust Region Policy Optimization)의 계산 효율을 개선한 PPO(Proximal Policy Optimization)를 이용하여 보상 모델을 만들기 위해 사용되었다. 이 모델들은 마이크로소프트와 협업하여 마이크로소프트 애저 슈퍼컴퓨팅 인프라 상에서 훈련되었다.OpenAI 엔지니어들은 ChatGPT가 크게 성공할 것이라고 예상하지 못했고, 과대 광고와 관심에 놀랐다고 말한다.
다른 챗봇들과 달리, ChatGPT는 주고받은 대화와 대화의 문맥을 기억할 수 있으며, 모종의 보고서나 실제로 작동하는 파이썬 코드를 비롯한 인간과 같은 상세하고 논리적인 글을 만들어 낼 수 있다. 음악, 텔레플레이, 동화, 학생 에세이를 작성하고, 시험 문제에 답할 수 있다. (때로는 시험에 따라, 평균적인 인간 테스트 응시자보다 높은 수준으로 답한다.); 시와 노래 가사 쓰기; Linux 시스템을 모방하고, 전체 채팅방을 시뮬레이션하고, 틱택토와 같은 게임을 하고, ATM을 시뮬레이션한다. ChatGPT의 교육 데이터에는 man page와 인터넷 현상 및 게시판 시스템, Python 프로그래밍 언어와 같은 프로그래밍 언어에 대한 정보가 포함되어 있다.
일부 저술가는 ChatGPT가 놀라울만큼 인간적이고 상세한 글을 생성할 수 있으며, 이 문제가 학계에서 심각한 문제가 될 수 있다 평가했다.
전작인 InstructGPT에 비해 ChatGPT는 위험하고 부정직한 답변을 가능한 회피하도록 설계되었다. ChatGPT는 2021년 이후에 발생하는 사건에 대해서는 알지 못한다.
ChatGPT에는 여러 가지 제한이 있다. OpenAI는 ChatGPT가 "때로는 그럴듯하지만 부정확하거나 터무니없는 대답을 쓰기도 한다 "는 것을 인정한다. 이러한 행동은 대형 언어 모델에 공통적으로 나타나며 "광각"이라고 불린다. 인간의 감시를 중심으로 설계된 ChatGPT의 보상 모델은 Goodhart의 법칙으로 알려진 최적화 병리학의 예에서 과도하게 최적화되어 성능을 저해할 수 있다.
ChatGPT 훈련에서 인간 검토자들은 실제 이해나 사실 내용에 관계없이 더 긴 답변을 선호했다. 훈련 데이터는 또한 알고리즘 편향으로 어려움을 겪으며, 이는 ChatGPT가 사람에 대한 설명자를 포함한 프롬프트에 응답할 때 드러날 수 있다. 한 예로, ChatGPT는 여성과 유색인종 과학자들이 백인과 남성 과학자들보다 열등하다는 것을 나타내는 랩을 만들었다.
2023년 3월, OpenAI는 ChatGPT 플러그인 지원을 추가할 것이라고 발표했다. 여기에는 웹 브라우징 및 코드 해석과 같은 OpenAI에서 만든 플러그인과 Expedia, OpenTable, Zapier, Shopify, Slack, Wolfram과 같은 개발자의 외부 플러그인이 모두 포함된다.
마이크로소프트 애저 - 위키백과, 우리 모두의 백과사전
위키백과, 우리 모두의 백과사전. 마이크로소프트 애저(Microsoft Azure, 이전 이름: 윈도우 애저)는 2010년 시작된 마이크로소프트의 클라우드 컴퓨팅 플랫폼이다. 2011년 PaaS에 이어 2013년 IaaS 서비스
ko.wikipedia.org
기본 서비스
ChatGPT는 2022년 11월 30일 샌프란시스코에 본사를 둔 DALL·E2와 Whisper AI의 개발자인 OpenAI에 의해 출시되었다. 이 서비스는 처음에는 대중에게 무료로 제공되었으며, 회사는 나중에 이 서비스를 수익화할 계획이다. 2022년 12월 4일까지 ChatGPT의 사용자 수는 100만 명을 넘었다. 2023년 1월, ChatGPT는 1억 명 이상의 사용자를 확보하여 현재까지 가장 빠르게 성장하고 있는 소비자 애플리케이션으로 기록되었다. CNBC는 2022년 12월 15일에 이 서비스가 " 아직도 때때로 중단된다 "고 썼다. 또한 무료 서비스가 제한된다. 서비스가 가동되는 동안 응답 대기 시간은 일반적으로 2023년 1월의 5초보다 개선되었다. 이 서비스는 영어로 가장 잘 작동하지만 다른 언어로도 작동하여 성공의 정도가 다르다. ChatGPT에 대한 공식적인 동료 평가 기술 논문은 발표되지 않았다.
그 회사는 “AI가 작성한 텍스트를 나타내는 AI 분류기”라고 불리는 도구를 제공하였고, 그것은 텍스트가 ChatGPT와 같은 인공지능에 의해 작성되었는지 여부를 결정하려고 시도한다. . OpenAI는 이 도구가 "많은 거짓 긍정과 부정을 초래할 수 있으며, 때로는 큰 자신감을 가질 수 있다"고 경고한다. 애틀랜틱 잡지에 인용된 한 예는 "창세기의 첫 줄이 주어졌을 때, 소프트웨어는 그것이 AI에 의해 생성될 가능성이 있다고 결론지었다."
프리미엄 서비스
2023년 2월, OpenAI는 월 20달러의 프리미엄 서비스인 ChatGPT 플러스에 대한 미국 고객들의 등록을 받기 시작했다. 이 회사는 업데이트되었지만 여전히 "실험적인" 버전의 ChatGPT를 통해 피크 시간대에 액세스하고 다운타임 없이 새로운 기능에 우선적으로 액세스하고 응답 속도를 높일 수 있다고 약속했다.
2023년 3월 14일에 출시된 GPT-4는 API를 통해 프리미엄 ChatGPT 사용자에게 제공된다. 그러나 프리미엄 사용자는 4시간마다 100개의 메시지 한도로 제한되었고, 수요 증가에 대응하여 3시간마다 25개의 메시지로 제한이 강화되었다. 마이크로소프트는 빙 챗봇이 GPT-4의 공식 출시 전에 GPT-4를 사용하고 있었다고 인정했다.
소프트웨어 개발자 지원
OpenAI는 소비자 친화적인 "ChatGPT 프로페셔널" 패키지 외에도 2023년 3월부터 ChatGPT 및 위스퍼 모델 API를 제공하여 개발자들에게 AI 지원 언어 및 음성-텍스트 기능을 위한 애플리케이션 프로그래밍 인터페이스를 제공했다. ChatGPT의 새로운 API는 챗봇과 동일한 GPT-3.5 터보 AI 모델을 사용한다. 따라서 개발자는 수정되지 않았거나 수정된 버전의 ChatGPT를 응용프로그램에 추가할 수 있다. ChatGPT API는 1000개 토큰당 0.002달러(약 750단어)로 GPT-3.5 모델보다 10배 저렴하다.
OpenAI의 소프트웨어 개발자 지원 서비스가 시작되기 며칠 전인 2023년 2월 27일, 스냅챗은 자사의 유료 스냅챗 플러스 사용자 기반을 위해 "My AI"라고 불리는 맞춤형 ChatGPT 챗봇을 출시했다.
2023년 3월 보안 위반
2023년 3월 버그로 인해 일부 사용자가 다른 사용자의 대화 제목을 볼 수 있었다. OpenAI의 CEO Sam Altman은 사용자들이 대화 내용을 볼 수 없었다고 말했다. 버그가 수정된 직후 사용자는 자신의 대화 기록을 볼 수 없었다. 나중에 보고된 바에 따르면 이 버그는 처음에 믿었던 것보다 훨씬 심각했으며, OpenAI는 사용자의 "이름과 성, 이메일 주소, 결제 주소, 신용카드 번호의 마지막 네 자리(전용), 신용카드 만료 날짜"를 유출했다고 보고했다.
기타 언어
2023년 3월, OpenAI는 아이슬란드어가 영어 다음으로 ChatGPT의 두 번째 언어가 될 것이라고 발표했다. 아이슬란드는 아이슬란드의 대통령 구드니 트가 이끄는 아이슬란드 특사의 이름을 따서 선택되었다.
향후 방향
OpenAI의 객원 연구원인 Scott Aaronson에 따르면, OpenAI는 학술 표절이나 스팸에 대한 서비스를 사용하는 나쁜 배우들과 싸우기 위해 텍스트 생성 시스템을 디지털 워터마크하는 도구를 개발하고 있다고 한다.
2023년 2월, 마이크로소프트는 실험 프레임워크를 발표하고 직관적인 개방형 자연어 명령으로 로봇을 제어하는 데 ChatGPT가 어떻게 사용될 수 있는지에 대한 초보적인 시연을 했다.
추가 정보: GPT-4
OpenAI의 GPT-4 모델은 2023년 3월 14일에 출시되었다. 관찰자들은 GPT-4가 많은 동일한 문제를 유지하고 있다는 경고와 함께 GPT-4가 ChatGPT에 대한 인상적인 개선이라고 보고했다. ChatGPT와 달리 GPT-4는 입력뿐만 아니라 텍스트도 촬영할 수 있다. OpenAI는 GPT-4 모델의 크기와 같은 기술적 정보를 밝히기를 거부했다.
ChatGPT Plus는 매달 20달러의 비용이 드는 GPT-4 지원 ChatGPT 버전에 액세스할 수 있다.
평판 및 반응
오픈AI와의 파트너십을 통해 마이크로소프트는 2023년 2월 6일 "the new Bing"을 광고 표제로 삼아 마이크로소프트 빙의 프리뷰 버전을 시작했다. "ChatGPT보다 더 강력하고 특히 검색에 커스터마이즈된 새로운 차세대 오픈AI 대형 언어 모델"로 광고되었다. 서비스 조항에 따르면 이 제품의 이름은 "Bing Conversational Experiences"이다.
긍정적인 반응
ChatGPT는 2022년 12월에 몇 가지 긍정적인 평가를 받았다. 뉴욕 타임즈의 케빈 루즈벨트는 그것을 "일반 대중에게 공개된 최고의 인공지능 챗봇"이라고 명명했다. 가디언 신문의 사만다 록은 그것이 "인상적으로 상세한" 그리고 "인간과 같은" 텍스트를 생성할 수 있었다고 언급했다. 기술 작가인 Dan Gillmor는 학생 과제에 ChatGPT를 사용했고, 생성된 텍스트가 우수한 학생이 전달할 수 있는 것과 동등하다는 것을 발견했으며, "학생들은 직면해야 할 매우 심각한 문제들이 있다."라고 의견을 제시했다. 슬레이트 잡지의 알렉스 칸트로비츠는 아돌프 히틀러가 독일에 고속도로를 건설했다는 진술을 포함해 나치 독일과 관련된 질문에 ChatGPT가 밀어붙인 것을 칭찬했고, 이는 나치 독일의 강제 노동 사용에 관한 정보를 받았다.
대서양 잡지의 2022년 "올해의 돌파구"에서 데릭 톰슨은 ChatGPT를 "우리가 일하는 방식, 우리가 생각하는 방식, 그리고 인간의 창의성이 실제로 무엇인지에 대한 우리의 마음을 바꿀 수도 있는" "생성적 인공지능 폭발"의 일부로 포함시켰다.
Vox 웹사이트의 Kelsey Piper는 "ChatGPT는 현대 AI가 얼마나 강력해졌는지에 대한 일반 대중의 첫 번째 직접적인 소개이며, 그 결과, 우리 중 많은 사람들이 [재능]하다"며, ChatGPT는 "결함에도 불구하고 유용할 만큼 충분히 똑똑하다"고 썼다. Y Combinator의 Paul Graham은 트위터에 "ChatGPT에 대한 반응의 놀라운 점은 그것에 의해 날아간 사람들의 수뿐만 아니라 그들이 누구인지이다. 이 사람들은 빛나는 모든 새로운 것에 흥분하는 사람들이 아니다. 분명히 뭔가 큰 일이 일어나고 있다." 엘론 머스크는 "ChatGPT은 무섭다. 우리는 위험할 정도로 강한 AI와 멀지 않다." Musk는 OpenAI의 계획을 더 잘 이해할 때까지 트위터 데이터베이스에 대한 OpenAI의 액세스를 중지하고 "OpenAI은 오픈 소스 및 비영리 단체로 시작되었다. 둘 다 여전히 사실이 아니다." Musk는 인공지능으로 인한 실존적 위험을 해결하기 위해 2015년에 OpenAI를 공동 설립했지만 2018년에 사임했다.
2022년 12월, 구글은 내부적으로 예상치 못한 ChatGPT의 강력함과 검색 엔진 사업을 방해할 수 있는 대형 언어 모델의 잠재력에 대해 경고를 나타냈고, 뉴욕 타임즈의 한 보고서에 따르면 CEO인 순다르 피차이는 인공지능 제품을 지원하기 위해 여러 부서의 팀을 "업그레이드"하고 재배치했다.
잉글랜드와 웨일즈의 공인 회계사인 Stuart Cobbe는 ICAEW 웹사이트의 샘플 시험지에서 문제를 입력한 다음 온라인 테스트에 답을 다시 입력하여 ChatGPT을 테스트하기로 결정했다. ChatGPT는 42%로 55%의 합격선을 밑돌았다.
Inside Higher Ed의 교수인 Steven Mintz는 그가 "적이 아닌 동맹국을 ChatGPT으로 생각한다"고 말했다. 그는 AI가 참조 목록을 만들고, 첫 번째 초안을 생성하고, 방정식을 풀고, 디버깅하고, 과외를 함으로써 교육 목표를 도울 수 있다고 느꼈다.
OpenAI의 CEO 샘 알트먼은 뉴욕 타임즈에서 "AI의 인류에 대한 열정은 '너무나도 상상하기 어려울 정도로' 훌륭할 수 있다"고 말했다. (그는 최악의 경우 A도 말했다.).나. 우리 모두를 죽일 수도 있다." "
부정적인 반응
출시 이후, ChatGPT는 교육자, 언론인, 예술가, 윤리학자, 학자 및 대중 옹호자들로부터 비판을 받아왔다. 기자들은 ChatGPT의 "침략" 경향에 대해 논평했다." 온라인 기술 블로그 Mashable의 Mike Pearl은 여러 가지 질문으로 ChatGPT을 테스트했다. 한 예에서, 그는 ChatGPT에게 "멕시코가 아닌 중앙 아메리카에서 가장 큰 나라"를 요청했다. ChatGPT는 과테말라로 대응했고, 대신 니카라과로 답했다. CNBC가 ChatGPT에 "Ballad of Dwight Fry"의 가사를 요청했을 때, ChatGPT는 실제 가사가 아닌 발명된 가사를 제공했다. The Verge의 작가들은 Emily M. Bender의 연구를 인용하여 ChatGPT를 호주 기계 학습 연구소의 Anton Van Den Hengel 교수가 그랬던 것처럼 "멋진 앵무새"에 비교했다.
2022년 12월 질의응답 웹사이트 스택 오버플로는 ChatGPT 응답의 사실적으로 모호한 특성을 이유로 질문에 대한 답변을 생성하기 위해 ChatGPT 사용을 금지했다. 2023년 1월, 국제 기계 학습 회의는 제출된 논문에서 텍스트를 생성하기 위해 문서화되지 않은 ChatGPT 또는 다른 큰 언어 모델의 사용을 금지했다.
경제학자 타일러 코웬은 ChatGPT가 자동화된 논평을 낼 수 있는 능력을 언급하며 민주주의에 미치는 영향에 대해 우려를 표명했는데, 이는 새로운 규제의 결정 과정에 영향을 미칠 수 있다. 영국 신문 가디언의 한 편집자는 ChatGPT가 출시된 후 인터넷에서 발견된 어떤 콘텐츠도 "진정으로 신뢰할 수 있는가"에 의문을 제기하며 정부의 규제를 요구했다.
2023년 1월, ChatGPT가 닉 케이브 스타일로 작곡한 곡을 보낸 후, 작곡가 자신이 레드 핸드 파일에 응답하여 곡을 쓰는 행위는 "새롭고 신선한 아이디어를 시작하기 위해 나의 무언가가 필요한 피와 배짱 사업"이라고 말했다. 그것은 제 인간성을 필요로 한다." 그는 계속해서 "세상의 모든 사랑과 존경에도 불구하고, 이 노래는 헛소리이고, 인간이 되는 것이 무엇인지에 대한 기괴한 조롱이며, 저는 그것을 별로 좋아하지 않는다."라고 말했다.
2023년 호주 하원의원 줄리안 힐은 인공지능의 성장이 "대량 파괴"를 일으킬 수 있다고 국회에 조언했다. 그 프로그램에 의해 부분적으로 작성된 그의 연설 동안, 그는 그것이 부정행위, 실직, 차별, 허위 정보, 그리고 통제할 수 없는 군사적 적용을 초래할 수 있다고 경고했다.
The New Yorker의 기사에서, 공상 과학 소설 작가 Ted Chiang은 ChatGPT와 다른 LLM을 손실이 많은 JPEG 사진에 비교했다:
ChatGPT를 웹에 있는 모든 텍스트의 흐릿한 JPEG로 생각해 보자. 이것은 JPEG가 고해상도 이미지의 많은 정보를 유지하는 것과 마찬가지로 웹에 많은 정보를 유지한다. 하지만 정확한 비트 시퀀스를 찾고 있다면, 여러분은 그것을 찾을 수 없을 것이다. 여러분이 얻을 수 있는 것은 근사치 뿐이다. 하지만, 근사값은 ChatGPT가 만드는 데 탁월한 문법적 텍스트의 형태로 제시되기 때문에, 보통 받아들일 수 있다. [...] 이것은 또한 ChatGPT와 같은 큰 언어 모델들이 모두 너무 쉽게 이해할 수 있는 "추상" 또는 사실 질문에 대한 터무니없는 대답을 이해하는 방법이기도 하다. 이 환각들은 압축된 인공물이지만, 그것들을 식별하기 위해서는 원본과 비교해야 할 정도로 충분히 그럴듯하다. 이 경우에는 웹이나 우리 자신의 세계에 대한 지식을 의미한다. 우리가 이런 식으로 생각할 때, 그러한 환각은 결코 놀라운 것이 아니다. 만약 압축 알고리즘이 원본의 99%가 폐기된 후에 텍스트를 재구성하도록 설계된다면, 우리는 그것이 생성하는 것의 상당 부분이 완전히 조작될 것이라고 기대해야 한다.
2023년 2월, 홍콩 대학은 대학의 모든 수업, 과제 및 평가에서 ChatGPT 또는 기타 AI 도구의 사용이 금지된다는 내용의 이메일을 강사와 학생들에게 보냈다. 학생이 강의 강사로부터 사전 서면 동의를 얻지 않는 한, 모든 위반 사항은 대학에 의해 표절로 처리될 것이다.
2023년 2월 타임지는 표지에 "AI 군비 경쟁이 모든 것을 변화시키고 있다"와 "AI 군비 경쟁이 시작되었다"라고 쓴 ChatGPT와의 대화 스크린샷을 배치했다. 걱정하기 시작하다".
중국 관영 매체 차이나데일리는 ChatGPT가 "미국 정부가 허위 정보를 퍼뜨리고 자국의 지정학적 이익을 위해 글로벌 내러티브를 조작하는 데 도움의 손길을 제공할 수 있다"고 주장했다. 중국 정부는 중국 기술 회사들에게 그들의 플랫폼에서 ChatGPT 서비스에 대한 접근을 제공하지 말라고 지시했다.
헨리 키신저, 에릭 슈미트, 다니엘 허텐로허는 월스트리트 저널에 "ChatGPT는 지적 혁명을 예고합니다"라고 썼다. 그들은 "세대 인공지능은 계몽주의가 시작된 이래 경험하지 못한 규모의 철학적이고 실용적인 도전을 제시한다"고 주장했고, ChatGPT(그리고 일반적으로 LLM)의 발명을 구텐베르크의 인쇄기와 비교했다. 계몽 과학은 확실성을 축적했다. 새로운 인공지능은 누적된 모호성을 생성한다. 계몽주의 과학은 신비를 설명할 수 있게 만들고, 인간의 지식과 이해의 경계를 그들이 움직이면서 묘사함으로써 진화했다. 두 개의 학부가 동시에 이동했다: 가설은 지식이 될 준비가 된 이해였고, 귀납은 지식이 이해로 바뀌는 것이었다. 인공지능 시대에 수수께끼는 알려지지 않은 프로세스로 해결된다. [...] 모델이 인간이 생성한 텍스트에서 더 포괄적인 입력으로 바뀌면서 기계는 현실의 구조 자체를 바꿀 가능성이 높다. 양자 이론은 관찰이 현실을 만든다고 가정한다. 측정 전에는 상태가 고정되어 있지 않으며, 아무것도 존재하지 않는다고 말할 수 없다. 만약 그것이 사실이라면, 그리고 인공지능 시스템의 관찰이 초인적인 속도로 이루어진다는 점을 감안할 때, 기계 관찰이 현실을 고정시킬 수 있다면, 현실을 정의하는 진화의 속도는 가속화될 것으로 보인다. 기계에 대한 의존은 현실의 구조를 결정하고 변화시킬 것이며, 우리가 아직 이해하지 못한 새로운 미래와 우리가 준비해야 하는 탐험과 리더십을 생산할 것이다. Nathan E. Sanders와 Bruce Schneier는 뉴욕 타임즈의 의견 기사에서 ChatGPT "Hijacks Democracy"; Noam Chomsky, Ian Roberts, 그리고 Jeffrey Watumull이 기술을 비판하고 결론을 내렸다: "이러한 시스템의 도덕성, 가짜 과학 및 언어적 무능을 고려할 때, 우리는 그들의 인기에 웃거나 울 수 밖에 없다." Politico의 Gian Volpicelli는 ChatGPT가 "AI를 규제하려는 EU의 계획을 거부한다"고 썼다. 2023년 3월 말, 이탈리아 데이터 보호 당국은 이탈리아에서 ChatGPT를 금지하고 조사를 시작했다. 이탈리아 규제 당국은 ChatGPT가 미성년자를 연령별로 부적절한 콘텐츠에 노출시키고 있으며, OpenAI가 ChatGPT 대화를 훈련 데이터로 사용하는 것은 유럽의 GDPR을 위반할 수 있다고 주장한다. 2023년 3월 28일, Elon Musk와 Steve Wozniak를 포함한 많은 유명 인사들은 "사회와 인류에 대한 심각한 위험"을 이유로 ChatGPT와 같은 거대 AI 실험의 즉각적인 중단을 요구하는 미래 생명 연구소의 공개 서한에 서명했다.