박준석
24
글
2.5K
팔로워
31
팔로잉

박준석 인증된 계정

데이터 사이언티스트입니다.

심리학을 전공했지만 졸업 후에는 미국에서 데이터과학자로 일하고 있습니다. 데이터를 가지고 가치 있는 활동을 하는 데 관심이 많습니다. [가짜뉴스의 심리학], [3일 만에 끝내는 코딩 통계], [데이터과학자의 일] 등을 썼습니다.

경력
IT - 미국의 한 테크기업
https://www.facebook.com/buckeyestatfisher
프로필 공유로 응원하기
박준석
내적 (dot product) 과 그 기하학적 의미, 통계/기계학습과의 관련성
박준석
박준석 인증된 계정

내적에 대한 더욱 심오한 천기누설

지금까지 내적 이야기를 쭉 했는데, 이번에는 차원을 한 개만 늘려보자. 3차원으로 가는 것이다. 제 그림 실력이 좀 딸리니 발로 그린 그림 퀄리티는 좀 양해를 부탁드린다. 지난 글에서 어떤 두 벡터 간의 내적은, 한 벡터에서 다른 벡터에 수선의 발을 내렸을 때, 원점부터 그 수선의 발까지의 길이와 같다고 말했었다. 여기에는 사실 상당한 단순화가 들어가 있지만, 이런거 따지기 시작하는 순간부터 영 재미없어지니 지금은 한켠으로 좀 미뤄놓고. 오늘은 이걸 이용해서 3차원상의 점을 2차원상에 투영시키는 연습을 한 번 해보려고 한다. 숫자를 단순화시키기 위해 xyz 세 축으로 구성된 3차원 공간상에 (1, 1, 1)이라는 점을 한 개 잡아보자. 이제 이 점을 x, y 두 개의 축이 이루는 평면 상으로 그대로 수직으로 떨어뜨릴 것이다. 사실 이것도 일종의 수선의 발이라 할 수 있을 것이다. 직관적으로 당연하게도, 떨어진 점의 좌표는 (1,1,0)이 될 것이다. x와 y좌표는 그대로 ...
산업/기술/IT
박준석
내적 (dot product) 과 그 기하학적 의미, 통계/기계학습과의 관련성
박준석
박준석 인증된 계정

내적과 삼각함수 간의 관계

원 글이 약간의 호응을 얻어서 이어서 보강해 보는 기초 관련 글. 아마 아시는 분들도 많을 테니 그런 분들은 스킵하셔도 되고. 아마 원 글을 읽어보신 분들은 애초에 내적과 각도 사이에 무슨 관련이 있는지 그 글만 읽어서는 캐치하기 약간 어려우셨을 것이다. 그래서 여기서 간단하게 정리하고 넘어가려고 한다. 이 글에서는 시각화가 비교적 용이한 2차원의 경우만 다루지만, 몇 차원으로 확장하든 성립하는 것이라고 보면 될 것이다. 위 그림은 2차원 좌표평면 상에 P와 Q라는 두 점을 잡아놓은 것인데, 원점 O와 두 점을 이어놓으면 직각삼각형이 되는 구조를 갖고 있다. 다르게 말하면 Q는 P에서 직선 OQ에 내린 ‘수선의 발’ (이거 중고등학교 수학 시간에 아마 한 번쯤은 들어보셨을 것이다) 이라고도 할 수 있고, 직선 OQ 상에서 P에 가장 가까운 점이라고도 할 수 있다. 선분과 직선의 차이도 있는데, 여기서 한 번 다시 상기하면 선분은 양 끝이 존재하는 유한한 선, 직선은 양 끝...
산업/기술/IT
박준석
박준석 인증된 계정

내적 (dot product) 과 그 기하학적 의미, 통계/기계학습과의 관련성

오늘은 좀 가벼운(?) 주제에 대해 이야기해볼까 한다. 바로 벡터 간의 곱에 대한 이야기다. 아는 사람들은 다 아는 이야긴데 벡터 간의 곱셈은 통계학과 기계학습에서 엄청나게 자주 등장하고 중요한 개념이다. 그런데 중요한 건 그게 어떤 기하학적 의미를 갖는다는 것이고, 이를 잘 이해하면 통계/기계학습 관련 개념 이해에 무진장 도움이 된다는 것이다. 그래서 오늘은 짧게 이 얘기를 해 보려고 한다. (주의: 두 벡터를 곱하는 방법은 한 가지가 아니다. 그래서 이 글에서 말하는 곱셈이 두 벡터를 곱하는 유일한 방법이라고 오해하면 안 된다.) 먼저 벡터 간의 곱셈이 뭔지부터 얘기를 해야 할 것 같다. 그러기 위해서는 벡터가 뭔지 얘기를 해야 한다. 벡터는 쉽게 말하면 그냥 숫자를 죽 한 줄로 나열한 것이다. 이를테면 다음과 같은 것은 벡터다 (대개 벡터를 쓸 때는 괄호 안에 숫자를 죽 나열한다). (1, 2, 3, ..., 10) 자, 그럼 이제 벡터 얘기를 다 했다. 놀랍겠지만...
산업/기술/IT
2 3
박준석
데이터 사이언스 맥시멀리스트의 위시리스트 (1) - 엔지니어링 기초
박준석
박준석 인증된 계정

데이터 사이언스 맥시멀리스트의 위시리스트 (2) - 통계학

지난 글에서는 엔지니어링 쪽에 대해 주로 이야기했는데, 사실 나는 엔지니어링에 대해 데이터과학자가 되고 나서야 본격적으로(?) 배우기 시작한 입장이기 때문에 오히려 그 글은 엔지니어링 전문가가 보기에는 동의할 수 없는 부분들이 꽤 있을지도 모르겠다. 만약 잘못된 부분이 있었다면 먼저 양해를 구한다. 하지만 오늘 이야기할 부분은 내가 그래도 꽤 오랜 시간 동안 공부했었던 분야기 때문에 조금 더 자신있게 말할 수 있을지도 모르겠다. 바로 통계학 이야기다. 통계학은 물론 데이터 사이언스에서 중요한 위치를 차지하는 토픽이긴 한데, 생각보다 사람들이 깊이있게 공부하는 분야가 아니다. 오해가 굉장히 많은 분야기도 하다.  일단 개인적으로 중요하게 생각하는 지점 한 가지. 여기에는 동의하는 사람도 그렇지 않은 사람들도 있을 것 같은데 통계학과 기계학습이 비슷하면서도 꽤 다르다. 어떤 사람은 그냥 기계학습이 통계학의 일부라고 말하는 사람들도 있고 그 반대로 생각하는 사람도 있을지도 모르겠...
산업/기술/IT
박준석
박준석 인증된 계정

데이터 사이언스 맥시멀리스트의 위시리스트 (1) - 엔지니어링 기초

GPT가 온통 데이터 사이언스와 인공지능 업계의 주의를 끌고 있지만 하루 벌어서 하루 먹고 살아야 하는 가난한(?) 데이터쟁이는 오늘도 그냥 하던 이야기를 계속하도록 하자. 인공지능에 대해 별로 아는 건 없지만 하고 싶은 말이 없는 건 아닌데, 별로 영양가 있는 이야기를 할 수 있을 것 같지는 않아 그냥 안 하려고 한다. 틀린 이야기를 할 가능성도 높고. 이런 얘기는 좀 더 잘 아는 분들이 잘 풀 수 있을거라고 생각한다. 보통 데이터 사이언스에 관심이 있는 사람이 있다고 할 때 나는 되도록 격려해주는 차원에서 이야기를 해 주는 편이다. 이것도 알아야 하고, 저것도 배워야 하고 이런 식으로 잘 이야기를 하지 않는다. 웬만하면 유캔두잇 정신을 심어주는 게 중요하기 때문이다. 하지만 마음 속 다른 한켠에서는 다른 목소리가 흘러나오는 것을 애써 막고 있는 것도 사실이다. 현업을 잘 하려면 이것도 해야 하고 저것도 해야 하는데…그냥 참자. 이거 다 하라고 하면 포기할라. 하지만 이 지면...
산업/기술/IT
1 1
박준석
박준석 인증된 계정

구닥다리(?) 데이터 사이언스의 현주소

대 머신러닝, 인공지능, 대규모 언어생성모형의 시대에 전통적 통계 기법들에 대해 이야기하는 것은 왠지 구닥다리 같은 느낌을 줄 것 같아 두렵다고 하면 이것은 엄살일까? 아무튼 chatGPT, GPT-4 등등이 줄줄이 등장하고 세상을 금방이라도 바꾸어놓을 것만 같은 이 시점에, 뭔가 다른 이야기를, 특히 약간 고전적인(?) 느낌이 드는 통계학 이야기를 하면 시대에 뒤처진 것만 같은 느낌을 받는 것도 사실이다. 데이터과학자라면 모름지기 최신 동향을 끊임없이 모니터링하고 기술 습득을 게을리하지 말아야지! 하고 생각할 수도 있다. 하지만 나 자신도 그렇고, 지금까지 봐왔던 다른 사람들도 - 물론 개중에는 최신 조류 캐치업을 게을리하지 않는 사람들도 많지만 - 다 그렇게 사는 것은 아니다. 물론 데이터과학자들 이야기다. 감히 단언컨대 대부분의 데이터분석가/과학자들은 팬시한 것과는 다소 거리가 있는, 하루하루 마감되어야 할 일을 치우고 살고 있다고 생각한다. 실제로 그게 당장 조직에 필요...
산업/기술/IT
1
박준석
박준석 인증된 계정

운칠기삼, 하지만 '운'도 사실 통제할 수 있다?

인생은 운칠기삼이라고들 한다. 이는 인생에 있어서 인력으로 어찌할 수 없는 부분이 상당히 크다는 것을 의미하는 말로 자주 쓰이는 듯하다. 그런데 사실 확률/통계를 업으로 삼고 있는 입장에서는 꼭 그렇게만 해석되는 것은 아니다. 왜냐하면 운이라는 것의 역할을 ‘인력으로’ 줄일 수 있는 방법이 몇 가지 있기 때문이다. 약간 잡담같이, 너무 엄밀하지는 않게 썰 푸는 식으로 두 가지 사례만 간단하게 이야기해 보면, 첫째, 입사 면접이나 시험 같은 것을 예로 들어보자. 사실 하나하나의 ‘시행’, 즉 개별 면접이나 시험은 성공률이 정해져 있는 (그렇든 않든 그냥 그런 척하면 된다) 확률적 시행으로 볼 수 있다. 그리고 그 성공률은 당신이 엄청난 능력자라면 높겠지만, 대부분의 경우 꽤 낮다고 보는 것이 합리적일 것이다. 설령 능력자라 하더라도 또 그 능력에 걸맞은 난이도의 도전을 하는 경우 성공률도 따라서 내려간다고 보는 게 맞을 것이다.  아무튼 그 성공률을 p라고 부르자. 그러면...
산업/기술/IT
1
박준석
박준석 인증된 계정

챗지피티 단상/격세지감

한동안 바빴는데 chatGPT가 세상을 뒤흔들어 놓고 있다. 그래서 한 마디 쓸까 했는데, 나는 이 분야에 대해서는 정말 조금도 아는 게 없으므로 개인적인 잡담이나 좀 늘어놓고자 한다. 요즘 어딜 가나 chatGPT 때문에들 난리다. 금방이라도 개발자건 데이터분석가건 뭐건 chatGPT에 의해 대체될 수 있을 것만 같은 공포가 곳곳을 지배하고 있는 것 같다. 그런데 요즘들어 사람들이 하는 얘기를 들어보면 대체될 위험이 더 커보이는 것은 단순노무직보다는 오히려 단순사무직 또는 지식노동자 같아 보이지 않는가? 조금은 아이러니하게 느껴지기도 한다. 아무튼 인공지능의 발전상을 보고 있노라면 언젠가는 내 밥줄도 끊기고, 기계가 내 일을 모두 대체하는 날이 오지는 않을까 솔직히 전혀 불안하지 않다면 거짓말일 것이다. 물론 오늘 당장 chatGPT든 그 어떤 LLM이든 내 일을 온전하게 대체하지는 못할 것이다. 하지만 언젠가 그런 날이 오지 않으리라 장담할 수도 없는 일이다. 뭐, 내가 ...
산업/기술/IT
1
박준석
박준석 인증된 계정

데이터 사이언스 엑소더스

현장에서 느끼건대 데이터과학의 인기는 예전같지 않은 것 같습니다. 하긴 처음부터 21세기의 가장 섹시한 직업 운운할 때부터 어느 정도 예견되었던 일이기는 합니다. 영어로는 the sexiest job in the 21st century 인데 sexiest라는 단어를 까딱 잘못 발음하면 sexist가 되어서 상당히 조심했어야 했던 기억이 나고요. 한 번은 대놓고 지적받은 적도 있습니다. 발음 조심해야 한다고. 아무튼 요즘 트렌드는 데이터과학자를 안 하고 대신 데이터 엔지니어를 하는 겁니다. 데이터 엔지니어가 뭐냐고요? 설명하긴 좀 복잡한데요. 흠...데이터과학자가 이미 어느 정도 정리된 데이터를 이리저리 만지는 일을 한다면, 데이터 엔지니어는 그 '어느 정도 정리'를 해 주십니다. 제가 사실 데이터 엔지니어링에 대해 그리 많이 아는 게 아니라 이렇게 말해도 될런지는 모르겠지만...아무튼 데이터 엔지니어들은 회사 등 조직에서 '데이터가 흐르게 하는' 매우 중요한 일을 맡고 계십...
산업/기술/IT
2
박준석
박준석 인증된 계정

미스터리한 숫자, 여론조사 표본오차 "3.1%" 에 숨겨진 비밀 (부제: 님하 그 표본오차를 그렇게 쓰지 마오)

뉴스와 신문지상에 등장하는 여론조사에 꼭 등장하는 항목이 있습니다. “본 설문조사에는 …명을 대상으로 …방식으로 진행되었으며 표본오차는 3.1% 입니다.” 여기서 3.1%라는 숫자에 크게 관심을 갖고 보신 분은 별로 없겠지만, 뭔가 이상하지 않습니까? 설문조사마다 표본오차가 거의 같으니 말입니다. 이상하게 3.1%에서 크게 빗나가는 법이 없죠. 여기서 통계학에 조금 더 조예가 있으신 분들이라면 표본오차가 표본 크기에 좌우된다는 것을 알고 계실 테니, 설문조사마다 1,000명 안팎을 대상으로 조사를 한다면 표본오차도 대략 비슷할 것이라는 점은 눈치채셨을 것입니다. 그런데 왜 하필 그 값이 3.1% 인지까지는 아시는 분이 많지 않으리라 생각합니다. 그래서 이 글에서는 그에 대한 설명을 좀 하고요.  사실 이 기사 (JTBC 2023년 2/8 보도, 엇갈린 국힘 당대표 후보 여론조사…김 45.3%, 안 30.4% vs 안 35.5%, 김 31.2%) 때문에 이 글을 쓰게 되었습니...
산업/기술/IT · 한국정치 · 노동/인권/사회
1