데이터 사이언스 블로그

데이터 사이언스, 머신러닝, 빅데이터 분석, 시뮬레이션

Markov logic network을 Apple Siri에 적용하는 아이디어

출퇴근 시간에 자주 방문하는 Datanami라는 블로그가 있다. 여기 pabii처럼 수준 낮은 블로그가 아니라, 기자가 직접 발로 뛰면서 신기술을 최대한 자세하게 설명하는 블로그라서 항상 기대를 갖고 새 글을 기다리는 곳이다. 지난번에는 Markov Logic Network (MLN)라는 DB 설계 & 처리 구조에 활용되는 컨셉을 설명하는 본 적이 있는데, 처음 저 개념이 나왔던 2006년부터 지금까지 다양한 연구가 이뤄졌고, 실제로 소개 더보기 Markov logic network을 Apple Siri에 적용하는 아이디어[…]

대학원 머신러닝 강의 수준

얼마전, 증권사에서 퀀트 팀 주니어로 일하신다는 분의 메일을 받았다. 글로벌 자산배분 업무라는 허울 좋은 일을 시작했는데, 현실은 매일 뉴스 체크하면서 직관에 의존한 배분만… 시장의 많은 데이터 속에서 유의미한 Implication을 뽑아내는 능력을 기르는…. 이론적인 모델은 아니더라도 시장의 패턴을 이용해 (Portfolio를) 분산하는 모델을 여러가지 만들어내는… 메일을 읽자마자 10년쯤 전에 초짜 투자은행가로 첫 사회생활을 시작했던 무렵이 떠오르더라. 바로 소개 더보기 대학원 머신러닝 강의 수준[…]

인공지능인가? 고급 자동화 기술인가?

블록체인 투자 전문이라는 VC를 한 분 만났다. 인공지능이 세상을 이끄는 시대가 왔고, 그런 기술을 블록체인에 접목시켜서 비지니스의 혁신이 계속 일어날 것이란다. 곧 특이점이 오고, 그 때부터는 인류가 뭔가를 개발하는게 아니라, 프로그램이 자체 개발을 다 해서 지금까지 인류가 수백만년에 걸쳐 쌓아온 노하우와는 비교도 안 되는 어마어마한 발전이 앞으로 10년안에 일어날 거란다. (푸흡~) VC와의 미팅은 언제나 둘 소개 더보기 인공지능인가? 고급 자동화 기술인가?[…]

인스타그램의 알고리즘

Criteo라는 리타게팅 광고회사 (유저별 행동에 맞춰 쇼핑몰 노출 상품을 골라주는 광고 상품)에서 Senior Data Scientist로 재직하던 시절, 외부 접촉이 있을 때마다 항상 위에서 “절대로 회사 알고리즘을 상세하게 공개하면 안 된다”는 경고를 받았다. 굳이 공개해야할 때는 Top-line info만 공개해라고 여러번 주의를 들었는데, 회사 그만둔지 1년이 지난 요즘도 여전히 그 모델을 제대로 따라가는 경쟁자가 별로 없는 것과, 소개 더보기 인스타그램의 알고리즘[…]

“ICO 없는 블록체인 기술 발전은 가능할까”라고?

“인공지능 회의론자”, “암호화폐 비관론자” 주변의 스타트업 관계자들에게서 듣는 평가다. 좀 심하게 말씀하시는 분들은 스타트업 업계에 투자금이 계속 유입되는 핵심 키워드 두 개가 인공지능과 암호화폐인데, 그 둘을 모두 “디스”하는 사람이 스타트업 한다는게 모순된 거 아니냐고 하셨다. 어쩌랴. 사기를 놓고 사기라 하지 않으면 혀에 가시가 돋을 것 같은데. 필자의 눈에 인공지능은 그동안 인류가 쌓아온 수학과 통계학에 빅데이터를 소개 더보기 “ICO 없는 블록체인 기술 발전은 가능할까”라고?[…]

커리어 쌓기 in Data Science

국내에서 데이터 사이언티스트로 성장하고 싶으면 어떤 커리어를 밟아야할까에 대한 질문을 많이 받는다. 개발자들이 Data Engineer쪽 커리어를 밟거나, BI들이 Data Analyst쪽 커리어로 나가는 건 이미 여러번 이야기를 했는데, 정작 Data Scientist로 성장하기 위해 한국에서 어떤 커리어를 밟아야할까에 대한 고민을 깊게 해 본적은 없었던 것 같다. Engineer나 Analyst는 학부 출신들이 전공만 맞다면 충분히 도전할 수 있는 영역이기 소개 더보기 커리어 쌓기 in Data Science[…]

수학이라는 장벽 for 4차 산업

외부 강의 요청이 있거나, 장문의 상담 이메일을 받거나, 책을 쓰자는 연락을 받고 미팅을 하면, 가장 먼저 물어보는 내용이 “어느 정도 수준의 수학”을 알아야 머신러닝을 이해할 수 있느냐다. 몇 번 말이 오가고 나면 이 분들이 왜 필자를 잡고 있는지 금방 눈치채게 된다. 필자가 문과 출신이기 때문이다. “수학”, “통계학”이 중요하다고 열심히 써 놨지만, “너는 경제학 출신이니 수학을 소개 더보기 수학이라는 장벽 for 4차 산업[…]

블록체인 커뮤니티의 도전

학부시절, 아니 박사까지 공부하면서 가장 좋아했고, 필자의 일상을 큰 틀에서 지배하는 수업을 딱 하나만 골라야한다면 게임이론을 고르고 싶다. 남들은 경제학 전공하면 돈 놀이하는 공부를 한다거나, 수요-공급 곡선 그려놓고 정신승리한다고 착각하시는데, 게임이론을 공부하고 그 툴을 이용해서 논문을 쓰다보면, 인간을 움직이게 하는 인센티브를 어떻게 구성한 “게임”을 만들 수 있을까, 더 나아가서는 시스템을 어떻게 구성해야 그 시스템이 간섭없이 소개 더보기 블록체인 커뮤니티의 도전[…]

데이터 사이언스 모델링이란? – Data Filtering

학부 3학년 때다. 경영학과 수업 중에 우리과 전공으로 인정되는 몇 안 되는 수업 중 하나인 재무관리 수업 첫 시간으로 기억한다. 기업들의 Financing이 기업 가치 평가, 경영 의사 결정에 어떤 영향을 미칠 수 있는지에 대한 내용을 다루는 수업이었는데, 고학년 거시경제학 수업에서 ABS로 리파이낸싱하는 부분을 이해하는데 도움되는 수업이라는 말을 듣고 큰 기대를 하고 수업에 들어갔다. 다른 과 소개 더보기 데이터 사이언스 모델링이란? – Data Filtering[…]

블록체인이 도입될 수 있는 업무

펀드매니저를 하고 있는 절친이 진지한 상담을 원한다면서 늦은 밤에 사무실로 찾아왔다. 요즘 4차산업 어쩌고 저쩌고에 블록체인이라고 말들이 많고, 머신러닝이 펀드매니저 업무를 대체하는 수준을 넘어서서 아예 코인이라는게 완전히 우리가 아는 금융 시스템을 바꿔놓을 것처럼 말들하는데, 진짜 그렇게 되냐고 걱정이 가득한 표정이었다. 여의도에서 소문만 듣고 주식사고 있는 애들은 좀 걱정하고 정신차려야 한다고 놀리고 싶은 욕구가 샘솟았지만, 그래도 소개 더보기 블록체인이 도입될 수 있는 업무[…]

진로 상담 in Data Science

학부 4학년 1학기 무렵으로 기억한다. 고교시절부터 오직 Finance에만 관심을 갖고, 언젠가는 한국에 IMF 구제금융 쇼크를 날린 유태계 자본들을 갖고노는 월가 최고의 거물이 되겠다던 부질없는 망상만 갖고 대학과 전공을 정해서 열심히 살던 시절이다. 3학년 때 한국고등교육재단 (SK그룹 산하)의 경제학 전공 장학생으로 선발되고, 그 학생들을 지도(?)해주셨던 경제학과 교수님께 진로 상담차 30분 정도만 시간을 내 주시면 안 되겠냐고 소개 더보기 진로 상담 in Data Science[…]

통계학자가 본 머신러닝

요즘 자주 듣는 표현 중에 필자의 귀를 매우 거스르는 표현들이 몇 가지 있다 빅데이터를 배운다 딥러닝을 배운다 빅데이터는 용량만 큰 데이터가 아니라 유저들의 행동을 초 단위로 추적한 데이터라고 이미 여러번 포스팅을 했다. 딥러닝도 머신러닝의 Neural net 모델 중 layer의 숫자가 좀 많은 모델들을 부르는 이름이라는 것도 같은 맥락에서 여러번 언급을 했었다. 말을 바꾸면 빅데이터와 딥러닝은 소개 더보기 통계학자가 본 머신러닝[…]

인공지능 – DQN, I2A, AGI, Brain Initiative

“인공지능”이라는 단어를 들으면 제일 먼저 떠오르는 그림은 무엇인가? 알파고? 로봇이 통치하는 세상? 매트릭스 속에서 건전지로 바뀐 인간? 아마 10년전만해도 인공지능이라는 단어와 함께 연관 검색어가 될 만한 단어는 “자동화”였을 것이다. 물레방아부터 증기기관까지 근세까지 인류의 목표는 인간의 노동력을 대체할 수 있도록 자연의 힘을 인간의 목적에 맞게 활용하는 것이었다고해도 과언이 아니다. 다만 최근까지의 자동화 시스템은 인간의 “사고”를 복제한 소개 더보기 인공지능 – DQN, I2A, AGI, Brain Initiative[…]

머신러닝에 왜 통계학이 필수일까?

작년 (2017년) 이맘때로 기억한다. 어느 벤처 투자사 (Venture Capital)와 미팅을 하는데, 왜 머신러닝에 통계학이 필수적인지 잘 이해가 안 된다는 질문과, 머신러닝은 알아서 변수를 다 찾아주는 거라고 들었는데, 도대체 무슨 변수를 어떻게 찾아서 최적화를 한다는 건지 잘 이해를 못하겠다고 하더라. 그 중 한 명은 통계학을 꽤나 쓰는 학문으로 석사 유학을 다녀오신 분이고, 다른 한 분은 국내 소개 더보기 머신러닝에 왜 통계학이 필수일까?[…]

머신러닝 교육 포기하고 외주업체를 써야하는 이유

가끔 출장 교육(?)이 가능하냐는 연락을 받는다. 거의 대부분은 일언지하에 거절한다. 그런 보따리 강사하려고 이 강의를 시작한게 아니라, 실력없는 사람들의 3류 강의, 직접 데이터 다뤄본 적이 없는 교수들의 책 속에만 파묻힌 강의에 분노해서, 시장이 좀 교육이 되었으면 하는 기대를 갖고 남는 시간을 활용해서 하는 강의인데, 폰돈 몇 푼 쥐어주면서 “이 강의를 듣고 나면 우리 회사 사람들이 소개 더보기 머신러닝 교육 포기하고 외주업체를 써야하는 이유[…]

X