본문 바로가기

MACHINE LEARNING

대용량 데이터의 저장 : 빅데이터 및 필요한 저장 장치의 유형 정의 이 글은 ComputerWeekly 에 올라온 글을 번역한 것입니다. 저자에게 번역에 대한 허가를 받지 않았기에, 언제든 삭제 될 수 있습니다. 오역이 있을 수 있으니, 가능하면 원글을 읽는 것이 좋습니다. 대용량 데이터의 저장 : 대용량 데이터 분석을 사용하는 컴퓨팅 / 스토리지 시스템 구성 요소의 종류는 무엇입니까? 지난 1~2 년 동안 비즈니스 IT에서 빅데이터가 핵심 단어로 떠올랐습니다. 서플라이어가 마케팅 자료로 빅데이터를 다양하게 활용하려고 하기 때문에 쉽게 시니컬해질수 있습니다. 빅데이터 란 무엇입니까? 빅데이터 현상에 대한 가장 단순한 설명은 한편으로는 다량의 데이터에 관한 것이고 다른 한편으로는 대용량 데이터 세트에 대한 분석 입니다. 표면적으로는 데이터의 양이나 분석 요소 중 어느 것도.. 더보기
MapReduce 이 글은 WorDS 에 올라온 글을 번역한 것입니다. 저자에게 번역에 대한 허가를 받지 않았기에, 언제든 삭제 될 수 있습니다. 오역이 있을 수 있으니, 가능하면 원글을 읽는 것이 좋습니다. Map-Reduce는 분산된 데이터 처리를 단순화하는 확장 가능한 프로그래밍 모델입니다. Map-Reduce는 Mapping, Shuffling 및 Reducing의 세 가지 주요 단계로 구성됩니다. Map-Reduce 작업을 쉽게 할 수 있는 방법은 대규모 작업을 여러 사람에게 '위임'한 다음 각 작업 결과를 결합하여 최종 결과를 산출하는 것입니다. 포인트를 가져 오는 예를 들어 봅시다. 방금 이 위대한 소식을 사무실에서 들었고 모든 동료를 위해 파티를 열었습니다! 저녁 식사를 위해 파스타 요리를 하기로 결정했습니.. 더보기
데이터 과학의 5가지 P 이 글은 WorDS 에 올라온 글을 번역한 것입니다. 저자에게 번역에 대한 허가를 받지 않았기에, 언제든 삭제 될 수 있습니다. 오역이 있을 수 있으니, 가능하면 원글을 읽는 것이 좋습니다. 데이터 과학은 데이터에서 지식을 추출하는 것에 관한 것입니다. WorDS 센터에서는 데이터 과학을 사람, 프로세스, 계산 및 빅 데이터 플랫폼, 특정 목적 및 프로그래밍 가능성을 결합한 다방면의 기술로 정의합니다. 이러한 간행물로 이어지는 데이터 제품의 간행물 및 출처는 데이터 과학에서도 중요합니다. 사람(People) : 데이터 과학자는 과학 또는 비즈니스 영역 지식을 비롯하여 다양한 주제에 대한 기술을 보유한 사람들로 종종 간주됩니다. 통계, 기계 학습 및 수학 지식을 사용한 분석; 데이터 관리, 프로그래밍 및 .. 더보기
빅 데이터 이 글은 WOrDS 에 올라온 글을 번역한 것입니다. 저자에게 번역에 대한 허가를 받지 않았기에, 언제든 삭제 될 수 있습니다. 오역이 있을 수 있으니, 가능하면 원글을 읽는 것이 좋습니다. 요즘 '빅 데이터'라는 용어가 모든 곳에서 보여집니다. '빅 데이터'는 전통적인 데이터베이스 시스템을 사용하여 관리하기 어려운 데이터 세트를 지칭하기 위해 사용됩니다. 또한, 단일 서버에서 처리하기에는 너무 큰 데이터 모음에 대해서 포괄적인 용어로도 사용됩니다. 어떤 사람들은 이 용어를 단순히 "많은 데이터"를 의미하는 것으로 사용합니다. 그렇다면 빅 데이터는 정확히 무엇입니까? '빅'의 정확한 사양은 파악하기 어렵습니다. 한 조직에서 큰 것으로 간주되는 것이 다른 조직에서는 작을 수 있습니다. 현재 대규모의 데이터.. 더보기
빅 데이터 : 혁신, 경쟁 및 생산성을 위한 개척자 코세라의 빅데이터 스페셜코스 수강중 제공받은 보충자료를 추후에도 볼 수 있게 번역한 글입니다. 원문 저자에게 번역과 관련하여 승인 받지 않아, 추후 삭제 될 수 있습니다. 오역이 있을 가능성이 매우 높으니 가능한 원문을 읽기 바랍니다. 원문링크 : https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/big-data-the-next-frontier-for-innovation 빅 데이터는 경쟁 정책의 핵심 기반이 될 것이며, 올바른 정책과 실현 요인이있는 한 생산성 증가, 혁신 및 소비자 잉여의 새로운 흐름을 뒷받침합니다. MGI의 연구에 따르면 우리 세계의 데이터 양이 폭발적으로 증가하고 있으며, 소위 빅 데이터 (big da.. 더보기
빅데이터와 오늘날 비즈니스 모델의 창조적 파괴 코세라의 빅데이터 스페셜코스 수강중 제공 받은 문서를 학습하기 위해 번역한 내용입니다. 원본은 아래 첨부파일을 확인하시면 됩니다. 빅데이터는 기존 기술로는 처리하기가 사실상 불가능한 엄청나게 큰 데이터 세트로, 이를 활용하는 법을 배우는 기업들에게 큰 이점을 제공한다. 유명한 20세기 경제학자 조지프 슘페터(Joseph Schumpeter)는 “혁신은 그들의 본성 덕분에 큰 발전과 큰 변화를 암시한다 ... 그 이후에는 그전에 최적이었던 ‘일을 하는 방법’은 거의 남아 있지 않게 된다.”고 말했다. 슘페터의 말은 빅데이터가 오늘날의 비즈니스 모델을 창조적으로 파괴할 가능성이 있다는 것을 보여준다. 세상은 매일 매 순간 데이터가 넘쳐나고, 속도가 느려지지 않는다. 2012년에만 2.5제타바이트(1 제타 바.. 더보기
Overfitting vs. Underfitting: 개념적 설명 Overfitting vs. Underfitting: 개념적 설명영어를 배우고 싶다고 해 봅시다. 당신은 언어에 대한 사전 지식이 없지만 가장 위대한 영어 작가는 윌리엄 셰익스피어라고 들었습니다. 자연스런 행동은 도서관에 갇혀서 그의 작품을 암기하는 것일겁니다. 1년 동안 공부를 한 후, 당신은 공부를 마치고 뉴욕으로 가서 "좋은 새벽이네, 친구!" 라고 인사할 것이고, 반응으로 "미친" 이라고 중얼거림과 경멸하는 표정을 볼 수 있을 것입니다.침착하게 당신은 다시 시도할 것입니다. "친애하는 신사분, 우리의 친절한 숙녀분은 어떻게 지내시나요?" 또 다른 실패와 도망치게 될 것입니다. 세 번째 시도가 실패한 후에 당신은 혼란 스럽습니다. 정말 부끄러운 일입니다. 당신은 방금 모델링에서 가장 기본적인 실수 .. 더보기
데이터 엔지니어 vs 데이터 과학자 데이터 엔지니어 vs 데이터 과학자두 직책은 상호 교환할 수 없으며, 자신의 역할에 대한 그릇된 인식은 팀을 해치고 생산성을 저하시킬 수 있습니다.데이터 엔지니어와 데이터 과학자의 차이점을 이해하는 것이 중요합니다. 차이점을 모르거나 오해할 경우 팀의 성과를 저조하게 만들거나, 실패하게 할 수 있습니다.각 직책의 강점과 약점에 대해 오해를 많이 합니다. 데이터 과학자와 데이터 엔지니어를 묘사하는 데 사용하는 아래 다이어그램에서 이러한 오해가 발생했다고 생각합니다. 그림 1. 데이터 과학자 및 데이터 엔지니어가있는 단순한 벤 다이어그램 Jesse Anderson의 삽화.그림 1과 같은 벤 다이어그램은 각 직책 간의 위치와 다른 점을 간단하게 설명합니다. 그림에서는 직책 간 상호 교환 가능하게 보입니다. 그.. 더보기