빅엑셀(BigExcel)

[목표]1. 파워쿼리에서 반복문(loop, for) 만들기 : 비슷한 처리를 여러번 반복시키기2. 함수를 통해 책 정보 가져오기3. 열 추가를 통해 전체 책 정보를 가져오기4. 데이터 나누기를 통해 가져온 정보를 2개의 열로 만들기 지난 글에서는 개별 도서의 출간일과 판매지수를 묶어서 가져오는 방법까지 소개해드렸습니다.이번 글에서는 지난 글에서 한 방법을 이용하여 목록에 있는 전체 책에 대한 정보를 반복해서 수집하고 적용하는 방법을 소개하겠습니다. 1. 파워쿼리에서 반복문(loop, for) 만들기 : 비슷한 처리를 여러번 반복시키기 파워쿼리는 전문 프로그램언어라기 보다는 엑셀의 쿼리문을 지원하기 위한 것이라서 일반적인 프로그램 언어에서 사용하는 for문이나 do문을 사용하기 보다는 함수를 통해 반복문을..

[목표]1. 파워쿼리 소스 코드 확인하기2. '판매지수'값 가져오기3. 2개의 값을 하나로 합친 후 하나로 불러오기 지난 글에서는 각 도서의 '출간일'을 가져오는 방법을 소개했는데요.이번에는 원래 수집하기로 했던 '판매지수'를 가져온 후 앞서 가져온 '출간일'정보와 통합하는 방법을 소개해드리겠습니다. 1. 파워쿼리 소스 코드 확인하기 파워쿼리를 이용하는 방법으로는1. 상단 메뉴를 이용하여 조작하는 방법과2. 다른 하나는 직접 해당 파워쿼리 소스를 편집하여, 개별 상황에 맞게 수정하는 방법이 있습니다.(파워쿼리 소스 코드 체계를 M이라고도 부릅니다. 이 블로그에서는 전체를 다루기 보다는 실무에 필요한 부분을 중심으로 설명드리겠습니다.) 2개의 웹사이트 값을 가져오는 경우는 일반적인 기능이 아니기 때문에, ..

[목표]1. 파워쿼리로 수집 대상의 웹페이지 열기2. html 구조 탐색을 통해 필요한 정보 찾기3. 필요한 정보를 엑셀로 가져오기 웹페이지를 수집하실 때, 몇 가지 참고하실 부분이 있는데요.1. 너무 많은 수집을 한꺼번에 하지 않는 것이 좋습니다. 한꺼번에 너무 많이 수집하면, 웹서버가 과부하에 걸릴 수도 있고, 수집하는 PC의 네트워크가 차단될 수 있습니다.2. 수집가능한 정보인지 확인하는 것이 좋습니다. 해당 사이트에 공지된 정보나 수집에 대한 정책을 참고하여 수집하셔야 합니다. 특히 개인정보가 포함된 내용을 수집하실 때는 관련 정책을 꼭 확인하시고 수집하셔야 합니다.3. 대부분의 프로그램 언어에는 웹페이지 수집(크롤링 또는 스크래핑)을 위한 기능이 포함되어 있습니다. 따라서 전문적인 수집을 하실 ..

[목표]1. 수집 대상 목록을 파워쿼리로 가져오기2. 상품번호로 수집 대상의 웹 페이지 열기 다음 내용으로 넘어가기 전에... 많은 분들이 궁금해하시고, 질문해주신 웹페이지 내용 수집(크롤링) 기초를 소개해드리고자 합니다. 웹페이지의 내용을 가져오기 위해서는 보다 전문적인 언어(Python, R, Php, Java 등)를 이용하시는 것이 편리하지만, 엑셀의 파워쿼리를 통해서도 기본적인 내용을 가져올 수 있습니다. [크롤링 할 때 주의하실 점]1. 크롤링은 다른 회사의 지적재산권을 수집하는 것이 될 수도 있기 때문에, 상대 회사의 robots.txt나 컨텐츠에 대한 수집 거부 정책을 확인하신 후 수집하시는 것이 좋습니다.(해당 사이트 '도메인/robots.txt' 에서 확인)2. 동시에 너무 많은 요청(Q..

[목표]1. 엑셀에서 만든 파워쿼리의 쿼리문을 파워BI로 가져오기(방법2) 엑셀에서 작업한 파워쿼리를 파워BI에서 사용하는 방법은 크게 2가지가 있습니다. 지난 글에 이어 오늘은 2번째 방법에 대해서 알아보겠습니다. [방법2] 데이터 가져오기 메뉴를 통해 파워쿼리가 있는 엑셀을 불러오는 방법 - 좋은 점 : 파일 하나만 가져오면 데이터를 다 쓸 수 있어서 편리 - 나쁜 점 : 새로운 데이터를 가져오려면 파워BI에서 바로 업데이트 할 수 없고, 엑셀 파일의 데이터를 새로 고쳐야 함 방법2를 통해서 수집한 주가 정보를 가져오겠습니다. - 파워BI를 실행시키고, 홈 메뉴 > 데이터 가져오기 > Excel 선택 파일 선택하는 창이 열리면 지난 1-8번 글에서 만들었던 파일을 선택합니다. 파일을 선택하면 아래와 ..

[목표]1. 엑셀에서 만든 파워쿼리를 파워BI에서 사용하는 방법 알아보기2. 엑셀에서 만든 파워쿼리의 쿼리문을 파워BI로 가져오기(방법1)3. 불러온 데이터로 파워BI에서 인터렉티브 차트 그리기 파워BI는 1달에 한 번씩 업데이트가 있을 정도로 마이크로소프트사에서 관심있게 다루는 솔루션입니다. 특히 데이터를 통합하고, 시각화한 후, 이를 공유하는데 있어서는 타의 추종을 불허합니다. 파워BI에 대한 소개는 지난 글을 참고해주시기 바랍니다. 특히, 엑셀의 파워쿼리 기능을 거의 동일하게 사용할 수 있고(파워BI에는 엑셀처럼 cell이 있는 것이 아니라서, cell과 연동하는 부분 등에 차이가 있습니다), 엑셀 파일과의 호환성이 뛰어납니다. 1. 엑셀에서 만든 파워쿼리를 파워BI에서 사용하는 방법 알아보기 엑셀..

안녕하세요? 그동안 파워쿼리 내용을 업데이트하지 못했는데요. 얼마전 기회가 있어 위키독스(wikidocs.net)에 2개의 책을 공개했습니다. 이 블로그 내용을 업그레이드한 것이니 파워쿼리와 가까워지는데 조금이나마 도움이 되길 바랍니다. 1. 클릭클릭! 코딩없이 시작하는 엑셀 크롤링(https://wikidocs.net/book/7776) 2. 클릭클릭! 엑셀로 이해하는 인공지능(https://wikidocs.net/book/7800) 감사합니다. [목표] 1. 주가 데이터에 종목열을 추가한 후 통합한다. 2. 통합된 주가 데이터의 차트를 그린다. 3. 필터와 슬라이서를 추가하여 인터렉티브하게 변화하는 차트를 만든다. 이번 글에서는 1-7과정까지 수집한 데이터를 가지고, 인터렉티브 차트를 그리는 작업을 ..

안녕하세요? 그동안 파워쿼리 내용을 업데이트하지 못했는데요. 얼마전 기회가 있어 위키독스(wikidocs.net)에 2개의 책을 공개했습니다. 이 블로그 내용을 업그레이드한 것이니 파워쿼리와 가까워지는데 조금이나마 도움이 되길 바랍니다. 1. 클릭클릭! 코딩없이 시작하는 엑셀 크롤링(https://wikidocs.net/book/7776) 2. 클릭클릭! 엑셀로 이해하는 인공지능(https://wikidocs.net/book/7800) 감사합니다. [목표] 1. 주가 정보를 가져올 곳 찾기 2. 웹(web) 페이지 중 테이블 형태의 내용 가져오기 3. 오류행, 중복행 제거 이번에는 기업의 주가 정보를 가져오는 작업을 해보겠습니다. 주가 정보는 종종 기업의 신제품에 대한 기대가 반영되기 때문에 함께 모니터..