빅엑셀(BigExcel.KR) : 엑셀 업무 자동화, 마케팅 관리, 빅데이터 분석, 시각화 and more...
[목표]1. 파워쿼리로 수집 대상의 웹페이지 열기2. html 구조 탐색을 통해 필요한 정보 찾기3. 필요한 정보를 엑셀로 가져오기 웹페이지를 수집하실 때, 몇 가지 참고하실 부분이 있는데요.1. 너무 많은 수집을 한꺼번에 하지 않는 것이 좋습니다. 한꺼번에 너무 많이 수집하면, 웹서버가 과부하에 걸릴 수도 있고, 수집하는 PC의 네트워크가 차단될 수 있습니다.2. 수집가능한 정보인지 확인하는 것이 좋습니다. 해당 사이트에 공지된 정보나 수집에 대한 정책을 참고하여 수집하셔야 합니다. 특히 개인정보가 포함된 내용을 수집하실 때는 관련 정책을 꼭 확인하시고 수집하셔야 합니다.3. 대부분의 프로그램 언어에는 웹페이지 수집(크롤링 또는 스크래핑)을 위한 기능이 포함되어 있습니다. 따라서 전문적인 수집을 하실 ..
[목표]1. 수집 대상 목록을 파워쿼리로 가져오기2. 상품번호로 수집 대상의 웹 페이지 열기 다음 내용으로 넘어가기 전에... 많은 분들이 궁금해하시고, 질문해주신 웹페이지 내용 수집(크롤링) 기초를 소개해드리고자 합니다. 웹페이지의 내용을 가져오기 위해서는 보다 전문적인 언어(Python, R, Php, Java 등)를 이용하시는 것이 편리하지만, 엑셀의 파워쿼리를 통해서도 기본적인 내용을 가져올 수 있습니다. [크롤링 할 때 주의하실 점]1. 크롤링은 다른 회사의 지적재산권을 수집하는 것이 될 수도 있기 때문에, 상대 회사의 robots.txt나 컨텐츠에 대한 수집 거부 정책을 확인하신 후 수집하시는 것이 좋습니다.(해당 사이트 '도메인/robots.txt' 에서 확인)2. 동시에 너무 많은 요청(Q..
[목표]1. 엑셀에서 만든 파워쿼리의 쿼리문을 파워BI로 가져오기(방법2) 엑셀에서 작업한 파워쿼리를 파워BI에서 사용하는 방법은 크게 2가지가 있습니다. 지난 글에 이어 오늘은 2번째 방법에 대해서 알아보겠습니다. [방법2] 데이터 가져오기 메뉴를 통해 파워쿼리가 있는 엑셀을 불러오는 방법 - 좋은 점 : 파일 하나만 가져오면 데이터를 다 쓸 수 있어서 편리 - 나쁜 점 : 새로운 데이터를 가져오려면 파워BI에서 바로 업데이트 할 수 없고, 엑셀 파일의 데이터를 새로 고쳐야 함 방법2를 통해서 수집한 주가 정보를 가져오겠습니다. - 파워BI를 실행시키고, 홈 메뉴 > 데이터 가져오기 > Excel 선택 파일 선택하는 창이 열리면 지난 1-8번 글에서 만들었던 파일을 선택합니다. 파일을 선택하면 아래와 ..