마루마루 다운로더 (Linsoo_MaruCrawler)

이 프로그램은 개발 종료 합니다.

차기 버전은 https://linsoo.co.kr/archives/21203 여기서 받을수 있습니다.

약 1년간 이 프로그램을 사랑해주셔서 감사합니다.

 

사용법
해당 페이지 주소를 URL 창에 입력하고 엔터를 치거나 옆에 download 버튼을 누르시면 됩니다.
Google reCAPTCHA나 한글 captcha 걸린 URL의 경우 위화면에 나오는 절차를 잘 따라 하시면 됩니다.


하고 싶은말

  • 오늘 1주년인데… 1주년 맞춰서 앱 하나 만들어서 올려볼려고 했는데 실패네요.
    바빠서…

본 프로그램으로 발생하는 일에 대한 어떠한 책임도 지지 않습니다.

다운로드 : 후속버전 받으세요.

권장 시스템
OS : 윈도우10 64비트
RAM : 多多益램

64비트 OS전용입니다.
Windows7 이하 정상작동 보장 안합니다. (테스트 안해봤습니다)


Change Log

2018년04월10일
– 비번 걸린 URL은 재시도 횟수 차감 안됨
업데이트 알람게시판, 텍스트, 썸네일  파싱추가
– 링크가 많을경우 뜨는 링크리스트 윈도우에 링크가 몇개인지 표기
– 링크리스트 윈도우에 자동 다운 15초 타이머 중단 버튼 추가
– 라이브러리 업데이트
CefSharp.Common :63.0.2 -> 63.0.3
CefSharp.Wpf :63.0.2 -> 63.0.3
HtmlAgilityPack :1.7.2 -> 1.7.4

2018년04월03일
– 이전 작업파일 남았더라도 업데이트 알림창 뜨면서 이전 받던 정보 다 날라가는 버그수정
강제 업데이트 기능 삭제
에러 자동 보고 기능 삭제
– 3월28일날 신고 들어온 개별 링크는 작동하지만 전체 링크 입력시 다운이 안되는 문제 수정
(서버측 응답 속도가 느려서 생기는 문제인데 기본값을 30초에서 2분으로 늘림.
이 응답없음 재시도 간격은 setting.conf 에 <NoResponseTime>120000</NoResponseTime>를 수정하면 됨)

2018년03월27일
– 한국어, 영어 이외의 언어 사용시 실행 안되는 문제 수정(기본 영어로)(영어 번역은 구글 번역기…)
– 에러보고시 OS 언어 정보 수집 추가 (한국 ko-KR, 미국 en-US 이런식)
– 서버측 응답없을 경우 재시도 하는 시간 20초에서 30초로 늘림

2018년03월25일
– 스플래시 이미지 삭제
– 입력받은 URL에 http://나 https:// 가 없으면 무조건 https://를 추가하도록 수정
– 입력 받은 URL 호스트 체크 부분에 에러리포팅 수정
– onLoadError에 광고관련 로드 취소 된것 에러 리포팅 되는 문제 수정
– 전체 목록 리스트를 닫아버리면 그냥 받아버리는 버그 수정
– 20초 이상 서버측 응답이 없을경우 재시도 하는 부분이 순식간에 5번 전부 다 해버리는 버그 수정
– 닷넷프레임워크 버전체크 코드 삭제(프레임워크가 없으면 애초에 코드에 진입안됨)
– 영문버전에서 자동 에러 보고 체크박스 잘리는 문제 수정
– 라이브러리 업데이트
HtmlAgilityPack :1.7.1 -> 1.7.2

2018년03월24일
– Windows7 “Init=개체 참조가 개체의 인스턴스로 설정되지 않았습니다.” 나오고 작동 안하는 문제 수정
– 디스크 공간부족경우 서버로 에러 리포팅을 하지 않음.

2018년03월23일
– URL입력시 페이지 로드 결과를 무한정 대기하던 문제 수정
– URL입력시 페이지 로드시간이 20초를 넘어가면 해당 URL을 Queue에 넣고 나중에 재시도 하도록 처리
– URL입력시 페이지 파싱까지 걸리는 속도 단축
– 기본 다운로드 폴더를 내문서 폴더에 Linsoo_MaruCrawler\Downloads\ 로 변경
– Chromium Cache폴더를 시스템 임시폴더로 이동
– 재시도 횟수가 5번 넘어간 URL파일이 App 재시작시 다시 등록되는 문제 수정
– Release 버전에선 debug.log 파일 생성 안되도록 수정
– 신버전 나오면 업데이트 알림창과 앱 강제 종료기능 추가

2018년03월22일
– 업데이트 체크 부분 수정
– 잘못된 URL 입력 처리 수정
– 업데이트 알림을 타이틀바에서 메세지박스로 이동
– 전체 목록 리스트창에서 15초가 되기 전에 다운 버튼을 누를경우 선택된 URL이 두번 받아지는 버그 수정

2018년03월19일
– 업데이트 체크 부분과 에러보고 코드 수정
– 기타 잠수함 패치!

2018년03월17일
– 일부 감지 하지 못하던 페이지 수정
– 리캡챠나 비번걸린글 윈도우는 비번 입력할때 까지 창이 닫히지 않도록 수정
(닫기 상단 닫기 누르면 태스크바로 내려감)
– 리캡챠나 비번 걸린 글 입력후 자동으로 창 닫히도록 수정
– 임시 파일 삭제시 권한 문제로 삭제 안되는 버그 수정
– 빈공백으로 엔터시 URL 처리가 멈추는 현상 수정
– 업데이트 주소 및 처리부분 수정

2018년03월13일
– 이미지 파일 두배로 받는 문제 수정
– 이미지 다운로드 쓰레드 갯수 8개로 고정
– 기타 에러처리 수정
– 이미지 다운로드 로직 수정
– 전체 에피소드창에서 15초내로 다운버튼을 누르지 않으면 자동 다운을 시작하도록 합니다.

2018년03월12일
– 특정페이지 파싱 안되는 문제 수정

2018년03월11일
– 다운로드 타임아웃을 10초로 변경
– 에러 로그에 관한 대대적인 수정 작업
– 에러 발생시 서버로 자동 로그 전송 하는 기능 추가. (디폴트는 False)
– 파일로 생성하던 로그 코드 정리
– 버전 업데이트 체크 관련 코드 수정

2018년03월10일
– 특정 페이지 파싱이 안되는 문제 수정
– reCaptcha 같은걸로 보호된 페이지는 전체화면 크기로 창이 뜨도록 수정
– 잘못된 URL입력시 시작할때 마다 이전에 남은 URL이라고 자꾸 추가할려는 버그 수정
– 이미지 다운오류시 재시도후 전부 실패후에 에러 로그 출력
– 전체리스트 다운시 타이틀 제목폴더가 두개 생기는 문제 수정
– 라이브러리 업데이트
CefSharp.Common :63.0.1 -> 63.0.2
CefSharp.Wpf :63.0.1 -> 63.0.2

2018년03월04일
– 스플래시 이미지 추가
– 언어 파일 로딩 코드 수정
– 업데이트 알림 기능 추가
– 라이브러리 업데이트
HtmlAgilityPack :1.6.17 -> 1.7.1
– 로그 폴더 열기 버튼 추가

2018년02월27일
– 전체 리스트 입력시 에피소드를 선택할수 있도록 기능 추가

2018년02월26일
– 처음 로딩 부분 수정 (실행시 로딩되는 부분 우선 순위 둠)
– 이미지 다 받지 않은 상태에서 프로그램 종료시 나중에 다시 다운 받는 기능 추가
– 이미지 다운 받는 로직 수정

2018년02월14일
– 로그처리 강화
새로운 captcha 처리 추가
– 노드 못찾으면 RequestURL을 최대 5번까지 재시도
– 라이브러리 업데이트
CefSharp.Common :57.0.0 -> 63.0.1
CefSharp.Wpf :57.0.0 -> 63.0.1
cef.redist.x64 :3.2987.1601 -> 3.3239.1723
HtmlAgilityPack :1.6.15 -> 1.6.17
– 노드 못찾으면 URL 다시 입력 추가
– 닷넷프레임워크 버전을 확인후 실행

2018년01월31일
– 잘못된 URL 입력시 무한 루프에 빠지는 문제 수정
– 태스크바에 진행상황 표시 추가
– 작업 완료 표시 추가
– 받지 못한 이미지는 Log파일에 기록하도록 함
– 폴더 경로 체크시 특수문자를 공백처리하던걸 “_”로 바꿈
– 주소 입력시 제대로 들어간건지 바로 로그창에 이력 남김
– 폴더 생성시 특수문자 처리 함수 오류 수정
– 목록리스트 입력시 타이틀명 폴더 생성후 이하에 폴더 생성으로 수정

2018년01월28일
– 에러 발생시 Logs 라는 폴더 생성되면서 안에 로그 기록함. (이미지 다운 같은거 말고 프로그램 내부적으로 에러나는거 위추로 저장함)
– 내부적으로 코드 정리 좀 함.
– 목록 나오는 페이지 url 입력시 해당 폴더를 만들었는데 그 기능 제거 (이유는 페이지 마다 전체 타이틀명과 에피소드 내에서 나오는 타이틀 명이랑 일치가 되지 않아서 빈폴더가 생기는 문제 때문
– 버전업 할때 마다 블로그 이미지를 교체 했는데 귀찮아서 안합니다. ㅋㅋㅋ
대신 다운로드 버튼에 버전을 추가했습니다.

2018년01월19일
– 윈도우 배율이 다른 두 모니터에서 같은 크기로 나오도록 HiDPI 라고 해야 하나 그거 지원.
– 특정 에피소드가 받아지지 않는 문제 수정.
– 지난 릴리즈파일에 라이센스 파일 빠진걸 뒤늦게 깨닫고 추가

2018년01월11일
– 구글 reCAPTCHA 부분이 한글로 나오도록 수정
– reCAPTCHA창이 떴을때 계속 페이지를 로드하지 않고 승인 될때까지 일시중지됨
– 타이틀명이랑 URL 파일로 저장하는 부분 수정
– 불필요한 중복 작업(내부적으로) 하는 부분 수정
– 영문 윈도우에서는 메뉴가 영어로 한글윈도우에서는 메뉴가 한글로 나오도록 수정

2018년01월10일
–  버그 수정은 아니고 추가 필요한 프로그램의 존재에 대해 알게됨 -_-;

2018년01월09일
– google reCAPTCHA 문제 수정
– 새해 맞이 메인 이미지 변경
– 내부 구조가 많이 변경되서 아래 해결된 버그나 추가된 기능이 작동 안되는 경우가 있습니다.
– google Chromium 라이브러리 추가

2017년10월26일
– 페이지 주소 입력시 간혹 파싱을 안하는 문제 수정
– 이미지 파일 다운 실패시 5번 재시도 하는데 매 재시도 할때 마다 오류 메세지를 보이는것을 없애고 5번 시도해도 받지 못할 경우에만 에러메세지를 출력하도록 수정
– 에피소드 단위로 다운 받다가 실패할 경우 1회 재시도를 하도록 수정 (다운 순서는 리스트Queue 맨 마지막으로 밀림)
– 재다운로드 시도한 에피소드는 다른색 로그를 남기고 1회 재시도도 실패할 경우 에러 메세지를 표기하도록 수정
– 윈도우7 이상 태스크바에서 전체 진행바가 표시되도록 추가

2017년10월25일
– 15일 기점으로 전체에피소드모음 다운로드 안되는 문제 수정(?) 했습니다.
– 전체 에피소드모음 다운시 타이틀명으로 폴더 생성하고 그 하위에 에피소드가 다운되도록 수정했습니다.
– html 파싱을 c# 기본지원 함수에서 HtmlAgilityPack 으로 변경했습니다.
(덕분에 페이지 분석이 조금 더 빨라지고 정확해졌습니다. 기본지원 함수는 틀림없이 텍스트엔 있는데  찾지 못하는 경우가 종종 있더군요.)
– 일부 에피소드 다운 받지 못하는 문제를 수정했습니다.
– 일부 이미지를 다운 받지 못하는 문제를 수정했습니다.
– 남은 다운로드 수가 현재 다운로드 받는거는 카운트 안되고 있던 문제를 수정했습니다.
– HtmlAgilityPack 라이센스 파일이 추가됬습니다.

2017년10월09일
“원격 서버에서 (403) 사용할 수 없음 오류를 반환했습니다.” 라는 오류를 수정했습니다.
서버측에 뭔가 체크하도록 한거 같은데 아마 앞으로는 이런 오류 자주 뜨지 않을까 하는 생각이 듭니다. (자주 업뎃해야겠죠)

2017년09월23일
– 여러episode 추가시 먹통이 되는 문제 수정 (에피소드 1000개 까지 걸어봤는데 큰 문제는 없었음)
– 논리적으로 다운 속도를 조금 업… (네트워크 관련 말고 파싱 및 다운 시작속도) 체감은 잘 모르겠음
– 스레드 관련해서 윈도우 메세지 씹을 가능성 부분 수정
– 여러개 연달아 다운 걸었을때 현재 다운로드중인 에피소드 제외하고 남은 에피소드 수 표현하도록 수정

2017년09월18일
– “원격 서버에서 (406) 허용되지 않음 오류를 반환했습니다.” 라는 에러 수정
– “전송 연결 현재 연결은 원격 호스트에 의해 강제로 끊겼습니다” 라는 에러 수정
– 전체 보기링크는 다운로드가 되지 않던 문제를 수정했습니다.

2017년05월14일
– Downloading… 글자색 바꿈. (눈에 잘 안띄어서)
– 특정 페이지에서 다운로드중 프로그램 죽는 문제 수정
– 특정 페이지에서 url은 있는데 타이틀명이 없는 경우 프로그램이 죽는 문제 수정 (타이틀명이 없으면 임시로 notitle 이라고 폴더명을 붙여줌)
– 특정페이지에서 url이 중복되는 경우가 있는데 이때 중복되는 url는 다운로드 제외시킴

2017년05월10일
– 다운로드 폴더가 없을때 Open Downfolder를 눌렀을때 프로그램 죽는 문제 수정

2017년05월08일
– 해당 프로그램이 활성화 되면 주소 입력박스에 포커스가 가도록 했음. (alt-tab 누르고 주소창 클릭 귀찮아)

2017년05월01일
– 특정URL에서 타이틀명에 특수문자가 포함되어 폴더가 생성되지 않아 이미지다운이 되지 않는 문제 수정

2017년04월25일
– 동일 폴더가 존재 할경우 뒤에 _(2), _(3), _(4) … 이런식으로 새로운 폴더를 생성해서 이미지를 다운받도록 처리
(특정 페이지에 다른 내용인데 같은 제목으로 존재하는게 있더군요)

2017년04월24일
– c#에서 구조체를 사용하면 스택영역에 생성된다고 해서 자료 구조를 약간 수정.
그게 문제였는지 많은 다운을 걸면 다운받다가 특정한 상황(?)에 한참 멈춰있다가 다시 다운로드를 시작하는 경우가 있었음. (상황 발생은 랜덤이라 다시 테스트중)

2017년04월21일
– 다운로드폴더 여는 버튼 추가
– 로그 자동 스크롤 켜고 끄는 기능 추가 (기본값: 켜짐)
– 중복실행 방지 기능 추가

2017년04월20일
– 처음 개발


크리에이티브 커먼즈 라이선스 Linsoo의 저작물인 이 저작물은(는)크리에이티브 커먼즈 저작자표시-동일조건변경허락 4.0 국제 라이선스에 따라 이용할 수 있습니다.

“마루마루 다운로더 (Linsoo_MaruCrawler)”에 대한 226개의 댓글

  1. 귀하의 컴퓨터 또는 네트워크에서 자동 쿼리를 보내고 있을 수 있습니다. 사용자를 보호하기 위해 지금은 귀하의 요청을 처리할 수 없습니다. 자세한 내용은 Google 도움말 페이지를 참조하세요.

    이 프로그램으로 구글 로그인한후에 마루마루를 검색해서 들어간후에 리캡챠를 입력하니 이렇게 나오고 진행이 안되네요.

  2. 1년 넘게 잘 썼고, VII도 잘 쓰고 있습니다!
    혹시 예전버전이라도 좋으니 소스코드를 받을 수 있나요?
    어떤식으로 만들었는지 궁금하기도 하고 공부해보고 싶습니다.

    1. 딱히 소스버전관리를 하지 않기 때문에 초기버전이라는게 없습니다.
      현재는 VII 소스만 남아있지요. (현재 작업중인 버전만)

  3. 진짜 너무 잘만드셨습니다
    그 사이트 비번 걸린 만화들이 모든 프로그램에서 안됐었는데
    이 프로그램은 엄청 잘되네요 !! 너무 감사합니다

  4. Captcha 기능 에러가 심합니다.
    한글을 입력하는 Captcha의 경우, 아얘 Captcha를 통과하지 못합니다.
    ex)미나모토군 이야기

    1. 확인해봤는데
      Captcha를 통과 못하는게 아니라
      큐에 들어간 다른 Captcha 링크가 계속적으로 페이지 로딩하면서
      내부적으로 새로고침이 되는 문제였습니다.
      임시적으로나 전체리스트를 한번에 넣지 말고 각각 넣어서 체크 하시면 됩니다.

      패치는 되는데로 하겠습니다.

  5. 네ㅜ.ㅜ 카카오 스토리 모두 공개는 되는데 친구 공개로 저만 볼 수 있는 사진들은 저장이 안되네요.. 흑
    답변 감사합니다. 다른 프로그램들도 그런 거 보면 로그인이나 이런 문제인가봐요

  6. 멋진 프로그램 대단하십니다. 감사합니다.

    관리자님, 혹시 카카오스토리의 사진들을 일괄저장할 수 있는 방법은 없나요?

    어떤 프로그램을 사용해도 안되는 것 같아서 여기까지 오게됐습니다.

    1. 카카오스토리는 제가 안써봐서 모르겠습니다.
      근데 카카오스토리가 PC버전도 있나요?

댓글 남기기

이메일은 공개되지 않습니다.

This site uses Akismet to reduce spam. Learn how your comment data is processed.