하나의 아이피가 게시글 번호를 차례로 100개를 넘게 읽으면...
혹시 퍼가는걸까요 아니면 정말 읽는것일까요 ?
차단하기도 애매하고..
참 이거 어떻게 해야 할지...
난감하네요..
우선은 차단해 놓았는데...
브라우저가 웨일 브라우저고 운영체제가 윈도우 7이네요...
이거 사람같기도 하고 파싱하는거 같기도 하고...
어떻게 판단해야 하나요 ?
궁금하다...
불금 회원 여러분 모두 즐퇴하세요...
추신 아이피가 : 1.254.0.0 <- 0.0은 익명화군요.. 이거입니다.
댓글 12개
빅클린코드
4년 전
사이트 파싱해가서 나쁠건 없지만 말 안하고 가져가는것은 기분 나쁜 일이 될 수도 있고....
괜찮은 정보이다 생각해서 스크랩 하는거 아닐까요?? 긍정맨
괜찮은 정보이다 생각해서 스크랩 하는거 아닐까요?? 긍정맨
Innisfree
4년 전
안녕하세요?
봇과 사람을 구별하는 별도의 로직을 커스텀하지 않는 이상, 이를 구별하는 것은 어려운 것 같아요 ㅠㅠ
일단 브라우저와 OS는 헤더의 user-agent를 변경하면 얼마든지 조작이 가능해요 ㅎㄷㄷ
(웨일과 크롬의 user-agent는 단어 하나밖에 차이나지 않죠)
제 경험상 봇이 크롤링을 하려는 의도로 접근을 했다면, 각 게시글에 아주 짧은 시간만 머물렀을거에요~
그리고 특별히 설정을 하지 않는 이상, 각 게시글에 머무는 시간이 거의 비슷한 경향이 있구요!
별다른 의도 없이 크롤링 연습을 하다가 반복문을 너무 많이 돌려서 수백 개의 게시글을 파싱하게 되는 경우도 있죠 ㅠㅠ
그럼 즐거운 불금 되세요 ^-^
봇과 사람을 구별하는 별도의 로직을 커스텀하지 않는 이상, 이를 구별하는 것은 어려운 것 같아요 ㅠㅠ
일단 브라우저와 OS는 헤더의 user-agent를 변경하면 얼마든지 조작이 가능해요 ㅎㄷㄷ
(웨일과 크롬의 user-agent는 단어 하나밖에 차이나지 않죠)
제 경험상 봇이 크롤링을 하려는 의도로 접근을 했다면, 각 게시글에 아주 짧은 시간만 머물렀을거에요~
그리고 특별히 설정을 하지 않는 이상, 각 게시글에 머무는 시간이 거의 비슷한 경향이 있구요!
별다른 의도 없이 크롤링 연습을 하다가 반복문을 너무 많이 돌려서 수백 개의 게시글을 파싱하게 되는 경우도 있죠 ㅠㅠ
그럼 즐거운 불금 되세요 ^-^
4년 전
robots.txt 에 아래를 넣어도 동일한 증상이 발생하는지 테스팅해보심이 필요할 것같아요. 대신 검색엔진에는 인덱싱이 안되겠죠... ( https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko )
User-agent: *
Disallow: /
User-agent: *
Disallow: /
게시판 목록
자유게시판
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 |
|---|---|---|---|---|
| 공지 |
 thisgun |
1주 전 | 16 | |
| 199718 |
thisgun |
1주 전 | 14 | |
| 199717 | 3주 전 | 22 | ||
| 199716 |
느긋한카키쿠키
|
3주 전 | 17 | |
| 199715 |
현대적인무질서한까마귀
|
3주 전 | 20 | |
| 199714 | 3주 전 | 26 | ||
| 199713 | 4주 전 | 34 | ||
| 199712 | 1개월 전 | 294 | ||
| 199711 |
안졸리니졸리니
|
1개월 전 | 145 | |
| 199710 |
 glitter0gim |
1개월 전 | 160 | |
| 199709 |
glitter0gim |
1개월 전 | 93 | |
| 199708 | 1개월 전 | 106 | ||
| 199707 | 1개월 전 | 241 | ||
| 199706 | 1개월 전 | 41 | ||
| 199705 | 1개월 전 | 29 | ||
| 199704 | 1개월 전 | 47 | ||
| 199703 | 2개월 전 | 57 | ||
| 199702 | 2개월 전 | 98 | ||
| 199701 | 2개월 전 | 112 | ||
| 199700 | 2개월 전 | 83 | ||
| 199699 | 2개월 전 | 88 | ||
| 199698 | 2개월 전 | 135 | ||
| 199697 | 2개월 전 | 99 | ||
| 199696 |
 Gothrock |
2개월 전 | 247 | |
| 199695 | 2개월 전 | 89 | ||
| 199694 | 2개월 전 | 119 | ||
| 199693 | 2개월 전 | 185 | ||
| 199692 | 2개월 전 | 198 | ||
| 199691 |
 샬롬이아빠 |
2개월 전 | 170 | |
| 199690 | 2개월 전 | 258 | ||
| 199689 | 2개월 전 | 160 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기