- 1 : 2021/06/08(火) 07:35:37.481 ID:beeock7y0
- まだ公開してないけどこれって違法アップロードサイトを指定されて画像収集してたらサイト側にも責任発生する?
そういうのはやらないでください、トラブルに関与しませんって注意書きは書くつもりだけど - 2 : 2021/06/08(火) 07:36:27.739 ID:h+MgSA3T0
- あうろりとかやられたらアウトかどうかはともかく普通に警察来るだろ
- 6 : 2021/06/08(火) 07:38:04.221 ID:beeock7y0
- >>2
利用者情報の提供を求められるのか俺自身の罪とされるのかが気になってる - 3 : 2021/06/08(火) 07:36:59.992 ID:kt7ZFt0up
- つかそういうchrome拡張機能あるやろ
- 4 : 2021/06/08(火) 07:37:22.225 ID:h+MgSA3T0
- ごめんサーバーサイドで処理してる場合の話ね
JSでクライアントサイドでやってるならセーフ - 9 : 2021/06/08(火) 07:39:27.611 ID:beeock7y0
- >>4
なるほど、サーバーなら俺管理の範囲だから責任発生ってことか
対象サイトへのアクセス元がクライアントなのかサーバーなのかで変わるってことだよな - 13 : 2021/06/08(火) 07:41:06.279 ID:7s/WChkH0
- >>9
というかDoS攻撃とみなされてブロックされる可能性高い気がする - 15 : 2021/06/08(火) 07:43:15.393 ID:beeock7y0
- >>13
一応ipはそれなりの数持ってるけどサーバーからのアクセスはリスクありそうだな
クライアントごとにリクエスト投げるならディレイかけるとかで回避できる気はする - 5 : 2021/06/08(火) 07:37:49.112 ID:G8t6RibwF
- わかんねえ!w
- 7 : 2021/06/08(火) 07:38:46.210 ID:7s/WChkH0
- サーバサイドでクローリングするやり方だといかんけど拡張機能としてならアリ
ただ強豪はいっぱいある - 8 : 2021/06/08(火) 07:38:47.553 ID:deyVByXM0
- 海外の虹画像サイトを専ブラで開けるサービス作ってくれ
- 10 : 2021/06/08(火) 07:39:53.676 ID:nMDZ9F3/0
- 階層潜れないとゴミ
- 12 : 2021/06/08(火) 07:41:00.854 ID:kt7ZFt0up
- >>10
不可能な気がする - 14 : 2021/06/08(火) 07:41:38.143 ID:7s/WChkH0
- >>12
余裕だろ
負荷考えなくていいなら再起処理でいくらでも潜れるぞ - 20 : 2021/06/08(火) 07:50:49.799 ID:kt7ZFt0up
- >>14
そうなの?
どうやって下層のURL取得するの? - 22 : 2021/06/08(火) 07:53:23.857 ID:7s/WChkH0
- >>20
サイト内のURLを全部取得する
取得したURL全てに対してクローリングする
クローリングしたデータからさらにURLをすべて取得するaタグとimgタグだけ抽出すればいいから簡単
- 23 : 2021/06/08(火) 07:59:41.463 ID:kt7ZFt0up
- >>22
その全取得のやり方がわからないんだけど - 24 : 2021/06/08(火) 08:00:38.970 ID:7s/WChkH0
- >>23
正規表現でも何でも使えばいいじゃん - 27 : 2021/06/08(火) 08:04:41.878 ID:kt7ZFt0up
- >>24
えっ素人でごめん
総当たりしまくって404返ってくるか調べるってこと? - 31 : 2021/06/08(火) 08:06:16.899 ID:7s/WChkH0
- >>27
何回層まで潜るかユーザに決めさせればいい - 26 : 2021/06/08(火) 08:02:55.026 ID:xD3636WF0
- >>14
負荷考えろよ
ゴミサイトやんけ - 29 : 2021/06/08(火) 08:04:56.873 ID:7s/WChkH0
- >>26
そもそもサーバサイドでクローリングする時点で深ヤバいだろ - 30 : 2021/06/08(火) 08:06:01.432 ID:xD3636WF0
- >>29
そんなのと比にならんヤバさや
よく分からんのに適当な事言ってんじゃねーよ
昔のサイトなら全探索でたかが知れてるが今じゃできねーよ - 32 : 2021/06/08(火) 08:07:01.466 ID:7s/WChkH0
- >>30
クローリングでよく使うんだが - 11 : 2021/06/08(火) 07:40:18.850 ID:1jbOoMcH0
- 違法アップロードサイトから大量にダウンロードしてかつ不特定多数に配布した感じになりそう
- 16 : 2021/06/08(火) 07:43:52.192 ID:nMDZ9F3/0
- 一括ダウンロード系は大抵wait入れてるだろ
- 18 : 2021/06/08(火) 07:48:27.161 ID:AiI0YReIa
- サムネイルなのか元データなのか
プルダウンで表示できるやつはどうか
ページ下部行くとロードされて増えるページはどうか
この辺次第では使いたい - 21 : 2021/06/08(火) 07:51:05.036 ID:beeock7y0
- >>18
元画像を収集する
ロボットチェックとかで意図的に隠してたりよっぽど巧妙に隠されてなければ大体取れるよ - 25 : 2021/06/08(火) 08:02:05.053 ID:sxhjjUJ80
- そういうツールは大昔からある
- 28 : 2021/06/08(火) 08:04:43.853 ID:xD3636WF0
- 階層潜るってアホだな
何処までも潜ったらどうするんだ
何処で打ち切るんだ?何が最善でどう判断する? - 33 : 2021/06/08(火) 08:07:49.845 ID:7s/WChkH0
- そもそもサーバサイドで潜ろうとする前提が間違ってる
- 34 : 2021/06/08(火) 08:08:14.583 ID:xD3636WF0
- 1人で決めつけて何言ってんだこいつ
- 35 : 2021/06/08(火) 08:09:32.821 ID:7s/WChkH0
- >>34
階層をどうやって潜るかっていう問いに対して潜れるって答えただけなのに勝手に勘違いして噛み付いてくるのやめてくれない?
コメント