指定したurlに存在する画像を取得してzipでダウンロードできるwebサービス作ったんだけどさ

1 : 2021/06/08(火) 07:35:37.481 ID:beeock7y0
まだ公開してないけどこれって違法アップロードサイトを指定されて画像収集してたらサイト側にも責任発生する?
そういうのはやらないでください、トラブルに関与しませんって注意書きは書くつもりだけど
2 : 2021/06/08(火) 07:36:27.739 ID:h+MgSA3T0
あうろりとかやられたらアウトかどうかはともかく普通に警察来るだろ
6 : 2021/06/08(火) 07:38:04.221 ID:beeock7y0
>>2
利用者情報の提供を求められるのか俺自身の罪とされるのかが気になってる
3 : 2021/06/08(火) 07:36:59.992 ID:kt7ZFt0up
つかそういうchrome拡張機能あるやろ
4 : 2021/06/08(火) 07:37:22.225 ID:h+MgSA3T0
ごめんサーバーサイドで処理してる場合の話ね
JSでクライアントサイドでやってるならセーフ
9 : 2021/06/08(火) 07:39:27.611 ID:beeock7y0
>>4
なるほど、サーバーなら俺管理の範囲だから責任発生ってことか
対象サイトへのアクセス元がクライアントなのかサーバーなのかで変わるってことだよな
13 : 2021/06/08(火) 07:41:06.279 ID:7s/WChkH0
>>9
というかDoS攻撃とみなされてブロックされる可能性高い気がする
15 : 2021/06/08(火) 07:43:15.393 ID:beeock7y0
>>13
一応ipはそれなりの数持ってるけどサーバーからのアクセスはリスクありそうだな
クライアントごとにリクエスト投げるならディレイかけるとかで回避できる気はする
5 : 2021/06/08(火) 07:37:49.112 ID:G8t6RibwF
わかんねえ!w
7 : 2021/06/08(火) 07:38:46.210 ID:7s/WChkH0
サーバサイドでクローリングするやり方だといかんけど拡張機能としてならアリ
ただ強豪はいっぱいある
8 : 2021/06/08(火) 07:38:47.553 ID:deyVByXM0
海外の虹画像サイトを専ブラで開けるサービス作ってくれ
10 : 2021/06/08(火) 07:39:53.676 ID:nMDZ9F3/0
階層潜れないとゴミ
12 : 2021/06/08(火) 07:41:00.854 ID:kt7ZFt0up
>>10
不可能な気がする
14 : 2021/06/08(火) 07:41:38.143 ID:7s/WChkH0
>>12
余裕だろ
負荷考えなくていいなら再起処理でいくらでも潜れるぞ
20 : 2021/06/08(火) 07:50:49.799 ID:kt7ZFt0up
>>14
そうなの?
どうやって下層のURL取得するの?
22 : 2021/06/08(火) 07:53:23.857 ID:7s/WChkH0
>>20
サイト内のURLを全部取得する
取得したURL全てに対してクローリングする
クローリングしたデータからさらにURLをすべて取得する

aタグとimgタグだけ抽出すればいいから簡単

23 : 2021/06/08(火) 07:59:41.463 ID:kt7ZFt0up
>>22
その全取得のやり方がわからないんだけど
24 : 2021/06/08(火) 08:00:38.970 ID:7s/WChkH0
>>23
正規表現でも何でも使えばいいじゃん
27 : 2021/06/08(火) 08:04:41.878 ID:kt7ZFt0up
>>24
えっ素人でごめん
総当たりしまくって404返ってくるか調べるってこと?
31 : 2021/06/08(火) 08:06:16.899 ID:7s/WChkH0
>>27
何回層まで潜るかユーザに決めさせればいい
26 : 2021/06/08(火) 08:02:55.026 ID:xD3636WF0
>>14
負荷考えろよ
ゴミサイトやんけ
29 : 2021/06/08(火) 08:04:56.873 ID:7s/WChkH0
>>26
そもそもサーバサイドでクローリングする時点で深ヤバいだろ
30 : 2021/06/08(火) 08:06:01.432 ID:xD3636WF0
>>29
そんなのと比にならんヤバさや
よく分からんのに適当な事言ってんじゃねーよ
昔のサイトなら全探索でたかが知れてるが今じゃできねーよ
32 : 2021/06/08(火) 08:07:01.466 ID:7s/WChkH0
>>30
クローリングでよく使うんだが
11 : 2021/06/08(火) 07:40:18.850 ID:1jbOoMcH0
違法アップロードサイトから大量にダウンロードしてかつ不特定多数に配布した感じになりそう
16 : 2021/06/08(火) 07:43:52.192 ID:nMDZ9F3/0
一括ダウンロード系は大抵wait入れてるだろ
18 : 2021/06/08(火) 07:48:27.161 ID:AiI0YReIa
サムネイルなのか元データなのか
プルダウンで表示できるやつはどうか
ページ下部行くとロードされて増えるページはどうか
この辺次第では使いたい
21 : 2021/06/08(火) 07:51:05.036 ID:beeock7y0
>>18
元画像を収集する
ロボットチェックとかで意図的に隠してたりよっぽど巧妙に隠されてなければ大体取れるよ
25 : 2021/06/08(火) 08:02:05.053 ID:sxhjjUJ80
そういうツールは大昔からある
28 : 2021/06/08(火) 08:04:43.853 ID:xD3636WF0
階層潜るってアホだな
何処までも潜ったらどうするんだ
何処で打ち切るんだ?何が最善でどう判断する?
33 : 2021/06/08(火) 08:07:49.845 ID:7s/WChkH0
そもそもサーバサイドで潜ろうとする前提が間違ってる
34 : 2021/06/08(火) 08:08:14.583 ID:xD3636WF0
1人で決めつけて何言ってんだこいつ
35 : 2021/06/08(火) 08:09:32.821 ID:7s/WChkH0
>>34
階層をどうやって潜るかっていう問いに対して潜れるって答えただけなのに勝手に勘違いして噛み付いてくるのやめてくれない?

コメント

タイトルとURLをコピーしました