with replacementとwithout replacementの違い

「sample with replacement」と「sample without replacement」の違いについて。

定義

Wikipediaの説明が明瞭。

The data sample may be drawn from a population without replacement, in which case it is a subset of a population; or with replacement, in which case it is a multisubset.

multisubsetは、重複を許す部分集合のこと。

例

簡単な例を書いておく。
赤い玉と白い玉が袋の中に入っている。全体の何パーセントが赤い玉か調べたいが、数が多すぎてすべての玉を調べるのは不可能。そこで、n回袋から出してそのうち何個が赤い玉か調べることにした。

sample with replacementの場合:
玉を取る。色をメモる。取った玉を袋の中に戻す。
玉を取る。 .... (以下繰り返し)

sample without replacementの場合:

玉を取る。色をメモる。取った玉は袋の中に戻さない。

玉を取る。 .... (以下繰り返し)

そうか。この場合のreplaceの意味は「取り替える」じゃなくて、「元に戻す」か。