File descriptor

How does the system keep track of the connection between the string filename argv[i] passed to open(), and the resulting integer file descriptor fd? What does the integer file descriptor number refer to?

Câu hỏi này bắt đầu xoay quanh vào implementation ở user/cat.c. Nếu nhìn vào code xử lý của cat

1
if((fd = open(argv[i], 0)) < 0){ ... }
2
cat(fd);
3
close(fd);

Từ các đoạn logic xử lý chính của cat thì có 1 câu hỏi? nếu mình truyền vào 1 string “README” thì làm sao kernel xử lý trả về là 1 interger fd, và mọi câu lệnh xử lý sau đó là số nguyên interger fd chứ không phải là chuỗi README. Nếu vậy thì câu hỏi thật sự cần quan tâm ở đầy là kernel làm sao có thể xử lý được mọi file mà chỉ cần thông qua 1 interger fd là đủ.

Ví dụ, sau khi thực hiện lệnh cat README trên user, thì systemcall open được gọi ra để xử lý. Đầu tiên nó lấy được 2 giá trị thông số là mode permission và chuỗi string README thông qua

1
argint(1, &omode);
2
n = argstr(0, path, MAXPATH)

Phần logic detail làm sao có thể từ user -> kernel sẽ được detail ở blog systemcall. Tư đó mình có dược permission của file và chuỗi README từ kernel.

Có được chuỗi “README” rồi, kernel dùng nó để tìm file thật sự nằm ở đâu:

1
if((ip = namei(path)) == 0){
2
  end_op();
3
  return -1;
4
}
5
ilock(ip);

Ở phần này chỉ cần biết namei nhận vào một chuỗi tên và trả về ip, một con trỏ tới struct inode đại diện cho file đó trong kernel. Cách nó tìm ra inode sẽ có bài riêng. Điều quan trọng là đây là lần duy nhất chuỗi “README” được dùng. Từ đây trở đi, kernel chỉ làm việc với con trỏ ip.

Câu hỏi được chuyển đổi từ README sang fd thành: con trỏ ip sang fd?

Kernel không đưa thẳng ip cho process. Nó bọc ip trong một cấu trúc khác, struct file (kernel/file.h):

1
struct file {
2
  enum { FD_NONE, FD_PIPE, FD_INODE, FD_DEVICE } type;
3
  int ref; // reference count
4
  char readable;
5
  char writable;
6
  struct pipe *pipe; // FD_PIPE
7
  struct inode *ip;  // FD_INODE and FD_DEVICE
8
  uint off;          // FD_INODE
9
  short major;       // FD_DEVICE
10
};

Inode mô tả file. struct file mô tả một lần mở file: đang đọc tới byte thứ mấy (off), được đọc hay ghi (readable, writable). Nếu hai process cùng mở README, cả hai dùng chung một inode nhưng mỗi bên có struct file riêng, nên offset của bên này không ảnh hưởng bên kia.

Để ý trường type: một struct file không nhất thiết là file trên đĩa. Nó có thể là pipe (FD_PIPE) hoặc thiết bị như console (FD_DEVICE). Đây chính là lý do một fd có thể đại diện cho “mọi thứ”.

Tất cả struct file của toàn hệ thống nằm trong một mảng global ftable (kernel/file.c):

1
struct {
2
  struct spinlock lock;
3
  struct file file[NFILE];   // NFILE = 100
4
} ftable;

sys_open gọi filealloc() để lấy một ô trống (ref == 0) trong mảng này:

1
struct file*
2
filealloc(void)
3
{
4
  struct file *f;
5

6
  acquire(&ftable.lock);
7
  for(f = ftable.file; f < ftable.file + NFILE; f++){
8
    if(f->ref == 0){
9
      f->ref = 1;
10
      release(&ftable.lock);
11
      return f;
12
    }
13
  }
14
  release(&ftable.lock);
15
  return 0;
16
}

Mỗi process có một bảng file đang mở của riêng nó, trong struct proc (kernel/proc.h):

1
struct file *ofile[NOFILE];  // Open files, NOFILE = 16

fdalloc tìm ô trống đầu tiên trong mảng này, đặt con trỏ f vào và trả về chỉ số của ô đó:

1
static int
2
fdalloc(struct file *f)
3
{
4
  int fd;
5
  struct proc *p = myproc();
6

7
  for(fd = 0; fd < NOFILE; fd++){
8
    if(p->ofile[fd] == 0){
9
      p->ofile[fd] = f;
10
      return fd;
11
    }
12
  }
13
  return -1;
14
}

Vậy là có câu trả lời: file descriptor chỉ là một chỉ số trong mảng p->ofile[] của process. Không có gì bí ẩn cả.

Với cat, ô 0, 1, 2 đã được dùng cho stdin, stdout, stderr (console), nên README thường nhận fd = 3.

Phần còn lại của sys_open điền thông tin vào struct file vừa cấp:

1
f->type = FD_INODE;
2
f->off = 0;
3
f->ip = ip;
4
f->readable = !(omode & O_WRONLY);
5
f->writable = (omode & O_WRONLY) || (omode & O_RDWR);
6

7
iunlock(ip);
8
end_op();
9

10
return fd;

User chỉ cầm số 3. Mọi thông tin thật (file nào, đọc tới đâu, có quyền gì) đều nằm trong kernel, và số 3 là chìa khóa để tìm lại chúng.

Hàm cat() trong user/cat.c gọi read(fd, buf, sizeof(buf)). Trong kernel, sys_read không cần biết tên file. Nó chỉ cần đổi fd ngược lại thành struct file qua argfd:

1
static int
2
argfd(int n, int *pfd, struct file **pf)
3
{
4
  int fd;
5
  struct file *f;
6

7
  argint(n, &fd);
8
  if(fd < 0 || fd >= NOFILE || (f=myproc()->ofile[fd]) == 0)
9
    return -1;
10
  if(pfd)
11
    *pfd = fd;
12
  if(pf)
13
    *pf = f;
14
  return 0;
15
}

Chỉ là myproc()->ofile[fd], kèm kiểm tra fd có hợp lệ và có đang được mở hay không. Sau đó:

1
uint64
2
sys_read(void)
3
{
4
  struct file *f;
5
  int n;
6
  uint64 p;
7

8
  argaddr(1, &p);
9
  argint(2, &n);
10
  if(argfd(0, 0, &f) < 0)
11
    return -1;
12
  return fileread(f, p, n);
13
}

fileread nhìn vào f->type để quyết định đọc từ đâu:

1
int
2
fileread(struct file *f, uint64 addr, int n)
3
{
4
  int r = 0;
5

6
  if(f->readable == 0)
7
    return -1;
8

9
  if(f->type == FD_PIPE){
10
    r = piperead(f->pipe, addr, n);
11
  } else if(f->type == FD_DEVICE){
12
    ...
13
    r = devsw[f->major].read(1, addr, n);
14
  } else if(f->type == FD_INODE){
15
    ilock(f->ip);
16
    if((r = readi(f->ip, 1, addr, f->off, n)) > 0)
17
      f->off += r;
18
    iunlock(f->ip);
19
  } else {
20
    panic("fileread");
21
  }
22

23
  return r;
24
}

Đây là lời giải cho câu hỏi “làm sao chỉ với một số nguyên mà xử lý được mọi thứ”:

• read(3, ...) với README đi vào nhánh FD_INODE, đọc từ đĩa rồi tăng f->off. Lần read sau sẽ đọc tiếp từ chỗ cũ, dù user không hề truyền offset.
• read(0, ...) từ console đi vào nhánh FD_DEVICE.
• read từ đầu đọc của pipe đi vào nhánh FD_PIPE.

Code của cat giống hệt nhau trong cả ba trường hợp. Sự khác biệt được giấu trong struct file. Nhờ vậy, cat README, cat < README hay echo hi | cat đều chạy được mà cat không cần biết mình đang đọc từ đâu.

Cuối cùng cat gọi close(fd), tức là tháo liên kết ra:

1
uint64
2
sys_close(void)
3
{
4
  int fd;
5
  struct file *f;
6

7
  if(argfd(0, &fd, &f) < 0)
8
    return -1;
9
  myproc()->ofile[fd] = 0;
10
  fileclose(f);
11
  return 0;
12
}

• ofile[fd] = 0 giải phóng ô trong bảng của process. Lần open sau có thể dùng lại số 3.
• fileclose(f) giảm f->ref. Khi ref về 0, ô trong ftable được giải phóng và iput(ff.ip) trả lại tham chiếu tới inode.
• ref cần thiết vì một struct file có thể được nhiều fd trỏ tới cùng lúc, ví dụ sau dup(), hoặc khi fork() copy ofile[] sang process con qua filedup. Chỉ khi không còn ai dùng thì struct file mới thật sự bị giải phóng.

Kernel không “nhớ” liên kết giữa chuỗi “README” và số 3. Chuỗi tên chỉ dùng một lần trong open để tìm ra inode. Sau đó kernel tạo ra một chuỗi con trỏ:

1
fd (int)  →  p->ofile[fd]  →  struct file { type, off, readable, writable, ip / pipe }  →  inode / pipe / device

Và trả cho user chỉ số của mắt xích đầu tiên. Mọi syscall sau đó (read, write, close, fstat, dup) đều bắt đầu bằng cùng một bước: myproc()->ofile[fd].