WO2010044185A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
WO2010044185A1
WO2010044185A1 PCT/JP2009/003975 JP2009003975W WO2010044185A1 WO 2010044185 A1 WO2010044185 A1 WO 2010044185A1 JP 2009003975 W JP2009003975 W JP 2009003975W WO 2010044185 A1 WO2010044185 A1 WO 2010044185A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
component
signal processing
imaging device
pixel
Prior art date
Application number
PCT/JP2009/003975
Other languages
English (en)
French (fr)
Inventor
中嶋俊幸
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2010044185A1 publication Critical patent/WO2010044185A1/ja
Priority to US13/082,054 priority Critical patent/US20110181752A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present invention relates to an image pickup apparatus that performs image data signal processing using an image pickup signal from an image sensor or the like as input and outputs the image data to an external monitor or the like.
  • In-vehicle cameras and surveillance cameras are required to be able to shoot even in places where there is no sunlight or lighting, such as at night.
  • light illuminated by near-infrared light LED or other illumination is taken with an image sensor that reacts to near-infrared light, but near-infrared light is also used in the daytime with an image sensor that reacts to near-infrared light. Therefore, good color reproduction cannot be realized.
  • An image sensor (imaging element) 902 included in the solid-state imaging device is an image sensor that responds to both visible light and near infrared light.
  • a near-infrared light cut filter 901 that does not transmit light having a wavelength of near-infrared light in the daytime in front of the image sensor 902
  • only visible light is incident on the image sensor 902.
  • Good color reproduction processing is made possible.
  • the near infrared light cut filter 901 is mechanically removed at night so that near infrared light illuminated by near infrared illumination can be incident on the image sensor 902 so that shooting can be performed at night. I have to.
  • Patent Document 2 as shown in FIG. 10, a color filter (filter (red), filter (green), filter (blue), filter (near infrared light)) that passes light of each wavelength on a solid-state imaging device.
  • image information is calculated from the red, blue, and green pixels 1001, 1002, and 1003, and at night, the image information is calculated from the near-infrared light pixel 1004.
  • a single solid-state imaging device can be used for both day and night photography.
  • JP 2000-59798 A Japanese Patent Laid-Open No. 10-065135
  • a mechanism for mechanically opening and closing the near-infrared light cut filter 901 is required, which leads to an increase in cost.
  • color components can be extracted in the daytime, but only near infrared light is used at night and color components cannot be extracted, so color photography cannot be performed and the camera user can see Sex is reduced.
  • the quality is lowered by the amount of the switching device of the near infrared light cut filter 901.
  • the main object of the present invention is to perform color photographing with one image sensor in both an environment where visible light exists such as daytime and an environment where there is almost no visible light such as nighttime, and to improve the visibility of a camera user at low cost.
  • the imaging apparatus of the present invention An image sensor; A signal processing unit that extracts a luminance component and a color component from a video signal output from the image sensor in response to received light; With The video signal includes a first video signal having a signal component corresponding to the visible light band as a main component and a signal component corresponding to the near-infrared light band as a main component according to the state of the received light. Transformed into a second video signal, The signal processing unit First signal processing suitable for extracting the luminance component and the color component from the first video signal; Second signal processing suitable for extracting the luminance component and the color component from the second video signal; Switch between and execute.
  • the image pickup device and the image pickup apparatus of the present invention it is possible to optimally acquire pixel data (luminance component and color component) having a visible light band as main light and pixel data having a near-infrared light band as main light. Become. As a result, it is possible to shoot a color image regardless of whether there is a sufficient amount of light in the visible light band (for example, shooting at daytime) or not (for example, shooting at night). Increases nature.
  • the first video signal is output from the imaging device that has received the first light sufficiently including the visible light band
  • the second video signal is output from the imaging device that has received the second light that does not sufficiently include the visible light band. There is a mode.
  • the signal processing unit performs noise reduction processing by an intra-frame noise reduction filter on the extracted color component in the second signal processing. There is a mode.
  • the signal processing unit performs noise reduction processing by inter-frame addition averaging processing on the extracted color component in the second signal processing. There is a mode.
  • the signal processing unit performs motion correction between frames on the first signal component in the second signal processing, and then applies the first signal component after the motion correction to the first signal component.
  • the imaging device includes a first pixel having sensitivity in both the visible light band and the near-infrared light band, and a second pixel selectively having sensitivity in the near-infrared light band.
  • the video signal includes a first signal component output from the first pixel and a second signal component output from the second pixel; When the signal level of the first signal component is greater than the signal level of the second signal component and the difference is equal to or greater than a first threshold, the signal processing unit transmits the received light to the first signal component.
  • the first signal processing is performed by judging that the light is When the signal level of the first signal component is greater than the signal level of the second signal component but the difference is less than the first threshold, or the signal processing unit When the signal level is equal to the signal level of the second signal component, the received light is determined to be the second light, and the second signal processing is performed. There is a mode.
  • the signal processor When the amount of motion change between frames in the first signal component is greater than a predetermined amount in the first signal component, the signal processor does not perform motion correction between the frames in the second signal processing. 1 signal component is subjected to noise reduction processing by inter-frame addition averaging processing, There is a mode.
  • the signal processing unit performs the first signal processing according to the luminance component extracted in the second signal processing. Extracting the color component from one signal component; There is a mode.
  • the light amount in the visible light band is smaller than the light amount in the near-infrared light band (for example, shooting at night)
  • a highly visible color image can be taken.
  • the second signal processing includes 2-1 signal processing for extracting the luminance component and the color component from the first signal component, and subjecting the extracted color component to noise reduction processing by an intra-frame noise reduction filter; 2-2 signal processing for extracting the luminance component and the color component from the first signal component and applying noise reduction processing by inter-frame addition averaging processing to the extracted color component; Including The signal processing unit performs switching between the first signal processing, the 2-1 signal processing, and the 2-2 signal processing; There is a mode.
  • This aspect further includes Although the signal level of the first signal component is greater than the signal level of the second signal component, the signal processing unit is greater than or equal to a second threshold value and less than the first threshold value (first threshold value). > Second threshold), the second-1 signal processing is performed, The signal processing unit is configured such that the signal level of the first signal component is larger than the signal level of the second signal component, but the difference is less than the second threshold value, or the signal of the second signal component If it is equivalent to the level, the signal processing of 2-2 is performed. There is a mode.
  • the signal processing unit determines a signal level of the first and second signal components, an average value of the signal levels of the first and second signal components in the entire screen, or the first and second signal components. Determine based on the average value of the signal level in any area in the screen, There is a mode.
  • the signal processing in the signal processing unit can be switched based on the comparison of the signal levels of the first and second signal components, optimal imaging can be performed without manual switching by the user. Images can be taken in the mode, and the convenience for the user is enhanced.
  • a storage device for storing the color component for storing the color component;
  • the signal processing unit Storing the color component extracted in the first signal processing in the storage unit;
  • a luminance component is extracted from the first signal component, and the color component stored in the storage is stored in an area where there is no motion in the frame in the first video signal.
  • Read and use as a color component and extract a color component from the first signal component that is subjected to noise reduction processing in a region where there is motion in the frame, There is a mode.
  • a pixel in which a color filter (for example, blue, green, red, etc.) that transmits the wavelength of the visible light band and the wavelength of the near visible light band is disposed in the imaging device
  • a color filter for example, blue, green, red, etc.
  • An image sensor imaging device in which pixels (second pixels) provided with a color filter that selectively transmits only the wavelength of the outside light region is mixed is used.
  • the image pickup apparatus of the present invention extracts a luminance component and a color component from a video signal corresponding to the visible light region (first video signal) during the daytime, and compares the visible light region such as at night.
  • a luminance component is extracted from the first video signal and the video signal corresponding to the near-infrared light band (second video signal), and the first video signal
  • the color component is calculated based on this information Perform color photography.
  • the amount of visible light and the amount of near-infrared light can be determined from the average of the entire screen or the average value in a specific area. If there is, it can be estimated that the shooting conditions are daytime (there should be almost no near-infrared light in the daytime), and if the visible light amount is equal to the near-infrared light amount, the shooting condition can be estimated as evening (when the evening is near Infrared light increases, and if the amount of visible light ⁇ the amount of near-infrared light, the shooting condition can be estimated to be night (the subject is illuminated with near-infrared illumination at night, so there is much near-infrared light) Therefore, the camera processing state can be automatically switched from these estimation results.
  • the visible light band refers to a wavelength band of 380 to 780 nm
  • the near infrared light band refers to a wavelength band of 700 to 2500 nm.
  • pixel data luminance component and color component
  • visible light can be acquired, and there is almost no visible light such as nighttime and environments where visible light exists.
  • Color images can be taken regardless of the environment in which the user does not, and the visibility of the user can be improved.
  • FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a pixel array of the image sensor according to the embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a pixel array and a gravity center position of the image sensor according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a filter of the signal processing unit in the embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of the noise reduction filter according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of motion compensation processing in the embodiment of the present invention.
  • FIG. 7 is a flowchart of processing in the embodiment of the present invention.
  • FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a pixel array of the image sensor according to the embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a pixel array and
  • FIG. 8 is a diagram showing an example of color component extraction for a subject with no motion in the embodiment of the present invention.
  • FIG. 9 is a diagram showing a configuration of a camera in a conventional example.
  • FIG. 10 is a diagram illustrating a pixel arrangement of an image sensor in a conventional example.
  • FIG. 1 shows a block diagram of an imaging apparatus 100 according to an embodiment of the present invention.
  • an optical lens 101 is disposed in front of an image sensor (also referred to as an image sensor) 102, and captured analog data is digitized by the ADC 103.
  • the pixel array of the image sensor 102 will be described later.
  • the digitized image signal is input to the signal processing unit 104.
  • the signal processing unit 104 decomposes the digitized image signal into luminance (or brightness) and color information using an external DRAM (or a memory having the same function) 106. Details of the signal processing method will be described later.
  • the image format conversion unit 105 converts the luminance information and the color information signal into a format (for example, JPEG or MPEG) for output to the external output device 109. Examples of the output device 109 include a liquid crystal monitor 108 attached to a camera and a memory card 107 for recording a still image.
  • FIG. 2 shows an example of a pixel array of the image sensor 102 in the embodiment of the present invention.
  • an R + I pixel 201 having sensitivity to a wavelength in the red region (denoted as R) and a wavelength in the near infrared region (denoted as I), a wavelength in the green region (denoted as G), and a wavelength in the near infrared region
  • a G + I pixel 202 having sensitivity to I
  • a B + I pixel 203 having sensitivity to a wavelength in the blue region (denoted as B) and a wavelength I in the near infrared region
  • an I pixel having sensitivity only to the wavelength I in the near infrared region 204 are arranged horizontally and vertically on the matrix.
  • the R + I pixel 201 is a pixel in which a filter that transmits only red and near infrared wavelengths is disposed on a substance that senses light (for example, semiconductor silicon).
  • the R + I pixel 201 may be made of a crystal that transmits red and near-infrared wavelengths.
  • the G + I pixel 202 is a pixel in which a filter that transmits only green and near-infrared wavelengths is disposed on a substance that senses light (for example, semiconductor silicon).
  • the G + I pixel 202 may be made of a crystal that transmits green and near-infrared wavelengths.
  • the B + I pixel 203 is a pixel in which a filter that transmits only blue and near infrared wavelengths is disposed on a substance that senses light (for example, semiconductor silicon).
  • the B + I pixel 203 may be formed of a crystal that transmits blue and near infrared wavelengths.
  • the I pixel 204 is a pixel in which a filter that transmits only near-infrared wavelengths is disposed on a substance that senses light (for example, semiconductor silicon).
  • the I pixel 204 may be formed of a crystal that transmits near infrared wavelengths.
  • the present embodiment provides the same effect when the four types of pixels as described above are replaced and when the image pickup device has four types of pixels arranged at arbitrary locations on the image pickup device. be able to.
  • the imaging device pixels having sensitivity in the red, green, and blue regions are arranged.
  • the present invention exhibits the same effect regardless of the region having sensitivity in the visible light region. can do.
  • the pixels 201, 202, and 203 correspond to a first pixel that has sensitivity to both visible light and near infrared light according to the present invention, and the pixel 204 corresponds to near infrared light according to the present invention. This corresponds to a second pixel having selective sensitivity.
  • the image sensor 102 having the pixels 201, 202, 203, and 204 can perform color imaging during daytime and nighttime, and can display a color image even when shooting in a place where visible light is less than near infrared light. Become.
  • a calculation method for extracting color components will be described.
  • the image is picked up by the light (first light) that contains a large amount of the visible light band.
  • the captured image is captured by the image sensor 102.
  • the imaging signal (first imaging signal) output from the imaging element 102 that has performed such imaging a signal component corresponding to the visible light band is a main component.
  • the signal processing unit 104 performs signal processing (first signal processing) suitable for extracting the luminance component and the color component from the video signal.
  • first signal processing signal processing
  • the light second second light
  • the image captured by the light is captured by the image sensor 102.
  • the imaging signal (second imaging signal) output from the imaging device 102 that has performed such imaging mainly includes a signal component corresponding to the near-infrared light band. Therefore, the signal processing unit 104 performs signal processing (second signal processing) suitable for extracting the luminance component and the color component from the video signal.
  • the signal processing unit 104 performs switching between the first and second signal processes as appropriate.
  • FIG. 3 shows a pixel array and a gravity center position used for signal processing
  • FIG. 4 shows an example of filter coefficients used for signal processing.
  • the daytime luminance component (Y component) and the color component (R, G, B component) at the center of gravity position 301 are It can be calculated from the following formulas (Y-1), (R-1), (G-1), and (B-1). These calculation expressions substantially correspond to the first signal processing.
  • Y 0.299 (R + I) '+ 0.587 (G + I)' + 0.114 (B + I) '-I' (Y-1)
  • R ' (R + I)'-I '(R-1)
  • G ' (G + I)'-I '(G-1)
  • B ' (B + I)'-I '(B-1)
  • Expression (Y-1) is an expression for calculating luminance (Y) using R, G, and B.
  • I ′ is calculated by interpolating from the surrounding I pixel 204.
  • the calculation formula for extracting the luminance component from the video signal based on visible light is equivalent to the formula (Y-1), and the calculation formula for extracting the color component from the video signal based on visible light is (R-1). This corresponds to the equation, the equation (G-1), and the equation (B-1).
  • the luminance component (Y component) and color component (R, G, B component) at night are expressed by the following equations (Y-2), (R-2), (G-2), and (B-2). Can be extracted. These calculation expressions substantially correspond to the second signal processing.
  • Y 0.25 (R + I) '+ 0.25 (G + I)' + 0.25 (B + I) '+ 0.25I' (Y-2)
  • R ' (R + I)'-I '(R-2)
  • G ' (G + I)'-I '(G-2)
  • B ' (B + I)'-I '(B-2)
  • the luminance (Y) does not become luminance information even if the R, G, B components are very small.
  • each pixel is multiplied by a factor of 0.25 so that the four pixels 201 to 204 are evenly added.
  • the luminance (Y) is calculated by adding four pixels equally, but each coefficient may be arbitrarily set in order to provide more versatility. The coefficient is set in advance from the host side.
  • the calculation formula for extracting the luminance component from the video signal based on visible light and near infrared light is equivalent to equation (Y-2), and the calculation is to extract the color component from the video signal based on visible light and near infrared light.
  • the expressions correspond to the expressions (R-2), (G-2), and (B-2).
  • extraction calculation of the luminance component and the color component is executed by the hardware calculation (or software calculation) by the signal processing unit 104.
  • Extraction calculation (first signal processing) in a place with a large visible light band extraction calculation (second signal processing) in a place with a small amount of light in the visible light band (a lot of light in the near infrared light band)
  • Switching is performed as follows. That is, the signal level of the first signal component is compared with the signal level of the second signal component, the signal level of the first signal component is greater than the signal level of the second signal component, and the difference is set in advance. If it is equal to or higher than the first threshold value, the light received by the image sensor 102 is regarded as the first light, and the first signal processing is performed.
  • the signal level of the first signal component is greater than the signal level of the second signal component but the difference is less than the first threshold, or the signal level of the first signal component is the second signal component If the signal level is equal to the signal level, the light received by the image sensor 102 is regarded as the second light, and the second signal processing is performed.
  • Such a determination is made by monitoring the integrated value of visible light / near infrared light (the integrated value of the first and second signal components), and based on the monitoring result, the hardware or microcomputer performs the determination.
  • the determination result is supplied to the signal processing unit 104.
  • the signal processing unit 104 switches the extraction calculation based on the supplied switching command. Since the signal processing unit 104 can be regarded as substantially constituted by a microcomputer, it can be considered that the switching determination is performed by the signal processing unit 104.
  • the extraction calculation can be switched based on a command supplied from the vehicle body side.
  • the command supplied from the vehicle body side can be generated based on, for example, an ON / OFF operation of a vehicle head ride switch.
  • the head ride switch when the head ride switch is OFF, it is determined that it is daytime and the calculation is switched to extraction calculation at a place where there is a lot of visible light, while when the head ride switch is ON, it is determined that it is night and the calculation is switched to extraction calculation at a place where there is little visible light.
  • the video signal output from the visible light pixel is subjected to noise reduction processing using a noise reduction filter having a coefficient of 3 TAP in the horizontal and vertical directions with the coefficients shown in FIG. Color components are extracted from the subsequent video signal.
  • This noise reduction process is performed by the signal processing unit 104, and specifically, a convolution operation (convolution) is performed. That is, in FIG. 5, I1, I2, and I3 are pixel values from the upper left (weight 1) pixel position toward the right, and similarly in the second row, I4, I5, and I6 are pixel values, Similarly, assuming that I7, I8, and I9 are pixel values, the pixel value (video signal) at the I5 position after noise reduction can be calculated by the following equation (5).
  • a motion 603 having a motion change amount ( ⁇ x i , ⁇ y i ) that is equal to or greater than the motion threshold ( ⁇ x, ⁇ y) is generated, each part in the nth frame 601 is shown in FIG.
  • the motion amount of each part in the (n + 1) th frame 602 are calculated by performing inter-frame difference processing or the like, and the pixel (x, y) 602 in the (n + 1) th frame 602 and the pixel (x ⁇ ) in the nth frame 602 are calculated.
  • ( ⁇ x, y ⁇ y) 601 is averaged.
  • the motion thresholds ( ⁇ x, ⁇ y) correspond to a predetermined amount serving as a reference value for the motion change amount.
  • the noise reduction process by the inter-frame addition averaging process is performed by the signal processing unit 104.
  • the noise reduction process is not limited to both the noise reduction process using the noise reduction filter and the noise reduction process by the interframe addition averaging process, but the noise reduction filter and the interframe addition averaging process are performed.
  • the noise reduction processing by either one of them may be performed alone.
  • a process of performing noise reduction processing using a noise reduction filter on the extracted color component (hereinafter referred to as 2-1 signal processing), a luminance component and a color component, Then, a process of performing noise reduction processing using inter-frame addition averaging processing on the extracted color components (hereinafter referred to as “2-2 signal processing”) is performed.
  • the difference between the signal level of the R + I pixel 201, the G + I pixel 202, and the B + I pixel 203 (the signal level of the first signal component) and the signal level of the I pixel 204 (the signal level of the second signal component) is predetermined. It is determined by comparing with the threshold value.
  • noise reduction processing using a noise reduction filter when the difference is sufficiently large, noise reduction processing using a noise reduction filter is performed, and when the difference is not sufficiently large, noise reduction processing using inter-frame addition averaging processing is performed. Or you may judge which noise reduction process is performed based on the command from the host side (for example, vehicle side).
  • the signal processing unit 104 determines that the signal level of the first signal component is larger than the signal level of the second signal component, but the difference is not less than the second threshold and less than the first threshold ( If (first threshold value> second threshold value), it is considered that the difference is sufficiently large, and the 2nd-1 signal processing is performed.
  • the signal processing unit 104 has a signal level of the first signal component that is greater than the signal level of the second signal component, but the difference is less than the second threshold, or the signal level of the second signal component If they are equal, it is assumed that the difference is not sufficiently large, and the 2-2nd signal processing is performed.
  • Motion detection between frames is performed as follows. That is, a difference image between the previous frame 601 and the current frame 602 is created, or pattern matching is performed between both frames, and between these frames based on these results (difference image or pattern matching result) Then, how much the subject has moved is calculated, and motion detection between frames is performed from the calculated movement amount.
  • noise reduction processing by addition averaging processing and noise reduction by interframe addition averaging processing are performed. Processing has been switched. The switching of these noise reduction processes is performed by the signal processing unit 104.
  • the average can be obtained with higher accuracy. That is, the degree of tracking (time constant) with respect to the motion is changed by weighting when taking the average of the averaged image and the current frame. For example, if the averaged image has a higher weight, it becomes insensitive to the movement when there is a movement (the movement is not immediately reflected). This processing is performed by the signal processing unit 104.
  • the magnitude determination of the motion amount ( ⁇ x i , ⁇ y i ) between the frames is, as described above, whether or not the motion amount ( ⁇ x i , ⁇ y i ) is larger than a predetermined motion threshold value ( ⁇ x, ⁇ y).
  • a predetermined motion threshold value ⁇ x, ⁇ y.
  • whether or not to resume the addition averaging is also determined by comparing and determining the motion threshold ( ⁇ x, ⁇ y) and the motion amount ( ⁇ x i , ⁇ y i ). That is, when the motion amount ( ⁇ x i , ⁇ y i ) is less than the motion threshold value ( ⁇ x, ⁇ y), the averaging is resumed.
  • This processing is performed by the signal processing unit 104.
  • the following processing is performed. That is, a noise reduction process using a noise reduction filter is performed to further reduce the bits to calculate an approximate value of color information. Then, the color component is changed according to the luminance information. Thereby, a color component without noise can be generated.
  • the state where the color component cannot be obtained accurately refers to the following state. That is, when the signal levels corresponding to the visible light bands of the R + I pixel 201, the G + I pixel 202, and the B + I pixel 203 are very small, the S / N level becomes very small and the color component cannot be obtained accurately. This state is called a state where the color component cannot be obtained accurately.
  • the noise reduction filter may be the same as that shown in FIG. 5, but is not limited to the noise reduction filter shown in FIG. Further, although the data accuracy is reduced by performing division by bit down, noise is reduced. Further, changing the color component in accordance with the luminance information means that the color information value in the image is thinned out (for example, one pixel is thinned out of 8 pixels), and the ratio of the luminance level for the other pixels. Is used to calculate the color component. Assume that the color information of the adjacent pixel A-1 is calculated based on the pixel A having color information.
  • the color component of the pixel A is multiplied by the luminance ratio, so that the adjacent pixel A-1 Calculate color information. This processing is performed by the signal processing unit 104.
  • the signal processing unit 104 includes an average value of signal levels of signal components output from the visible light pixels (R, G, B) on the screen and a near-infrared light pixel (I).
  • the average value of the signal level of the signal component to be output is compared (decision 701).
  • the visible light pixel (R, G, B) does not exist, and instead, the pixel (R + I), the pixel (G + I), and the pixel (B + I) exist. Therefore, the average value of the first signal output from the pixel (R + I), the pixel (G + I), and the pixel (B + I) is compared with the average value of the second signal component output from the pixel (I). To do.
  • the signal level of the signal component output from the visible light pixel (R, G, B) is higher than the signal level of the second signal component in the determination 701, specifically, the signal level of the first signal component is the second level.
  • the signal level is greater than the signal level of the signal component and the difference is greater than or equal to a preset first threshold
  • the light received by the image sensor 102 under the daytime photographing condition is the first light.
  • the first signal processing is performed. That is, luminance and color components are extracted from the first signal component based on the equations (Y-1), (R-1), (G-1), and (B-1) (processing 702).
  • the second signal component (near-infrared light pixel value) is larger than the first signal component (visible light pixel value) (NO in decision 701), but the first signal component (visible light pixel value). ) Remains slightly (YES in decision 702), specifically, the signal level of the first signal component is greater than the signal level of the second signal component, but the difference is greater than or equal to the second threshold value and When it is less than the first threshold value (first threshold value> second threshold value), the light received by the image sensor 102 rather than the daytime shooting condition is the second light, but the difference is sufficiently large. For this reason, it is assumed that the shooting is not nighttime shooting (evening shooting in the evening, etc.), and the 2-1st signal processing is performed.
  • the luminance component is calculated from the first signal component based on the formula (Y-2), while the formula (R-2), formula (G-2), formula (B-2) is calculated from the first signal component.
  • the calculated color component is subjected to noise reduction processing by a noise reduction filter within the frame. Thereby, a color component with less noise can be generated (processing 704).
  • the signal level of the first signal component is the second signal component. If the difference is less than the second threshold value or equal to the signal level of the second signal component, the light received by the image sensor 102 is not the daytime shooting condition but the second level. Since the difference is not sufficiently large, it is assumed that the image is taken at night, and the signal processing 2-2 is performed. That is, the luminance component is calculated from the first signal component based on the equation (Y-2), while the equation (R-2), (G-2), (B-2) is calculated from the first signal component. After calculating the color component based on the equation, the calculated color component is subjected to noise reduction processing by inter-frame addition averaging processing. As a result, a color component with less noise can be generated (processing 705).
  • the average value of the entire screen may be calculated, or the average value of only a specific area of the screen may be calculated.
  • the integration area is designated in advance by setting the host side through a register or the like.
  • the specific area is an area for designating an area to be emphasized as a shooting condition such as the center of the screen.
  • this processing is performed by the signal processing unit 104.
  • each process 702, 704, and 705 instead of switching between the processes 702, 704, and 705, by performing a weighted averaging process in accordance with the first signal component and the second signal component, it is possible to avoid a sudden image change. In other words, if it is around the first and second thresholds and changes suddenly, the photographed image may not be constant depending on the noise condition, and there is a possibility that the rapid change is repeated. Therefore, based on the fact that each change needs to have a time constant, each process is calculated after performing a weighted averaging process according to the first signal component and the second signal component. This processing is performed by the signal processing unit 104.
  • the color component extracted by the noise reduction process (1-frame noise reduction or inter-frame noise reduction process) is used for the area 802 in which there is movement between the n-th frame 803 and the n + 1-th frame 804.
  • color information extracted under conditions where there is sufficient visible light, such as daytime is stored in advance in a memory or the like. Use to generate color components. Thereby, an accurate color component can be generated for a subject that does not move.
  • this processing is performed by the signal processing unit 104.
  • the imaging apparatus according to the present invention is particularly useful for color imaging and improved visibility in an imaging apparatus that requires shooting regardless of day or night, such as an in-vehicle camera or a surveillance camera.
  • Imaging device 101 Optical lens 102 Imaging element (image sensor) 103 ADC 104 signal processing unit 105 image format conversion unit 106 DRAM 107 memory card 108 liquid crystal monitor 109 output device 109 output device 201 R + I pixel 202 G + I pixel 203 B + I pixel 204 I pixel

Abstract

　信号処理部が、受光光に応じて撮像素子が出力する映像信号から輝度成分と色成分とを抽出する際、可視光帯域に対応する信号成分を主成分とする第１の映像信号から輝度成分と色成分とを抽出するのに適した第１の信号処理と、近赤外光帯域に対応する信号成分を主成分とする第２の映像信号から輝度成分と色成分とを抽出するのに適した第２の信号処理とを切り替えて実行する。

Description

撮像素子および撮像装置
　本発明は、イメージセンサ等による撮像信号を入力として映像データの信号処理を行い、外部のモニタ等へ映像データを出力する撮像装置に関する。
　本出願は、２００８年１０月１４日に出願された、明細書,図面、特許請求の範囲を含む日本特許出願２００８－２６５１４５号の全てを、ここに参照として本明細書に組み入れている。
　車載カメラや監視カメラなどでは、撮影条件が夜間などの太陽光や照明が無い場所でも撮影できることが要求されてきている。通常、夜間の撮影では近赤外光ＬＥＤなどの照明で照らした光を近赤外光に反応するイメージセンサで撮影するが、近赤外光に反応するイメージセンサでは昼間にも近赤外光に反応するため良好な色再現を実現することができない。
　そこで、従来では特許文献１のような１つのイメージセンサで昼・夜間両方を撮影するために、図９に示すような構成の固体撮像装置が用いられている。この固体撮像装置が有するイメージセンサ（撮像素子）９０２は可視光・近赤外光の両方に反応するイメージセンサである。昼間には、近赤外光の波長の光を透過させないような近赤外光カットフィルタ９０１を、イメージセンサ９０２の前に配置することで、イメージセンサ９０２内には可視光のみ入射させることにより良好な色再現処理ができるようにしている。一方、夜間には近赤外光カットフィルタ９０１を機械的に取り除くことにより近赤外照明で照らされた近赤外光がイメージセンサ９０２に入射できるようにすることで夜間にも撮影ができるようにしている。
　また、特許文献２では図１０に示すように、固体撮像素子上に各波長の光を通すカラーフィルタ（フィルタ（赤）,フィルタ（緑）,フィルタ（青）,フィルタ（近赤外光））が配置された画素１００１～１００４を配置したうえで、昼間には赤,青,緑の画素１００１,１００２,１００３から画像情報を計算し、夜間には近赤外光の画素１００４から画像情報を計算することにより、１つの固体撮像素子で昼・夜兼用の撮影を可能にしている。
特開２０００－５９７９８号 特開平１０－０６５１３５号
　図９に示す従来例では、近赤外光カットフィルタ９０１を機械的に開閉させるような機構が必要であり、その分コスト増につながる。さらに昼間には色成分を抽出することができるが、夜間には近赤外光のみを使用しており色成分を抽出することができないためカラー撮影をすることができず、カメラ使用者の視認性が低下する。また、車載カメラなど高信頼性が求められるような装置では、近赤外光カットフィルタ９０１の開閉装置の分だけ品質が低下する。
　図１０に示す従来例では、夜間には近赤外光１００４のみで画像処理を行うため、色成分の抽出を行うことができないためカラー撮影をすることができず、カメラ使用者の視認性が低下する。
　本発明では、昼間など可視光が存在する環境および夜間など可視光がほとんど存在しない環境共に１つのイメージセンサでカラー撮影を行い、安価にカメラ使用者の視認性を高めることを主たる目的とする。
　本発明の撮像装置は、
　撮像素子と、
　受光光に応じて前記撮像素子が出力する映像信号から輝度成分と色成分とを抽出する信号処理部と、
　を備え、
　前記映像信号は、前記受光光の状態に応じて、前記可視光帯域に対応する信号成分を主成分とする第１の映像信号と、前記近赤外光帯域に対応する信号成分を主成分とする第２の映像信号とに変容し、
　前記信号処理部は、
　前記第１の映像信号から前記輝度成分と前記色成分とを抽出するのに適した第１の信号処理と、
　前記第２の映像信号から前記輝度成分と前記色成分とを抽出するのに適した第２の信号処理と、
　を切り替えて実行する。
　本発明の撮像素子および撮像装置によると、可視光帯域を主光とる画素データ（輝度成分と色成分）および近赤外光帯域を主光とする画素データをそれぞれ最適に取得することが可能になる。これにより、可視光帯域の光が十分に多い(例えば昼時の撮影)、十分にない(例えば夜時の撮影)に関わらずカラー画像の撮影を行うことができるようになる結果、画像の視認性が高まる。
　本発明には、
　前記第１の映像信号は、前記可視光帯域を十分に含む第１の光を受光した前記撮像素子から出力され、
　前記第２の映像信号は、前記可視光帯域を十分に含まない第２の光を受光した前記撮像素子から出力される、
　という態様がある。
　本発明には、
　前記信号処理部は、前記第２の信号処理において、抽出した前記色成分に、フレーム内ノイズ低減フィルタによるノイズ低減処理を施す、
　という態様がある。
　本発明には、
　前記信号処理部は、前記第２の信号処理において、抽出した前記色成分に、フレーム間加算平均処理によるノイズ低減処理を施す、
　という態様がある。
　本発明には、前記信号処理部は、前記第２の信号処理において、前記第１の信号成分にフレーム間の動き補正を実施したうえで、当該動き補正後の第１の信号成分に、前記フレーム間加算平均処理によるノイズ低減処理を行う、
　という態様がある。
　本発明には、
　前記撮像素子は、前記可視光帯域と前記近赤外光帯域との両方に感度を有する第１の画素と、前記近赤外光帯域に選択的に感度を有する第２の画素とを有し、
　前記映像信号は、前記第１の画素が出力する第１の信号成分と、前記第２の画素が出力する第２の信号成分とを含み、
　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きくかつその差が第１の閾値以上である場合には、前記受光光を前記第１の光と判断して前記第１の信号処理を実施し、
　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きいもののその差が前記第１の閾値未満である場合、もしくは前記第１の信号成分の信号レベルが前記第２の信号成分の信号レベルと同等である場合には、前記受光光を前記第２の光と判断して前記第２の信号処理を実施する、
　という態様がある。
　本発明には、
　前記信号処理部は、前記第１の信号成分においてフレーム間の動き変化量が所定量より大きい場合には、前記第２の信号処理において、前記フレーム間の動き補正を実施することなく、前記第１の信号成分に、前記フレーム間加算平均処理によるノイズ低減処理を行う、
　という態様がある。
　本発明には、
　前記信号処理部は、前記第２の信号処理において、前記第１の信号成分から前記色成分を正確に抽出できない場合には、当該第２の信号処理において抽出する前記輝度成分に応じて前記第１の信号成分から前記色成分を抽出する、
　という態様がある。
　これらの態様によれば、可視光帯域の光量が近赤外光帯域の光量に比べて少ない条件下(例えば夜時の撮影)において、色成分生成時のノイズの影響を抑えることができ、より視認性の高いカラー画像の撮影が可能となる。
　また、本発明には、
　前記第２の信号処理は、
　前記第１の信号成分から前記輝度成分と前記色成分とを抽出するとともに、抽出した前記色成分に、フレーム内ノイズ低減フィルタによるノイズ低減処理を施す第２－１の信号処理と、
　前記第１の信号成分から前記輝度成分と前記色成分とを抽出するとともに、抽出した前記色成分に、フレーム間加算平均処理によるノイズ低減処理を施す第２－２の信号処理と、
　を含み、
　前記信号処理部は、前記第１の信号処理と、前記第２－１の信号処理と、前記第２－２の信号処理とを切り替えて実行する、
　という態様がある。
　この態様にはさらに、
　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きいもののその差が第２の閾値以上でかつ前記第１の閾値未満（第１の閾値＞第２の閾値）である場合には、前記第２－１の信号処理を実施し、
　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きいもののその差が前記第２の閾値未満である、もしくは前記第２の信号成分の信号レベルと同等である場合には、前記第２－２の信号処理を実施する、
　という態様がある。
　本発明には、
　前記信号処理部は、前記第１,第２の信号成分の信号レベルを、画面全体における前記第１,第２の信号成分の信号レベルの平均値、または前記第１,第２の信号成分の画面内の任意の領域における信号レベルの平均値に基づいて決定する、
　という態様がある。
　これらの態様によれば、第１,第２の信号成分の信号レベルの比較に基づいて、信号処理部における信号処理を切り替えることができるため、使用者が手動で切り替えなくても、最適な撮像モードで撮像することができ、使用者の利便性が高まる。
　本発明には、
　前記色成分を記憶する記憶器をさらに備え、
　前記信号処理部は、
　前記第１の信号処理で抽出する前記色成分を前記記憶器に記憶させ、
　前記第２の信号処理では、前記第１の信号成分から輝度成分を抽出するとともに、前記第１の映像信号においてフレーム内の動きがない領域では前記記憶器に記憶しておいた前記色成分を読み出して色成分として用い、フレーム内の動きがある領域ではノイズ低減処理を施してなる前記第１の信号成分から色成分を抽出する、
　という態様がある。
　この態様によると、第１の映像信号においてフレーム内の動きが無い領域についてはノイズ低減処理を施す必要が無いので、この領域においてノイズ低減処理を省略することでより正確な色成分を抽出することができて、画像の視認性が高まる。
　本発明の撮像装置では、撮像素子に可視光帯域の波長と近可視光帯域の波長を透過するカラーフィルタ（例えば青,緑,赤など）を配置した画素（第１の画素）と、近赤外光領域の波長だけを選択的に透過するカラーフィルタを配置した画素（第２の画素）が混在するようなイメージセンサ（撮像素子）を用いる。このようなイメージセンサを用いて本発明の撮像装置は、昼間は可視光領域に対応する映像信号（第１の映像信号）から輝度成分と色成分とを抽出し、夜間など可視光領域が比較的に小さい、もしくはほとんどない状態においては、第１の映像信号と、近赤外光帯域に対応する映像信号（第２の映像信号）とから輝度成分を抽出するとともに、第１の映像信号にフレーム内でノイズ低減フィルタを施すか、あるいはフレーム間で加算平均を施すことにより、第１の映像信号における可視光帯域の画素レベルを大きくした後に、この情報を基に色成分を計算することでカラー撮影を行う。
　また、可視光の光量と近赤外光の光量とは、画面全体でのそれぞれの平均または特定の領域でのそれぞれの平均値から判断することで、可視光光量>>近赤外光光量であるとすると撮影条件は昼であると推定でき（昼間は近赤外光がほとんど無いはず）、可視光光量=近赤外光光量であるとすると撮影条件は夕方と推定でき（夕方になると近赤外光が増えてくる）、可視光光量<<近赤外光光量であるとすると撮影条件は夜と推定できる（夜間には近赤外照明で被写体を照らすので近赤外光が多い）ことから、これら推定結果からカメラ処理の状態を自動で切り替えることができる。
　なお、本発明における可視光帯域とは、３８０～７８０ｎｍの波長帯域をいい、近赤外光帯域とは、７００～２５００ｎｍの波長帯域をいう。
　本発明の撮像素子および撮像装置によると、可視光および近赤外光両方共の画素データ（輝度成分と色成分）を取得でき、昼間など可視光が存在する環境および夜間など可視光がほとんど存在しない環境に関わらずカラー画像の撮影を行うことができ、使用者の視認性を高めることができる。
図１は、本発明の実施の形態における撮像装置のブロック図である。 図２は、本発明の実施の形態における撮像素子の画素配列を示す図である。 図３は、本発明の実施の形態における撮像素子の画素配列および重心位置を示す図である。 図４は、本発明の実施の形態における信号処理部のフィルタの例を示す図である。 図５は、本発明の実施の形態におけるノイズ低減フィルタの例を示す図である。 図６は、本発明の実施の形態における動き補償処理の例を示す図である。 図７は、本発明の実施の形態における処理のフローチャートである。 図８は、本発明の実施の形態における動きが無い被写体で色成分抽出の例を示す図である。 図９は、従来例におけるカメラの構成を示す図である。 図１０は、従来例における撮像素子の画素配列を示す図である。
　以下、本発明の撮像素子および撮像装置の実施の形態を図面に基づいて詳細に説明する。図１は本発明の実施の形態における撮像装置１００のブロック図を示している。
　図１において、撮像素子（イメージセンサとも呼ぶ）１０２の前に光学レンズ１０１を配置して、撮像されたアナログデータをＡＤＣ１０３でデジタル化する。撮像素子１０２の画素配列については後述する。デジタル化された画像信号は信号処理部１０４に入力される。信号処理部１０４は、デジタル化された画像信号を、外部DRAM（または同機能のメモリ）１０６を用いて輝度（または明るさ）と色情報とに分解する。信号処理方法の詳細については後述する。画像フォーマット変換部１０５は、輝度情報と色情報信号とを、外部の出力装置１０９に出力するためのフォーマット（例えば、JPEGやMPEG）に変換する。出力装置１０９としては、例えば、カメラ付随の液晶モニタ１０８や静止画記録するためのメモリカード１０７が挙げられる。
　図２は、本発明の実施の形態における撮像素子１０２の画素配列の例を示している。図２において、赤領域の波長（Ｒと記す）および近赤外領域の波長（Ｉと記す）に感度を有するＲ＋Ｉ画素２０１と、緑領域の波長（Ｇと記す）および近赤外領域の波長Ｉに感度を有するＧ＋Ｉ画素２０２と、青領域の波長（Ｂと記す）および近赤外領域の波長Ｉに感度を有するＢ＋Ｉ画素２０３と、近赤外領域の波長Ｉのみに感度を有するＩ画素２０４とが水平垂直に繰り返しマトリックス上に配置されている。
　Ｒ＋Ｉ画素２０１は、光を感知する物質（例えば半導体シリコンなど）の上に赤および近赤外波長のみ透過させるフィルタを配置させてなる画素である。なお、Ｒ＋Ｉ画素２０１は、赤および近赤外波長を透過させるような結晶体で構成してもよい。
　Ｇ＋Ｉ画素２０２は、光を感知する物質（例えば半導体シリコンなど）の上に緑および近赤外波長のみ透過させるフィルタを配置させてなる画素である。なお、Ｇ＋Ｉ画素２０２は、緑および近赤外波長を透過させるような結晶体で構成してもよい。
　Ｂ＋Ｉ画素２０３は、光を感知する物質（例えば半導体シリコンなど）の上に青および近赤外波長のみ透過させるフィルタを配置させてなる画素である。なお、Ｂ＋Ｉ画素２０３は、青および近赤外波長を透過させるような結晶体で構成してもよい。
　Ｉ画素２０４は、光を感知する物質(例えば半導体シリコンなど)の上に近赤外波長のみ透過させるフィルタを配置させてなる画素である。なお、Ｉ画素２０４は、近赤外波長を透過させるような結晶体で構成してもよい。
　なお、本実施形態は、上述したような各４種類の画素が入れ替わった場合および４種類の画素が撮像素子上の任意の場所に配置されたような撮像素子であっても同様な効果を出すことができる。また、上記撮像素子では赤,緑,青領域に感度を有する画素が配置されているが、可視光領域であればどの領域に感度を有する画素であっても、本発明は同様の効果を発揮することができる。
　画素２０１,２０２,２０３は、本発明でいうところの可視光と近赤外光の両方に感度を有する第１の画素に相当し、画素２０４は、本発明でいうところの近赤外光に選択的に感度を有する第２の画素に相当する。画素２０１,２０２,２０３，２０４を有する撮像素子１０２では、昼間および夜間においてカラー撮像を行い、近赤外光に比べて可視光が少ない場所での撮影時にもカラー画像を表示することが可能となる。
　次に、撮像素子１０２において、近赤外光帯域の光に比べて可視光帯域の光が多い場所と近赤外光帯域の光に比べて可視光帯域の光が少ない場所での輝度成分および色成分を抽出する計算方法について説明する。近赤外光帯域に比べて可視光帯域が多い（つまり、可視光帯域の光が主光となる）場所での撮影時では、可視光帯域を多く含む光（第１の光）によって撮像された映像が撮像素子１０２によって撮像される。このような撮像を実施した撮像素子１０２が出力する撮像信号（第１の撮像信号）では、可視光帯域に対応する信号成分を主成分とする。そこで信号処理部１０４は、この映像信号から輝度成分および色成分を抽出するのに適した信号処理（第１の信号処理）を実施する。一方、近赤外光帯域に比べて可視光帯域が少ない（つまり、近赤外光帯域の光が主光となる）場所での撮影時では、近赤外光帯域を多く含む光（第２の光）によって撮像された映像が撮像素子１０２によって撮像される。このような撮像を実施した撮像素子１０２が出力する撮像信号（第２の撮像信号）は、近赤外光帯域に対応する信号成分を主成分とする。そこで信号処理部１０４は、この映像信号から輝度成分および色成分を抽出するのに適した信号処理（第２の信号処理）を実施する。信号処理部１０４は、これら第１,第２の信号処理を適宜切り替えて実施する。
　図３は信号処理に使用する画素配列および重心位置を示し、図４は信号処理に使用するフィルタ係数の例を示す。まず、重心位置３０１でのＲ＋Ｉ画素２０１,Ｇ＋Ｉ画素２０２,Ｂ＋Ｉ画素２０３,Ｉ画素２０４の値(R+I)',(G+I)',(B+I)',(I)'を、図４に示すフィルタ係数で補間処理を施すこと算出することができる。
　その算出式は以下の（1）式,（2）式,（3）式,（4）式になる。
(R+I)'=[9*(R+I)(n+2,n+2)+3*(R+I)(n+2,n)+3*(R+I)(n,n+2)+(R+I)(n,n)]/16　 ・・（1）
(G+I)'=[9*(G+I)(n+1,n+2)+3*(G+I)(n+1,n)+3*(G+I)(n+3,n+2)+(G+I)(n+3,n)]/16 ・・（2）
(B+I)'=[9*(B+I)(n+2,n+1)+3*(B+I)(n,n+1)+3*(B+I)(n+2,n+3)+(B+I)(n,n+3)]/16 ・・（3）
(I)'=[9*(I)(n+1,n+1)+3*(I)(n+3,n+1)+3*(I)(n+1,n+3)+(I)(n+3,n+3)]/16        ・・（4）
但し、(R+I),(G+I),(B+I)は、第１の画素（Ｒ＋Ｉ画素２０１,Ｇ＋Ｉ画素２０２,Ｂ＋Ｉ画素２０３）が出力する第１の信号成分を示し、(I)は、第２の画素（Ｉ画素２０４）が出力する第２の信号成分を示し、(n,n)はx=n,y=n座標位置を示す。
　上記（1）式,（2）式,（3）式,（4）式に基づいて、重心位置３０１での昼間の輝度成分(Y成分)および色成分(R,G,B成分)を、以下の（Y-1）式,（R-1）式,（G-1）式,（B-1）式から算出することができる。これらの算出式は、実質的に第１の信号処理に相当する。
Y = 0.299(R+I)'+ 0.587(G+I)'+ 0.114(B+I)'－ I' ・・・（Y-1）
R'= (R+I)'－ I'                                ・・・（R-1）
G'= (G+I)'－ I'                                ・・・（G-1）
B'= (B+I)'－ I'                                ・・・（B-1）
　（Y-1）式は、R,G,Bを使って輝度(Y)を算出する式である。（Y-1）式では、R,G,Bに対して近赤外光成分Iが余計に混ざっていることに着目して、Y = 0.299R + 0.587G + 0.114Bという基本式において、近赤外光成分Iを減算することでノイズ成分のない純粋なR,G,B成分を算定している。同様に、（R-1）式,（G-1）式,（B-1）式においても余計な近赤外光成分Iを減算している。なお、I'は各画素位置（Ｒ＋Ｉ画素２０１,Ｇ＋Ｉ画素２０２,Ｂ＋Ｉ画素２０３の位置）における近赤外光成分の値を示している。ここで、各画素位置における近赤外光成分の値は分からないので周辺のＩ画素２０４から補間することでI'は算出される。また、可視光に基づいた映像信号から輝度成分を抽出する計算式は、（Y-1）式に相当し、可視光に基づいた映像信号から色成分を抽出する計算式は（R-1）式,（G-1）式,（B-1）式に相当する。
　夜間の輝度成分(Y成分)および色成分(R,G,B成分)は、以下の（Y-2）式,（R-2）式（G-2）式,（B-2）式で抽出することができる。これらの算出式は、実質的に第２の信号処理に相当する。
Y = 0.25(R+I)'+ 0.25(G+I)'+ 0.25(B+I)'＋ 0.25I' ・・・（Y-2）
R'= (R+I)'－ I'                                 ・・・（R-2）
G'= (G+I)'－ I'                                 ・・・（G-2）
B'= (B+I)'－ I'                                 ・・・（B-2）
　夜間は、R,G,B成分が非常に小さく昼間と同じように輝度(Y)を抽出しても、その輝度(Y)は輝度情報にならない。なるべくレベルの高い信号を作るため、（Y-2）式では、４画素２０１～２０４が均等に加算されるように、各画素に係数0.25が乗算される。なお、（Y-2）式では４画素を均等に加算することで輝度(Y)を算定しているが、より汎用性を持たせるため各係数を任意に設定するようにしてもよい。なお、係数の設定は予め、ホスト側から設定される。
　可視光および近赤外光に基づいた映像信号から輝度成分を抽出する計算式は（Y-2）式に相当し、可視光および近赤外光に基づいた映像信号から色成分を抽出する計算式は（R-2）式,（G-2）式,（B-2）式に相当する。
　上述した輝度成分および色成分の抽出計算は、信号処理部１０４によってハード演算（またはソフト演算）で実行される。可視光帯域が多い場所での抽出計算（第１の信号処理）と、可視光帯域の光が少ない（近赤外光帯域の光が多い）場所での抽出計算（第２の信号処理）との切り替えは、次のようにして行われる。すなわち、第１の信号成分の信号レベルと第２の信号成分の信号レベルとを比較し、第１の信号成分の信号レベルが第２の信号成分の信号レベルより大きくかつその差が予め設定しておいた第１の閾値以上である場合には、撮像素子１０２が受光する光を第１の光であると見なして第１の信号処理を実施する。一方、第１の信号成分の信号レベルが、第２の信号成分の信号レベルより大きいもののその差が第１の閾値未満である場合、もしくは第１の信号成分の信号レベルが第２の信号成分の信号レベルと同等である場合には、撮像素子１０２が受光する光を前記第２の光と見なして第２の信号処理を実施する。
　このような判断は、可視光/近赤外光の積算値（第１,第２の信号成分の積算値）をモニタしたうえで、そのモニタ結果に基づいてハードウエアまたはマイクロコンピュータが行い、その判断結果を信号処理部１０４に供給する。信号処理部１０４は供給される切り替え命令に基づいて上記抽出計算の切り替えを行う。なお、信号処理部１０４は、実質的にマイクロコンピュータによって構成されるものと見なせるため、上記切り替えの判断は、信号処理部１０４によって行われると見なすことができる。また、車載カメラなどの場合では、車本体側から供給される命令に基づいて上記抽出計算の切り替えを行うことも可能である。車体本体側から供給される命令は、例えば、車のヘッドライドスイッチのON/OFF操作に基づいて生成することができる。すなわち、ヘッドライドスイッチOFFでは、昼と判断して可視光が多い場所での抽出計算に切り替える一方、ヘッドライドスイッチONでは、夜と判断して可視光が少ない場所での抽出計算に切り替える。
　ここで、夜間など可視光成分が小さい時にはR',G',B'成分が非常に小さいため正確に色成分を抽出することができない。そこで、第２の信号処理においては、ノイズ低減処理を施すことで正確な色成分を抽出することが可能となる。次に、そのノイズ低減処理について説明する。
　可視光画素から出力される映像信号にフレーム内で、図５に示すような係数を持つ水平,垂直方向に3TAPの大きさのノイズ低減フィルタを用いたノイズ低減処理を行ったのち、ノイズ低減処理後の映像信号から色成分を抽出する。このノイズ低減処理は、信号処理部１０４で実施され、具体的には畳み込み演算（コンボリューション）が行われる。すなわち、図５において、左上(重み1)画素位置から右に向かってI1,I2,I3が画素値であり、２段目も同様にI4,I5,I6が画素値であり、一番下段も同様にI7,I8,I9が画素値であるとすると、ノイズ低減後のI5位置の画素値（映像信号）は、以下の（5）式で算出することができる。
(I1*1+I2*2+I3*1+I4*2+I5*4+I6*2+I7*1+I8*2+I9*1)/16    ・・・（5）
　また、R',G',B'成分が小さい場合には、上記ノイズ低減フィルタによるノイズ低減処理を施しても十分にノイズ低減を行うことが困難となる。その場合は、フレーム間加算平均処理によりノイズ低減を図る。その際には、フレーム間で動きがあった場合にそのまま加算平均をとってしまうと正確に加算を行うことができず、色にじみなどの原因になる。そこで、ｎ＋１フレーム目６０２における任意の画素(x,y)602とｎフレーム目６０１における画素(x,y)601との間における動きの閾値(Δx,Δy)を設定したうえで、ｎ＋１フレーム目６０２における画素(x,y)602とｎフレーム目６０１における画素(x,y)601との間の動きの変化量(Δxi,Δyi)と動きの閾値(Δx,Δy)とを比較し、動きの閾値(Δx,Δy）以上となる動きの変化量(Δxi,Δyi)を有する動き６０３が発生している場合には、図６に示すように、ｎフレーム目６０１における各部位の動き量とｎ＋１フレーム目６０２における各部位の動き量とをフレーム間差分処理をするなどして算出し、ｎ＋１フレーム目６０２における画素(x,y)602とｎフレーム目６０１の画素(x－Δx,y－Δy)601との間で加算平均を行う。これにより動き分をキャンセルすることができ、動きがあった場合でも正確に加算平均を行うことができる。ここで動きの閾値(Δx,Δy)は、動きの変化量の基準値となる所定量に相当する。
　フレーム間加算平均処理によるノイズ低減処理は、信号処理部１０４で実施される。なお、本発明では、ノイズ低減フィルタを用いたノイズ低減処理とフレーム間加算平均処理によるノイズ低減処理との両方によってノイズ低減処理を実施するのに限らず、ノイズ低減フィルタとフレーム間加算平均処理とのうちのどちらか一方によるノイズ低減処理単独であってもよい。
　輝度成分と色成分とを抽出したうえで、抽出した前記色成分にノイズ低減フィルタを用いたノイズ低減処理を行う処理（以下、第２－１の信号処理という）と、輝度成分と色成分とを抽出する処理を行ったうえで、抽出した前記色成分にフレーム間加算平均処理を用いたノイズ低減処理を行う処理（以下、第２－２の信号処理という）とのどちらの処理を実施するかは、Ｒ＋Ｉ画素２０１,Ｇ＋Ｉ画素２０２,Ｂ＋Ｉ画素２０３の信号レベル（第１の信号成分の信号レベル）と、Ｉ画素２０４の信号レベル（第２の信号成分の信号レベル）との差を所定の閾値と比較することで決定される。つまり、上記差が十分に大きい場合にはノイズ低減フィルタを用いたノイズ低減処理が行われ、上記差が十分に大きくない場合にはフレーム間加算平均処理を用いたノイズ低減処理が行われる。あるいはホスト側（例えば車側）からの命令に基づいて、どちらのノイズ低減処理を行うかを判断してもよい。
　具体的には、信号処理部１０４は、第１の信号成分の信号レベルが、第２の信号成分の信号レベルより大きいもののその差が第２の閾値以上でかつ前述した第１の閾値未満（第１の閾値＞第２の閾値）である場合には、上記差が十分に大きいとみなして第２－１の信号処理が実施される。一方、信号処理部１０４は、第１の信号成分の信号レベルが、第２の信号成分の信号レベルより大きいもののその差が第２の閾値未満である、もしくは第２の信号成分の信号レベルと同等である場合には、上記差が十分に大きくないと見なして第２－２の信号処理が実施される。
　フレーム間での動き検出は、以下のように実施される。すなわち、前フレーム６０１と現フレーム６０２との間の差分画像を作成する、もしくは両フレームの間でパターンマッチングを行ったうえで、これらの結果（差分画像もしくはパターンマッチング結果）に基づいて両フレーム間でどれだけ被写体が移動したかを算出し、算出した移動量からフレーム間での動き検出を行う。
　また、前述したように、第１の信号成分の信号レベルの大きさと第１,第２の閾値との比較結果に基づいて、加算平均処理によるノイズ低減処理と、フレーム間加算平均処理によるノイズ低減処理とが切り替えられている。これらのノイズ低減処理の切り替えは信号処理部１０４で行われる。
　また、単純な加算平均ではなく各フレーム間の加算比率を変えれば、より精度良く加算平均をとることができる。すなわち、平均化された画像と現フレームとの加算平均をとる時に重み付けをつけることで、動きに対する追従度（時定数）を変える。例えば、平均化画像の方が重み付けが大きい場合には、動きがあった場合に動きに対して鈍感になる（すぐに動きが反映されない）。当該処理は信号処理部１０４によって実施される。
　また、フレーム間での動き量が大きい場合には加算を行わずに、再度加算を再開するなどの処理を行う。そうすれば、より精度良く加算平均処理を行うことができる。フレーム間での動き量(Δxi,Δyi)の大小判定は、前述したように、予め決められた動きの閾値(Δx,Δy)より動き量(Δxi,Δyi)が大きいか否かで判断する。さらには、加算平均を再開するか否かの判断も、動きの閾値(Δx,Δy)と動き量(Δxi,Δyi)との比較判断により行われる。すなわち、動き量(Δxi,Δyi)が動きの閾値(Δx,Δy)未満となると、加算平均が再開される。当該処理は信号処理部１０４によって実施される。
　なお、色成分を正確に得ることができない場合には、次のように処理する。すなわち、ノイズ低減フィルタによるノイズ低減処理を行いさらにダウンビット化して色情報の概算値を算出する。そのうえで、輝度情報に応じて色成分を変化させる。これによりノイズのない色成分を生成することができる。ここで、色成分を正確に得ることができない状態とは次の状態をいう。すなわち、Ｒ＋Ｉ画素２０１,Ｇ＋Ｉ画素２０２,Ｂ＋Ｉ画素２０３の可視光帯域に対応する信号レベルが、非常に小さい状態は、Ｓ/Ｎレベルが非常に小さくなって色成分を正確に得ることができない。この状態を、色成分を正確に得ることができない状態という。なお、非常に小さいか否かは、可視光帯域の信号レベルを所定の閾値と比較する（具体的には、前述したように、第１の信号成分の信号レベルを第２の閾値と比較する）ことにより決定される。また、ノイズ低減フィルタは図５と同じもので構わないが、特に図５に示すノイズ低減フィルタに限定されるものではない。また、ビットダウン化により除算が実施されることでデータ精度が低下するもののノイズは低減される。また、輝度情報に応じて色成分を変化させるとは、画像中の色情報値を間引いたうえで（例えば８画素中に１画素間引く）、それ以外の画素については輝度レベルの大きさの比率で色成分を計算するというものである。色情報を有する画素Ａに基づいて隣接画素Ａ－１の色情報を計算する場合を想定する。この場合、画素Ａの輝度値と隣接画素Ａ－１の輝度値との間の輝度比を算出したうえで、画素Ａの色成分に前記輝度比を乗算することで、隣接画素Ａ－１の色情報を計算する。当該処理は信号処理部１０４によって実施される。
　次に、ノイズ低減フィルタを用いたノイズ低減処理と、フレーム間加算平均処理を用いたノイズ低減処理との切り替え方法の自動制御方法を、図７のフローチャートを参照して説明する。
　予め撮影条件下を検出するため、信号処理部１０４は、画面上の可視光画素(R,G,B)が出力する信号成分の信号レベルの平均値と、近赤外光画素(I)が出力する信号成分の信号レベルの平均値とを比較する（判断７０１）。ここで本発明は、可視光画素(R,G,B)が存在せず、替わって画素(R+I),画素(G+I),画素(B+I)が存在する。そこで、画素(R+I),画素(G+I),画素(B+I)が出力する第１の信号の平均値と画素(I)が出力する第２の信号成分の平均値と比較する。
　判断７０１で可視光画素(R,G,B)が出力する信号成分の信号レベルが第２の信号成分の信号レベルより大きい場合、具体的には、第１の信号成分の信号レベルが第２の信号成分の信号レベルより大きくかつその差が予め設定しておいた第１の閾値以上である場合には、昼間の撮影条件であって撮像素子１０２が受光する光は第１の光であると見なして第１の信号処理を実施する。すなわち、第１の信号成分から（Y-1）式,（R-1）式,（G-1）式,（B-1）式に基づいて輝度および色成分を、抽出する（処理７０２）。
　次に、第２の信号成分（近赤外光画素値）の方が第１の信号成分（可視光画素値）より大きいものの（判断７０１でNO）、第１の信号成分（可視光画素値）が若干残っている場合（判断７０２でYES）、具体的には、第１の信号成分の信号レベルが、第２の信号成分の信号レベルより大きいもののその差が第２の閾値以上でかつ第１の閾値未満（第１の閾値＞第２の閾値）である場合には、昼間の撮影条件ではなく撮像素子１０２が受光する光は第２の光であるものの、上記差が十分に大きいために、夜間の撮影ではない（夕方の撮影等である）とみなして、第２－１の信号処理を実施する。すなわち、第１の信号成分から（Y-2）式に基づいて輝度成分を算出する一方、第１の信号成分から（R-2）式,（G-2）式,（B-2）式に基づいて色成分を算出した後に、算出した色成分にフレーム内でノイズ低減フィルタによるノイズ低減処理を施す。これにより、ノイズが少ない色成分を生成することができる（処理７０４）。
　次に、可視光より近赤外光の方が十分に大きく可視成分が非常に小さい場合（判断７０３でYES）、具体的には、第１の信号成分の信号レベルが、第２の信号成分の信号レベルより大きいもののその差が第２の閾値未満である、もしくは第２の信号成分の信号レベルと同等である場合には、昼間の撮影条件ではなく撮像素子１０２が受光する光は第２の光であり、かつ上記差が十分に大きくないために、夜間の撮影であるとみなして、第２－２の信号処理を実施する。すなわち、第１の信号成分から（Y-2）式に基づいて輝度成分を算出する一方、第１の信号成分から、（R-2）式,（G-2）式,（B-2）式に基づいて色成分を算出した後に、算出した色成分に、フレーム間加算平均処理によるノイズ低減処理を施す。これによりノイズが少ない色成分を生成することができる（処理７０５）。
　また、第１の信号成分と第２の信号成分とを算出する際に、画面全体の平均値にて算出してもよく、または画面の特定の領域のみの平均値にて算出してもよい。画面全体と画面の特定の領域の指定については、レジスタなどを介してホスト側が設定することで積算領域を予め指定する。また、特定の領域とは、画面の中心など撮影条件として重視したい領域を指定するものである。また、当処理は信号処理部１０４にて実施される。
　なお、処理702,704,705を切り替えるのでなく、それぞれの処理を第１の信号成分と第２の信号成分とに応じた重み付け平均化処理を施すことで、急激な画像の変化を避けることもできる。すなわち、第１,第２の閾値周辺であった場合に急激に変化してしまうと、ノイズ具合によっては撮影画像が一定せず、急激な変化を繰り返す可能性がある。そこで、それぞれの変化は時定数を持たせる必要があることに基づいて、それぞれの処理を第１の信号成分と第２の信号成分とに応じた重み付け平均化処理を施してうえで算出する。当該処理は信号処理部１０４によって実施される。
　次に固定カメラなど動きが少ない条件下での撮影についての処理を説明する。図８に示すように、ｎフレーム目８０３とｎ＋１フレーム目８０４間で動きがあった領域８０２については、ノイズ低減処理（１フレームノイズ低減またはフレーム間ノイズ低減処理）により抽出した色成分を使用し、動きが無い領域８０１では昼間など十分に可視光がある条件下で抽出した色情報を予めメモリなどに蓄積しておき、夜間など可視光が少ない条件化での撮影ではこの蓄積した色情報を使用して色成分を生成する。これにより、動きの無い被写体に対して正確な色成分を生成することができる。また、当処理は信号処理部１０４にて実施される。
　本発明にかかる撮像装置は、特に車載カメラや監視カメラなどのように昼・夜問わず撮影が必要であるような撮像装置におけるカラー映像化や視認性向上に有用である。
　１００　撮像装置
　１０１　光学レンズ
　１０２　撮像素子（イメージセンサ）
　１０３　ＡＤＣ
　１０４　信号処理部
　１０５　画像フォーマット変換部
　１０６　DRAM
　１０７　メモリカード
　１０８　液晶モニタ
　１０９　出力装置
　１０９　出力装置
　２０１　Ｒ＋Ｉ画素
　２０２　Ｇ＋Ｉ画素
　２０３　Ｂ＋Ｉ画素
　２０４　Ｉ画素

Claims (15)

  1. 　撮像素子と、
    　受光光に応じて前記撮像素子が出力する映像信号から輝度成分と色成分とを抽出する信号処理部と、
    　を備え、
    　前記映像信号は、前記受光光の状態に応じて、前記可視光帯域に対応する信号成分を主成分とする第１の映像信号と、前記近赤外光帯域に対応する信号成分を主成分とする第２の映像信号とに変容し、
    　前記信号処理部は、
    　前記第１の映像信号から前記輝度成分と前記色成分とを抽出するのに適した第１の信号処理と、
    　前記第２の映像信号から前記輝度成分と前記色成分とを抽出するのに適した第２の信号処理と、
    　を切り替えて実行する、
    　撮像装置。
  2. 　前記第１の映像信号は、前記可視光帯域を十分に含む第１の光を受光した前記撮像素子から出力され、
    　前記第２の映像信号は、前記可視光帯域を十分に含まない第２の光を受光した前記撮像素子から出力される、
    　請求項１の撮像装置。
  3. 　前記第１の光は、前記可視光帯域と前記近赤外光帯域とを加算した光を主光とし、
    　前記第２の光は、前記近赤外光帯域の光を主光とする、
    　請求項２の撮像装置。
  4. 　前記信号処理部は、前記映像信号の信号状態判断に基づいて、前記第１の信号処理と前記第２の信号処理とを切り替える、
    　請求項１の撮像装置。
  5. 　前記撮像素子は、前記可視光帯域と前記近赤外光帯域との両方に感度を有する第１の画素と、前記近赤外光帯域に選択的に感度を有する第２の画素とを有し、
    　前記映像信号は、前記第１の画素が出力する第１の信号成分と、前記第２の画素が出力する第２の信号成分とを含み、
    　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きくかつその差が第１の閾値以上である場合には、前記受光光を前記第１の光と判断して前記第１の信号処理を実施し、
    　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きいもののその差が前記第１の閾値未満である場合、もしくは前記第１の信号成分の信号レベルが前記第２の信号成分の信号レベルと同等である場合には、前記受光光を前記第２の光と判断して前記第２の信号処理を実施する、
    　請求項２の撮像装置。
  6. 　前記信号処理部は、前記第２の信号処理において、抽出した色成分に、フレーム内ノイズ低減フィルタによるノイズ低減処理を施す、
    　請求項５の撮像装置。
  7. 　前記信号処理部は、前記第２の信号処理において、抽出した前記色成分に、フレーム間加算平均処理によるノイズ低減処理を施す、
    　請求項５の撮像装置。
  8. 　前記信号処理部は、前記第２の信号処理において、抽出した前記色成分に、前記フレーム間加算平均処理によるノイズ低減処理を施す、
    　請求項７の撮像装置。
  9. 　前記信号処理部は、前記第１の信号成分においてフレーム間の動き変化量が所定量より大きい場合には、前記フレーム間の動き補正を実施することなく、前記色成分に、前記フレーム間加算平均処理によるノイズ低減処理を行う、
    　請求項８の撮像装置。
  10. 　前記信号処理部は、前記第２の信号処理において、前記第１の信号成分から前記色成分を正確に抽出できない場合には、当該第２の信号処理において抽出する前記輝度成分に応じて前記第１の信号成分から前記色成分を抽出する、
    　請求項２の撮像装置。
  11. 　前記第２の信号処理は、
    　前記第１の信号成分から前記輝度成分と前記色成分とを抽出するとともに、抽出した前記色成分に、フレーム内ノイズ低減フィルタによるノイズ低減処理を施す第２－１の信号処理と、
    　前記第１の信号成分から前記輝度成分と前記色成分とを抽出するとともに、抽出した前記色成分に、フレーム間加算平均処理によるノイズ低減処理を施す第２－２の信号処理と、
    　を含み、
    　前記信号処理部は、前記第１の信号処理と、前記第２－１の信号処理と、前記第２－２の信号処理とを切り替えて実行する、
    　請求項５の撮像装置。
  12. 　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きいもののその差が第２の閾値以上でかつ前記第１の閾値未満（第１の閾値＞第２の閾値）である場合には、前記第２－１の信号処理を実施し、
    　前記信号処理部は、前記第１の信号成分の信号レベルが、前記第２の信号成分の信号レベルより大きいもののその差が前記第２の閾値未満である、もしくは前記第２の信号成分の信号レベルと同等である場合には、前記第２－２の信号処理を実施する、
    　請求項１１の撮像装置。
  13. 　前記信号処理部は、前記第１,第２の信号成分の信号レベルを、画面全体における前記第１,第２の信号成分の信号レベルの平均値、または前記第１,第２の信号成分の画面内の任意の領域における信号レベルの平均値に基づいて決定する、
    　請求項５の撮像装置。
  14. 　前記色成分を記憶する記憶器をさらに備え、
    　前記信号処理部は、
    　前記第１の信号処理で抽出する前記色成分を前記記憶器に記憶させ、
    　前記第２の信号処理では、前記第１の信号成分から前記輝度成分を抽出するとともに、前記第１の映像信号においてフレーム内の動きがない領域では前記記憶器に記憶しておいた前記色成分を読み出して色成分として用い、フレーム内の動きがある領域ではノイズ低減処理を施してなる前記第１の信号成分から前記色成分を抽出する、
    　請求項５の撮像装置。
  15. 　複数の画素を備え、
    　前記複数の画素は、可視光帯域と近赤外光帯域との両方に感度を有する第１の画素と、近赤外光帯域に感度を有する第２の画素とを含む、
    　撮像素子。
PCT/JP2009/003975 2008-10-14 2009-08-20 撮像素子および撮像装置 WO2010044185A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/082,054 US20110181752A1 (en) 2008-10-14 2011-04-07 Imaging element and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-265145 2008-10-14
JP2008265145A JP2010098358A (ja) 2008-10-14 2008-10-14 撮像素子および撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/082,054 Continuation US20110181752A1 (en) 2008-10-14 2011-04-07 Imaging element and imaging device

Publications (1)

Publication Number Publication Date
WO2010044185A1 true WO2010044185A1 (ja) 2010-04-22

Family

ID=42106362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003975 WO2010044185A1 (ja) 2008-10-14 2009-08-20 撮像素子および撮像装置

Country Status (3)

Country Link
US (1) US20110181752A1 (ja)
JP (1) JP2010098358A (ja)
WO (1) WO2010044185A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103538517A (zh) * 2012-07-11 2014-01-29 欧姆龙汽车电子株式会社 车辆用灯控制装置
US10484653B2 (en) 2015-05-07 2019-11-19 Sony Semiconductor Solutions Corporation Imaging device, imaging method, and image processing device
CN110536070A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种红外灯控制方法、装置及四目可调节摄像机
US10992875B2 (en) 2017-12-27 2021-04-27 Hangzhou Hikvision Digital Technology Co., Ltd. Method and apparatus for controlling infrared lamp, and four-lens adjustable camera

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010141A (ja) * 2010-06-25 2012-01-12 Konica Minolta Opto Inc 画像処理装置
US9200895B2 (en) 2010-11-16 2015-12-01 Konica Minolta, Inc. Image input device and image processing device
SG11201502687TA (en) * 2012-10-09 2015-05-28 Irvi Pte Ltd System for capturing scene and nir relighting effects in movie postproduction transmission
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
KR101355076B1 (ko) 2013-02-18 2014-01-27 주식회사 만도 차량 조도 환경 인식 장치 및 그 방법
US9967527B2 (en) 2013-11-25 2018-05-08 JVC Kenwood Corporation Imaging device, image processing device, image processing method, and image processing program
JP6318789B2 (ja) 2013-11-25 2018-05-09 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法、及び映像処理プログラム
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
DE102014217750A1 (de) * 2014-09-04 2016-03-10 Conti Temic Microelectronic Gmbh Kamerasystem und Verfahren zur Umfelderfassung eines Fahrzeugs
JP2016126472A (ja) * 2014-12-26 2016-07-11 株式会社東芝 心拍数検出装置及びそれを用いた顔認識システム
JP6628497B2 (ja) * 2015-05-19 2020-01-08 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
JP6396946B2 (ja) * 2016-06-02 2018-09-26 Hoya株式会社 画像処理装置および電子内視鏡システム
JP6645394B2 (ja) * 2016-10-03 2020-02-14 株式会社デンソー 画像センサ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341470A (ja) * 2004-05-31 2005-12-08 Mitsubishi Electric Corp 撮像装置及び信号処理方法
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2007202107A (ja) * 2005-12-27 2007-08-09 Sanyo Electric Co Ltd 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
US7773136B2 (en) * 2006-08-28 2010-08-10 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal
JP2009253579A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341470A (ja) * 2004-05-31 2005-12-08 Mitsubishi Electric Corp 撮像装置及び信号処理方法
JP2007202107A (ja) * 2005-12-27 2007-08-09 Sanyo Electric Co Ltd 撮像装置
JP2007184805A (ja) * 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103538517A (zh) * 2012-07-11 2014-01-29 欧姆龙汽车电子株式会社 车辆用灯控制装置
JP2014015169A (ja) * 2012-07-11 2014-01-30 Omron Automotive Electronics Co Ltd 車両用ライト制御装置
CN103538517B (zh) * 2012-07-11 2016-02-10 欧姆龙汽车电子株式会社 车辆用灯控制装置
US10484653B2 (en) 2015-05-07 2019-11-19 Sony Semiconductor Solutions Corporation Imaging device, imaging method, and image processing device
US10992875B2 (en) 2017-12-27 2021-04-27 Hangzhou Hikvision Digital Technology Co., Ltd. Method and apparatus for controlling infrared lamp, and four-lens adjustable camera
CN110536070A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 一种红外灯控制方法、装置及四目可调节摄像机
CN110536070B (zh) * 2018-05-23 2020-12-25 杭州海康威视数字技术股份有限公司 一种红外灯控制方法、装置及四目可调节摄像机

Also Published As

Publication number Publication date
JP2010098358A (ja) 2010-04-30
US20110181752A1 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
WO2010044185A1 (ja) 撮像素子および撮像装置
US11758279B2 (en) WDR imaging with LED flicker mitigation
US10979654B2 (en) Image signal processing method and system
TWI516116B (zh) 用於數位成像中之自動影像俘獲控制之系統及方法
TWI722283B (zh) 多工高動態範圍影像
US20070263099A1 (en) Ambient Light Rejection In Digital Video Images
KR20200108790A (ko) 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체
US7444075B2 (en) Imaging device, camera, and imaging method
US8031243B2 (en) Apparatus, method, and medium for generating image
JP2004222228A (ja) フリッカ低減方法、撮像装置およびフリッカ低減回路
JP4539432B2 (ja) 画像処理装置および撮像装置
JP6351271B2 (ja) 画像合成装置、画像合成方法、およびプログラム
JP2009021878A (ja) 撮像装置及びその制御方法
US20180010966A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5238931B2 (ja) Ｈｄｒ画像生成方法および同方法を用いるデジタル撮像素子
JP2019161577A (ja) 撮像装置、画素補正処理回路、及び、画素補正処理方法
JP2005184391A (ja) 撮像装置およびその異常検出方法
JP5228717B2 (ja) 画像入力装置
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
JP4523629B2 (ja) 撮像装置
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2012010282A (ja) 撮像装置、露光制御方法及び露光制御プログラム
CN114143418B (zh) 双传感器摄像系统及其摄像方法
JP2001177768A (ja) 撮像装置
JP2006180270A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09820364

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09820364

Country of ref document: EP

Kind code of ref document: A1